CANN/asc-devkit L1到L0A数据搬运

L1 Buffer到L0A Buffer数据搬运【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品不支持Atlas A2 训练系列产品/Atlas A2 推理系列产品不支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品AI Core不支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持功能说明头文件路径为tensor_api/tensor.h。Tensor API通过Copy接口统一执行不同通路数据搬运。该接口用于将L1 Buffer中的左矩阵数据搬运到L0A Buffer。该通路以512Byte数据分形为基本搬运单位。不同数据类型对应的分形矩阵形态如下数据位宽分形矩阵形态b416 * 64b816 * 32b1616 * 16b3216 * 8接口支持非转置搬运和转置搬运。源张量和目的张量的Layout需要匹配当前通路支持的格式组合。接口支持Batch模式。Batch模式下源张量和目的张量的Layout需要在原有分形Layout最前面增加Batch维Shape形态为(B, 单矩阵Shape)其中B表示Batch数量。用户可使用MakeFrameLayoutNZLayoutPtn, DataType(B, m, k)或MakeFrameLayoutZNLayoutPtn, DataType(B, m, k)构造带Batch维的Layout。函数原型执行L1 Buffer到L0A Buffer的数据搬运。template typename AtomType, typename DstTensor, typename SrcTensor __aicore__ inline void Copy(const CopyAtomAtomType atomCopy, const DstTensor dst, const SrcTensor src)构造默认搬运原子对象。template typename CopyOperationType __aicore__ inline constexpr auto MakeCopy(const CopyOperationType copyOperation)构造指定Trait的搬运原子对象。template typename CopyOperationType, typename CopyTraitType __aicore__ inline constexpr auto MakeCopy( const CopyOperationType copyOperation, const CopyTraitType copyTrait)参数说明表1Copy接口参数说明参数名输入/输出描述atomCopy输入搬运原子对象。L1 Buffer到L0A Buffer通路可通过MakeCopy(CopyL12L0A{})或MakeCopy(CopyL12L0A{}, CopyL12L0ATraitDefault{})构造。dst输出目的张量存储位置为Location::L0A。src输入源张量存储位置为Location::L1。表2MakeCopy接口参数说明参数名输入/输出描述copyOperation输入搬运操作对象。L1 Buffer到L0A Buffer通路使用CopyL12L0A{}。copyTrait输入搬运Trait对象用于指定搬运特性。L1 Buffer到L0A Buffer默认Trait使用CopyL12L0ATraitDefault{}。数据类型支持的数据类型包括fp4x2_e2m1_t、fp4x2_e1m2_t、int8_t、uint8_t、hifloat8_t、fp8_e5m2_t、fp8_e4m3fn_t、half、bfloat16_t、int16_t、uint16_t、int32_t、uint32_t、float。源张量和目的张量的数据类型需要保持一致。返回值说明Copy无返回值。MakeCopy返回CopyAtom对象。约束说明目的地址位于L0A Buffer时起始地址需要满足512Byte对齐要求。源地址位于L1 Buffer时起始地址需要满足32Byte对齐要求。特殊数据类型约束L1 Buffer到L0A Buffer通路使能转置时即ZN2NZ支持的数据类型约束如下b32数据类型要求源矩阵Shape在K轴方向16对齐。b8数据类型要求源矩阵Shape在M轴方向32对齐。b4数据类型要求源矩阵Shape在M轴方向64对齐。Batch模式要求源张量和目的张量的Batch数量一致且在L1 Buffer和L0A Buffer上张量数据连续排布。关键特性说明非转置搬运当源张量和目的张量数据格式为NZ时接口按非转置方式从L1 Buffer搬运到L0A Buffer。图1非转置搬运示意图转置搬运当源张量数据格式为ZN、目的张量数据格式为NZ时接口按转置方式搬运。转置搬运会对源张量中每个分形矩阵进行转置。不同数据位宽的转置搬运示意如下。b4转置搬运图2b4转置搬运示意图b8转置搬运图3b8转置搬运示意图b16转置搬运图4b16转置搬运示意图b32转置搬运图5b32转置搬运示意图Batch搬运当源张量和目的张量均使用带Batch维的Layout时Copy接口会按照Batch维描述的数据范围完成L1 Buffer到L0A Buffer的数据搬运。非转置搬运时源张量、目的张量均为NZ格式转置搬运时源张量为ZN格式目的张量为NZ格式。调用示例#include tensor_api/tensor.h using namespace AscendC::Te; __aicore__ inline void CopyL1ToL0AExample() { using AType half; constexpr uint32_t m 16; constexpr uint32_t k 16; __cbuf__ AType l1Buf[m * k]; __ca__ AType l0aBuf[m * k]; auto l1Tensor MakeTensor(MakeMemPtr(l1Buf), MakeFrameLayoutNZLayoutPtn, AType(m, k)); auto l0aTensor MakeTensor(MakeMemPtr(l0aBuf), MakeFrameLayoutNZLayoutPtn, AType(m, k)); auto copyAtom MakeCopy(CopyL12L0A{}, CopyL12L0ATraitDefault{}); Copy(copyAtom, l0aTensor, l1Tensor); }Batch模式示例如下。#include tensor_api/tensor.h using namespace AscendC::Te; __aicore__ inline void CopyL1ToL0ABatchExample() { using AType half; constexpr uint32_t batch 2; constexpr uint32_t m 16; constexpr uint32_t k 16; __cbuf__ AType l1Buf[batch * m * k]; __ca__ AType l0aBuf[batch * m * k]; auto layout MakeFrameLayoutNZLayoutPtn, AType(batch, m, k); auto l1Tensor MakeTensor(MakeMemPtr(l1Buf), layout); auto l0aTensor MakeTensor(MakeMemPtr(l0aBuf), layout); auto copyAtom MakeCopy(CopyL12L0A{}, CopyL12L0ATraitDefault{}); Copy(copyAtom, l0aTensor, l1Tensor); }【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考