Closed
[Requirement|需求建议]: 新增 Tensor API 基础功能,提供层次化张量抽象和矩阵计算能力 #607
wuzhaolinAdd on May 8Closed at Jun 16
May 8 Added label: requirement
May 8 Assign wuzhaolin as responsible person
May 8 Modify description of issue
May 8 Modify description of issue
May 8 Modify description of issue
May 9 Assign yue_mo_du_qian as responsible person
yue_mo_du_qian
May 11 Comments:
May 11 Comments:
基础数据结构封装完成,cube通路基本功能完成,资料、样例和完备性补齐,预计630完成


Jun 16 changed custom state from 待办的 to 已解决
Jun 16 Close issue
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
当前 Ascend C 算子开发需要直接使用底层硬件指令,开发者需要手动计算复杂的内存地址和索引,学习成本高、开发效率低。参考主流 AI 编程框架的设计理念,需要新增 Tensor API 基础功能,提供 Layout(层次化布局)和 Tensor(张量)等高层抽象,自动处理索引计算,简化算子开发流程。
Origin(信息来源)
参考 CUDA Cutlass、 cute、Intel Xe、AMD ROCm 等主流 AI 编程框架的张量抽象设计,结合昇腾处理器硬件特性(分形存储结构、多级缓存架构),设计符合 Ascend C 特点的 Tensor API 层次化抽象体系。
Benefit / Necessity (价值/作用)
提供层次化张量抽象,自动处理复杂索引计算,显著提升算子开发效率;通过直观的 Layout/Tensor 操作接口降低学习门槛,提升易用性;采用编译期模板元编程实现零开销抽象,保持高性能;新增 Layout、Tensor、Atom 基础结构和 Copy/Mmad 算法能力,增强 Ascend C 算子开发基础能力。
Design(设计方案)
基础数据结构模块:
(1)Layout 层次化布局设计:

a. Shape/Stride 基础结构定义,支持普通整数和编译期常量
b. 层次化表述法实现,支持元组嵌套表达复杂数据排布
c. 常用 Layout 格式支持:Nz/Zn(分形格式)、ND/DN(行列优先)、L0C(矩阵输出格式)
d. Layout 构造与查询接口:MakeShape/MakeStride/MakeLayout/Get/Crd2Idx 等
(2)Tensor 张量抽象设计:
a. LocalTensor 结构定义:封装数据指针和 Layout
b. Tensor 构造接口:MakeTensor、MakeMemPtr(支持 GM/UB/L1/L0A/L0B/L0C 等内存层级)
c. Tensor 操作接口:元素访问 operator[]、切片 operator()、Slice/Compose/Tile 等
d. ViewEngine 引擎抽象:支持不同内存层级的数据视图
原子操作模块:
(1)CopyAtom 数据搬运原子操作:
a. CopyTraits 特征配置结构
b. 支持主要搬运通路:CopyGM2L1、CopyL12L0A/L0B、CopyL0C2GM/UB 等
c. Atom 构造接口:MakeCopy<>
(2)MmadAtom 矩阵乘加原子操作:
a. MmadTraits 特征配置结构
b. 支持 MmadOperation 矩阵乘加操作
c. Atom 构造接口:MakeMmad<>
算法接口模块:
(1)Copy 数据搬运算法:

a. 高层 Copy 接口,封装多级存储间的数据传输
b. 支持编译期 Traits 配置和运行时参数传递
(2)Mmad 矩阵乘加算法:
a. 高层 Mmad 接口,封装 Cube 单元矩阵计算
b. 支持矩阵维度、数据类型等参数配置
硬件指令封装层:
(1)Cube 单元指令封装:
a. DataCopy:GM→L1 数据搬运指令
b. LoadData:L1→L0A/L0B 数据加载指令
c. Fixpipe:L0C→GM/UB 数据输出指令
d. Mmad:矩阵乘加计算指令
(2)Vector 单元指令封装:
a. GM↔UB 数据搬运指令
b. UB↔L1 数据搬运指令