Closed
[Requirement|需求建议]: 新增 Tensor API 基础功能,提供层次化张量抽象和矩阵计算能力 #607
wuzhaolinAdd on  May 8Closed at  Jun 16
wuzhaolin
wuzhaolinCollaborators
May 8 Create

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

当前 Ascend C 算子开发需要直接使用底层硬件指令,开发者需要手动计算复杂的内存地址和索引,学习成本高、开发效率低。参考主流 AI 编程框架的设计理念,需要新增 Tensor API 基础功能,提供 Layout(层次化布局)和 Tensor(张量)等高层抽象,自动处理索引计算,简化算子开发流程。

Origin(信息来源)

参考 CUDA Cutlass、 cute、Intel Xe、AMD ROCm 等主流 AI 编程框架的张量抽象设计,结合昇腾处理器硬件特性(分形存储结构、多级缓存架构),设计符合 Ascend C 特点的 Tensor API 层次化抽象体系。

Benefit / Necessity (价值/作用)

提供层次化张量抽象,自动处理复杂索引计算,显著提升算子开发效率;通过直观的 Layout/Tensor 操作接口降低学习门槛,提升易用性;采用编译期模板元编程实现零开销抽象,保持高性能;新增 Layout、Tensor、Atom 基础结构和 Copy/Mmad 算法能力,增强 Ascend C 算子开发基础能力。

Design(设计方案)

基础数据结构模块:

(1)Layout 层次化布局设计:
a. Shape/Stride 基础结构定义,支持普通整数和编译期常量
b. 层次化表述法实现,支持元组嵌套表达复杂数据排布
c. 常用 Layout 格式支持:Nz/Zn(分形格式)、ND/DN(行列优先)、L0C(矩阵输出格式)
d. Layout 构造与查询接口:MakeShape/MakeStride/MakeLayout/Get/Crd2Idx 等
image.png
(2)Tensor 张量抽象设计:
a. LocalTensor 结构定义:封装数据指针和 Layout
b. Tensor 构造接口:MakeTensor、MakeMemPtr(支持 GM/UB/L1/L0A/L0B/L0C 等内存层级)
c. Tensor 操作接口:元素访问 operator[]、切片 operator()、Slice/Compose/Tile 等
d. ViewEngine 引擎抽象:支持不同内存层级的数据视图

原子操作模块:

(1)CopyAtom 数据搬运原子操作:
a. CopyTraits 特征配置结构
b. 支持主要搬运通路:CopyGM2L1、CopyL12L0A/L0B、CopyL0C2GM/UB 等
c. Atom 构造接口:MakeCopy<>
(2)MmadAtom 矩阵乘加原子操作:
a. MmadTraits 特征配置结构
b. 支持 MmadOperation 矩阵乘加操作
c. Atom 构造接口:MakeMmad<>

算法接口模块:

(1)Copy 数据搬运算法:
a. 高层 Copy 接口,封装多级存储间的数据传输
b. 支持编译期 Traits 配置和运行时参数传递
(2)Mmad 矩阵乘加算法:
a. 高层 Mmad 接口,封装 Cube 单元矩阵计算
b. 支持矩阵维度、数据类型等参数配置
image.png

硬件指令封装层:

(1)Cube 单元指令封装:
a. DataCopy:GM→L1 数据搬运指令
b. LoadData:L1→L0A/L0B 数据加载指令
c. Fixpipe:L0C→GM/UB 数据输出指令
d. Mmad:矩阵乘加计算指令
(2)Vector 单元指令封装:
a. GM↔UB 数据搬运指令
b. UB↔L1 数据搬运指令

likedislike
wuzhaolinwuzhaolinCollaborators
May 8 Added label: requirement
wuzhaolinwuzhaolinCollaborators
May 8 Assign wuzhaolin as responsible person
wuzhaolinwuzhaolinCollaborators
May 8 Modify description of issue
wuzhaolinwuzhaolinCollaborators
May 8 Modify description of issue
wuzhaolinwuzhaolinCollaborators
May 8 Modify description of issue
wuzhaolinwuzhaolinCollaborators
May 9 Assign yue_mo_du_qian as responsible person
yue_mo_du_qian
yue_mo_du_qian
May 11 Comments:

基础数据结构封装完成,cube通路基本功能完成,资料、样例和完备性补齐,预计630完成

likedislike
treefeitreefeiCollaborators
Jun 16 changed custom state from 待办的 to 已解决
treefeitreefeiCollaborators
Jun 16 Close issue