已关闭
[Requirement|需求建议]: performance mxfp4 添加 tiling & 切换为 tensor api 接口 #36
ddssz创建于  3月20日关闭于  3月23日
ddssz
ddssz成员
3月20日 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

一、背景信息 (必填)

performance mxfp4 添加 tiling & 切换为 tensor api 接口

二、价值/作用 (必填)

performance mxfp4 实现泛化功能,并且 tensor api 的实现更加简单易懂

三、设计方案 (必填)

tiling 和 kernel 分层解耦,一个 tiling 对应一个 kernel

3.1 使能方式(涉及哪些框架:如Aclnn直调、Pytorch训练等)

<<<>>> 直调

3.2 总体设计
3.2.1 算子支持的数据类型

fp4_e2m1 进,bf16 出

3.2.2 host侧设计

tiling 侧设置 5 个文件,base_tiling 主导 tiling 流程,各个算法的 tiling 实现自己的 DoOptiling 函数,还有两个文件用于放置 tiling_data 结构体和 tiling 计算需要用到的一些常数

3.2.3 kernel侧设计

kernel 侧分层解耦,一个算法模板对应一个代码文件

3.3 支持硬件

Ascend950PR

3.4 算子约束限制

只支持 fp4_e2m1 / fp4_e1m2 进,fp16 / bf16 / fp32 出

💡 备注(选填)

likedislike
ddssz
ddssz成员
3月20日 评论:

/assign

likedislike
CANN-robotCANN-robot成员
3月20日 将 smdbha 设为负责人
ddsszddssz成员
3月20日 关联了pull request:add performance mxfp4 tiling
CANN-robotCANN-robot成员
3月23日 关闭了 issue
CANN-robotCANN-robot成员
3月23日 添加了label:resolved