已关闭
[Documentation|文档反馈]: mlapreprocess接口文档中wuq和wdqkv接口的数据类型约束与实际不一致 #5257
HKFLYE创建于  9月12日关闭于  9月14日
HKFLYE
HKFLYE
9月12日 创建

Thanks for sending an issue! Please fill in the following template to help quickly solve your problem.

Document Link(文档链接)

attention/mla_preprocess/docs/aclnnMlaPreprocess.md
attention/mla_preprocess_v2/docs/aclnnMlaPreprocessV2.md

Issues Section(问题文档片段)

wuq和wdqkv接口的数据类型当前不支持fp16类型输入

Existing Issues(存在的问题)

wuq和wdqkv接口的数据类型当前不支持fp16类型输入

likedislike
HKFLYE
HKFLYE
9月12日 评论:

/assign

likedislike
CANN-robotCANN-robot成员
9月12日 将 HuangKun8682 设为负责人
HKFLYEHKFLYE
9月14日 issue状态由 进行中 改变为 已完成
HKFLYEHKFLYE
9月14日 关闭了 issue
CANN-robotCANN-robot成员
9月14日 添加了label:resolved
周云飞
周云飞成员
10 天前 评论:

您好,感谢反馈!两份接口文档中的 wdqkv、wuq 已由“INT8、FLOAT16、BFLOAT16”修正为“INT8、BFLOAT16”,NZ 格式要求保持不变。PR !11888 已合入 master,修改范围是文档,不表示新增了 FP16 支持。

在 cann/ops-transformer 提交 29f3b8185af2ce772af1ba7b9ddf2b47f2100a01 中,MlaPreprocess 与 MlaPreprocessV2 均保留该约束。该修正仅针对这两个权重参数,不应推广为所有输入都不支持 FP16。

likedislike