已关闭
[Requirement|需求建议]: quant_flash_attn新增MxFP8 Softmax FP16低精方案 #5731
wangjianhao创建于 11 天前关闭于 11 天前
11 天前 添加了label：requirement
Wwangjianhao
11 天前 修改标题为 “[Requirement|需求建议]: quant_flash_attn新增MxFP8 Softmax FP16低精方案”，原标题为“[Requirement|需求建议]: ”
11 天前 修改标题为 “[Requirement|需求建议]: quant_flash_attn新增MxFP8 Softmax FP16低精方案”，原标题为“[Requirement|需求建议]: ”
游震
11 天前 评论：
11 天前 评论：
/assign @cardiac_index
11 天前 将 cardiac_index 设为负责人
11 天前 关闭了 issue
11 天前 添加了label：resolved
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud（背景信息）
quant_flash_attn新增MxFP8 Softmax FP16低精方案
Benefit / Necessity （价值/作用）
使用Softmax FP16低精方案计算MxFP8稠密attention，适合多模态场景
Design（设计方案）
预期有收益的设计：
Fixpipe随路乘softmax_scale
Softmax使用FP16数据类型计算