Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
本次只补充 3D BatchMatMul(BMM)场景,重点是让 BMM 的 Cube 输出在融合前保持 FP32,使 Add/Mul 在 FP32 下完成,再转换为最终输出类型。
非量化
本次不重新设计 MM 已有的高精度能力,不重复描述 MM 已完成的 inner_precise 属性、FP32 中间结果模板和通用 epilogue 能力;只描述 BMM 接入这些能力所需的增量修改。
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
本次只补充 3D BatchMatMul(BMM)场景,重点是让 BMM 的 Cube 输出在融合前保持 FP32,使 Add/Mul 在 FP32 下完成,再转换为最终输出类型。
Origin(信息来源)
非量化
Benefit / Necessity (价值/作用)
Design(设计方案)
本次不重新设计 MM 已有的高精度能力,不重复描述 MM 已完成的 inner_precise 属性、FP32 中间结果模板和通用 epilogue 能力;只描述 BMM 接入这些能力所需的增量修改。