Closed
[Requirement|需求建议]: AlltoAllMatmul 960DT 支持hifp4全量化 #6520
dbtzyAdd on 24 days agoClosed at 23 days ago
24 days ago Added label: requirement
24 days ago Assign tongzy1242 as responsible person
24 days ago Associated pull request
周云飞
24 days ago Comments:
24 days ago Comments:
感谢提出 AlltoAllMatmul 在 960DT 上支持 hifp4 全量化的需求。
目前所核对版本的公共类型校验要求 x1、x2 与 output 类型一致,且 output 仅允许 FLOAT16 或 BF16,因此这条接口路径不能直接接入 hifp4 输入。现有普通接口和 V2 接口均调用公共实现;V2 增加的 commMode 参数并不代表增加了量化支持。这属于能力扩展需求,现有信息尚不能认定为实现缺陷。
一个可行的方向是评估量化接口及其计算、通信路径的配套支持,而不只是放宽类型校验。需要明确 hifp4 数据的存储方式、量化尺度参数如何传入,以及 AlltoAll 交换数据时这些参数如何与数据对应,同时保持现有 FLOAT16/BF16 调用的兼容性。960DT 上的具体实现可行性和性能收益仍需进一步确认。
为明确需求范围,请补充以下信息:
- “hifp4 全量化”是否指 x1、x2 均采用 hifp4?期望的具体格式、量化粒度、尺度参数格式和输出类型是什么?
- 目标 CANN 版本,以及一组典型输入形状和通信卡数;主要希望优化计算耗时、通信耗时还是显存占用?
这些信息有助于区分仅矩阵乘计算量化与通信数据也采用低精度两种需求,并据此评估接口和实现需要调整的范围。


23 days ago Close issue
23 days ago Added label: resolved
Backgroud(背景信息)
AlltoAllMatmul 960DT 支持hifp4全量化
Benefit / Necessity (价值/作用)
Design(设计方案)