Closed
[Requirement|需求建议]: [QFA][MXFP8] layout 支持 BNSD/BSND #6226
shen_weilingAdd on Oct 16Closed at 25 days ago
Oct 16 Added label: requirement
周云飞
Oct 16 Comments:
Oct 16 Comments:
/assign @shen_weiling


Oct 16 Assign shen_weiling as responsible person
周云飞
29 days ago Comments:
29 days ago Comments:
感谢提出 QFA 在 MXFP8 场景下支持 BNSD/BSND 布局的需求。
BNSD 与 BSND 的区别在于头数维度 N 和序列维度 S 的排列顺序。如果上游直接输出这两种布局,原生支持有助于减少调用前的布局转换;实际收益仍取决于现有接口能力和具体输入规模。目前的信息还不足以判断这是已有能力的使用问题,还是需要新增支持。
一个可行的方向是在 QFA 的布局参数解析、形状校验及内核数据寻址中适配两种排列,同时确保 MXFP8 量化尺度与对应数据块的关系保持正确,并兼容现有布局。仅增加布局名称并不能保证计算正确,具体改动范围还需结合实际接口确认。
为明确需求范围,请补充所用的 QFA 接口名称、CANN 版本和目标芯片,以及一组期望支持的 Q/K/V 形状与布局示例;如有配套量化尺度,也请注明其形状。另外,请说明期望支持输入布局、输出布局,还是两者都支持。这些信息有助于进一步评估适配范围与兼容性。


25 days ago Close issue
25 days ago Added label: resolved
19 days ago Associated pull request
16 days ago Associated pull request
周云飞
4 days ago Comments:
4 days ago Comments:
相关 PR 已合入,主要改动包括:
- 为 QFA MXFP8 增加 BNSD/BSND layout 支持,调整 Query scale 的内存布局、搬运逻辑和 decode 路由。
- 修正 MXFP8 的参数校验,检查
layout_q与layout_q_descale的匹配关系,并区分 TND prefill 和 decode 的 descale 形状。 - 调整测试输入及 golden 逻辑,处理 BNSD/BSND 场景下的 batch 和序列长度回退;同时修改 v_tail 测试数据转换,直接使用表格中的张量配置。


Backgroud(背景信息)
[QFA][MXFP8] layout 支持 BNSD/BSND
Benefit / Necessity (价值/作用)
Design(设计方案)