Closed
[Requirement|需求建议]: [QFA][MXFP8] layout 支持 BNSD/BSND #6226
shen_weilingAdd on  Oct 16Closed at  25 days ago
shen_weiling
shen_weilingCollaborators
Oct 16 Create

Backgroud(背景信息)

[QFA][MXFP8] layout 支持 BNSD/BSND

Benefit / Necessity (价值/作用)

Design(设计方案)

likedislike
shen_weilingshen_weilingCollaborators
Oct 16 Added label: requirement
周云飞
周云飞Collaborators
Oct 16 Comments:

/assign @shen_weiling

likedislike
CANN-robotCANN-robotCollaborators
Oct 16 Assign shen_weiling as responsible person
周云飞
周云飞Collaborators
29 days ago Comments:

感谢提出 QFA 在 MXFP8 场景下支持 BNSD/BSND 布局的需求。

BNSD 与 BSND 的区别在于头数维度 N 和序列维度 S 的排列顺序。如果上游直接输出这两种布局,原生支持有助于减少调用前的布局转换;实际收益仍取决于现有接口能力和具体输入规模。目前的信息还不足以判断这是已有能力的使用问题,还是需要新增支持。

一个可行的方向是在 QFA 的布局参数解析、形状校验及内核数据寻址中适配两种排列,同时确保 MXFP8 量化尺度与对应数据块的关系保持正确,并兼容现有布局。仅增加布局名称并不能保证计算正确,具体改动范围还需结合实际接口确认。

为明确需求范围,请补充所用的 QFA 接口名称、CANN 版本和目标芯片,以及一组期望支持的 Q/K/V 形状与布局示例;如有配套量化尺度,也请注明其形状。另外,请说明期望支持输入布局、输出布局,还是两者都支持。这些信息有助于进一步评估适配范围与兼容性。

likedislike
CANN-robotCANN-robotCollaborators
25 days ago Close issue
CANN-robotCANN-robotCollaborators
25 days ago Added label: resolved
shen_weilingshen_weilingCollaborators
19 days ago Associated pull request
shen_weilingshen_weilingCollaborators
16 days ago Associated pull request
周云飞
周云飞Collaborators
4 days ago Comments:

相关 PR 已合入,主要改动包括:

  • 为 QFA MXFP8 增加 BNSD/BSND layout 支持,调整 Query scale 的内存布局、搬运逻辑和 decode 路由。
  • 修正 MXFP8 的参数校验,检查 layout_q 与 layout_q_descale 的匹配关系,并区分 TND prefill 和 decode 的 descale 形状。
  • 调整测试输入及 golden 逻辑,处理 BNSD/BSND 场景下的 batch 和序列长度回退;同时修改 v_tail 测试数据转换,直接使用表格中的张量配置。

关联 PR:PR #10890、PR #14711、PR #14986、PR #15004

likedislike