已关闭
[Requirement|需求建议]: QuantBatchMatmulV3 A全载模板支持尾块负载均衡及尾轮切分Tiling优化 #1951
ddssz创建于  4月7日关闭于  4月28日
ddssz
ddssz成员
4月7日 创建

Backgroud(背景信息)

QuantBatchMatmulV3 arch35 A 全载模板需要支持尾块负载均衡,以提升 M/N 存在尾块场景下的核间负载均衡效果。

当前需要在 A Full Load 使能判断前完成边缘 basic block 优化,使 A 全载判断能够基于负载均衡后的真实 baseM 进行;同时尾轮切分 tiling 需要增加最大切分限制,避免尾轮 m/n 方向切分过度,并保证 weight NZ 等场景的对齐约束。

Origin(信息来源)

QuantBatchMatmulV3 A 全载模板优化需求。

Benefit / Necessity(价值/作用)

  1. A 全载模板支持尾块负载均衡,改善尾块场景下的核间负载不均。
  2. 尾轮切分增加最大切分限制,提升 tiling 策略稳定性,避免不合理的尾轮过切。
  3. 保持 host tiling 与 kernel 侧 AL1 Full Load 搬运尺寸、offset 计算一致,覆盖 mBaseTailMain/mBaseTailLast 等尾块均衡后的块尺寸。
  4. 补充 Ascend950 full_load_tail_balance 与 nd_k_not_128 相关 UT,提升场景覆盖。

Design(设计方案)

  1. 将 LoadBalanceDataReset 与 OptimizeEdgeBasicBlock 前移到 AnalyseSlidingWinInfo 阶段,在 A/B/AB Full Load 判断前完成尾块负载均衡信息计算。
  2. A Full Load 判断使用负载均衡后的真实 baseM:当 mBaseTailSplitCnt > 1 时使用 mTailMain 计算单核 A L1 占用;A Full Load 使能后同步 baseM 并清理已合入的 mBaseTailSplitCnt/mTailMain 信息。
  3. 尾轮切分 tiling 增加 m/n 方向最大切分限制,按 tileMax、baseM/baseN 对齐粒度限制 preSplit/secSplit 的增长,并保留 weight NZ 下非法切分过滤。
  4. 增加 supportMmadS8S4 场景尾轮切分处理。
  5. kernel 侧 AL1 Full Load 路径根据 mBaseNormCnt、mBaseTailMain、mBaseTailLast 计算 singleCoreM 和 CopyInA1 offset,保证尾块搬运和 tiling 数据一致。
likedislike
ddsszddssz成员
4月7日 修改了issue 的描述
ddsszddssz成员
4月7日 修改标题为 “[Requirement|需求建议]: QuantBatchMatmulV3 AL1 全载尾块负载均衡场景 tiling 优化”,原标题为“[Requirement|需求建议]: ”
ddsszddssz成员
4月7日 修改标题为 “[Requirement|需求建议]: QuantBatchMatmulV3 AL1 全载尾块负载均衡 & 尾轮负载均衡场景 tiling 优化”,原标题为“[Requirement|需求建议]: QuantBatchMatmulV3 AL1 全载尾块负载均衡场景 tiling 优化”
ddsszddssz成员
4月7日 修改标题为 “[Requirement|需求建议]: 【QuantBatchMatmulV3】A全载模板使能尾块负载均衡并优化尾轮切分Tiling”,原标题为“[Requirement|需求建议]: QuantBatchMatmulV3 AL1 全载尾块负载均衡 & 尾轮负载均衡场景 tiling 优化”
ddsszddssz成员
4月7日 修改了issue 的描述
ddsszddssz成员
4月7日 修改标题为 “[Requirement|需求建议]: QuantBatchMatmulV3 A全载模板支持尾块负载均衡及尾轮切分Tiling优化”,原标题为“[Requirement|需求建议]: 【QuantBatchMatmulV3】A全载模板使能尾块负载均衡并优化尾轮切分Tiling”
ddssz
ddssz成员
4月7日 评论:

/assign

likedislike
CANN-robotCANN-robot成员
4月7日 将 smdbha 设为负责人
CANN-robotCANN-robot成员
4月28日 关闭了 issue
CANN-robotCANN-robot成员
4月28日 添加了label:resolved