Closed
[Requirement|需求建议]: MC2公式化tiling重构 #6143
MeiWenxuanAdd on  Oct 14Closed at  Oct 15
MeiWenxuanCollaborators
Oct 14 Create

Backgroud(背景信息)

旧公式化tiling的优化逻辑由各个算子自己一点点添加经验参数搭建,可维护性差且可解释性不足。需要进行一次重构,以后算子接入公式化tiling只需要准备好标定拟合数据后,直接调用一个对外接口即可

Benefit / Necessity (价值/作用)

增加公式化tiling的可维护性与可解释性

Design(设计方案)

公式化tiling逻辑归一为一个统一接口,并且去掉各个算子自己独有的逻辑和经验补丁,采用更精确的拟合建模公式和标定数据

likedislike
MMeiWenxuanCollaborators
Oct 14 Added label: requirement
周云飞
周云飞Collaborators
Oct 14 Comments:

感谢提出 MC2 公式化 tiling 的重构建议。将共用的建模与策略选择逻辑收敛到统一接口,有助于减少各算子重复维护经验参数的成本,也便于说明某个切分方案为何被选中。

需求分析

按您描述的现状,主要维护成本来自优化逻辑分散在各算子中,拟合公式、标定数据和经验修正之间的关系不够清晰。这是一个值得评估的架构改进方向,但不能仅凭存在算子专属逻辑,就判断这些逻辑都应删除。

需要区分性能经验补丁与保证执行正确性的约束。例如,对齐、片上内存容量以及数据类型相关的限制,不能直接由拟合公式替代。目前提供的代码片段未覆盖 MC2 公式化 tiling 的具体实现,尚不能确定哪些分支可以归一、哪些必须保留。

调整方向

一个可行的方案是,将性能预测和候选切分方案选择集中到公共接口,算子侧负责提供形状、数据类型、硬件信息、标定数据及必要的执行约束。接口除返回 tiling 决策外,也可以提供预测耗时、模型适用范围和选择依据,方便解释结果与定位偏差。

建议先统一标定数据格式,明确拟合参数对应的硬件、输入范围和模型版本,再逐步替换经验补丁。对于标定范围之外或拟合误差较大的输入,可考虑保留回退策略。这样既能降低接入成本,也能控制迁移时的性能回退风险;相应成本主要在于数据维护、模型适配和新旧策略的对比验证。若算子差异较大,也可以统一建模接口,同时保留少量必要的算子策略扩展。

方便补充本次拟重构的 MC2 入口或文件,以及一份现有标定数据格式示例吗?这些信息有助于进一步明确公共接口边界,并区分可替换的经验修正与必须保留的执行约束。

likedislike
CANN-robotCANN-robotCollaborators
Oct 15 Close issue
CANN-robotCANN-robotCollaborators
Oct 15 Added label: resolved
周云飞
周云飞Collaborators
4 days ago Comments:

已通过 PR #13307、#13954 推进 MC2 公式化 tiling 重构,相关改动包括:

  • 调整部分 MC2 算子的 tiling 头文件引用,并将 AlltoAllMatmulV2 的通信切分接入核利用率优先 tiling。
  • 为 AlltoAllMatmulV2 接入 fit-balance tiling,引入 AIV URMA 4 卡通信标定;标定未命中时沿用核利用率优先的通信切分结果。
  • 调整 fit-balance 的切分对齐、长短块处理及计算耗时模型,并增加短块前置能力配置。

关联 PR:PR #13307、PR #13954

likedislike