FilesLast commitLast update
2 months ago
2 months ago
2 months ago
README

泛化用例集(R0~R7' 口径重出,临时目录,2026-08-31)

按修订后的八条硬约束重新生成的泛化用例集,用来对比现有交付集的泛化性。判据锚定需求文档(03_spec.yaml / 01 支持面表),不锚定当前代码——代码可能实现得不准(窄于需求是缺陷、宽于需求是需求漏写),拿被测代码当分母会让"实现窄于需求"这类问题从分母里消失。

本次口径修订

条款 改动
R0 支持面锚定 基准从 op_host/*_def.cpp 改为需求文档;def 只作对照,差异(实现窄/宽于需求)进报告,不再把"需求有、实现无"的档当假例删掉
R5 判据覆盖(原"常量反查") 不止显式常量,还要覆盖公式导出的隐式阈值;可判定形式 = host tiling 分支覆盖(每个 if 两侧、每条 return GRAPH_FAILED 被命中或标注不可达)
R7 派生量全值域(新增) 把 tiling 由平台反推的每个量(段长 colsPerChunk、每核份额 elemsPerCore、合并行数…)立成派生轴,每个量在自己值域上分五档 sub / exact / multi_exact / multi_tail / far。不照着某个已知缺陷描画像
落地回填校验(新增闸) 判据落在落地 CSV 上而非抽象格子:钉住的轴值必须真出现在 shape 里、派生量档位落地后仍在目标档。塌缩就报错

覆盖率对比(同一验收器 gen_quota_cases.py --audit,分母来自需求声明的功能空间)

算子 用例集 例数 1-way 2-way 派生量档位 最大轴
BatchNorm3D 现交付集 959 28% 8% chunk/core 五档里四档全空(全部 sub) 12
BatchNorm3D 本次 R7' 集(v2,修完生成缺陷) 1155 81% 56% 五档齐 33554432(平台可达上限内)
BN3DTrainingUpdate 现交付集 1058 53% 24% 缺 multi_exact 1024
BN3DTrainingUpdate 本次 R7' 集(v2,修完生成缺陷) 1623 81% 58% 五档齐 33554432(平台可达上限内)
ArgMaxGrad 现交付集 1224 — — 缺 far 10495
ArgMaxGrad 本次 R7' 集 348 / 578 — — 五档齐 —

ArgMaxGrad 另有白盒指标(用 tiling 分支模型算,全域 28 档):现交付集 27/28、已作废的旧 R0~R6 补集 20/28、r7_348 27/28、r7v2_578 28/28。

真机状态

  • ArgMaxGrad_generalization_r7_348.csv:Ascend950PR 真机 348/348 PASS(-d=false -b=release,判据 binary_equal,结果条数==用例条数)。
  • ArgMaxGrad_generalization_r7v2_578.csv:跑批进行中,已完成部分全 PASS。
  • BatchNorm3D / BN3DTrainingUpdate 两份尚未上真机,本次只做用例集与覆盖率对比。

目录

  • cases/:四份用例集(TTK 格式,可直接 python3 -m ttk kernel -i <csv> -d=false -b=release)。
  • tools/:生成脚本。gen_bn3d.py / gen_bn3dtu.py 调用 changwei-op-dev/scripts/gen_quota_cases.py(通用生成器);gen_amg_cases.py / gen_amg_v2.py 是 ArgMaxGrad 的专用落地器;amg_model.py 是 ArgMaxGrad 的 tiling 分支模型,用来客观算分支覆盖。

已知缺口

  • 生成器算派生量单元大小时用的是保守估计(16 B/元素)。要精确区分"主循环走满无尾"与"带残尾",得由算子自己的落地器用真实段长算(amg_model.py 即此法)。
  • BatchNorm3D / BN3DTrainingUpdate 的 probe(dtype_limit / mem_limit / loop_depth)与部分 shape_kind 档未落地,1-way 差的就是这几档。

2026-08-31 补充:修的是生成,不是判据

R0~R7 这八条判据本身够用;泛化性差是生成实现的缺陷,而且全是静默失效——报告照绿。逐条:

生成缺陷 症状 修法
plan 取样死锁(最致命) 每格实例配额只有 2~4,却按 plan[k % 126] 取 → 所有格子恒定落在 tiny 量级 + one_big 形态,量级维与形态维完全是死的 按格号错开取样(步长与 plan 长度互质)
单例封顶没生效 探顶格落地成 2^31 元素(8.6 GB,必然 OOM)= 等于没测 落地层封顶;自由轴吸收不了就连钉住的轴一起钳
钉住大轴压死自由轴 R1 族全长成 (huge,1,1,1,1) 自由轴给下限
扩样冲掉派生量档 chunk=sub 的格被撒到 400 万元素、落进 far 扩样时按目标重分配所有自由轴
落地器缺输出/dtype 映射 BN 家族 (C,) 输出与 fp32 统计量全错,CSV 根本跑不了 补 out_shape_map / dtype_map / attr_defaults

修完的形态分布(同一份 driver,只换生成器):

指标 BatchNorm3D 修前 → 修后 BN3DTrainingUpdate 修前 → 修后
中位 numel 2,464,278 → 12,582,912 196,608 → 5,584,480
≥512K 占比 66% → 78% 49% → 72%
多轴同大(≥2 根轴 ≥256) 9% → 15% 8% → 14%
不可跑的超限例 有(2^31 元素) 有 → 已消除(封顶 32M 元素)

新增能力:host tiling 分支覆盖(客观尺子)

changwei-op-dev/scripts/tiling_branch_coverage.py。R0~R7 的覆盖率分母是我们自己画的功能空间,天生自证;分支覆盖的分母来自实现本身,可以用来客观判"这份集子到底走到了多少条路径"。

bash build.sh --pkg --cov --soc=ascend950 --ops=<op> -j16     # 插桩出包(--cov 加 -fprofile-arcs -ftest-coverage)
# 部署插桩后的 op_tiling/lib/linux/x86_64/libcust_opmaster_rt2.0.so,再跑 TTK 用例集
python3 tiling_branch_coverage.py --repo <ops-nn> --op index/arg_max_grad

输出 = 整体分支覆盖率 + 逐条未覆盖分支(文件:行 + 源码),后者直接就是"这份泛化集缺什么用例"的清单。

⚠️ 插桩包只用来量覆盖,别拿它下功能结论:实测同一批用例在干净包上 578/578 PASS,在插桩包上有 2 例 PROFILE_CRASH((1,64,8) / (1,3,64)),是插桩与 TTK profiling 的相互作用,不是算子缺陷。

2026-08-31 第二轮:解决"形状局限在单轴"

诊断(按用例名里的量级/形态标记逐族统计,不是猜的):

族 例数 双轴同量级 说明
R1 轴探顶 233 32% 语义就是把一根轴钉到某量级
R6 极值交叉 192 6% 语义是 a=max × b=min,结构上只能单轴独大
SHAPE 单行/单列/极端比 24 0% 语义如此
DFX / RANGE / ATTR / 补对 500+ 50~62% 形状自由的主力

两个真问题:

  1. 约一半的用例根本没走 shape planner —— 骨架格撒不出实例时直接落地(自由轴取默认 32/1),而 pairwise_fill 走的是另一套逐轴对数均匀逻辑。两条旁路合计占 49%。
  2. R1 + R6 两族占掉 40% 的名额,而它们按语义只能产出单轴独大的形状(R1 还乘了 dtype,5 轴 4 dtype 就是 380+ 个格子)。

修法:

  • 把「量级目标 + 轴形态」抽成公共 plan_axis_values(),扩样 / 补对 / 兜底三条路径统一走它;
  • R1 探顶不再乘 dtype("轴能到多大"是 shape 维的性质,dtype 交叉是 R6 与补对的职责),只保留每轴最大档 × 全 dtype;R6 同理收敛;
  • 配额按「这一格还有多少形状自由度」分配,而不是按格子数平均分;
  • 用例名带上 <量级>_<形态> 标记(如 ..._large_two_big_...),跑完能直接按名字核对哪一档真的出来了。

结果:

指标 BatchNorm3D BN3DTrainingUpdate
例数 1141 1356
中位 numel 7,932,120 4,194,304
双轴同量级(最大轴/次大轴 ≤ 8) 42% 44%
≥64 的轴数分布 0根 215 / 1根 578 / 2根 276 / 3根 72 0根 296 / 1根 645 / 2根 317 / 3根 95 / 4根 3

剩余的单轴独大主要来自 R1 / R6 / SHAPE 三族——那是这三条判据本身的语义,不是缺陷。

2026-08-31 第三轮:切核维 + 丰富性

用户实测指出两点:「绝大多数用例都是单核在动,其他核特别小」「R6/R7 感觉没有任何效果」。查下来是同一个根因:

生成器不知道哪根轴决定并行度。 BN 族按通道 C 切核/规约——总量再大、C=1 也只有一个核有活干。而:

  • R7 的 core 派生量用的是总元素数分档 → 与"几个核有活干"毫无关系,所以这一维等于没测;
  • 轴按声明序 N,D,H,W,C 分配预算,前面的轴把 max_elems 吃光,轮到最后的 C 只剩 1 —— 实测 BN3DTrainingUpdate 里 46% 的 R1 用例就是这么变成 C=1 的;
  • 实测:BN3DTU 新集 50% 的用例 C=1,通道维中位数就是 1。

修法:

  • spec 新增 parallel_axes(切核维,BN 族 = ['C'];不给则退化成所有轴,即元素级并行);
  • R7 的 core 档改为按切核维的元素数分档(sub 不足一核 / exact 恰好铺满 / multi_tail 带尾核 / far 远超),并直接把切核维钉到该档对应的值;
  • 切核维优先分配预算,其余轴分剩下的;
  • 切核维下限抬到核数(core:sub/core:exact/DFX/SHAPE 这几档除外——它们本来就是要测单核和小 C)。

另外补了丰富性上的一个真实短板:属性维。人工交付集光 epsilon 就有 6 档 × data_format 2 档 = 28 种组合,我的集只有 2 种(默认 / 全不传)——因为属性只在专门的 ATTRV 格里带值。改成每例都从声明值域里轮转取值(1/3 保持默认),并让 ATTRV 档的值真正写进 attributes。

指标 BatchNorm3D BN3DTrainingUpdate
例数 1269 1550
通道维(切核维)中位 8 → 64 1 → 32
不同形状 1096(86%) 1313(85%)
属性组合 2 → 12 种(最大占比 28%) 1 → 9 种
中位 numel 16,777,216 11,263,044

2026-08-31 第四轮:format(布局)维 + 两条静默失效

起因:复核第三轮产物时发现 BatchNorm3D 有 20 例「属性写 data_format='NDHWC'、形状仍是 NCDHW 布局 (scale 长度取 axis1)」的自相矛盾例 —— data_format 被当普通属性逐例轮转了,而它换一个值, 通道轴的位置跟着换。顺着查下去发现更大的一条:

两份集子的 input_formats 一律写 ND。而 BN3DTrainingUpdate 的 tiling 是 FormatToChannelAxis(x_fmt, …) 按 format 反查通道轴(NCHW→1 / NHWC→3 / NCDHW→1 / NDHWC→4, 其余一律 return GRAPH_FAILED)—— 那 1550 例在 tiling 就会被整份拒收。 当时没有任何判据能发现:验收器的功能空间里根本没有 format 这一维。

修法

层 改动
判据(R0) format 升为支持面的一维:需求 03_spec 写了以需求为准,def.cpp 的 ge::FORMAT_* 作对照,差异进报告(BN3DTrainingUpdate:需求只写 layout: ND,实现是 4 种布局 → 需求漏写)
生成器 ① spec['format_map']/['out_format_map'] 逐张量给 format,不再一律 ND;② spec['shape_semantic_attrs'] 把布局类属性排除出 ATTRV 档与逐例轮转(按批钉住);③ verify_materialized 新增布局一致性闸:format 要求的 rank / 通道轴位置必须与 shape 模板、切核维、属性默认值一致
驱动 BatchNorm3D 按 NCDHW / NDHWC 各出一批;BN3DTrainingUpdate 按 NCDHW / NDHWC / NCHW / NHWC 各出一批,批内 format、轴序、(C,) 的取值同源
验收器 format 进功能空间分母;shape_kind 改为从落地形状反推(原来恒缺 normal/extreme_ratio);probe 退出 CSV 分母(TTK 用例集没有这一列,还原不出来,留着只会给每份集扣同一段固定分)

顺带修掉的两条静默失效(都会让报告失真)

  • _capped 标记打在副本上:materialize 里 c = dict(c) 之后才打标,verify_materialized 遍历的是原 cases —— 于是每个被平台上限钳过的探顶格都误报"塌缩"(实测 74/840),真塌缩淹没在噪声里。
  • "凑数补足"路径不走 planner:expand 撒不够 target_n 时的兜底循环是逐轴对数均匀乱撒,既没有量级/形态档, 又会把 R7 派生量档冲掉(实测 29~33 个 R7 格落到 far)。现在与主路径共用 plan_axis_values + fit_derived_target。修完两份集的落地回填校验 0 塌缩(只剩"探顶格被钳到平台上限"的提示)。

结果(同一验收器,分母 = 需求声明的功能空间)

算子 用例集 例数 1-way 2-way 布局矛盾例
BatchNorm3D 第三轮 1269 95% 80% 20(且 format 全 ND)
BatchNorm3D 第四轮 1538 100% 90% 0
BN3DTrainingUpdate 第三轮 1550 91% 73% 全份 ND → tiling 拒收
BN3DTrainingUpdate 第四轮 2179 100% 92% 0

两份旧集的 1-way 漏档恰好就是 format 那几档(format=NCDHW/NDHWC / 四档全漏)——这一维以前不在分母里, 所以"报告全绿"和"整份集跑不起来"可以同时成立。

形态类指标(第三轮 → 第四轮):

指标 BatchNorm3D BN3DTrainingUpdate
format 分布 全 ND → NCDHW 771 / NDHWC 767 全 ND → 四档各 542~548
通道维 C=1 占比 15% → 15%(中位 64 → 32) 20% → 13%(中位 32 → 40)
C ≥ 48(能铺满核) 51% → 47% 43% → 50%
双轴同量级 47% → 53% 47% → 52%
量级分布 偏大(中位 1250 万) 偏大(中位 518 万)
量级分布(第四轮) tiny 62 / small 142 / mid 260 / large 355 / huge 578 / 空 141 tiny 127 / small 255 / mid 344 / large 487 / huge 810 / 空 156

⚠️ 中位 numel 下降(1250 万 → 419 万;518 万 → 390 万)是故意的:兜底路径改走 planner 后开始按 tiny/small/mid/large/huge 轮转,不再一水儿的大张量。BatchNorm3D 的 C≥48 掉了 4 个点是同一个原因 (小量级档里 C 本来就该小),C=1 没涨。

2026-08-31 第五轮:退化形状(某根轴 = 1)从"副产品"改回"专门的档"

用户实测指出:几乎每条用例都有一根轴是 1。复核属实 —— 非空用例里 75% / 73% 至少有一根轴 = 1, 其中 BatchNorm3D 有 550 例带 ≥2 根 1(rank=5 的张量实际退化成 2~3 维,"rank 5 已覆盖"是假的)。 分布上连 balanced-huge 这种本该五轴同大的档都有一半带 1,说明不是某一族的语义,是生成实现的问题。

四条根因,全在"把轴压到 1"的路径上:

根因 症状
尾轴对齐档写成 (v//32)*32 + 1 v < 32 时直接塌成 1。非对齐档的本意是"末轴不整除 32",不是"末轴 = 1"
expand 内联循环 hi = max_elems // prod 不给后面的轴留预算 先分的轴吃光元素预算,后面的轴 hi 被压成 1
one_big 形态档的自由轴下限是 1 "一根轴大"被实现成了"其余全 1"
单例封顶的几何缩轴 max(1, v*shrink) 封顶时把自由轴一路收到 1

修法:自由轴下限一律 2(balanced/two_big/three_big/skewed 仍是 8);分配时给未分的轴预留 2^k 元素预算;尾轴非对齐档改成"量级挪一格保证 %32 != 0";封顶缩轴同样以 2 为底。

⚠️ 中途踩到一次过度收紧:给封顶缩轴加下限 2 时把"已经是 1 的轴抬成 2",于是残差循环转去砍 那根探顶轴,最大单轴档 mag=huge 整档消失(1-way 100% → 98%)。轴探顶格(R1/PROBE)的语义就是 "一根轴顶到平台可达上限、其余让路" —— 5 维、单例 32M 上限下,某根轴要到 2900 万,其余数学上只能是 1。 最终规则改成缩轴永不把某根轴抬上去(max(min(2, v), v*shrink)),不靠 tag 特判,两边都成立。

结果

指标 BatchNorm3D BN3DTrainingUpdate
至少一根轴 = 1 75% → 37% 73% → 36%
≥2 根轴 = 1 550 例 → 46 例 727 例 → 120 例
通道维 C = 1 15% → 10% 13% → 13%
C ≥ 48(能铺满核) 47% → 63% 50% → 61%
最大单轴 29,210,829(保住) 29,210,829(保住)
中位 numel 419 万 → 1678 万 390 万 → 1425 万
1-way 100%(保持) 100%(保持)
2-way 90% → 87% 92% → 90%

剩下的 37% / 36% 集中在语义就要求退化的几族,逐族可核对:

族 带 1 的比例 是否应该
ATTRV / RANGE / R2 / R4 0% ✅ 这几族没有理由退化,改前是 55~79%
R1 轴探顶 24% / 20% ✅ 封顶后其余轴数学上只能让路(改前 67% / 71%)
R6 极值交叉(a=max × b=min,min = 声明下限 1) 91% / 70% ✅ 语义如此
R7 派生量 × 某轴取 min 80% / 74% ✅ AMG 缺陷就落在"派生量顶满 × 轴取小档"这一格
SHAPE 单行 / 单列 73% / 60% ✅ 定义如此
PROBE 探顶 100% / 83% ✅ 同 R1
pairwise 补对 35% / 45% 合理(要凑 shape_kind=single_row/col 这类档)

2-way 掉 2~3 个点是这次收紧的代价:少了大量退化形状,mag=tiny × shape_kind=single_row 这类 "靠退化例顺带凑上"的组合命中变少。1-way 仍是 100%,退化档本身没有丢(只是从 75% 收回到该有的比例)。

2026-08-31 第六轮:下限不是一个值,是一段区间

用户再次指出:上一轮等于把"必有一轴 = 1"改成了"必有一轴 = 2"。核下来属实,而且不止 2:

现象(第五轮产物) 数字
轴值恰好是 2(=自由轴下限) 全部轴槽的 23%,31% 的用例最小轴恰好是 2
通道维恰好是 64(=_par_floor 取的核数) 617/1542 = 40%
轴值恰好是 8(=balanced 档下限) 出现 1228 次

也就是说形状是几个魔数拼出来的:凡是被"钳到下限"的地方,值就全等于那个下限常数。

修法(三条,都是"别钳,去取点")

  1. floor_band(floor, hi, rnd):凡是钳下限的地方,改成在 [floor, floor*4] 上对数取点。
  2. 冷轴权重带抖动:two_big/three_big 的冷轴权重原来是固定 0.05,每根冷轴算出同一个 share、 再被下限一钳就全相等;改成 U(0.03, 0.22) 逐轴取。
  3. 分配次序改成「钉住的轴 → 冷轴 → 热轴」,热轴最后拿剩余预算。 ⚠️ 同时取消了第三轮的"切核维无条件排第一":切核维自己是热轴时排第一会一口吃光预算, 把后面的轴全压成 1(实测 one_big 出 [4, 3202347, 2, 1, 1])。"C 不能太小"改由 par_floor 这条下限区间保证,不靠次序 —— 效果反而更好(C 中位 64→73,且不再堆在 64 上)。

结果

指标 第三轮 第五轮 第六轮
至少一根轴 = 1(BN3D / BN3DTU) 75% / 73% 37% / 36% 36% / 35%
最常见轴值占全部轴槽 1 → 29% / 28% 2 → 23% 2 → 12% / 12%
最小轴的分布(BN3D) — 1:37% 2:31% 3-7:12% 8-31:21% 1:36% 2:19% 3-7:20% 8-31:25%
通道维恰好 = 64 — 617 例(40%) 48 例(3%)
通道维中位 / C≥48 32 / 47% 64 / 63% 73 / 58%
1-way 100% 100% 100%
2-way 90% / 92% 87% / 90% 85% / 89%

新增判据:轴值集中度(这类问题以后由验收器自己报)

--audit 现在输出「最常见轴值占全部轴槽的比例 + 不同取值个数」,超过 25% 直接报不合格:

第三轮两份集: 值 1 占 29% / 28%  → ⚠️ 报出来
第六轮两份集: 值 2 占 12% / 12%  → 通过(不同取值 594 / 763 个)

判据落在落地 CSV 上,和"形状是不是魔数拼的"这个问题一一对应 —— 前两轮我都是被用户看出来的, 这条加上之后同类问题不用靠人眼。

2-way 比第三轮低 5 个点是这两轮收紧的代价:退化形状(mag=tiny × shape_kind=single_row 这类) 少了很多,靠它们顺带凑上的组合命中变少;1-way 一直是 100%,档本身没丢。

2026-08-31 第七轮:纵横比(这一轮是止血,不是治本)

用户指出:用例里充斥"一根极大轴 + 几根极小轴"的刻意形状。量化对比人工交付集:

max/min 我方(第六轮 BN3D) 人工交付集 BN3D
≤ 8(均衡) 11% 38%
≤ 64 32% 51%
> 1e5 15% 0

根因是模型本身:先定总元素数、再按指数权重劈给各轴,one_big/skewed 档天生只能产出 "一根轴吃光预算、其余贴着下限"。真实网络里的 BN 形状是 (32,64,16,56,56) 这种各轴同量级的。

这一轮做的(止血):

  • rebalance_ratio():非极端格按抽到的比值上限(4/8/16/64/256)抬小轴、压大轴,钉住的轴不动;
  • is_extreme_grid():只有 R1 探顶 / R6 极值交叉 / SHAPE 单行单列 / R7×轴取 min 这几族放行极端比;
  • 凑数补足只在形状自由的格子里撒,别把 R1 补成 309 例。

结果(BN3D):≤8 11%→29%,中位比 104→25,>1e4 17%→14%(余下全在 R1/R6/PROBE/SHAPE 四族)。 BN3DTU 因为四个布局各自出批、每批里极端格占比更高,>1e4 仍有 20%,没解决。

⚠️ 这仍然是在调我自己编的分布。真正的问题在下一节。