泛化用例集(R0~R7' 口径重出,临时目录,2026-08-31)
按修订后的八条硬约束重新生成的泛化用例集,用来对比现有交付集的泛化性。判据锚定需求文档(03_spec.yaml / 01 支持面表),不锚定当前代码——代码可能实现得不准(窄于需求是缺陷、宽于需求是需求漏写),拿被测代码当分母会让"实现窄于需求"这类问题从分母里消失。
本次口径修订
| 条款 | 改动 |
|---|---|
| R0 支持面锚定 | 基准从 op_host/*_def.cpp 改为需求文档;def 只作对照,差异(实现窄/宽于需求)进报告,不再把"需求有、实现无"的档当假例删掉 |
| R5 判据覆盖(原"常量反查") | 不止显式常量,还要覆盖公式导出的隐式阈值;可判定形式 = host tiling 分支覆盖(每个 if 两侧、每条 return GRAPH_FAILED 被命中或标注不可达) |
| R7 派生量全值域(新增) | 把 tiling 由平台反推的每个量(段长 colsPerChunk、每核份额 elemsPerCore、合并行数…)立成派生轴,每个量在自己值域上分五档 sub / exact / multi_exact / multi_tail / far。不照着某个已知缺陷描画像 |
| 落地回填校验(新增闸) | 判据落在落地 CSV 上而非抽象格子:钉住的轴值必须真出现在 shape 里、派生量档位落地后仍在目标档。塌缩就报错 |
覆盖率对比(同一验收器 gen_quota_cases.py --audit,分母来自需求声明的功能空间)
| 算子 | 用例集 | 例数 | 1-way | 2-way | 派生量档位 | 最大轴 |
|---|---|---|---|---|---|---|
| BatchNorm3D | 现交付集 | 959 | 28% | 8% | chunk/core 五档里四档全空(全部 sub) |
12 |
| BatchNorm3D | 本次 R7' 集(v2,修完生成缺陷) | 1155 | 81% | 56% | 五档齐 | 33554432(平台可达上限内) |
| BN3DTrainingUpdate | 现交付集 | 1058 | 53% | 24% | 缺 multi_exact |
1024 |
| BN3DTrainingUpdate | 本次 R7' 集(v2,修完生成缺陷) | 1623 | 81% | 58% | 五档齐 | 33554432(平台可达上限内) |
| ArgMaxGrad | 现交付集 | 1224 | — | — | 缺 far |
10495 |
| ArgMaxGrad | 本次 R7' 集 | 348 / 578 | — | — | 五档齐 | — |
ArgMaxGrad 另有白盒指标(用 tiling 分支模型算,全域 28 档):现交付集 27/28、已作废的旧 R0~R6 补集 20/28、r7_348 27/28、r7v2_578 28/28。
真机状态
ArgMaxGrad_generalization_r7_348.csv:Ascend950PR 真机 348/348 PASS(-d=false -b=release,判据binary_equal,结果条数==用例条数)。ArgMaxGrad_generalization_r7v2_578.csv:跑批进行中,已完成部分全 PASS。- BatchNorm3D / BN3DTrainingUpdate 两份尚未上真机,本次只做用例集与覆盖率对比。
目录
cases/:四份用例集(TTK 格式,可直接python3 -m ttk kernel -i <csv> -d=false -b=release)。tools/:生成脚本。gen_bn3d.py/gen_bn3dtu.py调用changwei-op-dev/scripts/gen_quota_cases.py(通用生成器);gen_amg_cases.py/gen_amg_v2.py是 ArgMaxGrad 的专用落地器;amg_model.py是 ArgMaxGrad 的 tiling 分支模型,用来客观算分支覆盖。
已知缺口
- 生成器算派生量单元大小时用的是保守估计(16 B/元素)。要精确区分"主循环走满无尾"与"带残尾",得由算子自己的落地器用真实段长算(
amg_model.py即此法)。 - BatchNorm3D / BN3DTrainingUpdate 的
probe(dtype_limit / mem_limit / loop_depth)与部分shape_kind档未落地,1-way 差的就是这几档。
2026-08-31 补充:修的是生成,不是判据
R0~R7 这八条判据本身够用;泛化性差是生成实现的缺陷,而且全是静默失效——报告照绿。逐条:
| 生成缺陷 | 症状 | 修法 |
|---|---|---|
plan 取样死锁(最致命) |
每格实例配额只有 2~4,却按 plan[k % 126] 取 → 所有格子恒定落在 tiny 量级 + one_big 形态,量级维与形态维完全是死的 |
按格号错开取样(步长与 plan 长度互质) |
| 单例封顶没生效 | 探顶格落地成 2^31 元素(8.6 GB,必然 OOM)= 等于没测 | 落地层封顶;自由轴吸收不了就连钉住的轴一起钳 |
| 钉住大轴压死自由轴 | R1 族全长成 (huge,1,1,1,1) |
自由轴给下限 |
| 扩样冲掉派生量档 | chunk=sub 的格被撒到 400 万元素、落进 far |
扩样时按目标重分配所有自由轴 |
| 落地器缺输出/dtype 映射 | BN 家族 (C,) 输出与 fp32 统计量全错,CSV 根本跑不了 |
补 out_shape_map / dtype_map / attr_defaults |
修完的形态分布(同一份 driver,只换生成器):
| 指标 | BatchNorm3D 修前 → 修后 | BN3DTrainingUpdate 修前 → 修后 |
|---|---|---|
| 中位 numel | 2,464,278 → 12,582,912 | 196,608 → 5,584,480 |
| ≥512K 占比 | 66% → 78% | 49% → 72% |
| 多轴同大(≥2 根轴 ≥256) | 9% → 15% | 8% → 14% |
| 不可跑的超限例 | 有(2^31 元素) | 有 → 已消除(封顶 32M 元素) |
新增能力:host tiling 分支覆盖(客观尺子)
changwei-op-dev/scripts/tiling_branch_coverage.py。R0~R7 的覆盖率分母是我们自己画的功能空间,天生自证;分支覆盖的分母来自实现本身,可以用来客观判"这份集子到底走到了多少条路径"。
bash build.sh --pkg --cov --soc=ascend950 --ops=<op> -j16 # 插桩出包(--cov 加 -fprofile-arcs -ftest-coverage)
# 部署插桩后的 op_tiling/lib/linux/x86_64/libcust_opmaster_rt2.0.so,再跑 TTK 用例集
python3 tiling_branch_coverage.py --repo <ops-nn> --op index/arg_max_grad
输出 = 整体分支覆盖率 + 逐条未覆盖分支(文件:行 + 源码),后者直接就是"这份泛化集缺什么用例"的清单。
⚠️ 插桩包只用来量覆盖,别拿它下功能结论:实测同一批用例在干净包上 578/578 PASS,在插桩包上有 2 例 PROFILE_CRASH((1,64,8) / (1,3,64)),是插桩与 TTK profiling 的相互作用,不是算子缺陷。
2026-08-31 第二轮:解决"形状局限在单轴"
诊断(按用例名里的量级/形态标记逐族统计,不是猜的):
| 族 | 例数 | 双轴同量级 | 说明 |
|---|---|---|---|
| R1 轴探顶 | 233 | 32% | 语义就是把一根轴钉到某量级 |
| R6 极值交叉 | 192 | 6% | 语义是 a=max × b=min,结构上只能单轴独大 |
| SHAPE 单行/单列/极端比 | 24 | 0% | 语义如此 |
| DFX / RANGE / ATTR / 补对 | 500+ | 50~62% | 形状自由的主力 |
两个真问题:
- 约一半的用例根本没走 shape planner —— 骨架格撒不出实例时直接落地(自由轴取默认 32/1),而
pairwise_fill走的是另一套逐轴对数均匀逻辑。两条旁路合计占 49%。 - R1 + R6 两族占掉 40% 的名额,而它们按语义只能产出单轴独大的形状(R1 还乘了 dtype,5 轴 4 dtype 就是 380+ 个格子)。
修法:
- 把「量级目标 + 轴形态」抽成公共
plan_axis_values(),扩样 / 补对 / 兜底三条路径统一走它; - R1 探顶不再乘 dtype("轴能到多大"是 shape 维的性质,dtype 交叉是 R6 与补对的职责),只保留每轴最大档 × 全 dtype;R6 同理收敛;
- 配额按「这一格还有多少形状自由度」分配,而不是按格子数平均分;
- 用例名带上
<量级>_<形态>标记(如..._large_two_big_...),跑完能直接按名字核对哪一档真的出来了。
结果:
| 指标 | BatchNorm3D | BN3DTrainingUpdate |
|---|---|---|
| 例数 | 1141 | 1356 |
| 中位 numel | 7,932,120 | 4,194,304 |
| 双轴同量级(最大轴/次大轴 ≤ 8) | 42% | 44% |
| ≥64 的轴数分布 | 0根 215 / 1根 578 / 2根 276 / 3根 72 | 0根 296 / 1根 645 / 2根 317 / 3根 95 / 4根 3 |
剩余的单轴独大主要来自 R1 / R6 / SHAPE 三族——那是这三条判据本身的语义,不是缺陷。
2026-08-31 第三轮:切核维 + 丰富性
用户实测指出两点:「绝大多数用例都是单核在动,其他核特别小」「R6/R7 感觉没有任何效果」。查下来是同一个根因:
生成器不知道哪根轴决定并行度。 BN 族按通道 C 切核/规约——总量再大、C=1 也只有一个核有活干。而:
- R7 的
core派生量用的是总元素数分档 → 与"几个核有活干"毫无关系,所以这一维等于没测; - 轴按声明序
N,D,H,W,C分配预算,前面的轴把max_elems吃光,轮到最后的C只剩 1 —— 实测 BN3DTrainingUpdate 里 46% 的 R1 用例就是这么变成C=1的; - 实测:BN3DTU 新集 50% 的用例 C=1,通道维中位数就是 1。
修法:
- spec 新增
parallel_axes(切核维,BN 族 =['C'];不给则退化成所有轴,即元素级并行); - R7 的
core档改为按切核维的元素数分档(sub不足一核 /exact恰好铺满 /multi_tail带尾核 /far远超),并直接把切核维钉到该档对应的值; - 切核维优先分配预算,其余轴分剩下的;
- 切核维下限抬到核数(
core:sub/core:exact/DFX/SHAPE 这几档除外——它们本来就是要测单核和小C)。
另外补了丰富性上的一个真实短板:属性维。人工交付集光 epsilon 就有 6 档 × data_format 2 档 = 28 种组合,我的集只有 2 种(默认 / 全不传)——因为属性只在专门的 ATTRV 格里带值。改成每例都从声明值域里轮转取值(1/3 保持默认),并让 ATTRV 档的值真正写进 attributes。
| 指标 | BatchNorm3D | BN3DTrainingUpdate |
|---|---|---|
| 例数 | 1269 | 1550 |
| 通道维(切核维)中位 | 8 → 64 | 1 → 32 |
| 不同形状 | 1096(86%) | 1313(85%) |
| 属性组合 | 2 → 12 种(最大占比 28%) | 1 → 9 种 |
| 中位 numel | 16,777,216 | 11,263,044 |
2026-08-31 第四轮:format(布局)维 + 两条静默失效
起因:复核第三轮产物时发现 BatchNorm3D 有 20 例「属性写 data_format='NDHWC'、形状仍是 NCDHW 布局
(scale 长度取 axis1)」的自相矛盾例 —— data_format 被当普通属性逐例轮转了,而它换一个值,
通道轴的位置跟着换。顺着查下去发现更大的一条:
两份集子的
input_formats一律写ND。而 BN3DTrainingUpdate 的 tiling 是FormatToChannelAxis(x_fmt, …)按 format 反查通道轴(NCHW→1 / NHWC→3 / NCDHW→1 / NDHWC→4, 其余一律return GRAPH_FAILED)—— 那 1550 例在 tiling 就会被整份拒收。 当时没有任何判据能发现:验收器的功能空间里根本没有 format 这一维。
修法
| 层 | 改动 |
|---|---|
| 判据(R0) | format 升为支持面的一维:需求 03_spec 写了以需求为准,def.cpp 的 ge::FORMAT_* 作对照,差异进报告(BN3DTrainingUpdate:需求只写 layout: ND,实现是 4 种布局 → 需求漏写) |
| 生成器 | ① spec['format_map']/['out_format_map'] 逐张量给 format,不再一律 ND;② spec['shape_semantic_attrs'] 把布局类属性排除出 ATTRV 档与逐例轮转(按批钉住);③ verify_materialized 新增布局一致性闸:format 要求的 rank / 通道轴位置必须与 shape 模板、切核维、属性默认值一致 |
| 驱动 | BatchNorm3D 按 NCDHW / NDHWC 各出一批;BN3DTrainingUpdate 按 NCDHW / NDHWC / NCHW / NHWC 各出一批,批内 format、轴序、(C,) 的取值同源 |
| 验收器 | format 进功能空间分母;shape_kind 改为从落地形状反推(原来恒缺 normal/extreme_ratio);probe 退出 CSV 分母(TTK 用例集没有这一列,还原不出来,留着只会给每份集扣同一段固定分) |
顺带修掉的两条静默失效(都会让报告失真)
_capped标记打在副本上:materialize里c = dict(c)之后才打标,verify_materialized遍历的是原cases—— 于是每个被平台上限钳过的探顶格都误报"塌缩"(实测 74/840),真塌缩淹没在噪声里。- "凑数补足"路径不走 planner:
expand撒不够target_n时的兜底循环是逐轴对数均匀乱撒,既没有量级/形态档, 又会把 R7 派生量档冲掉(实测 29~33 个 R7 格落到far)。现在与主路径共用plan_axis_values+fit_derived_target。修完两份集的落地回填校验 0 塌缩(只剩"探顶格被钳到平台上限"的提示)。
结果(同一验收器,分母 = 需求声明的功能空间)
| 算子 | 用例集 | 例数 | 1-way | 2-way | 布局矛盾例 |
|---|---|---|---|---|---|
| BatchNorm3D | 第三轮 | 1269 | 95% | 80% | 20(且 format 全 ND) |
| BatchNorm3D | 第四轮 | 1538 | 100% | 90% | 0 |
| BN3DTrainingUpdate | 第三轮 | 1550 | 91% | 73% | 全份 ND → tiling 拒收 |
| BN3DTrainingUpdate | 第四轮 | 2179 | 100% | 92% | 0 |
两份旧集的 1-way 漏档恰好就是 format 那几档(format=NCDHW/NDHWC / 四档全漏)——这一维以前不在分母里,
所以"报告全绿"和"整份集跑不起来"可以同时成立。
形态类指标(第三轮 → 第四轮):
| 指标 | BatchNorm3D | BN3DTrainingUpdate |
|---|---|---|
| format 分布 | 全 ND → NCDHW 771 / NDHWC 767 |
全 ND → 四档各 542~548 |
| 通道维 C=1 占比 | 15% → 15%(中位 64 → 32) | 20% → 13%(中位 32 → 40) |
| C ≥ 48(能铺满核) | 51% → 47% | 43% → 50% |
| 双轴同量级 | 47% → 53% | 47% → 52% |
| 量级分布 | 偏大(中位 1250 万) | 偏大(中位 518 万) |
| 量级分布(第四轮) | tiny 62 / small 142 / mid 260 / large 355 / huge 578 / 空 141 | tiny 127 / small 255 / mid 344 / large 487 / huge 810 / 空 156 |
⚠️ 中位 numel 下降(1250 万 → 419 万;518 万 → 390 万)是故意的:兜底路径改走 planner 后开始按
tiny/small/mid/large/huge 轮转,不再一水儿的大张量。BatchNorm3D 的 C≥48 掉了 4 个点是同一个原因
(小量级档里 C 本来就该小),C=1 没涨。
2026-08-31 第五轮:退化形状(某根轴 = 1)从"副产品"改回"专门的档"
用户实测指出:几乎每条用例都有一根轴是 1。复核属实 —— 非空用例里 75% / 73% 至少有一根轴 = 1,
其中 BatchNorm3D 有 550 例带 ≥2 根 1(rank=5 的张量实际退化成 2~3 维,"rank 5 已覆盖"是假的)。
分布上连 balanced-huge 这种本该五轴同大的档都有一半带 1,说明不是某一族的语义,是生成实现的问题。
四条根因,全在"把轴压到 1"的路径上:
| 根因 | 症状 |
|---|---|
尾轴对齐档写成 (v//32)*32 + 1 |
v < 32 时直接塌成 1。非对齐档的本意是"末轴不整除 32",不是"末轴 = 1" |
expand 内联循环 hi = max_elems // prod 不给后面的轴留预算 |
先分的轴吃光元素预算,后面的轴 hi 被压成 1 |
one_big 形态档的自由轴下限是 1 |
"一根轴大"被实现成了"其余全 1" |
单例封顶的几何缩轴 max(1, v*shrink) |
封顶时把自由轴一路收到 1 |
修法:自由轴下限一律 2(balanced/two_big/three_big/skewed 仍是 8);分配时给未分的轴预留
2^k 元素预算;尾轴非对齐档改成"量级挪一格保证 %32 != 0";封顶缩轴同样以 2 为底。
⚠️ 中途踩到一次过度收紧:给封顶缩轴加下限 2 时把"已经是 1 的轴抬成 2",于是残差循环转去砍
那根探顶轴,最大单轴档 mag=huge 整档消失(1-way 100% → 98%)。轴探顶格(R1/PROBE)的语义就是
"一根轴顶到平台可达上限、其余让路" —— 5 维、单例 32M 上限下,某根轴要到 2900 万,其余数学上只能是 1。
最终规则改成缩轴永不把某根轴抬上去(max(min(2, v), v*shrink)),不靠 tag 特判,两边都成立。
结果
| 指标 | BatchNorm3D | BN3DTrainingUpdate |
|---|---|---|
| 至少一根轴 = 1 | 75% → 37% | 73% → 36% |
| ≥2 根轴 = 1 | 550 例 → 46 例 | 727 例 → 120 例 |
| 通道维 C = 1 | 15% → 10% | 13% → 13% |
| C ≥ 48(能铺满核) | 47% → 63% | 50% → 61% |
| 最大单轴 | 29,210,829(保住) | 29,210,829(保住) |
| 中位 numel | 419 万 → 1678 万 | 390 万 → 1425 万 |
| 1-way | 100%(保持) | 100%(保持) |
| 2-way | 90% → 87% | 92% → 90% |
剩下的 37% / 36% 集中在语义就要求退化的几族,逐族可核对:
| 族 | 带 1 的比例 | 是否应该 |
|---|---|---|
| ATTRV / RANGE / R2 / R4 | 0% | ✅ 这几族没有理由退化,改前是 55~79% |
| R1 轴探顶 | 24% / 20% | ✅ 封顶后其余轴数学上只能让路(改前 67% / 71%) |
R6 极值交叉(a=max × b=min,min = 声明下限 1) |
91% / 70% | ✅ 语义如此 |
| R7 派生量 × 某轴取 min | 80% / 74% | ✅ AMG 缺陷就落在"派生量顶满 × 轴取小档"这一格 |
| SHAPE 单行 / 单列 | 73% / 60% | ✅ 定义如此 |
| PROBE 探顶 | 100% / 83% | ✅ 同 R1 |
| pairwise 补对 | 35% / 45% | 合理(要凑 shape_kind=single_row/col 这类档) |
2-way 掉 2~3 个点是这次收紧的代价:少了大量退化形状,mag=tiny × shape_kind=single_row 这类
"靠退化例顺带凑上"的组合命中变少。1-way 仍是 100%,退化档本身没有丢(只是从 75% 收回到该有的比例)。
2026-08-31 第六轮:下限不是一个值,是一段区间
用户再次指出:上一轮等于把"必有一轴 = 1"改成了"必有一轴 = 2"。核下来属实,而且不止 2:
| 现象(第五轮产物) | 数字 |
|---|---|
| 轴值恰好是 2(=自由轴下限) | 全部轴槽的 23%,31% 的用例最小轴恰好是 2 |
通道维恰好是 64(=_par_floor 取的核数) |
617/1542 = 40% |
轴值恰好是 8(=balanced 档下限) |
出现 1228 次 |
也就是说形状是几个魔数拼出来的:凡是被"钳到下限"的地方,值就全等于那个下限常数。
修法(三条,都是"别钳,去取点")
floor_band(floor, hi, rnd):凡是钳下限的地方,改成在[floor, floor*4]上对数取点。- 冷轴权重带抖动:
two_big/three_big的冷轴权重原来是固定0.05,每根冷轴算出同一个 share、 再被下限一钳就全相等;改成U(0.03, 0.22)逐轴取。 - 分配次序改成「钉住的轴 → 冷轴 → 热轴」,热轴最后拿剩余预算。
⚠️ 同时取消了第三轮的"切核维无条件排第一":切核维自己是热轴时排第一会一口吃光预算,
把后面的轴全压成 1(实测
one_big出[4, 3202347, 2, 1, 1])。"C 不能太小"改由par_floor这条下限区间保证,不靠次序 —— 效果反而更好(C 中位 64→73,且不再堆在 64 上)。
结果
| 指标 | 第三轮 | 第五轮 | 第六轮 |
|---|---|---|---|
| 至少一根轴 = 1(BN3D / BN3DTU) | 75% / 73% | 37% / 36% | 36% / 35% |
| 最常见轴值占全部轴槽 | 1 → 29% / 28% | 2 → 23% | 2 → 12% / 12% |
| 最小轴的分布(BN3D) | — | 1:37% 2:31% 3-7:12% 8-31:21% | 1:36% 2:19% 3-7:20% 8-31:25% |
| 通道维恰好 = 64 | — | 617 例(40%) | 48 例(3%) |
| 通道维中位 / C≥48 | 32 / 47% | 64 / 63% | 73 / 58% |
| 1-way | 100% | 100% | 100% |
| 2-way | 90% / 92% | 87% / 90% | 85% / 89% |
新增判据:轴值集中度(这类问题以后由验收器自己报)
--audit 现在输出「最常见轴值占全部轴槽的比例 + 不同取值个数」,超过 25% 直接报不合格:
第三轮两份集: 值 1 占 29% / 28% → ⚠️ 报出来
第六轮两份集: 值 2 占 12% / 12% → 通过(不同取值 594 / 763 个)
判据落在落地 CSV 上,和"形状是不是魔数拼的"这个问题一一对应 —— 前两轮我都是被用户看出来的, 这条加上之后同类问题不用靠人眼。
2-way 比第三轮低 5 个点是这两轮收紧的代价:退化形状(mag=tiny × shape_kind=single_row 这类)
少了很多,靠它们顺带凑上的组合命中变少;1-way 一直是 100%,档本身没丢。
2026-08-31 第七轮:纵横比(这一轮是止血,不是治本)
用户指出:用例里充斥"一根极大轴 + 几根极小轴"的刻意形状。量化对比人工交付集:
| max/min | 我方(第六轮 BN3D) | 人工交付集 BN3D |
|---|---|---|
| ≤ 8(均衡) | 11% | 38% |
| ≤ 64 | 32% | 51% |
| > 1e5 | 15% | 0 |
根因是模型本身:先定总元素数、再按指数权重劈给各轴,one_big/skewed 档天生只能产出
"一根轴吃光预算、其余贴着下限"。真实网络里的 BN 形状是 (32,64,16,56,56) 这种各轴同量级的。
这一轮做的(止血):
rebalance_ratio():非极端格按抽到的比值上限(4/8/16/64/256)抬小轴、压大轴,钉住的轴不动;is_extreme_grid():只有 R1 探顶 / R6 极值交叉 / SHAPE 单行单列 / R7×轴取 min 这几族放行极端比;- 凑数补足只在形状自由的格子里撒,别把 R1 补成 309 例。
结果(BN3D):≤8 11%→29%,中位比 104→25,>1e4 17%→14%(余下全在 R1/R6/PROBE/SHAPE 四族)。
BN3DTU 因为四个布局各自出批、每批里极端格占比更高,>1e4 仍有 20%,没解决。
⚠️ 这仍然是在调我自己编的分布。真正的问题在下一节。