[Documentation|文档反馈]: 算子跨平台迁移指导的规格参数表与昇腾950白皮书/CANN INI 不一致
https://gitcode.com/cann/ops-transformer/blob/master/docs/zh/develop/cross_platform_migration_guide.md
涉及位置:§一「代际规格参数对比」表、§二「硬件能力变更引入适配点」表(存储单元行、计算单元行)。
规格参数表(Atlas A2 → Ascend 950):
以及 §二 中「Local Buffer内存改进:Cube L0C 256KB、Vector UB 256KB」「Cube不再支持int4_t」两处表述。
对照真源《昇腾950 NPU架构白皮书》表3-1/表4-2 与 CANN 安装包 platform_config/*.ini(两源已做算术闭环交叉验证):
platform_config/*.ini
426T@BF16,FP16
757T@FP8,HIFP8,MXFP8,INT8
HIFP8
HiF8
1514T@MXFP4
353T/376T
23.5T
Vector UB 256KB
ub_size=253952
GetCoreMemSize(UB)
Cube不再支持int4_t
int4b_t
int4x2_t
一致、无需修改的项:L0C 128KB→256KB、4:2 稀疏矩阵计算移除、频率 1.8/1.65 GHz。
1)规格表按「Atlas A2 以 Ascend910B2 为例 / Ascend 950 以 Ascend950PR Server 档为例」标注列头,拆分 Cube/Vector 核数与总算力,数值取白皮书官方标注,并加脚注:
<table> <tr> <th colspan="2" style="width: 25%;">规格项</th> <th style="width:37.5%;">Atlas A2(以 Ascend910B2 为例)</th> <th style="width:37.5%;">Ascend 950(以 Ascend950PR Server 档为例)</th> </tr> <tr> <td rowspan="4">AICore</td> <td>Cube 核数</td> <td>24</td> <td>32</td> </tr> <tr> <td>Vector 核数</td> <td>48</td> <td>64</td> </tr> <tr> <td>频率 (GHz)</td> <td>1.8</td> <td>1.65</td> </tr> <tr> <td>Cube 算力</td> <td>353T @BF16/FP16</td> <td>432T @BF16/FP16;865T @FP8/HiF8/MXFP8;1730T @MXFP4</td> </tr> <tr> <td>Vector</td> <td>Vector 算力 (FP16)</td> <td>22T</td> <td>54T</td> </tr> <tr> <td rowspan="2">Memory</td> <td>Memory 容量 (GB)</td> <td>64</td> <td>128</td> </tr> <tr> <td>Memory 带宽</td> <td>1.6TB/s</td> <td>1.6TB/s</td> </tr> </table>
脚注:
PlatformAscendC
GetCoreNumAic/GetCoreNumAiv/GetCoreMemSize
2)§二 两处表述替换:
Local Buffer内存改进:Cube L0C 256KB、Vector UB 256KB
Local Buffer内存改进:Cube L0C 扩至 256KB(A2 为 128KB);UB 每 AIV 物理 256KB、用户可用 248KB(A2 为 192KB)。tiling 一律以 GetCoreMemSize 返回值为准
Cube MMAD 不再支持 INT4 矩阵计算(int4b_t 及打包类型 int4x2_t 仍为合法内置类型,可用于 Vector 计算与权重存储)
ops-math
ops-nn
ops-cv
ops-transformer
/assign @weihao18
[Documentation|文档反馈]: 算子跨平台迁移指导的规格参数表与昇腾950白皮书/CANN INI 不一致
Document Link(文档链接)
https://gitcode.com/cann/ops-transformer/blob/master/docs/zh/develop/cross_platform_migration_guide.md
涉及位置:§一「代际规格参数对比」表、§二「硬件能力变更引入适配点」表(存储单元行、计算单元行)。
Issues Section(问题文档片段)
规格参数表(Atlas A2 → Ascend 950):
以及 §二 中「Local Buffer内存改进:Cube L0C 256KB、Vector UB 256KB」「Cube不再支持int4_t」两处表述。
Existing Issues(存在的问题)
对照真源《昇腾950 NPU架构白皮书》表3-1/表4-2 与 CANN 安装包
platform_config/*.ini(两源已做算术闭环交叉验证):426T@BF16,FP16757T@FP8,HIFP8,MXFP8,INT8HIFP8应为HiF81514T@MXFP4353T/376T23.5TVector UB 256KBub_size=253952,即GetCoreMemSize(UB)返回值)Cube不再支持int4_tint4b_t(打包int4x2_t),在 950 仍为合法内置类型(Vector 计算/权重存储),仅 Cube MMAD 不支持一致、无需修改的项:L0C 128KB→256KB、4:2 稀疏矩阵计算移除、频率 1.8/1.65 GHz。
修改建议(可直接替换)
1)规格表按「Atlas A2 以 Ascend910B2 为例 / Ascend 950 以 Ascend950PR Server 档为例」标注列头,拆分 Cube/Vector 核数与总算力,数值取白皮书官方标注,并加脚注:
替换后的规格表(HTML,与原文格式一致)
<table> <tr> <th colspan="2" style="width: 25%;">规格项</th> <th style="width:37.5%;">Atlas A2(以 Ascend910B2 为例)</th> <th style="width:37.5%;">Ascend 950(以 Ascend950PR Server 档为例)</th> </tr> <tr> <td rowspan="4">AICore</td> <td>Cube 核数</td> <td>24</td> <td>32</td> </tr> <tr> <td>Vector 核数</td> <td>48</td> <td>64</td> </tr> <tr> <td>频率 (GHz)</td> <td>1.8</td> <td>1.65</td> </tr> <tr> <td>Cube 算力</td> <td>353T @BF16/FP16</td> <td>432T @BF16/FP16;865T @FP8/HiF8/MXFP8;1730T @MXFP4</td> </tr> <tr> <td>Vector</td> <td>Vector 算力 (FP16)</td> <td>22T</td> <td>54T</td> </tr> <tr> <td rowspan="2">Memory</td> <td>Memory 容量 (GB)</td> <td>64</td> <td>128</td> </tr> <tr> <td>Memory 带宽</td> <td>1.6TB/s</td> <td>1.6TB/s</td> </tr> </table>脚注:
PlatformAscendC(GetCoreNumAic/GetCoreNumAiv/GetCoreMemSize)运行时获取,禁止硬编码。2)§二 两处表述替换:
Local Buffer内存改进:Cube L0C 256KB、Vector UB 256KBLocal Buffer内存改进:Cube L0C 扩至 256KB(A2 为 128KB);UB 每 AIV 物理 256KB、用户可用 248KB(A2 为 192KB)。tiling 一律以 GetCoreMemSize 返回值为准Cube不再支持int4_tCube MMAD 不再支持 INT4 矩阵计算(int4b_t 及打包类型 int4x2_t 仍为合法内置类型,可用于 Vector 计算与权重存储)备注
ops-math/ops-nn/ops-cv/ops-transformer四仓同源(原始来源为 ops-nn PR #2980,ops-cv PR #639 等同步复制),已在四仓分别提单:- cann/ops-math: https://gitcode.com/cann/ops-math/issues/3252