Star0
0
Code
Code
Issues
Pull Requests
Actions
Discussion
Wiki
Analysis
Star0
0
cann-robotcann-robotfeat: tile、expand、broadcast_to算子infershape整改
ae087b18Add on 12 days agoHistory
FilesLast commitLast update
op_api
新增Expand算子 Co-authored-by: l00939308<luwenxiang4@huawei.com> # message auto-generated for no-merge-commit merge: !1133 merge master into master 新增Expand算子 Created-by: luwenxiang1998 Commit-by: l00939308 Merged-by: cann-robot Description: ## 描述 新增Expand算子 ## 关联的Issue https://gitcode.com/cann/ops-math/issues/814 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：新增Expand算子 See merge request: cann/ops-math!1133
8 months ago
op_host
feat: tile、expand、broadcast_to算子infershape整改 Co-authored-by: ly_cann_coder<liyao152@huawei.com> # message auto-generated for no-merge-commit merge: !6797 merge dev_1030 into master feat: tile、expand、broadcast_to算子infershape整改 Created-by: ly_cann_coder Commit-by: ly_cann_coder Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> tile、expand、broadcast_to算子infershape整改，功能与RT1.0对齐 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-math/issues/4273 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!6797
12 days ago
op_kernel_aicpu
[性能优化] 降低 Expand AICPU 广播临时内存 Co-authored-by: zhaowenrui666<zhaowenrui7@huawei.com> # message auto-generated for no-merge-commit merge: !5664 merge optimize-expand-aicpu-memory into master [性能优化] 降低 Expand AICPU 广播临时内存 Created-by: zhaowenrui666 Commit-by: zhaowenrui666 Merged-by: cann-robot Description: ## 描述 ### 优化目标 本 PR 只修改 math/expand/op_kernel_aicpu/expand_aicpu.cpp，降低 Expand AICPU kernel 在广播过程中的临时堆内存，同时保证功能语义和性能不劣化。 过程报告、内存统计器、专项 UT 和 microbench 仅用于本地验证，不进入提交。 ### 原实现问题 原实现先把输入 Tensor 完整复制到 input_values，再按广播轴循环调用 GetExpandIndex、CopyExpandIndex 和 CalculateOutIndex。每处理一个广播轴都会通过 vector::insert 物化中间结果，下一轮又将 output_values 复制回 input_values，最终再复制到输出 Tensor。 因此临时内存随 dtype 字节宽度和输出元素数增长。INT64 [1,34,34] -> [32,34,34] 场景中，输入为 1,156 个元素，kernel 额外申请达到 626,816 B。 原 dtype 分派还会在每次调用时构造 map<int, std::function<...>>，产生固定堆申请和间接调用。 ### 实现方案 1. 使用 ExpandPlan 保存规范化后的输入 Shape、目标 Shape、输入 stride 和外层坐标。 2. 从尾部合并输入输出维度相同的连续轴，形成尽可能大的连续复制块。 3. 广播维的输入坐标保持为 0，非广播维通过坐标进位增量更新输入偏移。 4. 从输入 Tensor 直接写入最终输出 Tensor，删除完整输入副本、逐层广播结果和最终输出副本。 5. dtype 分派改为 switch，去掉运行时 map<std::function>。 6. Shape 乘法增加溢出检查，并校验输出元素数不超过输出缓冲区容量。 7. 缓冲区容量和整数溢出只在复制循环外校验一次；FP16/BF16 单次复制小于 16 B 时使用 std::copy_n，达到 16 B 时使用 BiggerMemCpy，其它类型继续使用 std::copy_n，兼顾安全性和短拷贝性能。 对于 [1,34,34] -> [32,34,34]，实现会将尾部 [34,34] 合并为 1,156 个元素的连续块，直接复制 32 次。输出数据只写一次，临时内存不再与输出元素数成正比。 ### 内存统计口径 只统计 kernel 执行窗口内 C++ new/new[] 的请求字节数和申请次数： text 内存优化率 = (优化前额外内存 - 优化后额外内存) / 优化前额外内存 * 100% - 输入、输出 Tensor 在统计窗口前创建，不计入额外内存； - 每个场景预热一次，只统计第二次 kernel； - 固定 128 KiB 校准精确增加 131,072 B 和 1 次申请； - 统计值不等同于 RSS、allocator 元数据或直接 malloc 的完整统计； - 基线为 bc6ffc697，优化提交为 3e68a14f0，前后环境和参数一致。 ### 全类型五档 Shape 结果 | 档位 | 输入 Shape | 输出 Shape | 输出元素数 | | --- | --- | --- | ---: | | S1 | [1,4,4] | [2,4,4] | 32 | | S2 | [1,16,16] | [8,16,16] | 2,048 | | S3 | [1,34,34] | [32,34,34] | 36,992 | | S4 | [1,64,64] | [64,64,64] | 262,144 | | S5 | [1,128,128] | [128,128,128] | 2,097,152 | 覆盖 BOOL/FLOAT16/BFLOAT16/FLOAT/INT8/UINT8/INT32/INT64 8 种类型，共 40 个场景。优化后全部固定为 1,504 B、61 次申请。 | dtype | S1 | S2 | S3 | S4 | S5 | S5 减少内存 | | --- | ---: | ---: | ---: | ---: | ---: | ---: | | BOOL | 31.8841% | 45.3488% | 87.4332% | 97.8119% | 99.7165% | 529,056 B | | FLOAT16 | 36.6470% | 86.8047% | 99.0502% | 99.8591% | 99.9822% | 8,454,822 B | | BFLOAT16 | 36.6470% | 86.8047% | 99.0502% | 99.8591% | 99.9822% | 8,454,822 B | | FLOAT | 41.3417% | 92.7033% | 99.5218% | 99.9295% | 99.9911% | 16,908,964 B | | INT8 | 34.0061% | 77.8530% | 98.1262% | 99.7187% | 99.9644% | 4,227,751 B | | UINT8 | 34.0061% | 77.8530% | 98.1262% | 99.7187% | 99.9644% | 4,227,751 B | | INT32 | 41.3417% | 92.7033% | 99.5218% | 99.9295% | 99.9911% | 16,908,964 B | | INT64 | 48.9130% | 96.1475% | 99.7601% | 99.9647% | 99.9956% | 33,817,248 B | 专项 INT64 [1,34,34] -> [32,34,34]： | 指标 | 优化前 | 优化后 | 变化 | | --- | ---: | ---: | ---: | | 额外申请字节 | 626,816 B | 1,504 B | 减少 625,312 B，99.76% | | 额外申请次数 | 93 | 61 | 减少 32 次，34.41% | | -O0 kernel 平均耗时 | 522,153 ns | 15,422 ns | 33.86x | | -O2 microbench | 98,582 ns | 4,256 ns | 23.16x | ### 全量 NPU 性能验证 - before/after 使用相同 HCC 7.3、-O2、NPU 和输入，按 ABBA 顺序交替执行。 - 覆盖 8 种 dtype、INT32/INT64 shape、rank 0～8、各类广播路径、1 KiB～256 MiB 输出，以及 FP16/BF16 单次复制 8B/16B/32B 的阈值边界，共 844 个性能点、21,096 条逐轮样本。 - 初筛 speedup 小于 0.98x 的 2 个 rank-0 小张量点追加 101 轮复测，最差结果为 1.015x，确认性能回退 0 个。 - 全部性能点 speedup 中位数为 3.119x；256 MiB 大 shape 提升 8.17x～54.85x。 - FP16 单次复制 8B/16B/32B 的 1 MiB 输出场景分别提升 1.40x、1.83x、3.07x，验证 16B 分界未引入性能劣化。 AICPU 通路使用独立 launcher，并在 ASCEND_GLOBAL_LOG_LEVEL=0 下找到 op type [Expand] run cpu kernel finished。64 MiB FP16 探针各采集 30 条，程序计时、AICPU 日志和 msprof --aicpu=on --task-time=l2 的中位数分别为 9,592.570 us、9,014.440 us、9,266.635 us，最大相对差 6.03%，确认实际进入 AICPU 且三种计时口径一致。 ### 功能与风险边界 - 支持的 8 种输入 dtype 和 2 种 shape dtype 保持不变； - 保持 -1 沿用输入维度、前导维补 1、标量、多轴广播和空 Tensor 语义； - 非法广播、目标 rank 小于输入 rank、负维度及乘法溢出返回参数错误； - Expand 为纯复制，不改变数值位模式； - 仍保留少量只与 rank 相关的 Shape vector，但不再申请与 Tensor 元素数相关的临时数据。 ## 关联的Issue - [ops-math #3254](https://gitcode.com/cann/ops-math/issues/3254) - 同步跟踪：[canndev #1901](https://gitcode.com/cann/canndev/issues/1901) ## 测试 - 仓库原有 Expand UT：8/8 通过； - 本地专项功能、边界、内存看护：4/4 通过； - 8 种 dtype × 5 档 Shape：40/40 通过； - 联合 ASAN：38/38 通过，未发现越界或释放错误； - microbench 在计时前通过 memcmp 确认新旧输出逐字节一致； - 分支切分后重新构建并运行仓库原有 AICPU UT：29/29 通过； - NPU 全量性能矩阵：844/844 完成，2 个可疑点完成 101 轮复测，确认回退 0 个； - AICPU 日志与 msprof 通路探针：30/30 条对应，三种计时中位数最大相对差 6.03%； - pre-commit run --from-ref ups/master --to-ref HEAD：全部通过，实际检查 1 个源码文件。 ## 文档更新 无。内存报告记录在 PR 描述中，不提交过程文档。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!5664
1 month ago