| Files | Last commit | Last update |
|---|---|---|
fix: 修复 CosineEmbeddingLoss golden 超大广播 OOM 与 DeepNorm 空 Tensor 文档 Co-authored-by: tianqiguang<tianqiguang@huawei.com> # message auto-generated for no-merge-commit merge: !13382 merge master into master fix: 修复 CosineEmbeddingLoss golden 超大广播 OOM 与 DeepNorm 空 Tensor 文档 Created-by: tianqiguang Commit-by: tianqiguang Merged-by: cann-robot Description: ## 描述 本 PR 包含两部分:修复 cosine_embedding_loss golden 在超大广播 shape 下的 OOM,以及纠正 deep_norm 文档中与实际行为相反的空 Tensor 支持说明。共 2 个文件(+96 / -7),不涉及算子 kernel 与 op_host 行为变更。 ### 一、CosineEmbeddingLoss golden:超大广播 shape 分块计算,避免 OOM **问题**:当 x1 / x2 广播后的元素数极大时(代码注释示例:x1(179, 1648330) 与 x2(3, 7, 1, 4, 6, 1, 1)),本地 CPU golden 与三方 GPU 参考实现都直接调用 broadcast_tensors 物化整个广播结果,内存需求达数百 GB 量级,导致 OOM,无法产出基准值。 **方法**: - 新增 _needs_chunking():广播后元素数超过 _CHUNK_THRESHOLD(4,000,000)**且** x1 为 2 维、x2 维数大于 2 时启用分块——该结构是超大 broadcast shape 的典型形态。 - 新增 _chunked_loss():沿 x1 元素最多的维度按 _CHUNK_COLS(8192)分块;每块只物化该块的广播子块,算出 cos 与 loss 后累加到标量 total,同时累计元素数 total_n。 - 分块路径仅用于 reduction != "none":none 的输出本身与广播结果同大小,分块无法降低峰值。 - cosine_embedding_loss_golden()(本地 CPU 参考)与 _CosineEmbeddingLossCompose(三方 GPU 参考)两个入口同时接入。 - compute_dtype 推导与未分块路径保持一致:先 promote(fp32, a.dtype),再与输出 dtype 二次 promote,以保留 TTK Promote 提供的更宽精度(如 fp64)。 - target 若在被分块轴上有同大小维度(如 c_s_023 的尾维),同步切片;否则整块参与广播。 数学语义与未分块路径一致,仅累加顺序变化。 ### 二、DeepNorm 文档:空 Tensor 支持说明纠正 aclnnDeepNorm.md 中 x / gx / beta / gamma / meanOut / rstdOut / yOut 共 7 处由「支持空Tensor」改为「不支持空Tensor」。 **依据**:op_host/deep_norm_shape_check.h 的 CheckDeepNormShapeValue() 对 x 的每一维执行 GetDim(i) == 0 判断,命中即返回 GRAPH_FAILED,报错信息为 shape dim cannot be 0;op_host/arch22/deep_norm_tiling.cpp 中亦有 "Input x shape can not be 0."。原文档表述与实际校验行为相反。 > **已知遗留**:英文文档 norm/deep_norm/docs/aclnnDeepNorm_en.md 对应的 7 处仍为 Supports empty tensors. / Empty tensors are supported.,本 PR 未同步修改。 ## 关联的Issue - #7948 ## 测试 - golden 分块路径与未分块路径共用同一 compute_dtype 推导,数学语义一致,仅累加顺序变化。 - 分块参数:阈值 4,000,000 元素,块宽 8192 列。代码注释记录:1024 列时超大用例需 1610 块,改为 8192 后块数大幅下降,显著减少循环开销。 - DeepNorm 部分为文档修正,依据为 deep_norm_shape_check.h 中既有的 0 维校验,不涉及代码行为变更。 > 注:本 PR 未附 ST 执行报告。 ## 文档更新 - norm/deep_norm/docs/aclnnDeepNorm.md:x、gx、beta、gamma、meanOut、rstdOut、yOut 共 7 处空 Tensor 支持性说明由「支持」改为「不支持」。 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!13382 | 18 days ago | |
feat: 新增 WtsARQ 算子(AMCT QAT 权重自适应范围伪量化,GE IR 图模式,arch35 RegBase) Co-authored-by: tianqiguang<tianqiguang@huawei.com> # message auto-generated for no-merge-commit merge: !11140 merge master into master feat: 新增 WtsARQ 算子(AMCT QAT 权重自适应范围伪量化,GE IR 图模式,arch35 RegBase) Created-by: tianqiguang Commit-by: tianqiguang Merged-by: cann-robot Description: ## 描述 新增 WtsARQ(Weights Adaptive Range Quantization)算子,用于 AMCT 量化感知训练(QAT)场景:根据输入权重 w 及其量化范围下界 w_min、上界 w_max 自适应计算量化 scale,对 w 做 round-to-nearest(half-to-even)伪量化到 int8 栅格后再反量化回浮点,输出 y。 - 交付形态:GE IR 图模式算子(REG_OP 注册),无 aclnn 接口;TensorFlow 前端经框架插件(framework/wts_arq_tf_plugin.cpp)映射为同一 IR 后调用 - 硬件平台:arch35(Ascend 950 / DAV_3510),RegBase kernel 实现 - 输入:w(float16/float32,ND,rank 0~8)、w_min、w_max(dtype 与 w 一致,受限广播) - 输出:y(shape/dtype 与 w 相同) - 属性:num_bits(int64,仅支持 8)、offset_flag(bool,默认 false) 计算流程:范围修正(w_min=min(w_min,0)、w_max=max(w_max,0))→ scale 计算(offset_flag=false 时 max(|w_min|/128, w_max/127);true 时 w_max/255 - w_min/255)→ 除零保护(scale < float32 eps 取 1.0)→ 伪量化 q=clamp(rint(w/scale)+offset, -128, 127)-offset → 反量化 y=q*scale。 实现要点: - op_host:算子定义(wts_arq_def.cpp)、InferShape(wts_arq_infershape.cpp,支持动态 shape/rank 与受限广播校验)、arch35 tiling(wts_arq_tiling.cpp,动态多核切分、受限广播拷贝策略) - op_kernel:arch35 RegBase kernel(wts_arq_kernel.h,fp32 寄存器级计算链) - op_graph:GE IR 算子注册(wts_arq_proto.h) - config:ascend950 binary.json(float16/float32 两个二进制) - 文档:README.md + docs/zh/op_list.md 算子列表登记 ## 关联的Issue #6254 ## 测试 - 单元测试:tests/ut/op_host/arch35/test_wts_arq_tiling.cpp(tiling)、tests/ut/op_host/test_wts_arq_infershape.cpp(infershape) - 精度验证:tests/assets/golden.py 生成 golden 数据对比 - 示例:examples/test_geir_wts_arq.cpp(GE IR 图模式调用示例) ## 文档更新 - 新增 quant/wts_arq/README.md(功能说明、参数说明、约束说明、调用说明) - 更新 docs/zh/op_list.md(新增 wts_arq 算子条目) ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [ ] AI辅助编写 See merge request: cann/ops-nn!11140 | 1 month ago | |
feat: 新增 WtsARQ 算子(AMCT QAT 权重自适应范围伪量化,GE IR 图模式,arch35 RegBase) Co-authored-by: tianqiguang<tianqiguang@huawei.com> # message auto-generated for no-merge-commit merge: !11140 merge master into master feat: 新增 WtsARQ 算子(AMCT QAT 权重自适应范围伪量化,GE IR 图模式,arch35 RegBase) Created-by: tianqiguang Commit-by: tianqiguang Merged-by: cann-robot Description: ## 描述 新增 WtsARQ(Weights Adaptive Range Quantization)算子,用于 AMCT 量化感知训练(QAT)场景:根据输入权重 w 及其量化范围下界 w_min、上界 w_max 自适应计算量化 scale,对 w 做 round-to-nearest(half-to-even)伪量化到 int8 栅格后再反量化回浮点,输出 y。 - 交付形态:GE IR 图模式算子(REG_OP 注册),无 aclnn 接口;TensorFlow 前端经框架插件(framework/wts_arq_tf_plugin.cpp)映射为同一 IR 后调用 - 硬件平台:arch35(Ascend 950 / DAV_3510),RegBase kernel 实现 - 输入:w(float16/float32,ND,rank 0~8)、w_min、w_max(dtype 与 w 一致,受限广播) - 输出:y(shape/dtype 与 w 相同) - 属性:num_bits(int64,仅支持 8)、offset_flag(bool,默认 false) 计算流程:范围修正(w_min=min(w_min,0)、w_max=max(w_max,0))→ scale 计算(offset_flag=false 时 max(|w_min|/128, w_max/127);true 时 w_max/255 - w_min/255)→ 除零保护(scale < float32 eps 取 1.0)→ 伪量化 q=clamp(rint(w/scale)+offset, -128, 127)-offset → 反量化 y=q*scale。 实现要点: - op_host:算子定义(wts_arq_def.cpp)、InferShape(wts_arq_infershape.cpp,支持动态 shape/rank 与受限广播校验)、arch35 tiling(wts_arq_tiling.cpp,动态多核切分、受限广播拷贝策略) - op_kernel:arch35 RegBase kernel(wts_arq_kernel.h,fp32 寄存器级计算链) - op_graph:GE IR 算子注册(wts_arq_proto.h) - config:ascend950 binary.json(float16/float32 两个二进制) - 文档:README.md + docs/zh/op_list.md 算子列表登记 ## 关联的Issue #6254 ## 测试 - 单元测试:tests/ut/op_host/arch35/test_wts_arq_tiling.cpp(tiling)、tests/ut/op_host/test_wts_arq_infershape.cpp(infershape) - 精度验证:tests/assets/golden.py 生成 golden 数据对比 - 示例:examples/test_geir_wts_arq.cpp(GE IR 图模式调用示例) ## 文档更新 - 新增 quant/wts_arq/README.md(功能说明、参数说明、约束说明、调用说明) - 更新 docs/zh/op_list.md(新增 wts_arq 算子条目) ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [ ] AI辅助编写 See merge request: cann/ops-nn!11140 | 1 month ago |
| Files | Last commit | Last update |
|---|---|---|
| 18 days ago | ||
| 1 month ago | ||
| 1 month ago |