文件	最后提交记录	最后更新时间
docs	删除查看源码 Co-authored-by: y60124828<yanglou1@h-partners.com> # message auto-generated for no-merge-commit merge: !12004 merge master into master 删除查看源码 Created-by: yanglu-1 Commit-by: y60124828 Merged-by: cann-robot Description: ## 描述删除查看源码 ## 关联的Issue 关联Issue [#6694](https://gitcode.com/cann/ops-nn/issues/6694) ## 测试无需测试 ## 文档更新删除文档中的查看源码链接 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!12004	9 天前
examples	fix(optim): AdvanceStep整改修复 Co-authored-by: zhaixiao<zhaixiao1@huawei.com> # message auto-generated for no-merge-commit merge: !10443 merge feat/advance-step-geir into master fix(optim): AdvanceStep整改修复 Created-by: Onthetreeoh Commit-by: zhaixiao Merged-by: cann-robot Description: ## 描述 AdvanceStep 算子整改与动态 GEIR 通路支持，共 13 文件（+1349/-34）： 1. GEIR 通路阻断缺陷修复 - `op_host/advance_step_def.cpp`：补齐 4 个 `Output()` 声明。缺失导致生成的 ops-info 无输出条目，FE 引擎选择（`CheckOutputSupported`）在 GEIR 通路直接拒绝该算子（aclnn 通路不感知，因此此前仅 aclnn 验证未暴露）；动态 GEIR 能力声明补齐 `DynamicShapeSupportFlag`/`DynamicRankSupportFlag` - `op_host/config/ascend910b\|ascend910_93/advance_step_binary.json`：同步补齐 4 个 outputs 条目。这两个检入 json 是 910b/910_93 腿二进制编译的驱动源（与 def 为同一算子接口的两份同步描述）；def 补 Output 后若不同步，opc 按位传参时 dynamic 实现的 `input_tokens_out_` 错位落到 `num_seqs`，compile_single 报 E80003（本地以 CI 等价命令 `bash build.sh --pkg --vendor_name=advance_step --ops=advance_step -j16` 复现并验证修复，三 SoC 全量编译通过）。仓内有修改既有检入 json 的先例（aa048755b、adee08cd6） - `op_kernel/advance_step.cpp`：入口签名增加 4 个 inplace 输出参数，与 def Output 声明对齐（对齐 InplaceApplyFtrl 先例），kernel 内部仍经输入指针原地更新 2. kernel 存量缺陷修复 - `op_kernel/advance_step_spec.h`：V2 `ComputeInputTokens` 补行首 -1 哨兵分支（`sampledTokenIds` 行首为 -1 表示该 request 无接受 token，lastToken=-1；原实现 `minIndex==0` 时下标 -1 越界读，触发设备 VEC_ERROR）。已通过反证实验定位（同数据仅改行首 417→-1，PASS 翻转为 VEC_ERROR） 3. tiling 校验补齐 - ND format 强校验（`CheckInputOutputFormat`，8 输入 storage format）、`numSeqs<200000000`、V2 `numSeqs==numQueries`、`blockTables` 第二维≥1 4. 文档整改 - README：host 侧校验约束与用户保证约束分列；V2 错误码表补全 7 条；接口文档勘误 5. 新增动态 GEIR 测试 example - `examples/test_geir_advance_step_dynamic.cpp`：V1/V2 × -1/-2 四场景动态 shape/rank 构图，多组实际 shape 喂图，内嵌 CPU golden bit 级校验 ## 关联的Issue 无 ## 测试 - TTK aclnn 两方测试 250/250 PASS（binary_equal，V1 130 + V2 120，含 -1 哨兵数据域） - 动态 GEIR：V1 -1 场景 3/3 PASS（blockTables stride 5/6/9）、-2 场景 1/1 PASS，输出与 golden bit 级一致 - CI 等价命令 `bash build.sh --pkg --vendor_name=advance_step --ops=advance_step -j16` 三 SoC 全量编译通过（含 json 修复前后对比复现） - UT：tiling UT 补齐校验用例，kernel UT 入口签名同步 - aclnn 冒烟（新构建）2/2 PASS 无回归 - 注：V2 场景在 CANN 9.0.0 受图 IR 版本前向兼容限制（`Version(2)` 可选输入仅 aclnn 通路可用），example 中归类 BLOCKED 并注明替代验证途径 ## 文档更新 README.md、docs/aclnnAdvanceStep.md、docs/aclnnAdvanceStepV2.md（约束整改、错误码表、勘误） ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!10443	30 天前
op_graph	修改advance_step算子IR注释 Co-authored-by: east_yang<yangdong48@huawei.com> # message auto-generated for no-merge-commit merge: !9118 merge master into master 修改advance_step算子IR注释 Created-by: east_yang Commit-by: east_yang Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> advance_step算子IR注释写有6个输入实际有八个输入不一致。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/5081 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9118	1 个月前
op_host	适配350 Co-authored-by: Hana77<wangtianqi27@huawei.com> # message auto-generated for no-merge-commit merge: !11579 merge master into master 适配350 Created-by: Hana77 Commit-by: Hana77 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 算子适配ascend350 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#6432](https://gitcode.com/cann/ops-nn/issues/6432) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 二级冒烟 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!11579	12 天前
op_kernel	fix(optim): AdvanceStep整改修复 Co-authored-by: zhaixiao<zhaixiao1@huawei.com> # message auto-generated for no-merge-commit merge: !10443 merge feat/advance-step-geir into master fix(optim): AdvanceStep整改修复 Created-by: Onthetreeoh Commit-by: zhaixiao Merged-by: cann-robot Description: ## 描述 AdvanceStep 算子整改与动态 GEIR 通路支持，共 13 文件（+1349/-34）： 1. GEIR 通路阻断缺陷修复 - `op_host/advance_step_def.cpp`：补齐 4 个 `Output()` 声明。缺失导致生成的 ops-info 无输出条目，FE 引擎选择（`CheckOutputSupported`）在 GEIR 通路直接拒绝该算子（aclnn 通路不感知，因此此前仅 aclnn 验证未暴露）；动态 GEIR 能力声明补齐 `DynamicShapeSupportFlag`/`DynamicRankSupportFlag` - `op_host/config/ascend910b\|ascend910_93/advance_step_binary.json`：同步补齐 4 个 outputs 条目。这两个检入 json 是 910b/910_93 腿二进制编译的驱动源（与 def 为同一算子接口的两份同步描述）；def 补 Output 后若不同步，opc 按位传参时 dynamic 实现的 `input_tokens_out_` 错位落到 `num_seqs`，compile_single 报 E80003（本地以 CI 等价命令 `bash build.sh --pkg --vendor_name=advance_step --ops=advance_step -j16` 复现并验证修复，三 SoC 全量编译通过）。仓内有修改既有检入 json 的先例（aa048755b、adee08cd6） - `op_kernel/advance_step.cpp`：入口签名增加 4 个 inplace 输出参数，与 def Output 声明对齐（对齐 InplaceApplyFtrl 先例），kernel 内部仍经输入指针原地更新 2. kernel 存量缺陷修复 - `op_kernel/advance_step_spec.h`：V2 `ComputeInputTokens` 补行首 -1 哨兵分支（`sampledTokenIds` 行首为 -1 表示该 request 无接受 token，lastToken=-1；原实现 `minIndex==0` 时下标 -1 越界读，触发设备 VEC_ERROR）。已通过反证实验定位（同数据仅改行首 417→-1，PASS 翻转为 VEC_ERROR） 3. tiling 校验补齐 - ND format 强校验（`CheckInputOutputFormat`，8 输入 storage format）、`numSeqs<200000000`、V2 `numSeqs==numQueries`、`blockTables` 第二维≥1 4. 文档整改 - README：host 侧校验约束与用户保证约束分列；V2 错误码表补全 7 条；接口文档勘误 5. 新增动态 GEIR 测试 example - `examples/test_geir_advance_step_dynamic.cpp`：V1/V2 × -1/-2 四场景动态 shape/rank 构图，多组实际 shape 喂图，内嵌 CPU golden bit 级校验 ## 关联的Issue 无 ## 测试 - TTK aclnn 两方测试 250/250 PASS（binary_equal，V1 130 + V2 120，含 -1 哨兵数据域） - 动态 GEIR：V1 -1 场景 3/3 PASS（blockTables stride 5/6/9）、-2 场景 1/1 PASS，输出与 golden bit 级一致 - CI 等价命令 `bash build.sh --pkg --vendor_name=advance_step --ops=advance_step -j16` 三 SoC 全量编译通过（含 json 修复前后对比复现） - UT：tiling UT 补齐校验用例，kernel UT 入口签名同步 - aclnn 冒烟（新构建）2/2 PASS 无回归 - 注：V2 场景在 CANN 9.0.0 受图 IR 版本前向兼容限制（`Version(2)` 可选输入仅 aclnn 通路可用），example 中归类 BLOCKED 并注明替代验证途径 ## 文档更新 README.md、docs/aclnnAdvanceStep.md、docs/aclnnAdvanceStepV2.md（约束整改、错误码表、勘误） ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!10443	30 天前
tests	fix(optim): AdvanceStep整改修复 Co-authored-by: zhaixiao<zhaixiao1@huawei.com> # message auto-generated for no-merge-commit merge: !10443 merge feat/advance-step-geir into master fix(optim): AdvanceStep整改修复 Created-by: Onthetreeoh Commit-by: zhaixiao Merged-by: cann-robot Description: ## 描述 AdvanceStep 算子整改与动态 GEIR 通路支持，共 13 文件（+1349/-34）： 1. GEIR 通路阻断缺陷修复 - `op_host/advance_step_def.cpp`：补齐 4 个 `Output()` 声明。缺失导致生成的 ops-info 无输出条目，FE 引擎选择（`CheckOutputSupported`）在 GEIR 通路直接拒绝该算子（aclnn 通路不感知，因此此前仅 aclnn 验证未暴露）；动态 GEIR 能力声明补齐 `DynamicShapeSupportFlag`/`DynamicRankSupportFlag` - `op_host/config/ascend910b\|ascend910_93/advance_step_binary.json`：同步补齐 4 个 outputs 条目。这两个检入 json 是 910b/910_93 腿二进制编译的驱动源（与 def 为同一算子接口的两份同步描述）；def 补 Output 后若不同步，opc 按位传参时 dynamic 实现的 `input_tokens_out_` 错位落到 `num_seqs`，compile_single 报 E80003（本地以 CI 等价命令 `bash build.sh --pkg --vendor_name=advance_step --ops=advance_step -j16` 复现并验证修复，三 SoC 全量编译通过）。仓内有修改既有检入 json 的先例（aa048755b、adee08cd6） - `op_kernel/advance_step.cpp`：入口签名增加 4 个 inplace 输出参数，与 def Output 声明对齐（对齐 InplaceApplyFtrl 先例），kernel 内部仍经输入指针原地更新 2. kernel 存量缺陷修复 - `op_kernel/advance_step_spec.h`：V2 `ComputeInputTokens` 补行首 -1 哨兵分支（`sampledTokenIds` 行首为 -1 表示该 request 无接受 token，lastToken=-1；原实现 `minIndex==0` 时下标 -1 越界读，触发设备 VEC_ERROR）。已通过反证实验定位（同数据仅改行首 417→-1，PASS 翻转为 VEC_ERROR） 3. tiling 校验补齐 - ND format 强校验（`CheckInputOutputFormat`，8 输入 storage format）、`numSeqs<200000000`、V2 `numSeqs==numQueries`、`blockTables` 第二维≥1 4. 文档整改 - README：host 侧校验约束与用户保证约束分列；V2 错误码表补全 7 条；接口文档勘误 5. 新增动态 GEIR 测试 example - `examples/test_geir_advance_step_dynamic.cpp`：V1/V2 × -1/-2 四场景动态 shape/rank 构图，多组实际 shape 喂图，内嵌 CPU golden bit 级校验 ## 关联的Issue 无 ## 测试 - TTK aclnn 两方测试 250/250 PASS（binary_equal，V1 130 + V2 120，含 -1 哨兵数据域） - 动态 GEIR：V1 -1 场景 3/3 PASS（blockTables stride 5/6/9）、-2 场景 1/1 PASS，输出与 golden bit 级一致 - CI 等价命令 `bash build.sh --pkg --vendor_name=advance_step --ops=advance_step -j16` 三 SoC 全量编译通过（含 json 修复前后对比复现） - UT：tiling UT 补齐校验用例，kernel UT 入口签名同步 - aclnn 冒烟（新构建）2/2 PASS 无回归 - 注：V2 场景在 CANN 9.0.0 受图 IR 版本前向兼容限制（`Version(2)` 可选输入仅 aclnn 通路可用），example 中归类 BLOCKED 并注明替代验证途径 ## 文档更新 README.md、docs/aclnnAdvanceStep.md、docs/aclnnAdvanceStepV2.md（约束整改、错误码表、勘误） ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!10443	30 天前
CMakeLists.txt	Format update: Adjusted the license description format in all relevant files. Co-authored-by: jiangqi<jiangqi47@h-partners.com> # message auto-generated for no-merge-commit merge: !365 merge license5 into master Format update: Adjusted the license description format in all relevant files. Created-by: jiangqi2025 Commit-by: jiangqi Merged-by: turing_project1 Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!365	10 个月前
README.md	产品名称修改 Co-authored-by: y60124828<yanglou1@h-partners.com> # message auto-generated for no-merge-commit merge: !11292 merge master into master 产品名称修改 Created-by: yanglu-1 Commit-by: y60124828 Merged-by: cann-robot Description: ## 描述产品名称修改 ## 关联的Issue 关联Issue [#6089](https://gitcode.com/cann/ops-nn/issues/6089) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!11292	25 天前

AdvanceStep

产品支持情况

产品	是否支持
Ascend 950PR&950DT系列产品	√
Atlas A3系列产品	√
Atlas A2系列产品	√
Atlas 200I/500 A2推理产品	×
Atlas推理系列产品	×
Atlas训练系列产品	×

功能说明

算子功能：

vLLM是一个高性能的LLM推理和服务框架，专注于优化大规模语言模型的推理效率。它的核心特点包括PageAttention和高效内存管理。advance_step算子的主要作用是推进推理步骤，即在每个生成步骤中更新模型的状态并生成新的inputTokens、inputPositions、seqLens和slotMapping，为vLLM的推理提升效率。
计算公式：
$b l o c k I d x 是当前代码被执行的核的 i n d e x 。$ $b l o c k T a b l e s S t r i d e = b l o c k T a b l e s . s t r i d e (0)$ $i n p u t T o k e n s [b l o c k I d x] = s a m p l e d T o k e n I d s [b l o c k I d x]$ $i n p u t P o s i t i o n s [b l o c k I d x] = s e q L e n s [b l o c k I d x]$ $s e q L e n s [b l o c k I d x] = s e q L e n s [b l o c k I d x] + 1$ $\% blockSize)$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
inputTokens	输入/输出	公式中的输入/输出inputTokens。	INT64	ND
sampledTokenIds	输入	公式中的输入sampledTokenIds。	INT64	ND
inputPositions	输入/输出	公式中的输入/输出inputPositions。	INT64	ND
seqLens	输入/输出	公式中的输入/输出seqLens。	INT64	ND
slotMapping	输入/输出	公式中的输入/输出slotMapping。	INT64	ND
blockTables	输入	公式中的输入blockTables。	INT	ND
numSeqs	属性	记录输入的seq数量，大小与seqLens的长度一致。取值范围是大于0的正整数。numSeqs的值大于输入numQueries的值。	INT	-
numQueries	属性	记录输入的Query的数量，大小与sampledTokenIds第一维的长度一致。取值范围是大于0的正整数。	INT	-
blockSize	属性	每个block的大小。取值范围是大于0的正整数。	INT64	-

约束说明

Host侧校验约束（编译/tiling阶段校验，不满足时报错终止）

数据类型：所有输入、输出仅支持INT64。
数据格式：所有输入仅支持ND格式。
属性约束：numSeqs、numQueries、blockSize必须为大于0的整数，且numSeqs必须小于200000000。
形状约束（spec_token与accepted_num均未传入，V1路径）：
- inputTokens、inputPositions、seqLens、slotMapping、blockTables的第一维长度必须等于numSeqs。
- sampledTokenIds的shape必须为[numQueries, 1]。
- numSeqs必须大于numQueries。
形状约束（spec_token与accepted_num同时传入，V2路径）：
- inputTokens、inputPositions、seqLens、slotMapping的shape必须为[numSeqs * (1 + specNum)]，specNum为spec_token第二维长度。
- sampledTokenIds的shape必须为[numSeqs, (1 + specNum)]，spec_token的shape必须为[numSeqs, specNum]，accepted_num的shape必须为[numSeqs]。
- blockTables的shape必须为[numSeqs, blockTablesStride]，第二维长度blockTablesStride必须大于0。
- spec_token与accepted_num须同时传入或同时不传入（传入空Tensor视为未传入）；仅传入其一时走V1路径，spec_token/accepted_num不参与计算。
所有必选输入不支持空Tensor（上述形状约束已隐含，第一维不小于1）。

用户保证约束（涉及数据内容或内存布局，host侧无法校验，由调用方保证，违反时可能导致计算错误或越界访问）

所有输入Tensor必须连续，不支持非连续Tensor。
inputTokens、sampledTokenIds、inputPositions、seqLens、slotMapping、blockTables的数据值须为符合业务语义的有效值（正整数，如token ID、序列长度、block编号、物理槽位等）。
blockTables的第二维长度必须大于seqLens中最大值除以blockSize，保证block表能覆盖所有序列的最大block索引。

调用说明

调用方式	调用样例	说明
aclnn调用	test_aclnn_advance_step	通过aclnnAdvanceStep接口方式调用AdvanceStep算子。
aclnn调用	test_aclnn_advance_step_v2	通过aclnnAdvanceStepV2接口方式调用AdvanceStep算子。
图模式调用	-	通过算子IR构图方式调用AdvanceStep算子。