0
代码
代码
Issues
Pull Requests
讨论
Wiki
分析
0
cann-robotcann-robotrefactor: 清理 experimental 目录 tiling 文件中多余的头文件引用
b0b35096创建于 7 天前历史提交
文件最后提交记录最后更新时间
docs
【社区任务】LogicalAnd算子开发-算子提交 Co-authored-by: Nce_try<nicetryzzw@163.com> # message auto-generated for no-merge-commit merge: !465 merge submit-logical_and into master 【社区任务】LogicalAnd算子开发-算子提交 Created-by: Nice_try Commit-by: Nce_try Merged-by: cann-robot Description: ## 描述 ### 背景信息 基于LogicalAnd算子历史TBE版本使用Ascend C编程语言进行优化。 ### TBE源码分析 通过对LogicalAnd算子TBE版本的功能分析，当前支持的能力如下： ① 算子支持仅bool格式的输入输出。 ![image.png](https://raw.gitcode.com/user-images/assets/7649531/f58a2bac-0a9e-45b9-9877-bea4c4d70c68/image.png 'image.png') ![image.png](https://raw.gitcode.com/user-images/assets/7649531/213d70fb-d240-4102-9339-12a3b2df9839/image.png 'image.png') ② LogicalAnd算子涉及到对输入数据进行广播（输入数据的shape调整到相同大小），任务书说明：暂可不支持广播场景 ③ 在对输入数据进行广播操作后，调用cast和mul接口实现相应的表达式： - 算子功能：对两个输入张量进行逻辑和运算。 - 计算公式： $$ out_i=self_i && other_i $$ - 实际运算： ![image.png](https://raw.gitcode.com/user-images/assets/7649531/14c5e597-fbf7-4c22-b884-faf8ea500ffe/image.png 'image.png') LogicalAnd算子TBE版本的整体流程图如下图所示： ![image.png](https://raw.gitcode.com/user-images/assets/7649531/97ff5b50-684a-429e-9990-83ac0f5bba7e/image.png 'image.png') ### 算子原型 <table style="undefined;table-layout: fixed; width: 1494px"><colgroup> <col style="width: 146px"> <col style="width: 110px"> <col style="width: 301px"> <col style="width: 219px"> <col style="width: 328px"> <col style="width: 101px"> <col style="width: 143px"> <col style="width: 146px"> </colgroup> <thead> <tr> <th>参数名</th> <th>输入/输出</th> <th>描述</th> <th>使用说明</th> <th>数据类型</th> <th>数据格式</th> <th>维度(shape)</th> <th>非连续Tensor</th> </tr></thead> <tbody> <tr> <td>self</td> <td>输入</td> <td>待进行logical_and计算的入参，公式中的self。</td> <td>无</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> <tr> <td>other</td> <td>输入</td> <td>待进行logical_and计算的入参，公式中的other。</td> <td>无</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> <tr> <td>out</td> <td>输出</td> <td>待进行logical_and计算的出参，公式中的out。</td> <td>shape与self相同。</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> </tbody> </table> ### 算子支持型号 Atlas A2 训练系列产品/Atlas 800I A2推理产品 ### host侧设计方案 算子计算过程不涉及数据的维度信息，故在host侧将数据视为一维向量，仅考虑数据个数，不考虑数据维度信息。 任务均分：coreNum 根据输入长度和块大小动态调整，确保每个核心处理的数据块数均匀。 批量搬运：tileBlockNum 和 tileDataNum 计算单次搬运的数据量，通过 finalSmallTileNum 和 finalBigTileNum 确定小核/大核的搬运次数，将多次搬运合并为批量操作，减少冗余开销。尾块的处理逻辑确保不完整块也能被合并到计算流程中，避免数据碎片。 #### 1) 分核策略 优先使用满核的原则。 如果核间能均分，可视作无大小核区分，大核小核数据块一致； 如果核间不能均分，需要将余出的数据块分配到前几个核上。 输入数据大小计算：通过GetInputShape和GetDataTypeLength函数获取输入数据的大小和类型长度，计算出输入数据的总字节数。 UB内存大小和核心数量获取：通过平台信息获取UB内存大小和核心数量，并根据这些信息调整核心数量。 #### 2) 数据分块和内存优化策略 充分使用UB空间的原则。 需要考虑不同硬件的UB大小不同、是否开启double buffer、kernel侧API实现过程中是否需要临时数据的储存，综合考虑单核内切分的大小。 UB内存大小获取：通过GetCoreMemSize函数获取UB内存的大小，用于后续的数据切分计算。 Tile块计算：根据UB内存大小和预定义的BLOCK_SIZE及BUFFER_NUM和不同类型下的ubDataNum，计算出每个Tile块的数据数量。 数据切分：将输入数据按照计算出的Tile块大小进行切分，计算出每个core需要处理的数据块数量和最后一个block的剩余数据量。 设置切分参数：将计算出的切分参数（如每个core的数据量、Tile块大小等）设置到RealDivTilingData对象中。 这些策略确保了数据在多个核心之间的均匀分布，并且在单个核心内进行了合理的切分，以提高并行处理的效率。 #### 3) tilingkey规划策略 不进行tilingkey划分，在kernel侧利用输入数据的类型来走不同的分支。 ### kernel侧设计方案 进行Init和Process两个阶段，其中Process包括数据搬入（CopyIn）、计算（Compute）、搬出（CopyOut）三个阶段。 1) 依照TBE实现，输入Cast转换为fp16，然后进行Mul运算，结果Cast转换为int8，然后搬出。 2) Ascend C的LogicalAnd算子流程见下图。 ![image.png](https://raw.gitcode.com/user-images/assets/7649531/7e32f2e5-898f-4b9c-8d0f-3b9f6c1190cc/image.png 'image.png') ## 关联的Issue [#278](https://gitcode.com/cann/ops-math/issues/278) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 不涉及 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：社区任务算子设计文档 See merge request: cann/ops-math!4654 个月前
examples
【社区任务】LogicalAnd算子开发-算子提交 Co-authored-by: Nce_try<nicetryzzw@163.com> # message auto-generated for no-merge-commit merge: !465 merge submit-logical_and into master 【社区任务】LogicalAnd算子开发-算子提交 Created-by: Nice_try Commit-by: Nce_try Merged-by: cann-robot Description: ## 描述 ### 背景信息 基于LogicalAnd算子历史TBE版本使用Ascend C编程语言进行优化。 ### TBE源码分析 通过对LogicalAnd算子TBE版本的功能分析，当前支持的能力如下： ① 算子支持仅bool格式的输入输出。 ![image.png](https://raw.gitcode.com/user-images/assets/7649531/f58a2bac-0a9e-45b9-9877-bea4c4d70c68/image.png 'image.png') ![image.png](https://raw.gitcode.com/user-images/assets/7649531/213d70fb-d240-4102-9339-12a3b2df9839/image.png 'image.png') ② LogicalAnd算子涉及到对输入数据进行广播（输入数据的shape调整到相同大小），任务书说明：暂可不支持广播场景 ③ 在对输入数据进行广播操作后，调用cast和mul接口实现相应的表达式： - 算子功能：对两个输入张量进行逻辑和运算。 - 计算公式： $$ out_i=self_i && other_i $$ - 实际运算： ![image.png](https://raw.gitcode.com/user-images/assets/7649531/14c5e597-fbf7-4c22-b884-faf8ea500ffe/image.png 'image.png') LogicalAnd算子TBE版本的整体流程图如下图所示： ![image.png](https://raw.gitcode.com/user-images/assets/7649531/97ff5b50-684a-429e-9990-83ac0f5bba7e/image.png 'image.png') ### 算子原型 <table style="undefined;table-layout: fixed; width: 1494px"><colgroup> <col style="width: 146px"> <col style="width: 110px"> <col style="width: 301px"> <col style="width: 219px"> <col style="width: 328px"> <col style="width: 101px"> <col style="width: 143px"> <col style="width: 146px"> </colgroup> <thead> <tr> <th>参数名</th> <th>输入/输出</th> <th>描述</th> <th>使用说明</th> <th>数据类型</th> <th>数据格式</th> <th>维度(shape)</th> <th>非连续Tensor</th> </tr></thead> <tbody> <tr> <td>self</td> <td>输入</td> <td>待进行logical_and计算的入参，公式中的self。</td> <td>无</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> <tr> <td>other</td> <td>输入</td> <td>待进行logical_and计算的入参，公式中的other。</td> <td>无</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> <tr> <td>out</td> <td>输出</td> <td>待进行logical_and计算的出参，公式中的out。</td> <td>shape与self相同。</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> </tbody> </table> ### 算子支持型号 Atlas A2 训练系列产品/Atlas 800I A2推理产品 ### host侧设计方案 算子计算过程不涉及数据的维度信息，故在host侧将数据视为一维向量，仅考虑数据个数，不考虑数据维度信息。 任务均分：coreNum 根据输入长度和块大小动态调整，确保每个核心处理的数据块数均匀。 批量搬运：tileBlockNum 和 tileDataNum 计算单次搬运的数据量，通过 finalSmallTileNum 和 finalBigTileNum 确定小核/大核的搬运次数，将多次搬运合并为批量操作，减少冗余开销。尾块的处理逻辑确保不完整块也能被合并到计算流程中，避免数据碎片。 #### 1) 分核策略 优先使用满核的原则。 如果核间能均分，可视作无大小核区分，大核小核数据块一致； 如果核间不能均分，需要将余出的数据块分配到前几个核上。 输入数据大小计算：通过GetInputShape和GetDataTypeLength函数获取输入数据的大小和类型长度，计算出输入数据的总字节数。 UB内存大小和核心数量获取：通过平台信息获取UB内存大小和核心数量，并根据这些信息调整核心数量。 #### 2) 数据分块和内存优化策略 充分使用UB空间的原则。 需要考虑不同硬件的UB大小不同、是否开启double buffer、kernel侧API实现过程中是否需要临时数据的储存，综合考虑单核内切分的大小。 UB内存大小获取：通过GetCoreMemSize函数获取UB内存的大小，用于后续的数据切分计算。 Tile块计算：根据UB内存大小和预定义的BLOCK_SIZE及BUFFER_NUM和不同类型下的ubDataNum，计算出每个Tile块的数据数量。 数据切分：将输入数据按照计算出的Tile块大小进行切分，计算出每个core需要处理的数据块数量和最后一个block的剩余数据量。 设置切分参数：将计算出的切分参数（如每个core的数据量、Tile块大小等）设置到RealDivTilingData对象中。 这些策略确保了数据在多个核心之间的均匀分布，并且在单个核心内进行了合理的切分，以提高并行处理的效率。 #### 3) tilingkey规划策略 不进行tilingkey划分，在kernel侧利用输入数据的类型来走不同的分支。 ### kernel侧设计方案 进行Init和Process两个阶段，其中Process包括数据搬入（CopyIn）、计算（Compute）、搬出（CopyOut）三个阶段。 1) 依照TBE实现，输入Cast转换为fp16，然后进行Mul运算，结果Cast转换为int8，然后搬出。 2) Ascend C的LogicalAnd算子流程见下图。 ![image.png](https://raw.gitcode.com/user-images/assets/7649531/7e32f2e5-898f-4b9c-8d0f-3b9f6c1190cc/image.png 'image.png') ## 关联的Issue [#278](https://gitcode.com/cann/ops-math/issues/278) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 不涉及 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：社区任务算子设计文档 See merge request: cann/ops-math!4654 个月前
op_api
【社区任务】LogicalAnd算子开发-算子提交 Co-authored-by: Nce_try<nicetryzzw@163.com> # message auto-generated for no-merge-commit merge: !465 merge submit-logical_and into master 【社区任务】LogicalAnd算子开发-算子提交 Created-by: Nice_try Commit-by: Nce_try Merged-by: cann-robot Description: ## 描述 ### 背景信息 基于LogicalAnd算子历史TBE版本使用Ascend C编程语言进行优化。 ### TBE源码分析 通过对LogicalAnd算子TBE版本的功能分析，当前支持的能力如下： ① 算子支持仅bool格式的输入输出。 ![image.png](https://raw.gitcode.com/user-images/assets/7649531/f58a2bac-0a9e-45b9-9877-bea4c4d70c68/image.png 'image.png') ![image.png](https://raw.gitcode.com/user-images/assets/7649531/213d70fb-d240-4102-9339-12a3b2df9839/image.png 'image.png') ② LogicalAnd算子涉及到对输入数据进行广播（输入数据的shape调整到相同大小），任务书说明：暂可不支持广播场景 ③ 在对输入数据进行广播操作后，调用cast和mul接口实现相应的表达式： - 算子功能：对两个输入张量进行逻辑和运算。 - 计算公式： $$ out_i=self_i && other_i $$ - 实际运算： ![image.png](https://raw.gitcode.com/user-images/assets/7649531/14c5e597-fbf7-4c22-b884-faf8ea500ffe/image.png 'image.png') LogicalAnd算子TBE版本的整体流程图如下图所示： ![image.png](https://raw.gitcode.com/user-images/assets/7649531/97ff5b50-684a-429e-9990-83ac0f5bba7e/image.png 'image.png') ### 算子原型 <table style="undefined;table-layout: fixed; width: 1494px"><colgroup> <col style="width: 146px"> <col style="width: 110px"> <col style="width: 301px"> <col style="width: 219px"> <col style="width: 328px"> <col style="width: 101px"> <col style="width: 143px"> <col style="width: 146px"> </colgroup> <thead> <tr> <th>参数名</th> <th>输入/输出</th> <th>描述</th> <th>使用说明</th> <th>数据类型</th> <th>数据格式</th> <th>维度(shape)</th> <th>非连续Tensor</th> </tr></thead> <tbody> <tr> <td>self</td> <td>输入</td> <td>待进行logical_and计算的入参，公式中的self。</td> <td>无</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> <tr> <td>other</td> <td>输入</td> <td>待进行logical_and计算的入参，公式中的other。</td> <td>无</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> <tr> <td>out</td> <td>输出</td> <td>待进行logical_and计算的出参，公式中的out。</td> <td>shape与self相同。</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> </tbody> </table> ### 算子支持型号 Atlas A2 训练系列产品/Atlas 800I A2推理产品 ### host侧设计方案 算子计算过程不涉及数据的维度信息，故在host侧将数据视为一维向量，仅考虑数据个数，不考虑数据维度信息。 任务均分：coreNum 根据输入长度和块大小动态调整，确保每个核心处理的数据块数均匀。 批量搬运：tileBlockNum 和 tileDataNum 计算单次搬运的数据量，通过 finalSmallTileNum 和 finalBigTileNum 确定小核/大核的搬运次数，将多次搬运合并为批量操作，减少冗余开销。尾块的处理逻辑确保不完整块也能被合并到计算流程中，避免数据碎片。 #### 1) 分核策略 优先使用满核的原则。 如果核间能均分，可视作无大小核区分，大核小核数据块一致； 如果核间不能均分，需要将余出的数据块分配到前几个核上。 输入数据大小计算：通过GetInputShape和GetDataTypeLength函数获取输入数据的大小和类型长度，计算出输入数据的总字节数。 UB内存大小和核心数量获取：通过平台信息获取UB内存大小和核心数量，并根据这些信息调整核心数量。 #### 2) 数据分块和内存优化策略 充分使用UB空间的原则。 需要考虑不同硬件的UB大小不同、是否开启double buffer、kernel侧API实现过程中是否需要临时数据的储存，综合考虑单核内切分的大小。 UB内存大小获取：通过GetCoreMemSize函数获取UB内存的大小，用于后续的数据切分计算。 Tile块计算：根据UB内存大小和预定义的BLOCK_SIZE及BUFFER_NUM和不同类型下的ubDataNum，计算出每个Tile块的数据数量。 数据切分：将输入数据按照计算出的Tile块大小进行切分，计算出每个core需要处理的数据块数量和最后一个block的剩余数据量。 设置切分参数：将计算出的切分参数（如每个core的数据量、Tile块大小等）设置到RealDivTilingData对象中。 这些策略确保了数据在多个核心之间的均匀分布，并且在单个核心内进行了合理的切分，以提高并行处理的效率。 #### 3) tilingkey规划策略 不进行tilingkey划分，在kernel侧利用输入数据的类型来走不同的分支。 ### kernel侧设计方案 进行Init和Process两个阶段，其中Process包括数据搬入（CopyIn）、计算（Compute）、搬出（CopyOut）三个阶段。 1) 依照TBE实现，输入Cast转换为fp16，然后进行Mul运算，结果Cast转换为int8，然后搬出。 2) Ascend C的LogicalAnd算子流程见下图。 ![image.png](https://raw.gitcode.com/user-images/assets/7649531/7e32f2e5-898f-4b9c-8d0f-3b9f6c1190cc/image.png 'image.png') ## 关联的Issue [#278](https://gitcode.com/cann/ops-math/issues/278) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 不涉及 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：社区任务算子设计文档 See merge request: cann/ops-math!4654 个月前
op_host
refactor: 清理 experimental 目录 tiling 文件中多余的头文件引用 Co-authored-by: songkai111<songkai16@huawei.com> # message auto-generated for no-merge-commit merge: !2956 merge master into master refactor: 清理 experimental 目录 tiling 文件中多余的头文件引用 Created-by: songkai111 Commit-by: songkai111 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!29567 天前
op_kernel
【社区任务】LogicalAnd算子开发-算子提交 Co-authored-by: Nce_try<nicetryzzw@163.com> # message auto-generated for no-merge-commit merge: !465 merge submit-logical_and into master 【社区任务】LogicalAnd算子开发-算子提交 Created-by: Nice_try Commit-by: Nce_try Merged-by: cann-robot Description: ## 描述 ### 背景信息 基于LogicalAnd算子历史TBE版本使用Ascend C编程语言进行优化。 ### TBE源码分析 通过对LogicalAnd算子TBE版本的功能分析，当前支持的能力如下： ① 算子支持仅bool格式的输入输出。 ![image.png](https://raw.gitcode.com/user-images/assets/7649531/f58a2bac-0a9e-45b9-9877-bea4c4d70c68/image.png 'image.png') ![image.png](https://raw.gitcode.com/user-images/assets/7649531/213d70fb-d240-4102-9339-12a3b2df9839/image.png 'image.png') ② LogicalAnd算子涉及到对输入数据进行广播（输入数据的shape调整到相同大小），任务书说明：暂可不支持广播场景 ③ 在对输入数据进行广播操作后，调用cast和mul接口实现相应的表达式： - 算子功能：对两个输入张量进行逻辑和运算。 - 计算公式： $$ out_i=self_i && other_i $$ - 实际运算： ![image.png](https://raw.gitcode.com/user-images/assets/7649531/14c5e597-fbf7-4c22-b884-faf8ea500ffe/image.png 'image.png') LogicalAnd算子TBE版本的整体流程图如下图所示： ![image.png](https://raw.gitcode.com/user-images/assets/7649531/97ff5b50-684a-429e-9990-83ac0f5bba7e/image.png 'image.png') ### 算子原型 <table style="undefined;table-layout: fixed; width: 1494px"><colgroup> <col style="width: 146px"> <col style="width: 110px"> <col style="width: 301px"> <col style="width: 219px"> <col style="width: 328px"> <col style="width: 101px"> <col style="width: 143px"> <col style="width: 146px"> </colgroup> <thead> <tr> <th>参数名</th> <th>输入/输出</th> <th>描述</th> <th>使用说明</th> <th>数据类型</th> <th>数据格式</th> <th>维度(shape)</th> <th>非连续Tensor</th> </tr></thead> <tbody> <tr> <td>self</td> <td>输入</td> <td>待进行logical_and计算的入参，公式中的self。</td> <td>无</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> <tr> <td>other</td> <td>输入</td> <td>待进行logical_and计算的入参，公式中的other。</td> <td>无</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> <tr> <td>out</td> <td>输出</td> <td>待进行logical_and计算的出参，公式中的out。</td> <td>shape与self相同。</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> </tbody> </table> ### 算子支持型号 Atlas A2 训练系列产品/Atlas 800I A2推理产品 ### host侧设计方案 算子计算过程不涉及数据的维度信息，故在host侧将数据视为一维向量，仅考虑数据个数，不考虑数据维度信息。 任务均分：coreNum 根据输入长度和块大小动态调整，确保每个核心处理的数据块数均匀。 批量搬运：tileBlockNum 和 tileDataNum 计算单次搬运的数据量，通过 finalSmallTileNum 和 finalBigTileNum 确定小核/大核的搬运次数，将多次搬运合并为批量操作，减少冗余开销。尾块的处理逻辑确保不完整块也能被合并到计算流程中，避免数据碎片。 #### 1) 分核策略 优先使用满核的原则。 如果核间能均分，可视作无大小核区分，大核小核数据块一致； 如果核间不能均分，需要将余出的数据块分配到前几个核上。 输入数据大小计算：通过GetInputShape和GetDataTypeLength函数获取输入数据的大小和类型长度，计算出输入数据的总字节数。 UB内存大小和核心数量获取：通过平台信息获取UB内存大小和核心数量，并根据这些信息调整核心数量。 #### 2) 数据分块和内存优化策略 充分使用UB空间的原则。 需要考虑不同硬件的UB大小不同、是否开启double buffer、kernel侧API实现过程中是否需要临时数据的储存，综合考虑单核内切分的大小。 UB内存大小获取：通过GetCoreMemSize函数获取UB内存的大小，用于后续的数据切分计算。 Tile块计算：根据UB内存大小和预定义的BLOCK_SIZE及BUFFER_NUM和不同类型下的ubDataNum，计算出每个Tile块的数据数量。 数据切分：将输入数据按照计算出的Tile块大小进行切分，计算出每个core需要处理的数据块数量和最后一个block的剩余数据量。 设置切分参数：将计算出的切分参数（如每个core的数据量、Tile块大小等）设置到RealDivTilingData对象中。 这些策略确保了数据在多个核心之间的均匀分布，并且在单个核心内进行了合理的切分，以提高并行处理的效率。 #### 3) tilingkey规划策略 不进行tilingkey划分，在kernel侧利用输入数据的类型来走不同的分支。 ### kernel侧设计方案 进行Init和Process两个阶段，其中Process包括数据搬入（CopyIn）、计算（Compute）、搬出（CopyOut）三个阶段。 1) 依照TBE实现，输入Cast转换为fp16，然后进行Mul运算，结果Cast转换为int8，然后搬出。 2) Ascend C的LogicalAnd算子流程见下图。 ![image.png](https://raw.gitcode.com/user-images/assets/7649531/7e32f2e5-898f-4b9c-8d0f-3b9f6c1190cc/image.png 'image.png') ## 关联的Issue [#278](https://gitcode.com/cann/ops-math/issues/278) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 不涉及 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：社区任务算子设计文档 See merge request: cann/ops-math!4654 个月前
tests
Arch编码更新 Co-authored-by: liulinxiang<liulinxiang1@huawei.com> # message auto-generated for no-merge-commit merge: !992 merge master1 into master Arch编码更新 Created-by: liulinxiang Commit-by: liulinxiang Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!9924 个月前
CMakeLists.txt
【社区任务】LogicalAnd算子开发-算子提交 Co-authored-by: Nce_try<nicetryzzw@163.com> # message auto-generated for no-merge-commit merge: !465 merge submit-logical_and into master 【社区任务】LogicalAnd算子开发-算子提交 Created-by: Nice_try Commit-by: Nce_try Merged-by: cann-robot Description: ## 描述 ### 背景信息 基于LogicalAnd算子历史TBE版本使用Ascend C编程语言进行优化。 ### TBE源码分析 通过对LogicalAnd算子TBE版本的功能分析，当前支持的能力如下： ① 算子支持仅bool格式的输入输出。 ![image.png](https://raw.gitcode.com/user-images/assets/7649531/f58a2bac-0a9e-45b9-9877-bea4c4d70c68/image.png 'image.png') ![image.png](https://raw.gitcode.com/user-images/assets/7649531/213d70fb-d240-4102-9339-12a3b2df9839/image.png 'image.png') ② LogicalAnd算子涉及到对输入数据进行广播（输入数据的shape调整到相同大小），任务书说明：暂可不支持广播场景 ③ 在对输入数据进行广播操作后，调用cast和mul接口实现相应的表达式： - 算子功能：对两个输入张量进行逻辑和运算。 - 计算公式： $$ out_i=self_i && other_i $$ - 实际运算： ![image.png](https://raw.gitcode.com/user-images/assets/7649531/14c5e597-fbf7-4c22-b884-faf8ea500ffe/image.png 'image.png') LogicalAnd算子TBE版本的整体流程图如下图所示： ![image.png](https://raw.gitcode.com/user-images/assets/7649531/97ff5b50-684a-429e-9990-83ac0f5bba7e/image.png 'image.png') ### 算子原型 <table style="undefined;table-layout: fixed; width: 1494px"><colgroup> <col style="width: 146px"> <col style="width: 110px"> <col style="width: 301px"> <col style="width: 219px"> <col style="width: 328px"> <col style="width: 101px"> <col style="width: 143px"> <col style="width: 146px"> </colgroup> <thead> <tr> <th>参数名</th> <th>输入/输出</th> <th>描述</th> <th>使用说明</th> <th>数据类型</th> <th>数据格式</th> <th>维度(shape)</th> <th>非连续Tensor</th> </tr></thead> <tbody> <tr> <td>self</td> <td>输入</td> <td>待进行logical_and计算的入参，公式中的self。</td> <td>无</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> <tr> <td>other</td> <td>输入</td> <td>待进行logical_and计算的入参，公式中的other。</td> <td>无</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> <tr> <td>out</td> <td>输出</td> <td>待进行logical_and计算的出参，公式中的out。</td> <td>shape与self相同。</td> <td>BOOL</td> <td>ND</td> <td>0-8</td> <td>√</td> </tr> </tbody> </table> ### 算子支持型号 Atlas A2 训练系列产品/Atlas 800I A2推理产品 ### host侧设计方案 算子计算过程不涉及数据的维度信息，故在host侧将数据视为一维向量，仅考虑数据个数，不考虑数据维度信息。 任务均分：coreNum 根据输入长度和块大小动态调整，确保每个核心处理的数据块数均匀。 批量搬运：tileBlockNum 和 tileDataNum 计算单次搬运的数据量，通过 finalSmallTileNum 和 finalBigTileNum 确定小核/大核的搬运次数，将多次搬运合并为批量操作，减少冗余开销。尾块的处理逻辑确保不完整块也能被合并到计算流程中，避免数据碎片。 #### 1) 分核策略 优先使用满核的原则。 如果核间能均分，可视作无大小核区分，大核小核数据块一致； 如果核间不能均分，需要将余出的数据块分配到前几个核上。 输入数据大小计算：通过GetInputShape和GetDataTypeLength函数获取输入数据的大小和类型长度，计算出输入数据的总字节数。 UB内存大小和核心数量获取：通过平台信息获取UB内存大小和核心数量，并根据这些信息调整核心数量。 #### 2) 数据分块和内存优化策略 充分使用UB空间的原则。 需要考虑不同硬件的UB大小不同、是否开启double buffer、kernel侧API实现过程中是否需要临时数据的储存，综合考虑单核内切分的大小。 UB内存大小获取：通过GetCoreMemSize函数获取UB内存的大小，用于后续的数据切分计算。 Tile块计算：根据UB内存大小和预定义的BLOCK_SIZE及BUFFER_NUM和不同类型下的ubDataNum，计算出每个Tile块的数据数量。 数据切分：将输入数据按照计算出的Tile块大小进行切分，计算出每个core需要处理的数据块数量和最后一个block的剩余数据量。 设置切分参数：将计算出的切分参数（如每个core的数据量、Tile块大小等）设置到RealDivTilingData对象中。 这些策略确保了数据在多个核心之间的均匀分布，并且在单个核心内进行了合理的切分，以提高并行处理的效率。 #### 3) tilingkey规划策略 不进行tilingkey划分，在kernel侧利用输入数据的类型来走不同的分支。 ### kernel侧设计方案 进行Init和Process两个阶段，其中Process包括数据搬入（CopyIn）、计算（Compute）、搬出（CopyOut）三个阶段。 1) 依照TBE实现，输入Cast转换为fp16，然后进行Mul运算，结果Cast转换为int8，然后搬出。 2) Ascend C的LogicalAnd算子流程见下图。 ![image.png](https://raw.gitcode.com/user-images/assets/7649531/7e32f2e5-898f-4b9c-8d0f-3b9f6c1190cc/image.png 'image.png') ## 关联的Issue [#278](https://gitcode.com/cann/ops-math/issues/278) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 不涉及 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：社区任务算子设计文档 See merge request: cann/ops-math!4654 个月前
README.md
doc tools 工具扫描问题修改 Co-authored-by: gitee-yanglulu<yanglulul@h-partners.com> # message auto-generated for no-merge-commit merge: !1938 merge master into master doc tools 工具扫描问题修改 Created-by: gitee-yanglulu Commit-by: gitee-yanglulu Merged-by: cann-robot Description: doc tools 工具扫描问题修改 See merge request: cann/ops-math!19382 个月前
README.md

LogicalAnd

产品支持情况

产品 是否支持
<term>Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件 </term> √

功能说明

  • 算子功能：对两个输入张量进行逻辑和运算。
  • 计算公式：

out_i=self_i && other_i

  • 实际运算逻辑：

将两个输入，类型转换为fp16，进行Mul运算，得到结果之后转换为int8.

参数说明

参数名 输入/输出 描述 使用说明 数据类型 数据格式 维度(shape) 非连续Tensor
self 输入 待进行logical_and计算的入参，公式中的self。 无 BOOL ND 0-8 √
other 输入 待进行logical_and计算的入参，公式中的other。 无 BOOL ND 0-8 √
out 输出 待进行logical_and计算的出参，公式中的out。 shape与self相同。 BOOL ND 0-8 √
workspaceSize 输出 返回需要在Device侧申请的workspace大小。 - - - - -
executor 输出 返回op执行器，包含了算子计算流程。 - - - - -

约束说明

无

调用说明

调用方式 调用样例 说明
aclnn调用 test_aclnn_logical_and.cpp 通过test_aclnn_logical_and接口方式调用SelectV2算子。

贡献说明

贡献者 贡献方 贡献算子 贡献时间 贡献内容
Nice_try 个人开发者 LogicalAnd 2025/12/13 LogicalAnd算子适配开源仓