master

cann-robotadd featurs samples weightnz&streamk

3219070d创建于 5月25日历史提交

文件	最后提交记录	最后更新时间
gen_data.py	add featurs samples weightnz&streamk Co-authored-by: huangkejie1647<huangkejie3@huawei.com> # message auto-generated for no-merge-commit merge: !181 merge streamk into master add featurs samples weightnz&streamk Created-by: huangkejie1647 Commit-by: huangkejie1647 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增features用例： 1.streamk用例 需求背景： 当矩阵规模可以由单核承载计算时，采用负载均衡策略将计算任务分散至多核可提升计算效率。然而，传统切分策略会破坏原有最优搬运模式，导致数据重复搬运开销增加。Stream-K策略通过在K维度上进行细粒度切分，配合workspace中转机制，实现不改变切分策略前提下的多核负载均衡。 技术实现点：AIC切k执行矩阵乘并写入workspace，AIV从workspace读取累加输出GM 2.weightnz用例 昇腾NPU内部采用亲和排布的Fractal NZ格式进行矩阵运算。当MatMul算子以传统ND排布传入权重时，需在数据通路中随路完成格式转换，该过程会引入额外的带宽损耗。本方案通过预处理权重矩阵，提前转换为NZ排布，消除转换开销，提升推理场景下的计算性能。 技术实现点：在host侧创建nd2nz向量布局转换的函数，设置NZ布局的矩阵进行权重矩阵的搬运，消除数据通路中的格式转换开销 3.修改尾轮负载均衡描述 对性能对比中的命名修改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> Issue [#162](https://gitcode.com/cann/cann-samples/issues/162) <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 本地泛化用例测试通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/cann-samples!181	1 个月前
profile_matmul.py	add featurs samples weightnz&streamk Co-authored-by: huangkejie1647<huangkejie3@huawei.com> # message auto-generated for no-merge-commit merge: !181 merge streamk into master add featurs samples weightnz&streamk Created-by: huangkejie1647 Commit-by: huangkejie1647 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增features用例： 1.streamk用例 需求背景： 当矩阵规模可以由单核承载计算时，采用负载均衡策略将计算任务分散至多核可提升计算效率。然而，传统切分策略会破坏原有最优搬运模式，导致数据重复搬运开销增加。Stream-K策略通过在K维度上进行细粒度切分，配合workspace中转机制，实现不改变切分策略前提下的多核负载均衡。 技术实现点：AIC切k执行矩阵乘并写入workspace，AIV从workspace读取累加输出GM 2.weightnz用例 昇腾NPU内部采用亲和排布的Fractal NZ格式进行矩阵运算。当MatMul算子以传统ND排布传入权重时，需在数据通路中随路完成格式转换，该过程会引入额外的带宽损耗。本方案通过预处理权重矩阵，提前转换为NZ排布，消除转换开销，提升推理场景下的计算性能。 技术实现点：在host侧创建nd2nz向量布局转换的函数，设置NZ布局的矩阵进行权重矩阵的搬运，消除数据通路中的格式转换开销 3.修改尾轮负载均衡描述 对性能对比中的命名修改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> Issue [#162](https://gitcode.com/cann/cann-samples/issues/162) <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 本地泛化用例测试通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/cann-samples!181	1 个月前
verify_result.py	add featurs samples weightnz&streamk Co-authored-by: huangkejie1647<huangkejie3@huawei.com> # message auto-generated for no-merge-commit merge: !181 merge streamk into master add featurs samples weightnz&streamk Created-by: huangkejie1647 Commit-by: huangkejie1647 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增features用例： 1.streamk用例 需求背景： 当矩阵规模可以由单核承载计算时，采用负载均衡策略将计算任务分散至多核可提升计算效率。然而，传统切分策略会破坏原有最优搬运模式，导致数据重复搬运开销增加。Stream-K策略通过在K维度上进行细粒度切分，配合workspace中转机制，实现不改变切分策略前提下的多核负载均衡。 技术实现点：AIC切k执行矩阵乘并写入workspace，AIV从workspace读取累加输出GM 2.weightnz用例 昇腾NPU内部采用亲和排布的Fractal NZ格式进行矩阵运算。当MatMul算子以传统ND排布传入权重时，需在数据通路中随路完成格式转换，该过程会引入额外的带宽损耗。本方案通过预处理权重矩阵，提前转换为NZ排布，消除转换开销，提升推理场景下的计算性能。 技术实现点：在host侧创建nd2nz向量布局转换的函数，设置NZ布局的矩阵进行权重矩阵的搬运，消除数据通路中的格式转换开销 3.修改尾轮负载均衡描述 对性能对比中的命名修改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> Issue [#162](https://gitcode.com/cann/cann-samples/issues/162) <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 本地泛化用例测试通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/cann-samples!181	1 个月前