203cb403创建于 1月15日历史提交

文件	最后提交记录	最后更新时间
CMakeLists.txt	【task】更新license Co-authored-by: yuantao<taoyuan15@h-partners.com> # message auto-generated for no-merge-commit merge: !399 merge master into master 【task】更新license Created-by: yuantao_ Commit-by: yuantao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> ## 原因 <!--说明此次改动的目的、解决的问题等，应与类型标签匹配 --> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/catlass!399	5 个月前
README.md	大模型扫描文档低错修改 Co-authored-by: init__zhb__<zhanghaobo6@huawei.com> # message auto-generated for no-merge-commit merge: !418 merge br_docup into master 大模型扫描文档低错修改 Created-by: init__zhb__ Commit-by: init__zhb__ Merged-by: cann-robot Description: ## 描述调整文档中的低错描述。 ## 关联的Issue ## 原因文档刷新，使之表述更为清晰、正式、规范。 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/catlass!418	4 个月前
w8a16_matmul.cpp	修复int4->int8 tileCopy组件的Vector同步 &修复30_w8a16中half类型参与计算的问题 Co-authored-by: init__zhb__<zhanghaobo6@huawei.com> # message auto-generated for no-merge-commit merge: !434 merge br_32update into master 修复int4->int8 tileCopy组件的Vector同步 &修复30_w8a16中half类型参与计算的问题 Created-by: init__zhb__ Commit-by: init__zhb__ Merged-by: cann-robot Description: ## 描述 1. cast_int4_to_int8.hpp组件中原标量流水同步应调整为Vector同步。 2. 调整w8a16_matmul.cpp Host侧中的数据类型为fp16(原为half)，避免arm specified only. ## 关联的Issue - [Issue#89: 关于example 30_w8a16_matmul的结果精度核对问题](https://gitcode.com/cann/catlass/issues/89) - [Issue#86: cast_int4_to_int8.hpp中的标量流水线问题](https://gitcode.com/cann/catlass/issues/86) ## 原因 ## 测试除一个测试例溢出无效外，200例泛化测试通过。 ![image.png](https://raw.gitcode.com/user-images/assets/7631999/d79ef3b9-0d6c-4520-a8c4-2241f906a90e/image.png 'image.png') ![image.png](https://raw.gitcode.com/user-images/assets/7631999/e5e50c9c-8452-434d-a604-f1cb621578fb/image.png 'image.png') > `ElementC`为`fp16` ## 文档更新 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/catlass!434	4 个月前

W8A16Matmul Example Readme

代码组织

├── 30_w8a16_matmul
│   ├── CMakeLists.txt     # CMake编译文件
│   ├── README.md
│   └── w8a16_matmul.cpp # 主文件

功能介绍

增加反量化功能，将输入B矩阵从int8转换为fp16_t(half)，再做反量化：与deqZeroPoint求和后和deqScalar相乘，而后与A矩阵做Matmul。
当前实现仅支持RowMajor、ColumnMajor数据排布。

使用示例

获取代码后，编译相应的算子可执行文件，可参考quickstart
执行算子

# 编译指定用例
bash scripts/build.sh 30_w8a16_matmul
cd output/bin
# 可执行文件名 |矩阵m轴|n轴|k轴|Device ID
# Device ID可选，默认为0
./30_w8a16_matmul 256 512 1024 0

执行结果如下，说明精度比对成功。

Compare success.