catlass_zhb:基于昇腾生态的高性能矩阵乘类算子模板库项目

Star0
2
代码
代码
Issues7
Pull Requests
Actions
项目讨论
Wiki
分析
Star0
2

昇腾算子模板库代码仓

分支191Tags1
文件最后提交记录最后更新时间
.gitcode
补充不同场景下的Issue提交模板 Co-authored-by: init__zhb__<zhanghaobo6@huawei.com>
11 个月前
cmake
【bug】修复没有0号卡时的编译错误 Co-authored-by: yuantao<taoyuan15@h-partners.com> # message auto-generated for no-merge-commit merge: !405 merge depfix into master 【bug】修复没有0号卡时的编译错误 Created-by: yuantao_ Commit-by: yuantao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 先获取最小卡号，再获取NPU信息。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> ## 原因 <!--说明此次改动的目的、解决的问题等，应与类型标签匹配 --> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/catlass!405
8 个月前
docs
doc refine #update#quickstart
8 个月前
examples
doc refine #6
8 个月前
include
【bug】修复Silu命名和精度问题 Co-authored-by: yuantao<taoyuan15@h-partners.com> # message auto-generated for no-merge-commit merge: !428 merge cast into master 【bug】修复Silu命名和精度问题 Created-by: yuantao_ Commit-by: yuantao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> RINT模式会进行舍入，在可以不产生精度舍入的情况下，如大转小、同类型转换，应当使用NONE。 另外，在相同类型转换情况下，AscendC没有对应实现，因此将同类型cast增加判断，类型相同不运行Cast接口。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> ## 原因 <!--说明此次改动的目的、解决的问题等，应与类型标签匹配 --> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/catlass!428
8 个月前
scripts
【task】优化仿真的编译逻辑 Co-authored-by: yuantao<taoyuan15@h-partners.com> # message auto-generated for no-merge-commit merge: !400 merge prof into master 【task】优化仿真的编译逻辑 Created-by: yuantao_ Commit-by: yuantao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 编译simulator模式时，其逻辑改为与上板模式相同。 在运行时，增加仿真器路径到LD_LIBRARY_PATH；增加仿真器两个替换文件到LD_PRELOAD。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> ## 原因 <!--说明此次改动的目的、解决的问题等，应与类型标签匹配 --> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/catlass!400
8 个月前
tests
【bug】修复Silu命名和精度问题 Co-authored-by: yuantao<taoyuan15@h-partners.com> # message auto-generated for no-merge-commit merge: !428 merge cast into master 【bug】修复Silu命名和精度问题 Created-by: yuantao_ Commit-by: yuantao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> RINT模式会进行舍入，在可以不产生精度舍入的情况下，如大转小、同类型转换，应当使用NONE。 另外，在相同类型转换情况下，AscendC没有对应实现，因此将同类型cast增加判断，类型相同不运行Cast接口。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> ## 原因 <!--说明此次改动的目的、解决的问题等，应与类型标签匹配 --> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/catlass!428
8 个月前
tools
doc refine #6
8 个月前
.clang-format
tla支持float及NZ Co-authored-by: 周建伟<zhoujianwei4@huawei.com>
11 个月前
.gitignore
!59 pybind扩展以whl包提供 * update doc * update cmake * update cmake * fix module name; fix ops lib core dump * fix doc * pybind11 as whl
1 年前
CHANGELOG.md
doc refine #1
8 个月前
CMakeLists.txt
【task】更新license Co-authored-by: yuantao<taoyuan15@h-partners.com> # message auto-generated for no-merge-commit merge: !399 merge master into master 【task】更新license Created-by: yuantao_ Commit-by: yuantao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> ## 原因 <!--说明此次改动的目的、解决的问题等，应与类型标签匹配 --> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/catlass!399
9 个月前
CONTRIBUTING.md
Update README.md and CONTRIBUTING.md Co-authored-by: init__zhb__<zhanghaobo6@huawei.com>
11 个月前
LICENSE
更新许可证到CANN2.0版本 Co-authored-by: init__zhb__<zhanghaobo6@huawei.com>
11 个月前
OAT.xml
【task】更新license Co-authored-by: yuantao<taoyuan15@h-partners.com> # message auto-generated for no-merge-commit merge: !399 merge master into master 【task】更新license Created-by: yuantao_ Commit-by: yuantao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> ## 原因 <!--说明此次改动的目的、解决的问题等，应与类型标签匹配 --> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/catlass!399
9 个月前
OWNERS
add approvers and reviewers for mstuner Co-authored-by: gong-siwei<gongsiwei@huawei.com> # message auto-generated for no-merge-commit merge: !423 merge modify_owners into master add approvers and reviewers for mstuner Created-by: gong-siwei Commit-by: gong-siwei Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 为mstuner工具新增reviewers和approver ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> ## 原因 <!--说明此次改动的目的、解决的问题等，应与类型标签匹配 --> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述： See merge request: cann/catlass!423
8 个月前
README.md
doc refine #5: cann version
8 个月前
SECURITYNOTE.md
大模型文档低错修改
8 个月前
Third_Party_Open_Source_Software_Notice
添加OAT.xml 及 Third_Party_Open_Source_Software_Notice Co-authored-by: zhanghaobo<zhanghaobo6@huawei.com>
11 个月前

CATLASS

Latest News

请参阅CHANGELOG以查看当前及历史版本的详细更新内容。

📌 简介

CATLASS(CANN Templates for Linear Algebra Subroutines)，中文名为昇腾算子模板库，是一个聚焦于提供高性能矩阵乘类算子基础模板的代码库。

通过抽象分层的方式将矩阵类算子代码模板化，从而实现算子计算逻辑的白盒化组装，让算子代码可复用，可替换，可局部修改。针对昇腾硬件特点进行设计，可以支持复杂场景流水排布，如Flash Attention等算子。在上层代码逻辑共享的同时，支持底层硬件差异特化。

本代码库为CATLASS联创代码仓。结合昇腾生态力量，共同设计研发算子模板，并提供典型算子的高性能实现代码样例，概述详情参考这里。

⚡️ 快速上手

为快速体验CATLASS的算子开发与使用，请参考下述内容。

  • 快速入门：快速上手模板库使用，编译执行已有的算子样例。
  • 基础开发指南：以基础Matmul算子为例，介绍基于CATLASS的算子开发实践；
  • 开发者实践: 从算子编写至编译测试，再到Tiling调优与算子优化，从新手到进阶的实践示例。

📚 进阶参考

下述资料可助力您深入开展CATLASS算子的开发与调优，实现更优性能的GEMM类算子。

  • CATLASS API: 介绍CATLASS的分层特征与通用矩阵乘法GEMM API。
  • CATLASS性能调测: 汇总CATLASS工程开发中的调测办法，有助于消除漏洞，分析性能的瓶颈点。
  • CATLASS进阶实践: 汇总CATLASS的进阶知识，如Tiling调参方法、Dispatch策略等，实现更高性能。

📁 目录结构说明

关键目录如下，详细目录参见项目目录。

catlass
├── cmake                     # cmake工程文件
├── docs                      # 文档存放目录
├── examples                  # kernel算子样例总目录
|   ├── 00_basic_matmul       # 单算子样例
|   |   ├── basic_matmul.cpp  # Host侧算子调用
|   |   ├── CMakeLists.txt
|   |   └── README.md         # 算子说明示例
|   ├── ...   
|   └── python_extension      # Python调用CATLASS算子
|                             # 的工程组件
├── include                   # 模板头文件集
|   ├── catlass               # 不同层级的算子实现逻辑
|   └── tla                   # 计算关联的基础数据结构
├── scripts                   # 编译脚本
|   └── build.sh              # 算子样例编译脚本
├── tests                     # 测试用例
└── tools                     # 相关工具
    └── tuner                 # Tiling自动寻优工具

💻 软硬件配套说明

CATLASS所需的软硬件环境依赖如下：

不同CATLASS发行版可支持的硬件平台及所需的最低CANN版本如下表：

CATLASS社区版本 最低支持CANN包版本 支持昇腾产品
v.1.2.2 及以上 社区版8.2.RC1 Atlas A2训练/推理产品
Atlas A3训练/推理产品
v1.2.1~v1.0.0 社区版8.2.RC1.alpha002 Atlas A2训练/推理产品
Atlas A3训练/推理产品
  • 对于某些调测工具，可能需要较上述更新的CANN版本，详情参考调测工具文档。

下述环境经测试支持当前CATLASS构建：

系统 CANN gcc cmake python
Ubuntu 20.04.5 8.2.RC1 9.3 3.16 3.10
Ubuntu 22.04.5 8.2.RC1 11.3 3.22 3.10
openEuler 22.03 SP4 8.2.RC1 10.3 3.22 3.10

👥 合作贡献者

华南理工大学 陆璐教授团队

科大讯飞 研究院工程组

📝相关信息

项目介绍

昇腾算子模板库代码仓

Others C++267提交数
定制我的领域
README
规则集