ops-transformer_0728:基于 CANN 的 transformer 类大模型进阶算子库项目

本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。

分支14Tags0
文件最后提交记录最后更新时间
16 天前
15 天前
16 天前
20 天前
15 天前
15 天前
15 天前
15 天前
15 天前
15 天前
15 天前
15 天前
15 天前
15 天前
23 天前
21 天前
15 天前
1 个月前
2 个月前
2 个月前
30 天前
2 个月前
26 天前
2 个月前
2 个月前
1 个月前
15 天前
3 个月前
7 个月前
2 个月前
23 天前
16 天前
2 个月前
2 个月前
1 个月前
7 个月前

ops-transformer

CANNcommunity repo license contributing SIG Zread


🔥Latest News

🚀概述

ops-transformer是CANN(Compute Architecture for Neural Networks)算子库中提供transformer类大模型计算的进阶算子库,包括attention类、moe类、mc2类等,覆盖各类attention、MoE计算、通算融合等场景,算子库在架构图中的位置如下。

架构图

📌版本配套

本项目源码会跟随CANN软件版本发布,关于CANN软件版本与本项目标签的对应关系请参阅release仓库中的相应版本说明。 请注意,为确保您的源码定制开发顺利进行,请选择配套的CANN版本与Gitcode标签源码,使用master分支可能存在版本不匹配的风险。

🛠️环境准备

环境部署是体验本项目能力的前提,请先完成NPU驱动、CANN包安装等,确保环境正常。

⬇️源码下载

环境准备好后,下载与CANN版本配套的分支源码,通用命令如下,${tag_version}替换为分支标签名。以9.0.0分支源码下载为例:

# 通用命令:git clone -b ${tag_version} https://gitcode.com/cann/ops-transformer.git
git clone -b 9.0.0 https://gitcode.com/cann/ops-transformer.git

说明:若环境中已存在配套分支源码,可跳过本步骤,例如CANNLab默认已提供最新版本CANN对应的源码。

📖学习教程

  • 快速入门:从零开始快速体验项目核心基础能力,涵盖源码编译、算子调用、开发与调试等操作。
  • 进阶教程:如需深入了解项目编译部署、算子调用、开发、调试调优等能力,请查阅文档中心获取详细指引。

💬相关信息


PS:本项目功能和文档正在持续更新和完善中,欢迎您关注最新版本。

  • 问题反馈:通过GitCode【Issues】提交问题。
  • 社区互动:通过GitCode【讨论】参与交流。
  • 技术专栏:通过GitCode【Wiki】获取技术文章,如系列化教程、优秀实践等。

​

项目介绍

本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。

定制我的领域