Ascend

Ascend

昇腾万里,让智能无所不及

公告

README

昇腾Ascend开源软件仓库

面向开发者提供基于华为昇腾Ascend AI处理器的应用使能、训推加速、集群管理、工具链等全栈开源软件,让开发者可以便捷高效的编写在昇腾Ascend硬件设备上运行的人工智能应用程序。

项目简介
AscendNPU IR - 基于 MLIR 构建的,面向昇腾亲和算子编译时使用的中间表示
torch_npu - Ascend Extension for PyTorch,适配PyTorch框架
TorchAir - torch_npu 的图模式能力扩展库
MindIE
MindIE SD - 视图生成推理模型套件
MindIE LLM - 大语言模型推理组件
MindIE Motor - 面向通用模型场景的推理服务化框架
MindIE Turbo - 大语言模型推理引擎加速插件库
MindSpeed
MindSpeed Core - 大模型训练加速库
MindSpeed MM - 大规模分布式训练的多模态大模型套件
MindSpeed LLM - 大语言模型分布式训练框架
MindSpeed RL - 强化学习加速框架
MindSpeed-Core-MS - MindSpore + MindSpeed 的连接组件
MindSDK AI应用软件开发套件
Rec SDK - 大规模推荐训推加速库,提供开箱即用的模型和昇腾亲和的加速模块
Index SDK - 基于Faiss开发的昇腾NPU异构检索加速框架,提供高性能的检索
Driving SDK - 提供了适用于自动驾驶场景、VLA及世界模型的高性能的算子和模型加速接口
Agent SDK - 智能体 Agentic RL 训推框架
Vision SDK - 面向图片和视频视觉分析的SDK,提供了基本的视频、图像智能分析能力及编程框架
Multimodal SDK - 提供高性能的昇腾设备亲和性接口,加速大模型推理预处理流程
RAG SDK - 面向大语言模型的知识增强开发套件
Mind Inference Service - 提供了模型推理服务,无需复杂的依赖安装,即可快速完成部署
MindStudio
MindStudio Training Tools(msTT) - 提供训练开发中常用的分析迁移工具、精度调试工具、性能调优等工具
MindStudio Inference Tools(msIT) - 提供推理开发中常用的模型压缩、模型调试调优等工具
MindStudio Operator Tools(msOT) - 提供算子开发中常用的异常检测、算子调试、性能调优等工具
MindCluster
MindCluster - 为训练和推理任务提供集群级解决方案
MEF - 轻量化端边云协同框架,提供边缘节点管理、边缘推理应用生命周期管理等能力
OMSDK - 提供快速搭建智能边缘硬件管理平台,自定义构建设备运维系统,简化设备运维部署能力
MemCache - 为LLM推理、GR推理场景设计的高性能分布式KVCache存储引擎
MemFabric - 提供内存池化、高性能的全局内存直接访问的能力
ascend-deployer - 提供驱动、固件、CANN等昇腾带内软件以及OS依赖软件,自动下载及安装部署参考的功能

关于社区

参与贡献

相关链接

热门项目
703

TorchAir 支持用户基于PyTorch框架和torch_npu插件在昇腾NPU上使用图模式进行推理。

650

Ascend Extension for PyTorch

221

AscendNPU-IR是基于MLIR(Multi-Level Intermediate Representation)构建的,面向昇腾亲和算子编译时使用的中间表示,提供昇腾完备表达能力,通过编译优化提升昇腾AI处理器计算效率,支持通过生态框架使能昇腾AI处理器与深度调优

triton-ascend已归档
176

Triton Ascend 已经迁移到https://github.com/triton-lang/triton-ascend

170

统一推理工具链入口,提供客户一体化开发工具,支持一站式调试调优。

  • ci-infra仓库用于介绍昇腾(Ascend)社区各项目持续集成(Continuous Integration)和持续发布(Continuous Delivery)的实施过程和要求

    2
    4
    更新于 4月23日
    Star
  • Ascend Extension for PyTorch

    Python
    650
    797
    NOASSERTION
    更新于 1 小时前
    Star
  • 华为昇腾面向大规模分布式训练的多模态大模型套件,支撑多模态生成、多模态理解。

    Python
    147
    237
    NOASSERTION
    更新于 1 天前
    Star
  • OpPlugin of Ascend Extension for PyTorch

    Python
    118
    715
    NOASSERTION
    更新于 2 小时前
    Star
  • 昇腾自研推理集群管理框架

    Python
    14
    58
    NOASSERTION
    更新于 2 天前
    Star
  • 昇腾模型 Agent,大模型落地全流程一键通!查适配、做调优、快部署、稳上线,文档一键生成,一站式搞定无压力!

    Python
    23
    40
    更新于 5 天前
    Star
  • RAG SDK是昇腾面向大语言模型的知识增强开发套件,为解决大模型知识更新缓慢以及垂直领域知识回答弱的问题,面向大模型知识库提供垂域调优、生成增强、知识管理等特性,帮助用户搭建专属的高性能、准确度高的大模型问答系统

    Python
    64
    43
    NOASSERTION
    更新于 1 天前
    Star
  • MindStudio-Modeling(msmodeling)是MindStudio建模寻优工具,评估模型及服务化等场景下的理论性能,并在此基础上寻找性能较优的部署策略等参数。

    Python
    58
    88
    NOASSERTION
    更新于 2 天前
    Star
  • community 仓库是昇腾(Ascend)社区的核心管理仓库,用于实现组织级权限的统一管理。通过层级化的目录结构和配置文件,实现对项目、SIG组、代码仓库及成员权限的规范化管理。

    Python
    25
    205
    MulanPSL-2.0
    更新于 1 天前
    Star
  • MindCluster 组件代码仓

    Go
    160
    152
    Apache-2.0
    更新于 7 小时前
    Star
查看全部项目 >
公告
成就
6.37 K
Star
6.52 K
Fork
13.02 M
Download
常用语言
Python
C++
Shell
C
Go
社区动态