昇腾Ascend开源软件仓库
面向开发者提供基于华为昇腾Ascend AI处理器的应用使能、训推加速、集群管理、工具链等全栈开源软件，让开发者可以便捷高效的编写在昇腾Ascend硬件设备上运行的人工智能应用程序。
| 项目简介 |
|---|
|
AscendNPU IR - 基于 MLIR 构建的，面向昇腾亲和算子编译时使用的中间表示
|
|
torch_npu - Ascend Extension for PyTorch，适配PyTorch框架
|
|
TorchAir - torch_npu 的图模式能力扩展库
|
|
MindIE ・MindIE SD - 视图生成推理模型套件 ・MindIE LLM - 大语言模型推理组件 ・MindIE Motor - 面向通用模型场景的推理服务化框架 ・MindIE Turbo - 大语言模型推理引擎加速插件库 |
|
MindSpeed ・MindSpeed Core - 大模型训练加速库 ・MindSpeed MM - 大规模分布式训练的多模态大模型套件 ・MindSpeed LLM - 大语言模型分布式训练框架 ・MindSpeed RL - 强化学习加速框架 ・MindSpeed-Core-MS - MindSpore + MindSpeed 的连接组件 |
|
MindSDK AI应用软件开发套件 ・Rec SDK - 大规模推荐训推加速库，提供开箱即用的模型和昇腾亲和的加速模块 ・Index SDK - 基于Faiss开发的昇腾NPU异构检索加速框架，提供高性能的检索 ・Driving SDK - 提供了适用于自动驾驶场景、VLA及世界模型的高性能的算子和模型加速接口 ・Agent SDK - 智能体 Agentic RL 训推框架 ・Vision SDK - 面向图片和视频视觉分析的SDK，提供了基本的视频、图像智能分析能力及编程框架 ・Multimodal SDK - 提供高性能的昇腾设备亲和性接口，加速大模型推理预处理流程 ・RAG SDK - 面向大语言模型的知识增强开发套件 ・Mind Inference Service - 提供了模型推理服务，无需复杂的依赖安装，即可快速完成部署 |
|
MindStudio ・MindStudio Training Tools(msTT) - 提供训练开发中常用的分析迁移工具、精度调试工具、性能调优等工具 ・MindStudio Inference Tools(msIT) - 提供推理开发中常用的模型压缩、模型调试调优等工具 ・MindStudio Operator Tools(msOT) - 提供算子开发中常用的异常检测、算子调试、性能调优等工具 |
|
MindCluster ・MindCluster - 为训练和推理任务提供集群级解决方案 ・MEF - 轻量化端边云协同框架，提供边缘节点管理、边缘推理应用生命周期管理等能力 ・OMSDK - 提供快速搭建智能边缘硬件管理平台，自定义构建设备运维系统，简化设备运维部署能力 ・MemCache - 为LLM推理、GR推理场景设计的高性能分布式KVCache存储引擎 ・MemFabric - 提供内存池化、高性能的全局内存直接访问的能力 ・ascend-deployer - 提供驱动、固件、CANN等昇腾带内软件以及OS依赖软件，自动下载及安装部署参考的功能 |