Ascend

Ascend

昇腾万里,让智能无所不及

README

昇腾Ascend开源软件仓库

面向开发者提供基于华为昇腾Ascend AI处理器的应用使能、训推加速、集群管理、工具链等全栈开源软件,让开发者可以便捷高效的编写在昇腾Ascend硬件设备上运行的人工智能应用程序。

项目简介
AscendNPU IR - 基于 MLIR 构建的,面向昇腾亲和算子编译时使用的中间表示
torch_npu - Ascend Extension for PyTorch,适配PyTorch框架
TorchAir - torch_npu 的图模式能力扩展库
MindIE
MindIE SD - 视图生成推理模型套件
MindIE LLM - 大语言模型推理组件
MindIE Motor - 面向通用模型场景的推理服务化框架
MindIE Turbo - 大语言模型推理引擎加速插件库
MindSpeed
MindSpeed Core - 大模型训练加速库
MindSpeed MM - 大规模分布式训练的多模态大模型套件
MindSpeed LLM - 大语言模型分布式训练框架
MindSpeed RL - 强化学习加速框架
MindSpeed-Core-MS - MindSpore + MindSpeed 的连接组件
MindSDK AI应用软件开发套件
Rec SDK - 大规模推荐训推加速库,提供开箱即用的模型和昇腾亲和的加速模块
Index SDK - 基于Faiss开发的昇腾NPU异构检索加速框架,提供高性能的检索
Driving SDK - 提供了适用于自动驾驶场景、VLA及世界模型的高性能的算子和模型加速接口
Agent SDK - 智能体 Agentic RL 训推框架
Vision SDK - 面向图片和视频视觉分析的SDK,提供了基本的视频、图像智能分析能力及编程框架
Multimodal SDK - 提供高性能的昇腾设备亲和性接口,加速大模型推理预处理流程
RAG SDK - 面向大语言模型的知识增强开发套件
Mind Inference Service - 提供了模型推理服务,无需复杂的依赖安装,即可快速完成部署
MindStudio
MindStudio Training Tools(msTT) - 提供训练开发中常用的分析迁移工具、精度调试工具、性能调优等工具
MindStudio Inference Tools(msIT) - 提供推理开发中常用的模型压缩、模型调试调优等工具
MindStudio Operator Tools(msOT) - 提供算子开发中常用的异常检测、算子调试、性能调优等工具
MindCluster
MindCluster - 为训练和推理任务提供集群级解决方案
MEF - 轻量化端边云协同框架,提供边缘节点管理、边缘推理应用生命周期管理等能力
OMSDK - 提供快速搭建智能边缘硬件管理平台,自定义构建设备运维系统,简化设备运维部署能力
MemCache - 为LLM推理、GR推理场景设计的高性能分布式KVCache存储引擎
MemFabric - 提供内存池化、高性能的全局内存直接访问的能力
ascend-deployer - 提供驱动、固件、CANN等昇腾带内软件以及OS依赖软件,自动下载及安装部署参考的功能

关于社区

参与贡献

相关链接

热门项目
834

TorchAir 支持用户基于PyTorch框架和torch_npu插件在昇腾NPU上使用图模式进行推理。

773

Ascend Extension for PyTorch

278

AscendNPU-IR是基于MLIR(Multi-Level Intermediate Representation)构建的,面向昇腾亲和算子编译时使用的中间表示,提供昇腾完备表达能力,通过编译优化提升昇腾AI处理器计算效率,支持通过生态框架使能昇腾AI处理器与深度调优

triton-ascend已归档
178

Triton Ascend 已经迁移到https://github.com/triton-lang/triton-ascend

  • Ascend Extension for PyTorch
    Python
    773
    1.02 K
    NOASSERTION
    更新于 10 小时前
    Star
  • AscendNPU-IR是基于MLIR(Multi-Level Intermediate Representation)构建的,面向昇腾亲和算子编译时使用的中间表示,提供昇腾完备表达能力,通过编译优化提升昇腾AI处理器计算效率,支持通过生态框架使能昇腾AI处理器与深度调优
    C++
    278
    235
    Apache-2.0
    更新于 14 小时前
    Star
  • MindStudio-ModelSlim(msModelSlim)是MindStudio全流程工具链推出的模型量化压缩工具。
    Python
    169
    124
    MulanPSL-2.0
    更新于 14 分钟前
    Star
  • MindCluster 组件代码仓
    Go
    171
    166
    Apache-2.0
    更新于 41 分钟前
    Star
  • 面向图片和视频视觉分析的SDK,提供了基本的视频、图像智能分析能力及编程框架
    C++
    68
    49
    NOASSERTION
    更新于 11 小时前
    Star
  • 华为昇腾-MindX 推荐SDK
    C++
    123
    173
    Apache-2.0
    更新于 1 分钟前
    Star
  • ci-infra仓库用于介绍昇腾(Ascend)社区各项目持续集成(Continuous Integration)和持续发布(Continuous Delivery)的实施过程和要求
    3
    5
    更新于 4月23日
    Star
  • 昇腾大模型加速库
    Python
    70
    259
    NOASSERTION
    更新于 18 分钟前
    Star
  • 昇腾LLM分布式训练框架
    Python
    190
    250
    NOASSERTION
    更新于 1 小时前
    Star
  • MindStudio-Modeling(msmodeling)是MindStudio建模寻优工具,评估模型及服务化等场景下的理论性能,并在此基础上寻找性能较优的部署策略等参数。
    Python
    61
    137
    更新于 12 小时前
    Star
查看全部项目 >