统一推理工具链入口,提供客户一体化开发工具,支持一站式调试调优。
| Files | Last commit | Last update |
|---|
| update: 更新文件 PULL_REQUEST_TEMPLATE.zh-CN.md Signed-off-by: yao-xiaobai <17625331900@163.com> | 1 year ago |
| 【bugfix】删除msit convert aie相关 Co-authored-by: ylw1234<lwying007@126.com> | 10 months ago |
| 【msmodelslim】Qwen2-7B量化切换到V0一键量化 Co-authored-by: SuperMeixc<meixiaocun1@huawei.com> | 10 months ago |
| update version number Co-authored-by: jia_ya_nan<jiayanan3@h-partners.com> | 10 months ago |
| 【msServiceProfiler】dymamic_hook问题修复 Co-authored-by: minghang_c<chiminghang@h-partners.com> | 10 months ago |
| 【bugfix】删除公网地址说明资料中未在代码中呈现的URL Co-authored-by: curry808<485078529@qq.com> | 11 months ago |
| msit仓库UT统一覆盖率新增msmodelslim入口 | 1 year ago |
| add new ut execute framework | 1 year ago |
| Revert "删除文件并且重新粘贴" This reverts commit 50601391d8e0150673c9237d834c7f2a00617d92. | 3 years ago |
| Revert "删除文件并且重新粘贴" This reverts commit 50601391d8e0150673c9237d834c7f2a00617d92. | 3 years ago |
| msit profile添加committer Co-authored-by: z30043230<zhaiyibo@h-partners.com> | 1 year ago |
| 【资料】【msserviceprofiler】资料问题修改 Co-authored-by: ChenHuiwen<chenhuiwen7@huawei.com> | 1 year ago |
| 修改modelSlim | 1 year ago |
| 修改msit流程图中ait为msit | 2 years ago |
msIT
介绍
MindStudio Inference Tools,昇腾推理工具链。 【Powered by MindStudio】
请根据自己的需要进入对应文件夹获取工具,或者点击下面的说明链接选择需要的工具进行使用。
模型推理迁移全流程

大模型推理迁移全流程

使用说明
-
msit
一体化推理开发工具:作为昇腾统一推理工具,提供客户一体化开发工具,支持一站式调试调优,当前包括benchmark、debug、analyze等组件。
-
msmodelslim
昇腾模型压缩加速工具:一个以加速为目标、压缩为技术、昇腾为根本的亲和压缩工具。支持训练加速和推理加速,包括模型低秩分解、稀疏训练、训练后量化、量化感知训练等功能,昇腾AI模型开发用户可以灵活调用Python API接口,对模型进行性能调优,并支持导出不同格式模型,在昇腾AI处理器上运行。
-
msserviceprofiler
推理服务化性能调优工具:msserviceprofiler 是一款基于昇腾平台,支持MindIE Service框架和vLLM框架的服务化调优工具。 其性能采集与数据解析能力已嵌入昇腾CANN工具包,支持MindStudio Insight、Chrome Tracing、Grafana多个平台数据可视化。目前包括analyse、split、compare、advisor、optimizer和train等组件
-
msprechecker
预检工具:msprechecker 提供推理场景的预检能力,支持环境预检,连通性预检,推理过程中的落盘和比对功能。帮助用户在推理业务部署前,提前发现异常问题。推理时,提高推理性能,快速复现基线。
许可证
Apache License 2.0
统一推理工具链入口,提供客户一体化开发工具,支持一站式调试调优。
Customize your domain