简介

MindStudio Inference Tools（MindStudio昇腾推理工具链，msIT），为用户提供大模型与传统模型推理开发中常用的模型压缩、模型调试调优等功能，支持推理服务化场景下的性能调优能力，帮助用户达到最优的推理性能。

功能介绍

作为昇腾平台的统一推理开发工具链，包含模型量化、精度调试和性能调优等工具，可根据下方的工具介绍，选择相应工具查看具体信息，进行模型推理。

性能工具

• msProf（MindStudio Profiler）
  数据采集工具：构建昇腾全场景性能调优基础能力，支持采集CANN和NPU性能数据，提升昇腾设备性能调优效率。

• msMonitor（MindStudio Monitor）
  在线监控工具一站式在线监控工具，支持落盘和在线性能数据采集，提供集群场景性能监测及定位能力。

• msServiceProfiler（MindStudio Service Profiler）
  服务化性能调优工具：昇腾亲和的服务化性能调优工具，支持请求调度、模型执行过程可视化，提升服务化性能分析效率。

• msprechecker（MindStudio Prechecker Tool）
  预检工具：msprechecker提供推理场景的预检能力，支持环境预检，连通性预检，推理过程中的落盘和比对功能。帮助用户在推理业务部署前，提前发现异常问题。推理时，提高推理性能，快速复现基线。

• msprof-analyze（MindStudio Profiler Analyze）
  昇腾性能分析工具：基于采集的性能数据进行分析，提供昇腾设备性能瓶颈快速识别能力。

• msInsight（MindStudio Insight）
  MindStudio Insight可视化工具：支持系统级、算子级、服务化等多场景多维度性能分析，深度剖析性能数据，帮助开发者完成性能诊断。

精度工具

• msProbe（MindStudio Probe）
  精度调试工具：模型开发精度调试环节使用的工具包，是针对昇腾提供的全场景精度工具链，帮助用户提高模型精度定位效率。

• msMemScope（MindStudio MemScope）
  内存工具：针对昇腾显存调试调优场景的专用工具，提供整网级多维度显存数据采集、自动诊断、优化分析能力。

量化工具

• msModelSlim（MindStudio ModelSlim）
  模型压缩工具：昇腾模型压缩工具，一个以加速为目标、压缩为技术、昇腾为根本的亲和压缩工具。包含量化和压缩等一系列推理优化技术，支持大语言稠密模型、MoE模型、多模态理解模型、多模态生成模型等。