Star192
167
代码
代码
Issues89
Pull Requests75
流水线
项目讨论
Wiki
分析
Star192
167
ascend-robotascend-robot【master】【docs】：cann910版本上线，对应社区链接修改
982c6d50创建于 2 天前历史提交
文件最后提交记录最后更新时间
ascendv1
【master】【docs】：cann910版本上线，对应社区链接修改 Co-authored-by: zzm30<zhengzhimin1@h-partners.com> # message auto-generated for no-merge-commit merge: !797 merge master into master 【master】【docs】：cann910版本上线，对应社区链接修改 Created-by: zzm30 Commit-by: zzm30 Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/development_guide/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） **修改目的：**（本 PR 要达成什么目标） **修改内容：**（按「概念 - 变化」分条，示例：core/算法：新增 SmoothQuant 离群值抑制） 1. cann910版本上线，对应社区链接修改。 **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 - [x] 是否充分考虑浮点运算溢出、除零等异常场景 - [x] 是否已对正则表达式做 ReDos 检查 **DT** - [x] 是否具备 UT 测试用例看护 资料修改 - [ ] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!797
2 天前
compressed_tensors
[Doc] 重组中文资料目录并同步导航与链接 Co-authored-by: joejoezhou<zhourongchen1@huawei.com> # message auto-generated for no-merge-commit merge: !761 merge feature/docs-dirs into master [Doc] 重组中文资料目录并同步导航与链接 Created-by: joejoezhou Commit-by: joejoezhou Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 **输出件变更（按需）：** 无 **非兼容变更（按需）：** 无 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：** 中文资料目录层级混乱，流程与概念混杂，导航与相对链接随历史迁移积累了失效路径。 **修改目的：** 重组 docs/zh 目录结构，统一以流程指南/知识库/案例参考三类文档分层，并同步导航、索引与全库相关链接。 **修改内容：** - docs：新增推理加速知识库 knowledge_base，按 knowledge_base / user_guide / contributing / api_reference / best_practices / legal 重组中文资料 - docs：每个算法单独子目录、每个调优策略单独子目录、每个量化格式单独子目录 - docs：更新流程指南，区分业务流程和工具使用流程；算法总览补齐子算法 - docs：修复迁移后失效/过时链接，同步 mkdocs 导航（仅改路径，顶层序号与 master 一致） - docs：按评审意见修正相对路径、书名号外层、文档链接书名号与完整句句号 - docs：PR 模板中模型接入路径对齐新目录；清除 V0 案例残留 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据（N/A） - [x] 是否未采集或打印敏感信息（N/A） - [x] 是否已正确设置文件权限（N/A） - [x] 是否充分考虑浮点运算溢出、除零等异常场景（N/A） - [x] 是否已对正则表达式做 ReDos 检查（N/A） **DT** - [x] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因）：文档重组，无代码逻辑变更，不新增 UT - [x] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!761
13 天前
README.md
[Doc] 重组中文资料目录并同步导航与链接 Co-authored-by: joejoezhou<zhourongchen1@huawei.com> # message auto-generated for no-merge-commit merge: !761 merge feature/docs-dirs into master [Doc] 重组中文资料目录并同步导航与链接 Created-by: joejoezhou Commit-by: joejoezhou Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 **输出件变更（按需）：** 无 **非兼容变更（按需）：** 无 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：** 中文资料目录层级混乱，流程与概念混杂，导航与相对链接随历史迁移积累了失效路径。 **修改目的：** 重组 docs/zh 目录结构，统一以流程指南/知识库/案例参考三类文档分层，并同步导航、索引与全库相关链接。 **修改内容：** - docs：新增推理加速知识库 knowledge_base，按 knowledge_base / user_guide / contributing / api_reference / best_practices / legal 重组中文资料 - docs：每个算法单独子目录、每个调优策略单独子目录、每个量化格式单独子目录 - docs：更新流程指南，区分业务流程和工具使用流程；算法总览补齐子算法 - docs：修复迁移后失效/过时链接，同步 mkdocs 导航（仅改路径，顶层序号与 master 一致） - docs：按评审意见修正相对路径、书名号外层、文档链接书名号与完整句句号 - docs：PR 模板中模型接入路径对齐新目录；清除 V0 案例残留 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据（N/A） - [x] 是否未采集或打印敏感信息（N/A） - [x] 是否已正确设置文件权限（N/A） - [x] 是否充分考虑浮点运算溢出、除零等异常场景（N/A） - [x] 是否已对正则表达式做 ReDos 检查（N/A） **DT** - [x] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因）：文档重组，无代码逻辑变更，不新增 UT - [x] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!761
13 天前
iformat_integration_guide.md
[Doc] 重组中文资料目录并同步导航与链接 Co-authored-by: joejoezhou<zhourongchen1@huawei.com> # message auto-generated for no-merge-commit merge: !761 merge feature/docs-dirs into master [Doc] 重组中文资料目录并同步导航与链接 Created-by: joejoezhou Commit-by: joejoezhou Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 **输出件变更（按需）：** 无 **非兼容变更（按需）：** 无 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：** 中文资料目录层级混乱，流程与概念混杂，导航与相对链接随历史迁移积累了失效路径。 **修改目的：** 重组 docs/zh 目录结构，统一以流程指南/知识库/案例参考三类文档分层，并同步导航、索引与全库相关链接。 **修改内容：** - docs：新增推理加速知识库 knowledge_base，按 knowledge_base / user_guide / contributing / api_reference / best_practices / legal 重组中文资料 - docs：每个算法单独子目录、每个调优策略单独子目录、每个量化格式单独子目录 - docs：更新流程指南，区分业务流程和工具使用流程；算法总览补齐子算法 - docs：修复迁移后失效/过时链接，同步 mkdocs 导航（仅改路径，顶层序号与 master 一致） - docs：按评审意见修正相对路径、书名号外层、文档链接书名号与完整句句号 - docs：PR 模板中模型接入路径对齐新目录；清除 V0 案例残留 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据（N/A） - [x] 是否未采集或打印敏感信息（N/A） - [x] 是否已正确设置文件权限（N/A） - [x] 是否充分考虑浮点运算溢出、除零等异常场景（N/A） - [x] 是否已对正则表达式做 ReDos 检查（N/A） **DT** - [x] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因）：文档重组，无代码逻辑变更，不新增 UT - [x] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!761
13 天前
README

量化格式支持矩阵

简介

msModelSlim 支持多种量化权重落盘格式。格式决定量化结果的文件结构、张量命名与元数据组织方式；量化算法决定量化过程（校准、离群值抑制等）。本文档帮助您根据目标推理框架选择合适的导出格式。

如需接入新的量化格式，请参见《量化格式接入指南》。

格式对比矩阵

格式 目标推理框架 支持量化模式（概要） 分布式导出 详细说明
AscendV1 MindIE、vLLM Ascend W8A8 / W8A16 / W4A8 / W4A4 / MXFP / KV Cache / FA 等 20+ 支持 《AscendV1 格式说明》
MindIE-SD MindIE（多模态生成） 多模态生成模型专用 支持 《MindIE 保存器配置》
compressed-tensors vLLM W8A8 Static / W8A8 Dynamic 不支持 《compressed-tensors 格式说明》

YAML 配置示例

AscendV1（默认，昇腾推理）

spec:
  save:
    - type: "ascendv1_saver"
      part_file_size: 4

compressed-tensors（vLLM 等）

spec:
  save:
    - type: "compressed_tensors"
      part_file_size: 4

MindIE-SD（多模态生成）

spec:
  save:
    - type: "mindie_format_saver"
      part_file_size: 0

格式 vs 量化算法

概念 说明 文档位置
量化格式 量化权重的落盘结构与加载协议 本章节
量化算法 校准、离群值抑制等计算过程 《算法总览》
自动调优策略 按精度目标自动搜索量化配置 《自动调优策略总览》
量化模式 如 w8a8、w4a8 等比特组合策略 《大模型支持矩阵》

相关文档