Star341
223
代码
代码
Issues92
Pull Requests117
Actions
项目讨论
Wiki
分析
Star341
223
已合并
【master】【docs】：mindie sd统一名称；处理器实现修改为代码实现 #1056
zzm30创建于 18 天前
【master】【docs】：mindie sd统一名称；处理器实现修改为代码实现 #1056
已合并
zzm30创建于 18 天前
从zzm30/msmodelslimmaster合入到Ascend/msmodelslimmaster
共 32 个文件变更+74-74
Mdocs/zh/best_practices/wan2_2_w4a4f4_new_dit_quantization_case.md+4-4
@@ -2,7 +2,7 @@
2 2 
3## 1. 案例背景3## 1. 案例背景
4 4 
5-**目标**：基于 MindIE-SD 推理栈，对 Wan2.2 系列双专家 DiT 文生视频模型进行 W4A4F4 量化验证，对比原始浮点权重与量化后权重的生成质量。相对原始浮点权重，量化后模型生成视频质量损失控制在可接受范围内，无肉眼可识别的严重画质崩坏；且在 VBench-1.0-mini 的 1% 子集上，VBench Quality 与 VBench Semantic 的绝对得分下降均小于1个百分点（pp），即 `|FP 得分 − 量化得分| < 1pp`。5+**目标**：基于 MindIE SD 推理栈，对 Wan2.2 系列双专家 DiT 文生视频模型进行 W4A4F4 量化验证，对比原始浮点权重与量化后权重的生成质量。相对原始浮点权重，量化后模型生成视频质量损失控制在可接受范围内，无肉眼可识别的严重画质崩坏；且在 VBench-1.0-mini 的 1% 子集上，VBench Quality 与 VBench Semantic 的绝对得分下降均小于1个百分点（pp），即 `|FP 得分 − 量化得分| < 1pp`。
6 6 
7**覆盖流程**：模型接入适配 → 量化方案设计 → 权重量化 → 精度评测7**覆盖流程**：模型接入适配 → 量化方案设计 → 权重量化 → 精度评测
8 8 
@@ -19,7 +19,7 @@
19| 模型结构 | 双专家DiT（low_noise_model + high_noise_model）+ GQA注意力 + 文本编码器 + VAE |19| 模型结构 | 双专家DiT（low_noise_model + high_noise_model）+ GQA注意力 + 文本编码器 + VAE |
20| 量化类型 | w4a4f4 |20| 量化类型 | w4a4f4 |
21| 开源权重来源 | [Wan2.2-T2V-A14B](https://huggingface.co/Wan-AI/Wan2.2-T2V-A14B) 等官方开源地址 |21| 开源权重来源 | [Wan2.2-T2V-A14B](https://huggingface.co/Wan-AI/Wan2.2-T2V-A14B) 等官方开源地址 |
22-| 推理框架与并行 | MindIE-SD；本案例并行策略：DiT/T5 启用 FSDP 切分、序列维度启用 Ulysses Sequence Parallel（SP）、CFG 双卡分离、VAE 启用并行；未启用 Expert Parallel（双专家由框架自动调度）。对比双方使用完全相同的并行约定，具体取值见“操作步骤“章节的步骤 6/7。 |22+| 推理框架与并行 | MindIE SD；本案例并行策略：DiT/T5 启用 FSDP 切分、序列维度启用 Ulysses Sequence Parallel（SP）、CFG 双卡分离、VAE 启用并行；未启用 Expert Parallel（双专家由框架自动调度）。对比双方使用完全相同的并行约定，具体取值见“操作步骤“章节的步骤 6/7。 |
23 23 
24**验证范围声明**：24**验证范围声明**：
25 25 
@@ -35,7 +35,7 @@
35| CANN | 9.1.0 |35| CANN | 9.1.0 |
36| PyTorch | 2.9.0 |36| PyTorch | 2.9.0 |
37| TorchNPU | 2.9.0 |37| TorchNPU | 2.9.0 |
38-| MindIE-SD | 3.1.0 |38+| MindIE SD | 3.1.0 |
39| 评测工具 | [AISBench](https://github.com/AISBench/benchmark) |39| 评测工具 | [AISBench](https://github.com/AISBench/benchmark) |
40| 其他依赖 | Wan2.2-T2V-A14B 模型权重、[VBench-1.0-mini 评测数据集](https://modelers.cn/datasets/AISBench/VBench-1.0-mini) |40| 其他依赖 | Wan2.2-T2V-A14B 模型权重、[VBench-1.0-mini 评测数据集](https://modelers.cn/datasets/AISBench/VBench-1.0-mini) |
41 41 
@@ -49,7 +49,7 @@
49| 类型 | 名称 | 来源或保存位置 | 格式或约束 | 验收方式 |49| 类型 | 名称 | 来源或保存位置 | 格式或约束 | 验收方式 |
50| --- | -------------------- | ------------------------ | -------------------------- | --------------------------------- |50| --- | -------------------- | ------------------------ | -------------------------- | --------------------------------- |
51| 输入 | Wan2.2浮点模型权重 | `${MODEL_PATH}` | 官方开源格式，含DiT双专家权重、VAE、文本编码器、tokenizer、config.json | 可通过官方推理仓正常加载，720P视频生成无异常 |51| 输入 | Wan2.2浮点模型权重 | `${MODEL_PATH}` | 官方开源格式，含DiT双专家权重、VAE、文本编码器、tokenizer、config.json | 可通过官方推理仓正常加载，720P视频生成无异常 |
52-| 交付件 | Wan2.2 W4A4F4量化权重 | `${SAVE_PATH}` | msModelSlim量化导出格式，含`quant_model_description.json`、双专家量化权重 | 可被MindIE-SD正常加载，成功生成视频 |52+| 交付件 | Wan2.2 W4A4F4量化权重 | `${SAVE_PATH}` | msModelSlim量化导出格式，含`quant_model_description.json`、双专家量化权重 | 可被MindIE SD正常加载，成功生成视频 |
53| 交付件 | 量化最佳实践 | [`lab_practice/wan2_2/wan2_2_w4a4f4_mxfp_t2v.yaml`](../../../lab_practice/wan2_2/wan2_2_w4a4f4_mxfp_t2v.yaml) | 遵循《[multimodal_sd_modelslim_v1 配置说明](../api_reference/config/quant/multimodal_sd_modelslim_v1.md)》 | 命令行参数 `--config` 指定量化配置文件 |53| 交付件 | 量化最佳实践 | [`lab_practice/wan2_2/wan2_2_w4a4f4_mxfp_t2v.yaml`](../../../lab_practice/wan2_2/wan2_2_w4a4f4_mxfp_t2v.yaml) | 遵循《[multimodal_sd_modelslim_v1 配置说明](../api_reference/config/quant/multimodal_sd_modelslim_v1.md)》 | 命令行参数 `--config` 指定量化配置文件 |
54| 输入 | 精度评测集 | `${EVAL_DATA_PATH}` | VBench标准评测集 | 对比双方使用完全相同的数据和随机种子 |54| 输入 | 精度评测集 | `${EVAL_DATA_PATH}` | VBench标准评测集 | 对比双方使用完全相同的数据和随机种子 |
55| 交付件 | 精度报告 | `./outputs/default/{timestamp}/` | 生成视频样例（FP vs 量化对比）、VBench等客观指标结果表 | 满足预设验收阈值，无严重画质问题 |55| 交付件 | 精度报告 | `./outputs/default/{timestamp}/` | 生成视频样例（FP vs 量化对比）、VBench等客观指标结果表 | 满足预设验收阈值，无严重画质问题 |
Mdocs/zh/contributing/development_guide/docs_standards/03_general_case_template.md+1-1
@@ -22,7 +22,7 @@
22| TorchNPU | {{torch_npu_version_or_link}} |22| TorchNPU | {{torch_npu_version_or_link}} |
23| vLLM Ascend | {{vllm_ascend_version_or_link}} |23| vLLM Ascend | {{vllm_ascend_version_or_link}} |
24| MindIE | {{mindie_version_or_link}} |24| MindIE | {{mindie_version_or_link}} |
25-| MindIE-SD | {{mindie_sd_version_or_link}} |25+| MindIE SD | {{mindie_sd_version_or_link}} |
26| 其他依赖 | {{extra_dependencies}} |26| 其他依赖 | {{extra_dependencies}} |
27 27 
28> **注释：** 产品形态填写实际硬件形态（如Atlas 800I A2产品），并说明是否限定（限定 / 不限定；限定时写明适用边界）。依赖项按需增删；若多项互为替代方案（如多种推理框架），仅保留本次实际使用的项。版本需求可先填写版本号，待该版本正式上线后替换为文档或发布页链接；其余项给出当前使用的版本链接。28> **注释：** 产品形态填写实际硬件形态（如Atlas 800I A2产品），并说明是否限定（限定 / 不限定；限定时写明适用边界）。依赖项按需增删；若多项互为替代方案（如多种推理框架），仅保留本次实际使用的项。版本需求可先填写版本号，待该版本正式上线后替换为文档或发布页链接；其余项给出当前使用的版本链接。
Mdocs/zh/knowledge_base/ptq/dit/integration_guide_diffusion_transformer_quantization.md+4-4
@@ -21,7 +21,7 @@
21| 交付件 | 模型适配器代码 | `msmodelslim/model/{model_name}/` | Python 源码，含 loader、model_adapter 等 | 代码审查通过且导入无报错 |21| 交付件 | 模型适配器代码 | `msmodelslim/model/{model_name}/` | Python 源码，含 loader、model_adapter 等 | 代码审查通过且导入无报错 |
22| 交付件 | 模型注册配置 | `config/config.ini` | `[ModelAdapter]`、`[ModelAdapterEntryPoints]` 等段落 | key 保持一致，可通过 `--model_type` 命中 |22| 交付件 | 模型注册配置 | `config/config.ini` | `[ModelAdapter]`、`[ModelAdapterEntryPoints]` 等段落 | key 保持一致，可通过 `--model_type` 命中 |
23| 交付件 | 量化配置文件 | `lab_practice/{model_name}/` | YAML 文件（符合 `multimodal_sd_modelslim_v1` 规范） | 通过量化配置模式校验 |23| 交付件 | 量化配置文件 | `lab_practice/{model_name}/` | YAML 文件（符合 `multimodal_sd_modelslim_v1` 规范） | 通过量化配置模式校验 |
24-| 交付件 | 量化权重目录 | `--save_path` 指定路径 | MindIE-SD 格式，多专家含各专家子目录 | 导出完整且推理冒烟测试通过 |24+| 交付件 | 量化权重目录 | `--save_path` 指定路径 | MindIE SD 格式，多专家含各专家子目录 | 导出完整且推理冒烟测试通过 |
25 25 
26## 3. 操作步骤26## 3. 操作步骤
27 27 
@@ -203,7 +203,7 @@ def enable_kv_cache(self, model: nn.Module, need_kv_cache: bool) -> None:
203 method: mse_round203 method: mse_round
204 include: ["*"]204 include: ["*"]
205 save:205 save:
206- - type: mindie_format_saver # 昇腾 MindIE-SD 部署格式206+ - type: mindie_format_saver # 昇腾 MindIE SD 部署格式
207 dataset: {model_name}_{task}207 dataset: {model_name}_{task}
208 multimodal_sd_config:208 multimodal_sd_config:
209 dump_config:209 dump_config:
@@ -229,7 +229,7 @@ def enable_kv_cache(self, model: nn.Module, need_kv_cache: bool) -> None:
229 --device_id 0229 --device_id 0
230 ```230 ```
231 231 
232-**输出**：量化命令执行成功，输出目录包含 MindIE-SD 权重文件（多专家模型包含各专家独立子目录）。232+**输出**：量化命令执行成功，输出目录包含 MindIE SD 权重文件（多专家模型包含各专家独立子目录）。
233 233 
234## 4. 案例列表234## 4. 案例列表
235 235 
@@ -252,6 +252,6 @@ def enable_kv_cache(self, model: nn.Module, need_kv_cache: bool) -> None:
252| Pipeline 接口 | 多模态生成量化服务的流水线接口定义 | [《pipeline_interface.py》](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/core/quant_service/multimodal_sd_v1/pipeline_interface.py) |252| Pipeline 接口 | 多模态生成量化服务的流水线接口定义 | [《pipeline_interface.py》](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/core/quant_service/multimodal_sd_v1/pipeline_interface.py) |
253| DiT 量化使用指南 | 标准 DiT 模型量化全流程、配置协议与开箱即用示例 | [《DiT 量化使用指南》](usage_diffusion_transformer_quantization.md) |253| DiT 量化使用指南 | 标准 DiT 模型量化全流程、配置协议与开箱即用示例 | [《DiT 量化使用指南》](usage_diffusion_transformer_quantization.md) |
254| multimodal_sd_modelslim_v1 配置说明 | `process`/`save`/`multimodal_sd_config` 等多模态生成配置字段说明 | [《multimodal_sd_modelslim_v1 配置说明》](../../../api_reference/config/quant/multimodal_sd_modelslim_v1.md) |254| multimodal_sd_modelslim_v1 配置说明 | `process`/`save`/`multimodal_sd_config` 等多模态生成配置字段说明 | [《multimodal_sd_modelslim_v1 配置说明》](../../../api_reference/config/quant/multimodal_sd_modelslim_v1.md) |
255-| mindie_format_saver 配置说明 | MindIE-SD 保存格式与多专家落盘说明 | [《mindie_format_saver 配置说明》](../../../api_reference/config/format/mindie_format_saver.md) |255+| mindie_format_saver 配置说明 | MindIE SD 保存格式与多专家落盘说明 | [《mindie_format_saver 配置说明》](../../../api_reference/config/format/mindie_format_saver.md) |
256| 一键量化使用指南 | 一键量化 CLI 入口与完整命令参数说明 | 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》 |256| 一键量化使用指南 | 一键量化 CLI 入口与完整命令参数说明 | 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》 |
257| 量化算法总览 | 微缩浮点、在线旋转与各类量化算法详述 | [《量化算法总览》](../../quantization_algorithms/README.md) |257| 量化算法总览 | 微缩浮点、在线旋转与各类量化算法详述 | [《量化算法总览》](../../quantization_algorithms/README.md) |
Mdocs/zh/knowledge_base/ptq/dit/usage_diffusion_transformer_quantization.md+7-7
@@ -9,7 +9,7 @@
9- 文生图模型（FLUX.1、SD3 等）的 W8A8 MXFP8 量化；9- 文生图模型（FLUX.1、SD3 等）的 W8A8 MXFP8 量化；
10- 文生视频模型（HunyuanVideo、Wan2.2、Wan2.1 等）的低比特量化部署；10- 文生视频模型（HunyuanVideo、Wan2.2、Wan2.1 等）的低比特量化部署；
11- 图像编辑模型（Qwen-Image-Edit 等）的量化部署；11- 图像编辑模型（Qwen-Image-Edit 等）的量化部署；
12-- 为基于昇腾 NPU 的 MindIE-SD 等推理引擎准备量化权重。12+- 为基于昇腾 NPU 的 MindIE SD 等推理引擎准备量化权重。
13 13 
14模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》；如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。14模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》；如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。
15 15 
@@ -20,7 +20,7 @@
20| 输入 | 浮点 DiT 模型权重目录 | 模型下载或本地路径 | 含模型权重文件及配置文件 | 可被推理管线正常加载 |20| 输入 | 浮点 DiT 模型权重目录 | 模型下载或本地路径 | 含模型权重文件及配置文件 | 可被推理管线正常加载 |
21| 输入 | 校准数据集与任务配置 | YAML 中 `dataset` 与 `multimodal_sd_config.inference_config` | 指定任务类型（如 `t2v`、`i2v`）及推理分辨率、步数等参数，校准样本推荐 50 条 | 适配器成功解析并完成浮点推理 dump |21| 输入 | 校准数据集与任务配置 | YAML 中 `dataset` 与 `multimodal_sd_config.inference_config` | 指定任务类型（如 `t2v`、`i2v`）及推理分辨率、步数等参数，校准样本推荐 50 条 | 适配器成功解析并完成浮点推理 dump |
22| 输入 | 量化配置文件 | 本地 YAML 文件 | 符合 `multimodal_sd_modelslim_v1` 协议规范 | 通过模式校验（Schema Validation） |22| 输入 | 量化配置文件 | 本地 YAML 文件 | 符合 `multimodal_sd_modelslim_v1` 协议规范 | 通过模式校验（Schema Validation） |
23-| 交付件 | 量化权重目录 | `--save_path` 指定路径 | MindIE-SD 格式（含描述文件及分片权重；多专家模型包含各专家子目录） | 导出完整且推理冒烟测试通过 |23+| 交付件 | 量化权重目录 | `--save_path` 指定路径 | MindIE SD 格式（含描述文件及分片权重；多专家模型包含各专家子目录） | 导出完整且推理冒烟测试通过 |
24 24 
25## 3. 流程总览25## 3. 流程总览
26 26 
@@ -41,7 +41,7 @@ flowchart LR
41 41 
42- **适配模型流水线接口**：确保待量化模型具备符合 `multimodal_sd_modelslim_v1` 规范的适配器接口，能够驱动浮点推理生成校准数据并被逐层量化调度器统一处理。42- **适配模型流水线接口**：确保待量化模型具备符合 `multimodal_sd_modelslim_v1` 规范的适配器接口，能够驱动浮点推理生成校准数据并被逐层量化调度器统一处理。
43- **配置校准数据集与浮点推理参数**：量化校准依赖运行完整浮点去噪推理管线，通过 `dataset` 与 `multimodal_sd_config` 联合配置，推荐 50 条校准样本，分辨率、帧数与去噪步数对齐生产部署场景。43- **配置校准数据集与浮点推理参数**：量化校准依赖运行完整浮点去噪推理管线，通过 `dataset` 与 `multimodal_sd_config` 联合配置，推荐 50 条校准样本，分辨率、帧数与去噪步数对齐生产部署场景。
44-- **选择权重保存格式**：统一采用 `mindie_format_saver` 导出 MindIE-SD 格式，多专家模型自动按专家生成独立子目录。44+- **选择权重保存格式**：统一采用 `mindie_format_saver` 导出 MindIE SD 格式，多专家模型自动按专家生成独立子目录。
45- **选型与编排量化算法**：推荐以 W8A8 MXFP8（权重 `mse_round` 估计）为生产基线，低比特场景按需叠加 `online_quarot`、`fa3_quant` 等增强算法。45- **选型与编排量化算法**：推荐以 W8A8 MXFP8（权重 `mse_round` 估计）为生产基线，低比特场景按需叠加 `online_quarot`、`fa3_quant` 等增强算法。
46- **选择执行调度器（Runner）**：固定 `layer_wise` 逐层调度，不支持跨卡数据并行（`dp_layer_wise`）与整模型常驻（`model_wise`）。46- **选择执行调度器（Runner）**：固定 `layer_wise` 逐层调度，不支持跨卡数据并行（`dp_layer_wise`）与整模型常驻（`model_wise`）。
47- **编写配置并执行量化**：整合上述配置生成完整 YAML，通过 `msmodelslim quant` 命令启动量化，导出量化权重与描述文件。47- **编写配置并执行量化**：整合上述配置生成完整 YAML，通过 `msmodelslim quant` 命令启动量化，导出量化权重与描述文件。
@@ -108,7 +108,7 @@ flowchart LR
108 ```108 ```
109 109 
1102. **格式选型与文档链接**：1102. **格式选型与文档链接**：
111- - **[mindie_format_saver 配置说明](../../../api_reference/config/format/mindie_format_saver.md)**：**DiT 模型部署核心格式**。面向昇腾 MindIE-SD 推理引擎，导出符合 MindIE 规范的量化描述文件及权重。针对多专家模型（如 Wan2.2），会自动在保存目录下生成 `high_noise_model/`、`low_noise_model/` 等各专家的独立子目录。111+ - **[mindie_format_saver 配置说明](../../../api_reference/config/format/mindie_format_saver.md)**：**DiT 模型部署核心格式**。面向昇腾 MindIE SD 推理引擎，导出符合 MindIE 规范的量化描述文件及权重。针对多专家模型（如 Wan2.2），会自动在保存目录下生成 `high_noise_model/`、`low_noise_model/` 等各专家的独立子目录。
112 112 
1133. **选型指南**：1133. **选型指南**：
114 - 当前多模态生成模型在昇腾平台推理部署时，均统一采用 `mindie_format_saver`。114 - 当前多模态生成模型在昇腾平台推理部署时，均统一采用 `mindie_format_saver`。
@@ -195,7 +195,7 @@ spec:
195 method: mse_round # 均方误差舍入优化，保真度更高195 method: mse_round # 均方误差舍入优化，保真度更高
196 include: ["*"] # 量化全部主干线性层196 include: ["*"] # 量化全部主干线性层
197 save:197 save:
198- - type: mindie_format_saver # 导出 MindIE-SD 格式198+ - type: mindie_format_saver # 导出 MindIE SD 格式
199 dataset: <task_name> # 任务标识（如 t2v 等）199 dataset: <task_name> # 任务标识（如 t2v 等）
200 multimodal_sd_config:200 multimodal_sd_config:
201 dump_config:201 dump_config:
@@ -244,7 +244,7 @@ spec:
244 method: minmax244 method: minmax
245 include: ["*"] # 量化全部主干线性层245 include: ["*"] # 量化全部主干线性层
246 save:246 save:
247- - type: mindie_format_saver # 导出 MindIE-SD 格式247+ - type: mindie_format_saver # 导出 MindIE SD 格式
248 part_file_size: 0248 part_file_size: 0
249 dataset: <task_name> # 任务标识（如 t2v 等）249 dataset: <task_name> # 任务标识（如 t2v 等）
250 multimodal_sd_config:250 multimodal_sd_config:
@@ -271,7 +271,7 @@ msmodelslim quant \
271 --device_id 0271 --device_id 0
272```272```
273 273 
274-**输出**：在指定的 `--save_path` 目录下生成完整的 MindIE-SD 格式量化权重及描述文件（多专家模型自动分专家目录存放）。274+**输出**：在指定的 `--save_path` 目录下生成完整的 MindIE SD 格式量化权重及描述文件（多专家模型自动分专家目录存放）。
275 275 
276## 5. 术语276## 5. 术语
277 277 
Mdocs/zh/knowledge_base/ptq/llm/usage_large_language_model_quantization.md+1-1
@@ -99,7 +99,7 @@ flowchart LR
99 99 
1002. **格式选型与文档链接**：1002. **格式选型与文档链接**：
101 - **[ascendv1_saver 配置说明](../../../api_reference/config/format/ascendv1_saver.md)**：**昇腾 NPU 部署推荐格式**。专为昇腾加速库（ATB / Ascend Transformer Boost）与 MindIE 推理引擎设计，生成包含量化元数据描述的 `quant_model_description.json` 及分片量化权重 `*.safetensors`，自动完成硬件指令所要求的权重重排（Pack）与反量化系数预处理。101 - **[ascendv1_saver 配置说明](../../../api_reference/config/format/ascendv1_saver.md)**：**昇腾 NPU 部署推荐格式**。专为昇腾加速库（ATB / Ascend Transformer Boost）与 MindIE 推理引擎设计，生成包含量化元数据描述的 `quant_model_description.json` 及分片量化权重 `*.safetensors`，自动完成硬件指令所要求的权重重排（Pack）与反量化系数预处理。
102- - **[mindie_format_saver 配置说明](../../../api_reference/config/format/mindie_format_saver.md)**：面向新版本 MindIE-SD/MindIE 生态的统一部署格式。102+ - **[mindie_format_saver 配置说明](../../../api_reference/config/format/mindie_format_saver.md)**：面向新版本 MindIE SD/MindIE 生态的统一部署格式。
103 103 
1043. **选型指南**：1043. **选型指南**：
105 - 当前在昇腾平台上运行 vLLM-Ascend、ATB-Models 或 MindIE-Service 时，均推荐首选 `ascendv1_saver`。105 - 当前在昇腾平台上运行 vLLM-Ascend、ATB-Models 或 MindIE-Service 时，均推荐首选 `ascendv1_saver`。
Mdocs/zh/knowledge_base/ptq/vlm/usage_vision_transformer_quantization.md+1-1
@@ -181,7 +181,7 @@ calib_data.jsonl 示例：
181 181 
1822. **格式选型与文档链接**：1822. **格式选型与文档链接**：
183 - **[ascendv1_saver 配置说明](../../../api_reference/config/format/ascendv1_saver.md)**：**昇腾 NPU 部署推荐格式**。适配 MindIE 及 vLLM-Ascend 推理引擎，导出包含多模态模型量化参数的 `quant_model_description.json` 及分片量化权重 `*.safetensors`。183 - **[ascendv1_saver 配置说明](../../../api_reference/config/format/ascendv1_saver.md)**：**昇腾 NPU 部署推荐格式**。适配 MindIE 及 vLLM-Ascend 推理引擎，导出包含多模态模型量化参数的 `quant_model_description.json` 及分片量化权重 `*.safetensors`。
184- - **[mindie_format_saver 配置说明](../../../api_reference/config/format/mindie_format_saver.md)**：面向 MindIE-SD/MindIE 生态的统一部署格式。184+ - **[mindie_format_saver 配置说明](../../../api_reference/config/format/mindie_format_saver.md)**：面向 MindIE SD/MindIE 生态的统一部署格式。
185 185 
1863. **选型指南**：1863. **选型指南**：
187 - 昇腾部署场景首选 `ascendv1_saver`。187 - 昇腾部署场景首选 `ascendv1_saver`。
Mdocs/zh/knowledge_base/quantization_algorithms/svdquant/usage_svdquant.md+1-1
@@ -136,7 +136,7 @@ spec:
136 exclude: ["*blocks.0.*"]136 exclude: ["*blocks.0.*"]
137 dataset: <扩散模型任务校准集> # 与训练/推理分布一致的文本或图像 Prompt137 dataset: <扩散模型任务校准集> # 与训练/推理分布一致的文本或图像 Prompt
138 save:138 save:
139- - type: mindie_format_saver # MindIE-SD 扩散模型保存格式139+ - type: mindie_format_saver # MindIE SD 扩散模型保存格式
140 part_file_size: 0140 part_file_size: 0
141```141```
142 142 
Mdocs/zh/knowledge_base/quantization_format/README.md+4-4
@@ -23,13 +23,13 @@
23| --- | --- | --- | --- | --- | --- | --- |23| --- | --- | --- | --- | --- | --- | --- |
24| AscendV1 | 昇腾侧 LLM / 多模态理解等通用部署 | vLLM Ascend、SGLang、MindIE | 覆盖 W8A8 / W8A16 / W4A4 / MXFP / KV Cache / FA 等 20+；**Atlas A2 系列产品 / Atlas A3 系列产品推荐优先 W8A8（静/动）**，显存更紧时再选 W4；**Ascend 950PR&950DT 系列产品推荐优先 MXFP（W8A8_MXFP8 / W4A4_MXFP4 等）** | 支持 | 《[AscendV1 量化格式 量化术语百科词条](ascendv1/term_ascendv1.md)》 | 《[AscendV1 使用指南](ascendv1/ascendv1_usage.md)》 |24| AscendV1 | 昇腾侧 LLM / 多模态理解等通用部署 | vLLM Ascend、SGLang、MindIE | 覆盖 W8A8 / W8A16 / W4A4 / MXFP / KV Cache / FA 等 20+；**Atlas A2 系列产品 / Atlas A3 系列产品推荐优先 W8A8（静/动）**，显存更紧时再选 W4；**Ascend 950PR&950DT 系列产品推荐优先 MXFP（W8A8_MXFP8 / W4A4_MXFP4 等）** | 支持 | 《[AscendV1 量化格式 量化术语百科词条](ascendv1/term_ascendv1.md)》 | 《[AscendV1 使用指南](ascendv1/ascendv1_usage.md)》 |
25| compressed-tensors | 量化权重要在 vLLM 等 HF 生态框架中加载，或需要与 compressed-tensors 规范的 `quantization_config` 对齐 | vLLM 等 HF 生态 | 当前仅 **W8A8 Static / W8A8 Dynamic**；激活 scale 已离线校准选 Static，需免校准或适应动态输入选 Dynamic；不支持 KV Cache | 不支持 | 《[compressed-tensors 量化格式 量化术语百科词条](compressed_tensors/term_compressed_tensors.md)》 | 《[compressed-tensors 使用指南](compressed_tensors/compressed_tensors_usage.md)》 |25| compressed-tensors | 量化权重要在 vLLM 等 HF 生态框架中加载，或需要与 compressed-tensors 规范的 `quantization_config` 对齐 | vLLM 等 HF 生态 | 当前仅 **W8A8 Static / W8A8 Dynamic**；激活 scale 已离线校准选 Static，需免校准或适应动态输入选 Dynamic；不支持 KV Cache | 不支持 | 《[compressed-tensors 量化格式 量化术语百科词条](compressed_tensors/term_compressed_tensors.md)》 | 《[compressed-tensors 使用指南](compressed_tensors/compressed_tensors_usage.md)》 |
26-| MindIE-SD | 扩散 / DiT 等多模态**生成**模型交付 MindIE | MindIE（多模态生成） | 面向生成流水线的枚举子集（含 W8A8、MXFP、FAQuant 等）；**推荐按模型最佳实践 `quant_type` 选择**，勿套用 LLM 默认 AscendV1 路径 | 支持 | 《[MindIE-SD 量化格式 量化术语百科词条](mindie_sd/term_mindie_sd.md)》 | 《[MindIE-SD 使用指南](mindie_sd/mindie_sd_usage.md)》 |26+| MindIE SD | 扩散 / DiT 等多模态**生成**模型交付 MindIE | MindIE（多模态生成） | 面向生成流水线的枚举子集（含 W8A8、MXFP、FAQuant 等）；**推荐按模型最佳实践 `quant_type` 选择**，勿套用 LLM 默认 AscendV1 路径 | 支持 | 《[MindIE SD 量化格式 量化术语百科词条](mindie_sd/term_mindie_sd.md)》 | 《[MindIE SD 使用指南](mindie_sd/mindie_sd_usage.md)》 |
27 27 
28---28---
29 29 
30## 3. 三种格式如何区分30## 3. 三种格式如何区分
31 31 
32-| 维度 | AscendV1 | compressed-tensors | MindIE-SD |32+| 维度 | AscendV1 | compressed-tensors | MindIE SD |
33| --- | --- | --- | --- |33| --- | --- | --- | --- |
34| 定位 | 昇腾推理默认量化落盘协议 | HF 生态兼容的量化格式 | 多模态生成专用 MindIE 落盘协议 |34| 定位 | 昇腾推理默认量化落盘协议 | HF 生态兼容的量化格式 | 多模态生成专用 MindIE 落盘协议 |
35| 模型面 | 大语言模型和多模态理解模型 | 线性层量化、HF 风格权重 | 扩散 / DiT 等生成模型（如 Wan2.2） |35| 模型面 | 大语言模型和多模态理解模型 | 线性层量化、HF 风格权重 | 扩散 / DiT 等生成模型（如 Wan2.2） |
@@ -48,7 +48,7 @@
48- 《[量化格式接入指南](iformat_integration_guide.md)》：基于 IFormat 接入新落盘格式。48- 《[量化格式接入指南](iformat_integration_guide.md)》：基于 IFormat 接入新落盘格式。
49- 《[AscendV1 使用指南](ascendv1/ascendv1_usage.md)》：AscendV1 确认模式支持、配置与执行。49- 《[AscendV1 使用指南](ascendv1/ascendv1_usage.md)》：AscendV1 确认模式支持、配置与执行。
50- 《[compressed-tensors 使用指南](compressed_tensors/compressed_tensors_usage.md)》：compressed-tensors 确认模式支持、配置与执行。50- 《[compressed-tensors 使用指南](compressed_tensors/compressed_tensors_usage.md)》：compressed-tensors 确认模式支持、配置与执行。
51-- 《[MindIE-SD 使用指南](mindie_sd/mindie_sd_usage.md)》：MindIE-SD 确认模式支持、配置与执行。51+- 《[MindIE SD 使用指南](mindie_sd/mindie_sd_usage.md)》：MindIE-SD 确认模式支持、配置与执行。
52- 《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》：一键量化命令与配置协议总览。52- 《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》：一键量化命令与配置协议总览。
53 53 
54---54---
@@ -57,7 +57,7 @@
57 57 
58- [AscendV1 量化格式 量化术语百科词条](ascendv1/term_ascendv1.md)：下位概念，昇腾侧默认量化落盘格式。58- [AscendV1 量化格式 量化术语百科词条](ascendv1/term_ascendv1.md)：下位概念，昇腾侧默认量化落盘格式。
59- [compressed-tensors 量化格式 量化术语百科词条](compressed_tensors/term_compressed_tensors.md)：下位概念，HuggingFace / vLLM 生态兼容的量化落盘格式。59- [compressed-tensors 量化格式 量化术语百科词条](compressed_tensors/term_compressed_tensors.md)：下位概念，HuggingFace / vLLM 生态兼容的量化落盘格式。
60-- [MindIE-SD 量化格式 量化术语百科词条](mindie_sd/term_mindie_sd.md)：下位概念，多模态生成场景的 MindIE 落盘格式。60+- [MindIE SD 量化格式 量化术语百科词条](mindie_sd/term_mindie_sd.md)：下位概念，多模态生成场景的 MindIE 落盘格式。
61- [量化算法](../quantization_algorithms/README.md)：其他，量化计算与校准侧算法族，产出由各量化格式落盘。61- [量化算法](../quantization_algorithms/README.md)：其他，量化计算与校准侧算法族，产出由各量化格式落盘。
62- [量化模式](../quantization_mode/README.md)：配套术语，格式枚举与交付件字段对应各量化模式。62- [量化模式](../quantization_mode/README.md)：配套术语，格式枚举与交付件字段对应各量化模式。
63- [大模型支持矩阵](../model/README.md)：其他，模型 × 模式 × 推理栈的选型与验证口径。63- [大模型支持矩阵](../model/README.md)：其他，模型 × 模式 × 推理栈的选型与验证口径。
Mdocs/zh/knowledge_base/quantization_format/ascendv1/ascendv1_usage.md+1-1
@@ -6,7 +6,7 @@
6 6 
7本流程适用于：已选定 **AscendV1** 作为落盘格式，需在 msModelSlim 中完成配置、执行一键量化，并将产物部署到 **vLLM Ascend**、**SGLang** 或 **MindIE** 等昇腾推理栈的用户。7本流程适用于：已选定 **AscendV1** 作为落盘格式，需在 msModelSlim 中完成配置、执行一键量化，并将产物部署到 **vLLM Ascend**、**SGLang** 或 **MindIE** 等昇腾推理栈的用户。
8 8 
9-不适用：仅导出 HuggingFace / vLLM 通用 `compressed-tensors` 权重（请改用《[compressed-tensors 使用指南](../compressed_tensors/compressed_tensors_usage.md)》）；多模态生成 MindIE-SD 场景（请改用《[MindIE-SD 使用指南](../mindie_sd/mindie_sd_usage.md)》）。9+不适用：仅导出 HuggingFace / vLLM 通用 `compressed-tensors` 权重（请改用《[compressed-tensors 使用指南](../compressed_tensors/compressed_tensors_usage.md)》）；多模态生成 MindIE SD 场景（请改用《[MindIE SD 使用指南](../mindie_sd/mindie_sd_usage.md)》）。
10 10 
11## 2. 流程关系与前置条件11## 2. 流程关系与前置条件
12 12 
Mdocs/zh/knowledge_base/quantization_format/ascendv1/term_ascendv1.md+1-1
@@ -560,5 +560,5 @@ W8A8 静态激活相关字段与 W8A8_DYNAMIC 权重量化字段的并集：
560 560 
561- [量化格式 量化术语百科词条](../README.md)：上位概念，本词条所属目录。561- [量化格式 量化术语百科词条](../README.md)：上位概念，本词条所属目录。
562- [compressed-tensors 量化格式 量化术语百科词条](../compressed_tensors/term_compressed_tensors.md)：其他，同属量化格式的并列落盘协议。562- [compressed-tensors 量化格式 量化术语百科词条](../compressed_tensors/term_compressed_tensors.md)：其他，同属量化格式的并列落盘协议。
563-- [MindIE-SD 量化格式 量化术语百科词条](../mindie_sd/term_mindie_sd.md)：其他，同属量化格式的并列落盘协议。563+- [MindIE SD 量化格式 量化术语百科词条](../mindie_sd/term_mindie_sd.md)：其他，同属量化格式的并列落盘协议。
564- [量化模式](../../quantization_mode/README.md)：配套术语，本格式交付件枚举对应各量化模式。564- [量化模式](../../quantization_mode/README.md)：配套术语，本格式交付件枚举对应各量化模式。
Mdocs/zh/knowledge_base/quantization_format/compressed_tensors/compressed_tensors_usage.md+1-1
@@ -6,7 +6,7 @@
6 6 
7本流程适用于：需将 msModelSlim 量化结果导出为 **compressed-tensors** 格式，并在 **vLLM** 等支持 HuggingFace `config.json` → `quantization_config` 的推理框架中加载的用户。7本流程适用于：需将 msModelSlim 量化结果导出为 **compressed-tensors** 格式，并在 **vLLM** 等支持 HuggingFace `config.json` → `quantization_config` 的推理框架中加载的用户。
8 8 
9-不适用：昇腾 MindIE / vLLM Ascend 默认 AscendV1 路径（见《[AscendV1 使用指南](../ascendv1/ascendv1_usage.md)》）；多模态 MindIE-SD（见《[MindIE-SD 使用指南](../mindie_sd/mindie_sd_usage.md)》）。9+不适用：昇腾 MindIE / vLLM Ascend 默认 AscendV1 路径（见《[AscendV1 使用指南](../ascendv1/ascendv1_usage.md)》）；多模态 MindIE SD（见《[MindIE SD 使用指南](../mindie_sd/mindie_sd_usage.md)》）。
10 10 
11## 2. 流程关系与前置条件11## 2. 流程关系与前置条件
12 12 
Mdocs/zh/knowledge_base/quantization_format/compressed_tensors/term_compressed_tensors.md+1-1
@@ -236,5 +236,5 @@ save_directory/
236 236 
237- [量化格式 量化术语百科词条](../README.md)：上位概念，本词条所属目录。237- [量化格式 量化术语百科词条](../README.md)：上位概念，本词条所属目录。
238- [AscendV1 量化格式 量化术语百科词条](../ascendv1/term_ascendv1.md)：其他，同属量化格式的并列落盘协议。238- [AscendV1 量化格式 量化术语百科词条](../ascendv1/term_ascendv1.md)：其他，同属量化格式的并列落盘协议。
239-- [MindIE-SD 量化格式 量化术语百科词条](../mindie_sd/term_mindie_sd.md)：其他，同属量化格式的并列落盘协议。239+- [MindIE SD 量化格式 量化术语百科词条](../mindie_sd/term_mindie_sd.md)：其他，同属量化格式的并列落盘协议。
240- [量化模式](../../quantization_mode/README.md)：配套术语，本格式 Preset 与交付件字段对应各量化模式；详见本页[量化模式支持情况](#mode-support)。240- [量化模式](../../quantization_mode/README.md)：配套术语，本格式 Preset 与交付件字段对应各量化模式；详见本页[量化模式支持情况](#mode-support)。
Mdocs/zh/knowledge_base/quantization_format/mindie_sd/mindie_sd_usage.md+14-14
@@ -1,10 +1,10 @@
1-# MindIE-SD 使用指南1+# MindIE SD 使用指南
2 2 
3-本指南说明如何在 msModelSlim 中选用 **MindIE-SD** 量化格式，按 **确认模式支持 → 配置 save → 执行量化并核对产物** 完成落盘，并将产物部署到 MindIE 多模态生成路径。格式字段与枚举见《[MindIE-SD](term_mindie_sd.md)》；模型适配与 `--config` 执行量化见《[权重量化使用指南](../../../user_guide/usage_weight_quantization.md)》；配置协议与最佳实践入口见《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。3+本指南说明如何在 msModelSlim 中选用 **MindIE-SD** 量化格式，按 **确认模式支持 → 配置 save → 执行量化并核对产物** 完成落盘，并将产物部署到 MindIE 多模态生成路径。格式字段与枚举见《[MindIE SD](term_mindie_sd.md)》；模型适配与 `--config` 执行量化见《[权重量化使用指南](../../../user_guide/usage_weight_quantization.md)》；配置协议与最佳实践入口见《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。
4 4 
5## 1. 适用范围5## 1. 适用范围
6 6 
7-本流程适用于：对 **多模态生成** 模型执行 msModelSlim 一键量化，并需将结果保存为 **MindIE-SD** 格式（`mindie_format_saver`）、供 MindIE 加载的用户。7+本流程适用于：对 **多模态生成** 模型执行 msModelSlim 一键量化，并需将结果保存为 **MindIE SD** 格式（`mindie_format_saver`）、供 MindIE 加载的用户。
8 8 
9不适用：通用 LLM 的 AscendV1 导出（《[AscendV1 使用指南](../ascendv1/ascendv1_usage.md)》）；HF / vLLM compressed-tensors 导出（《[compressed-tensors 使用指南](../compressed_tensors/compressed_tensors_usage.md)》）。9不适用：通用 LLM 的 AscendV1 导出（《[AscendV1 使用指南](../ascendv1/ascendv1_usage.md)》）；HF / vLLM compressed-tensors 导出（《[compressed-tensors 使用指南](../compressed_tensors/compressed_tensors_usage.md)》）。
10 10 
@@ -25,7 +25,7 @@
25| --- | --- | --- | --- | --- |25| --- | --- | --- | --- | --- |
26| 输入 | 多模态生成浮点模型 | 本地路径 | 适配器可加载 | 适配器 init 成功 |26| 输入 | 多模态生成浮点模型 | 本地路径 | 适配器可加载 | 适配器 init 成功 |
27| 输入 | YAML（`apiversion: multimodal_sd_modelslim_v1`）或官方 `quant_type` | 最佳实践 / lab_practice / `${CONFIG_PATH}` | `save` 含 `mindie_format_saver` | 配置校验通过 |27| 输入 | YAML（`apiversion: multimodal_sd_modelslim_v1`）或官方 `quant_type` | 最佳实践 / lab_practice / `${CONFIG_PATH}` | `save` 含 `mindie_format_saver` | 配置校验通过 |
28-| 交付件 | MindIE-SD 量化目录 | `${SAVE_PATH}` | 含描述 JSON 与 `quant_model_weight*.safetensors` | 见《[MindIE-SD](term_mindie_sd.md#export-artifacts)》导出产物 |28+| 交付件 | MindIE SD 量化目录 | `${SAVE_PATH}` | 含描述 JSON 与 `quant_model_weight*.safetensors` | 见《[MindIE SD](term_mindie_sd.md#export-artifacts)》导出产物 |
29 29 
30## 4. 流程总览30## 4. 流程总览
31 31 
@@ -38,20 +38,20 @@ flowchart LR
38 38 
39### 步骤 1：确认目标推理框架支持所选量化模式39### 步骤 1：确认目标推理框架支持所选量化模式
40 40 
41-**目标**：对照支持表，确认 MindIE 多模态生成路径可加载所选量化模式及 MindIE-SD 约定。41+**目标**：对照支持表，确认 MindIE 多模态生成路径可加载所选量化模式及 MindIE SD 约定。
42 42 
43**操作**：43**操作**：
44 44 
45-1. 确认业务为多模态生成（如 Wan2.2 T2V / I2V / TI2V），且 MindIE 版本支持对应量化权重；须走 MindIE-SD（`mindie_format_saver`）。多模态生成场景不要改用 AscendV1 / compressed-tensors。45+1. 确认业务为多模态生成（如 Wan2.2 T2V / I2V / TI2V），且 MindIE 版本支持对应量化权重；须走 MindIE SD（`mindie_format_saver`）。多模态生成场景不要改用 AscendV1 / compressed-tensors。
46-2. 对照《[MindIE-SD](term_mindie_sd.md#mode-support)》量化模式支持情况与 example / lab_practice 推荐 YAML，确认所选模式在 MindIE-SD 支持表内。46+2. 对照《[MindIE SD](term_mindie_sd.md#mode-support)》量化模式支持情况与 example / lab_practice 推荐 YAML，确认所选模式在 MindIE SD 支持表内。
473. 明确 `multimodal_sd_config.inference_config`（如 `task`、`size`、`frame_num`）须与 `--model_type` 场景一致。473. 明确 `multimodal_sd_config.inference_config`（如 `task`、`size`、`frame_num`）须与 `--model_type` 场景一致。
48-4. 明确是否启用 dump（`dump_config.enable_dump`）及 `dump_data_dir`（见《[MindIE-SD](term_mindie_sd.md#optional-dump)》可选导出）。48+4. 明确是否启用 dump（`dump_config.enable_dump`）及 `dump_data_dir`（见《[MindIE SD](term_mindie_sd.md#optional-dump)》可选导出）。
49 49 
50**输出**：目标模型场景、MindIE 版本与量化模式决策记录。50**输出**：目标模型场景、MindIE 版本与量化模式决策记录。
51 51 
52-**通过条件**：存在对应最佳实践或接入文档声明支持 `mindie_format_saver`；所选模式落在 MindIE-SD 支持表内。52+**通过条件**：存在对应最佳实践或接入文档声明支持 `mindie_format_saver`；所选模式落在 MindIE SD 支持表内。
53 53 
54-### 步骤 2：配置 MindIE-SD 保存器54+### 步骤 2：配置 MindIE SD 保存器
55 55 
56**目标**：在量化配置中启用 `mindie_format_saver`。56**目标**：在量化配置中启用 `mindie_format_saver`。
57 57 
@@ -136,7 +136,7 @@ spec:
136 - `quant_model_description.json`（或带量化类型后缀的变体）136 - `quant_model_description.json`（或带量化类型后缀的变体）
137 - `quant_model_weight.safetensors`（或分片 + index / 带量化类型后缀的变体）137 - `quant_model_weight.safetensors`（或分片 + index / 带量化类型后缀的变体）
138 - 自源模型复制的 `.json` / `.py` 配置与代码文件138 - 自源模型复制的 `.json` / `.py` 配置与代码文件
139- 目录树与字段细则见《[MindIE-SD](term_mindie_sd.md#export-artifacts)》导出产物及各量化模式交付件格式。139+ 目录树与字段细则见《[MindIE SD](term_mindie_sd.md#export-artifacts)》导出产物及各量化模式交付件格式。
1404. 按 MindIE 部署文档加载该目录，完成一次生成验证（分辨率 / 帧数等与 `inference_config` 一致）。该步骤为部署前的快速验证，不要求完整画质评测。1404. 按 MindIE 部署文档加载该目录，完成一次生成验证（分辨率 / 帧数等与 `inference_config` 一致）。该步骤为部署前的快速验证，不要求完整画质评测。
141 141 
142**输出**：可部署的 `${SAVE_PATH}` 与验证结果。142**输出**：可部署的 `${SAVE_PATH}` 与验证结果。
@@ -145,15 +145,15 @@ spec:
145 145 
146## 6. 验收条件146## 6. 验收条件
147 147 
148-- 误用 AscendV1 / compressed-tensors 保存器产出的权重，不得按 MindIE-SD 路径验收。148+- 误用 AscendV1 / compressed-tensors 保存器产出的权重，不得按 MindIE SD 路径验收。
149- 缺少描述 JSON 或 `quant_model_weight*.safetensors` 时不得进入推理评测。149- 缺少描述 JSON 或 `quant_model_weight*.safetensors` 时不得进入推理评测。
150- `inference_config.task` 等与 `model_type` 不一致时，须先修正再评测。150- `inference_config.task` 等与 `model_type` 不一致时，须先修正再评测。
151-- 量化模式字段须与《[MindIE-SD](term_mindie_sd.md#mode-support)》支持表一致。151+- 量化模式字段须与《[MindIE SD](term_mindie_sd.md#mode-support)》支持表一致。
152 152 
153## 7. 术语153## 7. 术语
154 154 
155| 术语 | 简述 | 链接 |155| 术语 | 简述 | 链接 |
156| --- | --- | --- |156| --- | --- | --- |
157-| MindIE-SD | 多模态生成 MindIE 落盘格式 | 《[MindIE-SD](term_mindie_sd.md)》 |157+| MindIE SD | 多模态生成 MindIE 落盘格式 | 《[MindIE SD](term_mindie_sd.md)》 |
158| 量化格式 | 工具与推理框架的落盘协议 | 《[量化格式](../README.md)》 |158| 量化格式 | 工具与推理框架的落盘协议 | 《[量化格式](../README.md)》 |
159| 权重量化 | 模型适配、编写配置并以 --config 执行量化的业务路径 | 《[权重量化使用指南](../../../user_guide/usage_weight_quantization.md)》 |159| 权重量化 | 模型适配、编写配置并以 --config 执行量化的业务路径 | 《[权重量化使用指南](../../../user_guide/usage_weight_quantization.md)》 |
Mdocs/zh/knowledge_base/quantization_format/mindie_sd/term_mindie_sd.md+12-12
@@ -1,17 +1,17 @@
1-# MindIE-SD 量化格式 量化术语百科词条1+# MindIE SD 量化格式 量化术语百科词条
2 2 
3> **词条类别**：[量化格式](../README.md)<br>3> **词条类别**：[量化格式](../README.md)<br>
4-> **英文名称**：MindIE-SD Quantization Format<br>4+> **英文名称**：MindIE SD Quantization Format<br>
5-> **应用领域**：多模态生成模型量化压缩、MindIE-SD 部署<br>5+> **应用领域**：多模态生成模型量化压缩、MindIE SD 部署<br>
6> **msModelSlim 实现**：[`msmodelslim/format/mindie_format/`](../../../../../msmodelslim/format/mindie_format/)6> **msModelSlim 实现**：[`msmodelslim/format/mindie_format/`](../../../../../msmodelslim/format/mindie_format/)
7 7 
8---8---
9 9 
10## 1. 概述10## 1. 概述
11 11 
12-MindIE-SD 是 msModelSlim 面向 **多模态生成** 场景、供 MindIE-SD 消费的[量化格式 量化术语百科词条](../README.md)。一键量化通过保存器类型 `mindie_format_saver` 启用。它解决扩散 / DiT 等多模态生成模型量化权重与 MindIE-SD 加载约定对齐的问题。核心特征是与 `multimodal_sd_modelslim_v1` 配置协议配合，并以 `quant_model_description*.json` + `quant_model_weight*.safetensors` 落盘。12+MindIE SD 是 msModelSlim 面向 **多模态生成** 场景、供 MindIE SD 消费的[量化格式 量化术语百科词条](../README.md)。一键量化通过保存器类型 `mindie_format_saver` 启用。它解决扩散 / DiT 等多模态生成模型量化权重与 MindIE SD 加载约定对齐的问题。核心特征是与 `multimodal_sd_modelslim_v1` 配置协议配合，并以 `quant_model_description*.json` + `quant_model_weight*.safetensors` 落盘。
13 13 
14-配置、执行与部署步骤见《[MindIE-SD 使用指南](mindie_sd_usage.md)》。各量化模式的原理与公式见《[量化模式](../../quantization_mode/README.md)》及下文支持表中的词条链接。14+配置、执行与部署步骤见《[MindIE SD 使用指南](mindie_sd_usage.md)》。各量化模式的原理与公式见《[量化模式](../../quantization_mode/README.md)》及下文支持表中的词条链接。
15 15 
16---16---
17 17 
@@ -21,9 +21,9 @@ MindIE-SD 是 msModelSlim 面向 **多模态生成** 场景、供 MindIE-SD 消
21 21 
22**核心思想**22**核心思想**
23 23 
24-MindIE-SD 本质上是一套**面向多模态生成、供 MindIE-SD 推理引擎消费的量化模型落盘约定**：它不执行校准或伪量化计算，而是在 `multimodal_sd_modelslim_v1` 量化流水线末尾，将已量化完成的模块转换为 MindIE-SD 推理引擎可直接加载的两类交付件——**量化描述文件** `quant_model_description*.json` 与 **量化权重文件** `quant_model_weight*.safetensors`（注意权重文件名为单数 `weight`，与 AscendV1 的 `quant_model_weights` 不同）。前者作为张量级索引，供 MindIE-SD 推理引擎识别各张量名称及其量化模式；后者按相同键名存放对应量化参数。推理侧先读取描述文件，再按键名从 safetensors 取数。24+MindIE SD 本质上是一套**面向多模态生成、供 MindIE SD 推理引擎消费的量化模型落盘约定**：它不执行校准或伪量化计算，而是在 `multimodal_sd_modelslim_v1` 量化流水线末尾，将已量化完成的模块转换为 MindIE SD 推理引擎可直接加载的两类交付件——**量化描述文件** `quant_model_description*.json` 与 **量化权重文件** `quant_model_weight*.safetensors`（注意权重文件名为单数 `weight`，与 AscendV1 的 `quant_model_weights` 不同）。前者作为张量级索引，供 MindIE SD 推理引擎识别各张量名称及其量化模式；后者按相同键名存放对应量化参数。推理侧先读取描述文件，再按键名从 safetensors 取数。
25 25 
26-因此，用户可将 MindIE-SD 理解为：**多模态生成量化结果的 MindIE-SD 推理引擎标准导出包**——算法与多模态适配器负责量化与校准编排，MindIE-SD 负责与 MindIE-SD 推理引擎加载路径对齐的落盘与描述。26+因此，用户可将 MindIE SD 理解为：**多模态生成量化结果的 MindIE SD 推理引擎标准导出包**——算法与多模态适配器负责量化与校准编排，MindIE SD 负责与 MindIE SD 推理引擎加载路径对齐的落盘与描述。
27 27 
28**关键性质**28**关键性质**
29 29 
@@ -39,7 +39,7 @@ MindIE-SD 本质上是一套**面向多模态生成、供 MindIE-SD 推理引擎
39 39 
40### 3.1 目录与文件说明40### 3.1 目录与文件说明
41 41 
42-执行一键量化并指定 MindIE-SD 落盘格式（保存器 `type` 为 `mindie_format_saver`）后，交付件位于 `save_path`（分布式场景下可能落在 `rank_*` 子目录）。通用单模型目录示例如下：42+执行一键量化并指定 MindIE SD 落盘格式（保存器 `type` 为 `mindie_format_saver`）后，交付件位于 `save_path`（分布式场景下可能落在 `rank_*` 子目录）。通用单模型目录示例如下：
43 43 
44```bash44```bash
45├── quant_model_description*.json # 量化权重描述（可不带或带量化类型后缀）45├── quant_model_description*.json # 量化权重描述（可不带或带量化类型后缀）
@@ -114,9 +114,9 @@ calib_data_<task_config>_high_noise_model.pth
114 114 
115## 4. <span id="engine-support">推理引擎支持情况</span>115## 4. <span id="engine-support">推理引擎支持情况</span>
116 116 
117-下表中的格式枚举**均可被 MindIE-SD 落盘**；下表描述的是产物能否被 **MindIE 多模态生成**路径加载。口径依据《[大模型支持矩阵](../../model/README.md)》与 lab_practice 验证标签；具体模型 × 模式 × MindIE-SD 版本以支持矩阵与官方最佳实践为准。117+下表中的格式枚举**均可被 MindIE SD 落盘**；下表描述的是产物能否被 **MindIE 多模态生成**路径加载。口径依据《[大模型支持矩阵](../../model/README.md)》与 lab_practice 验证标签；具体模型 × 模式 × MindIE SD 版本以支持矩阵与官方最佳实践为准。
118 118 
119-| 格式枚举值 | MindIE-SD | 说明 |119+| 格式枚举值 | MindIE SD | 说明 |
120| --- | --- | --- |120| --- | --- | --- |
121| `FLOAT` | √ | 未量化张量，随模型一并加载 |121| `FLOAT` | √ | 未量化张量，随模型一并加载 |
122| `W8A8` | √ | 静态 W8A8 |122| `W8A8` | √ | 静态 W8A8 |
@@ -134,7 +134,7 @@ calib_data_<task_config>_high_noise_model.pth
134 134 
135> **交付件说明**：表中交付件：量化描述 JSON对应 `quant_model_description*.json`；交付件：量化 safetensors对应 `quant_model_weight*.safetensors`。模式原理见《[量化模式](../../quantization_mode/README.md)》词条（本词条不展开反量化公式与 NPU 算子）。具体模型与 `quant_type` 组合以《[大模型支持矩阵](../../model/README.md)》及 lab_practice / example 为准。135> **交付件说明**：表中交付件：量化描述 JSON对应 `quant_model_description*.json`；交付件：量化 safetensors对应 `quant_model_weight*.safetensors`。模式原理见《[量化模式](../../quantization_mode/README.md)》词条（本词条不展开反量化公式与 NPU 算子）。具体模型与 `quant_type` 组合以《[大模型支持矩阵](../../model/README.md)》及 lab_practice / example 为准。
136 136 
137-| 格式枚举值 | MindIE-SD 是否支持落盘 | 量化模式词条 | 交付件：量化描述 JSON | 交付件：量化 safetensors |137+| 格式枚举值 | MindIE SD 是否支持落盘 | 量化模式词条 | 交付件：量化描述 JSON | 交付件：量化 safetensors |
138| ---------------------- | ---------------- | ------ | ------------------------------------------------ | ----------------------------------------------- |138| ---------------------- | ---------------- | ------ | ------------------------------------------------ | ----------------------------------------------- |
139| `FLOAT` | 支持 | [量化模式总览](../../quantization_mode/README.md#modes) | [FLOAT 描述键](#desc-float) | [FLOAT 权重张量](#st-float) |139| `FLOAT` | 支持 | [量化模式总览](../../quantization_mode/README.md#modes) | [FLOAT 描述键](#desc-float) | [FLOAT 权重张量](#st-float) |
140| `W8A8` | 支持 | [W8A8 静态量化](../../quantization_mode/linear_layer_quantization/term_w8a8_static.md) | [W8A8 描述键](#desc-w8a8) | [W8A8 权重张量](#st-w8a8) |140| `W8A8` | 支持 | [W8A8 静态量化](../../quantization_mode/linear_layer_quantization/term_w8a8_static.md) | [W8A8 描述键](#desc-w8a8) | [W8A8 权重张量](#st-w8a8) |
@@ -304,7 +304,7 @@ calib_data_<task_config>_high_noise_model.pth
304 304 
305## 8. 关联流程305## 8. 关联流程
306 306 
307-- 《[MindIE-SD 使用指南](mindie_sd_usage.md)》：确认模式支持、配置与执行。307+- 《[MindIE SD 使用指南](mindie_sd_usage.md)》：确认模式支持、配置与执行。
308- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》：multimodal_sd 配置详解。308- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》：multimodal_sd 配置详解。
309- 《[多模态生成模型接入](../../ptq/dit/integration_guide_diffusion_transformer_quantization.md)》：模型接入与示例。309- 《[多模态生成模型接入](../../ptq/dit/integration_guide_diffusion_transformer_quantization.md)》：模型接入与示例。
310- 《[量化格式接入指南](../iformat_integration_guide.md)》：新格式开发对照。310- 《[量化格式接入指南](../iformat_integration_guide.md)》：新格式开发对照。
Mdocs/zh/knowledge_base/quantization_mode/README.md+1-1
@@ -112,7 +112,7 @@ FA 量化**本质上是一个组合量化模式**，作用于注意力 **Q/K/V
112- [KVCache 量化](kv_cache_quantization/README.md)：下位概念，针对 KVCache 的量化类别。112- [KVCache 量化](kv_cache_quantization/README.md)：下位概念，针对 KVCache 的量化类别。
113- [FA 量化](fa_quantization/README.md)：下位概念，KVCache 量化的进阶类别。113- [FA 量化](fa_quantization/README.md)：下位概念，KVCache 量化的进阶类别。
114- [W8A8 静态量化](linear_layer_quantization/term_w8a8_static.md)：下位概念，线性层量化中"权重/激活静态"的典型模式。114- [W8A8 静态量化](linear_layer_quantization/term_w8a8_static.md)：下位概念，线性层量化中"权重/激活静态"的典型模式。
115-- [线性量化算法](../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，描述线性层量化模式的处理器实现。115+- [线性量化算法](../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，描述线性层量化模式的代码实现。
116- [KVCache Quant 缓存量化算法](../quantization_algorithms/kvcache_quant/term_kvcache_quant.md)：配套术语，描述 KVCache 量化算法。116- [KVCache Quant 缓存量化算法](../quantization_algorithms/kvcache_quant/term_kvcache_quant.md)：配套术语，描述 KVCache 量化算法。
117- [FA3 Quant 注意力激活量化算法](../quantization_algorithms/fa3_quant/term_fa3_quant.md)：配套术语，描述 FA 量化算法。117- [FA3 Quant 注意力激活量化算法](../quantization_algorithms/fa3_quant/term_fa3_quant.md)：配套术语，描述 FA 量化算法。
118 118 
Mdocs/zh/knowledge_base/quantization_mode/linear_layer_quantization/README.md+1-1
@@ -112,7 +112,7 @@ $$Y = X \cdot W + b$$
112- [W8A8 静态量化](term_w8a8_static.md)：下位概念，本类别下最基础的静态模式。112- [W8A8 静态量化](term_w8a8_static.md)：下位概念，本类别下最基础的静态模式。
113- [W8A8 稀疏量化](term_w8a8_sparse.md)：下位概念，INT8 收窄码本后再二次压缩。113- [W8A8 稀疏量化](term_w8a8_sparse.md)：下位概念，INT8 收窄码本后再二次压缩。
114- [浮点稀疏量化](term_float_sparse.md)：下位概念，不降位宽的置零稀疏基线。114- [浮点稀疏量化](term_float_sparse.md)：下位概念，不降位宽的置零稀疏基线。
115-- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，描述线性层量化模式的处理器实现。115+- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，描述线性层量化模式的代码实现。
116 116 
117---117---
118 118 
Mdocs/zh/knowledge_base/quantization_mode/linear_layer_quantization/term_float_sparse.md+1-1
@@ -73,7 +73,7 @@
73- [W8A16 静态量化](term_w8a16_static.md)：同类模式，位宽维度的精度基线。73- [W8A16 静态量化](term_w8a16_static.md)：同类模式，位宽维度的精度基线。
74- [W8A8 静态量化](term_w8a8_static.md)：对比模式，可与稀疏叠加构成 W8A8S。74- [W8A8 静态量化](term_w8a8_static.md)：对比模式，可与稀疏叠加构成 W8A8S。
75- [浮点稀疏（ADMM）算法](../../quantization_algorithms/float_sparse/term_float_sparse.md)：配套术语，产出本模式所承载稀疏权重的算法。75- [浮点稀疏（ADMM）算法](../../quantization_algorithms/float_sparse/term_float_sparse.md)：配套术语，产出本模式所承载稀疏权重的算法。
76-- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，线性层量化的处理器实现。76+- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，线性层量化的代码实现。
77 77 
78---78---
79 79 
Mdocs/zh/knowledge_base/quantization_mode/linear_layer_quantization/term_w4a4_dynamic.md+1-1
@@ -77,7 +77,7 @@ $$q = \mathrm{round}(x / s) + z, \qquad \hat{x} = (q - z) \cdot s, \qquad s = \f
77- [W4A4 MX 动态量化](term_w4a4_mx_dynamic.md)：同类模式，改用 MXFP4 浮点格式。77- [W4A4 MX 动态量化](term_w4a4_mx_dynamic.md)：同类模式，改用 MXFP4 浮点格式。
78- [W8A16 静态量化](term_w8a16_static.md)：对比模式，激活保持 16bit 的高精度方案。78- [W8A16 静态量化](term_w8a16_static.md)：对比模式，激活保持 16bit 的高精度方案。
79- [SVDQuant 量化](term_svdquant.md)：对比模式，以低秩分解吸收离群值、仅量化残差分量，降低 4bit 精度风险。79- [SVDQuant 量化](term_svdquant.md)：对比模式，以低秩分解吸收离群值、仅量化残差分量，降低 4bit 精度风险。
80-- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的处理器实现。80+- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的代码实现。
81- [LAOS 低比特量化方案](../../quantization_algorithms/laos/term_laos.md)：配套术语，面向 W4A4 的精度优化算法。81- [LAOS 低比特量化方案](../../quantization_algorithms/laos/term_laos.md)：配套术语，面向 W4A4 的精度优化算法。
82 82 
83---83---
Mdocs/zh/knowledge_base/quantization_mode/linear_layer_quantization/term_w4a4_mx_dynamic.md+1-1
@@ -75,7 +75,7 @@ $$e = \lfloor \log_2(\max_{i \in \mathrm{block}}|x_i|) \rfloor, \qquad q_i = \ma
75- [W4A4 动态量化](term_w4a4_dynamic.md)：对比模式，INT4 整数方案。75- [W4A4 动态量化](term_w4a4_dynamic.md)：对比模式，INT4 整数方案。
76- [W4A4 MX 双 Scale 量化](term_w4a4_mx_dualscale.md)：同类模式，双层缩放的精度增强版。76- [W4A4 MX 双 Scale 量化](term_w4a4_mx_dualscale.md)：同类模式，双层缩放的精度增强版。
77- [W4A8 MX 动态量化](term_w4a8_mx_dynamic.md)：同类模式，激活改用 MXFP8 保精度。77- [W4A8 MX 动态量化](term_w4a8_mx_dynamic.md)：同类模式，激活改用 MXFP8 保精度。
78-- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的处理器实现。78+- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的代码实现。
79 79 
80---80---
81 81 
Mdocs/zh/knowledge_base/quantization_mode/linear_layer_quantization/term_w4a8_dynamic.md+1-1
@@ -80,7 +80,7 @@ $$q = \mathrm{round}(x / s) + z, \qquad \hat{x} = (q - z) \cdot s, \qquad s = \f
80- [W4A4 动态量化](term_w4a4_dynamic.md)：对比模式，激活压到 4bit、压缩更狠。80- [W4A4 动态量化](term_w4a4_dynamic.md)：对比模式，激活压到 4bit、压缩更狠。
81- [W8A16 静态量化](term_w8a16_static.md)：对比模式，激活不量化的高精度基线。81- [W8A16 静态量化](term_w8a16_static.md)：对比模式，激活不量化的高精度基线。
82- [W4A8 MX 动态量化](term_w4a8_mx_dynamic.md)：同类模式，改用 MX 浮点格式承载同一位宽。82- [W4A8 MX 动态量化](term_w4a8_mx_dynamic.md)：同类模式，改用 MX 浮点格式承载同一位宽。
83-- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的处理器实现。83+- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的代码实现。
84 84 
85---85---
86 86 
Mdocs/zh/knowledge_base/quantization_mode/linear_layer_quantization/term_w4a8_mx_dynamic.md+1-1
@@ -74,7 +74,7 @@ $$e = \lfloor \log_2(\max_{i \in \mathrm{block}}|x_i|) \rfloor, \qquad q_i = \ma
74- [W4A8 动态量化](term_w4a8_dynamic.md)：对比模式，INT4 权重 + INT8 激活的整数方案。74- [W4A8 动态量化](term_w4a8_dynamic.md)：对比模式，INT4 权重 + INT8 激活的整数方案。
75- [W8A8 MX 动态量化](term_w8a8_mx_dynamic.md)：同类模式，权重亦为 MXFP8。75- [W8A8 MX 动态量化](term_w8a8_mx_dynamic.md)：同类模式，权重亦为 MXFP8。
76- [W4A4 MX 动态量化](term_w4a4_mx_dynamic.md)：同类模式，激活亦降为 MXFP4。76- [W4A4 MX 动态量化](term_w4a4_mx_dynamic.md)：同类模式，激活亦降为 MXFP4。
77-- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的处理器实现。77+- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的代码实现。
78 78 
79---79---
80 80 
Mdocs/zh/knowledge_base/quantization_mode/linear_layer_quantization/term_w8a16_static.md+1-1
@@ -76,7 +76,7 @@ $$q = \mathrm{round}(x / s) + z, \qquad \hat{x} = (q - z) \cdot s, \qquad s = \f
76- [W8A8 静态量化](term_w8a8_static.md)：对比模式，激活亦量化为 INT8、换取整数 GEMM 加速。76- [W8A8 静态量化](term_w8a8_static.md)：对比模式，激活亦量化为 INT8、换取整数 GEMM 加速。
77- [W4A8 动态量化](term_w4a8_dynamic.md)：对比模式，权重压到 4bit 的混合位宽方案。77- [W4A8 动态量化](term_w4a8_dynamic.md)：对比模式，权重压到 4bit 的混合位宽方案。
78- [浮点稀疏量化](term_float_sparse.md)：同类模式，完全不量化的稀疏基线。78- [浮点稀疏量化](term_float_sparse.md)：同类模式，完全不量化的稀疏基线。
79-- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的处理器实现。79+- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的代码实现。
80- [MinMax 最小最大值量化算法](../../quantization_algorithms/minmax/term_minmax.md)：配套术语，静态量化常用的量化参数统计方法。80- [MinMax 最小最大值量化算法](../../quantization_algorithms/minmax/term_minmax.md)：配套术语，静态量化常用的量化参数统计方法。
81 81 
82---82---
Mdocs/zh/knowledge_base/quantization_mode/linear_layer_quantization/term_w8a8_dynamic.md+1-1
@@ -76,7 +76,7 @@ $$q = \mathrm{round}(x / s) + z, \qquad \hat{x} = (q - z) \cdot s, \qquad s = \f
76- [W8A8 PD-Mix 量化](term_w8a8_pdmix.md)：同类模式，激活策略随 Prefill/Decode 阶段切换。76- [W8A8 PD-Mix 量化](term_w8a8_pdmix.md)：同类模式，激活策略随 Prefill/Decode 阶段切换。
77- [W4A4 动态量化](term_w4a4_dynamic.md)：同类模式，更低比特的权重+激活量化。77- [W4A4 动态量化](term_w4a4_dynamic.md)：同类模式，更低比特的权重+激活量化。
78- [FA INT8 动态量化](../fa_quantization/term_fa_int8_dynamic.md)：同类模式，把 per-token 动态量化应用于注意力 Q/K/V 激活。78- [FA INT8 动态量化](../fa_quantization/term_fa_int8_dynamic.md)：同类模式，把 per-token 动态量化应用于注意力 Q/K/V 激活。
79-- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的处理器实现。79+- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的代码实现。
80 80 
81---81---
82 82 
Mdocs/zh/knowledge_base/quantization_mode/linear_layer_quantization/term_w8a8_fp8_dynamic.md+1-1
@@ -73,7 +73,7 @@ $$q = \mathrm{round}_{FP8}(x / s), \qquad \hat{x} = q \cdot s, \qquad s = \frac{
73- [W8A8 MX 动态量化](term_w8a8_mx_dynamic.md)：同类模式，块级共享指数的 MXFP8 方案。73- [W8A8 MX 动态量化](term_w8a8_mx_dynamic.md)：同类模式，块级共享指数的 MXFP8 方案。
74- [W8A16 静态量化](term_w8a16_static.md)：对比模式，激活保持 16bit 的高精度基线。74- [W8A16 静态量化](term_w8a16_static.md)：对比模式，激活保持 16bit 的高精度基线。
75- [FA FP8 动态量化](../fa_quantization/term_fa_fp8_dynamic.md)：配套模式，同样使用 FP8 数据类型的注意力激活量化。75- [FA FP8 动态量化](../fa_quantization/term_fa_fp8_dynamic.md)：配套模式，同样使用 FP8 数据类型的注意力激活量化。
76-- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的处理器实现。76+- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的代码实现。
77 77 
78---78---
79 79 
Mdocs/zh/knowledge_base/quantization_mode/linear_layer_quantization/term_w8a8_mx_dynamic.md+1-1
@@ -74,7 +74,7 @@ $$e = \lfloor \log_2(\max_{i \in \mathrm{block}}|x_i|) \rfloor, \qquad q_i = \ma
74- [W8A8 动态量化](term_w8a8_dynamic.md)：对比模式，INT8 整数方案。74- [W8A8 动态量化](term_w8a8_dynamic.md)：对比模式，INT8 整数方案。
75- [W8A8 FP8 动态量化](term_w8a8_fp8_dynamic.md)：对比模式，普通 FP8 每元素缩放方案。75- [W8A8 FP8 动态量化](term_w8a8_fp8_dynamic.md)：对比模式，普通 FP8 每元素缩放方案。
76- [W4A4 MX 动态量化](term_w4a4_mx_dynamic.md)：同类模式，MXFP4 更低比特方案。76- [W4A4 MX 动态量化](term_w4a4_mx_dynamic.md)：同类模式，MXFP4 更低比特方案。
77-- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的处理器实现。77+- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的代码实现。
78 78 
79---79---
80 80 
Mdocs/zh/knowledge_base/quantization_mode/linear_layer_quantization/term_w8a8_pdmix.md+1-1
@@ -77,7 +77,7 @@ $$q = \mathrm{round}(x / s) + z, \qquad \hat{x} = (q - z) \cdot s, \qquad s = \f
77- [W8A8 静态量化](term_w8a8_static.md)：对比模式，全程静态。77- [W8A8 静态量化](term_w8a8_static.md)：对比模式，全程静态。
78- [W4A8 动态量化](term_w4a8_dynamic.md)：对比模式，权重 4bit 的混合位宽方案。78- [W4A8 动态量化](term_w4a8_dynamic.md)：对比模式，权重 4bit 的混合位宽方案。
79- [PDMIX 阶段间混合量化算法](../../quantization_algorithms/pdmix/term_pdmix.md)：配套术语，本模式对应的算法处理器文档。79- [PDMIX 阶段间混合量化算法](../../quantization_algorithms/pdmix/term_pdmix.md)：配套术语，本模式对应的算法处理器文档。
80-- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，线性层量化的处理器实现。80+- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，线性层量化的代码实现。
81 81 
82---82---
83 83 
Mdocs/zh/knowledge_base/quantization_mode/linear_layer_quantization/term_w8a8_sparse.md+1-1
@@ -67,7 +67,7 @@ W8A8 稀疏量化（导出类型 `W8A8S`）仍是对线性层权重与激活做
67- [量化模式](../README.md)：上位概念，本词条属于[线性层量化](README.md)类别，是该类别下的一种具体模式。67- [量化模式](../README.md)：上位概念，本词条属于[线性层量化](README.md)类别，是该类别下的一种具体模式。
68- [W8A8 静态量化](term_w8a8_static.md)：同类模式，本模式在其 INT8 静态量化之上收窄码本并二次压缩。68- [W8A8 静态量化](term_w8a8_static.md)：同类模式，本模式在其 INT8 静态量化之上收窄码本并二次压缩。
69- [浮点稀疏量化](term_float_sparse.md)：对比模式，16bit 浮点上的置零稀疏，压缩路径不同。69- [浮点稀疏量化](term_float_sparse.md)：对比模式，16bit 浮点上的置零稀疏，压缩路径不同。
70-- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的处理器实现。70+- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的代码实现。
71 71 
72---72---
73 73 
Mdocs/zh/knowledge_base/quantization_mode/linear_layer_quantization/term_w8a8_static.md+1-1
@@ -76,7 +76,7 @@ $$q = \mathrm{round}(x / s) + z, \qquad \hat{x} = (q - z) \cdot s, \qquad s = \f
76- [W8A8 稀疏量化](term_w8a8_sparse.md)：同类模式，在本模式 INT8 静态量化之上收窄码本并二次压缩。76- [W8A8 稀疏量化](term_w8a8_sparse.md)：同类模式，在本模式 INT8 静态量化之上收窄码本并二次压缩。
77- [W8A16 静态量化](term_w8a16_static.md)：同类模式，激活保持 16bit。77- [W8A16 静态量化](term_w8a16_static.md)：同类模式，激活保持 16bit。
78- [W4A4 动态量化](term_w4a4_dynamic.md)：同类模式，更低比特的权重+激活量化。78- [W4A4 动态量化](term_w4a4_dynamic.md)：同类模式，更低比特的权重+激活量化。
79-- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的处理器实现。79+- [线性量化算法](../../quantization_algorithms/linear_quant/term_linear_quant.md)：配套术语，本模式的代码实现。
80- [MinMax 最小最大值量化算法](../../quantization_algorithms/minmax/term_minmax.md)：配套术语，静态量化常用的量化参数统计方法。80- [MinMax 最小最大值量化算法](../../quantization_algorithms/minmax/term_minmax.md)：配套术语，静态量化常用的量化参数统计方法。
81 81 
82---82---
Mdocs/zh/user_guide/README.md+1-1
@@ -61,7 +61,7 @@
61一键量化基于 msModelSlim 最佳实践库，自动匹配最优配置，并通过 YAML 自由组合量化流水线。除命令行参数外，还支持：61一键量化基于 msModelSlim 最佳实践库，自动匹配最优配置，并通过 YAML 自由组合量化流水线。除命令行参数外，还支持：
62 62 
63- **多种量化算法**：离群值抑制、线性量化、KV Cache、FA3 等，算法总览与配置字段详见《[量化算法说明](../knowledge_base/quantization_algorithms/README.md)》。63- **多种量化算法**：离群值抑制、线性量化、KV Cache、FA3 等，算法总览与配置字段详见《[量化算法说明](../knowledge_base/quantization_algorithms/README.md)》。
64-- **多种导出格式**：AscendV1、compressed-tensors、MindIE-SD 等，格式选型与兼容性详见《[量化格式](../knowledge_base/quantization_format/README.md)》。64+- **多种导出格式**：AscendV1、compressed-tensors、MindIE SD 等，格式选型与兼容性详见《[量化格式](../knowledge_base/quantization_format/README.md)》。
65 65 
66详细使用方法请参见《[一键量化使用指南](usage_one_click_quantization.md)》，该指南逐步讲解 `msmodelslim quant` 命令的每个参数。66详细使用方法请参见《[一键量化使用指南](usage_one_click_quantization.md)》，该指南逐步讲解 `msmodelslim quant` 命令的每个参数。
67 67 
Mdocs/zh/user_guide/process_new_model_quantization_tuning.md+1-1
@@ -22,7 +22,7 @@
22- 已核对《[大模型支持矩阵](../knowledge_base/model/README.md)》，确认目标模型未收录，或目标量化模式（`quant_type`）尚未验证。22- 已核对《[大模型支持矩阵](../knowledge_base/model/README.md)》，确认目标模型未收录，或目标量化模式（`quant_type`）尚未验证。
23- 已明确精度与性能目标（相对浮点的可接受掉点、业务阈值，或性能约束）。23- 已明确精度与性能目标（相对浮点的可接受掉点、业务阈值，或性能约束）。
24- 已准备浮点模型目录。24- 已准备浮点模型目录。
25-- 已确定目标推理引擎与导出格式（见《[量化格式支持矩阵](../knowledge_base/quantization_format/README.md)》，如 AscendV1、MindIE-SD）；浮点与量化测评须使用相同测评集、指标与推理引擎配置（引擎版本、并行与采样等保持一致）。25+- 已确定目标推理引擎与导出格式（见《[量化格式支持矩阵](../knowledge_base/quantization_format/README.md)》，如 AscendV1、MindIE SD）；浮点与量化测评须使用相同测评集、指标与推理引擎配置（引擎版本、并行与采样等保持一致）。
26- 若方案依赖新算子或组图能力，已具备对应推理引擎与 CANN 侧开发与合入条件。26- 若方案依赖新算子或组图能力，已具备对应推理引擎与 CANN 侧开发与合入条件。
27 27 
28**后续操作**：28**后续操作**：
Mdocs/zh/user_guide/usage_weight_quantization.md+3-3
@@ -29,7 +29,7 @@
29- 已按模型发布页与对应接入指南准备运行依赖：不同模型常要求特定 `transformers` 等版本；多模态生成还须具备原推理仓及桥接所需依赖。具体版本以模型卡片与接入指南为准，本文不枚举。29- 已按模型发布页与对应接入指南准备运行依赖：不同模型常要求特定 `transformers` 等版本；多模态生成还须具备原推理仓及桥接所需依赖。具体版本以模型卡片与接入指南为准，本文不枚举。
30- 已完成 msModelSlim **源码安装**（新模型适配需改代码与注册 entry point，详见《[安装指南](../install_guide/install_guide.md)》）。30- 已完成 msModelSlim **源码安装**（新模型适配需改代码与注册 entry point，详见《[安装指南](../install_guide/install_guide.md)》）。
31- 已确认量化设备：支持昇腾 NPU 与 CPU；常规量化建议使用 NPU，CPU 仅适合小规模调试。31- 已确认量化设备：支持昇腾 NPU 与 CPU；常规量化建议使用 NPU，CPU 仅适合小规模调试。
32-- 已确定目标推理框架，并选定 msModelSlim 支持的导出格式（见《[量化格式支持矩阵](../knowledge_base/quantization_format/README.md)》，如 AscendV1、MindIE-SD）。32+- 已确定目标推理框架，并选定 msModelSlim 支持的导出格式（见《[量化格式支持矩阵](../knowledge_base/quantization_format/README.md)》，如 AscendV1、MindIE SD）。
33 33 
34**后续操作**：34**后续操作**：
35 35 
@@ -45,7 +45,7 @@
45 45 
46## 4. 流程总览46## 4. 流程总览
47 47 
48-本流程负责权重量化并交付权重；推理由目标引擎承担（如 MindIE、vLLM Ascend、MindIE-SD）。先完成环境与资源预检，再下载浮点模型；**模型尚未接入**时完成模型适配，**已接入**可跳过适配；随后编写量化配置、执行量化，最后校验量化权重交付件是否完整可用。各阶段顺序如下：48+本流程负责权重量化并交付权重；推理由目标引擎承担（如 MindIE、vLLM Ascend、MindIE SD）。先完成环境与资源预检，再下载浮点模型；**模型尚未接入**时完成模型适配，**已接入**可跳过适配；随后编写量化配置、执行量化，最后校验量化权重交付件是否完整可用。各阶段顺序如下：
49 49 
50```mermaid50```mermaid
51flowchart LR51flowchart LR
@@ -232,7 +232,7 @@ msmodelslim quant \
232 | 导出格式 | 说明 |232 | 导出格式 | 说明 |
233 | --- | --- |233 | --- | --- |
234 | AscendV1 | 《[AscendV1](../knowledge_base/quantization_format/ascendv1/term_ascendv1.md)》 |234 | AscendV1 | 《[AscendV1](../knowledge_base/quantization_format/ascendv1/term_ascendv1.md)》 |
235- | MindIE-SD | 《[MindIE-SD](../knowledge_base/quantization_format/mindie_sd/term_mindie_sd.md)》 |235+ | MindIE SD | 《[MindIE SD](../knowledge_base/quantization_format/mindie_sd/term_mindie_sd.md)》 |
236 | compressed-tensors | 《[compressed-tensors](../knowledge_base/quantization_format/compressed_tensors/term_compressed_tensors.md)》 |236 | compressed-tensors | 《[compressed-tensors](../knowledge_base/quantization_format/compressed_tensors/term_compressed_tensors.md)》 |
237 237 
2382. 对比浮点模型目录与量化权重目录的体积（如 `du -sh ${MODEL_PATH} ${SAVE_PATH}`），确认量化产物相对浮点权重有合理缩小；具体幅度随位宽与导出格式而异，不作固定压缩比要求。2382. 对比浮点模型目录与量化权重目录的体积（如 `du -sh ${MODEL_PATH} ${SAVE_PATH}`），确认量化产物相对浮点权重有合理缩小；具体幅度随位宽与导出格式而异，不作固定压缩比要求。
Mexample/multimodal_sd/QwenImageEdit/README.md+2-2
@@ -20,7 +20,7 @@
20- ✅ 表示该量化策略已通过 msModelSlim 官方验证，功能完整、性能稳定，建议优先采用。20- ✅ 表示该量化策略已通过 msModelSlim 官方验证，功能完整、性能稳定，建议优先采用。
21- 空格表示该量化策略暂未通过 msModelSlim 官方验证，用户可根据实际需求进行配置尝试，但量化效果和功能稳定性无法得到官方保证。21- 空格表示该量化策略暂未通过 msModelSlim 官方验证，用户可根据实际需求进行配置尝试，但量化效果和功能稳定性无法得到官方保证。
22- 点击量化命令列中的链接可跳转到对应的具体量化命令。22- 点击量化命令列中的链接可跳转到对应的具体量化命令。
23-- 推荐使用MindIE-SD [3.0.0版本](https://gitcode.com/Ascend/MindIE-SD)23+- 推荐使用MindIE SD [3.0.0版本](https://gitcode.com/Ascend/MindIE SD)
24 24 
25## Qwen Image Edit 量化支持25## Qwen Image Edit 量化支持
26 26 
@@ -86,7 +86,7 @@ msmodelslim quant \
86 86 
87- **config_id**：配置标识，与 YAML 文件名对应（如 `qwen-image-edit-w8a8f8-mxfp`、`qwen-image-edit-w4a4f4-mxfp`）。87- **config_id**：配置标识，与 YAML 文件名对应（如 `qwen-image-edit-w8a8f8-mxfp`、`qwen-image-edit-w4a4f4-mxfp`）。
88- **score**：官方验证评分，数值越高表示该配置在验证场景下表现越稳定。88- **score**：官方验证评分，数值越高表示该配置在验证场景下表现越稳定。
89-- **verified_tags**：已验证的模型类型及对接环境标签；当前 `Qwen-Image-Edit-2509` 对应 MindIE-SD 推理与 Ascend_950 设备。89+- **verified_tags**：已验证的模型类型及对接环境标签；当前 `Qwen-Image-Edit-2509` 对应 MindIE SD 推理与 Ascend_950 设备。
90- **label**：量化能力标签，便于检索与对照：90- **label**：量化能力标签，便于检索与对照：
91 - `w_bit` / `a_bit`：权重与激活位宽（W8A8 为 8，W4A4 为 4）。91 - `w_bit` / `a_bit`：权重与激活位宽（W8A8 为 8，W4A4 为 4）。
92 - `is_sparse`：是否稀疏量化（当前为 `False`）。92 - `is_sparse`：是否稀疏量化（当前为 `False`）。