已合并
[master][Doc] 删除冗余一键量化完整指南 usage_quick_quantization.md,内容迁移至 usage_one_click_quantization 附录、配置文档与各使用指南 #997
tanxiangyuu创建于 9月19日
[master][Doc] 删除冗余一键量化完整指南 usage_quick_quantization.md,内容迁移至 usage_one_click_quantization 附录、配置文档与各使用指南 #997
已合并
共 130 个文件变更+514-1291
| @@ -108,7 +108,7 @@ msmodelslim --help | |||
| 108 | |---------|--------------| | 108 | |---------|--------------| |
| 109 | | 《[新模型量化调优流程](./docs/zh/user_guide/process_new_model_quantization_tuning.md)》 | [权重量化](./docs/zh/user_guide/usage_weight_quantization.md)、[敏感层分析](./docs/zh/user_guide/usage_sensitive_linear_analysis.md) | | 109 | | 《[新模型量化调优流程](./docs/zh/user_guide/process_new_model_quantization_tuning.md)》 | [权重量化](./docs/zh/user_guide/usage_weight_quantization.md)、[敏感层分析](./docs/zh/user_guide/usage_sensitive_linear_analysis.md) | |
| 110 | | 《[精度调优方法](./docs/zh/user_guide/process_quantization_precision_tuning.md)》 | [敏感层分析](./docs/zh/user_guide/usage_sensitive_linear_analysis.md)、[自动调优](./docs/zh/user_guide/usage_auto_precision_tuning.md)、[调试模式](./docs/zh/user_guide/usage_debug_mode.md) | | 110 | | 《[精度调优方法](./docs/zh/user_guide/process_quantization_precision_tuning.md)》 | [敏感层分析](./docs/zh/user_guide/usage_sensitive_linear_analysis.md)、[自动调优](./docs/zh/user_guide/usage_auto_precision_tuning.md)、[调试模式](./docs/zh/user_guide/usage_debug_mode.md) | |
| 111 | -| 《[主流模型量化部署](./docs/zh/user_guide/process_mainstream_model_deployment.md)》 | [一键量化](./docs/zh/user_guide/usage_quick_quantization.md) | | 111 | +| 《[主流模型量化部署](./docs/zh/user_guide/process_mainstream_model_deployment.md)》 | 《[一键量化](./docs/zh/user_guide/usage_one_click_quantization.md)》 | |
| 112 | | 《[量化推理精度异常定位](./docs/zh/user_guide/process_quantization_accuracy_anomaly_locating.md)》 | [调试模式](./docs/zh/user_guide/usage_debug_mode.md) | | 112 | | 《[量化推理精度异常定位](./docs/zh/user_guide/process_quantization_accuracy_anomaly_locating.md)》 | [调试模式](./docs/zh/user_guide/usage_debug_mode.md) | |
| 113 | 113 | ||
| 114 | > 更多使用指南,请参见《[使用指南](./docs/zh/user_guide/README.md)》。 | 114 | > 更多使用指南,请参见《[使用指南](./docs/zh/user_guide/README.md)》。 |
| @@ -4,7 +4,7 @@ | |||
| 4 | 4 | ||
| 5 | `msmodelslim quant` 是一键量化命令,加载原始模型权重并执行权重/激活量化,导出可部署的量化权重与描述文件。配置来源有两种:通过 `--quant_type` 按模型与量化类型自动匹配 `lab_practice` 中的最佳实践 YAML;或通过 `--config` 直接指定用户 YAML(支持 `modelslim_v1`、多模态以及 `modelslim_convert` 纯权重转换等协议)。 | 5 | `msmodelslim quant` 是一键量化命令,加载原始模型权重并执行权重/激活量化,导出可部署的量化权重与描述文件。配置来源有两种:通过 `--quant_type` 按模型与量化类型自动匹配 `lab_practice` 中的最佳实践 YAML;或通过 `--config` 直接指定用户 YAML(支持 `modelslim_v1`、多模态以及 `modelslim_convert` 纯权重转换等协议)。 |
| 6 | 6 | ||
| 7 | -命令边界:设备支持 `npu`、`cpu`,多卡通过 `--device_id` 指定索引列表;还支持场景标签匹配与 `--debug` 调试上下文落盘。校准数据准备与部署等操作步骤见《[一键量化完整指南](../../user_guide/usage_quick_quantization.md)》;量化任务 YAML 字段见《[量化任务配置说明导航](../config/quant/README.md)》,自动调优配置见《[自动调优配置说明导航](../config/tuning/README.md)》。更多关联项见[引用的配置](#5-引用的配置)。 | 7 | +命令边界:设备支持 `npu`、`cpu`,多卡通过 `--device_id` 指定索引列表;还支持场景标签匹配与 `--debug` 调试上下文落盘。校准数据准备与部署等操作步骤见《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》;量化任务 YAML 字段见《[量化任务配置说明导航](../config/quant/README.md)》,自动调优配置见《[自动调优配置说明导航](../config/tuning/README.md)》。更多关联项见[引用的配置](#5-引用的配置)。 |
| 8 | 8 | ||
| 9 | ## 2. 命令格式 | 9 | ## 2. 命令格式 |
| 10 | 10 | ||
| @@ -52,6 +52,17 @@ msmodelslim quant [--model_type <model_type>] --model_path <model_path> --save_p | |||
| 52 | - `--tags` 指定多个值时须同时出现在同一已验证场景;未提供硬件类型标签时自动匹配当前设备类型。 | 52 | - `--tags` 指定多个值时须同时出现在同一已验证场景;未提供硬件类型标签时自动匹配当前设备类型。 |
| 53 | - `--debug` 启用后量化上下文写入 `${SAVE_PATH}/debug_info/`。 | 53 | - `--debug` 启用后量化上下文写入 `${SAVE_PATH}/debug_info/`。 |
| 54 | 54 | ||
| 55 | +**最佳实践匹配搜索优先级**(通过 `--quant_type` 匹配最佳实践 YAML 时的搜索优先级,从高到低): | ||
| 56 | + | ||
| 57 | +1. 模型指定量化方式 + 指定场景标签(`--tags`)的最佳实践策略 YAML。 | ||
| 58 | +2. 模型指定量化方式 + 忽略场景标签的最佳实践策略 YAML,询问用户是否采用。 | ||
| 59 | +3. 模型指定量化方式 + 忽略场景标签的默认实践策略 YAML(默认实践策略不保证精度正常),询问用户是否采用。 | ||
| 60 | +4. 模型推荐量化方式(W8A8)+ 指定场景标签的最佳实践策略 YAML,询问用户是否采用。 | ||
| 61 | +5. 模型推荐量化方式(W8A8)+ 忽略场景标签的最佳实践策略 YAML,询问用户是否采用。 | ||
| 62 | +6. 模型推荐量化方式(W8A8)+ 忽略场景标签的默认实践策略 YAML(默认实践策略不保证精度正常),询问用户是否采用。 | ||
| 63 | + | ||
| 64 | +> **说明**:最佳实践库中的配置文件位于 [`msmodelslim/lab_practice`](../../../../lab_practice/) 目录。 | ||
| 65 | + | ||
| 55 | ## 5. 引用的配置 | 66 | ## 5. 引用的配置 |
| 56 | 67 | ||
| 57 | 协议总览见《[量化任务配置说明导航](../config/quant/README.md)》;若配置用于自动调优模板,另见《[自动调优配置说明导航](../config/tuning/README.md)》。 | 68 | 协议总览见《[量化任务配置说明导航](../config/quant/README.md)》;若配置用于自动调优模板,另见《[自动调优配置说明导航](../config/tuning/README.md)》。 |
| @@ -62,7 +73,7 @@ msmodelslim quant [--model_type <model_type>] --model_path <model_path> --save_p | |||
| 62 | | `--config` | `multimodal_vlm_modelslim_v1` | 多模态理解模型量化 YAML | 《[multimodal_vlm_modelslim_v1 配置说明](../config/quant/multimodal_vlm_modelslim_v1.md)》 | | 73 | | `--config` | `multimodal_vlm_modelslim_v1` | 多模态理解模型量化 YAML | 《[multimodal_vlm_modelslim_v1 配置说明](../config/quant/multimodal_vlm_modelslim_v1.md)》 | |
| 63 | | `--config` | `multimodal_sd_modelslim_v1` | 多模态生成模型量化 YAML | 《[multimodal_sd_modelslim_v1 配置说明](../config/quant/multimodal_sd_modelslim_v1.md)》 | | 74 | | `--config` | `multimodal_sd_modelslim_v1` | 多模态生成模型量化 YAML | 《[multimodal_sd_modelslim_v1 配置说明](../config/quant/multimodal_sd_modelslim_v1.md)》 | |
| 64 | | `--config` | `modelslim_convert` | 权重转换 YAML;不需要 `--model_type` | 《[modelslim_convert 配置说明](../config/quant/modelslim_convert.md)》 | | 75 | | `--config` | `modelslim_convert` | 权重转换 YAML;不需要 `--model_type` | 《[modelslim_convert 配置说明](../config/quant/modelslim_convert.md)》 | |
| 65 | -| `--quant_type` | `lab_practice` 最佳实践 YAML | 按模型与量化类型匹配 | 《[一键量化完整指南](../../user_guide/usage_quick_quantization.md)》 | | 76 | +| `--quant_type` | `lab_practice` 最佳实践 YAML | 按模型与量化类型匹配 | 《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》 | |
| 66 | 77 | ||
| 67 | ## 6. 环境变量 | 78 | ## 6. 环境变量 |
| 68 | 79 | ||
| @@ -1,6 +1,6 @@ | |||
| 1 | # 配置说明导航 | 1 | # 配置说明导航 |
| 2 | 2 | ||
| 3 | -本目录是 msModelSlim 配置(YAML)的字段级参考文档,按先选协议、再查 `type`的方式组织。使用流程与端到端操作步骤见《[一键量化完整指南](../../user_guide/usage_quick_quantization.md)》;任务协议总览见《[量化任务配置说明导航](quant/README.md)》;自动调优的协议总览见《[自动调优配置说明导航](tuning/README.md)》。 | 3 | +本目录是 msModelSlim 配置(YAML)的字段级参考文档,按先选协议、再查 `type`的方式组织。使用流程与端到端操作步骤见《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》;任务协议总览见《[量化任务配置说明导航](quant/README.md)》;自动调优的协议总览见《[自动调优配置说明导航](tuning/README.md)》。 |
| 4 | 4 | ||
| 5 | ## 1. 怎么用这套文档 | 5 | ## 1. 怎么用这套文档 |
| 6 | 6 | ||
| @@ -1,6 +1,6 @@ | |||
| 1 | # 量化任务配置说明导航 | 1 | # 量化任务配置说明导航 |
| 2 | 2 | ||
| 3 | -本目录是 msModelSlim 量化任务配置(YAML)的字段级参考文档,按先选 `apiversion`、再展开 `spec`的方式组织。使用流程与端到端操作步骤见《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》;处理器与保存格式总表见《[配置说明导航](../README.md)》;自动调优见《[自动调优配置说明导航](../tuning/README.md)》。 | 3 | +本目录是 msModelSlim 量化任务配置(YAML)的字段级参考文档,按先选 `apiversion`、再展开 `spec`的方式组织。使用流程与端到端操作步骤见《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》;处理器与保存格式总表见《[配置说明导航](../README.md)》;自动调优见《[自动调优配置说明导航](../tuning/README.md)》。 |
| 4 | 4 | ||
| 5 | ## 1. 怎么用这套文档 | 5 | ## 1. 怎么用这套文档 |
| 6 | 6 | ||
| @@ -10,6 +10,12 @@ | |||
| 10 | | 配置类 | `ModelslimV1QuantConfig` | | 10 | | 配置类 | `ModelslimV1QuantConfig` | |
| 11 | | 源码 | [quant_config.py](../../../../../msmodelslim/core/quant_service/modelslim_v1/quant_config.py) | | 11 | | 源码 | [quant_config.py](../../../../../msmodelslim/core/quant_service/modelslim_v1/quant_config.py) | |
| 12 | 12 | ||
| 13 | +`modelslim_v1` 是量化工具推出的新一代量化处理框架,目前正在快速演进中。相较于 `modelslim_v0` 版本,`modelslim_v1` 有以下优势: | ||
| 14 | + | ||
| 15 | +- 算法独立实现,配置自由组合。 | ||
| 16 | +- 支持逐层量化,大幅降低资源消耗。 | ||
| 17 | +- 不依赖特定版本的 CANN。 | ||
| 18 | + | ||
| 13 | ## 2. 参数列表 | 19 | ## 2. 参数列表 |
| 14 | 20 | ||
| 15 | <h3 id="2-1-modelslim-v1">2.1 ModelslimV1QuantConfig</h3> | 21 | <h3 id="2-1-modelslim-v1">2.1 ModelslimV1QuantConfig</h3> |
| @@ -8,7 +8,7 @@ | |||
| 8 | 8 | ||
| 9 | **精度验收口径**:以选定的精度基线(本案例采用论文或模型卡片公开基线)作为对比基准,使用 AISBench 获得量化结果分数。当量化结果分数不低于选定的精度基线分数时直接通过;当量化结果分数低于选定的精度基线分数时,要求相对下降比例不超过 1%,否则不通过。 | 9 | **精度验收口径**:以选定的精度基线(本案例采用论文或模型卡片公开基线)作为对比基准,使用 AISBench 获得量化结果分数。当量化结果分数不低于选定的精度基线分数时直接通过;当量化结果分数低于选定的精度基线分数时,要求相对下降比例不超过 1%,否则不通过。 |
| 10 | 10 | ||
| 11 | -**关联流程**:[《一键量化完整指南》](../user_guide/usage_quick_quantization.md)、[《权重量化使用指南》](../user_guide/usage_weight_quantization.md)、[《msModelSlim 安装指南》](../install_guide/install_guide.md) | 11 | +**关联流程**:《[一键量化使用指南](../user_guide/usage_one_click_quantization.md)》、《[权重量化使用指南](../user_guide/usage_weight_quantization.md)》、《[msModelSlim 安装指南](../install_guide/install_guide.md)》 |
| 12 | 12 | ||
| 13 | ## 2. 环境与版本 | 13 | ## 2. 环境与版本 |
| 14 | 14 | ||
| @@ -10,7 +10,7 @@ | |||
| 10 | 10 | ||
| 11 | **覆盖流程**:分析 `${MODEL_PATH}/config.json` 中的新模型结构 → 设计 `lab_practice/deepseek_v4/deepseek_v4_pro_w4a8.yaml` 量化方案 → 完成 `msmodelslim/model/deepseek_v4/` 模型适配器及 `lab_practice/deepseek_v4/` 量化 YAML 开发 → 环境准备与工具安装 → 执行一键量化命令 → 检查 `${SAVE_PATH}` 量化权重完整性 → 使用 `${SAVE_PATH}` 推理部署与精度评测 → 量化调优(可选)。 | 11 | **覆盖流程**:分析 `${MODEL_PATH}/config.json` 中的新模型结构 → 设计 `lab_practice/deepseek_v4/deepseek_v4_pro_w4a8.yaml` 量化方案 → 完成 `msmodelslim/model/deepseek_v4/` 模型适配器及 `lab_practice/deepseek_v4/` 量化 YAML 开发 → 环境准备与工具安装 → 执行一键量化命令 → 检查 `${SAVE_PATH}` 量化权重完整性 → 使用 `${SAVE_PATH}` 推理部署与精度评测 → 量化调优(可选)。 |
| 12 | 12 | ||
| 13 | -**关联流程**:[《权重量化使用指南》](../user_guide/usage_weight_quantization.md)、[《一键量化完整指南》](../user_guide/usage_quick_quantization.md)、[《LLM 大模型接入指南》](../knowledge_base/ptq/llm/integration_guide_large_language_model_quantization.md)、[《量化算法总览》](../knowledge_base/quantization_algorithms/README.md) | 13 | +**关联流程**:《[权重量化使用指南](../user_guide/usage_weight_quantization.md)》、《[一键量化使用指南](../user_guide/usage_one_click_quantization.md)》、《[LLM 大模型接入指南](../knowledge_base/ptq/llm/integration_guide_large_language_model_quantization.md)》、《[量化算法总览](../knowledge_base/quantization_algorithms/README.md)》 |
| 14 | 14 | ||
| 15 | **模型相关信息** | 15 | **模型相关信息** |
| 16 | 16 | ||
| @@ -6,7 +6,7 @@ | |||
| 6 | 6 | ||
| 7 | **覆盖流程**:模型适配 → 量化方案设计 → 权重量化 → 精度测评。 | 7 | **覆盖流程**:模型适配 → 量化方案设计 → 权重量化 → 精度测评。 |
| 8 | 8 | ||
| 9 | -**关联流程**:《[多模态理解模型接入指南](../knowledge_base/ptq/vlm/integration_guide_vision_transformer_quantization.md)》、《[一键量化使用说明](../user_guide/usage_quick_quantization.md)》 | 9 | +**关联流程**:《[多模态理解模型接入指南](../knowledge_base/ptq/vlm/integration_guide_vision_transformer_quantization.md)》、《[一键量化使用指南](../user_guide/usage_one_click_quantization.md)》 |
| 10 | 10 | ||
| 11 | ## 2. 环境与版本 | 11 | ## 2. 环境与版本 |
| 12 | 12 | ||
| @@ -34,7 +34,7 @@ | |||
| 34 | | --- | --- | --- | --- | --- | | 34 | | --- | --- | --- | --- | --- | |
| 35 | | 输入 | 浮点权重 | [Kimi-K3](https://huggingface.co/moonshotai/Kimi-K3) | 权重文件完整 | 下载完成且哈希值匹配 | | 35 | | 输入 | 浮点权重 | [Kimi-K3](https://huggingface.co/moonshotai/Kimi-K3) | 权重文件完整 | 下载完成且哈希值匹配 | |
| 36 | | 交付件 | 模型适配器代码 | [`msmodelslim/model/kimi_k3/`](../../../msmodelslim/model/kimi_k3/) | 适配器需实现量化流水线所需接口 | 命令行指定 `--model_type Kimi-K3` 可命中适配器 | | 36 | | 交付件 | 模型适配器代码 | [`msmodelslim/model/kimi_k3/`](../../../msmodelslim/model/kimi_k3/) | 适配器需实现量化流水线所需接口 | 命令行指定 `--model_type Kimi-K3` 可命中适配器 | |
| 37 | -| 交付件 | 量化最佳实践 | [`lab_practice/kimi_k3/kimi_k3_w4a8.yaml`](../../../lab_practice/kimi_k3/kimi_k3_w4a8.yaml) | 遵循[量化配置协议](../user_guide/usage_quick_quantization.md#5-量化配置协议详解) | 命令行参数 `--config` 指定量化配置文件 | | 37 | +| 交付件 | 量化最佳实践 | [`lab_practice/kimi_k3/kimi_k3_w4a8.yaml`](../../../lab_practice/kimi_k3/kimi_k3_w4a8.yaml) | 遵循《[modelslim_v1 配置说明](../api_reference/config/quant/modelslim_v1.md)》 | 命令行参数 `--config` 指定量化配置文件 | |
| 38 | | 交付件 | 量化权重目录 | 命令行参数 `--save_path` 指定保存位置 | 遵循[AscendV1 格式](../knowledge_base/quantization_format/ascendv1/ascendv1_usage.md) | 量化权重精度测试达标 | | 38 | | 交付件 | 量化权重目录 | 命令行参数 `--save_path` 指定保存位置 | 遵循[AscendV1 格式](../knowledge_base/quantization_format/ascendv1/ascendv1_usage.md) | 量化权重精度测试达标 | |
| 39 | 39 | ||
| 40 | ## 4. 操作步骤 | 40 | ## 4. 操作步骤 |
| @@ -201,7 +201,7 @@ | |||
| 201 | | 步骤 | 关键操作 | 指标 | 变化 | 备注 | | 201 | | 步骤 | 关键操作 | 指标 | 变化 | 备注 | |
| 202 | | --- | --- | --- | --- | --- | | 202 | | --- | --- | --- | --- | --- | |
| 203 | | 步骤 1 | 开发并注册模型适配器 | `--model_type Kimi-K3` 可命中适配器 | 新增模型适配器 | 开发完成后需重新安装以使代码生效 | | 203 | | 步骤 1 | 开发并注册模型适配器 | `--model_type Kimi-K3` 可命中适配器 | 新增模型适配器 | 开发完成后需重新安装以使代码生效 | |
| 204 | -| 步骤 2 | 设计混合量化方案 | [kimi_k3_w4a8.yaml](../../../lab_practice/kimi_k3/kimi_k3_w4a8.yaml) | 新增量化实践配置 | 量化实践配置遵循[量化配置协议](../user_guide/usage_quick_quantization.md#5-量化配置协议详解) | | 204 | +| 步骤 2 | 设计混合量化方案 | [kimi_k3_w4a8.yaml](../../../lab_practice/kimi_k3/kimi_k3_w4a8.yaml) | 新增量化实践配置 | 量化实践配置遵循《[modelslim_v1 配置说明](../api_reference/config/quant/modelslim_v1.md)》 | |
| 205 | | 步骤 3 | 执行量化命令 | W4A8 量化权重 | 导出量化权重 | 导出件遵循[AscendV1 格式](../knowledge_base/quantization_format/ascendv1/ascendv1_usage.md) | | 205 | | 步骤 3 | 执行量化命令 | W4A8 量化权重 | 导出量化权重 | 导出件遵循[AscendV1 格式](../knowledge_base/quantization_format/ascendv1/ascendv1_usage.md) | |
| 206 | | 步骤 4 | vLLM Ascend 部署 + AISBench 精度测评 | [GPQA](https://github.com/AISBench/benchmark/blob/master/ais_bench/benchmark/configs/datasets/gpqa/README.md) / [OCRBench](https://github.com/AISBench/benchmark/blob/master/ais_bench/benchmark/configs/datasets/ocrbench_v2/README.md) | 完成精度验证 | 精度达标 | | 206 | | 步骤 4 | vLLM Ascend 部署 + AISBench 精度测评 | [GPQA](https://github.com/AISBench/benchmark/blob/master/ais_bench/benchmark/configs/datasets/gpqa/README.md) / [OCRBench](https://github.com/AISBench/benchmark/blob/master/ais_bench/benchmark/configs/datasets/ocrbench_v2/README.md) | 完成精度验证 | 精度达标 | |
| 207 | 207 | ||
| @@ -6,7 +6,7 @@ | |||
| 6 | 6 | ||
| 7 | **覆盖流程**:模型接入适配 → 量化方案设计 → 权重量化 → 精度评测 | 7 | **覆盖流程**:模型接入适配 → 量化方案设计 → 权重量化 → 精度评测 |
| 8 | 8 | ||
| 9 | -**关联流程**:《[多模态生成模型接入指南](../knowledge_base/ptq/dit/integration_guide_diffusion_transformer_quantization.md)》、《[一键量化使用说明](../user_guide/usage_quick_quantization.md)》 | 9 | +**关联流程**:《[多模态生成模型接入指南](../knowledge_base/ptq/dit/integration_guide_diffusion_transformer_quantization.md)》、《[一键量化使用指南](../user_guide/usage_one_click_quantization.md)》 |
| 10 | 10 | ||
| 11 | ## 2. 模型相关信息 | 11 | ## 2. 模型相关信息 |
| 12 | 12 | ||
| @@ -50,7 +50,7 @@ | |||
| 50 | | --- | -------------------- | ------------------------ | -------------------------- | --------------------------------- | | 50 | | --- | -------------------- | ------------------------ | -------------------------- | --------------------------------- | |
| 51 | | 输入 | Wan2.2浮点模型权重 | `${MODEL_PATH}` | 官方开源格式,含DiT双专家权重、VAE、文本编码器、tokenizer、config.json | 可通过官方推理仓正常加载,720P视频生成无异常 | | 51 | | 输入 | Wan2.2浮点模型权重 | `${MODEL_PATH}` | 官方开源格式,含DiT双专家权重、VAE、文本编码器、tokenizer、config.json | 可通过官方推理仓正常加载,720P视频生成无异常 | |
| 52 | | 交付件 | Wan2.2 W4A4F4量化权重 | `${SAVE_PATH}` | msModelSlim量化导出格式,含`quant_model_description.json`、双专家量化权重 | 可被MindIE-SD正常加载,成功生成视频 | | 52 | | 交付件 | Wan2.2 W4A4F4量化权重 | `${SAVE_PATH}` | msModelSlim量化导出格式,含`quant_model_description.json`、双专家量化权重 | 可被MindIE-SD正常加载,成功生成视频 | |
| 53 | -| 交付件 | 量化最佳实践 | [`lab_practice/wan2_2/wan2_2_w4a4f4_mxfp_t2v.yaml`](../../../lab_practice/wan2_2/wan2_2_w4a4f4_mxfp_t2v.yaml) | 遵循[量化配置协议](../user_guide/usage_quick_quantization.md#5-量化配置协议详解) | 命令行参数 `--config` 指定量化配置文件 | | 53 | +| 交付件 | 量化最佳实践 | [`lab_practice/wan2_2/wan2_2_w4a4f4_mxfp_t2v.yaml`](../../../lab_practice/wan2_2/wan2_2_w4a4f4_mxfp_t2v.yaml) | 遵循《[multimodal_sd_modelslim_v1 配置说明](../api_reference/config/quant/multimodal_sd_modelslim_v1.md)》 | 命令行参数 `--config` 指定量化配置文件 | |
| 54 | | 输入 | 精度评测集 | `${EVAL_DATA_PATH}` | VBench标准评测集 | 对比双方使用完全相同的数据和随机种子 | | 54 | | 输入 | 精度评测集 | `${EVAL_DATA_PATH}` | VBench标准评测集 | 对比双方使用完全相同的数据和随机种子 | |
| 55 | | 交付件 | 精度报告 | `./outputs/default/{timestamp}/` | 生成视频样例(FP vs 量化对比)、VBench等客观指标结果表 | 满足预设验收阈值,无严重画质问题 | | 55 | | 交付件 | 精度报告 | `./outputs/default/{timestamp}/` | 生成视频样例(FP vs 量化对比)、VBench等客观指标结果表 | 满足预设验收阈值,无严重画质问题 | |
| 56 | 56 | ||
| @@ -69,7 +69,7 @@ | |||
| 69 | > | 69 | > |
| 70 | > 示例: | 70 | > 示例: |
| 71 | > | 71 | > |
| 72 | -> - [《一键量化 V1》](../../../user_guide/usage_quick_quantization.md):默认集成本算法作为离群值抑制前置步骤。 | 72 | +> - 《[一键量化 V1](../../../user_guide/usage_one_click_quantization.md)》:默认集成本算法作为离群值抑制前置步骤。 |
| 73 | > - [《敏感层分析使用指南》](../../../user_guide/usage_sensitive_layer_analysis.md):分析结果可用于回退使用本算法的层。 | 73 | > - [《敏感层分析使用指南》](../../../user_guide/usage_sensitive_layer_analysis.md):分析结果可用于回退使用本算法的层。 |
| 74 | 74 | ||
| 75 | ## 4. [OPTIONAL] 关联词条 | 75 | ## 4. [OPTIONAL] 关联词条 |
| @@ -5,7 +5,7 @@ | |||
| 5 | - 点击“模型类别”列中的链接,即可跳转到msModelSlim为您推荐的最佳实践页面,里面详细介绍了量化命令和配置说明。 | 5 | - 点击“模型类别”列中的链接,即可跳转到msModelSlim为您推荐的最佳实践页面,里面详细介绍了量化命令和配置说明。 |
| 6 | - √ 表示该量化策略已通过msModelSlim官方验证,功能完整、性能稳定,建议优先采用。 | 6 | - √ 表示该量化策略已通过msModelSlim官方验证,功能完整、性能稳定,建议优先采用。 |
| 7 | - \- 表示该量化策略暂未通过msModelSlim官方验证,用户可根据实际需求进行配置尝试,但量化效果和功能稳定性无法得到官方保证。 | 7 | - \- 表示该量化策略暂未通过msModelSlim官方验证,用户可根据实际需求进行配置尝试,但量化效果和功能稳定性无法得到官方保证。 |
| 8 | -- 标记了“一键量化”的“模型名称-量化模式(w8a8s等)”组合可在[安装](../../install_guide/install_guide.md)后使用如下[一键量化](../../user_guide/usage_quick_quantization.md)命令行执行模型量化。 | 8 | +- 标记了“一键量化”的“模型名称-量化模式(w8a8s等)”组合可在《[安装](../../install_guide/install_guide.md)》后使用如下《[一键量化](../../user_guide/usage_one_click_quantization.md)》命令行执行模型量化。 |
| 9 | - 因 Qwen 系列推出能力更强的新版本,Qwen1.5-14B/32B/72B 模型已超出维护周期,后续将对该系列老模型实施日落处理,其现网版本量化模式不再提供维护支持。 | 9 | - 因 Qwen 系列推出能力更强的新版本,Qwen1.5-14B/32B/72B 模型已超出维护周期,后续将对该系列老模型实施日落处理,其现网版本量化模式不再提供维护支持。 |
| 10 | - **Qwen3.5 / Qwen3.6** 具备原生多模态(Vision)能力,校准模态说明见《[Qwen3.5 量化说明 - 校准模态支持](https://gitcode.com/Ascend/msmodelslim/blob/master/example/Qwen3_5/README.md#校准模态支持)》。 | 10 | - **Qwen3.5 / Qwen3.6** 具备原生多模态(Vision)能力,校准模态说明见《[Qwen3.5 量化说明 - 校准模态支持](https://gitcode.com/Ascend/msmodelslim/blob/master/example/Qwen3_5/README.md#校准模态支持)》。 |
| 11 | 11 | ||
| @@ -36,6 +36,28 @@ msModelSlim 量化侧的并行机制以数据并行(Data Parallel, DP)为基 | |||
| 36 | | `OnlineQuaRotProcessor` | ✓ | — | | 36 | | `OnlineQuaRotProcessor` | ✓ | — | |
| 37 | | `QuaRotProcessor` | ✓ | — | | 37 | | `QuaRotProcessor` | ✓ | — | |
| 38 | 38 | ||
| 39 | +以算法名视角汇总,`dp_layer_wise`(分布式逐层量化)当前支持以下算法: | ||
| 40 | + | ||
| 41 | +**离群值抑制算法** | ||
| 42 | + | ||
| 43 | +| 算法名称 | 处理器类型 | 支持状态 | 说明 | | ||
| 44 | +|----------|----------|---------|------| | ||
| 45 | +| Iterative Smooth | iter_smooth | ✅ 支持 | 完全支持分布式执行 | | ||
| 46 | +| Flex Smooth Quant | flex_smooth | ✅ 支持 | 完全支持分布式执行 | | ||
| 47 | +| Flex AWQ SSZ | flex_awq_ssz | ✅ 支持 | 完全支持分布式执行 | | ||
| 48 | +| QuaRot | quarot | ✅ 支持 | 完全支持分布式执行 | | ||
| 49 | +| Online QuaRot | online_quarot | ✅ 支持 | 完全支持分布式执行 | | ||
| 50 | +| Adapt Rotation | adapt_rotation | ✅ 支持 | 完全支持分布式执行 | | ||
| 51 | + | ||
| 52 | +**量化算法** | ||
| 53 | + | ||
| 54 | +| 算法名称 | 量化方法 | 支持状态 | 说明 | | ||
| 55 | +|----------|---------|---------|------| | ||
| 56 | +| MinMax | minmax | ✅ 支持 | 完全支持分布式执行 | | ||
| 57 | +| SSZ | ssz | ✅ 支持 | 完全支持分布式执行 | | ||
| 58 | +| CeilX | ceil_x | ✅ 支持 | 完全支持分布式执行 | | ||
| 59 | +| FA3 Quant | fa3_quant | ✅ 支持 | 完全支持分布式执行 | | ||
| 60 | + | ||
| 39 | 下表汇总当前已支持 EP 的模型。 | 61 | 下表汇总当前已支持 EP 的模型。 |
| 40 | 62 | ||
| 41 | | 模型适配器 | 具体模型 | | 63 | | 模型适配器 | 具体模型 | |
| @@ -241,9 +241,11 @@ flowchart LR | |||
| 241 | | `sync_base_operation` 等 | 跨 rank 统计量归约工具函数 | [dist_ops.py](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/utils/distributed/dist_ops.py) | | 241 | | `sync_base_operation` 等 | 跨 rank 统计量归约工具函数 | [dist_ops.py](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/utils/distributed/dist_ops.py) | |
| 242 | | `support_distributed()` | Processor 分布式支持声明(基类默认 `False`) | [processor/base.py](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/processor/base.py) | | 242 | | `support_distributed()` | Processor 分布式支持声明(基类默认 `False`) | [processor/base.py](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/processor/base.py) | |
| 243 | | `ascendv1_saver_distributed` | 分布式保存器(由 `ascendv1_saver` 自动转换) | [ascendv1_distributed.py](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/core/quant_service/modelslim_v1/save/ascendv1_distributed.py) | | 243 | | `ascendv1_saver_distributed` | 分布式保存器(由 `ascendv1_saver` 自动转换) | [ascendv1_distributed.py](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/core/quant_service/modelslim_v1/save/ascendv1_distributed.py) | |
| 244 | -| `--device npu --device_id 0 1 ...` | 多卡量化入口配置 | 《[一键量化使用说明](../../../user_guide/usage_quick_quantization.md)》 | | 244 | +| `--device npu --device_id 0 1 ...` | 多卡量化入口配置 | 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》 | |
| 245 | 245 | ||
| 246 | ## 10. 产品形态与资源限制 | 246 | ## 10. 产品形态与资源限制 |
| 247 | 247 | ||
| 248 | - **限制**:当前仅支持单机多卡;由于多卡量化在各卡上的量化调度流程基本与逐层量化逻辑一致,因而显存要求基本与单卡量化一致。 | 248 | - **限制**:当前仅支持单机多卡;由于多卡量化在各卡上的量化调度流程基本与逐层量化逻辑一致,因而显存要求基本与单卡量化一致。 |
| 249 | - **资源**:多卡加速收益受 I/O 读写、算法计算密度、硬件性能与同步频率影响,加速效果不严格随卡数线性增长。 | 249 | - **资源**:多卡加速收益受 I/O 读写、算法计算密度、硬件性能与同步频率影响,加速效果不严格随卡数线性增长。 |
| 250 | +- **校准集大小**:校准集较小时,通信开销可能超过并行收益,多卡加速效果不明显,需结合实际校准集规模评估并行收益。 | ||
| 251 | +- **算法支持**:仅支持分布式执行的算法才能在多卡环境下正常工作。 | ||
| @@ -22,31 +22,29 @@ | |||
| 22 | 22 | ||
| 23 | --- | 23 | --- |
| 24 | 24 | ||
| 25 | -## 2. 背景与动机 | 25 | +## 2. 词条介绍 |
| 26 | + | ||
| 27 | +### 2.1 背景与动机 | ||
| 26 | 28 | ||
| 27 | 大模型训练后量化(Post-Training Quantization, PTQ)依赖校准前向收集激活统计量。模型规模与校准样本量增大后,单卡串行校准成为耗时瓶颈。一条有效的解决途径是对校准数据集进行切分,复制多份模型副本同时进行前向校准。 | 29 | 大模型训练后量化(Post-Training Quantization, PTQ)依赖校准前向收集激活统计量。模型规模与校准样本量增大后,单卡串行校准成为耗时瓶颈。一条有效的解决途径是对校准数据集进行切分,复制多份模型副本同时进行前向校准。 |
| 28 | 30 | ||
| 29 | ---- | ||
| 30 | - | ||
| 31 | <a id="principle"></a> | 31 | <a id="principle"></a> |
| 32 | 32 | ||
| 33 | -## 3. 原理 | 33 | +### 2.2 原理 |
| 34 | 34 | ||
| 35 | <a id="1-core-idea"></a> | 35 | <a id="1-core-idea"></a> |
| 36 | 36 | ||
| 37 | -### 3.1 核心思想 | 37 | +#### 2.2.1 核心思想 |
| 38 | 38 | ||
| 39 | - **模型副本同构**:每个 rank 加载同一套模型结构与权重,避免因拓扑差异导致 rank 间无法对齐。 | 39 | - **模型副本同构**:每个 rank 加载同一套模型结构与权重,避免因拓扑差异导致 rank 间无法对齐。 |
| 40 | - **数据分片**:校准集按 rank 划分,前向校准并行执行,从而缩短前向校准的墙钟时间。 | 40 | - **数据分片**:校准集按 rank 划分,前向校准并行执行,从而缩短前向校准的墙钟时间。 |
| 41 | - **状态同步**:对量化所需的激活值的最大值、最小值等统计量进行集合通信,从而使得各 rank 的量化状态与单卡量化达到语义一致。 | 41 | - **状态同步**:对量化所需的激活值的最大值、最小值等统计量进行集合通信,从而使得各 rank 的量化状态与单卡量化达到语义一致。 |
| 42 | 42 | ||
| 43 | -### 3.2 关键性质 | 43 | +#### 2.2.2 关键性质 |
| 44 | 44 | ||
| 45 | - **语义等价性**:在正确地完成集合通信的基础上,多卡量化与单卡量化在语义上等价。 | 45 | - **语义等价性**:在正确地完成集合通信的基础上,多卡量化与单卡量化在语义上等价。 |
| 46 | 46 | ||
| 47 | ---- | 47 | +### 2.3 流程示意 |
| 48 | - | ||
| 49 | -## 4. 流程示意 | ||
| 50 | 48 | ||
| 51 | > 详细适配步骤与案例,请参阅《[数据并行使用指南](data_parallelism_guide.md)》。 | 49 | > 详细适配步骤与案例,请参阅《[数据并行使用指南](data_parallelism_guide.md)》。 |
| 52 | 50 | ||
| @@ -58,39 +56,37 @@ flowchart LR | |||
| 58 | D --> E[一致量化参数写回] | 56 | D --> E[一致量化参数写回] |
| 59 | ``` | 57 | ``` |
| 60 | 58 | ||
| 61 | ---- | ||
| 62 | - | ||
| 63 | <a id="scenarios-and-limitations"></a> | 59 | <a id="scenarios-and-limitations"></a> |
| 64 | 60 | ||
| 65 | -## 5. 适用场景与限制 | 61 | +### 2.4 适用场景与限制 |
| 66 | 62 | ||
| 67 | -### 5.1 适用场景 | 63 | +#### 2.4.1 适用场景 |
| 68 | 64 | ||
| 69 | - 大规模校准集下的多卡 PTQ。 | 65 | - 大规模校准集下的多卡 PTQ。 |
| 70 | 66 | ||
| 71 | -### 5.2 使用限制 | 67 | +#### 2.4.2 使用限制 |
| 72 | 68 | ||
| 73 | - 单卡显存须至少能容纳单层模型权重。 | 69 | - 单卡显存须至少能容纳单层模型权重。 |
| 74 | - 量化中涉及的算法均须已实现分布式支持。 | 70 | - 量化中涉及的算法均须已实现分布式支持。 |
| 75 | 71 | ||
| 76 | --- | 72 | --- |
| 77 | 73 | ||
| 78 | -## 6. 关联流程 | 74 | +## 3. 关联流程 |
| 79 | 75 | ||
| 80 | - 《[数据并行使用指南](data_parallelism_guide.md)》:说明 DP 完备性支持、统计量同步与适配步骤。 | 76 | - 《[数据并行使用指南](data_parallelism_guide.md)》:说明 DP 完备性支持、统计量同步与适配步骤。 |
| 81 | -- 《[一键量化使用说明](../../../user_guide/usage_quick_quantization.md)》:通过 `--device npu --device_id 0 1 2 3 4 5 6 7` 参数传入多个设备索引触发多卡量化。 | 77 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--device npu --device_id 0 1 2 3 4 5 6 7` 参数传入多个设备索引触发多卡量化。 |
| 82 | 78 | ||
| 83 | --- | 79 | --- |
| 84 | 80 | ||
| 85 | <a id="related-terms"></a> | 81 | <a id="related-terms"></a> |
| 86 | 82 | ||
| 87 | -## 7. 关联词条 | 83 | +## 4. 关联词条 |
| 88 | 84 | ||
| 89 | - [专家并行](../expert_parallelism/term_expert_parallelism.md):配套术语,MoE 模型量化场景下与 DP 叠加实现进一步加速并降低显存。 | 85 | - [专家并行](../expert_parallelism/term_expert_parallelism.md):配套术语,MoE 模型量化场景下与 DP 叠加实现进一步加速并降低显存。 |
| 90 | - [分布式任务调度器](../distributed_task_scheduler/term_distributed_task_scheduler.md):后续术语,在 DP 基础上对计算密集型算法的执行进行调度优化以进一步提升量化速度。 | 86 | - [分布式任务调度器](../distributed_task_scheduler/term_distributed_task_scheduler.md):后续术语,在 DP 基础上对计算密集型算法的执行进行调度优化以进一步提升量化速度。 |
| 91 | 87 | ||
| 92 | --- | 88 | --- |
| 93 | 89 | ||
| 94 | -## 8. 参考资料 | 90 | +## 5. 参考资料 |
| 95 | 91 | ||
| 96 | -1. 《[一键量化使用说明](../../../user_guide/usage_quick_quantization.md)》 | 92 | +1. 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》 |
| @@ -159,7 +159,7 @@ for expert in range(expert_start, expert_end): | |||
| 159 | | `resolve_expert_ep_range` / `_get_expert_range` | 本地专家范围解析:单进程返回全量,多进程按 `world_size` 连续分片,不可整除时报错 | [common/utils.py](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/model/common/utils.py) | | 159 | | `resolve_expert_ep_range` / `_get_expert_range` | 本地专家范围解析:单进程返回全量,多进程按 `world_size` 连续分片,不可整除时报错 | [common/utils.py](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/model/common/utils.py) | |
| 160 | | `DistHelper` | 模块拓扑分类:`is_shared` / `is_local_only` / `get_shared_modules_slice` | [dist_helper.py](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/utils/distributed/dist_helper.py) | | 160 | | `DistHelper` | 模块拓扑分类:`is_shared` / `is_local_only` / `get_shared_modules_slice` | [dist_helper.py](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/utils/distributed/dist_helper.py) | |
| 161 | | `DistributedAscendV1Saver` | 分布式保存:`local_only` 独占写出、共享模块分工、rank 0 合并 | [ascendv1_distributed.py](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/core/quant_service/modelslim_v1/save/ascendv1_distributed.py) | | 161 | | `DistributedAscendV1Saver` | 分布式保存:`local_only` 独占写出、共享模块分工、rank 0 合并 | [ascendv1_distributed.py](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/core/quant_service/modelslim_v1/save/ascendv1_distributed.py) | |
| 162 | -| `--device npu --device_id 0 1 ...` | 多卡量化入口(EP 在分布式初始化后生效) | 《[一键量化使用说明](../../../user_guide/usage_quick_quantization.md)》 | | 162 | +| `--device npu --device_id 0 1 ...` | 多卡量化入口(EP 在分布式初始化后生效) | 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》 | |
| 163 | 163 | ||
| 164 | ## 10. 产品形态与资源限制 | 164 | ## 10. 产品形态与资源限制 |
| 165 | 165 | ||
| @@ -22,56 +22,54 @@ | |||
| 22 | 22 | ||
| 23 | --- | 23 | --- |
| 24 | 24 | ||
| 25 | -## 2. 背景与动机 | 25 | +## 2. 词条介绍 |
| 26 | + | ||
| 27 | +### 2.1 背景与动机 | ||
| 26 | 28 | ||
| 27 | MoE 模型通过稀疏激活多个专家,在不显著增加计算量的前提下大幅扩展模型参数规模以增强模型表达能力。若仍按纯 DP 的并行方式在每张卡复制全部专家,则显存容量受到极大挑战。为应对这一问题,EP 对专家进行切分,每个 rank 上仅持有部分专家权重。 | 29 | MoE 模型通过稀疏激活多个专家,在不显著增加计算量的前提下大幅扩展模型参数规模以增强模型表达能力。若仍按纯 DP 的并行方式在每张卡复制全部专家,则显存容量受到极大挑战。为应对这一问题,EP 对专家进行切分,每个 rank 上仅持有部分专家权重。 |
| 28 | 30 | ||
| 29 | ---- | ||
| 30 | - | ||
| 31 | <a id="principle"></a> | 31 | <a id="principle"></a> |
| 32 | 32 | ||
| 33 | -## 3. 原理 | 33 | +### 2.2 原理 |
| 34 | 34 | ||
| 35 | <a id="1-core-idea"></a> | 35 | <a id="1-core-idea"></a> |
| 36 | 36 | ||
| 37 | -### 3.1 核心思想 | 37 | +#### 2.2.1 核心思想 |
| 38 | 38 | ||
| 39 | - **专家分片**:路由专家集合按 rank 进行切分子集,各 rank 仅加载专家子集。 | 39 | - **专家分片**:路由专家集合按 rank 进行切分子集,各 rank 仅加载专家子集。 |
| 40 | - **同步边界**:量化所需的统计量 / 参数的集合通信应以共享模块为边界,对仅有局部 rank 持有的路由专家应避免盲目执行集合通信。 | 40 | - **同步边界**:量化所需的统计量 / 参数的集合通信应以共享模块为边界,对仅有局部 rank 持有的路由专家应避免盲目执行集合通信。 |
| 41 | 41 | ||
| 42 | ---- | ||
| 43 | - | ||
| 44 | <a id="scenarios-and-limitations"></a> | 42 | <a id="scenarios-and-limitations"></a> |
| 45 | 43 | ||
| 46 | -## 4. 适用场景与限制 | 44 | +### 2.3 适用场景与限制 |
| 47 | 45 | ||
| 48 | -### 4.1 适用场景 | 46 | +#### 2.3.1 适用场景 |
| 49 | 47 | ||
| 50 | - MoE 模型的多卡量化。 | 48 | - MoE 模型的多卡量化。 |
| 51 | 49 | ||
| 52 | -### 4.2 使用限制 | 50 | +#### 2.3.2 使用限制 |
| 53 | 51 | ||
| 54 | - 仅适用于 MoE 结构的模型。 | 52 | - 仅适用于 MoE 结构的模型。 |
| 55 | - 使用的卡数(除数)须能整除专家数(被除数)。 | 53 | - 使用的卡数(除数)须能整除专家数(被除数)。 |
| 56 | 54 | ||
| 57 | --- | 55 | --- |
| 58 | 56 | ||
| 59 | -## 5. 关联流程 | 57 | +## 3. 关联流程 |
| 60 | 58 | ||
| 61 | - 《[专家并行使用指南](expert_parallelism_guide.md)》:阐述 EP 下共享 / 局部模块划分及 DistHelper 使用约束。 | 59 | - 《[专家并行使用指南](expert_parallelism_guide.md)》:阐述 EP 下共享 / 局部模块划分及 DistHelper 使用约束。 |
| 62 | -- 《[一键量化使用说明](../../../user_guide/usage_quick_quantization.md)》:多卡量化入口。 | 60 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:多卡量化入口。 |
| 63 | 61 | ||
| 64 | --- | 62 | --- |
| 65 | 63 | ||
| 66 | <a id="related-terms"></a> | 64 | <a id="related-terms"></a> |
| 67 | 65 | ||
| 68 | -## 6. 关联词条 | 66 | +## 4. 关联词条 |
| 69 | 67 | ||
| 70 | - [数据并行](../data_parallelism/term_data_parallelism.md):前置术语,提供校准数据分片与共享模块统计归约的基线范式。 | 68 | - [数据并行](../data_parallelism/term_data_parallelism.md):前置术语,提供校准数据分片与共享模块统计归约的基线范式。 |
| 71 | - [分布式任务调度器](../distributed_task_scheduler/term_distributed_task_scheduler.md):配套术语,提交并行任务时须避开含 local_only 依赖的不安全并行。 | 69 | - [分布式任务调度器](../distributed_task_scheduler/term_distributed_task_scheduler.md):配套术语,提交并行任务时须避开含 local_only 依赖的不安全并行。 |
| 72 | 70 | ||
| 73 | --- | 71 | --- |
| 74 | 72 | ||
| 75 | -## 7. 参考资料 | 73 | +## 5. 参考资料 |
| 76 | 74 | ||
| 77 | 1. 《[专家并行使用指南](expert_parallelism_guide.md)》 | 75 | 1. 《[专家并行使用指南](expert_parallelism_guide.md)》 |
| @@ -117,7 +117,7 @@ spec: | |||
| 117 | 117 | ||
| 118 | - 《[权重转换使用指南](./usage_weight_conversion.md)》:权重转换完整的操作流程、命令说明与详细配置协议。 | 118 | - 《[权重转换使用指南](./usage_weight_conversion.md)》:权重转换完整的操作流程、命令说明与详细配置协议。 |
| 119 | - 《[msmodelslim quant 命令行](../../../api_reference/cli/msmodelslim_quant.md)》:含可复制的权重转换命令。 | 119 | - 《[msmodelslim quant 命令行](../../../api_reference/cli/msmodelslim_quant.md)》:含可复制的权重转换命令。 |
| 120 | -- 《[一键量化完整指南](../../../user_guide/usage_one_click_quantization.md)》:常规一键量化(含校准)的完整流程。 | 120 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:常规一键量化(含校准)的完整流程。 |
| 121 | 121 | ||
| 122 | ## 7. 关联词条 | 122 | ## 7. 关联词条 |
| 123 | 123 | ||
| @@ -129,5 +129,5 @@ spec: | |||
| 129 | ## 8. 参考文档 | 129 | ## 8. 参考文档 |
| 130 | 130 | ||
| 131 | 1. 《[权重转换使用指南](./usage_weight_conversion.md)》:msModelSlim 权重转换详细文档。 | 131 | 1. 《[权重转换使用指南](./usage_weight_conversion.md)》:msModelSlim 权重转换详细文档。 |
| 132 | -2. 《[msModelSlim 一键量化完整指南](../../../user_guide/usage_one_click_quantization.md)》:一键量化总体流程。 | 132 | +2. 《[msModelSlim 一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:一键量化总体流程。 |
| 133 | 3. 《[格式支持矩阵](../../quantization_format/README.md)》:量化格式与存储格式说明。 | 133 | 3. 《[格式支持矩阵](../../quantization_format/README.md)》:量化格式与存储格式说明。 |
| @@ -253,5 +253,5 @@ def enable_kv_cache(self, model: nn.Module, need_kv_cache: bool) -> None: | |||
| 253 | | DiT 量化使用指南 | 标准 DiT 模型量化全流程、配置协议与开箱即用示例 | [《DiT 量化使用指南》](usage_diffusion_transformer_quantization.md) | | 253 | | DiT 量化使用指南 | 标准 DiT 模型量化全流程、配置协议与开箱即用示例 | [《DiT 量化使用指南》](usage_diffusion_transformer_quantization.md) | |
| 254 | | multimodal_sd_modelslim_v1 配置说明 | `process`/`save`/`multimodal_sd_config` 等多模态生成配置字段说明 | [《multimodal_sd_modelslim_v1 配置说明》](../../../api_reference/config/quant/multimodal_sd_modelslim_v1.md) | | 254 | | multimodal_sd_modelslim_v1 配置说明 | `process`/`save`/`multimodal_sd_config` 等多模态生成配置字段说明 | [《multimodal_sd_modelslim_v1 配置说明》](../../../api_reference/config/quant/multimodal_sd_modelslim_v1.md) | |
| 255 | | mindie_format_saver 配置说明 | MindIE-SD 保存格式与多专家落盘说明 | [《mindie_format_saver 配置说明》](../../../api_reference/config/format/mindie_format_saver.md) | | 255 | | mindie_format_saver 配置说明 | MindIE-SD 保存格式与多专家落盘说明 | [《mindie_format_saver 配置说明》](../../../api_reference/config/format/mindie_format_saver.md) | |
| 256 | -| 一键量化完整指南 | 一键量化 CLI 入口与完整命令参数说明 | [《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md) | | 256 | +| 一键量化使用指南 | 一键量化 CLI 入口与完整命令参数说明 | 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》 | |
| 257 | | 量化算法总览 | 微缩浮点、在线旋转与各类量化算法详述 | [《量化算法总览》](../../quantization_algorithms/README.md) | | 257 | | 量化算法总览 | 微缩浮点、在线旋转与各类量化算法详述 | [《量化算法总览》](../../quantization_algorithms/README.md) | |
| @@ -37,7 +37,7 @@ Diffusion Transformer(DiT)使用 Transformer 结构完全替代传统扩散 | |||
| 37 | 37 | ||
| 38 | - [《多模态生成模型(DiT)量化使用指南》](./usage_diffusion_transformer_quantization.md):DiT 量化完整的操作流程与命令说明。 | 38 | - [《多模态生成模型(DiT)量化使用指南》](./usage_diffusion_transformer_quantization.md):DiT 量化完整的操作流程与命令说明。 |
| 39 | - [《DiT 模型接入量化流程指南》](./integration_guide_diffusion_transformer_quantization.md):将新扩散生成模型接入量化流程的指导文档。 | 39 | - [《DiT 模型接入量化流程指南》](./integration_guide_diffusion_transformer_quantization.md):将新扩散生成模型接入量化流程的指导文档。 |
| 40 | -- [《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md):涵盖各类生成模型的一键量化流程。 | 40 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:涵盖各类生成模型的一键量化流程。 |
| 41 | 41 | ||
| 42 | --- | 42 | --- |
| 43 | 43 | ||
| @@ -11,7 +11,7 @@ | |||
| 11 | - 图像编辑模型(Qwen-Image-Edit 等)的量化部署; | 11 | - 图像编辑模型(Qwen-Image-Edit 等)的量化部署; |
| 12 | - 为基于昇腾 NPU 的 MindIE-SD 等推理引擎准备量化权重。 | 12 | - 为基于昇腾 NPU 的 MindIE-SD 等推理引擎准备量化权重。 |
| 13 | 13 | ||
| 14 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 14 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 15 | 15 | ||
| 16 | ## 2. 输入和交付件 | 16 | ## 2. 输入和交付件 |
| 17 | 17 | ||
| @@ -284,7 +284,7 @@ msmodelslim quant \ | |||
| 284 | 284 | ||
| 285 | | 接口或能力 | 简述 | 链接 | | 285 | | 接口或能力 | 简述 | 链接 | |
| 286 | | --- | --- | --- | | 286 | | --- | --- | --- | |
| 287 | -| `msmodelslim quant` | 一键量化 CLI 入口与完整命令说明 | [《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md) | | 287 | +| `msmodelslim quant` | 一键量化 CLI 入口与完整命令说明 | 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》 | |
| 288 | | multimodal_sd_modelslim_v1 配置说明 | `runner`/`process`/`per_expert`/`save`/`dataset`/`multimodal_sd_config` 等任务级配置的字段说明 | [《multimodal_sd_modelslim_v1 配置说明》](../../../api_reference/config/quant/multimodal_sd_modelslim_v1.md) | | 288 | | multimodal_sd_modelslim_v1 配置说明 | `runner`/`process`/`per_expert`/`save`/`dataset`/`multimodal_sd_config` 等任务级配置的字段说明 | [《multimodal_sd_modelslim_v1 配置说明》](../../../api_reference/config/quant/multimodal_sd_modelslim_v1.md) | |
| 289 | | linear_quant 配置说明 | `linear_quant` 处理器及其 `qconfig` 各字段的完整取值说明 | [《linear_quant 配置说明》](../../../api_reference/config/processor/linear_quant.md) | | 289 | | linear_quant 配置说明 | `linear_quant` 处理器及其 `qconfig` 各字段的完整取值说明 | [《linear_quant 配置说明》](../../../api_reference/config/processor/linear_quant.md) | |
| 290 | | 多模态生成模型接入 | DiT 模型接入与适配器开发 | [《多模态生成模型接入》](./integration_guide_diffusion_transformer_quantization.md) | | 290 | | 多模态生成模型接入 | DiT 模型接入与适配器开发 | [《多模态生成模型接入》](./integration_guide_diffusion_transformer_quantization.md) | |
| @@ -226,6 +226,6 @@ def enable_kv_cache(self, model: nn.Module, need_kv_cache: bool) -> None | |||
| 226 | | Interface Hub | 量化机制与算法组件对模型所需接口的集中定义与汇总 | [《Interface Hub》](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/model/interface_hub.py) | | 226 | | Interface Hub | 量化机制与算法组件对模型所需接口的集中定义与汇总 | [《Interface Hub》](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/model/interface_hub.py) | |
| 227 | | LLM 量化使用指南 | 标准 LLM 量化全流程、配置协议与开箱即用示例 | [《LLM 量化使用指南》](usage_large_language_model_quantization.md) | | 227 | | LLM 量化使用指南 | 标准 LLM 量化全流程、配置协议与开箱即用示例 | [《LLM 量化使用指南》](usage_large_language_model_quantization.md) | |
| 228 | | modelslim_v1 配置说明 | `runner`/`process`/`save`/`dataset` 等任务级配置的字段说明 | [《modelslim_v1 配置说明》](../../../api_reference/config/quant/modelslim_v1.md) | | 228 | | modelslim_v1 配置说明 | `runner`/`process`/`save`/`dataset` 等任务级配置的字段说明 | [《modelslim_v1 配置说明》](../../../api_reference/config/quant/modelslim_v1.md) | |
| 229 | -| 一键量化完整指南 | 一键量化 CLI 入口与完整命令参数说明 | [《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md) | | 229 | +| 一键量化使用指南 | 一键量化 CLI 入口与完整命令参数说明 | 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》 | |
| 230 | | 自动调优使用说明 | 敏感层分析、回退候选及调优策略说明 | [《自动调优使用说明》](../../../user_guide/usage_auto_precision_tuning.md) | | 230 | | 自动调优使用说明 | 敏感层分析、回退候选及调优策略说明 | [《自动调优使用说明》](../../../user_guide/usage_auto_precision_tuning.md) | |
| 231 | | 量化算法总览 | 离群值平滑抑制与各类量化算法详述 | [《量化算法总览》](../../quantization_algorithms/README.md) | | 231 | | 量化算法总览 | 离群值平滑抑制与各类量化算法详述 | [《量化算法总览》](../../quantization_algorithms/README.md) | |
| @@ -38,7 +38,7 @@ | |||
| 38 | 38 | ||
| 39 | - [《LLM 量化使用指南》](./usage_large_language_model_quantization.md):LLM 量化的完整操作流程。 | 39 | - [《LLM 量化使用指南》](./usage_large_language_model_quantization.md):LLM 量化的完整操作流程。 |
| 40 | - [《LLM 模型接入量化流程指南》](./integration_guide_large_language_model_quantization.md):将新语言模型接入量化流程的开发指导。 | 40 | - [《LLM 模型接入量化流程指南》](./integration_guide_large_language_model_quantization.md):将新语言模型接入量化流程的开发指导。 |
| 41 | -- [《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md):涵盖各类模型的一键量化流程。 | 41 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:涵盖各类模型的一键量化流程。 |
| 42 | 42 | ||
| 43 | --- | 43 | --- |
| 44 | 44 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - 将浮点 LLM 权重高效量化为 W8/W4 等低比特格式并导出; | 9 | - 将浮点 LLM 权重高效量化为 W8/W4 等低比特格式并导出; |
| 10 | - 为在线推理服务(如基于昇腾 NPU 的 MindIE 或 vLLM-Ascend)准备部署权重。 | 10 | - 为在线推理服务(如基于昇腾 NPU 的 MindIE 或 vLLM-Ascend)准备部署权重。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -155,6 +155,39 @@ flowchart LR | |||
| 155 | - **推荐默认填写 `runner: auto`**:兼顾单卡稳定性与多卡自动并行加速。 | 155 | - **推荐默认填写 `runner: auto`**:兼顾单卡稳定性与多卡自动并行加速。 |
| 156 | - **大规模校准提速**:当校准集较大或希望缩短耗时,在命令行传入多卡(如 `--device npu --device_id 0 1 2 3`),配合 `auto` 即可自动启用多卡并行。 | 156 | - **大规模校准提速**:当校准集较大或希望缩短耗时,在命令行传入多卡(如 `--device npu --device_id 0 1 2 3`),配合 `auto` 即可自动启用多卡并行。 |
| 157 | 157 | ||
| 158 | +3. **调度器选型对照**: | ||
| 159 | + | ||
| 160 | + | 可选值 | 说明 | 适用场景 | 特点 | | ||
| 161 | + |--------|------|----------|------| | ||
| 162 | + | auto | 工具自动选择 | 大多数场景 | 根据模型大小、可用内存、设备配置自动选择最优策略 | | ||
| 163 | + | layer_wise | 逐层量化 | 大模型(≥32B) | 内存占用低,可能需要适配 | | ||
| 164 | + | dp_layer_wise | 分布式逐层量化 | 大模型(≥32B)多卡场景 | 多设备并行,显著提升量化效率 | | ||
| 165 | + | model_wise | 非逐层量化 | 小模型(<32B) | 内存占用较高,兼容性好 | | ||
| 166 | + | ||
| 167 | + **适用场景**: | ||
| 168 | + | ||
| 169 | + | 场景类型 | 场景描述 | 推荐方案 | 说明 | | ||
| 170 | + |----------|----------|----------|------| | ||
| 171 | + | 大模型量化 | 32B 及以上规模的模型 | 逐层量化 | 内存优势明显 | | ||
| 172 | + | 内存受限环境 | NPU 内存不足以加载整网 | 逐层量化 | 大幅降低内存需求 | | ||
| 173 | + | 追求量化速度 | 超大模型或大规模校准集 | 分布式逐层量化 | 多卡并行显著加速 | | ||
| 174 | + | ||
| 175 | + **工作原理与优势对比**: | ||
| 176 | + | ||
| 177 | + | 特性 | 传统量化 (Model-wise) | 逐层量化 (单卡) | 分布式逐层量化 (多卡 DP) | | ||
| 178 | + |----------|----------|----------|----------| | ||
| 179 | + | **处理方式** | 模型级整网处理 | 单设备分层顺序处理 | 多设备并行分层处理 | | ||
| 180 | + | **内存占用** | 模型大小的 2-3 倍 | **单层大小的 2-3 倍** | **单层大小的 2-3 倍** | | ||
| 181 | + | **量化效率** | 快 (针对小模型) | 较慢 (针对大模型) | **显著提升 (多卡并行)** | | ||
| 182 | + | **适用模型** | 小模型 (<32B) | 大模型 (≥32B) | 超大模型或大规模校准集 | | ||
| 183 | + | ||
| 184 | + **选型建议**: | ||
| 185 | + | ||
| 186 | + - **auto**:适用于大多数场景,工具会自动根据模型大小、可用内存、设备配置选择最优策略。 | ||
| 187 | + - **layer_wise**:适用于 32B 及以上规模的模型、内存受限环境。当模型规模 > 32B、NPU 内存不足或量化过程中出现内存溢出错误时,建议使用逐层量化。 | ||
| 188 | + - **dp_layer_wise**:适用于超大模型或大规模校准集的多卡场景。 | ||
| 189 | + - **model_wise**:适用于小模型(<32B),兼容性最好。 | ||
| 190 | + | ||
| 158 | **输出**:YAML 中确认的 `runner` 调度策略。 | 191 | **输出**:YAML 中确认的 `runner` 调度策略。 |
| 159 | 192 | ||
| 160 | ### 步骤 6:编写量化配置并执行命令 | 193 | ### 步骤 6:编写量化配置并执行命令 |
| @@ -254,5 +287,5 @@ msmodelslim quant \ | |||
| 254 | 287 | ||
| 255 | | 接口或能力 | 简述 | 链接 | | 288 | | 接口或能力 | 简述 | 链接 | |
| 256 | | --- | --- | --- | | 289 | | --- | --- | --- | |
| 257 | -| `msmodelslim quant` | 一键量化 CLI 入口与完整命令说明 | [《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md) | | 290 | +| `msmodelslim quant` | 一键量化 CLI 入口与完整命令说明 | 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》 | |
| 258 | | modelslim_v1 配置说明 | `runner`/`process`/`save`/`dataset` 等任务级配置的字段说明 | [《modelslim_v1 配置说明》](../../../api_reference/config/quant/modelslim_v1.md) | | 291 | | modelslim_v1 配置说明 | `runner`/`process`/`save`/`dataset` 等任务级配置的字段说明 | [《modelslim_v1 配置说明》](../../../api_reference/config/quant/modelslim_v1.md) | |
| @@ -49,7 +49,7 @@ PTQ 的核心思想是通过离线统计校准集前向传播中的张量极值 | |||
| 49 | - [《多模态理解模型(VLM)量化使用指南》](./vlm/usage_vision_transformer_quantization.md):VLM 量化的完整操作流程。 | 49 | - [《多模态理解模型(VLM)量化使用指南》](./vlm/usage_vision_transformer_quantization.md):VLM 量化的完整操作流程。 |
| 50 | - [《多模态生成模型(DiT)量化使用指南》](./dit/usage_diffusion_transformer_quantization.md):DiT 量化的完整操作流程。 | 50 | - [《多模态生成模型(DiT)量化使用指南》](./dit/usage_diffusion_transformer_quantization.md):DiT 量化的完整操作流程。 |
| 51 | - [《权重转换使用指南》](./convert/usage_weight_conversion.md):权重转换的完整操作流程。 | 51 | - [《权重转换使用指南》](./convert/usage_weight_conversion.md):权重转换的完整操作流程。 |
| 52 | -- [《一键量化完整指南》](../../user_guide/usage_one_click_quantization.md):涵盖各类模型的一键量化总体流程。 | 52 | +- 《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》:涵盖各类模型的一键量化总体流程。 |
| 53 | 53 | ||
| 54 | --- | 54 | --- |
| 55 | 55 | ||
| @@ -234,5 +234,5 @@ def enable_kv_cache(self, model: nn.Module, need_kv_cache: bool) -> None: | |||
| 234 | | Interface Hub | 量化机制与算法组件对模型所需接口的集中定义与汇总 | [《Interface Hub》](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/model/interface_hub.py) | | 234 | | Interface Hub | 量化机制与算法组件对模型所需接口的集中定义与汇总 | [《Interface Hub》](https://gitcode.com/Ascend/msmodelslim/blob/master/msmodelslim/model/interface_hub.py) | |
| 235 | | VLM 量化使用指南 | 标准多模态理解模型量化全流程、配置协议与开箱即用示例 | [《VLM 量化使用指南》](usage_vision_transformer_quantization.md) | | 235 | | VLM 量化使用指南 | 标准多模态理解模型量化全流程、配置协议与开箱即用示例 | [《VLM 量化使用指南》](usage_vision_transformer_quantization.md) | |
| 236 | | multimodal_vlm_modelslim_v1 配置说明 | `process`/`save`/`dataset` 等多模态理解配置的字段说明 | [《multimodal_vlm_modelslim_v1 配置说明》](../../../api_reference/config/quant/multimodal_vlm_modelslim_v1.md) | | 236 | | multimodal_vlm_modelslim_v1 配置说明 | `process`/`save`/`dataset` 等多模态理解配置的字段说明 | [《multimodal_vlm_modelslim_v1 配置说明》](../../../api_reference/config/quant/multimodal_vlm_modelslim_v1.md) | |
| 237 | -| 一键量化完整指南 | 一键量化 CLI 入口与完整命令参数说明 | [《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md) | | 237 | +| 一键量化使用指南 | 一键量化 CLI 入口与完整命令参数说明 | 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》 | |
| 238 | | 量化算法总览 | 离群值平滑抑制与各类量化算法详述 | [《量化算法总览》](../../quantization_algorithms/README.md) | | 238 | | 量化算法总览 | 离群值平滑抑制与各类量化算法详述 | [《量化算法总览》](../../quantization_algorithms/README.md) | |
| @@ -38,7 +38,7 @@ | |||
| 38 | 38 | ||
| 39 | - [《多模态理解模型(VLM)量化使用指南》](./usage_vision_transformer_quantization.md):VLM 量化的完整操作流程。 | 39 | - [《多模态理解模型(VLM)量化使用指南》](./usage_vision_transformer_quantization.md):VLM 量化的完整操作流程。 |
| 40 | - [《VLM 模型接入量化流程指南》](./integration_guide_vision_transformer_quantization.md):将新视觉语言模型接入量化流程的开发指导。 | 40 | - [《VLM 模型接入量化流程指南》](./integration_guide_vision_transformer_quantization.md):将新视觉语言模型接入量化流程的开发指导。 |
| 41 | -- [《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md):涵盖各类模型的一键量化流程。 | 41 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:涵盖各类模型的一键量化流程。 |
| 42 | 42 | ||
| 43 | --- | 43 | --- |
| 44 | 44 | ||
| @@ -10,7 +10,7 @@ | |||
| 10 | - 对 MoE 架构多模态模型执行混合量化(Dense 层静态量化 + Expert 层动态量化); | 10 | - 对 MoE 架构多模态模型执行混合量化(Dense 层静态量化 + Expert 层动态量化); |
| 11 | - 为多模态在线推理服务(如基于昇腾 NPU 的 MindIE 或 vLLM-Ascend)准备部署权重。 | 11 | - 为多模态在线推理服务(如基于昇腾 NPU 的 MindIE 或 vLLM-Ascend)准备部署权重。 |
| 12 | 12 | ||
| 13 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 13 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 14 | 14 | ||
| 15 | ## 2. 输入和交付件 | 15 | ## 2. 输入和交付件 |
| 16 | 16 | ||
| @@ -86,6 +86,84 @@ flowchart LR | |||
| 86 | 86 | ||
| 87 | **输出**:在 YAML 中确认的 `dataset` 与 `default_text` 配置。 | 87 | **输出**:在 YAML 中确认的 `dataset` 与 `default_text` 配置。 |
| 88 | 88 | ||
| 89 | +#### <span id="dataset---校准数据路径配置">校准数据路径配置(参考)</span> | ||
| 90 | + | ||
| 91 | +`dataset` 可配置为**短名称**(在 lab_calib 等 dataset_dir 下查找)、**绝对路径**或**相对路径**,支持以下三种使用方式。 | ||
| 92 | + | ||
| 93 | +**方式一:index.json / index.jsonl(推荐)** | ||
| 94 | + | ||
| 95 | +指向 **index.json** 或 **index.jsonl** 文件,或指向**仅包含一个 index.json 或 index.jsonl** 的目录。支持多模态(图像、音频、视频),格式规范,后续功能会在此方式上演进。 | ||
| 96 | + | ||
| 97 | +- 每条为 JSON 对象,**至少包含 `text`**(非空字符串);缺省时使用配置中的 `default_text`。 | ||
| 98 | +- 可选字段(若提供则路径必须存在):`image`(.jpg/.jpeg/.png)、`audio`(.wav/.mp3)、`video`(.mp4);路径相对 index 文件所在目录。 | ||
| 99 | + | ||
| 100 | +目录示例: | ||
| 101 | + | ||
| 102 | +```text | ||
| 103 | +calib_dir/ | ||
| 104 | +├── index.jsonl | ||
| 105 | +├── img1.jpg | ||
| 106 | +├── img2.png | ||
| 107 | +└── a.wav | ||
| 108 | +``` | ||
| 109 | + | ||
| 110 | +index.jsonl 示例: | ||
| 111 | + | ||
| 112 | +```json | ||
| 113 | +{"image": "img1.jpg", "text": "Describe this image."} | ||
| 114 | +{"image": "img2.jpg", "audio": "a.wav", "text": "What is in this picture?"} | ||
| 115 | +``` | ||
| 116 | + | ||
| 117 | +配置示例:`dataset: "/path/to/calib_dir"` 或 `dataset: "/path/to/index.jsonl"` 或短名称解析到上述路径。 | ||
| 118 | + | ||
| 119 | +**方式二:纯图像目录** | ||
| 120 | + | ||
| 121 | +目录内仅包含图像文件,无 .json/.jsonl。所有图像使用配置中的 `default_text` 作为统一文本 prompt。 | ||
| 122 | + | ||
| 123 | +**说明**:此方式后续不再演进,新场景请使用方式一。 | ||
| 124 | + | ||
| 125 | +目录示例: | ||
| 126 | + | ||
| 127 | +```text | ||
| 128 | +calibImages/ | ||
| 129 | +├── img1.jpg | ||
| 130 | +├── img2.png | ||
| 131 | +└── img3.jpeg | ||
| 132 | +``` | ||
| 133 | + | ||
| 134 | +配置示例: | ||
| 135 | + | ||
| 136 | +```yaml | ||
| 137 | +spec: | ||
| 138 | + dataset: "calibImages" # 或绝对/相对路径 | ||
| 139 | + default_text: "Describe this image in detail." | ||
| 140 | +``` | ||
| 141 | + | ||
| 142 | +**方式三:图像目录 + 单个 .json/.jsonl(任意文件名)** | ||
| 143 | + | ||
| 144 | +目录内包含图像及**一个**任意文件名的 .json 或 .jsonl 文件(文件名不为 index.json/index.jsonl),用于为每张图指定自定义文本。仅支持图像字段,不支持 audio/video。 | ||
| 145 | + | ||
| 146 | +**说明**:此方式后续不再演进,新场景请使用方式一。 | ||
| 147 | + | ||
| 148 | +目录示例: | ||
| 149 | + | ||
| 150 | +```text | ||
| 151 | +calibImages/ | ||
| 152 | +├── img1.jpg | ||
| 153 | +├── img2.png | ||
| 154 | +├── img3.jpeg | ||
| 155 | +└── calib_data.jsonl | ||
| 156 | +``` | ||
| 157 | + | ||
| 158 | +calib_data.jsonl 示例: | ||
| 159 | + | ||
| 160 | +```json | ||
| 161 | +{"image": "img1.jpg", "text": "What objects are in this image?"} | ||
| 162 | +{"image": "img2.png", "text": "Describe the scene."} | ||
| 163 | +``` | ||
| 164 | + | ||
| 165 | +配置示例:`dataset: "calibImages"` 或对应路径。 | ||
| 166 | + | ||
| 89 | ### 步骤 3:选择权重保存格式 | 167 | ### 步骤 3:选择权重保存格式 |
| 90 | 168 | ||
| 91 | **目标**:根据下游推理部署框架的要求,选择匹配的量化权重导出格式。 | 169 | **目标**:根据下游推理部署框架的要求,选择匹配的量化权重导出格式。 |
| @@ -225,5 +303,5 @@ msmodelslim quant \ | |||
| 225 | 303 | ||
| 226 | | 接口或能力 | 简述 | 链接 | | 304 | | 接口或能力 | 简述 | 链接 | |
| 227 | | --- | --- | --- | | 305 | | --- | --- | --- | |
| 228 | -| `msmodelslim quant` | 一键量化 CLI 入口与完整命令说明 | [《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md) | | 306 | +| `msmodelslim quant` | 一键量化 CLI 入口与完整命令说明 | 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》 | |
| 229 | | multimodal_vlm_modelslim_v1 配置说明 | `runner`/`process`/`save`/`dataset`/`default_text` 等任务级配置的字段说明 | [《multimodal_vlm_modelslim_v1 配置说明》](../../../api_reference/config/quant/multimodal_vlm_modelslim_v1.md) | | 307 | | multimodal_vlm_modelslim_v1 配置说明 | `runner`/`process`/`save`/`dataset`/`default_text` 等任务级配置的字段说明 | [《multimodal_vlm_modelslim_v1 配置说明》](../../../api_reference/config/quant/multimodal_vlm_modelslim_v1.md) | |
| @@ -69,7 +69,7 @@ msModelSlim 支持多种先进的量化算法,涵盖了从离群值抑制到 | |||
| 69 | 69 | ||
| 70 | ## 5. 算法选择建议 | 70 | ## 5. 算法选择建议 |
| 71 | 71 | ||
| 72 | -初学者可优先使用《[一键量化 (V1)](../../user_guide/usage_quick_quantization.md)》,自动集成已验证的算法组合。需要自动搜索配置时,参见《[自动调优策略总览](../tuning_strategies/README.md)》。实践配置亦可参考 `lab_practice/` 下对应 YAML。 | 72 | +初学者可优先使用《[一键量化 (V1)](../../user_guide/usage_one_click_quantization.md)》,自动集成已验证的算法组合。需要自动搜索配置时,参见《[自动调优策略总览](../tuning_strategies/README.md)》。实践配置亦可参考 `lab_practice/` 下对应 YAML。 |
| 73 | 73 | ||
| 74 | ### 5.1 量化算法 | 74 | ### 5.1 量化算法 |
| 75 | 75 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - 低比特(如 W4A4、W8A8 等)量化精度要求极高,基础正交旋转难以完全消除激活长尾离群; | 9 | - 低比特(如 W4A4、W8A8 等)量化精度要求极高,基础正交旋转难以完全消除激活长尾离群; |
| 10 | - 需要基于校准样本学习更优的正交旋转变换,使激活与权重分布更加均匀。 | 10 | - 需要基于校准样本学习更优的正交旋转变换,使激活与权重分布更加均匀。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - Attention 结构参与权重量化前,需要定位输出漂移更大的 Attention 模块,形成回退或重点保护候选集合; | 9 | - Attention 结构参与权重量化前,需要定位输出漂移更大的 Attention 模块,形成回退或重点保护候选集合; |
| 10 | - 需要以 Attention 子系统实际输出误差复核权重类指标(如 `std`)的敏感度结论。 | 10 | - 需要以 Attention 子系统实际输出误差复核权重类指标(如 `std`)的敏感度结论。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - W4 等低比特权重量化精度不达标,需要通过可学习舍入与 MinMax 联合优化提升精度; | 9 | - W4 等低比特权重量化精度不达标,需要通过可学习舍入与 MinMax 联合优化提升精度; |
| 10 | - 需要按模块混合位宽部署(如大部分模块 W8A8、敏感投影层 W4A4),并通过统一优化流程求解。 | 10 | - 需要按模块混合位宽部署(如大部分模块 W8A8、敏感投影层 W4A4),并通过统一优化流程求解。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - 激活分布存在显著离群通道,直接进行低比特量化时精度下降,且难以手工确定平滑强度; | 9 | - 激活分布存在显著离群通道,直接进行低比特量化时精度下降,且难以手工确定平滑强度; |
| 10 | - 模型具有 `norm-linear`、`linear-linear`、`ov`、`up-down` 等平滑结构,希望通过自动搜索获得最优 `alpha`/`beta` 组合。 | 10 | - 模型具有 `norm-linear`、`linear-linear`、`ov`、`up-down` 等平滑结构,希望通过自动搜索获得最优 `alpha`/`beta` 组合。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - 需要在 mxFP4 权重量化场景下逐块比较 Scale-to-4 与 Scale-to-6,按重构 MSE 选择误差更小的方案; | 9 | - 需要在 mxFP4 权重量化场景下逐块比较 Scale-to-4 与 Scale-to-6,按重构 MSE 选择误差更小的方案; |
| 10 | - 需要在使用 MXFP4 per-block 布局约束的同时,提升低比特权重量化精度。 | 10 | - 需要在使用 MXFP4 per-block 布局约束的同时,提升低比特权重量化精度。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - 需要在 W8/W4 等权重量化场景下利用 Hessian 二阶信息补偿逐列量化误差; | 9 | - 需要在 W8/W4 等权重量化场景下利用 Hessian 二阶信息补偿逐列量化误差; |
| 10 | - 需要在保留 per-channel/per-group 灵活粒度的同时,通过阻尼与分块参数稳定量化过程。 | 10 | - 需要在保留 per-channel/per-group 灵活粒度的同时,通过阻尼与分块参数稳定量化过程。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - 激活分布存在长尾或离群值,直接 MinMax 量化时主体区间分辨率不足; | 9 | - 激活分布存在长尾或离群值,直接 MinMax 量化时主体区间分辨率不足; |
| 10 | - 需要为静态激活量化选择自动裁剪区间的参数估计方法。 | 10 | - 需要为静态激活量化选择自动裁剪区间的参数估计方法。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - 激活分布存在显著离群通道,直接进行 W8A8 量化时精度下降; | 9 | - 激活分布存在显著离群通道,直接进行 W8A8 量化时精度下降; |
| 10 | - 模型具有 `norm-linear`、`linear-linear`、`ov`、`up-down` 等平滑结构,可通过迭代更新平滑尺度将激活动态范围迁移到权重。 | 10 | - 模型具有 `norm-linear`、`linear-linear`、`ov`、`up-down` 等平滑结构,可通过迭代更新平滑尺度将激活动态范围迁移到权重。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -11,7 +11,7 @@ | |||
| 11 | 11 | ||
| 12 | 如果目标是直接生成量化权重而不是筛选敏感对象,本指南不能替代正式量化流程;分析分数也不应被当作无需验证的硬回退阈值。 | 12 | 如果目标是直接生成量化权重而不是筛选敏感对象,本指南不能替代正式量化流程;分析分数也不应被当作无需验证的硬回退阈值。 |
| 13 | 13 | ||
| 14 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 14 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 15 | 15 | ||
| 16 | ## 2. 输入和交付件 | 16 | ## 2. 输入和交付件 |
| 17 | 17 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - KV Cache 量化后精度下降,Key 通道存在显著离群值,动态范围过大; | 9 | - KV Cache 量化后精度下降,Key 通道存在显著离群值,动态范围过大; |
| 10 | - 需要将 Key 的动态范围压力重新分配到 Query 侧,使 KV Cache 更容易被低比特表示。 | 10 | - 需要将 Key 的动态范围压力重新分配到 Query 侧,使 KV Cache 更容易被低比特表示。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - 长序列推理中 KV Cache 显存占用成为瓶颈,需要将 K/V 状态从浮点降为 INT8; | 9 | - 长序列推理中 KV Cache 显存占用成为瓶颈,需要将 K/V 状态从浮点降为 INT8; |
| 10 | - 需要按通道统计 K/V 范围并保留 per-channel 量化粒度,以适配部署端的缓存量化算子。 | 10 | - 需要按通道统计 K/V 范围并保留 per-channel 量化粒度,以适配部署端的缓存量化算子。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - W4A4 等超低比特量化精度不达标,需要通过数据驱动旋转优化打散激活离群通道; | 9 | - W4A4 等超低比特量化精度不达标,需要通过数据驱动旋转优化打散激活离群通道; |
| 10 | - 需要在超低比特下通过混合精度策略(W8A8 保护范围 + W4A4 压缩范围)平衡压缩率与精度。 | 10 | - 需要在超低比特下通过混合精度策略(W8A8 保护范围 + W4A4 压缩范围)平衡压缩率与精度。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - 需要对模型线性层权重与激活执行基础量化,建立可比较的量化基线; | 9 | - 需要对模型线性层权重与激活执行基础量化,建立可比较的量化基线; |
| 10 | - 需要在基线之上通过调整激活/权重的位宽、粒度与参数估计算法定位精度或压缩率收益。 | 10 | - 需要在基线之上通过调整激活/权重的位宽、粒度与参数估计算法定位精度或压缩率收益。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - 需要为 `linear_quant` 的激活值或权重量化选择一个简单、稳定、可解释的参数估计算法; | 9 | - 需要为 `linear_quant` 的激活值或权重量化选择一个简单、稳定、可解释的参数估计算法; |
| 10 | - 需要在常规量化场景下以最少的配置变量建立可比较的量化基线。 | 10 | - 需要在常规量化场景下以最少的配置变量建立可比较的量化基线。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -11,7 +11,7 @@ | |||
| 11 | 11 | ||
| 12 | 如果目标是直接生成量化权重而不是筛选敏感对象,本指南不能替代正式量化流程;分析分数也不应被当作无需验证的硬回退阈值。 | 12 | 如果目标是直接生成量化权重而不是筛选敏感对象,本指南不能替代正式量化流程;分析分数也不应被当作无需验证的硬回退阈值。 |
| 13 | 13 | ||
| 14 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 14 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 15 | 15 | ||
| 16 | ## 2. 输入和交付件 | 16 | ## 2. 输入和交付件 |
| 17 | 17 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - W8/W4 等低比特量化前,需要从端到端输出误差视角定位敏感层,形成回退或混合精度候选集合; | 9 | - W8/W4 等低比特量化前,需要从端到端输出误差视角定位敏感层,形成回退或混合精度候选集合; |
| 10 | - layer-wise 等局部指标排序不稳定,需要以模型最终输出 MSE 复核敏感层结论。 | 10 | - layer-wise 等局部指标排序不稳定,需要以模型最终输出 MSE 复核敏感层结论。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - MXFP8 权重量化精度不达标,需要通过逐 block 舍入选择降低重构误差; | 9 | - MXFP8 权重量化精度不达标,需要通过逐 block 舍入选择降低重构误差; |
| 10 | - 目标部署后端明确支持 MXFP8 per-block 权重格式,且需要更优的 shared exponent 舍入策略。 | 10 | - 目标部署后端明确支持 MXFP8 per-block 权重格式,且需要更优的 shared exponent 舍入策略。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -14,7 +14,7 @@ | |||
| 14 | - 目标模型结构无法提供可融合子图且默认 hook 探测也不适用; | 14 | - 目标模型结构无法提供可融合子图且默认 hook 探测也不适用; |
| 15 | - 当前只需一次标定量化、无需离群抑制。 | 15 | - 当前只需一次标定量化、无需离群抑制。 |
| 16 | 16 | ||
| 17 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 17 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 18 | 18 | ||
| 19 | ## 2. 输入和交付件 | 19 | ## 2. 输入和交付件 |
| 20 | 20 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - Prefill 精度与 Decode 性能需要兼顾,希望 Prefill 使用 per-token 动态量化、Decode 使用 per-tensor 静态量化; | 9 | - Prefill 精度与 Decode 性能需要兼顾,希望 Prefill 使用 per-token 动态量化、Decode 使用 per-tensor 静态量化; |
| 10 | - 目标部署链支持 PDMIX 的阶段间混合激活量化组合,需要建立 W8A8C8 类量化基线。 | 10 | - 目标部署链支持 PDMIX 的阶段间混合激活量化组合,需要建立 W8A8C8 类量化基线。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - 需要在线性层粒度上筛选“极值相对主体区间异常”的敏感层,作为回退、提位宽或重点保护的候选; | 9 | - 需要在线性层粒度上筛选“极值相对主体区间异常”的敏感层,作为回退、提位宽或重点保护的候选; |
| 10 | - 需要一个对极值稳健、不依赖量化损失近似计算的快速敏感度代理指标。 | 10 | - 需要一个对极值稳健、不依赖量化损失近似计算的快速敏感度代理指标。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - W8/W4 等低比特量化精度不达标,需要通过正交旋转打散激活离群通道; | 9 | - W8/W4 等低比特量化精度不达标,需要通过正交旋转打散激活离群通道; |
| 10 | - 需要在不改变模型前向输出的前提下,使激活与权重分布更加均匀。 | 10 | - 需要在不改变模型前向输出的前提下,使激活与权重分布更加均匀。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -14,7 +14,7 @@ | |||
| 14 | - **多模态理解模型(VLM)** 与 **多模态生成模型**(文生图 / 文生视频等):`ra_compress` / `analyze attn_head` 当前仅支持大语言模型(LLM); | 14 | - **多模态理解模型(VLM)** 与 **多模态生成模型**(文生图 / 文生视频等):`ra_compress` / `analyze attn_head` 当前仅支持大语言模型(LLM); |
| 15 | - 目标 `model_type` 的适配器既未实现 `RaCompressAnalysisInterface`,Q/K 投影层命名也不符合默认模式(`q_proj` / `k_proj` / `qkv_proj`)。 | 15 | - 目标 `model_type` 的适配器既未实现 `RaCompressAnalysisInterface`,Q/K 投影层命名也不符合默认模式(`q_proj` / `k_proj` / `qkv_proj`)。 |
| 16 | 16 | ||
| 17 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 17 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 18 | 18 | ||
| 19 | ## 2. 输入和交付件 | 19 | ## 2. 输入和交付件 |
| 20 | 20 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - 激活分布存在显著离群通道(outliers),导致直接进行 W8A8 量化时精度下降; | 9 | - 激活分布存在显著离群通道(outliers),导致直接进行 W8A8 量化时精度下降; |
| 10 | - 模型具有标准的 `Norm-Linear` 结构(如 LayerNorm/RMSNorm 后接 Linear),可通过数学等价变换将激活动态范围迁移到权重。 | 10 | - 模型具有标准的 `Norm-Linear` 结构(如 LayerNorm/RMSNorm 后接 Linear),可通过数学等价变换将激活动态范围迁移到权重。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - W4 等低比特权重量化精度不达标,需要迭代搜索更优量化尺度; | 9 | - W4 等低比特权重量化精度不达标,需要迭代搜索更优量化尺度; |
| 10 | - 需要在 `linear_quant` 流水线中替换权重量化方法,以最小改动验证低比特量化收益。 | 10 | - 需要在 `linear_quant` 流水线中替换权重量化方法,以最小改动验证低比特量化收益。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -9,7 +9,7 @@ | |||
| 9 | - 需要以低成本快速扫描全模型线性层,得到粗粒度敏感度排序作为后续验证的起点; | 9 | - 需要以低成本快速扫描全模型线性层,得到粗粒度敏感度排序作为后续验证的起点; |
| 10 | - 需要一个仅依赖激活分布、不需要量化模拟即可解释的敏感度代理指标。 | 10 | - 需要一个仅依赖激活分布、不需要量化模拟即可解释的敏感度代理指标。 |
| 11 | 11 | ||
| 12 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 12 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 13 | 13 | ||
| 14 | ## 2. 输入和交付件 | 14 | ## 2. 输入和交付件 |
| 15 | 15 | ||
| @@ -17,7 +17,7 @@ | |||
| 17 | 17 | ||
| 18 | > **资源提示**:TLQ 含块级训练,量化耗时与显存显著高于 MinMax / Linear Quant 等一次标定算法;正式跑数前请预留充足 NPU 显存与时间预算。 | 18 | > **资源提示**:TLQ 含块级训练,量化耗时与显存显著高于 MinMax / Linear Quant 等一次标定算法;正式跑数前请预留充足 NPU 显存与时间预算。 |
| 19 | 19 | ||
| 20 | -模型是否在官方预验证列表中请参考[《大模型支持矩阵》](../../model/README.md);如需快速了解 CLI 基础用法可参阅[《一键量化完整指南》](../../../user_guide/usage_one_click_quantization.md)。 | 20 | +模型是否在官方预验证列表中请参考《[大模型支持矩阵](../../model/README.md)》;如需快速了解 CLI 基础用法可参阅《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 21 | 21 | ||
| 22 | ## 2. 输入和交付件 | 22 | ## 2. 输入和交付件 |
| 23 | 23 | ||
| @@ -27,7 +27,7 @@ | |||
| 27 | 27 | ||
| 28 | ## 3. 关联流程 | 28 | ## 3. 关联流程 |
| 29 | 29 | ||
| 30 | -- 《[一键量化完整指南](../../user_guide/usage_quick_quantization.md)》:量化任务的执行入口。 | 30 | +- 《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》:量化任务的执行入口。 |
| 31 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 | 31 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 |
| 32 | 32 | ||
| 33 | ## 4. 关联词条 | 33 | ## 4. 关联词条 |
| @@ -35,7 +35,7 @@ | |||
| 35 | 35 | ||
| 36 | ## 3. 关联流程 | 36 | ## 3. 关联流程 |
| 37 | 37 | ||
| 38 | -- 《[一键量化完整指南](../../user_guide/usage_quick_quantization.md)》:量化任务的执行入口。 | 38 | +- 《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》:量化任务的执行入口。 |
| 39 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 | 39 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 |
| 40 | 40 | ||
| 41 | --- | 41 | --- |
| @@ -31,7 +31,7 @@ E4M3 的位分配为:1位符号 + 4位指数 + 3位尾数,共 8位。4位指 | |||
| 31 | 31 | ||
| 32 | ## 3. 关联流程 | 32 | ## 3. 关联流程 |
| 33 | 33 | ||
| 34 | -- 《[一键量化完整指南](../../user_guide/usage_quick_quantization.md)》:量化任务的执行入口。 | 34 | +- 《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》:量化任务的执行入口。 |
| 35 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 | 35 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 |
| 36 | 36 | ||
| 37 | --- | 37 | --- |
| @@ -30,7 +30,7 @@ INT4 占 4位,可表示 $-8\sim7$ 共 16个整数档位。按[量化公式](te | |||
| 30 | 30 | ||
| 31 | ## 3. 关联流程 | 31 | ## 3. 关联流程 |
| 32 | 32 | ||
| 33 | -- 《[一键量化完整指南](../../user_guide/usage_quick_quantization.md)》:量化任务的执行入口。 | 33 | +- 《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》:量化任务的执行入口。 |
| 34 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 | 34 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 |
| 35 | 35 | ||
| 36 | --- | 36 | --- |
| @@ -31,7 +31,7 @@ INT8 占 8位,可表示 $-128\sim127$ 共 256个整数档位。对浮点张量 | |||
| 31 | 31 | ||
| 32 | ## 3. 关联流程 | 32 | ## 3. 关联流程 |
| 33 | 33 | ||
| 34 | -- 《[一键量化完整指南](../../user_guide/usage_quick_quantization.md)》:量化任务的执行入口。 | 34 | +- 《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》:量化任务的执行入口。 |
| 35 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 | 35 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 |
| 36 | 36 | ||
| 37 | --- | 37 | --- |
| @@ -33,7 +33,7 @@ | |||
| 33 | 33 | ||
| 34 | ## 3. 关联流程 | 34 | ## 3. 关联流程 |
| 35 | 35 | ||
| 36 | -- 《[一键量化完整指南](../../user_guide/usage_quick_quantization.md)》:量化任务的执行入口。 | 36 | +- 《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》:量化任务的执行入口。 |
| 37 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 | 37 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 |
| 38 | 38 | ||
| 39 | --- | 39 | --- |
| @@ -72,7 +72,7 @@ $$x \approx (q - zero\_point) \times scale$$ | |||
| 72 | 72 | ||
| 73 | ## 3. 关联流程 | 73 | ## 3. 关联流程 |
| 74 | 74 | ||
| 75 | -- 《[一键量化完整指南](../../user_guide/usage_quick_quantization.md)》:量化任务的执行入口。 | 75 | +- 《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》:量化任务的执行入口。 |
| 76 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 | 76 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 |
| 77 | 77 | ||
| 78 | --- | 78 | --- |
| @@ -49,7 +49,7 @@ | |||
| 49 | - 《[AscendV1 使用指南](ascendv1/ascendv1_usage.md)》:AscendV1 确认模式支持、配置与执行。 | 49 | - 《[AscendV1 使用指南](ascendv1/ascendv1_usage.md)》:AscendV1 确认模式支持、配置与执行。 |
| 50 | - 《[compressed-tensors 使用指南](compressed_tensors/compressed_tensors_usage.md)》:compressed-tensors 确认模式支持、配置与执行。 | 50 | - 《[compressed-tensors 使用指南](compressed_tensors/compressed_tensors_usage.md)》:compressed-tensors 确认模式支持、配置与执行。 |
| 51 | - 《[MindIE-SD 使用指南](mindie_sd/mindie_sd_usage.md)》:MindIE-SD 确认模式支持、配置与执行。 | 51 | - 《[MindIE-SD 使用指南](mindie_sd/mindie_sd_usage.md)》:MindIE-SD 确认模式支持、配置与执行。 |
| 52 | -- 《[一键量化使用指南](../../user_guide/usage_quick_quantization.md)》:一键量化命令与配置协议总览。 | 52 | +- 《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》:一键量化命令与配置协议总览。 |
| 53 | 53 | ||
| 54 | --- | 54 | --- |
| 55 | 55 | ||
| @@ -1,6 +1,6 @@ | |||
| 1 | # AscendV1 使用指南 | 1 | # AscendV1 使用指南 |
| 2 | 2 | ||
| 3 | -本指南说明如何在 msModelSlim 中选用 **AscendV1** 量化格式,按 **确认模式支持 →(可选)适配器适配 save → 配置 → 执行** 完成落盘,并将产物部署到 vLLM Ascend、SGLang、MindIE。格式字段与枚举见《[AscendV1](term_ascendv1.md)》;一键量化命令总览见《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md)》。 | 3 | +本指南说明如何在 msModelSlim 中选用 **AscendV1** 量化格式,按 **确认模式支持 →(可选)适配器适配 save → 配置 → 执行** 完成落盘,并将产物部署到 vLLM Ascend、SGLang、MindIE。格式字段与枚举见《[AscendV1](term_ascendv1.md)》;一键量化命令总览见《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 4 | 4 | ||
| 5 | ## 1. 适用范围 | 5 | ## 1. 适用范围 |
| 6 | 6 | ||
| @@ -10,7 +10,7 @@ | |||
| 10 | 10 | ||
| 11 | ## 2. 流程关系与前置条件 | 11 | ## 2. 流程关系与前置条件 |
| 12 | 12 | ||
| 13 | -**上级流程**:《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md)》 | 13 | +**上级流程**:《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》 |
| 14 | 14 | ||
| 15 | **前置条件**: | 15 | **前置条件**: |
| 16 | 16 | ||
| @@ -93,7 +93,7 @@ spec: | |||
| 93 | | `part_file_size` | int | `4` | 权重分片大小(GB);`0` 表示不分片 | | 93 | | `part_file_size` | int | `4` | 权重分片大小(GB);`0` 表示不分片 | |
| 94 | | `ext` | object | `{}` | 可选扩展配置;当前 `AscendV1Saver` 不读取此字段,常规导出可省略 | | 94 | | `ext` | object | `{}` | 可选扩展配置;当前 `AscendV1Saver` 不读取此字段,常规导出可省略 | |
| 95 | 95 | ||
| 96 | -也可直接使用官方 `quant_type` 最佳实践(多数 LLM 最佳实践默认已含 `ascendv1_saver`)。完整协议见《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md#5251-ascendv1_saver)》中 `ascendv1_saver` 字段说明。 | 96 | +也可直接使用官方 `quant_type` 最佳实践(多数 LLM 最佳实践默认已含 `ascendv1_saver`)。完整协议见《[ascendv1_saver 配置说明](../../../api_reference/config/format/ascendv1_saver.md)》中 `ascendv1_saver` 字段说明。 |
| 97 | 97 | ||
| 98 | **输出**:可用的 YAML 配置文件路径,或确认采用官方 `quant_type` 一键路径。 | 98 | **输出**:可用的 YAML 配置文件路径,或确认采用官方 `quant_type` 一键路径。 |
| 99 | 99 | ||
| @@ -130,7 +130,7 @@ spec: | |||
| 130 | part_file_size: 4 | 130 | part_file_size: 4 |
| 131 | ``` | 131 | ``` |
| 132 | 132 | ||
| 133 | -2. 按《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md)》执行量化: | 133 | +2. 按《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》执行量化: |
| 134 | 134 | ||
| 135 | ```bash | 135 | ```bash |
| 136 | msmodelslim quant \ | 136 | msmodelslim quant \ |
| @@ -145,7 +145,7 @@ spec: | |||
| 145 | 3. 核对 `${SAVE_PATH}` 中至少存在: | 145 | 3. 核对 `${SAVE_PATH}` 中至少存在: |
| 146 | - `quant_model_description.json`(含 `model_quant_type` 与各张量类型) | 146 | - `quant_model_description.json`(含 `model_quant_type` 与各张量类型) |
| 147 | - `quant_model_weights.safetensors` 或分片权重 + index | 147 | - `quant_model_weights.safetensors` 或分片权重 + index |
| 148 | - - 自源模型复制的 `config.json` / tokenizer 等辅助文件 | 148 | + - 自源模型复制的 `config.json` / tokenizer 等辅助文件 |
| 149 | 目录树与字段细则见《[AscendV1](term_ascendv1.md#export-artifacts)》导出产物及各量化模式交付件格式。 | 149 | 目录树与字段细则见《[AscendV1](term_ascendv1.md#export-artifacts)》导出产物及各量化模式交付件格式。 |
| 150 | 4. 使用目标推理框架加载该目录,完成至少 1 条 generate 或 API 请求,确认量化权重可正常加载且推理返回正常。该步骤为部署前的快速验证,不要求完整精度评测。 | 150 | 4. 使用目标推理框架加载该目录,完成至少 1 条 generate 或 API 请求,确认量化权重可正常加载且推理返回正常。该步骤为部署前的快速验证,不要求完整精度评测。 |
| 151 | 151 | ||
| @@ -60,7 +60,7 @@ AscendV1 本质上是一套**昇腾推理侧的量化模型落盘约定**:它 | |||
| 60 | | `quant_model_weights*.safetensors` | **量化权重文件**;不分片为 `quant_model_weights.safetensors`;分片为 `quant_model_weights-00001-of-0000N.safetensors` 等形式,并由 `quant_model_weights.safetensors.index.json` 索引 | | 60 | | `quant_model_weights*.safetensors` | **量化权重文件**;不分片为 `quant_model_weights.safetensors`;分片为 `quant_model_weights-00001-of-0000N.safetensors` 等形式,并由 `quant_model_weights.safetensors.index.json` 索引 | |
| 61 | | `tokenizer_config.json` | 原始分词器的配置文件,包含特殊 token、词表大小等信息 | | 61 | | `tokenizer_config.json` | 原始分词器的配置文件,包含特殊 token、词表大小等信息 | |
| 62 | | `tokenizer.json` | 原始分词器的词汇表文件,定义 token 与 ID 的映射关系 | | 62 | | `tokenizer.json` | 原始分词器的词汇表文件,定义 token 与 ID 的映射关系 | |
| 63 | -| `{model_type}_best_practice.yaml` | **量化配置协议文件**,记录本次量化所使用的完整配置信息,参考《[量化配置协议详解](../../../user_guide/usage_quick_quantization.md#5-量化配置协议详解)》 | | 63 | +| `{model_type}_best_practice.yaml` | **量化配置协议文件**,记录本次量化所使用的完整配置信息,参考《[modelslim_v1 配置说明](../../../api_reference/config/quant/modelslim_v1.md)》 | |
| 64 | | `vocab.json` | 原始词汇映射文件,部分模型(如 GPT 风格模型)会包含此文件 | | 64 | | `vocab.json` | 原始词汇映射文件,部分模型(如 GPT 风格模型)会包含此文件 | |
| 65 | | `optional/quarot.safetensors` | **可选导出**:QuaRot 全局旋转矩阵(仅在使用 QuaRot 且 `export_extra_info: true` 时生成),见下文可选导出 | | 65 | | `optional/quarot.safetensors` | **可选导出**:QuaRot 全局旋转矩阵(仅在使用 QuaRot 且 `export_extra_info: true` 时生成),见下文可选导出 | |
| 66 | 66 | ||
| @@ -551,7 +551,7 @@ W8A8 静态激活相关字段与 W8A8_DYNAMIC 权重量化字段的并集: | |||
| 551 | ## 8. 关联流程 | 551 | ## 8. 关联流程 |
| 552 | 552 | ||
| 553 | - 《[AscendV1 使用指南](ascendv1_usage.md)》:确认模式支持、配置与执行。 | 553 | - 《[AscendV1 使用指南](ascendv1_usage.md)》:确认模式支持、配置与执行。 |
| 554 | -- 《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md)》:命令与配置协议。 | 554 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:命令与配置协议。 |
| 555 | - 《[量化格式接入指南](../iformat_integration_guide.md)》:新格式开发对照。 | 555 | - 《[量化格式接入指南](../iformat_integration_guide.md)》:新格式开发对照。 |
| 556 | 556 | ||
| 557 | --- | 557 | --- |
| @@ -1,6 +1,6 @@ | |||
| 1 | # compressed-tensors 使用指南 | 1 | # compressed-tensors 使用指南 |
| 2 | 2 | ||
| 3 | -本指南说明如何在 msModelSlim 中选用 **compressed-tensors** 量化格式,按 **确认模式支持 → 配置 save → 执行量化并核对产物** 完成落盘,并将产物部署到 vLLM 等支持 HuggingFace `quantization_config` 的推理框架。格式字段与 Preset 见《[compressed-tensors](term_compressed_tensors.md)》;一键量化命令总览见《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md)》。 | 3 | +本指南说明如何在 msModelSlim 中选用 **compressed-tensors** 量化格式,按 **确认模式支持 → 配置 save → 执行量化并核对产物** 完成落盘,并将产物部署到 vLLM 等支持 HuggingFace `quantization_config` 的推理框架。格式字段与 Preset 见《[compressed-tensors](term_compressed_tensors.md)》;一键量化命令总览见《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 4 | 4 | ||
| 5 | ## 1. 适用范围 | 5 | ## 1. 适用范围 |
| 6 | 6 | ||
| @@ -10,7 +10,7 @@ | |||
| 10 | 10 | ||
| 11 | ## 2. 流程关系与前置条件 | 11 | ## 2. 流程关系与前置条件 |
| 12 | 12 | ||
| 13 | -**上级流程**:《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md)》 | 13 | +**上级流程**:《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》 |
| 14 | 14 | ||
| 15 | **前置条件**: | 15 | **前置条件**: |
| 16 | 16 | ||
| @@ -69,7 +69,7 @@ spec: | |||
| 69 | | `type` | string | `"compressed_tensors"` | 保存器类型标识,固定值 | | 69 | | `type` | string | `"compressed_tensors"` | 保存器类型标识,固定值 | |
| 70 | | `part_file_size` | int | `4` | 权重分片大小(GB);`>0` 时分片,`0` 表示不分片 | | 70 | | `part_file_size` | int | `4` | 权重分片大小(GB);`>0` 时分片,`0` 表示不分片 | |
| 71 | 71 | ||
| 72 | -量化过程**无需**安装 `compressed-tensors` Python 包;导出时由 msModelSlim 内置 schema 写入元数据。完整协议见《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md#5252-compressed_tensors)》中 `compressed_tensors` 字段说明。 | 72 | +量化过程**无需**安装 `compressed-tensors` Python 包;导出时由 msModelSlim 内置 schema 写入元数据。完整协议见《[compressed_tensors 配置说明](../../../api_reference/config/format/compressed_tensors.md)》中 `compressed_tensors` 字段说明。 |
| 73 | 73 | ||
| 74 | **输出**:可用的 YAML 配置文件路径。 | 74 | **输出**:可用的 YAML 配置文件路径。 |
| 75 | 75 | ||
| @@ -105,7 +105,7 @@ spec: | |||
| 105 | part_file_size: 4 | 105 | part_file_size: 4 |
| 106 | ``` | 106 | ``` |
| 107 | 107 | ||
| 108 | -2. 按《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md)》执行量化: | 108 | +2. 按《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》执行量化: |
| 109 | 109 | ||
| 110 | ```bash | 110 | ```bash |
| 111 | msmodelslim quant \ | 111 | msmodelslim quant \ |
| @@ -120,7 +120,7 @@ spec: | |||
| 120 | 3. 核对 `${SAVE_PATH}` 中至少存在: | 120 | 3. 核对 `${SAVE_PATH}` 中至少存在: |
| 121 | - `config.json` 含 `quantization_config`,且 `quant_method` 为 `"compressed-tensors"` | 121 | - `config.json` 含 `quantization_config`,且 `quant_method` 为 `"compressed-tensors"` |
| 122 | - `model.safetensors` 或分片权重 + `model.safetensors.index.json` | 122 | - `model.safetensors` 或分片权重 + `model.safetensors.index.json` |
| 123 | - - 自源模型复制的 HF 辅助文件齐全 | 123 | + - 自源模型复制的 HF 辅助文件齐全 |
| 124 | 目录树与字段细则见《[compressed-tensors](term_compressed_tensors.md#export-artifacts)》导出产物及各量化模式交付件格式。 | 124 | 目录树与字段细则见《[compressed-tensors](term_compressed_tensors.md#export-artifacts)》导出产物及各量化模式交付件格式。 |
| 125 | 4. 使用目标推理框架加载该目录,完成至少 1 条 generate 或 API 请求,确认量化权重可正常加载且推理返回正常。该步骤为部署前的快速验证,不要求完整精度评测。 | 125 | 4. 使用目标推理框架加载该目录,完成至少 1 条 generate 或 API 请求,确认量化权重可正常加载且推理返回正常。该步骤为部署前的快速验证,不要求完整精度评测。 |
| 126 | 126 | ||
| @@ -228,7 +228,7 @@ save_directory/ | |||
| 228 | 228 | ||
| 229 | - 《[compressed-tensors 使用指南](compressed_tensors_usage.md)》:确认模式支持、配置与执行。 | 229 | - 《[compressed-tensors 使用指南](compressed_tensors_usage.md)》:确认模式支持、配置与执行。 |
| 230 | - 《[量化格式接入指南](../iformat_integration_guide.md)》:IFormat 1-shot 参考。 | 230 | - 《[量化格式接入指南](../iformat_integration_guide.md)》:IFormat 1-shot 参考。 |
| 231 | -- 《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md)》:save 配置总览。 | 231 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:save 配置总览。 |
| 232 | 232 | ||
| 233 | --- | 233 | --- |
| 234 | 234 | ||
| @@ -1,6 +1,6 @@ | |||
| 1 | # MindIE-SD 使用指南 | 1 | # MindIE-SD 使用指南 |
| 2 | 2 | ||
| 3 | -本指南说明如何在 msModelSlim 中选用 **MindIE-SD** 量化格式,按 **确认模式支持 → 配置 save → 执行量化并核对产物** 完成落盘,并将产物部署到 MindIE 多模态生成路径。格式字段与枚举见《[MindIE-SD](term_mindie_sd.md)》;模型适配与 `--config` 执行量化见《[权重量化使用指南](../../../user_guide/usage_weight_quantization.md)》;配置协议与最佳实践入口见《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md)》。 | 3 | +本指南说明如何在 msModelSlim 中选用 **MindIE-SD** 量化格式,按 **确认模式支持 → 配置 save → 执行量化并核对产物** 完成落盘,并将产物部署到 MindIE 多模态生成路径。格式字段与枚举见《[MindIE-SD](term_mindie_sd.md)》;模型适配与 `--config` 执行量化见《[权重量化使用指南](../../../user_guide/usage_weight_quantization.md)》;配置协议与最佳实践入口见《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 4 | 4 | ||
| 5 | ## 1. 适用范围 | 5 | ## 1. 适用范围 |
| 6 | 6 | ||
| @@ -10,7 +10,7 @@ | |||
| 10 | 10 | ||
| 11 | ## 2. 流程关系与前置条件 | 11 | ## 2. 流程关系与前置条件 |
| 12 | 12 | ||
| 13 | -**上级流程**:《[权重量化使用指南](../../../user_guide/usage_weight_quantization.md)》;模型侧接入细节见《[多模态生成模型接入指南](../../ptq/dit/integration_guide_diffusion_transformer_quantization.md)》;配置协议与最佳实践入口见《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md)》。 | 13 | +**上级流程**:《[权重量化使用指南](../../../user_guide/usage_weight_quantization.md)》;模型侧接入细节见《[多模态生成模型接入指南](../../ptq/dit/integration_guide_diffusion_transformer_quantization.md)》;配置协议与最佳实践入口见《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》。 |
| 14 | 14 | ||
| 15 | **前置条件**: | 15 | **前置条件**: |
| 16 | 16 | ||
| @@ -70,7 +70,7 @@ spec: | |||
| 70 | | `part_file_size` | int | `4`(代码默认;多模态示例常写 `0`) | 权重分片大小(GB);`0` 表示不分片 | | 70 | | `part_file_size` | int | `4`(代码默认;多模态示例常写 `0`) | 权重分片大小(GB);`0` 表示不分片 | |
| 71 | | `ext` | object | `{}` | 可选扩展配置;常规导出可省略 | | 71 | | `ext` | object | `{}` | 可选扩展配置;常规导出可省略 | |
| 72 | 72 | ||
| 73 | -也可直接使用官方 `quant_type` 最佳实践(多模态最佳实践通常已含 `mindie_format_saver`)。完整协议见《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md#5341-mindie_format_saver)》及《[multimodal_sd_modelslim_v1 配置详解](../../../user_guide/usage_quick_quantization.md#53-multimodal_sd_modelslim_v1-配置详解)》。 | 73 | +也可直接使用官方 `quant_type` 最佳实践(多模态最佳实践通常已含 `mindie_format_saver`)。完整协议见《[mindie_format_saver 配置说明](../../../api_reference/config/format/mindie_format_saver.md)》及《[multimodal_sd_modelslim_v1 配置说明](../../../api_reference/config/quant/multimodal_sd_modelslim_v1.md)》。 |
| 74 | 74 | ||
| 75 | **输出**:可用 YAML 配置路径,或确认采用官方 `quant_type` 一键路径。 | 75 | **输出**:可用 YAML 配置路径,或确认采用官方 `quant_type` 一键路径。 |
| 76 | 76 | ||
| @@ -97,7 +97,7 @@ MindIE-SD 本质上是一套**面向多模态生成、供 MindIE-SD 推理引擎 | |||
| 97 | | `fa_quant_type` | string | Flash Attention 相关量化类型(启用 FA3 等时写入) | | 97 | | `fa_quant_type` | string | Flash Attention 相关量化类型(启用 FA3 等时写入) | |
| 98 | | `{张量名}` | string | 各张量所属量化类型枚举 | | 98 | | `{张量名}` | string | 各张量所属量化类型枚举 | |
| 99 | 99 | ||
| 100 | -完整多模态配置协议见《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md#53-multimodal_sd_modelslim_v1-配置详解)》。 | 100 | +完整多模态配置协议见《[multimodal_sd_modelslim_v1 配置说明](../../../api_reference/config/quant/multimodal_sd_modelslim_v1.md)》。 |
| 101 | 101 | ||
| 102 | ### 3.3 <span id="optional-dump">可选导出:校准 dump 数据</span> | 102 | ### 3.3 <span id="optional-dump">可选导出:校准 dump 数据</span> |
| 103 | 103 | ||
| @@ -108,7 +108,7 @@ calib_data_<task_config>_low_noise_model.pth | |||
| 108 | calib_data_<task_config>_high_noise_model.pth | 108 | calib_data_<task_config>_high_noise_model.pth |
| 109 | ``` | 109 | ``` |
| 110 | 110 | ||
| 111 | -字段含义见《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md#dump_config---校准数据捕获配置)》。该目录属于量化过程辅助数据,**不一定**随 MindIE 部署目录一并交付。 | 111 | +字段含义见[DumpConfig](../../../api_reference/config/quant/multimodal_sd_modelslim_v1.md#2-2-5-dump-config)。该目录属于量化过程辅助数据,**不一定**随 MindIE 部署目录一并交付。 |
| 112 | 112 | ||
| 113 | --- | 113 | --- |
| 114 | 114 | ||
| @@ -305,7 +305,7 @@ calib_data_<task_config>_high_noise_model.pth | |||
| 305 | ## 8. 关联流程 | 305 | ## 8. 关联流程 |
| 306 | 306 | ||
| 307 | - 《[MindIE-SD 使用指南](mindie_sd_usage.md)》:确认模式支持、配置与执行。 | 307 | - 《[MindIE-SD 使用指南](mindie_sd_usage.md)》:确认模式支持、配置与执行。 |
| 308 | -- 《[一键量化使用指南](../../../user_guide/usage_quick_quantization.md)》:multimodal_sd 配置详解。 | 308 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:multimodal_sd 配置详解。 |
| 309 | - 《[多模态生成模型接入](../../ptq/dit/integration_guide_diffusion_transformer_quantization.md)》:模型接入与示例。 | 309 | - 《[多模态生成模型接入](../../ptq/dit/integration_guide_diffusion_transformer_quantization.md)》:模型接入与示例。 |
| 310 | - 《[量化格式接入指南](../iformat_integration_guide.md)》:新格式开发对照。 | 310 | - 《[量化格式接入指南](../iformat_integration_guide.md)》:新格式开发对照。 |
| 311 | 311 | ||
| @@ -99,7 +99,7 @@ FA 量化**本质上是一个组合量化模式**,作用于注意力 **Q/K/V | |||
| 99 | 99 | ||
| 100 | ## 3. 关联流程 | 100 | ## 3. 关联流程 |
| 101 | 101 | ||
| 102 | -- 《[一键量化完整指南](../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择并执行量化模式。 | 102 | +- 《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择并执行量化模式。 |
| 103 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:量化模式导致的精度劣化可通过该流程逐层回退与调优。 | 103 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:量化模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 104 | 104 | ||
| 105 | --- | 105 | --- |
| @@ -82,7 +82,7 @@ FA 量化的一个"模式"是指 **Q/K/V 三分支量化方式的整体组合** | |||
| 82 | 82 | ||
| 83 | ## 3. 关联流程 | 83 | ## 3. 关联流程 |
| 84 | 84 | ||
| 85 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `fa3_quant` 处理器启用本类模式。 | 85 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `fa3_quant` 处理器启用本类模式。 |
| 86 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:注意力激活量化精度验证。 | 86 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:注意力激活量化精度验证。 |
| 87 | 87 | ||
| 88 | --- | 88 | --- |
| @@ -61,7 +61,7 @@ $$q = \mathrm{round}(x / s), \qquad \hat{x} = q \cdot s, \qquad s = \frac{\max(| | |||
| 61 | 61 | ||
| 62 | ## 3. 关联流程 | 62 | ## 3. 关联流程 |
| 63 | 63 | ||
| 64 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 | 64 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 |
| 65 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 65 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 66 | 66 | ||
| 67 | --- | 67 | --- |
| @@ -64,7 +64,7 @@ $$q = \mathrm{round}(x / s), \qquad \hat{x} = q \cdot s, \qquad s = \frac{\max(| | |||
| 64 | 64 | ||
| 65 | ## 3. 关联流程 | 65 | ## 3. 关联流程 |
| 66 | 66 | ||
| 67 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 | 67 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 |
| 68 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 68 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 69 | 69 | ||
| 70 | --- | 70 | --- |
| @@ -62,7 +62,7 @@ $$q = \mathrm{round}(x / s), \qquad \hat{x} = q \cdot s, \qquad s = \frac{\max(| | |||
| 62 | 62 | ||
| 63 | ## 3. 关联流程 | 63 | ## 3. 关联流程 |
| 64 | 64 | ||
| 65 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 | 65 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 |
| 66 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 66 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 67 | 67 | ||
| 68 | --- | 68 | --- |
| @@ -64,7 +64,7 @@ $$e = \lfloor \log_2(\max_{i \in \mathrm{block}}|x_i|) \rfloor, \qquad q_i = \ma | |||
| 64 | 64 | ||
| 65 | ## 3. 关联流程 | 65 | ## 3. 关联流程 |
| 66 | 66 | ||
| 67 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 | 67 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 |
| 68 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 68 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 69 | 69 | ||
| 70 | --- | 70 | --- |
| @@ -69,7 +69,7 @@ $$q = \mathrm{round}(x / s_h), \qquad \hat{x} = q \cdot s_h, \qquad s_h = \frac{ | |||
| 69 | 69 | ||
| 70 | ## 3. 关联流程 | 70 | ## 3. 关联流程 |
| 71 | 71 | ||
| 72 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 | 72 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 |
| 73 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 73 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 74 | 74 | ||
| 75 | --- | 75 | --- |
| @@ -69,7 +69,7 @@ $$q = \mathrm{round}(x / s_h), \qquad \hat{x} = q \cdot s_h, \qquad s_h = \frac{ | |||
| 69 | 69 | ||
| 70 | ## 3. 关联流程 | 70 | ## 3. 关联流程 |
| 71 | 71 | ||
| 72 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 | 72 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 |
| 73 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 73 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 74 | 74 | ||
| 75 | --- | 75 | --- |
| @@ -71,7 +71,7 @@ $$e_c = \lfloor \log_2(\max_{i \in \mathrm{channel}}|x_i|) \rfloor, \qquad q_i = | |||
| 71 | 71 | ||
| 72 | ## 3. 关联流程 | 72 | ## 3. 关联流程 |
| 73 | 73 | ||
| 74 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 | 74 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 |
| 75 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 75 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 76 | 76 | ||
| 77 | --- | 77 | --- |
| @@ -42,7 +42,7 @@ KVCache 量化是对注意力机制中的 **KVCache(缓存的 Key/Value 张量 | |||
| 42 | 42 | ||
| 43 | ## 3. 关联流程 | 43 | ## 3. 关联流程 |
| 44 | 44 | ||
| 45 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `dynamic_cache` 处理器启用本类模式。 | 45 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `dynamic_cache` 处理器启用本类模式。 |
| 46 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:长序列精度验证与 KV 回退。 | 46 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:长序列精度验证与 KV 回退。 |
| 47 | 47 | ||
| 48 | --- | 48 | --- |
| @@ -61,7 +61,7 @@ $$q = \mathrm{round}(x / s) + z, \qquad \hat{x} = (q - z) \cdot s, \qquad s = \f | |||
| 61 | 61 | ||
| 62 | ## 3. 关联流程 | 62 | ## 3. 关联流程 |
| 63 | 63 | ||
| 64 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 | 64 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 YAML 配置选择本模式并执行量化。 |
| 65 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 65 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 66 | 66 | ||
| 67 | --- | 67 | --- |
| @@ -97,7 +97,7 @@ $$Y = X \cdot W + b$$ | |||
| 97 | 97 | ||
| 98 | ## 3. 关联流程 | 98 | ## 3. 关联流程 |
| 99 | 99 | ||
| 100 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择线性层量化模式。 | 100 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择线性层量化模式。 |
| 101 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:量化模式导致的精度劣化可通过该流程逐层回退与调优。 | 101 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:量化模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 102 | 102 | ||
| 103 | --- | 103 | --- |
| @@ -61,7 +61,7 @@ | |||
| 61 | 61 | ||
| 62 | ## 3. 关联流程 | 62 | ## 3. 关联流程 |
| 63 | 63 | ||
| 64 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 | 64 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 |
| 65 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 65 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 66 | 66 | ||
| 67 | --- | 67 | --- |
| @@ -77,7 +77,7 @@ $$ | |||
| 77 | 77 | ||
| 78 | ## 3. 关联流程 | 78 | ## 3. 关联流程 |
| 79 | 79 | ||
| 80 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置 SVDQuant 的 `iter_smooth` → `svd_res` → `linear_quant` 三阶段流水线。 | 80 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置 SVDQuant 的 `iter_smooth` → `svd_res` → `linear_quant` 三阶段流水线。 |
| 81 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:精度不达标时可调整分解秩 `rank` 与离群值迁移强度 `alpha`。 | 81 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:精度不达标时可调整分解秩 `rank` 与离群值迁移强度 `alpha`。 |
| 82 | 82 | ||
| 83 | --- | 83 | --- |
| @@ -64,7 +64,7 @@ $$q = \mathrm{round}(x / s) + z, \qquad \hat{x} = (q - z) \cdot s, \qquad s = \f | |||
| 64 | 64 | ||
| 65 | ## 3. 关联流程 | 65 | ## 3. 关联流程 |
| 66 | 66 | ||
| 67 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 | 67 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 |
| 68 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 68 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 69 | 69 | ||
| 70 | --- | 70 | --- |
| @@ -64,7 +64,7 @@ $$e = \lfloor \log_2(\max_{i \in \mathrm{block}}|x_i|) \rfloor, \qquad q_i = \ma | |||
| 64 | 64 | ||
| 65 | ## 3. 关联流程 | 65 | ## 3. 关联流程 |
| 66 | 66 | ||
| 67 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 | 67 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 |
| 68 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 68 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 69 | 69 | ||
| 70 | --- | 70 | --- |
| @@ -64,7 +64,7 @@ $$e = \lfloor \log_2(\max_{i \in \mathrm{block}}|x_i|) \rfloor, \qquad q_i = \ma | |||
| 64 | 64 | ||
| 65 | ## 3. 关联流程 | 65 | ## 3. 关联流程 |
| 66 | 66 | ||
| 67 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 | 67 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 |
| 68 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 68 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 69 | 69 | ||
| 70 | --- | 70 | --- |
| @@ -68,7 +68,7 @@ $$q = \mathrm{round}(x / s) + z, \qquad \hat{x} = (q - z) \cdot s, \qquad s = \f | |||
| 68 | 68 | ||
| 69 | ## 3. 关联流程 | 69 | ## 3. 关联流程 |
| 70 | 70 | ||
| 71 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 | 71 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 |
| 72 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 72 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 73 | 73 | ||
| 74 | --- | 74 | --- |
| @@ -63,7 +63,7 @@ $$e = \lfloor \log_2(\max_{i \in \mathrm{block}}|x_i|) \rfloor, \qquad q_i = \ma | |||
| 63 | 63 | ||
| 64 | ## 3. 关联流程 | 64 | ## 3. 关联流程 |
| 65 | 65 | ||
| 66 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 | 66 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 |
| 67 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 67 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 68 | 68 | ||
| 69 | --- | 69 | --- |
| @@ -65,7 +65,7 @@ $$q = \mathrm{round}(x / s) + z, \qquad \hat{x} = (q - z) \cdot s, \qquad s = \f | |||
| 65 | 65 | ||
| 66 | ## 3. 关联流程 | 66 | ## 3. 关联流程 |
| 67 | 67 | ||
| 68 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 `YAML` 配置选择本模式并执行量化。 | 68 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 `YAML` 配置选择本模式并执行量化。 |
| 69 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 69 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 70 | 70 | ||
| 71 | --- | 71 | --- |
| @@ -64,7 +64,7 @@ $$q = \mathrm{round}(x / s) + z, \qquad \hat{x} = (q - z) \cdot s, \qquad s = \f | |||
| 64 | 64 | ||
| 65 | ## 3. 关联流程 | 65 | ## 3. 关联流程 |
| 66 | 66 | ||
| 67 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 | 67 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 |
| 68 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 68 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 69 | 69 | ||
| 70 | --- | 70 | --- |
| @@ -61,7 +61,7 @@ $$q = \mathrm{round}_{FP8}(x / s), \qquad \hat{x} = q \cdot s, \qquad s = \frac{ | |||
| 61 | 61 | ||
| 62 | ## 3. 关联流程 | 62 | ## 3. 关联流程 |
| 63 | 63 | ||
| 64 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 | 64 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 |
| 65 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 65 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 66 | 66 | ||
| 67 | --- | 67 | --- |
| @@ -63,7 +63,7 @@ $$e = \lfloor \log_2(\max_{i \in \mathrm{block}}|x_i|) \rfloor, \qquad q_i = \ma | |||
| 63 | 63 | ||
| 64 | ## 3. 关联流程 | 64 | ## 3. 关联流程 |
| 65 | 65 | ||
| 66 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 | 66 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 |
| 67 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 67 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 68 | 68 | ||
| 69 | --- | 69 | --- |
| @@ -65,7 +65,7 @@ $$q = \mathrm{round}(x / s) + z, \qquad \hat{x} = (q - z) \cdot s, \qquad s = \f | |||
| 65 | 65 | ||
| 66 | ## 3. 关联流程 | 66 | ## 3. 关联流程 |
| 67 | 67 | ||
| 68 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 | 68 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 |
| 69 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 69 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 70 | 70 | ||
| 71 | --- | 71 | --- |
| @@ -57,7 +57,7 @@ W8A8 稀疏量化(导出类型 `W8A8S`)仍是对线性层权重与激活做 | |||
| 57 | 57 | ||
| 58 | ## 3. 关联流程 | 58 | ## 3. 关联流程 |
| 59 | 59 | ||
| 60 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 | 60 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 |
| 61 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 61 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 62 | 62 | ||
| 63 | --- | 63 | --- |
| @@ -64,7 +64,7 @@ $$q = \mathrm{round}(x / s) + z, \qquad \hat{x} = (q - z) \cdot s, \qquad s = \f | |||
| 64 | 64 | ||
| 65 | ## 3. 关联流程 | 65 | ## 3. 关联流程 |
| 66 | 66 | ||
| 67 | -- 《[一键量化完整指南](../../../user_guide/usage_quick_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 | 67 | +- 《[一键量化使用指南](../../../user_guide/usage_one_click_quantization.md)》:通过 `--quant_type` 或 YAML 配置选择本模式并执行量化。 |
| 68 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 | 68 | - 《[量化精度调优指南](../../../user_guide/process_quantization_precision_tuning.md)》:本模式导致的精度劣化可通过该流程逐层回退与调优。 |
| 69 | 69 | ||
| 70 | --- | 70 | --- |
| @@ -31,7 +31,7 @@ GEMM 是 $C=A\times B$ 形式的通用矩阵乘法。Transformer 里至少两类 | |||
| 31 | 31 | ||
| 32 | ## 3. 关联流程 | 32 | ## 3. 关联流程 |
| 33 | 33 | ||
| 34 | -- 《[一键量化完整指南](../../user_guide/usage_quick_quantization.md)》:量化任务的执行入口。 | 34 | +- 《[一键量化使用指南](../../user_guide/usage_one_click_quantization.md)》:量化任务的执行入口。 |
| 35 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 | 35 | - 《[量化精度调优指南](../../user_guide/process_quantization_precision_tuning.md)》:数据类型与量化方案导致的精度问题可通过该流程排查与调优。 |
| 36 | 36 | ||
| 37 | --- | 37 | --- |
| @@ -152,7 +152,7 @@ anti_outlier_strategies: | |||
| 152 | 152 | ||
| 153 | 量化基础配置模板,定义了量化处理的基础配置,包括量化调度器、处理器、保存器和数据集配置。该配置是开启调优的起点,基础配置的选择一定程度上会影响调优的迭代次数。 | 153 | 量化基础配置模板,定义了量化处理的基础配置,包括量化调度器、处理器、保存器和数据集配置。该配置是开启调优的起点,基础配置的选择一定程度上会影响调优的迭代次数。 |
| 154 | 154 | ||
| 155 | -**配置协议**: template 字段的配置协议与一键量化配置协议中的 `spec` 字段保持一致,详细配置说明请参考《[一键量化使用说明](../../../user_guide/usage_quick_quantization.md#5-量化配置协议详解)》。 | 155 | +**配置协议**: template 字段的配置协议与一键量化配置协议中的 `spec` 字段保持一致,详细配置说明请参考《[modelslim_v1 配置说明](../../../api_reference/config/quant/modelslim_v1.md)》。 |
| 156 | 156 | ||
| 157 | **核心字段**: | 157 | **核心字段**: |
| 158 | 158 | ||
| @@ -21,13 +21,12 @@ | |||
| 21 | 21 | ||
| 22 | | 功能模块 | 说明 | 适用场景 | | 22 | | 功能模块 | 说明 | 适用场景 | |
| 23 | |---------|------|---------| | 23 | |---------|------|---------| |
| 24 | -| [一键量化](#31-一键量化) | 集成主流大模型量化最佳实践,支持多种量化算法与导出格式,开箱即用 | 推荐首选,适用于支持一键量化的模型 | | 24 | +| [一键量化](#31-一键量化) | 集成主流大模型量化最佳实践,支持多种量化算法与导出格式,开箱即用;覆盖从模型支持确认到交付件校验的完整流程,逐步讲解 `msmodelslim quant` 命令各参数 | 推荐首选,适用于支持一键量化的模型 | |
| 25 | | [权重量化](#32-权重量化) | 从下载浮点模型、模型适配、编写配置、执行量化到交付件校验 | 未收录于支持矩阵,或目标量化模式尚未验证的 LLM / 多模态理解 / 多模态生成模型 | | 25 | | [权重量化](#32-权重量化) | 从下载浮点模型、模型适配、编写配置、执行量化到交付件校验 | 未收录于支持矩阵,或目标量化模式尚未验证的 LLM / 多模态理解 / 多模态生成模型 | |
| 26 | | [敏感层分析](#33-敏感层分析) | 按 `linear` / `layer` / `attn` scope 分析敏感层并改写量化配置 | 线性层回退、整块回退、FA 量化方案设计与精度调优 | | 26 | | [敏感层分析](#33-敏感层分析) | 按 `linear` / `layer` / `attn` scope 分析敏感层并改写量化配置 | 线性层回退、整块回退、FA 量化方案设计与精度调优 | |
| 27 | | [自动调优](#34-自动调优) | 根据精度目标自动迭代搜索量化配置,全流程自动化 | 精度不达标时无需人工反复调参 | | 27 | | [自动调优](#34-自动调优) | 根据精度目标自动迭代搜索量化配置,全流程自动化 | 精度不达标时无需人工反复调参 | |
| 28 | | [调试模式](#35-调试模式) | 保存量化过程上下文,便于排查问题与算法分析 | 问题定位、算法研究 | | 28 | | [调试模式](#35-调试模式) | 保存量化过程上下文,便于排查问题与算法分析 | 问题定位、算法研究 | |
| 29 | -| [一键量化使用指南](#36-一键量化使用指南) | 从模型支持确认到交付件校验的完整使用流程,逐步讲解 `msmodelslim quant` 命令各参数 | 首次使用一键量化的用户 | | 29 | +| [伪量化推理](#36-伪量化推理) | 用 bad case 等小样本验证量化导出件能否正确跑通推理,定位精度问题环节 | 基于小样本数据进行精度验证 | |
| 30 | -| [伪量化推理](#37-伪量化推理) | 用 bad case 等小样本验证量化导出件能否正确跑通推理,定位精度问题环节 | 基于小样本数据进行精度验证 | | ||
| 31 | 30 | ||
| 32 | ## 2. 业务流程指南 | 31 | ## 2. 业务流程指南 |
| 33 | 32 | ||
| @@ -64,7 +63,7 @@ | |||
| 64 | - **多种量化算法**:离群值抑制、线性量化、KV Cache、FA3 等,算法总览与配置字段详见《[量化算法说明](../knowledge_base/quantization_algorithms/README.md)》。 | 63 | - **多种量化算法**:离群值抑制、线性量化、KV Cache、FA3 等,算法总览与配置字段详见《[量化算法说明](../knowledge_base/quantization_algorithms/README.md)》。 |
| 65 | - **多种导出格式**:AscendV1、compressed-tensors、MindIE-SD 等,格式选型与兼容性详见《[量化格式](../knowledge_base/quantization_format/README.md)》。 | 64 | - **多种导出格式**:AscendV1、compressed-tensors、MindIE-SD 等,格式选型与兼容性详见《[量化格式](../knowledge_base/quantization_format/README.md)》。 |
| 66 | 65 | ||
| 67 | -详细使用方法请参见《[一键量化使用指南](usage_quick_quantization.md)》。 | 66 | +详细使用方法请参见《[一键量化使用指南](usage_one_click_quantization.md)》,该指南逐步讲解 `msmodelslim quant` 命令的每个参数。 |
| 68 | 67 | ||
| 69 | ### 3.2 权重量化 | 68 | ### 3.2 权重量化 |
| 70 | 69 | ||
| @@ -94,13 +93,7 @@ | |||
| 94 | 93 | ||
| 95 | 详细使用方法请参见《[调试模式使用指南](usage_debug_mode.md)》。 | 94 | 详细使用方法请参见《[调试模式使用指南](usage_debug_mode.md)》。 |
| 96 | 95 | ||
| 97 | -### 3.6 一键量化使用指南 | 96 | +### 3.6 伪量化推理 |
| 98 | - | ||
| 99 | -按「确认模型支持 → 下载浮点模型 → 确定量化方案与场景标签 → 执行一键量化 → 校验交付件」的步骤完成权重量化交付,`msmodelslim quant` 命令的每个参数一个步骤逐步讲解。 | ||
| 100 | - | ||
| 101 | -详细使用方法请参见《[一键量化使用指南](usage_one_click_quantization.md)》。 | ||
| 102 | - | ||
| 103 | -### 3.7 伪量化推理 | ||
| 104 | 97 | ||
| 105 | 量化权重生成后,可用伪量化推理基于小样本数据对量化导出件进行精度验证。 | 98 | 量化权重生成后,可用伪量化推理基于小样本数据对量化导出件进行精度验证。 |
| 106 | 99 | ||
| @@ -11,7 +11,7 @@ | |||
| 11 | 11 | ||
| 12 | > [!NOTE] | 12 | > [!NOTE] |
| 13 | > | 13 | > |
| 14 | -> - 支持矩阵已标记**一键量化**且目标 `quant_type` 已验证:请直接按《[一键量化完整指南](usage_quick_quantization.md)》执行。 | 14 | +> - 支持矩阵已标记**一键量化**且目标 `quant_type` 已验证:请直接按《[一键量化使用指南](usage_one_click_quantization.md)》执行。 |
| 15 | > - 调优链路已打通,只查阅调优手段与算法建议:请阅读《[量化精度调优指南](process_quantization_precision_tuning.md)》。 | 15 | > - 调优链路已打通,只查阅调优手段与算法建议:请阅读《[量化精度调优指南](process_quantization_precision_tuning.md)》。 |
| 16 | > - 希望全自动搜索配置:可参考《[自动调优使用指南](usage_auto_precision_tuning.md)》。 | 16 | > - 希望全自动搜索配置:可参考《[自动调优使用指南](usage_auto_precision_tuning.md)》。 |
| 17 | 17 | ||
| @@ -108,7 +108,7 @@ msmodelslim tune --model_path ${MODEL_PATH} --save_path ${SAVE_PATH} --config ${ | |||
| 108 | | save_path | 调优结果保存路径 | 必选 | 类型:Str | | 108 | | save_path | 调优结果保存路径 | 必选 | 类型:Str | |
| 109 | | config | 调优配置文件路径 | 必选 | 1. 类型:Str <br>2. 配置文件路径,必须为完整的文件路径 <br>3. 配置文件格式为 YAML,配置协议说明见 《[自动调优配置说明导航](../api_reference/config/tuning/README.md)》,示例配置见各策略目录(如 《[Standing High 示例](../knowledge_base/tuning_strategies/standing_high/standing_high.yaml)》) | | 109 | | config | 调优配置文件路径 | 必选 | 1. 类型:Str <br>2. 配置文件路径,必须为完整的文件路径 <br>3. 配置文件格式为 YAML,配置协议说明见 《[自动调优配置说明导航](../api_reference/config/tuning/README.md)》,示例配置见各策略目录(如 《[Standing High 示例](../knowledge_base/tuning_strategies/standing_high/standing_high.yaml)》) | |
| 110 | | device | 量化设备类型 | 可选 | 1. 类型:Str <br>2. 参考值:'npu','cpu' <br>3. 默认值为"npu"。多卡索引请配合 device_id 指定 | | 110 | | device | 量化设备类型 | 可选 | 1. 类型:Str <br>2. 参考值:'npu','cpu' <br>3. 默认值为"npu"。多卡索引请配合 device_id 指定 | |
| 111 | -| device_id | 量化设备索引 | 可选 | 1. 类型:int列表,用空格分割,如:0 1 2 3 <br>2. 指定多个设备索引时(如:0 1 2 3),系统可启动分布式逐层量化(DP)。算法支持范围与配置方式详见《[一键量化使用说明](usage_quick_quantization.md#41-逐层量化及分布式逐层量化)》 | | 111 | +| device_id | 量化设备索引 | 可选 | 1. 类型:int列表,用空格分割,如:0 1 2 3 <br>2. 指定多个设备索引时(如:0 1 2 3),系统可启动分布式逐层量化(DP)。算法支持范围与配置方式详见《[多卡量化并行](../knowledge_base/parallel/README.md)》 | |
| 112 | | model_type | 模型名称 | 可选 | 1. 类型:Str <br>2. 默认值为"default" <br>3. 大小写敏感,请参考《[大模型支持矩阵](../knowledge_base/model/README.md)》 | | 112 | | model_type | 模型名称 | 可选 | 1. 类型:Str <br>2. 默认值为"default" <br>3. 大小写敏感,请参考《[大模型支持矩阵](../knowledge_base/model/README.md)》 | |
| 113 | | timeout | 调优超时时间 | 可选 | 1. 类型:Int(秒) <br>2. 示例:'7200'(2小时)、'3600'(1小时) <br>3. 兼容遗留时长字符串:'1D'、'2H'、'3D4H' <br>4. 默认值:None(无超时限制) | | 113 | | timeout | 调优超时时间 | 可选 | 1. 类型:Int(秒) <br>2. 示例:'7200'(2小时)、'3600'(1小时) <br>3. 兼容遗留时长字符串:'1D'、'2H'、'3D4H' <br>4. 默认值:None(无超时限制) | |
| 114 | | trust_remote_code | 是否信任自定义代码 | 可选 | 1. 类型:Bool,默认值:false <br>2. 请确保加载的自定义代码文件的安全性,设置为 true 有安全风险。 | | 114 | | trust_remote_code | 是否信任自定义代码 | 可选 | 1. 类型:Bool,默认值:false <br>2. 请确保加载的自定义代码文件的安全性,设置为 true 有安全风险。 | |
| @@ -168,8 +168,8 @@ msmodelslim quant \ | |||
| 168 | > 片上内存受限场景中,可指定多张 NPU 卡自动启用分布式逐层量化,将 `--device` 改为多卡即可,如 `--device npu --device_id 0 1 2 3`。 | 168 | > 片上内存受限场景中,可指定多张 NPU 卡自动启用分布式逐层量化,将 `--device` 改为多卡即可,如 `--device npu --device_id 0 1 2 3`。 |
| 169 | > | 169 | > |
| 170 | > | 170 | > |
| 171 | -> **注意**:多卡量化是否支持与具体算法相关,部分最佳实践中的算法可能尚未适配多卡,使用前请确认对应算法已支持多卡。当前已支持的多卡算法列表详见[分布式量化算法适配](usage_quick_quantization.md#417-算法适配)。 | 171 | +> **注意**:多卡量化是否支持与具体算法相关,部分最佳实践中的算法可能尚未适配多卡,使用前请确认对应算法已支持多卡。当前已支持的多卡算法列表详见[并行机制支持列表](../knowledge_base/parallel/README.md#3-并行机制支持列表)。 |
| 172 | -> 多卡量化与逐层量化说明详见[一键量化完整指南](usage_quick_quantization.md#41-逐层量化及分布式逐层量化)。 | 172 | +> 多卡量化与逐层量化说明详见《[多卡量化并行](../knowledge_base/parallel/README.md)》。 |
| 173 | 173 | ||
| 174 | ### 步骤6:执行量化命令 | 174 | ### 步骤6:执行量化命令 |
| 175 | 175 | ||
| @@ -186,7 +186,7 @@ msmodelslim quant \ | |||
| 186 | 186 | ||
| 187 | > **可选:最佳实践匹配逻辑(了解即可)** | 187 | > **可选:最佳实践匹配逻辑(了解即可)** |
| 188 | > | 188 | > |
| 189 | -> 指定 `--quant_type` 后,工具在最佳实践库中优先匹配"模型指定量化方式 + 场景标签"均命中的配置;若该模型在目标场景下没有已验证配置(最佳实践库仅收录已验证场景的组合),工具会依次询问是否采用忽略场景标签的配置、模型推荐量化方式的配置,按提示输入 `y` 即可继续。 | 189 | +> 指定 `--quant_type` 后,工具在最佳实践库中优先匹配"模型指定量化方式 + 场景标签"均命中的配置;若该模型在目标场景下没有已验证配置(最佳实践库仅收录已验证场景的组合),工具会依次询问是否采用忽略场景标签的配置、模型推荐量化方式的配置,按提示输入 `y` 即可继续。完整搜索优先级见[参数关系](../api_reference/cli/msmodelslim_quant.md#4-参数关系)"最佳实践匹配搜索优先级"。 |
| 190 | 190 | ||
| 191 | **输出**:日志输出 `===========SUCCESS===========`,生成量化权重目录 `${SAVE_PATH}`。 | 191 | **输出**:日志输出 `===========SUCCESS===========`,生成量化权重目录 `${SAVE_PATH}`。 |
| 192 | 192 | ||
| @@ -247,9 +247,28 @@ msmodelslim quant \ | |||
| 247 | 247 | ||
| 248 | | 接口或能力 | 简述 | 链接 | | 248 | | 接口或能力 | 简述 | 链接 | |
| 249 | | --- | --- | --- | | 249 | | --- | --- | --- | |
| 250 | -| `msmodelslim quant` | 一键量化命令,含全部参数说明与使用示例 | 《[一键量化完整指南](usage_quick_quantization.md)》 | | 250 | +| `msmodelslim quant` | 一键量化命令,含全部参数说明与使用示例 | 《[msmodelslim quant 命令行 API 文档](../api_reference/cli/msmodelslim_quant.md)》 | |
| 251 | 251 | ||
| 252 | ## 11. 安全说明 | 252 | ## 11. 安全说明 |
| 253 | 253 | ||
| 254 | - trust_remote_code 默认保持 false,仅可信模型必要时开启。 | 254 | - trust_remote_code 默认保持 false,仅可信模型必要时开启。 |
| 255 | - 测评日志、校准数据、量化产物与 ModelScope 发布内容按业务权限管控。 | 255 | - 测评日志、校准数据、量化产物与 ModelScope 发布内容按业务权限管控。 |
| 256 | + | ||
| 257 | +## 12. 附录 | ||
| 258 | + | ||
| 259 | +### 12.1 协议版本维护策略 | ||
| 260 | + | ||
| 261 | +一键量化配置通过 `apiversion` 字段选择后端量化服务的版本。各协议版本的维护策略如下: | ||
| 262 | + | ||
| 263 | +| 协议版本 | 维护策略 | 状态 | | ||
| 264 | +| --- | --- | --- | | ||
| 265 | +| modelslim_v0 | 即将废弃 | 不推荐 | | ||
| 266 | +| modelslim_v1 | 逐步完善 | 推荐 | | ||
| 267 | +| multimodal_vlm_modelslim_v1 | 逐步完善 | 推荐 | | ||
| 268 | +| multimodal_sd_modelslim_v1 | 逐步完善 | 推荐 | | ||
| 269 | + | ||
| 270 | +**说明**: | ||
| 271 | + | ||
| 272 | +- `modelslim_v0` 协议版本即将废弃,不推荐使用,建议使用 `modelslim_v1` 或更新的协议版本; | ||
| 273 | +- `modelslim_v1`、`multimodal_vlm_modelslim_v1`、`multimodal_sd_modelslim_v1` 正在逐步完善,为当前推荐版本; | ||
| 274 | +- `apiversion` 字段的取值、必选性与 `spec` 结构说明请参阅《[modelslim_v1 配置说明](../api_reference/config/quant/modelslim_v1.md)》、《[multimodal_vlm_modelslim_v1 配置说明](../api_reference/config/quant/multimodal_vlm_modelslim_v1.md)》、《[multimodal_sd_modelslim_v1 配置说明](../api_reference/config/quant/multimodal_sd_modelslim_v1.md)》。 | ||