| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
[Bugfix] modify 950 tag and delete mxfp in support table Co-authored-by: caishengcheng<caishengcheng@huawei.com> # message auto-generated for no-merge-commit merge: !774 merge docs into master [Bugfix] modify 950 tag and delete mxfp in support table Created-by: caishengcheng Commit-by: caishengcheng Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/development_guide/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） **建议标题：** [Bugfix][26.1.0] modify 950 tag and delete mxfp in support table ## 1. 影响面评估 **接口变更（按需）：** 无 **输出件变更（按需）：** 无 **非兼容变更（按需）：** --tag 硬件场景标签由 Atlas_A5_Interface 统一更名为 Ascend_950；使用旧标签将无法匹配对应 lab_practice 配置，需改用 Ascend_950。原Atlas_350 tag下新增 Ascend_950。 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：** 昇腾 950 相关场景标签命名不统一（Atlas_350、Atlas_A5_Interface），且 example 支持矩阵表中对外展示了 mxfp 字样，需与产品命名及对外表述对齐。 **修改目的：** 统一硬件场景标签为 Ascend_950，并清理支持矩阵表中的 mxfp 展示文案。 **修改内容：** - lab_practice：相关 YAML 的 verified_tags 中 Atlas_350 / Atlas_A5_Interface 统一改为 Ascend_950 - example：GLM-5、MiniMax-M2、LongCat-Flash、Qwen3-VL-MoE、QwenImageEdit 等 README 支持矩阵去掉 mxfp 字样，示例命令 --tag 同步为 Ascend_950 - docs：中英文一键量化 usage 文档的 tag 硬件形态说明补充 Ascend_950 - cli / app / core：命令行帮助与注释中的硬件 tag 示例更新为 Ascend_950（匹配逻辑仍为大小写不敏感字符串匹配，无接口行为变更） ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [x] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 使用新硬件标签匹配最佳实践配置（示例） msmodelslim quant \ --model_path ${MODEL_PATH} \ --save_path ${SAVE_PATH} \ --device npu \ --model_type GLM-5.1 \ --quant_type w4a4c8 \ --tag vLLM_Ascend Ascend_950 \ --trust_remote_code True ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据（N/A：无新增外部输入处理） - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限（N/A） - [x] 是否充分考虑浮点运算溢出、除零等异常场景（N/A） - [x] 是否已对正则表达式做 ReDos 检查（N/A） **DT** - [x] 是否具备 UT 测试用例看护（N/A：本次仅为标签命名与文档表述调整；26.1.0 分支无 gemma4 相关用例文件） - [x] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!774 | 15 天前 | |
[Bugfix] 补充GLM5.1对应的资料以及GLM5.1 W8A8、W4A8量化的最佳实践 Co-authored-by: qq_46439621<wanlongze1@huawei.com> # message auto-generated for no-merge-commit merge: !624 merge ziliao_glm into master [Bugfix] 补充GLM5.1对应的资料以及GLM5.1 W8A8、W4A8量化的最佳实践 Created-by: qq_46439621 Commit-by: qq_46439621 Merged-by: ascend-robot Description: PR 提交说明 提交前请阅读 https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md ，开发者文档： https://msmodelslim.readthedocs.io/zh-cn/latest/zh/development_guide/integrating_models PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **PR 标题：** [Doc] 补充GLM5相关模型资料与配置 **修改背景（可选）：** GLM-5.1 模型已支持 W8A8、W4A8 量化策略并通过 vLLM Ascend 验证，同时 GLM-5 的 transformers 依赖版本需从 5.2.0 更新至 5.4.0，但缺少对应的用户文档和量化配置文件。 **修改目的：** 为 GLM-5.1 补充完整的用户文档、模型支持矩阵条目和量化配置文件，并同步更新 GLM-5 的 transformers 版本依赖，使用户能够通过一键量化命令对 GLM-5/GLM-5.1 进行量化。 **修改内容：** - infra/配置：config/config.ini 将 glm_5 的 transformers 版本从 5.2.0 更新为 5.4.0 - doc/文档：foundation_model_support_matrix.md 中 GLM5-MOE 系列新增 GLM-5.1 行（支持 W8A8、W4A8、KV Cache），同步更新 GLM-5 的 transformers 版本；GLM5-MOE rowspan 调整为 2 - doc/示例：example/GLM-5/README.md 新增 GLM-5.1 量化策略表项和一键量化命令示例，更新 transformers 版本为 5.4.0，外部链接替换为仓库内相对路径 - infra/配置：新增 lab_practice/glm_5/glm_5_1_w8a8.yaml，GLM-5.1 的 W8A8 量化配置文件 - infra/配置：新增 lab_practice/glm_5/glm_5_1_w4a8.yaml，GLM-5.1 的 W4A8 量化配置文件（含 quarot + flex_awq_ssz + flex_smooth_quant 流程） ## 3. 功能验证 - [ ] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 安装依赖 pip install transformers==5.4.0 # 执行 GLM-5.1 W8A8 一键量化 msmodelslim quant \ --model_path ${MODEL_PATH} \ --save_path ${SAVE_PATH} \ --device npu \ --model_type GLM-5.1 \ --quant_type w8a8 \ --trust_remote_code True ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 N/A（仅文档和配置文件新增） - [x] 是否未采集或打印敏感信息 N/A - [x] 是否已正确设置文件权限 N/A - [x] 是否充分考虑浮点运算溢出、除零等异常场景 N/A - [x] 是否已对正则表达式做 ReDos 检查 N/A **DT** - [ ] 是否具备 UT 测试用例看护：否（文档和 YAML 配置文件，无需 UT） - [ ] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!624 | 1 个月前 | |
【Feature】支持glm5.1的W8A8C8量化 Co-authored-by: qq_46439621<wanlongze1@huawei.com> # message auto-generated for no-merge-commit merge: !399 merge glm5_1_C8_0512 into master 【Feature】支持glm5.1的W8A8C8 和 W4A8C8量化 Created-by: qq_46439621 Commit-by: qq_46439621 Merged-by: ascend-robot Description: 感谢您贡献的Pull Request！ 在提交之前，请务必阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/CONTRIBUTING.md)。 Thanks for sending a pull request! BEFORE SUBMITTING, PLEASE READ [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/CONTRIBUTING.md). ## PR描述 (What this PR does / why we need it?) ## PR描述 ### What this PR does / why we need it 本PR新增了 GLM-5.1 模型的 W8A8C8 量化支持。GLM-5.1 与 GLM-5 模型结构一致，但 GLM-5.1 需要支持 C8（KV Cache INT8）量化能力，而原有 GLM-5 仅支持 W8A8 和 W4A8 量化策略（当前pr为W8A8C8）。 具体变更如下： 1. 模型注册识别（ config/config.ini ） - 在 [ModelAdapter] 的 glm_5 组中新增 GLM-5.1 模型类型映射，使 GLM-5.1 自动路由到 GLM5ModelAdapter 2. 新增 W8A8C8 量化配置（ lab_practice/glm_5/glm_5_1_w8a8c8.yaml ） - 新增 GLM-5.1 专用的 W8A8C8 量化配置文件，采用 verified_model_types 方式精确匹配 GLM-5.1 - 量化策略：QuaRot + FlexSmoothQuant + W8A8 线性层量化 + FA3 Per-Token INT8 KV Cache 量化 - 排除 layer 78（MTP层）以及 layer 0/1/2 的 FA3 量化 3. 模型适配器增强（ msmodelslim/model/glm_5/model_adapter.py ） - GLM5ModelAdapter 新增实现 FA3QuantAdapterInterface 和 OnlineQuaRotInterface 接口，支持 FA3 KV Cache 量化 - 新增 get_online_rotation_configs() 方法：为 Indexer 模块的 q/k 配置在线旋转（Hadamard），用于 C8 量化中的在线旋转平滑 - 新增 inject_fa3_placeholders() 方法：向 Indexer 模块注入 FA3 量化占位符（ fa3_q / fa3_k ），并重写 Indexer forward 以集成旋转和 FA3 量化逻辑 - 新增 get_attention_module_cls() 和 get_attention_output_extractor() 方法：声明 MLA 注意力类型 - 增强 ascendv1_save_postprocess() 方法：当检测到使用 per-token C8 量化时，在 quant_model_description.json 中写入 indexer_quant_type: INT8_DYNAMIC 标记 ## 面向用户的变更 (Does this PR introduce _any_ user-facing change)? - 请注意，这里指的是**任何**面向用户的变更，包括但不限于API、用户界面或其他使用方式上的变更。 - Note that it means *any* user-facing change including all aspects such as API, interface or other behavior changes. ## 功能验证 (How was this patch tested?) pre-commit验证通过  精度测试：详细精度测试见内部wiki，简要结果如下（符合一道题的差距） | 数据集 | GPU(FP8) | W8A8C8 | W4A8C8| |--|--|--|--| | AIME2026 | 论文分数为95.3 | 93.3 | 93.3 | |SWE-bench Verified mini | 56.0 | 56.0 | 54.0 | 请确认CI已通过增量及存量的单元测试用例。 如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤(最好提供完整的可复现的操作路径及关键截图)，以便Committer能够快速复现验证，也便于后续的维护。 如果未添加测试，请说明未添加的原因，以及为何难添加测试。 - [_] 功能自验 - [_] 本地自验截图(涉及个人标识符等敏感信息请注意脱敏) - [_] 新增/变更内容是否已新增/适配UT测试用例看护 CI passed with new added/existing test. If it was tested in a way different from regular unit tests, please clarify how you tested step by step, ideally copy and paste-able, so that other reviewers can test and check, and descendants can verify in the future. If tests were not added, please describe why they were not added and/or why it was difficult to add. - [_] Self-verification of the feature. - [_] Screenshot of local self-verification (please anonymize any sensitive information such as personal identifiers) - [_] Have new or modified unit test (UT) cases been added or adapted to cover the newly added or changed content? See merge request: Ascend/msmodelslim!399 | 2 个月前 | |
[Bugfix] 补充GLM5.1对应的资料以及GLM5.1 W8A8、W4A8量化的最佳实践 Co-authored-by: qq_46439621<wanlongze1@huawei.com> # message auto-generated for no-merge-commit merge: !624 merge ziliao_glm into master [Bugfix] 补充GLM5.1对应的资料以及GLM5.1 W8A8、W4A8量化的最佳实践 Created-by: qq_46439621 Commit-by: qq_46439621 Merged-by: ascend-robot Description: PR 提交说明 提交前请阅读 https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md ，开发者文档： https://msmodelslim.readthedocs.io/zh-cn/latest/zh/development_guide/integrating_models PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **PR 标题：** [Doc] 补充GLM5相关模型资料与配置 **修改背景（可选）：** GLM-5.1 模型已支持 W8A8、W4A8 量化策略并通过 vLLM Ascend 验证，同时 GLM-5 的 transformers 依赖版本需从 5.2.0 更新至 5.4.0，但缺少对应的用户文档和量化配置文件。 **修改目的：** 为 GLM-5.1 补充完整的用户文档、模型支持矩阵条目和量化配置文件，并同步更新 GLM-5 的 transformers 版本依赖，使用户能够通过一键量化命令对 GLM-5/GLM-5.1 进行量化。 **修改内容：** - infra/配置：config/config.ini 将 glm_5 的 transformers 版本从 5.2.0 更新为 5.4.0 - doc/文档：foundation_model_support_matrix.md 中 GLM5-MOE 系列新增 GLM-5.1 行（支持 W8A8、W4A8、KV Cache），同步更新 GLM-5 的 transformers 版本；GLM5-MOE rowspan 调整为 2 - doc/示例：example/GLM-5/README.md 新增 GLM-5.1 量化策略表项和一键量化命令示例，更新 transformers 版本为 5.4.0，外部链接替换为仓库内相对路径 - infra/配置：新增 lab_practice/glm_5/glm_5_1_w8a8.yaml，GLM-5.1 的 W8A8 量化配置文件 - infra/配置：新增 lab_practice/glm_5/glm_5_1_w4a8.yaml，GLM-5.1 的 W4A8 量化配置文件（含 quarot + flex_awq_ssz + flex_smooth_quant 流程） ## 3. 功能验证 - [ ] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 安装依赖 pip install transformers==5.4.0 # 执行 GLM-5.1 W8A8 一键量化 msmodelslim quant \ --model_path ${MODEL_PATH} \ --save_path ${SAVE_PATH} \ --device npu \ --model_type GLM-5.1 \ --quant_type w8a8 \ --trust_remote_code True ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 N/A（仅文档和配置文件新增） - [x] 是否未采集或打印敏感信息 N/A - [x] 是否已正确设置文件权限 N/A - [x] 是否充分考虑浮点运算溢出、除零等异常场景 N/A - [x] 是否已对正则表达式做 ReDos 检查 N/A **DT** - [ ] 是否具备 UT 测试用例看护：否（文档和 YAML 配置文件，无需 UT） - [ ] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!624 | 1 个月前 | |
【Feature】支持glm5.1的W8A8C8量化 Co-authored-by: qq_46439621<wanlongze1@huawei.com> # message auto-generated for no-merge-commit merge: !399 merge glm5_1_C8_0512 into master 【Feature】支持glm5.1的W8A8C8 和 W4A8C8量化 Created-by: qq_46439621 Commit-by: qq_46439621 Merged-by: ascend-robot Description: 感谢您贡献的Pull Request！ 在提交之前，请务必阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/CONTRIBUTING.md)。 Thanks for sending a pull request! BEFORE SUBMITTING, PLEASE READ [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/CONTRIBUTING.md). ## PR描述 (What this PR does / why we need it?) ## PR描述 ### What this PR does / why we need it 本PR新增了 GLM-5.1 模型的 W8A8C8 量化支持。GLM-5.1 与 GLM-5 模型结构一致，但 GLM-5.1 需要支持 C8（KV Cache INT8）量化能力，而原有 GLM-5 仅支持 W8A8 和 W4A8 量化策略（当前pr为W8A8C8）。 具体变更如下： 1. 模型注册识别（ config/config.ini ） - 在 [ModelAdapter] 的 glm_5 组中新增 GLM-5.1 模型类型映射，使 GLM-5.1 自动路由到 GLM5ModelAdapter 2. 新增 W8A8C8 量化配置（ lab_practice/glm_5/glm_5_1_w8a8c8.yaml ） - 新增 GLM-5.1 专用的 W8A8C8 量化配置文件，采用 verified_model_types 方式精确匹配 GLM-5.1 - 量化策略：QuaRot + FlexSmoothQuant + W8A8 线性层量化 + FA3 Per-Token INT8 KV Cache 量化 - 排除 layer 78（MTP层）以及 layer 0/1/2 的 FA3 量化 3. 模型适配器增强（ msmodelslim/model/glm_5/model_adapter.py ） - GLM5ModelAdapter 新增实现 FA3QuantAdapterInterface 和 OnlineQuaRotInterface 接口，支持 FA3 KV Cache 量化 - 新增 get_online_rotation_configs() 方法：为 Indexer 模块的 q/k 配置在线旋转（Hadamard），用于 C8 量化中的在线旋转平滑 - 新增 inject_fa3_placeholders() 方法：向 Indexer 模块注入 FA3 量化占位符（ fa3_q / fa3_k ），并重写 Indexer forward 以集成旋转和 FA3 量化逻辑 - 新增 get_attention_module_cls() 和 get_attention_output_extractor() 方法：声明 MLA 注意力类型 - 增强 ascendv1_save_postprocess() 方法：当检测到使用 per-token C8 量化时，在 quant_model_description.json 中写入 indexer_quant_type: INT8_DYNAMIC 标记 ## 面向用户的变更 (Does this PR introduce _any_ user-facing change)? - 请注意，这里指的是**任何**面向用户的变更，包括但不限于API、用户界面或其他使用方式上的变更。 - Note that it means *any* user-facing change including all aspects such as API, interface or other behavior changes. ## 功能验证 (How was this patch tested?) pre-commit验证通过  精度测试：详细精度测试见内部wiki，简要结果如下（符合一道题的差距） | 数据集 | GPU(FP8) | W8A8C8 | W4A8C8| |--|--|--|--| | AIME2026 | 论文分数为95.3 | 93.3 | 93.3 | |SWE-bench Verified mini | 56.0 | 56.0 | 54.0 | 请确认CI已通过增量及存量的单元测试用例。 如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤(最好提供完整的可复现的操作路径及关键截图)，以便Committer能够快速复现验证，也便于后续的维护。 如果未添加测试，请说明未添加的原因，以及为何难添加测试。 - [_] 功能自验 - [_] 本地自验截图(涉及个人标识符等敏感信息请注意脱敏) - [_] 新增/变更内容是否已新增/适配UT测试用例看护 CI passed with new added/existing test. If it was tested in a way different from regular unit tests, please clarify how you tested step by step, ideally copy and paste-able, so that other reviewers can test and check, and descendants can verify in the future. If tests were not added, please describe why they were not added and/or why it was difficult to add. - [_] Self-verification of the feature. - [_] Screenshot of local self-verification (please anonymize any sensitive information such as personal identifiers) - [_] Have new or modified unit test (UT) cases been added or adapted to cover the newly added or changed content? See merge request: Ascend/msmodelslim!399 | 2 个月前 | |
| 4 个月前 | ||
| 4 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 15 天前 | ||
| 1 个月前 | ||
| 2 个月前 | ||
| 1 个月前 | ||
| 2 个月前 | ||
| 4 个月前 | ||
| 4 个月前 |