ascend-robot[docs][master] fix the longcat-flash-chat example model type

文件	最后提交记录	最后更新时间
README.md	[docs][master] fix the longcat-flash-chat example model type Co-authored-by: zhongzhoutan<1710115119@bjmu.edu.cn> # message auto-generated for no-merge-commit merge: !730 merge fix/longcat-flash-chat-example into master [docs][master] fix the longcat-flash-chat example model type Created-by: tangxuanya Commit-by: zhongzhoutan Merged-by: ascend-robot Description: ## 1. 影响面评估接口变更（按需）：无输出件变更（按需）：无非兼容变更（按需）：无 SIG 评审结论（按需）：无 ## 2. 修改描述修改背景： README.md 一键量化命令中 `--model_type` 使用了内部配置组名 `longcat_flash`，而非 config.ini 中注册的入口点名称 `LongCat-Flash-Chat`（`longcat_flash = LongCat-Flash-Chat`）。`PluginModelFactory` 通过 entry point name 查找适配器，使用 `longcat_flash` 会导致查找失败并回退到默认适配器，无法正确加载 `LongCatFlashModelAdapter`（该适配器包含 560B MoE 的逐层加载、MTP 处理、双子层架构等专有逻辑）。修改目的：修复示例文档中 `--model_type` 参数值，确保用户按文档执行一键量化命令时能正确匹配 `LongCatFlashModelAdapter`。修改内容： - docs/example：README.md 中将 `--model_type longcat_flash` 修正为 `--model_type LongCat-Flash-Chat` ## 3. 功能验证 - [x] 功能自验 - [x] 本地自验用例截图（请勿包含个人信息；可附复现命令）复现步骤（可选）： `bash # 修改前：--model_type longcat_flash -> 适配器回退到默认实现 # 修改后：--model_type LongCat-Flash-Chat -> 正确匹配 LongCatFlashModelAdapter grep "model_type" example/longcat_flash/README.md` ## 4. 自检（请逐项确认，不适用标 N/A）典型安全编码问题 - [x] 是否已校验外部数据：N/A（仅文档修改） - [x] 是否未采集或打印敏感信息：N/A - [x] 是否已正确设置文件权限：N/A - [x] 是否充分考虑浮点运算溢出、除零等异常场景：N/A - [x] 是否已对正则表达式做 ReDos 检查：N/A DT - [x] 是否具备 UT 测试用例看护：N/A（仅文档修改，无代码逻辑变更） - [x] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!730	3 天前

LongCat-Flash 量化说明

模型介绍

LongCat-Flash-Chat 是 meituan-longcat 开源的大语言模型。msModelSlim 已适配 LongCat-Flash-Chat 的 W4A4 MXFP4 一键量化实践，量化结果可用于 SGLang Ascend 推理。

使用前准备

安装 msModelSlim 工具，详情请参见《msModelSlim工具安装指南》。
由于模型量化对显存要求较高，请确保在满足模型加载和校准数据处理需求的环境下执行。

支持的模型版本与量化策略

模型系列	模型版本	HuggingFace链接	W4A4 MXFP4	W8A8 MXFP8	稀疏量化	KV Cache	量化命令
LongCat-Flash	LongCat-Flash-Chat	LongCat-Flash-Chat	✅				W4A4 MXFP4

Note

✅ 表示该量化策略已通过 msModelSlim 官方验证，功能完整且性能稳定，建议优先采用。
空格表示该量化策略暂未通过 msModelSlim 官方验证，用户可根据实际需求进行配置尝试，但量化效果和功能稳定性无法得到官方保证。

量化权重生成

使用示例

请将${MODEL_PATH}替换为用户实际浮点权重路径，${SAVE_PATH}替换为量化权重保存路径。

LongCat-Flash-Chat W4A4 MXFP4量化

生成 LongCat-Flash-Chat 模型 W4A4 MXFP4 量化权重：

msmodelslim quant \
  --model_path ${MODEL_PATH} \
  --save_path ${SAVE_PATH} \
  --device npu \
  --model_type LongCat-Flash-Chat \
  --quant_type w4a4 \
  --tag Atlas_A5_Interface \
  --trust_remote_code True

该一键量化命令匹配使用的量化配置文件为longcat_flash_w4a4_mxfp4.yaml，可以在其中查看具体的量化策略。