已合并
[Doc] RA Compress 文档更新 #991
zhangwl创建于 29 天前
[Doc] RA Compress 文档更新 #991
已合并
Pull Request已成功合入, 合并人@ascend-robot
(感谢 zhangwl 的贡献)atomgit-bot
29 天前 评论:
29 天前 评论:
变更摘要
本 PR 为纯文档更新,围绕 RA Compress(attn_head 范围分析)使 6 篇文档与当前实现保持一致。核心是同步配套特性 PR 引入的行为与配置:attn_head 默认使用内置 ra_compress_dummy 校准集、--calibration_dataset 变为可选,以及 unary_analysis.metric_params 新增 ra_compress 指标相关字段;同时修正 head.pt 的用途表述、补充 head 选择比例(ratio)的覆盖方式与 YAML 示例,并清理过期条目与失效相对链接。文档所描述的代码行为由配套特性 PR feature/ra_compress-refine-v2 引入,存在同期合入依赖。
主要改动
- 校准集默认化与对齐要求:
attn_head示例移除--calibration_dataset calib_dummy.jsonl,前置条件、参数表与流程图统一为「默认内置校准集」,明确内置ra_compress_dummy为 1 个 BOS + 2500×4 = 10001 tokens,自定义校准集需满足「2500 的整数倍 + 1(≥ 10000 tokens)」。 - 新增配置字段
metric_params:unary_analysis的metrics取值新增ra_compress,新增metric_params字段(induction_head_ratio默认 0.14、echo_head_ratio默认 0.01),并说明其仅对ra_compress可用、未知键或越界值直接报错,补充完整 YAML 示例。 head.pt用途修正:将head.pt描述从「用于 RA Compress 量化流程」修正为交付推理框架用于长序列 KV Cache 压缩,并在功能说明、退出码0说明及使用指南中补充交付说明、MindIE 支持模型列表引用与异常处置。- 知识库与术语体系调整:
quantization_algorithms/README.md新增「4. 注意力头分析算法」章节并顺延后续编号,将敏感层分析口径拆分为量化敏感度(linear/layer/attn)与 KV Cache 压缩头筛选(attn_head);术语统一为induction / echo head,并补充参考文献 arXiv 链接。 - 过期表述与链接清理:删除「必须显式指定
calib_dummy.jsonl」「ratio 不通过 YAML 配置」及内部接口实现清单等过期条目,新增 ratio 覆盖 YAML 示例与模板渲染链路说明,并修正ra_compress.yaml模板链接层级(../../→../../../../)及失效相对链接。


不准确?
AtlasAccount
29 天前 评论:
29 天前 评论:
atomgit-bot
29 天前 评论:
29 天前 评论:
🤖 本次改动均为数据 / 生成 / 二进制文件(如测试用例、锁文件、媒体资源),没有可审查的代码逻辑,已跳过 AI 代码审查。


不准确?
29 天前 添加了label:stat/needs-squash
此处折叠了138条消息 查看更多
22 天前 添加了label:approved
rookie_hongchuan
22 天前 评论:
22 天前 评论:
/lgtm


22 天前 添加了label:lgtm
22 天前 合入了pull request
ascend-robot
22 天前 评论:
22 天前 评论:
Pull Request 已合并或已关闭。
If you want to solve this problem, you can click here to do it in the FAQs.


PR 提交说明
1. 影响面评估
接口变更(按需): 无
输出件变更(按需): 无
非兼容变更(按需): 无
SIG 评审结论(按需): 无
2. 修改描述
修改背景(可选): RA Compress(
attn_head范围分析)相关文档与当前实现存在多处不一致:校准集仍被描述为「必须显式指定calib_dummy.jsonl」;head 选择比例(14% / 1%)被描述为「不通过 YAML 配置」;head.pt的用途被描述为「用于 RA Compress 量化流程」,而实际是交付推理框架做长序列 KV Cache 压缩;unary_analysis处理器文档未收录ra_compress指标与metric_params;另有失效的相对链接。关联issue
https://gitcode.com/Ascend/msmodelslim/issues/510
修改目的: 使 6 篇文档与实现保持一致,使用户能按文档正确完成 attention head 分析、head 选择比例调优与
head.pt交付,并清理过期表述与失效链接。修改内容:
api_reference/cli/msmodelslim_analyze.md—— 功能说明与退出码0说明补充head.pt交付推理框架用于长序列 KV Cache 压缩(附 MindIE 支持模型列表引用);attn_head示例移除--calibration_dataset calib_dummy.jsonl;5.6 节标题与说明调整并新增 ratio 覆盖 YAML 示例;修正ra_compress.yaml模板链接层级(../../→../../../../)。api_reference/config/processor/unary_analysis.md——metrics取值新增ra_compress;新增metric_params字段(induction_head_ratio默认 0.14、echo_head_ratio默认 0.01)及配置约束(仅ra_compress可用,未知键 / 越界值直接报错);补充完整 YAML 示例。knowledge_base/quantization_algorithms/README.md—— 新增「4. 注意力头分析算法」章节并顺延后续章节编号;将敏感层分析口径拆分为「量化敏感度(linear/layer/attn)」与「KV Cache 压缩头筛选(attn_head)」;attn_head条目改为默认使用内置ra_compress_dummy校准集。ra_compress/term_ra_compress.md—— 校准数据表述统一为内置ra_compress_dummy(1 个 BOS + 2500×4 = 10001 tokens);删除过期条目(必须显式指定calib_dummy.jsonl、ratio 不通过 YAML 配置、内部接口实现清单);补充 ratio 覆盖方式与模板渲染链路说明;参考文献补充 arXiv 链接。ra_compress/usage_ra_compress.md—— 前置条件、输入与参数表、流程图、操作步骤同步为「默认内置校准集」;明确内置 10001 tokens 与自定义校准集「2500 的整数倍 + 1(≥ 10000 tokens)」的对齐要求;新增 ratio 覆盖示例、head.pt交付说明及异常处置(得分为空、Q/K 投影层未命中、GQA 分组报错)。user_guide/usage_sensitive_attn_head_analysis.md—— 步骤 5、验收条件与异常处置同步校准集与 ratio 变更;术语统一为induction / echo head。calib_dummy.jsonl过期引用,统一术语与相对链接写法。合入依赖: 文档所描述的代码行为由配套特性 PR
feature/ra_compress-refine-v2引入;其中term_ra_compress.md引用的msmodelslim/infra/dataset_loader/builtin_datasets/ra_compress_dummy.py在 master 上尚不存在,建议代码 PR 先行合入,或两者同期合入。3. 功能验证
复现步骤(可选):
# 1) 静态检查(typos / end-of-file / markdown 等 hook 全部通过) pre-commit run --files \ docs/zh/api_reference/cli/msmodelslim_analyze.md \ docs/zh/api_reference/config/processor/unary_analysis.md \ docs/zh/knowledge_base/quantization_algorithms/README.md \ docs/zh/knowledge_base/quantization_algorithms/ra_compress/term_ra_compress.md \ docs/zh/knowledge_base/quantization_algorithms/ra_compress/usage_ra_compress.md \ docs/zh/user_guide/usage_sensitive_attn_head_analysis.md # 2) 文档内相对链接可解析性检查(唯一剩余项为上述待合入的 ra_compress_dummy.py)4. 自检(请逐项确认,不适用标 N/A)
典型安全编码问题
DT