| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
[Feature] Added structured pruning (amct_pytorch.pruning) Co-authored-by: leedongkun30-arch<lee.dongkun30@gmail.com> # message auto-generated for no-merge-commit merge: !140 merge feat/pruning into master [Feature] Added structured pruning (amct_pytorch.pruning) Created-by: leedongkun30-arch Commit-by: leedongkun30-arch Merged-by: cann-robot Description: ## 描述 新增 eager 模式**结构化剪枝**子系统 amct_pytorch.pruning，接口风格与 amct.quantize 对齐：对已实例化并加载权重的 torch.nn.Module 原地剪枝。覆盖三个目标域——**dense FFN 中间维 / CNN 通道 / MoE 专家**，仅剪枝“生产者↔消费者接口可验证”的维度，其余保守跳过（注意力投影、残差宽度等自动排除）。 改动为**增量式**：仅在 amct_pytorch/__init__.py 中以 PEP 562 惰性方式暴露剪枝入口，不修改既有量化代码；与 classic/graph_based 剪枝器共存，并复用其精度抽象 AutoCalibrationEvaluatorBase，使 prune→quantize 在同一预算下串联。 公开接口（__all__，与量化 1:1 对齐）： - amct.prune(model, config=None, *, data, tolerance, evaluator, size_budget, finetune_fn, report) —— 原地剪枝，返回 None；可选传入 report=PruneReport() 就地收集统计（不保留任何进程级状态）。 - amct.accuracy_based_auto_prune(...) —— 按可接受精度损失自动搜索并应用满足容差的最大剪枝率，返回 AutoTuneResult，对应量化侧 accuracy_based_auto_calibration。 - 预定义配置 *_PRUNE_CFG：CNN_RECONSTRUCT / CNN_VARIANCE / DENSE_LOWVAR / FULL_STRUCTURED / MOE_MASSVAR / MOE_OUTPUT_MERGE / SENSITIVITY_ALLOC。 size_budget_prune / prune_finetune / prune_diagnose 及菜单配置为高级接口，可从 amct_pytorch.pruning 导入，不进入 __all__。剪枝与量化为正交压缩维度：先 prune 改变形状，再 amct.quantize / amct.convert。 ### 实测参考 在 16 个从零训练模型（CNN@MNIST / Dense-LM·MoE-LM@WikiText）与真实预训练 HF 模型上测得，供评审参考： - **CNN 输出保持重建**：训练后 MNIST CNN @0.3，naive variance_channel 0.343 vs reconstruct 0.574（参数量相同）。 - **Dense-LM 1% 预算空间**：无 finetune ≈0%；单遍 finetune（lr 1e-5 + warmup）后中位 27%（最高 61%）。真实 MoE（granite-1b-a400m）同样需要 finetune（≈0% → 17%）。 - **MoE 专家判据依赖路由深度**：全局 variance 劣于 mass，仅深层用 variance（boundary=K）在多专家路由上胜过 mass（OLMoE held-ppl 46.9→35.3）；小专家路由（granite，32 专家）下菜单守卫正确回退到 mass。 - **敏感度分配依赖深度**：浅层网络（<10 层）6/6 胜，深层（≥10 层）4/19；guard='calib_nll' 在更差时回退均匀分配。 - **prune→int8 串联**：经恢复菜单剪枝的 SmolLM-135M 走完整 prune→int8→convert 流水线，ppl 1.649 → 剪枝后 1.699 → 叠加 int8 1.704。 ## 如何测试 本地运行单元测试： python -m pytest tests/amct_pytorch/test_pruning_*.py 覆盖核心剪枝、容差自动搜索、跨层敏感度分配、尺寸预算模式、MoE 输出合并、prune→quantize 串联，以及真实 HF 模型（Mixtral / Qwen3Moe / GraniteMoe / DeepseekV3 / Ernie4_5_Moe 等），全部通过。 ## 文档更新 - 新增 docs/zh/api/：prune.md、accuracy_based_auto_prune.md、size_budget_prune.md、prune_finetune.md、prune_diagnose.md、pruning_configs.md，并在 docs/zh/api/README.md 索引中登记。 - 新增示例 examples/algorithms/pruning/（dense / CNN / MoE）。 - amct_pytorch/pruning/README.md / README_en.md 增补“工作原理”走查（打分 → 剪枝 → 恢复 →（可选）量化），并配 5 张流程图（总流程、三个可剪枝的域、容差二分搜索、菜单择优、prune→quantize 串联），图片位于 amct_pytorch/pruning/figures/。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!140 | 28 天前 | |
[Feature] Added structured pruning (amct_pytorch.pruning) Co-authored-by: leedongkun30-arch<lee.dongkun30@gmail.com> # message auto-generated for no-merge-commit merge: !140 merge feat/pruning into master [Feature] Added structured pruning (amct_pytorch.pruning) Created-by: leedongkun30-arch Commit-by: leedongkun30-arch Merged-by: cann-robot Description: ## 描述 新增 eager 模式**结构化剪枝**子系统 amct_pytorch.pruning，接口风格与 amct.quantize 对齐：对已实例化并加载权重的 torch.nn.Module 原地剪枝。覆盖三个目标域——**dense FFN 中间维 / CNN 通道 / MoE 专家**，仅剪枝“生产者↔消费者接口可验证”的维度，其余保守跳过（注意力投影、残差宽度等自动排除）。 改动为**增量式**：仅在 amct_pytorch/__init__.py 中以 PEP 562 惰性方式暴露剪枝入口，不修改既有量化代码；与 classic/graph_based 剪枝器共存，并复用其精度抽象 AutoCalibrationEvaluatorBase，使 prune→quantize 在同一预算下串联。 公开接口（__all__，与量化 1:1 对齐）： - amct.prune(model, config=None, *, data, tolerance, evaluator, size_budget, finetune_fn, report) —— 原地剪枝，返回 None；可选传入 report=PruneReport() 就地收集统计（不保留任何进程级状态）。 - amct.accuracy_based_auto_prune(...) —— 按可接受精度损失自动搜索并应用满足容差的最大剪枝率，返回 AutoTuneResult，对应量化侧 accuracy_based_auto_calibration。 - 预定义配置 *_PRUNE_CFG：CNN_RECONSTRUCT / CNN_VARIANCE / DENSE_LOWVAR / FULL_STRUCTURED / MOE_MASSVAR / MOE_OUTPUT_MERGE / SENSITIVITY_ALLOC。 size_budget_prune / prune_finetune / prune_diagnose 及菜单配置为高级接口，可从 amct_pytorch.pruning 导入，不进入 __all__。剪枝与量化为正交压缩维度：先 prune 改变形状，再 amct.quantize / amct.convert。 ### 实测参考 在 16 个从零训练模型（CNN@MNIST / Dense-LM·MoE-LM@WikiText）与真实预训练 HF 模型上测得，供评审参考： - **CNN 输出保持重建**：训练后 MNIST CNN @0.3，naive variance_channel 0.343 vs reconstruct 0.574（参数量相同）。 - **Dense-LM 1% 预算空间**：无 finetune ≈0%；单遍 finetune（lr 1e-5 + warmup）后中位 27%（最高 61%）。真实 MoE（granite-1b-a400m）同样需要 finetune（≈0% → 17%）。 - **MoE 专家判据依赖路由深度**：全局 variance 劣于 mass，仅深层用 variance（boundary=K）在多专家路由上胜过 mass（OLMoE held-ppl 46.9→35.3）；小专家路由（granite，32 专家）下菜单守卫正确回退到 mass。 - **敏感度分配依赖深度**：浅层网络（<10 层）6/6 胜，深层（≥10 层）4/19；guard='calib_nll' 在更差时回退均匀分配。 - **prune→int8 串联**：经恢复菜单剪枝的 SmolLM-135M 走完整 prune→int8→convert 流水线，ppl 1.649 → 剪枝后 1.699 → 叠加 int8 1.704。 ## 如何测试 本地运行单元测试： python -m pytest tests/amct_pytorch/test_pruning_*.py 覆盖核心剪枝、容差自动搜索、跨层敏感度分配、尺寸预算模式、MoE 输出合并、prune→quantize 串联，以及真实 HF 模型（Mixtral / Qwen3Moe / GraniteMoe / DeepseekV3 / Ernie4_5_Moe 等），全部通过。 ## 文档更新 - 新增 docs/zh/api/：prune.md、accuracy_based_auto_prune.md、size_budget_prune.md、prune_finetune.md、prune_diagnose.md、pruning_configs.md，并在 docs/zh/api/README.md 索引中登记。 - 新增示例 examples/algorithms/pruning/（dense / CNN / MoE）。 - amct_pytorch/pruning/README.md / README_en.md 增补“工作原理”走查（打分 → 剪枝 → 恢复 →（可选）量化），并配 5 张流程图（总流程、三个可剪枝的域、容差二分搜索、菜单择优、prune→quantize 串联），图片位于 amct_pytorch/pruning/figures/。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!140 | 28 天前 | |
[Feature] Added structured pruning (amct_pytorch.pruning) Co-authored-by: leedongkun30-arch<lee.dongkun30@gmail.com> # message auto-generated for no-merge-commit merge: !140 merge feat/pruning into master [Feature] Added structured pruning (amct_pytorch.pruning) Created-by: leedongkun30-arch Commit-by: leedongkun30-arch Merged-by: cann-robot Description: ## 描述 新增 eager 模式**结构化剪枝**子系统 amct_pytorch.pruning，接口风格与 amct.quantize 对齐：对已实例化并加载权重的 torch.nn.Module 原地剪枝。覆盖三个目标域——**dense FFN 中间维 / CNN 通道 / MoE 专家**，仅剪枝“生产者↔消费者接口可验证”的维度，其余保守跳过（注意力投影、残差宽度等自动排除）。 改动为**增量式**：仅在 amct_pytorch/__init__.py 中以 PEP 562 惰性方式暴露剪枝入口，不修改既有量化代码；与 classic/graph_based 剪枝器共存，并复用其精度抽象 AutoCalibrationEvaluatorBase，使 prune→quantize 在同一预算下串联。 公开接口（__all__，与量化 1:1 对齐）： - amct.prune(model, config=None, *, data, tolerance, evaluator, size_budget, finetune_fn, report) —— 原地剪枝，返回 None；可选传入 report=PruneReport() 就地收集统计（不保留任何进程级状态）。 - amct.accuracy_based_auto_prune(...) —— 按可接受精度损失自动搜索并应用满足容差的最大剪枝率，返回 AutoTuneResult，对应量化侧 accuracy_based_auto_calibration。 - 预定义配置 *_PRUNE_CFG：CNN_RECONSTRUCT / CNN_VARIANCE / DENSE_LOWVAR / FULL_STRUCTURED / MOE_MASSVAR / MOE_OUTPUT_MERGE / SENSITIVITY_ALLOC。 size_budget_prune / prune_finetune / prune_diagnose 及菜单配置为高级接口，可从 amct_pytorch.pruning 导入，不进入 __all__。剪枝与量化为正交压缩维度：先 prune 改变形状，再 amct.quantize / amct.convert。 ### 实测参考 在 16 个从零训练模型（CNN@MNIST / Dense-LM·MoE-LM@WikiText）与真实预训练 HF 模型上测得，供评审参考： - **CNN 输出保持重建**：训练后 MNIST CNN @0.3，naive variance_channel 0.343 vs reconstruct 0.574（参数量相同）。 - **Dense-LM 1% 预算空间**：无 finetune ≈0%；单遍 finetune（lr 1e-5 + warmup）后中位 27%（最高 61%）。真实 MoE（granite-1b-a400m）同样需要 finetune（≈0% → 17%）。 - **MoE 专家判据依赖路由深度**：全局 variance 劣于 mass，仅深层用 variance（boundary=K）在多专家路由上胜过 mass（OLMoE held-ppl 46.9→35.3）；小专家路由（granite，32 专家）下菜单守卫正确回退到 mass。 - **敏感度分配依赖深度**：浅层网络（<10 层）6/6 胜，深层（≥10 层）4/19；guard='calib_nll' 在更差时回退均匀分配。 - **prune→int8 串联**：经恢复菜单剪枝的 SmolLM-135M 走完整 prune→int8→convert 流水线，ppl 1.649 → 剪枝后 1.699 → 叠加 int8 1.704。 ## 如何测试 本地运行单元测试： python -m pytest tests/amct_pytorch/test_pruning_*.py 覆盖核心剪枝、容差自动搜索、跨层敏感度分配、尺寸预算模式、MoE 输出合并、prune→quantize 串联，以及真实 HF 模型（Mixtral / Qwen3Moe / GraniteMoe / DeepseekV3 / Ernie4_5_Moe 等），全部通过。 ## 文档更新 - 新增 docs/zh/api/：prune.md、accuracy_based_auto_prune.md、size_budget_prune.md、prune_finetune.md、prune_diagnose.md、pruning_configs.md，并在 docs/zh/api/README.md 索引中登记。 - 新增示例 examples/algorithms/pruning/（dense / CNN / MoE）。 - amct_pytorch/pruning/README.md / README_en.md 增补“工作原理”走查（打分 → 剪枝 → 恢复 →（可选）量化），并配 5 张流程图（总流程、三个可剪枝的域、容差二分搜索、菜单择优、prune→quantize 串联），图片位于 amct_pytorch/pruning/figures/。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!140 | 28 天前 | |
[Feature] Added structured pruning (amct_pytorch.pruning) Co-authored-by: leedongkun30-arch<lee.dongkun30@gmail.com> # message auto-generated for no-merge-commit merge: !140 merge feat/pruning into master [Feature] Added structured pruning (amct_pytorch.pruning) Created-by: leedongkun30-arch Commit-by: leedongkun30-arch Merged-by: cann-robot Description: ## 描述 新增 eager 模式**结构化剪枝**子系统 amct_pytorch.pruning，接口风格与 amct.quantize 对齐：对已实例化并加载权重的 torch.nn.Module 原地剪枝。覆盖三个目标域——**dense FFN 中间维 / CNN 通道 / MoE 专家**，仅剪枝“生产者↔消费者接口可验证”的维度，其余保守跳过（注意力投影、残差宽度等自动排除）。 改动为**增量式**：仅在 amct_pytorch/__init__.py 中以 PEP 562 惰性方式暴露剪枝入口，不修改既有量化代码；与 classic/graph_based 剪枝器共存，并复用其精度抽象 AutoCalibrationEvaluatorBase，使 prune→quantize 在同一预算下串联。 公开接口（__all__，与量化 1:1 对齐）： - amct.prune(model, config=None, *, data, tolerance, evaluator, size_budget, finetune_fn, report) —— 原地剪枝，返回 None；可选传入 report=PruneReport() 就地收集统计（不保留任何进程级状态）。 - amct.accuracy_based_auto_prune(...) —— 按可接受精度损失自动搜索并应用满足容差的最大剪枝率，返回 AutoTuneResult，对应量化侧 accuracy_based_auto_calibration。 - 预定义配置 *_PRUNE_CFG：CNN_RECONSTRUCT / CNN_VARIANCE / DENSE_LOWVAR / FULL_STRUCTURED / MOE_MASSVAR / MOE_OUTPUT_MERGE / SENSITIVITY_ALLOC。 size_budget_prune / prune_finetune / prune_diagnose 及菜单配置为高级接口，可从 amct_pytorch.pruning 导入，不进入 __all__。剪枝与量化为正交压缩维度：先 prune 改变形状，再 amct.quantize / amct.convert。 ### 实测参考 在 16 个从零训练模型（CNN@MNIST / Dense-LM·MoE-LM@WikiText）与真实预训练 HF 模型上测得，供评审参考： - **CNN 输出保持重建**：训练后 MNIST CNN @0.3，naive variance_channel 0.343 vs reconstruct 0.574（参数量相同）。 - **Dense-LM 1% 预算空间**：无 finetune ≈0%；单遍 finetune（lr 1e-5 + warmup）后中位 27%（最高 61%）。真实 MoE（granite-1b-a400m）同样需要 finetune（≈0% → 17%）。 - **MoE 专家判据依赖路由深度**：全局 variance 劣于 mass，仅深层用 variance（boundary=K）在多专家路由上胜过 mass（OLMoE held-ppl 46.9→35.3）；小专家路由（granite，32 专家）下菜单守卫正确回退到 mass。 - **敏感度分配依赖深度**：浅层网络（<10 层）6/6 胜，深层（≥10 层）4/19；guard='calib_nll' 在更差时回退均匀分配。 - **prune→int8 串联**：经恢复菜单剪枝的 SmolLM-135M 走完整 prune→int8→convert 流水线，ppl 1.649 → 剪枝后 1.699 → 叠加 int8 1.704。 ## 如何测试 本地运行单元测试： python -m pytest tests/amct_pytorch/test_pruning_*.py 覆盖核心剪枝、容差自动搜索、跨层敏感度分配、尺寸预算模式、MoE 输出合并、prune→quantize 串联，以及真实 HF 模型（Mixtral / Qwen3Moe / GraniteMoe / DeepseekV3 / Ernie4_5_Moe 等），全部通过。 ## 文档更新 - 新增 docs/zh/api/：prune.md、accuracy_based_auto_prune.md、size_budget_prune.md、prune_finetune.md、prune_diagnose.md、pruning_configs.md，并在 docs/zh/api/README.md 索引中登记。 - 新增示例 examples/algorithms/pruning/（dense / CNN / MoE）。 - amct_pytorch/pruning/README.md / README_en.md 增补“工作原理”走查（打分 → 剪枝 → 恢复 →（可选）量化），并配 5 张流程图（总流程、三个可剪枝的域、容差二分搜索、菜单择优、prune→quantize 串联），图片位于 amct_pytorch/pruning/figures/。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!140 | 28 天前 |
AMCT 结构化剪枝样例
演示 amct_pytorch.pruning 接口在三种域上的调用：dense FFN（剪中间维）/ CNN（剪通道）/
MoE（剪专家）。样例使用随机初始化的微型模型，纯 CPU 运行，不下载任何权重。
1 剪枝前提
1.1 安装依赖
依赖见 requirements.txt：torch 与 transformers（随 amct_pytorch 导入链需要）。
在 NPU 上运行时另需与 Python/torch 版本匹配的 torch_npu 及已安装的 CANN 包。
1.2 模型与数据准备
样例模型与数据由 src/utils.py 用固定随机种子构造（MiniMLP/MiniCNN/MiniMoE），
无需下载、无需联网。替换成真实模型与校准数据即可用于实际场景。
1.3 剪枝配置
以 dict 配置直接传入 prune()（与 amct.quantize 同风格），按域选择方法：
| 域 | 方法 | 说明 |
|---|---|---|
| dense | low_variance |
按激活方差剪 FFN 中间维（自动避开注意力投影） |
| dense | reconstruct |
剪后用最小二乘重构补偿，recovery ∈ {none, bias, ls} |
| cnn | variance_channel |
按激活方差朴素切片通道 |
| cnn | reconstruct |
输出重构补偿的通道剪枝 |
| moe | activation_count |
按专家激活频次剪专家，同步收缩 gate |
| moe | mass_variance |
按专家质量方差剪专家 |
只给 tolerance 时走自动剪枝：在 ratio_grid 上二分查找满足容差的最大剪枝率。传入 menu 配置
（MOE_VARIANCE_MENU_CFG / DENSE_RECOVERY_MENU_CFG / CNN_RECOVERY_MENU_CFG）时，prune 改走 MENU 择优：
在 eval_data 指定的独立小验证集上实测每个候选，择优应用。
2 剪枝示例
2.1 使用接口方式调用
在当前目录执行以下命令运行样例（纯 CPU 可跑）：
python3 src/run_dense_samples.py # dense：固定率 / 容差自动 / recovery-menu / 剪后量化 / evaluator
python3 src/run_cnn_samples.py # cnn：variance vs reconstruct 通道剪枝 / recovery-menu
python3 src/run_moe_samples.py # moe：activation_count vs mass_variance 专家剪枝 / variance-menu
每个样例打印剪枝前后参数量、削减比例并做一次前向校验。