master

cann-robotexamples: add Qwen3.6-35B-A3B mass_variance tolerance pruning sample (#183 task2)

7c2d6c5f创建于 7 天前历史提交

文件	最后提交记录	最后更新时间
awq	fix: update remaining wikitext dataset references Co-authored-by: fujun19<fujun19@hisilicon.com> # message auto-generated for no-merge-commit merge: !306 merge fix/issue-192-wikitext-latest into master fix: update remaining wikitext dataset references Created-by: fujun19 Commit-by: fujun19 Merged-by: cann-robot Description: ## 描述 修复 issue #192 所述的 Wikitext 数据集加载问题，并排查修复仓库中其他相同短 ID 用法。 新版 huggingface_hub 要求数据集仓库 ID 使用 namespace/name 格式。除公共 PPL 评估路径外，HiFloat8、DeepSeek V3.2 评估脚本及 9 个算法示例仍使用 wikitext 短 ID，可能在运行时触发 HfUriError。 本次将所有 Wikitext 加载调用统一改为 Salesforce/wikitext，保持原配置名和 split 不变，并新增全仓回归测试防止短 ID 回退。 关联 issue：https://gitcode.com/cann/amct/issues/192 关联已合入 PR：https://gitcode.com/cann/amct/merge_requests/300 ## 如何测试 - pytest -q tests/unit_test/common/datasets/test_wikitext_dataset_references.py tests/unit_test/common/datasets/test_preproc.py：10 passed - python3 -m py_compile 检查所有修改的 Python 文件通过 - git diff --check 通过 - 全仓检索确认不存在 load_dataset('wikitext', ...) 短 ID 调用 ## 文档更新 无。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!306	14 天前
cast	fix: update remaining wikitext dataset references Co-authored-by: fujun19<fujun19@hisilicon.com> # message auto-generated for no-merge-commit merge: !306 merge fix/issue-192-wikitext-latest into master fix: update remaining wikitext dataset references Created-by: fujun19 Commit-by: fujun19 Merged-by: cann-robot Description: ## 描述 修复 issue #192 所述的 Wikitext 数据集加载问题，并排查修复仓库中其他相同短 ID 用法。 新版 huggingface_hub 要求数据集仓库 ID 使用 namespace/name 格式。除公共 PPL 评估路径外，HiFloat8、DeepSeek V3.2 评估脚本及 9 个算法示例仍使用 wikitext 短 ID，可能在运行时触发 HfUriError。 本次将所有 Wikitext 加载调用统一改为 Salesforce/wikitext，保持原配置名和 split 不变，并新增全仓回归测试防止短 ID 回退。 关联 issue：https://gitcode.com/cann/amct/issues/192 关联已合入 PR：https://gitcode.com/cann/amct/merge_requests/300 ## 如何测试 - pytest -q tests/unit_test/common/datasets/test_wikitext_dataset_references.py tests/unit_test/common/datasets/test_preproc.py：10 passed - python3 -m py_compile 检查所有修改的 Python 文件通过 - git diff --check 通过 - 全仓检索确认不存在 load_dataset('wikitext', ...) 短 ID 调用 ## 文档更新 无。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!306	14 天前
flatquant	fix: update remaining wikitext dataset references Co-authored-by: fujun19<fujun19@hisilicon.com> # message auto-generated for no-merge-commit merge: !306 merge fix/issue-192-wikitext-latest into master fix: update remaining wikitext dataset references Created-by: fujun19 Commit-by: fujun19 Merged-by: cann-robot Description: ## 描述 修复 issue #192 所述的 Wikitext 数据集加载问题，并排查修复仓库中其他相同短 ID 用法。 新版 huggingface_hub 要求数据集仓库 ID 使用 namespace/name 格式。除公共 PPL 评估路径外，HiFloat8、DeepSeek V3.2 评估脚本及 9 个算法示例仍使用 wikitext 短 ID，可能在运行时触发 HfUriError。 本次将所有 Wikitext 加载调用统一改为 Salesforce/wikitext，保持原配置名和 split 不变，并新增全仓回归测试防止短 ID 回退。 关联 issue：https://gitcode.com/cann/amct/issues/192 关联已合入 PR：https://gitcode.com/cann/amct/merge_requests/300 ## 如何测试 - pytest -q tests/unit_test/common/datasets/test_wikitext_dataset_references.py tests/unit_test/common/datasets/test_preproc.py：10 passed - python3 -m py_compile 检查所有修改的 Python 文件通过 - git diff --check 通过 - 全仓检索确认不存在 load_dataset('wikitext', ...) 短 ID 调用 ## 文档更新 无。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!306	14 天前
gptq	fix: update remaining wikitext dataset references Co-authored-by: fujun19<fujun19@hisilicon.com> # message auto-generated for no-merge-commit merge: !306 merge fix/issue-192-wikitext-latest into master fix: update remaining wikitext dataset references Created-by: fujun19 Commit-by: fujun19 Merged-by: cann-robot Description: ## 描述 修复 issue #192 所述的 Wikitext 数据集加载问题，并排查修复仓库中其他相同短 ID 用法。 新版 huggingface_hub 要求数据集仓库 ID 使用 namespace/name 格式。除公共 PPL 评估路径外，HiFloat8、DeepSeek V3.2 评估脚本及 9 个算法示例仍使用 wikitext 短 ID，可能在运行时触发 HfUriError。 本次将所有 Wikitext 加载调用统一改为 Salesforce/wikitext，保持原配置名和 split 不变，并新增全仓回归测试防止短 ID 回退。 关联 issue：https://gitcode.com/cann/amct/issues/192 关联已合入 PR：https://gitcode.com/cann/amct/merge_requests/300 ## 如何测试 - pytest -q tests/unit_test/common/datasets/test_wikitext_dataset_references.py tests/unit_test/common/datasets/test_preproc.py：10 passed - python3 -m py_compile 检查所有修改的 Python 文件通过 - git diff --check 通过 - 全仓检索确认不存在 load_dataset('wikitext', ...) 短 ID 调用 ## 文档更新 无。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!306	14 天前
minmax	fix: update remaining wikitext dataset references Co-authored-by: fujun19<fujun19@hisilicon.com> # message auto-generated for no-merge-commit merge: !306 merge fix/issue-192-wikitext-latest into master fix: update remaining wikitext dataset references Created-by: fujun19 Commit-by: fujun19 Merged-by: cann-robot Description: ## 描述 修复 issue #192 所述的 Wikitext 数据集加载问题，并排查修复仓库中其他相同短 ID 用法。 新版 huggingface_hub 要求数据集仓库 ID 使用 namespace/name 格式。除公共 PPL 评估路径外，HiFloat8、DeepSeek V3.2 评估脚本及 9 个算法示例仍使用 wikitext 短 ID，可能在运行时触发 HfUriError。 本次将所有 Wikitext 加载调用统一改为 Salesforce/wikitext，保持原配置名和 split 不变，并新增全仓回归测试防止短 ID 回退。 关联 issue：https://gitcode.com/cann/amct/issues/192 关联已合入 PR：https://gitcode.com/cann/amct/merge_requests/300 ## 如何测试 - pytest -q tests/unit_test/common/datasets/test_wikitext_dataset_references.py tests/unit_test/common/datasets/test_preproc.py：10 passed - python3 -m py_compile 检查所有修改的 Python 文件通过 - git diff --check 通过 - 全仓检索确认不存在 load_dataset('wikitext', ...) 短 ID 调用 ## 文档更新 无。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!306	14 天前
mxquant	fix: update remaining wikitext dataset references Co-authored-by: fujun19<fujun19@hisilicon.com> # message auto-generated for no-merge-commit merge: !306 merge fix/issue-192-wikitext-latest into master fix: update remaining wikitext dataset references Created-by: fujun19 Commit-by: fujun19 Merged-by: cann-robot Description: ## 描述 修复 issue #192 所述的 Wikitext 数据集加载问题，并排查修复仓库中其他相同短 ID 用法。 新版 huggingface_hub 要求数据集仓库 ID 使用 namespace/name 格式。除公共 PPL 评估路径外，HiFloat8、DeepSeek V3.2 评估脚本及 9 个算法示例仍使用 wikitext 短 ID，可能在运行时触发 HfUriError。 本次将所有 Wikitext 加载调用统一改为 Salesforce/wikitext，保持原配置名和 split 不变，并新增全仓回归测试防止短 ID 回退。 关联 issue：https://gitcode.com/cann/amct/issues/192 关联已合入 PR：https://gitcode.com/cann/amct/merge_requests/300 ## 如何测试 - pytest -q tests/unit_test/common/datasets/test_wikitext_dataset_references.py tests/unit_test/common/datasets/test_preproc.py：10 passed - python3 -m py_compile 检查所有修改的 Python 文件通过 - git diff --check 通过 - 全仓检索确认不存在 load_dataset('wikitext', ...) 短 ID 调用 ## 文档更新 无。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!306	14 天前
ofmr	fix: update remaining wikitext dataset references Co-authored-by: fujun19<fujun19@hisilicon.com> # message auto-generated for no-merge-commit merge: !306 merge fix/issue-192-wikitext-latest into master fix: update remaining wikitext dataset references Created-by: fujun19 Commit-by: fujun19 Merged-by: cann-robot Description: ## 描述 修复 issue #192 所述的 Wikitext 数据集加载问题，并排查修复仓库中其他相同短 ID 用法。 新版 huggingface_hub 要求数据集仓库 ID 使用 namespace/name 格式。除公共 PPL 评估路径外，HiFloat8、DeepSeek V3.2 评估脚本及 9 个算法示例仍使用 wikitext 短 ID，可能在运行时触发 HfUriError。 本次将所有 Wikitext 加载调用统一改为 Salesforce/wikitext，保持原配置名和 split 不变，并新增全仓回归测试防止短 ID 回退。 关联 issue：https://gitcode.com/cann/amct/issues/192 关联已合入 PR：https://gitcode.com/cann/amct/merge_requests/300 ## 如何测试 - pytest -q tests/unit_test/common/datasets/test_wikitext_dataset_references.py tests/unit_test/common/datasets/test_preproc.py：10 passed - python3 -m py_compile 检查所有修改的 Python 文件通过 - git diff --check 通过 - 全仓检索确认不存在 load_dataset('wikitext', ...) 短 ID 调用 ## 文档更新 无。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!306	14 天前
pruning	examples: add Qwen3.6-35B-A3B mass_variance tolerance pruning sample (#183 task2) Co-authored-by: hongwei-2026<feizi_050920@qq.com> # message auto-generated for no-merge-commit merge: !312 merge task183-t2 into master examples: add Qwen3.6-35B-A3B mass_variance tolerance pruning sample (#183 task2) Created-by: hongwei-2026 Commit-by: hongwei-2026 Merged-by: cann-robot Description: ## Summary 贡献 Issue #183 任务 2：Qwen3.6-35B-A3B MoE mass_variance + tolerance(0.1/0.2/0.5)。 链接：https://gitcode.com/cann/amct/issues/183?did=7d24edd9507226e909edd2a9e5ddba068b0cb3a3 交付： - examples/algorithms/pruning/src/run_qwen3_6_35b_a3b_pruning_mass_variance_tolerance.py - 中英文 README（运行说明/诊断/结果表/内嵌截图） - examples/algorithms/pruning/figures/issue183_task2/ ## 结果表（WikiText2, seq_len=4096, blockwise BF16） | 模型 | 方法 | 实验设置 | 基线 PPL | 剪枝后 PPL | 后处理 PPL | 参数量（前 → 后） | 参数削减率 | 剪枝时长（min） | 专家数 | |---|---|---|---:|---:|---|---|---:|---:|---| | Qwen3.6-35B-A3B | mass_variance | tolerance=0.1 | 6.308547 | 7.974751 | N/A | 34660610688 → 24965460608 | 0.2797 | 7.29 | 256→179 | | Qwen3.6-35B-A3B | mass_variance | tolerance=0.2 | 6.308547 | 10.896645 | N/A | 34660610688 → 18543997568 | 0.4650 | 7.15 | 256→128 | | Qwen3.6-35B-A3B | mass_variance | tolerance=0.5 | 6.308547 | 22.681002 | N/A | 见 result.json | — | — | 256→51 | 搜索使用 AMCT 内置 fidelity；最终 PPL 为官方 blockwise WikiText2。 ## 实测截图 ### 基线 PPL  ### tolerance=0.1   ### tolerance=0.2   ### tolerance=0.5   ### 专家数  ## Test plan - [ ] CANNLab A3 复现三档 tolerance - [ ] 结果与 README/截图一致 - [ ] 未提交模型权重 See merge request: cann/amct!312	7 天前
quantile	fix: update remaining wikitext dataset references Co-authored-by: fujun19<fujun19@hisilicon.com> # message auto-generated for no-merge-commit merge: !306 merge fix/issue-192-wikitext-latest into master fix: update remaining wikitext dataset references Created-by: fujun19 Commit-by: fujun19 Merged-by: cann-robot Description: ## 描述 修复 issue #192 所述的 Wikitext 数据集加载问题，并排查修复仓库中其他相同短 ID 用法。 新版 huggingface_hub 要求数据集仓库 ID 使用 namespace/name 格式。除公共 PPL 评估路径外，HiFloat8、DeepSeek V3.2 评估脚本及 9 个算法示例仍使用 wikitext 短 ID，可能在运行时触发 HfUriError。 本次将所有 Wikitext 加载调用统一改为 Salesforce/wikitext，保持原配置名和 split 不变，并新增全仓回归测试防止短 ID 回退。 关联 issue：https://gitcode.com/cann/amct/issues/192 关联已合入 PR：https://gitcode.com/cann/amct/merge_requests/300 ## 如何测试 - pytest -q tests/unit_test/common/datasets/test_wikitext_dataset_references.py tests/unit_test/common/datasets/test_preproc.py：10 passed - python3 -m py_compile 检查所有修改的 Python 文件通过 - git diff --check 通过 - 全仓检索确认不存在 load_dataset('wikitext', ...) 短 ID 调用 ## 文档更新 无。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!306	14 天前
smoothquant	fix: update remaining wikitext dataset references Co-authored-by: fujun19<fujun19@hisilicon.com> # message auto-generated for no-merge-commit merge: !306 merge fix/issue-192-wikitext-latest into master fix: update remaining wikitext dataset references Created-by: fujun19 Commit-by: fujun19 Merged-by: cann-robot Description: ## 描述 修复 issue #192 所述的 Wikitext 数据集加载问题，并排查修复仓库中其他相同短 ID 用法。 新版 huggingface_hub 要求数据集仓库 ID 使用 namespace/name 格式。除公共 PPL 评估路径外，HiFloat8、DeepSeek V3.2 评估脚本及 9 个算法示例仍使用 wikitext 短 ID，可能在运行时触发 HfUriError。 本次将所有 Wikitext 加载调用统一改为 Salesforce/wikitext，保持原配置名和 split 不变，并新增全仓回归测试防止短 ID 回退。 关联 issue：https://gitcode.com/cann/amct/issues/192 关联已合入 PR：https://gitcode.com/cann/amct/merge_requests/300 ## 如何测试 - pytest -q tests/unit_test/common/datasets/test_wikitext_dataset_references.py tests/unit_test/common/datasets/test_preproc.py：10 passed - python3 -m py_compile 检查所有修改的 Python 文件通过 - git diff --check 通过 - 全仓检索确认不存在 load_dataset('wikitext', ...) 短 ID 调用 ## 文档更新 无。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!306	14 天前