| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
fix: 优化日志输出和错误描述(#191) Co-authored-by: zhengpeiyang<zhengpeiyang@huawei.com> # message auto-generated for no-merge-commit merge: !289 merge fix/amct-c07-b01 into master fix: 优化日志输出和错误描述(#191) Created-by: zhengpeiyang Commit-by: zhengpeiyang Merged-by: cann-robot Description: ## 描述 关联 Issue：#191 本 PR 解决以下日志问题类别： - 禁止自定义打印 - 缺少度量单位 - 错误描述不完整 - 冗余日志 ## 如何测试 本地 pre-commit、代码格式、拼写和 Python 语法检查已通过；CANN 工具链及 NPU 相关测试由 PR 流水线验证。 ## 文档更新 不涉及对外文档更新。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!289 | 6 天前 | |
fix: [Docs] 全仓 md 相对链接锚点失配 9 处（slug 规则校验） (#187) Co-authored-by: fujun19<fujun19@hisilicon.com> # message auto-generated for no-merge-commit merge: !291 merge fix-issue-187 into master fix: [Docs] 全仓 md 相对链接锚点失配 9 处（slug 规则校验） (#187) Created-by: fujun19 Commit-by: fujun19 Merged-by: cann-robot Description: ## 描述 - 修复 Markdown 相对链接锚点失配，确保 Qwen3.6 中英文样例和算法文档内部链接可正常跳转。 - 补齐 Qwen3.6-MoE 中英文样例配套修改，避免文档同步检查拦截。 - 关联 Issue: https://gitcode.com/cann/amct/issues/187 ## 变更文件 - docs/zh/algorithm_brief.md - examples/models/qwen3.6/Qwen3.6-Moe.md - examples/models/qwen3.6/Qwen3.6-Moe_en.md ## 如何测试 - 运行全仓 Markdown 相对锚点校验：checked_anchor_links=118，broken_anchor_links=0 - PASS markdown relative anchor check - git diff --check 通过 ## 风险和遗留问题 - 仅修改文档链接锚点和中英文样例说明，不涉及代码行为。 See merge request: cann/amct!291 | 9 天前 | |
[Feature] Added structured pruning (amct_pytorch.pruning) Co-authored-by: leedongkun30-arch<lee.dongkun30@gmail.com> # message auto-generated for no-merge-commit merge: !140 merge feat/pruning into master [Feature] Added structured pruning (amct_pytorch.pruning) Created-by: leedongkun30-arch Commit-by: leedongkun30-arch Merged-by: cann-robot Description: ## 描述 新增 eager 模式**结构化剪枝**子系统 amct_pytorch.pruning，接口风格与 amct.quantize 对齐：对已实例化并加载权重的 torch.nn.Module 原地剪枝。覆盖三个目标域——**dense FFN 中间维 / CNN 通道 / MoE 专家**，仅剪枝“生产者↔消费者接口可验证”的维度，其余保守跳过（注意力投影、残差宽度等自动排除）。 改动为**增量式**：仅在 amct_pytorch/__init__.py 中以 PEP 562 惰性方式暴露剪枝入口，不修改既有量化代码；与 classic/graph_based 剪枝器共存，并复用其精度抽象 AutoCalibrationEvaluatorBase，使 prune→quantize 在同一预算下串联。 公开接口（__all__，与量化 1:1 对齐）： - amct.prune(model, config=None, *, data, tolerance, evaluator, size_budget, finetune_fn, report) —— 原地剪枝，返回 None；可选传入 report=PruneReport() 就地收集统计（不保留任何进程级状态）。 - amct.accuracy_based_auto_prune(...) —— 按可接受精度损失自动搜索并应用满足容差的最大剪枝率，返回 AutoTuneResult，对应量化侧 accuracy_based_auto_calibration。 - 预定义配置 *_PRUNE_CFG：CNN_RECONSTRUCT / CNN_VARIANCE / DENSE_LOWVAR / FULL_STRUCTURED / MOE_MASSVAR / MOE_OUTPUT_MERGE / SENSITIVITY_ALLOC。 size_budget_prune / prune_finetune / prune_diagnose 及菜单配置为高级接口，可从 amct_pytorch.pruning 导入，不进入 __all__。剪枝与量化为正交压缩维度：先 prune 改变形状，再 amct.quantize / amct.convert。 ### 实测参考 在 16 个从零训练模型（CNN@MNIST / Dense-LM·MoE-LM@WikiText）与真实预训练 HF 模型上测得，供评审参考： - **CNN 输出保持重建**：训练后 MNIST CNN @0.3，naive variance_channel 0.343 vs reconstruct 0.574（参数量相同）。 - **Dense-LM 1% 预算空间**：无 finetune ≈0%；单遍 finetune（lr 1e-5 + warmup）后中位 27%（最高 61%）。真实 MoE（granite-1b-a400m）同样需要 finetune（≈0% → 17%）。 - **MoE 专家判据依赖路由深度**：全局 variance 劣于 mass，仅深层用 variance（boundary=K）在多专家路由上胜过 mass（OLMoE held-ppl 46.9→35.3）；小专家路由（granite，32 专家）下菜单守卫正确回退到 mass。 - **敏感度分配依赖深度**：浅层网络（<10 层）6/6 胜，深层（≥10 层）4/19；guard='calib_nll' 在更差时回退均匀分配。 - **prune→int8 串联**：经恢复菜单剪枝的 SmolLM-135M 走完整 prune→int8→convert 流水线，ppl 1.649 → 剪枝后 1.699 → 叠加 int8 1.704。 ## 如何测试 本地运行单元测试： python -m pytest tests/amct_pytorch/test_pruning_*.py 覆盖核心剪枝、容差自动搜索、跨层敏感度分配、尺寸预算模式、MoE 输出合并、prune→quantize 串联，以及真实 HF 模型（Mixtral / Qwen3Moe / GraniteMoe / DeepseekV3 / Ernie4_5_Moe 等），全部通过。 ## 文档更新 - 新增 docs/zh/api/：prune.md、accuracy_based_auto_prune.md、size_budget_prune.md、prune_finetune.md、prune_diagnose.md、pruning_configs.md，并在 docs/zh/api/README.md 索引中登记。 - 新增示例 examples/algorithms/pruning/（dense / CNN / MoE）。 - amct_pytorch/pruning/README.md / README_en.md 增补“工作原理”走查（打分 → 剪枝 → 恢复 →（可选）量化），并配 5 张流程图（总流程、三个可剪枝的域、容差二分搜索、菜单择优、prune→quantize 串联），图片位于 amct_pytorch/pruning/figures/。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!140 | 24 天前 | |
[Feature] Added structured pruning (amct_pytorch.pruning) Co-authored-by: leedongkun30-arch<lee.dongkun30@gmail.com> # message auto-generated for no-merge-commit merge: !140 merge feat/pruning into master [Feature] Added structured pruning (amct_pytorch.pruning) Created-by: leedongkun30-arch Commit-by: leedongkun30-arch Merged-by: cann-robot Description: ## 描述 新增 eager 模式**结构化剪枝**子系统 amct_pytorch.pruning，接口风格与 amct.quantize 对齐：对已实例化并加载权重的 torch.nn.Module 原地剪枝。覆盖三个目标域——**dense FFN 中间维 / CNN 通道 / MoE 专家**，仅剪枝“生产者↔消费者接口可验证”的维度，其余保守跳过（注意力投影、残差宽度等自动排除）。 改动为**增量式**：仅在 amct_pytorch/__init__.py 中以 PEP 562 惰性方式暴露剪枝入口，不修改既有量化代码；与 classic/graph_based 剪枝器共存，并复用其精度抽象 AutoCalibrationEvaluatorBase，使 prune→quantize 在同一预算下串联。 公开接口（__all__，与量化 1:1 对齐）： - amct.prune(model, config=None, *, data, tolerance, evaluator, size_budget, finetune_fn, report) —— 原地剪枝，返回 None；可选传入 report=PruneReport() 就地收集统计（不保留任何进程级状态）。 - amct.accuracy_based_auto_prune(...) —— 按可接受精度损失自动搜索并应用满足容差的最大剪枝率，返回 AutoTuneResult，对应量化侧 accuracy_based_auto_calibration。 - 预定义配置 *_PRUNE_CFG：CNN_RECONSTRUCT / CNN_VARIANCE / DENSE_LOWVAR / FULL_STRUCTURED / MOE_MASSVAR / MOE_OUTPUT_MERGE / SENSITIVITY_ALLOC。 size_budget_prune / prune_finetune / prune_diagnose 及菜单配置为高级接口，可从 amct_pytorch.pruning 导入，不进入 __all__。剪枝与量化为正交压缩维度：先 prune 改变形状，再 amct.quantize / amct.convert。 ### 实测参考 在 16 个从零训练模型（CNN@MNIST / Dense-LM·MoE-LM@WikiText）与真实预训练 HF 模型上测得，供评审参考： - **CNN 输出保持重建**：训练后 MNIST CNN @0.3，naive variance_channel 0.343 vs reconstruct 0.574（参数量相同）。 - **Dense-LM 1% 预算空间**：无 finetune ≈0%；单遍 finetune（lr 1e-5 + warmup）后中位 27%（最高 61%）。真实 MoE（granite-1b-a400m）同样需要 finetune（≈0% → 17%）。 - **MoE 专家判据依赖路由深度**：全局 variance 劣于 mass，仅深层用 variance（boundary=K）在多专家路由上胜过 mass（OLMoE held-ppl 46.9→35.3）；小专家路由（granite，32 专家）下菜单守卫正确回退到 mass。 - **敏感度分配依赖深度**：浅层网络（<10 层）6/6 胜，深层（≥10 层）4/19；guard='calib_nll' 在更差时回退均匀分配。 - **prune→int8 串联**：经恢复菜单剪枝的 SmolLM-135M 走完整 prune→int8→convert 流水线，ppl 1.649 → 剪枝后 1.699 → 叠加 int8 1.704。 ## 如何测试 本地运行单元测试： python -m pytest tests/amct_pytorch/test_pruning_*.py 覆盖核心剪枝、容差自动搜索、跨层敏感度分配、尺寸预算模式、MoE 输出合并、prune→quantize 串联，以及真实 HF 模型（Mixtral / Qwen3Moe / GraniteMoe / DeepseekV3 / Ernie4_5_Moe 等），全部通过。 ## 文档更新 - 新增 docs/zh/api/：prune.md、accuracy_based_auto_prune.md、size_budget_prune.md、prune_finetune.md、prune_diagnose.md、pruning_configs.md，并在 docs/zh/api/README.md 索引中登记。 - 新增示例 examples/algorithms/pruning/（dense / CNN / MoE）。 - amct_pytorch/pruning/README.md / README_en.md 增补“工作原理”走查（打分 → 剪枝 → 恢复 →（可选）量化），并配 5 张流程图（总流程、三个可剪枝的域、容差二分搜索、菜单择优、prune→quantize 串联），图片位于 amct_pytorch/pruning/figures/。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!140 | 24 天前 | |
fix：修复trust remote code默认为True的安全性问题 以及去除PureWindowsPath带来的判断错误bug Co-authored-by: SwaggyAlex<zhangyi601@huawei.com> # message auto-generated for no-merge-commit merge: !266 merge master into master fix：修复trust remote code默认为True的安全性问题 以及去除PureWindowsPath带来的判断错误bug Created-by: SwaggyAlex Commit-by: SwaggyAlex Merged-by: cann-robot Description: ## 描述 ### 1. trust_remote_code 参数调整 新增统一的 --trust_remote_code 命令行开关，使用 argparse 的 action="store_true"： - 默认值为 False，未传入该开关时不信任且不执行模型仓中的自定义代码。 - 在命令中传入 --trust_remote_code 后，该参数值为 True。 - 该开关不接收额外参数，因此 --trust_remote_code True、--trust_remote_code False 等写法会被 argparse 拒绝。 BaseModel 将该参数统一传递给 HuggingFace 的配置、分词器和模型加载接口，包括： - AutoConfig.from_pretrained - AutoTokenizer.from_pretrained - AutoModelForCausalLM.from_pretrained - AutoModelForCausalLM.from_config 当普通模型未传入 --trust_remote_code 时，程序仅记录 Warning，说明部分模型可能需要该参数才能加载自定义模型代码，不会阻止模型继续运行。 对于依赖仓内本地自定义模型代码的 DeepSeek V3.2 和 DeepSeek V4，在模型初始化阶段进行强制校验。如果未传入 --trust_remote_code，直接抛出 ValueError，提示当前模型需要通过该开关允许加载自定义代码，避免模型进入后续流程后再因配置或模型类型不匹配而失败。 ### 2. safetensors 权重路径校验调整 新增统一的 safetensors 文件收集与白名单校验逻辑。 #### 文件白名单收集 初始化权重加载流程时，扫描模型目录，收集满足以下条件的文件： - 文件必须位于模型目录的直接子层级，不递归收集子目录中的文件。 - 文件必须是普通文件，不接受目录。 - 不跟随符号链接，避免通过软链接访问模型目录外的文件。 - 文件后缀必须严格为 .safetensors。 收集结果以 frozenset 保存，并通过 safetensors_files 字段进行懒加载缓存，供同一模型加载过程重复使用。如果模型路径不是目录，或者目录下不存在符合要求的 .safetensors 文件，立即报错。 #### 权重路径解析 resolve_safetensors_path 接收模型路径、待加载文件名和已收集的文件白名单，并执行以下校验： - 文件名必须是非空字符串。 - 文件名不得包含 NUL 字符。 - 权重文件后缀必须为 .safetensors。 - 相对路径以模型目录为基准解析；绝对路径直接解析。 - 解析后的真实路径必须存在于预先收集的模型目录文件白名单中。 因此，即使传入的文件名包含 ../、绝对路径或其他路径跳转形式，只要最终文件不在模型目录白名单中，就会被拒绝。合法的绝对路径和相对路径在解析后指向白名单内的同一个权重文件时均可正常加载。 #### 权重索引校验 对于 model.safetensors.index.json 中的 weight_map，新增统一校验： - weight_map 必须为字典。 - 权重名称必须是非空字符串。 - 每个权重分片路径都必须通过 .safetensors 后缀和文件白名单校验。 该校验逻辑已接入通用模型权重加载、DeepSeek V4 分片加载以及 deploy 导出流程，防止从模型目录之外读取未授权文件。 ## 如何测试 已安装本项目所需依赖的环境下，在仓库根目录执行： bash python -m pytest tests/unit_test/cli/test_llm_args.py python -m pytest tests/unit_test/common/models/llm/common/test_weight_path_validation.py python -m pytest tests/unit_test/common/models/llm/common/test_base.py python -m pytest tests/unit_test/common/models/llm/deepseek/test_deepseek_v4.py python -m pytest tests/unit_test/quantization/test_dtypes.py ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!266 | 12 天前 | |
fix：修复trust remote code默认为True的安全性问题 以及去除PureWindowsPath带来的判断错误bug Co-authored-by: SwaggyAlex<zhangyi601@huawei.com> # message auto-generated for no-merge-commit merge: !266 merge master into master fix：修复trust remote code默认为True的安全性问题 以及去除PureWindowsPath带来的判断错误bug Created-by: SwaggyAlex Commit-by: SwaggyAlex Merged-by: cann-robot Description: ## 描述 ### 1. trust_remote_code 参数调整 新增统一的 --trust_remote_code 命令行开关，使用 argparse 的 action="store_true"： - 默认值为 False，未传入该开关时不信任且不执行模型仓中的自定义代码。 - 在命令中传入 --trust_remote_code 后，该参数值为 True。 - 该开关不接收额外参数，因此 --trust_remote_code True、--trust_remote_code False 等写法会被 argparse 拒绝。 BaseModel 将该参数统一传递给 HuggingFace 的配置、分词器和模型加载接口，包括： - AutoConfig.from_pretrained - AutoTokenizer.from_pretrained - AutoModelForCausalLM.from_pretrained - AutoModelForCausalLM.from_config 当普通模型未传入 --trust_remote_code 时，程序仅记录 Warning，说明部分模型可能需要该参数才能加载自定义模型代码，不会阻止模型继续运行。 对于依赖仓内本地自定义模型代码的 DeepSeek V3.2 和 DeepSeek V4，在模型初始化阶段进行强制校验。如果未传入 --trust_remote_code，直接抛出 ValueError，提示当前模型需要通过该开关允许加载自定义代码，避免模型进入后续流程后再因配置或模型类型不匹配而失败。 ### 2. safetensors 权重路径校验调整 新增统一的 safetensors 文件收集与白名单校验逻辑。 #### 文件白名单收集 初始化权重加载流程时，扫描模型目录，收集满足以下条件的文件： - 文件必须位于模型目录的直接子层级，不递归收集子目录中的文件。 - 文件必须是普通文件，不接受目录。 - 不跟随符号链接，避免通过软链接访问模型目录外的文件。 - 文件后缀必须严格为 .safetensors。 收集结果以 frozenset 保存，并通过 safetensors_files 字段进行懒加载缓存，供同一模型加载过程重复使用。如果模型路径不是目录，或者目录下不存在符合要求的 .safetensors 文件，立即报错。 #### 权重路径解析 resolve_safetensors_path 接收模型路径、待加载文件名和已收集的文件白名单，并执行以下校验： - 文件名必须是非空字符串。 - 文件名不得包含 NUL 字符。 - 权重文件后缀必须为 .safetensors。 - 相对路径以模型目录为基准解析；绝对路径直接解析。 - 解析后的真实路径必须存在于预先收集的模型目录文件白名单中。 因此，即使传入的文件名包含 ../、绝对路径或其他路径跳转形式，只要最终文件不在模型目录白名单中，就会被拒绝。合法的绝对路径和相对路径在解析后指向白名单内的同一个权重文件时均可正常加载。 #### 权重索引校验 对于 model.safetensors.index.json 中的 weight_map，新增统一校验： - weight_map 必须为字典。 - 权重名称必须是非空字符串。 - 每个权重分片路径都必须通过 .safetensors 后缀和文件白名单校验。 该校验逻辑已接入通用模型权重加载、DeepSeek V4 分片加载以及 deploy 导出流程，防止从模型目录之外读取未授权文件。 ## 如何测试 已安装本项目所需依赖的环境下，在仓库根目录执行： bash python -m pytest tests/unit_test/cli/test_llm_args.py python -m pytest tests/unit_test/common/models/llm/common/test_weight_path_validation.py python -m pytest tests/unit_test/common/models/llm/common/test_base.py python -m pytest tests/unit_test/common/models/llm/deepseek/test_deepseek_v4.py python -m pytest tests/unit_test/quantization/test_dtypes.py ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!266 | 12 天前 | |
fix：修复trust remote code默认为True的安全性问题 以及去除PureWindowsPath带来的判断错误bug Co-authored-by: SwaggyAlex<zhangyi601@huawei.com> # message auto-generated for no-merge-commit merge: !266 merge master into master fix：修复trust remote code默认为True的安全性问题 以及去除PureWindowsPath带来的判断错误bug Created-by: SwaggyAlex Commit-by: SwaggyAlex Merged-by: cann-robot Description: ## 描述 ### 1. trust_remote_code 参数调整 新增统一的 --trust_remote_code 命令行开关，使用 argparse 的 action="store_true"： - 默认值为 False，未传入该开关时不信任且不执行模型仓中的自定义代码。 - 在命令中传入 --trust_remote_code 后，该参数值为 True。 - 该开关不接收额外参数，因此 --trust_remote_code True、--trust_remote_code False 等写法会被 argparse 拒绝。 BaseModel 将该参数统一传递给 HuggingFace 的配置、分词器和模型加载接口，包括： - AutoConfig.from_pretrained - AutoTokenizer.from_pretrained - AutoModelForCausalLM.from_pretrained - AutoModelForCausalLM.from_config 当普通模型未传入 --trust_remote_code 时，程序仅记录 Warning，说明部分模型可能需要该参数才能加载自定义模型代码，不会阻止模型继续运行。 对于依赖仓内本地自定义模型代码的 DeepSeek V3.2 和 DeepSeek V4，在模型初始化阶段进行强制校验。如果未传入 --trust_remote_code，直接抛出 ValueError，提示当前模型需要通过该开关允许加载自定义代码，避免模型进入后续流程后再因配置或模型类型不匹配而失败。 ### 2. safetensors 权重路径校验调整 新增统一的 safetensors 文件收集与白名单校验逻辑。 #### 文件白名单收集 初始化权重加载流程时，扫描模型目录，收集满足以下条件的文件： - 文件必须位于模型目录的直接子层级，不递归收集子目录中的文件。 - 文件必须是普通文件，不接受目录。 - 不跟随符号链接，避免通过软链接访问模型目录外的文件。 - 文件后缀必须严格为 .safetensors。 收集结果以 frozenset 保存，并通过 safetensors_files 字段进行懒加载缓存，供同一模型加载过程重复使用。如果模型路径不是目录，或者目录下不存在符合要求的 .safetensors 文件，立即报错。 #### 权重路径解析 resolve_safetensors_path 接收模型路径、待加载文件名和已收集的文件白名单，并执行以下校验： - 文件名必须是非空字符串。 - 文件名不得包含 NUL 字符。 - 权重文件后缀必须为 .safetensors。 - 相对路径以模型目录为基准解析；绝对路径直接解析。 - 解析后的真实路径必须存在于预先收集的模型目录文件白名单中。 因此，即使传入的文件名包含 ../、绝对路径或其他路径跳转形式，只要最终文件不在模型目录白名单中，就会被拒绝。合法的绝对路径和相对路径在解析后指向白名单内的同一个权重文件时均可正常加载。 #### 权重索引校验 对于 model.safetensors.index.json 中的 weight_map，新增统一校验： - weight_map 必须为字典。 - 权重名称必须是非空字符串。 - 每个权重分片路径都必须通过 .safetensors 后缀和文件白名单校验。 该校验逻辑已接入通用模型权重加载、DeepSeek V4 分片加载以及 deploy 导出流程，防止从模型目录之外读取未授权文件。 ## 如何测试 已安装本项目所需依赖的环境下，在仓库根目录执行： bash python -m pytest tests/unit_test/cli/test_llm_args.py python -m pytest tests/unit_test/common/models/llm/common/test_weight_path_validation.py python -m pytest tests/unit_test/common/models/llm/common/test_base.py python -m pytest tests/unit_test/common/models/llm/deepseek/test_deepseek_v4.py python -m pytest tests/unit_test/quantization/test_dtypes.py ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!266 | 12 天前 | |
fix：修复trust remote code默认为True的安全性问题 以及去除PureWindowsPath带来的判断错误bug Co-authored-by: SwaggyAlex<zhangyi601@huawei.com> # message auto-generated for no-merge-commit merge: !266 merge master into master fix：修复trust remote code默认为True的安全性问题 以及去除PureWindowsPath带来的判断错误bug Created-by: SwaggyAlex Commit-by: SwaggyAlex Merged-by: cann-robot Description: ## 描述 ### 1. trust_remote_code 参数调整 新增统一的 --trust_remote_code 命令行开关，使用 argparse 的 action="store_true"： - 默认值为 False，未传入该开关时不信任且不执行模型仓中的自定义代码。 - 在命令中传入 --trust_remote_code 后，该参数值为 True。 - 该开关不接收额外参数，因此 --trust_remote_code True、--trust_remote_code False 等写法会被 argparse 拒绝。 BaseModel 将该参数统一传递给 HuggingFace 的配置、分词器和模型加载接口，包括： - AutoConfig.from_pretrained - AutoTokenizer.from_pretrained - AutoModelForCausalLM.from_pretrained - AutoModelForCausalLM.from_config 当普通模型未传入 --trust_remote_code 时，程序仅记录 Warning，说明部分模型可能需要该参数才能加载自定义模型代码，不会阻止模型继续运行。 对于依赖仓内本地自定义模型代码的 DeepSeek V3.2 和 DeepSeek V4，在模型初始化阶段进行强制校验。如果未传入 --trust_remote_code，直接抛出 ValueError，提示当前模型需要通过该开关允许加载自定义代码，避免模型进入后续流程后再因配置或模型类型不匹配而失败。 ### 2. safetensors 权重路径校验调整 新增统一的 safetensors 文件收集与白名单校验逻辑。 #### 文件白名单收集 初始化权重加载流程时，扫描模型目录，收集满足以下条件的文件： - 文件必须位于模型目录的直接子层级，不递归收集子目录中的文件。 - 文件必须是普通文件，不接受目录。 - 不跟随符号链接，避免通过软链接访问模型目录外的文件。 - 文件后缀必须严格为 .safetensors。 收集结果以 frozenset 保存，并通过 safetensors_files 字段进行懒加载缓存，供同一模型加载过程重复使用。如果模型路径不是目录，或者目录下不存在符合要求的 .safetensors 文件，立即报错。 #### 权重路径解析 resolve_safetensors_path 接收模型路径、待加载文件名和已收集的文件白名单，并执行以下校验： - 文件名必须是非空字符串。 - 文件名不得包含 NUL 字符。 - 权重文件后缀必须为 .safetensors。 - 相对路径以模型目录为基准解析；绝对路径直接解析。 - 解析后的真实路径必须存在于预先收集的模型目录文件白名单中。 因此，即使传入的文件名包含 ../、绝对路径或其他路径跳转形式，只要最终文件不在模型目录白名单中，就会被拒绝。合法的绝对路径和相对路径在解析后指向白名单内的同一个权重文件时均可正常加载。 #### 权重索引校验 对于 model.safetensors.index.json 中的 weight_map，新增统一校验： - weight_map 必须为字典。 - 权重名称必须是非空字符串。 - 每个权重分片路径都必须通过 .safetensors 后缀和文件白名单校验。 该校验逻辑已接入通用模型权重加载、DeepSeek V4 分片加载以及 deploy 导出流程，防止从模型目录之外读取未授权文件。 ## 如何测试 已安装本项目所需依赖的环境下，在仓库根目录执行： bash python -m pytest tests/unit_test/cli/test_llm_args.py python -m pytest tests/unit_test/common/models/llm/common/test_weight_path_validation.py python -m pytest tests/unit_test/common/models/llm/common/test_base.py python -m pytest tests/unit_test/common/models/llm/deepseek/test_deepseek_v4.py python -m pytest tests/unit_test/quantization/test_dtypes.py ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!266 | 12 天前 | |
fix：修复trust remote code默认为True的安全性问题 以及去除PureWindowsPath带来的判断错误bug Co-authored-by: SwaggyAlex<zhangyi601@huawei.com> # message auto-generated for no-merge-commit merge: !266 merge master into master fix：修复trust remote code默认为True的安全性问题 以及去除PureWindowsPath带来的判断错误bug Created-by: SwaggyAlex Commit-by: SwaggyAlex Merged-by: cann-robot Description: ## 描述 ### 1. trust_remote_code 参数调整 新增统一的 --trust_remote_code 命令行开关，使用 argparse 的 action="store_true"： - 默认值为 False，未传入该开关时不信任且不执行模型仓中的自定义代码。 - 在命令中传入 --trust_remote_code 后，该参数值为 True。 - 该开关不接收额外参数，因此 --trust_remote_code True、--trust_remote_code False 等写法会被 argparse 拒绝。 BaseModel 将该参数统一传递给 HuggingFace 的配置、分词器和模型加载接口，包括： - AutoConfig.from_pretrained - AutoTokenizer.from_pretrained - AutoModelForCausalLM.from_pretrained - AutoModelForCausalLM.from_config 当普通模型未传入 --trust_remote_code 时，程序仅记录 Warning，说明部分模型可能需要该参数才能加载自定义模型代码，不会阻止模型继续运行。 对于依赖仓内本地自定义模型代码的 DeepSeek V3.2 和 DeepSeek V4，在模型初始化阶段进行强制校验。如果未传入 --trust_remote_code，直接抛出 ValueError，提示当前模型需要通过该开关允许加载自定义代码，避免模型进入后续流程后再因配置或模型类型不匹配而失败。 ### 2. safetensors 权重路径校验调整 新增统一的 safetensors 文件收集与白名单校验逻辑。 #### 文件白名单收集 初始化权重加载流程时，扫描模型目录，收集满足以下条件的文件： - 文件必须位于模型目录的直接子层级，不递归收集子目录中的文件。 - 文件必须是普通文件，不接受目录。 - 不跟随符号链接，避免通过软链接访问模型目录外的文件。 - 文件后缀必须严格为 .safetensors。 收集结果以 frozenset 保存，并通过 safetensors_files 字段进行懒加载缓存，供同一模型加载过程重复使用。如果模型路径不是目录，或者目录下不存在符合要求的 .safetensors 文件，立即报错。 #### 权重路径解析 resolve_safetensors_path 接收模型路径、待加载文件名和已收集的文件白名单，并执行以下校验： - 文件名必须是非空字符串。 - 文件名不得包含 NUL 字符。 - 权重文件后缀必须为 .safetensors。 - 相对路径以模型目录为基准解析；绝对路径直接解析。 - 解析后的真实路径必须存在于预先收集的模型目录文件白名单中。 因此，即使传入的文件名包含 ../、绝对路径或其他路径跳转形式，只要最终文件不在模型目录白名单中，就会被拒绝。合法的绝对路径和相对路径在解析后指向白名单内的同一个权重文件时均可正常加载。 #### 权重索引校验 对于 model.safetensors.index.json 中的 weight_map，新增统一校验： - weight_map 必须为字典。 - 权重名称必须是非空字符串。 - 每个权重分片路径都必须通过 .safetensors 后缀和文件白名单校验。 该校验逻辑已接入通用模型权重加载、DeepSeek V4 分片加载以及 deploy 导出流程，防止从模型目录之外读取未授权文件。 ## 如何测试 已安装本项目所需依赖的环境下，在仓库根目录执行： bash python -m pytest tests/unit_test/cli/test_llm_args.py python -m pytest tests/unit_test/common/models/llm/common/test_weight_path_validation.py python -m pytest tests/unit_test/common/models/llm/common/test_base.py python -m pytest tests/unit_test/common/models/llm/deepseek/test_deepseek_v4.py python -m pytest tests/unit_test/quantization/test_dtypes.py ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 代码重构 - [ ] 其他，请描述： See merge request: cann/amct!266 | 12 天前 |
简介
本项目提供了不同场景的调用样例，搭建完环境后，可以根据实际场景尝试运行：
| 样例 | 算法 | 说明 |
|---|---|---|
| 使用MIN-MAX算法量化模型 | Min-Max | 基于极值的简单量化，入门首选 |
| 使用AWQ算法量化模型 | AWQ | 激活感知的权重量化，适合大模型 PTQ |
| 使用GPTQ算法量化模型 | GPTQ | 基于二阶信息的权重量化，逐层优化 |
| 使用SmoothQuant算法量化模型 | SmoothQuant | 平滑激活分布的 W8A8 量化 |
| 使用Cast直转算法量化模型 | Cast | HiFloat8 数据直转 |
| 使用Quantile算法量化模型 | Quantile | HiFloat8 分位量化 |
| 使用ofmr算法量化模型 | OFMR | 输出特征 Min-Max 量化 |
| 使用mxquant算法量化模型 | MXQuant | 微缩浮点量化（MXFP8/MXFP4） |
| 使用FlatQuant算法量化模型（试验特性） | FlatQuant | 通过仿射变换平整化分布的量化 |
| 使用结构化剪枝压缩模型 | Pruning | dense FFN / CNN 通道 / MoE 专家 结构化剪枝 |
注意：标注"试验特性"的样例依赖
amct_pytorch/experimental/目录下的内容，需使用bash build.sh --torch --experimental（或--pkg --experimental）构建安装包后方可使用。