🔥 最新动态

• [2026/08/07] 新增结构化剪枝（amct_pytorch.pruning），支持 MoE 专家 / Dense FFN / CNN 通道剪枝，并提供 Qwen3.6-MoE 结构化剪枝 的一站式单卡样例
• [2026/05/28] 新增当前主流 LLM 网络量化、PTQ 算法支持，并提供 DeepSeek-V4 和 Qwen3.6-MoE 的一站式样例
• [2026/04/24] 新增 DeepSeek-V4 模型 INT8 量化支持
• [2026/04/17] 新增 HiFloat8 分位量化（Quantile）算法
• [2026/03/02] 新增 HiFloat8 数据直转（Cast）算法
• [2026/02/02] 新增 HiFloat8 / MXFP8 / MXFP4 数据量化
• [2025/12/22] AMCT 项目首次上线 🎉

🚀 概述

AMCT 是昇腾 NPU 原生的模型量化压缩工具。量化后模型体积减小，在昇腾 NPU 上启用低比特运算，显著提升推理性能。部署架构如下：

亮点为：

• 🎯 硬件亲和 —— 量化结果直接对接昇腾 NPU 低比特运算单元
• 🔢 多精度全栈 —— INT8 / INT4 / MXFP8 / MXFP4 / HiFloat8 任选
• 🚀 大模型就绪 —— 原生支持 DeepSeek-V3.2 / V4 等前沿模型

✨ 核心特性

📊 性能收益

量化显著降低部署成本：

📦 快速开始

环境要求

⚠️ 使用 NPU 加速后端时，请安装 CPU 版 PyTorch 后再安装配套 torch_npu，不要在同一环境中混用非 CPU 版 PyTorch 与 torch_npu。

完整环境部署请参见 快速安装。

安装&验证

# 1. 拉取源码并安装依赖
git clone https://gitcode.com/cann/amct.git
cd amct
pip3 install -r requirements.txt

# 2. 源码构建打包
bash build.sh --torch

# 3. 安装（产物位于 build_out/）
#    ${version} 从 build_out/ 目录中的文件名获取，如 amct_pytorch-1.1.0-py3-none-linux_aarch64.tar.gz
#    ${arch}    为 CPU 架构，如 x86_64、aarch64
pip3 install build_out/amct_pytorch-${version}-py3-none-linux_${arch}.tar.gz --user

⚠️ 注意：若使用 --no-build-isolation 安装，pip 不会自动安装构建依赖； 请先执行 pip install wheel，再追加 --no-build-isolation 安装产物包，否则可能出现 error: invalid command 'bdist_wheel'。

# 验证 AMCT 安装
python3 -c "import torch; assert '+cpu' in torch.__version__, 'must use CPU torch for NPU path'"
python3 -c "import amct_pytorch as amct; print(f'successfully installed AMCT ')"

更多构建选项与本地验证请参见 构建指南。

🏃 一站式平台快速体验

「一站式平台」是为开发者提供的 NPU 环境，内部已集成完整的 CANN 环境，可以直接使用。AMCT 针对该平台在相应样例 README 中提供了简化的「快速启动」路径，帮助用户最小步骤完成 NPU 推理体验。当前支持的模型正在持续扩展中，敬请关注：

📖 文档样例

🔍 目录结构

amct/
├── amct_pytorch/                  # PyTorch 量化压缩核心源码
│   ├── algorithms/                 # 量化算法实现
│   ├── cli/                        # 命令行入口
│   ├── common/                     # 通用工具、模型和数据处理
│   ├── configs/                    # 量化配置模板
│   ├── experimental/               # 实验特性（HiFloat8、DeepSeek 等）
│   ├── pruning/                    # 结构化剪枝
│   ├── quantization/               # 量化数据类型与基础模块
│   └── workflows/                  # LLM 量化、评估和部署流程
├── amct_ops/                      # AMCT 自定义 NPU 算子
├── examples/                      # 端到端样例与调用示例
├── tests/                         # 单元测试
├── docs/                          # 工具文档（概念、API、算法等）
├── cmake/                         # CMake 构建配置
├── build.sh                       # 工程编译脚本
├── setup.py                       # Python 包打包入口
└── requirements.txt               # Python 第三方依赖

❓ 常见问题

# 方案 1：降低 pip 版本
pip install pip==25.2

# 方案 2：先安装 wheel，再添加 --no-build-isolation
pip install wheel
pip3 install build_out/amct_pytorch-${version}-py3-none-linux_${arch}.tar.gz --user --no-build-isolation

更多问题请查阅 压缩特性文档 或在 Issue 中提问。

💬 社区讨论

欢迎加入 AMCT 社区，参与讨论与交流：

🤝 参与贡献

欢迎贡献代码、算法与文档，详见 贡献指南：

• 简单 bug 修复：直接提交 PR
• 新特性 / 接口变更：先在 Issue 中讨论方案，达成共识后再提交 PR
• 代码风格：C/C++ 遵循 Google 规范（基于 .clang-format），Python 遵循 PEP8；提交前启用 pre-commit

🙏 致谢

感谢所有为 AMCT 做出贡献的开发者！

本项目受启发于以下开源项目：

• AWQ - 激活感知权重量化
• GPTQ - GPTQ 实现参考
• SmoothQuant - 平滑激活量化
• FlatQuant - 矩阵平坦量化

📝 许可证

本项目基于 Apache 2.0 协议开源。使用前请阅读 安全声明 与 免责声明。