AMCT
【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct
🔥Latest News
- [2025/4/24] 支持将deepseekv4模型量化为int8。
- [2025/4/17] 支持HiFloat8分位量化（quantile）算法。
- [2025/3/2] 支持HiFloat8数据直转（cast）算法。
- [2025/2/2] 支持HiFloat8/FP8/FP4数据量化。
- [2025/12/22] AMCT项目首次上线。
🚀概述
AMCT（Ascend Model Compression Toolkit，简称AMCT）是一款昇腾AI处理器亲和的深度学习模型压缩工具包，提供多种模型量化压缩特性。压缩后模型体积变小，部署到昇腾AI处理器可使能低比特运算，提高计算效率，达到性能提升的目标。AMCT部署架构图如下：
🔍目录结构
├── docs # AMCT工具文档介绍 ├── README.md ├── build.sh # 工程编译脚本 ├── requirements.txt # 环境搭建需要的第三方依赖包 ├── amct_pytorch # 源码 ├── npu_ops # 算法对应的算子代码 ├── examples # 端到端样例开发和调用示例 └── tests # 测试工程目录⚡️快速开始
若您希望快速体验该工具的使用和样例执行，请访问如下文档获取简易教程：
- 构建验证：介绍工具的完整构建、测试样例运行流程。
- 样例执行：介绍如何端到端执行样例代码。
📖学习教程
若您希望深入了解AMCT工具的使用方法，请参见介绍：
- 压缩概念介绍：介绍压缩特性相关的概念，比如什么是量化，什么是稀疏等。
- 压缩特性介绍：介绍AMCT工具支持的压缩特性。
- 压缩接口介绍：介绍使用的压缩接口。
- 压缩算法介绍：介绍AMCT压缩过程中使用的算法，比如AWQ、GPTQ等。
📝相关信息
- 贡献指南
- 安全声明
- 许可证
【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
