CANN_LM_Engine

介绍

CANN LM Engine 是基于CANN Kit大模型推理解决方案，CANN LM Engine调用CANN的模型加速能力，通过CANN 软硬协同实现最佳的大模型性能、能效、内存、系统占用。

CANN LM Engine 组件

• CANN LM Engine：CANN LM Engine为大模型业务提供计算链路的加速封装，提供计算加速服务和API接口。
• CANN 工具链：提供模型转换、量化、Ascend C等工具链。
• CANN LM Engine DEMO：提供端到端调用DEMO参考范例。
• CANN 硬件：基于NPU/GPU/CPU 加速。

使用说明

CANN LM Engine 提供了端到端的业务集成指导手册，基于该手册，可以快速将业务部署到CANN硬件，获取最佳的业务性能，功耗收益。

快速入门

CANN LLM大语言模型解决方案基于CANN硬件加速能力，提供高性能，低功耗的运行LLM模型，助力用户基于CANN硬件环境，获得更好的用户体验
用户通过如下的pipeline完成LLM模型在CANN硬件环境上的集成：

• Step1 ：LLM模型量化；输入是用户原始模型，输出是量化后权重和量化系数文件。
• Step2 ：将模型结构导出到ONNX格式，输入是原始模型结构和step1的量化权重，输出是ONNX模型及模型结构NPU亲和适配。
• Step3 : 将ONNX模型转换为CANN模型结构格式；输入是step2的ONNX模型和step1的量化系数文件，输出是CANN格式定义模型。
• Step4 : 基于CANN LLMEngine集成LLM模型。

联系我们

当前demo处在实验室版本中，如果你感兴趣，可以联系我们hiaifoundation@huawei.com。