可在本地部署 Gemma2 模型并实现 NPU 加速推理，支持对话功能。核心功能包括模型环境配置、NPU 加速优化及对话交互，通过简单配置即可快速启动本地对话服务。【此简介由AI生成】
当前项目代码仓暂无内容
此代码库是将gemma2模型部署到本地，并使用npu加速推理的历程
首先参照文档： 下载模型并且安装好pytorch和torch_npu，
然后把此代码仓库下载到你的模型所在文件夹，使用pip install -r requirement.txt把requirement.txt中的库安装到你的环境中。
最后修改gemma2_npu.py文件中的npu编号和模型路径，使用python gemma2_npu.py你就可以可gemma2对话了