JanusPro 使用指南
环境安装
【模型开发时推荐使用配套的环境版本】
请参考安装指南
1. 仓库拉取
git clone --branch 26.0.0 https://gitcode.com/Ascend/MindSpeed-MM.git
git clone https://github.com/deepseek-ai/Janus.git
cd MindSpeed-MM
mkdir ckpt
cd ..
cp -r ./Janus ./MindSpeed-MM/examples/JanusPro
2. 环境搭建
对./examples/JanusPro/Janus中的pyproject.toml文件的dependencies做如下修改：
- torch==2.7.1
- numpy==1.26.4
- 增加依赖：decorator
- 增加依赖：scipy
- 增加依赖：attrs
# python3.10
conda create -n test python=3.10
conda activate test
# 安装 torch 和 torch_npu，注意要选择对应python版本、x86或arm的torch、torch_npu及apex包
# 下载路径参考 https://www.hiascend.com/document/detail/zh/Pytorch/60RC3/configandinstg/instg/insg_0001.html
pip install torch-2.7.1-cp310-cp310-manylinux_2_28_aarch64.whl
pip install torch_npu-2.7.1*-cp310-cp310-manylinux_2_28_aarch64.whl
# 安装JanusPro依赖库
cd MindSpeed-MM/examples/JanusPro/Janus
pip install -e .
cd ..
权重下载
1. 权重下载
从Hugging Face库下载对应的模型权重:
- 模型地址: JanusPro-7B；
将下载的模型权重保存到本地的ckpt/JanusPro-7B/目录下。
图像理解
1. 准备工作
配置脚本前需要完成前置准备工作，包括：环境安装、权重下载，详情可查看对应章节。
2. 配置参数
在multimodal_understanding.sh中修改需要传入的参数，model_path, image_path与question，分别表示模型权重保存位置，图片位置与针对传入图片的问题。 同时还需要修改"trust_remote_code"为true。为保证代码安全，配置trust_remote_code默认为False，用户需要设置为True，并且确保自己下载的模型和数据的安全性。
另外还需设置CANN包安装位置。
source /usr/local/Ascend/cann/set_env.sh
3. 启动脚本
cd ./examples/JanusPro/
bash multimodal_understanding.sh
即可得到推理结果。
推理结果示例： 以examples/qwen2vl/demo.jpg为输入图片，question为“Describe this image”，得到的推理结果为：
The image shows a person sitting on a sandy beach, interacting with a dog.
The person is wearing a checkered skirt and dark pants, and the dog,
which appears to be a Labrador Retriever, is sitting on its hind legs,
reaching out with its front paws towards the person. The sun is setting,
casting a warm glow over the screen.