# Sample messages for batch inference
messages1 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "file:///path/to/image1.jpg"},
            {"type": "image", "image": "file:///path/to/image2.jpg"},
            {"type": "text", "text": "What are the common elements in these pictures?"},
        ],
    }
]
messages2 = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Who are you?"},
]
# Combine messages for batch processing
messages = [messages1, messages1]

# Preparation for batch inference
texts = [
    processor.apply_chat_template(msg, tokenize=False, add_generation_prompt=True)
    for msg in messages
]
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=texts,
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

# Batch Inference
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_texts = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_texts)

更多使用技巧

对于输入的图片，我们支持本地文件、base64 编码以及 URL 链接。而对于视频，目前我们仅支持本地文件。

# You can directly insert a local file path, a URL, or a base64-encoded image into the position where you want in the text.
## Local file path
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "file:///path/to/your/image.jpg"},
            {"type": "text", "text": "Describe this image."},
        ],
    }
]
## Image URL
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "http://path/to/your/image.jpg"},
            {"type": "text", "text": "Describe this image."},
        ],
    }
]
## Base64 encoded image
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "data:image;base64,/9j/..."},
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

图像分辨率对性能提升的影响

该模型支持多种分辨率输入。默认情况下，它采用原生分辨率作为输入，但更高的分辨率可以在增加计算成本的同时提升性能。用户可以根据需求设置像素的最小和最大值，以实现最佳配置，例如设置256-1280的token数量范围，从而在速度和内存使用之间取得平衡。

min_pixels = 256 * 28 * 28
max_pixels = 1280 * 28 * 28
processor = AutoProcessor.from_pretrained(
    "Qwen/Qwen2-VL-72B-Instruct-AWQ", min_pixels=min_pixels, max_pixels=max_pixels
)

除此之外，我们提供了两种精细控制输入模型图像大小的方法：

1. 定义min_pixels和max_pixels：图像将被调整大小以保持其在min_pixels和max_pixels范围内的长宽比。

2. 指定确切尺寸：直接设置resized_height和resized_width。这些值将被四舍五入到最接近的28的倍数。

# min_pixels and max_pixels
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "file:///path/to/your/image.jpg",
                "resized_height": 280,
                "resized_width": 420,
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]
# resized_height and resized_width
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "file:///path/to/your/image.jpg",
                "min_pixels": 50176,
                "max_pixels": 50176,
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

局限性

尽管 Qwen2-VL 适用于多种视觉任务，但了解其局限性同样重要。以下是一些已知的限制：

1. 缺乏音频支持：当前模型无法理解视频中的音频信息。
2. 数据时效性：我们的图像数据集更新至2023年6月，此日期之后的信息可能未涵盖。
3. 个体与知识产权（IP）识别的局限性：模型在识别特定个体或知识产权方面的能力有限，可能无法全面覆盖所有知名人物或品牌。
4. 复杂指令处理能力有限：面对复杂的多步骤指令时，模型的理解和执行能力有待提升。
5. 计数准确性不足：特别是在复杂场景中，对象计数的准确性不高，需要进一步改进。
6. 空间推理能力较弱：尤其是在三维空间中，模型对物体位置关系的推理能力不足，难以精确判断物体间的相对位置。

这些局限性为模型的持续优化和改进提供了方向，我们将致力于不断提升模型的性能和应用范围。

引用

如果您发现我们的工作对您有帮助，欢迎引用。

@article{Qwen2VL,
  title={Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution},
  author={Wang, Peng and Bai, Shuai and Tan, Sinan and Wang, Shijie and Fan, Zhihao and Bai, Jinze and Chen, Keqin and Liu, Xuejing and Wang, Jialin and Ge, Wenbin and Fan, Yang and Dang, Kai and Du, Mengfei and Ren, Xuancheng and Men, Rui and Liu, Dayiheng and Zhou, Chang and Zhou, Jingren and Lin, Junyang},
  journal={arXiv preprint arXiv:2409.12191},
  year={2024}
}

@article{Qwen-VL,
  title={Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond},
  author={Bai, Jinze and Bai, Shuai and Yang, Shusheng and Wang, Shijie and Tan, Sinan and Wang, Peng and Lin, Junyang and Zhou, Chang and Zhou, Jingren},
  journal={arXiv preprint arXiv:2308.12966},
  year={2023}
}

# 专业翻译服务

## 服务概述
我们提供高质量的文本翻译服务，旨在满足不同领域的专业需求。无论是技术文档、法律文件还是市场营销材料，我们的团队都能确保翻译的准确性和流畅性。

## 服务特点
- **通俗易懂**：我们致力于将复杂的术语转化为易于理解的语言，确保信息传递的清晰性。
- **专业精准**：我们的翻译团队由经验丰富的专业人士组成，能够准确传达原文的专业性和严谨性。
- **优雅流畅**：我们注重语言的优美和表达的流畅性，使翻译文本不仅准确，而且具有良好的阅读体验。

## 服务流程
1. **需求分析**：与客户沟通，了解翻译的具体需求和目标。
2. **文本评估**：对原文进行详细分析，确定翻译的难度和所需时间。
3. **翻译执行**：由专业翻译人员进行文本翻译，确保质量。
4. **校对审核**：经过多轮校对和审核，确保翻译的准确性和一致性。
5. **交付反馈**：将最终翻译文本交付给客户，并收集反馈以持续改进服务质量。

## 适用领域
- **技术文档**：包括用户手册、技术规范、软件本地化等。
- **法律文件**：如合同、协议、诉讼文件等。
- **市场营销**：广告文案、产品介绍、品牌故事等。
- **医学与生命科学**：研究报告、临床试验、药品说明书等。

## 联系我们
如有任何翻译需求或疑问，请随时联系我们的客户服务团队。我们期待为您提供卓越的翻译服务体验。