本研究旨在解决全切片图像（WSIs）的千兆像素规模对组织病理学多模态聊天机器人的挑战，这需要对WSI进行全局分析以进行诊断，并从不同的WSI补丁中综合证据。目前通过大型语言模型生成的视觉指令数据集主要关注创建单个图像补丁的问题/答案对，这在组织病理学中可能缺乏单独的诊断能力，并且由于缺少组织病理学图像标题中的空间定位而变得更加复杂。为了弥补这一差距，我们引入了Quilt-Instruct，这是一个大规模的组织病理学特定指令问题/答案对数据集，共107,131对，通过利用YouTube上的教育性组织病理学视频收集而来，该视频通过自动提取解说者的光标移动提供了标题的空间定位。此外，我们通过从整个视频内容中提取诊断和支持事实来提供上下文推理，以指导GPT-4的外推推理。使用Quilt-Instruct，我们训练了Quilt-LLaVA，它能够超越给定的单个图像补丁进行推理，实现诊断推理和空间感知能力。为了评估Quilt-LLaVA，我们从一个包含985个图像和1283个人工生成的问题-答案对的综合评估数据集中提出并进行了评估。我们还在公共组织病理学数据集上对Quilt-LLaVA进行了彻底评估，其中Quilt-LLaVA在相对GPT-4得分上显著优于最先进技术（SOTA）超过10%，在开放和封闭集VQA上分别提高了4%和9%。 arXiv:https://arxiv.org/abs/2312.04746 github:https://github.com/aldraus/quilt-llava
项目介绍
本研究旨在解决全切片图像（WSIs）的千兆像素规模对组织病理学多模态聊天机器人的挑战，这需要对WSI进行全局分析以进行诊断，并从不同的WSI补丁中综合证据。目前通过大型语言模型生成的视觉指令数据集主要关注创建单个图像补丁的问题/答案对，这在组织病理学中可能缺乏单独的诊断能力，并且由于缺少组织病理学图像标题中的空间定位而变得更加复杂。为了弥补这一差距，我们引入了Quilt-Instruct，这是一个大规模的组织病理学特定指令问题/答案对数据集，共107,131对，通过利用YouTube上的教育性组织病理学视频收集而来，该视频通过自动提取解说者的光标移动提供了标题的空间定位。此外，我们通过从整个视频内容中提取诊断和支持事实来提供上下文推理，以指导GPT-4的外推推理。使用Quilt-Instruct，我们训练了Quilt-LLaVA，它能够超越给定的单个图像补丁进行推理，实现诊断推理和空间感知能力。为了评估Quilt-LLaVA，我们从一个包含985个图像和1283个人工生成的问题-答案对的综合评估数据集中提出并进行了评估。我们还在公共组织病理学数据集上对Quilt-LLaVA进行了彻底评估，其中Quilt-LLaVA在相对GPT-4得分上显著优于最先进技术（SOTA）超过10%，在开放和封闭集VQA上分别提高了4%和9%。 arXiv:https://arxiv.org/abs/2312.04746 github:https://github.com/aldraus/quilt-llava
定制我的领域