视频生成领域取得了重大进展，但评估这些模型仍然是一个挑战。一个全面的用于视频生成的评估基准测试对于两个原因至关重要：1）现有指标并不完全符合人类感知；2）理想的评估系统应该提供有助于未来视频生成发展的见解。为此，我们提出了VBench，这是一个全面的基准测试套件，将“视频生成质量”分解为具体、层次化和分离的维度，每个维度都有量身定制的提示和评估方法。VBench具有三个吸引人的特性：1）全面维度：VBench包含视频生成的16个维度（例如，主题身份不一致性、运动平滑性、时间闪烁和空间关系等）。具有细粒度水平的评估指标揭示了各个模型的优势和劣势。2）人类对齐：我们还提供了一个人类偏好注释数据集，以验证我们的基准测试与人类感知的一致性，分别对应每个评估维度。3）有价值的见解：我们研究了当前模型在各种评估维度和不同类型的内容上的能力。我们还调查了视频和图像生成模型之间的差距。我们将开源VBench，包括所有提示、评估方法、生成的视频和人类偏好注释，并且还会将更多的视频生成模型纳入VBench，以推动视频生成领域的发展。 arXiv:https://arxiv.org/abs/2311.17982 github:https://github.com/Vchitect/VBench
项目介绍
视频生成领域取得了重大进展，但评估这些模型仍然是一个挑战。一个全面的用于视频生成的评估基准测试对于两个原因至关重要：1）现有指标并不完全符合人类感知；2）理想的评估系统应该提供有助于未来视频生成发展的见解。为此，我们提出了VBench，这是一个全面的基准测试套件，将“视频生成质量”分解为具体、层次化和分离的维度，每个维度都有量身定制的提示和评估方法。VBench具有三个吸引人的特性：1）全面维度：VBench包含视频生成的16个维度（例如，主题身份不一致性、运动平滑性、时间闪烁和空间关系等）。具有细粒度水平的评估指标揭示了各个模型的优势和劣势。2）人类对齐：我们还提供了一个人类偏好注释数据集，以验证我们的基准测试与人类感知的一致性，分别对应每个评估维度。3）有价值的见解：我们研究了当前模型在各种评估维度和不同类型的内容上的能力。我们还调查了视频和图像生成模型之间的差距。我们将开源VBench，包括所有提示、评估方法、生成的视频和人类偏好注释，并且还会将更多的视频生成模型纳入VBench，以推动视频生成领域的发展。 arXiv:https://arxiv.org/abs/2311.17982 github:https://github.com/Vchitect/VBench
定制我的领域