图像修复是多个实际应用中的一个关键任务，如对象移除和图像编辑。基于深度GAN的模型极大地提高了修复性能，可以在空洞内的结构和纹理方面进行修复，但也可能会产生意外的伪影，如断裂的结构或颜色斑块。用户感知到这些伪影来评估修复模型的有效性，并在典型的修复工作流中对这些不完美的区域进行润色，以便再次修复。受此工作流程的启发，我们提出了一个新的学习任务，即自动分割修复感知伪影，并将该模型应用于修复模型的评估和迭代细化。具体地，我们首先通过手动注释最先进的修复模型结果中的感知伪影构建了一个新的修复伪影数据集。然后，我们在这个数据集上训练先进的分割网络，可靠地定位修复图像内的伪影。其次，我们提出了一个新的可解释评估指标，称为感知伪影比率（PAR），它是可抗拒修复区域与整个修复区域的比率。PAR与真实用户偏好之间存在强烈的相关性。最后，我们进一步将生成的掩码应用于迭代图像修复，将我们的方法与多个最新的修复方法结合起来。广泛的实验证明，在不同的方法中，伪影区域的减少和修复质量的提高是一致的。 paper:https://arxiv.org/abs/2208.03357 code:https://github.com/owenzlz/PAL4Inpaint
项目介绍
图像修复是多个实际应用中的一个关键任务，如对象移除和图像编辑。基于深度GAN的模型极大地提高了修复性能，可以在空洞内的结构和纹理方面进行修复，但也可能会产生意外的伪影，如断裂的结构或颜色斑块。用户感知到这些伪影来评估修复模型的有效性，并在典型的修复工作流中对这些不完美的区域进行润色，以便再次修复。受此工作流程的启发，我们提出了一个新的学习任务，即自动分割修复感知伪影，并将该模型应用于修复模型的评估和迭代细化。具体地，我们首先通过手动注释最先进的修复模型结果中的感知伪影构建了一个新的修复伪影数据集。然后，我们在这个数据集上训练先进的分割网络，可靠地定位修复图像内的伪影。其次，我们提出了一个新的可解释评估指标，称为感知伪影比率（PAR），它是可抗拒修复区域与整个修复区域的比率。PAR与真实用户偏好之间存在强烈的相关性。最后，我们进一步将生成的掩码应用于迭代图像修复，将我们的方法与多个最新的修复方法结合起来。广泛的实验证明，在不同的方法中，伪影区域的减少和修复质量的提高是一致的。 paper:https://arxiv.org/abs/2208.03357 code:https://github.com/owenzlz/PAL4Inpaint
定制我的领域