实践中的盲图像去噪：通过Swin-Conv-UNet与数据合成实现

• ArXiv论文
• 在线演示
• 已发表论文

以下成果完全基于我们的SCUNet使用纯合成训练数据获得！

• 我们在训练中未使用DND和SIDD的配对噪声/清晰图像！

Swin-Conv-UNet（SCUNet）去噪网络

SCUNet提出的去噪网络结构，利用了swin-conv(SC)块作为UNet骨架的主要构建模块。每个SC块中，输入先经过1×1卷积，然后平均分成两个特征图组，分别馈入一个Swin变换器(SwinT)块和一个残差3×3卷积(RConv)块；之后，SwinT块和RConv块的输出被拼接，并通过1×1卷积产生输入的残差。“SConv”和“TConv”分别表示步长为2的2×2卷积和步长为2的2×2转置卷积。

针对真实图像去噪的新数据合成流水线

提出的一对训练补丁合成流程示意图。对于高质量图像，执行随机打乱的退化序列生成噪声图像，同时对图像进行缩放和反向正向色调映射以生成对应的清晰图像。随后，裁剪出一对噪声/清晰训练补丁用于深度盲去噪模型训练。注意，由于泊松噪声依赖信号强度，因此“Poisson”的虚线箭头意味着用清晰图像生成泊松噪声。为了解决颜色偏移问题，“相机传感器”的虚线箭头表明在清晰图像上进行了反向正向色调映射。

通过我们提出的训练数据合成流水线得到的合成噪声/清晰补丁对。高质量图像补丁尺寸为544×544，噪声/清晰补丁尺寸为128×128。

网页演示

尝试SCUNet模型的Replicate网页演示

代码

1. 下载SCUNet模型

python main_download_pretrained_models.py --models "SCUNet" --model_dir "model_zoo"

2. 高斯去噪

   • 灰度图像

   python main_test_scunet_gray_gaussian.py --model_name scunet_gray_25 --noise_level_img 25 --testset_name set12
   

   • 彩色图像

   python main_test_scunet_color_gaussian.py --model_name scunet_color_25 --noise_level_img 25 --testset_name bsd68
   

3. 盲目真实图像去噪

   python main_test_scunet_real_application.py --model_name scunet_color_real_psnr --testset_name real3
   

   python main_test_scunet_real_application.py --model_name scunet_color_real_gan --testset_name real3
   

高斯去噪结果

真实图像去噪结果

引用格式

@article{zhang2023practical,
   author = {Zhang, Kai and Li, Yawei and Liang, Jingyun and Cao, Jiezhang and Zhang, Yulun and Tang, Hao and Fan, Deng-Ping and Timofte, Radu and Gool, Luc Van},
   title = {Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis},
   journal = {Machine Intelligence Research},
   DOI = {10.1007/s11633-023-1466-0},
   url = {https://doi.org/10.1007/s11633-023-1466-0},
   volume = {20},
   number = {6},
   pages = {822--836},
   year = {2023},
   publisher = {Springer}
}