Official code for “Rethinking the Necessity of Image Fusion in High-level Vision Tasks: A Practical Infrared and Visible Image Fusion Network Based on Progressive Semantic Injection and Scene Fidelity”. Information Fusion, 2023 · 🔥 ESI Hot Paper · 🏆 ESI Highly Cited Paper.

自动翻译

PSFusion

_{Google Scholar引用次数更新于2026年7月18日。}

本文是《Rethinking the necessity of image fusion in high-level vision tasks: A practical infrared and visible image fusion network based on progressive semantic injection and scene fidelity》的官方PyTorch实现。

✨最新动态：

[2025-3-15] 我们的论文《C2RF: Bridging Multi-modal Image Registration and Fusion via Commonality Mining and Contrastive Learning》被International Journal of Computer Vision (IJCV) 正式接收！[论文下载] [代码]

[2025-02-11] 我们发布了一个用于红外和可见光视频融合的大规模数据集：M2VD: Multi-modal Multi-scene Video Dataset。

@article{TANG2023PSFusion,
  title={Rethinking the necessity of image fusion in high-level vision tasks: A practical infrared and visible image fusion network based on progressive semantic injection and scene fidelity},
  author={Tang, Linfeng and Zhang, Hao and Xu, Han and Ma, Jiayi},
  journal={Information Fusion},
  volume = {99},
  pages = {101870},
  year={2023},
}

框架

所提PSFusion的整体框架。

测试步骤

从best_model.pth下载预训练模型 checkpoint，并将其放置在**./results/PSFusion/checkpoints**目录下。
从MSRS下载MSRS数据集，并将其放置在**./datasets**目录下。
执行命令 python test_Fusion.py --dataroot=./datasets --dataset_name=MSRS --resume=./results/PSFusion/checkpoints/best_model.pth

若需测试其他数据集，请根据数据加载器的要求放置数据集，并指定**--dataroot和--dataset-name**参数。

训练步骤

在训练PSFusion之前，需下载预处理后的MSRS数据集 MSRS 并将其放置在**./datasets**目录下。

然后运行命令 python train.py --dataroot=./datasets/MSRS --name=PSFusion

研究动机

恶劣条件下，SeAFusion与本文方法的融合及分割结果对比。

语义分割任务中特征级融合与图像级融合的计算复杂度对比。

网络架构

基于通道-空间注意力机制的浅层细节融合模块（SDFM）架构。

基于交叉注意力机制的深层语义融合模块（PSFM）架构。

面向分割任务

BANet

SegFormer

SegNeXt

实验结果

定性融合结果

PSFusion与9种先进方法在**MSRS**数据集上的定性对比。

PSFusion与9种先进方法在**M3FD**数据集上的定性对比。

定量融合结果

在MSRS数据集的361对图像上六种指标的定量比较。曲线上的点（x, y）表示有（100*x）%的图像对其指标值不超过y。

在M3FD数据集的300对图像上六种指标的定量比较。

分割对比

不同融合算法在MSRS数据集上的分割结果。

MSRS数据集上的逐类分割结果。

图像级融合在高层视觉任务中的潜力

基于特征级融合的多模态分割算法与我们基于图像级融合的解决方案在MFNet数据集上的分割结果。

MFNet数据集上图像级融合与特征级融合的逐类分割结果。

如果本研究对您有所帮助，请引用：

@article{TANG2023PSFusion,
  title={Rethinking the necessity of image fusion in high-level vision tasks: A practical infrared and visible image fusion network based on progressive semantic injection and scene fidelity},
  author={Tang, Linfeng and Zhang, Hao and Xu, Han and Ma, Jiayi},
  journal={Information Fusion},
  volume={99},
  pages={101870},
  year={2023},
  publisher={Elsevier}
}