VIF-Net：RGB和红外图像融合的无监督框架

?论文下载地址

   [论文地址]

?代码下载地址

   [代码地址-unofficial]

?‍?论文作者

?模型讲解

[背景介绍]

   图像融合时信息融合的一种，本质就是增强技术，运用多传感器获得的不同数据来提高网络性能。相对于单传感器的数据局限于一种数据的特性，多传感器能同时利用多中数据的特性，在视频监控、卫星成像、军事上都有很好的发展前景。对于本文来说，可见图像提供了丰富的纹理细节和环境信息，而红外图像则受益于夜间可见性和对高动态区域的抑制。如下图所示，左边时红外图像，右边是可见光图像。

   图像融合最关键的技术是怎么样能融合利用多种数据的优势。往往引入多种数据是双面性的，所以要抑制数据的不同带来的干扰。例如做变化检测的时候，往往因为成像不同而网络会错误地检测为变化。

   上图展示了图像融合的基本操作，将可见光和红外图像同时输入网络中，进行特征提取，之后进行特征融合，最后特征重建，生成融合图像。中间网络的部分也就是作者提出的VIF-Net。

[论文解读]

   作者主要针对其他融合方法有计算成本的局限性，而且需要手动设计融合规则。由此，作者提出了自适应的端到端深度融合框架VIF-Net，旨在生成信息更丰富的图像，包含大量的热信息和纹理细节。

[VIF-Net网络结构]

   VIF-Net的全称为Visible and Infrared image Fusion Network就是可见光和红外图像融合网络。VIF-Net体系结构如下图所示，它由三个主要组件组成：特征提取，融合和重建。

   可见图像和红外图像分别表示为$I_A$和$I_B$，它们输入到双通道中。通道$A$由$C11$和包含$D11$、$D21$和$D31$的block组成。通道$B$由$C12$和一个包含$D12$，$D22$和$D32$的block组成。第一层($C11$和$C12$)包含3×3的卷积以提取底层特征，每个$D$中的三个卷积层也都是3×3的卷积。由于这两个通道共享相同的权重以提取相同类型的深度特征，因此此结构在降低计算复杂度方面也具有优势。在特征融合部分，作者尝试直接连接深层特征，也就是通道进行叠加。最后，特征融合层的结果通过另外五个卷积层($C2$，$C3$，$C4$，$C5$和$C6$）来从融合特征中重建融合结果。下表概述了网络的更详细的体系结构：

   从表格的结构可以看出，假设输出都是单通道的图像，经过前面的特征提取层，每一层的输出都会与后面所有层的输出直接相连，这里是通道叠加。这样，可见光通道会输出$16+16+16+16=64$通道的特征图，两个网络通道会生成$128$通道，在特征融合层进行通道叠加，输入特征重建的就是$128$通道的特征图。

[M-SSIM+TV损失]

   从上面的结构图可以看到，损失函数主要分为两部分$L_{SSIM}$和$L_{TV}$，作者设计的损失函数为：
$$Loss=\lambda L_{SSIM}+L_{TV}$$

[SSIM]

[TV]

[VIF-Net的训练]

   作者从公开可用的TNO图像数据集和INO视频数据集中收集了25对覆盖不同场景的可见和红外图像。 由于此数据集太小而无法满足训练要求，因此裁剪了约25000个尺寸为64×64的补丁，以扩展训练数据集而没有任何人工标签； 数据集的样本如下图所示。此外，作者将网络训练了50个epoch，使用Adam优化器以$10^{-4}$的学习率将损失。 作者的网络是在TensorFlow上实现的，并在配备Intel E5 2670 2.6 GHz CPU，16 GB RAM和NVIDIA GTX1080Ti GPU的PC上进行了训练。

[结果分析]

[评价指标]

   为了防止主观视觉的人为因素，作者使用物种可靠的量化指标：互信息/mutual information/$MI$、边缘保持/edge retentiveness/$Q^{AB/F}$、相位一致性/phase congruency/$PC$、非线性相关信息熵/nonlinear correlation information entropy/$Q^{NCIE}$、通用图像质量指数/universal image quality index/$UIQI$。

[$MI$]

   $MI$分数越高，表示从源图像获得的信息越丰富。公式如下：$$MI=\sum _{i_A\in I_{A_F}}\sum _{i\in I_F}p\left(i_A,i_F\right){\log }_2\frac{p\left(i_A,i_F\right)}{p\left(i_A\right)p\left(i_F\right)}+\sum _{i_B\in I_B}\sum _{i_F\in I_F}p\left(i_B,i_F\right){\log }_2\frac{p\left(i_B,i_F\right)}{p\left(i_B\right)p\left(i_F\right)}$$
其中$p(i_A,i_F)$为$i_A$与$i_F$的联合概率分布，$p(i_A)$为$i_A$的边缘概率分布。

[$Q^{AB/F}$]

   $Q^{AB/F}$测量了从原图像到融合图像转移的图像边缘数量。公式如下：
$$Q^{AB/F}=\frac{{\sum }_{i=1}^N{\sum }_{j=1}^M\left(Q^{AF}(i,j)w^A(i,j)+Q^{BF}(i,j)w^B(i,j)\right)}{{\sum }_i^N{\sum }_j^M\left(w^A(i,j)+w^B(i,j)\right)}$$
  这里比较难理解计算，简单来说，会通过边缘检测算法（Sobel边缘检测算法）计算出输入图像和融合图像的边缘信息，在通过上式得出指标，指标越高越好。具体的过程可以访问[多聚焦图像像素级融合方法研究-总第27页-论文页码第14页-⑥]

[$PC$]

[$Q^{NCIE}$]

   $Q^{NCIE}$度量源图像和融合图像之间的非线性相关熵，定义如下：
$$Q^{NCIE}=1+\sum _{i=1}^3\frac{{\lambda }_i}{3}{\log }_{256}\left(\frac{{\lambda }_i}{3}\right)$$
其中${\lambda }_i$是非线性相关矩阵的特征值。

[$UIQI$]

   另外，$UIQI$是一种从相关损失，亮度和对比度三个方面来测量图像质量的评估指标。 定义如下：
$$UIQI=\frac{\left[\frac{4{\sigma }_{I,I_F}{\mu }_I{\mu }_{I_F}}{\left({\sigma }_{I_A}^2+{\sigma }_{I_F}^2\right)\left({\mu }_{I_A}^2+{\mu }_{I_F}^2\right)}+\frac{4{\sigma }_{I_B{I}_F}{\mu }_{I_B}{\mu }_{I_F}}{\left({\sigma }_{I_B}^2+{\sigma }_{I_F}^2\right)\left({\mu }_{I_B}^2+{\mu }_{I_F}^2\right)}\right]}{2}$$
其中$\mu$和$\sigma$分别表示平均值和标准偏差，${\sigma }_{I_A{I}_F}$是$I_A$和$I_F$之间的互相关。

[不同方法之间的对比实验]

   下面三个表格展示了三种图像（“Human”、“Street”、“Kaptein”）的测试结果。可以看出VIF-Net取得不错的性能。

其中作者对损失函数的超参数的取值进行对比，Proposed-500/800/1000分别对应$\lambda =500/800/1000$也就是下式：
$$Loss=\lambda L_{SSIM}+L_{TV}$$
   下图是三种图像的展示（自上向下是“Human”、“Street”、“Kaptein”），红色框是一些关键特征，可以看出效果很好：

   从上图中可以看到，由于大量的人工噪声，RP和CBF的结果具有较差的视觉效果。 此外，DLF，ADF，CVT，DTCWT，ASR，FPDE的结果看起来非常相似，并且会产生伪像，目标尚不清楚。 此外，GFCE和GTF包含明亮而显眼的目标，但是基于GFCE的融合图像的背景由于细节和亮度的增强而失真。 由于GTF可以平滑纹理，因此可见的细节和边缘会在一定程度上丢失。作者的方法会突出显示红外目标并保留纹理细节，从而在这些方法中提供最佳的融合性能。

  上图示出了“Street”的融合结果。 主要目标是将行人和路灯之类的信息融合到单个图像中，并尽可能保留车辆等环境信息。 更具体地说，作者所提出的方法的结果完全保留了信号灯，板上的字母和行人信息。 相反，GTF的结果会丢失大部分可见的细节，如标记区域所示。 DLF，ADF和FPDE的结果分辨率低，CVT，DTCWT和ASR将伪边缘引入融合图像，并且由于GFCE过度增强，融合结果中出现了伪影和失真。

  其他数据上的结果在定量上的对比如下图所示，$MI$指标比其他比较方法的$MI$指标高得多，而其余的指标通常要好于其他比较方法：

[不同λ之间的对比实验]

   首先作者选取$\lambda =50/500/5000$得到下图结果：

   从实验结果来看，当$\lambda =500$和$\lambda =5000$时，融合结果差异不大，但后者丢失了一些纹理细节。 直观地，为了进一步突出红外目标，作者假设最佳$\lambda$将略大于500。为估计VIF-Net的性能，将$\lambda$的平均得分参数$\lambda$设置为100、300、500、800和1,000。 提议的方法列于下表。

   通过进一步分析，使用”Kaptein”对典型图像来证明VIF-Net的通用适应性，如下图所示。以”Kaptein”图中的结果为例，执行减法运算以方便观察差异。如下图所示，在视觉评估水平上的差异可以忽略不计。

  作者认为可以在λ= 1000时获得最佳融合结果，以下结果均是采用此参数。

[推理时间对比]

   其他方法（包括DLF，CBF，GTF，GFCE，CVT，DTCWT和FPDE）包含优化算法或复杂的比例转换，并且需要大量迭代，因此平均运行时间较长。 相比之下，由于降维算法和结构简单，ADF和RP的计算复杂度较低。 总体而言，由于VIF-Net具有简单的网络结构和较高的运行效率，因此在实时视频融合中也很有效，下表展示运行一次所用的平均时间：

[扩展实验-视频融合]

   作者认为视频中移动的物体都是在红外图像比较明显的物体。将融合后的图像与红外图像中的移动物体抠出来，利用每一帧的Groundtruth，抠出来的图像相互做差，取绝对值。差值越小说明融合图融合红外图像效果更好。下图展示了三种方法在第一组视频（左）和第二组视频（右）上的差值对比。

?传送门

◉ ?RGB??红外
?数据集
[TNO-RGB红外图像]
[FLIR-RGB红外图像]
[Multispectral Image Recognition-RGB红外目标检测]
[Multispectral Image Recognition-RGB红外语义分割]
[INO-RGB红外视频]
[SYSU-MM01行人重识别可见光红外数据]
?论文
[VIF-Net：RGB和红外图像融合的无监督框架]
[SiamFT：通过完全卷积孪生网络进行的RGB红外融合跟踪方法]
[TU-Net/TDeepLab：基于RGB和红外的地形分类]
[RTFNet：用于城市场景语义分割的RGB和红外融合网络]
[DenseFuse：红外和可见图像的融合方法]
[MAPAN：基于自适应行人对准的可见红外跨模态行人重识别网络]

◉ ?多光谱??高光谱
?数据集
[高光谱图像数据]
?论文
[Deep Attention Network：基于深层注意力网络的高光谱与多光谱图像融合]

◉ ?RGB??SAR
?数据集
[待更新]
?论文
[待更新]

◉ ?RGB??红外??SAR
?数据集
[待更新]
?论文
[待更新]

?大家有数据融合方向的优秀论文可以在评论分享一下，感谢。?