一种基于特征差分增强的单幅图像反射去除方法

本发明涉及计算机底层视觉和图像恢复技术，具体涉及一种基于特征差分增强的单幅图像反射去除方法。

背景技术：

1、反射污染通常发生在含有玻璃介质(或具有透射和反射特性的材料)的场景拍摄中，如博物馆、水族馆、橱窗场景和其他场景。图像上的复杂反光会给人的视觉带来不适，而这种令人不悦的反光也会严重影响高级计算机视觉任务，包括场景理解、物体检测、自动驾驶等。传统方法主要依赖额外的先验信息，例如使用用户注释与梯度稀疏性先验联合指导图像分离、假定反射是模糊的，引入特定的先验条件，惩罚较大梯度、使用边缘分类等方法。尽管这些方法在假设成立的情况下可以获得不错的效果，但现实世界中成像条件和场景内容都难以提前预计，这使得它们欠缺泛化能力。得益于算力的提升，近年来深度学习方法受到广泛关注，下面根据是否借助反射图像来预测传输图像，将现有基于深度学习方法技术分为两种工作趋势：直接预测透射图和反射感知预测透射图。

2、对于直接预测透射图方案包括wan,sun,shi,levin等人使用深度学习直接从反射污染图像中估计透射图像。其中，levin等人使用稀疏先验引导法对梯度和角算子较少的层进行图像分解；fan等人使用结构边缘信息构建级联网络进行图像分离，他们还提出了一种图像反射层合成方法；wan等人提出了一种特征协作共享网络，着重提高梯度信息融合的效率，以增强预测透射层的能力。errnet针对训练数据不对齐的问题，设计出alignment-invariant损失函数，配合针对性的网络结构设计解决单图像反射去除问题；song等人提出了一种多级曲率引导网络，它集成了多种网络架构来逐步重建透射层。prasad b等人提出了一种用于消除反射的新型尺度空间方法，它结合了低尺度子网络(lssnet)来处理最低尺度，以及渐进推理(pi)阶段来处理所有较高尺度。

3、然而，这些方法通常需要更深入地挖掘结构信息或额外的先验，这大大降低了这些方法的通用性。

4、此外，通过拍摄不同视角的多幅图像来直接估计传输图像的方法也得到了研究，lei使用一对闪光和不闪光图像中的只闪光图像作为预测传输图像的线索。chang等人提出了一种密集连体网络来解决有闪光和无闪光图像对的反射去除问题。但是这些方法都需要多视角图像，这极大地限制了这些方法的应用场景。

5、对于反射感知预测透射图，可以嵌入更多有用的引导信息，一些方法尝试同时预测透射图像和反射图像从而利用两个流相互通信来改进反射去除任务。levin等人利用边缘信息对透射图像和反射图像进行人工标注，从而通过图像的差异来分离图像，但问题在于这通常是劳动密集型的任务；li等人提出了正则化两层梯度的方案，并考虑使用模糊度和反射的差异来分解混合图像；jie等人则提出了一种级联深度神经网络，它首先根据预测的透射率预测反射率，然后利用预测的反射来估计透射；kim等人使用基于物理的方法合成训练所需的数据，并提出了一个两阶段反射去除网络，分解网络旨在分离传输和反射，而回溯网络旨在增强反射预测，从而为预测透射图提供更多先验信息，li等人提出了一种用于去除反射的迭代提升卷积lstm网络，他们使用lstm迭代改进了透射层和反射层的估计。hu等人提出了一种双流分解网络，它巧妙使用被激活函数丢弃的信息作为载体，实现透射图和反射图的信息交换，并取得了令人满意的性能。rahmanikhezri利用语义特征优化神经网络参数，生成两个专属的透射层和反射层，从而实现一种单图像反光去除的无监督方法。然而，上述方法大多是双阶段或者是迭代的，较为依赖于前一阶段的预测结果，前一阶段的预测错误的信息在下一阶段被使用，造成错误累积的问题，影响图像去反射效果；此外，这种多阶段的训练策略需要消耗大量的计算资源，推理速度也较为缓慢。

技术实现思路

1、发明目的：现有技术大多通过采用反射去除方法，这种方法过于关注透射层，而忽视了透射层和反射层之间的互补机制，本发明的目的在于解决现有技术中存在的不足，提供一种基于特征差分增强的单幅图像反射去除方法，利用反射污染图像的透射层和反射层之间的特征差异和信息交换，充分考虑透射层和反射层之间的互补机制。

2、技术方案：本发明的一种基于特征差分增强的单幅图像反射去除方法，包括以下步骤：

3、步骤1、获取模型训练所需要的被反射污染的图像和监督图像，监督图像包括透射图像和反射图像，对被反射污染的图像和监督图像进行随机裁剪、归一化等预处理操作，得到预处理后的被反射污染的图像和监督图像；

4、步骤2、将预处理的被反射污染的图像输入预先训练好的vgg-19网络，提取出1473个通道数的超列特征；然后，将超列特征与被反射污染的图像按通道连接形成网络的输入特征；

5、步骤3、将步骤2所得输入特征送入共享参数的共享编码器，依次进行四次下采样操作生成四种不同尺度和分辨率的特征图，进而提取到耦合特征；

6、其中，每一次下采样均通过1/4实例归一化策略进行特征归一化操作，使用单通道上特征的均值和方差来重新校准数据分布；

7、步骤4、在分别预测透射图和反射图的解码器中，将上一层解码器输出的特征与编码器对应尺度的耦合特征均输入特征差分增强模块(第一层解码器的特征则来自最后一层编码器)，通过特征差分增强模块计算对应的预测透射图t的透射增强特征和反射图r的反射增强特征；

8、步骤5、然后将步骤4所得透射增强特征、反射增强特征输入自适应信息交换模块，使预测透射图t和反射图r的两个分支进行自适应的信息交换，随后进行上采样操作；

9、步骤6、双支解码器经过步骤5四个阶段的上采样后，分别通过一个卷积层输出预测的透射图和反射图。

10、本发明利用被反射污染图像的透射层和反射层之间的特征差异和信息交换，逐步实现特征解耦合，从而实现被反射污染的图像的反射消除。本发明将单编码器中的耦合特征作为中间件，合理地使用差分特征增益透射图像t和反射图像r的预测分支，从而达到解耦合的目的；并且本发明采用u-net网络架构作为主干网络，其中一个共享编码器用于进行原始耦合特征的提取，两个独立的解码器用于透射图像t和反射图像r的预测。

11、进一步地，所述步骤2提取超列特征采用预训练的vgg网络模型。

12、进一步地，所述1/4实例归一化策略的结构如下：

13、对于各层encoder中的输入特征fi，首先，使用通道注意机制cam对其通道进行加权，选择输入特征fi的前1/4部分通道的特征f1/4送入实例归一化层，得到实例归一化特征fin；

14、然后，将实例归一化特征fin与输入特征fi的剩余特征f3/4连接融合得到特征fcon；

15、最后，使用1次卷积对特征fcon和剩余特征f3/4进行卷积，使用输入特征fi对卷积后的结果进行跳跃连接，最终得到经过归一化的输出特征fout，来提高特征编码的鲁棒性。

16、进一步地，所述步骤4获得预测透射图和反射图的增强特征的具体方法为：

17、对于步骤3所得编码器第i层提取的耦合的特征特征差分增强模块先从耦合的特征中分别减去对应解码器上一阶段的透射特征和反射特征；然后，特征作差的结果被送入注意力模块，得到有利的差分特征和

18、此外，计算特征差分的策略可能会带来特征不适和信息丢失的问题，因此，接着分别在差分特征和中加入特征最后，对加入有特征的差分特征和按通道做跳跃连接，分别得到对应增强特征和以提高算法的鲁棒性，表达式如下：

19、

20、编码器有4层，i表示编码器第i层，j表示与编码器相对应的解码器的层数；其中，att表示在特征差分增强模块中应用了卷积注意模块，以捕捉通道间的潜在联系并增强特征的表示能力；和是解码器中第j+1层的输入，它们是特征差分增强模块对和特征增强结果，能够显著地分别提高预测透射特征t和反射特征r的性能。

21、进一步地，所述步骤5自适应信息交换模块的具体处理方法为：

22、对于处理透射增强特征fet、反射增强特征fer，首先分别经过一次3×3卷积来提取对应特征，并将通道数减半；

23、然后应用激活函数relu分别得到和和是经过relu激活函数后丢弃的信息，其中包含的信息正好对对面分支有帮助；和是经过relu激活函数后保留的信息；

24、计算公式定义如下：

25、

26、

27、接着，为避免错误的信息交换可能引发的误差累积问题，和将通过3×3卷积层自适应地保留被丢弃信息中的有利信息，以及再次通过relu丢弃多余的神经元；

28、最后，将处理完后的信息会被添加到相反的分支，即处理完的加到预测t的分支，处理完的加到预测r的分支，得到对应信息交换结果。

29、有益效果：与现有技术相比，本发明具有以下优点：

30、(1)本发明提供一种具有共享编码器和两个解码器的新颖的单阶段单图像反射消除网络，将共享编码器中的耦合特征作为中间件，合理地计算差分特征出来增益t分支和r分支的预测，从而达到解耦合的目的，充分发挥了反射层r和传输层t之间的差分和互补优势；本发明采用单阶段训练策略，推理速度比多级或多阶段训练方法快。

31、(2)本发明提出一个特征差异增强模块来有效计算增强后的特征差异，具有轻量化可移植的优点。

32、(3)本发明提出一个自适应信息交换块来进一步实现稳健高效的互补信息交换。

33、(4)本发明为编码器中的特征引入了1/4的选择性实例归一化策略，以校准特征的分布，从而协同增强特征差异增强模块和自适应信息交换块。