基于表征解耦的阴影去除方法

本发明涉及的是一种图像处理领域的技术，具体是一种利用深度学习模型和基于表征解耦的技术来实现对实际阴影图像的阴影去除方法。

背景技术：

1、目前针对图像中阴影的去除的技术包括通过构建物理光学模型，从而使用一些先验知识来恢复阴影区域的正常光照以及阴影去除工作和基于深度学习方法的阴影去除技术，其中基于深度学习的阴影去除工作主要学习一个高级的上下文特征，从而基于该特征进行阴影去除。而该类方法又可以分为两大类，将传统光影模型作为先验知识的方法和不使用传统光影模型的深度学习方法。将传统光影模型作为先验知识的方法基于现有的阴影图像先生成过曝的图像，然后使用深度学习方法将二者进行融合从而得到最终的去除阴影的图像。而不使用传统光影模型的深度学习方法则寄希望与通过深度学习模型直接将阴影去除从而得到没有阴影的图像。然而，二者均无法得到较为完善的剔除掉阴影的表征，从而无法彻底的去除阴影，而将阴影和背景内容的表征解耦开来将致力于解决这一问题。

技术实现思路

1、本发明针对现有技术由于不能得到较为完善的剔除掉阴影的表征，无法彻底的去除阴影的缺陷，提出一种基于表征解耦的阴影去除方法，能够在去除阴影的同时对阴影和背景内容进行表征解耦，把图像的中间表征解耦成背景内容表征和阴影表征，从而得到更纯的内容表征，更好的剔除掉阴影表征，从而可以更好的去除掉背景上覆盖的阴影，达到比传统方法更精确的效果。

2、本发明是通过以下技术方案实现的：

3、本发明涉及一种基于表征解耦的阴影去除方法，通过对样本图像进行预处理并输入包含阴影编码器、内容编码器和解码器的卷积神经网络，通过编码器分别得到内容特征图和阴影特征图；使用预先标注好的阴影范围对阴影特征图中的相应特征进行平均池化操作，得到阴影特征向量后与内容特征图融合，输入解码器，从而对编码器和解码器进行训练；最后将待处理图像输入训练后的内容编码器与解码器从而实现阴影去除。

4、所述的样本图像包括：有阴影的样本图像、对应的去除阴影的样本图像以及无阴影的样本图像。

5、所述的融合是指：采用基于区域的自适应实例规范化的方式来对阴影特征向量和内容特征图进行基于区域的自适应实例规范化的操作(regionadain)。

6、所述的对编码器与解码器进行训练，具体包括：

7、1)将有阴影的样本图像通过内容编码器和阴影编码器分别生成对应的内容特征图和阴影特征图，通过对阴影特征图进行区域平均池化操作，得到阴影特征向量后与内容特征图融合并输入解码器，并对得到的输出图像进行阴影重构，得到有阴影的生成图；将内容特征图输入解码器，并对得到的输出图像进行无阴影重构，得到无阴影的生成图，从而构建出完整的重构损失。

8、所述的阴影重构是指：将得到的有阴影生成图向着有阴影的样本图像进行重构。

9、所述的无阴影重构是指：将得到的无阴影生成图向着对应的去除阴影的样本图像进行重构。

10、所述的完整的重构损失，由上文两种重构所使用的损失组成。

11、2)将无阴影的样本图像通过内容编码器生成内容特征图，然后将生成的内容特征图与步骤1)中的阴影特征向量融合并输入解码器，得到有阴影的重构图像，将该图像与步骤1)中输入的有阴影的样本图像以及该图像的阴影掩码一同输入判别器中生成判别损失。

12、3)将步骤2)解码器生成的有阴影的重构图像再次输入内容编码器中，得到对应内容特征图，通过损失函数使得其和步骤2)生成的内容特征图相似，从而得到内容特征图损失。

13、4)将步骤1)计算得到的重构损失、步骤2)计算得到的判别损失和步骤3)计算得到的内容特征图损失进行加权求和处理，实现编码器与解码器的训练。

技术特征：

1.一种基于表征解耦的阴影去除方法，其特征在于，通过对样本图像进行预处理并输入包含阴影编码器、内容编码器和解码器的卷积神经网络，通过编码器分别得到内容特征图和阴影特征图；使用预先标注好的阴影范围对阴影特征图中的相应特征进行平均池化操作，得到阴影特征向量后与内容特征图融合，输入解码器，从而对编码器和解码器进行训练；最后将待处理图像输入训练后的内容编码器与解码器从而实现阴影去除；

2.根据权利要求1所述的基于表征解耦的阴影去除方法，其特征是，所述的融合是指：采用基于区域的自适应实例规范化的方式来对阴影特征向量和内容特征图进行基于区域的自适应实例规范化的操作。

3.根据权利要求1所述的基于表征解耦的阴影去除方法，其特征是，所述的对编码器与解码器进行训练，具体包括：

4.根据权利要求3所述的基于表征解耦的阴影去除方法，其特征是，所述的阴影重构是指：将得到的有阴影生成图向着有阴影的样本图像进行重构；所述的无阴影重构是指：将得到的无阴影生成图向着对应的去除阴影的样本图像进行重构；所述的完整的重构损失，由上文两种重构所使用的损失组成。

5.根据权利要求1～4中任一所述的基于表征解耦的阴影去除方法，其特征是，所述的对编码器与解码器进行训练，具体包括：

技术总结
一种基于表征解耦的阴影去除方法，通过对样本图像进行预处理并输入包含阴影编码器、内容编码器和解码器的卷积神经网络，通过编码器分别得到内容特征图和阴影特征图；使用预先标注好的阴影范围对阴影特征图中的相应特征进行平均池化操作，得到阴影特征向量后与内容特征图融合，输入解码器，从而对编码器和解码器进行训练；最后将待处理图像输入训练后的内容编码器与解码器从而实现阴影去除。本发明能够更好的去除掉背景上覆盖的阴影，达到比传统方法更精确的效果。

技术研发人员：牛力,赵星
受保护的技术使用者：上海交通大学
技术研发日：
技术公布日：2024/1/15