可快速获取多种自然退化图像复原模型的迁移学习方法

1.本发明涉及基于深度学习的计算机视觉技术领域，尤其涉及一种可快速获取多种自然退化图像复原模型的迁移学习方法。


背景技术：

2.引起图像退化的自然现象有很多。例如雾霾、雨、雪等气候现象会导致获取的图像对比度下降或出现小块的景物遮挡，水下图像和沙尘烟雾图像中不仅会遭受雾状的模糊现象还可能存在场景光线颜色的畸变。为了改善捕获的图像视觉质量和后续机器人以及自动驾驶等应用技术的实际效果，近几年出现大量退化图像复原方法。传统的图像复原算法通常依赖于一些光学先验知识和物理模型，不仅准确率低，操作繁琐，尤其存在对不同应用场合中图像的泛化性能低的问题。基于深度学习的图像复原方法，需要对每种退化现象采集并制作大量成对的数据集(包含遭受退化现象后的图像和相同场景的未退化图像)。将退化后的数据作为一个神经网络的输入，而利用其对应的未退化的数据计算损失函数以优化网络参数。经过训练的神经网络即能具有对该特定退化现象的复原能力。但获取大量的自然退化图像作为训练数据集是很困难的，训练过程中也需要耗费大量的算力和训练时间。本发明将迁移学习技术结合到深度学习方法中，解决对大量成对数据集的需求，并能提升模型的训练速度。同时在一定程度上保证了复原模型的鲁棒性和泛化能力。


技术实现要素：

3.本发明的目的在于提供一种可快速获取多种自然退化图像复原模型的迁移学习方法，通过重用一种自然现象的通用复原模型快速获取多种特定自然退化现象的图像复原模型。
4.为实现上述目的，本发明采用的一种可快速获取多种自然退化图像复原模型的迁移学习方法，包括如下步骤：
5.人工合成自然退化图像通用数据集；
6.利用所述自然退化图像通用数据集对深度卷积神经网络进行预训练，得到通用复原模型；
7.采用特定退化现象的数据集对所述通用复原模型进行迁移学习，对其部分卷积层参数进行微调训练，得到该种特定自然退化现象的图像复原模型。
8.首先生成一种人工合成的退化图像数据集，能模拟多种自然退化现象中共有的退化表现，即该数据集能作为各种自然退化图像共同的源域。然后利用该数据集训练一种深度卷积神经网络，得到对多种自然退化现象中共有特征的通用复原模型，即该网络能从各种自然退化现象共同的源域映射到其清晰的复原图像域。最后，用少量包含特定退化现象的图像数据，即目标域数据，对该通用复原网络中的某些层进行快速地微调训练，实现迁移学习，即可快速获得该特定退化现象的复原模型。
9.其中，人工合成自然退化图像通用数据集包括：
10.利用现有rgb
‑
d数据集，根据退化图像生成模型和随机生成的模型参数人工合成包含自然退化现象的图像数据集。
11.其中，所述rgb
‑
d数据集由清晰图像数据集及其深度信息构成。
12.清晰图像数据集及其深度信息共同构成所述rgb
‑
d数据集。
13.其中，所述自然退化图像通用数据集能够模拟包括雾霾、烟雾、水下、雨雪在内的多种自然现象导致的退化图像中共同的退化表现。
14.其中，利用所述自然退化图像通用数据集对适用于图像转换任务的深度卷积神经网络进行端到端地预训练，具体为：
15.利用所述自然退化图像通用数据集对适用于图像转换任务的深度卷积神经网络进行端到端地预训练。
16.其中，经过预训练的深度卷积神经网络用于复原各种自然现象导致的退化图像中共有的退化表现，所述退化表现包括雾状模糊和光线散射现象，但不具备对诸如雨滴，雪花，浓雾的特定退化现象的复原能力。
17.其中，采用对应特定退化现象的数据集对所述通用复原模型进行迁移学习，具体为：所述特定退化现象的数据集为根据实际应用需要，选择雾图数据集、水下图像数据集、雪天图像数据集、雨中图像数据集、烟雾图像数据集中的一种。这些数据集中只需要包含少量数据，即可实现后续迁移学习。
18.其中，对所述通用复原模型进行迁移学习为对模型中的部分卷积层进行小学习率的微调训练，经过微调训练，网络模型具备快速学习复原特定自然退化现象的能力。
19.所述自然现象的通用复原网络，通常具有对称结构：比如先将输入图像下采样到一定特征空间，通过特征处理层后，经上采样层得到复原图像。微调可以只针对网络的输入端和输出端的前几层和最后几层卷积层(可以是下采样层和上采样层)，而冻结其他卷积层中的参数。从而保证最大程度的利用预训练好的特征处理层，并能快速地实现迁移学习，滤除特定退化现象中的特殊成分(例如雨图中的雨滴和水下图像中的颜色畸变等)。由于只针对部分卷积层参数进行训练，用少量特定退化现象的图像数据集，即可实现迁移学习而保证不会出现欠拟合。
20.本发明的一种可快速获取多种自然退化图像复原模型的迁移学习方法，通过生成一种人工合成的退化图像数据集，模拟各种自然退化图像共有的退化表现，即该数据集能作为各种自然退化图像共同的源域。然后利用该数据集训练一种深度卷积神经网络，得到对多种自然退化现象中共有特征的通用复原模型，即该网络能从各种自然退化现象共同的源域映射到其清晰的复原图像域。最后，用少量包含特定退化现象的图像数据，即目标域数据，对该通用复原网络中的某些层进行快速地微调训练，实现迁移学习，即可快速获得该特定退化现象的复原模型。以此能够快速获取多种自然退化现象的图像复原模型。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是本发明的提出的可快速获取多种自然退化图像复原模型的迁移学习方法对神经网络的训练流程图。
23.图2是本发明的由一个通用模型经过迁移学习得到各种针对不同退化现象的复原模型的示意图。
24.图3是本发明方法得到的针对雨图退化现象的复原效果展示图。
具体实施方式
25.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
26.请参阅图1至图3，本发明提供了一种可快速获取多种自然退化图像复原模型的迁移学习方法，包括如下步骤：
27.s1：人工合成自然退化图像通用数据集；
28.s2：利用所述退化图像数据集对深度卷积神经网络进行预训练和参数更新，得到通用复原模型；
29.s3：采用特定退化现象的数据集对所述通用复原模型进行迁移学习，并对部分卷积层参数进行微调训练，得到自然退化图像复原模型。
30.在本实施方式中，通过生成一种人工合成的退化图像数据集，模拟各种自然退化图像共有的退化表现，即该数据集能作为各种自然退化图像共同的源域。然后利用该数据集训练一种深度卷积神经网络，得到对多种自然退化现象中共有退化特征的通用复原模型，即该网络能从各种自然退化现象共同的源域映射到其清晰的复原图像域。最后，用少量包含特定退化现象的图像数据，即目标域数据，对该通用网络中的某些层进行快速地微调训练，实现迁移学习，即可快速获得该特定退化现象的复原模型，以此能够能快速获取多种特定自然退化现象的图像复原模型。在训练针对特定退化现象的图像复原模型的过程中，通过重用一种预训练的通用复原模型并进行迁移学习，不仅加速了训练特定复原模型的速度，节省了训练时间，减小了对大量特定退化现象数据集的依赖。还能让复原模型更加鲁棒，复原效果更加稳定。
31.进一步地，生成退化图像数据集包括：
32.采用现有rgb
‑
d数据集(由清晰图像数据和深度信息数据组成)，根据退化图像生成模型和随机生成的模型参数，人工合成包含多种自然退化现象的通用图像数据集。
33.所述自然退化图像通用数据集能够模拟包括雾霾、烟雾、水下、雨雪等自然现象导致的退化图像中共同的退化表现。
34.利用所述自然退化图像通用数据集对深度卷积神经网络进行预训练，具体为：
35.利用所述人工合成的自然退化图像数据集对适用于图像转换任务的深度卷积神经网络进行端到端地预训练。
36.经过预训练的深度卷积神经网络用于复原各种自然现象导致的退化图像中共有的退化表现，所述退化表现包括雾状模糊和光线散射现象，但不具备对诸如雨滴，雪花，浓雾的特定退化现象的复原能力。
37.采用对应特定退化现象的数据集对所述通用复原模型进行迁移学习，具体为：
38.所述特定退化现象的数据集为根据实际应用需要，选择雾图数据集、水下图像数据集、雪天图像数据集、雨中图像数据集、烟雾图像数据集中的一种。
39.所述对通用复原模型进行迁移学习为对模型中的部分卷积层进行小学习率的微调训练，通过微调训练，网络模型具备快速学习复原特定自然退化现象的能力。
40.在本实施方式中，在步骤s1中采用现有的rgb
‑
d数据集，根据退化图像生成模型，式(1)，生成包含雾状模糊等退化现象的图像数据集，该数据集能模拟包括雾霾、烟雾、水下、雨雪等自然现象导致的退化图像中共有的退化表现。式(1)中，x表示像素坐标，c表示颜色通道r、g、b。a
c
代表通道c的全局背景光，对每一通道为常量；j
c
(x)表示退化前清晰图像，i
c
(x)表示退化后图像。t
c
(x)称作传输映射，其具体形式为式(2)，其中d(x)为深度图，p
c
为衰减系数。用于模拟各种烟雾和水下等场景中时常出现地不均匀背景光成分。η为n(x)的自适应权重参数。考虑到一些不存在不均匀背景光的场景，设置50％的合成图像中η＝0。
41.i
c
(x)＝j
c
(x)t
c
(x)+a
c
(1
‑
t
c
(x))+ηn(x)
ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0042][0043]
对于步骤s1，采用现有的rgb
‑
d数据集根据退化图像生成模型(1)，生成包含各种自然退化现象中共有的退化特征(比如雾状模糊等)的数据集。本次实施数据集合成过程中，式(1)中的变量采用在一定范围内随机选取的数值。环境光a
c
为对应三个颜色通道光强数值，使用三个常量表示。n(x)不均匀光线成分由随机生成的perlin噪声及其分形噪声进行模拟。各变量的取值方式见表1所示。本次实施使用228张rgb
‑
d数据，生成2736张合成退化数据。利用这些数据作为步骤s2的训练数据集。
[0044]
表1本次实施中采用的合成数据集方法
[0045][0046]
进一步地，利用所述合成的退化图像通用数据集对深度卷积神经网络进行预训练，具体为：
[0047]
利用所述退化图像数据集对适用于图像转换任务的深度卷积神经网络进行端到端地预训练。
[0048]
在本实施方式中，步骤s2中，利用步骤s1中生成的图像数据集，训练一种适用于图像转换任务的深度卷积神经网络。用数据集中人工合成的退化图像作为网络输入，利用该图像合成退化之前的清晰版本和网络输出图像之间的差异计算网络损失函数并更新网络参数，对网络进行端到端的训练。通过训练并收敛后的网络能对多种自然退化图像具备基本的复原能力，可以作为多种自然退化现象中共有退化特征的通用复原模型，但不具备对诸如雨滴，雪花，浓雾等特定退化现象的复原能力。
[0049]
对于步骤s2，利用步骤s1中生成的数据集，端到端地训练一种深度卷积神经网络。本次实施选取resnet网络进行训练。该网络由下采样模块、残差模块以及上采样模块组成，能用于图像转换任务。采用l1损失函数(l1 loss)以及多尺度结构相似性损失函数(msssim loss)的和作为本次训练的总损失函数。将步骤s1中的合成退化图像作为输入传递给resnet，利用网络输出图像和退化图像对应的清晰版本计算损失函数。采用adam优化器最小化损失函数，对网络参数进行优化更新。训练学习率取0.001，并在训练每20个epoch处将学习率减半。经过100个epoch的训练，网络能良好的收敛。即得到一种对多种自然退化现象具备基本的复原能力的通用复原模型。
[0050]
进一步地，特定退化现象的数据集为根据实际应用需要选择的雾图数据集、水下图像数据集、雪天图像数据集、雨中图像数据集、烟雾图像数据集等中的一种。
[0051]
在本实施方式，步骤s3中，根据需要，采用少量特定退化现象的数据集，对步骤s2中预训练的通用复原模型进行迁移学习，对其中部分卷积层参数进行微调训练，得到针对该特定退化现象的复原模型。
[0052]
对于步骤s3，本次实施以雨中图像复原任务为例，仅采用1500张雨图数据集进行迁移学习，将步骤s2预训练的resnet中所有残差模块参数固定，而只对上采样模块和下采样模块参数进行微调训练。同样使用l1 loss以及msssim loss的和作为微调过程中的总损失函数。训练学习率减小十倍，为0.0001，且只进行5个epoch的训练，即可得到针对雨图的复原模型。而传统的对网络随机初始化并从头开始训练的监督学习方法，则需要几十甚至上百个epoch的训练。
[0053]
图2展示了由通用退化模型经迁移学习得到各种针对不同退化现象的复原模型。由于采用了端到端的方式训练神经网络，这些模型可以直接用于对退化图像进行复原处理，直接由左侧的退化图像得到右侧的复原图像。为了证明通过本发明获取的复原模型的有效性，在图3展示了其对雨图的复原效果示例。图3中(a)列为原始雨图，(b)列为步骤s2中通用复原模型对雨图的处理效果，(c)列为步骤s3中经过迁移学习后的复原模型的处理效果。可见步骤s2训练的通用复原模型能具备对图中雾状模糊等通用退化现象的初步复原能力，但不能消除图像中雨滴等特定退化现象。而经过步骤s3中的迁移学习之后，模型已经可以完好地复原雨图。
[0054]
本发明提供一种可快速获取多种自然退化图像复原模型的迁移学习方法，能快速获取多种自然退化现象的图像复原模型。考虑到包括雾霾、烟雾、水下、雨和雪等多种自然退化现象导致的图像退化存在一些共同特征，比如都会造成图像中出现雾状模糊和低对比度。提出利用一种合成图像数据集，训练一种针对各种自然现象共同退化特征的通用复原模型。在该模型上，只需额外采用少量特定退化现象的数据进行迁移学习训练，即可获得针对该特定退化现象的复原模型。从而通过重用预训练的通用模型，避免分别训练新复原模
型时对大量数据和算力的需求。不仅能节省大量的训练时间，还能保证复原模型的鲁棒性和泛化能力。
[0055]
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。