一种基于深度学习的去除自然图像动态模糊的算法

1.本发明涉及一种基于基于深度学习的去除自然图像动态模糊的算法，尤其涉及到基于深度学习的应用于图像恢复/的方法，属于低级图像处理的技术领域。


背景技术：

2.非均匀模糊是摄影过程中最常见的伪影，通常由相机抖动、物体运动和场景中的深度变化等引起。非均匀图像去模糊的目的是从不需要的模糊图像中去除此类模糊伪影。由于缺乏关于模糊核的知识，它一直是一个不适定且具有挑战性的问题。
3.现有的去模糊方法可分为两类：基于正则化的算法和基于深度学习的方法。大多数传统的基于正则化的算法假设模糊图像b是由噪声n和潜在锐利图像s与模糊核k的卷积之和产生的，如下所述：
[0004][0005]
然而，这些方法试图使用简单的假设来约束模糊核，这在现实场景和应用中无法发挥很大的作用。
[0006]
由于基于深度学习的方法在面向动态场景时有的更好的特征表示，所以往往会获得更优秀的结果。使用卷积神经网络(cnn)去除动态模糊有两种方法。一种是使用估计的模糊核以产生模糊图像并反推整个过程加以应用于模糊图像。由于这些方法使用具有统一模糊核的合成模糊图像进行训练，因此它们仍然只适用于某些特定情况。另一种是直接从非均匀模糊图像中恢复锐利图像，而无需假设任何受限模糊核模型，该方法在盲去模糊方面表现出了很强的性能。而目前后一种端到端的去模糊方法仍然难以区分不同程度的模糊，在去除深度模糊时略显不足。


技术实现要素：

[0007]
本发明的目的在于提供一种基于深度学习的去除自然图像动态模糊的算法，进一步自适应不同程度的模糊，以达到更好的去除动态模糊的方法。
[0008]
为了实现上述目的，本发明的技术方案如下：一种基于深度学习的去除自然图像动态模糊的算法，所述算法包括以下步骤：
[0009]
步骤1、选取高速摄像机拍摄的自然图像数据集data作为标签数据。通过使用240fps的高速摄像机拍摄图像。
[0010]
步骤2、合并随机数量的相邻帧组成具有不同程度模糊的图像。为了尽可能贴近真实场景下的模糊成分，合并7-13张高速摄像机拍摄的不含模糊的相邻帧清晰图像来生成含有不同程度的动态模糊的模糊图像，具体表述为：
[0011][0012]
其中t和s(t)为曝光时间和在时间t的清晰图像的传感器信号，而m和s[i]为在曝
光时间内捕获的帧数量和第i张清晰帧信号，b则是生成的模糊图像。第i张清晰帧信号s[i]则通过实际捕获的图像s
′
[i]获得：
[0013]
s[i]＝g-1
(s
′
[i])
[0014]
其中g(x)是非线性crf(摄像机响应函数)：
[0015]
g(x)＝x
1/γ
[0016]
而在实际场景下，我们只能获得图像帧，原始信号和crf都是未知的，所以本发明采用一般的crf估计方法，将crf近似为γ＝2.2的伽马曲线，从而通过上述公式获得含有不同程度的动态模糊的模糊图像，并将中间帧作为对应的清晰图像。
[0017]
步骤3、切割划分数据集。将处理好的总计3214对图像，分成训练集和测试集，各为2103对和1111对图像集。
[0018]
步骤4、数据扩充：为了扩大数据规模，采用数据集旋转90
°
、水平和垂直翻转，随机裁剪等方式来扩充原有数据集。
[0019]
步骤5、训练神经网络：选取并行多尺度卷积神经网络mirnet作为基础神经网络模型，在原神经网络的基础上，结合变形卷积和普通卷积的优势，用变形残差模块集成的密集连接块作为基础模块，用数据集训练该神经网络模型。具体结构参见图2和图3，整个网络结合变形卷积和普通卷积以残差方式组成变形残差块(图3上半部分)，然后堆叠残差块和权重调整层形成密集连接块(图3下半部分)，接着组成并行多尺度通道流(msfb)，最后嵌入结合多面片机制的神经网络。并行多尺度通道流可以同时处理三个尺度的特征，可以更好地学习和互补图像中不同尺度的特征。而密集连接块中堆叠的变形卷积层可以专注于处理深度模糊，使得整个网络的去模糊能力大幅提升。本发明使用复合损失函数l作为目标函数，定义如下：
[0020][0021]
其中yi是第i阶段的输出图像，s是清晰图像，λ和μ分别等于0.5和0.1。l
context
是l1损失：
[0022]
l
context
(yi,s)＝||y
i-s||1[0023]
l
ssim
是ssim损失，l
edge
是梯度损失：
[0024]
l
ssim
(yi,s)＝1-ssim(yi,s)
[0025][0026]
其中δ是sobel算子，∈等于10-3
。
[0027]
步骤6、使用普通摄像机拍摄的含有模糊的自然图像作为测试集评估效果。
[0028]
相对于现有技术，本发明的有益效果如下：该技术方案将进行神经网络的训练，拟合出端到端的去除图像动态模糊的过程，无需估计模糊核，从而达到更好的泛化性能，适用场景广。同时，使用真实拍摄的图像通过公式推演出潜在的锐利图像并合成对应的模糊图像，而不是通过假设模糊核来获得模糊图像，因此更好地逼近了真实应用场景。另外，本发明设计的网络模型突破了以往方法对复杂模糊处理不足的问题，在保证一般模糊的处理能力的同时，极大地提升了复杂模糊的处理能力。最终，本发明满足了在日常拍摄情况下，对
图像动态模糊的有效去除，为改善图像拍摄效果，降低图像拍摄条件提供了一种有效的方法。
附图说明
[0029]
图1为本发明的流程示意图；
[0030]
图2为神经网络结构示意图；
[0031]
图3为神经网络内部模块结构示意图；
具体实施方式
[0032]
下面结合附图和具体实施方式，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
[0033]
实施例1：参见图1，一种基于深度学习的去除自然图像动态模糊的算法，具体步骤如下：
[0034]
步骤1、选取高速摄像机拍摄的自然图像数据集data作为标签数据。将帧率为240fps的高速摄像机固定于一个位置，在一段时间内连续拍摄含有非均匀运动物体的自然图像，并重复此流程获得多个场景下的自然图像。
[0035]
步骤2、合并随机数量的相邻帧组成具有不同程度模糊的图像。合并7-13张高速摄像机拍摄的不含模糊的相邻帧清晰图像来生成含有不同程度的动态模糊的模糊图像，并将中间帧作为清晰图像。
[0036]
步骤3、切割划分数据集。将处理好的总计3214对图像，分成训练集和测试集，各为2103对和1111对图像。
[0037]
步骤4、数据扩充：为了扩大数据规模，将数据集旋转90
°
、水平和垂直翻转三个变换随机组合，随机裁剪成256*256分辨率的图像块来扩充原有数据集。
[0038]
步骤5、训练神经网络：选取并行多尺度卷积神经网络mirnet作为基础神经网络模型，在原神经网络的基础上，结合变形卷积和普通卷积的优势，用残差模块集成的密集连接块作为基础模块，用步骤4获得的数据集训练该神经网络模型，具体方式将图像一分为二，分别输入神经网络的第一阶段，然后把一阶段的两个图像拼接起来，获得一阶段的输出，而二阶段则直接输入图像，并获得二阶段的输出。具体的网络结构参见图2和图3。
[0039]
步骤6、使用普通摄像机拍摄的含有模糊的自然图像作为测试集评估效果。分别使用不同途径获得的其他场景下的模糊图像评估网络模型的泛化性能。
[0040]
效果评估：
[0041]
表1
[0042]
方法psnr(db)ssim(％)srn(现有方法1)28.360.915dbgan(现有方法2)28.940.915mt-rnn(现有方法3)29.150.918dmphn(现有方法4)29.090.924本发明30.690.938
[0043]
本发明发明了一种基于深度学习的去除自然图像动态模糊的算法，为日常拍摄情况下，实现动态模糊的去除。为改善图像拍摄效果，降低图像拍摄条件提供了一种有效的方法。表1则展示了本发明与现有方法在hide数据集上的指标对比，结果显示，本发明在psnr、ssim常用指标上均有明显提升。
[0044]
需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代均属于本发明的保护范围。