一种空间参数变化及复杂场景下目标图像清晰化方法与流程

本发明设计属于图像处理和深度学习领域，具体涉及一种空间参数变化及复杂场景下目标图像清晰化方法。

背景技术：

超分辨率重建的方法通过软件形式的算法与模型从低分辨率图像获得高分辨率图像，成本小，速度快，能够有效提升图像的细节边缘与分辨率，是提高复杂场景下目标图像清晰化的主要技术手段之一。图像清晰与超分辨率重建应用于多个领域，包括医疗、遥感和安保等方面，交通图像的图像重建能够提升车牌车型辨识率，提升交通管理的效率。

当前较为主流的超分辨率重建方法有插值法、重建法和学习法。基于插值的方法原理简单，计算量不大。基于重建的方法逆向利用图像的降质模型，该方法的核心思想是建模，在低分辨率与高分辨率之间形成对应的数学模型。基于学习的超分辨率重建算法更加深入的学习到了高低分辨率图像间的对应关系，这类算法通过特征提取，学习图像特征，超分辨率重构这三个阶段重建超分辨率图像。

深度学其端到端的模型特征让深度学习能够有效的应用到超分辨率重构中来。srcnn(super-resolutionreconstructionneuralnetworks)将深度学习应用于超分辨率重建，使用卷积神经网络提取低分辨率图像信息，提升了超分辨率重建质量。espcn(efficientsub-pixelconvolutionalneuralnetwork)引入亚像素卷积层思想，网络输入不经插值放大的原始低分辨率图像，经过三层卷积后得到r2通道的特征图像，直接通过亚像素卷积层重构超分辨率图像。espcn模型极大增加了重构的效率。

技术实现要素：

本发明的目的是针对空间参数变化及复杂场景下的图像例如车牌图像进行快速高效的超分辨率重建，提升该类图像重建质量，提升图像重建效率。空间参数变化由图片拍摄过程中的目标多角度变化，光照强度以及雨雾天气变化导致，复杂场景包含道路、出入口等不同情境下的成像环境。因此提出一种空间参数变化及复杂场景下目标图像清晰化方法。

一种空间参数变化及复杂场景下目标图像清晰化方法，包括如下步骤：

步骤1，筛选并构建尽量包含目标多种拍摄角度、光照下的图像数据集，这种图像包含了拍摄过程中的目标多角度变化，光照强度以及雨雾天气变化引起的空间参数变化，复杂场景包含道路、出入口等不同情境下的成像环境；

步骤2，构建多层亚像素卷积网络，包括5层卷积层和1层亚像素卷积层，卷积层提取图像信息，位于最底端的一层亚像素卷积层进行重建超分辨率图像；

步骤3，将图像训练集数据送入多层亚像素卷积网络进行训练；

步骤4，将降质后或者分辨率较低的图像送入网络进行超分辨率重建。

进一步地，步骤1中所述的目标变化条件下的图像数据集构建方法为：

步骤1-1，整合图像数据集，图像应当包含图像拍摄场景中出现的多种角度和光照信息；

步骤1-2，根据图像的具体情况切除原始图像影响超分辨率重建的多余边缘部分；

步骤1-3，对高分辨率图像进行降质，下采样取得低分辨率图像。

进一步地，步骤1-3中降质过程需要先进行高斯噪声模糊，然后下采样2倍。

进一步地，步骤2中，构建卷积网络的模型为6层结构，分为5层卷积层和1层亚像素卷积层，输入图像为3通道的jpg图像，训练前先的预处理先将图像从rgb颜色空间转换为ycbcr色彩空间；第一层卷积使用7×7的卷积核共64个，卷积后输出64通道的特征图像；第二层使用5×5的卷积核共32个，对上一层的64通道特征图卷积，输出图像为32通道；第三到四层使用3×3的卷积核，最后一层使用3×3的卷积核共3×r²个，卷积输出3×r²特征图像，最后通过亚像素卷积层还原图像。

进一步地，步骤2中所述进行超分辨率重建的亚像素卷积网络的构建方法为：

步骤2-1，多层网络使用卷积操作提取图像特征信息；

步骤2-2，多层网络采用5层神经网络，卷积核分别为7，5，3，3，3；

步骤2-3，最后一层浅层网络形成h*w*c*r²的图像特征块；

步骤2-4，最后一层网络亚像素卷积层从h*w*c*r²的图像特征块中重建高分辨率图像。

进一步地，步骤3中模型的训练步骤为：

步骤3-1，使用python语言，tensorflow框架，batch-size为32，epoch为100，子图像大小为17*17，学习率为0.001；

步骤3-2，对网络进行训练，从1000张的车牌图像数据集中随机选取700张作为训练数据集，将训练数据集的高、低分辨率图像对分别作为标签和输入数据送入网络进行训练。

本发明的有益效果在于：

(1)构建空间参数变化及复杂场景的目标图像数据集，相比自然图像对深度学习网络进行训练，车牌图像包含很多角度变化与光照变化的信息，有助于提升空间参数变化及复杂场景的图像超分辨率重建的质量。

(2)网络结构引入多层亚像素卷积层，隐藏层可以根据重建需要调整，实现实时性的超分辨率重建系统，该发明能够有效提高重建效率，加快重建速度。

附图说明

图1是本发明的网络结构示意图。

图2是本方法所构建的数据集图像示例。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

一种空间参数变化及复杂场景下目标图像清晰化方法，包括如下步骤：

步骤1，筛选并构建尽量包含目标多种拍摄角度、光照下的图像数据集，这种图像包含了拍摄过程中的目标多角度变化，光照强度以及雨雾天气变化引起的空间参数变化，复杂场景包含道路、出入口等不同情境下的成像环境，以车牌图像数据集为例，如图2所示。

步骤1中所述的目标变化条件下的图像数据集构建方法为：

步骤1-1，整合图像数据集，图像应当包含图像拍摄场景中出现的多种角度和光照信息。

步骤1-2，根据图像的具体情况切除原始图像影响超分辨率重建的多余边缘部分。

步骤1-3，对高分辨率图像进行降质，下采样取得低分辨率图像。

步骤1-3中降质过程需要先进行高斯噪声模糊，然后下采样2倍。

步骤2，构建多层亚像素卷积网络，包括5层卷积层和1层亚像素卷积层，卷积层提取图像信息，位于最底端的一层亚像素卷积层进行重建超分辨率图像。

步骤2中，构建卷积网络的模型为6层结构，分为5层卷积层和1层亚像素卷积层，输入图像为3通道的jpg图像，训练前先的预处理先将图像从rgb颜色空间转换为ycbcr色彩空间；第一层卷积使用7×7的卷积核共64个，卷积后输出64通道的特征图像；第二层使用5×5的卷积核共32个，对上一层的64通道特征图卷积，输出图像为32通道；第三到四层使用3×3的卷积核，最后一层使用3×3的卷积核共3×r²个，卷积输出3×r²特征图像，最后通过亚像素卷积层还原图像。

步骤2中所述进行超分辨率重建的亚像素卷积网络的构建方法为：

步骤2-1，多层网络使用卷积操作提取图像特征信息。

步骤2-2，多层网络采用5层神经网络，卷积核分别为7，5，3，3，3。

步骤2-3，最后一层浅层网络形成h*w*c*r²的图像特征块。

步骤2-4，最后一层网络亚像素卷积层从h*w*c*r²的图像特征块中重建高分辨率图像。

上述亚像素卷积层的具体实现方法是使用大小为ks的卷积核ws进行步长为的卷积可以激活ws的不同部位。在像素之间的权重不需要计算。被激活的″像素″取决于他们的位置，最多有的权重被激活。当卷积核在逐步扫过整个特征图像空间时，依据不同亚像素的位置周期性的激活，实现这种周期性方法通过mod(x，r)和mod(y，r)，x和y是和高分辨率空间相对应的输出像素。通过公式表示上述过程：

i^sr＝f^l(i^lr)＝ps(wl*f^l-1(i^lr)+bl)

本文方法使用均方误差作为网络迭代的依据，公式如下：

步骤3，将图像训练集数据送入多层亚像素卷积网络进行训练。

步骤3中模型的训练步骤为：

步骤3-1，使用python语言，tensorflow框架，batch-size为32，epoch为100，子图像大小为17*17，学习率为0.001。

步骤3-2，对网络进行训练，从1000张的车牌图像数据集中随机选取700张作为训练数据集，将训练数据集的高、低分辨率图像对分别作为标签和输入数据送入网络进行训练。

步骤4，将降质后或者分辨率较低的图像送入网络进行超分辨率重建。

本发明构建空间参数变化及复杂场景的目标图像数据集，相比自然图像对深度学习网络进行训练，车牌图像包含很多角度变化与光照变化的信息，有助于提升空间参数变化及复杂场景的图像超分辨率重建的质量。本发明在网络结构引入多层亚像素卷积层，隐藏层可以根据重建需要调整，实现实时性的超分辨率重建系统，该发明能够有效提高重建效率，加快重建速度。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。