图像分块与卷积网络相结合估计透射图图像去雾方法与流程

本发明涉及图像处理领域，具体涉及基于图像分块与卷积网络相结合来估计透射图图像去雾方法。
背景技术：
：图像复原法基于大气散射物理模型，通过对有雾图像降质原因的分析，并有效利用先验知识，来恢复原始图像。大气散射公式：i(x)＝j(x)t(x)+a(1-t(x))(1)i(x)为有雾图像，j(x)为无雾图像，a为大气光照，t(x)为透射率。由于图像复原法更具有针对性，可以取得更理想的去雾效果，因此成为图像去雾领域的研究热点。对于单张图像去雾这个问题，最重要的步骤就是估计透射图，在初期人们通过“观察→经验→设计”构建各式各样的特征(如暗通道、颜色衰减、雾线、对比度等)来辅助估计透射图，后来随着人工智能的发展又提出了基于机器学习，深度学习的相关方法来估计透射图。相比于各种传统的基于先验知识的方法，机器学习甚至深度学习的方法则显得单调得多，直接通过神经网络自动提取特征，缺乏对问题本身以及图像统计特性十分深刻的理解。不过基于深度学习的方法可以理解为运用了非常强大的非线性模型，利用大量的有/无雾图像的数据对，对透射图进行估计，因此一般能得到超越传统方法的结果。dehazenet(一种基于深度学习的去雾方法)是一个特殊设计的深度卷积网络，利用深度学习去智能地学习雾霾特征，解决手工特征设计的难点和痛点。dehazenet去雾算法是一种基于深度学习的算法，它能实现较好的去雾效果，并克服了暗原色去雾算法的缺点，同时随着数据集的增加，去雾效果也会随之提高；mscnn(多尺度卷积网络去雾方法)与dehazenet非常相似的思路，不同的是提出了一个多尺度的卷积神经网络结构。通过先用粗糙网络生成粗粒度的透射图，再用精细网络进一步得到更细致的图像；为了实现端到端训练且避免利用额外的方法估计全局大气光照a，aod-net(一种端到端的去雾方法)做了一些简单的数学变换，把t(x)和a统一到了一个变量k(x)当中。这样只需要用网络估计出k(x)就可以直接得到j(x)。技术实现要素：为克服现有技术的不足，本发明旨在提出一种通过将图像分块与卷积网络相结合来估计透射图的图像去雾方法,得到更高质量的无雾图像。为此，本发明采取的技术方案是，图像分块与卷积网络相结合估计透射图图像去雾方法，将输入图像与标签图像分成n*n的表格，然后通过卷积网络进行训练，在测试时将输入图像的大小调整为每一块的大小，然后通过上采样得到与输入图像相同大小的透射图，然后将其代入大气散射模型输出无雾图像。具体步骤细化如下：步骤一，训练阶段:1)分块：采用分块的形式将将输入图像与标签图像对应划分为n*n块的方法进行训练；2)将分块后的数据集输入神经网络进行训练，所述网络的第一层通过简单前馈非线性激活函数maxout对每一个图像块进行特征提取，maxout单元是用于多层感知机或卷积神经网络cnn的简单前馈非线性激活函数，通过对k个特征进行像素方式最大化操作来生成新的特征，经过maxout进行特征提取之后，所有与雾相关的特征都提取出来，其公式为：之后的网络层采用粗细网络的方式，包括：池化层，每个卷积层之后使用最大池化层；上采样层，在每个池化层之后使用一个上采样层，以确保输出的透射图与输入的有雾图的大小相等；线性组合：通过一个线性组合整合来自最后一个上采样层的特征通道，然后通过sigmoid函数得到最后的输出，sigmoid函数是一个生物学中s型的函数，也称为s型生长曲线，用作神经网络的阈值函数；步骤二，测试阶段：在测试时将输入图像的大小调整为每一块的大小，然后通过上采样得到与输入图像相同大小的透射图。步骤三，将步骤二所得到的透射图代入大气散射模型，最后得到与输入图像同样大小的无雾图像。选择n＝3。在进行反向传播时，采用随机梯度下降算法的扩展式adam算法进行学习率设置。本发明的特点及有益效果是：本发明的有益效果是：本发明解决的技术问题是提供一种通过将图像分块与卷积网络相结合来估计透射图的图像去雾方法。该方法将输入图像与标签图像分成n*n的表格，然后通过卷积网络进行训练。因为对每一小块进行去雾会使运行时间变得特别缓慢，所以我们在测试时将输入图像的大小调整为每一块的大小，然后通过上采样得到与输入图像相同大小的透射图，然后将其代入大气散射模型输出无雾图像。通过广泛实验证明所提出的算法能得到更高质量的无雾图像。附图说明：图1为基于图像分块与卷积网络相结合来估计透射图的新型图像去雾方法的网络结构图。图2为有雾及去雾效果图，(b)、(c)、(d)是n分别为2，3，4时的去雾效果图。图3为不同去雾方法的去雾效果图。图中，(a)有雾图像，(b)暗原色去雾，(c)dehazenet，(d)mscnn，(e)aod-net，(f)ours。具体实施方式单图像去雾在计算机视觉领域一直是一个具有挑战性的问题。传统的图像去雾方法都是采用手工特征。而随着人工智能，机器学习、深度学习的的发展，基于深度学习的去雾方法发展迅速。本发明的目的是提出一种通过将图像分块与卷积网络相结合来估计透射图的图像去雾方法。该算法将输入图像与标签图像分成n*n的表格，然后通过卷积网络进行训练。因为对每一小块进行去雾会使运行时间变得特别缓慢，所以我们在测试时将输入图像的大小调整为每一块的大小，然后通过上采样得到与输入图像相同大小的透射图，然后将其代入大气散射模型输出无雾图像。通过广泛实验证明所提出的算法能得到更高质量的无雾图像。本发明解决的技术问题是提供一种通过将图像分块与卷积网络相结合来估计透射图的图像去雾方法。该方法将输入图像与标签图像分成n*n的表格，然后通过卷积网络进行训练。因为对每一小块进行去雾会使运行时间变得特别缓慢，所以我们在测试时将输入图像的大小调整为每一块的大小，然后通过上采样得到与输入图像相同大小的透射图，然后将其代入大气散射模型输出无雾图像。为了解决上述技术问题，本发明的技术方案是：一种基于深度学习的新型去雾方法，包括以下步骤：步骤一，训练阶段:1).分块：对于基于深度学习的去雾方法来说，数据集是关键，但去雾方向的数据集相对较少，如何使用有限的数据集获得更好的训练效果，从而得到更好的去雾效果是基于深度学习的去雾方法探究的重要方向。采用分块的形式将将输入图像与标签图像对应划分为n*n块的方法进行训练，相当于扩大了数据集，可以得到更高质量的无雾图；2).将分块后的数据集输入如图1所示的神经网络进行训练。该网络的第一层通过maxout对每一个图像块进行特征提取。maxout单元是用于多层感知机或cnn的简单前馈非线性激活函数。它通过对k个特征进行像素方式最大化操作来生成新的特征。经过maxout进行特征提取之后，几乎所有与雾相关的特征都可以提取出来。其公式为：之后的网络层采用粗细网络的方式，因为mscnn中设计的来估计透射图的粗细网络能得到较好的预测结果。该网络主要包括，池化层：每个卷积层之后使用最大池化层；上采样层：在每个池化层之后使用一个上采样层，以确保输出的透射图与输入的有雾图的大小相等；线性组合：通过一个线性组合整合来自最后一个上采样层的特征通道，然后通过sigmoid激活函数得到最后的输出。步骤二，测试阶段：在测试时将输入图像的大小调整为每一块的大小(n*n的表格中一个单元格对应的图像大小)，然后通过上采样得到与输入图像相同大小的透射图。步骤三，将步骤二所得到的透射图代入大气散射模型，最后得到与输入图像同样大小的无雾图像。下面结合附图，附表以及实验比较来描述本发明实施的基于图像分块与卷积网络相结合来估计透射图的新型图像去雾方法。本发明采用来自室内的nyu2数据集(用于去雾)。我们设置了不同的大气光a，a的取值范围为[0.6,1.0],同时我们又设置了β的值，β的取值范围为[0.5,1.5],最后得到用于训练的10143张图像。本次实验主要通过以下两个方向进行比较：1).由于采取不同的n对结果会有影响，所以我们对采取不同n时得到的去雾图像进行比较.本文此次选取n值分别为2，3，4。2).将上文比较之后得到的去雾方法，与其它先进的去雾方法进行比较。实验一：不同的n对结果的影响评价去雾结果的好坏首先要有评价指标，本文主要采用psnr与ssim对去雾后的图像进行评价。psnr(peaksignaltonoiseratio)峰值信噪比，一种全参考的图像质量评价指标。psnr的单位是db，数值越大表示失真越小。psnr是最普遍和使用最为广泛的一种图像客观评价指标，然而它是基于对应像素点间的误差，即基于误差敏感的图像质量评价。由于并未考虑到人眼的视觉特性(人眼对空间频率较低的对比差异敏感度较高，人眼对亮度对比差异的敏感度较色度高，人眼对一个区域的感知结果会受到其周围邻近区域的影响等)，因而经常出现评价结果与人的主观感觉不一致的情况。ssim(structuralsimilarity)结构相似性，也是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。ssim取值范围[0,1]，值越大，表示图像失真越小。在进行去雾指标评价之前，还有一个重要因素对去雾算法有着重要影响，那就是运行时间。运行时间的长短决定着去雾算法是否可以应用于实际。所以首先对n取不同值时，去雾算法的运行时间进行比较。本次实验采用的电脑配置为酷睿i7-7700cpu@4.20ghz,32gb,没有gpu加速。本次测试采用30张图像。实验步骤如下所示：步骤一：将数据集中的每张输入图片与标签图片对应分割成2*2，3*3，4*4的形式；步骤二：构建神经网络。其结构如图1所示。本发明采用的网络结构来源于于mscnn中的粗细网络。粗网络：将输入图像与12*12的卷积核做卷积，通道数为5，然后进行最大池化，步长为2，接着通过上采样恢复到池化之前的大小；然后与9*9的卷积核做卷积，通道数为5，然后进行池化和上采样；接着与7*7的卷积核卷积，通道数为10，然后进行池化和上采样，接着进行线性组合。细网络：首先采用7*7的卷积核进行卷积，通道数为16，接着采用maxout单元进一步提取特征，通道数变为4，然后进行池化和上采样。将上采样之后的特征与粗网络提取的特征组合到一起，接着与5*5的卷积核卷积，通道数为5，然后池化，上采样；然后与3*3的卷积核卷积，通道数为10，接着池化，上采样，最后进行线性组合。步骤三：在进行反向传播时，采用adam算法(随机梯度下降算法的扩展式)。在训练神经网络时，需要设置学习率控制参数更新的速度，学习率决定了参数每次更新的幅度，如果幅度过大，则可能导致参数在极优值的两侧来回移动；若幅度过小，又会大大降低优化速度。所以在本文中我们选取了一种更加灵活的学习率设置方法，adam算法。adam优化算法是随机梯度下降算法的扩展式，近来其广泛用于深度学习应用中，尤其是计算机视觉和自然语言处理等任务。adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。adam算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率更新所有的权重，学习率在训练过程中并不会改变。而adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。步骤四：在测试时将输入图像的大小调整为每一块的大小，然后通过上采样得到与输入图像相同大小的透射图。通过实验，可以得到n分别为2，3，4时去雾算法的运行时间，其运行时间表如表1所示。当n＝2,n＝3,n＝4时，分别从30张图像中选取3张相同图片，其效果图如图1所示。使用去雾评价指标对n＝2,n＝3,n＝4时的去雾效果进行评价，其结果如表2所示。如表1与表2所示：表1.n为不同值时的运行时间比较表n＝2n＝3n＝4运行时间0.641.032.18表2.n为不同值时去雾价指标比较表n＝2n＝3n＝4psnr18.407818.444618.5311ssim0.86690.88010.8626通过实验比较，虽然当n＝4时的去雾评价指标psnr比n＝2,n＝3时略高，但耗费的时间也是n＝2,n＝3时的2倍多，用于实际中不能较好的实现实时去雾效果，而n＝3时去雾评价指标ssim最高，运行时间与psnr值居中，所以若用于实际则综合选择n＝3。实验二：不同去雾方法的比较去雾方法众多，此次实验主要采用通过导向滤波改进后的暗原色去雾方法，dehazenet,mscnn,aod-net等几种先进的去雾方法与本文提出的去雾方法进行比较。为了保证定性与定量的要求，此次仍采用上文测试所用的30张图像。从30张图像中选取了3张图片在图3中进行展示。其效果图如图3所示。使用去雾评价指标对采用不同去雾方法时的去雾效果进行评价，其结果如表3所示。表3.不同去雾方法的去雾评价指标比较表暗原色先验dehazenetaod-netmscnnourspsnr17.451617.769617.693018.082518.4446ssim0.84120.82910.70550.86490.8651通过比较可知当n＝2时的psnr与ssim指标都比其它方法要高，而当n＝3时去雾效果更好。当前第1页1 2 3