基于深度学习的二维条码图像超分辨方法与流程

本发明涉及人工智能和图像处理领域，具体涉及一种基于深度学习的二维条码图像超分辨方法。
背景技术：
：二维条码是用按一定规律分布的黑白相间的几何图形间的组合来记录数据符号和信息的，而且在编码上巧妙的与计算机内部的逻辑基础0和1的比特流概念结合，使用与二进制相对应的几何形体组合表示文字数值信息，然后在通过条码识别技术识别条码信息，从而达到信息的识读。同时二维条码具有信息容量大、可靠性高保密防伪性强、易于制作、陈本低廉等优点。在科学技术快速发展的形势下,二维条码技术作为数据自动采集的手段被广泛的应用于物流仓储、工业盘点、服装行业、移动支付类、通道闸机、小区门禁和智能家居设备等地方。但是也存在着一些问题，比如，在采集二维条码图像进行识别的时候，因为采集的图像分辨率不足，导致难以识别。技术实现要素：有鉴于此，本发明的目的在于提供一种基于深度学习的二维条码图像超分辨方法，搭建的网络模型有利于网络结构学习到更多的二维条码图像细节特征，能够更好的将低分辨的二维条码图像重建成清晰的二维条码超分辨图像。为实现上述目的，本发明采用如下技术方案：一种基于深度学习的二维条码图像超分辨方法，包括以下步骤：步骤s1:采集具有高分辨率的二维条码图像，并进行预处理，得到训练集和测试集；步骤s2:构建用于二维条码图像超分辨重建的卷积神经网络模型，并优化损失函数；步骤s3:根据训练集训练优化后的卷积神经网络模型；步骤s4：将待超分辨重建的低分辨率二维条码图像输入到训练好的卷积神经网络模型，得到重建后的超分辨率二维条码图像。进一步的，所述步骤s1具体为：步骤s11:采集二维条码图像，并筛选掉模糊的二维条码图像，整理出具有高分辨率的二维条码图像；步骤s12:根据得到的具有高分辨率的二维条码图像，将预设比例的图像作为真实二维条码图像即训练集；将剩余的图像通过下采样得到对应的低分辨率的二维条码图像即为测试集；步骤s13:将训练集中的图像做若干角度的翻转，得到扩大n倍的训练集。进一步的，所述用于二维条码图像超分辨重建的卷积神经网络模型由生成模型g和判别模型d两部分组成。进一步的，所述生成模型g包括五个模块的内层卷积、16个残差密度块、prelu激活函数；且残差密度块之间我们运用了密度连接方法指导信息传递，块与块之间用残差学习的方法，且剔除了批规范化操作bn。进一步的，所述生成模型g的损失函数构建，具体为：在引入l1损失的情况下构造的生成模型损失函数lg的内容损失函数lx，内容损失函数的计算式为：lx＝l1其中：l1为基于像素级的损失函数，lx为内容损失，r为缩放因子，w为二维条码图像的宽度，h为二维条码图像的高度，x＝1,2,3……w，y＝1,2,3……h,为训练好的生成模型，θg为生成模型g的权值参数，为高分辨二维条码图像中的某一点的像素值，为经过生成网络g生成的超分辨二维条码图像中某一点的像素值；在引入em距离的情况下构造的生成模型损失函数lg的对抗损失lgen，对抗损失函数的计算式为：其中：d(x)为判别模型，pz为噪声z生成的样本分布。进一步的，所述判别模型d由11个内卷积层、12个leakyrelu激活函数、一个全连接层组成，并重新引入批规范化操作bn。进一步的，所述判别模型的损失函数构建具体如下：在引入em距离的前提条件下构造的判别模型的损失函数ld，其计算式为：其中：pdata为真实数据样本分布。进一步的，所述步骤s3具体为：根据训练集对优化后的卷积神经网络模型进行训练，使用反向传播算法进行迭代不断的减小损失函数的损失值进行参数学习，使预测的图像逼近原始图像，以获得网络的最佳权重参数模型。本发明与现有技术相比具有以下有益效果：本发明搭建的网络模型有利于网络结构学习到更多的的二维条码图像细节特征，能够更好的实现生成更逼近于真实的二维条码超分辨图像。附图说明图1是本发明方法流程图；图2是本发明一实施例中整体网络结构图；图3是本发明一实施例中网络结构生成模型图；图4是本发明一实施例中生成模型的残差密度块示意图；图5是本发明一实施例中网络结构的判别模型图图6是本发明一实施例中本发明和bicubic算法的二维条码图像超分辨后的效果图。具体实施方式下面结合附图及实施例对本发明做进一步说明。请参照图1，本发明提供一种基于深度学习的二维条码图像超分辨方法，包括以下步骤：1).数据集采集、整理再进行数据集的预处理，生成二维条码图像的训练集样本，和测试集，主要步骤如下：1-1)对采集的数据集进行筛选，筛选掉模糊的二维条码图像，整理出具有高分辨率的二维条码图像，本实施例中一共整理出了1081张高分辨的二维条码图像这1081张高分辨二维条码图像根据条码密度的不同我们又把数据集分成了两种，其中条码密度低的数据集我们称为2ds-dataset(202张)、条码密度高的数据集我们称为2dd-dataset(879张)，然后在这两个数据集中各取三分之二的图像作为真实二维条码图像就得到了训练集trainset(721张)，剩下的高分辨率的二维条码图像运用matlab进行下采样得到对应的低分辨率的二维条码图像从而得到测试集testset(360张),这里需要指出下采样我们用的是双三次插值，下采样因子为4。1-2)为了扩大1-1)中的训练集图片的数量我们把1-1中的训练集图片做了45°、90°、135°、180°翻转这样我们把原有训练集数据扩大了4倍，变为了2884张。这样做的目的是为了丰富训练集的图片，可以让网络在训练后提取到二维条码图像更多的特征，提高后期低分辨二维条码图像的超分效果。1-3)本实施例中建立了测试集testset，测试集当中的低分辨率二维条码图像要与对应的高分辨二维条码图像一一对应，这样做的目的是将来网络训练完成后测试网络性能时有比对目标，验证低分辨二维条码的超分效果。2)构建用于二维条码图像超分辨重建的卷积神经网络模型，并优化损失函数；在本实施例中，模型整体结构如图2所示，模型由生成模型g和判别模型d两部分组成，其中生成模型g由去除批规范化操作的残差密度块(residualdensityblock)和子像素卷积层(subpixelconvolutionlayer)组成。判别模型d由卷积层(convolutionlayer)和全连接层(fullyconnectedlayer)组成。图2中，input表示输入低分辨率的二维条码图像realimage表示的是真实高分辨率的二维条码图像generateimage表示的是超分辨率的二维条码图像优选的，在本实施例中，生成模型的详细模型如图3所示，它由conv_g1、conv_g2、conv_g3、conv_g4、conv_g5五部分的内层卷积组成，其中conv_g1-conv_g5的卷积核大小为3×3，特征维度conv_g1-conv_g3为64，conv_g4和conv_g5的特征维度分别为256和3，步幅默认为1。中间由16个残差密度块组成，图4是残差密度块的示意图，残差密度块之间运用了密度连接方法指导信息传递。且去除了批规范化操作bn。优选的，在本实施例中，判别模型d的详细模型如图5所示，判别模型由conv_d1-conv_d11这11个内卷积层、12个leakyrelu激活函数、一个全连接层组成。这里conv_d1-conv_d7卷积核大小为4×4、步幅为2。conv_d8-conv_d9卷积核大小为1×1、步幅为1.conv_d10-conv_d11卷积核大小为3×3、步幅为1。需要强调的是conv_d2-conv_d11之间重新引入了批规范化操作bn。3)构造卷积神经网络生成模型的损失函数，生成模型损失函数lg由内容损失lx和对抗损失lgen两部分组成，计算式为：lg＝lx+10-3lgen其中：l1为基于像素级的损失函数lx为内容损失，r为缩放因子，w为二维条码图像的宽度，h为二维条码图像的高度，x＝1,2,3……w，y＝1,2,3……h,x和y的值都表示像素值，为训练好的生成模型，θg为生成模型g的权值参数为高分辨二维条码图像中的某一点的像素值，为经过生成网络g生成的超分辨二维条码图像中某一点的像素值。其中：d(x)为判别模型，pz为噪声z生成的样本分布。4)构造卷积神经网络判别模型d的损失函数ld其中：pdata为真实数据样本分布5)采用步骤1-2)得到的训练样本集对网络结构进行训练，使用反向传播算法进行迭代不断的减小损失函数的损失值进行参数学习，使预测的二维条码图像逼近原始的二维条码图像，以获得网络的最佳权重参数模型。6)将需要进行重建的低分辨率二维条码图像输入到步骤5)训练好的网络模型中生成对应的超分辨率二维条码图像在本实施例中，为了更好地说明低分辨二维条码的超分辨效果由以下实验进一步说明：本实施例中，实验选用的数据集为我们自己创建的测试集testset(360张)，实验环境中操作系统为ubuntu16.04，显卡为nvidiateslam40，使用pytorch框架和python3.5程序语言。评价指标为图像超分辨领域常用的评价指标峰值性噪比(psnr)和机构相似性(ssim)所述峰值信噪比(psnr)，单位db，其中：mmse为均方差，xmax为图像的最大像素值、w和h分别为图像的宽和高结构相似性(ssim)是测量两幅数字图像之间相似度的指标。sssim(x,y)＝[l(x,y)]α[cx,y]β[sx,y]γ其中：：ux、uy、σx和σy分别为x、y的平均值和标准差，σxy为x和y的共异数，c1、c2、c3皆为常数本发明取c1＝α＝β＝γ＝1及c3＝c2/2。本实施例中由psnr和ssim作为低分辨率二维条码图像经过超分辨后的评价指标。由表1可知，本发明的方法优于双三次插值(bicubic)的方法，由图6我可以更直观的感受到这个结果。表1psnrssimbicubic25.480.813本发明29.120.916以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。当前第1页12