一种基于图像识别的二维随机码图像识别与提取方法与流程

本发明属于图像分析及图像处理技术领域，涉及一种基于图像识别的二维随机码图像识别与提取方法。

背景技术：

随着时代的发展和社会的变迁，网络技术和通信技术飞速发展，随之而来的也是数字图像技术的不断发展和变迁，数字图像作为承载信息最直接最重要的载体之一，也是人们现如今生活当中必不可少的一部分，并且随着手机、数码相机等硬件设施不断完善，人们获取和处理图像的方式变得愈发的简单。

现如今，二维随机码已经成为我们生活中不可或缺的一部分，人们出门甚至不用携带现金，只需要一部手机和简单的二维随机码即可完成所有的付款操作，二维随机码的使用当然不限于此，比如使用二维随机码加微信、使用二维随机码关注公众号、使用二维随机码进行信息的获取等等。二维随机码充斥在我们生活的各个角落，我们可以在商店、超市、会议宣传、地铁等任何地方看到二维码，但是如何在广域的图像中寻找出二维随机码的位置甚至于识别和提取它是我们目前的问题所在。

本发明所使用的原始提取图像是由人工采集并使用计算机进行修正的烟包图像，共计1018幅图像，对图像编号00000001——00001018。对人工采集的原始烟包图像进行处理，需要设计相关的图像识别和图像提取程序，提取出所需的烟包部分图像随机码。并使用所开发的图像识别与提取程序对所提取的烟包图像随机码进行保存。由于在1018幅图像中的随机码是由计算机随机生成的识别码，因此每幅图像中的随机码也各不相同。并且随机码是由人工进行拍照所采集的原始图像，随机码的大小、位置以及倾斜程度都互有差异。又因为提取出烟包的随机码是整个工程任务中最终的目的，因此对随机码图像的识别和提取更是基于深度图像检索的二维随机码烟包防伪系统的最重要的部分。所以本发明是使用图像识别与提取技术对原始烟包图像进行识别与提取，得到最终的二维随机码图像，使其更好的适用于基于深度图像检索的二维随机码烟包防伪系统。

技术实现要素：

本发明的目的是提供一种基于图像识别的二维随机码图像识别与提取方法，本方法能够通过对广域图像中的二维随机码进行识别和鉴定，并定位出其实际位置来进行二维随机码的准确提取。

本发明所采用的技术方案是，一种基于图像识别的二维随机码图像识别与提取方法，具体步骤如下：

步骤1，首先根据二维随机码的位置区域对数据库中的原图像进行裁剪；

步骤2，将经步骤1裁剪后的原图像转为灰度空间图像；

步骤3，将经步骤2得到的灰度空间图像进行角点检测，得到灰度空间图像的角点位置图；

步骤4，将经步骤3得到的灰度空间图像的角点位置图进行二值化处理，标记灰度空间图像中的角点位置区域；

步骤5，将经步骤4处理后的二值化的角点位置图像进行四个方向的遍历，得到灰度空间图像中二维随机码的准确像素位置；

步骤6，利用经步骤5得到的二维随机码的准确像素位置对数据库中的原始图像进行处理，提取二维随机码部分进行输出即可获得完整的二维随机码。

本发明的特点还在于：

其中步骤1具体为：根据原图像中二维随机码的位置区域，将原图像分割为二维随机码区域和冗余信息区域，然后裁去冗余信息区域，保留二维随机码区域和空白背景；

其中步骤2具体为：采用加权平均法对原图像进行灰度转化，以r、g、b为轴建立空间直角坐标系，rgb图的每个象素的颜色可以用该三维空间的一个点来表示，灰度图像的每个象素的颜色可以用直线r＝g＝b上的一个点来表示，原图像的灰度表示如下式：

gray＝0.29900*r+0.58700*g+0.11400*b(1)；

其中步骤3具体为：

步骤3.1，利用soble算子计算出经步骤2转化的灰度图像在x、y方向的梯度值：

式中，ix，iy为灰度图像在x和y两个方向的梯度值；

步骤3.2，设定一个窗口，让窗口在步骤2得到的灰度图像上进行任意方向上的滑动，比较滑动前与滑动后窗口中的像素灰度变化程度结合步骤3.1得到的灰度图像在x和y两个方向的梯度值ix，iy来判断角点的位置，得到灰度图像梯度的协方差矩阵m：

式中，(x,y)是窗口内所对应的像素坐标位置，w(x,y)是窗口函数；

步骤3.3，根据经步骤3.2得到的协方差矩阵m定义角点响应函数r，判定r大小来判断像素是否为角点，故角点响应函数r为：

r＝detm-k(tracem)²(11)

detm＝λ1λ2(12)

tracem＝λ1+λ2(13)

式中，λ1和λ2为矩阵m的特征值，k的取值为0.04≤k≤0.06；

将计算得到的r值与现有设定的阈值进行比较判断，滤除非角点的区域，得到灰度图像的角点位置图；

其中步骤3.2具体包括：

当窗口发生移动时，滑动前与滑动后对应的窗口中的像素点灰度变化描述如下式：

式中，[u,v]是窗口的偏移量，(x,y)是窗口内所对应的像素坐标位置，w(x,y)是窗口函数；

对e(u,v)公式使用泰勒公式进一步简化，可以得到简化后的公

式为：

式中矩阵m为：

其中步骤4具体为：

将经步骤3得到的灰度图像的角点位置图进行二值化处理时，首先计算灰度图像中像素点的二值化阈值，然后计算以任一像素点(x,y)为中心的n*n大小的区域内像素点的灰度均值m和标准差s，灰度均值m和标准差s的计算公式如下：

式中，x和y分别是灰度图像中的像素坐标；

然后根据灰度均值m和标准差s计算得到点(x,y)的二值化阈值t，计算公式为:

式中，x和y分别是灰度图像中的像素坐标，r为所有选取区域中标准差s的最大值，k为修正系数；

最后根据计算得到的二值化阈值t与灰度图像中所有像素点进行对比即可得到二值化图像；

其中二值化阈值t与灰度图像中所有像素点进行对比公式为：

式中，x和y分别是灰度图像中的像素坐标，f(i,j)是灰度图像中任意像素的坐标，b(i,j)是最终得到的二值化像素坐标；

其中步骤5具体为：

依次对经步骤4得到的二值化的角点位置图像进行四个方向的遍历，取角点阈值数进行遍历，当遍历数值大于取的阈值时输出当前位置，对图像的上下左右四个方向分别进行遍历得到灰度图像中二维随机码的准确像素位置；

其中步骤6具体为：

将经步骤5得到的二维随机码像素位置对数据库中的原图像进行处理，取二维随机码的部分位置区域进行输出即可获得完整的二维随机码。

本发明的有益效果是：

本发明的一种基于图像识别的二维随机码图像识别与提取方法融合了角点检测方法进行目标识别和定位，使用图像识别与提取技术对原始图像进行识别与提取，得到最终的二维随机码图像，使其更好的适用于基于深度图像检索的二维随机码防伪系统，本发明的方法系统稳定，图像检索的精度较高。

附图说明

图1是本发明的一种基于图像识别的二维随机码图像识别与提取方法的具体流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明所采用的技术方案是一种基于图像识别的二维随机码图像识别与提取方法，如图1所示，具体按照以下步骤实施：

步骤1，根据二维随机码的位置区域对数据库中的原图像进行一定程度的裁剪处理，裁剪到适合的尺寸并去除不相干信息和干扰信息；根据原图像中二维随机码图像的位置区域，对图像整体进行划分，将其分割为二维随机码区域和冗余信息区域，根据区域分割的结构对整体图像采用裁切算法进行切割，去掉冗余信息区域，只保留二维随机码区域和空白背景，并对图像进行尺寸调整，使得裁切之后的图像只保留二维随机码区域和空白背景，并且去掉了冗余信息；

步骤2，将原图像经步骤1处理完成后，原图像由rgb彩色空间转换到灰度空间图像，使原图像的颜色信息与亮度信息分离；通过消除图像色调和饱和度信息同时保留亮度实现将rgb图像或彩色图转换为灰度图像，即灰度化处理的功能，灰度化处理采用对r、g、b分量进行加权平均的算法；

以r、g、b为轴建立空间直角坐标系，则rgb图的每个像素的颜色可以用该三维空间的一个点来表示，而灰度图像的每个象素的颜色可以用直线r＝g＝b上的一个点来表示，于是rgb转灰度图像的本质就是寻找一个三维空间到一维空间的映射，最容易想到的就是射影(即过rgb空间的一个点向直线r＝g＝b做垂线)，对于一幅图像的灰度值，灰度表示为如下形式：

gray＝0.29900*r+0.58700*g+0.11400*b(1)

灰度可以说是亮度(luminance)的量化值，而rgb的定义是客观的三个波长值，转换时需要考虑人眼对不同波长的灵敏度曲线，所以系数不相等；

步骤3，将经步骤2灰度转化后得到灰度图像依次进行角点检测：

步骤3.1，利用soble算子计算出xy方向的梯度值，soble算子包含了两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值，如果以a代表原始图像，gx及gy分别代表经横向及纵向边缘检测的图像，其公式如下:

应用上述soble算子对图像的每一个像素的横向以及纵向梯度近似值进行计算时，结合以下公式来计算梯度大小：

式中，gx和gy分别是横向和纵向梯度大小；

梯度方向的计算则用以下公式：

式中，gx和gy分别是横向和纵向梯度大小；

因此，由上式可知，根据需要首先利用soble算子计算出图像任一点i(x,y)在x和y两个方向的梯度ix，iy：

步骤3.2，算法基本思想是使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，那么我们可以认为该窗口中存在角点，当窗口发生[u,v]移动时，那么滑动前与滑动后对应的窗口中的像素点灰度变化描述如下：

式中，[u,v]是窗口的偏移量，(x,y)是窗口内所对应的像素坐标位置，w(x,y)是窗口函数；

如果窗口中心点是角点时，移动前与移动后，该点的灰度变化应该最为剧烈，所以该点权重系数可以设定大些，表示窗口移动时，该点在灰度变化贡献较大；而离窗口中心(角点)较远的点，这些点的灰度变化几近平缓，这些点的权重系数，可以设定小点，以示该点对灰度变化贡献较小；根据上述表达式，当窗口处在平坦区域上滑动，可以想象的到，灰度不会发生变化，那么e(u,v)＝0；如果窗口处在比纹理比较丰富的区域上滑动，那么灰度变化会很大，由此可得出灰度图像中的角点位置区域；

对e(u,v)公式使用泰勒公式进一步简化，可以得到简化后的公

式为：

其中，式中[u,v]是窗口的偏移量，m矩阵为：

步骤3.3，m为梯度的协方差矩阵，为了能够应用更好的编程，定义角点响应函数r，通过判定r大小来判断像素是否为角点；r取决于m的特征值，对于角点|r|很大，平坦的区域|r|很小，边缘的r为负值，角点响应函数r为：

r＝detm-k(tracem)²(5)

detm＝λ1λ2(6)

tracem＝λ1+λ2(7)

式中的协方差矩阵，λ1和λ2为矩阵m的特征值，k的取值0.04≤k≤0.06；

由上式可知，r的值只与协方差矩阵m有关，当r为大数值正数时，则可以认为这个像素点即为角点，当r为大数值负数时，则被认定为边缘区域，当r为小数值时，则被认定为平摊区域，最后将计算出响应函数的值r进行非极大值抑制，滤除一些不是角点的点，得到最终的角点位置图；

步骤4，利用经步骤3得到的图像角点位置图进行二值化处理，显著标记图像中的角点位置区域，通过二值化处理得到灰度图像点的二值化阈值，通过灰度图像点的二值化阈值与灰度图像像素点的对比，得出准确的二维随机码角点位置图：

计算灰度图像点(x,y)二值化阈值，首先计算以(x,y)为中心的n*n大小的区域内像素点的灰度均值m和标准差s，灰度均值m和标准差s的计算公式如下：

式中，x和y分别是灰度图像中的像素坐标；

然后根据灰度均值和标准差计算得到灰度图像像素点的二值化阈值t，计算公式为

式中，x和y分别是图像中的像素坐标，r为所有选取区域中标准差的最大值，k为修正系数；

最后根据计算得到的阈值t与灰度图像像素点进行对比，将图像中所有的像素点按照此方法处理即可得到二值化图像，对比公式如下：

式中，x和y分别是灰度图像中的像素坐标，f(i,j)是灰度图像中任意像素的坐标，b(i,j)是最终得到的二值化像素坐标；

因此，在灰度图像二值化的过程中，这种方法不仅产生的噪点较少，对图像的干扰信息少，有助于图像的后续识别操作，而且在此二值化的过程中，会根据二值化阈值和程序的设定，自动的进行对生成好的角点进行检测的过程，每当生成角点时，角点就将自动的转化为黑点，其余图像的像素点都被转换成白点，这样就得到了二值化的角点位置图；

步骤5，经步骤4得到的二值化的角点位置图，依次进行四个方向的遍历，取角点数目分别为10或20进行遍历，当遍历数值大于该数目时输出当前位置，对灰度图像的上下左右四个方向分别进行遍历得到灰度图像中二维随机码的准确像素位置；根据步骤4得到的二值化的角点位置图，对角点位置图进行处理，根据实验和观察，发现二位随机码位置区域会产生大量的角点，而灰度图像的其他位置也会产生角点，但角点的数量明显少于二维随机码位置区域的角点数量，因此，基于这种情况本发明应用了阈值框遍历方法，设定四个初始矩形，其中矩形框的长度为图像长度，宽为10个像素点，用这个四个矩形框分别对图像进行不同方向的遍历，在遍历的过程中需要检测的只有角点的数量，由于在步骤4中，已经对角点进行了二值化，因此有角点的地方为黑色，白色区域则是没有角点的区域，当遍历的角点的数量大于设定的角点数目时，程序自动跳出循环，输出当前位置，这样一来就得到了二维随机码四条边的像素位置，在后续步骤中，用得到的像素位置在灰度图像中进行定位就可以精准定位到二维随机码，接着只需做裁切操作便可得到完整的二维随机码图像；

步骤6，将经步骤5得到的灰度图像中的完整二维随机码图像对数据库中的原始图像进行处理，只取二维随机码的部分位置区域进行输出即可获得完整的二维随机码；

本发明融合了角点检测方法进行目标识别和定位，使用图像识别与提取技术对原始图像进行识别与提取，得到最终的二维随机码图像，使其更好的适用于基于深度图像检索的二维随机码防伪系统；

本发明使用了一种较为先进的裁切算法，对原图像进行处理，有效的去除了原图像中的冗余信息，有利于目标识别和定位，加快了算法的运算速度，并提高了系统的稳定性；

本发明融合角点检测和裁切算法使用时，能够大幅度提高识别和定位的精度，使用该方法不仅可以对原始图像上的二维随机码进行识别与提取，同时也能在其他领域中进行使用；

本发明融合角点检测和裁切算法的目标识别与定位方法，也适用于图像检索领域，可以提高图像检索的精度。