深度学习与形状检测相结合的二维码定位方法及系统与流程

本发明属于机器视觉检测技术领域，具体涉及一种深度学习与形状检测相结合的二维码定位方法

背景技术：

在工业领域，利用二维码对工业产品及零部件进行标识，实现对产品及零部件的生成追踪、装配管理、生命周期维护等功能，已经成为自动化工业的行业标准。其中datamatrix(dm)二维码因其优秀的数据压缩能力和强大的纠错能力受到工业及物流行业的青睐。与食品、药品和其他消费类产品的包装用二维码不同，工业二维码的应用环境通常比较恶劣，二维码的识别通常伴随着噪声、过曝、磨损、污染等问题。因此针对复杂背景的dm码定位算法具有重要意义和迫切的市场需求。

但是现有的datamatrix二维码定位系统存在耗时长、复杂环境下无法识别和准确率低等缺点。

技术实现要素：

1、发明目的。

本发明提供耗时短、定位准确率高且稳定的一种深度学习与形状检测相结合的二维码定位方法及系统。

2、本发明所采用的技术方案。

本发明公开了一种深度学习与形状检测相结合的二维码定位方法，具体步骤为：

步骤1、在复杂光源环境下采集待测二维码图像，该图像通过深度学习获得的二维码候选区域提取器和梯度方向分组的改进霍夫变换二维码潜在图形定位算法来获得二维码候选轮廓；

步骤2、对其进行灰度投影的二维码铁道线判定，得出精确的二维码定位区域，进而快速进行二维码码片信息的获取；

步骤3、最后通过rs解码算法得到准确的二维码信息。

更进一步，步骤1中，二维码候选区域提取器获取大量样本图像，通过faster-rcnn卷积网络对样本图像中可能含有datamatrix的区域进行检测，将被测图像分割为矩形roi，对不同环境下含有二维码的图片进行人工标注，对标注后的图片进行faster-rcnn网络训练，获得一个鲁棒的二维码矩形roi提取器。

更进一步，步骤1中，二维码候选轮廓获得，获取测试图像，通过二维码矩形roi提取器对待检测图像进行运算，得到二维码矩形roi区域，再对roi矩形进行均值下采样得到图像金字塔，金字塔最高层进行3*3普利维特算子的卷积，得到梯度方向与梯度模值，对所得到的梯度方向进行直方图计算，选取直方图中每一个峰的梯度方向值在预设范围内所对应的像素点进行hough变换求取候选直线，对候选直线进行筛选，选取所有构成四边形的四条候选直线求出4个交点作为二维码候选轮廓。

更进一步，步骤2中，精确的二维码定位区域即二维码四个精确定位点获得，对所有二维码候选轮廓四边形的每一条边进行宽度适当的垂直灰度投影，计算以得到灰度变化波形，如发现相邻两条边的灰度投影波形的波峰波谷间距满足一定范围且跳变次数一致即认定该相邻两边为datamatrix二维码的铁道线定位边，再检测另外两条边的灰度投影波形，平坦度在一定范围即可认为当前候选轮廓存在二维码，可以得出四条直线的交点即为二维码四个定位点，铁道线的灰度投影波峰波谷个数即为二维码位数。

更进一步，步骤3中，得到准确的二维码信息二维码解码模块，通过四个定位点以及二维码位数来对二维码划分网格点，计算每个网格内的平均灰度，对所有网格内的平均灰度进行otsu二值化即可得到datamatrix二维码的二进制码，查询datamatrix协议对二维码内码片进行提取，经过纠错计算得到最终结果。

本发明公开了一种深度学习与形状检测相结合的二维码定位系统，包括二维码候选区域提取器获得模块、二维码候选轮廓获得模块、二维码四个精确定位点获得模块、二维码解码模块；

二维码候选区域提取器获得模块，获取大量样本图像，通过faster-rcnn卷积网络对样本图像中可能含有datamatrix的区域进行检测，将被测图像分割为矩形roi，对不同环境下含有二维码的图片进行人工标注，对标注后的图片进行faster-rcnn网络训练，获得一个鲁棒的二维码矩形roi提取器；

二维码候选轮廓获得模块，获取测试图像，通过二维码矩形roi提取器对待检测图像进行运算，得到二维码矩形roi区域，再对roi矩形进行均值下采样得到图像金字塔，金字塔最高层进行3*3普利维特算子的卷积，得到梯度方向与梯度模值，对所得到的梯度方向进行直方图计算，选取直方图中每一个峰的梯度方向值在预设范围内所对应的像素点进行hough变换求取候选直线，对候选直线进行筛选，选取所有构成四边形的四条候选直线求出4个交点作为二维码候选轮廓；

二维码四个精确定位点获得模块，对所有二维码候选轮廓四边形的每一条边进行宽度适当的垂直灰度投影，计算以得到灰度变化波形，如发现相邻两条边的灰度投影波形的波峰波谷间距满足一定范围且跳变次数一致即认定该相邻两边为datamatrix二维码的铁道线定位边，再检测另外两条边的灰度投影波形，平坦度在一定范围即可认为当前候选轮廓存在二维码，可以得出四条直线的交点即为二维码四个定位点，铁道线的灰度投影波峰波谷个数即为二维码位数；

二维码解码模块，通过四个定位点以及二维码位数来对二维码划分网格点，计算每个网格内的平均灰度，对所有网格内的平均灰度进行otsu二值化即可得到datamatrix二维码的二进制码，查询datamatrix协议对二维码内码片进行提取，经过纠错计算得到最终结果。

更进一步，所述的二维码候选区域提取器获得模块，采用工业相机的拍摄和网络图库来获取大量样本图像。

更进一步，所述的二维码候选轮廓获得模块，通过工业相机来获取测试图像，选取直方图中每一个峰的梯度方向值在正负22.5度内所对应的像素点进行hough变换求取候选直线。

3、本发明所产生的技术效果。

(1)本发获取大量的样本图像，通过faster-rcnn卷积网络对样本图像进行训练，进而获得二维码候选区域提取器，该方法使得接下来的二维码候选轮廓和精确定位特征区域的运算大大地节省了时间；

(2)本发明的精确定位特征区域算法更是精准地计算出二维码的四个定位点，使二维码码片识别算法能够快速、准确地进行；

(3)本发明的rs解码算法能够快速、准确地获得二维码解码结果。整个方案不仅稳定，而且效率高，同时准确率高，可达99.95％。

附图说明

图1为本发明的一种深度学习与形状检测相结合的二维码定位方法的创建流程图。

其中模块包括：二维码候选区域提取器获得1、二维码候选轮廓获得2、二维码四个精确定位点获得3、二维码解码4。

具体实施方式

实施例1

一种深度学习与形状检测相结合的二维码定位方法，是指在复杂光源环境下采集待测二维码图像，该图像通过深度学习获得的二维码候选区域提取器和梯度方向分组的改进霍夫变换二维码潜在图形定位算法来获得二维码候选轮廓，然后对其进行灰度投影的二维码铁道线判定，得出精确的二维码定位区域，进而快速进行二维码码片信息的获取，最后通过rs解码算法得到准确的二维码信息。

进一步的，所述二维码候选区域提取器是通过对标注后的样本图片进行faster-rcnn网络训练得到的。

进一步的，所述快速地二维码候选轮廓获得是利用梯度方向分组的改进霍夫变换二维码潜在图形定位算法实现的。

进一步的，所述二维码四个精确定位点是通过灰度投影的二维码铁道线判定算法实现的。

进一步的，所述二维码解码是通过阈值判别和rs解码算法实现的。

下面结合附图对本发明的技术方案做进一步的详细说明：

参见图1，本发明包括四大模块，分别是二维码候选区域提取器获得、二维码候选轮廓获得、二维码四个精确定位点获得、二维码解码。

首先，采用工业相机的拍摄和网络图库来获取大量样本图像，然后通过faster-rcnn卷积网络对样本图像中可能含有datamatrix的区域进行检测，将被测图像分割为矩形roi，对不同环境下含有二维码的图片进行人工标注，对标注后的图片进行faster-rcnn网络训练，获得一个鲁棒的二维码矩形roi提取器。

之后，通过工业相机来获取测试图像，通过二维码矩形roi提取器对待检测图像进行运算，得到二维码矩形roi区域，再对roi矩形进行均值下采样得到图像金字塔，金字塔最高层进行3*3普利维特算子的卷积，得到梯度方向与梯度模值，对所得到的梯度方向进行直方图计算，选取直方图中每一个峰的梯度方向值在正负22.5度内所对应的像素点进行hough变换求取候选直线，对候选直线进行筛选，选取所有构成四边形的四条候选直线求出4个交点作为二维码候选轮廓。

之后，对所有二维码候选轮廓四边形的每一条边进行宽度适当的垂直灰度投影，计算以得到灰度变化波形，如发现相邻两条边的灰度投影波形的波峰波谷间距满足一定范围且跳变次数一致即认定该相邻两边为datamatrix二维码的铁道线定位边，再检测另外两条边的灰度投影波形，平坦度在一定范围即可认为当前候选轮廓存在二维码，可以得出四条直线的交点即为二维码四个定位点，铁道线的灰度投影波峰波谷个数即为二维码位数。

最后，通过四个定位点以及二维码位数来对二维码划分网格点，计算每个网格内的平均灰度，对所有网格内的平均灰度进行otsu二值化即可得到datamatrix二维码的二进制码，查询datamatrix协议对二维码内码片进行提取，经过纠错计算得到最终结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。