一种易拉罐点阵喷码字符在线视觉检测方法
【专利摘要】本发明提供了一种基于机器视觉的易拉罐罐底喷码字符在线视觉检测方法，包括定位中采用MSER方法对字符区域进行初定位，通过连通域法进行细定位。针对点阵喷码字符的特点，采用点阵喷码字符分割算法进行分割，确保了分割的准确性。字符识别中通过卷积神经网络识别方法进行识别，在保证实时性的同时提高了检测精度，完全可以满足易拉罐罐底点阵喷码字符检测的高实时性、高准确性的要求。
【专利说明】一种易拉罐点阵喷码字符在线视觉检测方法
【技术领域】
[0001] 本发明涉及利用机器视觉对易拉罐点阵喷码字符在线检测领域，具体是指一种应 用于工业现场的、高实时性要求的易拉罐罐底喷码字符识别的图像处理方法。
【背景技术】
[0002] 随着人民生活水平的稳健提高，我国食品饮料行业维持快速增长的势头，以易拉 罐为容器的需求量也在不断增加，生产加工过程中的产品质量是企业品牌价值的体现，同 时也直接关系到消费者的切身利益。为了产品质量的提高，需要对产品信息进行检测、追 踪。因此，如何实时地对易拉罐点阵喷码字符识别检测，以便及时剔除不合格产品是亟需解 决的问题。
[0003] 当前易拉罐喷码字符在线检测技术研究主要分为三个部分：
[0004] 第一部分为字符区域的定位。目前，工业字符识别通常在离线状态下先框选出R0I 区域，在线检测时在设定的R0I区域内进行检测识别。通过这种方式能够有效的减少背景 噪声的干扰，定位效果较好。但是在实际工业生产线上，易拉罐在喷码过程中易发生旋转， 无法设置固定的R0I区域，如何准确的定位出易拉罐字符是识别的关键。
[0005] 第二部分为字符分割技术。连续完整的喷码字符通常采用传统的投影技术进行分 害!]，而点阵字符在投影过程中会产生很多断点，采用传统的投影分割技术无法准确分割。因 此在分割前多采用膨胀法将字符间断裂的部分膨胀连接起来，以便后期分割，因为字符分 割直接影响到字符识别的效果，因此字符分割技术一直是研究的重点。
[0006] 第三部分为特征提取与识别技术，目前，字符识别多为事先提取诸多结构特征、 统计特征，再进行相关性分析，这些特征对于传统的印刷字符识别效果较好，但是对于易 断裂、易扭曲的点阵喷码字符，识别效果不佳。卷积神经网络（Convolutional Neural Network，简称CNN)为深度学习的一种学习方式，利用机器去学习高质量的喷码特征，避免 了传统识别算法中复杂的特征提取和数据重建过程，且具有良好的容错能力及并行处理能 力。
【发明内容】
[0007] 本发明目的在于提供一种针对易拉罐罐底点阵喷码字符实时检测方法，可以满足 工业现场高实时性、高识别率的要求。
[0008] 为达到此目的，本发明的技术方案如下：识别过程分为离线训练过程和在线检测 过程，离线训练过程主要包括对易拉罐罐底字符预处理分割字符，并用分割后的字符构建 分类器；在线检测过程主要包括易拉罐罐底字符的分割，再将分割的字符输入到构建好的 分类器中进行识别。具体包括以下步骤：
[0009] 离线训练阶段：
[0010] (1)获取易拉罐罐底字符图像，调整好相机镜头光圈、焦距等机械参数，在易拉罐 罐底上方安装球积分光源，拍摄图片，获取待检测易拉罐罐底图像。
[0011] (2)字符区域定位，首先采用MSER法（最稳定极值区域）处理图像，对字符进行粗 定位，再采用形态学膨胀法进行膨胀处理，采用面积法进行细定位，并通过最小外接矩形确 定字符区域及旋转方向。
[0012] (3)字符分割，通过仿射变换和线性插值将倾斜的字符图像旋转校正，采用点阵字 符分割模块将字符区域分割为单个字符，并归一化为28*28大小。
[0013] ⑷分类器训练，将分割好的单个字符，统一进行归类，建立喷码字符库，并采用卷 积神经网络学习法对已建立好的字符库进行训练，获得CNN分类器。
[0014] 在线检测阶段：
[0015] (1)实时获取易拉罐罐底字符图像，调整好相机镜头光圈、焦距等机械参数，在易 拉罐罐底上方安装球积分光源，拍摄图片，实时获取待检测易拉罐罐底图像。
[0016] (2)字符定位及分割，对获取的图像进行MSER操作，得到字符图像，采用形态学法 膨胀字符，根据字符区域面积信息定位出字符区域，再采用最小外接矩形法将字符区域旋 转校正，并对旋转后的图像采用点阵字符分割模块进行分割。
[0017] (3)字符识别，将分割好的字符归一化为28*28大小，再送入已训练好的CNN分类 器中，在构建好的分类器中进行前馈学习，从而判断字符属性，输出字符信息。
[0018] (4)将字符信息与生产线管理系统进行数据传输，实现对易拉罐的生产日期及批 号的管理。由电气控制系统执行检测结果，对与管理系统中不相符的、或者缺印、漏印无法 识别的易拉罐进行剔除。
[0019] 本发明的有益效果：本发明提供了一种易拉罐罐底字符检测算法。针对易拉罐罐 底点阵字符的特点，采用MSER和形态学面积法对字符区域进行定位，消除字符尺度、旋转 变换的干扰。同时针对点阵字符设计了点阵字符分割算法，保证了点阵字符在分割中的准 确性。在字符识别中，采用卷积神经网络构建的分类器进行识别。该种字符识别方法能够 保证工业现场易拉罐罐底字符定位、分割以及识别的高效性，满足检测算法中实时性强，准 确性高的要求。
【专利附图】
【附图说明】
[0020] 图1本发明的易拉罐字符区域定位流程图
[0021] 图2本发明的点阵字符分割流程图
[0022] 图3本发明的卷积神经网络训练分类器流程图
[0023] 图4本发明的在线检测系统整体流程图
【具体实施方式】
[0024] 为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施例，并参照 附图，对本发明作进一步详细说明。
[0025] 本发明为一种易拉罐罐底喷码字符检测方法，检测过程分为离线训练过程和在线 检测过程，离线状态下字符区域定位流程图如图1，字符分割流程图如图2,分割后的字符 采用卷积神经网络训练分类器，训练流程图如图3,在线检测时首先定位出字符区域，再将 字符区域分割为单个字符，并将分割好的字符输入到分类器中，输出字符信息，在线检测流 程图如图4。
[0026] 进一步的，离线过程具体实现步骤为：
[0027] 步骤一、图像序列获取
[0028] 根据字符识别检测精度要求，调整好相机镜头光圈、焦距等机械参数，获取易拉罐 罐底字符图像。
[0029] 步骤二、字符区域定位
[0030] (1)对获取的图像采用MSER算法处理，使用不同的灰度阈值对图像二值化得到字 符区域：
[0031] (1. 1)对给定的图像采用BinSort算法，将图像中的灰度值排序，时间复杂度为 〇(n)；
[0032] (1. 2)极值区域合并与选取，按照降序或升序规则将排序后的灰度值像素放入图 像中，采用Component Tree方法获得各个极值区域。
[0033] (1. 3)在形成的Component Tree上从某个节点开始搜索分支，在灰度范围内根据 公式计算区域的相对变化率，在这个Component Tree的分支上，求得局部最小值，获得稳定 的MSER区域，即为粗定位的字符区域。
[0034] (2)采用3*3矩形结构对图像执行形态学膨胀操作，并将图像中各个连通区域标 记并统计连通域的面积。设置字符区域属性，面积在（sl，s2)之间的连通域为字符区域，具 体数值根据不同型号易拉罐进行调整。
[0035] (3)旋转字符区域，通过最小外接矩形计算出字符区域的旋转角度，并采用仿射变 换和线性插值将倾斜的字符区域校正为水平方向。
[0036] 步骤三、字符分割
[0037] 易拉罐罐底字符通常为点阵喷码字符，字符之间存在间隙，采用点阵字符分割模 块进行分割，分割模块主要分为以下几个部分：
[0038] (1)字符行分割
[0039] (1. 1)首先采用投影法对字符区域进行行投影，统计其投影值Pr〇Ver[i]。
[0040]
【权利要求】
1. 一种基于机器视觉的易拉罐罐底喷码字符在线检测方法，其特征是，离线状态下对 图像中字符进行分割，并归类构建字符库，采用改进后的卷积神经网络学习法进行训练，形 成稳定的分类器；在线识别中实时拍摄图片，分割字符，并用分类器进行分类；具体包括以 下几个步骤： (1) 对易拉罐罐底图像进行MSER处理，通过形态学面积法定位出字符区域； (2) 针对点阵字符的特点，采用点阵字符分割模块对区域进行分割，得到单个的分割字 符； (3) 在字符识别中，采用卷积神经网络学习法训练字符，形成字符分类器。
2. 根据权利要求1所述一种基于卷积神经网络的易拉罐罐底喷码字符检测方法，其特 征在于：所述步骤（1)具体包括以下步骤： (1) 对获取的图像采用MSER算法处理，使用不同的灰度阈值对图像二值化得到字符区 域： (I. 1)对给定的图像采用BinSort算法，将图像中的灰度值排序，时间复杂度为0(n); (1. 2)极值区域合并与选取，按照降序或升序规则将排序后的灰度值像素放入图像中， 采用ComponentTree方法获得各个极值区域； (1.3)在形成的ComponentTree上从某个节点开始搜索分支，在灰度范围内根据公式 计算区域的相对变化率，在这个ComponentTree的分支上，求得局部最小值，获得稳定的 MSER区域，即为粗定位的字符区域； (2) 采用3*3矩形结构对图像执行形态学膨胀操作，并将图像中各个连通区域标记并 统计连通域的面积；设置字符区域属性，面积在（sl，s2)之间的连通域为字符区域，具体数 值根据不同型号易拉罐进行调整； (3) 旋转字符区域，通过最小外接矩形计算出字符区域的旋转角度，并采用仿射变换和 线性插值将倾斜的字符区域校正为水平方向。
3. 根据权利要求1所述一种基于卷积神经网络的易拉罐罐底喷码字符检测方法，其特 征在于：所述步骤（2)具体包括以下步骤： (1)字符行分割 (I. 1)首先采用投影法对字符区域进行行投影，统计其投影值Prover[i]:
其中row为图像的行数； (1. 2)易拉罐字符为点阵字符，每行之间通常存在间隙，在投影分割的基础上采用波 形膨胀法，在统计每一点处的投影值时，若以该点为中心，以波形膨胀次数为上下限阈值的 范围内含有目标点，则将该列的投影值加1，选择波形膨胀后第i列在水平方向的投影表示 为- / = I
其中I(i，j)表示二值图像（i，j)处的像素值，SEC表示波形膨胀次数； (1. 3)设置分割阈值：根据波形膨胀后的图像，设置分割阈值thresholcLrow，当波形 膨胀后投影值小于threshold_row时，即为行分割位置； (2)字符列分割 (2. 1)采用垂直投影法，可以统计出有效字符区域的总宽度W，根据先验知识的字符个 数n，计算出字符的平均宽度X; (2. 2)设置列字符的波形膨胀次数，进行波形膨胀；设置分割阈值thresholcLcol，进 行粗分割；每行点阵字符间隔较小，波形膨胀后有部分字符粘连在一起，采用粘连字符分割 方法进行分割： ① 2个字符粘连：将分割出的各子区域字符宽度与平均字符宽度X进行比较，当子区域 宽度大于平均字符宽度的1. 3倍，小于2. 2倍时，判断为两个字符连接；再从起始分割位置 开始，找出距离分割位置0. 8x到I. 2x之间波形投影值的最小值，其所对应的列位置即为分 割位置； ② 3个字符粘连：将分割出的各子区域字符宽度与平均字符宽度X进行比较，当子区域 宽度大于平均字符宽度的2. 3倍，小于3. 2倍时，判断为三个字符连接；从起始分割位置开 始，找出距离分割位置0. 8x到I. 2x之间及从I. 8x到2. 2x之间，波形投影值的最小值，其 所对应的两个列位置即为两次分割的位置。
4.根据权利要求1所述一种基于卷积神经网络的易拉罐罐底喷码字符检测方法，其特 征在于：所述步骤（3)具体包括以下步骤： 卷积神经网络训练算法主要分为三个阶段：构建网络结构、前向传播阶段和反向传播 阶段； 第一步、构建网络结构： 本发明构建的卷积神经网络采用7层结构，训练的初期对网络结构进行构建，对网络 的权值采用不同的小随机数进行初始化，一般介于[-1?1]范围内，偏置初始化置为〇 ; 第二步、前向传播阶段： (1) 输入层输入目标图像Y，以及对应的目标矢量d，卷积层由卷积核对输入图像依次 进行卷积，并加上偏置，再通过非线性激励函数得到：
f(*)为RELU函数：
(2) 下采样的方式采用stochasticpooling采样，公式为：
其中：
，Rt为抽样层的窗口大小，通常为2*2大小，Yj为米样窗口的兀 素值； (4)对卷积、下采样后的特征图进行全连接操作，并计算网络层F6的实际输出Qk :
第三步、反向传播阶段 反向传播阶段采用梯度下降法对权值和阈值进行调整，统计总误差函数为：
，当ESe时，训练结束，将权值和阈值保存，这时网络结构各个参数已经 稳定，分类器形成。
【文档编号】G06K9/00GK104268538SQ201410546370
【公开日】2015年1月7日 申请日期:2014年10月13日 优先权日:2014年10月13日
【发明者】白瑞林, 南阳 申请人:江南大学