一种带有文本行的柱面图像的定位方法
【专利摘要】本发明涉及一种带有文本行的柱面图像的定位方法，包括：对柱面图像进行二值化，求取图像的上下与左右边界，将柱面图像从背景区域中提取出来；二值图像噪声的形态学剔除；确定文本行连通区域；提取各个具有一定长度的文本行连通区域的基准线；对柱面图像进行分区域展平；采用SURF特征检测算法对展平后的柱面图像和模板图像分别进行SURF特征检测；利用最近邻方法进行特征点粗匹配；获得展平后的柱面图像和模板图像精确的匹配对；在展平后的柱面图像中找出与模板图像匹配的子图，实现模板图像的精确定位。本发明可以实现带有文本行的柱面图像精确定位。
【专利说明】
一种带有文本行的柱面图像的定位方法
技术领域
[0001] 本发明属于数字图像处理技术，涉及一种连通区域标记，柱面图像展平，非线性变 换图像匹配。 技术背景
[0002] 随着现代社会的发展与进步，人们对工业生产效率与质量都有较高的要求，传统 的靠工人手工完成的生产由于效率慢、成本高等原因，已经很难满足大规模生产的要求。现 代社会的流水生产线越来越智能化，由于流水线生产出来的产品不能保证100%的合格，为 了保证所制造的产品质量，在产品出厂之前都需要对其进行检测，其中一个比较重要的检 测就是对产品的外观是否有缺陷进行检测。图像处理技术在产品外观错误检测方面发挥了 重要的作用，对促进生产线的自动化、降低生产成本都具有一定的帮助。图像错误检测算法 是一个综合性的算法，包括图像增强、图像降噪、图像分割以及图像匹配等多个方面，所以 大部分图像错误检测算法都是针对于某一个产品而设计的，其中对于柱面图像错误检测的 算法比较少，因此，提出一个完整的柱面图像错误检测算法具有比较大的价值。
【发明内容】
[0003] 为了实现对柱面图像的错误检测，本发明提供一种带有文本行的柱面图像精确定 位方法。本发明的技术方案如下：
[0004] -种带有文本行的柱面图像的定位方法，包括下列步骤：
[0005] 1)对柱面物体拍照，获得带有文本行的柱面图像；
[0006] 2)对柱面图像进行二值化，求取图像的上下与左右边界，将柱面图像从背景区域 中提取出来；
[0007] 3)根据字符大小设定面积阈值，对柱面图像的二值图像进行连通区域标记，将面 积小于预设面积阈值的连通区域剔除，实现对二值图像噪声的形态学剔除；
[0008] 4)采用长度为柱面图像中每两个字符之间的距离、高度为每个字符高度1/3的矩 形结构元素对经过形态学噪声剔除的二值化图像进行开运算，使每个文本行连成同一连通 区域，计算每个连通区域左右边界像素位置l sjPlel，以及连通区域每列像素高度值1π(Χ)，? 表示不同的连通区域；
[0009] 5)确定文本行连通区域:计算每个连通区域的平均高度，将连通区域的平均高度 出大于预设高度T h的连通区域剔除，实现对插图连通区域的剔除;将长度IfU-U短于预 设长度阈值!^的连通区域剔除，实现对较短文本行连通区域的剔除，最后剩下的即为具有 一定长度的文本行连通区域；
[0010] 6)提取各个具有一定长度的文本行连通区域的基准线；
[0011] 7)对柱面图像进行分区域展平，首先对步骤6)提取的各条基准线进行Hough变换， 找出基准线中最长的直线方向，即为柱面图像展平的方向，将图像旋转使图像展平方向转 为水平方向，然后将每条基准线展平，并分区域按照基准线对柱面图像展平；
[0012] 8)输入模板图像，采用SURF特征检测算法对展平后的柱面图像和模板图像分别进 行SURF特征检测；
[0013] 9)利用最近邻方法进行特征点粗匹配，将粗匹配的潜在匹配对按照特征点在模板 图像中横坐标由小到大的顺序进行排序；
[0014] 10)计算每个潜在匹配对中两个特征点所在位置的欧式距离cU，以特征点在模板 图像中横坐标^为自变量，以实际的欧式距离cU为因变量，进行曲线拟合，得出拟合曲线fd (X)，然后将每个潜在匹配对的横坐标入曲线fd(x)中，计算出曲线拟合出的两个特征点 间的欧式距离fd(Xl)，并计算和实际的欧式距离cU的差值AzIfdUO-cUl^Si大于预设误 差阈值Ts则认为是误匹配，进行剔除；
[0015] 11)按照步骤10)的方法，对匹配对内两个特征点所构成的连线与水平方向的夹角 进行曲线拟合，剔除角度不满足变换趋势的点，获得展平后的柱面图像和模板图像精确的 匹配对；
[0016] 12)根据展平后的柱面图像和模板图像中精确匹配的特征点对的坐标位置关系， 在展平后的柱面图像中找出与模板图像匹配的子图，实现模板图像的精确定位。
[0017] 作为优选实施方式，步骤2)采用Niblack算法对柱面图像进行二值化。步骤5)中计 算每个连通区域的平均高度的公式为：
[0019] 步骤6)的方法如下:提取具有一定长度文本行连通区域的上下边界fu(x)和fKx)， 计算上下边界的中线f m(x)，即为文本行的中线，对文本行中线匕(4进行三阶曲线拟合，拟 合出的曲线即为柱面图像此文本行连通区域的基准线g m(x)。
[0020] 步骤7)中分区域按照基准线对柱面图像展平的方法如下:对于最顶部基准线上面 的区域和最底部基准线下面的区域，由于只有一个边界具有基准线，采用将每列像素按照 竖直移动的方式展平，对于柱面图像中间的区域，由于每个区域两边都有基准线，采用将每 列像素竖直移动同时进行图像缩放处理的方式进行展平，图像缩放处理采用双线性插值 法，最后实现对柱面图像的展平。
[0021] 步骤9)中的粗匹配方法如下:计算展平后柱面图像中的某一特征点的特征向量和 模板图像中所有特征点特征向量的欧式距离，找出最小的欧式距离和次小的欧式距离，若 (最小欧氏距离)/(次小欧氏距离)〈距离阈值，就把相应的特征点当作一对潜在的匹配点。 [0022]本发明对于采集的图像，先采用二值图像投影的方式提取出柱面物体所在的区 域，然后将柱面图像展平，并对展平后的柱面图像和模板进行配准，最后进行检测与分析的 算法。其中，柱面图像的展平是基于文本行中线拟合出的基准线，具有较快的速度与精度。 展平后柱面图像和模板图像配准的过程是基于SURF特征匹配与曲线拟合相结合的方法，能 够提高展平后的柱面图像在非线性变换区域的匹配精度。由于对二值化柱面图像采用的开 运算矩形结构高度约为字符高度的1/3,长度约为每两个字符之间的距离，使得开运算之后 的文本行连通区域能够和文字的上下边界几乎完全重合，由此计算出的文本行中线和文本 行中线拟合出的基准线都具有较高的精度，按照基准线展平后的柱面图像也比较的工整。 展平后的柱面图像和模板图像匹配的过程中，由于采用的是基于曲线拟合的误匹配剔除算 法，对于存在一定非线性变换的展平后柱面图像边界区域，能计算出非线性变换匹配对的 欧式距离、连线斜率变化趋势，找出不符合趋势的匹配对，进行剔除，所以相对于传统的只 能计算单一线性变换模型的匹配算法能够具有更好的匹配效果。通过对算法进行实验和分 析，证明此算法能够对柱面图像进行高精度的展平，并且展平后柱面图像和模板图像的匹 配效果较好，算法可以有效地应用在工业生产中，对柱面物体具有检测质量高速度快的优 点，能够实现工业生产自动化。
【附图说明】
[0023]图1柱面图像展平与检测流程图 [0024]图2原始的采集图 [0025]图3二值化并取反的采集图 [0026]图4(a)二值图像的垂直投影图 [0027]图4(b)二值图像的水平投影图 [0028]图5柱面图像的上下左右边界
[0029] 图6柱面图像的提取图
[0030] 图7开运算后的图 [0031]图8柱面图像的基准线 [0032]图9柱面图像展平图 [0033]图10角度曲线拟合结果 [0034]图11欧氏距离曲线拟合结果
[0035] 图12展平后的柱面图像和模板图像匹配结果
[0036] 图13存在污点的柱面图像展平匹配结果，（a)为采集图，（b)为模板图与展平后柱 面图，（c)污点区域的匹配结果
【具体实施方式】
[0037] 在对柱面物体进行定位和检测的应用中，首先需要采集柱面物体的图像，为了保 证采集的图像能够完全包括柱面物体，初期采集的图像会包括一部分背景区域，本发明通 过二值图像投影的方式找出柱面物体在图像中的上下左右边界，将柱面图像从背景区域中 提取出来。本发明所检测的是具有一定文本行的柱面图像，因此采用提取文本行中线并对 其进行曲线拟合的方式提取柱面图像的基准线，然后按照基准线对柱面图像分区域进行展 平。对于展平后的柱面图像边缘部分和模板图像会存在一定非线性变换的情况，本发明采 用结合SURF特征检测和曲线拟合的方法对展平后的柱面图像和模板图像进行配准，提高定 位和检测的精度。整个算法具体实现步骤如下：
[0038] 1)采用Niblack算法对图像进行二值化，则图像的背景区域像素灰度值均为0,图 像的前景区域像素灰度值均为255,然后对二值化图像分别进行水平和竖直投影，找出两个 灰度投影线的起点与终点，即图像的上下与左右边界，如图5所示。最后将柱面图像从背景 区域中提取出来。
[0039] 2)对提取的柱面二值图像进行连通区域标记，将面积小于30像素的连通区域剔 除，实现对柱面二值图像噪声的形态学剔除。然后采用长度约为柱面图像中每两个字符之 间的距离、高度约为每个字符高度1/3的矩形结构元素对二值化图像进行开运算，使每个文 本行连成同一连通区域。计算每个连通区域左右边界像素位置:和，以及连通区域每列像素 高度值，表示不同的连通区域。按照公式1计算每个连通区域的平均高度，由于插图连通区 域比文本行连通区域的平均高度要大很多，所以将连通区域的平均高度大于一定值的连通 区域剔除，实现对插图连通区域的剔除。将连通区域的长度较短的提取剔除，实现对较短文 本行连通区域的剔除，最后剩下的即为具有一定长度的文本行连通区域。
[0040]
[0041] 3)计算步骤2提取的具有一定长度文本行连通区域的上下边界:和，计算上下边界 的中线：，即为文本行的中线。对文本行中线进行三阶曲线拟合，拟合出的曲线即为柱面图 像的基准线。
[0042] 4)对柱面图像进行分区域展平，首先对基准线进行Hough变换找出基准线中最长 的直线方向，即为柱面图像展平的方向，将图像旋转使图像展平方向转为水平方向。然后 将每条基准线展平，同时对被基准线分割的柱面图像小区域按照基准线进行展平。对于最 顶部基准线上面的区域和最底部基准线下面的区域，由于只有一个边界具有基准线，采用 将每列像素按照竖直移动的方式展平。对于柱面图像中间的小区域，由于每个小区域两边 都有基准线，采用将每列像素竖直移动同时进行图像缩放处理的方式进行展平，图像缩放 处理采用双线性插值法。最后实现对柱面图像的展平。
[0043] 5)采用SURF特征检测算法对展平后的柱面图像和模板图像分别进行SURF特征检 测，计算展平后柱面图像中的某一特征点的特征向量和模板图像中所有特征点特征向量的 欧式距离，并找出最小的欧式距离和次小的欧式距离，若(最小欧氏距离)/(次小欧氏距离） 〈阈值(这个阈值通常取0.6-0.8)，就把它们当作一对匹配点，即利用最近邻方法进行特征 点粗匹配。将粗匹配的匹配对按照特征点在模板图像中横坐标由小到大的顺序进行排序。
[0044] 6)计算每个匹配对中两个特征点所在位置的欧式距离，以特征点在模板图像中横 坐标为自变量，以欧式距离为因变量，进行三阶曲线拟合，得出拟合曲线，然后将每个匹配 对的横坐标代入曲线中，计算出曲线拟合出的两个特征点间的欧式距离，并计算和实际的 欧式距离的差值：，若大于一定阈值则认为是误匹配，进行剔除。同样，对匹配对内两个特征 点所构成的连线与水平方向的夹角进行曲线拟合，剔除角度不满足变换趋势的点。
[0045] 通过上述步骤可以获得展平后的柱面图像和模板图像精确的匹配对。根据展平后 的柱面图像和模板图像中匹配的特征点对的坐标位置关系，可以在展平后的柱面图像中找 出与模版匹配的子图，实现模板图在采集图上的精确定位。
[0046] 由于对二值化柱面图像采用的开运算矩形结构高度约为字符高度的1/3,长度约 为每两个字符之间的距离，使得开运算之后的文本行连通区域能够和文字的上下边界几乎 完全重合，由此计算出的文本行中线和文本行中线拟合出的基准线都具有较高的精度，按 照基准线展平后的柱面图像也比较的工整。展平后的柱面图像和模板图像匹配的过程中， 由于采用的是基于曲线拟合的误匹配剔除算法，对于存在一定非线性变换的展平后柱面图 像边界区域，能计算出非线性变换匹配对的欧式距离、连线斜率变化趋势，找出不符合趋势 的匹配对，进行剔除，所以相对于传统的只能计算单一线性变换模型的匹配算法能够具有 更好的匹配效果。
[0047]图9是基于基准线的柱面图像展平结果，由于基准线是由柱面图像文本行的中线 通过三阶曲线拟合获得，使得计算出的基准线不仅能够比较精准地表示柱面图像每个文本 行的弯曲程度，又能不受文本行中字体内部形状、比重的影响，具有较高的稳定性。图12是 通过对SURF最近邻粗匹配进行曲线拟合并剔除误匹配之后的模板和展平后柱面的匹配图。 采用曲线拟合的方式能够找出非线性变换区域匹配对位置关系的趋势，剔除不符合此种 趋势的误匹配，相对于传统的只能计算单一线性变换模型的匹配算法，能够在剔除误匹配 的同时保留大量的正确匹配对，提高了展平后柱面图像和模板图像匹配的精度。
【主权项】
1. 一种带有文本行的柱面图像的定位方法，包括下列步骤： 1) 对柱面物体拍照，获得带有文本行的柱面图像； 2) 对柱面图像进行二值化，求取图像的上下与左右边界，将柱面图像从背景区域中提 取出来； 3) 根据字符大小设定面积阔值，对柱面图像的二值图像进行连通区域标记，将面积小 于预设面积阔值的连通区域剔除，实现对二值图像噪声的形态学剔除； 4) 采用长度为柱面图像中每两个字符之间的距离、高度为每个字符高度的矩形结 构元素对经过形态学噪声剔除的二值化图像进行开运算，使每个文本行连成同一连通区 域，计算每个连通区域左右边界像素位置Isi和lei，W及连通区域每列像素高度值hi(X)，i表 示不同的连通区域； 5) 确定文本行连通区域:计算每个连通区域的平均高度，将连通区域的平均高度出大于 预设高度化的连通区域剔除，实现对插图连通区域的剔除;将长度li = lei-lsi短于预设长度 阔值Τι的连通区域剔除，实现对较短文本行连通区域的剔除，最后剩下的即为具有一定长 度的文本行连通区域； 6) 提取各个具有一定长度的文本行连通区域的基准线； 7) 对柱面图像进行分区域展平，首先对步骤6)提取的各条基准线进行化U曲变换，找出 基准线中最长的直线方向，即为柱面图像展平的方向，将图像旋转使图像展平方向转为水 平方向，然后将每条基准线展平，并分区域按照基准线对柱面图像展平； 8) 输入模板图像，采用SURF特征检测算法对展平后的柱面图像和模板图像分别进行 SURF特征检测； 9) 利用最近邻方法进行特征点粗匹配，将粗匹配的潜在匹配对按照特征点在模板图像 中横坐标由小到大的顺序进行排序. 10) 计算每个潜在匹配对中两个特征点所在位置的欧式距离di，W特征点在模板图像中 横坐标XI为自变量，W实际的欧式距离di为因变量，进行曲线拟合，得出拟合曲线fd(X)，然 后将每个潜在匹配对的横坐标XI代入曲线fd(x)中，计算出曲线拟合出的两个特征点间的欧 式距离fd(Xi)，并计算和实际的欧式距离di的差值:Si= |fd(Xi)-di|，若Si大于预设误差阔值 Ts则认为是误匹配，进行剔除； 11) 按照步骤10)的方法，对匹配对内两个特征点所构成的连线与水平方向的夹角进行 曲线拟合，剔除角度不满足变换趋势的点，获得展平后的柱面图像和模板图像精确的匹配 对； 12) 根据展平后的柱面图像和模板图像中精确匹配的特征点对的坐标位置关系，在展 平后的柱面图像中找出与模板图像匹配的子图，实现模板图像的精确定位。2. 根据权利要求1所述的带有文本行的柱面图像的定位方法，其特征在于，步骤2)采用 Niblack算法对柱面图像进行二值化。3. 根据权利要求1所述的带有文本行的柱面图像的定位方法，其特征在于，步骤5)中计 算每个连通区域的平均高度的公式为：4. 根据权利要求1所述的带有文本行的柱面图像的定位方法，其特征在于，步骤6)的方 法如下:提取具有一定长度文本行连通区域的上下边界fu(x)和fi(x)，计算上下边界的中线 fm(x)，即为文本行的中线，对文本行中线fm(X)进行Ξ阶曲线拟合，拟合出的曲线即为柱面 图像此文本行连通区域的基准线gm(X)。5. 根据权利要求1所述的带有文本行的柱面图像的定位方法，其特征在于，步骤7)中分 区域按照基准线对柱面图像展平的方法如下:对于最顶部基准线上面的区域和最底部基准 线下面的区域，由于只有一个边界具有基准线，采用将每列像素按照竖直移动的方式展平， 对于柱面图像中间的区域，由于每个区域两边都有基准线，采用将每列像素竖直移动同时 进行图像缩放处理的方式进行展平，图像缩放处理采用双线性插值法，最后实现对柱面图 像的展平。6. 根据权利要求1所述的带有文本行的柱面图像的定位方法，其特征在于，步骤9)中的 粗匹配方法如下:计算展平后柱面图像中的某一特征点的特征向量和模板图像中所有特征 点特征向量的欧式距离，找出最小的欧式距离和次小的欧式距离，若(最小欧氏距离)/(次 小欧氏距离)< 距离阔值T，就把相应的特征点当作一对潜在的匹配点。
【文档编号】G06K9/46GK106096490SQ201610073394
【公开日】2016年11月9日
【申请日】2016年2月2日 公开号201610073394.2, CN 106096490 A, CN 106096490A, CN 201610073394, CN-A-106096490, CN106096490 A, CN106096490A, CN201610073394, CN201610073394.2
【发明人】肖夏, 田健飞
【申请人】天津大学