一种基于视觉检测的空管复合滤棒段长测量方法与流程

本发明属于视觉测量领域，特别涉及一种基于视觉检测的空管复合滤棒段长测量方法。

背景技术：

香烟中的过滤嘴可以降低烟草对吸烟者健康的影响，因此，烟草公司在过滤嘴上投入的研发成本也随着烟民健康意识的强化而不断地增加，各种各样的过滤嘴也层出不穷，如醋纤滤嘴、纸滤嘴、纸醋滤嘴、空管复合滤嘴等。滤棒是滤嘴生产的中间产品，是指以过滤材料(如烟用纤维丝束等)为原料，加工卷制而成的具有过滤性能并有一定长度(如100mm)的圆形棒材，主要技术指标有长度、圆周、吸阻、硬度、圆度、含水率及部分外观指标。复合滤棒是两种或两种以上滤材，按照不同的规格和结构组合而成的滤棒，一般都具有高吸附力，能有效的过滤烟气中焦油和烟碱，同时减少醋纤丝束的用量。段长是复合滤棒最关键的技术指标之一，在产品质量控制上起着非常重要的作用。因此，滤棒生产企业都会通过抽样测量的方式对产品质量进行评估。目前主要使用的方式有切割后手工测量和切割后激光测量两种方式，但都属于有损测量的范畴，无法实现在线全检或无损伤抽检。而且，手工测量的误差大，效率低，对产品质量控制来说随意性太大。

技术实现要素：

本发明提供了一种基于视觉检测的空管复合滤棒段长测量方法，其目的在于克服现有技术中光测量和人工测量方法中对产品有损的问题，通过可见光成像加图像处理分析的方法，在实现了在线测量、提高了测量精度的情况下，大大提高了测量效率。

一种基于视觉检测的空管复合滤棒段长测量方法，包括以下步骤：

步骤1：采集空管复合滤棒在蓝色背光照明下的原始图像，并对原始图像进行滤波处理；

步骤2：对经步骤1滤波后的滤波图像进行二值化处理，在垂直方向上粗定位空管复合滤棒所在二值化图像中的垂直坐标区间[y₁,y₂]；

步骤3：获取原始图像中滤棒区的旋转角度，并进行相应的旋转矫正；

从经步骤1滤波后的滤波图像I_o中取出垂直坐标区间[y₁,y₂]对应的第一精定位子图I₀₁，并对第一精定位子图进行边缘点提取，利用提取的边缘点进行直线拟合，获取拟合直线与水平轴的夹角，并对滤波图像I_o进行反向夹角旋转矫正，获得旋转矫正图I_ro；

步骤4：从旋转矫正图像I_ro中定位空管复合滤棒上边界和下边界；

从旋转矫正图像I_ro中分别在垂直坐标区间[y₁-(y₂-y₁)/2,y₂-(y₂-y₁)/2]和[y₁+(y₂-y₁)/2,y₂+(y₂-y₁)/2]的空管复合滤棒上边界和下边界区域子图I_r1和I_r2，并在空管复合滤棒上边界和下边界区域子图I_r1和I_r2图中计算纵向Sobel边缘响应并进行水平方向累积，提取累积最大值位置作为空管复合滤棒上边界和下边界

步骤5：从滤波图像I_o中提取垂直坐标区间的第二精定位子图I_lr，并利用积分函数的二阶差分响应极值求取第二精定位子图I_lr中空管复合滤棒的左边界和右边界

步骤6：以空管复合滤棒的上、下、左、右边界从滤波图像I_o中提取空管复合滤棒区域I_dc，并对空管复合滤棒区域进行初始段标记；

以空管复合滤棒区域内每一列像素的归一化水平近邻差分响应均值构造稀疏矩阵，并在空管复合滤棒的不同区域随机选择种子线配合稀疏矩阵构造线性方程组；

以种子线在图I_dc中的列号p在线性方程组的解的第p个位置处插入零，形成行向量X_m，m为种子线编号，将所有X_m按顺序写入标记矩阵Mar中，标记矩阵Mar的大小为S为种子线数量；在标记矩阵Mar中求每一列的最大值，记录最大值所在的行号为flag(i)；

取flag的跃变点所对应的图像上横坐标位置作为第一次分界位置；

以第一次分界位置对空管复合滤棒区域进行初始段标记；

步骤7：构建准分界线矩阵；

以第一次分界位置两侧等宽区域内每一列的归一化水平近邻差分响应均值重新构造稀疏矩阵，并结合区域两侧边界为新的种子线构造线性方程组，求解线性方程组在第一次分界位置两侧分别获得两个新的准分界位置，作为第二次分界位置，以第一次分界位置和第二次分界位置，构建准分界线矩阵；

步骤8：在准分界线矩阵中，从同一列的准分界线位置中选取近邻块差分绝对值最大的位置作为精准分界线位置，完成对空管复合滤棒的精准段标记，并获得各段的长度测量值。

进一步地，所述以列像素的归一化水平邻近差分响应均值构造的稀疏矩阵M如下：

其中，稀疏矩阵大小为n×n，n为滤棒区域宽度；F(j)为图像中第j列像素的水平近邻差分均值，F^*(j)是F(j)归一化值，F^e(j)是F^*(j)的指数化值；λ为指数化缩放因子，取值为10；min(F)和max(F)分别是所有F(j)中的最小值和最大值；I_dc(i,j)表示空管复合滤棒区域I_dc中像素点(i,j)的像素值；n表示空管复合滤棒区域I_dc中像素列数；F^e(j)＝exp(-F^*(j)λ)，

进一步地，所述利用种子线和稀疏矩阵构造线性方程组过程如下：

首先，获取所有种子线所在图像中的列号值p；

其次，依次将稀疏矩阵M中的第p行和第p列删除，得到线性方程组的系数矩阵Q；

最后，依次将稀疏矩阵中位于第p行、第p列中的元素删除，得到线性方程组的常数项部分b，完成线性方程组Qx＝b的构造；

其中，x_m是线性方程组解向量中的第m个待求的相关性向量元素。

进一步地，所述精准分界线位置的求解具体过程如下：

步骤A：按照以下公式计算每个准分界位置处的大面积差分DifG|_{Loc＝Dema(i,j)}：

其中，Radius为差分半径，Dema(i,j)表示准分界线矩阵中位于第i行、第j列的元素，I_dc(x,y)表示空管复合滤棒区域I_dc中像素点(x,y)的像素值；

步骤B：在准分界线矩阵的每一列中，取能使大面积差分值最大的分界位置，作为最终的精准分界位置Dema^*(i)；

Dema^*(i)＝Dema(Loc_Y(max(abs({DifG|_{Loc＝Dema(i,j)}})))),j＝1,2,3；

其中，abs表示取绝对值，max表示取最大值，Loc_Y表示其括号中所取元素所在行号。

进一步地，所述空管复合滤棒各段的长度测量值按如下公式计算：

LenSect(2)＝Presion*(Dema^*(2)-Dema^*(1))

LenSect(3)＝Presion*(Dema^*(3)-Dema^*(2))

LenSect(4)＝Presion*(Dema^*(4)-Dema^*(3))

其中，Presion是像素精度，是物理长度和像素长度的比值。

Presion用于将图像中检出的段长值(单位：像素)转换为物理段长长度。

进一步地，所述空管复合滤棒所在二值化图像中的垂直坐标区间[y₁,y₂]的获取过程如下：

首先，计算二值化后的图像中每行的像素累加值A_y(j)：

其次，在A_y上进行基于均值聚类方法的自适应阈值提取，当相邻两次提取的阈值变化小于1时停止，A_y表示所有行的像素累加值的集合：

其中，取Width为图像宽，

card表示取集合中元素的个数，A_y(j)中大于的元素组成集合小于的元素组成集合

和由在A_y内确定，和由在A_y内确定；

最后，使用自适应阈值将A_y二值化到0和1上，提取最宽的明区间作为滤棒或滤棒夹持孔所在y方向上的区间[y₁,y₂]。

进一步地，在步骤3中，对第一精定位子图进行边缘点提取前，使用1行Width/10列的结构元素对第一精定位子图进行一次灰度形态学闭操作处理，并对处理结果采用纵向Sobel算子进行边缘提取，以纵向Sobel算子响应图像中每一列中的最大响应值对应在二值图像中的位置作为边缘点。

进一步地，利用积分函数的二阶差分响应极值求取第二精定位子图I_lr中空管复合滤棒的左边界和右边界的具体过程如下：

首先，对第二精定位子图I_lr中的像素灰度值按列进行纵向累加求和得列像素累加值S_lr(i)：

其中，i∈[1,Width],Width为I_lr的图像宽度；

其次，求列像素累加值S_lr(i)积分函数J_lr(i)：J_lr(i)＝J_lr(i-1)+S_lr(i)，J_lr(1)＝S_lr(1)；

最后，以积分函数的二阶差分值确定空管复合滤棒的左边界和右边界

其中，积分函数的二阶差分D_δ(i)：D_δ(i)＝J_lr(i)-J_lr(i-δ)-J_lr(i+δ)-J_lr(i)，差分观测距离δ＝10。

进一步地，所述步骤1中对原始图像进行滤波处理是指对原始图像中蓝色通道进行3×3的中值滤波操作。

有益效果

本发明提供了一种基于视觉检测的空管复合滤棒段长测量方法，包括以下步骤：(1)图像采集以及预处理；(2)滤棒区域粗定位：通过固定阈值分割、水平方向累加、自适应阈值分割得到滤棒区域的上下限；(3)滤棒区域精确定位：a、使用基于边缘的直线拟合方法计算得到图像的水平旋转角度并进行相应的旋转矫正，在矫正后的图像中通过纵向Sobel边缘响应极大值位置精确定位滤棒区域的上下限；b、使用积分函数的二阶差分响应极值精确定位滤棒区域的左右限；(4)使用滤棒区域内归一化水平近邻差分响应均值构造稀疏矩阵，并在复合滤棒的不同区域选择种子线配合稀疏矩阵构造线性方程组，通过线性方程组的解对滤棒区域进行段标记，找出段标记的分界线位置；(5)在上一步找出的段分界处选取一小段图像重复上一步操作，寻找新的段准分界线位置；(6)在准分界线位置中选取近邻块差分绝对值最大的位置作为最终确定的分界线位置；本发明创造性的将段分界问题转化为近似问题，以多维空间的坐标相关性求解相似度高的区域中的分界位置。

与现有技术相比，具有以下优点：

(1)与激光段长测量方法相比，对样品无损伤且照明和安装方式简单，可轻松集成于现有滤棒生产线之上，实现在线随机抽检或全检；

(2)可见光视觉测量对操作人员无射线损伤威胁；

(3)测量速度快：单支滤棒单次的测量时间小于50ms；

(4)测量精度高。

附图说明

图1是本发明中目标空管复合滤棒示意图；

图2是本发明中背光照明光源和相机的安装示意图；

图3是图像采集得到的原始滤棒图像区域示意图；

图4是滤棒区域精确定位图像处理效果图，其中，(a)为上边界原始图，(b)为灰度闭操作示意图，(c)Sobel Y响应示意图，(d)为最大Sobel Y响应坐标示意图，(e)为旋转后上边缘示意图，(f)为旋转后下边缘示意图，(g)为滤棒区域定位结果示意图；

图5是段分界位置提取一次种子线选取示意图；

图6是段分界位置提取结果图；

图7是应用本发明所述方法进行滤棒测量的处理效果实例；

图8是复合空管滤棒段长检测结果图。

具体实施方式

下面将结合附图和实施例对本发明做进一步的说明。

本发明所描述的检测对象为空管复合滤棒，由两种不同结构的标准醋酸纤维棒材拼接而成，棒材标准外圆周长都为23.85mm，如图1所示，其中第一、三、五段为醋酸纤维实心棒，第二、四段为醋酸纤维空管棒，总共五段。棒材标准设计总长100mm，第一、三、五段标准设计段长为18mm、36mm、18mm，第二、四段标准设计段长同为14mm，本发明的具体实施例中使用的测量样品属于上述标准的滤棒。

如图7所示，一种基于视觉检测的空管复合滤棒段长测量方法，包括以下步骤：

步骤1：采集空管复合滤棒在蓝色背光照明下的原始图像，如图3所示，并对原始图像进行滤波处理；

所述步骤1中对原始图像进行滤波处理是指对原始图像中蓝色通道进行3×3的中值滤波操作，所选阈值选取以能够提取图3所示背光源亮区为参考。

背光照明光源和相机的安装如图2所示，通过彩色高速面阵CCD摄像机采集空管复合滤棒在蓝色背光照明情况下的原始图像，然后送入工控机进处理。由于图像在通过传感、采集、传输、处理等过程中，不可避免的存在着各种外部和内部的干扰，因此，在进行测量之前必须对图像进行特定的预处理操作。

步骤2：对经步骤1滤波后的滤波图像进行二值化处理，在垂直方向上粗定位空管复合滤棒所在二值化图像中的垂直坐标区间[y₁,y₂]；

步骤3：获取原始图像中滤棒区的旋转角度，并进行相应的旋转矫正；

从经步骤1滤波后的滤波图像I_o中取出垂直坐标区间[y₁,y₂]对应的第一精定位子图I₀₁，并对第一精定位子图进行边缘点提取，利用提取的边缘点进行直线拟合，获取拟合直线与水平轴的夹角，并对滤波图像I_o进行反向夹角旋转矫正，获得旋转矫正图I_ro；

如图4所示，在步骤3中，对第一精定位子图进行边缘点提取前，使用1行Width/10列的结构元素对第一精定位子图进行一次灰度形态学闭操作处理，并对处理结果采用纵向Sobel算子进行边缘提取，以纵向Sobel算子响应图像中每一列中的最大响应值对应在二值图像中的位置作为边缘点。

所述空管复合滤棒所在二值化图像中的垂直坐标区间[y₁,y₂]的获取过程如下：

首先，计算二值化后的图像中每行的像素累加值A_y(j)：

其次，在A_y上进行基于均值聚类方法的自适应阈值提取，当相邻两次提取的阈值变化小于1时停止，A_y表示所有行的像素累加值的集合：

其中，取Width为图像宽，

card表示取集合中元素的个数，A_y(j)中大于的元素组成集合小于的元素组成集合

和由在A_y内确定，和由在A_y内确定；

最后，使用自适应阈值将A_y二值化到0和1上，提取最宽的明区间作为滤棒或滤棒夹持孔所在y方向上的区间[y₁,y₂]。

步骤4：从旋转矫正图像I_ro中定位空管复合滤棒上边界和下边界；

从旋转矫正图像I_ro中分别在垂直坐标区间[y₁-(y₂-y₁)/2,y₂-(y₂-y₁)/2]和[y₁+(y₂-y₁)/2,y₂+(y₂-y₁)/2]的空管复合滤棒上边界和下边界区域子图I_r1和I_r2，并在空管复合滤棒上边界和下边界区域子图I_r1和I_r2图中计算纵向Sobel边缘响应并进行水平方向累积，提取累积最大值位置作为空管复合滤棒上边界和下边界

步骤5：从滤波图像I_o中提取垂直坐标区间的第二精定位子图I_lr，并利用积分函数的二阶差分响应极值求取第二精定位子图I_lr中空管复合滤棒的左边界和右边界

利用积分函数的二阶差分响应极值求取第二精定位子图I_lr中空管复合滤棒的左边界和右边界的具体过程如下：

首先，对第二精定位子图I_lr中的像素灰度值按列进行纵向累加求和得列像素累加值S_lr(i)：

其中，i∈[1,Width],Width为I_lr的图像宽度；

其次，求列像素累加值S_lr(i)积分函数J_lr(i)：J_lr(i)＝J_lr(i-1)+S_lr(i)，J_lr(1)＝S_lr(1)；

最后，以积分函数的二阶差分值确定空管复合滤棒的左边界和右边界

其中，积分函数的二阶差分D_δ(i)：D_δ(i)＝J_lr(i)-J_lr(i-δ)-J_lr(i+δ)-J_lr(i)，差分观测距离δ＝10。

步骤6：以空管复合滤棒的上、下、左、右边界从滤波图像I_o中提取空管复合滤棒区域I_dc，并对空管复合滤棒区域进行初始段标记；

以空管复合滤棒区域内每一列像素的归一化水平近邻差分响应均值构造稀疏矩阵，并在空管复合滤棒的不同区域随机选择种子线(如图5所示)配合稀疏矩阵构造线性方程组；

以种子线在图I_dc中的列号p在线性方程组的解的第p个位置处插入零，形成行向量X_m，m为种子线编号，将所有X_m按顺序写入标记矩阵Mar中，标记矩阵Mar的大小为S为种子线数量；在标记矩阵Mar中求每一列的最大值，记录最大值所在的行号为flag(i)；

取flag的跃变点所对应的图像上横坐标位置作为第一次分界位置，去除最中间位置L₃的原因是空管复合滤棒的中间段使用了两根种子线：

Dema_m＝(L₁ L₂ L₄ L₅)；

以第一次分界位置对空管复合滤棒区域进行初始段标记；

例如：设I_dc的宽度为在滤棒不同段选取的六条种子线的位置分别为k,m,n,o,p,q，对应图像I_dc中的列号，由步骤6所述，每条种子线构造的线性方程组的系数矩阵Q为(L-6)×(L-6)的方阵，增广矩阵[Q b_m]为(L-6)×(L-6+1)的矩阵，方程组的解为长度为L-6的列向量，包含除了种子线以外的每一列和种子线之间的相似度值。

在第1条种子线对应方程组解的第k列处插入1，在第m,n,o,s,q列处插入0，形成

在第2条种子线对应方程组解的第m列处插入1，在第k,n,o,s,q列处插入0，形成

在第3条种子线对应方程组解的第n列处插入1，在第k,m,o,s,q列处插入0，形成

在第4条种子线对应方程组解的第o列处插入1，在第k,m,n,s,q列处插入0，形成

在第5条种子线对应方程组解的第s列处插入1，在第k,m,n,o,q列处插入0，形成

在第6条种子线对应方程组解的第q列处插入1，在第k,m,n,s,q列处插入0，形成

将组合成标记矩阵Mar后具有如下形式：

在Mar中的每一列中找出最大值，并记录最大值在Mar中的行号，形成长度为L的行向量Flag，其元素取值为1到6，即种子线最大编号以内取值。由于种子线本身是在滤棒的不同段内取的，靠近种子线的相同段内区域将和本区域内的种子线有着更高的相似度，所以Flag将被连续的标号区域划分成6个区间，具有如下的形式：

取Flag的跃变点所对应的图像上横坐标位置作为第一次分界位置。Flag的跃变点位置为Flag内元素值从1变为2，从2变为3，从3变为4，从4变到5，从5变到6的位置L₁，L₂，L₃，L₄，L₅，共5个。其中第3条和第4条种子线位于滤棒的相同段，因此从3变到4的跃变点为伪边界，应予以剔除。从而得到四个准分界位置Dema_m＝(L₁ L₂ L₄ L₅)

步骤7：构建准分界线矩阵；

以第一次分界位置两侧等宽区域内(等宽区域ColSize大小可设置，推荐典型设置值为60)每一列的归一化水平近邻差分响应均值重新构造稀疏矩阵，并结合区域两侧边界为新的种子线构造线性方程组，求解线性方程组在第一次分界位置两侧分别获得两个新的准分界位置，作为第二次分界位置，以第一次分界位置和第二次分界位置，构建准分界线矩阵；

其中，L_li表示第i条初始种子线左侧宽度为ColSize的区域内获得的二次分界位置，L_ri表示第i条种子线右侧宽度为ColSize的区域内获得的二次分界位置。

所述以列像素的归一化水平邻近差分响应均值构造的稀疏矩阵M如下：

其中，稀疏矩阵大小为n×n，n为滤棒区域宽度；F(j)为图像中第j列像素的水平近邻差分均值，F^*(j)是F(j)归一化值，F^e(j)是F^*(j)的指数化值；λ为指数化缩放因子，取值为10；min(F)和max(F)分别是所有F(j)中的最小值和最大值；I_dc(i,j)表示空管复合滤棒区域I_dc中像素点(i,j)的像素值；n表示空管复合滤棒区域I_dc中像素列数；F^e(j)＝exp(-F^*(j)λ)，

所述利用种子线和稀疏矩阵构造线性方程组过程如下：

首先，获取所有种子线所在图像中的列号值p；

其次，依次将稀疏矩阵M中的第p行和第p列删除，得到线性方程组的系数矩阵Q；

最后，依次将稀疏矩阵中位于第p行、第p列中的元素删除，得到线性方程组的常数项部分b，完成线性方程组Qx＝b的构造；

其中，x_m是线性方程组解向量中的第m个待求的相关性向量元素。

步骤8：在准分界线矩阵中，从同一列的准分界线位置中选取近邻块差分绝对值最大的位置作为精准分界线位置，完成对空管复合滤棒的精准段标记，并获得各段的长度测量值。

所述精准分界线位置的求解具体过程如下：

步骤A：按照以下公式计算每个准分界位置处的大面积差分DifG|_{Loc＝Dema(i,j)}：

其中，Radius为差分半径，Dema(i,j)表示准分界线矩阵中位于第i行、第j列的元素，I_dc(x,y)表示空管复合滤棒区域I_dc中像素点(x,y)的像素值；

步骤B：在准分界线矩阵的每一列中，取能使大面积差分值最大的分界位置，作为最终的精准分界位置Dema^*(i)；

Dema^*(i)＝Dema(Loc_Y(max(abs({DifG|_{Loc＝Dema(i,j)}})))),j＝1,2,3；

其中，abs表示取绝对值，max表示取最大值，Loc_Y表示其括号中所取元素所在行号。

所述空管复合滤棒各段的长度测量值按如下公式计算，检测结果如图8所示：

LenSect(2)＝Presion*(Dema^*(2)-Dema^*(1))

LenSect(3)＝Presion*(Dema^*(3)-Dema^*(2))

LenSect(4)＝Presion*(Dema^*(4)-Dema^*(3))

其中，Presion是像素精度，是物理长度和像素长度的比值。

利用本发明所述方法进行段长检测，检测速度快，检测方便，且结果准确，与激光段长测量方法相比，对样品无损伤且照明和安装方式简单，可轻松集成于现有滤棒生产线之上，实现在线随机抽检或全检。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。