一种瓶装溶液中异物颗粒的视觉检测方法与流程
本发明属于工业检测和机器视觉技术检测领域，具体涉及一种瓶装溶液中异物颗粒的视觉检测方法。
背景技术：
瓶装溶液中在灌装生产过程中容易混入异物，尤其是医用瓶装药液在灌装生产过程中可能会混入纤维、橡胶屑、毛发、玻璃屑等异物。异物检测的难点是目标种类繁多且纹理特征不足；干扰因素多，药液中的悬浮颗粒、瓶壁干扰，气泡、环境光照、随机噪声等都会影响检测结果；检测速度要求高，通常溶液流水线生产现场要求能实现异物微粒的高速在线实时检测。
现有的异物检测方法主要包括人工检测、机器视觉检测、光阻法。人工检测方法存在劳动强度大、效率低、误检率较高等缺点。光阻法原理简单、数据量少，但难以检测瓶壁干扰。
基于机器视觉的异物目标检测方法具有精度高、速度快等优势，目前已成为研究与实际应用中的主流方法。现有的基于机器视觉的方法如cn104835166a《基于机器视觉检测平台的液体药瓶异物检测方法》是对图像进行预处理并设置roi，通过模块匹配与帧差法实现异物检测，如cn102519984a《药液异物的抗振动机器视觉检测方法》采用基于爬山搜索的相位相关法进行匹配预处理，但是仅根据异物面积来区分正次品；上述两者现有方法均不能对气泡的干扰进行排除，导致得到的异物检测结果可能是气泡而非真实颗粒异物，精度不够，实用性不强。
技术实现要素：
本发明的目的是提供一种瓶装溶液中异物颗粒的视觉检测方法，其属于基于机器视觉的异物目标检测方法，其不单单实现了异物识别，还实现了对气泡干扰进行排除。
一种瓶装溶液中异物颗粒的视觉检测方法，包括如下步骤：
s1：连续采集瓶装溶液运动的t帧序列图像，其中，t为正整数；
s2：对采集到的序列图像进行亚像素精度配准得到配准后的t帧序列图像；
s3：提取步骤s2中得到的每帧序列图像中的roi有效检测区域子图像并分别进行图像增强处理得到每帧序列图像的增强图像；
s4：基于每帧序列图像对应的增强图像分别计算出每相邻两帧增强图像之间的差分图像，再对每个差分图像进行灰度阈值分割得到新图像；
s5：提取每个新图像中的轮廓区域，并基于轮廓区域的尺寸特征鉴别轮廓区域是否为异物目标；
s6：识别异物目标是否是气泡干扰；
其中，s6的执行过程如下：
首先，获取每两个相邻新图像中异物目标的匹配关系，并基于所述匹配关系提取属于同一组匹配路径上的异物目标在各个新图像中的像素坐标；最后，分别串接同一匹配路径上的异物目标在各个新图像中的像素坐标得到轨迹曲线，并基于轨迹曲线是否平滑和形心纵坐标的变化趋势判定对应匹配路径上异物目标是否为气泡干扰；
其中，轨迹曲线平滑且形心纵坐标依次变大时，对应匹配路径上异物目标不是气泡干扰，否则，则是气泡干扰。
本发明一方面通过研究发现异物目标不是气泡干扰时，其运动规则是轨迹曲线是平滑且形心纵坐标依次变化；若是气泡，则无相关规律，因此，本发明首先获取相邻图像中异物目标的匹配关系，进而生成匹配路径以及得到轨迹曲线，再通过研究发现的上述规律来鉴别异物目标是否为气泡干扰，提高了异物检测结果的可靠性。
另一方面，本发明采集到t帧序列图像之后，并未直接进行特征采集处理，而是对采集到的序列图像进行亚像素精度配准得到配准后的t帧序列图像，最大程度降低了机械抖动的影响，提高了后续图像处理结果的可靠性。
进一步优选，步骤s6中获取任意两个相邻新图像中异物目标的匹配关系时，均执行如下步骤：
a：计算两个相邻新图像中每个异物目标的恒定特征值；
所述恒定特征包括周期面积比、宽高比和紧凑度；
b：计算所述两个相邻新图像中一个新图像中每个异物目标与另一个新图像中每个异物目标的恒定特征值之间的距离，并基于计算出的距离分别识别新图像中每个异物目标在另一个新图像中的匹配点；
其中，异物目标在另一个新图像中的匹配点为：与另一个相邻新图像中所有异物目标分别计算得到的距离中距离最小的异物目标。进一步优选，所述周长面积比、宽高比和紧凑度的计算公式如下：
λ1＝l/s
λ2＝w/h
λ3＝s/r
式中，λ1为周长面积比，l为边界像素数，s为异物目标的面积，且等于对应轮廓区域内像素点个数；λ2为宽高比，w为最小外接矩形宽度，h为最小外界矩形高度；λ3为紧凑度，r为最小外接矩形内像素点个数，其中r＝w×h。
进一步优选，两个相邻新图像中两个异物目标的恒定特征值之间的距离的计算公式如下：
式中，d为第k-1、第k个新图像中两个异物目标的恒定特征值之间的距离，λ1(k-1)、λ2(k-1)、λ3(k-1)分别为第k-1个新图像中一个异物目标的周长面积比、宽高比、紧凑度；λ1(k)、λ2(k)、λ3(k)分别为第k个新图像中一个异物目标的周长面积比、宽高比、紧凑度。
进一步优选，步骤s5的执行过程如下：
s51：采用用opencv提供的findcontours()函数查找每个新图像中的轮廓区域；
s52：计算每个轮廓区域的面积和宽高比；
s53：基于预设的异物识别面积阈值以及异物识别宽高比阈值分别识别每个轮廓区域是否是异物目标；
其中，若轮廓区域的面积在预设的异物识别面积阈值内，且宽高比在预设的异物识别宽高比阈值，所述轮廓区域为异物目标并保留所述轮廓区域；否则，所述轮廓区域不是异物目标并丢弃所述轮廓区域。
进一步优选，步骤s2包括如下步骤：
s21：第一帧序列图像保持不变，再分别计算除第一帧外的每帧序列图像相较于相邻前一帧序列图像在水平和垂直方向上的亚像素偏移量；
s22：基于计算出的亚像素偏移量在水平、垂直方向上进行平移得到对应配准后的序列图像。
进一步优选，s21中除第一帧外的序列图像相较于相邻前一帧序列图像在水平和垂直方向上的亚像素偏移量的获取过程均如下：
a：计算相邻两帧序列图像的傅里叶变换；
b：基于步骤a计算出的傅里叶变换结果计算出互功率谱，互功率谱如下所示：
式中，h(u,v)为互功率谱，fk-1(u,v)为第k-1帧序列图像的傅里叶变换结果，
c：对步骤b得到的互功率谱进行傅里叶逆变换得到脉冲函数；
d：计算脉冲函数峰值点对应的x列坐标、y行坐标；
其中，x列坐标、y行坐标分别为当前相邻两帧序列图像中第k帧序列图像相较于第k-1帧序列图像在水平、垂直方向上的亚像素偏移量。
进一步优选，步骤s3中提取每帧序列图像中的roi有效检测区域子图像时，均执行如下步骤：
s31：对序列图像进行边缘检测，获得瓶身边缘点图像；
s32：分别从瓶身边缘点图像的最左边、最右边对瓶身边缘点图像中的第n/2行进行搜索找到左边的第一个边缘点、右边的第一个边缘点，n为序列图像的总行数；
s33：分别从瓶身边缘点图像的最上沿、最下沿对瓶身边缘点图像中的第m/2列进行搜索找到上侧的第一个边缘点、下侧的第一个边缘点，m为序列图像的总列数；
s34：根据步骤s32和步骤s33找到的左边、右边、上侧、下侧的第一个边缘点确定序列图像中的roi有效检测区域子图像；
所述roi有效检测区域子图像的宽度和高度分别为：|xr-xl|、|yb-yt|，其中，xl、xr、yt、yb分别左边、右边、上侧、下侧的第一个边缘点的坐标，以及左上角顶点坐标为：(xl，yt)。
本发明通过设定感兴趣检测区域，即roi有效检测区域子图像可以提高序列图像处理的速度。
进一步优选，步骤s3中对序列图像的roi有效检测区域子图像进行图像增强具体为形态学滤波增强，对每个序列图像的执行均过程如下：
s35：对序列图像的roi有效检测区域子图像进行top-hat变换获得灰度峰值特征图像itemp1；
s36：对序列图像的roi有效检测区域子图像进行black-hat变换获得灰度谷值特征图像itemp2；
s37：将灰度峰值特征图像itemp1与序列图像的roi有效检测区域子图像中相同位置对应像素值相加得到叠加图像itemp3；
s38：将叠加图像itemp3与灰度谷值特征图像itemp2中相同位置对应像素值相减得到增强图像。
本发明通过形态学操作，增强了异物特征，加大了其与背景之间的区分度。
进一步优选，步骤s4中对每个差分图像进行灰度阈值分割时使用的分割阈值的计算过程如下：
首先，计算差分图像的灰度均值：
其中，gavg为差分图像的灰度均值，m`为差分图像的列数，n`为差分图像的行数，f(i,j)为差分图像在第i行第j列的像素值；
其次，基于差分图像的灰度均值计算出差分图像的分割阈值，公式如下：t0＝α×gavg+β
其中，t0为分割阈值，α、β为两个经验系数。
本发明通过上述分割阈值对差分图像进行二值化分割。
有益效果
1、本发明通过控制高速工业相机获取多张序列图片后，对图像进行处理并识别出图像中的异物目标，再获取相邻图像中异物目标的匹配关系，进而生成匹配路径以及得到轨迹曲线，再通过研究发现“异物目标不是气泡干扰时，其运动规则是轨迹曲线是平滑且形心纵坐标依次变化；若是气泡，则无相关规律”的规律来鉴别异物目标是否为气泡干扰，提高了异物检测结果的可靠性。尤其是相较于现有的基于机器视觉的异物目标检测方法，本发明提供了一种全新的手段来排除气泡干扰，解决了现有技术中异物检测结果可能是气泡而非真实颗粒异物，精度不够的缺陷。本发明具有检测精度高、速度快等优势，可实现异物微粒的在线实时检测。
2、本发明采集到序列图像后，采用亚像素精度配准方法对图像进行处理，最大程度降低了机械抖动的影响，进而提高了后续结果的可靠性。
3、本发明通过设定感兴趣检测区域(roi有效检测区域子图像)，提高了序列图像处理的速度。
4、本发明通过形态学操作，增强了异物特征，加大了其与背景之间的区分度。同时通过帧差法得到可见异物特征明显的图像。
附图说明
图1为本发明中硬件组成框图；
图2为本发明的一种瓶装溶液中异物颗粒的视觉检测方法的流程图。
其中，附图标记的进一步说明如下：
1-待测药瓶，2-蓝色led背光光源，3-高速工业相机，4-工控机。
具体实施方式
下面将结合实施例对本发明做进一步的说明。
本发明提供的一种瓶装溶液中异物颗粒的视觉检测方法可以实现瓶装溶液中异物颗粒的检测识别以及是否为气泡干扰的识别，本实施例中，将以药瓶为例进行说明，但是本发明并不限制于药瓶，如酒类液体检测也是可适用的。
如图1所示，本发明实施例使用待测药瓶置于高速旋转装置上，高速工业相机一边正对待测药瓶用于拍摄待测药瓶，同时，高速工业相机与工控机通信连接，蓝色led背光光源投射到待测药瓶上。首先使用传送带将待检药瓶送入转盘检验区，通过高速旋转装置的电机带动瓶体自身高速旋转，然后通过刹车制动装置使得药瓶停止自身旋转，此时，瓶内目标异物跟随药液将继续旋转，再通过硬件触发方式控制高速工业相机一次性连续捕获12张药瓶图像，其中，高速工业相机通过机械摆臂运动装置与当前待检药瓶保持同步运动(当前待检测药瓶在转盘上的运动)，使得相机与药瓶保持相对静止状态来跟踪拍摄药瓶中异物微粒的运动过程。
本发明实施例中，使用包含和不包含异物颗粒的2ml安剖药瓶各200个。使用东莞奥普特fl130130-b-v1.0蓝色led光源。使用flir(原pointgrey)的gs3-u3-51s5c-c型500万像素工业相机，最大帧速为75fps(2448x2048)，带usb3.0接口，像元尺寸为3.45um。
如图2所示，本发明提供的一种瓶装溶液中异物颗粒的视觉检测方法，包括如下步骤：
s1：连续采集药瓶药液运动的t帧序列图像，其中，t为正整数。本实施例中t为12。具体执行过程如下：
s11：将传送带上待检药瓶送入检验区，通过电机带动瓶体高速旋转，然后通过刹车制动装置使得被药瓶停止旋转，此时，瓶内目标异物跟随药液仍将继续旋转。
s12：打开led背光光源投射到待检药瓶上；
s13：高速工业相机通过机械摆臂运动装置与当前待检药瓶保持同步运动，并连续采集运动过程中的t帧药瓶序列图像i1,i2…it。
s2：对采集到的序列图像进行亚像素精度配准得到配准后的t帧序列图像。具体的执行过程如下：
s21：第一帧序列图像保持不变，再分别计算除第一帧外的每帧序列图像相较于相邻前一帧序列图像在水平和垂直方向上的亚像素偏移量；
s22：基于计算出的亚像素偏移量在水平、垂直方向上进行平移得到对应配准后的序列图像。
其中，s21中除第一帧外的序列图像相较于相邻前一帧序列图像在水平和垂直方向上的亚像素偏移量的获取过程均如下：
a：计算相邻两帧序列图像的傅里叶变换；
对图像ik-1、ik，设其大小为m×n，计算其傅里叶变换如下:
其中，fk-1(u,v)、fk(u,v)分别为第k-1帧，第k帧序列图像，m为序列图像的总列数，n为图像的总行数，x为列坐标值，且x＝[0,1,...,m-1]；y为行坐标值，且y＝[0,1,...,n-1]，ik-1(x,y)、ik(x,y)分别代表第k-1帧，第k帧序列图像中(x,y)处的像素值，u为图像进行傅里叶变换后对应的列坐标值，v为图像进行傅里叶变换后对应的行坐标值。
b：基于步骤a计算出的傅里叶变换结果计算出互功率谱，互功率谱如下所示：
式中，h(u,v)为互功率谱，fk-1(u,v)为第k-1帧序列图像的傅里叶变换结果，
c：对步骤b得到的互功率谱进行傅里叶逆变换得到脉冲函数；
d：计算脉冲函数峰值点对应的x列坐标x0、y行坐标y0；
其中，x列坐标x0、y行坐标y0分别为当前相邻两帧序列图像中第k帧序列图像相较于第k-1帧序列图像在水平、垂直方向上的亚像素偏移量。
其中，第k帧序列图像平移后得到的配准后的图像
s3：提取步骤s2中得到的每帧序列图像中的roi有效检测区域子图像并分别进行图像增强处理得到每帧序列图像的增强图像。
其中，步骤s3中提取每帧序列图像中的roi有效检测区域子图像时，均执行如下步骤(以下流程以第k-1帧序列图像为例)：
s31：对序列图像进行canny边缘检测，获得瓶身边缘点图像
s32：分别从瓶身边缘点图像
s33：分别从瓶身边缘点图像
s34：根据步骤s32和步骤s33找到的左边、右边、上侧、下侧的第一个边缘点确定序列图像中的roi有效检测区域子图像；
所述roi有效检测区域子图像的宽度和高度分别为：|xr-xl|、|yb-yt|，其中，xl、xr、yt、yb分别左边、右边、上侧、下侧的第一个边缘点的坐标，以及左上角顶点坐标为：(xl，yt)。
本发明实施例中，将药瓶置于拍摄范围中间，使得药瓶位于序列图像中间位置，通过检测瓶身左右和上下边缘区域的方法设定有效检测区域，加快后续图像处理的速度。
其中，步骤s3中对序列图像的roi有效检测区域子图像进行图像增强具体为形态学滤波增强，对每个序列图像的执行均过程如下(以下流程以第k-1帧序列图像为例)：
s35：对序列图像的roi有效检测区域子图像
s36：对序列图像的roi有效检测区域子图像
s37：将灰度峰值特征图像itemp1与序列图像的roi有效检测区域子图像
s38：将叠加图像itemp3与灰度谷值特征图像itemp2中相同位置对应像素值相减得到增强图像
本发明实施例中，采用形态学滤波的方法对图像进行增强，其中top-hat和black-hat变换均采用结构元素为7×7的矩形模板。
s4：基于每帧序列图像对应的增强图像分别计算出每相邻两帧增强图像之间的差分图像，再对每个差分图像进行灰度阈值分割得到新图像。
以第k-1帧、第k帧序列图像的差分图像idiff为例说明差分图像的获取方式如下：
对每个差分图像进行灰度阈值分割时使用的分割阈值的计算过程如下：
首先，计算差分图像的灰度均值：
其中，gavg为差分图像的灰度均值，m`为差分图像的列数，n`为差分图像的行数，f(i,j)为差分图像在第i行第j列的像素值；
其次，基于差分图像的灰度均值计算出差分图像的分割阈值，公式如下：t0＝α×gavg+β
其中，t0为分割阈值，α、β为两个经验系数。本实施例中，α＝0.8，β＝30。
其中，对差分图像采用计算出的分割阈值t0进行二值化处理得到图像ithresh。
s5：提取每个新图像中的轮廓区域，并基于轮廓区域的尺寸特征鉴别轮廓区域是否为异物目标。
其中，步骤s5的执行过程如下：
s51：采用用opencv提供的findcontours()函数查找每个新图像中的轮廓区域；
s52：计算每个轮廓区域的面积s和宽高比r；
s53：基于预设的异物识别面积阈值以及异物识别宽高比阈值分别识别每个轮廓区域是否是异物目标；
其中，若轮廓区域的面积在预设的异物识别面积阈值内，且宽高比在预设的异物识别宽高比阈值，所述轮廓区域为异物目标并保留所述轮廓区域；否则，所述轮廓区域不是异物目标并丢弃所述轮廓区域。即若
初步检测出异物目标后，保存每个异物的对应索引号，不同索引号表示不同的异物目标。
s6：识别异物目标是否是气泡干扰。其中，s6的执行过程如下：
首先，获取每两个相邻新图像中异物目标的匹配关系。依次获取每两个相邻新图像中异物目标的匹配关系，每次均执行如下步骤a-b：
a：计算两个相邻新图像中每个异物目标的恒定特征值；
所述恒定特征包括周期面积比、宽高比和紧凑度，其计算公式如下：
λ1＝l/s、λ2＝w/h、λ3＝s/r
b：计算所述两个相邻新图像中一个新图像中每个异物目标与另一个新图像中每个异物目标的恒定特征值之间的距离，并基于计算出的距离分别识别新图像中每个异物目标在另一个新图像中的匹配点。其中，异物目标在另一个新图像中的匹配点为：与另一个相邻新图像中所有异物目标分别计算得到的距离中距离最小的异物目标。距离的计算公式如下：
然后，基于所述匹配关系提取属于同一组匹配路径上的异物目标在各个新图像中的像素坐标。基于上述步骤a-b可以得到每两个相邻新图像中异物目标的匹配关系，对于匹配成功的点，分别记录其在各帧中的像素坐标。
最后，分别串接同一匹配路径上的异物目标在各个新图像中的像素坐标得到轨迹曲线，并基于轨迹曲线是否平滑和形心纵坐标的变化趋势判定对应匹配路径上异物目标是否为气泡干扰。
以左上角为坐标原点，将上述匹配点连接成异物的运动轨迹。若该轨迹曲线平滑且形心纵坐标依次变大，则认定为存在异物，并向系统发出信号。否则，认定为气泡干扰。本发明实施例中,提取连续帧间异物的不变特征，并根据异物运动轨迹来区分异物和气泡。其中，轨迹曲线是否平滑是通过平滑度等表示平滑的参数来鉴定的，例如通过鉴定平滑参数是否在阈值范围来判断轨迹曲线是否平滑，其具体是根据实验以及经验值来定，本发明对此不进行具体的限定。
综上所述，本发明通过控制高速工业相机获取多张序列图片后，采用亚像素精度配准方法对药瓶图像，最大程度降低了机械抖动的影响，通过设定感兴趣检测区域，提高了序列图像处理的速度。通过形态学操作，增强了异物特征，加大了其与背景之间的区分度。通过帧差法得到可见异物特征明显的图像，并基于经验法进行阈值分割。提取连通区域轮廓信息，计算可见异物的面积和宽高比大小，若其超过阈值范围则直接将其判为可见异物。若大小在阈值范围内，则提取连续帧间的不变特征，并拟合出可见异物运动轨迹，进一步确认异物特征，排除了气泡干扰。并具有检测精度高、速度快等优势，可实现异物微粒的在线实时检测。
需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！