专利名称：药液异物的抗振动机器视觉检测方法
技术领域：
本发明属于液体药品中的可见异物的智能机器视觉检测技术领域，涉及一种药液异物的抗振动机器视觉检测方法。
背景技术：
医用大输液、安瓿瓶、西林瓶等液体药品在生产过程中由于生产工艺和封装工艺的缺陷，药液中可能含有毛发、纤维、固体不溶物、玻璃碎屑等可见异物，一旦进入病人血管将严重威胁病人的生命安全，因此药品出厂前需要逐瓶进行可见异物检测，俗称“灯检”，剔除含有异物的次品。基于机器视觉的药液异物检测设备采用视觉传感、图像处理、模式识别等技术，实现药液异物在线检测。在药液异物检测设备单机系统中，由夹持装置带动药瓶高速旋转一定时间后急停，当整个机械装置恢复静止状态时，瓶内液体由于惯性继续旋转流动，用CCD工业相机拍摄5 10帧连续图像，对所获取的图像进行相邻帧间差分，去掉静止的背景，保留运动的可见异物，根据异物的灰度和面积等信息将其判断为正品或次品，目前药液异物检测设备单机已经在药品质量检测部门的抽样检查中得到广泛应用。液体药品生产厂家需要在生产线上完成液体药品的全自动无人值守灯检，在从单机到全自动生产线的迁移过程中，为了在线模拟单机的检测环境，通常采用凸轮间歇式系统或伺服跟踪式系统，以保证在图像获取阶段夹持装置和瓶体等背景与CCD工业相机保持相对静止。在凸轮间歇式系统中，工业相机和光源等光学成像部件固定，瓶体夹持在主轮盘上，采用机械凸轮或者电子凸轮带动主轮盘作“加速旋转-勻速旋转-减速旋转-静止”的间歇式周期运动，每个周期主轮盘旋转整数个检测工位，在主轮盘静止阶段获取图像。在伺服跟踪式系统中，瓶体夹持在主轮盘上随主轮盘勻速运动，工业相机和光源等光学成像部件固定在从轮盘上，用伺服电机带动从轮盘作“正向加速-正向勻速跟踪-正向减速-反向加速-反向减速”的周期摆动，在从轮盘运动一个周期时间内，主轮盘旋转整数个工位，当从轮盘处于正向勻速跟踪阶段时，主轮盘和从轮盘的角速度相同，保持相对静止，工业相机获取图像。但是在实际的全自动高速生产线上面临以下主要技术难题(1)由于机械加工及装配误差，在系统高速运行时，系统振动不可避免，并且随着机械运行速度的提高，振动幅度急剧上升；(2)凸轮间歇式系统在主轮盘静止阶段，瓶体与工业相机之间仍有一定程度的抖动；伺服跟踪式系统在从轮盘正向勻速跟踪阶段，瓶体与相机之间不能保证绝对同步；(3)伺服电机的离散编码器导致电气传动部分在跟踪或者停止时总会有一定程度的抖动。以上问题导致图像获取阶段CXD工业相机与机械装置和瓶体之间不能保持理想的相对静止状态，使得传统的帧间差分算法不能去掉夹持装置和瓶体等背景的干扰，无法区分背景与可见异物，致使检测失效(如
图12. b所示)，并且随着系统运行速度的提高，干扰急剧增强，成为制约检测速度提高的关键瓶颈。
发明内容
本发明所要解决的技术问题是提供一种药液异物的抗振动机器视觉检测方法，本发明的药液异物的抗振动机器视觉检测方法能有效的消除机电系统的振动干扰，鲁棒性强，降低了系统对机械加工及装配精度和伺服电机编码器精度、跟踪精度的要求，降低药液异物检测设备的设计制造成本。本发明的技术构思如下在将药液异物检测设备从单机到全自动生产线的迁移过程中，因为来自机电系统的振动干扰导致传统的帧间差分检测方法失效，本发明采用相位相关的图像匹配方法对所获取的原图像进行预处理。实验证明，仅对原图像进行像素级精度的匹配处理不能有效消除振动干扰(如图12. c所示)。因此需要进行亚像素级精度的匹配预处理。基于相位相关的亚像素级的图像匹配常规算法为了实现精度为1/s个像素的亚像素图像匹配，需要进行上采样，通常的步骤为(1)对原图像I“X，y)和I2(x, y)(大小为NXM)进行快速傅里叶变换得到F1 (u, ν)和F2 (u，ν)，计算非归一化互功率谱，P\u,v) = Fl(u,v)F*(u,v) ^⑴其中冗为F2的复共轭；(2)将P ‘ (U，ν)嵌入到大小为sNX sM的零矩阵中央，得到戶伊，巧，其中 μ ,ν e
；(3)对戶伊作快速傅里叶逆变换得到上采样的互相关矩阵歹(^7)，大小也为 sNXsM，其中讽-l]，i7e
，寻找Rty)的峰值位置 Um，ym)，贝U (xm/s,ym/s)即为在精度1/s个像素下两幅图像的亚像素级偏移量。上述步骤中Ρ( , V)和歹(J, y)通常会占据大量内存，计算歹^ y)的复杂度为 OWVM[l0gf + d0gf]}(A^M)，随着计算精度的提高，计算复杂度和存储量需求剧增，例如对于两幅IOMX IOM大小的图像，要计算1/20像素精度偏移量时，按照double型数据占8字节计算，需要10MX10MX20X20X8字节，即3. 125G的存储空间，而且计算量太大，无法满足实时性要求，因此本发明采用基于快速爬山搜索的相位相关亚像素图像匹配算法，在不降低匹配精度的前提下大大降低计算的时间复杂度和空间复杂度，具体推导如下考虑到戶伊，中大部分数据都为零，如果采用快速傅里叶变换会造出很大的浪费，本发明对原始的二维傅里叶逆变换式(2)进行化简，= sN sM (2) 其中茫，^^队讽-巧，歹，^^队说-!]。只考虑户间 Γ)中的嵌入非零数据P' (u，v)， 将式⑵中_换为^^ + “ u e
，_换为°"_。1聊+乂 ν e
，得到
-ηrI，DΠ‘
权利要求
1.一种药液异物的抗振动机器视觉检测方法，其特征在于，包括以下步骤步骤1 图像获取夹持装置带动瓶体高速旋转后急停，当瓶体与CCD工业相机保持相对静止时，用CXD工业相机对瓶体拍照，连续获取多帧灰度图像；步骤2 图像匹配采用基于爬山搜索的相位相关亚像素图像匹配算法对相邻帧灰度图像进行匹配预处理；步骤3 帧间差分对匹配后的相邻帧灰度图像进行差分，以去掉静止的背景信息，保留运动的异物信息；步骤4 目标检测对帧间差分操作后得到的图像进行二值化分割和连通域搜索，计算出各个异物区域的面积，并找出最大的异物面积；步骤5 决策判断根据最大的异物面积是否超标判断当前产品是否为次品，检测过程结束。
2.根据权利要求1所述的药液异物的抗振动机器视觉检测方法，其特征在于，所述的基于爬山搜索的相位相关亚像素图像匹配算法的偏移量计算方法步骤为(1)对相邻的2帧灰度图像I1(Xjy)和I2(x,y)进行快速傅里叶变换分别得到F1(U5V) 和F2 (u, ν)，计算非归一化互功率谱广(Kν) = Fl(^v)F;(u,ν)，为F2的复共轭，对P' (u, ν) 进行快速傅里叶逆变换，得到δ (x,y) =F_i(P' (u，v))，找到δ (x,y)中的最大值的坐标 ( ，y0)，即为2帧灰度图像之间偏移量的像素级粗估计；(2)采用爬山搜索进一步求两原图像之间的亚像素级偏移量，包括以下具体步骤A.初始化j = 1，中心点= ，砂。)，其中整数s为上采样系数，即亚像素匹配精度；}2π (>y_l)(无+y) ux vyB·用布3) = ^ 1 -1,,作2计算中心点广~、的8邻域s NM M=O ν=0A1 (χ, y)中未知 ms(x, y)，其中茫 e - i，+!] ,ye [先-1,兄 +1]；C.寻找8邻域4仅37)中的最大值元(巧，37;)，如果元(巧，37;)>歹(^;)，则以(5，37;)为新的中心点( ) = (^)，j = ]_+1，跳转到8;如果元(巧,巧)《歹(‘先.)，循环终止，跳转到 D ；D.兄)即为所要找的峰值点，闪令，兄Λ)为精度1/S个像素的亚像素偏移量，将该偏移量记为(ΔΧ，Ay)；基于爬山搜索的相位相关的亚像素图像匹配的偏移量计算归纳为(Δχ，Ay)= REG(Ik, Ik+1，s)，其中ΔΧ为图像的水平偏移、Ay为图像的垂直偏移，函数REG(·)表示偏移量计算函数，s为整数，表示上采样系数，偏移量的计算精度为1/s个像素，Ik和Ik+1为输入的两帧原图像；亚像素图像匹配算法的反偏移重构方法为按照偏移量(Δχ，Ay)对输出图像I进行反向平移重构Ir =REC(IMAy) = F' [e N M F(u,v)], 其中F(u，ν)表示输入图像I的傅里叶变换，ΓΥ ·)表示傅里叶逆变换，Ir表示平移后的输出图像，REC(·)为重构函数的简化表示。
3.根据权利要求2所述的药液异物的抗振动机器视觉检测方法，其特征在于，获取像素级的偏移向量(χο，y。)的过程为(1)对相邻的2帧灰度图像I1(x, y)和I2 (x, y)进行快速傅里叶变换得到F1 (u, ν)和 F2 (u, ν)；(2)计算非归一化互功率谱V) = ^(W5V)F; ν). (3)对P'(U, V)进行快速傅里叶逆变换得到相位相关矩阵δ (χ, y)；(4)寻找δ(x,y)中的最大值δω(Χ(|，％)，(x0, y0)即为两原图像之间的像素级偏移向量。
4.根据权利要求3所述的药液异物的抗振动机器视觉检测方法，其特征在于，所述步骤2中的图像匹配包括粗略匹配和精细匹配两个步骤A 粗略匹配在计算粗略偏移向量(Δ\，Ayr)之前需要对待检测区域内的异物进行模糊化，即采用15X15的均值平滑模板W1作为低通滤波器，对Ik中待检测区域滤波，得到 Iwk，然后调用偏移量计算函数REG(·)计算Iwk、IwM2间的偏移向量(Δ^，Δ[)，再调用重构函数REC( ·)对原图像Ik+1按照(Δ&，Ayr)的反方向进行反偏移重构，得到11^+1，完成第k帧图像与第k+Ι帧图像之间的粗略匹配，即图像Ik与Irk+1 ；B.精细匹配选取粗略匹配的图像Ik与Irk+1中对应点的较小灰度值作为公共背景，用于替换粗略匹配的图像Ik与IiV1的待检测区域，从而避免待检测区内的运动异物影响精细偏移向量的计算，然后调用偏移量计算函数REG(·)计算精细偏移向量(AXa，Aya)，再调用重构函数REC(·)按照(Axa，Aya)的反方向对Irw进行反偏移重构得到hk+1，完成第 k帧图像与第k+Ι帧图像之间的精细匹配，即图像Ik和Iiik+1。
5.根据权利要求4所述的药液异物的抗振动机器视觉检测方法，其特征在于，所述步骤3具体操作为在精细匹配后的相邻帧图像Ik和Iak+1中选取待检测区域1 和Isak+1进行差分，并取绝对值，即D(k,k+1) = abs (Isk-Isak+1)，去掉静止的背景信息，得到运动的异物图像 D(k,k+1)，其中 D(k,k+1) e
。
6.根据权利要求5所述的药液异物的抗振动机器视觉检测方法，其特征在于，所述步骤4具体操作为用中心增强平滑模板W2对差分后得到的异物图像D(k,k+1)进行滤波，得到滤波后的图像Df(k,k+1)；再对Df(k,k+1)进行二值化分割得到二值图像B(k,k+1)，在B(k,k+1)中进行连通域搜索，计算出各个异物区域的面积，并找出最大的异物面积SmaX(k,k+1)。
7.根据权利要求6所述的药液异物的抗振动机器视觉检测方法，其特征在于，所述步骤5具体操作为如果对当前液体药品拍摄的多帧图像中的任意两帧图像计算得到的最大异物面积SmaX(k,k+1)超标，则判断当前液体药品为次品。
全文摘要
本发明公开了一种药液异物的抗振动机器视觉检测方法，包括以下步骤步骤1图像获取；步骤2图像匹配采用基于爬山搜索的相位相关亚像素图像匹配算法对相邻帧灰度图像进行匹配预处理；步骤3帧间差分对匹配后的相邻帧灰度图像进行差分，去掉静止的背景信息，保留运动的异物信息；步骤4目标检测对帧间差分操作后得到的图像进行二值化分割和连通域搜索，计算出各个异物区域的面积，并找出最大的异物面积；步骤5决策判断根据最大的异物面积是否超标判断当前产品是否为次品，检测过程结束。本发明的药液异物的抗振动机器视觉检测方法能有效的消除机电系统的振动干扰，鲁棒性强，大幅度削减了药液异物检测设备的设计制造成本。
文档编号G01N21/90GK102519984SQ20111036417
公开日2012年6月27日 申请日期2011年11月16日 优先权日2011年11月16日
发明者吴成中, 张辉, 毛建旭, 王耀南, 葛继, 陈俊 申请人:湖南大学