专利名称：多视觉空瓶检测机器人的制作方法
技术领域：
本实用新型属于生产线自动检测技术领域，具体涉及一种适用于高速自动化生产流水线上的多种透明或半透明空瓶进行质量和清洁度检测的设备。
背景技术：
工业自动化、智能化是人类社会从工业时代跨入信息时代的一大技术突破和生产革新。机器视觉技术作为当今高新技术的研究热点，在工业实现全面自动化的进程中，势必发挥其重大作用。所谓机器视觉技术就是用机器眼、机器脑以及机器手代替人眼、人脑和人手来进行检测、测量、分析、判断和决策控制，它能快速的获取大量信息进行自动处理，也能与设计信息、控制信息相集成，在一些不适合于人工作的危险环境或人的视觉精度难以满足要求的场合，用机器视觉代替人工视觉完成工作。
目前，医药生产线上不透明或半透明口服液、安瓿及输液瓶等产品的质量远远达不到人们所期望的目标，容器可能出现以下几种问题1、容器壁密度分布不均；2、出现气泡、结石或夹砂；3、生产传输过程中可能出现的损坏，导致容器产生裂痕、划伤或缺损。饮料行业中，可重复使用饮料容器的质量和清洁度检测，该检测包括的方面有1、瓶口破损；2、瓶身、瓶底破损；3、瓶内存在固体异物，如玻璃碎片、细发、昆虫等；4、瓶内存在残留液体。以上这些检测问题，当前大都是由人工来完成的，检测的标准主观、模糊，检测的精度低、速度慢，且由于工作的重复性高，容易导致检测人员疲劳，漏检率更会随之上升。
发明内容
本实用新型所要解决的技术问题是针对现有技术中存在的人工检测效率低、速度慢、精度低、漏检率高、检测人员容易疲劳等问题，提供一种适用于高速自动化生产流水线上的多种透明或半透明空瓶进行质量和清洁度检测的多视觉空瓶检测机器人。
解决本实用新型技术问题所采用的技术方案是一种多视觉空瓶检测机器人，其特征在于主要包括箱体、贯穿于箱体内的产品传送带、光电传感器、工业级高清晰度摄像系统、主控计算机和次品剔出装置，箱体的一侧为产品输入口，另一侧为产品输出口，产品输入口和产品输出口分别与生产流水线的传送带连接，所述工业级高清晰度摄像系统安装于箱体内的顶部和侧面，工业级高清晰度摄像系统通过图像采集卡与主控计算机连接，主控计算机通过I/O接口与次品剔出装置连接并控制其动作，次品剔出装置位于产品输出口同侧。
所述的工业级高清晰度摄像系统为CCD摄像机及其配套的专用LED光源，其包括俯拍摄像机和侧拍摄像机，所述俯拍摄像机和侧拍摄像机安装于箱体内部的传送带旁的支架上。
所述的次品剔出装置包括一个机械手和一个击出器，所述机械手和击出器分别设置于产品输出口处的产品传送带两侧。
本实用新型所产生的有益效果是该多视觉空瓶检测机器人检测速度快、精度高，大大提高了生产率，降低了生产成本。
图1为本实用新型俯拍摄像机所拍摄到的瓶口的图像(照片)；图2为图1中瓶口的图像在拍摄过程当中的位置变化效果图(照片)；图3为本实用新型瓶口检测法中搜索瓶口圆心步骤图；图4为两层神经网络示意图；图5为底层神经网络示意图；图6为瓶身边缘点的直方图；图7为瓶身检测中图像的干扰和缺陷示意图；图8为本实用新型多视觉空瓶检测机器人外观图；图9为本实用新型多视觉空瓶检测机器人主视图；图10为本实用新型多视觉空瓶检测机器人俯视图；图11为本实用新型多视觉空瓶检测机器人俯视结构示意图；图12为本实用新型多视觉空瓶检测机器人控制系统框图；图13为本实用新型多视觉空瓶检测机器人的击出器原理框图；图14为本实用新型多视觉空瓶检测机器人机器臂结构示意图。
图中1、箱体2、产品传送带 3、光电传感器4、次品剔出装置5、俯拍摄像机 6、侧拍摄像机7、产品输入口 8、产品输出口 9、显示器10、指示灯 11、机器臂12、击出器13、次品回收处 14、机电开关 15、专用LED光源16、主控计算机 17、图像采集卡18、黑白摄像机19、彩色摄像机 20、步进电机 21、底座22、肩部 23、肘部 24、手腕倾斜25、手腕旋转 26、编码器27、异物28、干扰 29、现场数据采集卡30、运动控制卡
具体实施方式
以下结合附图对本实用新型做进一步的详细描述。
本实用新型的检测方法是采用2台摄像机(俯拍和侧拍)分别对每个经过流水生产线的产品(以检测啤酒瓶为例)的瓶口和瓶侧进行拍照，获取现场图像，然后将图像信号给主控计算机，主控计算机运用智能处理、分析和决策法对所采集的图像进行综合处理，并对被检测的产品是否符合生产要求做出最终的判断，发现有问题的产品，由主控计算机发出指令将次品剔除。
其具体检测过程如下1.瓶口检测法(1)判断检测区域在实际应用中，瓶口检测需要达到10瓶/秒，在某些高速流水线上甚至需要达到20瓶/秒。如此高的速度要求意味着检测算法必须在不到100毫秒内给出结果。如果对整个高分辨率的瓶口图像进行处理，显然是一件费时的过程，因此，减少待处理的区域是非常必要的。
如图1所示，对于普通的瓶口，关键的部分仅限定在一个环状区域内，同时，由于瓶口的变化范围仅在一个我们可以接受的范围内，所以外径(R2)和内径(R1)可以预先决定，于是安装一个光电传感器在检测位置，用于触发图像采集卡，但是，这个触发系统容易造成采集图像间明显的误差，而且，瓶子在高速传送带上的摇晃也容易造成较大的误差(如图2)。因此必须首先确定瓶口的圆心，这实际上是一个对圆进行定位的问题。首先，我们的目的是找出圆心，参数空间的峰值即是我们要找的圆心。
该步有两个参数(圆心的X和Y坐标)需要确定，针对这里只有一个瓶口，而且非常清晰，我们采用的方法是圆心逼近法从圆心附近的一个点出发，逐渐逼近圆心，最后到达圆心。我们只需要计算参数空间中很少数量的点，就能实现高速准确的搜索，其详细步骤请参阅图3。
首先，通过大步长的扫描确定一个大致的中心(请参阅图3a)。显然，这个中心与瓶口的实际中心是很接近的。在第二步，一个圆形模板被采用。该圆的中心处在图像主体的中心，它的半径被初始化为一个很小的值，圆形模板将一步一步被增大，直到它的半径到达瓶口的内径，如图3b和图3e。每个点(从P1到Pn)和模板的中心构成一个向量，这些向量的总合 可由方程(1)计算出S→=(Σi=1nXPi-nt·Xcenter,Σi=1nYPi-nt·Ycenter)···(1)]]>其中XPi和YPi是点Pi的坐标，Xcenter和Ycenter是圆形模板的圆心坐标；nt是到达瓶口内径边缘的点的数目，圆形模板将顺着 的方向接近瓶口中心。新的半径和圆形模板的圆心坐标可分别由(2)(3)(4)获得Rnew＝R+STEP (2)Xnew＝X+cosβ·STEP(3)Ynew＝Y+sinβ·STEP(4)其中STEP=u·||S→||R·nt···(5)]]>R是当前圆形模板的半径；X和Y是当前圆形模板圆心的坐标；β是向量 和X轴的夹角；u是用于调整搜索速度和精确度的系数，u被设为1.1。更大的u将加快搜索速度，但同时会降低搜索的精确度。我们增大圆形模板的半径，并一步步调整它的位置。当圆形模板上占有足够百分比(70％以上)的点与瓶口内径相匹配时，就认为此时圆形模板的圆心是实际瓶口的中心。
(2)采用两层神经网络方法的检测在实际检测应用中，结合神经网络方法让检测系统自己设计和调整检测规则，如图4，采用两层神经网络分别实现底层的检测和高层的判断。
首先，底层神经网络将对瓶口的连续部分进行检测，这些部分在一定范围内有重叠。这意味着，对于瓶口图像中的相同点，底层神经网络可能在几个不同的输入模式中对其进行重复检测。在输入高层神经网络之前，底层神经网络的输出将通过一个阈值被转化为二进制数值，以减少输入高层神经网络的输入模式数量。在这种情况下，即使由于底层神经网络对输入模式过分敏感而产生了错误输出，高层神经网络也可以通过最终评判消除误差，使算法具有较好的可靠性和鲁棒性。底层神经网络拥有10个输入结点，8个隐藏结点和1个输出结点，高层神经网络则拥有10个输入结点，6个隐藏结点和1个输出结点，所述两层神经网络均采用反向传播学习算法(BP学习算法)。
在底层神经网络中，如图5，输入结点1到结点9表示瓶口图像径向投影的差分特性，由方程(6)计算；输入结点10表示检测区域的灰度，由方程(7)计算。
Inputi=Σr=R1R2G(X(i+1,r),Y(i+1,r))-Σr=R1R2G(X(i,r),Y(i,r))(i=1to9)···(6)]]>Input10=Σi=19Σr=R1R2G(X(i,r),Y(i,r))···(7)]]>其中 X(i，r)＝Xcenter+r·cos(β+i·STEP)(8)Y(i，r)＝Ycenter+r·sin(β+i·STEP)(9)
G(X，Y)是图像上点(X，Y)的灰度值；R1和R2分别为人工标定的检测区域的内径和外径；Xcenter和Xcenter代表前面获得的瓶口中心的坐标，STEP是采样的步长，β是向量 和X轴的夹角。
采样从β开始，范围是R1到R2，连续采样9步。神经网络的输出用“1”表示合格瓶口，用“0”表示不合格瓶口，高层神经网络的输入定义如方程(10)IHNN=0.8ifOutputLNN>T10.2otherwise···(10)]]>其中OutputLNN表示底层神经网络的实际输出，T1是一个预先给定的阈值，如果底层神经网络的输出大于T2，就认定为不合格，应该被剔出。在我们的应用中，STEP＝0.018，T1＝0.3，T2＝0.5。因为神经网络完成了所有复杂的分析，所以整个检测过程是很简单的，检测工作者需要做的只是正确的训练神经网络。
两层神经网络的训练是分开进行的，首先训练底层神经网络，建立一个图像数据库用于存储所有样本图像。
接下来，神经网络将被应用于实际检测，进行在线学习。
当错误出现时，检测人员将决定是否有必要将错误的检测案例输入样本图像数据库。如果新输入到数据库的样本数量达到一个阈值，我们接着用新样本库中的样本对神经网络进行训练。采用这种方法，错误案例的出现将会越来越少，最终使得检测结果达到我们的要求。当底层神经网络达到要求后，再对高层神经网络进行训练，由于输入模式数量的减少，高层神经网络的训练相对容易。在整个训练过程中，检测工作者只需以正确的方式将样本添加进数据库。当检测系统被用在其它环境下时，如较小瓶口的检测，我们只需输入足够的样本让系统进行自调整。这种弹性设计对于机器视觉系统往往是非常重要的。
2.瓶身检测算法(1)判断检测区域考虑到在线检测的图像中包含许多不确定因素，有时甚至会出现大范围的干扰，所以瓶身检测的区域确定必须具有很好的鲁棒性。传统的高斯算法速度过慢不适用于这种高速检测的应用，采用的是一种基于直方图滑动窗口的方法对检测区域进行定位。
首先，将瓶身图像分为左右两部分，建立数学模型，分别用方程(1)和(2)计算图像的差分变化；f(i，j)＝2f(i，j)-f(i+1，j)-f(i，j+1) (1)
f(i，j)＝2f(i，j)-f(i-1，j)-f(i，j+1) (2)第二步，通过恰当的选择阈值可获得从瓶颈到瓶嘴的边缘点，由方程(3)计算瓶身中轴线横坐标的参考值。
Xri=Li+Ri2(i=1,2,3,···n)···(3)]]>第三步，在图像的每行只需两个边缘点(Li，Ri)，其中一个在左半部，一个在右半部，瓶身垂轴的参考坐标由方程(3)计算，通过对Xr的统计可以获得Xr的直方图(如图6)。
第四步，假定一个宽为T的窗口在直方图上滑动，根据方程(4)计算出当前窗口内直方图总和S(X)，当滑动窗口从C1移到Cm时，可得到一个最大的S(X)，进而可由(5)式最终确定瓶身中轴线的横坐标。
S(X)=ΣXr=XX+TH(Xr)···(4)]]>Xd=ΣXr=XX+T[Xr·H(Xr)]ΣXr=XX+TH(Xr)···(5)]]>其中X满足S(X)=maxX∈[C1,Cm]S(X).]]>这种算法运用统计方法去除了分布干扰。
(2)瓶身检测如图7所示，在缺陷的边沿图像强度的变化比其它部分要大得多，换句话说，边缘出现在缺陷周围。因此，似乎边缘检测算子可以用于寻找缺陷。但瓶身玻璃的不均衡性，使得大量的干扰比缺陷具有更明显的边沿特性。在这种情况下，传统的边沿检测算法是不适用的。
在实际检测中，缺陷还具有另一个重要特征它的亮度比邻近像素点暗些。因此，如果我们对图像进行从左至右从上到下的扫描，在缺陷处，我们首先遇到下降沿然后是上升沿。采用下面的算法我们可以获得理想的结果第一步从左至右扫描图像的每一行，使用式(6)计算每一点的梯度值GH。如果GH大于阈值TH，就将该点作为下降边沿的候选点，其梯度GH存于GHS中。
GH(i，j)＝2f(i，j)-f(i+1，j)-f(i+1，j+1)(6)GV(i，j)＝2f(i，j)-f(i，j+1)-f(i-1，j+1)(7)其中f(i，j)是点(i，j)的灰度值；
第二步继续扫描图像并计算梯度GH。如果GH＞GHS，则用当前点替换先前找到的点作为下降沿的候选点，其梯度GH存于GHS中。如果GH＜-TH，则先前找到的点可以确认为异物的下降边缘点。而当前点被作为上升边缘点的一个候选点，其梯度GH存于GHS中。
第三步继续扫描图像计算梯度GH。如果GH＜GHS，则用当前点替换先前找到的点作为上升沿的候选点，其梯度GH存于GHS中。如果GH≤0，或当前一行图像扫描结束，则先前找到的点可以确认为异物的上升边缘点。
第四步如果找到的下降边缘点与上升边缘点的距离小于阈值Tw，则两点之间的所有点被确认为属于异物的像素点。
第五步用同样的方式，从上到下扫描图像的每一列，但使用式(7)计算每一点的梯度。
第六步使用式(8)和阈值Ta来搜寻图像上非常暗的点。如果f(i，j)＜(Ia-Ta)，则该点也被认为属于缺陷点。
Ia(i，j)＝{f(i+4，j)+f(i-4，j)+f(i，j+4)+f(i，j-4)+f(i，j+8)+f(i，j-8)}/6 (8)第七步计算连接在一起的缺陷点的个数Nc，即计算异物的面积，如果Nc大于阈值Tsize，则该异物被最终确认。
采用上面的算法，除了能获得缺陷的位置外，我们同样可以得到缺陷的大小，这对于瓶身质量的评价是相当重要的。
综上所述，对于瓶口检测和瓶身检测，只要有一处不合格者则被认定为次品，此时，主控计算机发出信号给分离装置剔出次品。合格空瓶保留在流水线上进入下一道工序。
根据以上方法，由此设计出一种多视觉空瓶检测机器人，其具体实施方式
如下所述如图8、9、10、11、12所示，该多视觉空瓶检测机器人主要包括箱体1、贯穿于箱体内的产品传送带2、光电传感器3、工业级高清晰度摄像系统所包括的俯拍摄像机5、侧拍摄像机6和专用LED光源15、主控计算机16和次品剔出装置4所包括的机械臂11和击出器12，箱体1的一侧为产品输入口7，另一侧为产品输出口8，产品输入口7和产品输出口8分别与生产流水线的传送带连接，工业级高清晰度摄像系统所包括的俯拍摄像机5和侧拍摄像机6安装于箱体内部的传送带旁的支架上，工业级高清晰度摄像系统通过图像采集卡17与主控计算机16的I/O接口连接，主控计算机16和次品剔出装置4连接并控制其动作，次品剔出装置4位于产品输出口8同侧。
次品剔出装置4包括一个机器臂11和一个击出器12，机器臂11和击出器12分别设置于产品输出口8处的产品传送带两侧，如图11所示。
如图12，本实用新型多视觉空瓶检测机器人控制系统框图，多视觉空瓶检测机器人通过图像采集卡17和现场数据采集卡29连接到主控计算机16，由环型低角度专用LED光源15、彩色摄像机19、光电传感器3组成产品顶部检测模块；由平面透射型专用LED光源15、黑白摄像机18、光电传感器3组成的产品侧面检测模块。
主控计算机内安装有运动控制卡30，并与步进电机20相连，步进电机20上装有旋转编码器26，主控计算机16通过运动控制卡30对步进电机20的转速和步数进行控制，且存有通过旋转编码器26计算得的两个检测模块距离次品剔出装置4的距离。
次品剔出装置4中的机器臂11能够按照给定的控制指令将次品一个个挑出，击出器12也能按照给定的控制指令，通过击出面与物品发生碰撞，从而将传送带上位于击出面正前方的被传送的物品从传送带上迅速、准确、可靠地击出来，送入另外的传送线或送入一个特定的次品回收处13。
如图13，为击出器原理框图，其中控制器通过通信接口接收控制指令，并负责完成对驱动部件的运动控制。使用气缸作为驱动部件，气源通过气压调节设备提供一定压力的气体，控制器通过控制电磁阀的开关来控制气流的导通方向，从而驱动气缸的往复运动，完成击出动作。通过气压调节设备调节气压以及通过控制器改变电磁阀的开通与关闭的时间间隙，可以改变气动式驱动部件的运动速度，以适应不同生产要求。
如图14，次品剔出装置4中的机器臂11是一种专门用于流水线上物品抓取的安全可靠的5轴机器臂系统。该系统动作连贯、迅速、准确，实时性好，高性能的处理器使得系统能够进行多任务处理。
性能上该机器臂有11个控制轴、16个输入端口、16个输出端口，同时，还支持多个外围设备与之配合工作。其性能指标如下机器结构包括底座21、肩部22、肘部23、手腕倾斜24、手腕旋转25、属于垂直关节、开放式结构。
自由度5转动轴+抓物钳有效载荷1公斤轴的活动范围轴1基座旋转310°轴2肩部旋转130°/-35°轴3肘部旋转130°轴4手腕倾斜130°轴5手腕旋转无限制(机械)；±570°(电气)。
权利要求1.一种多视觉空瓶检测机器人，其特征在于主要包括箱体、贯穿于箱体内的产品传送带、光电传感器、工业级高清晰度摄像系统、主控计算机和次品剔出装置，箱体的一侧为产品输入口，另一侧为产品输出口，产品输入口和产品输出口分别与生产流水线的传送带连接，所述工业级高清晰度摄像系统安装于箱体内的顶部和侧面，工业级高清晰度摄像系统通过图像采集卡与主控计算机连接，主控计算机通过I/O接口与次品剔出装置连接并控制其动作，次品剔出装置位于产品输出口同侧。
2.根据权利要求1所述的多视觉空瓶检测机器人，其特征在于所述的工业级高清晰度摄像系统为CCD摄像机及其配套的专用LED光源，其包括俯拍摄像机和侧拍摄像机，所述俯拍摄像机和侧拍摄像机安装于箱体内部的传送带旁的支架上。
3.根据权利要求1或2所述的多视觉空瓶检测机器人，其特征在于所述的次品剔出装置包括一个机械手和一个击出器，所述机械手和击出器分别设置于产品输出口处的产品传送带两侧。
专利摘要本实用新型公开了一种适用于高速自动化生产流水线上的多种透明或半透明空瓶进行质量和清洁度检测的多视觉空瓶检测机器人，该多视觉空瓶检测机器人是一种基于数字图像处理和两层神经网络的计算机智能处理、分析和决策法，根据瓶口和瓶身的图像特性，判断瓶子合格与否；该多视觉空瓶检测机器人，主要包括箱体、贯穿于箱体内的产品传送带、光电传感器、工业级高清晰度摄像系统、主控计算机和次品剔出装置，其主要是在箱体内的顶部和侧面都设置有光电传感器和工业级高清晰度摄像系统，采集到瓶口和瓶身的图像给主控计算机进行处理、判断产品是否合格，该检测方法和设备检测速度快、精度高，大大提高了生产率，降低了生产成本。
文档编号B07C5/34GK2858078SQ20052005157
公开日2007年1月17日 申请日期2005年8月3日 优先权日2005年8月3日
发明者王耀南, 段峰, 刘焕军, 李杨果, 王威, 刘良江 申请人:湖南大学