一种基于机器视觉的手套撕破和油污检测方法
【专利摘要】本发明涉及一种基于机器视觉的手套撕破和油污检测方法，用于检测生产线上的手套，包括以下步骤：(1)采用工业相机拍摄多个手套的多幅连续图片；(2)利用卡尔曼滤波器对手套进行视觉跟踪，获取同一个手套的多个角度的图像信息；(3)对手套进行轮廓提取，并裁剪成合适大小；(4)检测手套是否有撕破；(5)检测手套是否有油污。与现有技术相比，本发明具有使用方便等优点。
【专利说明】
一种基于机器视觉的手套撕破和油污检测方法
技术领域
[0001] 本发明涉及一种手套缺陷检测方法，尤其是涉及一种基于机器视觉的手套撕破和 油污检测方法。
【背景技术】
[0002] 在目前的制造业企业中，对于产品的缺陷检测大多是通过人工操作完成的。这样 做所导致的问题是：由于人会疲劳，所以无法保证检测的质量一直处在较高水平；另外，工 业生产的环境比较恶劣，对人体存在一定的危害。在手套生产的过程中，由于生产原料和加 工工艺的原因，生产现场的检测工人暴露在高温，嘈杂的环境之中，采取每两个小时轮一次 岗的方式进行产品的缺陷检测。无论是对于工人，还是对于企业，采取一种有效的方式来替 代人眼进行检测势在必行。
[0003] 基于机器视觉的缺陷检测已经拥有很广泛的应用，是一项相对成熟的技术，在实 际生产中已经有了一些成功的案例。但是，目前的缺陷检测对象几乎都是具有固定几何形 状的刚性物体，从最开始的对于钢材表面的缺陷检测，到后来的对于玻璃，甚至是水果的缺 陷检测都属于这样的范畴。而对于手套这样的柔性物体，由于形状的变化很大，导致手套的 个体间的差异也很大，对于缺陷检测带来了一定的难度和挑战。
【发明内容】
[0004] 本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种效率高的基于 机器视觉的手套撕破和油污检测方法。
[0005] 本发明的目的可以通过以下技术方案来实现:一种基于机器视觉的手套撕破和油 污检测方法，用于检测生产线上的手套，包括以下步骤：
[0006] (1)采用工业相机拍摄多个手套的多幅连续图片；
[0007] (2)利用卡尔曼滤波器对手套进行视觉跟踪，获取同一个手套的多个角度的图像 信息；
[0008] (3)对手套进行轮廓提取，并裁剪成合适大小；
[0009] (4)检测手套是否有撕破；
[0010] (5)检测手套是否有油污。
[0011] 所述的步骤(1)中，拍摄时，在生产线上增加黑色背景。
[0012] 所述的步骤(2)具体为:将手套和手模的整体看作一个矩形，取该矩形中心作为卡 尔曼滤波器的输入，根据该输入估计出下一帧图像中该手套的位置，得到同一手套的多个 角度的图像信息，实现跟踪任务。
[0013] 所述的步骤(3)具体为:采用Canny边缘检测算子，找到手套轮廓的最高、最低、最 左和最右的四个点构造一个矩形，将该矩形所覆盖的范围裁剪出来，作为下一步要处理的 图片。
[0014] 所述的步骤(4)具体为：
[0015] (401)判断手套轮廓的图片中是否有背景色，如果有，则手套有撕破，否则转步骤 (402);
[0016] (402)判断除手套末端区域外，是否有一层手套材料叠加背景色的颜色，如果有， 则手套有撕破，否则，手套无撕破，所述的手套末端区域以手套边缘为部分轮廓，且仅有一 层手套材料叠加背景色的颜色。
[0017]所述的步骤(5)具体为：
[0018] (501)根据公式将图片的色彩空间从RGB转换到HSV，
[0021] v=max
[0022] 其中，r，g，b分别是原图RGB色彩空间中的三个参量转换到[0，1 ]区间内的值，max 是r，g，b中的最大值，min是r，g，b中的最小值，h表示色调，s表示饱和度，v表示明度；
[0023] (502)如果40<h<50,则手套上有油污，否则，手套无油污。
[0024] 所述的步骤(3)中对手套进行轮廓提取之前，使用腐蚀算法和膨胀算法消除图片 中的噪点。
[0025] 与现有技术相比，本发明具有以下优点：
[0026] (1)采用卡尔曼滤波器对手套进行跟踪，因为卡尔曼滤波器可以通过当前一帧图 像中手套的位置估计出下一帧图像中手套的位置，相比直接比对两帧图片中手套位置的变 化进行跟踪的方法，可以获得更加准确的跟踪结果和对于噪声有更好的鲁棒性；
[0027] (2)采用Canny边缘检测算子，对手套进行轮廓提取，在保证图片分辨率一定的情 况下，图片的尺寸最小，提高了缺陷检测的速度；
[0028] (3)对手套进行轮廓提取之前，使用腐蚀算法和膨胀算法消除图片中的噪点，提高 检测精度。
【附图说明】
[0029]图1为本发明的流程图；
[0030]图2为撕破发生在手套末端区域的检测示意图；
[0031 ]图3为撕破未发生在手套末端区域的检测示意图；
[0032]图中标识为:1工业相机，2手套，3撕破部分，4黑色背景。
【具体实施方式】
[0033] 下面结合附图和具体实施例对本发明进行详细说明。
[0034] 如图1所示，一种基于机器视觉的手套撕破和油污检测方法，用于检测生产线上的 手套2,包括以下步骤：
[0035] (1)采用工业相机1拍摄多个手套2的多幅连续图片;为了提高检测质量和检测速 度，结合工业生产的实际情况，拍摄时在生产线上增加了黑色背景4。由于工业生产中手套2 在平移的过程中还伴随着自身的旋转，考虑到对于一个手套2的检测要得到从不同角度观 察手套2的图片，本发明采用一个固定工业相机1拍摄多幅连续图像的，利用手套2在生产线 上的自身旋转获取对于一个手套2的多角度图像。一个工业相机1的视野中存在多个手套2， 因此，必须对同一个手套2在多幅图像中进行视觉跟踪。
[0036] (2)利用卡尔曼滤波器对手套2进行视觉跟踪，获取同一个手套2的多个角度的图 像信息;具体为:将手套2和手模的整体看作一个矩形，取该矩形中心作为卡尔曼滤波器的 输入，根据该输入估计出下一帧图像中该手套2的位置，得到同一手套2的多个角度的图像 信息，实现跟踪任务。因为卡尔曼滤波器可以通过当前一帧图像中手套2的位置估计出下一 帧图像中手套2的位置，相比直接比对两帧图片中手套2位置的变化进行跟踪的方法，可以 获得更加准确的跟踪结果和对于噪声有更好的鲁棒性。
[0037] (3)对手套2进行轮廓提取，并裁剪成合适大小；当得到了同一手套2在多幅图像中 的位置信息后，裁剪出只含有一只手套2的图片，并将多帧图片结合起来，得到同一只手套2 的多个角度的图像信息。但是，在开始检测手套2缺陷之前，为了提高缺陷检测的速度，在保 证图片分辨率一定的情况下，使得图片的尺寸尽可能的小，刚好包含了手套2的图片是最理 想的。为了实现这样的目的，本发明采用Canny边缘检测算子，对手套2进行轮廓提取，找到 轮廓中最高，最低，最左，最右的四个点来构造出一个矩形，将这个矩形所覆盖的范围裁剪 出来，作为下一步要处理的图片
[0038] (4)检测手套2是否有撕破;具体为：（401)判断手套2轮廓的图片中是否有背景色， 如果有，则手套2有撕破，否则转步骤(402);
[0039] (402)判断除手套2末端外，是否有一层手套材料叠加背景色的颜色，如果有，则手 套2有撕破，否则，手套2无撕破，所述的手套末端区域以手套边缘为部分轮廓，且仅有一层 手套材料叠加背景色的颜色。
[0040] 在检测轮廓的过程中通常存在着一些噪声，比如镜头不干净等，这将导致在检测 到的轮廓中除了手套2手模的外轮廓和撕破的内轮廓外还有一些非常小的小轮廓，为了排 除这些噪点的干扰，对图片进行轮廓提取操作之前，使用腐蚀算法和膨胀算法消除这些噪 点。
[0041 ]对于撕破的检测是基于轮廓的，因为当手套2存在撕破的情况下，相当于较合格手 套2相比多了一个内轮廓。因此当在外轮廓的基础上，若检测出多余的轮廓，则该手套2可能 存在撕破这种缺陷。工业相机1所采集到的无撕破的手套2图片可以看作是两层手套材料叠 加在黑色背景4之上所表现出来的一种颜色效果，但是，在手套2的末端，由于工业相机1的 安装角度和手套2在生产线上的形变，使得这部分手套2的图像是一层手套材料叠加在背景 上，较其他部分而言颜色会更深一些。由于这部分的存在，我们可以将手套2的撕破分成两 类:第一种是手套2的撕破部分3在手套2的末端部分(如图2所示），这使得撕破部分3直接呈 现黑色背景4颜色，很容易对其进行检测；第二种手套2的撕破部分3不在手套2的末端部分 (如图3所示），这使得手套2的撕破部分3也是一层手套材料叠加在背景之上，和手套2的末 端部分具有一样的颜色表现，可以通过两部分轮廓坐标的分布对其进行区分，以排除手套2 末端部分对于第二种撕破检测的干扰，因为手套2末端部分的轮廓分布十分接近图像底部， 第二种撕破的轮廓坐标和图像底部存在一定的距离，否则这将是第一种撕破的情况。
[0042] (5)检测手套2是否有油污。由于油污通常呈现淡黄色，肉眼观察不是十分的明显， 很容易在检测过程中将其忽略。本发明通过色彩空间的转换，使得油污呈现在HSV色彩空间 的Η维度，而背景的黑色和手套2的白色呈现在V维度，和RGB色彩空间将油污、手套2和背景 颜色耦合在三个维度相比，达到了解耦合的目的，同时，由于油污相比于手套2有着更强的 反光性，所以在HSV空间中辅助以S空间的参数设置，可以更好的区分出油污
[0043] 步骤(5)具体为：
[0044] (501)根据公式将图片的色彩空间从RGB转换到HSV，
[0047] v=max
[0048] 其中，r，g，b分别是原图RGB色彩空间中的三个参量转换到[0，1 ]区间内的值，max 是r，g，b中的最大值，min是r，g，b中的最小值，h表示色调，s表示饱和度，v表示明度；
[0049] (502)如果40彡h彡50,则手套上有油污，否则，手套无油污。
【主权项】
1. 一种基于机器视觉的手套撕破和油污检测方法，用于检测生产线上的手套，其特征 在于，包括W下步骤： (1) 采用工业相机拍摄多个手套的多幅连续图片； (2) 利用卡尔曼滤波器对手套进行视觉跟踪，获取同一个手套的多个角度的图像信息； (3) 对手套进行轮廓提取，并裁剪成合适大小； (4) 检测手套是否有撕破； (5) 检测手套是否有油污。2. 根据权利要求1所述的一种基于机器视觉的手套撕破和油污检测方法，其特征在于， 所述的步骤(1)中，拍摄时，在生产线上增加黑色背景。3. 根据权利要求1所述的一种基于机器视觉的手套撕破和油污检测方法，其特征在于， 所述的步骤(2)具体为:将手套和手模的整体看作一个矩形，取该矩形中屯、作为卡尔曼滤波 器的输入，根据该输入估计出下一帖图像中该手套的位置，得到同一手套的多个角度的图 像信息，实现跟踪任务。4. 根据权利要求1所述的一种基于机器视觉的手套撕破和油污检测方法，其特征在于， 所述的步骤(3)具体为:采用化nny边缘检测算子，找到手套轮廓的最高、最低、最左和最右 的四个点构造一个矩形，将该矩形所覆盖的范围裁剪出来，作为下一步要处理的图片。5. 根据权利要求1所述的一种基于机器视觉的手套撕破和油污检测方法，其特征在于， 所述的步骤(4)具体为： (401) 判断手套轮廓的图片中是否有背景色，如果有，则手套有撕破，否则转步骤 (402)； (402) 判断除手套末端区域外，是否有一层手套材料叠加背景色的颜色，如果有，则手 套有撕破，否则，手套无撕破，所述的手套末端区域W手套边缘为部分轮廓，且仅有一层手 套材料叠加背景色的颜色。6. 根据权利要求1所述的一种基于机器视觉的手套撕破和油污检测方法，其特征在于， 所述的步骤(5)具体为： (501)根据公式将图片的色彩空间从RGB转换到HSV，v=m3x 其中，r，g，b分别是原图RGB色彩空间中的Ξ个参量转换到[0，1 ]区间内的值，max是r， g，b中的最大值，min是;r，g，b中的最小值，h表示色调，S表示饱和度，V表示明度； (502)如果40《h《50，则手套上有油污，否则，手套无油污。7.根据权利要求1所述的一种基于机器视觉的手套撕破和油污检测方法，其特征在于， 所述的步骤(3)中对手套进行轮廓提取之前，使用腐蚀算法和膨胀算法消除图片中的噪点。
【文档编号】G06T5/00GK106097312SQ201610379631
【公开日】2016年11月9日
【申请日】2016年6月1日
【发明人】陈启军, 孙旭
【申请人】同济大学