喷涂流水线工件自动检测与识别方法
【专利摘要】一种喷涂流水线工件自动检测与识别方法，包括如下步骤：A、摄像头对流水线上的工件采集原始图像；B、对于采集到的原始图像进行预处理，过程如下：B11：对于原始图像进行阈值处理；B12：对于阈值处理后的图像进行低通滤波处理，平滑边缘信息；B13：移除边界连通区域；B14：去除杂质分割出工件图像；B15：对于分割好的工件图像进行边缘信息提取用作分类信息，按照尺寸分类；C、协调器将数据包经RS232/485发送至无线模块在通过无线模块送至上位机；D、上位机根据数据库中的特征信息进行分类匹配。本发明提供了一种有效降低计算量、实时性良好的喷涂流水线工件自动检测与识别方法。
【专利说明】
喷涂流水线工件自动检测与识别方法
技术领域
[0001] 本发明属于流水线领域，涉及一种喷涂流水线工件自动检测与识别方法。
【背景技术】
[0002] 喷涂流水线适用于手工作业及业自动化生产，应用范围广主要有五金、塑胶、家 私、军工、船舶等领域，是现今应用最普遍的一种涂装方式;喷涂作业需要环境要求有百万 级到百级的无尘车间，喷涂设备有喷枪，喷漆室，供漆室，固化炉/烘干炉，喷涂工件输送作 业设备，消雾及废水，废气处理设备等。近年来随着喷涂机器人应用领域的不断扩大，对于 工件的自动检测与识别的要求也不断提高。
[0003] 在喷涂的过程中要求对于不同的工件使用不同的喷涂工艺。由于工件的差异性给 检测带来了许多困难。而且喷涂作业在流水线上工作，对于检测与识别装置的实时性要求 很高。传统的传感器检测很难对于工件的纹理进行检测。而且由于喷涂的时候会产生大量 的粉尘颗粒会大大影响传感器的寿命。
[0004] 近年来，随着图像处理技术飞速发展，特别计算机处理速度的显著提高，大规模存 储器的出现，自动检测与识别系统被大量引入喷涂中，通过CCD视频图像的动态采集，借助 计算机数字图像处理技术，对于喷涂中不同的工件进行检测识别。传统的阈值法目标提取 对于光源的要求很高，背景差分法虽然对于光源的要求不高但是依赖于不变的背景。而上 述的方法都无法对于纹理进行准确的提取。最小均方delta规则的感知机法用定量描述子 来描绘不同工件，比如工件的面积、椭圆度、各向异性和表面纹理等。但是对于纹理的提取 并不理想。SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。 对于光线、噪声、微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对 容易撷取。使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高。但是在喷涂作业上由 于工件的种类多样，纹理差异较大。如果使用SIFT特征匹配需要匹配的样本过多，计算量过 大会影响实时性。
【发明内容】
[0005] 为了克服已有喷涂流水线工件自动检测与识别方式的计算量过大、实时性较差的 不足，本发明提供了一种有效降低计算量、实时性良好的喷涂流水线工件自动检测与识别 方法。
[0006] 本发明解决其技术问题所采用的技术方案是：
[0007] -种喷涂流水线工件自动检测与识别方法，所述自动检测与识别方法包括如下步 骤：
[0008] A:摄像头对流水线上的工件采集原始图像；
[0009] B:对于采集到的原始图像进行预处理，过程如下：
[0010] B11:对于原始图像进行阈值处理；
[0011] B12:对于阈值处理后的图像进行低通滤波处理，平滑边缘信息；
[0012] B13:移除边界连通区域；
[0013] B14:去除杂质分割出工件图像；
[0014] B15:对于分割好的工件图像进行边缘信息提取用作分类信息，按照尺寸分类；
[0015] C:协调器将数据包经RS232/485发送至无线模块在通过无线模块送至上位机。
[0016] D:上位机根据数据库中的特征信息进行分类匹配，过程如下：
[0017] 用定量描述子来描绘不同工件^=(11^2，一011)1'，式中：11为第：[个描述子;11为 与该工件有关的描述子的总数;那么一类工件用列向量X表不，T表不转置；
[0018] 在训练时，提取图像的外形特征和SIFT纹理，采用感知机训练的最小均方delta规 贝1J，此规则在有限步的学习后使得感知机的实际响应逼近期望响应，使两者的误差最小，准
式中:r是感知机的期望响应，在r=wTy时该准则函数取得最小 .， 值，故用梯度下降法逐步修正权值向量w，当J(w)取得最小值时，感知机可以正确分类；
[0019] 提取待分类图像的外形特征和SIFT纹理，输入感知机进行分类。
[0020] 进一步，所述步骤D中，SIFT特征提取过程如下：
[0021] D1、尺度空间极值检测:搜索所有尺度上的图像位置，通过高斯微分函数来识别潜 在的对于尺度和旋转不变的兴趣点；
[0022] D2、关键点定位:在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺 度，关键点的选择依据于它们的稳定程度；
[0023] D3、方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方 向，所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供 对于这些变换的不变性，
[0024] D4、关键点描述:在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯 度，这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。 [0025] 再进一步，所述步骤B中还包括如下步骤：
[0026] B16:对于分类错误的工件则是坏件；
[0027] B17:对分割好的图像做SIFT特征提取用于对不同种类的工件纹理的匹配；
[0028] B18:对于分类好的工件进行纹理匹配，匹配成功则进行不同的喷涂处理，对于分 类正确但是纹理匹配失败的工件当作坏件处理。
[0029]本发明的有益效果主要表现在：由于采用了嵌入式处理器作为控制核心，该处理 器是TI公司的高速数字信号处理芯片，处理速度快。使用先分类后匹配的方法，单独使用分 类可以把不同尺寸的工件分离出来但是对于相同尺寸不同纹理的工件无法做到准确识别。 单独做SIFT匹配可以做到尺寸与纹理的准确性但是工件的种类多，需要匹配多次。影响系 统的实时性能。所以先使用最小均方delta规则的感知机对于工件进行尺寸种类上进行快 速的分类。再通过SIFT对分类好的工件进行纹理匹配。找到标准的样本模型。从而保证了系 统处理图像数据的实时性。
【附图说明】
[0030]图1是本发明的系统原理框图。
[0031]图2是ZigBee网络中协调器节点的硬件结构示意图。
[0032]图3是预处理的流程不意图。
[0033]图4是分类器结构示意图。
[0034]图5是本发明的工序流程图。
【具体实施方式】
[0035] 下面结合附图对本发明作进一步描述。
[0036] 参照图1~图5,一种喷涂流水线工件自动检测与识别方法，所述自动检测与识别 方法包括如下步骤：
[0037] E:摄像头对流水线上的工件采集原始图像；
[0038] F:对于采集到的原始图像进行预处理，过程如下：
[0039] B11:对于原始图像进行阈值处理；
[0040] B12:对于阈值处理后的图像进行低通滤波处理，平滑边缘信息；
[0041 ] B13:移除边界连通区域；
[0042] B14:去除杂质分割出工件图像；
[0043] B15:对于分割好的工件图像进行边缘信息提取用作分类信息，按照尺寸分类；
[0044] G:协调器将数据包经RS232/485发送至无线模块在通过无线模块送至上位机。
[0045] H:上位机根据数据库中的特征信息进行分类匹配，过程如下：
[0046] 用定量描述子来描绘不同工件，X=(X1，X2，···，Xn)T，式中：Xi为第i个描述子;η为 与该工件有关的描述子的总数;那么一类工件用列向量X表不，Τ表不转置；
[0047]在训练时，提取图像的外形特征和SIFT纹理，采用感知机训练的最小均方delta规 贝1J，此规则在有限步的学习后使得感知机的实际响应逼近期望响应，使两者的误差最小，准
式中:r是感知机的期望响应，在r=wTy时该准则函数取得最小 值，故用梯度下降法逐步修正权值向量w，当J(w)取得最小值时，感知机可以正确分类； [0048]提取待分类图像的外形特征和SIFT纹理，输入感知机进行分类。
[0049] 进一步，所述步骤D中，SIFT特征提取过程如下：
[0050] D1、尺度空间极值检测:搜索所有尺度上的图像位置，通过高斯微分函数来识别潜 在的对于尺度和旋转不变的兴趣点；
[0051] D2、关键点定位:在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺 度，关键点的选择依据于它们的稳定程度；
[0052] D3、方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方 向，所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供 对于这些变换的不变性，
[0053] D4、关键点描述:在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯 度，这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。 [0054] 再进一步，所述步骤B中还包括如下步骤：
[0055] B16:对于分类错误的工件则是坏件；
[0056] B17:对分割好的图像做SIFT特征提取用于对不同种类的工件纹理的匹配；
[0057] B18:对于分类好的工件进行纹理匹配，匹配成功则进行不同的喷涂处理，对于分 类正确但是纹理匹配失败的工件当作坏件处理。
[0058]本实施例以高速DSP芯片为检测器的硬件平台核心，基于上述描述，一种基于最小 均方delta规则的感知机与SIFT特征提取的自动检测与识别系统至少包括了四个部分，分 别为：1、图像采集模块主要通过摄像头采集工件的原始图像。2、图像预处理模块以高速DSP 芯片为硬件平台核心主要是以TI公司的高速数字信号处理芯片为核心的主控板，用以进行 图像数据算法处理；。3、数据无线收发模块，用以实现状态信息的无线收发功能。4、上位机 (人机界面包括液晶显示器和电容式触摸板)主要是delta规则的感知机与SIFT特征库用于 分类与进一步的纹理匹配。
[0059]所述的无线传感网络以开源的ZigBee协议为基础。
[0060] 所述的传感器节点中电源模块采用可选的干电池和外部电源两种供电方式。
[0061] 所述的无线传感网络中的数据无线收发模块由MSP430微处理器、射频收发器 CC2520以及节点收发功率放大器CC2591组成。
[0062]所述的数据处理模块的主芯片采用TI公司达芬奇系列芯片DM6446。
[0063]所述的人机界面模块包括液晶显示屏和电容式触摸板两部分，分别通过VGA接口 和232串口与主控板相连。
[0064]传统的工件检测使用阈值分割由于阈值法处理直观、实现起来较简单且计算速度 快，因此图像阈值处理在图像分割应用中占核心地位。当周围的环境变化较微弱时，基于阈 值法的目标提取方法具有不错的效果。它处理直观、实现简单且计算速度快，与基于模板匹 配的一些方法相比，该方法更加稳定，不容易丢失目标。在工业应用中，一般会采用补光灯 等措施来保证工作平面上光照条件的稳定。所以阈值处理对于光源的要求比较高。其次的 是背景差分法提取目标，背景差分法是把图像序列中的当前帧与背景参考模型进行比较， 用来检测图像中运动区域的一种方法，其性能优劣直接取决于所采用的背景建模技术。因 此，在基于背景差分法的目标提取中，背景模型的选择尤为重要。使用背景差分法来检测运 动目标速度较快，检测较准确，而且容易实现。在实际应用中，很难直接获得当前帧的静止 背景，必须通过图像序列的信息来估计和重建背景，对背景实时地更新。
[0065]本发明使用的是先使用最小均方delta规则的感知机进行工件的外形分类。在使 用SIFI方法提取纹理细节进行相同外形工件的不同纹理的匹配。如图1.摄像头采集原始图 像，在采集图像的时候。采集好的图像交给预处理模块进行图像信息的处理，预处理模块使 用的TI公司达芬奇系列芯片DM6446。对于原始图像进行一系列的预处理。把外形特征提取 出来，再把图像进行SIFT纹理提取。通过RS232/485传送给无线发送模块。无线发送模块把 外形特征与SIFT纹理特征传给上位机。在上位机的最小均方del ta规则的感知机进行分类。 如果分类成功在把SIFT纹理特征加入在其中匹配到符合纹理的工件。如果分类错误则是坏 件，分类正确但是无法匹配到其相对应的纹理也是坏件。
[0066]本系统中协调器的无线核心模块由MSP430微处理器、射频收发器CC2520以及节点 收发功率放大器CC2591组成。无线接收器通过RS232/485接口与上位机进行通信，由无线核 心模块负责数据的无线传输与处理，利用LED指示灯和LCD屏实时地显示网络状态和部分监 测数据，为方便调试网络，使用按键实现手动控制功能。其硬件结构框图如图2所示。路由器 的大部分硬件与协调器相同，只是硬件接口更加简单而已。而终端节点的硬件结构图也类 似于协调器，只是将232/485接口换成了I 2C。需要注意的是，由于工作环境的特殊性，区别 于传统意义上的无线传感器节点，本系统中的节点电源被设计成了外部电源供电和干电池 供电两种供电方式，因此系统设计时可及不考虑节点的能耗问题，简化了软件算法的设计 如图2。
[0067] 分类与匹配需要一系列的预处理，如图3。
[0068]步骤1、通过摄像头扫描出一份原始图像；
[0069]步骤2、对于扫描好的图像先进行阈值分割。但是一般的阈值分割是从背景中提取 目标的一种明显方法是选择一个阈值T将图像点分成两类。但是不同工件的颜色与灰度不 同如果每次都要确定一个阈值太过繁琐，不利于流水线。所以这里使用的是Otsu最优全局 阈值处理。
[0070] 该方法的目标是确定阈值T，使类间方差最大化。采集一幅图像，计算其归一化直 方图，设有L个灰度级。使用pi，i = 0，1，2，…，L-1表不直方图各分量。计算由阈值T分开的两
[0071] 步骤3、对于二值化后的图像进行平滑滤波。去除不必要的边缘噪声。中值滤波法 对消除椒盐噪声非常有效，在光学测量条纹图象的相位分析处理方法中有特殊作用采用的 是中值滤波，常用于保护边缘信息，是经典的平滑噪声的方法。这里要保留边缘信息用于分 类选择中值滤波是最理想的。
[0072] 步骤4、去除边缘连通，通过遍历图像将小于给定阈值的小块图像删除，这些小块 图像是无用的图像信息。
[0073]步骤5、去除杂质割出工件图像。
[0074]以上图像的预处理就是完成了，把处理好的图像信息通过ZigBee传给上位机的感 知器。
[0075]感知器的原理结构如图4最小均方delta规则神经网络的目标识别。
[0076] 用定量描述子来描绘不同工件，比如工件的面积、椭圆度、各向异性和表面纹理 等。每个工件类别都是几个描述子的集合，每个描述子对应地描绘工件的某项特征，用这些 特征组成的向量来描述各类工件。X = ( XI，X2，…，Χη) Τ
[0077] 式中：Xl为第i个描述子;η为与该工件有关的描述子的总数。那么一类工件就可以 用列向量X表示，Τ表示转置。
[0078] 在训练时，采用感知机训练的最小均方delta规则，此规则可以在有限步的学习后 使得感知机的实际响应逼近期望响应，使两者的误差最小。准则函数为
[0080]式中是感知机的期望响应，易知在r = wTy时该准则函数取得最小值。故可以用 梯度下降法逐步修正权值向量w，当J(w)取得最小值时，感知机可以正确分类。
[0081 ] SIFT纹理特征提取即尺度不变特征变换（Scale-invariant feature transform， SIFT)，是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关 键点，是一种局部特征描述子。SIFT特征提取分为4个基本步骤：
[0082] D1、尺度空间极值检测:搜索所有尺度上的图像位置。通过高斯微分函数来识别潜 在的对于尺度和旋转不变的兴趣点。
[0083] D2、关键点定位在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺 度。关键点的选择依据于它们的稳定程度。
[0084] D3、方向确定基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。 所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对 于这些变换的不变性。
[0085] D4、关键点描述在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯 度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。
【主权项】
1. 一种喷涂流水线工件自动检测与识别方法，其特征在于:所述自动检测与识别方法 包括如下步骤： A:摄像头对流水线上的工件采集原始图像； B:对于采集到的原始图像进行预处理，过程如下： B11:对于原始图像进行阈值处理； B12:对于阈值处理后的图像进行低通滤波处理，平滑边缘信息； B13:移除边界连通区域； B14:去除杂质分割出工件图像； B15:对于分割好的工件图像进行边缘信息提取用作分类信息，按照尺寸分类； C:协调器将数据包经RS232/485发送至无线模块在通过无线模块送至上位机。 D:上位机根据数据库中的特征信息进行分类匹配，过程如下： 用定量描述子来描绘不同工件，Χ=(Χ1，Χ2，···，χη)τ，式中：Xi为第i个描述子;η为与该工 件有关的描述子的总数;那么一类工件用列向量X表不，Τ表不转置； 在训练时，提取图像的外形特征和SIFT纹理，采用感知机训练的最小均方delta规则， 此规则在有限步的学习后使得感知机的实际响应逼近期望响应，使两者的误差最小，准则 函数为A = j w 1 .V):式中：r是感知机的期望响应，在r = wTy时该准则函数取得最小 乂 .，： 值，故用梯度下降法逐步修正权值向量w，当J(w)取得最小值时，感知机可以正确分类； 提取待分类图像的外形特征和SIFT纹理，输入感知机进行分类。2. 如权利要求1所述的喷涂流水线工件自动检测与识别方法，其特征在于:所述步骤D 中，SIFT特征提取过程如下： D1、尺度空间极值检测:搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的 对于尺度和旋转不变的兴趣点； D2、关键点定位:在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度， 关键点的选择依据于它们的稳定程度； D3、方向确定:基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向，所 有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于 这些变换的不变性， D4、关键点描述:在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度， 这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。3. 如权利要求1或2所述的喷涂流水线工件自动检测与识别方法，其特征在于:所述步 骤B中还包括如下步骤： B16:对于分类错误的工件则是坏件； B17:对分割好的图像做SIFT特征提取用于对不同种类的工件纹理的匹配； B18:对于分类好的工件进行纹理匹配，匹配成功则进行不同的喷涂处理，对于分类正 确但是纹理匹配失败的工件当作坏件处理。
【文档编号】G06K9/62GK105868766SQ201610183826
【公开日】2016年8月17日
【申请日】2016年3月28日
【发明人】邢科新, 张文安, 倪洪杰, 梁先鹏, 林叶贵
【申请人】浙江工业大学