专利名称：一种基于彩色信息进行焊道识别的方法
技术领域：
本发明涉及一种焊道识别的方法，特别是关于一种适用于机器人自动化焊接、焊缝跟踪、焊道识别、焊后无损检测自动导引等焊接自动化及智能化检测的基于彩色信息进行焊道识别的方法。
背景技术：
焊道自动识别是焊接自动化与智能化发展过程中的关键技术，能够广泛应用于焊接轨迹自动示教、焊缝实时跟踪及焊后无损检测设备自动导引等方面。视觉传感技术(视觉传感器)因其获取信息量大、无接触、受电磁干扰小等优点成为目前应用最为广泛的焊道自动识别方式，其主要是通过工业摄像机拍摄得到焊道图像，将焊道图像进行处理得到焊道位置信息或焊道边缘位置信息，并通过反馈控制模块对焊枪或无损检测探头的行径路线进行调整，保证焊枪或无损检测探头能够准确沿焊道前进，确保焊接或检测质量。目前采用的较成熟的焊缝跟踪产品都是基于结构光方法实现焊道识别，主要利用坡口或焊道明显的三维几何结构，图像处理的识别对象为结构光条发生的畸变，但是在焊道结构不明显的情况下，上述方法很难实现对焊道的识别和跟踪，以多层多道焊的盖面焊为例，在盖面焊之前坡口已被前几层焊道填充满，结构光条投射到焊道表面不会发生明显畸变，加之焊道或附近母材可能存在的不平整或夹带杂质对光条形状的影响，导致利用结构光法很难得到可靠的焊缝边缘位置；再以经铣削加工去掉余高的成型焊缝为例，同样是由于焊道与附近的母材几乎处于同一平面，结构光不能反映其边界的位置，也导致利用结构光法很难得到可靠的焊缝边缘位置，而对于相当一部分焊道来说，由于材料、焊接工艺、锈蚀情况等复杂原因的影响，具备了沿焊缝方向相对稳定的色彩特征，且与母材区域的色彩具有较为明显的差别，因此，能够采用色彩信息实现焊道的自动识别与跟踪。
发明内容
针对上述问题，本发明的目的是提供一种基于焊道和母材的色彩特征，通过支持向量机建立分类与识别准则，实现自适应焊道识别的基于彩色信息进行焊道识别的方法。为实现上述目的，本发明采取以下技术方案一种基于彩色信息进行焊道识别的方法，包括以下步骤1)获取训练图像，并采集训练数据进行支持向量机训练，得到分类超平面；2)读取经彩色工业摄像机连续拍摄的一系列待识别的焊道图像；3)根据先验信息在焊道图像上设定一个以上的R0I，使得设定的ROI能够覆盖焊道边缘可能出现的区域；4)在焊道图像的每一 ROI内分别提取并保存每一像素的色彩信息向量，并将每一像素的色彩信息向量定义为测试数据；5)根据步骤I)中支持向量机训练所得的分类超平面对每一 ROI范围内的测试数据进行分类，明确测试数据是属于焊道像素或母材像素，并对分类结果进行标记；6)依次对每一帧焊道图像重复步骤3) 5)完成分类；7)根据所有待识别的焊道图像的每一 ROI内的分类结果，确定焊道边缘。所述步骤I)获取训练图像，并采集训练数据进行支持向量机训练，得到分类超平面，包括以下步骤①采用彩色工业摄像机，在待焊或待检测的焊道起始点拍摄一张焊道样本图像，拍摄得到的焊道样本图像包括焊道区域、焊道边缘区域以及靠近焊道的一部分母材区域；②将拍摄得到的焊道样本图像作为训练图像，在训练图像中选定样本焊道区和样本母材区在样本焊道区和样本母材区分别采用随机生成采样点像素坐标的方式生成像素采样点，且样本焊道区和样本母材区分别选取若干个像素作为采样点，提取样本焊道区和样本母材区中的每一采样点的色彩信息向量，将其作为训练数据进行保存，并按类别分别标记为“焊道像素”或“母材像素”;④利用训练数据进行支持向量机的训练，得到样本焊道区的色彩信息向量与样本母材区的色彩信息向量的分类超平面。所述样本焊道区包括尽可能大的焊道区域，样本母材区尽可能选择靠近焊道边缘的母材区域。所述焊道图像中包括焊道区域、焊道边缘区域以及靠近焊道的一部分母材区域。所述色彩信息向量采用RGB分量、HSV分量或YCbCr分量中的一种。所述步骤7)中确定焊道边缘的方法是通过寻找到一条最优的分界线，使得分界线两侧的分类结果正确率达到最高，将此分界线作为识别所得的焊道边缘位置。本发明由于采取以上技术方案，其具有以下优点1、本发明采用支持向量机对焊道图像的色彩向量信息建立分类与识别准则，在焊道结构特征不明显导致无法使用结构光法得到位置信息的情况下，基于焊道区与母材区的图像色彩的不同，对焊道图像进行分割，进而得到焊道边缘的位置信息，因此可以供跟踪系统根据识别得到的焊道边缘位置对焊枪或无损检测探头位置进行调整，有效提高工作的准确性。2、本发明首先对起始点的焊道样本图像采用基于支持向量机的机器学习方法，对焊道区与母材区的色彩特征进行采样和学习，自动生成焊道区的色彩信息向量与母材区的色彩信息向量的分类超平面，因此能够自适应地完成不同类型焊道的识别任务，适应生产实际的需求。3、本发明在支持向量机完成训练之后，根据得到的分类超平面对每帧焊道图像中的感兴趣区域内的各像素进行分类，此过程耗时短，分类准确，较之现有的结构光法有明显优势，有较强适应性，并且在准确性和实时性方面达到生产实际的要求。本发明可以广泛应用于焊接机器人或其它自动化设备的坡口检测、焊缝跟踪、焊后无损检测跟踪、焊缝成型质量检测及物体表面检测等技术对焊道的自动识别过程中，特别适用于多层焊道中填充焊与盖面焊的识别任务以及铣削加工去除余高后焊缝的识别任务中。
图1是本发明进行焊道识别的方法流程示意图；图2是本发明的焊道样本图像的焊道区与母材区进行采样的效果示意图，其中，三角形表示母材区采样点，圆圈表示焊道区采样点；图3是本发明实施例在焊道图像上设定感兴趣区域的效果示意图，其中，小方框表不选定的感兴趣区域；图4是本发明根据支持向量机训练结果对感兴趣区域进行分类的效果示意图，其中，黑色为母材像素，白色为焊道像素；图5是本发明的焊道边缘识别结果效果示意图，感兴趣区域内黑色线条表示焊道边缘。
具体实施例方式下面结合附图和实施例对本发明进行详细的描述。如图1所示，本发明的基于彩色信息进行焊道识别的方法包括以下步骤1、获取训练图像，并采集训练数据进行支持向量机训练，得到分类超平面，其包括以下步骤I)采用现有的彩色工业摄像机，在待焊或待检测的焊道起始点拍摄一张焊道样本图像，拍摄得到的焊道样本图像包括焊道区域、焊道边缘区域以及靠近焊道的一部分母材区域。2)将拍摄得到的焊道样本图像作为训练图像，在训练图像中选定样本焊道区和样本母材区，其中，样本焊道区包括尽可能大的焊道区域，样本母材区尽可能选择靠近焊道边缘的母材区域。3)在样本焊道区和样本母材区分别采用随机生成采样点像素坐标的方式生成像素采样点，且样本焊道区和样本母材区分别选取50个像素采样点作为采样点(不限于此，可以根据实际需要选择采样点的个数)，提取样本焊道区和样本母材区中的每一采样点的色彩信息向量，将其作为训练数据进行保存，并按类别分别标记为“焊道像素”或“母材像素”。如图2所示，本发明的实施例中，圆圈表示采样点属于焊道像素，三角形表示采样点属于母材像素。另外，本发明实施例中的训练数据是采用每一采样点的RGB分量，但不限于此，可以根据实际检测情况选取每一采样点的HSV分量或YCbCr等不同色彩空间的分量作为训练数据。4)利用训练数据进行支持向量机的训练，得到样本焊道区的色彩信息向量与样本母材区的色彩信息向量的分类超平面。本发明的实施例中，支持向量机类型为C-SVM，采用线性函数作为核函数，训练数据的数量为每类50个，求解分类超平面时采用的优化方法为二次规划求解，求解过程为现有技术，在此不再赘述。2、读取经彩色工业摄像机连续拍摄的一系列待识别的焊道图像，每一帧焊道图像中包括焊道区域、焊道边缘区域以及靠近焊道的一部分母材区域。本实施例中所摄取的焊道图像的像素大小为288X205，但是不限于此，可以根据具体的应用设置焊道图像的大小。3、如图3所示，根据先验信息在焊道图像上选取一个以上的ROI (感兴趣区域)，使得选取的ROI能够覆盖焊道边缘可能出现的区域，在实际的检测过程中，由于焊道跟踪是一个连续的过程，每帧焊道图像中焊道边缘只可能出现在前一帧焊道图像附近偏移一定距离的有限范围。本发明实施例的ROI大小为50X50，R0I大小不限于此，可以根据实际检测的需要进行设定。其中，先验信息为选取ROI的参考信息，不仅包括实际待检测焊道的实际焊道位置和焊道宽度的可能范围，而且由于焊道图像时连续拍摄的，在后一帧焊道图像选取ROI时，前一帧焊道图像的识别结果也可以成为选取ROI的先验信息。4、在焊道图像的每一 ROI内分别提取并保存每一像素的色彩信息向量，将每一像素的色彩信息向量定义为测试数据。
5、采用步骤I中支持向量机训练所得的分类超平面对每一 ROI范围内的测试数据进行分类，明确测试数据是焊道像素或母材像素，并对分类结果进行标记，如图4所示，本发明的实施例的分类结果中，白色表示该像素被分类为焊道像素，黑色表示该像素被分类为母材像素。6、依次对每一帧焊道图像重复步骤3 5完成分类。7、根据所有待识别的焊道图像的每一 ROI内的分类结果，确定焊道边缘，即寻找到一条最优的分界线，使得分界线两侧的分类结果正确率达到最高，将此分界线作为识别所得的焊道边缘位置，如图5所示，白色的直线为焊道边缘位置。综上所述，本发明的基于彩色信息进行焊道识别的方法可以C++语言实现，也可以采用其他编程语言。本发明的实施例在CPU主频为2. 4GHz、内存为2G的PC机环境中运行测试，每帧焊道图像的处理时间为r5ms，采用本发明的方法对焊道边界的识别精度达到焊接跟踪要求，完全满足生产实际所需的实时性要求。上述实施例仅用于说明本发明，其中训练数据的获取方式、色彩空间类型、SVM类型、超平面优化方法、ROI尺寸与位置、根据分类结果确定焊道边界的方式等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。
权利要求
1.一种基于彩色信息进行焊道识别的方法，包括以下步骤 1)获取训练图像，并采集训练数据进行支持向量机训练，得到分类超平面； 2)读取经彩色工业摄像机连续拍摄的一系列待识别的焊道图像； 3)根据先验信息在焊道图像上设定一个以上的ROI，使得设定的ROI能够覆盖焊道边缘可能出现的区域； 4)在焊道图像的每一ROI内分别提取并保存每一像素的色彩信息向量，并将每一像素的色彩信息向量定义为测试数据； 5)根据步骤I)中支持向量机训练所得的分类超平面对每一ROI范围内的测试数据进行分类，明确测试数据是属于焊道像素或母材像素，并对分类结果进行标记； 6)依次对每一帧焊道图像重复步骤3) 5)完成分类； 7)根据所有待识别的焊道图像的每一ROI内的分类结果，确定焊道边缘。
2.如权利要求1所述的一种基于彩色信息进行焊道识别的方法，其特征在于所述步骤I)获取训练图像，并采集训练数据进行支持向量机训练，得到分类超平面，包括以下步骤 ①采用彩色工业摄像机，在待焊或待检测的焊道起始点拍摄一张焊道样本图像，拍摄得到的焊道样本图像包括焊道区域、焊道边缘区域以及靠近焊道的一部分母材区域； ②将拍摄得到的焊道样本图像作为训练图像，在训练图像中选定样本焊道区和样本母材区； ③在样本焊道区和样本母材区分别采用随机生成采样点像素坐标的方式生成像素采样点，且样本焊道区和样本母材区分别选取若干个像素作为采样点，提取样本焊道区和样本母材区中的每一采样点的色彩信息向量，将其作为训练数据进行保存，并按类别分别标记为“焊道像素”或“母材像素”； ④利用训练数据进行支持向量机的训练，得到样本焊道区的色彩信息向量与样本母材区的色彩信息向量的分类超平面。
3.如权利要求2所述的一种基于彩色信息进行焊道识别的方法，其特征在于所述样本焊道区包括尽可能大的焊道区域，样本母材区尽可能选择靠近焊道边缘的母材区域。
4.如权利要求1或2或3所述的一种基于彩色信息进行焊道识别的方法，其特征在于所述焊道图像中包括焊道区域、焊道边缘区域以及靠近焊道的一部分母材区域。
5.如权利要求1或2或3所述的一种基于彩色信息进行焊道识别的方法，其特征在于所述色彩信息向量采用RGB分量、HSV分量或YCbCr分量中的一种。
6.如权利要求4所述的一种基于彩色信息进行焊道识别的方法，其特征在于所述色彩信息向量采用RGB分量、HSV分量或YCbCr分量中的一种。
7.如权利要求1或2或3或6所述的一种基于彩色信息进行焊道识别的方法，其特征在于所述步骤7)中确定焊道边缘的方法是通过寻找到一条最优的分界线，使得分界线两侧的分类结果正确率达到最高，将此分界线作为识别所得的焊道边缘位置。
8.如权利要求4所述的一种基于彩色信息进行焊道识别的方法，其特征在于所述步骤7)中确定焊道边缘的方法是通过寻找到一条最优的分界线，使得分界线两侧的分类结果正确率达到最高，将此分界线作为识别所得的焊道边缘位置。
9.如权利要求5所述的一种基于彩色信息进行焊道识别的方法，其特征在于所述步骤7)中确定焊道边缘的方法是通过寻找到一条最优的分界线，使得分界线两侧的分类结果正确率 达到最高，将此分界线作为识别所得的焊道边缘位置。
全文摘要
本发明涉及一种基于彩色信息进行焊道识别的方法，包括以下步骤获取训练图像，并采集训练数据进行支持向量机训练，得到分类超平面；读取连续拍摄的一系列待识别的焊道图像；根据先验信息在焊道图像上设定一个以上的ROI；在焊道图像的每一ROI内分别提取并保存每一像素的色彩信息向量，并将每一像素的色彩信息向量定义为测试数据；根据步骤分类超平面对每一ROI范围内的测试数据进行分类，明确测试数据是属于焊道像素或母材像素，并对分类结果进行标记；依次对每一帧焊道图像完成分类；根据所有待识别的焊道图像的每一ROI内的分类结果，确定焊道边缘。本发明可以广泛应用于焊接机器人或其它自动化设备的坡口检测、焊缝跟踪、焊后无损检测跟踪、焊缝成型质量检测及物体表面检测等技术对焊道的自动识别过程中。
文档编号G06K9/62GK103020638SQ20121048735
公开日2013年4月3日 申请日期2012年11月26日 优先权日2012年11月26日
发明者都东, 邹怡蓉, 王力, 曾锦乐, 潘际銮 申请人:清华大学