一种基于可移动摄像头的多工序工件质量检测方法及装置

本发明属于工业自动化领域，具体的说是一种基于可移动摄像头的多工序工件质量检测方法及装置，应用于工业上加工工件过程中不同工序下的实时质量检测。

背景技术：

工件质量检测是目前工业自动化领域的一个重要方向。它能通过检测生产加工后的工件质量，来对整个加工设备，工艺做出重要的评判。因此，实时检测工件质量对于实时了解当前设备的加工质量，有着重要的作用。同时，通过实时检测工件质量，可以及时地了解当前加工设备和工艺的质量，并及时地改善当前加工设备和工艺中存在的不足，从而提高工件质量。

因此，如何在多工序下的加工过程中实时检测工件质量，是非常重要的问题。

工件质量检测在目前工业自动化领域有多种方法。针对不同的工件加工过程，有许多不同的质量检测方法。本发明涉及的抓取、磨削、焊接过程，工业上常用的方法主要包括基于机械检测设备的方法和基于机器视觉的方法。基于机械检测设备的方法缺点是检测准确度不够，检测效率低，且只适合部分加工过程。基于机器视觉的方法可以检测多种加工过程且实时性较好，缺点是单个摄像头的方法一般是固定在某个位置，当涉及到多个加工工序时，需要在每个工序完成后，将工件放至指定位置，导致检测灵活性较差；多个单目摄像头的方法需要在加工流程中的多个位置安装摄像头，这种安装方式对于设备的空间要求较高，会压缩设备加工空间，特别是焊接这种对于加工空间要求较高的加工过程，甚至会导致新的碰撞问题。

技术实现要素：

根据上述提出的技术问题，提出一种基于可移动摄像头的多工序工件质量检测方法及装置，用于解决现有的工件质量检测方法中采用机械检测设备计算不准确实时性较差的缺点，同时也克服了采用单个摄像头灵活性较差的缺点，并且解决了现有多个单目摄像头在质量检测中压缩设备加工空间的问题。本发明采用的技术手段如下：

一种基于可移动摄像头的多工序工件质量检测装置，包括：

质量检测控制模块、可移动图像采集模块和工件质量分析模块；质量检测控制模块根据当前工序流程，控制可移动摄像头支架运动到预设工序位置，同时控制摄像头的采集；可移动图像采集模块包括用于固定摄像头的可移动摄像头支架，并通过调整摄像头的位置和姿态实时采集各个工序下的工件图像；工件质量分析模块处理图像数据获取实时质量检测结果。

所述质量检测控制模块包括支架运动控制电路和采集控制电路，支架运动控制电路用于可移动摄像头支架的运动控制与姿态调整；采集控制电路用于控制摄像头采集图像。

所述可移动摄像头支架包括基座和设在其上的机械臂，基座底部设有全向轮，基座内设有伺服电机和光学编码器用于驱动全向轮运动，摄像头安装于机械臂末端。

所述工件质量分析模块包括工序识别单元和质量检测单元，通过工序识别单元识别出当前图像所在工序，结合质量检测单元中相应工序对应的检测子单元，进一步处理图像数据获取当前工序下的实时质量检测结果。

所述工序包括抓取、磨削、焊接三个工序。

基于可移动摄像头的多工序工件质量检测方法，包括以下步骤：

质量检测控制模块结合当前工序信息，控制可移动摄像头支架从初始安全位置运动至相应工序对应的检测位置，同时调整摄像头姿态至预设姿态；

可移动图像采集模块接收到采集控制信号后，在当前位置进行工件的图像采集，并将采集到的图像传输至工件质量分析模块；

采集完成后，需要同时通过质量检测控制模块控制可移动摄像头支架运动至指定的安全位置，保证下一工序的加工空间不受该支架和摄像头的影响；

工件质量分析模块结合可移动图像采集模块输出的图像数据，进行工序识别和质量检测，并输出当前工序的质量检测结果；

重复以上步骤直至完成所有工序下的工件质量检测。

所述工序识别的步骤包括：

通过灰度变换、中值滤波、边缘检测对图像进行处理，提取出图像中的工件边缘，结合边缘信息并与预先获取的各工序模板图像进行匹配，识别出图像的工序类别。

所述质量检测按照工序分为如下三种：

抓取工序质量检测包括：计算图像中识别出的工件真实边框与预先设定的模板边框之间iou的值并与阈值进行比较得到质量检测结果，所述iou的值为目标检测中的两个图像交集与并集的比值；

磨削工序质量检测包括：计算图像中的工件的面积，并结合标定好的相机参数计算出工件的真实投影面积，并判断其是否在预设阈值区间内，得到质量检测结果；

焊接工序质量检测包括：计算图像中的工件与焊接件之间的焊缝面积，并结合标定好的相机参数计算出焊缝的真实投影面积，并判断其是否在预设阈值区间内，得到质量检测结果。

本发明的有益效果是：

1.本发明建立了工件加工过程中不同工序即抓取、磨削、焊接工序下的工件质量检测，可以灵活根据加工设备的位置，加工过程的空间需求，进行相应的可移动摄像头的运动路径、采集位置和采集时间的设计，具有较强的灵活性和适应性。

2.本发明所述的一种基于可移动摄像头的多工序工件质量检测方法及装置，通过质量检测控制模块、可移动图像采集模块和工件质量分析模块，构建起了一套基于可移动的机器视觉系统的多工序工件质量检测方法及装置，能够实时检测加工工件在经历不同加工工序后工件的实时质量，当检测到工件在某一工序后的加工质量不合格，会输出对应的状态信息，及时检查出该加工工序可能存在质量问题，从而避免更大的经济损失。

附图说明

图1为本发明多工序工件质量检测装置的整体示意图；

图2为本发明可移动摄像头支架的结构示意图；

图3为本发明不同工序后摄像头的姿态示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

一种基于可移动摄像头的多工序工件质量检测装置，如图1所示，包括：质量检测控制模块、可移动图像采集模块和工件质量分析模块。质量检测控制模块根据当前工序流程，控制可移动摄像头支架的运动，同时控制摄像头的采集；可移动图像采集模块包括用于固定摄像头的可移动摄像头支架，并通过调整摄像头的位置和姿态实时采集各个工序下的工件图像；工件质量分析模块处理图像数据获取实时质量检测结果。该装置可以实时输出某一加工工序后的工件质量。

质量检测控制模块中支架运动控制电路按照工件抓取、磨削、焊接不同的加工工序，用于摄像头支架的运动控制和姿态调整。当工件即将完成某一加工工序时，需要将摄像头移动至指定位置，并通过调整支架基座上的机械臂的姿态来调整摄像头的姿态，使其能够达到预先设定好的姿态，以保证采集到的图像能够按照预先标定好的内外参数进行处理；当工件完成该加工工序时，采集控制电路将会控制摄像头进行图像采集，实时获取当前工件的状态信息。

可移动图像采集模块包含可移动摄像头支架和单目摄像头。可移动摄像头支架如图2所示，用于摄像头的位置调整和姿态调整。如图2所示，支架底部基座的内部图中，摄像头的位置通过可移动摄像头基座底部的四个全向轮的运动来实现调整，其中每个全向轮是由底部对应的伺服电机和光学编码器构成的控制回路进行运动控制，控制摄像头运动到相应工序完成后进行图像采集的指定位置；摄像头的姿态通过基座上的机械臂来实现调整，其中机械臂也是通过相应的伺服电机和光学编码器构成的控制回路进行姿态控制。如图2所示，机械臂示意图中的三个关节处分别通过相应的伺服电机和光学编码器实现关节的旋转控制，旋转方向如图所示，通过三个方向的旋转实现摄像头的姿态调整。不同工序下的摄像头姿态如图3所示。抓取工序完成后，需要将工件抓取至某一固定位置，以方便进行下一步的打磨；磨削工序完成后，摄像头的姿态没有发生变化；焊接工序完成后，摄像头需要调整姿态。此时通过调整机械臂的姿态，带动摄像头进行姿态变化，直至到达指定的姿态。

工件质量分析模块包括工序识别单元和质量检测单元两部分。工件质量分析模块接收来自可移动图像采集模块的图像数据。通过工序识别单元识别出当前图像所在工序，即进行抓取、磨削、焊接三个工序的图像分类处理。三个工序完成后分别对应的图像示意图如图3所示。

抓取工序完成后，图像中的工件位置将会位于一定的范围内；磨削工序完成后，工件尺寸会减小，相应的图像中的工件面积也会减小；焊接工序完成后，由于工件与焊接件连接在了一起，图像中的工件将会发生形状的变化。工序识别单元通过灰度变换、中值滤波、边缘检测的步骤对图像进行处理，提取出图像中的工件边缘，结合边缘信息并与预先获取的各工序模板图像进行匹配，识别出图像的工序类别。

根据分类处理结果，结合质量检测单元中相应分类对应的检测子单元，进一步处理图像数据，获取当前工序下的实时质量检测结果。抓取工序完成后，计算图像中识别出的工件真实边框与预先设定的模板边框之间iou的值，即目标检测中的两个图像交集与并集的比值。当iou超过设定的阈值时，抓取工序合格；否则不合格。磨削工序完成后，计算工件在图像中的工件面积，并结合标定好的相机参数计算出工件的真实投影面积，结合预先设定好的真实投影面积区间，如果图像中识别出的工件对应的真实投影面积在设定好的区间内，则磨削工序合格；否则不合格。焊接工序完成后，需要检查工件与焊接件间焊接部分的焊缝大小是否合适，因此只需在对应的图像中提取出焊缝边缘，并计算相应面积是否在设定区间内，如果焊缝面积在设定区间内，则焊接工序合格；否则不合格。

多工序工件质量检测装置进行工件质量检测时，具体步骤如下：

s1规划可移动图像采集模块中的可移动摄像头支架在整个加工过程中的运动路径，包括运动过程中的路径和采集图像前后的多个固定位置；

s2完成抓取工序；

s3质量检测控制模块控制可移动摄像头支架从当前位置移动至指定的图像采集位置，并通过可移动图像采集模块进行图像采集，获取当前的工件图像。采集完成后，质量检测控制模块控制可移动摄像头支架从当前图像采集位置移动至另一设计好的安全位置，该位置需要保证下一工序的加工空间不受干扰；同时将获取的工件图像传输至工件质量分析模块进行工件质量分析，获得当前工序下的工件质量。

s4完成磨削工序，并重复s3中的操作，相应的路径和位置需要按照s1中的规划进行调整；

s5完成焊接工序，并重复s3中的操作，相应的路径和位置需要按照s1中的规划进行调整。

步骤s3中，进行工件质量分析时，首先通过工序识别单元识别出当前图像所在工序，即进行抓取、磨削、焊接三个工序的图像分类处理；根据分类处理结果，结合质量检测单元中相应分类对应的检测子单元，进一步处理图像数据，获取当前工序下的实时质量检测结果。质量检测单元进行质量检测的过程中，需要结合预先标定好的摄像头在不同位置时的内外参数和图像尺度进行数据处理。

本发明所述的一种基于可移动摄像头的多工序工件质量检测方法及装置，通过质量检测控制模块、可移动图像采集模块和工件质量分析模块，构建起了一套基于机器视觉的多工序实时工件质量检测系统，能够实时检测加工工件在经历不同加工工序后工件的实时质量。并且不影响加工过程中加工设备的工作空间，避免了潜在的碰撞问题。通过实时检测多工序下的工件质量，能够及时发现加工工序中存在的问题，避免更大的经济损失。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。