一种基于机器视觉的汽车零部件装配检测系统及方法与流程

本发明属于自动化生产，具体涉及一种基于机器视觉的汽车零部件装配检测系统及方法。

背景技术：

1、汽车零部件作为汽车工业的基础，是支撑汽车工业持续健康发展的必要因素，特别是当前汽车行业正朝着自主研发与创新的方向发展，更需要有一个强大的零部件体系作支撑，而随着汽车加工的速度越来越快，往往涉及到各种各样的设备检验、尺寸测量和零件识别等，其中针对需要精密加工的汽车零部件，在汽车零部件的生产流水线通常需要对不同生产批次的汽车零部件进行抽样检查，判断汽车零部件生产是否合格。

2、而在实际使用时，当需要对较大的汽车零件进行视觉检查时，由于汽车零件的重量较重，不便于放入到视觉检测装置的内部，同时不便于对汽车零件与自视觉检测设备贴合的位置进行检测。

技术实现思路

1、本发明的目的在于提供一种基于机器视觉的汽车零部件装配检测系统及方法，以解决背景技术中的问题。

2、本发明的目的可以通过以下技术方案实现：

3、一种基于机器视觉的汽车零部件装配检测方法，包括以下步骤：

4、机械手根据目标检测零部件的三维空间图判定抓取点位，根据抓取点位抓取目标检测零部件；

5、抓取目标检测零部件后，根据坐标将目标检测零部件移动至视觉检测区域；

6、应用工业相机对目标检测零部件进行拍照，根据拍照图像进行图像检测，分段采集目标检测零部件的图像，采用深度学习语义分割对采集到的图像进行语义分割，确定分段后具有缺陷的区域图像；

7、发送检测结果，若检测结果为不合格则发出报警信号。

8、进一步的，根据目标检测零部件的三维空间图判定抓取点位具体包括生成目标检测零部件的旋转变换矩阵f0,f0(α，β，γ)，其中α为在三维虚拟坐标中，目标检测零部件以x轴为轴线旋转的角度，β为在三维虚拟坐标中，目标检测零部件以y轴为轴线旋转的角度，γ为在三维虚拟坐标中，目标检测零部件以z轴为轴线旋转的角度。

9、进一步的，所述抓取点位包括第一抓取点位、第二抓取点位…第n抓取点位，不同的抓取点位各方面可旋转角度不同，所述第一抓取点位的旋转区间集合为(α11-α12，β11-β12，γ11-γ12)，所述第二抓取点位的旋转区间集合为(α21-α22，β21-β22，γ21-γ22)，…，第n抓取点位的旋转区间集合为(αn1-αn2，βn1-βn2，γn1-γn2)，n为整数，α11-α12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以x轴为轴线旋转时的角度范围；β11-β12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以y轴为轴线旋转时的角度范围；γ11-γ12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以z轴为轴线旋转时的角度范围；第二抓取点位的旋转区间至第n抓取点位的旋转区间表示含义同理于第一抓取点位的旋转区间。

10、进一步的，抓取点位的确定具体包括如下步骤：

11、将目标检测零部件旋转变换矩阵f0内的元素值与第一抓取点位的旋转区间集合、第二抓取点位的旋转区间集合、…、第n抓取点位的旋转集合内的角度范围分别进行比对，选取实际抓取点；

12、当有且仅有一个抓取点满足目标检测零部件的旋转变换矩阵f0的旋转要求时，则判定该抓取点为实际抓取点位；

13、当存在布置一个抓取点位满足目标检测零部件旋转变f0的旋转要求时，对满足条件的抓取点进行比对选取。

14、进一步的，采用深度学习语义分割对采集到的图像进行语义分割，具体包括以下步骤：

15、利用训练后的分割模型将检测区域分割为目标区域和非目标区域；所述分割模型为深度学习语义分割模型；

16、根据目标检测零部件的待检测面分割类别数，裁剪出目标区域中的目标区域图像，去除非目标区域图像；

17、将目标检测零部件外观检测区域的图像输入分割模型中，得到多类别语义掩膜图；

18、根据所述多类别语义掩膜图，从所述目标检测零部件外观检测区域的图像中裁剪得到所述目标区域图像。

19、进一步的，所述分割模型的类别数为目标检测零部件待检测面的数量，模型采用fcn系列模型。

20、进一步的，所述机械手通过plc控制系统进行数据采集和控制操作。

21、进一步的，所述plc控制系统还包括pid控制器。

22、进一步的，所述plc控制系统控制机械手抓取目标检测零部件，所述plc控制系统对目标检测零部件进行数据采集，通过采集到的数据进行处理从而控制机械手确定抓取点位。

23、一种基于机器视觉的汽车零部件装配检测系统，执行前述的一种基于机器视觉的汽车零部件装配检测方法，包括图像采集单元、预处理单元、区域定位单元、特征提取单元、分析单元和输出控制单元，其中：

24、图像采集单元，用于采集目标检测零部件的图像信号；

25、预处理单元，用于对所采集的被检测对象的图像进行预处理操作，提高图像的质量；

26、区域定位单元，用于对所采集的目标检测零部件的图像进行分析，分割定位出容易出现质量问题的敏感图像区域；

27、特征提取单元，用于提取出具有缺陷特征的敏感图像区域的特征，所述特征提取单元利用深度学习语义分割法来提取出容易出现质量问题的敏感图像区域的特征，其中敏感图像区域的标准特征由用户根据合格产品的敏感图像区域的特征进行预先设定；

28、分析单元，用于将所提取的敏感图像区域的缺陷特征与敏感图像区域的标准特征进行比较，根据两者的相似度是否达到预定值，来判断出被检测对象是否合格；

29、输出控制单元，用于将判断结果输出给控制平台，筛选出不合格的产品。

30、本发明的有益效果：

31、本发明公开的一种基于机器视觉的汽车零部件装配检测系统及方法，通过plc控制系统控制机械手精准抓取目标检测零部件至视觉检测区域，视觉检测区域内通过对目标检测零部件进行图像采集，再对图像进行分割，从而有目标地对有缺陷的区域图像进行分析，对图像进行分割后再进行分析还可以精准地确定有缺陷区域，方便操作人员快速发现有缺陷的零部件，从而对故障零部件进行处理。

技术特征：

1.一种基于机器视觉的汽车零部件装配检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，根据目标检测零部件的三维空间图判定抓取点位具体包括生成目标检测零部件的旋转变换矩阵f0,f0(α，β，γ)，其中α为在三维虚拟坐标中，目标检测零部件以x轴为轴线旋转的角度，β为在三维虚拟坐标中，目标检测零部件以y轴为轴线旋转的角度，γ为在三维虚拟坐标中，目标检测零部件以z轴为轴线旋转的角度。

3.根据权利要求2所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，所述抓取点位包括第一抓取点位、第二抓取点位…第n抓取点位，不同的抓取点位各方面可旋转角度不同，所述第一抓取点位的旋转区间集合为(α11-α12，β11-β12，γ11-γ12)，所述第二抓取点位的旋转区间集合为(α21-α22，β21-β22，γ21-γ22)，…，第n抓取点位的旋转区间集合为(αn1-αn2，βn1-βn2，γn1-γn2)，n为整数，α11-α12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以x轴为轴线旋转时的角度范围；β11-β12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以y轴为轴线旋转时的角度范围；γ11-γ12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以z轴为轴线旋转时的角度范围；第二抓取点位的旋转区间至第n抓取点位的旋转区间表示含义同理于第一抓取点位的旋转区间。

4.根据权利要求3所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，抓取点位的确定具体包括如下步骤：

5.根据权利要求1所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，采用深度学习语义分割对采集到的图像进行语义分割，具体包括以下步骤：

6.根据权利要求5所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，所述分割模型的类别数为目标检测零部件待检测面的数量，模型采用fcn系列模型。

7.根据权利要求1所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，所述机械手通过plc控制系统进行数据采集和控制操作。

8.根据权利要求7所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，所述plc控制系统还包括pid控制器。

9.根据权利要求8所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，所述plc控制系统控制机械手抓取目标检测零部件，所述plc控制系统对目标检测零部件进行数据采集，通过采集到的数据进行处理从而控制机械手确定抓取点位。

10.一种基于机器视觉的汽车零部件装配检测系统，其特征在于，执行权利要求1至9任一项所述的一种基于机器视觉的汽车零部件装配检测方法，包括图像采集单元、预处理单元、区域定位单元、特征提取单元、分析单元和输出控制单元，其中：

技术总结
本发明公开了一种基于机器视觉的汽车零部件装配检测系统及方法，属于自动化生产技术领域，包括以下步骤:机械手根据目标检测零部件的三维空间图判定抓取点位，根据抓取点位抓取目标检测零部件；抓取目标检测零部件后，根据坐标将目标检测零部件移动至视觉检测区域；应用工业相机对目标检测零部件进行拍照，根据拍照图像进行图像检测；发送检测结果，若检测结果为不合格则发出报警信号,通过PLC控制系统控制机械手精准抓取目标检测零部件至视觉检测区域，视觉检测区域内通过对目标检测零部件进行图像采集，再对图像进行分割，从而有目标地对有缺陷的区域图像进行分析，解决了汽车零部件视觉检测难的技术问题。

技术研发人员：何庆
受保护的技术使用者：广州市阳普机电工程有限公司
技术研发日：
技术公布日：2024/1/13