一种基于图像处理的PFA包胶飞杆卡座组装监测系统的制作方法

本发明涉及图像数据处理，具体涉及一种基于图像处理的pfa包胶飞杆卡座组装监测系统。

背景技术：

1、通常，通过机械臂将生产出的卡座放置在工作台或治具上固定位置，便于飞杆正确对齐，将pfa包胶飞杆通过卡座上的孔洞或导向槽定位到卡座上，再使用适当的工具或设备施加压力将pfa包胶飞杆与卡座连接在一起，实现pfa包胶飞杆和卡座的连接，然后，进行固化处理，完成pfa包胶飞杆卡座的组装。所以，在进行pfa包胶飞杆卡座的组装监测时，往往使用运动目标跟踪算法对机械臂的运动轨迹进行监测。

2、在使用运动目标跟踪算法对机械臂的运动轨迹进行监测时，目标区域的提取精度直接影响运动目标跟踪算法的精度，而pfa包胶飞杆卡座组装过程中的组装环境较为复杂，运动目标易出现遮挡现象，且不同运动对象的运动特征较为相似，目标跟踪算法的检测精度与效率较低，导致pfa包胶飞杆卡座组装监测效果不佳。

技术实现思路

1、本发明提供一种基于图像处理的pfa包胶飞杆卡座组装监测系统，以解决pfa包胶飞杆卡座组装监测过程中因目标遮挡导致的组装监测效果不佳的问题，所采用的技术方案具体如下：

2、本发明一个实施例提供了一种基于图像处理的pfa包胶飞杆卡座组装监测系统，该系统包括以下模块：

3、数据采集模块，采集pfa包胶飞杆卡座组装过程中的视频，进而获取组装灰度图像中的运动区域内每个像素点的运动速度与运动方向，获取模拟运动轨迹曲线；

4、运动特性符合度获取模块，根据运动区域内像素点的运动方向获取运动区域的运动方向一致性，获取运动区域内像素点的运动线段和速度渐变差异，获取运动区域的运动速度渐变性，确定运动特征区域，获取运动区域的运动特性符合度；

5、遮挡系数获取模块，获取运动区域的遮挡交点，获取遮挡交点的遮挡特征时刻，获取组装灰度图像的第三相关系数，进而获取组装灰度图像对应的遮挡系数，根据遮挡系数获取未被遮挡的机械臂对应的组装灰度图像；

6、机械臂区域提取模块，根据运动特征区域的运动特性符合度和组装灰度图像对应的遮挡系数获取未被遮挡的机械臂对应的组装灰度图像中的运动特征区域的感兴趣程度，根据感兴趣程度提取机械臂区域；

7、组装质量检测模块，根据提取的机械臂区域获取机械臂的运动轨迹曲线，根据机械臂的运动轨迹曲线与模拟运动轨迹曲线的比较结果判断pfa包胶飞杆卡座组装的质量。

8、进一步，所述根据运动区域内像素点的运动方向获取运动区域的运动方向一致性的方法为：

9、分别将所有组装灰度图像中每个运动区域内包含的每个像素点作为待分析像素点；

10、将运动区域内的像素点以从上到下、从左到右的顺序进行编号，获取运动区域内所有像素点的编号；

11、将比待分析像素点的编号大一个的像素点记为待分析像素点的相邻像素点；

12、将待分析像素点与待分析像素点的相邻像素点的运动方向的差值的绝对值记为待分析像素点的运动方向差值；

13、将运动区域内包含的所有像素点的运动方向差值的和记为运动区域的运动差值总和；

14、将为运动区域的运动差值总和的倒数记为运动区域的运动方向一致性。

15、进一步，所述获取运动区域内像素点的运动线段和速度渐变差异的方法为：

16、将以待分析像素点作为中心像素点、边长为第一预设阈值的窗口记为待分析像素点的第一窗口；

17、将待分析像素点的第一窗口内运动速度与待分析像素点的运动速度差异最大的像素点记为待分析像素点的第一像素点；

18、将以待分析像素点为端点，过待分析像素点的第一像素点的射线记为待分析像素点的运动方向射线，将运动方向射线与待分析像素点所在的运动区域的边缘的交点记为待分析像素点的边缘交点；

19、将以待分析像素点的边缘交点和待分析像素点为端点的线段记为待分析像素点的运动线段；

20、将待分析像素点的运动线段上两个相邻的像素点之间的运动速度的差值的绝对值记为这两个相邻的像素点的运动速度差异；

21、将待分析像素点的运动线段上所有相邻的像素点的运动速度差异的均值作为待分析像素点的速度渐变差异。

22、进一步，所述获取运动区域的运动速度渐变性，确定运动特征区域的方法为：

23、将待分析像素点的速度渐变差异与编号比待分析像素点大一个的像素点的速度渐变差异的差值的绝对值记为待分析像素点的速度渐变差异绝对值；

24、将待分析像素点的速度渐变差异绝对值与运动区域内所有像素点的速度渐变差异的均值的乘积记为待分析像素点的第一乘积；

25、将待分析像素点的第一乘积与第一极小正数的和的倒数记为待分析像素点的运动速度特征值；

26、将运动区域内包含的所有像素点的运动速度特征值的和记为运动区域的运动速度渐变性；

27、将运动速度渐变性大于等于第二预设阈值的运动区域记为运动特征区域。

28、进一步，所述获取运动区域的运动特性符合度的方法为：

29、将运动区域的运动方向一致性和运动速度渐变性的乘积的归一化值记为运动区域的运动特性符合度。

30、进一步，所述获取运动区域的遮挡交点，获取遮挡交点的遮挡特征时刻的方法为：

31、对所有组装灰度图像中所有运动区域分别使用灰度质心法提取运动区域的质心点；

32、将以运动区域的质心点为起点，运动方向为角度做的射线记为运动区域的质心方向射线；

33、当获取运动区域的质心方向射线与运动特征区域对应的质心方向射线存在交点时，将交点记为运动区域的遮挡交点；

34、获取运动区域的遮挡交点所在的质心方向射线，将质心方向射线的端点与质心方向射线上遮挡交点之间的欧氏距离记为质心方向射线的运动距离；

35、将质心方向射线的运动距离与质心方向射线上遮挡交点的运动速度之间的比值记为质心方向射线的运动时间；

36、将运动区域的遮挡交点所在的每两个质心方向射线的运动时间的差值的绝对值均记为遮挡交点的运动时间差异；

37、将遮挡交点的运动时间差异中的最小值对应的运动时间记为第一遮挡时间；

38、将遮挡交点的运动时间差异中的第二小值对应的运动时间记为第二遮挡时间；

39、将第一遮挡时间与第二遮挡时间的均值记为遮挡交点的遮挡特征时刻。

40、进一步，所述获取组装灰度图像的第三相关系数的方法为：

41、将每个组装灰度图像分别作为待分析组装灰度图像，将除待分析组装灰度图像之外的其他组装灰度图像记为比较组装灰度图像；

42、将待分析组装灰度图像中的每个运动特征区域分别作为待分析运动特征区域，将比较组装灰度图像中的每个运动特征区域分别作为比较运动特征区域；

43、将待分析运动特征区域与比较组装灰度图像中比较运动特征区域之间的相关系数的最大值记为比较运动特征区域的第一相关系数；

44、将所有比较运动特征区域的第一相关系数的平均值记为待分析运动特征区域的第二相关系数；

45、将所有第二相关系数的最小值记为待分析组装灰度图像的第三相关系数。

46、进一步，所述进而获取组装灰度图像对应的遮挡系数，根据遮挡系数获取未被遮挡的机械臂对应的组装灰度图像的方法为：

47、

48、式中，为组装灰度图像对应的遮挡系数；为组装灰度图像的第三相关系数；为组装灰度图像中包含的遮挡交点的数量；为第个遮挡交点的遮挡特征时刻；为组装灰度图像中所有运动特征区域的运动特性符合度的最小值；为第三预设阈值；为组装灰度图像的获取时间；为以自然常数为底的指数函数；

49、当组装灰度图像中不包含运动特征区域时，则将组装灰度图像对应的遮挡系数赋值为常数；

50、当组装灰度图像对应的遮挡系数的归一化值大于等于第四预设阈值时，认为组装灰度图像中的机械臂被遮挡；

51、当组装灰度图像对应的遮挡系数的归一化值小于第四预设阈值时，认为组装灰度图像中的机械臂未被遮挡。

52、进一步，所述根据运动特征区域的运动特性符合度和组装灰度图像对应的遮挡系数获取未被遮挡的机械臂对应的组装灰度图像中的运动特征区域的感兴趣程度，根据感兴趣程度提取机械臂区域的方法为：

53、获取未被遮挡的机械臂对应的组装灰度图像中的运动特征区域的感兴趣程度，其中，运动特征区域的感兴趣程度的获取方法为：

54、

55、式中，为运动特征区域的感兴趣程度；为运动特征区域的运动特性符合度；为运动特征区域所在的组装灰度图像对应的遮挡系数；为运动特征区域所在的组装灰度图像临近的第张组装灰度图像内、运动特征区域对应的运动特征区域的运动特性符合度；为第五预设阈值；为运动特征区域所在的组装灰度图像临近的第张组装灰度图像内、运动特征区域对应的运动特征区域与运动特征区域之间的相关系数；

56、将组装灰度图像中感兴趣程度最大的运动特征区域记为机械臂区域。

57、进一步，所述根据提取的机械臂区域获取机械臂的运动轨迹曲线，根据机械臂的运动轨迹曲线与模拟运动轨迹曲线的比较结果判断pfa包胶飞杆卡座组装的质量的方法为：

58、使用灰度质心法获取组装灰度图像中机械臂区域的质心点，将质心点作为运动点，将所有运动点按照运动点所在的组装灰度图像的获取时间进行排列，对排列好的运动点使用数据拟合算法获取机械臂的运动轨迹曲线；

59、使用曲线相似度算法获取机械臂的运动轨迹曲线与模拟运动轨迹曲线的相似度；

60、当相似度小于等于风险判断阈值时，认为pfa包胶飞杆卡座组装质量未达标；

61、当相似度大于风险判断阈值时，认为pfa包胶飞杆卡座组装质量达标。

62、本发明的有益效果是：

63、本发明采集pfa包胶飞杆卡座组装过程的视频图像，通过仿真软件获取模拟运动轨迹曲线，通过图像分割算法以及光流法自适应获取视频图像中的运动区域，结合机械臂本身的运动特性完成运动特性符合度指标的构建；然后，基于组装过程中机械臂，卡座，包胶飞杆的运动状况以及关联性构建图像的遮挡系数，完成遮挡状况的判断，进而基于遮挡系数，图像间的相关系数对组装灰度图像中的机械臂出现被遮挡的可能性进行判断，获取精确的运动区域；进而获取运动区域的感兴趣程度，完成机械臂区域的自适应检测提取，根据提取的机械臂区域获取机械臂区域的运动轨迹曲线，根据机械臂的运动轨迹曲线与模拟运动轨迹曲线的比较结果判断pfa包胶飞杆卡座组装的质量，提高目标跟踪算法中目标区域的提取精度，解决pfa包胶飞杆卡座组装监测过程中因目标遮挡导致的组装监测效果不佳的问题，提高pfa包胶飞杆卡座组装的监测效率与精度。