基于视觉体积检测的点胶阀自动控制方法及系统

本发明涉及计算机视觉，具体公开了一种基于视觉体积检测的点胶阀自动控制方法及系统。

背景技术：

1、点胶阀作为电子制造、医疗器械和光电器件等领域的重要设备，其精度和效率至关重要。

2、在微电子封装领域，由于电路集成度不断提高，点胶操作需要在小空间、高密度的元器件排布下进行，这就要求出胶量必须既小又精确。同时，在受限的作业空间或有干扰的环境下，也需要能迅速而精准地完成预设的三维点胶作业。此外，在各种生产环境中，点胶操作需要能实现各种预期复杂图案的精确作业。在所有这些条件下，我们都需要保证多次点胶过程中的点胶效果高一致性，对控制技术的要求越来越严格。

3、然而，传统的点胶技术依赖于人工或半自动操作，常见的问题包括操作员注意力分散、视觉疲劳，以及由于控制精度不足造成的工业材料浪费和生产成本增加等等，这不仅提高了成本和时间消耗，也影响了产品质量和生产效率。

4、因此，现代点胶技术迫切地需求一种能够向微量化、立体化、高精度和高一致性迭代的改进方案。

技术实现思路

1、本发明旨在提供一种基于视觉体积检测的点胶阀自动控制方法，用于提高点胶技术的鲁棒性、降低生产厂家的制造成本。

2、为了实现上述目的，本发明采用了如下技术方案。

3、基于视觉体积检测的点胶阀自动控制方法，包括如下步骤：

4、s1-伺服驱动点胶阀喷射胶体，对目标进行点胶；

5、s2-通过双目相机对步骤s1中目标上点胶的胶体进行高清拍摄，生成胶体图像；

6、s3-对步骤s2生成的胶体图像进行计算处理，获取胶体体积；

7、s4-将步骤s3获取的胶体体积与期望值进行对比，获取目标上点胶的胶体到达期望值所需的余量；

8、s5-余量大于预设容差时循环至步骤s1，否则关闭点胶阀。

9、进一步的，步骤s2首次运行前，对拍摄时使用的双目相机进行标定，以确定双目相机的世界坐标系到图像在计算机上的坐标系之间的投影关系，该关系通过以下公式描述；

10、内参矩阵a，用于描述相机的内部参数，其形式为

11、

12、其中，fx,、fy分别是沿x轴和y轴的焦距，u0、v0是成像中心的像素坐标；

13、外参矩阵m，用于描述双目相机的运动关系，包括旋转矩阵r和平移矩阵t，其形式为：

14、m＝[r t]

15、r＝rz·ry·rx

16、

17、其中，r是右相机相对左相机的旋转矩阵，由绕x、y、z轴的旋转角度rx，ry，rz组成；t是右相机相对左相机的平移矩阵，由在x、y、z轴上的平移量tx，ty，tz组成；

18、世界坐标系到像素坐标系的映射：通过结合内参矩阵和外参矩阵，可以将世界坐标系中的点(xw,yw,zw)映射到像素坐标系中的点(u,v)，其中世界坐标系中的点(xw,yw,zw)即为目标在真实世界中的位置坐标，映射关系为：

19、

20、进一步的，步骤s3包括如下步骤：

21、s31-图像预处理；

22、包括畸变修正、立体匹配、噪声去除、计算梯度幅值和方向、非极大值抑制的上下文增强、双阈值检测、边缘跟踪的融合策略、边缘跟踪与连接、边缘一致性处理；

23、s32-三维重构；

24、包括双目边缘图像匹配、计算视差、计算深度、计算三维坐标、生成点云、生成模型、体积计算。

25、进一步的，畸变修正包括径向畸变修正、切向畸变修正；

26、径向畸变修正公式如下：

27、xcorrected＝x·(1+k1r2+k2r4+k3r6)

28、ycorrected＝y·(1+k1r2+k2r4+k3r6)

29、切向畸变修正公式如下：

30、xcorrected＝x+[2p1xy+p2(r2+2x2)]

31、ycorrected＝y+[p1(r2+2y2)+2p2xy]

32、k1、k2、k3：摄像头的切向畸变系数；

33、p1、p2：摄像头的径向畸变系数；

34、摄像机外参反映的是摄像机坐标系和世界坐标系之间的旋转r和平移t关系。若两个相机的内参均已知，并且知道各自与世界坐标系之间的r1、t1和r2，t2，就可以算出这两个相机之间的r和t，也就找到了从一个相机坐标系到另一个相机坐标系之间的位置转换关系。相对旋转r和相对平移t的公式如下：

35、r＝r2·r1t

36、t＝-r·t1+t2

37、径向和切向畸变修正用于校正每个相机捕获的图像中的畸变，相对旋转r和相对平移t在这个过程中的作用是建立两个相机之间的几何关系。

38、进一步的，噪声去除的方式具体是使用高斯滤波器滤波的方法平滑图像；

39、一维高斯滤波器公式为：

40、

41、其中x-x0表示距离中心点的距离，σ是标准差，控制着高斯函数的宽度；

42、并且根据高斯函数的可分离性得出g(x,y)＝g(x)·g(y)；

43、二维高斯滤波器公式为：

44、

45、其中，σ是标准差，x和y是像素距离滤波器中心的距离。

46、进一步的，计算梯度幅值和方向的方式具体是通过计算图像的梯度来找到可能的边缘，使用sobel算子卷积核来实现；

47、以下为sobel算子的水平和垂直分量

48、

49、

50、gx和gy是图像在x方向和y方向的梯度，给定两个摄像头的梯度结果g1x，g1y和g2x，g2y，以及权重ω1和ω2(其中ω1+ω2＝1)，融合后的水平梯度gfx以及垂直梯度gfy可以表示为：

51、gfx＝ω1×g1x+ω2×g2x

52、gfy＝ω1×g1y+ω2×g2y

53、根据sobel算子的x分量和y分量，通过以下公式计算梯度的幅值g和方向θ：

54、

55、θ＝atan2(gfy，gfx)。

56、进一步的，非极大值抑制的上下文增强的方式具体是将每个像素的梯度幅值与其邻域内沿着梯度方向的两个像素进行比较，如果该像素的梯度幅值不是其邻域内最大的，则将该像素的梯度幅值设为0；上下文增强则通过考虑双目图像的深度信息来实现，若一个像素在一个视图中是边缘，但在另一个视图中非边缘，但两个视图的深度信息相似，则可以增强这个像素的边缘属性；

57、在非极大值抑制过程中，对于图像中的每个像素点(x,y)，首先计算其梯度幅值gf(x,y)，随后比较该像素点在其梯度方向上的邻域像素的梯度幅值；如果gf(x,y)是该邻域内沿梯度方向的最大值，则保留gf(x,y)；否则，将其设为0；可以表示为以下公式：

58、

59、gnms(x,y)是经过非极大值抑制处理后的梯度幅值，(x,y)是像素点的原始梯度幅值。“neighboring pixels in the gradient direction”表示在像素的梯度方向上的相邻像素的梯度幅值。

60、进一步的，双阈值检测的方式具体是设置高阈值和低阈值，高于高阈值的梯度被认为是真实的边缘，低于低阈值的梯度被认为是非边缘，而介于两者之间的被认为是潜在的边缘。

61、进一步的，边缘跟踪的融合策略是通过抑制非边缘来完成边缘检测，具体是通过检查所有潜在的边缘像素是否至少与一个真实的边缘像素相连来实现的；若至少与一个真实的边缘像素相连来实现的，则该像素被认为是边缘像素，否则，它将被抑制；若一个像素在双目相机的左、右视图之一是强边缘但在另一个中是弱边缘，但两个视图的深度信息相似，则增强这个像素的边缘属性；

62、

63、进一步的，边缘跟踪与连接的具体方式为：像素在双阈值检测后分为高于高阈值的强边缘像素、介于高阈值和低阈值之间的弱边缘像素、低于低阈值的非边缘像素；若一个弱边缘像素与至少一个强边缘像素相邻，则该弱边缘像素为真实边缘，应该被保留；否则，该弱边缘像素将被抑制，即设为非边缘，最终从双目相机的左、右视图得到两张进行边缘处理的双目图像。

64、进一步的，边缘一致性处理的方式是识别并对齐两个视图中的相同边缘，通过将双目图像的边缘图进行比较，找出在两个视图中都被检测到的边缘，在比较边缘后进行一致性检查，以确保识别的边缘在所有视图中都是一致的；比较识别的边缘与原始边缘图的差异，如果差异小于预定的阈值，则该边缘就可以被认为是一致的。

65、进一步的，双目边缘图像匹配是在双目图像的边缘检测图像中找到对应的特征点进行匹配，便于将两个边缘检测图像相融合，增强左右边缘检测图像的一致性。

66、进一步的，计算视差的方式是通过匹配点的水平坐标差来计算，实际目标上的一个点在左图像和右图像上的两个点位置之间的距离，即为x和x'之间的差异就是视差d；

67、视差计算公式如下所示：

68、d＝x-x′

69、进一步的，度信息用于从二维图像重建三维场景，计算深度的方式是以视差和深度为反比，根据相机的焦距f和两个相机之间的基线b，b即双目摄像头左右目之间的距离，利用视差d恢复深度z；

70、深度公式如下所示：

71、

72、进一步的，计算三维坐标的方式利用视差信息，结合摄像机的内外参数和立体几何原理计算出每个像素点对应的三维坐标；通过三角测量的方法实现，在进行三角测量时，根据摄像机的焦距f、深度z，利用三角测量的公式计算出三维坐标；

73、三角测量公式如下所示：

74、

75、

76、其中，三维空间中沿着(x0,y0)是图像的主点坐标，该点为图像中心；x点在三维空间中沿着x轴的坐标；x是点在二维图像平面上的x坐标；x-x0是点p相对于主点的归一化横坐标，将图像坐标转换为一个以摄像机光轴为中心的坐标系，即将图像坐标从以图像左上角为原点的坐标系转换为以图像的主点为原点的坐标系；y点在三维空间中沿着y轴的坐标；y是点在二维图像平面上的y坐标；y-y0这是点p相对于主点的归一化纵坐标，将图像坐标转换为一个以摄像机光轴为中心的坐标系，即将图像坐标从以图像左上角为原点的坐标系转换为以图像的主点为原点的坐标系。

77、进一步的，生成点云的方式是将所有像素点的三维坐标汇总，形成一个三维点云。

78、进一步的，三维重构的方式是将点云数据转换为一个封闭的三维模型，通过delaunay三角剖分三维重构，生成一个由三角形组成的多边形网格模型。

79、进一步的，体积计算的方式是，根据多边形网格模型后，计算所有三角形单元的体积之和来得到整个模型的体积；对于每个三角形单元，将其看作一个四面体，底面为三角形，顶点为原点，其体积v可以通过以下公式计算：

80、

81、其中，a、b、c是三角形的三个顶点相对于原点的位置向量，dot是点积运算，cross是叉积运算，abs是取绝对值。

82、进一步的，步骤s1-s5按预设周期间歇循环。

83、基于上述的视觉体积检测的点胶阀自动控制方法，本发明还提供了一种基于视觉体积检测的点胶阀自动控制系统，包括点胶阀、控制与调节模块、伺服控制模块、图像采集模块、图像处理及三维重构模块；

84、图像采集模块中配置双目相机；

85、图像处理及三维重构模块用于对胶体图像进行计算处理；

86、控制与调节模块将胶体体积与期望值进行对比，获取目标上点胶的胶体到达期望值所需的余量，并向伺服控制模块输出控制指令；

87、伺服控制模块根据控制指令控制点胶阀启停。

88、与现有技术相比，本发明的有益效果在于：

89、利用视觉技术和伺服控制技术对目标胶体的体积进行测量，如果测量结果不满足预设条件，系统会根据视觉体积反馈在控制器中对出胶量进行参数优化调整，从而实现点胶阀系统的闭环反馈控制，不仅能提升生产的质量和效率，降低生产过程中的成本，也可以为相关专业的实践教学提供强大的工具和示例。

90、下面，结合说明书附图和具体实施方式对本发明做进一步的说明。