一种基于单目的高速锻锤跟踪方法及装置与流程

本发明涉及视觉动态测量，尤其涉及一种基于单目的高速锻锤跟踪方法及装置。

背景技术：

1、单目视觉测量是指利用单个成像平面或相机进行视觉测量和定位的技术和方法。通过对单目图像的处理和分析，提取图像中的特征信息，再利用几何、运动或深度等计算方法，可以测量目标物体的尺寸、形状、位置、姿态等参数。单目视觉测量广泛应用于工业自动化、机器人导航、三维重建、虚拟现实以及医疗影像等领域。

2、公告号为cn113324478a的中国专利公开了一种线结构光的中心提取方法及锻件三维测量方法，其中，线结构光的中心提取方法包括如下步骤，先对采集的具有线结构光线纹的图像进行滤波和阈值分割，分割出线结构光的光条特征，再提取线结构光线纹的初始中心点p(x,y)，以初始中心点p(x,y)为中点，采用方向模板法确定每个初始中心点的法线方向，并在每个初始中心点的法线方向上采用灰度重心法进行中点提取，提取精确中心点，该中心提取方法具有精度高、稳定性好等优点。但是该方法抗噪性差运算量大，难以满足实时性要求和图像预测，因此，提供一种基于单目的高速锻锤跟踪方法及装置，来提升锻锤图像检测的实时性，是非常有必要的。

技术实现思路

1、有鉴于此，本发明提出了一种基于单目的高速锻锤跟踪方法及装置，通过实时查找单目灰度图像中的激光线纹区域，并将激光线纹区域的像素坐标依次转换获取对应的空间坐标，以提升锻锤图像检测的实时性。

2、本发明提供了一种基于单目的高速锻锤跟踪方法，所述方法包括：

3、对工业相机采集到的初始图像进行二值化处理，获取单目灰度图像；

4、根据图像极大值查找算法对所述单目灰度图像进行查找处理，获取所述单目灰度图像中的多个激光线纹区域；

5、基于泰勒展开式和所述激光线纹区域中各像素点的像素坐标，计算与所述像素坐标对应的亚像素坐标；

6、对所述亚像素坐标进行三维坐标重建，以获取所述亚像素坐标与对应的空间坐标；

7、基于所述空间坐标和锻锤加速度预测公式，以获取预测单目图像。

8、在以上技术方案的基础上，优选的，所述根据图像极大值查找算法对所述单目灰度图像进行查找处理，获取所述单目灰度图像中的多个激光线纹区域，具体包括：

9、对所述单目灰度图像中满足预设灰度值的像素点进行拟合，以获取多个拟合激光线纹区域；

10、判断所述拟合激光线纹区域的线长是否大于预设长度；

11、若所述拟合激光线纹区域的长度大于所述预设长度，则判断所述拟合激光线纹区域的斜率是否小于预设斜率；

12、若所述拟合激光线纹区域的斜率小于所述预设斜率，则确定所述拟合激光线纹区域为激光线纹区域。

13、在以上技术方案的基础上，优选的，所述基于泰勒展开式和所述激光线纹区域中各像素点的像素坐标，计算与所述像素坐标对应的亚像素坐标，具体包括：

14、基于高斯函数的可分离性及对称性，计算所述激光线纹区域对应的hessian矩阵；

15、根据所述hessian矩阵和泰勒展开式，获取与像素坐标对应的亚像素坐标。

16、更进一步优选的，所述基于高斯函数的可分离性及对称性，计算所述激光线纹区域对应的hessian矩阵，具体包括：

17、

18、

19、

20、

21、

22、

23、

24、

25、其中，x，y表示所述激光线纹区域中任意一点(x,y)的横纵坐标，r(x,y)表示单目图像函数，h(x0,y0)表示hessian矩阵函数，g(x,y)表示二维高斯函数，gxx(x,y)、gxy(x,y)以及gyy(x,y)分别表示二维高斯函数的二阶偏导数，σ表示高斯方差，i(x,y)表示所述单目灰度图像的灰度函数，rxx、rxy和ryy表示所述单目图像函数的二阶偏导数，表示卷积符号。

26、更进一步优选的，所述根据所述hessian矩阵和泰勒展开式，获取与像素坐标对应的亚像素坐标，具体包括：

27、若取单位向量(nx,ny)为所述单目灰度图像的法线方向，则图像灰度函数r(x,y)沿(nx,ny)方向可以表示为：

28、

29、当时，可得

30、因此，(px,py)＝(x0+tnx,y0+tny)为所述单目灰度图像中激光线纹区域的灰度极值点，若使一阶导数为零的点处在当前像素中，即(tnx,tny)∈[-0.5,0.5]×[-0.5,0.5]，则(px,py)为所述像素坐标对应的亚像素坐标；

31、其中，rx和ry表示所述单目图像函数的一阶偏导数，t表示图像灰度函数r(x,y)一阶导数为零处的参考系数。

32、更进一步优选的，所述对所述亚像素坐标进行三维坐标重建，以获取所述亚像素坐标与对应的空间坐标，具体包括：

33、构建视图变换矩阵，

34、

35、构建畸变映射矩阵，

36、

37、其中，(xm,ym,0)表示锻锤平面坐标系omxmymzm中的任意一点p的坐标，s为p点在成像平面坐标系下的深度信息，αx和αy分别表示点p在锻锤平面坐标系和成像平面坐标系上像素点的灰度值，p点在所述单目灰度图像的投影坐标为(u0,v0)，r1～r9表示成像平面参数标定中需要标定的9个旋转矩阵参数的待定系数，[u,v,1]t为p点坐标在成像平面坐标系ocxcyczc上投影点的齐次坐标，δu表示p点在镜头畸变时的横坐标误差，δv表示p点在镜头畸变时的纵坐标误差，a1～a8表示测量模型矩阵a中的比例系数。

38、更进一步优选的，所述基于所述空间坐标和锻锤加速度预测公式，以获取预测单目图像，具体包括：

39、vm＝(pm-pm-1)×f

40、am＝(vm-vm-1)×f

41、pm+1＝vm×(1/f)+0.5×am(1/f)2

42、其中，pm表示第m帧所述单目灰度图像的空间坐标，vm表示锻锤运动的速度，am表示锻锤运动的加速度，f表示所述工业相机的相机触发帧率，且m≥3。

43、在本技术的第二方面提供了一种基于单目的高速锻锤跟踪装置，所述高速锻锤跟踪装置包括图像采集模块、线纹查找模块以及数据处理模块，其中，

44、所述图像采集模块用于对工业相机采集到的初始图像进行二值化处理，获取单目灰度图像；

45、所述线纹查找模块用于根据图像极大值查找算法对所述单目灰度图像进行查找处理，获取所述单目灰度图像中的多个激光线纹区域；

46、所述数据处理模块用于基于泰勒展开式和所述激光线纹区域中各像素点的像素坐标，计算与所述像素坐标对应的亚像素坐标，对所述亚像素坐标进行三维坐标重建，以获取所述亚像素坐标与对应的空间坐标，并基于所述空间坐标和锻锤加速度预测公式，以获取预测单目图像。

47、在本技术的第三方面提供了一种电子设备，包括处理器、存储器、用户接口及网络接口，所述存储器用于存储指令，所述用户接口和网络接口用于给其他设备通信，所述处理器用于执行所述存储器中存储的指令。

48、在本技术的第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行实现基于单目的高速锻锤跟踪方法的步骤。

49、本发明提供的一种基于单目的高速锻锤跟踪方法及装置相对于现有技术具有以下有益效果：

50、通过实时查找单目灰度图像中的激光线纹区域，并将激光线纹区域的像素坐标通过泰勒展开式和hessian矩阵转换为亚像素坐标，再通过三维坐标重建将亚像素坐标由锻锤平面转换为成像平面中对应的空间坐标，以提升锻锤图像检测的实时性，同时通过多张单目灰度图像的相机触发帧率计算出锻锤速度及加速度，进而根据锻锤加速度预测公式预测下一帧的单目灰度图像。