一种塔式起重机吊钩的测距方法、装置、设备及存储介质

本发明属于建筑领域，具体涉及一种塔式起重机吊钩的测距方法、装置、设备及存储介质。

背景技术：

1、在智慧工地建设中，“无人化”成为未来建筑领域发展的方向。塔式起重机作为工地施工的重要器械，在控制端对其吊钩进行精准定位成为无人化塔吊操作的关键技术。吊钩深度信息的计算是塔吊定位中的关键一环，可以有效得到相机与吊钩之间的距离信息，为塔吊定位提供支持。

2、目标深度感知技术作为计算机视觉热门的应用方向之一，在科技发展与社会生活中有着广泛的应用，如无人驾驶、目标定位、军事侦察等领域。双目视觉系统由于具有操作简单、设备造价低，普适性强等特点，且能够利用图像对目标进行测距，并实现定位，因此非常适用于工程工业上的目标定位场景。双目测距系统通过用双目相机模仿人的眼睛，在左右两个视角中，目标物体存在一定的视差值，利用三角测量原理，从而获得目标物体的深度信息。其中，立体匹配得到的视差值是测距准确与否的关键。

3、现有的测距方法中，myronenko等人将概率模型引入点集配准的问题中，提出了一种基于高斯混合模型(gaussion mixture model，gmm)的相干点漂移算法。在该方法中，将其中一个点集视为模板点集，另一点集视为目标点集，利用概率模型来寻求最优的匹配关系，然而，虽然该方法将概率模型成功的引入点集匹配中，但是在图像点集的匹配应用中的效果并不理想，从而导致测距结果不准确。

技术实现思路

1、为了克服测距结果不准确的不足，本发明提供了一种塔式起重机吊钩的测距方法、装置、设备及存储介质。其方法包括如下步骤：

2、通过双目相机获取包含吊钩的工程图像；

3、使用目标检测算法yolov3对工程图像中的吊钩图像进行检测定位；

4、使用sift算法对检测到的吊钩图像进行特征提取，得到多组sift特征描述子；

5、使用敏感哈希方法lsh对多组特征描述子进行可靠性处理，并使用处理后的特征描述子对高斯混合模型的混合系数进行改进；

6、使用改进后的混合系数对多组sift特征描述子进行可靠性分段；

7、根据可靠性分段结果对满足设定阈值的特征描述子进行匹配，得到初始匹配后的点集；

8、对所述点集中的特征可靠点对进行配准，得到吊钩的像素坐标；

9、根据吊钩的像素坐标得出吊钩的视差值，根据所述视差值计算出吊钩与双目相机的距离。

10、优选的，使用yolov3算法对工程图像中的吊钩图像进行检测定位，包括如下步骤：

11、将所述工程图像归一化至同一像素；

12、使用yolov3算法的darknet-53主干网络对归一化后的图像进行5次降采样，提取出图像特征；

13、分别通过yolov3算法的中间层、中下层和底层从图像特征中提取出三个输出特征图；

14、对三个输出特征图进行卷积处理后输出检测结果，得到吊钩图像。

15、优选的，使用敏感哈希方法lsh对多组特征描述子进行可靠性处理，并使用处理后的特征描述子对高斯混合模型的混合系数进行改进，包括如下步骤：

16、将初始的具有128维的多组sift特征描述子转换为b位二进制代码，建立对应的哈希函数；

17、使用哈希函数对转换后的多组sift特征描述子进行空间点转换；

18、计算多组空间点转换后的平均汉明距离，根据平均汉明距离对多组sift特征描述子的相似度进行可靠性筛选；

19、根据筛选结果对高斯混合模型的混合系数进行改进。

20、优选的，所述高斯混合模型为：

21、

22、式中，x代表模板点集中的样本点，y代表目标点集中的样本点，ω为均匀分布的权重；n、m分别为模板点集与目标点集的数量；为第n个高斯分量的概率密度，其中，xn为模板点集中的第n个样本点，ym为目标点集中的第m个样本点，d为点集的维度，σ2为相等的各向同性协方差；

23、优选的，所述改进后的高斯混合模型的混合系数为：

24、

25、式中，ahd(xn-ym)为模板点xn与目标点ym的k组哈希值的平均汉明距离，α为一个控制因数，c为调节系数，m为目标点集的数量。

26、优选的，通过最大期望算法em对所述点集中的特征可靠点对进行配准，所述最大期望算法em的模型公式为：

27、

28、式中，pold(ym|xn)为后验概率，即为样本点对应模板点的归属值；n、m分别为模板点集与目标点集的数量；pnew(ym)＝1/m，pnew(xn|ym)为第n个样本点与第m个目标点对应概率的隐变量。

29、优选的，所述视差值的计算公式为：

30、

31、式中，b为基线长度，f为摄像头的焦距，z为空间中的测量目标点到双目摄像头基线的直线距离，xl为左成像点的横坐标，和xr为右成像点的横坐标，即左右成像点距离各自成像平面左边界的距离，d为xl和xr的差值。

32、本发明还提供有一种塔式起重机吊钩的测距装置，包括：

33、图像获取模块，用于通过双目相机获取包含吊钩的工程图像；

34、吊钩图像检测模块，用于使用yolov3算法对工程图像中的吊钩图像进行检测定位；

35、特征描述子提取模块，用于使用尺度不变特征变换方法sift算法对检测到的吊钩图像进行特征提取，得到特征描述子；

36、混合系数获取模块，用于使用敏感哈希方法lsh对多组特征描述子进行可靠性处理，并使用处理后的特征描述子对高斯混合模型的混合系数进行改进；

37、分段模块，用于使用改进后的混合系数对多组sift特征描述子进行可靠性分段；

38、配准模块，用于根据可靠性分段结果对满足设定阈值的特征描述子进行匹配，得到初始匹配后的点集；

39、像素坐标获取模块，用于对所述点集中的特征可靠点对进行配准，得到吊钩的像素坐标；

40、测距模块，用于根据吊钩的像素坐标得出吊钩的视差值，根据所述视差值计算出吊钩与双目相机的距离。

41、本发明还提供有一种计算机设备，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行塔式起重机吊钩的测距方法。

42、本发明还提供有一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程，所述计算机程序适于处理器进行加载，以执行塔式起重机吊钩的测距方法。

43、本发明提供的塔式起重机吊钩的测距方法、装置、设备及存储介质具有以下有益效果：

44、本发明通过目标检测算法yolov3能够缩小目标范围，对吊钩进行初步定位；通过使用敏感哈希方法lsh能够对提取的sift特征描述子进行可靠性处理，通过可靠性处理后的特征描述子能够对高斯混合模型的混合系数进行改进；通过改进后的混合系数与分阶段匹配策略结合，能够实现对吊钩目标的有效配准，从而能够根据配准结果得出目标的视差值，并准确计算出塔吊吊钩与双目相机的距离。