基于双目视觉和目标检测的桥梁部件精确定位方法

本发明属于图像处理领域，具体涉及一种基于双目视觉和目标检测的桥梁部件精确定位方法。

背景技术：

1、随着社会进步及人民环保意识的提高，桥梁的施工环境越来越受到政府和人民的重视，智能装配造桥机具有构件生产标准、现场安装快速便捷、施工节能环保等优势，有利于我国建筑工业化的发展，提高生产效率节约能源，是我国桥梁行业的发展趋势。智能装配造桥机的工作原理是利用起重机构，通过吊装和悬挂装置将桥梁构件从地面或其他位置抬起，并将其准确地安装到预定位置。其中的一个关键技术是对位技术，对位技术是指通过测量和调整，使得各个构件之间的位置和相对关系精确匹配，以确保整个桥梁的稳定性和安全性。

2、常见的对位技术有全站仪对位技术、激光测距仪对位技术、rtk定位技术和视觉对位技术。视觉对位技术是近几年兴起的准确度较高的对位技术，该技术利用摄像机拍摄构件图像，通过图像处理和计算机视觉算法来实现对位调整。目前已有的视觉对位技术往往基于单目视觉技术，单目视觉无法获得深度信息，并且对光照、阴影和纹理变化的鲁棒性较弱。本系统采用双目视觉技术和目标检测技术进行桥梁部件精确定位，可以克服单目视觉技术存在的局限性。

技术实现思路

1、本发明的目的在于提出一种基于双目视觉和目标检测的桥梁部件精确定位方法，将双目视觉技术和目标检测技术相融合，结合坐标系的转换，实现桥梁部件的精确自动定位，辅助智能装配造桥机实现无需人工干预的全自动落梁。

2、本发明为上述目的所采取的技术方案如下：第一方面，本发明提供一种基于双目视觉和目标检测的桥梁部件精确定位方法，包含以下步骤：

3、s1、采用双目视觉技术，得到目标的深度图像，深度图像包含目标的深度信息；

4、s2、采用目标检测技术，得到目标在rgb图像中的坐标；

5、s3、计算rgb图像和双目图像的坐标对应关系，得到目标在深度图中的坐标，从而得到目标的深度信息。

6、第二方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法的步骤。

7、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法的步骤

8、与现有相比，本发明的有益效果为：本发明首先使用双目视觉技术进行场景深度图的获取，选用半全局立体匹配技术进行立体匹配，构建了新的匹配代价计算函数，克服了传统census变换对弱纹理情况易出现误匹配的问题，在光照变化明显和弱纹理情况下，匹配效果较好；然后使用yolov5进行目标检测，实现在单目rgb图像中自动获取目标在像素坐标系中的坐标；随后解算出深度图像像素坐标系和单目rgb图像像素坐标系的坐标转换公式；最后将目标在单目rgb图像中的像素坐标转换到深度图像中的像素坐标，深度图中每个像素点的值就是该点的实际深度，最终得到目标的深度信息。本发明融合双目视觉技术和目标检测技术，在整个定位流程中，无需人工参与，实现了桥梁部件的精确自动定位。

技术特征：

1.一种基于双目视觉和目标检测的桥梁部件精确定位方法，其特征在于，包含以下步骤：

2.根据权利要求1所述的基于双目视觉和目标检测的桥梁部件精确定位方法，其特征在于，步骤s1具体包括：

3.根据权利要求2所述的基于双目视觉和目标检测的桥梁部件精确定位方法，其特征在于，采用张氏标定法进行相机标定，进行图像的畸变校正和极线校正，具体为：

4.根据权利要求1所述的基于双目视觉和目标检测的桥梁部件精确定位方法，其特征在于，步骤s2具体为：

5.根据权利要求1所述的基于双目视觉和目标检测的桥梁部件精确定位方法，其特征在于，步骤s3具体包括：

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一所述的方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一所述的方法的步骤。

技术总结
本发明公开了一种基于双目视觉和目标检测的桥梁部件精确定位方法，该方法首先使用双目视觉技术进行场景深度图的获取，选用半全局立体匹配技术进行立体匹配，构建匹配代价计算函数；然后使用YOLOv5进行目标检测，实现在单目RGB图像中自动获取目标在像素坐标系中的坐标；随后解算出深度图像像素坐标系和单目RGB图像像素坐标系的坐标转换公式；最后将目标在单目RGB图像中的像素坐标转换到深度图像中的像素坐标，深度图中每个像素点的值即为该点的实际深度，最终得到目标的深度信息。本发明将双目视觉技术和目标检测技术相融合，结合坐标系的转换，实现桥梁部件的精确自动定位，辅助智能装配造桥机实现无需人工干预的全自动落梁。

技术研发人员：肖泽龙,高尚,李磊,薛文,康其桔,胡泰洋
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/2/8