一种基于雷视融合的登机桥地面环境感知方法及系统

本发明属于智能监测装置，尤其涉及一种基于雷视融合的登机桥地面环境感知方法及系统。

背景技术：

1、目前，环境感知是指计算机系统通过传感器(如摄像头、雷达、激光雷达等)获取外部环境信息，并利用目标识别技术来理解和感知周围环境中的物体和目标。这是计算机视觉领域中的一个重要任务，尤其在自动驾驶、智能交通、机器人导航、安防监控等应用中至关重要。在目前的环境感知任务中常用的传感器有摄像头、激光雷达、毫米波雷达和超声波而雷达等。其中视觉传感器是目前环境感知领域中应用最广泛的传感器，但是在暴雨雪天气以及其他恶劣条件下，受能见度的影响，感知精度会大幅降低，甚至会被雨雪遮挡导致无法使用，所以仅仅依靠视觉感知难以实现全天候的精确环境感知。机场作为一个繁忙且复杂的环境，自动驾驶登机桥在停机坪上移动时，为了保障设备和人员的安全，需要实现对登机桥地面环境的精确感知。

2、目前常用的目标识别算法分为传统方法和基于深度学习的方法两种，传统方法包括haar级联分类器、sift算法等，这些传统的目标识别方法一般来说具有训练速度快、数据量需求少的优点，但是同时特征表达能力有限，针对复杂背景的适应能力较差。随着深度学习技术的发展，深度学习方法在目标识别任务中已经取得了显著的优势，并成为目标识别领域的主流方法。深度学习方法利用卷积神经网络等技术，可以自动学习特征表示，具有更强大的表示能力和更好的适应性，因此在大多数场景下表现更优越。

3、现有的环境感知方法多基于雷达或视觉。基于视觉的目标识别是利用视觉传感器(如摄像头)获取的图像或视频数据来识别和定位周围环境中的目标和物体。视觉目标识别是计算机视觉领域中的一个重要任务，它是通过图像处理和模式识别技术来实现的。视觉传感器可以提供高分辨率的图像，使得目标的细节更加清晰，并且包含了提供了颜色、纹理、形状等多样化的特征信息，有利于目标识别和分类。

4、现有的基于图像的目标识别方法在计算机视觉领域取得了巨大的进步，但它们仍然存在一些缺陷和局限性，图像中包含复杂的背景和干扰物体，这些背景信息干扰目标的识别，导致误检测或漏检。图像中的目标存在不同的姿态、形变或部分遮挡，这些因素影响目标的准确识别。

5、雷达目标识别在许多应用中都有重要的作用，特别是在自动驾驶、智能交通、航空航天、军事防御等领域。相对于视觉传感器，雷达在恶劣天气条件下的工作效果更好，且对光照和遮挡不敏感，因此在一些复杂环境和特殊场景下具有优势。然而，雷达也有一些局限性，例如分辨率相对较低，难以提供目标的细节信息。

6、雷达与视觉融合是指将雷达(radar)和视觉(vision)两种传感器的数据融合在一起，以提高目标检测、跟踪和识别等任务的性能和准确性。雷达和视觉传感器在感知环境中的物体和目标方面具有各自的优势和不足，因此将它们的数据融合可以增强感知能力并解决各自单独使用时的局限性。

7、通过上述分析，现有技术存在的问题及缺陷为：

8、现有技术中自动驾驶登机桥仅凭单一的雷达或视觉感知难以实现全天候的精确环境感知。机场作为一个繁忙且复杂的环境，在暴雨雪天气以及其他恶劣条件下，自动驾驶登机桥在停机坪上移动时，设备和人员的安全难以得到保障。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种基于雷视融合的登机桥地面环境感知方法及系统。

2、本发明是这样实现的，一种基于雷视融合的登机桥地面环境感知方法，包括以下步骤：

3、s1，安装并标定传感器，包括摄像头和毫米波雷达，在安装时要注意二者的相对位置，便于后续通过空间坐标变换实现二者数据的关联；

4、s2，采集数据并保持时间同步，在记录摄像头和毫米波雷达数据时同步保存时间戳，对比时间戳获取同一时刻的两种传感器数据；

5、s3，数据对齐之后对毫米波雷达数据进行空间坐标变换，将雷达点投影到图像坐标系中，转换到像素坐标系并将投影结果作为生成roi的中心点，roi的尺寸与雷达点深度呈负相关，雷达点深度越大，其在像平面生成的roi越小；

6、s4，将生成的roi作为r-cnn的算法的特征提取阶段的输入，进行目标识别；

7、s5，将识别结果与对应的雷达点信息包括位置和运动情况合并，得到目标的多维度信息。

8、进一步，在s1中，摄像头和毫米波雷达在同一竖直平面上安装，确保摄像头的光心与毫米波雷达正面的中心点位于竖直平面上的一条竖直线上，并记录下二者在竖直方向上的距离。

9、进一步，在s2中，保持时间同步的具体方式为：对返回的每一帧图像和每一个数据帧的雷达数据进行一一比对，从而确保进行关联的图像数据和雷达数据具有时间同步性。

10、进一步，在s3中，空间坐标变换中的图像坐标与像素坐标的转换表达式为：

11、

12、

13、其中(u0,v0)是图像坐标系原点在像素坐标系中的坐标，dx和dy分别是每个像素在图像平面x和y方向上的物理尺寸。

14、进一步，在s4中，r-cnn需要使用对自动驾驶登机桥运行安全造成影响的目标物体进行训练，得到适用于该场景下的分类网络和回归网络。

15、进一步，在s5中，合并方式为：根据数据采集同步保存的时间戳将雷达数据与图像数据相关联，同一时刻的图像和对应的雷达roi为一组数据，将雷达roi替代由滑动窗口生成的roi作为r-cnn算法输入，输入到后续的分类网络和回归网络中经行识别，最后合并信息。

16、本发明的另一目的在于提供一种实施所述基于雷视融合的登机桥地面环境感知方法的基于雷视融合的登机桥地面环境感知系统，所述基于雷视融合的登机桥地面环境感知系统包括：

17、传感器模块，包括摄像头和毫米波雷达，用于采集目标的空间坐标；

18、数据同步模块，与传感器模块连接，用于记录并同步摄像头和毫米波雷达传感器模块的数据；

19、空间坐标变换模块，与数据同步模块连接，用于将毫米波雷达数据进行空间坐标变换，将雷达点投影到图像坐标系中，并生成roi的中心点；

20、目标识别模块，与空间坐标变换模块连接，用于将生成的roi作为r-cnn的算法的特征提取阶段的输入，进行目标识别；

21、输出结果模块，与目标识别模块连接，用于将识别结果与对应的雷达点信息包括位置和运动情况合并，得到目标的多维度信息。

22、本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于雷视融合的登机桥地面环境感知方法的步骤。

23、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于雷视融合的登机桥地面环境感知方法的步骤。

24、本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于雷视融合的登机桥地面环境感知系统。

25、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

26、第一、本发明提供一种基于雷视融合的登机桥地面环境感知方法及系统，能够结合视觉和毫米波雷达在环境感知中的优势，利用雷达点数据在图像中的投影作为roi区域提议的根据，从而实现更加准确快速的目标识别。同时结合视觉数据提供的目标类别信息和雷达数据提供的目标位置、运动状态信息实现对环境中目标更加多维的感知，在暴雨雪天气以及其他恶劣条件下保证对自动驾驶登机桥地面环境的感知精度，从而确保在不同情况下自动驾驶登机桥的安全运行。

27、这种基于雷视融合的登机桥地面环境感知方法，利用了摄像头和毫米波雷达的互补性，实现了对登机桥地面环境的精确感知。其主要的技术进步包括：

28、1)传感器安装和标定：通过在同一竖直平面上安装摄像头和毫米波雷达，并记录其在竖直方向上的距离，能保证二者数据的空间关联性，从而提高数据处理的准确性和效率。

29、2)数据采集和时间同步：通过同步保存摄像头和毫米波雷达的时间戳，可以实现对同一时刻的两种传感器数据的比对，提高了数据的时序准确性，有利于更准确地感知环境变化。

30、3)数据对齐和空间坐标变换：对毫米波雷达数据进行空间坐标变换，能将雷达点投影到图像坐标系中，实现物理空间和图像空间的无缝对接，提高了数据处理的准确性。

31、4)目标识别：通过将生成的roi作为r-cnn的算法的特征提取阶段的输入，能有效地提取目标信息，提高了目标识别的准确性。

32、5)结果融合：将识别结果与对应的雷达点信息合并，得到目标的多维度信息，能提供更全面、更准确的目标描述，有利于更好地服务于后续的决策和行动。

33、这种方法的实施，不仅提高了登机桥地面环境感知的准确性和实用性，还为基于雷视融合的其他实际应用提供了新的实践经验和技术借鉴。

34、第二，本发明采用坐标变换和雷达点投影的方法，将雷达信息投影到图像中，实现两种异质传感器的信息融合。

35、本发明通过雷达点在图像中的投影生成雷达roi替代有其他方法生成的候选区域输入到r-cnn算法中，使得候选区域特征更加明显，同时也提高了识别算法的效果。

36、本发明将r-cnn目标识别的结果与对应的雷达信息相结合，形成了特征信息更加丰富的识别结果，包含了其他常规识别方法无法取得的位置和运动状况信息，使环境感知更加精确。

37、第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：

38、(1)本发明的技术方案转化后的预期收益和商业价值为：

39、自动驾驶登机桥可以极大的降低人力成本、解放劳动力。登机桥自动对接过程可由控制器控制，控制器可以及时的根据传感器的反馈做出相应的调整。所以相比人工操作自动驾驶则有着天然优势和更可靠的安全性。而本发明所提出的一种基于雷视融合的登机桥地面环境感知方法及系统正适用于自动驾驶登机桥的安全保障。随着自动驾驶登机桥技术的推广与应用，本发明的技术方案也可以得到大范围的应用，具有一定的商业价值。

40、(2)本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：

41、单一的视觉传感器和传统的视觉识别环境感知方法仅能通过纹理、色彩等特征对图像中的物体进行分类的定位，而无法获取目标更多的信息。本发明所提出的一种基于雷视融合的登机桥地面环境感知方法及系统结合毫米波雷达与视觉数据，在获取到目标类别信息的同时将雷达与视觉进行融合，实现了雷达数据与视觉数据的关联，能够同时获取目标的类别和位置以及运动状态信息，增加了信息的维度，丰富了信息的类别。