无人船自主探索和未知环境三维重构的监控系统

1.本发明涉及船舶控制领域，尤其涉及一种无人船自主探索和未知环境三维重构的监控系统。


背景技术：

2.作为海洋技术发展的代表产物之一，无人船凭借其小型化、灵活性高、机动性强等优点，以在海域勘探、水域救援、目标跟踪等复杂水域领域广泛应用。尽管现在无人船已经广泛应用于工业、服务、军事等领域，但在某些特定领域仍存在很大的限制，无人船在工作过程中，最为重要的是了解周围环境信息，但在事先未知工作环境及自身相对位姿的情况下无人船的工作会受到很多约束。与传统的无人船即时定位与地图构建(slam)技术不同，自主环境探索与环境重构并不是在已知获取地图信息的情况下无人船到达某一特定的目标点，而是要使无人船不断的到达一系列的目标点以便能够获取整个未知环境信息。由于自主探索与环境重构的无人船自主性较强，已成为近年来船舶领域的重点研究方向。
3.目前关于自主探索方面的研究已经取得了大量的应用成果，并提出了多种探索策略，近几年由于将深度强化学习引入到自主探索中，自主探索的效率也大大的提高。但由于室外环境相对于室内环境更加复杂、不确定因素更加多样，研究相对较少，尤其对于在环境恶劣海上障碍物较多的沿海和环境复杂的岸基、桥梁、暗渠、水洞或受限水域等地的无人船的未知环境自主探索的研究才刚开始起步尚未形成统一完善的理论及应用体系。


技术实现要素：

4.根据现有技术存在的问题，本发明公开了一种无人船自主探索和未知环境三维重构的监控系统，具体包括
5.数据采集单元，采集无人船在航行过程中的周围环境信息，包括三维激光雷达和rgb-d相机，所述三维激光雷达获取环境物体高度、船舶与环境物体之间的距离及船舶自身位姿信息，所述rgb-d相机获取包含环境色彩及特征信息的rgb图像、包含环境位置及距离信息的深度图像；
6.接收所述数据采集单元传送的环境物体高度、船舶与环境物体之间的距离及船舶自身位姿信息、rgb图像和深度图像的主控单元，所述主控单元根据接收到信息生成激光点云数据，将激光点云数据与深度图像进行局部点云特征校准匹配从而确定物体的真实位置，根据rgb图像进行点云色彩化获得最终点云数据，将最终点云数据映射至栅格地图中并更新地图；所述主控单元采用融合基于边界的探索方法和基于信息的探索方法确定船舶的最优待探索目标点，基于路径规划算法根据已映射的环境信息生成最优路径、从而输出预期的船舶航行速度及航行转向、并驱动无人船到达该目标点，当无人船在航行过程中所述主控单元不断根据探索算法生成新的待探索目标点，从而驱动无人船遍历目标点以完成探索环境任务；
7.接收主控单元传送的船舶实时航行状态以及对船舶的操控指令的pc端和阿里云
服务端，所述pc端和阿里云服务端将对船舶的控制信息以及探索目标点传送至主控单元；
8.接收主控单元传送的船舶航行速度及航行转向信息的下位机单元，所述下位机单元同时接收惯性传感器采集到的船舶加速度及角加速度信息以及船舶电池的电压信息将接收到的信息反馈至主控单元，所述下位机单元将船舶实时的航行速度及航行转向需求输送至舵机和推进器。
9.进一步的，在探索过程中，当船体上下漂浮时栅格地图中将出现点云上下偏移，所述主控单元根据连续两帧rgb图像进行环境特征匹配和提取，并将点云数据进行特征目标匹配并重新映射至栅格地图中从而更新环境地图，当船体左右侧移时，自身位姿将出现计算误差导致点云图像与实际位置产生同船体相同大小的位姿误差，通过雷达坐标系与惯性传感器所提供的里程计坐标系进行加权计算从而校准船体位姿，当船体三轴位姿都发生偏移时，先通过rgb图像校准点云图像使雷达坐标系可信、再进行坐标系的加权平均校准位姿。
10.进一步的，所述数据采集单元将环境数据映射至栅格地图，所述主控单元通过自主探索方法在栅格地图中已探索与未探索区域的交界即边界区域中生成待探索目标点集，并在探索目标点集中将互信息增益最大的一点定为最佳探索目标点，通过路径规划算法在栅格地图中规划出最佳航行路径，所述主控单元输出预期的船舶航行速度及航行转向需求，当无人船到达新目标点后重复上述工作直至无未探索环境后结束。
11.进一步的，所述主控单元与pc端采用wifi局域网和4g/5g通讯技术进行数据通信，所述主控单元与阿里云服务端采用4g/5g通讯技术数据通信。
12.由于采用了上述技术方案，本发明提供的一种无人船自主探索和未知环境三维重构的监控系统，该系统以融合基于边界的探索方法以及基于信息的探索方法作为无人船的自主探索方法，搭载三维激光雷达、rgb-d相机识别未知环境、获取环境信息并以三维点云数据形式映射至栅格地图，搭载惯性传感器imu实时获取自身位姿信息并在地图中实时更新。针对在环境恶劣海上障碍物较多的沿海和环境复杂的岸基、桥梁、暗渠、水洞或受限水域等地，在无先验地图的情况下无人船实现自主工作十分困难这一问题，提出了利用多传感器使无人船可以自主探索未知水域，并重构三维环境的方法及装置。使无人船在自主了解周围环境后顺利进行后续工作，并且重构地图具有可移植性，将对任意船舶适用，用户仅需更改船舶模型参数即可利用该环境，大大提高无人船自主工作的效率。
附图说明
13.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1为本发明监控系统的结构示意图；
15.图2为本发明中无人船环境映射方法流程图；
16.图3为本发明中无人船自主探索过程流程图；
17.图4为本发明中无人船数据处理过程流程图。
具体实施方式
18.为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
19.如图1所示的一种无人船自主探索和未知环境三维重构的监控系统，包括数据采集单元、主控单元、pc端、阿里云服务端和下位机单元。
20.所述数据采集单元包括三维激光雷达和rgb-d相机，所述三维激光雷达向周围发射不同线束的探测激光信号，并将接收到的目标回波与发射信号进行比较、结合从发射到接收回波的传播时间，经处理后可获取环境物体高度、船舶与环境物体之间的距离及船舶自身位姿信息，所述rgb-d相机获取包含环境色彩及特征信息的rgb图像、包含环境位置及距离信息的深度图像。将三维激光雷达和rgb-d相机获取的信息传送至主控单元进行处理，三维激光雷达数据生成激光点云、rgb-d相机通过rgb图像与深度图像数据生成色彩点云、融合后在栅格地图中生成三维色彩点云图，并将该三维色彩点云图传送地图映射模块。
21.其中占据栅格地图用于无人船的路径规划及导航，其原理是将二维平面地图栅格化处理，栅格有三种状态分别为占用、空闲和未知，占用表示栅格所代表的空间存在障碍物，在映射地图中用黑色表示；空闲表示栅格所代表的空间不存在障碍物，在映射地图中用白色表示；未知表示还未探测的区域，在映射地图中用灰色表示。
22.如图2和图3所示，所述主控单元根据接收到激光雷达的信息生成激光点云数据，将激光点云数据与深度图像进行特征点校准匹配从而确定障碍物的真实位置，根据rgb图像将激光点云进行彩化处理获得最终点云数据，将最终点云数据映射至栅格地图中并更新环境地图；所述主控单元采用融合基于边界的探索方法和基于信息的探索方法确定船舶的最优待探索目标点，基于路径规划算法根据已映射的环境信息及待探索目标点生成最优路径、从而输出预期的船舶航行速度及航行转向、并驱动无人船到达该目标点，无人船在航行过程中所述数据采集单元不断感知外界环境信息并发送给主控单元，主控单元不断生成新的待探索目标点，从而驱动无人船遍历目标点以完成探索环境任务。
23.进一步的，如图4所示无人船数据处理过程中，因无人船会随着风、浪上下漂浮或侧移，使数据采集单元测得的数据及自身位姿发生偏移，致使映射的三维点云图像发生偏移，经过映射重构数据后处理模块后可校正点云图像、校准船体位姿信息。当船体上下漂浮时，映射栅格地图将出现点云上下偏移，所述主控单元根据连续两帧rgb图像进行环境特征提取、匹配，并将相应两帧的点云数据进行目标匹配并重新映射至栅格地图中更新地图。当船体左右侧移时，自身位姿将出现计算误差导致点云图像与实际位置产生同船体相同大小的位姿偏移，并且因雷达精度会对雷达坐标系产生影响，惯性传感器测量的数据经过积分后的误差会随着探索时间而增大导致里程计坐标系出现偏差，因此通过雷达坐标系与imu信息所提供的里程计坐标系加权计算来校准船体位姿。当船体三轴位姿都发生偏移时，先通过rgb图像校准激光点云图像使雷达坐标系可信，后进行坐标系的加权平均校准位姿。
24.该系统以无人船为试验平台相比于陆地轮式机器人可以用车轮及编码器来获取位置信息，无人船只能通过其他传感器数据进行自身定位。因此选用惯性传感器imu并嵌入在stm32上，通过数据积分实时获取无人船的位姿信息。下位机单元与主控单元串口连接，向主控单元发送电池电压、实时位姿信息并对驱动装置发布航速及转向舵角信息指令。由于三维重构的核心是对关键环节要素进行重建，因此数据采集单元选用精度较高映射效果
较好的三维激光雷达，其能更精确测量距离且视角更广，可对不同高度的目标进行扫描和感知映射形成3d点云图像。由于激光雷达无法提供环境物体的颜色信息以及纹理信息，生成的点云图像过于稀疏无法提取多个特征点，且在对精度没有特殊要求的特定场景下，分辨率将成为分析环境的关键要素，因此融合具有高分辨率和颜色信息的rgb-d视觉相机将重构点云环境色彩化并提供更多的环境物体的特征信息。
25.无人船装配微型计算机进行数据处理、自主探索及环境映射并对下位机进行及时反馈。此处选用tx2做为无人船的主控装置并与数据采集单元串口连接，通过获取三维激光雷达和rgb-d相机的数据，将激光雷达生成的激光点云与相机生成的深度图像进行校准匹配来确定物体的真实位置，并通过相机生成的rgb图像进行点云色彩化。将处理后的点云数据映射至栅格地图中，进行自主探索工作。在探索过程中通过串口给下位机发送运动底盘速度及方向，控制无人船的航向及航速。
26.由于海上情况复杂，无人船工作时可能会遇到恶劣海况或恶劣天气，且在工作过程中会遇到动力耗尽等问题，因此增加岸端远程控制模块，岸端可以通过远程操作界面查看无人船的工作情况，并能通过人为操控以防止意外发生，无人船的主控通过wifi模块进行船岸信息交互。当水域面积较大，无人船很容易与岸端失去联系，为防止意外发生，设定两种通讯方式如下：1、选用两台大功率wifi放大器，无人船搭载大功率wifi放大器充当wifi中继器放大主控发送的wifi信号，并在岸端用另一台放大器进行接收，实现远程信息交互及操控功能；2、若水域面积较大，wifi中继器无法满足远程信息交互及远程操控，则通过与主控串口连接的4g、5g模块，将无人船的环境映射地图、探索航行路径、航向航速等数据信息上传至阿里云，岸端通过图形用户界面应用程序qt上传控制指令改变探索目标点、航向及航速并下载无人船上传至阿里云的数据信息，实现远程信息交互及操控功能。
27.其中船上的运动装置包括舵机和推进器。
28.所述主控单元与pc端采用wifi局域网和4g/5g通讯技术进行数据通信，所述主控单元与阿里云服务端采用4g/5g通讯技术数据通信。实际应用中无人船搭载大功率wifi放大器、4g和5g通讯模块用于船岸远程信息交互。
29.本发明提供的一种无人船自主探索和未知环境三维重构的监控系统，以无人船为试验平台，通过读取数据采集单元获取的环境信息，得到无人船所在环境的三维彩色点云地图并确定自身位姿，主控单元通过自主探索策略算法选择边界探索最佳目标点并反馈至下位机单元从而驱动运动装置进行运动并拓展栅格地图，直至环境无未探索区域后返回至起始位置。
30.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。