基于无人船视角的复杂环境下岸线分割方法、终端设备

本发明涉及无人艇视角的岸线分割，特别是一种基于无人船视角的复杂环境下岸线分割方法。

背景技术：

1、现有技术缺乏适应动态和复杂水域环境的无人船岸线识别和分割系统。现有系统主要侧重于静态环境下的识别，忽略了环境的多样性，未充分考虑无人船的自身控制。此外，这些系统通常依赖于单一传感器数据，对光线条件要求较高，无法实现全天候的实时识别。由于现阶段无人船的体积受限，相关设备的计算能力也有限，因此难以应用高性能模型进行实际测试，从而阻碍了应用的进一步发展。

2、发明专利申请“基于毫米波雷达的水面环境地图构建方法cn202211018479.2”中，使用毫米波雷达和可见光图像进行岸线信息提取，但是未涉及船舶自身控制，对于岸线深度特征提取不全面，且单一的可见光图像鲁棒性差。

3、发明专利申请“一种基于雷达影像与电子海图信息的岸线配准方法cn201410764435.3”公开了一种基于雷达影像与电子海图信息的岸线配准方法，通过对雷达海图进行处理，同精确电子海图进行配准从而实现精确的岸线提取，但是其并未提及无精确海图环境下的岸线提取，且也未涉及船舶自身控制。

4、发明专利申请“一种无人船多传感器态势感知及避碰决策方法cn202310790874.0”中，针对无人船避障设计了基于可见光图像和雷达的感知系统，并通过人工势场法对路径进行规划，但是其存在可见光图像在复杂环境下鲁棒性差，单一雷达特征缺失严重，人工势场法无法适应变化快的复杂环境等问题。

5、发明专利申请“一种基于深度强化学习且顾及海洋环境要素的无人船路径规划方法cn202010717418.x”中，设计了有关海洋因素的深度强化学习路径规划算法，但是并未提及对于环境的多源感知能力，且无对于船舶自身的控制方案。

6、论文“track-keeping observer-based robust adaptive control of anunmanned surface vessel by applying a 4-dof maneuvering model”中，通过分离纵向和转向运动，并应用自适应控制技术，以及自适应los导航算法进行轨迹跟踪来达成对于usv的控制。虽然该方案具有一定的鲁棒性，但是其并未为其余任务保留接口，可拓展性弱，对复杂情况的适应能力弱。

技术实现思路

1、本发明所要解决的技术问题是，针对现有技术不足，提供一种基于无人船视角的复杂环境下岸线分割方法、终端设备，实现复杂环境下的无人艇视角的岸线分割。

2、为解决上述技术问题，本发明所采用的技术方案是：一种基于无人船视角的复杂环境下岸线分割方法，包括以下步骤：

3、s1、在海面风力达到贝福风力等级4级及以上且卫星信号信噪比低于约15到20分贝赫兹(db-hz)的环境中获取海岸线可见光图像、热红外图像和原始雷达回波图像；

4、s2、对所述可见光图像和热红外图像进行双光融合可行域分割，得到岸线的全天候二维图像信息；使用原始雷达回波图像获取包含微小特征的岸线回波图像；

5、s3、利用岸线的全天候二维图像信息和岸线回波图像进行提取区域的约束和对岸线特征的增强，得到多特征岸线分割点云数据集。

6、步骤s2中，采用dmsnet对所述可见光图像和热红外图像进行双光融合可行域分割，所述dmsnet包括编码器、解码器、双路特征空间自适应模块；所述编码器用于提取可见光图像和热红外图像的特征，得到可见光特征和热红外特征；所述解码器用于对所述可见光特征和热红外特征进行上采样；所述双路特征空间自适应模块用于对上采样后的可见光特征和热红外特征进行空间转换，将经过转换后的红外热特征与可见光特征进行拼接，再将拼接特征与前一组已经融合的结果进行逐点相加，得到双路特征，所述双路特征即岸线的全天候二维图像信息；其中对于第一组数据，直接使用其自身的红外热特征与可见光特征的拼接特征作为初始的融合特征。

7、步骤s2中，使用原始雷达回波图像获取包含微小特征的岸线回波图像的具体实现过程包括：

8、步骤1、通过短波脉冲雷达获取原始雷达回波图像；

9、步骤2、使用中值滤波器剔除所获取原始雷达回波图像中的异常值和伪影，得到原始的海岸线特征；

10、步骤3、对原始海岸线特征使用k次b样条分段多项式曲线进行参数化，得到包含微小特征的岸线回波图像。

11、步骤s3的具体实现过程包括：

12、1)将岸线的全天候二维图像信息投影至lidar传感器获取的三维点云数据中，初步确定所需提取的点云范围，得到初步岸线点云数据；

13、2)利用初始岸线点云数据进行海岸线点云边界数据提取，得到具有明确岸线边界的岸线点云数据；

14、3)在同一坐标系中将s2中得到的海岸线微小特征和具有明确边界的岸线点云数据进行匹配融合，得到多特征岸线分割点云数据集。

15、步骤2)的具体实现过程包括：从初步岸线点云数据中检测候选边界点，候选边界点连成的线即边界；计算边界成本β，通过计算边界中连接的数量、长度、以及相邻连接的角度，评估边界的连续性和清晰度；使用最小成本边界模型，根据边界成本对边界进行优化，得到具有明确岸线边界的岸线点云数据集。

16、λ是权重系数，d(bi)是连接bi的长度，n表示相邻连接的集合，<bi,bj>是两个连接之间的角度，i，j＝1,2,3,4,5。

17、本发明的方法还包括利用所述岸线分割点云数据集进行路径规划，具体实现过程包括：

18、a)利用岸线分割点云数据集训练深度强化学习海域路径规划模型，使用损失函数ltotal评估海域路径规划模型预测的动作a对于无人船状态的控制效果，在每次迭代训练中更新海域路径规划模型的参数，最终得到所预测的动作a能保持离岸线的距离、保持所需航速以及成功避障的路径规划模型；

19、b)获取多维点云数据s，所述多维点云数据反映无人船的当前位置、速度，以及无人船与周围障碍物的相对距离，根据s和多特征岸线分割点云数据集e得到无人船的新状态d和正反馈r；

20、c)将d和r输入到路径规划模型中，所述路径规划模型基于接收到的数据预测最佳的航行动作，所述航行动作包括方向调整、速度改变；

21、d)将路径规划模型预测的航行动作数据通过解码器转换成无人船的输入指令；

22、e)将输入指令输入usv鲁棒自适应控制模块中，滑膜控制器接收控制输入的速度改变值和纵向干扰项，输出纵向推力，航向控制器接收滑膜控制器输出的纵向推力和控制输入的航向改变值以及横向干扰项，输出舵机偏转角度，通过观测器估计usv当前状态，将当前状态反馈至控制器(航向控制器，接收状态向量以计算横向控制力)并进行反馈增益调整；

23、f)重复步骤b-e，引导无人船在复杂海域中保持的岸线距离，同时避开障碍物。

24、步骤e)中，利用滑膜控制器响应航向误差，生成纠正动作，滑膜控制器表示如下：

25、

26、表示usv在纵向，即前进方向的加速度，m是usv的质量，是与usv运动相关的水动力学系数，v,r分别是usv的横向速度和偏航角速度，lg,hg分别是usv的质心的纵向和垂向位置；r(u)表示usv在前进速度u下的水阻力，τcu是控制输入，即推进力，d1(t)是与环境相关的扰动项，b,a1,a2,a3是控制参数；sd＝u-ud，ud是所需的纵向速度，μ,α是设计参数。

27、所述观测器利用下式估计usv当前状态：其中，是估计的状态向量；a是usv动态系统的矩阵，b是描述控制输入u影响usv动态系统状态的输入矩阵，l是观测器增益矩阵，c是描述usv动态系统状态转换为输出量的输出矩阵，k是反馈增益，ycmd为命令航向角；

28、调整所述反馈增益，得到调整后的反馈增益；其中，

29、反馈增益调整变化率(即单位时间内的变化量)表达式为：其中，γ,p1为设计参数。

30、通过调整反馈增益，可以改善系统响应的速度和精度。在自适应控制中，增益调整可以帮助系统更快地适应变化的环境或操作条件。在面对外部干扰或内部参数变化时，调整增益可以提高系统的鲁棒性，确保即使在不理想的条件下也能保持良好的性能。适当的增益调整可以减少系统的过冲和振荡，从而提高系统的响应质量。增益的调整是一个持续的过程，随着系统状态或环境的变化而动态进行。

31、作为一个发明构思，本发明还提供了一种终端设备，包括存储器、处理器及存储在存储器上的计算机程序；所述处理器执行存储器上的计算机程序，以实现本发明上述方法的步骤。

32、与现有技术相比，本发明所具有的有益效果为：本发明致力于复杂环境下对于岸线信息的有效分割提取，针对复杂环境中单一光源图像鲁棒性欠缺、岸线微小特征缺失和深度信息缺失的问题，提出了堆叠集成的岸线分割模型；针对复杂环境下欠驱动无人艇无法有效按照预定路线行驶控制导致岸线分割模型无法达到预期效果，增加了岸线距离控制模块，提出了深度强化学习海域路径规划模型，并由dcv鲁棒自适应控制部分将其指令转换为无人艇的动作，保持无人艇离岸线的距离和适当的航速，以及对于障碍的及时躲避，从而确保岸线分割模型达到预期效果。