水上航行场景下的环境地图生成方法、装置及电子设备

1.本发明涉及地图生成技术领域，尤其涉及一种水上航行场景下的环境地图生成方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.在自动驾驶技术领域，根据是否需要人为的手动控制以及需要何种程度的手动控制，可以将自动驾驶划分为不同的等级。其中，高智慧等级的自动驾驶不需要人为关注，可以实现完全的无人驾驶。通过将自动驾驶技术应用于船舶中，可以实现智能船舶的自主航行。智能船舶自主航行的关键在于面对动态复杂环境，能及时做出准确的行为决策，而行为决策的前提和基础是，智能船舶能生成水上航行场景下准确的环境地图。针对水上航行场景，现有技术中缺少较为准确的环境地图生成方案。


技术实现要素：

3.有鉴于此，有必要提供一种水上航行场景下的环境地图生成方法、装置、电子设备及计算机可读存储介质，用以解决现有技术中缺少水上航行场景下生成较为准确的环境地图方案的问题。
4.为了解决上述问题，本发明提供了一种水上航行场景下的环境地图生成方法，包括：
5.获取水面的静态信息和动态信息；
6.根据所述静态信息和动态信息，分别确定静态信息对应的点语义信息和动态信息对应的点语义信息；
7.根据所述静态信息对应的点语义信息和动态信息对应的点语义信息构建二维数组，以所述二维数组构建环境地图。
8.进一步地，根据所述静态信息确定静态信息对应的点语义信息，包括：
9.根据地图实体和静态障碍物实体，分别获取地图实体和静态障碍物实体的物体标签及标签概率，以地图实体的物体标签及地图实体的标签概率作为地图实体的点语义信息，以静态障碍物实体的物体标签及静态障碍物实体的标签概率作为静态障碍物实体的点语义信息。
10.进一步地，根据所述动态信息确定动态信息对应的点语义信息，包括：
11.根据动态障碍物实体和动态环境信息，分别获取动态障碍物实体和动态环境信息的物体标签及标签概率，以动态障碍物实体的物体标签及地图实体的标签概率作为地图实体的点语义信息，以动态环境信息的物体标签及动态环境信息的标签概率作为动态环境信息的点语义信息。
12.进一步地，根据所述静态信息对应的点语义信息和动态信息对应的点语义信息构建二维数组，包括：根据所述静态信息对应的点语义信息和动态信息对应的点语义信息构建二维数组map，
[0013][0014]
其中，m
uv
＝(o
′
uv
,c
uv
,s
uv
,r
uv
)，s
uv
＝{(ii,p
′
ij
)：p
′
ij
》0}，m
uv
为第u行v列的二维数组对应的值，o
′
uv
占据率，c
uv
为点聚类标签，s
uv
为静态信息对应的点语义信息或动态信息对应的点语义信息，r
uv
为二维数据点的状态类型。
[0015]
进一步地，以所述二维数组构建环境地图，包括：
[0016]
当二维数组map中的s
uv
为静态信息对应的点语义信息时，则以该二维数组构建静态环境地图，当二维数组map中的s
uv
为动态信息对应的点语义信息时，则以该二维数组构建动态环境地图。
[0017]
进一步地，所述水上航行场景下的环境地图生成方法还包括在以所述二维数组构建环境地图后，对图像中的角点特征和线段特征进行特征提取跟踪，得到特征点，并以所述特征点形成特征空间，获取特征点的稳定跟踪的时间，在特征空间中增加生命周期为特征维度，利用特征空间聚类进行图像分割，以对环境地图进行优化。
[0018]
进一步地，所述水上航行场景下的环境地图生成方法还包括，在进行图像分割后，利用高斯分布建模，获取特征点的特征时间统计量，将图像中每个像素的观测模型作为似然函数，将基于cnn的分割置信度作为先验概率，根据贝叶斯规则，计算图像中所有像素点的分类概率，利用该分类概率完成图像语义分割。
[0019]
本发明还提供了一种水上航行场景下的环境地图生成装置，包括场景信息获取模块、点语义信息获取模块及地图构建模块；
[0020]
所述场景信息获取模块，用于获取水面的静态信息和动态信息；
[0021]
所述点语义信息获取模块，用于根据所述静态信息和动态信息，分别确定静态信息对应的点语义信息和动态信息对应的点语义信息；
[0022]
所述地图构建模块，用于根据所述静态信息对应的点语义信息和动态信息对应的点语义信息构建二维数组，以所述二维数组构建环境地图。
[0023]
本发明还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上述任一技术方案所述的水上航行场景下的环境地图生成方法。
[0024]
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现如上述任一技术方案所述的水上航行场景下的环境地图生成方法。
[0025]
采用上述实施例的有益效果是：通过获取水面的静态信息和动态信息，以静态障碍物实体的物体标签及静态障碍物实体的标签概率作为静态障碍物实体的点语义信息，以动态环境信息的物体标签及动态环境信息的标签概率作为动态环境信息的点语义信息，通过所述静态信息对应的点语义信息和动态信息对应的点语义信息构建二维数组，以所述二维数组构建环境地图；实现了在水上航行场景下较为准确的环境地图的生成。
附图说明
[0026]
图1为本发明实施例提供的水上航行场景下的环境地图生成装置的应用场景示意
图；
[0027]
图2为本发明实施例提供的水上航行场景下的环境地图生成方法的流程示意图；
[0028]
图3为本发明实施例提供的水上航行场景下的环境地图生成装置的结构框图；
[0029]
图4为本发明实施例提供的电子设备的结构框图。
具体实施方式
[0030]
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0031]
本发明提供了一种水上航行场景下的环境地图生成方法、装置、电子设备及计算机可读存储介质，以下分别进行详细说明。
[0032]
图1为本发明提供的水上航行场景下的环境地图生成装置的应用场景示意图，该应用场景装置可以包括服务器100，服务器100中集成有水上航行场景下的环境地图生成装置，如图1中的服务器。
[0033]
本发明实施例中服务器100主要用于：
[0034]
获取水面的静态信息和动态信息；
[0035]
根据所述静态信息和动态信息，分别确定静态信息对应的点语义信息和动态信息对应的点语义信息；
[0036]
根据所述静态信息对应的点语义信息和动态信息对应的点语义信息构建二维数组，以所述二维数组构建环境地图。
[0037]
本发明实施例中，该服务器100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本发明实施例中所描述的服务器100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(cloud computing)的大量计算机或网络服务器构成。
[0038]
可以理解的是，本发明实施例中所使用的终端200可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的终端200可以是台式机、便携式电脑、网络服务器、掌上电脑(personal digital assistant，pda)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定终端200的类型。
[0039]
本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本发明方案一种应用场景，并不构成对本发明方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的终端，例如图1中仅示出2个终端，可以理解的，该水上航行场景下的环境地图生成装置还可以包括一个或多个其他终端，具体此处不作限定。
[0040]
另外，参照图1所示，该水上航行场景下的环境地图生成还可以包括存储器200，用于存储数据，如水面的静态信息和动态信息等。
[0041]
需要说明的是，图1所示的水上航行场景下的环境地图生成装置的场景示意图仅仅是一个示例，本发明实施例描述的水上航行场景下的环境地图生成装置以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着水上航行场景下的环境地图生成装置的演变和新业
务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
[0042]
本发明实施例提供了一种水上航行场景下的环境地图生成方法，该方法的流程示意图，如图2所示，该水上航行场景下的环境地图生成方法包括：
[0043]
步骤s1、获取水面的静态信息和动态信息；
[0044]
步骤s2、根据所述静态信息和动态信息，分别确定静态信息对应的点语义信息和动态信息对应的点语义信息；
[0045]
步骤s3、根据所述静态信息对应的点语义信息和动态信息对应的点语义信息构建二维数组，以所述二维数组构建环境地图。
[0046]
一个具体实施例中，将水上场景分为三个层次级别：场景级、状态级和态势级。将场景级根据驾驶场景信息的动态属性将多源异构信息划分为静态信息、动态信息和航行过程的导向信息。状态级主要是对场景级信息的扩展，不仅考虑了实体的存在状态还着重考虑了实体间的交互关系，主要包括地图实体间的拓扑连接关系、障碍物实体间的交互式行为关系和静、动态信息之间的约束关系。状态级信息包含了智能船舶的自身状态信息，态势级场景信息重点强调对航行场景在未来一段时间内可能状态的预测。
[0047]
作为一个优选的实施例，根据所述静态信息确定静态信息对应的点语义信息，包括：
[0048]
根据地图实体和静态障碍物实体，分别获取地图实体和静态障碍物实体的物体标签及标签概率，以地图实体的物体标签及地图实体的标签概率作为地图实体的点语义信息，以静态障碍物实体的物体标签及静态障碍物实体的标签概率作为静态障碍物实体的点语义信息。
[0049]
一个具体实施例中，静态信息包括地图实体和静态障碍物实体，地图实体包括位置比较固定的水上设施和水上浮标；静态障碍物实体是指水上航行场景中静止的非地图实体，主要包括静止的水上其他参与者和临时障碍物。
[0050]
作为一个优选的实施例，根据所述动态信息确定动态信息对应的点语义信息，包括：
[0051]
根据动态障碍物实体和动态环境信息，分别获取动态障碍物实体和动态环境信息的物体标签及标签概率，以动态障碍物实体的物体标签及地图实体的标签概率作为地图实体的点语义信息，以动态环境信息的物体标签及动态环境信息的标签概率作为动态环境信息的点语义信息。
[0052]
一个具体实施例中，动态信息包括动态障碍物实体状态和动态环境信息，动态障碍物实体是指在智能船舶行驶过程中其运动状态随时发生改变的其他水上参与者，动态环境信息主要指除了动态障碍物之外的动态场景信息，包括光强、天气情况和水面情况等。静态障碍物实体的状态和动态信息无法通过先验知识获得，需要环境感知系统的实时检测。
[0053]
作为一个优选的实施例，根据所述静态信息对应的点语义信息和动态信息对应的点语义信息构建二维数组，包括：根据所述静态信息对应的点语义信息和动态信息对应的点语义信息构建二维数组map，
[0054]
[0055]
其中，m
uv
＝(o
′
uv
,c
uv
,s
uv
,r
uv
)，s
uv
＝{(ii,p
′
ij
)：p
′
ij
》0}，m
uv
为第u行v列的二维数组对应的值，o
′
uv
占据率，c
uv
为点聚类标签，s
uv
为静态信息对应的点语义信息或动态信息对应的点语义信息，r
uv
为二维数据点的状态类型。
[0056]
一个具体实施例中，以扩展了占据栅格地图的方法来对环境地图进行表示，栅格地图可用一个二维数组表示，数组中每一个数据表示该点的占据率，即该点是障碍物点的概率。占据率的计算通过多次观测进行计算，当地图同一栅格点上多次被观测到存在障碍物，则其占据率将提高，但是如果同一栅格点只有少数次被观测到存在障碍物，而在此后观测中该栅格点不存在障碍物，则占据率将降低。占据栅格地图表达每个点对应的占据率，即对应点是否存在障碍物，但无法表达更多的空间信息，如物体标签，标签概率等。
[0057]
作为一个优选的实施例，以所述二维数组构建环境地图，包括：
[0058]
当二维数组map中的s
uv
为静态信息对应的点语义信息时，则以该二维数组构建静态环境地图，当二维数组map中的s
uv
为动态信息对应的点语义信息时，则以该二维数组构建动态环境地图。需要说明的是，suv可能包含多个物体标签
[0059]
作为一个优选的实施例，所述水上航行场景下的环境地图生成方法还包括在以所述二维数组构建环境地图后，对图像中的角点特征和线段特征进行特征提取跟踪，得到特征点，并以所述特征点形成特征空间，获取特征点的稳定跟踪的时间，在特征空间中增加生命周期为特征维度，利用特征空间聚类进行图像分割，以对环境地图进行优化。
[0060]
一个具体实施例中，在图像分割中考虑时间相关性，即基于特征跟踪的图像分割，具体为是对图像中的角点特征(harris角点或fast角点)和线段特征进行特征提取跟踪(光流跟踪或特征匹配跟踪)，统计特征点的稳定跟踪的时间(特征的生命周期，特征点生命周期短的区域更有可能是水面，而生命周期长的区域是障碍物区域的几率更大)；在特征空间中增加生命周期作为新的特征维度，利用特征空间聚类分割算法，如最近邻聚类、均值漂移或图分割，完成对当前输入图像的分割。通过上述图像分割，提高局部环境地图的连续创建的精度。
[0061]
需要说明的是，引入特征生命周期这个信息维度有助于提高小目标区域的分割效果，在图像分割任务中，由于目标过小导致被分割算法忽略的情况经常发生，但是角点检测跟踪算法对小目标图像区域的角点特征的检测准确率则比较高，基于以上观察，利用小目标对应的特征点的生命周期作为分割区域的一个特征权重放大系数，减少了小目标区域被周围大区域所吞并的危险，增加了小目标区域被算法成功检测的几率。
[0062]
作为一个优选的实施例，所述水上航行场景下的环境地图生成方法在进行图像分割后，利用高斯分布建模，获取特征点的特征时间统计量，将图像中每个像素的观测模型作为似然函数，将基于cnn的分割置信度作为先验概率，根据贝叶斯规则，计算图像中所有像素点的分类概率，利用该分类概率完成图像语义分割。
[0063]
需要说明的是，在区域生长图像分割算法中，区域生长种子的数目和位置分布是一个依赖于先验知识预先设定的参数，不同的初始种子数目和分布参数导致分割结果差别很大，同样的，在基于卷积神经网络的图像分割算法中，分割效果依赖于数据集的选取和数量，不同训练数据集会导致分割结果存在很大差异。
[0064]
一个具体实施例中，利用贝叶斯框架，基于不同生命周期的特征在当前输入图像中的位置分布聚集特点，选取合适的区域种子数目和种子位置，减少分割结果对先验参数
的依赖性，具体为，设计一个包含视频序列特征点生命周期信息的语义特征来区分不同的场景区域，图像特征点的特征时间统计量可采用高斯分布建模，在贝叶斯框架中，将每个像素的观测模型作为似然函数，将基于cnn的分割置信度作为先验概率。根据贝叶斯规则，计算图像中所有像素点的分类概率，最后利用该分类概率完成图像语义分割。
[0065]
本发明实施例提供了一种水上航行场景下的环境地图生成装置，该装置的结构框图，如图3所示，该装置包括场景信息获取模块1、点语义信息获取模块2及地图构建模块3；
[0066]
所述场景信息获取模块1，用于获取水面的静态信息和动态信息；
[0067]
所述点语义信息获取模块2，用于根据所述静态信息和动态信息，分别确定静态信息对应的点语义信息和动态信息对应的点语义信息；
[0068]
所述地图构建模块3，用于根据所述静态信息对应的点语义信息和动态信息对应的点语义信息构建二维数组，以所述二维数组构建环境地图。
[0069]
本发明实施例提供了一种电子设备，其结构框图，如图4所示，所述电子设备包括存储器20和处理器10，所述存储器20上存储有计算机程序30，所述计算机程序30被所述处理器10执行时，实现如上述任一实施例所述的水上航行场景下的环境地图生成方法。
[0070]
本发明公开了一种水上航行场景下的环境地图生成方法、装置、电子设备及计算机可读存储介质，通过获取水面的静态信息和动态信息，以静态障碍物实体的物体标签及静态障碍物实体的标签概率作为静态障碍物实体的点语义信息，以动态环境信息的物体标签及动态环境信息的标签概率作为动态环境信息的点语义信息，通过所述静态信息对应的点语义信息和动态信息对应的点语义信息构建二维数组，以所述二维数组构建环境地图；实现了在水上航行场景下较为准确的环境地图的生成。
[0071]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0072]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。