位姿信息确定方法、装置和可移动设备与流程

本申请涉及可移动设备领域，且更具体地，涉及一种位姿信息确定方法、装置和可移动设备。

背景技术：

可移动设备(例如，机器人)在执行任务时需要实时定位自己的位置和朝向信息(即，位姿信息)，进而执行目的地决策规划、实时障碍物感知等。

现有的高精定位主要有两种方法：一种是高精全球定位系统(gps)/实时动态差分(rtk)配合高端移动接收设备，在没有遮挡等影响的理想情况下，它可以获得厘米级定位精度；另一种是基于传统的高精数字地图配合高精传感器(通常是比较昂贵的激光雷达和高端组合导航系统)，通过高精传感器采集实时数据并与高精地图进行匹配，从而得到高精定位。

然而，上述的第一种方法需要额外的地面站，第二种需要专门的地图采集设备，实用性较低。也就是说，传统的方法更多地将定位功能放在服务器设备端(云端)，显著加大了云端基础设施的开销。

技术实现要素：

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种位姿信息确定方法、装置、可移动设备、计算机程序产品和计算机可读存储介质，其可以高效准确地获得可移动设备的位姿信息。

根据本申请的一个方面，提供了一种位姿信息确定方法，应用于可移动设备，所述方法包括：接收由环境传感器获取的所述可移动设备正在其中移动的当前移动环境的样本数据，所述样本数据包括位置数据和图像数据；至少根据所述位置数据来确定所述可移动设备的局部位姿信息；根据所述可移动设备的局部位姿信息和所述图像数据来构建所述当前移动环境的局部语义地图，所述局部语义地图包括所述当前移动环境中的语义实体及其属性信息，所述语义实体是可能影响移动的实体，所述属性信息表明了所述语义实体的物理特性；获取所述当前移动环境的全局语义地图；在所述全局语义地图中匹配所述局部语义地图；以及响应于在所述全局语义地图中匹配到所述局部语义地图，根据匹配的结果来更新所述局部位姿信息。

根据本申请的另一方面，提供了一种位姿信息确定装置，应用于可移动设备，所述装置包括：样本数据接收单元，用于接收由环境传感器获取的所述可移动设备正在其中移动的当前移动环境的样本数据，所述样本数据包括位置数据和图像数据；位姿信息确定单元，用于至少根据所述位置数据来确定所述可移动设备的局部位姿信息；语义地图构建单元，用于根据所述可移动设备的局部位姿信息和所述图像数据来构建所述当前移动环境的局部语义地图，所述局部语义地图包括所述当前移动环境中的语义实体及其属性信息，所述语义实体是可能影响移动的实体，所述属性信息表明了所述语义实体的物理特性；语义地图获取单元，用于获取所述当前移动环境的全局语义地图；语义地图匹配单元，用于在所述全局语义地图中匹配所述局部语义地图；以及位姿信息更新单元，用于响应于在所述全局语义地图中匹配到所述局部语义地图，根据匹配的结果来更新所述局部位姿信息。

根据本申请的另一方面，提供了一种可移动设备，包括：处理器；存储器；以及存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述的位姿信息确定方法。

根据本申请的另一方面，提供了一种位姿信息确定系统，包括：上述的可移动设备；以及服务器设备，用于存储当前移动环境的全局语义地图。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的位姿信息确定方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的位姿信息确定方法。

与现有技术相比，采用根据本申请实施例的位姿信息确定方法、装置、可移动设备、计算机程序产品和计算机可读存储介质，可以接收由环境传感器获取的所述可移动设备正在其中移动的当前移动环境的样本数据，所述样本数据包括位置数据和图像数据；至少根据所述位置数据来确定所述可移动设备的局部位姿信息；根据所述可移动设备的局部位姿信息和所述图像数据来构建所述当前移动环境的局部语义地图，所述局部语义地图包括所述当前移动环境中的语义实体及其属性信息，所述语义实体是可能影响移动的实体，所述属性信息表明了所述语义实体的物理特性；获取所述当前移动环境的全局语义地图；在所述全局语义地图中匹配所述局部语义地图；并且响应于在所述全局语义地图中匹配到所述局部语义地图，根据匹配的结果来更新所述局部位姿信息。因此，可以高效准确地获得可移动设备的位姿信息。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的位姿信息确定系统的框图。

图2图示了根据本申请实施例的位姿信息确定方法的流程图。

图3图示了根据本申请实施例的局部位姿信息确定步骤的流程图。

图4图示了根据本申请实施例的局部语义地图构建步骤的流程图。

图5图示了根据本申请实施例的语义地图匹配步骤的流程图。

图6图示了根据本申请实施例的基于类别属性匹配子步骤的流程图。

图7图示了根据本申请实施例的局部位姿信息更新步骤的流程图。

图8图示了根据本申请实施例的位姿信息确定方法的附加步骤的流程图。

图9图示了根据本申请实施例第一具体示例的位姿信息确定场景的示意图。

图10图示了根据本申请实施例第二具体示例的位姿信息确定场景的示意图。

图11图示了根据本申请实施例的位姿信息确定装置的框图。

图12图示了根据本申请实施例的可移动设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，现有的高精定位方法存在以下问题：

1)支撑设备复杂昂贵：差分定位方法需要全面大范围的基站覆盖，并且需要云端整合通信矫正；而传统高精地图定位方法也需要高端的组合导航系统和昂贵激光雷达等高成本设备；

2)支撑系统复杂、地图维护成本高：大范围的差分定位需要云端运行复杂的解算算法，来融合大量基站的矫正数据降低噪声并提供大量移动端的实时访问；传统高精地图的制作通常需要采用昂贵专业传感器多次采集数据，制作成本很高，很难做到大量采集端实时采集更新，同时采集得到的大量数据需要复杂耗时的离线处理(很可能需要人工)才能得到高精地图。

针对现有技术中存在的问题，本申请的基本构思是提出一种位姿信息确定方法、位姿信息确定装置、可移动设备、计算机程序产品和计算机可读存储介质，其可以通过提升可移动设备的智能性来减轻服务器设备的基础设施开销。具体地，可移动设备(例如，车辆)首先根据普通硬件得到局部语义地图和定位结果，用于车辆自动驾驶的决策控制，当进一步从服务器设备(例如，云端)下载到高精的全局语义地图时，还可以通过语义地图学习匹配得到全局高精定位。

换言之，通过本发明构思，可移动设备可以利用普通gps加结构化语义标志进行位姿计算，专门的差分gps基站不是必须的。由于充分利用现有移动环境(例如，道路)交通基础设施，因此，具有成本底适用范围广的特性。传统的定位方法主要依赖云端设施和计算，实时性和可靠性较低。相反地，在本申请的实施例中，通过更加智能的可移动设备，极大地增强了其自身的定位能力，使其能够更加智能快速地根据场景进行实时决策，并在结构化语义信息足够的情况下获取全局定位结果，因此，整体上系统更加快速可靠智能。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图1图示了根据本申请实施例的位姿信息确定系统的框图。

如图1所示，根据本申请实施例的位姿信息确定系统包括可移动设备100和服务器设备200。

该可移动设备100可以在已知或未知的移动环境中进行移动。当在没有先验语义地图的未知移动环境中移动时，其可以根据采集到的环境样本数据，进行局部位姿计算，新建未知移动环境的局部语义地图，并根据局部定位结果来进行移动控制。当在存在先验语义地图的已知移动环境中移动时，其可以利用该先验语义地图和局部语义地图进行语义匹配，从而提高自己的局部定位精度，以生成更加精确高效的移动控制策略。此外，该可移动设备100还可以将该局部语义地图上传到服务器设备200中。

该服务器设备200可以接收可移动设备100的下载请求，检测是否存在可移动设备100正在其中移动的当前移动环境的先验语义地图，如果存在，则将该先验语义地图提供给该可移动设备100。此外，该服务器设备200还可以接收该可移动设备100上传的局部语义地图，对该局部语义地图和先验的全局语义地图进行融合，以实现语义地图的动态学习过程。

例如，该可移动设备100可以是能够在移动环境中移动的任何类型的电子设备。例如，该移动环境例如可以是室内环境和/或室外环境。并且，该可移动设备100可以是用于各种用途的可移动机器人，例如，可以是诸如车辆、飞行器、航天器、水中运载工具之类的交通工具等。当然，本申请不限于此。例如，它也可以是扫地机器人、擦窗机器人、空气净化机器人、安防机器人、家电管理机器人、提醒机器人、巡逻机器人等。

该服务器设备200可以是云端服务器，其运算处理能力较强，并可包含多个处理引擎对语义地图进行融合。当然，本申请不限于此。例如，该服务器设备200也可以全部或部分地位于可移动设备100的本地端，并且形成分布式服务器的架构。

需要注意的是，图1所示的位姿信息确定系统仅是为了便于理解本申请的精神和原理而示出，本申请的实施例不限于此。例如，该可移动设备100和或该服务器设备200可以是一个或多个。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。为了描述方便，将以在道路上行驶的车辆和云端服务器分别作为可移动设备100和服务器设备200的示例进行说明。

可移动设备的示例性方法

首先，将描述根据本申请实施例的应用于可移动设备100的位姿信息确定方法。

图2图示了根据本申请实施例的位姿信息确定方法的流程图。

如图2所示，根据本申请实施例的位姿信息确定方法可以应用于可移动设备100，并且包括：

在步骤s110中，接收由环境传感器获取的所述可移动设备正在其中移动的当前移动环境的样本数据，所述样本数据包括位置数据和图像数据。

可移动设备100(例如，车辆)可以在移动环境(例如，道路)中进行移动，同时它可以利用在其上装备的环境传感器来捕捉所述移动环境的样本数据。

例如，该环境传感器可以用于获取所述可移动设备正在其中移动的当前移动环境的样本数据，它可以是各种类型的传感器。例如，它可以包括：用于捕捉图像数据的图像传感器，其可以是摄像头或摄像头阵列；用于捕捉扫描数据的激光传感器；用于获取可移动设备100的实时位置坐标的gps器件；用于基于载波相位观测值进行实时动态定位的rtk器件、用于基于物体三轴姿态角(或角速率)以及加速度进行定位的惯性测量单元(imu)器件等。当然，该环境传感器也可以是其他各种器件，只要其能够产生用于描述移动环境的样本数据即可。需要说明的是，在本申请的实施例中，该环境传感器无需采用高端传感器，而可以是低成本的采集器件即可。

例如，基本地，环境传感器获取到的样本数据可以包括车辆的位置数据以及该车辆周围环境的图像数据。例如，该位置数据可以是该可移动设备100的绝对位置坐标(例如，gps器件直接得到的经纬度)，也可以是相对位置坐标(例如，由车辆车轮的转动圈数、速度等得到的累计运动参数，诸如距离等)。该图像数据可以是相机视觉图像，也可以是激光扫描图像。更进一步地，该样本数据还可以包括姿态数据，其可以是通过差分gps而获得的绝对朝向角度，也可以是相对朝向角度(例如，由车辆车轮的转动角度等得到的累计运动参数，诸如方向等)。例如，该姿态数据可以与位置数据相结合而形成位姿数据。

在步骤s120中，至少根据所述位置数据来确定所述可移动设备的局部位姿信息。

在一个示例中，可以仅仅基于位置数据(和姿态数据)来确定所述可移动设备在当前移动环境中的局部位姿信息。

简单地，可以仅仅根据所采集的位置数据来确定所述可移动设备在当前移动环境中的局部位姿信息。例如，可以直接将车辆的gps经纬度参数作为它的局部位置坐标，并通过前后两帧gps参数的差分计算出局部朝向角度，而结合生成局部位姿信息。由于这种位姿信息仅仅依靠gps获得，所以它是一种绝对局部位姿信息。

替换地，也可以根据所采集的位置数据和姿态数据(位姿数据)来确定所述可移动设备在当前移动环境中的局部位姿信息。例如，可以根据车辆启动时的初始位姿信息和imu所得到的累计运动距离和方向等参数来确定该车辆的局部位姿信息。由于这种位姿信息仅仅依靠运动变化获得，所以它是一种相对局部位姿信息。

由于gps可能存在遮挡、多径效应等因素影响其定位精确度，而累计运动参数也可能存在误差累计等因素而产生定位偏差，进一步地，也可以对两者结果进行融合，以获得更加准确可靠的局部位姿信息。

在另一示例中，在确定所述可移动设备的局部位姿信息的过程中，还可以进一步引入图像数据。下面，将参考图3进行说明。

图3图示了根据本申请实施例的局部位姿信息确定步骤的流程图。

如图3所示，步骤s120可以包括：

在子步骤s121中，至少根据所述位置数据来确定所述可移动设备的绝对位姿信息。

在子步骤s122中，至少根据所述图像数据来确定所述可移动设备的相对位姿信息。

在子步骤s123中，根据所述绝对位姿信息和所述相对位姿信息来生成所述局部位姿信息。

除了gps、imu这种传统意义上的定位器件之外，车辆中装备的相机和/或激光传感器所采集的实时视觉图像和/或扫描图像在经过算法处理之后，也可以得到局部里程计。局部里程计例如可以体现出两帧图像之间车辆的局部运动差异，其可以计算出车辆在这两帧之间的局部相对位移和转向等。换言之，通过将imu、gps及相机局部里程计融合，可以得到更加鲁棒更加精确的局部定位结果。例如，这种融合过程可以是修正噪声比较大的局部位姿信息。

在步骤s130中，根据所述可移动设备的局部位姿信息和所述图像数据来构建所述当前移动环境的局部语义地图，所述局部语义地图包括所述当前移动环境中的语义实体及其属性信息，所述语义实体是可能影响移动的实体，所述属性信息表明了所述语义实体的物理特性。

在确定所述可移动设备的局部位姿信息之后，可以进一步根据它和样本数据中的图像数据来构建局部语义地图。

图4图示了根据本申请实施例的局部语义地图构建步骤的流程图。

如图4所示，步骤s130可以包括：

在子步骤s131中，根据所述图像数据来检测所述当前移动环境中的语义实体。

例如，可以根据所采集的图像数据来检测当前移动环境中存在哪些语义实体。例如，所述语义实体可以是可能影响可移动设备100自身移动的实体。当然，本申请不限于此。例如，更广义地，它也可以是可能影响除了可移动设备100之外其他关注物体移动的实体。这是因为例如，尽管可移动设备100是车辆，但是其在构建地图的过程中，可以同样考虑到可能在该道路上出现的其他交通实体(例如，行人、自行车等)作为将来使用该地图的潜在主体。

例如，在可移动设备100是车辆的情况下，该语义实体可以是可行驶道路、路沿、交通标志(例如，诸如信号灯、摄像头、路牌等立体标志，诸如车道线、停止线、人行横道等路面标志)、隔离带、绿化带等。

通常来说，所述语义实体遵循一定规范并具有具体意义。例如，它可能具有特定的几何形状(例如，圆形、正方形、三角形、长条形等)，或者可能具有特定的特征标识(例如，二维码等)。另外，它上面可能画有停止标记、慢行标记、前方落石标记等，从而体现出它的含义。

具体地，该子步骤s131可以包括：对所述图像数据进行检测跟踪识别；以及根据检测跟踪识别的结果来确定所述当前移动环境中的语义实体。

例如，每辆车可以根据本地计算进行语义实体的检测跟踪识别。具体地，可以通过预先基于大量样本训练好的机器学习模型来提取所述图像数据中的特征表示，并且根据所述特征表示来进行语义实体检测。例如，该机器学习模型可以采用诸如卷积神经网络、深度置信网络之类的各种机器学习模型来实现。

在子步骤s132中，根据所述局部位姿信息和所述图像数据来确定所述语义实体的属性信息。

接下来，可以将可移动设备的局部位姿信息和基于图像数据检测到的语义实体两者进行综合来确定各个语义实体包括哪些属性信息。

例如，所述属性信息可以表明所述语义实体的物理特性，例如所述语义实体可能影响可移动设备100自身移动的属性。类似地，更广义地，它也可以表明所述语义实体可能影响可移动设备100之外其他关注物体移动的属性。

例如，基本地，该属性信息也可以是各个语义实体的位置、形状、尺寸、朝向等空间属性信息。此外，该属性信息可以是各个语义实体的类别属性信息(诸如，每个语义实体究竟是可行道路、路沿、车道及车道线、交通标志、路面标志、红绿灯、停止线、人行横道、路边树木或柱子等中的哪一种)。

例如，该子步骤s132可以包括：根据所述图像数据来确定所述语义实体与所述可移动设备之间的相对位置关系；以及根据所述局部位姿信息和所述相对位置关系来确定所述语义实体的空间属性信息。

例如，每辆车在根据本地计算进行语义实体的检测跟踪识别之后，然后根据跟踪序列和本车融合gps/rtk及语义定位位置方向，计算出语义标志的空间属性。例如，该空间属性可以包括语义标志的尺寸、形状、朝向、高度、占据等各种与空间特性相关的属性。

除了空间属性信息以外，例如，还可以根据图像数据(例如，图像的检测跟踪识别的结果)，进一步确定出各个语义实体的类别。

在子步骤s133中，根据所述语义实体及其属性信息来构建所述局部语义地图。

一旦确定了当前移动环境中包括的各个语义实体及其属性信息，就可以对这些信息进行综合，以构建基于当前帧样本数据的局部语义地图。即，将各帧语义标志结果进行重建并加入位置尺寸等属性，得到具有绝对属性的语义标志地图。

在步骤s140中，获取所述当前移动环境的全局语义地图。

在步骤s110之前、之后、或与之同时地，可以获取事先生成的全局语义地图，以根据先验信息来确定在当前移动环境中存在哪些语义实体。

例如，该全局语义地图可以存储在可移动设备100中，例如，它可能是事先从服务器设备200下载的，也可能是该可移动设备100以前构建之后存储在本地的。替换地，该全局语义地图也可以实时从服务器设备200下载的。

通常来说，为了高精的全局语义地图，在系统中可以采用众包在线学习的方式来生成高精度语义地图。即，系统中的每个可移动设备100都可以将本地生成的局部语义地图上传到服务器设备200(例如，云端)。一旦服务器设备200从可移动设备100(车辆)获得到局部语义地图，则可以解析该车辆当前正处于哪一条道路、在该道路上都有哪些语义实体(可行道路、路沿、车道及车道线、交通标志、路面标志、红绿灯、停止线、人行横道、路边树木柱子等)、及其相应的属性(位置、尺寸、朝向、类别等)，并对这些语义实体及其属性不断融合，以使得地图更加完整，并提高其精度。

也就是说，当一条路还没有高精度地图时，装有相关设备和算法的众包车辆经过会生成本条路部分高精度地图(限于相机视角和语义标志置信度的考虑，可能本次移动车辆只上传部分地图)，随着这条路车辆经过次数的增多，一方面地图的完整性越来越好，另一方面地图的精度(语义标志的属性精度，比如位置坐标、类别、大小、朝向等)也会提高。

在一个示例中，该步骤s140可以包括：根据所述位置数据来从服务器设备中下载所述全局语义地图。

例如，该可移动设备100(车辆)可以与服务器设备200(云端服务器)进行通信并尝试获取该当前移动环境的先验的全局语义地图。

例如，可以根据之前确定的该车辆的粗gps坐标来从服务器设备200获取该先验的全局语义地图。当然，也可以基于经过图像数据修正后的局部位姿信息来下载该先验语义地图。替换地，也可以根据该车辆的运动轨迹来获取该地图等。

如果没有获得到先验的全局语义地图，则说明目前的道路没有任何众包车辆曾经走过。那么，可以直接根据所述当前移动环境的非语义数字地图(传统意义上的数字地图)和粗gps坐标(或修正后的局部位姿信息等)来生成移动控制策略，所述移动控制策略用于控制所述可移动设备以使其能够实现所述当前移动环境中的预定移动目的。例如，依赖本地的传感器结合现有的数字地图进行局部低速路径规划和控制，比如确定要走的目标道路、根据本地移动端得到的可行区域、可行道路进行规划控制、根据得到的实时准确的车道线进行换道或者巡航。

如果获得了先验的全局语义地图，则本方法进入到步骤s150。

在步骤s150中，在所述全局语义地图中匹配所述局部语义地图。

如果该可移动设备100(车辆)从服务器设备200(云端服务器)获得了先验的全局语义地图，则说明目前的道路之前已经有众包车辆曾经走过。那么，可以对全局语义地图和局部语义地图进行匹配，以得到地图定位结果。

在步骤s160中，响应于在所述全局语义地图中匹配到所述局部语义地图，根据匹配的结果来更新所述局部位姿信息。

当一条道路已有全部或者部分地图时，相机视频序列的语义标志结果会与云端地图进行匹配搜索，得到地图定位结果，然后与imu、gps、里程计进行融合获得更优的位姿输出。

下面，将具体说明步骤s150和s160的执行过程。

图5图示了根据本申请实施例的语义地图匹配步骤的流程图。

如图5所示，步骤s150可以包括：

在子步骤s151中，对所述全局语义地图进行解析，以确定其中的语义实体及其属性信息。

一旦可移动设备100(车辆)从服务器设备200(云端服务器)获得全局语义地图，则可以解析当前移动环境都包括哪些道路、在各道路上都有哪些语义实体(可行道路、路沿、车道及车道线、交通标志、路面标志、红绿灯、停止线、人行横道、路边树木柱子等)、及其相应的属性(位置、尺寸、朝向、类别等)。

在子步骤s152中，根据属性信息来寻找所述全局语义地图和所述局部语义地图中的语义实体匹配对。

例如，简单地，可以依据各个语义实体的位置坐标来对局部语义地图与云端的全局语义地图进行匹配。即，利用车辆的粗gps坐标来执行上述匹配操作。

然而，由于gps可能存在遮挡、多径效应等因素影响其定位精确度，而累计运动参数也可能存在误差累计等因素而产生定位偏差，所以仅仅基于位置坐标的定位可能无法实现更好地匹配。

在第一示例中，可以基于语义实体的类别属性来执行度量缩放匹配操作。度量缩放匹配是局部地图跟真实地图可能有尺度差别，所以匹配的时候会忽略尺度影响或者是里面加一个尺度因子。其中，度量就是指根据局部位姿信息得到的相对位置、形状大小、高度大小等属性信息。

图6图示了根据本申请实施例的基于类别属性匹配子步骤的流程图。

如图6所示，子步骤s152可以包括：

在动作s1521中，确定所述局部语义地图中的有效语义实体，所述有效语义实体是其置信度大于或等于预定阈值的语义实体。

在动作s1522中，根据所述有效语义实体的属性信息来确定所述有效语义实体的有效定位方向和非有效定位方向。

在动作s1523中，在所述非有效定位方向中对所述局部语义地图进行度量缩放匹配。

在动作s1524中，根据度量缩放匹配的结果来寻找所述语义实体匹配对。

例如，为了获得更加精确的匹配结果，提高匹配置信度，可以根据获取的高精度语义地图和局部语义地图(可以是基于单帧样本数据所生成的单帧语义地图，也可以是将多个单帧语义地图合并而成的多帧语义地图)里最有效的语义标志(语义实体)类别，采取不同的匹配缩放算法，根据匹配标志类别矫正当前的局部位姿精度。

例如，交通设施中不同类别的语义标志具有不同方向的定位作用，其中路面标志、标志牌、横向路口等立体标志能够矫正车辆在纵向(即，车道延伸方向，其通常平行于车辆行驶方向)上的定位精度，车道线、路沿等路面标志能够矫正车辆在横向(即，车道偏离方向，其通常偏离于车辆行驶方向，例如与车辆行驶方向垂直或以一定角度相交)上的定位精度。

比如，在车道线和路沿可靠的情况下，可以对局部语义地图的纵向进行度量缩放匹配；而在红绿灯、路牌可靠的情况下可以对局部语义地图横向进行度量缩放匹配。这样，使得局部语义地图和全局语义地图的匹配过程具有一定的尺度鲁棒性。

图7图示了根据本申请实施例的局部位姿信息更新步骤的流程图。

如图7所示，子步骤s160可以包括：

在子步骤s161中，在所述非有效定位方向中，根据所述语义实体匹配对之中所述全局语义地图中的语义实体的属性信息来修正所述语义实体匹配对之中所述局部语义地图中的语义实体的属性信息。

在子步骤s162中，根据修正后的所述局部语义地图中的语义实体的属性信息来校正所述局部位姿信息。

由于局部语义地图中的有效语义实体在有效定位方向中具有很高的置信度，所以可以仅仅根据全局语义地图中的匹配语义实体的属性信息来在非有效定位方向中修正该有效语义实体的属性信息(例如，位置、距离、形状、高矮等)，从而更新可移动设备的局部位姿信息。当然，也可以同时在有效定位方向和非有效定位方向中进行同时更新，以获得更为综合的效果。

替换地或附加地，在第二示例中，可以基于语义实体的类别属性来执行拓扑度量语义匹配操作。拓扑度量语义匹配是由于如果仅仅基于单帧语义地图或少数几帧语义地图进行匹配，在附近的地图中可能同时搜索到几个匹配，但是实际上只可能有一个是真实匹配的，因此，通过由多数几帧语义地图拼接成的轨迹语义地图匹配，可以把那些误配去掉。其中，度量就是指根据局部位姿信息得到的相对位置、形状大小、高度大小等属性信息。拓扑指的是各个语义实体的出现顺序，例如，前后、左右、上下等关系属性(无需考虑具体值)。

如图6所示，子步骤s152还可以包括：

在动作s1525中，利用所述局部语义地图与所述全局语义地图进行拓扑度量语义匹配。

在动作s1526中，根据拓扑度量语义匹配的结果来寻找所述语义实体匹配对。

当局部语义地图中附近存在相近的重复场景时，可以利用已经建立的局部语义地图与获取的高精度语义地图进行整体的拓扑度量语义匹配，以根据匹配标志类别矫正当前的局部位姿精度。

相应地，如图7所示，子步骤s160还可以包括：

在子步骤s163中，根据所述语义实体匹配对之中所述全局语义地图中的语义实体的属性信息来所述语义实体的有效定位方向。

在子步骤s164中，在所述有效定位方向中，根据所述语义实体匹配对之中所述全局语义地图中的语义实体的属性信息来修正所述语义实体匹配对之中所述局部语义地图中的语义实体的属性信息。

在子步骤s165中，根据修正后的所述局部语义地图中的语义实体的属性信息来校正所述局部位姿信息。

与第一示例类似地，由于交通设施中不同类别的语义标志具有不同方向的定位作用，所以可以首先确定全局语义地图中的匹配语义实体的有效定位方向，并且在该有效定位方向中修正局部语义地图中的匹配语义实体的属性信息(例如，位置、距离、形状、高矮等)，从而更新可移动设备的局部位姿信息。

需要说明的是，该第一示例和第二示例可以单独实现，也可以组合实现，在组合情况下，第一示例和第二示例的执行顺序并不构成对本申请的限定。但是较佳地，由于第一示例仅仅基于单帧或少数几帧局部语义地图来进行匹配，其需要的计算量较小，而第二示例要基于轨迹局部语义地图来进行匹配，其需要的计算量较大，所以较佳地，可以先执行第一示例的匹配过程，再执行第二示例的匹配过程。

这样，当基于单帧或少数几帧局部语义地图所得到的匹配置信度不高时，利用轨迹语义地图进行整体的拓扑度量语义匹配，可以剔除掉误配噪声，进一步提高定位精度，校正先前所得到的局部位姿信息。在获得更加准确的局部定位之后，可移动设备100还可以进一步地基于该结果来进行移动控制。

此外，根据本申请实施例的位姿信息确定方法还可以包括其他的一个或多个附加步骤。

图8图示了根据本申请实施例的位姿信息确定方法的附加步骤的流程图。

如图8所示，根据本申请实施例的位姿信息确定方法还可以包括：

在步骤s170中，根据所述全局语义地图和更新后的局部位姿信息来生成移动控制策略，所述移动控制策略用于控制所述可移动设备以使其能够实现所述当前移动环境中的预定移动目的。

在全局和局部语义地图匹配的置信度足够高(定位成功)的情况下，可以根据更新的局部位姿信息来进行相应的移动决策规划，例如以便实现自动驾驶/辅助驾驶的目的，例如提前规划路径，降低油耗、躲避事故等。

在步骤s180中，响应于在所述全局语义地图中没有匹配到所述局部语义地图，根据所述当前移动环境的非语义数字地图和原始的局部位姿信息来生成移动控制策略，所述移动控制策略用于控制所述可移动设备以使其能够实现所述当前移动环境中的预定移动目的。

在没有与全局语义地图匹配上、而不能获取高精度定位的情况下，可移动设备100可以简单地依赖本地的感知系统结合粗精度定位地图(例如，现有的数字地图)进行局部低速路径规划和控制，比如确定要走的目标道路、根据本地移动端得到的可行区域、可行道路进行规划控制、根据得到的实时准确的车道线进行换道或者巡航。

更进一步地，在生成可移动设备100的移动控制策略的同时，如果能够在保证可移动设备100安全地实现移动目的的同时，进一步兼顾语义地图匹配，这显然是期望的。

因此，在步骤s170或步骤s180之后，在步骤s182中，根据所述位置数据和所述全局语义地图来确定所述可移动设备的辅助控制策略，所述辅助控制策略用于控制所述可移动设备以使其能够主动获取所述当前移动环境中即将出现的语义实体。

在步骤s184中，对所述移动控制策略和所述辅助控制策略进行综合，以生成综合控制策略。

在全局和局部语义地图匹配的置信度不够高，即定位置信度还是比较低的情况下，可以根据粗精度定位和获取的高精度语义地图结合，进行不影响安全、舒适性和目的地的主动决策(比如，车辆换道、朝向调整、车载相机焦距朝向调整等)，以主动地获取可能有关键语义标志(在本位置处，对于横向纵向起决定作用的定位语义标志)的视频序列进行检测跟踪识别及与高精度语义地图的匹配，提高位姿精度。

在步骤s190中，将所述局部语义地图上传到服务器设备。

在获得局部语义地图之后，为了实现众包模式，每个可移动设备还可以将该地图上传到服务器设备200(例如，云端)，以实现地图动态更新的技术效果。

例如，车辆可以将本地综合后的地图上传到云端，整体的传输数据量是很小的，并且是自动化的建图过程，不需要人工标注。例如，可以生成一帧局部语义地图之后立刻将它上传到云端，也可以将多帧局部语义地图综合为轨迹语义地图，然后再执行上传操作。例如，可以基于时间(例如，每隔一段时间)形成一个轨迹语义地图，也可以基于其他条件(例如，从驶入一条道路开始到驶出该道路为止)触发生成轨迹语义地图。

由此可见，采用根据本申请实施例的位姿信息确定方法，可以接收由环境传感器获取的所述可移动设备正在其中移动的当前移动环境的样本数据，所述样本数据包括位置数据和图像数据；至少根据所述位置数据来确定所述可移动设备的局部位姿信息；根据所述可移动设备的局部位姿信息和所述图像数据来构建所述当前移动环境的局部语义地图，所述局部语义地图包括所述当前移动环境中的语义实体及其属性信息，所述语义实体是可能影响移动的实体，所述属性信息表明了所述语义实体的物理特性；获取所述当前移动环境的全局语义地图；在所述全局语义地图中匹配所述局部语义地图；并且响应于在所述全局语义地图中匹配到所述局部语义地图，根据匹配的结果来更新所述局部位姿信息。因此，可以高效准确地获得可移动设备的位姿信息。

具体地，本申请的实施例具有以下优点：

1)利用语义标志特性提高定位精度，比如一条路的车道线、路沿等能够提高横向定位精度，杆子、树木、标志牌等能够提高纵向定位精度，停止线、人行道、红绿灯可以提高路口定位精度；

2)利用轨迹(高精度局部里程计)得到的局部语义标志地图匹配得到高精度全局定位结果，比如一辆车从进入一条路开始即可以完整地检测跟踪车道线，那么在这条路上任何时刻车辆是可以得到其所在车道相对于初始车道的偏移的，这个信息可以降低单帧车道线定位的误配。车辆的局部语义标志地图(跟全局地图一样，只是是本次采集得到的，还没有全局坐标)跟服务器端地图匹配(是序列加标志的匹配)，可以提高全局地图匹配定位的精度。

具体示例

接下来，将描述根据本申请实施例的位姿信息确定方法的具体示例。其中假设可移动设备为车辆、服务器设备为云端服务器。

在本申请实施例的具体示例中，移动端车辆开机后首先依据本地能力进行局部建图和感知，包括对路面、车道线、路沿、可行区域和地面标识、标志牌、红绿灯、停止线、人行横道等的检测跟踪识别及重建，并根据gps、imu、视觉里程计等得到的局部相对定位位姿注册到局部地图中，得到局部语义标志地图，车辆可以根据这个局部语义地图和实时感知进行决策控制。同时，依据gps位置，车辆会将局部语义地图与云端的全局语义地图进行匹配，当匹配置信度超过一定阈值后，局部语义地图会进行全局位置矫正，得到准确的全局位姿，进而车辆可以进行更加复杂和一致的全局规划控制。局部语义地图与全局语义地图的匹配是一个动态过程，不同类别的语义标志可以提高不同方向的位姿置信度，整体的局部轨迹语义地图匹配会进一步精华位置剔除噪声。

在下面的第一具体示例中，将重点说明是如何基于单帧语义地图中的语义标志来提高定位精度的。

图9图示了根据本申请实施例第一具体示例的位姿信息确定场景的示意图。

交通设施中不同类别的语义标志具有不同的定位作用，其中路面标志、标志牌、横向路口等能够矫正车辆的纵向定位，车道线(及类别)、路沿等能够矫正车辆的横向定位，如图9所示，当车辆行驶至a点时，车只能获得一个大致的定位位置，因为此时遇到的语义标志不够明显；当车辆行驶到b点时，由于移动端识别到了准确的标志牌标志并跟云端语义地图进行匹配，因此车辆纵向定位精度得到提高，但是横向精度依然不足；当车辆行驶到c点时候，道路出现了车道线和路沿并且车辆能够准确识别建模，因此车辆横向定位精度也得到矫正，整体精度进一步提高，为后续决策提供更好的依据。

在下面的第二具体示例中，将重点说明是如何基于局部轨迹语义地图来提高定位精度的。

图10图示了根据本申请实施例第二具体示例的位姿信息确定场景的示意图。

单个结构化语义标志很容易在地图中重复(比如，在gps坐标附近有多个限速标志牌)，因此可能会造成定位出现偏差，如图10所示，当车辆在gps位置和行驶道路附近识别到一类圆形标志牌时，由于附近有多个同一类别的标志牌(同时存在于位置a、位置b和位置c)，因此在几个标志牌处得到同样的定位置信度。随着车辆的前行，当遇到另一类三角形标志，此时局部轨迹中有分别按顺序有一类圆形和一类三角形标志牌，由于附近有这样分布形式的标志牌的数目变少(仅仅存在于位置b和位置c)，这样根据与语义地图匹配进一步剔除干扰，提高可能位置的置信度。随着车辆的继续前行，当行驶到一类正方形标志牌处，由于附近道路上只有一处具有同样的这三类标志牌的类别和位置顺序的分布形式(唯一存在于位置c)，因此获得很高置信度的最终定位姿态。

因此，采用本方案可以利用更简单廉价的设备实现自动驾驶车辆的定位，最直接的比如安装有摄像头、gps、imu等设备具有车道线、交通标志和行人车辆检测跟踪识别功能的视觉高级驾驶辅助系统(adas)系统，同时本方案兼容高差分gps或者双目、低线数激光雷达等系统。另外，本方案基于当前已经有大量应用的常见设备感知已有的语义标志实现定位，不需要大量的基础设施改造和配合，支撑系统和云端系统简单，定位地图的制作、存储、处理、传输代价低。最后，本方案使得移动端具有较强的智能性，能够仅仅依赖移动端的能力进行局部建图和感知决策，并在云端全局地图可用置信度较高的情况下进行全局位姿矫正，因此，本方案具有更好的适应性、鲁棒性和实时性。

需要说明的是，由于本方案极大地增强并利用了移动车辆端的智能性，因此在全局绝对定位有干扰或者置信度不够高时，车辆依然能够根据本次局部地图和实时感知进行车辆的实时定位及决策，因此，本方案具有更好的适应性和鲁棒性。

示例性位姿信息确定装置

图11图示了根据本申请实施例的位姿信息确定装置的框图。

如图11所示，根据本申请实施例的所述位姿信息确定装置300可以应用于可移动设备100，并且可以包括：样本数据接收单元310，用于接收由环境传感器获取的所述可移动设备正在其中移动的当前移动环境的样本数据，所述样本数据包括位置数据和图像数据；位姿信息确定单元320，用于至少根据所述位置数据来确定所述可移动设备的局部位姿信息；语义地图构建单元330，用于根据所述可移动设备的局部位姿信息和所述图像数据来构建所述当前移动环境的局部语义地图，所述局部语义地图包括所述当前移动环境中的语义实体及其属性信息，所述语义实体是可能影响移动的实体，所述属性信息表明了所述语义实体的物理特性；语义地图获取单元340，用于获取所述当前移动环境的全局语义地图；语义地图匹配单元350，用于在所述全局语义地图中匹配所述局部语义地图；以及位姿信息更新单元360，用于响应于在所述全局语义地图中匹配到所述局部语义地图，根据匹配的结果来更新所述局部位姿信息。

在一个示例中，该位姿信息确定单元320可以至少根据所述位置数据来确定所述可移动设备的绝对位姿信息；至少根据所述图像数据来确定所述可移动设备的相对位姿信息；并且根据所述绝对位姿信息和所述相对位姿信息来生成所述局部位姿信息。

在一个示例中，该语义地图构建单元330可以根据所述图像数据来检测所述当前移动环境中的语义实体；根据所述局部位姿信息和所述图像数据来确定所述语义实体的属性信息；并且根据所述语义实体及其属性信息来构建所述局部语义地图。

在一个示例中，该语义地图构建单元330可以对所述图像数据进行检测跟踪识别；并且根据检测跟踪识别的结果来确定所述当前移动环境中的语义实体。

在一个示例中，该语义地图构建单元330可以根据所述图像数据来确定所述语义实体与所述可移动设备之间的相对位置关系；并且根据所述局部位姿信息和所述相对位置关系来确定所述语义实体的空间属性信息。

在一个示例中，该语义地图获取单元340可以根据所述位置数据来从服务器设备中下载所述全局语义地图。

在一个示例中，该语义地图匹配单元350可以对所述全局语义地图进行解析，以确定其中的语义实体及其属性信息；并且根据属性信息来寻找所述全局语义地图和所述局部语义地图中的语义实体匹配对。

在一个示例中，该语义地图匹配单元350可以确定所述局部语义地图中的有效语义实体，所述有效语义实体是其置信度大于或等于预定阈值的语义实体；根据所述有效语义实体的属性信息来确定所述有效语义实体的有效定位方向和非有效定位方向；在所述非有效定位方向中对所述局部语义地图进行度量缩放匹配；并且根据度量缩放匹配的结果来寻找所述语义实体匹配对。

在一个示例中，该位姿信息更新单元360可以在所述非有效定位方向中，根据所述语义实体匹配对之中所述全局语义地图中的语义实体的属性信息来修正所述语义实体匹配对之中所述局部语义地图中的语义实体的属性信息；并且根据修正后的所述局部语义地图中的语义实体的属性信息来校正所述局部位姿信息。

在一个示例中，该语义地图匹配单元350可以利用所述局部语义地图与所述全局语义地图进行拓扑度量语义匹配；并且根据拓扑度量语义匹配的结果来寻找所述语义实体匹配对。

在一个示例中，该位姿信息更新单元360可以根据所述语义实体匹配对之中所述全局语义地图中的语义实体的属性信息来所述语义实体的有效定位方向；在所述有效定位方向中，根据所述语义实体匹配对之中所述全局语义地图中的语义实体的属性信息来修正所述语义实体匹配对之中所述局部语义地图中的语义实体的属性信息；并且根据修正后的所述局部语义地图中的语义实体的属性信息来校正所述局部位姿信息。

在一个示例中，根据本申请实施例的所述位姿信息确定装置300还可以包括：控制策略生成单元，用于生成移动控制策略。

在一个示例中，该控制策略生成单元可以根据所述全局语义地图和更新后的局部位姿信息来生成移动控制策略，所述移动控制策略用于控制所述可移动设备以使其能够实现所述当前移动环境中的预定移动目的。

在一个示例中，该控制策略生成单元可以响应于在所述全局语义地图中没有匹配到所述局部语义地图，根据所述当前移动环境的非语义数字地图和原始的局部位姿信息来生成移动控制策略，所述移动控制策略用于控制所述可移动设备以使其能够实现所述当前移动环境中的预定移动目的。

在一个示例中，该控制策略生成单元可以根据所述位置数据和所述全局语义地图来确定所述可移动设备的辅助控制策略，所述辅助控制策略用于控制所述可移动设备以使其能够主动获取所述当前移动环境中即将出现的语义实体；并且对所述移动控制策略和所述辅助控制策略进行综合，以生成综合控制策略。

在一个示例中，根据本申请实施例的所述位姿信息确定装置300还可以包括：语义地图上传单元，用于将所述局部语义地图上传到服务器设备。

上述位姿信息确定装置300中的各个单元和模块的具体功能和操作已经在上面参考图1到图10描述的位姿信息确定方法中详细介绍，并因此，将省略其重复描述。

需要说明的是，根据本申请实施例的位姿信息确定装置300可以作为一个软件模块和/或硬件模块而集成到可移动设备100中，换言之，该可移动设备100可以包括该位姿信息确定装置300。例如，该位姿信息确定装置300可以是该可移动设备100的操作系统中的一个软件模块，或者可以是针对于其所开发的一个应用程序；当然，该位姿信息确定装置300同样可以是可移动设备100的众多硬件模块之一。

替换地，在另一示例中，该位姿信息确定装置300与该可移动设备100也可以是分立的设备(例如，服务器)，并且该位姿信息确定装置300可以通过有线和/或无线网络连接到该可移动设备100，并且按照约定的数据格式来传输交互信息。

示例性可移动设备

下面，参考图12来描述根据本申请实施例的可移动设备。

图12图示了根据本申请实施例的可移动设备的框图。

如图12所示，可移动设备100包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制可移动设备100中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的可移动设备100中的位姿信息确定方法和/或其他期望的功能。

在一个示例中，可移动设备100还可以包括：输入装置13和输出装置14。

例如，该输入装置13可以包括例如键盘、鼠标、以及通信网络及其所连接的远程输入设备等等。

例如，该输入装置13可以包括环境传感器，用于获取所述可移动设备正在其中移动的当前移动环境的样本数据。例如，该环境传感器可以是用于捕捉图像数据的图像传感器，其可以是摄像头或摄像头阵列。又如，该环境传感器可以是用于捕捉扫描数据的激光传感器，其可以是激光器或激光器阵列。又如，该环境传感器也可以是运动传感器，配置为获取所述可移动设备100的运动数据。例如，该运动传感器可以是在可移动设备中内建的惯性测量单元和运动编码器(包括加速度计与陀螺仪等)，用于测量可移动设备的运动参数，例如，速度、加速度、位移等，以确定可移动设备在移动环境中的位置与朝向(姿态)，并且还可以是内建的磁力计等，以实时校准姿态传感器的累计误差。这样，可以获得更加准确的位姿估计。当然，本申请不限于此。该环境传感器还可以是雷达之类的其他各种器件。另外，也可以利用其他分立的环境传感器来采集该样本数据，并且将它发送到可移动设备100。

输出装置14可以向外部(例如，用户)输出各种信息等。该输出设备14可以包括例如扬声器、显示器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图12中仅示出了该可移动设备100中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。应当注意，图12所示的可移动设备100的组件和结构只是示例性的，而非限制性的，根据需要，可移动设备100也可以具有其他组件和结构。

例如，尽管未示出，可移动设备100还可以包括通信装置等，通信装置可以通过网络或其他技术与其他设备(例如，个人计算机、服务器、移动台、基站等)通信，所述网络可以是因特网、无线局域网、移动通信网络等，所述其他技术例如可以包括蓝牙通信、红外通信等。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的位姿信息确定方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的位姿信息确定方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的方法、器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行执行、连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。