一种重定位方法及电子设备与流程

1.本发明涉及自动驾驶技术领域，具体涉及一种重定位方法及电子设备。


背景技术：

2.在自动驾驶技术的slam（simultaneouslocalizationandmapping，即时定位与地图构建）功能模块中，重定位是核心功能之一，被广泛用于解决全局任意起始点初始化、轨迹追踪丢失后重新寻迹等关键问题。现有基于视觉的重定位功能实现可分为基于稀疏特征点的重定位方法和基于语义重定位的方法。其中，基于语义重定位的方法由于利用了高阶语义信息，特征稳定性更强。这个方向目前主要分为两个大类，一类是使用神经网络强大的学习功能，根据观测的语义信息提取特征对，然后利用特征匹配找到对应的场景，最后再计算相机的位姿。另一类是基于传统计算机视觉技术的算法，其主要思路就是将语义定位问题抽象为图匹配问题，然后用图匹配算法进行求解。这类方法计算量小，使用性高，可迁移性强。但重定位的准确度还有待提升。


技术实现要素：

3.有鉴于此，本发明实施方式提供了一种重定位方法、电子设备及计算机可读存储介质，可以提高重定位的准确度。
4.本发明一方面提供了一种重定位方法，所述方法包括：针对在局部语义地图中观测到的第一物体，关联所述第一物体和第一全局物体，得到第一关联对，所述第一全局物体为全局语义地图中与所述第一物体具有相同语义信息的物体；针对在所述局部语义地图中观测到的第二物体，关联所述第二物体和第二全局物体，得到第二关联对，所述第二全局物体为所述全局语义地图中与所述第二物体具有相同语义信息的物体；若所述第一物体与所述第二物体之间的欧式距离，与所述第一全局物体与所述第二全局物体之间的欧式距离相匹配，合并所述第一关联对和所述第二关联对，并基于合并的关联对，对视觉设备进行重定位。
5.本发明另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如上所述的方法。
6.本发明另一方面还提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如上所述的方法。
7.本技术上述各个实施方式提供的技术方案中，根据从局部语义地图观测到的物体，在全局语义地图中查找具有相同语义信息的物体，并根据局部语义地图中物体间的欧式距离和全局语义地图中物体间的欧式距离，来确定关联对，进而对视觉设备进行重定位。在重定位时，是根据局部语义地图和全局语义地图中物体空间分布的几何相似性来进行重
定位的。由于物体之间的空间分布较为稳定，受干扰因素较少，故可以提高重定位的准确度。
附图说明
8.通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：图1示出了本技术的一个实施例提供的重定位方法的流程示意图；图2示出了本技术一个实施例提供的局部语义地图和全局语义地图的图形化示意图；图3示出了本技术的一个实施例提供的电子设备的示意图。
具体实施方式
9.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
10.本技术的重定位方法基于预先创建好的全局语义地图和视觉设备移动过程中建立的局部语义地图，通过在全局语义地图中查找与局部语义地图相似的物体空间分布，可以确定视觉设备在全局语义地图中的位姿。其中，视觉设备包括但不限于相机、摄像机等。在本技术所示实施例中，视觉设备包括车载相机。
11.请参阅图1，为本技术的一个实施例提供的重定位方法的流程示意图。重定位方法可以应用于电子设备。电子设备包括但不限于车载控制设备、电脑、与视觉设备通信连接的远程服务器。重定位方法包括步骤s11至步骤s13。
12.步骤s11，针对在局部语义地图中观测到的第一物体，关联第一物体和第一全局物体，得到第一关联对，第一全局物体为全局语义地图中与第一物体具有相同语义信息的物体。
13.在一些实施例中，局部语义地图和全局语义地图可以是基于不同坐标系统建立的。比如局部语义地图基于相机坐标系统建立，全局语义地图基于世界坐标系建立。可以理解的是，局部语义地图和全局语义地图也可以是基于相同坐标系建立。
14.在一些实施例中，局部语义地图包括物体的语义信息和物体在局部语义地图中的位置信息；全局语义地图包括物体的语义信息和物体在全局语义地图中的位置信息。其中，物体包括但不限于视觉设备移动过程中，周围环境中的红绿灯、树、房子、道路标识、车牌等。同一物体，在局部语义地图的语义信息和在全局语义地图中的语义信息相同。另外，针对语义信息相同，位置不同的物体，在全局语义地图中体现为不同的物体。比如位于位置a的房子和位于位置b的房子，两者语义信息相同，但位置信息不同，在全局语义地图中表示为不同的物体。为便于理解，表格1示例性的给出了全局语义地图里语义信息和位置信息的对应关系示例。
15.表格1语义信息和位置信息的对应关系示例
从表格1可以看出，在全局语义地图中，语义信息为“房子”的物体，分别位于位置a、位置b和位置d。
16.基于以上描述，以下对步骤s11进行详细描述。
17.在一些实施例中，在局部语义地图中观测到第一物体时，可以获得第一物体在局部语义地图中的语义信息和位置信息。基于第一物体的语义信息，可以在全局语义地图中查找与第一物体具有相同语义信息的第一全局物体。其中，查找到的第一全局物体可以作为全局语义地图中与第一物体相匹配的物体。第一关联对用于表示第一物体和第一全局物体之间的匹配关系。比如假设第一物体为x，第一全局物体为x，第一关联对可以记为（x，x），表示局部语义地图中的第一物体x和第一全局物体x相匹配。
18.另外，通过上述描述可知，全局语义地图中可以存在语义信息相同但位置不同的多个第一全局物体，即全局语义地图中可以存在与第一物体相匹配的多个第一全局物体。基于此，可以建立多个第一关联对，每个第一关联对用于表示第一物体与其中一个第一全局物体之间的匹配关系。比如，假设第一物体为x，在全局语义地图中存第一全局物体x1、x2、x3、x4，则可以建立4个第一关联对，分别为（x，x1）、（x，x2）、（x，x3）、（x，x4），用于表示第一物体x与全局语义地图中第一全局物体之间的匹配关系。
19.步骤s12，针对在局部语义地图中观测到的第二物体，关联第二物体和第二全局物体，得到第二关联对，第二全局物体为全局语义地图中与第二物体具有相同语义信息的物体。
20.在一些实施例中，第二物体和第一物体是在局部语义地图中处于不同位置的物体。第二物体可以是在观测到第一物体之后观测到的物体，也可以是与第一物体同时观测到的物体。其中，建立第二关联对的过程，与建立第一关联对类似，此处不赘述。
21.步骤s13，若第一物体与第二物体之间的欧式距离，与第一全局物体与第二全局物体之间的欧式距离相匹配，将第一关联对和第二关联对合并，并基于合并的关联对，对视觉设备进行重定位。
22.在一些实施例中，第一物体与第二物体之间的欧式距离，与第一全局物体与第二全局物体之间的欧式距离相匹配，可以指：第一物体与第二物体之间的欧式距离，等于第一全局物体与第二全局物体之间的欧式距离。具体来说，第一物体和第二物体的位置从局部语义地图变换到全局语义地图的过程为仿射变换。在变换前后，第一物体和第二物体之间的距离具有不变性。又由于第一全局物体是与第一物体具有相同语义信息的物体，第二全局物体是与第二物体具有相同语义信息的物体，若第一物体与第二物体之间的欧式距离，等于第一全局物体与第二全局物体之间的欧式距离，则可以判断第一物体和第二物体在局
部语义地图中的空间分布，与第一全局物体和第二全局物体在全局语义地图中的空间分布相同。第一物体的位置从局部语义地图变换到全局语义地图后，可能位于第一全局物体在全局语义地图中的位置；第二物体的位置从局部语义地图变换到全局语义地图后，可能位于第二全局物体在全局语义地图中的位置。基于此，根据第一全局物体和第二全局物体在全局语义地图中的位置，以及第一物体和第二物体在局部语义地图中的位置，联合求解，就可以求得视觉设备在全局语义地图中的位姿，从而实现视觉设备在全局语义地图中的重定位。
23.基于以上描述，在步骤s13中所述的合并第一关联对和第二关联对，可以是指将第一关联对和第二关联对作为一个关联组合对，根据该关联组合对中第一物体和第二物体在局部语义地图里的位置，以及第一全局物体和第二全局物体在全局语义地图中的位置，求解视觉设备在全局语义地图中的位姿。
24.在一些实施例中，考虑到噪声等因素的存在，第一物体与第二物体之间的欧式距离，无法完全等于第一全局物体与第二全局物体之间的欧式距离。因此，在实际计算过程中，通常在满足如下条件时，可以确定第一物体与第二物体之间的欧式距离，与第一全局物体与第二全局物体之间的欧式距离相匹配：基于第一物体与第二物体之间的欧式距离，以及第一全局物体与第二全局物体之间的欧式距离，得到的最小欧式距离比大于阈值，其中，最小欧式距离比基于如下表达式得到：其中，表示最小欧式距离比，表示第一物体与第二物体之间的欧式距离，表示第一全局物体与第二全局物体之间的欧式距离。可以理解的是，若没有噪声等因素影响，和的取值为1时，表示第一物体与第二物体之间的欧式距离，等于第一全局物体与第二全局物体之间的欧式距离。但在噪声存在的情况下，和不相等，和的取值通常一个大于1，一个小于1。为便于计算，可以通过取最小值的方式，选择和中小于1的值作为最小欧式距离比。可以理解的是，最小欧式距离比应该是越接近1，表示两个欧式距离越相近（即越匹配）。基于此，可以设置一个靠近1的阈值（比如0.9）。若最小欧式距离比大于0.9，可以表示第一物体与第二物体之间的欧式距离，与第一全局物体与第二全局物体之间的欧式距离相匹配。如此，在方案实施上，可行性更高。
25.请参阅图2，为本技术一个实施例提供的局部语义地图和全局语义地图的图形化示意图。图2中，假设实线框内的地图为全局语义地图的图形化示意图，虚线框内的地图为
局部语义地图的图形化示意图。
26.结合上述步骤s11。假设在局部语义地图中，观测到的第一物体为x。全局语义地图中与第一物体x具有相同语义信息的第一全局物体为。将第一物体x分别与第一全局物体进行关联，可以得到4个第一关联对，分别为、、和。
27.结合上述步骤s12。假设在局部语义地图中，观测到的第二物体为y。全局语义地图中与第二物体y具有相同语义信息的第二全局物体为。将第二物体y分别与第二全局物体进行关联，可以得到3个第二关联对，分别为、和。
28.结合上述步骤s13。假设第一物体x和第二物体y之间的欧式距离为。在全局语义地图中，用矩形框圈出的6个第一全局物体和第二全局物体的组合，其欧式距离均可与第一物体x和第二物体y之间的欧式距离相匹配。这种情况下，第一物体x的位置从局部语义地图转换到全局语义地图后，可能位于全局语义地图中的4个位置处，即第一全局物体的位置处。第二物体y的位置从局部语义地图中转换到全局语义地图后，可能位于全局语义地图中的3个位置处，即第二全局物体的位置处。很显然，这样的结果存在不准确的问题。在全局语义地图中应该只有一组第一全局物体和第二全局物体的组合，与第一物体x和第二物体y的组合匹配。现在出现多组第一全局物体和第二全局物体的组合，可能会影响位姿求解的精度。
29.基于以上描述，可以在局部语义地图中继续观测新的物体，比如观测到第三物体z，然后基于第一物体x、第一物体y和第三物体z在局部语义地图中的空间分布，可以在全局语义地图中进一步把区域限定在椭圆区域内。全局语义地图中，不存在其他物体之间的空间分布，与椭圆区域中的空间分布相同，则可以确定，第一物体x的位置从局部语义地图转换到全局语义地图后，唯一落在椭圆区域内的第一全局物体的位置处；第一物体y的位置从局部语义地图转换到全局语义地图后，唯一落在椭圆区域内的第二全局物体的位置处；第三物体z的位置从局部语义地图转换到全局语义地图后，唯一落在椭圆区域内的第三全局物体的位置处。如此，利用了空间分布的信息，避免了仅根据局部地图和全局地图的语义信息一致性，位姿计算可能会出现错误的问题，提高了位姿计算的精度。
30.基于上述的方案描述，本技术的一些实施例中，提供一种基于关联集合的方法来进行重定位，可以实现增量式的重定位。方案阐述过程中，将上述局部语义地图中观测到的第一物体x和第二物体y作为基础：在一些实施例中，首先构建包括关联子集的关联集合，关联子集可以包括关联对和子集得分，每个关联子集的子集得分用于评估相应关联子集在所有关联子集中的优先级顺序。在一些实施例中，每个关联子集的子集得分可以初始化为1。
31.在一些实施例中，构建完成的关联集合如下所示：合如下所示：其中，d表示关联集合；表示第k个关联子集；n表示关联子集个数，表示关联对；m表示关联子集中关联对的个数；表示第k个关联子集的子集得分。
32.基于构建的关联集合，若在局部语义地图中检测到第一物体x（即在局部语义地图中检测到第一个物体），可以在每个关联子集中关联第一物体x与其中一个第一全局物体，即在局部语义地图中观测到第一物体x时，每个关联子集中的m取值为1。此处，假设第一物体x和第一全局物体之间存在4个第一关联对，分别为(x，x1)、(x，x2)、(x，x3)、(x，x4)，则：则：在一些实施例中，在构建完关联集合后，基于第二物体，构建包括临时关联子集的临时关联集合，原理与上述构建关联集合类似，此处不赘述。此处，假设第二物体y和第二全局物体之间存在3个第二关联对，分别为(y，y1)、(y，y2)、(y，y3)，则：则：在一些实施例中，构建完关联集合d和临时关联集合后，针对任一关联子集（即上述中的任一个），若该关联子集中的第一物体与第二物体之间的欧式距离，与该关联子集中的第一全局物体与第二全局物体之间的欧式距离相匹配，将第二关联对合并至该关联子集中，得到新关联子集。具体的，就是将每一个关联子集，分别与临时关联子集、、进行欧式距离匹配，若欧式距离匹配成功，就将相应临时关联子集中的第二关联对合并到对应的关联子集中，得到一个新关联子集。同时，更新新关联子集的子集得分，以提高新关联子集在关联子集中的优先级。在一些实施例中，第二关联对存在对应的临时得分，该临时得分可以为第二关联对所在的临时关联子集的临时子集得分。在更新新关联子集的子集得分时，将新关联子集当前的子集得分、第二关联对对应的临时得分以及最小欧式距离比相加后得到的值，作为新关联子集更新后的子集得分。最小欧式距离比可以基于如下表达式得到：
其中，h表示最小欧式距离比，表示新关联子集中的第一物体与第二物体之间的欧式距离，表示新关联子集中的第一全局物体与第二全局物体之间的欧式距离。
33.以下通过举例进行说明。
34.比如，基于如下表达式，将关联子集和临时关联子集进行欧式距离匹配：其中，表示第一物体x与第二物体y之间的欧式距离，表示第一全局物体与第二全局物体y1的欧式距离，表示将关联子集和临时关联子集进行欧式距离匹配时的最小欧式距离比。若大于阈值，则将临时关联子集中的第二关联对合并到关联子集，得到一个新关联子集：同理，基于关联子集和临时关联子集继续进行欧式距离匹配：相关参数的说明与上一个示例类似，此处不赘述。此处，假设若大于阈值，则将临时关联子集中的第二关联对合并到关联子集，得到一个新关联子集：在一些实施例中，对于未与关联子集进行合并的第二关联对，在关联集合中构建新的关联子集，并在新的关联子集中，建立第二关联对。新的关联子集的子集得分可以第二关联对所在的临时关联子集的临时子集得分。
35.在一些实施例中，对于关联集合中未进行合并的关联子集，保持这些关联子集的子集得分不变化。
36.如此，经过上述的匹配合并操作后，以下给出了关联集合d所包括的部分关联子集示例：示例：示例：
在上述示例中，和是执行合并操作后得到的关联子集，和是关联集合中原始的关联子集，是以关联子集的方式，单独添加至关联集合第二关联对。
37.从上面示例可以看出，经过这样的合并，局部语义地图中和全局语义地图中，存在相似几何空间分布的物体开始聚类。
38.进一步的，针对在局部语义地图中观测到的第三物体，关联第三物体和第三全局物体，得到第三关联对，第三全局物体为全局语义地图中与第三物体具有相同语义信息的物体。此处，基于第三关联对可以构建新的临时关联集合，并与上述更新后的关联集合d再次进行欧式距离的匹配判断、合并等操作。具体的，针对关联集合中任一个已合并第二关联对的关联子集来说，若在该关联子集中，第一物体与第三物体之间的欧式距离，与第一全局物体与第三全局物体之间的欧式距离相匹配，且第二物体与第三物体之间的欧式距离，与第二全局物体与第三全局物体之间的欧式距离相匹配，将第三关联对合并至该关联子集中。比如，上述关联子集、即为已合并第二关联对的关联子集。此处以关联子集为例进行说明。
39.首先，建立第三关联对，并基于第三关联对确定新的临时关联集合。此处，假设第三物体z和第三全局物体之间存在2个第二关联对，分别为(z，z1)、(z，z2)，则：则：为方便查看，此处一并列出的表达式：将关联子集和临时关联集合进行欧式距离匹配：进行欧式距离匹配：其中，表示第一物体x与第三物体z之间的欧式距离，表示第一全局物体与第三全局物体z1的欧式距离，表示第二物体y与第三物体z之间的欧式距离，表示第二全局物体与第三全局物体z1的欧式距离，、表示将关
联子集和临时关联子集进行欧式距离匹配时的最小欧式距离比。假设、均大于阈值时，则将第三关联对合并至关联子集中，得到新的关联子集：通过关联子集的表达式可以看出，随着观测到的物体增多，聚类的物体增多。局部语义地图中物体的空间分布，可以与全局语义地图中物体的空间分布，做到唯一匹配。全局语义地图中的物体所在位置，可以为局部语义地图中的物体所在位置转换至全局语义地图后的位置。如此，基于关联子集中的物体在全局语义地图中的位置和在局部语义地图中的位置，可以确定视觉设备的位姿，即对视觉设备进行重定位，且精度较高。可以理解的是，在局部语义地图中，还可以继续观测多个物体，比如在上述第三物体基础上，继续观测第四物体、第五物体
……
。在局部语义地图中，每观测到一个新的物体后，可以按照上述方法，对物体进行聚类。随着观测到的物体越多，重定位的精度可以越高。
40.在一些实施例中，关联子集的子集得分与关联子集的优先级成正比。在所有的关联子集中，可以按照优先级从高到低的顺序，选择预设个关联子集，并基于该些关联子集中的关联对，对视觉设备进行重定位。通过上述描述可知，在每一次合并时，会对关联子集的子集得分进行更新。可以理解的是，对于得分高的关联子集，具有的匹配物体更多，数据量更多，计算得到的位姿更准确。
41.在一些实施例中，在该些关联子集中，基于每个关联子集中的关联对所对应的物体位置，分别确定一个视觉设备的位姿。在确定出的位姿中，选择几何残差最小的位姿作为视觉设备的位姿。进一步提高结果的准确性。
42.在本技术的一些实施例中，根据从局部语义地图观测到的物体，在全局语义地图中查找具有相同语义信息的物体，并根据局部语义地图中物体间的欧式距离和全局语义地图中物体间的欧式距离，来确定关联对，进而对视觉设备进行重定位。在重定位时，是根据局部语义地图和全局语义地图中物体空间分布的几何相似性来进行重定位的。由于物体之间的空间分布较为稳定，受干扰因素较少，故可以提高重定位的准确度。举例来说，一些重定位技术中，是根据图像比对来进行重定位的，图像容易受光照等因素影响，故重定位的准确度会受这些因素影响。相比而言，本技术的重定位方法不受该些因素影响，重定位的准确度较高。
43.请参阅图3，为本技术的一个实施例提供的电子设备的示意图。电子设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的重定位方法。
44.其中，处理器可以为中央处理器（central processing unit，cpu）。处理器还可以为其他通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现场可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、
分立硬件组件等芯片，或者上述各类芯片的组合。
45.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
46.存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
47.本技术一个实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的重定位方法。
48.虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。