车辆定位方法、装置、设备和存储介质与流程

本发明涉及自动驾驶技术领域，尤其涉及一种车辆定位方法、装置、设备和存储介质。

背景技术：

随着科学技术的进步，尤其是汽车制造以及信息技术的发展，自动驾驶技术成为近年来的研究热点。自动驾驶系统通常包含自定位、环境感知、决策规划和运动控制几大模块。其中自定位技术是所有自动驾驶系统的基础。自动驾驶系统对自定位的要求比较高。

相关技术中车辆自定位算法，一般采用基于稀疏点云的定位算法，即将采集到的车辆周围环境的图像序列与基准图像序列进行点云匹配，上述方案中需要进行大量特征点匹配使得计算复杂度较高，从而导致效率较低。

技术实现要素：

本发明提供一种车辆定位方法、装置、设备和存储介质，以提高车辆定位的效率。

第一方面，本发明提供一种车辆定位方法，包括：

获取车辆周围环境的基准图像序列和当前图像序列；所述基准图像序列包括多个基准图像帧；所述当前图像序列包括多个第二图像帧；

针对所述当前图像序列中各个所述第二图像帧，确定所述基准图像序列中与所述第二图像帧匹配的至少一个第一图像帧；

根据与所述第二图像帧匹配的至少一个第一图像帧，确定所述第二图像帧对应的车辆位置。

可选的，根据所述基准图像序列中基准图像帧以及所述第二图像帧的全局时序特征，确定与所述第二图像帧匹配的所述至少一个第一图像帧，包括：

分别计算所述基准图像序列中各个基准图像帧与所述第二图像帧的全局时序特征的相似度；

根据所述各个基准图像帧与所述第二图像帧的全局时序特征的相似度，确定与所述第二图像帧匹配的所述至少一个第一图像帧。

可选的，所述根据所述各个基准图像帧与所述第二图像帧的全局时序特征的相似度，确定与所述第二图像帧匹配的所述至少一个第一图像帧，包括：

将相似度最大的基准图像帧的附近预设数量个基准图像帧，作为与所述第二图像帧匹配的所述至少一个第一图像帧。

可选的，所述根据与所述第二图像帧匹配的至少一个第一图像帧，确定所述第二图像帧对应的车辆位置，包括：

分别将各个所述第一图像帧与所述第二图像帧进行特征点匹配，确定与所述第二图像帧匹配的第一图像帧；

根据所述第一图像帧，确定所述第二图像帧对应的车辆位置。

可选的，所述确定与所述第二图像帧匹配的第一图像帧，包括：

分别将各个所述第一图像帧的点云，与所述第二图像帧的点云进行尺度不变特征变换sift特征匹配，确定与所述第二图像帧匹配的第一图像帧。

可选的，所述根据所述第一图像帧，确定所述第二图像帧对应的车辆位置，包括：

根据所述第一图像帧对应的运动恢复结构sfm模型确定的车辆位置，确定所述第二图像帧对应的车辆位置。

第二方面，本发明提供一种车辆定位装置，包括：

获取模块，用于获取车辆周围环境的基准图像序列和当前图像序列；所述基准图像序列包括多个基准图像帧；所述当前图像序列包括多个第二图像帧；

预处理模块，用于针对所述当前图像序列中各个所述第二图像帧，确定所述基准图像序列中与所述第二图像帧匹配的至少一个第一图像帧；

处理模块，用于根据与所述第二图像帧匹配的至少一个第一图像帧，确定所述第二图像帧对应的车辆位置。

可选的，所述预处理模块，具体用于：

根据所述基准图像序列中基准图像帧以及所述第二图像帧的全局时序特征，确定与所述第二图像帧匹配的所述至少一个第一图像帧。

可选的，所述预处理模块，具体用于：

分别计算所述基准图像序列中各个基准图像帧与所述第二图像帧的全局时序特征的相似度；

根据所述各个基准图像帧与所述第二图像帧的全局时序特征的相似度，确定与所述第二图像帧匹配的所述至少一个第一图像帧。

可选的，所述预处理模块，具体用于：

将相似度最大的基准图像帧的附近预设数量个基准图像帧，作为与所述第二图像帧匹配的所述至少一个第一图像帧。

可选的，所述处理模块，具体用于：

分别将各个所述第一图像帧与所述第二图像帧进行特征点匹配，确定与所述第二图像帧匹配的第一图像帧；

根据所述第一图像帧，确定所述第二图像帧对应的车辆位置。

可选的，所述处理模块，具体用于：

分别将各个所述第一图像帧的点云，与所述第二图像帧的点云进行尺度不变特征变换sift特征匹配，确定与所述第二图像帧匹配的第一图像帧。

可选的，所述处理模块，具体用于：

根据所述第一图像帧对应的运动恢复结构sfm模型确定的车辆位置，确定所述第二图像帧对应的车辆位置。

第三方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。

第四方面，本发明实施例提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的方法。

本发明实施例提供的车辆定位方法、装置、设备和存储介质，获取车辆周围环境的基准图像序列和当前图像序列；所述基准图像序列包括多个基准图像帧；所述当前图像序列包括多个第二图像帧；针对所述当前图像序列中各个所述第二图像帧，确定所述基准图像序列中与所述第二图像帧匹配的至少一个第一图像帧；根据与所述第二图像帧匹配的至少一个第一图像帧，确定所述第二图像帧对应的车辆位置，由于先对基准图像序列与当前图像序列进行预先匹配，找到当前第二图像帧在基准图像序列中对应的基准图像帧的大致范围，减少了后续车辆定位的计算量，而且减少了不同地点但景物相似的路段对车辆定位的干扰，车辆定位的效率较高。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为本发明一实施例提供的应用场景图；

图2是本发明提供的车辆定位方法一实施例的流程示意图；

图3是本发明提供的车辆定位方法一实施例的原理示意图；

图4是本发明提供的车辆定位装置一实施例的结构示意图；

图5是本发明提供的电子设备实施例的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本发明的说明书和权利要求书及所述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先对本发明所涉及的应用场景进行介绍：

本发明实施例提供的车辆定位方法，应用于车辆自定位场景中，以提高定位效率，例如自动驾驶场景中车辆自定位。其中，上述车辆例如为自动驾驶车辆，或普通车辆。

车辆对环境感知能力是衡量车辆的智能化程度的最为关键的指标。而对于车辆的准确定位是车辆进行环境感知的基础。目前，通常采用gps与惯性导航设备进行结合的方式对车辆进行定位。然而，由于gps与惯性导航设备输出的数据的误差较大，导致难以对车辆进行高精度的定位。相关技术中，一般基于稀疏点云的匹配进行车辆定位，需要进行大量特征点匹配而导致计算复杂度高，效率较低。

因此，本发明实施例的方法，预先将稀疏点云匹配范围缩小，大幅降低了定位算法的时间复杂度，提高了车辆定位的效率。

图1为本发明一实施例提供的应用场景图，可选的，如图1所示，该应用场景中包括服务器11、电子设备12；该电子设备12可以为车辆上的车载终端，或者车辆的控制器。

其中，电子设备12和服务器11可以通过网络连接，例如3g、4g或无线保真(wirelessfidelity，wifi)等通信网络。

本发明提供的方法可由电子设备12如处理器执行相应的软件代码实现，也可由该电子设备12在执行相应的软件代码的同时，通过和服务器11进行数据交互来实现，如服务器执行部分操作，来控制电子设备执行定位方法。

下面的实施例均以电子设备为执行主体进行说明。以下实施例中以自动驾驶车辆为例进行说明。

下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图2是本发明提供的车辆定位方法一实施例的流程示意图。如图2所示，本实施例提供的方法，包括：

步骤201、获取车辆周围环境的基准图像序列和当前图像序列；基准图像序列包括多个基准图像帧；当前图像序列包括多个第二图像帧。

具体的，基准图像序列可以为车辆在当前路径第一次行驶获取到的车辆周围环境的图像序列，具体可以通过车辆的车载摄像头获取图像。基准图像序列中包括多个第一图像帧。

当前图像序列为当前获取的车辆周围环境的图像序列，包括多个第二图像帧。

其中，基准图像序列可以预先生成以稀疏点云表示的运动恢复结构(structurefrommotion，简称sfm)模型m，该sfm模型记录了每个第一图像帧对应的点云，即:

sb＝{fi|pm∈fi,pm∈m}

其中，sb为基准图像序列，fi为基准图像帧，pm为sfm模型中的稀疏点，pn为其对应的2d特征点。i为大于1的整数。

步骤202、针对当前图像序列中各个第二图像帧，确定基准图像序列中与第二图像帧匹配的至少一个第一图像帧。

具体的，针对当前图像序列中的任一第二图像帧fq，从基准图像帧fi中找到匹配的至少一个第一图像帧。例如可以根据图像帧的全局时序特征，确定匹配的第一图像帧。全局时序特征可以对图像帧进行降采样，局部归一化之后得到。全局时序特征为图像帧的时域的全局特征。

步骤203、根据与第二图像帧匹配的至少一个第一图像帧，确定第二图像帧对应的车辆位置。

具体的，将至少一个第一图像帧与第二图像帧进行特征匹配，确定与第二图像帧匹配的一个第一图像帧，即与第二图像帧最像的一个第一图像帧。

根据第一图像帧对应的sfm模型确定第二图像帧对应的车辆位置。

本实施例中，利用全局时序特征找到当前第二视频帧在基准图像序列中对应的基准图像帧的大致范围，例如3-5帧第一图像帧，减少了特征匹配的计算量，而且减少了不同地点但景物相似的路段对特征匹配的干扰。

本实施例的方法，获取车辆周围环境的基准图像序列和当前图像序列；所述基准图像序列包括多个基准图像帧；所述当前图像序列包括多个第二图像帧；针对所述当前图像序列中各个所述第二图像帧，确定所述基准图像序列中与所述第二图像帧匹配的至少一个第一图像帧；根据与所述第二图像帧匹配的至少一个第一图像帧，确定所述第二图像帧对应的车辆位置，由于先对基准图像序列与当前图像序列进行预先匹配，找到当前第二图像帧在基准图像序列中对应的基准图像帧的大致范围，减少了后续车辆定位的计算量，而且减少了不同地点但景物相似的路段对车辆定位的干扰，车辆定位的效率较高。

在上述实施例的基础上，可选的，步骤202具体可以通过如下方式实现：

根据基准图像序列中基准图像帧以及第二图像帧的全局时序特征，确定与第二图像帧匹配的至少一个第一图像帧。

如图3所示，基准图像序列和当前图像序列进行全局特征匹配，即根据图像帧的全局时序特征进行匹配，获得初始位置，即锁定第二图像帧在基准图像序列中对应的基准图像帧的范围，即第一图像帧。

具体可以通过如下方式实现：

分别计算基准图像序列中各个基准图像帧与第二图像帧的全局时序特征的相似度；

根据各个基准图像帧与第二图像帧的全局时序特征的相似度，确定与第二图像帧匹配的至少一个第一图像帧。

针对当前图像序列中的任一第二图像帧fq，从基准图像帧fi中找到匹配的至少一个第一图像帧，即根据全局时序特征的相似度确定至少一个第一图像帧，建立初始位置集合linit：

linit(fq)＝{fj-w,fj-w+1,…,fj,…,fj+w-1,j+w},

其中，

其中，w为预设值，f(·)为计算全局时序特征的函数，d(·)为计算相似度的函数；j为相似度最大情况下的基准图像帧的序号。

进一步的，可以将相似度最大的基准图像帧的附近预设数量个基准图像帧，作为与第二图像帧匹配的至少一个第一图像帧。

具体的，可以将fj的附近预设数量个基准图像帧{fj-w,fj-w+1,…,fj,…,fj+w-1,j+w}作为第一图像帧。

在本发明的一实施例中，还可以将连续相似度大于预设阈值的基准图像帧作为至少一个第一图像帧。

在本发明的其他实施例中，还可以采用其他方式确定第一图像帧，本发明实施例对此并不限定。

本实施例中，利用了全局特征进行预先匹配，快速定位了当前图像帧在sfm模型中的相对位置，将其作为初始位置结果，大幅减少了后续参与计算的稀疏点云数量，加快了车辆定位速度，而且减少了不同地点但景物相似的路段对稀疏点云匹配的干扰。

在上述实施例的基础上，可选的，步骤203具体可以通过如下方式实现：

分别将各个第一图像帧与第二图像帧进行特征点匹配，确定与所述第二图像帧匹配的第一图像帧；

根据所述第一图像帧，确定所述第二图像帧对应的车辆位置。

具体的，如图3所示，将各个第一图像帧与第二图像帧进行特征点匹配，如sift特征匹配，确定与第二图像帧匹配的第一图像帧。基于第一图像帧对应的运动恢复结构sfm模型确定的车辆位置，得到第二图像帧对应的车辆位置，即最终的定位结果。

进一步的，确定与第二图像帧匹配的第一图像帧，具体可以采用如下方式实现：

分别将各个所述第一图像帧的点云，与所述第二图像帧的点云进行尺度不变特征变换sift特征匹配，确定与所述第二图像帧匹配的第一图像帧。

进一步的，根据第一图像帧，确定第二图像帧对应的车辆位置，具体可以采用如下方式实现：

根据所述第一图像帧对应的运动恢复结构sfm模型确定的车辆位置，确定所述第二图像帧对应的车辆位置。

具体的，在对位于初始位置集合中的第一图像帧与当前第二图像帧进行sift点云匹配，计算：

其中，x(·)为当前第二图像帧fq对应的世界坐标系下的车辆位置，(x,y,z)表示车辆位置的三维坐标，o(·)为sift特征匹配函数。

进一步的，在局部特征匹配阶段，可以使用图形处理器(graphicsprocessingunit，简称gpu)加速特征匹配计算，既保证了特征匹配的准确率与定位的精确度，又降低了算法的时间开销。

综上，本发明实施例的方法，利用了全局特征进行预先匹配，快速定位了当前图像帧在sfm模型中的相对位置，将其作为初始位置结果，在此基础上进行稀疏点云匹配从而进行车辆位置计算，大幅减少了参与计算的稀疏点云数量，加快了车辆定位速度，提高了车辆定位效率。

图4为本发明提供的车辆定位装置一实施例的结构图，如图4所示，本实施例的车辆定位装置，包括：

获取模块401，用于获取车辆周围环境的基准图像序列和当前图像序列；所述基准图像序列包括多个基准图像帧；所述当前图像序列包括多个第二图像帧；

预处理模块402，用于针对所述当前图像序列中各个所述第二图像帧，确定所述基准图像序列中与所述第二图像帧匹配的至少一个第一图像帧；

处理模块403，用于根据与所述第二图像帧匹配的至少一个第一图像帧，确定所述第二图像帧对应的车辆位置。

可选的，预处理模块402，具体用于：

根据所述基准图像序列中基准图像帧以及所述第二图像帧的全局时序特征，确定与所述第二图像帧匹配的所述至少一个第一图像帧。

可选的，预处理模块402，具体用于：

分别计算所述基准图像序列中各个基准图像帧与所述第二图像帧的全局时序特征的相似度；

根据所述各个基准图像帧与所述第二图像帧的全局时序特征的相似度，确定与所述第二图像帧匹配的所述至少一个第一图像帧。

可选的，预处理模块402，具体用于：

将相似度最大的基准图像帧的附近预设数量个基准图像帧，作为与所述第二图像帧匹配的所述至少一个第一图像帧。

可选的，处理模块403，具体用于：

分别将各个所述第一图像帧与所述第二图像帧进行特征点匹配，确定与所述第二图像帧匹配的第一图像帧；

根据所述第一图像帧，确定所述第二图像帧对应的车辆位置。

可选的，处理模块403，具体用于：

分别将各个所述第一图像帧的点云，与所述第二图像帧的点云进行尺度不变特征变换sift特征匹配，确定与所述第二图像帧匹配的第一图像帧。

可选的，处理模块403，具体用于：

根据所述第一图像帧对应的运动恢复结构sfm模型确定的车辆位置，确定所述第二图像帧对应的车辆位置。

本实施例的装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图5为本发明提供的电子设备实施例的结构图，如图5所示，该电子设备包括：

处理器501，以及，用于存储处理器501的可执行指令的存储器502。

可选的，还可以包括：通信接口503，用于实现与充电桩的对准。

上述部件可以通过一条或多条总线进行通信。

其中，处理器501配置为经由执行所述可执行指令来执行前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。

本发明实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，其实现原理和技术效果类似，此处不再赘述。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行如上述实施例中电子设备所执行的车辆定位方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。