一种车载多相机视觉定位方法、装置、设备及存储介质与流程

本发明涉及视觉定位技术领域，特别是涉及一种车载多相机视觉定位方法、装置、设备及存储介质。

背景技术：

目前，随着无人驾驶汽车技术的推进，高精度定位技术是实现自动驾驶的关键技术。

现有的车辆高精度定位技术大多采用gps/ins组合惯导定位，由于gnss卫星信号可能被遮挡，同时轮式里程计精度易受车轮滑移影响，造成车辆无法满足复杂行驶环境中的定位精度要求；现有的采用64线激光雷达可对车辆进行高精度定位，但成本太高，难以实现产品化。并且，现有的视觉定位技术多应用于室内机器人导航，无法满足车辆室外大场景视觉定位稳定性和鲁棒性要求。

因此，如何提高车辆定位的鲁棒性和定位精度，是本领域技术人员亟待解决的技术问题。

技术实现要素：

有鉴于此，本发明的目的在于提供一种车载多相机视觉定位方法、装置、设备及存储介质，可以提高车辆定位的鲁棒性和定位精度，同时降低了车辆高精度定位成本。其具体方案如下：

一种车载多相机视觉定位方法，包括：

采用多个双目相机同时进行图像获取；所述双目相机包括车载上安装的前置双目相机、后置双目相机、左置双目相机和右置双目相机；

对所述双目相机获取的图像进行处理，获得所述双目相机的位姿数据；

将所述双目相机的位姿数据转换到车辆坐标系下，输出车辆坐标系下的第一车辆位姿数据；

通过视觉融合算法将所述第一车辆位姿数据、通过车载惯性测量单元得到的第二车辆位姿数据和车载gps输出的车辆初始全局定位数据进行融合，得到更新后的车辆全局定位信息。

优选地，在本发明实施例提供的上述车载多相机视觉定位方法中，对所述双目相机获取的图像进行处理，获得所述双目相机的位姿数据，具体包括：

对所述双目相机获取的图像进行图像深度信息计算以及立体点云生成；

将生成的当前帧的三维点云图像数据存入三维立体点云图像序列池；所述三维立体点云图像序列池内包括在车辆行驶设定时间内所有的所述双目相机对应的三维点云图像数据；

采用迭代最近邻算法通过多线程对当前帧的三维点云图像数据与所述三维立体点云图像序列池内前一帧的三维点云图像数据进行相机位姿计算，获得所述双目相机的位姿数据。

优选地，在本发明实施例提供的上述车载多相机视觉定位方法中，通过视觉融合算法将所述第一车辆位姿数据、通过车载惯性测量单元得到的第二车辆位姿数据和车载gps输出的车辆初始全局定位数据进行融合，得到更新后的车辆全局定位信息，具体包括：

将所述第一车辆位姿数据与通过车载惯性测量单元得到的第二车辆位姿数据进行观测修正与融合，获取第三车辆位置数据；

通过扩展卡尔曼滤波算法将车载gps输出的车辆初始全局定位数据与融合后的第三车辆位姿数据进行融合，计算得到更新后的车辆全局定位信息。

优选地，在本发明实施例提供的上述车载多相机视觉定位方法中，所述前置双目相机的焦距为12mm，所述后置双目相机、所述左置双目相机和所述右置双目相机的焦距均为6mm。

优选地，在本发明实施例提供的上述车载多相机视觉定位方法中，所述车载惯性测量单元为车规级六轴惯性测量单元。

优选地，在本发明实施例提供的上述车载多相机视觉定位方法中，所述车载gps为双天线rtk-gps。

本发明实施例还提供了一种车载多相机视觉定位装置，包括：

图像获取同步模块，用于采用多个双目相机同时进行图像获取；所述双目相机包括车载上安装的前置双目相机、后置双目相机、左置双目相机和右置双目相机；

位姿数据获取模块，用于对所述双目相机获取的图像进行处理，获得所述双目相机的位姿数据；

相机-车辆坐标变换模块，用于将所述双目相机的位姿数据转换到车辆坐标系下，输出车辆坐标系下的第一车辆位姿数据；

数据融合定位模块，用于通过视觉融合算法将所述第一车辆位姿数据、通过车载惯性测量单元得到的第二车辆位姿数据和车载gps输出的车辆初始全局定位数据进行融合，得到更新后的车辆全局定位信息。

本发明实施例还提供了一种车载多相机视觉定位设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述车载多相机视觉定位方法。

本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述车载多相机视觉定位方法。

本发明所提供的一种车载多相机视觉定位方法、装置、设备及存储介质，该方法包括：采用多个双目相机同时进行图像获取；双目相机包括车载上安装的前置双目相机、后置双目相机、左置双目相机和右置双目相机；对双目相机获取的图像进行处理，获得双目相机的位姿数据；将双目相机的位姿数据转换到车辆坐标系下，输出车辆坐标系下的第一车辆位姿数据；通过视觉融合算法将第一车辆位姿数据、通过车载惯性测量单元得到的第二车辆位姿数据和车载gps输出的车辆初始全局定位数据进行融合，得到更新后的车辆全局定位信息。本发明采用多个双目立体视觉相机，通过视觉融合算法，对车辆进行实时定位，提高了车辆定位的鲁棒性和定位精度，同时降低了车辆高精度定位成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的车载多相机视觉定位方法的流程图；

图2为本发明实施例提供的双目相机、车载惯性测量单元和车载gps的结构分布图；

图3为本发明实施例提供的车载多相机视觉定位装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种车载多相机视觉定位方法，如图1所示，包括以下步骤：

s101、采用多个双目相机同时进行图像获取；该双目相机包括车载上安装的前置双目相机、后置双目相机、左置双目相机和右置双目相机；

s102、对双目相机获取的图像进行处理，获得双目相机的位姿数据；

s103、将双目相机的位姿数据转换到车辆坐标系下，输出车辆坐标系下的第一车辆位姿数据；

s104、通过视觉融合算法将第一车辆位姿数据、通过车载惯性测量单元得到的第二车辆位姿数据和车载gps输出的车辆初始全局定位数据进行融合，得到更新后的车辆全局定位信息。

在本发明实施例提供的上述车载多相机视觉定位方法中，如图2所示，车载上安装有四个双目相机，包括前置双目相机1、后置双目相机2、左置双目相机3和右置双目相机4，首先采用多个双目相机同时获取图像(如前置双目相机和后置双目相机同时获取的图像，以及左置双目相机和右置双目相机同时获取的图像)，然后对双目相机获取的图像进行处理，获得双目相机的位姿数据(包括双目相机的x，y，z三轴位移量和三轴角速度量)；之后将双目相机的位姿数据转换到车辆坐标系下，输出车辆坐标系下的第一车辆位姿数据(包括车辆的x，y，z三轴位移量和三轴角速度量)；最后通过视觉融合算法将第一车辆位姿数据、通过车载惯性测量单元(inertialmeasurementunit，imu)5得到的第二车辆位姿数据和车载gps6输出的车辆初始全局定位数据进行融合，得到更新后的车辆全局定位信息。这样采用多个双目相机、车载惯性测量单元和车载gps，通过视觉融合算法，对车辆进行实时定位，可以提高车辆定位的鲁棒性和定位精度，同时降低车辆高精度定位成本。

进一步地，在具体实施时，在本发明实施例提供的上述车载多相机视觉定位方法中，步骤s102对双目相机获取的图像进行处理，获得双目相机的位姿数据，具体可以包括：首先对双目相机获取的图像(如前置双目相机和后置双目相机同时获取的图像，以及左置双目相机和右置双目相机同时获取的图像)进行图像深度信息计算以及立体点云生成；然后将生成的当前帧的三维点云图像数据存入三维立体点云图像序列池；该三维立体点云图像序列池内包括在车辆行驶设定时间内所有的双目相机对应的三维点云图像数据；最后采用迭代最近邻算法(iterativeclosestpoint，icp)通过多线程对当前帧的三维点云图像数据与三维立体点云图像序列池内前一帧的三维点云图像数据进行相机位姿计算，获得双目相机的位姿数据。这样的方法可以达到单个双目相机位姿数据进行优化更新的目的，大大减小定位误差，有效提高定位的鲁棒性和环境适应性，尤其是当单个双目相机由于光照、动态目标等干扰时，可以保证定位精度和稳定性。其中，车辆行驶设定时间t可以根据车辆参数进行标定得到。

进一步地，在具体实施时，在本发明实施例提供的上述车载多相机视觉定位方法中，步骤s104通过视觉融合算法将第一车辆位姿数据、通过车载惯性测量单元得到的第二车辆位姿数据和车载gps输出的车辆初始全局定位数据进行融合，得到更新后的车辆全局定位信息，具体可以包括：首先将第一车辆位姿数据与通过车载惯性测量单元得到的第二车辆位姿数据进行观测修正与融合，获取第三车辆位置数据，这样可以提高多双目相机与imu之间位姿数据融合的可能性；然后通过扩展卡尔曼滤波(extendedkalmanfilter，ekf)算法将车载gps输出的车辆初始全局定位数据与融合后的第三车辆位姿数据进行融合，计算得到更新后的车辆全局定位信息，这样可以有效地提高定位的精度和鲁棒性。

具体地，在具体实施时，在本发明实施例提供的上述车载多相机视觉定位方法中，前置双目相机的焦距可以设置为12mm，后置双目相机、左置双目相机和右置双目相机的焦距均可以设置为6mm。车载惯性测量单元可以采用车规级六轴惯性测量单元。车载gps可以采用双天线rtk-gps，输出的是车辆初始全局定位数据，用于车辆定位。

基于同一发明构思，本发明实施例还提供了一种车载多相机视觉定位装置，由于该车载多相机视觉定位装置解决问题的原理与前述一种车载多相机视觉定位方法相似，因此该车载多相机视觉定位装置的实施可以参见车载多相机视觉定位方法的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的车载多相机视觉定位装置，如图3所示，具体可以包括：

图像获取同步模块11，用于采用多个双目相机同时进行图像获取；双目相机包括车载上安装的前置双目相机、后置双目相机、左置双目相机和右置双目相机；

位姿数据获取模块12，用于对双目相机获取的图像进行处理，获得双目相机的位姿数据；

相机-车辆坐标变换模块13，用于将双目相机的位姿数据转换到车辆坐标系下，输出车辆坐标系下的第一车辆位姿数据；

数据融合定位模块14，用于通过视觉融合算法将第一车辆位姿数据、通过车载惯性测量单元得到的第二车辆位姿数据和车载gps输出的车辆初始全局定位数据进行融合，得到更新后的车辆全局定位信息。

在本发明实施例提供的上述车载多相机视觉定位装置中，可以通过上述四个模块的相互作用，通过视觉融合算法，对车辆进行实时定位，提高了车辆定位的鲁棒性和定位精度，同时降低了车辆高精度定位成本。

关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

相应的，本发明实施例还公开了一种车载多相机视觉定位设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的车载多相机视觉定位方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的车载多相机视觉定位方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

本发明实施例提供的一种车载多相机视觉定位方法、装置、设备及存储介质，该方法包括：采用多个双目相机同时进行图像获取；双目相机包括车载上安装的前置双目相机、后置双目相机、左置双目相机和右置双目相机；对双目相机获取的图像进行处理，获得双目相机的位姿数据；将双目相机的位姿数据转换到车辆坐标系下，输出车辆坐标系下的第一车辆位姿数据；通过视觉融合算法将第一车辆位姿数据、通过车载惯性测量单元得到的第二车辆位姿数据和车载gps输出的车辆初始全局定位数据进行融合，得到更新后的车辆全局定位信息。本发明采用多个双目立体视觉相机，通过视觉融合算法，对车辆进行实时定位，提高了车辆定位的鲁棒性和定位精度，同时降低了车辆高精度定位成本。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的车载多相机视觉定位方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。