基于多组合相机的车载视觉定位方法、系统及存储介质与流程

本发明涉及车载识别领域，特别涉及一种基于多组合相机的车载视觉定位方法、系统及存储介质。

背景技术：

目前，一般的车载视觉定位系统产品主要为双目结构，主要依靠目标在两幅同步图像之间的视差来判断目标的相对距离、方位，即三角定位法。

但是目前的定位方法仅依靠单个相机进行拍摄定位，但是在车辆行驶的真实环境中会存在无角点、障碍物多等情况，而且一般无法识别出路口(如直角转弯路口、丁字路口或者十字路口)的真实路况信息。

因而现有技术还有待改进和提高。

技术实现要素：

鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于多组合相机的车载视觉定位方法、设备及存储介质，解决现有技术中车载视觉定位对真实环境定位精度不够的技术问题。

为了达到上述目的，本发明采取了以下技术方案：

一种基于多组合相机的车载视觉定位方法，包括如下步骤：

利用多组合相机拍摄车辆行驶过程中的图像；

对所述拍摄的图像采取数据融合处理，并根据数据融合后的图像数据构建完整的视觉地图；

根据所述视觉地图进行实时定位并指导车辆行驶。

一种基于多组合相机的车载视觉定位系统，包括处理器和存储器；

所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述处理器执行所述计算机可读程序时实现如上所述的基于多组合相机的车载视觉定位方法中的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个多个程序可被一个或者多个处理器执行，以实现如上所述的基于多组合相机的车载视觉定位方法中的步骤。

相较于现有技术，本发明提供的基于多组合相机的车载视觉定位方法、设备及存储介质通过不同视角的多目相机实现全方位定位，且通过调整各个相机之间的距离，调整两组相机之间的基线，双目相机之间的基线越长测量距离越远，最终实现全方位与不同远距离定位，从而实现精确度定位。

附图说明

图1为本发明提供的基于多组合相机的车载视觉定位方法的一较佳实施例的流程图。

具体实施方式

本发明提供一种基于多组合相机的车载视觉定位方法、设备及存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

请参阅图1，图1为本发明提供的基于多组合相机的车载视觉定位方法的一较佳实施例的流程图。本发明提供的基于多组合相机的车载视觉定位方法的流程图，包括如下步骤：

s1、利用多组合相机拍摄车辆行驶过程中的图像；

s2、对所述拍摄的图像采取数据融合处理，并根据数据融合后的图像数据构建完整的视觉地图；

s3、根据所述视觉地图进行实时定位并指导车辆行驶。

具体来说，所述多组合相机可以是广视角相机、近景相机、中景相机及远景相机，即通过广视角相机拍摄广角视频和图像，能够看到较大范围内的景物，而通过近景相机侧重拍摄离汽车较近区域的图像和视频，如10米范围内，中景相机相对于近景相机而言距离稍远，如距离汽车10-50米范围内，而远景相机则会远些，如50米以外。总体来说，本发明实施例通过多种不同相机组成一个能够同时拍摄不同距离视频和图像的多焦距相机，并在车辆行驶过程中实时进行拍摄，以采集实时图像信号和视频信号信息。

作为优选的实施例，步骤s2具体包括：

由所述多组合相机分别拍摄并采集车辆行驶过程中的图像数据，建立局部三维场景；

在所述局部三维场景内建立视觉标志点，并根据所述视觉标志点将所述采集到的图像数据映射到同一坐标系下，并构建全局三维场景模型；

对所述全局三维场景模型进行全局方位的元素估计；

对所述不同相机远、近方位元素进行解算，并用时空滤波算法对所述远、近方位元素进行优化，得到所述视觉地图。

具体来说，通过采集不同相机拍摄的图像或者视频数据，然后再结合gps三维定位以及三维场景建模方法来实现视觉地图的实时展示。

作为优选的实施例，所述由所述多种不同相机分别拍摄并采集车辆行驶过程中的图像数据，建立局部三维场景，具体包括：

通过所述多组合相机分别标定得到内参数；

提取汽车行驶过程中任一两个不同时刻的图像，并由车载gps获取所述两个时刻汽车的位置，以所述两个时刻汽车之间的距离作为所述两幅图像的基线；

对所述两幅图像进行特征点提取与匹配，并基于所述基线得到匹配点对集；

基于ransac的八点法求解所述匹配点对集对应的基本矩阵；

根据所述基本矩阵求得本质矩阵；

由所述本质矩阵确定所述多组合相机的外参数；

根据所述多组合相机的内参数和外参数得到投影矩阵；

根据所述投影矩阵求得空间稀疏点云。

具体来说，ransac是指randomsampleconsensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。

本发明实施例通过采用ransac的八点法能够对匹配点(不同相机所拍摄的图像在三维实景地图上的特征点)进行求解，进而得到其基本矩阵，然后通过矩阵计算得到多组合相机的外参数，并结合内参数(内参数可以通过标定获得)得到投影矩阵，然后根据投影矩阵得到空间稀疏点云。

更进一步的是，在所述局部三维场景内建立视觉标志点，并根据所述视觉标志点将所述采集到的图像数据映射到同一坐标系下，并构建全局三维场景模型，具体包括：

获取所述空间稀疏点云；

根据所述空间稀疏点云确定所述多组合相机对应的视觉标志点；

根据所述视觉标志点将所述采集到的图像数据映射到同一坐标系下；

将背景三维模型叠加到所述同一坐标系下，得到所述全局三维场景模型。

具体来说，所述根据所述空间稀疏点云确定所述多组合相机对应的视觉标志点，具体包括：

将所述空间稀疏点云与之前预设数量的空间稀疏点云进行一一对比，并将空间稀疏点云与之前预设数量一致的空间稀疏点云存储为视觉标志点。

作为优选的实施例，所述同一坐标系为gps三维坐标系。因此，更为具体的是：所述背景三维模型为根据实景地图建立的三维模型。

进一步需要说明的是，本发明实施例通过不同在传统的双目车载视觉定位系统的基础上增加了不同视角的多目相机，使车辆在行驶过程中能对周围环境进行全方位定位，并设计信息融合器，实现多目组合相机的视觉数据融合，然后根据车辆的行驶速度和环境的复杂程度自动调整各个相机之间的距离，即调整每组双目相机的基线长度，来调整多目车载视觉定位系统的测量距离。

本发明提供的基于多组合相机的车载视觉定位方法通过不同视角的多目相机实现全方位定位，且通过调整各个相机之间的距离，调整两组相机之间的基线，双目相机之间的基线越长测量距离越远，最终实现全方位与不同远距离定位，从而实现精确度定位。

实施例2

本发明还提供了基于多组合相机的车载视觉定位系统，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现实施例1提供的基于多组合相机的车载视觉定位方法，具体包括如下步骤：

利用多组合相机拍摄车辆行驶过程中的图像；

对所述拍摄的图像采取数据融合处理，并根据数据融合后的图像数据构建完整的视觉地图；

根据所述视觉地图进行实时定位并指导车辆行驶。

本实施例提供的基于多组合相机的车载视觉定位系统，用于实现基于多组合相机的车载视觉定位方法，因此，上述基于多组合相机的车载视觉定位方法所具备的技术效果，基于多组合相机的车载视觉定位系统同样具备，在此不再赘述。

实施例3

本发明的实施例3提供了计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1基于多组合相机的车载视觉定位方法，具体包括如下步骤：

利用多组合相机拍摄车辆行驶过程中的图像；

对所述拍摄的图像采取数据融合处理，并根据数据融合后的图像数据构建完整的视觉地图；

根据所述视觉地图进行实时定位并指导车辆行驶。

本实施例提供的计算机存储介质，用于实现基于多组合相机的车载视觉定位方法，因此，上述基于多组合相机的车载视觉定位方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。

综上所述，本发明提供的基于多组合相机的车载视觉定位方法、设备及存储介质中通过不同视角的多目相机实现全方位定位，且通过调整各个相机之间的距离，调整两组相机之间的基线，双目相机之间的基线越长测量距离越远，最终实现全方位与不同远距离定位，从而实现精确度定位。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。