一种图像测距方法、系统、存储介质和车载视觉感知设备与流程

本发明涉及计算机视觉感知技术，特别是涉及一种图像测距方法、系统、存储介质和车载视觉感知设备。

背景技术：

随着公路交通特别是高速公路系统的发展，交通事故率也呈现上升趋势，交通安全越来越成为人们关注的焦点。因此，研究车辆安全辅助驾驶技术，为车辆提供安全辅助驾驶功能，从而为减少因驾驶者主观因素造成的交通事故提供智能技术服务。计算机视觉感知技术因其提供的信息量大、稳定性好等因素，逐渐成为车辆安全辅助驾驶技术的研究重点。随着计算机视觉感知技术的不断发展，将计算机视觉感知技术应用到智能车辆和/或无人驾驶车辆的车载视觉感知设备中，如此大大提高了汽车的驾驶安全。

目前，在智能车辆和/或无人驾驶车辆，车载视觉感知设备均是通过环视系统、前视摄像头以及车载终端而实现的。其中，环视系统用于观察车身周围的环境情况；前视摄像头安装在车前方的车载摄像头，通过前视摄像头可以直观地看到汽车行驶前方的障碍物，并通过车载终端利用前视摄像头所拍摄的图片可以计算出与前方障碍物的距离。

但是，单纯的依靠一个前视摄像头和车载终端进行前方障碍物的测距，往往难以达到理想的精度。而环视摄像头由于其最初设计的想法是追求比较大的视场，因此能够感知的目标距离比较近，不足以应对智能车辆和/或无人驾驶车辆的精确视觉测距任务。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图像测距方法、系统、存储介质和车载视觉感知设备，用于解决现有技术中车载视觉设备的前视摄像头的测距精度不高的问题。

为实现上述目的及其他相关目的，本发明提供一种图像测距方法，应用于汽车的车载视觉感知设备，所述车载视觉感知设备包括前视摄像头和环视摄像头，且所述前视摄像头与所述环视摄像头设置于所述汽车的不同位置；所述图像测距方法包括：通过所述前视摄像头和所述环视摄像头分别采集所述汽车的前方目标的图像；时钟同步所述前视摄像头和所述环视摄像头采集的所述图像；分别提取所述前视摄像头和所述环视摄像头采集的所述图像的图像特征点，并进行匹配；计算匹配的所述图像特征点、所述前视摄像头的光心以及所述环视摄像头的光心在世界坐标系中的坐标，构建三角形；利用三角测距法，通过所述前视摄像头和所述环视摄像头的光心间的实际距离计算所述汽车的车身与匹配的所述图像特征点的距离。

于本发明的一实施例中，所述前视摄像头采用前视单目摄像头；所述环视摄像头采用鱼眼摄像头。

于本发明的一实施例中，所述计算匹配的所述图像特征点、所述前视摄像头的光心以及所述环视摄像头的光心的世界坐标系中的坐标，构建三角形的步骤包括：获取匹配的所述图像特征点在前视摄像头坐标系中的坐标和在环视摄像头坐标系中的坐标，利用坐标转换计算匹配的所述图像特征点在所述世界坐标系中的坐标；利用坐标转换计算所述前视摄像头的光心坐标和所述环视摄像头的光心坐标在所述世界坐标中的坐标；在所述世界坐标系中，以匹配的所述图像特征点、所述前视摄像头的光心和所述环视摄像头的光心作为所述三角形的三个顶点，构建所述三角形。

于本发明的一实施例中，所述利用三角测距法，通过所述前视摄像头和所述环视摄像头的光心间的实际距离计算所述汽车的车身与匹配的所述图像特征点的距离的步骤包括：计算所述前视摄像头和所述环视摄像头的光心间的实际距离；利用所述前视摄像头和所述环视摄像头的光心间的实际距离校准所述三角形的边长；依据校准的所述三角形计算所述汽车的车身与匹配的所述图像特征点的距离。

于本发明的一实施例中，所述前视摄像头和所述环视摄像头的光心间的实际距离是通过预先测定的所述前视摄像头和所述环视摄像头的位姿获得的。

本发明还公开了一种图像测距系统，应用于汽车的车载视觉感知设备，所述车载视觉感知设备包括前视摄像头和环视摄像头，且所述前视摄像头与所述环视摄像头设置于所述汽车的不同位置；所述图像测距系统包括：采集模块，用于通过所述前视摄像头和所述环视摄像头分别采集所述汽车的前方目标的图像；同步模块，用于将所述前视摄像头和所述环视摄像头采集的所述图像进行时钟同步；提取匹配模块，用于对所述前视摄像头和所述环视摄像头采集的所述图像进行图像特征点的提取和匹配；坐标计算模块，用于计算匹配的所述图像特征点、所述前视摄像头的光心以及所述环视摄像头的光心在世界坐标系中的坐标，构建三角形；距离计算模块，用于利用三角测距法，通过所述前视摄像头和所述环视摄像头的光心间的实际距离计算所述汽车的车身与匹配的所述图像特征点的距离。

于本发明的一实施例中，所述前视摄像头采用前视单目摄像头；所述环视摄像头采用鱼眼摄像头。

于本发明的一实施例中，所述坐标计算模块包括：获取子模块，用于获取匹配的所述图像特征点在前视摄像头坐标系中的坐标和在环视摄像头坐标系中的坐标；转换子模块，用于利用坐标转换计算匹配的所述图像特征点、所述前视摄像头的光心坐标和所述环视摄像头的光心坐标在所述世界坐标系中的坐标；构建子模块，用于在所述世界坐标系中，以匹配的所述图像特征点、所述前视摄像头的光心和所述环视摄像头的光心作为所述三角形的三个顶点，构建所述三角形。

于本发明的一实施例中，所述距离计算模块包括：光心距离计算子模块，用于计算所述前视摄像头和所述环视摄像头的光心间的实际距离；校准子模块，用于利用所述前视摄像头和所述环视摄像头的光心间的实际距离校准所述三角形的边长；距离计算子模块，用于依据校准的所述三角形计算所述汽车的车身与匹配的所述图像特征点的距离。

本发明还公开了一种存储介质，存储有计算机程序，所述程序被处理器执行时实现如上所述的图像测距方法。

本发明公开了一种车载视觉感知设备，包括前视摄像头、环视摄像头、处理器、存储器及保存在存储器上并可在处理器上运行的计算机程序；其中；所述前视摄像头和所述环视摄像头设置在汽车的不同位置；所述处理器执行所述程序时实现如上所述的图像测距方法。

于本发明的一实施例中，所述前视摄像头采用前视单目摄像头；所述环视摄像头采用鱼眼摄像头。

如上所述，本发明的一种图像测距方法、系统、存储介质和车载视觉感知设备，通过前视摄像头和环视摄像头以及汽车的前方目标组成的三角形，计算汽车与前方目标的距离，计算过程属于精确计算，大大提高了前视摄像头的测距精度；并且，本发明设计合理，在提高检测性能的同时，降低了制造和使用成本。

附图说明

图1显示为本发明实施例公开的一种图像测距方法的流程示意图。

图2显示为本发明实施例公开的一种图像测距系统的原理示意图。

元件标号说明

s10～s50步骤

210采集模块

220同步模块

230提取匹配模块

240坐标计算模块

241获取子模块

242转换子模块

243构建子模块

250距离计算模块

251光心距离计算子模块

252校准子模块

253距离计算子模块

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅附图。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明提供一种图像测距方法、系统、存储介质和车载视觉感知设备，其以现有的前视摄像头的测距原理为基础，利用监测汽车车身周围环境的环视摄像头，将前视摄像头和环视摄像头采集的图像进行时钟同步，并进行信息融合。由于环视摄像头和前视摄像头安装在汽车上的位置不同，在感受前方同一目标时，前视摄像头和环视摄像头的光心位置不同，其与目标一起构成三角形，利用三角测距的方法进行距离测量，从而大大提高了车身与目标的距离的测量精度。

实施例1

如图1所示，本实施例公开了一种应用于车载视觉感知设备的图像测距方法，以测量汽车车身与前方目标的距离。其中，车载视觉感知设备包括前视摄像头和环视摄像头，并且，前视摄像头和环视摄像头分别安装在汽车车身的不同位置。优选地，前视摄像头采用单目摄像头，环视摄像头采用鱼眼摄像头。在实际应用中，前视摄像头和环视摄像头可以是安装在同一水平面的不同位置，例如，前视摄像头和环视摄像头安装在汽车的左、右前视灯上；也可以是安装在不同水平面的不同位置，例如，前视摄像头安装在汽车的前视灯上，环视摄像头安装在汽车的车顶。

本实施例的图像测距方法包括：

步骤s10，通过前视摄像头和环视摄像头分别采集汽车的前方目标的图像：

在实际的汽车行驶过程中，影响汽车行驶安全的因素主要来自前方目标，例如行人、车辆和动物等等。由于前视摄像头和环视摄像头在汽车上的位置不同，因此前视摄像头和环视摄像头对前方目标进行拍摄时，前视摄像头和环视摄像头相对前方目标的位置不同，前视摄像头和环视摄像头拍摄前方目标的角度也不同，因此，通过前视摄像头和环视摄像头所拍摄的前方目标的图像是有所差异的。其中，所谓的前方目标是指在实际汽车行驶过程中在前方影响汽车行驶安全的因素，例如汽车前方的行人、车辆和动物等等。

步骤s20，时钟同步前视摄像头和环视摄像头采集的图像；

尽管前视摄像头和环视摄像头采集的均是汽车前方目标的图像，但是，两个摄像头对同一前方目标采集的时间不同，图像当中的前方目标的位置就会有所差异，对最终的测距影响是很大的。并且，汽车通常情况下是处于行驶状态的，这也会对前视摄像头和环视摄像头采集的前方目标的图像有所影响，因此，为了保证测距的精度，必须对前视摄像头和环视摄像头采集的图像进行时钟同步，只有在同一时间下拍摄获得的图像，才可以精确进行前方目标与车身的距离测量和计算。

步骤s30，分别提取所述前视摄像头和所述环视摄像头采集的所述图像的图像特征点，并进行匹配：

其中，图像特征点是指图像中具有鲜明特性并能够有效反映图像本质特征能够标识图像中目标物体的点，包括但不限于：角点、边界点、分割点等等。在本实施例中，图像特征点可以采用基于尺度不变的特征提取方法，例如orb、sift和surf等等。

提取了前视摄像头和环视摄像头采集的图像的图像特征点后，对其进行匹配，找出相互匹配的图像特征点，即在同一时间，前视摄像头和环视摄像头采集的图像当中的前方目标的相同点。

步骤s40，计算匹配的图像特征点、前视摄像头的光心以及所述环视摄像头的光心在世界坐标系中的坐标，构建三角形：

在获得匹配的图像特征点后，利用坐标转换方法，可以计算获得匹配的图像特征点相对于世界坐标系的坐标：

众所周知，在图像识别领域中，依据采集的图像，可以获知在以摄像头的光心为原点的摄像头坐标系中的图像特征点的坐标。因此，根据前视摄像头和环视摄像头采集的图像，可以获取匹配的图像特征点在前视摄像头坐标系和环视摄像头坐标系中的坐标。其中，前视摄像头坐标系是以前视摄像头的光心作为原点，z轴为前视摄像头的光轴，与其采集的图像平面垂直；x轴和y轴与其成像的平面平行。环视摄像头坐标系是以环视摄像头的光心作为原点，z轴为环视摄像头的光轴，与其采集的图像平面垂直；x轴和y轴与其成像的平面平行。

进一步地，利用坐标转换方法可以轻松获取匹配的图像特征点、前视摄像头的光心以及环视摄像头的光心在世界坐标系中的坐标。其中，世界坐标系是一个相对坐标系，用于描述前视摄像头、环视摄像头和前方目标的位置。需要说明的是，对于世界坐标系、前视摄像头坐标系、环视摄像头坐标系之间的坐标转换，是本领域技术人员所熟知的技术，在此就不在赘述。

获取了世界坐标系下的匹配的图像特征点的坐标、前视摄像头的光心坐标和环视摄像头的光心坐标，即可以该三点为三角形的三个顶点，构建三角形。

步骤s50，利用三角测距法，通过所述前视摄像头和环视摄像头的光心间的实际距离计算汽车的车身与匹配的图像特征点的距离。

目前，前视摄像头的三角测距法中，距离是通过前视摄像头在针对同一前方目标前后采集的图像而计算获得的，那么就是说，该距离的测量与车辆的行驶速度和前视摄像头采集图像的间隔时间有关，并且由于采集图像的间隔时间较短，因此其校准用的实际距离并不是很精确，这也影响到了测距的精度。在本实施例中，其通过前视摄像头和环视摄像头的光心间的实际距离进行校准，由于前视摄像头和环视摄像头的光心间的实际距离是固定的，因此其测距的精度相较于传统的前视摄像头的前视测距的测距精度获得了较大的提升。前视摄像头和环视摄像头的光心间的实际距离既可以通过预先测量获得，也可以已经前视摄像头和环视摄像头的位姿进行计算获得。

获知了前视摄像头和环视摄像头的光心间的实际距离，也就获知了构建的三角形的一条边(前视摄像头的光心和环视摄像头的光心所连接的边)的实际边长，通过该实际边长、匹配的图像特征点的世界坐标、前视摄像头的光心的世界坐标、环视摄像头的光心的世界坐标，能够校准获得匹配的图像特征点与前视摄像头的光心之间的实际距离，匹配的图像特征点与环视摄像头的光心之间的实际距离。

在获知了构建的三角形三边的实际距离后，可以依据三角形的原理，轻松计算获得车身与匹配的图像特征点之间的距离，即汽车与前方目标的距离。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

实施例2

如图2所示，本实施例公开了一种图像测距系统，以测量汽车车身与前方目标的距离。其中，车载视觉感知设备包括前视摄像头和环视摄像头，并且，前视摄像头和环视摄像头分别安装在汽车车身的不同位置。优选地，前视摄像头采用单目摄像头，环视摄像头采用鱼眼摄像头。在实际应用中，前视摄像头和环视摄像头可以是安装在同一水平面的不同位置，例如，前视摄像头和环视摄像头安装在汽车的左、右前视灯上；也可以是安装在不同水平面的不同位置，例如，前视摄像头安装在汽车的前视灯上，环视摄像头安装在汽车的车顶。

本实施例的图像测距系统包括：

采集模块210，用于通过前视摄像头和所述环视摄像头分别采集所述汽车的前方目标的图像：前视摄像头和环视摄像头对前方目标进行拍摄时，前视摄像头和环视摄像头相对前方目标的位置不同，前视摄像头和环视摄像头拍摄前方目标的角度也不同，因此，通过前视摄像头和环视摄像头所拍摄的前方目标的图像是有所差异的。

同步模块220，用于将所述前视摄像头和所述环视摄像头采集的所述图像进行时钟同步。为了保证测距的精度，必须对前视摄像头和环视摄像头采集的图像进行时钟同步，只有在同一时间下拍摄获得的图像，才可以精确进行前方目标与车身的距离测量和计算。

提取匹配模块230，用于对所述前视摄像头和所述环视摄像头采集的所述图像进行图像特征点的提取和匹配。提取前视摄像头和环视摄像头采集的图像的图像特征点后，对其进行匹配，找出相互匹配的图像特征点，即在同一时间，前视摄像头和环视摄像头采集的图像当中的前方目标的相同点。

坐标计算模块240，用于计算匹配的所述图像特征点、所述前视摄像头的光心以及所述环视摄像头的光心在世界坐标系中的坐标，构建三角形。包括：

获取子模块241，用于获取匹配的所述图像特征点在前视摄像头坐标系中的坐标和在环视摄像头坐标系中的坐标；

转换子模块242，用于利用坐标转换计算匹配的所述图像特征点、所述前视摄像头的光心坐标和所述环视摄像头的光心坐标在所述世界坐标系中的坐标；

构建子模块243，用于在所述世界坐标系中，以匹配的所述图像特征点、所述前视摄像头的光心和所述环视摄像头的光心作为所述三角形的三个顶点，构建所述三角形。

距离计算模块250，用于利用三角测距法，通过所述前视摄像头和所述环视摄像头的光心间的实际距离计算所述汽车的车身与匹配的所述图像特征点的距离。所述距离计算模块250包括：

光心距离计算子模块251，用于计算所述前视摄像头和所述环视摄像头的光心间的实际距离；

校准子模块252，用于利用所述前视摄像头和所述环视摄像头的光心间的实际距离校准所述三角形的边长；

距离计算子模块253，用于依据校准的所述三角形计算所述汽车的车身与匹配的所述图像特征点的距离。

不难发现，本实施例为与第一实施例相对应的系统实施例，本实施例可与第一实施例互相配合实施。第一实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在第一实施例中。

实施例3

本实施例还公开了一种车载视觉感知设备，其采用实施例2所公开的图像测距系统。

本实施例的车载视觉感知设备包括前视摄像头、环视摄像头、处理器、存储器以及保存在存储器上并可在处理器上运行的计算机程序。其中，处理器执行所述计算机程序时实现实施例1所述的图像测距方法。

本实施例的车载视觉感知设备的前视摄像头和环视摄像头分别安装在汽车车身的不同位置。优选地，前视摄像头采用单目摄像头，环视摄像头采用鱼眼摄像头。在实际应用中，前视摄像头和环视摄像头可以是安装在同一水平面的不同位置，例如，前视摄像头和环视摄像头安装在汽车的左、右前视灯上；也可以是安装在不同水平面的不同位置，例如，前视摄像头安装在汽车的前视灯上，环视摄像头安装在汽车的车顶。

需要说明的是，本发明的实施例中的方法步骤可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(randomaccessmemory，ram)、闪存、只读存储器(read-onlymemory，rom)、可编程只读存储器(programmablerom，prom)、可擦除可编程只读存储器(erasableprom，eprom)、电可擦除可编程只读存储器(electricallyeprom，eeprom)、寄存器、硬盘、移动硬盘、cd-rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外，该asic可以位于终端以及服务器中。

可以理解的是，本发明的实施例中的处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solidstatedisk，ssd))等。

综上所述，本发明的一种图像测距方法、系统、存储介质和车载视觉感知设备，通过前视摄像头和环视摄像头以及汽车的前方目标组成的三角形，计算汽车与前方目标的距离，计算过程属于精确计算，大大提高了前视摄像头的测距精度；并且，本发明设计合理，在提高检测性能的同时，降低了制造和使用成本。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。