一种基于双目立体的测距方法及装置与流程

本发明涉及计算机技术，尤指一种基于双目立体的测距方法及装置。

背景技术：

在未来的人工智能时代，基于视觉的目标测距技术因其成本低、适用环境广泛等优势将在无人驾驶、虚拟现实、机器人等领域发挥重要作用。常见的基于立体视觉测距方法中，往往是直接对获取的双目立体图像对进行处理，计算图像中各物体的距离。然而，在实际应用过程中，双目立体图像对中包含的目标区域才是最关键和有效的部分，并且，计算过程中其他区域的图像数据也会影响目标区域测距结果的准确性。为了减少其他区域的图像数据所带来的影响，以及提高目标区域测距计算的效率和精确度，亟需提出一个基于双目立体的测距方法，以解决现有技术中所存在的计算所获得的目标区域的测距结果不准确等问题。

技术实现要素：

为了解决上述技术问题，本发明提供了一种基于双目立体的测距方法及装置，能够基于双目立体视觉测距理论，结合深度学习的方法，能够更加精确的获得目标区域的空间位置。

为了达到本发明目的，本发明提供了一种基于双目立体的测距方法，所述方法包括：

获取预处理后的双目图像数据；

通过深度学习算法获取所述预处理后的双目图像数据中目标区域的双目图像数据；

采用立体匹配方法计算得到所述目标区域的空间位置。

一种示例性的实施例中，所述获取预处理后的双目图像数据之前，还包括：

采用已标定的平行双目立体相机获取双目图像数据；

对所述双目图像进行预处理操作，其中，所述预处理操作包括图像平滑处理和增强处理。

一种示例性的实施例中，所述采用立体匹配方法计算得到所述目标区域的空间位置之前，还包括：

获取所述已标定的平行双目立体相机的内外参数，其中，所述内外参数包括相机的焦距和平行双目立体相机之间的基线距离。

一种示例性的实施例中，所述利用立体匹配方法计算得到所述目标区域的空间位置，包括：

通过立体匹配方法得到所述目标区域的视差值；

根据所述平行双目立体相机的内外参数和所述目标区域的视差值，确定所述目标区域的空间位置。

一种示例性的实施例中，所述根据所述平行双目立体相机的内外参数和所述目标区域的视差值，确定所述目标区域的空间位置，包括：

所述平行双目立体相机的焦距乘所述平行双目立体相机之间的距离，将所得到的乘积除所述目标区域的视差值，计算结果为所述目标区域的空间位置。

为了解决上述问题，本发明还提供了一种基于双目立体的测距装置，包括：存储器和处理器；

所述存储器，用于保存用于双目立体视觉测距的程序；

所述处理器，用于读取执行所述用于双目立体视觉测距的程序，执行如下操作：

获取预处理后的双目图像数据；

通过深度学习算法获取所述预处理后的双目图像数据中目标区域的双目图像数据；

采用立体匹配方法计算得到所述目标区域的空间位置。

一种示例性的实施例中，所述处理器，用于读取执行所述用于双目立体视觉测距的程序，执行如下操作：

所述获取预处理后的双目图像数据之前，

采用已标定的平行双目立体相机获取双目图像数据；

对所述双目图像进行预处理操作，其中，所述预处理操作包括图像平滑处理和增强处理。

一种示例性的实施例中，所述处理器，用于读取执行所述用于双目立体视觉测距的程序，执行如下操作：

所述采用立体匹配方法计算得到所述目标区域的空间位置之前，

获取所述已标定的平行双目立体相机的内外参数，其中，所述内外参数包括相机的焦距和平行双目立体相机之间的基线距离。

一种示例性的实施例中，所述采用立体匹配方法计算得到所述目标区域的空间位置，包括：

通过立体匹配方法得到所述目标区域的视差值；

根据所述平行双目立体相机的内外参数和所述目标区域的视差值，确定所述目标区域的空间位置。

一种示例性的实施例中，所述根据所述平行双目立体相机的内外参数和所述目标区域的视差值，确定所述目标区域的空间位置，包括：

所述平行双目立体相机的焦距乘所述平行双目立体相机之间的距离，将所得到的乘积除所述目标区域的视差值，计算结果为所述目标区域的空间位置。

与现有技术相比，本发明包括获取预处理后的双目图像数据；通过深度学习算法获取所述预处理后的双目图像数据中目标区域的双目图像数据；采用立体匹配方法计算得到所述目标区域的空间位置。通过本发明的方案，可以通过简便的计算获得更加精确的目标区域的空间位置。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明基于双目立体的测距方法的流程图；

图2为本发明基于双目立体的测距装置的示意图；

图3为本发明一示例方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是本发明的基于双目立体的测距方法的流程图，根据该流程图，本实施例的基于双目立体的测距方法，包括：

步骤100：获取预处理后的双目图像数据。

在本实施例中，通过双目立体相机采集的双目图像数据可能会受到光照、噪声等因素的影响，为了获得更加准确的目标区域的测距结果，可对所获取到的双目图像数据执行预处理操作，针对预处理后的双目图像数据执行后续的获取目标区域的数据的相关操作。

一种示例性的实施例中，采用已标定的双目立体相机采集双目图像数据，该已标定的双目立体相机可以是已标定的平行双目立体相机；图像数据可以是利用平行双目相机(左右相机分别会得到图像数据)采集到的图像数据(rgb图像)。在本实施例中，对于采集双目图像数据的设备并不具体限定相机设备，只需要是平行的双目立体相机。采用已标定的平行双目立体相机获取双目图像数据后，对所述双目图像进行预处理操作，其中，所述预处理操作包括图像平滑处理和增强处理。

步骤101：通过深度学习算法获取所述预处理后的双目图像数据中目标区域的双目图像数据。

在本实施例中，针对于不同的应用场景和图像数据，可采用不同的深度学习方法获取预处理后的双目图像数据中目标区域的双目图像数据；其中，该深度学习算法可以是yolo(youonlylookonce)算法、faster-rcnn算法等方法。

针对不同的应用场景所采集的双目图像数据，可选择采用yolo算法或者faster-rcnn算法等方法进行模型训练，利用训练好的模型处理通过图像平滑处理和增强处理预处理后的双目图像数据，得到目标区域的双目图像数据后，保留预处理后的双目图像数据中目标区域的双目图像数据。

步骤102：利用立体匹配方法计算得到所述目标区域的空间位置。

在本实施例中，通过深度学习算法获取到目标区域的双目图像数据后，可采用立体匹配方法计算得到所述目标区域的测距。

一种示例性的实施例中，采用立体匹配方法计算得到所述目标区域的空间位置之前，需要获取已标定的平行双目立体相机的内外参数，其中，该平行双目立体相机的内外参数包括相机的焦距和平行双目立体相机之间的基线距离；平行双目立体相机的焦距可用f代表，平行双目立体相机之间的基线距离可用b代表。

一种示例性的实施例中，通过立体匹配方法得到所述目标区域的视差值；根据所述平行双目立体相机的内外参数和所述目标区域的视差值，确定所述目标区域的空间位置。双目立体视觉(binocularstereovision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目立体视觉理论中立体匹配方法是本领域中一个基本内容。其中，该立体匹配方法，一般分为局部和全局的立体匹配方法。关于局部立体匹配算法，主要分为自适应立体匹配算法、自适应权值的立体匹配算法和多窗体立体匹配算法。关于全局立体匹配算法，主要采用全局优化理论方法估计视差，建立全局能量函数，通过最小化全局能量函数得到最优视差值。全局立体匹配算法中的主要算法包括：graphcuts(能量优化算法)、beliefpropagation(法置信度传播算法，简称bp算)，动态规划等。在本实施例中，通过立体匹配方法得到所述目标区域的视差值，具体实现可以采用本领域技术人员的熟知技术实现，并不用于限定本发明的保护范围，这里不再赘述。

一种示例性的实施例中，将平行双目立体相机的焦距乘所述平行双目立体相机之间的距离，将所得到的乘积除所述目标区域的视差值，计算结果为所述目标区域的空间位置。例如：已标定就是相机内外参数是已经确定的；相机的焦距f，平行双目立体相机之间的距离b；基于双目立体视觉的立体匹配方法得到目标区域的视差图，设空间位置某一点的视差为d；那么此空间中该点与相机之间的距离即测距值为：z＝b*f/d；利用上述算法计算每一个点的测距值，获得目标区域的测距值，进而获得目标区域的空间位置。在本实施例中，通过述目标区域的视差值、相机的内外参数计算获得目标区域的空间位置的具体实现可以采用本领域技术人员的熟知技术实现，并不用于限定本发明的保护范围，这里不再赘述。

另外，本申请提供了一种基于双目立体的测距装置的一个实施例，该装置实施例与图1所示的方法实施例对应，该装置具体可以应用于各种电子设备中。

如图2所示，还提供了还提供了一种基于双目立体的测距装置，包括：存储器和处理器；

所述存储器，用于保存用于双目立体视觉测距的程序；

所述处理器，用于读取执行所述用于双目立体视觉测距的程序，执行如下操作：

获取预处理后的双目图像数据；

通过深度学习算法获取所述预处理后的双目图像数据中目标区域的双目图像数据；

采用立体匹配方法计算得到所述目标区域的空间位置。

一种示例性的实施例中，所述处理器，用于读取执行所述用于双目立体视觉测距的程序，执行如下操作：

所述获取预处理后的双目图像数据之前，

采用已标定的平行双目立体相机获取双目图像数据；

对所述双目图像进行预处理操作，其中，所述预处理操作包括图像平滑处理和增强处理。

一种示例性的实施例中，所述处理器，用于读取执行所述用于双目立体视觉测距的程序，执行如下操作：

所述利用立体匹配方法计算得到所述目标区域的空间位置之前，

获取所述已标定的平行双目立体相机的内外参数，其中，所述内外参数包括相机的焦距和平行双目立体相机之间的基线距离。

一种示例性的实施例中，所述采用立体匹配方法计算得到所述目标区域的空间位置，包括：

通过立体匹配方法得到所述目标区域的视差值；

根据所述平行双目立体相机的内外参数和所述目标区域的视差值，确定所述目标区域的空间位置。

一种示例性的实施例中，所述根据所述平行双目立体相机的内外参数和所述目标区域的视差值，确定所述目标区域的空间位置，包括：

所述平行双目立体相机的焦距乘所述平行双目立体相机之间的距离，将所得到的乘积除所述目标区域的视差值，计算结果为所述目标区域的空间位置。

如图3所示，一种示例性的实施例的实施过程如下：

步骤01：采用已标定的平行双目立体相机获取双目图像数据。

步骤02：对所获取双目图像数据进行预处理操作，其中，所述预处理操作包括图像平滑处理和增强处理。

步骤03：通过深度学习算法对所述预处理后的双目图像数据提取目标区域的双目图像数据。

步骤04：获取所述已标定的平行双目立体相机的内外参数，其中，所述内外参数包括相机的焦距和平行双目立体相机之间的基线距离。

步骤05：采用立体匹配方法得到所述目标区域的双目图像数据的视差值。

步骤06：根据所述平行双目立体相机的内外参数和所述目标区域的视差值，确定所述目标区域的空间位置。通过将所述平行双目立体相机的焦距乘所述平行双目立体相机之间的距离，将所得到的乘积除所述目标区域的视差值，计算结果为所述目标区域的空间位置；例如：设目标区域中空间位置某一点的视差为d，平行双目立体相机的焦距为f，平行双目立体相机之间的基线距离为b；那么此空间点与相机之间的距离即测距为z：z＝b*f/d。

基于本实施例的一个具体示例，基于双目立体视觉测距理论，结合深度学习的方法，实现更加精确的获得目标区域的空间位置。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。