基于双目立体视觉的测距方法及测距系统与流程

本申请涉及测距技术领域，尤其涉及一种基于双目立体视觉的测距方法及测距系统。

背景技术：

随着人们生活水平的提高与现代科学技术的快速发展，无人驾驶成为一种新的市场需求并逐步走进人们的生活。测距系统是无人驾驶系统的一个重要组成部分，可以提供车辆周围的环境信息。因此，测距系统的实时性、稳定性、精确性及量程直接决定了无人驾驶系统的安全性和可靠性。

目前，测距系统多采用双目立体视觉(英文全称：binocularstereovision)方法进行实时立体重建及测距。其中，主动光式的双目立体视觉方法主要利用主动光源，比如，激光发射器，在待测场景中生成光斑并结合一些特征匹配算法来测算距离，虽然主动光式的双目立体视觉方法可以大大提高测距系统的准确性及稳定性，但是，由于其所使用的激光发射器的功率较小，投射出的激光只能在近距离场景中形成光斑，这也限制了其有效量程。即使通过增加激光发射器的功率来在待测场景中较远距离的物体表面上生成了光斑，但由于激光在空气传播的过程中会遇到发散问题，所形成的光斑的边缘会变得模糊，再利用匹配算法计算出的距离的精度与测量近距离物体的精度相比将大大降低。

技术实现要素：

本申请提供了一种基于双目立体视觉的测距方法及测距系统，以提高测距系统的有效量程，提高远距离测距时的精确度。

第一方面，本申请提供了一种基于双目立体视觉的测距方法，其包括：

获取原始参考图像和原始目标图像，所述原始参考图像和原始目标图像为分别通过测距系统的两个相机拍摄的光斑的图像；

根据相机参数对原始参考图像和原始目标图像进行校正以得到对应的校正参考图像和校正目标图像；

对所述校正参考图像和校正目标图像进行匹配代价计算以得到所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的匹配代价，其中，所述匹配代价包括特征匹配代价和发散匹配代价；

对所述匹配代价进行代价聚合以得到对应的累计代价；

根据所述累计代价计算所述校正参考图像中每个像素点对应的视差值，以完成测距。

在第一方面提供的测距方法中，所述对所述校正参考图像和校正目标图像进行匹配代价计算以得到所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的匹配代价，包括：

根据预设特征匹配算法计算所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的特征匹配代价；

根据预设光斑发散测算法计算所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的发散匹配代价；

获取所述特征匹配代价的特征权重值和所述发散匹配代价的发散权重值，其中，所述特征权重值与所述校正参考图像中每个像素点的视差值呈正相关，所述发散权重值与所述校正参考图像中每个像素点的视差值呈负相关；

计算所述特征匹配代价与特征权重值之积作为所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的特征代价，以及计算所述发散匹配代价与发散权重值之积作为所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的发散代价；以及

计算所述特征代价和发散代价之和作为所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的匹配代价。

在第一方面提供的测距方法中，所述对所述匹配代价进行代价聚合以得到对应的累计代价，包括：

通过邻域正则化项对所述匹配代价进行平滑处理。

在第一方面提供的测距方法中，所述根据所述累计代价计算所述校正参考图像中每个像素点对应的视差值，包括：

计算所述累计代价的最小值，并将所述累计代价的最小值对应的自变量的值作为所述校正参考图像中每个像素点对应的视差值。

在第一方面提供的测距方法中，在所述根据所述累计代价计算所述校正参考图像中每个像素点对应的视差值之后，还包括：

采用预设降噪方法对所述校正参考图像中每个像素点对应的视差值进行降噪处理以得到降噪处理后的视差值；

根据降噪处理后的视差值生成视差图像。

进一步地，在第一方面提供的测距方法中，所述特征权重值的表达式为w1(d)＝1-exp(-d/λ)，发散权重值的表达式为w2(d)＝exp(-d/λ)，其中，λ为预设参数值，d为所述校正参考图像中每个像素点对应的视差值。

进一步地，在第一方面提供的测距方法中，所述根据预设光斑发散测算法计算所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的发散匹配代价，包括：

采用预设光斑发散测算公式，计算所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的发散匹配代价，所述预设光斑发散测算公式为其中，为所述校正参考图像中像素点在视差值d上的发散匹配代价，b为双目基线距离，f为相机焦距，θ为激光发射器的发散角度，r为所述光斑的实际半径与理论半径之差。

在第一方面提供的测距方法中，在所述获取原始参考图像和原始目标图像之前，还包括：

通过预设相机标定法对测距系统的相机进行相机标定以获得相机参数，其中，所述相机参数包括相机内参、畸变参数和相平面的变换矩阵。

在第一方面提供的测距方法中，所述根据相机参数对原始参考图像和原始目标图像进行校正以得到对应的校正参考图像和校正目标图像，包括：

根据相机参数对原始参考图像和原始目标图像进行极线校正以得到对应的校正参考图像和校正目标图像。

第二方面，本申请提供了一种测距系统，其包括：至少两个相机、至少一个激光发射器和处理装置；所述激光发射器用于向待测物发射激光以形成光斑；所述相机用于拍摄所述光斑以形成原始参考图像和原始目标图像；所述处理装置用于执行第一方面提供的任意一种基于双目立体视觉的测距方法。

本申请提供一种基于双目立体视觉的测距方法及测距系统。该测距方法在对校正参考图像和校正目标图像进行匹配代价计算时，所计算出的匹配代价既包括特征匹配代价又包括发散匹配代价，从而使得该测距方法不论在进行近距离测距，还是远距离测距，都具有很好的测距精确度，提高了应用该方法的测距系统的有效量程和测距精确度。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于双目立体视觉的测距方法的示意流程图；

图2为本申请实施例提供的一种基于双目立体视觉的测距方法的另一示意流程图；

图3为本申请实施例提供的一种基于双目立体视觉的测距方法的具体示意流程图；

图4为本申请实施例提供的一种测距系统的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1是本申请实施例提供的一种基于双目立体视觉的测距方法的示意流程图。该基于双目立体视觉的测距方法应用于测距系统中。该测距系统可以安装于汽车等器械中，譬如，该测距系统可以安装于无人驾驶汽车中。

在本实施例中，该测距系统包括至少一个光源，该光源可例如为激光发射器。该激光发射器用于向待测物发射激光以形成光斑。该测距系统还包括至少两个相机，用于拍摄该光斑的原始参考图像和原始目标图像。

如图1所示，该基于双目立体视觉的测距方法包括步骤s101～s105。

s101、获取原始参考图像和原始目标图像，所述原始参考图像和原始目标图像为分别通过测距系统的两个相机拍摄的光斑的图像。

在本实施例中，可以通过测距系统的两个相机获取原始参考图像和原始目标图像。

在一实施例中，如图2所示，图2是本申请实施例提供的一种基于双目立体视觉的测距方法的另一示意流程图。在该基于双目立体视觉的测距方法中，在步骤s101之前还包括步骤s106。

s106、通过预设相机标定法对测距系统的相机进行相机标定以获得相机参数，其中，所述相机参数包括相机内参、畸变参数和相平面的变换矩阵。

在图2所示的实施例中，在利用相机获取原始参考图像和原始目标图像之前，还需要对相机进行标定从而获得相机参数。具体地，可以通过预设相机标定法对测距系统的相机进行相机标定以获得相机参数。

在一实施例中，该预设相机标定法可以为张氏标定法。当然，该预设相机标定方法还可以为其他的标定方法，具体采用哪种标定方法可以根据实际需求进行选择，在此不做具体限制。

在图2所示的实施例中，该相机参数可以包括相机内参m、畸变参数d和相平面的变换矩阵q。其中，该相机内参m可以包括u0、v0和f等，该dx和dy表示x方向和y方向的一个像素分别占多少长度单位，即一个像素代表的实际物理值的大小；u0和v0表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数；f为相机焦距。该畸变参数d可以包括径向畸变系数和切向畸变系数。

在获得原始参考图像和原始目标图像之后，将执行步骤s102。

s102、根据相机参数对原始参考图像和原始目标图像进行校正以得到对应的校正参考图像和校正目标图像。

具体地，在一实施例中，根据相机参数对原始参考图像和原始目标图像进行校正以得到对应的校正参考图像和校正目标图像，具体包括：根据相机参数对原始参考图像和原始目标图像进行极线校正以得到对应的校正参考图像和校正目标图像。通过极线校正，使得校正参考图像和校正目标图像中的对应点的行对齐，即对应点的y坐标相同。

在获得校正参考图像和校正目标图像后，将执行步骤s103。

s103、对所述校正参考图像和校正目标图像进行匹配代价计算以得到所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的匹配代价，其中，所述匹配代价包括特征匹配代价和发散匹配代价。

为了使得本实施例中的测距方法不论进行近距离的测距还是进行远距离的测距，都具有良好的测距精确度，在本实施例中进行匹配代价计算时，所计算出的匹配代价既包括特征匹配代价也包括发散匹配代价，这样，在进行近距离测距时，可以主要通过特征匹配代价来获得良好的测距精确度，而在进行远距离测距时，可以主要通过发散匹配代价来弥补光斑发散所带来的精确度误差，从而使得远距离测距时也具有良好的测距精确度。

具体地，在一实施例中，如图3所示，图3是本申请实施例提供的一种基于双目立体视觉的测距方法的具体示意流程图。该步骤s103具体包括步骤s1031至s1035。

s1031、根据预设特征匹配算法计算所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的特征匹配代价。

在图3所示的实施例中，该预设特征匹配算法为sgm(英文全称：semi-globalmatching)算法。当然，该预设特征匹配算法不局限于上述的sgm算法，还可以为其他算法，譬如，还可以为adcensus(英文全称：absolutedifferencecensus)，在此不对预设特征匹配算法做具体限制。

s1032、根据预设光斑发散测算法计算所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的发散匹配代价。

具体地，在一实施例中，可以采用预设光斑发散测算公式，计算所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的发散匹配代价。其中，该预设光斑发散测算公式如下公式(1)所示：

其中，为所述校正参考图像中像素点在视差值d上的发散匹配代价，b为双目基线距离，f为相机焦距，θ为激光发射器的发散角度，r为所述光斑的实际半径与理论半径之差。该光斑的理论半径可以由相机内参m、光斑在校正参考图像和校正目标图像中的成像大小及相机间的标定参数通过三角测量原理求得。

需要说明的是，计算校正参考图像中每个像素点与校正目标图像中对应点之间的特征匹配代价和发散匹配代价的先后顺序关系不局限于图3所示的情况，还可以先计算发散匹配代价，再计算特征匹配代价，也可以同时计算特征匹配代价和发散匹配代价。

s1033、获取所述特征匹配代价的特征权重值和所述发散匹配代价的发散权重值，其中，所述特征权重值与所述校正参考图像中每个像素点的视差值呈正相关，所述发散权重值与所述校正参考图像中每个像素点的视差值呈负相关。

具体地，在一实施例中，该特征权重值的表达式如下公式(2)所示以及该发散权重值的表达式如下公式(3)所示：

w1(d)＝1-exp(-d/λ)(2)

w2(d)＝exp(-d/λ)(3)

其中，w1(d)为特征权重值，w2(d)为发散权重值，λ为预设参数值，d为校正参考图像中每个像素点对应的视差值。

从上述公式(2)和公式(3)中不难看出，该特征权重值w1(d)与校正参考图像中每个像素点的视差值d呈正相关，该发散权重值w2(d)与校正参考图像中每个像素点的视差值呈d负相关。

s1034、计算所述特征匹配代价与特征权重值之积作为所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的特征代价，以及计算所述发散匹配代价与发散权重值之积作为所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的发散代价。

s1035、计算所述特征代价和发散代价之和作为所述校正参考图像中每个像素点与所述校正目标图像中对应点之间的匹配代价。

在图3所示的实施例中，该匹配代价的表达式如下公式(4)所示：

其中，表示校正参考图像中像素点在视差值d上的匹配代价，表示采用sgm算法计算出的校正参考图像中像素点在视差值d上的特征匹配代价。

根据公式(2)和公式(3)，由于特征权重值w1(d)与视差值d呈正相关，发散权重值w2(d)与视差值呈d负相关，这样，在进行近距离测距时，光斑发散很小，特征权重值w1(d)较大，从而使得匹配代价中特征匹配代价占据主导作用；而在进行远距离测距时，光斑发散较大，发散权重值w2(d)较大，从而使得匹配代价中发散匹配代价占据主导作用。这样可以使得匹配代价可以根据光斑的远近进行自调节，以确保测距的精确度。

在计算出匹配代价后，将执行步骤s104。

s104、对所述匹配代价进行代价聚合以得到对应的累计代价。

为了降低异常点的影响，提高信噪比进而提高匹配精度，需要对匹配代价进行代价聚合以得到对应的累计代价。

在一实施例中，为了进一步减小噪声，提高匹配精度，在对所述匹配代价进行代价聚合以得到对应的累计代价时，还可以通过邻域正则化项对所述匹配代价进行平滑处理。这样所得到的累计代价的表达式可如下公式(5)所示：

其中，为校正参考图像中像素点的视差值，为校正参考图像中像素点的邻域上像素点的集合，为校正参考图像中邻域上的像素点的视差值，p1和p2为权重值，i[......]定义为i[true]＝1和i[false]＝0的方程。

在计算出累计代价后，执行步骤s105。

s105、根据所述累计代价计算所述校正参考图像中每个像素点对应的视差值，以完成测距。

具体地，在一实施例中，根据所述累计代价计算所述校正参考图像中每个像素点对应的视差值，具体包括：计算所述累计代价的最小值，并将所述累计代价的最小值对应的自变量的值作为所述校正参考图像中每个像素点对应的视差值。校正参考图像中像素点的视差值的表达式如下公式(6)所示：

在获得校正参考图像中每个像素点对应的视差值后，可以根据所述视差值生成视差图像以完成测距。

在一实施例中，为了降低视差图像中的噪声，在步骤s105之后，还可以采用预设降噪方法对所述校正参考图像中每个像素点对应的视差值进行降噪处理以得到降噪处理后的视差值；根据降噪处理后的视差值生成视差图像。其中，该预设降噪方法可例如为插值(英文名称：interpolation)法、亚像素增强(英文名称：subpixelenhancement)法、精细化(英文名称：refinement)法、图像滤波(英文名称：imagefiltering)法等等。

在本实施例中，该基于双目立体视觉的测距距方法在对校正参考图像和校正目标图像进行匹配代价计算时，所计算出的匹配代价既包括特征匹配代价又包括发散匹配代价，从而使得该测距方法不论在进行近距离测距，还是远距离测距，都具有很好的测距精确度，提高了应用该方法的测距系统的有效量程和测距精确度。

请参阅图4，图4为本申请实施例提供的测距系统的示意性框图。该测距系统300可以安装于汽车等器械中，譬如，该测距系统300可以安装于无人驾驶汽车中。

如图4所示，该测距系统300包括第一相机模组310、第二相机模组320、激光模组330和处理装置340。其中，该第一相机模组310包括至少一个第一相机311，该第二相机模组320包括至少一个第二相机321，该激光模组330包括至少一个激光发射器331。也就是说，该测距系统300包括至少两个相机和至少一个激光发射器。

该至少一个激光发射器331用于向待测物发射激光以形成光斑。需要说明的是，该激光模组330内的至少一个激光发射器331的功率可以互不相同，也可以相同。该激光发射器331可以为输出固定功率的激光发射器，也可以为输出功率可调节的激光发射器，在此不做具体限制。

在进行测距时，从第一相机模组310中选择一个第一相机311以及从第二相机模组320中选择一个第二相机321，选择出的第一相机311和第二相机321分别用于拍摄光斑以形成原始参考图像和原始目标图像。由于第一相机模组310中的第一相机311与第二相机模组320中的第二相机321可以根据需求进行搭配组合，这样可以形成不同的双目基线距离b和焦距f，满足不同的测距范围需求。

该处理装置340用于对第一相机311和第二相机321采集到的原始参考图像和原始目标图像进行处理以得到光斑的距离值。该处理装置340采用本申请提供的基于双目立体视觉的测距方法对原始参考图像和原始目标图像进行处理以得到光斑的距离值。

由于说明书前面的实施例已经对该基于双目立体视觉的测距方法进行了详细地介绍，所属领域的技术人员在阅读前述的基于双目立体视觉的测距方法实施例的技术方案后，可以清楚地得知本实施例中的测距系统300的工作过程。为了说明书的简洁性，在此不对测距系统300的具体工作过程做重复说明。

在本实施例中，由于该测距系统300采用本申请提供的基于双目立体视觉的测距方法，使得该测距系统300不论在进行近距离测距，还是远距离测距，都具有很好的测距精确度，同时具有较大的有效量程，满足无人驾驶汽车等器械的需求。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。