一种基于双目立体视觉的立体匹配方法与流程

本发明涉及一种图像处理方法，尤其涉及一种基于双目立体视觉的立体匹配方法。

背景技术：

随着经济的发展，机器机视觉的发展也越来越快，对其处理能力的要求也越来越高。机器机视觉是研究如何用摄像机和电脑代替人眼和大脑神经系统对目标进行信息获取、场景理解、目标识别、跟踪和测量等的视觉系统。

立体视觉一般可以分为双目立体视觉系统、三目或者多目的立体视觉系统。其中三目和多目立体视觉系统可以看成是由多个双目立体视觉系统构成，它们的基本的原理都还是基于双目立体视觉原理；双目立体视觉系统可以视为是机器立体视觉中的最小系统。双目立体视觉中对应点匹配问题即立体匹配问题是最困难、极富挑战性的一步，匹配的精度和速度对立体视觉系统有很大的影响。

例如，申请公布号为cn105160679a，名称为“基于自适应权重与图像分割相结合的局部立体匹配算法”的中国专利公开了一种基于自适应权重与图像分割相结合的局部立体匹配算法，包括：选取左右视图其中一幅图作为基准图像；对左右视图的所有像素点分别进行census变换，获得基准图像中每一像素点在不同的视差d下的匹配代价；建立支撑窗口，在支撑窗口内以基准图像每一像素点为中心建立每一像素点的基准分割单元，在支撑窗口内以非基准图像每一像素点为中心建立每一像素点的非基准分割单元，计算每一支撑窗口内的中心像素点的权重值；根据权重值获得左右视图的最优视差。该方法由于使用了分割算法，导致计算量较大。另外该方法并未使用视差图的亚像素插值，视差图不够平滑。

授权公布号为cn103646396b，名称为“双目立体匹配算法的匹配代价算法和非局部立体匹配算法”的中国专利公开了一种双目立体匹配算法的匹配代价计算方法和一种基于可变权重mst的非局部立体匹配算法，所述匹配代价计算方法包括：s1)色彩空间归一化步骤：按照下述方法对原图像进行rgb色彩空间归一化处理获得归一化色彩空间，归一化色彩空间的像素点的r、g、b色彩值分量r、g、b满足：s2)匹配代价计算步骤：利用归一化色彩空间对图像的匹配代价进行评价。该方法由于使用了mst算法，导致计算量较大，另外实时的yuv数据流要转换成rgb然后归一化，导致计算量大。

技术实现要素：

本发明的目的在于提供一种基于双目立体视觉的立体匹配方法，解决双目立体视觉图像匹配精度差的问题。

本发明的另一个目的在于提供一种基于双目立体视觉的立体匹配方法，解决双目立体视觉图像匹配计算量大、实时低的问题。

为实现上述发明目的，本发明提供一种基于双目立体视觉的立体匹配方法，包括：

s1.通过双目立体视觉传感器获得左右两幅图像，并基于所述左右两幅图像构建第一匹配代价计算函数；

s2.以所述左右两幅图像中的一幅为参考图，移动另一幅图像获取与设定的最大视差值相等数量的第一图像，利用所述第一匹配代价计算函数对所述第一图像进行计算，获取与所述第一图像相等数量的代价图；

s3.利用选取的盒式滤波器中最小的尺度对所述代价图进行匹配代价聚合，获取每个像素点的匹配代价，通过计算所述像素点最小匹配代价获取其视差值及置信度，以及根据所述视差值获取所述左右两幅图像的视差图；

s4.判断所述置信度是否大于预设阈值，若是，则对所述视差图进行后处理优化，否则，按照由小到大的顺序选取盒式滤波器中的下一个尺度并对当前所述像素点重复执行步骤s3至s4，直到通过盒式滤波器中的所有尺度。

根据本发明的一个方面，步骤s1中，基于所述左右两幅图像构建第一匹配代价计算函数的步骤中，包括：

s11.分别对所述左右两幅图像进行颜色归一化处理获得归一化色彩空间，以及进行滤波处理获得梯度空间；

s12.基于所述归一化色彩空间和所述梯度空间构建所述第一匹配代价计算函数。

根据本发明的一个方面，步骤s4中，对所述视差图进行后处理优化的步骤中包括：

s41.对所述视差图进行亚像素插值；

s42.对完成亚像素插值的所述视差图进行斑点去除；

s43.对完成斑点去除的所述视差图进行视差图填充；

s44.对完成视差图填充的所述视差图进行中值滤波。

根据本发明的一个方面，选取的所述盒式滤波器中的所述尺度由小到大的顺序设置有至少三个。

根据本发明的一个方面，步骤s1中，所述左右两幅图像为yuv格式图像；

对所述左右两幅图像进行颜色归一化处理获得归一化色彩空间，以及进行滤波处理获得梯度空间的步骤中，在u通道和v通道对所述左右两幅图像进行颜色归一化处理，在y通道对所述左右两幅图像进行滤波处理。

根据本发明的一个方面，在u通道和v通道对所述左右两幅图像进行颜色归一化处理后，获得的所述归一化色彩空间的像素点特征满足：

其中，u表示进行颜色归一化处理前所述左右两幅图像中对应像素点的u通道颜色分量，v表示进行颜色归一化处理前所述左右两幅图像中对应像素点的v通道颜色分量；

在y通道对所述左右两幅图像进行滤波处理获得梯度空间的步骤中，采用hsobel特征计算的方式进行滤波处理，其中通过采用卷积核kernel对所述左右两幅图像中的y通道数据进行卷积处理，所述卷积核kernel为：

根据本发明的一个方面，步骤s12中，基于所述归一化色彩空间和所述梯度空间构建第一匹配代价计算函数的步骤中，包括：

s121.基于获取的所述归一化色彩空间建立第二匹配代价计算函数，

s122.基于获取的所述梯度空间建立第三匹配代价计算函数，其中，采用bt线性插值匹配代价方式获取所述第三匹配代价计算函数；

s123.根据所述第二匹配代价计算函数和所述第三匹配代价计算函数构建所述第一匹配代价计算函数。

根据本发明的一个方面，所述第二匹配代价计算函数为：

cost1(i,j,d)＝abs(uleft(i,j)-uright(i+d,j))+abs(vleft(i,j)-vright(i+d,j))

其中，uleft和uright表示所述左右两幅图像在所述归一化色彩空间的像素点在u通道的颜色分量，uleft和uright表示所述左右两幅图像在所述归一化色彩空间的像素点在v通道的颜色分量，i表示参考图像的像素坐标，d的取值范围为[0,maxdisp],maxdisp表示设定的最大视差值，j表示参考图像的像素坐标；

所述第三匹配代价计算函数为：

cost2(i,j,d)＝max(0,s1(i,j)-srmax(i+d,j),srmin(i+d,j)-sl)

其中，sl表示所述左右两幅图像的梯度空间。srmax(i+d,j)表示所述左右两幅图像中右图像经过滤波处理的右图点(i+d,j)邻域插值最大值，srmin(i+d,j)表示所述左右两幅图像中右图像经过滤波处理的右图点(i+d,j)邻域插值最小值，i表示参考图像的像素坐标，d的取值范围为[0,maxdisp],maxdisp表示设定的最大视差值，j表示参考图像的像素坐标；

所述第一匹配代价计算函数为：

cost(i,j,d)＝γ*cost1(i,j,d)+(1-γ)*cost2(i,j,d)

其中，γ∈[0,1]。

根据本发明的一个方面，步骤s2中，包括：

s21.以所述左右两幅图像中的一幅为参考图，以d个像素单位移动另一幅图像，获取与设定的最大视差值相等数量的第一图像，其中d的取值范围为[0,maxdisp],maxdisp表示设定的最大视差值；

s22.利用所述第一匹配代价计算函数对所述第一图像进行计算，获取与所述第一图像相等数量的代价图。

根据本发明的一个方面，步骤s3中，利用选取的盒式滤波器中最小的尺度对所述代价图进行匹配代价聚合，获取每个像素点的匹配代价的步骤中，获取d个像素点中每个像素点的匹配代价，其中d的取值范围为[0,maxdisp],maxdisp表示设定的最大视差值。

根据本发明的一个方面，步骤s41中，通过采用区域内所有像素点绝对值差的和的算法，计算每一个所述像素点的匹配代价。

根据本发明的一种方案，通过采用直接对yuv格式的图像进行立体匹配代价计算，从而省略了对原始rgb图像进行颜色空间进行转换的步骤，进而减少了图像处理的步骤，提高了本发明的方法的处理效率，节约了硬件处理资源，使下位机实现本发明的方法更加方便快捷。

根据本发明的一种方案，对获取的左右两幅图像进行u通道和v通道的颜色归一化处理获取归一化色彩空间，以及对获取的左右两幅图像进行y通道的hsobel特征计算的方式进行滤波处理获得梯度空间，并且分别基于归一化色彩空间建立第二匹配代价计算函数，基于梯度空间建立第三匹配代价计算函数，并基于第二匹配代价计算函数和第三匹配代价计算函数构建第一匹配代价计算函数，通过构建多个匹配代价函数从而使本发明的立体匹配方法的精度更高，进而使匹配结果更加准确。尤其在本发明的方法中，在构建第三匹配代价计算函数的过程中，采用采用bt线性插值匹配代价方式获取，进而对于需要匹配的图像上的弱纹理区域依然可以准确的计算出来，进一步保证了本发明的方法的匹配精度，进而使匹配结果更加精确。

根据本发明的一个方案，本发明的方法通过构建盒式滤波器，并在盒式滤波器上进行匹配代价聚合，从而使本发明的方法对图像进行匹配代价计算的实时性更高，提高了对实时传输的图像的处理速度，避免了输入图像进行匹配代价计算时的延迟。同时，通过采用多个尺度的盒式滤波器进行图像匹配代价计算，可以保证在得到比较稠密的视差图的同时还能保留视差图中的细节，进而使匹配结果更加精确。

附图说明

图1示意性表示根据本发明的一种实施方式的立体匹配方法的步骤框图；

图2示意性表示根据本发明的一种实施方式的立体匹配方法的流程图；

图3示意性表示根据本发明的一种实施方式对左视图进行颜色归一化处理和滤波处理的流程图；

图4示意性表示根据本发明的一种实施方式对右视图进行颜色归一化处理和滤波处理的流程图；

图5示意性表示根据本发明的一种实施方式对左视图和右视图进行匹配代价计算的流程图；

图6示意性表示根据本发明的一种实施方式根据盒式滤波器的第一尺度获取的视差图；

图7示意性表示根据本发明的一种实施方式根据盒式滤波器的第二尺度获取的视差图；

图8示意性表示根据本发明的一种实施方式根据盒式滤波器的第三尺度获取的视差图；

图9示意性表示传统的采用单尺度匹配代价计算后获取的视差图；

图10示意性表示为本发明的方法采用多尺度匹配代价计算后获取的视差图。

具体实施方式

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

如图1所示，根据本发明的一种实施方式，本发明的一种基于双目立体视觉的立体匹配方法，包括：

s1.通过双目立体视觉传感器获得左右两幅图像，并基于左右两幅图像构建第一匹配代价计算函数；

s2.以左右两幅图像中的一幅为参考图，移动另一幅图像获取与设定的最大视差值相等数量的第一图像，利用第一匹配代价计算函数对第一图像进行计算，获取与第一图像相等数量的代价图；

s3.利用选取的盒式滤波器中最小的尺度对代价图进行匹配代价聚合，获取每个像素点的匹配代价，通过计算像素点最小匹配代价获取其视差值及置信度，以及根据视差值获取左右两幅图像的视差图；

s4.判断置信度是否大于预设阈值，若是，则对视差图进行后处理优化，否则，按照由小到大的顺序选取盒式滤波器中的下一个尺度并对当前像素点重复执行步骤s3至s4，直到通过盒式滤波器中的所有尺度。

结合图1和图2所示，根据本发明的一种实施方式，步骤s1中，基于左右两幅图像构建第一匹配代价计算函数的步骤中，包括：

s11.分别对左右两幅图像进行颜色归一化处理获得归一化色彩空间，以及进行滤波处理获得梯度空间。在本实施方式中，通过双目立体视觉传感器获得左右两幅图像为yuv格式的无畸变图像。在本实施方式中，在u通道和v通道分别对左右两幅图像进行颜色归一化处理，以及在y通道对左右两幅图像进行滤波处理。参见图3所示，双目立体视觉传感器中的左视觉传感器获得一幅yuv格式的无畸变的彩色图像(即图3中处于最上排的图)，将获取的彩色图像分别进行分解获取y通道图像(即图3中处于中间一排最左侧的图)和u通道图像(即图3中处于中间一排中间位置的图)和v通道图像(即图3中处于中间一排最右侧的图)。进而对y通道图像进行滤波处理获取梯度空间(即图3中处于最下排最左侧的图)，分别对u通道图像和v通道图像颜色归一化处理获得归一化色彩空间(即图3中处于最下排中间位置和最右侧的图)。同样的，参见图4所示，双目立体视觉传感器中的右视觉传感器获得一幅yuv格式的无畸变的彩色图像(即图4中处于最上排的图)，并经过对y通道图像进行滤波处理获取梯度空间(即图4中处于最下排最左侧的图)，分别对u通道图像和v通道图像颜色归一化处理获得归一化色彩空间(即图4中处于最下排中间位置和最右侧的图)。

在本实施方式中，在u通道和v通道分别对左右两幅图像进行颜色归一化处理后，获得的归一化色彩空间的像素点特征满足：

其中，u表示进行颜色归一化处理前左右两幅图像中对应像素点的u通道颜色分量，v表示进行颜色归一化处理前左右两幅图像中对应像素点的v通道颜色分量。

在本实施方式中，在y通道对左右两幅图像进行滤波处理获得梯度空间的步骤中，采用hsobel特征计算的方式对左右两幅图像进行滤波处理，在进行滤波处理的过程中，通过采用卷积核kernel对左右两幅图像中的y通道数据进行卷积处理。在本实施方式中，卷积核kernel为：

根据本发明，通过采用直接对yuv格式的图像进行立体匹配代价计算，从而省略了对原始rgb图像进行颜色空间进行转换的步骤，进而减少了图像处理的步骤，提高了本发明的方法的处理效率，节约了硬件处理资源，使下位机实现本发明的方法更加方便快捷。

s12.基于归一化色彩空间和所述梯度空间构建第一匹配代价计算函数。结合图1和图2所示，根据本发明的一种实施方式，步骤s12中，基于归一化色彩空间和梯度空间构建第一匹配代价计算函数的步骤中，包括：

s121.基于获取的归一化色彩空间建立第二匹配代价计算函数。在本实施方式中，第二匹配代价计算函数为：

cost1(i,j,d)＝abs(uleft(i,j)-uright(i+d,j))+abs(vleft(i,j)-vright(i+d,j))

其中，uleft和uright表示左右两幅图像在归一化色彩空间的像素点在u通道的颜色分量，uleft和uright表示左右两幅图像在归一化色彩空间的像素点在v通道的颜色分量，i表示参考图像的像素坐标，d的取值范围为[0,maxdisp],并且d的取值为正整数，maxdisp表示设定的最大视差值，j表示参考图像的像素坐标。

s122.基于获取的梯度空间建立第三匹配代价计算函数，其中，采用bt线性插值匹配代价方式获取第三匹配代价计算函数。在本实施方式中，第三匹配代价计算函数为：

cost2(i,j,d)＝max(0,sl(i,j)-srmax(i+d,j),srmin(i+d,j)-sl)

其中，sl表示左右两幅图像的梯度空间。srmax(i+d,j)表示左右两幅图像中右图像经过滤波处理的右图点(i+d,j)邻域插值最大值，srmin(i+d,j)表示左右两幅图像中右图像经过滤波处理的右图点(i+d,j)邻域插值最小值，i表示参考图像的像素坐标，d的取值范围为[0,maxdisp],并且d的取值为正整数，maxdisp表示设定的最大视差值，j表示参考图像的像素坐标。

s123.根据第二匹配代价计算函数和第三匹配代价计算函数构建第一匹配代价计算函数。在本实施方式中，第一匹配代价计算函数为：

cost(i,j,d)＝γ*cost1(i,j,d)+(1-γ)*cost2(i,j,d)

其中，γ∈[0,1]。

根据本发明，对获取的左右两幅图像进行u通道和v通道的颜色归一化处理获取归一化色彩空间，以及对获取的左右两幅图像进行y通道的hsobel特征计算的方式进行滤波处理获得梯度空间，并且分别基于归一化色彩空间建立第二匹配代价计算函数，基于梯度空间建立第三匹配代价计算函数，并基于第二匹配代价计算函数和第三匹配代价计算函数构建第一匹配代价计算函数，通过构建多个匹配代价函数从而使本发明的立体匹配方法的精度更高，进而使匹配结果更加准确。尤其在本发明的方法中，在构建第三匹配代价计算函数的过程中，采用bt线性插值匹配代价方式获取，进而对于需要匹配的图像上的弱纹理区域依然可以准确的计算出来，进一步保证了本发明的方法的匹配精度，进而使匹配结果更加精确。

结合图1和图2所示，根据本发明的一种实施方式，步骤s2中，以左右两幅图像中的一幅为参考图，移动另一幅图像获取与设定的最大视差值相等数量的第一图像，利用第一匹配代价计算函数对第一图像进行计算，获取与第一图像相等数量的代价图的步骤中，通过前述步骤中获取的梯度空间和归一化色彩空间进行代价计算。

在本实施方式中，步骤s2中包括：

s21.以左右两幅图像中的一幅为参考图，以d个像素单位移动另一幅图像，获取与设定的最大视差值相等数量的第一图像，其中d的取值范围为[0,maxdisp],maxdisp表示设定的最大视差值。参见图5所示，在本实施方式中，以双目立体视觉传感器中的左视觉传感器获得的图像为参考图(即左视图经过颜色归一化处理和滤波处理后的图像)，则右视觉传感器获得的图像为需要移动的图像(即右视图经过颜色归一化处理和滤波处理后的图像)，根据设定的最大视差值(即maxdisp)，对右视图进行移动，获取与最大视差值相等数量的第一图像(参见图5所示)。

s22.利用第一匹配代价计算函数对第一图像进行计算，获取与第一图像相等数量的代价图。参见图5所示，通过第一匹配代价计算函数对第一图像进行计算获取与第一图像相等数量的代价图。

结合图1和图2所示，根据本发明的一种实施方式，步骤s3中，包括：

s31.利用第一匹配代价计算函数在盒式滤波器上以尺度中最小的尺度进行匹配代价聚合，获取每个像素点的匹配代价。在本实施方式中，获取d个像素点中每个像素点的匹配代价，其中d的取值范围为[0,maxdisp],maxdisp表示设定的最大视差值。在本实施方式中，通过采用区域内所有像素点绝对值差的和的算法(即sad算法)，计算每一个像素点的匹配代价。

s32.通过计算像素点最小匹配代价获取其视差值及置信度。

s33.根据视差值获取左右两幅图像的视差图。

结合图1和图2所示，根据本发明的一种实施方式，步骤s4中，判断置信度是否大于预设阈值，若是，则对视差图进行后处理优化。在本实施方式中，对视差图进行后处理优化的步骤中包括：

s41.对视差图进行亚像素插值；

s42.对完成亚像素插值的视差图进行斑点去除；

s43.对完成斑点去除的视差图进行视差图填充；

s44.对完成视差图填充的视差图进行中值滤波。

根据本发明的一种实施方式，步骤s4中，若置信度小于或等于预设阈值，按照由小到大的顺序选取盒式滤波器中的下一个尺度(即按照由小到大的顺序依次更换步骤s3中盒式滤波器中的尺度)，并对当前像素点重复执行步骤s3至s4，直到通过盒式滤波器中的所有尺度。若相对应的像素点能通过所有尺度，则对视差图进行亚像素插值。

在本实施方式中，本发明的方法中所选取的盒式滤波器具有多个尺度，尺度由小到大的顺序设置有至少三个。在本实施方式中，尺度为边长相等的正方形区域，在本实施方式中，设置有三个尺度，其分别为：11×11(即边长为11的正方形区域),25×25(即边长为25的正方形区域)以及61×61(即边长为61的正方形区域)。即依次为第一尺度、第二尺度和第三尺度，在步骤s3中首先以第一尺度进行匹配代价聚合，获取每个像素点的视差值，并计算视差值的置信度，并获取相应的视差图(参见图6所示)，但当步骤s4中，置信度小于或等于预设阈值，则在步骤s3中重新以第二尺度进行匹配代价聚合，获取每个像素点的新的视差值，并计算新的视差值的置信度，，并获取相应的视差图(参见图7所示)，但当步骤s4中，置信度依然小于或等于预设阈值，则在步骤s3中重新以第三尺度进行匹配代价聚合，获取每个像素点的新的视差值，并计算新的视差值的置信度，并获取相应的视差图(参见图8所示)。结合图6、图7和图8可看出，采用大尺寸的尺度时，获得的视差图就越模糊。因此，在本实施方式中，若基于三个尺度计算的置信度都不能满足上述要求，则将该像素点的视差值设置为无效，并将其舍弃，从而能够保证本发明的匹配结果的精度。

本发明的方法通过构建盒式滤波器，并在盒式滤波器上进行匹配代价聚合，从而使本发明的方法对图像进行匹配代价计算的实时性更高，提高了对实时传输的图像的处理速度，避免了输入图像进行匹配代价计算时的延迟。同时，通过采用多个尺度的盒式滤波器进行图像匹配代价计算，可以保证在得到比较稠密的视差图的同时还能保留视差图中的细节，进而使匹配结果更加精确。

图9为传统的采用单尺度匹配代价计算后获取的视差图。图10为本发明的方法采用多尺度匹配代价计算后获取的视差图。结合图9和图10所示，可以看出，与单尺度相比，多尺度的处理方式得到的视差更加稠密，进而保证了根据本发明的方法获取的匹配结果更加准确。而且经过验证得到，多尺度的处理方式耗时比半全局或者全局方法更短。

上述内容仅为本发明的具体方案的例子，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。

以上所述仅为本发明的一个方案而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。