基于全域图像对称相关性的立体匹配算法的制作方法

本发明涉及计算机立体视觉领域中的立体匹配，可用于图像的三维重建，在医学图像、媒体设备等中提供指导。

背景技术：

立体匹配技术是计算机视觉领域内的一个重要研究方向，其旨在通过从左右相机获得的场景图中提取出场景的深度信息。其应用领域涉及机器人控制，自主导航等科技领域。

传统的立体匹配算法通常采用基于窗口聚合的算法，通过限定局部窗口尺寸的大小，对窗口内的初始匹配代价进行聚合继而完成最终的匹配。算法常用的初始匹配代价有截断亮度初始匹配代价、截断梯度初始匹配代价、以及相关性初始匹配代价。其中相关性初始匹配代价计算局部窗口内匹配代价之间的相关性，利用此相关性进行窗口内的匹配代价聚合，基于此匹配代价的窗口聚合立体匹配算法具有较高的鲁棒性。然而此类基于局部相关性的窗口聚合立体匹配算法采用传统的局部相关性初始匹配代价计算方式存在以下缺点：1)需要指定局部窗口大小，初始匹配代价的计算未考虑到局部窗口之外的像素点对于初始匹配代价计算的影响；2)窗口内所有像素点对于相关性计算的贡献程度相同，未考虑像素点间的亮度差异与空间差异；3)只考虑到参考图像的初始匹配代价相关性，未考虑到目标图像的初始匹配代价相关性，缺乏对称性。

目前，在实际应用中，为达到立体匹配实时性的要求，通常较多地采用基于局部窗口聚合的立体匹配算法，但由于传统的初始匹配代价存在一定的局限性，因此匹配的性能受到约束。随着科学技术的不断发展，立体匹配在众多科技领域内有着广泛的应用背景，具有较大的商业价值以及研究意义。近年来，图像处理理论的发展为获得高精度的立体匹配提供了理论依据。

技术实现要素：

本发明针对上述问题提出一种基于全域图像对称相关性的立体匹配算法，利用参考图像以及目标图像的中心像素点与其周围所有像素点的相关性进行全域图像相关性的计算，将此数值作为传统窗口聚合立体匹配算法的初始匹配代价进行聚合匹配，本发明的技术方案如下：

一种基于全域图像对称相关性的立体匹配算法，包括下列步骤：

(1)设参考图像ir内任意像素点为(ir,jr)，设参考图像ir的中心像素点为(xr,yr)，根据公式计算(ir,jr)与(xr,jr)在竖直方向上每一对相邻点pv,qv之间的权重值h(|pv-qv|)，其中λ,μ为常数，同理根据公式计算(xr,jr)与(xr,yr)在水平方向上每一对相邻点ph,qh之间的权重值h(|ph-qh|)，最后将上述计算得到的每一对相邻点的权重值进行相乘得到参考图像相关性权重值wr(ir,jr)，然后根据公式

计算参考图像全域权重均值μr(xr,yr)，根据公式计算参考图像全域权重方差最后根据公式计算参考图像全域的相关性值zr(xr,yr)；

(2)与参考图像ir的中心像素点(xr,yr)相对应的点为目标图像it的中心像素点(xt,yt)其中xt＝xr,yt＝yr-dr，dr为参考图像的视差搜索值，依据(1)中相同的原理，计算目标图像全域的相关性值zt(xt,yt)；

(3)根据公式er(xr,yr)＝1-zr(xr,yr)·zt(xt,yt)计算参考图像初始匹配代价er(xr,yr)；

(4)根据窗口聚合立体匹配算法对参考图像初始匹配代价进行聚合，得到最终的参考图像视差图dr。

总之，本发明针对传统的基于局部相关性的窗口聚合立体匹配算法中存在的不足,提出一种基于全域图像对称相关性的立体匹配算法，依据像素点之间的亮度及空间差异计算参考图像全域的相关性以及目标图像的全域相关性，将二者用于参考图像的初始匹配代价计算，较好的解决了传统算法匹配精确度不高的问题。本发明能够获得更为精准的立体匹配结果，有着广泛的应用前景。

附图说明

图1本发明的基于全域图像对称相关性的立体匹配算法流程图。

图2为传统的基于局部相关性的窗口聚合立体匹配算法与本发明对标准测试图像“adirondack”进行匹配得到的对比视差图，(a)为adirondack左图，(b)为传统的基于局部相关性的窗口聚合立体匹配算法得到的左视差图，(c)为本发明得到的为左视差图。

图3为传统的基于局部相关性的窗口聚合立体匹配算法与本发明对标准测试图像“playroom”进行匹配得到的对比视差图，(a)为playroom左图，(b)为传统的基于局部相关性的窗口聚合立体匹配算法得到的左视差图，(c)为本发明得到的为左视差图。

具体实施方式

本发明基于全域图像对称相关性的立体匹配算法，主要由四部分组成：参考图像全域相关性的计算、目标图像全域相关性的计算、参考图像初始匹配代价的计算、最终视差图的生成。具体步骤和原理如下：

101：将左图作为参考图像ir，右图作为目标图像it；

102：参考图像全域相关性zr的计算；

将参考图像的ir中心像素点记为(xr,yr)，xr,yr分别为此像素点的横、纵坐标；(ir,jr)为ir内任意像素点，ir,jr分别为此像素点的横、纵坐标；zr(xr,yr)为以(xr,yr)为中心像素点的参考图像全域相关性值：

其中μr(xr,yr)、分别为参考图像ir全域权重均值及权重方差(以(xr,yr)为中心像素点)；wr(ir,jr)为像素点(ir,jr)的权重值，kr1、kr2为参考图像横、纵坐标变量，kr1、kr2的变化范围已经在wr(ir,jr)表达式中给出；h为一种分段函数，具体表达式已给出，λ,μ为常数。上述计算方式考虑了参考图像内所有像素点对zr的贡献。

103：目标图像全域相关性zt的计算；

将目标图像的it中心像素点记为(xt,yt)，xt,yt分别为此像素点的横、纵坐标；(it,jt)为it内任意像素点，it,jt分别为此像素点的横、纵坐标；且目标中心像素点(xt,yt)与参考中心像素点(xr,yr)满足：

xt＝xr

yt＝yr-dr,dr∈[drmin,drmax]

其中dr为参考图像的视差搜索值，drmin、drmax分别为参考图像的最小、最大视差。

zt(xt,yt)为以(xt,yt)为中心像素点的目标图像全域相关性值：

其中μt(xt,yt)、分别为目标图像it全域权重均值及权重方差(以(xt,yt)为中心像素点)；wt(it,jt)为像素点(it,jt)的权重值，kt1、kt2为目标图像横、纵坐标变量，kt1、kt2的变化范围已经在wt(it,jt)表达式中给出。上述计算方式考虑了目标图像内所有像素点对zt的贡献。

104：参考图像初始匹配代价er的计算；

er(xr,yr,dr)＝1-zr(xr,yr)·zt(xt,yt)

参考图像全域相关性以及目标图像全域相关性的值越大，对应的参考图像初始匹配代价越小。

105：对104得到的初始匹配代价进行传统窗口聚合得到相应视差图；

其中(pr,qr)为参考图像ir局部聚合窗口ωir(尺寸选为11×11)内的任意像素点(pr、qr分别为横、纵坐标)。

106：以右图作为参考图像，左图作为目标图像，依据相同原理重复步骤102-105；

107：对步骤101-106得到的两幅视差图采用常规的精炼方法后即可得到相应的优化视差图。

步骤101-106可依次得到(以左图作为参考图像、右图作为目标图像)左视差图、(以右图作为参考图像，左图作为目标图像)右视差图，采用立体匹配技术中最为常用的视差精炼方法(简单邻近点填充)即可获得优化后的视差图(参考图像视差图以及目标图像视差图)。

下面以具体的试验来验证本方法的可行性，详见下文描述：

试验结果均为本方法在cpu为inteli7-3610qm，2.3ghz，内存为16g的笔记本电脑上运行所得，操作系统为windows7，仿真软件为64位matlabr2012b。试验采用的图对‘adirondack’、‘playroom’为标准测试图来源于http://vision.middlebury.edu/stereo/eval3/。

从图2、图3可以看出，传统算法在adirondack椅子区域处以及playroom背景区域处存在较多的误匹配现象，而本发明在上述区域的误匹配点较少，整体视差效果图优于传统算法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本发明的具体流程如下：

(1)设参考图像ir内任意像素点为(ir,jr)，设参考图像ir的中心像素点为(xr,yr)，根据公式计算(ir,jr)与(xr,jr)在竖直方向上每一对相邻点pv,qv之间的权重值h(|pv-qv|)，其中λ,μ为常数，同理根据公式计算(xr,jr)与(xr,yr)在水平方向上每一对相邻点ph,qh之间的权重值h(|ph-qh|)，最后将上述计算得到的每一对相邻点的权重值进行相乘得到参考图像相关性权重值wr(ir,jr)，然后根据公式

计算参考图像全域权重均值μr(xr,yr)，根据公式计算参考图像全域权重方差最后根据公式计算参考图像全域的相关性值zr(xr,yr)；

(2)与参考图像ir的中心像素点(xr,yr)相对应的点为目标图像it的中心像素点(xt,yt)其中xt＝xr,yt＝yr-dr，dr为参考图像的视差搜索值，依据(1)中相同的原理，计算目标图像全域的相关性值zt(xt,yt)；

(3)根据公式er(xr,yr)＝1-zr(xr,yr)·zt(xt,yt)计算参考图像初始匹配代价er(xr,yr)；

(4)根据传统的窗口聚合立体匹配算法对参考图像初始匹配代价进行聚合，得到最终的参考图像视差图dr。