一种基于改进梯度和自适应窗口的立体匹配方法

一种基于改进梯度和自适应窗口的立体匹配方法
【专利摘要】针对现有局部立体匹配算法精度不高以及易受幅度失真影响的问题，本发明提出了一种基于改进梯度和自适应窗口的立体匹配方法。首先在传统梯度向量仅包含幅值信息的基础上，引入相位信息，并对原始匹配代价进行变换，进一步消除异常值；然后采用一种基于十字交叉自适应窗口生成方法，可以根据相邻像素的色彩和空间位置关系构建自适应窗口。在低纹理区域，提供较大的窗口以提高匹配精度；而在高纹理区域则产生较小的窗口，以保护物体边缘等细节信息。对聚合后的代价，采用“胜者为王”(Winner-Takes-All(WTA))策略选择使总代价最小对应的视差值作为初始匹配结果；最后，提出一种局部视差直方图的视差精化方法，获得了高精度的视差图。实验结果表明，所提方法匹配精度高，且对幅度失真条件具有较高的鲁棒性。
【专利说明】一种基于改进梯度和自适应窗口的立体匹配方法
【技术领域】:
[0001]本发明涉及一种双目图像立体匹配获取深度图方法，特别涉及一种基于改进梯度和自适应窗口的立体匹配方法，本发明所获得的深度图结果可进一步应用于视觉测量、三维重构、虚拟视点图像绘制等领域。
【背景技术】:
[0002]立体匹配是计算机视觉中的一个经典问题，一直是研究的热点。多年来，研究者们提出了大量的算法试图解决这个问题，但由于问题本身的病态性，目前还没有比较完美的角军决方案° Scharstein (参见 Daniel Scharstein, Richard Szelisk1.A taxonomy andevaluation of dense two-frame stereo correspondence algorithms[J].1nternationalJournal of Computer Vision, 2002, 47 (I):7-42.)等深入研究了 一些典型的立体匹配算法，对各种主要方法进行了较全面的综述。他们把立体匹配过程概括为匹配代价计算、匹配代价聚合、初始视差计算和视差精化四步，并根据代价聚合方式把立体匹配算法划分为局部方法和全局方法。全局方法一般有较高的匹配精度，但是效率较低；局部方法运行速度快，易于实现，但是如何选择合适的支持窗口和像素的匹配代价计算方法是个难题(参见 YANG Qing-xiong.A non-local cost aggregation method for stereo matching [C].IEEEConference on Computer Vision and Pattern Recognition, 2012:1402-1409.)。
[0003]大多数立体匹配算法的相似性测度都是基于像素的灰度值，即两幅图像中的同一特征点在理想光照条件下应该具有相同的灰度值(参见王军政，朱华建，李静.一种基于Census变换的可变权值立体匹配算法[J],北京理工大学学报，2013，33 (7): 704-710.)。例如灰度差绝对值和(AD)、灰度差平方和(SD)、Adapt Weight (参见Yoon K, KweonS.Locally adaptive support weight approch for visual correspondence search[J].1EEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28 (4):924-931.)、Segment Support (参见 Tombari F, Mattoccia S.Segmentation based adaptivesupport for accurate stereo correspondence [C].1EEE Pacific Rim Symposium on Videoand Technology, 2007:427-438.)等对于理想图像能够获得较高精度的匹配结果，但是这些方法对于由光照变化、曝光差异、相机暗角等因素引起的图像幅度失真非常敏感，因此难以用于真实场景图像的匹配。对幅度失真不敏感的匹配代价主要有归一化互相关(NCC)、梯度(Gradient)(参见 Daniel Scharstein.View synthesis using stereovision.Phd thesis, 1997, 23 (5): 98-109.)、Rank 和 Census 变换(参见 Ramin Zabih, JohnWoodfil1.Non-parametric local transforms for computing visual correspondence [C].Proceedings of European Conference on Computer Vision, 1994:151-158.)等。
[0004]传统的固定窗口存在变换窗口大小的选择问题:若窗口太小，贝1J匹配代价区分度过低，在低纹理区域容易出现误匹配；若窗口过大，又会在深度不连续区域出现误匹配(参见周龙，徐贵力，李开宇等.基于Census变换和改进自适应窗口的立体匹配算法[J].航空学报，2012，33 (5):886-892.)。Fusiello 和 Roberto (参见 Fusiello A, RobertoV.Efficient stereo with multiple windowing[C].1EEE Computer Society Conference onComputer vision and Pattern Recognition, 1997:858-863.)提出在预先给定的多个窗P 中选择最优窗 P 作为支持窗 P ；Veksler (参见 Veksler 0.Fast variable window forstereo correspondence using integral image[C].1EEE Computer Society Conferenceon Computer vision and Pattern Recognition, 2003:556-561.)提出逐点自适应选取支持窗口的形状和大小；Zhang(参见 Zhang K.Cross-based local stereo matching usingorthogonal integral images [J].1EEE Transactions on Circuits and systems for VideoTechnology, 2009, 19(7): 1073-1079.)根据相邻像素的色彩关系自适应选择任意形状和大小的支持窗口，取得较好的视差结果。

【发明内容】
:
[0005]针对上述匹配代价和窗口选择问题，本发明提出了一种基于改进梯度匹配代价和自适应窗口的匹配方法。首先在传统梯度匹配代价仅包含幅值信息的基础上，引入梯度相位信息，并对原始匹配代价进行变换，进一步消除异常值；然后利用图像结构和色彩信息构建自适应窗口进行代价聚合及“胜者为王”(Winner-Takes-All(WTA))策略进行视差选择；最后，提出一种局部视差直方图的视差精化方法，获得了高精度的视差图。
[0006]本发明要解决的技术问题是:
[0007]1.传统局部匹配方法对图像幅度失真鲁棒性较低，在光照失真条件下匹配精度迅速降低的问题。
[0008]2.固定窗口的代价聚合方法难以在图像低纹理和深度不连续区域同时获得较高匹配精度的问题。
[0009]本发明解决其技术问题所采用的技术方案:基于改进梯度匹配代价和自适应窗口的匹配方法，其特征在于包括以下步骤:
[0010]步骤一:匹配代价计算:匹配代价是左右图像之间对应点相似度的度量，利用梯度向量在图像X、y方向的两个分量，定义梯度向量的模m和相角《P?然后采用模和相角的线性结合作为匹配代价函数，以便最大限度利用梯度信息。最后利用Geman-McClure函数对原始匹配代价函数进行变换以消除异常代价值的影响。
[0011]步骤二:自适应窗口构造:对待匹配图像的每个像素构造一个自适应大小的聚合窗口，窗口的大小将直接决定参与聚合的邻域像素多少。本发明采用一种改进的十字交叉自适应窗口生成方法，可以根据相邻像素的色彩和空间位置关系构建自适应窗口。在低纹理区域，提供较大的窗口以提高匹配精度；而在高纹理区域则产生较小的窗口，以保护物体边缘等细节信息。
[0012]步骤三:代价聚合:确定每个像素的自适应窗口之后，需对窗口内每个单像素的原始匹配代价进行聚合获得总代价，最后选择使总代价最小对应的视差值作为初始匹配结果O
[0013] 步骤四:视差精化:通过上述步骤得到的初始视差与真实视差还存在一些误匹配点和不可信值，需要进行视差精化处理。本发明提出一种基于局部视差直方图的视差精化方法对初始视差图进行进一步处理。然后，采用左右一致性检验检测仍然存在的误匹配点，利用相邻有效点中视差较小的值对误匹配点进行赋值。【专利附图】

【附图说明】:
[0014]图1为本发明方法的流程图。
[0015]图2为自适应窗口构造过程示意图。
[0016]图3(a)为Tsukuba图像对的实验结果。
[0017]图3(b)为Venus图像对的实验结果。
[0018]图3(c)为Teddy图像对的实验结果。
[0019]图3(d)为Cones图像对的实验结果。
[0020]图4(a)为相同光照和曝光条件下的实验结果。
[0021]图4(b)为不同光照条件下的实验结果。
[0022]图4(c)为不同曝光条件下的实验结果。
[0023]图4(d)为不同光照和曝光条件下的实验结果。
【具体实施方式】:
[0024]下面结合附图及【具体实施方式】进一步详细介绍本发明。
[0025]本发明提出了一种基于改进梯度匹配代价和自适应窗口的匹配方法，主要有四个步骤。
[0026]步骤一:匹配代价计算。具体实现方法如下:
[0027]图像梯度定义为图像沿X和y方向的一阶偏导数:
【权利要求】
1.一种基于改进梯度和自适应窗口的立体匹配方法，其特征在于:该方法在传统梯度匹配代价仅包含幅值信息的基础上，引入梯度相位信息，并对原始匹配代价进行变换，进一步消除异常值；然后利用图像结构和色彩信息构建自适应窗口进行代价聚合及“胜者为王”(Winner-Takes-All(WTA))策略进行视差选择；最后，提出一种局部视差直方图的视差精化方法，获得了高精度的视差图。方法具体步骤如下: 步骤一:匹配代价计算:匹配代价是左右图像之间对应点相似度的度量，利用梯度向量在图像x、y方向的两个分量，定义梯度向量的模m和相角《P。然后采用模和相角的线性结合作为匹配代价函数，以便最大限度利用梯度信息。最后利用Geman-McClure函数对原始匹配代价函数进行变换以消除异常代价值的影响。 步骤二:自适应窗口构造:对待匹配图像的每个像素构造一个自适应大小的聚合窗口，窗口的大小将直接决定参与聚合的邻域像素多少。本发明采用一种改进的十字交叉自适应窗口生成方法，可以根据相邻像素的色彩和空间位置关系构建自适应窗口。在低纹理区域，提供较大的窗口以提高匹配精度；而在高纹理区域则产生较小的窗口，以保护物体边缘等细节信息。 步骤三:代价聚合:确定每个像素的自适应窗口之后，需对窗口内每个单像素的原始匹配代价进行聚合获得总代价，最后选择使总代价最小对应的视差值作为初始匹配结果。 步骤四:视差精化:通过上述步骤得到的初始视差与真实视差还存在一些误匹配点和不可信值，需要进行视差精化处理。本发明提出一种基于局部视差直方图的视差精化方法对初始视差图进行进一步处理。然后，采用左右一致性检验检测仍然存在的误匹配点，利用相邻有效点中视差较小的值对误匹配点进行赋值。
2.根据权利要求1中所述的一种基于改进梯度和自适应窗口的立体匹配方法，其特征在于:所述步骤一的匹配代价应用改进的梯度代价，具体计算过程如下: 图像梯度定义为图像沿X和I方向的一阶偏导数:
3.根据权利要求1中所述的一种基于改进梯度和自适应窗口的立体匹配方法，其特征在于:所述步骤二和步骤三应用改进的十字交叉自适应窗口生成方法，具体过程如下:首先，根据图像结构和色彩信息确定当前待匹配像素P的一个十字交叉区域，该十字交叉区域包含水平和垂直方向，分别用H(P)和V(P)表示，区域的大小由4个方向的臂长{hp.h;,vp，v;}确定，并可根据图像的结构和色彩信息自适应地改变。m;为例，臂长的判别准则如下: LDdpX ^和 Dc(PilPjao)XT1 ;
2.Ds (Pi, PXL1 ；
3.Dc (Pi, P)〈 τ 2，L2^Ds (pj, p) (L1。 其中，Ds (Pi, P)为像素Pi和P的空间距离差^(Pi, P)是色彩差，定义为Dv(Pi,p) =1€{ρ,)\) ； X ^ τ2, DL2，为预设的色彩阈值和距离阈值。准则I不仅限定了pjPp的色彩差异性，同时要求？1和其右侧相邻像素Pi+a，O)的色彩差异性小于T1，避免了臂长跨过边界区域；准则2和3放宽了臂长范围，在低纹理区域使用较大的距离阈值L1可以获得较大的窗口 ；而当臂长超过预设值时L2时，将采用更严格的阈值、来保证臂长仅在颜色非常相近的低纹理区域扩展，使高纹理区域和深度不连续区域窗口不会过大。利用上述方法可分别确定4个臂长0,,V,,.<卜进而得到正交的十字交叉区域H(p)和 V (P):
4.根据权利要求1中所述的一种基于改进梯度和自适应窗口的立体匹配方法，其特征在于:所述步骤四提出了基于局部视差直方图的视差精化方法，具体计算过程如下: 对于视差图中某个像素P，以其为中心，在它的邻域范围内构造一个局部视差直方图ΨΡ(?) ’统计领域内每个视差值出现的次数。在直方图中将出现一个峰值，表示视差出现的最大次数。该峰值对应的视差值是统计意义上的最优视差值<，本发明采用这一最优值代替像素P的初始视差<、
【文档编号】G06T7/00GK103996201SQ201410258432
【公开日】2014年8月20日 申请日期:2014年6月11日 优先权日:2014年6月11日
【发明者】祝世平, 李政 申请人:北京航空航天大学