一种基于指导图像引导的高精度立体匹配方法
【技术领域】
[0001] 本发明设及立体视觉、=维图像处理技术领域，特别是设及一种基于指导图像引 导的高精度立体匹配方法。
【背景技术】
[0002] 基于=维图像处理的立体匹配技术是一种新兴的图像处理技术，隶属于立体视觉 范畴，主要是通过对多幅二维平面图像处理，从而恢复出被拍摄物体的=维坐标，得到深度 信息，其中基于两幅图像的双目立体匹配技术则是其中的一个研究热点，也是计算机视觉 中的一个重要分支。通过双摄像头拍摄实际场景中的物体，然后还原得到该物体的=维空 间的坐标信息，该些=维空间信息可W应用在无人驾驶、无人导航、3D扫描、3D跟踪、3D重 建等技术场景中，为计算机视觉带来全新的业务，也可W进一步开发在军事侦察、公共安 全、智能工业、智能家居、智能交通、精准农业、智慧城市、医疗卫生等领域的应用，该些应用 具有巨大的应用价值，将为社会建设和经济发展提供强大助力。
[0003] 在具体的应用环境中布设双目摄像头采集得到同步的双摄像头图片，然后进行计 算得到物体的=维空间坐标，其中恢复还原得到=维坐标最重要的部分是立体匹配过程。 但是在传统算法中，当场景中存在大片弱纹理区、重复纹理区、光照不均匀等现象时，会造 成误匹配区域比较多、视差图不平滑、边缘不清晰等，匹配结果比较差，影响后续的应用，同 时部分算法的运算时间比较长，实用性较低，所W有必要开展更加深入的研究，提出性能更 好的算法。
[0004] 依据综述论文值.ScharsteinandR.Szeliski于 2002 年提出"Ataxonomyand evaluationofdensetwo-framestereocorrespondencealgorithms")对立体匹配算法 进行的分类，立体匹配的算法主要分全局算法和局部算法。全局算法主要依靠全局的能量、 平滑性等全局约束来计算视差图，而局部算法主要应用局部信息计算视差图。本发明属于 局部立体匹配算法，同时依据算法的先后步骤划分成了预处理、匹配代价计算、匹配代价聚 合、视差图计算和视差图求精等几个主要步骤。在预处理阶段，传统的算法主要是采用普通 的中值滤波器进行滤波处理，没有做过多的其他处理。早期的论文（如M.A.Gennert于1988 年曾在预处理阶段对图片进行直方图均衡化处理，I.J.Cox,S.Roy和S.L.曾于1995年在预 处理阶段主要做了图片的偏置调节，调节光照亮度等，A.Ansar,A.Castano,和L.Matthies 于2004年曾在预处理阶段对图片做了一定的增强，主要是补偿光照福射差异）曾做过一定 的研究，但是不多，而且该些研究没有形成整套的应用体系，而本发明则弥补了W上算法在 该部分的不足，在预处理阶段提出了指导图像模型，该指导图像可W从输入的图像中提取 特定的强化信息，该些强化的信息具有一定的鲁椿性，可W用于引导后续的整个匹配过程， 提高匹配过程的导向性，提高匹配有效性，而该个研究是其他算法没有做过的。
[0005] 在匹配代价计算方面，过去的研究已经提出了非常多的匹配代价度量算子，在早 期的算法中，度量算子有计算绝对差、互相关、平方差等，设及的局部信息有图像颜色、图像 的梯度、拉普拉斯变换等等，后续新出现的一些非参数的算法，如R.Z油ih和J.Woo壯ill 于1994年提出的census变换和rank变换，H.Hirschmuller于2008年提出的互信息，V.D.Nguyen和D.D.Nguyen等于2014年提出的局部二元模型等等，该些非参数算法相比于 传统算法有一定的性能提升，但是也存在一些的缺陷，比如难W处理大块弱纹理区、计算复 杂度大等缺点，所W后续提出了很多的改进算法。然而单个的度量算子还是存在一些不可 避免的缺陷，所W后续陆续提出了复合式的匹配代价度量算子，比如A.Klaus和M.Sormann 等于2006年采用了颜色信息的绝对和（SAD)与图像梯度信息来度量匹配代价，X.Mei和 X.Sun等也于2011年提出了使用颜色信息和census变换算子来度量匹配代价，该些算法 验证了使用复合式的匹配代价度量算子的计算效果比单个的匹配代价度量算子效果要好， 所W本发明也采用该种复合式的匹配代价计算方法，但是本发明与该些存在的发明不同的 是，新提出的复合式匹配代价算子既提高了匹配代价的鲁椿性，又在一定程度上降低了计 算量。该个新提出来的复合式匹配代价算子主要包括了图像颜色信息、新的复合式梯度信 息W及轻量级的census变换，其中新的复合式梯度模型融合了原始图片的梯度和指导图 像的梯度，从而使得新的梯度比传统梯度具有更全面的梯度信息，另外本算法还采用了鲁 椿性能较好的census变换，但是census变换的尺寸却很小，属于轻量级的计算，该census 变换算子配合图像颜色信息和新的复合式梯度信息，可W使得新的复合式匹配代价度量算 子的整体鲁椿性很好且计算量较小，该是其他发明没有设及的。
[0006] 匹配代价聚合主要是对计算出来的匹配代价进行聚合，从而减低误差等的影响， 提高匹配代价的有效性。传统的算法主要是基于二维窗函数的聚合法，如K. -J.化on和 I.S.Kweon于2006年提出的自适应支持权重计算法，还有基于滤波器滤波式的聚合，如 C.化emann和A.化sni等于2011年提出的匹配代价空间快速滤波聚合的方法，W及基于分 害d、分段结构的聚合，如Q.Yang于2012年提出的非局部聚合法等。该些算法中的大部分算 法的计算过程是基于二维空间计算的，因而计算的复杂度都比较大，所W后续提出了一些 一维空间的聚合方法，如W.化和T.化en等于2009年提出的指数步骤聚合法等，该些方法 大大降低了计算的复杂度，有利于应用在实际场景中。本发明的聚合算法也采用了指数步 骤的聚合方法，但我们在此结构的基础上做了一定的改进，改进了其中自适应权重的计算 方法，提高了算法的有效性，改善了聚合的效果。同时，本聚合过程还被用在视差图求精的 过程中，改善视差图的性能，该也是与其他算法不同的。
[0007] 匹配代价计算采用的是简单的"胜者为王"的计算方法，该计算方法比较简单有 效。在视差图求精方面，采用的是左右一致性检测检测视差图中的异常点，而在异常点纠正 方面，X.Sun和X.Mei等于2011年提出了使用水平方向传播的填充法，X.Mei和X.Sun等于 2011年提出的区域投票填充法，C.化emann和A.化sni于2011年提出了使用滤波器进行滤 波纠正的方法等。我们提出了一套多步骤异常点纠正的方法，包含了异常点分类、四方向信 息收集传播填充内部异常点、左侧异常点填充、指数步骤滤波器滤波等，该一整套的求精算 法是首次提出并采用，算法效果良好。
【发明内容】
[0008] 本发明所要解决的技术问题是提供一种基于指导图像引导的高精度立体匹配方 法，可W搭建一种可W应对常见匹配场景的高效的匹配方法，为双目立体测量技术的设计 应用提供重要的依据，同时该方法也可为其他的立体匹配方法的设计提供一定的参考。
[0009] 本发明解决其技术问题所采用的技术方案是；提供一种基于指导图像引导的高精 度立体匹配方法，包括W下步骤：
[0010] (1)计算指导图像：在获得矫正好的立体匹配图像对之后，进行指导图像计算；
[0011] (2)计算复合梯度：采用逐通道计算的方法，对输入的立体匹配图片分别计算每 个通道的X方向和y方向的梯度，并对指导图像也计算相应的X方向和y方向的梯度信息， 然后将两个图片计算得到的梯度信息逐通道加权融合形成一个新的多通道复合梯度；
[0012] (3)计算复合匹配代价；匹配代价是对两幅图像上的匹配点对之间的相似性程 度的度量，其中，度量算子采用了输入图片的颜色信息，多通道复合梯度信息W及轻量级 census变换法；
[0013] (4)匹配代价的聚合；采用的是水平和垂直方向分步迭代聚合，聚合权重采用自 适应的权重计算方法，考虑颜色和空间信息，自适应变化；聚合步长按照指数化跳跃；迭代 过程中，两端聚合点的匹配代价采用加权求平均的方式聚合，然后与中屯、点的匹配代价融 合；
[0014] (5)视差计算；视差计算采用"胜者为王"的视差计算方法计算视差；
[001引 做视差求精；先采用左右一致性检测方法检测出异常点，然后根据其所处的空 间位置对异常点进行分类，分成左侧异常点和内部异常点；采用动态自适应颜色和空间阔 值对异常点进行支持区域计算，支持区域包括水平和垂直方向的四个支持臂；最后在支持 区域基础上进行多步纠正异常点的方法，包括四方向信息收集填充法、左侧异常点填充法 W及基于代价聚合函数的视差图滤波法。
[0016] 所述步骤（1)具体包括W下子步骤：
[0017] (11)假定输入的图像I，指导图设定的计算窗为M，半径为Rcm，颜色权重阔值为 5。，空间距离权重为5d，对于图像I中的每一点进行滤波，并计算在窗口M内的各个点的 加权平均，计算结果作为当前窗口中屯、点滤波结果；
[001引假定窗M中屯、像素为P(i，j)，如果为彩色图像，则颜色值为<pr，pg，pb〉， 如果为灰度图像，则只有一个通道值p_gray，窗M内的一个邻居点为q也1)，如 果为彩色图像，则颜色值为<qr，qg，qb〉，如果为灰度图像，则只有一个通道值q_ gray,则两个像素之间的颜色欧几里得距离为Acp。和距离欧几里得距离Agp。为； 彩色固：Ac", =V(pr-qr)2+(p各一qg)2+(pb-qb)2 . . ,斯^ 巧~化期r、山但r、方占 .II' ^gpq =-/(l-k) +0-1);然后木用t日数计算该点 巧度固：ACpg =1 p_gray- q_gray I 与中屯、点之间的权重：吻，q) =e邵(-A攻/ 口《)-A技/ 口《W;
[0019] (13)计算每一个像素点滤波后的值，从而得到滤波后的图像，即指导图G。
[0020] 所述步骤（2)包括W下子步骤：
[0021] (21)图像梯度计算定义为：
【主权项】
1. 一种基于指导图像引导的高精度立体匹配方法，其特征在于，包括以下步骤： (1) 计算指导图像：