专利名称：一种基于自适应分水岭的图割的双目立体匹配方法
技术领域：
本发明涉及一种双目数字图像的处理方法，特别涉及一种基于自适应分水岭的图割的双目立体匹配方法。
背景技术：
随着多媒体技术的不断发展，图像和视频技术也由二维向三维发展，交互性将成为未来多媒体技术的一个主要特征。交互式三维视频系统的关键技术之一就是虚拟视点绘制合成。虚拟视点绘制合成是所有立体显示系统终端不可缺少的模块，在远程视频会议、自由视点立体电视等高端多媒体领域中也具有至关重要的作用。为了使用户可以在场景中漫游，实现“连续的环视”，在多视点视频采集的过程中，摄像机的数量应尽可能多，但由于放置无限个摄像机以实现视点无缝切换的不现实性，为了显示任意视点的视图，必须在客户端进行虚拟视点的合成，通过对已有视点的分析，合成用户所要观察的视点。因此，虚拟视点合成技术是多媒体领域一项非常重要的新兴技术。首先需要有精确的立体匹配方法获得视差图或深度图才能完成虚拟视点合成技术。与灰度图像相比，深度图像具有物体三维特征信息，即深度信息。由于深度图像不受光源照射方向及物体表面的发射特性的影响，而且不存在影响，可以得到三维物体更可靠的几何信息，所以更准确地表现物体目标表面的三维深度信息。深度图在视频编码中的作用很大，可以有效的提高多视像传输和多视图视频传输的编码效率。正因为如此，深度图像分析越来越受到计算机视觉、图像分析等研究领域的重视，在工业领域特别是在机器人视觉、自动导航、工业零件的自动检测和自动装配等领域，得到了越来越广泛的应用。对于深度图的获取方面，图割作为一种基于图论的组合优化技术，在用来最小化计算机视觉中的能量函数问题上被众多研究者所使用，目前已有许多新技术应用于该领域。RichardSzeliski等人把当前常用的几种能量函数最小化方法在解的质量和运行时间等方面进行了比较，发现与传统的8种方法(模拟退火方法、M-估计法等)相比，图割方法不仅总体精度高，而且在不连续区域和低纹理区域的精度也比其它方法都高° (参见 D Scharstein, R Szelisk1. Ataxonomy and evaluation of densetwo-frame stereo correspondence algorithms[J]·InternationalJournal ofComputer Vision, 2002，47 (I) : 7-42.)。不仅如此，即使有些方法(如模拟退化方法)的精度和图割方法的精度接近，但图割方法在优化过程中收敛更快(参见R Szelisk, IR Zabih. An experimental comparison of stereo algorithms[A].Proceedings ofthe International Workshop onVision Algorithms:Theory and Practice[C].Springer-Verlag London, UK. Lecture Notes inComputer Science, 2000，1883:1-19)。利用图割方法最小化能量方程函数可以将图像映射为网络图，图像的特征就可以用图论的方法进行处理，在优化能量函数时，运用图割的方法在二值标号问题中可以得到能量函数的全局最小；在多标号问题中可以得到带有很强特征的局部最小，图割方法还可以保证能量函数的解收敛到全局最小，且实际效率较高，得到的数值解有很强的鲁棒性。
在Middlebury网站中几乎所有的这些好的方法在立体匹配时都使用图像分割。基于分割的立体匹配方法能够很好实现平坦区域的重建。这些方法的出现有一个潜在的问题就是在应用在动态视频序列中。图像分割在视频帧间是相互矛盾的，深度估计的结果常常呈现不连续的跳跃现象。例如，Hai Tao, Harpreet S，Sawhney I, Rakesh Kumar提出了将3D场景通过图像分割将颜色或分为不同平面，他们假设同一颜色的图像区域与三维表面一致。这个想法鼓舞了很多现有的有关立体匹配的研究。这种模型使用一个递增方程来进行估计。这个方程能够优化与空间颜色相关的一致性和平滑项的能量方程(参见 H. Tao, H. S. Sawhney, R. Kumar. Dynamic depth recovery from multiple synchronizedvideo streams. CVPR, 2001. ) 0. J. Woodford, P. H. S. Torr,1. D. Reid, A. ff. Fitzgibbon 提出基于“QPB0”方法的扩展法来有效的优化能量方程，但是这会带来三倍于二阶约束项的计算量。然而这种方法对于平坦区域能够有很好的效果，对于处理纹理表面比如有折叠在不同方向上有不同纹理区域效果并不好(参见0. J. Woodford, P. H. S. Torr,1. D. Reid, A.ff. Fitzgibbon. Global stereo reconstruction under secondorder smoothness priors.CVPR, 2008.)。又如Tsin的方法核心是使用3D点作为无参数平滑约束。但是，没有提出 全局方法来最小化它们的能量方程。相反，他们使用每个像素“winner-take-alI ”的估计策略，其对初始深度估计敏感(参见 Y. Tsin. Kernel Correlation as anaffinity measurein point-sampled vision problems. PhD thesis, Robotics Institute, CarnegieMellonUniversity, September 2003·)。王年，范益政,鲍文霞等提出一种基于图割的匹配方法。相对于以往的基于图割的方法该方法不需要摄像机的位置信息以及运动信息，并把标号从一维推广到二维，从而使本方法适用于更一般情形下的匹配问题，此外，为了更利于网络的构造和方法的实现，此文献中通过用像素的梯度向量的距离来代替平滑项(参见王年，范益政，鲍文霞等.基于图割的图像匹配方法.电子学报，2006，34(2) :232-235.)。张令涛，曲道奎，徐方提出了一种基于图割的改进立体匹配方法，方法通过区域匹配方法得到每个像素的初始视差值，然后只保留完整网格图的部分可能的视差值，去除其余大部分的节点和边缘，建立简化的网格图，该方法大大缩减了网格图的容量，缩短匹配所用的时间，并且能够选用更大的视差范围(参见张令涛，曲道奎，徐方.一种基于图割的改进立体匹配方法.机器人，2010，32 (I): 104-108.)。朱程辉，任冉冉提出一种快速立体匹配方法，把图像分割成颜色单一的不同区域；计算初始视差图，利用可靠点求取各分割区域的平面模板参数，对模板参数相同的相邻区域进行融合；构造全局能量方程，采用图割方法求取全局能量最小的视差最优分配。该方法对低纹理区域和遮挡区域有较好的匹配结果(参见朱程辉，任冉冉.一种基于图割理论的快速立体匹配方法.微型机与应用，2010，10:35-38.)。本发明对 Middlebury 平台中，Yang Q, Yang R, DavisJ, Nister D 的方法 Double BP(参见 Yang Q, Yang R, Davis J, Nister D. Stereo matchingwithcolor-weighted correlation, hierarchical belief propagation and occlusionhandling[J] · PatternAnalysis and Machine Intelligence, 2009, 31 (3):492-504.)；Klaus A, Sormann M, Karner K 的方法 AdaptBP (参见 Klaus A, Sormann M, KarnerK. Segment based stereo matching using beliefpropagation and a self adaptingdissimilarity measure[A]. Proceedings of the 18th InternationalConference onPattern Recognition (ICPR 2006) [C]，2006:15-18.);伍春洪，付国亮的方法 K-均值分割(参见伍春洪，付国亮.一种基于图像分割及邻域限制与放松的立体匹配方[J].计算机学报· 2011，34(4) :755-760. ) ;Sang Hwa Lee, Siddharth Sharma 的 SAD 方法(Sang HwaLee, Siddharth Sharma. Real-time disparity estimation algorithm for stereo camerasystems [J].1EEETransactions on Consumer Electronics, 2011，57 (3) : 1018-1026.)的相关数据来进行比较，详见表I。虚拟视点绘制中立体匹配技术还有诸多环节和关键方法上存在较大的改进空间。基于分割的立体匹配方法能够很好地实现平坦区域的重建。这些方法应用在动态视频序列中就不能解决视频帧间相互矛盾的问题，深度估计的结果常常呈现不连续的跳跃现象。
发明内容
本发明要解决的技术问题是为克服现有技术的不足，本发明提供一种基于自适应分水岭的图割的双目立体匹配方法，实现一种在稀疏图下的像素匹配，使不连续的边界保留得很好而不需要图像分割作为预处理项。本发明避免了预处理中使用分割，并且在动态视频序列中能够恢复实时稳定的深度值，在每一帧单独处理时也能得到很好的效果。本发明的约束项模型是大领域无参数的。无参数模型将图像特征用深度值表示时不需要使用明确的固定阶的约束项，这样计算量就大大降低。大邻域能够使本发明更灵活地获得更好的目标边界，在不连续的边界和高折叠纹理区域都得到很好的效果。在不影响合成视图质量的同时解决了静态图像和动态视频序列的矛盾性，深度估计的结果不会呈现不连续的跳跃现象。实验结果表明通过Middlebury平台对本发明方法定量评估得出在所有区域误匹配、非遮挡区域以及深度不连续区域的误匹配率都控制在8. 5%以内，在Middlebury平台135组数据中排名第19位。本发明具有稳定可靠、精度高、抗干扰能力强的优点。另外，通过对表I对比，可以得出本发明属于全局优化方法，与局部优化方法K-均值分割和SAD方法相比较,从表I不同类方法错误百分比的数据比较中可以看出，本发明的各项错误率均明显低于局部优化方法。而同类方法中，本发明的错误百分比略高于平台上最优方法AdaptBP，但低于平台上最优方法Doub IeBP。本发明解决其技术问题所采用的技术方案包括一种基于自适应分水岭的图割的双目立体匹配方法，其特征在于包括以下步骤(I)输入拍摄自同一场景，同一时刻的两幅图像，这两幅图像在拍摄视角上和平行度上都可以存在差异；(2)判断两幅输入图像与摄像机个数是否匹配，若不同，提示错误并跳出；若相同，读取相关数据，加载图像并执行步骤(3)；(3) —种自适应分水岭方法，提出了新的自适应局部阈值方法，并将其应用于分水岭结合Prim算法的区域融合中。具体是这个方法包括两个主要步骤首先，使用分水岭分割方法将图像分割成大量的区域；第二步是一个重复的过程，在此区域被融合且达到局部阈值停止融合。融合过程的顺序参照Prim最小生成树方法，在图表中找出最小值生长树的方法，在融合过程中我们追踪每个区域的变化并将变化的特征保存下来；(4)根据步骤(3)中求出的融合区域作为标号，建立能量方程，使用大领域无参数深度平滑模型来建立图割的能量方程的立体匹配方法；
(5)为一种能量函数最小化的方法即立体匹配的方法，具体是对于步骤(4)中的能量方程进行最小化过程。使用优化的α-扩展法，寻找匹配点时不需要对整幅图进行搜索，而是利用最小生成树的区域中像素范围来搜索，在范围内搜索区域像素，寻找匹配点，否则不搜索。上述所述步骤(3)中的基于自适应分水岭建立标号，采用以下步骤实现( i )对加载的图像应用Canny边缘检测算子来得到梯度度量的图像；(ii)经过分水岭分割，并使其投影到彩色图像，输出即是将Iwateleft, Iwaterright分别分割成η个不重叠的过分割的区域图像；(iii)使用Prim方法来生成最小生成树，令G=(V，E)为RAG结构，表示对图像 Iwaterleft的初始分割，其中e(i，j)的权值为函数/(<,0的值。产生MST的过程即融合区域的过程；(iv) —般的融合方法都是只设置单个阈值，达到这个值就停止融合，但是这样容易造成不必要的误差，本发明提出一种自动计算局部阈值(即自适应局部阈值)，这样经过Prim算法后得到的每个区域由于阈值不同所以大小是不同的，并且可以根据所需精度进行调整。由于融合不同区域时，区域的同一性质就会产生比较大的变化，本发明利用这个变化来确定局部阈值，简单来说就是融合过程中，一旦融合的区域不同就停止融合；(v)通过(i ) - (iv)步骤获得一个T树。继续使用Prim方法和自适应局部阈值方法得到最小生成树来完成估计最初密集图。从原始图排除树边界，剩余图仍然很密集。为了更好的估计，在剩余图的第二个树仍然使用Prim方法。此外，反复寻找T树，并且合并所有这些树去合成稀疏图以估计原始密集图，这样一个稀疏图Gs至多有T(L-1)个边界。上述所述步骤(4)中，基于步骤(3)建立能量方程，方法如下( i )图的一致项￡_ (°!，Dr) = He- [dP^dCl)，其中 Clp=D1 (P)是
图1l 中像素 P 的视
差，Q=P+D1是图1r■中P的相对应的像素，dq=Dr(q)是Ir^中q的视差。( ii )选用的平滑项如下
权利要求
1.一种基于自适应分水岭的图割的双目立体匹配方法，其特征在于包括以下步骤 (1)输入拍摄自同一场景，同一时刻的两幅图像，这两幅图像在拍摄视角上和平行度上都可以存在差异； (2)判断两幅输入图像与摄像机个数是否匹配，若不同，提示错误并跳出；若相同，读取相关数据，加载图像并执行步骤(3)； (3)—种自适应分水岭方法，提出了新的自适应局部阈值方法，并将其应用于分水岭结合Prim算法的区域融合中。具体这个方法包括两个主要步骤首先，使用分水岭分割方法将图像分割成大量的区域；第二步是一个重复的过程，在此区域被融合且达到局部阈值停止融合。融合过程的顺序参照Prim最小生成树方法，在图表中找出最小值生长树的方法，在融合过程中我们追踪每个区域的变化并将变化的特征保存下来； (4)根据步骤(3)中求出的融合区域作为标号，建立能量方程，使用大领域无参数深度平滑模型来建立图割的能量方程的立体匹配方法； (5)—种能量函数最小化的方法即立体匹配的方法，具体是对于步骤(4)中的能量方程进行最小化。使用优化的α-扩展法，寻找匹配点时不需要对整幅图进行搜索，而是利用最小生成树的区域中像素范围来搜索，在范围内搜索区域像素，寻找匹配点，否则不搜索。
2.根据权利要求1所述的一种基于自适应分水岭和图割的双目立体匹配方法，其特征在于所述步骤(3)中的基于自适应分水岭建立标号，采用以下步骤实现 (i )对加载的图像应用Canny边缘检测算子来得到梯度度量的图像； (ii)经过分水岭分割，并使其投影到彩色图像，输出即是将IwatOTlrft，Iwatmigh分别分割成η个不重叠的过分割的区域图像； (iii)经典最小生成树方法有Kruskal方法和Prim方法。通过比较，两者都属于贪心方法，而运行时间上，Prim方法优于Kruskal方法。本发明使用Prim方法来生成最小生成树，令G=(V, E)为相邻区域曲线图(RAG:Region Adjacency Graph)结构,表示对图像Iwaterleft的初始分割，其中
3.根据权利要求1所述的一种基于自适应分水岭和图割的双目立体匹配方法，其特征在于所述步骤(4)中基于步骤(3)建立能量方程，方法如下 (i )图的一致
4.根据权利要求1所述的一种基于自适应分水岭和图割的双目立体匹配方法，其特征在于所述步骤(5)中在能量方程最小化的方法即优化后的α-扩展方法实现为(i )初始化能量函数的值为O，根据视差范围设置缓冲区的个数，并初始化迭代次数为O ；(ii)产生标号的随机排列，依次选择标号进行α-扩展操作，利用最小生成树的区域中像素范围来搜索，在范围内搜索区域像素，寻找匹配点，否则匹配点不在该区域内，不进行搜索；(iii)标号集中的标号循环一次后输出一个能量值，迭代次数增加1，重复(ii)的操作；(iv)直到迭代次数达到最大值或者缓冲区个数减为O时，方法结束；(V)根据步骤(i ) - (iv)完成能量函数最小化的过程之后，根据得到的视差分布最终得到深度图1ui, Ied。
全文摘要
本发明提出一种基于自适应分水岭的图割的双目立体匹配方法，本发明提出了新的自适应局部阈值方法，并将其应用于分水岭结合Prim方法的区域融合中。使用自适应分水岭对图像进行处理，使图中像素以一定关系将图像分割成不同的区域并分配标号来建立能量方程，并提出新的大领域无参数的平滑约束模型。最后通过优化的α-扩展法，利用最小生成树的区域中像素范围来搜索，在范围内搜索区域像素，寻找匹配点，否则不搜索。大邻域能够使本发明更灵活地获得更好的目标边界，在不连续的边界和高折叠纹理区域都得到很好的效果。在不影响合成视图质量的同时解决了静态图像和动态视频序列的矛盾性，深度估计的结果不会呈现不连续的跳跃现象。
文档编号G06T7/00GK103020964SQ20121050178
公开日2013年4月3日 申请日期2012年11月29日 优先权日2012年11月29日
发明者祝世平, 杨柳 申请人:北京航空航天大学