专利名称：基于彩色分割和像素显著性估计的视差估计方法
技术领域：
本发明涉及一种计算机视觉领域的方法，特别是一种可应用于立体视频编码、立
体图像分割、机器人视觉等应用场合中的基于彩色分割和像素显著性估计的视差估计方 法。
背景技术：
视差信息是进行立体图像处理的基础。视差估计技术是近年来计算机视觉领域 研究的热点，在机器人视觉、医学、军事、航空等各方面都有着非常广泛的应用前景。视差 估计的算法可以分为全局法和局部法两大类。 一般来说，全局法匹配结果精确，但是计算 复杂度很高；而局部法计算复杂度较低，但是匹配精确度也较低。近年来，随着视差估计算 法的进一步发展，在增加少量计算复杂度的基础上，局部法的匹配精度不断得到提高。经 过对现有技术文献的检索发现，在精度较高的局部法中，Yoon和Kweon于2006年在IEEE Transactions onPattern Analysis and Machine Intelligence (vol. 28， No. 4)上发表 的"Ad即tivesupport-weight approach for correspondence search，，中提出的自适应彩 色权重法得到了广泛的应用。传统的视差估计局部算法采用视差匹配窗口大小根据图像 内容自适应变化的视差匹配窗，由于很难准确进行窗口大小的调整，因此视差匹配的精度 较低。区别于传统的视差估计局部算法，自适应彩色权重法采用大小固定的视差匹配窗， 根据视差匹配窗内各点之间的相关性来调整匹配窗内各点的权重，提高了视差匹配的精 度。但在物体边缘区域、遮挡区域和同质区域，视差匹配的精度仍然较低。2007年10月， Yoon禾卩Kweon在IEEEInternational Conference on Computer Vision上发表的"Stereo Matching with theDistinctive Similarity Measure，，提出的基于自适应权重的DSM视差 估计算法进一步提高了视差匹配的精度。DSM视差估计算法引入了图像各像素的显著性的 概念，利用像素点的显著性和左右图像像素的相似性进行视差匹配。像素点的显著性表示 了该像素点在图像中区别于其他像素点的特性，左右图像像素的相似性则表示了这两个像 素匹配的程度。左右图像中的两个像素点越相似，各自的显著性越强，则越有可能是匹配像 素。像素点的显著性与相似性根据自适应彩色权重法进行计算。这种方法具有较高的匹配 精度。然而，由于采用自适应彩色权重法进行显著性和相似性的计算，在图像的边缘区域和 同质区域，算法的匹配精度仍然较低。此外，由于需要进行自适应权重计算，并额外引入了 像素显著性分析步骤，整个算法复杂度被提高，算法所需要的运行时间大大增加。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于彩色分割和像素显著性 估计的快速视差估计方法。该方法利用彩色分割得到的彩色区域信息来提高视差估计的精 度及效率。 本发明是通过以下技术方案实现的本发明将彩色分割与DSM视差估计算法结合 起来。 一方面，在像素显著性估计过程中我们引入一种基于彩色区域信息的像素显著性估计方法，和彩色权重方法相比，这种方法能够有效利用彩色分割所得到的物体边缘信息，提 高物体边缘区域以及图像遮挡区域像素的显著性估计准确度，从而提高视差估计的匹配精 度；另一方面，由于同一彩色区域的像素视差有很强的相关性，该方法利用这种相关性来减 少视差匹配的搜索范围，从而提高算法的运行效率。 本发明所述的利用彩色分割信息进行的视差匹配方法，实现步骤如下 1)采用Mean-Shift算法分别对左右视图像进行彩色分割，得到图像的彩色区域信息。 2)结合彩色分割的结果计算左右视图像像素点各自的显著性以及左右图像相关 像素点的相似性。 3)利用彩色分割得到的彩色区域信息确定当前待匹配像素点的初始视差值以及 视差匹配搜索范围。 4)根据像素点的显著性和相似性，计算得到每一个像素点的代价函数，并对当前 待匹配像素点匹配窗内所有像素的代价函数进行聚合。采用Win-Take-All策略，在像素点 的视差匹配搜索范围内寻找使聚合后的代价函数最小的视差值，作为当前待匹配像素的视差。 本发明结合彩色分割，并引入像素点的显著性进行视差匹配。采用由Mean-Shift 算法对原始图像进行过分割得到的彩色区域信息，显著改善了图像像素点显著性提取的过 程；并基于同一彩色区域的视差连续，而不同的彩色区域视差不一定连续这一假设，利用与 当前待匹配像素点处于同一彩色区域的相邻像素的视差作为当前像素的参考视差，大大縮 小了视差匹配的搜索范围。本发明得到的视差估计结果精确，并且视差估计的效率较高，有 很广的应用范围。
图1基于彩色分割和像素显著性估计的视差匹配框图
图2对左右视图像进行彩色分割得到的彩色区域信息图
图3用来计算待匹配像素点显著性的所有相邻像素的集合表示
图4视差匹配的像素参考方式(扫描方向)
具体实施例方式
下面结合附图对本发明的视差匹配方案作进一步描述。 如图1所示，本发明的视差匹配方法包括彩色分割、像素显著性和相似性估计、当 前像素初始视差和匹配搜索范围确定、结合像素显著性和视差匹配搜索范围进行视差匹 配，以及最终的匹配结果输出这几个部分。 以对左视图像进行视差匹配的过程为例，本发明采用Mean-Shift算法分别对左 右视图像进行彩色分割，得到左右视图分割后的彩色区域信息。 一方面，利用彩色分割得到 的彩色区域信息，分别计算左右视图像的自匹配和互匹配权重，并结合自匹配和互匹配权 重信息，进一步计算得到左右视图像各自的像素点显著性，以及左右视图像相关像素点的 相似性。另一方面，对于左视图像，根据彩色分割得到的彩色区域信息确定其初始视差和视 差匹配的搜索范围。最后，根据以上过程计算得到的像素显著性和相似性，构造视差匹配的
4代价函数，结合视差匹配搜索范围，采用Win-Take-All策略进行视差匹配，得到最终的视 差匹配结果。 如图2所示，为分别对左右视图像进行彩色分割的结果。本发明采用Mean-Shift 算法，对左右视图像进行过分割，得到左右视图像的彩色区域信息。 本发明利用彩色分割得到的彩色区域信息，进行左右视图像素显著性和相似性的 计算。设当前待匹配的像素点为P点，P点的显著性用D(p)表示，p、q两点的相似性用S(p， q)表示。则D(p) 、 S(p， q)分别计算如下:
￡)(—p)二 /(p,Q)
S(p， q) = 1/f(p， q)
其中Np表示用来计算p点显著性的所有相邻像素的集合，Np的范围如图3所示； f (P， q)则表示P、 q两点像素的相异性。
Np和f (p， q)分别计算如下 Np = {p+d I dmin (p) -d隨(p)《d《d隨(p) _dmin (p)} 其中dmin(p)表示p点视差匹配搜索范围内的视差最小值，cLx(p)表示p点视差匹 配搜索范围内的视差最大值。 I] "Aj"+《w(庙.g)x—JD(iv&> p、q两点差异性越小，则f (p， q)就越小，S(p， q)就越大，表示p、 q两点越相似。
其中Wr表示p、 q两点的匹配窗。匹配窗为正方形窗，匹配窗的大小根据图 像大小进行调整。在本专利中，对于640X480的图像，正方形匹配窗的边长设为25。 Pi、 qi分别表示P、 q两点的匹配窗内的像素点，AD(Pi， Qi)表示Pi和Qi的颜色差异，采用论文 "Adaptivesupport-weight approach for correspondence search"中式(8)定义的方法 进行计算。"(Pi，p)表示Pi点在匹配窗W工中的权重。"(Pi，p)计算如下 ,-i>)=
exp (—- ' ) /J g .k絮r 其中Segp表示p点所属的彩色分割区域。 如上所述，基于彩色分割的像素显著性估计方法利用了彩色分割信息，使得匹配 窗Wi中每个像素的权重分配和像素所属的彩色区域相关，改进了匹配窗每个像素的自适应
权重分配，增强了像素显著性估计在图像边缘区域以及同质区域的准确性。
本发明中涉及的当前待匹配像素点的初始视差和视差匹配搜索范围的确定过程 如下所述本发明采用图像奇数行像素依次从左匹配到右，偶数行像素依次从右匹配到左 的方式进行视差匹配，当前像素的参考像素为前一个已匹配像素，如图4所示。这种视差匹 配方式保证了视差搜索的连续性，并在一定程度上保证了视差匹配的各向同性。对奇数行 像素进行视差匹配时，参考像素为其左邻像素，对偶数行像素进行视差匹配时，参考像素为 其右邻像素。若当前像素与其参考像素在同一彩色区域内，则当前像素的初始视差为参考 像素的视差，视差匹配的搜索范围被限定在初始视差的附近，艮卩
dG (Do(p)-d—:radius， Do(p)+d—:radius)
D。(p)为初始视差，cLradius为视差搜索的半径；
若当前像素和参考像素不在同一彩色区域内，则将当前像素的初始视差设为O，此 时视差匹配的搜索范围最大，即
<formula>formula see original document page 6</formula>
根据已计算得到的像素的显著性和相似性的信息，以及上述过程确定的视差匹 配搜索范围，进行最终的视差匹配过程。以对左视图进行视差匹配的过程为例，首先计算 左视图中待匹配像素点Pl与右视图中视差匹配搜索范围内的像素点K的匹配代价函数
C0St (P工，Pr):<formula>formula see original document page 6</formula>S(Pl， pr)表示Pl、 Pr两点的相似性，D(Pl) 、 D(pr)分别表示Pl、 Pr两点的显著性。
S(Pl，p》越小，表示PpK两点越相似，D(Pl)、D(p》越大，表示Pi、K与各自匹配窗内的其 他像素点的差异性越大，则Pl、 K两点越有可能是互相匹配的点，而Cost (Pl， p》就越小。
采用Win-take-all策略，在Pi的视差匹配搜索范围内找出使Cost (Pl，p》最小的 Pr点，这时的视差即为当前待匹配点P工的视差。
权利要求
一种结合彩色分割和像素显著性估计的视差估计方法，其特征在于，利用对原始待匹配图像进行彩色分割得到的彩色区域信息，显著提高了图像像素点显著性估计的精度；并基于同一彩色区域的视差连续，而不同的彩色区域视差不一定连续这一假设，利用与当前待匹配像素点处于同一彩色区域的相邻像素的视差作为当前像素的参考视差，大大缩小了视差匹配的搜索范围。能够快速实现高精度的视差匹配。
2. 如权利要求1所述的像素点显著性提取过程，其特征是，将彩色分割得到的彩色区 域信息，用于像素点的显著性计算过程中，提高了像素显著性估计的精度，从而提高视差匹 配的精度，具体步骤如下1) 利用彩色分割信息计算像素点的显著性；2) 由像素的显著性，构造代价函数，计算像素的匹配代价；3) 找出匹配代价最小的点，该点的视差即为待匹配像素的视差。
3. 如权利要求1所述的像素点初始视差和视差匹配搜索范围确定过程，其特征是，结 合彩色分割得到的彩色区域信息，縮小视差匹配的搜索范围，提高视差匹配的效率。具体步 骤如下1) 确定当前像素的参考像素；2) 利用彩色分割得到的彩色区域信息，判断当前像素与其参考像素是否在同一彩色区 域内，根据判断结果确定当前像素的初始视差值和视差匹配搜索范围；3) 在所得到的视差匹配搜索范围对当前像素进行视差匹配。
全文摘要
一种引入彩色分割的视差估计方法，将彩色分割与像素显著性估计结合起来，通过利用彩色分割的结果来改善像素显著性估计的精度，通过利用彩色分割得到的彩色区域信息来减少像素视差估计的搜索范围。在运算精度方面，相比精度较高的局部法如自适应彩色权重法、基于自适应权重的DSM视差估计算法，能够更准确地获取参考像素和更准确地进行像素显著性估计，从而得到更精确的视差匹配结果。特别是在物体的边缘区域、遮挡区域和同质区域，有更高的估计精度；在运算速度方面，通过利用彩色分割得到的彩色区域信息，减小了视差匹配的搜索范围，提高了视差匹配的效率。
文档编号G06T7/00GK101739684SQ20091031164
公开日2010年6月16日 申请日期2009年12月17日 优先权日2009年12月17日
发明者严恺, 周军, 周春燕 申请人:上海交通大学