一种基于交互式图像分割的立体匹配方法
【技术领域】
[0001] 本发明属于计算机图像处理技术领域，特别涉及一种基于交互式图像分割的立体 匹配方法。
【背景技术】
[0002] 立体匹配技术是近年来计算机领域广泛关注的难点和热点，它的目的是通过匹配 两幅或多幅图像来获得视差图，由视差图与深度的比例关系恢复出对应像素点的深度信 息，以便可以计算出场景中三维信息，在机器人导航、工业控制、无人驾驶汽车等方面有广 泛的应用。
[0003] 由于图割算法具有组合优化的良好性能，使视差图的质量得到了明显的提高，并 且能够较好的处理低纹理区域和遮挡像素，近年来，国内外学者对基于图割算法的立体匹 配问题做了大量工作。
[0004] Roy最早在1998年电气和电子工程师协会第六次会议上提出的论文《一种基于最 大流算法的多摄像机立体匹配问题》中（Roy S, Cox I J. A maximum-flow formulation of the n - camera stereo correspondence problem[C]//Computer Vision, 1998. Sixth International Conference on. IEEE, 1998:492 - 499.)应用图割算法进行立体匹配，并 通过实验证明，图割算法能有效克服其他全局优化算法（动态规划算法等）生成视差图 产生的横向条纹瑕疵，避免了视差在临近极线处不连续的问题。但是该算法生成的视差 图轮廓边缘非常不明显，视差层的区分也不够准确D Boykov与Kolmogorov在2004年于 模式分析与机器智能汇刊上发表的论文《一种新的最大流/最小割算法在有关视觉能量 函数最小化中的应用》中提出（Boykov Y，Kolmogorov V.An experimental comparison of min - cut/max - flow algorithms for energy minimization in vision [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on，2004,26 (9):1124 - 1137) 可以在满足特定约束条件的基础上构造能量函数，并通过改进的基于增广路最大流算法 进行能量函数的最小化，将该图割算法应用于立体匹配等计算机视觉问题，效果显著优于 常用的Push - relabel，Dinic等算法。该方法虽然效果出众，但构建网络图时生成了大 量节点空间复杂度较高，运算过程需要多次迭代，理论时间复杂度为OOnn 2IcI)，无法达 到实时计算的要求。Li等在国际计算机视觉与模式识别会议上发表的论文《基于分割的 图割立体匹配方法》（Hong Lj Chen G. Segment - based stereo matching using graph cuts[C]//Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004IEEE Computer Society Conference on. IEEE, 2004, 1:1 - 74 - I - 81Vol.I.) 中首次提出基于无重叠视差区域分割的立体匹配，并用分割块的能量最小化取代了常 用图割算法像素级的能量最小化，降低了算法的时间复杂度，在低纹理与遮挡区域效 果良好，但生成的视差图边缘处有毛刺现象。Bleyer等在期刊：信号处理上发表的论 文《基于图割算法的对称遮挡处理立体匹配方法》（Bleyer M，Gelautz M. Graph-cut-based stereo matching using image segmentation with symmetrical treatment of occlusions[J]. Signal Processing:Image Communication, 2007, 22(2) :127 - 143.)中 假设在图像每个分割块中的视差都是平滑的，且视差边界恰好与分割边界重合，提出了基 于图像分割的立体匹配算法框架，通过彩色图像分割将场景分成不同区域，并计算初始 视差图，之后生成平面模板描述，结合区域合并等手段，得到了分割区域视差层的优化 分配，但该方法无法得到像素级的最优分配，且复杂度高，计算量大。Bleyer与Rother 等在国际计算机视觉与模式识别会议上发表的论文《基于物体分割的立体匹配方法》 (Bleyer M, Rother C,Kohli P, et al. Object stereo-joint stereo matching and object segmentation[C]//Computer Vision and Pattern Recognition (CVPR), 2011IEEE Conference on. IEEE, 2011:3081 - 3088.)针对现有采用基于低尺度分割，将图像分割成超 像素形式从而减少图割算法生成节点的立体匹配方法。假设相同物体具有紧凑，连接并且 物体表面视差变化平滑等特性，提出了一种新的基于物体分割的立体匹配方法。该算法在 物体分割与视差获取上效果良好，但是运行时间缓慢，对于物体和背景的内部区域缺少纹 理的深度信息，并且物体间细小区域也无法区分属于背景还是其他物体。
【发明内容】
[0005] 本发明针对于以往基于图像分割的立体匹配办法计算量大，运算框架复杂，实现 难度高，没有充分利用分割信息等问题，提出了一种在图像分割时采用基于交互的快速图 割方法获得感兴趣物体，只针对感兴趣物体的前景模版进行立体匹配并且运算量小、匹配 结果精确的基于交互式图像分割的立体匹配方法。
[0006] 为了实现上述目的，本发明所采用的技术方案是该基于交互式图像分割的立体匹 配方法由以下步骤实现：
[0007] (1)感兴趣目标的分割
[0008] (I. 1)在双目立体视觉系统中，针对采集到的已经标定好并符合外极线约束的左、 右两幅彩色视图，用户根据需要，分别在两幅视图中设置前景和背景的种子点，标记出前景 物体和背景物体；
[0009] (1. 2)针对（I. 1)中标记好的左、右视图，分别采用基于图割算法的交互式图像分 割方法分割出用户感兴趣物体；
[0010] (1. 3)用户判断所分割出的感兴趣物体是否满足需要，若分割结果不满意，则返回 步骤（I. 1)重新设置前景和背景种子点或者在步骤（1.2)的分割结果基础上在原图像上 重新设置前景和背景的种子点；若分割结果满意，得到前景图像和分割模版，进行下一步操 作：
[0011] ⑵由分割模版生成优化的网络图，调用图割算法对网络图进行最小分割计算，生 成视差图，得到立体匹配结果；
[0012] (2. 1)在步骤（1. 3)获取的两幅前景图像上针对前景物体通过线性插值算法添加 亚像素信息；
[0013] (2.2)将添加了亚像素信息的前景图像中的RGB三个通道分别乘以其对应的权 值，得到视差边的容量，再根据左视图像素在右视图对应处的四邻域中的灰度向量分别求 其平方差，计算得到光滑边的容量，源点汇点连接边的容量取1000~10000的整数；
[0014] (2.3)根据前景图像中的前景部分建立优化的网络图，在网络图上添加步骤 (2. 2)所得的视差边的容量和光滑边的容量以及连接源点和汇点的边的容量，调用图割算 法进行立体匹配，从而得到视差图。
[0015] 上述步骤（2. 2)中视差边的计算方法是：
[0016] c(ePil+1) = {(IR1(P)-IR2(P+11+1))2A R+(IB1(P)-IB2(P+11+1))2A B
[0017] + (IGi (P) ~IG2 (P+li+i))2 Δ J
[0018] 其中：对任意两幅视图中像素 P e I，下标R，B，G，分别代表彩色图像对应的红色， 蓝色，绿色通道；1，2分别表示左视图和右视图山为可能的视差标注；i = 0, 1，... n-1，I R1 为左视图中的红色通道，IR2为右视图中的红色通道，I B1为左视图中的蓝色通道，I B2为右视 图中的蓝色通道，Iei为左视图中的绿色通道，Ie2为