专利名称：三维电视系统中基于图像分割的立体匹配方法
技术领域：
本发明涉及一种图像的处理方法，尤其涉及一种三维电视系统中基于图像分割的立体匹配方法。
背景技术：
立体匹配是计算机视觉领域的核心组成部分，在三维电视、汽车辅助驾驶、计算机视觉等实践中都有广泛的应用。根据匹配基元的不同，大致可分为基于特征的匹配算法和基于面积的匹配算法，而基于特征的立体匹配方法虽然速度较快但由于不能获得全局最优视差，故近些年全局效果更好的基于面积的匹配算法应用更为广泛，其中图割算法 (graph-cuts)、动态规划(Dynamic Programming)算法和置信传播(Belief propagation) 算法对立体匹配的精度和准确性都有很大提高。Jiangbo Lu, Ke Zhang, Lafruit, G.，Catthoor, F.在声学，语音和信号处理会议 (Acoustics, Speech and Signal Processing, 2009.)上发表的论文“一种基于十字聚合的实时立体匹配方法，，(Real-time stereo matching A cross-based local approach)提出了一种十字聚合立体匹配算法，这种算法是一种比较快速的局部立体匹配算法，计算量较小且效果不错。但是该算法得到的结果在准确性上比计算量大的全局匹配算法要差。Tao H, Sawhney H S and Kumar R在2001年发表在加拿大温哥华第八届计算机视觉会议(Proceedings of the Eighth International Conference On Computer Vision. Vancouver, Canada, 2001 (I) :532-539)上的论文“一种基于彩色图像分割的立体匹配算法框架”(A Global Matching Framework for Stereo Computation)根据颜色平滑区域内部视差可用平滑的视差模型表示以及视差不连续处跟分割区域边缘一致的特性，先对彩色图像进行分割，然后利用速度较快但准确率不高的匹配算法对左右图像计算初始视差图，最后利用分割信息对各分割区域的初始视差进行拟合。该算法的优点是单幅图像所获得的视差边界一般情况比由视差估计得到的边界更为准确，而对遮挡区域匹配的鲁棒性也得到改善，其算法效率相对较高。其缺点是由于分割算法的影响其分割假设并不一定总是正确的， 而由于强制平滑的影响，得到的视差可能并不能表示区域真正的视差。均值偏移(mean-shift)分割算法是一种常用的获取图像的分割信息的方法，均值偏移算法是一种利用概率分布的梯度寻找峰值的非参数估计方法，具有较高的鲁棒性， 它通过对输入彩色图像的色彩域和空间域特征进行聚类对图像进行分割，该算法能得到较好的分割效果，该算法的缺点是实时性一般。
发明内容
为弥补现有技术的不足，本发明提出一种速度更快的、自适应的三维电视系统中基于图像分割的立体匹配方法。首先利用改进的十字聚合立体匹配算法计算初始视差，然后用基于图论的图像分割获得的分割信息对初始视差进行优化。将其应用于三维电视系统中，计算速度更快，实时性较好，获取深度信息准确，且对于图像噪声(光照、畸变等)的抗干扰能力强。该方法适用于三维电视系统中的深度生成应用，在汽车辅助驾驶、计算机视觉等实践中也可以有广泛的应用。为实现上述目的，本发明采用如下技术方案一种三维电视系统中基于图像分割的立体匹配方法，具体步骤如下第一步，用平行双目相机拍摄左右图像并对其进行校准，使图像对于同一物体的同一像素点在两幅图像中处于同一水平线，以符合立体匹配的限制条件；第二步，利用改进的十字聚合立体匹配算法计算初始视差，对校准后的左右图像进行分析，得到每个像素点对应的十字区域，进一步获得每个像素点对应的自适应区域，然后基于自适应区域计算匹配代价，最后以匹配代价最小的视差为最优解，得到左图或者右图的初始视差，并以此初始视差作为第四步的初始视差；第三步，采用基于图论的图像分割算法，对第一步中校准后的左图或右图利用基于图论的图像分割算法进行分割，得到的返回值S即为图的最终分割信息，它将顶点用一系列的标号信息标识归属于不同分割区域，由像素点与顶点的对应关系，从而就得到了图像的分割信息，设置一个彩色的强度参数C，对分割结果中像素个数小于c的分割区域合并到周围的大区块中；第四步，利用分割后的图像对第二步中得到的初始视差信息进行中值滤波，得到需要匹配的左图或右图的视差图。所述第一步中，因为相机参数的不同以及镜头畸变的干扰，需要先对图像进行校准，使图像对于同一物体的同一像素点在两幅图像中处于同一水平线，以符合立体匹配的限制条件；为此选取标准图像Tsukuba图像对作为原始图像，进行初始视差的计算。所述第二步中，采用十字聚合算法对校准后的左右图像进行分析，得到每个像素点对应的十字区域，进一步获得每个像素点对应的自适应区域，然后基于自适应区域计算匹配代价，最后以匹配代价最小的视差为最优解，得到左图或者右图的初始视差。其具体步骤为2-1)对需要匹配的两幅图像分析，获取每个像素点对应的十字区域对输入图像上的像素点p = (xp, yp), xp, yp分别表示p点横纵坐标位置,用{hp、 h+P，v_p，v+p}四个参数分别表示改像素点十字区域的左侧，右侧，上侧，下侧臂长。利用十字区域上像素点与中心点的颜色相似度确定每个臂长。例如要确定左臂长度hp_，从中心点向左依次检测左侧像素点P1与中心点P的相似度，判断是否相似函数为
权利要求
1.一种三维电视系统中基于图像分割的立体匹配方法，其特征是，具体步骤如下 第一步，用平行双目相机拍摄左右图像并对其校准，使图像对于同一物体的同一像素点在两幅图像中处于同一水平线，以符合立体匹配的限制条件；第二步，利用改进的十字聚合立体匹配算法计算初始视差，即对校准后的左右图像进行分析，得到每个像素点对应的十字区域，进一步获得每个像素点对应的自适应区域，然后基于自适应区域计算匹配代价，最后以匹配代价最小的视差为最优解，得到左图或者右图的初始视差，并以此初始视差作为第四步的初始视差；第三步，采用基于图论的图像分割算法，对第一步中校准后的左图或右图利用基于图论的图像分割算法进行分割，得到的返回值S即为图的最终分割信息，它将顶点用一系列的标号信息标识归属于不同分割区域，由像素点与顶点的对应关系，从而就得到了图像的分割信息，设置一个参数C，对分割结果中像素个数小于c的分割区域合并到周围的大区块中；第四步，利用分割后的图像对第二步中得到的初始视差信息进行中值滤波，得到需要匹配的左图或右图的视差图。
2.如权利要求I所述的三维电视系统中基于图论的图像分割算法的立体匹配方法，其特征是，所述第二步中，其具体步骤为2-1)对需要匹配的两幅图像分析，获取每个像素点对应的十字区域对输入图像上的像素点P = (xp, yp), xp, yp分别表示p点横纵坐标位置,用{hp、h+p, v_p，v；}四个参数分别表示改像素点十字区域的左侧，右侧，上侧，下侧臂长；利用十字区域上像素点与中心点的颜色相似度确定每个臂长；确定左臂长度hp_时，从中心点向左依次检测左侧像素点P1与中心点P的相似度，判断是否相似函数为
3.如权利要求I所述的三维电视系统中基于图论的图像分割算法的立体匹配方法，其特征是，所述第三步中，基于图论的图像分割算法步骤如下3-1)将边集E按权值递增的顺序排列到JI= (0l，. . . , om)；3-2)令初始分割为S°，V中的每个顶点都是初始分割S°中的独立分量；3-3)对于q=l,… m,重复步骤3-4);3-4)由Strl构建Sq时,令中的第q条边Oq连接的节点为Vi, Vj,即Oq = (Vi, Vj),若 Vi，'分别属于Strl中不同的分量，且W(Oq)比两分量内部差异都小，则合并两分量，否则，不合并；即令Cf-1是S"1中包含Vi的分量，Cf1是包含 ' 的分量，若满足Cf—1 Wf1和W(Oq)小于Cf-1和Cf的阈值T中的任意一个，则把Strl中的Cf-1和Cf1合并成一个分量，得到S%否则 Stl = Stl'即不合并；3-5)返回S = Sm ;返回的S即为图的分割信息，它将顶点用一系列的标号信息标识归属于不同分割区域，由像素点与顶点的对应关系，即得到图像的分割信息。
全文摘要
本发明公开了一种速度更快的、自适应的三维电视系统中基于图像分割算法的立体匹配方法，以获取参考图像的分割信息，并将其应用于三维电视系统中，实时性较好，获取深度信息准确，且对于图像噪声(光照、畸变等)的抗干扰能力强。具体步骤如下第一步，用平行双目相机拍摄左右图像并对其进行校准；第二步，利用改进的十字聚合算法计算初始视差，得到左图或右图的初始视差图；第三步，采用基于图论的图像分割算法，对第一步中校准后的左图或右图利用基于图论的图像分割算法进行分割；第四步，利用分割后的图像对第二步中得到的初始视差图信息进行中值滤波，得到需要匹配的左图或右图的视差图。
文档编号H04N13/00GK102611904SQ20121003381
公开日2012年7月25日 申请日期2012年2月15日 优先权日2012年2月15日
发明者李冉冉, 陈辉 申请人:山东大学