一种基于多层次图结构的交互式立体图像快速分割方法
【技术领域】
[0001] 本发明属于图像处理、计算机图形学和计算机视觉等交叉领域，涉及一种基于多 层次图结构的交互式立体图像快速分割方法。
【背景技术】
[0002] 近年来3D技术不断发展，从3D立体电视到3D立体电影，对3D内容的创作以及3D 编辑工具的开发提出了迫切的需求。交互式立体图像分割是其中一项重要工作，它是许多 应用最重要处理的环节，像物体识别、追踪，图像分类，图像编辑以及图像重建等。目前立体 图像分割已经应用于医疗图像中器官的分割与分析，物体的追踪，场景的理解等实际生活 中。因此，立体图像分割效率成为重要的研究方向。
[0003] 相比单幅图像的分割，交互式立体图像的智能分割起步较晚。目前图像分割方法 主要存在两方面的挑战：计算准确率和计算速度。这是一对矛盾的问题，很难在两者之间 达到较好的平衡。在提高计算准确率方面，人们做了很多的努力。Price等人在2011年的 ICCV上发表的"StereoCut :Consistent Interactive Object Selection in Stereo Image Pairs"中，利用立体图像对间的视差信息来提高立体图像分割的准确率度。其将图像中每 个像素的颜色、梯度、视差等信息融入传统的图割理论中，通过求解最大流来得到立体图像 边界优化的结果。这种方法虽然分割精度较高，但是构建的分割模型边与节点的数目庞大， 计算复杂，效率低下。目前分割算法多通过改变graph cut算法的具体实施过程来提高分 割速度。对于立体图像像素数目多，边结构复杂的问题，仅改变graph cut算法的实施过程 无法从根本上解决。同时，在立体图像分割过程中，存在很多单指令流多数据流计算密集型 的任务。传统方法没有很好的利用这种任务可并行执行的特点，串行处理，使效率低，消耗 大量的时间，从而使分割效率低下。
【发明内容】
[0004] 鉴于目前立体图像分割存在分割模型复杂，计算效率低的问题。本发明在基于视 差图的立体图像同步分割的理论框架下，探索新的分割方法。力图简化模型的复杂度，并行 处理计算密集型的任务，提高立体图像分割速度，实现实时分割常见尺寸立体图像的目的。
[0005] 为实现这个目标，本发明的技术方案为：首先输入一组立体图像，通过立体图像匹 配算法得到视差图。在原始图像左右任意一图中指定部分前、背景。根据指定部分应用CUDA 并行计算的方法建立前、背景的颜色以及视差分布的先验统计模型。通过对原始图像进行 高斯滤波、下采样得到粗糙尺度较小的图像，然后将粗糙图像与原始图像一起构成多层次 图结构。以此为基础，在图割理论框架下形式化多层次图结构中的颜色、梯度以及视差等约 束，构造能量函数。为了提高效率，应用CUDA并行计算的方法处理建图过程。采用图的最 大流/最小割算法求解多层次图的全局最优化结果。然后统计边界处误差较大的像素点， 采用传统的图割理论，对统计的边界像素点进行局部优化。将全局处理与局部优化的结果 融合在一起，构成最后的分割结果。若用户没有得到理想的效果，还可以继续对图中错误区 域进行勾画，直到得到理想结果。
[0006] 与现有技术相比，本发明具有以下优点：本发明通过构架基于多层次图结构的立 体图像分割模型，简化了边的复杂度，显著提高了处理的速度。同时，将一些计算密集型的 单指令流多数据流的任务用CUDA技术并行处理，节省大量时间。实验证明：相比现有方法， 在同等交互量的前提下，本发明所述方法在分割准确率以及一致性变化不大的情况下，可 以显著提高分割速度。
【附图说明】
[0007] 图1为本发明所涉及方法的流程图；
[0008] 图2为本发明应用实例实验结果：(a)、（b)为输入的左、右图像，（c)、（d)是采 用 Price 等人在 2011 年的 ICCV 上发表的 "StereoCut 〖Consistent Interactive Object Selection in Stereo Image Pairs"中的方法分割的结果；（e)、（f)为本发明的分割结 果；两种方法所用的用户输入在（c)、（e)图中显示，其中第一线条标识前景，第二线条标识 背景。同时给出了两种方法分割的准确率以及分割的时间。本实施例测试所用笔记本电脑 配置为：CPU 处理器 Intel (R)Pentium(R)CPU B95002. IOGHz 2. 10GHz ;Gpu 处理器 NVIDIA GeForce GT 540M〇
【具体实施方式】
[0009] 下面结合附图和【具体实施方式】对本发明做进一步说明。
[0010] 本发明的流程如图1所示，具体包括如下步骤：
[0011] 步骤一，匹配立体图像。
[0012] 读入一对立体图像I = {I1，Γ}，I1与Γ分别表示左、右图像。通过立体匹配算法计 算得到左、右图像对应的视差图，分别用D1与Df表示。立体匹配算法采用的是Felzenszwalb 等人在 CVPR04 上发表的论文"Efficient Belief Propagation for Early Vision" 中提 出的算法。
[0013] 步骤二，添加前、背景线索。
[0014] 用户通过所设计的界面在其中任意一张图像中指定部分前、背景。本发明实施采 用类似于 Price 等人在 2011 年的 ICCV 上发表的 "StereoCut 〖Consistent Interactive Object Selection in Stereo Image Pairs"中用到的方法，利用鼠标、触摸屏或者手写笔 等输入设备，通过在图像上勾画不同颜色的线条指定部分前、背景像素。如图2(e)所示，第 一线条覆盖的像素属于前景，第二线条覆盖的像素属于背景。本发明的后续步骤对于该步 骤中所用的前、背景像素指定方式并无限制，其它方式亦可使用。
[0015] 步骤三，建立前、背景的颜色、视差先验模型。
[0016] 用F表示用户指定的前景像素集合，B表示用户指定的背景像素集合；前、背景的 颜色、视差的先验模型采用GMM、直方图以及多个类簇的形式表达。本发明采用的是多类簇 形式，通过统计对应像素集合的颜色、视差得到类簇。为了提高处理速度，采用基于CUDA 并行的Kmeans算法，对F与B中的像素对应的颜色值、视差值分别进行聚类。处理颜色模 型的具体过程如下：每个线程处理一个像素，计算每个像素到所有前景、背景类簇的距离， 选择最近的距离，将像素聚类到对应的类簇中。得到N。个前景颜色类簇M。 个背景颜色类簇[QUm=：!Μ,，上述颜色类簇分别表示前景、背景的颜色分布统计模型；同 时，用同样的方法，对F和B中的像素对应的视差值分别进行聚类，得到义个前景视差类簇 JVa，ΜΛ背景视差类簇{墙}咖1:,....,Ma，上述视差类簇分别表示前景、背景的视差分 布统计模型；在本实施例中，N。= M。= 64 ;Nd= Md= 16。
[0017] 步骤四，基于多层次图结构的全局优化；
[0018] 由于图像中前景、背景各自的分布比较聚集即前、背景内部像素差异较小，边界处 像素差异较大。利用这一特性，用区域具有代表性的像素来表示邻域所有像素。本方法采 用高斯滤波、下采样的方式，得到代表性的像素点。进而得到粗糙的尺度较小的图像。将粗 糙图像与原始图像融合，构成多层次图结构。对多层次图结构的模型进行全局处理。将原 始立体图像对表示为I = {ΛΓ}，粗糙的立体图像对表示为Γ= {??'Γ'?，I1、I1^与 Γ、Γ τ分别表示左、右图像。将原始立体图像与粗糙立体图像共同表示成一个无向图G = 〈ν，ε>;其中，V为无向图G中的节点集合，ε为边的集合；无向图G中的每个顶点对应 立体图像