部优化是在像素层上进行的，由于视差计算 存在误差，在局部优化时放弃了视差信息。在全局处理时，保证了立体图像分割的一致性， 而且局部优化是对局部像素点进行的处理。因此，在局部优化时，同时在左右两幅图像上独 立进行。若Γ为统计的局部待处理图。定义局部的能量函数为：
[0061] f... (A)是一元项即数据项，表示边界处的像素与前、背景颜色模型的相似性，相 似性越大，值越大。馬约)是二元项即平滑项，表示邻域像素的相似性，二者越相似， 值越小。边界经过二者的可能性就越小。N〔nt,"代表边界图中所有邻接关系的结合。其中， Wunary+Wintra= 1
[0062] 一元项具体定义如下：
[0064] 边界处的优化是局部的精确的优化，应尽可能减少误差，因此，一元项仅采用颜色 项。一元项的具体计算同全局优化中一元项颜色的计算。
[0065] 二元项为了减少误差，也仅采用颜色项。具体定义如下所示：
[0067] 局部能量函数定义好后，采用步骤四提到的最大流/最小割优化算法，最优化局 部能量函数即式（12)，得到最优的标记结果，即分割结果；同步骤四分割的结果相融合，构 成整个图像对的分割结果。
[0068] 步骤六，交互
[0069] 如对分割结果不满意，返回步骤二，继续添加前、背景线索；每添加一笔，将触发一 次完整的分割过程。在已分割的基础上，进行进一步的分割，直到得到满意的结果。
[0070] 以 Price 等人在 2011 年的 ICCV 上发表的"StereoCut 〖Consistent Interactive Object Selection in Stereo Image Pairs"中的方法为对比对象，说明本发明方法的有 效性。两种方法均采用一致的Delta函数（式（9))作为对应点之间的概率分布函数。图 2给出了效果对比。图2(a)、（b)为输入的左、右图像。（c)、（d)是采用StereoCut方法分 割的结果；图2(e)、（f)为本发明的分割结果；下面两列给出了两种方法分割的准确率以及 分割的总时间。准确率（用A表示）的具体定义如下：
[0073] 其中，队和Nj别表示左图和右图图像的像素总数，c丨为分割后左图中第i个像 素的标签（0或1)，相应的f表示分割后右图第j个像素的标签。分别代表左、右 图真值，cf - 则反映了左图某一像素的标签与真值之间的差异。函数fA是关于差异的 函数，差异为〇时，函数为1，否则记为0。从公式（15)可看出，单幅图像中与真值的无差异 总数与图像大小的比值即为分割的准确率，立体图像的分割准确性就是左右两图准确率的 平均值。
[0074] 两种方法所用的用户输入分别在图（c)、（e)中显示，目标物内部的第一线条的线 标记前景，目标物外部的第二线条的线标记背景。对比图（c)、（d)和图（e)、（f)，以及所给 出的两种方法的计算时间和准确率值，可看出：本方法在同等交互量的前提下，在分割准确 率变化不大的情况下，可以显著提高图像分割的速度。
【主权项】
1. 一种基于多层次图结构的交互式立体图像快速分割方法，其特征在于：该方法首先 输入一组立体图像，通过立体图像匹配算法得到视差图；在原始图像左右任意一图中指定 部分前、背景；根据指定部分应用CUDA并行计算的方法建立前、背景的颜色以及视差分布 的先验统计模型；通过对原始图像进行高斯滤波、下采样得到粗糙尺度较小的图像，然后将 粗糙图像与原始图像一起构成多层次图结构；以此为基础，在图割理论框架下形式化多层 次图结构中的颜色、梯度以及视差等约束，构造能量函数；为了提高效率，应用CUDA并行计 算的方法处理建图过程；采用图的最大流/最小割算法求解多层次图的全局最优化结果； 然后统计边界处误差较大的像素点，采用传统的图割理论，对统计的边界像素点进行局部 优化；将全局处理与局部优化的结果融合在一起，构成最后的分割结果；若用户没有得到 理想的效果，继续对图中错误区域进行勾画，直到得到理想结果； 其特征在于：该方法具体包括如下步骤： 步骤一，匹配立体图像； 读入一对立体图像I= {I1，F}，I1与1分别表示左、右图像；通过立体匹配算法计算 得到左、右图像对应的视差图，分别用D1与D表示； 步骤二，添加前、背景线索； 用户通过所设计的界面在其中任意一张图像中指定部分前、背景；利用鼠标、触摸屏或 者手写笔等输入设备，通过在图像上勾画不同颜色的线条指定部分前、背景像素；第一线条 覆盖的像素属于前景，第二线条覆盖的像素属于背景；本方法的后续步骤对于该步骤中所 用的前、背景像素指定方式并无限制，其它方式亦可使用； 步骤三，建立前、背景的颜色、视差先验模型； 用F表示用户指定的前景像素集合，B表示用户指定的背景像素集合；前、背景的颜色、 视差的先验模型采用GMM、直方图以及多个类簇的形式表达；本方法采用的是多类簇形式， 通过统计对应像素集合的颜色、视差得到类簇；为了提高处理速度，采用基于CUDA并行的 Kmeans算法，对F与B中的像素对应的颜色值、视差值分别进行聚类；处理颜色模型的具体 过程如下：每个线程处理一个像素，计算每个像素到所有前景、背景类簇的距离，选择最近 的距离，将像素聚类到对应的类簇中；得到N。个前景颜色类簇KSh=IA,t.，M。个背景颜色 类簇{(Hi^，上述颜色类簇分别表示前景、背景的颜色分布统计模型；同时，用同样的 方法，对F和B中的像素对应的视差值分别进行聚类，得到Nd个前景视差类簇…， MdA背景视差类簇，上述视差类簇分别表示前景、背景的视差分布统计模型； 在本实施例中，Nc=Mc= 64 ;Nd=Md= 16 ; 步骤四，基于多层次图结构的全局优化； 由于图像中前景、背景各自的分布比较聚集即前、背景内部像素差异较小，边界处像 素差异较大；利用这一特性，用区域具有代表性的像素来表示邻域所有像素；本方法采用 高斯滤波、下采样的方式，得到代表性的像素点；进而得到粗糙的尺度较小的图像；将粗糙 图像与原始图像融合，构成多层次图结构；对多层次图结构的模型进行全局处理；将原始 立体图像对表示为I= {I1，〗"}，粗糙的立体图像对表示为r= {I1，'〗"1}，I1、1^与 r、rT分别表示左、右图像；将原始立体图像与粗糙立体图像共同表示成一个无向图G= 〈V，e>;其中，V为无向图G中的节点集合，e为边的集合；无向图G中的每个顶点对应 立体图像I与r中的一个像素；交互式立体图像快速分割是在输入笔画的约束下，为原始 立体图像对中的每个像素Pj武予一个标签X1;xiG{1，〇}，分别表示前、背景；无向图G中 的边包含每个像素与源点、汇点的连接边，图像内相邻像素的连接边，以及视差图决定的立 体图像对应点之间的连接边；同时还包含粗糙层与原始图像的父子节点之间的连接边；令 火为粗糙层图像像素点；由于粗糙层是对原始层进行下采样得到的，所以一个f代表采样 前的I图像中N1 *&的区域内的像素，在本实施例中N1= 3 ; 把求解上述基于多层次图结构的立体图像快速分割问题定义为以下目标能量函数的 最优化问题：其中見是一元项，表示粗糙层像素的颜色、视差与前、背景颜色和视差统计模 型的相似性，也叫做数据项；相似性越高，尾_(於)值越大；UiW)是粗糙层图像内 二元项，反映了粗糙层图像所有像素与四邻域之间的差异，1^_3表示包含左右粗糙层图 中所有像素点的邻接关系的集合；差异越大，则该项越小；根据图割算法的原理，此时邻域 像素之间倾向于取不同的标签；是粗糙图像间的二元项，定义了对应点的匹 配的结果，匹配度越高，则该项越大；NintCT表示含有左右粗糙层像素点对应关系的集合； 是粗糙层图像与原始图像间的二元约束关系，表示父子节点的相似性， 父子节点差异越小，该值越大，边界经过两者的可能性越小；NpatCTnity表示父子对应关系的 集合;^unary?^i