ntra?^inter?wpatCTnity调节各能量项之间的权值；在本发明中1，win&a= 4000,Winter=8000,Wpaternity=1000000。 (1)定义一元约束项 一元约束项包括颜色一元项和视差一元项两部分，定义如下： 足,期(文）：罐1-I<))+化(1-巧(x/ 丨4')) (? 其中，巧(<|c〇表示给定像素火的颜色<，< 取前景或背景标签的概率值；因为概 率越大，能量函数应当越小，所以取1-P。表示颜色一元项；同样地，乃(.<IO表示给定像素 的视差值<，X丨取前景或背景标签的概率值；取I-Pd表示视差一元项；W^wd分别代表颜色 与视差的影响权值，Wjwd= 1 ; 本方法以类簇形式表示前、背景的颜色和视差模型，包括N。个前景颜色类簇 ，.具，:M。个背景颜色类簇.義，.Nd个前景视差类簇{喊}"斗..,^^ 视差类簇Md，给出一元项的计算方法； 颜色一元项的计算方式如下：本方法采用基于CUDA并行方法来计算；将CPU端的所有 像素的颜色值传到GPU端；在GPU中，并行处理所有像素；每个线程表示一个未标记像素； 线程相互独立，所有线程同时计算像素颜色到前景、背景颜色模型的类簇中心的距离，找到 其中最小的距离；用这个最小的距离描述像素颜色与前、背景颜色的相似度；离前景或背 景颜色距离越小，则颜色越相近，根据图割理论，该像素越倾向于选择前景或背景标签；待 所有线程结束，将GPU端每个像素的求解结果传到CPU端，在CPU端进行详细的建图过程； 颜色一元项的数学形式描述为：其中，ffn分别表示像素对的颜色到前景和背景颜色的各类簇中心的最小距 尚，其表达式分别为：视差一元项与颜色一元项的计算过程相同； (2)定义图像内二元约束项 图像内二元约束项包含两项，分别描述像素点周围颜色变化和视差变化， 即颜色梯度和视差梯度，定义如下： ￡in,P) P1, Ki ( P) )\< - ! ⑩ 其中，./._?/<)表示相邻像素间颜色的相似性，颜色越相近其值越大，根据图割算法 的原理，边界穿过二者的几率就较小；片）表示像素P『相对于邻接像素点Pj视差的 相似性；二者视差越相近，其值越大，根据图割算法的原理，二者取不同标签的几率就较小； 为了减少视差产生的误差，视差项中的视差，本步骤采用的是经过高斯滤波以及下采样得 到的粗糙层的视差信息；两项的定义形式如下：其中，C表示立体图像中之间作为对应点的可能性，是非对称函数： aAr./^；'r) -p(^rIMil^r)^. ：：=,y；r) (8) P(M(/f) =/f)是基于视差图确定的之间作为对应点的概率分布函数；函数M(Pp)=尸厂表示片7是左粗糙层像素^〃在右粗糙层上的对应点，对应关系根据原始视差 图决定；P(MOp) =Pf)采用一致的Delta函数，定义方式如下；其中，< 为左粗糙层中像素Jf与右图中对应点j?f的视差值； < 为右粗糙层中像素 具〃与左图对应点/>广的视差；为了更好的确定左右图像素的对应关系，在此采用的是未经 处理的原始视差图的视差； 式⑶中= )表示^厂与之间的颜色相似的概率，在视差完全准确的 情况下，八i )=/('.Yp= 1 ;但目前的视差计算方法存在误差，为了更好的确定 左右图的对应关系，摒弃了视差项；仅利用颜色项，采取如下形式：其中，cf为左粗糙层图像素的颜色值，<'7是，在右粗糙层对应点户f的值；(4) 定义上下层间的父子约束关系 图像分割最终的结果应在像素层中表示出来；为了将粗糙层的处理结果传递到像素 层，同时保持上下层图像间的父子像素的一致性，将上下层间的父子约束关系定义为： Eput_'(p;'p,J=①人p%p,.i) _偷. (11) (允，)表示上下层父子像素间的相似性；由于粗糙层的像素代表原始像素层 &*&区域的所有像素，粗糙层像素八:的标签即代表像素层对应区域的所有像素标签，因此 将父子像素间的边权定义为无穷大；非父子节点像素的边不再考虑； (5)求解能量函数最小值 对于上下层间的父子约束关系，本方法中定义为无穷大，因此父子之间的边永不会被 分割，父节点的标签会直接传递到子节点；由于计算父子节点的边会消耗大量的内存，同时 增加计算的时间；在具体优化求解过程中，不再详细计算父子节点间的边；采用图割算法， 通过最优化本方法所定义的能量函数（式（1))，得到最优的标记结果，即粗糙层分割结果； 然后根据粗糙层像素的标签，直接确定像素层对应的区域像素标签；通过这种方法在准确 率不变的情况下，可以显著提高分割的速度；由于直接将粗糙层的标签传递到像素层，对于 边界处邻域像素差异较大的像素点存在较大的误差；为了提高分割的准确率，统计边界处 误差较大的点，进行局部优化； 步骤五，基于原始图像的边界处局部优化 经过步骤四的全局优化，得到粗糙的分割边界；由于粗糙层像素允对应原始像素层的 MN1区域内像素的集合，将/丨的标签直接传递到像素层&*&的区域；对于边界处，邻域像 素的差异大，直接把粗糙层像素的标签赋给区域的所有像素，会存在较大的误差；因此，对 边界处进行单独的局部优化； 进行局部优化前，先统计局部边界信息；首先将得到的粗糙的分割边界分为上、下边界 与左、右的边界两部分；然后将上、下边界向边界线的上面与下面分别扩充N1个像素，将左、 右边界分别向边界线的左面与右面扩充&个像素；在本发明中N1= 3 ;对统计的边界像素， 采用传统图割理论进行局部优化；局部优化是在像素层上进行的，由于视差计算存在误差， 在局部优化时放弃了视差信息；在全局处理时，保证了立体图像分割的一致性，而且局部优 化是对局部像素点进行的处理；因此，在局部优化时，同时在左右两幅图像上独立进行；若 F为统计的局部待处理图；定义局部的能量函数为：(A)是一元项即数据项，表示边界处的像素与前、背景颜色模型的相似性，相似性 越大，值越大；只，A)是二元项即平滑项，表示邻域像素的相似性，二者越相似，值越 小；边界经过二者的可能性就越小；Nfmt,."代表边界图中所有邻接关系的结合；一元项具体 定义如下：边界处的优化是局部的精确的优化，应尽可能减少误差，因此，一元项仅采用颜色项； 一元项的具体计算同全局优化中一元项颜色的计算； 二元项为了减少误差，也仅采用颜色项；具体定义如下所示：局部能量函数定义好后，采用步骤四提到的最大流/最小割优化算法，最优化局部能 量函数即式（12)，得到最优的标记结果，即分割结果；同步骤四分割的结果相融合，构成整 个图像对的分割结果； 步骤六，交互 如对分割结果不满意，返回步骤二，继续添加前、背景线索；每添加一笔，将触发一次完 整的分割过程；在已分割的基础上，进行进一步的分割，直到得到满意的结果。
【专利摘要】一种基于多层次图结构的交互式立体图像快速分割方法，首先输入一组立体图像，通过立体图像匹配算法得到视差图。在原始图像左右任意一图中指定部分前、背景。根据指定部分应用CUDA并行计算的方法建立前、背景的颜色以及视差分布的先验统计模型。通过对原始图像进行高斯滤波、下采样得到粗糙尺度较小的图像，然后将粗糙图像与原始图像一起构成多层次图结构。鉴于目前立体图像分割存在分割模型复杂，计算效率低的问题。本发明在基于视差图的立体图像同步分割的理论框架下，探索新的分割方法。力图简化模型的复杂度，并行处理计算密集型的任务，提高立体图像分割速度，实现实时分割常见尺寸立体图像的目的。
【IPC分类】G06T7/00
【公开号】CN105046689
【申请号】CN201510354774
【发明人】马伟, 邱晓慧, 杨璐维, 邓米克, 张明亮, 段立娟
【申请人】北京工业大学
【公开日】2015年11月11日
【申请日】2015年6月24日