一种基于置信度的图像协同抠图方法
【专利摘要】本发明公开了一种基于置信度的图像协同抠图方法，旨在对多张拥有轻微形变的前景与较大差异背景的图像进行协同扣图。该方法采用协同分割算法对多张图像进行前背景分割，通过形态学操作取得将每张图像标记为前景、背景与待求解区域的掩膜，然后使用源图像和掩膜对每张源图像采用已有的单张普通抠图方法进行抠图，对抠图结果进行置信度量，然后对所有图像待求解区域的像素点进行匹配，继而在匹配的基础上定义一个全局优化函数以使得所有图像协同提升抠图效果，旨在由高置信度区域向与其匹配的低置信度区域进行抠图结果传播，以使得相对应的低置信度区域获得更为精确的抠图结果。该方法的输入为多张图像，输出则是多张图像的抠图结果。
【专利说明】一种基于置信度的图像协同抠图方法
【技术领域】
[0001]本发明涉及计算机视觉的图像处理方法，特别是一种具有较强抠图能力与较自动化从而节省大量人工交互的一种基于置信度的图像协同抠图方法。
【背景技术】
[0002]抠图技术旨在将自然场景图像的前景与背景精确分离开，给定一张自然场景图像，根据线性复合公式:
[0003]I= a F+(l-a )B
[0004]抠图技术将自然图像中的像素值I表示为图像的前景F与背景B以及前景透明度a (又称作alpha matte)的线性复合，其中α的值在O与I之间。
[0005]抠图技术在工业界特别是在图像处理与电影产业中被广泛应用并获得巨大成功，因此抠图技术近年来也一直是计算机视觉的重要研究内容。抠图技术由于其固有的解析难度(复合公式中有三个等式与七个未知量)，在实际的解决方案中，一般会加入适量的限定条件以使得问题变得易解。常见的限定方式如给出待处理图像的前景、背景与待求解区域的类别的掩膜，标注出图像中每个像素的类别(属于前景、背景或待求解区域)。
[0006]现有的抠图技术大多致力于单张图像的抠图，大致上可以分为三类。分别为基于采样的方法、基于传播的方法与基于混合模型的方法。基于采样的方法从已知的前景与背景中取采样对，对于每个待求解区域的像素根据线性复合公式选取最匹配的一对前背景像素点对以求解出alpha ;基于传播的方法建立起相邻像素点的关联以强制alpha局部平滑，并通过全局优化的方式求解出alpha ;基于混合模型的方法假设在平滑限制条件下采样误差可以被减小，而基于关联的传播误差则可以被精确的采样减小，继而将上两种方法结合进一个单目标函数以优化的方式去求解出alpha以期取得更好的效果。
[0007]近些年的抠图技术进展中，研究人员尝试了繁多的技术种类，但是在真实自然场景图像的抠图中，仍然不能得到完备的效果，主要原因在于真实场景图像并不完全符合三类主要抠图技术的假设前提。在基于采样的方法中，如果前景F与背景B的颜色分布有较大重叠，基于采样的方法便不能对待求解像素采样出合适的前景与背景像素对，以致会造成较差的结果；在基于传播的方法中，局部颜色线模型(Local Color Line Model)假设并不能在真实场景图像下的高梯度边纹理中成立，以致同样不能得到较好的结果。针对这样的问题，现有的做法一般是进一步给出更为精确的掩膜，可是这无疑加大了人工作业量。
【发明内容】
[0008]发明目的:本发明所要解决的技术问题是针对现有技术的不足，旨在对多张拥有轻微形变的前景与较大差异的背景的图像进行协同扣图。
[0009]为了解决上述问题，本发明公开了一种基于置信度的图像协同抠图方法，包括以下步骤:
[0010]步骤1:对所有图像进行协同分割；[0011]步骤2:采取交互式图像分割算法进行分割，以取得精确的前景和背景分割；
[0012]步骤3:对前景膨胀，围绕前景取得固定宽度的待求解区域，从而得到初步的将图像标注为前景、背景和待求解区域的掩膜；用户交互修缮待求解区域，在修缮过程中以光流制导的传播方法将修缮传播到其他的掩膜中；
[0013]步骤4:对每张图像进行单张图像抠图以产生每张图像的初始抠图结果；
[0014]步骤5:对每张图像的初始抠图结果进行置信度量；
[0015]步骤6:对所有图像的待求解区域像素点集进行匹配；
[0016]步骤7:在定义的全局优化框架下进行所有图像的协同抠图，以取得最终的抠图。
[0017]本发明中，步骤I采用无监督的协同分割算法(Random walks basedmult1-1magesegmentation)算法对多张图像进行协同分割。
[0018]本发明中，步骤2采用基于图的图像分割算法对图像进行交互式的前背景分割。
[0019]本发明中，步骤3采用参考点位于中心的3*3核对图像前景进行膨胀，并用光流制导的传播方法对掩膜的修缮进行传播。
[0020]本发明中，步骤4根据原始图像和掩膜，对每张图像采用基于全局采样的抠图算法(Global sampling matting)对单张图像进行抠图。
[0021]本发明中，步骤5具体包括以下步骤:
[0022]步骤51:对掩膜中的背景区域采用基于图的图像分割算法分割成一组背景子区域，延长所述背景子区域的划分边界直到与掩膜中的待求解区域相交，在交点处寻找离交点最近的前景边缘点，将所述交点和前景边缘点连接即将待求解区域划分为一组待求解子区域；
[0023]步骤52:提取基于背景的特征。对每个与待求解区域相邻接的背景子区域计算以下特征，继而传播到待求解子区域中，特征包括:颜色复杂度、梯度复杂度、规格墒和子区域尺寸。给定背景子区域&，有仏;个像素:
[0024](I)颜色复杂度(Color complexity，CC):取背景子区域规格化RGB颜色直方图的墒。表述为下式:
[0025]
【权利要求】
1.一种基于置信度的图像协同抠图方法，其特征在于，包括以下步骤: 步骤1:对所有图像进行协同分割； 步骤2:采取交互式图像分割算法进行分割，以取得精确的前景和背景分割； 步骤3:对前景膨胀，围绕前景取得固定宽度的待求解区域，从而得到初步的将图像标注为前景、背景和待求解区域的掩膜；用户交互修缮待求解区域，在修缮过程中以光流制导的传播方法将修缮传播到其他的掩膜中； 步骤4:对每张图像进行单张图像抠图以产生每张图像的初始抠图结果； 步骤5:对每张图像的初始抠图结果进行置信度量； 步骤6:对所有图像的待求解区域像素点集进行匹配； 步骤7:在定义的全局优化框架下进行所有图像的协同抠图，以取得最终的抠图。
2.根据权利要求1所述的一种基于置信度的图像协同抠图方法，其特征在于，步骤I中，采用无监督的协同分割算法对所有图像进行协同分割以得出初步前景和背景。
3.根据权利要求2所述的一种基于置信度的图像协同抠图方法，其特征在于，步骤3中，采用参考点位于中心的3*3核对图像前景进行膨胀。
4.根据权利要求 3所述的一种基于置信度的图像协同抠图方法，其特征在于，步骤4中，根据原始图像和掩膜，对每张图像采用基于全局采样的单张图像抠图方法产生初始的抠图结果。
5.根据权利要求4所述的一种基于置信度的图像协同抠图方法，其特征在于，所述步骤5包括以下步骤: 步骤51:对掩膜中的背景区域采用基于图的图像分割算法分割成一组背景子区域，延长所述背景子区域的划分边界直到与掩膜中的待求解区域相交，在交点处寻找离交点最近的前景边缘点，将所述交点和前景边缘点连接，即将待求解区域划分为一组待求解子区域； 步骤52:提取基于背景的特征:对每个与待求解子区域相邻接的背景子区域计算以下特征，继而传播到待求解子区域中，特征包括:颜色复杂度、梯度复杂度、规格墒和子区域尺寸；将所述特征线性拼接为背景子区域的特征向量，背景子区域的特征向与其邻接的待求解子区域传播以形成待求解子区域的特征向量； 步骤53:提取基于单张抠图方法的特征，特征包括:绝对抠图结果差值、平均采样置信度和采样颜色模糊度； 步骤54:以基准数据集对步骤52和步骤53的所有特征作回归分析，得到回归模型用于协同抠图的置信度预测。
6.根据权利要求5所述的一种基于置信度的图像协同抠图方法，其特征在于，步骤52中，将所述颜色复杂度、梯度复杂度、规格墒和子区域尺寸线性拼接为背景子区域的特征向量FBi，掩膜中背景子区域的特征，向与其邻接的待求解子区域传播，以形成待求解子区域特征&广公式如下: P pNb「length(LB.T)
Fei length(LBiT)- 其中L为一待求解子区域，length(LBiTj)为背景子区域Bi与待求解子区域Tj的交线长度，T为的L并，Nb为背景子区域的数量，i取值1~Nb。
7.根据权利要求1 所述的一种基于置信度的图像协同抠图方法，其特征在于，所述步骤6对所有图像采取两步匹配:第一步在图像对的前景上进行匹配；第二步对待求解区域的边界上的所有点进行非刚性变化匹配以求得所有待求解区域的像素点对匹配。
【文档编号】G06T7/00GK103942794SQ201410153439
【公开日】2014年7月23日 申请日期:2014年4月16日 优先权日:2014年4月16日
【发明者】汪粼波, 夏天辰, 郭延文 申请人:南京大学