>[0035] 图10示出了根据实施例的颜色信息变换的示意图。
[0036] 图11a和lib分别示出了像素点p和q的样本点具有交集以及没有交集的示意图。
[0037] 图12示出了根据本发明的前景图像分割方法的一种可能的应用场景。
[0038] 图13示出了根据本发明的另一实施例的前景图像分割装置的功能框图。
[0039] 图14示出了根据本发明的实施例的实现前景图像分割的系统的硬件配置的示意 图。
【具体实施方式】
[0040] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0041] 图1示出根据本发明的一个实施例的前景图像分割方法的流程图。
[0042] 如图1所示，根据此实施例的前景图像分割方法100可以包括：步骤S110,获取输 入图像及其颜色信息和深度信息；步骤S120,基于输入图像的深度信息，对输入图像进行 粗略分割以获得初始三色图；步骤S130,基于输入图像的颜色信息，对该初始三色图中的 未知区域进行腐蚀或膨胀，以获得优化的三色图；以及步骤S140,根据优化的三色图分割 出前景图像。
[0043] 在步骤S110中获取的输入图像可以是包括需要进行抠图的对象的彩色图像及其 相应的深度图像。现有技术中存在能够同时捕捉场景的颜色以及深度信息的摄像装置，例 如PrimeSense摄像头、Kinect或其他深度摄像头。由此，可以同时获得输入图像的颜色信 息以及深度信息。当然，本领域中已知的以及将来可能出现的任何其他获得图像的颜色信 息以及深度信息的方法都可以应用于本发明，本发明对其获得方式没有特别限制，只要能 够获得输入图像的颜色及深度信息即可。
[0044] 例如，在一个实施例中，利用深度摄像机拍摄目标场景的RGB彩色图像和深度图 像。深度图像的像素值表示某一时刻该场景中物体到摄像机的距离。在本发明的计算过程 中，我们将深度值归一化到[0, 1]的范围内，边界值1表示距离摄像机最近的物体，边界值 〇表示距离摄像机无穷远或超出摄像机工作范围。
[0045] 在步骤S120中，基于输入图像的深度信息，对输入图像进行粗略分割以获得初始 三色图。在下文中，将以"人"作为前景对象的例子进行有关前景对象分割的描述，然而本 发明的前景对象不限于人。
[0046] 例如，可以利用现有方法在输入图像中进行人的检测。比如，可以利用模板匹配的 方法或者通过微软公司的深度摄像头Kinect提供的相应库函数进行对象检测。根据检测 到的对象（人的区域），可以假定某些像素属于前景或背景以便生成初始三色图。
[0047] 此生成过程可以包括对于输入图像中的像素的深度信息进行阈值判断，以决定 其是否属于前景区域。例如，可以将检测到的人的区域假定为前景区域，对该区域之外的 像素，如果其深度值与该人的区域的深度平均值保持连续（例如该像素的深度值与该深度 平均值的差小于一预定阈值），则可判定该像素属于前景区域；如果其深度值与该人的区 域的深度平均值存在明显差异（例如该像素的深度值与该深度平均值的差大于一预定阈 值），则判定该像素属于背景区域。另外，通过对检测到的人的区域实施先腐蚀再膨胀操作， 可以得到未知区域。据此，生成初始三色图。
[0048] 图2示出了输入图像以及相应的初始三色图的例子，其中白色区域表示前景区 域，黑色区域表示背景区域，灰色区域表示未知区域。
[0049] 需要指出的是，虽然上文中以"人"作为前景对象描述了基于深度信息生成初始三 色图的方法，但是本发明中的前景对象不限于人。对于任何其他对象，比如动物或者物体， 如果预先获得或者存储了该对象的相应形状特征或者任何其他可供检测的特征，则也可以 利用这些特征基于深度信息进行检测，在此不再赘述。
[0050] 由于深度摄像机的精度较低，检测结果的边缘粗糙，通过在步骤S120中进行对象 检测得到的前景区域通常会包含部分背景点或者缺失部分前景点，因此，在本发明的实施 例中，在步骤S130中对初始三色图进行优化以更准确地标记出未知区域。
[0051] 如之前所述，三色图中未知区域的标记会影响抠图质量。本发明人发现，当某个前 景区域只包含一种颜色且这种颜色没有在其他前景区域中出现（比如白色着装的人的头 发区域），并且该区域被标记为未知区域时，这部分区域将会被错误分类为背景区域，从而 降低抠图质量。
[0052] 据此，本发明提出了优化未知区域的条件：在局部范围内，未知区域应该包含一种 前景颜色和一种背景颜色。因此，在步骤S130中，根据输入图像的颜色信息对该初始三色 图中的未知区域进行腐蚀或膨胀，以获得优化的三色图。
[0053] 在一个实施例中，可以根据该初始三色图中所划分的未知区域内的颜色分布信 息，迭代地收缩或者扩张（腐蚀或膨胀）该未知区域，直到该区域的颜色种类满足该条件。 例如，可以将该初始三色图的未知区域划分为多个局部区域，对于每一个局部区域，判断其 中的颜色分布是否满足该条件，如果不满足则对该局部区域进行腐蚀或膨胀直到该局部区 域的颜色分布满足该条件。
[0054] 图3示出了未知区域的划分的一个具体例子。如图3中所示，取包括该未知区域 的外接矩形，以该矩形中的前景区域的近似中心线将包括该矩形区域划分为近似对称的左 右两部分，并将每部分划分为多个小矩形区域，从而将该未知区域划分为多个局部区域。需 要注意的是，为了突出显示该未知区域，在图3中将该未知区域示出为白色而将前景区域 和背景区域都示出为黑色。当然，图3所示的未知区域的划分仅仅是一个例子，任何其他适 当的划分方式也是可能的。
[0055] 图4示出了对于如上所划分的每个小矩形区域内的未知区域的优化的流程。如图 4所示。在步骤S131，根据在步骤S110中所获取的颜色信息计算该未知区域内的颜色分布。 例如，可以采用KNN (K-最近邻）算法来计算颜色分布直方图，获得颜色分布信息。
[0056] 在步骤S132,判断该未知区域内的颜色种类是否等于2。如果是，则处理前进到步 骤S136,不对该未知区域进行腐蚀膨胀处理，对该未知区域的优化完成。图5a示意性示出 了满足该条件的未知区域的示意图。在图中将该局部区域的未知区域示出为规则的矩形仅 仅是示意性的，实际上，该未知区域可能是不规则的形状。
[0057] 另一方面，如果该未知区域内的颜色种类不等于2,则处理前进到步骤S133,以判 断该颜色种类是否小于2。如果是，则表明该未知区域只包含背景点，如图5b所示，很有可 能没有覆盖到真正的前景边缘，因此，在步骤S134中，将从前景边缘向已知的前景区域扩 张该未知区域（膨胀处理）；如果不是，即该未知区域内的颜色种类大于两种，这表明该未 知区域可能包含过多的前景点（包含多于一种颜色的前景），如图5c所示，因此，在步骤 S135中，将从前景边缘向背景边缘收缩未知区域（腐蚀处理）。
[0058] 上述的腐蚀或膨胀处理可以通过形态学操作而实现，形态学操作对于本领域技术 人员而言是很容易实现的，在此不再赘述其细节。
[0059] 对于每一个划分的局部区域重复执行该腐蚀或膨胀处理，直至未知区域的颜色种 类满足条件。由此，在步骤S130中，获得未知区域经过优化的三色图，其中对未知区域的分 割更加准确，为随后的抠图打下了良好的基础。
[0060] 在某些情况下，前景对象的某些组成部件之间可能形成缝隙，比如人的胳膊与躯 干之间的缝隙。这些缝隙不能通过形态学操作而从前景区域中消除掉，会使得抠图结果中 仍然会有一些背景残留。图6示出了可能存在这样的缝隙的抠图结果的示意图。如图6所 示，在人的手臂与身体之间形成的两个三角形的区域即是缝隙区域，其中包含了背景图像。 [0061] 因此，在一个可选的实施例中，可以对输入图像进行缝隙检测并将检测到的缝 隙区域标记为未知区域。例如，可以计算出骨架信息。具体地，可以通过Kinect SDK提 供的方法、基于时间-空间推理及建模的人体姿态估计方法（Model-based human pose estimation with spatio-temporal inferencing)等从输入图像获得肩膀、手肘、手腕等 的手臂节点以及胯部、膝盖、脚腕等的腿部节点，以获得骨架信息。
[0062] 图7示出了利用骨架信息标记缝隙区域的一个具体例子。如图7所示，根据肩膀、 手肘、手腕等手臂节点形成一个三角形，这个三角形是手臂与躯干之间所能形成的缝隙区 域的最小覆盖。类似地，根据胯部、膝盖、脚腕等腿部节点形成一个矩形，这个矩形是两腿之 间所能形成的缝隙区域的最小覆盖。将上述潜在的缝隙区域标记为未知区域，并将其添加 到在步骤S130中所获得的优化的三色图中。当然，在图7中示出的矩形和三角形仅仅是