一种图像抠图方法及装置与流程

本发明涉及计算机视觉技术领域，特别涉及一种图像抠图方法及装置。

背景技术：

图像抠图技术是一种利用算法对图像中的前景目标进行提取的技术。抠图技术在影视制作，图像合成中具有非常广泛的应用。

该技术通常需要用户给予一定的交互，比如用一个矩形框粗略标记出物体所在位置；或者在前景，背景上勾勒出一定得形状。通过交互，就可以给出粗略的前景，背景信息，然后放入算法中，就可以得到相对较为精细的前景提取结果。目前，图像抠图技术在算法实时性，鲁棒性，正确性上存在许多可改进的空间。特别是在对颜色以及光照变化方面精度较低。因此如何提高抠图在颜色，光照变化方面的鲁棒性和精确性，是本领域技术人员需要解决的技术问题。

技术实现要素：

本发明的目的是提供一种图像抠图方法、装置，对颜色，光照变化具有更好的鲁棒性，且精度较高，只需少量用户交互即可得到较好的抠图结果。

为解决上述技术问题，本发明提供一种图像抠图方法，包括：

获取输入的图像以及目标框，并构建目标框对应图像的深度信息；

利用高斯混合模型对rgbd建模形成的图割算法对所述目标框对应图像进行粗分割，获取目标区域；其中，d为所述深度信息；

对所述目标区域进行腐蚀膨胀操作，获得三元图；

确定所述三元图的透明度值，获得前景精确提取结果。

可选的，利用高斯混合模型对rgbd建模形成的图割算法对所述目标框对应图像进行粗分割，获取目标区域，包括：

构建所述目标框对应图像的s-t图；

利用高斯混合模型对所述s-t图中每一个像素点的rgbd进行建模得到对应的rgbd值，并根据所述s-t图中每一条边对应的两个像素点的rgbd值的差值赋予所述s-t图中每一条边的权重；

根据所述s-t图中每一条边的权重，利用最大流算法进行分割，并对分割后的图像进行轮廓检测，确定面积最大轮廓；

对所述面积最大轮廓进行填充获得目标区域。

可选的，对所述目标区域进行腐蚀膨胀操作，获得三元图，包括：

对所述目标区域，利用所述目标框的宽的5％以及高的5％的像素参数，进行腐蚀膨胀操作，获得三元图。

可选的，确定所述三元图的透明度值，包括：

利用共享样本点算法计算所述三元图的透明度值。

可选的，本方案还包括：

根据输入的修正框，迭代执行所述利用高斯混合模型对rgbd建模形成的图割算法对所述目标框对应图像进行粗分割，获取目标区域的步骤。

可选的，获取输入的图像，包括：

获取双摄像头图像采集装置采集的图像。

本发明还提供一种图像抠图装置，包括：

图像获取模块，用于获取输入的图像以及目标框；

深度信息构建模块，用于构建目标框对应图像的深度信息；

图像粗分割模块，用于利用高斯混合模型对rgbd建模形成的图割算法对所述目标框对应图像进行粗分割，获取目标区域；其中，d为所述深度信息；

三元图获取模块，用于对所述目标区域进行腐蚀膨胀操作，获得三元图；

图像精确提取模块，用于确定所述三元图的透明度值，获得前景精确提取结果。

可选的，所述深度信息构建模块，包括：

s-t图构件单元，用于构建所述目标框对应图像的s-t图；

权重赋值单元，用于利用高斯混合模型对所述s-t图中每一个像素点的rgbd进行建模得到对应的rgbd值，并根据所述s-t图中每一条边对应的两个像素点的rgbd值的差值赋予所述s-t图中每一条边的权重；

轮廓确定单元，用于根据所述s-t图中每一条边的权重，利用最大流算法进行分割，并对分割后的图像进行轮廓检测，确定面积最大轮廓；

目标区域确定单元，用于对所述面积最大轮廓进行填充获得目标区域。

可选的，所述图像精确提取模块，包括：

透明度值计算单元，用于利用共享样本点算法计算所述三元图的透明度值。

可选的，本方案还包括：

迭代模块，用于根据输入的修正框，迭代执行所述图像粗分割模块。

本发明所提供的一种图像抠图方法，包括：获取输入的图像以及目标框，并构建目标框对应图像的深度信息；利用高斯混合模型对rgbd建模形成的图割算法对目标框对应图像进行粗分割，获取目标区域；其中，d为深度信息；对目标区域进行腐蚀膨胀操作，获得三元图；确定三元图的透明度值，获得前景精确提取结果；

可见，该方法相比于传统抠图方法，对颜色，光照变化具有更好的鲁棒性，且精度较高，只需少量用户交互即可得到较好的抠图结果；本发明还提供了一种图像抠图装置，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的图像抠图方法的流程图；

图2为本发明实施例所提供的构建目标框对应图像的s-t图的示意图；

图3为本发明实施例所提供的图像抠图方法的流程示意图；

图4为本发明实施例所提供的图像抠图方法的效果示意图；

图5为本发明实施例所提供的图像抠图系统的结构框图。

具体实施方式

本发明的核心是提供一种图像抠图方法、装置，对颜色，光照变化具有更好的鲁棒性，且精度较高，只需少量用户交互即可得到较好的抠图结果。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着移动互联网技术的不断发展，图像中物体的深度信息计算已经比较成熟，且许多终端已经具备双摄像头。利用双摄像头拍摄的图像可以获取物体的深度信息，结合深度信息就可以获得更好的前景提取结果。具体请参考图1，图1为本发明实施例所提供的图像抠图方法的流程图；该方法可以包括：

s100、获取输入的图像以及目标框，并构建目标框对应图像的深度信息。

具体的，该步骤主要为了获取图像的深度信息，以及用户在图像中框出的前景所在位置的目标框。本实施例并不限定具体的获取图像，以及计算该图像深度信息的方法，只要可以得到采集到的图像的深度信息即可。且本实施例并不限定目标框的形状，例如通常的情况下，该目标框为矩形框。

其中，为了方便构建图像的深度信息，这里的图像可以利用双摄像头进行图像的采集，即可选的，利用双摄像头图像采集装置采集图像，这里的双摄像头图像采集装置可以是具有双摄像头的手机，即利用手机的双摄像头采集图像，并根据采集的图像重构出图像的深度信息。深度信息的获取方法不止于此，当然也可以是利用单目获取多帧图像，重建出深度信息也是完全可以的。

s110、利用高斯混合模型对rgbd建模形成的图割算法对目标框对应图像进行粗分割，获取目标区域；其中，d为深度信息。

具体的，该步骤主要完成图像的粗分割。目前图像分割方法种类繁多。大体可以分为几类：基于阈值的分割方法，基于边缘的分割方法，基于区域的分割方法，基于图论的分割方法，基于能量泛函的分割方法，基于深度学习的方法。目前应用比较多且成熟的算法有：均值漂移算法，分水岭算法，图割算法，深度学习算法。本实施例采用图割算法进行图像粗分割，因为该算法利用高斯混合模型(即gmm)对rgb建模。这使得该算法对颜色复杂情况下不具备较好的分割能力。但是本申请为了在此基础上进一步提高对光照变化等其他因素的分割能力，因此在本实施例中对传统的图割算法进行改进；具体的利用gmm对rgbd建模，d表示深度信息，结合深度信息之后，图像的分割效果就会有很大的提升。

优选的，利用高斯混合模型对rgbd建模形成的图割算法对目标框对应图像进行粗分割，获取目标区域可以包括：

构建目标框对应图像的s-t图；

具体的，构建的s-t图的效果可以参考图2，s-t图有一个源结点s和一个终端节点t。其他节点表示图像中的每一个像素点。

利用高斯混合模型对s-t图中每一个像素点的rgbd进行建模得到对应的rgbd值，并根据s-t图中每一条边对应的两个像素点的rgbd值的差值赋予s-t图中每一条边的权重；

具体的，该步骤主要实现对s-t图的每一条边赋以权重。即利用gmm对每一个像素点的rgbd进行建模，如果两像素点之间的rgbd值相近则赋以大的权值，表示分开两个像素的代价较大。如果rgbd值相差很大，则赋以较小的权值，表示分开两个像素的代价较小。本实施例中并不具体限定两个像素点的rgbd值的差值与权重值的对应关系。

根据s-t图中每一条边的权重，利用最大流算法进行分割，并对分割后的图像进行轮廓检测，确定面积最大轮廓；对面积最大轮廓进行填充获得目标区域。

具体的，对每一条边都赋以权值之后，利用最大流算法(即maxflow)寻找分割代价最低的分割方法，完成分割。分割完成之后，对图像进行轮廓检测，并检测出最大轮廓，以此作为初步的目标所在区域，对此区域进行填充，即可得到目标区域。

s120、对目标区域进行腐蚀膨胀操作，获得三元图；

具体的，该步骤主要为了获得三元图(即trimap)。即图像抠图有一个先决条件，那就是必须有图像对应的三元图。目前，大部分的三元图都由人工描绘进行获取。人工描绘获取三元图十分麻烦，对应比较精细的物体诸如头发丝则需要浪费很多时间。也有提出利用tof相机获取深度图并生成三元图。但是传统的利用tof相机获取深度图并生成三元图的方式只考虑了深度信息，具有很多缺陷，对于深度信息差不多的前景目标无法实现精确提取，而且阈值参数设置也比较困难。因此为了克服上述缺陷，本实施例提出利用步骤s110生成的目标区域，对其边界进行腐蚀膨胀获得三元图。例如用户所给矩形框对应宽，高的5％的像素，可以实现自动三元图生成。即优选的，对目标区域，利用目标框的宽的5％以及高的5％的像素参数，进行腐蚀膨胀操作，获得三元图。本实施例中给出的5％的数值仅为一个较好的效果，并不对该数值进行限定。

s130、确定三元图的透明度值，获得前景精确提取结果。

具体的，该步骤不要实现对图像的精确提取。由于图割算法得到的是硬分割的结果，因此存在边界不平滑，结果不精细等一些问题。所以，为了使得到的结果更加精细，平滑，所以采用软分割算法，以确定图像的透明度值。本实施例中并不限定具体的软分割算法。只要可以确定三元图的透明度值即可。目前，计算图像透明度值的算法较多，如经典的closedform抠图，贝叶斯抠图算法。

进一步，本实施例考虑到实用性，算法运行时间以及提取效果，优选的，采用共享样本点方法进行图像透明度值计算，当然除了共享样本点算法外，其他抠图算法也完全可以作为替代品。这里共享样本点方法是一个效果较好的，实用性较强的算法。即可选的，确定三元图的透明度值可以包括：

利用共享样本点算法计算三元图的透明度值。

具体的，共享样本点算法通过对未知区域中的每一个像素寻找一对前景，背景像素点，之后基于下面的公式：

cp＝αpfp+(1-αp)bp

其中，cp是未知区域像素p的rgb值，fp，bp是前景背景像素对。αp是透明度值。根据上述公式以及前景背景样本点对就可以计算出未知区域像素的透明度值。

本实施例中进行图像抠图方法的具体流程可以包括图像获取，图像粗分割，三元图生成，图像精确提取。具体请参考图3。整个过程只需要用户框选一个目标框，之后整个过程全自动执行。具有交互少的优点。此外，对图像计算透明度值也对于图像的精确提取起到了十分关键的作用。整个过程有粗到细，逐步实现前景目标的精确提取。具体实现效果可以参考图4。

基于上述技术方案，本发明实施例提供的图像抠图方法，只需用于给出一个前景所在位置的目标框，不需要太多用户交互操作就可以实现图像前景提取。具体利用计算机视觉和机器学习技术实现目标的高精度提取。相比于传统方法对颜色，光照变化更加鲁棒，且精度较高，只需少量用户交互即可得到较好的结果。因此该方法可以在图像合成，影视制作等其他计算机视觉应用中得到广泛应用。

基于上述实施例，为了进一步提高精度，可以根据用户的交互，多次迭代，改进步骤s110得到的结果，达到目标的完美提取。即可选的，本实施例中还可以包括：

根据输入的修正框，迭代执行利用高斯混合模型对rgbd建模形成的图割算法对目标框对应图像进行粗分割，获取目标区域的步骤。

具体的，该步骤的交互迭代过程可以根据用户是否需要进行选择。这里的修正框即用户进行交互迭代时输入的，根据此可以得到更加准确的目标区域，进而可以得到更加精确的三元图，最终得以实现图像抠图的精确提取。

基于上述技术方案，本发明实施例提供的图像抠图方法，对颜色，光照变化具有更好的鲁棒性，且精度较高，只需少量用户交互即可得到较好的抠图结果。且可以根据用户选择进行迭代计算，得到更优的抠图效果，且提高用户的自主性，提高用户体验。

下面对本发明实施例提供的图像抠图装置进行介绍，下文描述的图像抠图装置与上文描述的图像抠图方法可相互对应参照。

请参考图5，图5为本发明实施例所提供的图像抠图系统的结构框图；该系统可以包括：

图像获取模块100，用于获取输入的图像以及目标框；

深度信息构建模块200，用于构建目标框对应图像的深度信息；

图像粗分割模块300，用于利用高斯混合模型对rgbd建模形成的图割算法对目标框对应图像进行粗分割，获取目标区域；其中，d为深度信息；

三元图获取模块400，用于对目标区域进行腐蚀膨胀操作，获得三元图；

图像精确提取模块500，用于确定三元图的透明度值，获得前景精确提取结果。

基于上述实施例，所述深度信息构建模块200可以包括：

s-t图构件单元，用于构建目标框对应图像的s-t图；

权重赋值单元，用于利用高斯混合模型对s-t图中每一个像素点的rgbd进行建模得到对应的rgbd值，并根据s-t图中每一条边对应的两个像素点的rgbd值的差值赋予s-t图中每一条边的权重；

轮廓确定单元，用于根据s-t图中每一条边的权重，利用最大流算法进行分割，并对分割后的图像进行轮廓检测，确定面积最大轮廓；

目标区域确定单元，用于对面积最大轮廓进行填充获得目标区域。

基于上述任意实施例，所述图像精确提取模块500可以包括：

透明度值计算单元，用于利用共享样本点算法计算三元图的透明度值。

基于上述任意实施例，该系统还可以包括：

迭代模块，用于根据输入的修正框，迭代执行所述图像粗分割模块。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种图像抠图方法及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。