前景提取方法及装置与流程

本发明实施例涉及计算机视觉领域，特别涉及一种前景提取方法及装置。

背景技术：

视频也被称作图像序列，视频中静止不动的物体为背景，比如：房屋、道路，视频中运动的物体为前景，比如：行人。在提取前景时利用光流提取、图像分割等方法，通过对图像序列空间时间运动模式的分析，将运动的物体轮廓提取出来，来获得前景信息。

相关技术中，在提取前景之前，利用图像序列的前若干帧训练高斯模型，对每帧中的背景都用混合高斯模型进行模拟，每个背景对应的混合高斯模型的数量自适应。在前景提取阶段，利用高斯混合模型区分出背景和前景，具体地，对新输入的图像的像素与混合高斯模型进行匹配，当一个像素点的像素值与某一个混合高斯模型的均值的差小于或等于混合高斯模型方差的两倍时，说明该像素点有匹配的混合高斯模型，也即该像素点为背景像素点，否则，像素点为前景像素点。

然而，在提取前景时，只能够提取出精确的前景轮廓，当不同的前景出现相互交叠和背景干扰等情况时，难以将不同的前景分离，导致前景提取出现严重误差。

技术实现要素：

为了解决现有技术的问题，本发明实施例提供了一种前景提取方法及装置。该技术方案如下：

第一方面，提供了一种前景提取方法，该方法包括：

获取待处理的图像序列；

对所述图像序列进行前景提取，得到初始的前景团块序列，所述前景团块序列包括按时间顺序排列的每帧图像中的前景团块；

利用前景团块包含的像素点的数量区分所述初始的前景团块序列中的交叠前景团块和非交叠前景团块；

对所述交叠前景团块进行第一次预分割，得到候选分割结果；

利用所述非交叠前景团块对所述交叠前景团块进行第二次预分割，得到预测分割结果；

计算所述候选分割结果与所述预测分割结果之间的距离，将最小的距离对应的候选分割结果作为最终分割结果；

输出最终的前景团块序列，所述最终的前景团块序列包括最终分割结果和非交叠前景团块。

可选的，所述利用前景团块包含的像素点的数量区分所述初始的前景团块序列中的交叠前景团块和非交叠前景团块，包括：

检测所述前景团块的面积是否满足

若所述前景团块的面积满足则确认所述前景团块为交叠前景团块；

若所述前景团块的面积不满足则确认所述前景团块为非交叠前景团块；

其中，r表示一个前景团块序列，bt表示前景团块，s(bt)表示前景团块包含的像素点的数量，表示前景团块序列包含的像素点数量的中值，w为比例系数。

可选的，所述利用所述非交叠前景团块对所述交叠前景团块进行第二次预分割，得到预测分割结果，包括：

利用前景团块相似性对所述初始的前景团块序列中的所述非交叠前景团块进行关联；

利用关联后的所述非交叠前景团块对所述交叠前景团块进行第二次预分割，得到预测分割结果。

可选的，所述利用前景团块相似性对所述初始的前景团块序列中的所述非交叠前景团块进行关联，包括：

检测所述图像序列中第t帧图像中的第i个前景团块和第t-1帧图像中的第j个前景团块是否满足

若所述第i个前景团块和所述第j个前景团块是否满足则将所述第i个前景团块与所述第j个前景团块关联；

其中，表示所述第t帧图像中第i个前景团块包含的像素点的数量，表示所述第j个前景团块包含的像素点的数量，表示所述第t帧图像中第i个前景团块的方向梯度直方图hog特征，表示所述第j个前景团块的hog特征，表示所述第i个前景团块与所述第j个前景团块之间的相似度。

可选的，所述利用关联后的所述非交叠前景团块对所述交叠前景团块进行第二次预分割，得到预测分割结果，包括：

利用关联后的所述非交叠前景团块预测各个非交叠前景团块对应的物体在交叠前景团块中的位置及区域，生成预测分割结果。

可选的，所述对所述交叠前景团块进行第一次预分割，得到候选分割结果，包括：

利用光流聚类方法将所述交叠前景团块分为若干个子团块；

根据所述子团块的光流特性，以所述子团块的交界线作为分界线分割所述子团块，得到候选分割结果。

可选的，所述计算所述候选分割结果与所述预测分割结果之间的距离，将最小的距离对应的候选分割结果作为最终分割结果，包括：

计算所述候选分割结果与所述预测分割结果之间的距离；

按如下公式确定最终分割结果：

其中，d(ψ,ki)＝1/(ψ∩ki)，ψ^*表示最终分割结果，ψ表示一种候选分割结果，ki表示第i个预测分割结果，d(ψ,ki)表示第i个预测分割结果与所述候选分割结果之间的距离，(ψ∩ki)表示所述候选分割结果和所述第i个预测分割结果的各自对应的前景团块的交叠区域的大小。

第二方面，提供了一种前景提取装置，该装置包括：

获取模块，用于获取待处理的图像序列；

初始前景提取模块，用于对所述图像序列进行前景提取，得到初始的前景团块序列，所述前景团块序列包括按时间顺序排列的每帧图像中的前景团块；

区分模块，用于利用前景团块包含的像素点的数量区分所述初始的前景团块序列中的交叠前景团块和非交叠前景团块；

第一分割模块，用于对所述交叠前景团块进行第一次预分割，得到候选分割结果；

第二分割模块，用于利用所述非交叠前景团块对所述交叠前景团块进行第二次预分割，得到预测分割结果；

确定模块，用于计算所述候选分割结果与所述预测分割结果之间的距离，将最小的距离对应的候选分割结果作为最终分割结果；

输出模块，用于输出最终的前景团块序列，所述最终的前景团块序列包括最终分割结果和非交叠前景团块。

可选的，所述区分模块，用于：

检测所述前景团块的面积是否满足

若所述前景团块的面积满足则确认所述前景团块为交叠前景团块；

若所述前景团块的面积不满足则确认所述前景团块为非交叠前景团块；

其中，r表示一个前景团块序列，bt表示前景团块，s(bt)表示前景团块包含的像素点的数量，表示前景团块序列包含的像素点数量的中值，w为比例系数。

所述第二分割模块，用于：

利用前景团块相似性对所述初始的前景团块序列中的所述非交叠前景团块进行关联；

利用关联后的所述非交叠前景团块对所述交叠前景团块进行第二次预分割，得到预测分割结果。

可选的，所述第二分割模块，还用于：

检测所述图像序列中第t帧图像中的第i个前景团块和第t-1帧图像中的第j个前景团块是否满足

若所述第i个前景团块和所述第j个前景团块是否满足则将所述第i个前景团块与所述第j个前景团块关联；

其中，表示所述第t帧图像中第i个前景团块包含的像素点的数量，表示所述第j个前景团块包含的像素点的数量，表示所述第t帧图像中第i个前景团块的方向梯度直方图hog特征，表示所述第j个前景团块的hog特征，表示所述第i个前景团块与所述第j个前景团块之间的相似度。

可选的，所述第二分割模块，还用于：

利用关联后的所述非交叠前景团块预测各个非交叠前景团块对应的物体在交叠前景团块中的位置及区域，生成预测分割结果。

可选的，所述第一分割模块，用于：

利用光流聚类方法将所述交叠前景团块分为若干个子团块；

根据所述子团块的光流特性，以所述子团块的交界线作为分界线分割所述子团块，得到候选分割结果。

可选的，所述确定模块，用于：

计算所述候选分割结果与所述预测分割结果之间的距离；

按如下公式确定最终分割结果：

其中，d(ψ,ki)＝1/(ψ∩ki)，ψ^*表示最终分割结果，ψ表示一种候选分割结果，ki表示第i个预测分割结果，d(ψ,ki)表示第i个预测分割结果与所述候选分割结果之间的距离，(ψ∩ki)表示所述候选分割结果和所述第i个预测分割结果的各自对应的前景团块的交叠区域的大小。

本发明实施例提供的技术方案带来的有益效果是：

通过获取待处理的图像序列，对所述图像序列进行前景提取，得到初始的前景团块序列，利用前景团块包含的像素点的数量区分所述前景团块序列中的交叠前景团块和非交叠前景团块，对所述交叠前景团块进行第一次预分割，得到候选分割结果，利用所述非交叠前景团块对所述交叠前景团块进行第二次预分割，得到预测分割结果，计算所述候选分割结果与所述预测分割结果之间的距离，将最小的距离对应的候选分割结果作为最终分割结果，输出最终的前景团块序列；解决了现有技术中当不同的前景出现相互交叠和背景干扰时，前景难以分离、前景提取误差大的问题；达到了有效分割出现相互交叠的前景，精确提取图像序列中前景的效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种前景提取方法的流程图；

图2是根据一示例性实施例示出的一种交叠前景团块和非交叠前景团块的的示意图；

图3是根据另一示例性实施例示出的一种前景提取方法的流程图；

图4是根据一示例性实施例示出的一种前景提取装置的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

请参考图1，其示出了本发明一个实施例提供的前景提取方法的流程图。如图1所示，该前景提取方法可以包括以下步骤：

步骤101，获取待处理的图像序列。

步骤102，对图像序列进行前景提取，得到初始的前景团块序列。

前景团块序列包括按时间顺序排列的每帧图像中的前景团块。

可选的，利用gmm(gaussianmixturemodel，高斯混合模型)算法提取图像序列中的前景，并利用形态学操作中的膨胀和腐蚀消除不连通的小噪声点，得到初始的前景团块序列。

步骤103，利用前景团块包含的像素点的数量区分初始的前景团块序列中的交叠前景团块和非交叠前景团块。

交叠前景团块是指至少两个不同的物体的前景团块产生重叠后得到的前景团块。

非交叠前景团块是指一个物体的前景团块。

由于交叠前景团块的面积大于非交叠前景团块的面积，前景团块的面积可以用前景团块包含的像素点的数量表示，因此可以利用前景团块包含的像素点区分前景团块序列中的交叠前景团块和非交叠前景团块。

如图2所示，第t-2帧、第t-1帧、第t+2帧、第t+3帧中的椭圆形前景团块和长方形前景团块为非交叠前景团块，第t帧和第t+1帧中黑色区域为交叠前景团块。

初始的前景团块序列在区分后包括交叠前景团块序列和非交叠前景团块序列，交叠前景团块序列包括若干个交叠前景团块，非交叠前景团块序列包括若干个非交叠前景团块。

步骤104，对交叠前景团块进行第一次预分割，得到候选分割结果。

可选的，候选分割结果有多个。

步骤105，利用非交叠前景团块对交叠前景团块进行第二次预分割，得到预测分割结果。

由于交叠前景团块序列中物体之间的遮挡关系不确认，利用非交叠前景团块对交叠前景团块进行第二次与分割，得到的预测分割结果不唯一。

步骤106，计算候选分割结果与预测分割结果之间的距离，将最小的距离对应的候选分割结果作为最终分割结果。

计算每个候选分割结果与各个预测分割结果之间的距离，将最小的距离对应的候选分割结果作为最终分割结果。

步骤107，输出最终的前景团块序列。

最终的前景团块序列包括最终分割结果和非交叠前景团块。

综上所述，本发明实施例提供的前景提取方法，通过获取待处理的图像序列，对所述图像序列进行前景提取，得到初始的前景团块序列，利用前景团块包含的像素点的数量区分所述前景团块序列中的交叠前景团块和非交叠前景团块，对所述交叠前景团块进行第一次预分割，得到候选分割结果，利用所述非交叠前景团块对所述交叠前景团块进行第二次预分割，得到预测分割结果，计算所述候选分割结果与所述预测分割结果之间的距离，将最小的距离对应的候选分割结果作为最终分割结果，输出最终的前景团块序列；解决了现有技术中当不同的前景出现相互交叠和背景干扰时，前景难以分离、前景提取误差大的问题；达到了有效分割出现相互交叠的前景，精确提取图像序列中前景的效果。

需要说明的是，本发明实施例中所指的物体为运动的物体，而不是静止的物体。

请参考图3，其示出了本发明另一个实施例提供的前景提取方法的流程图。如图3所示，该前景提取方法可以包括以下步骤：

步骤301，获取待处理的图像序列。

步骤302，对图像序列进行前景提取，得到初始的前景团块序列。

前景团块序列包括按时间顺序排列的每帧图像中的前景团块。

步骤303，利用前景团块包含的像素点的数量区分初始的前景团块序列中的交叠前景团块和非交叠前景团块。

具体地，该步骤可由如下几个步骤实现：

检测前景团块的面积是否满足

其中，r表示一个前景团块序列，bt表示前景团块，s(bt)表示前景团块包含的像素点的数量，表示前景团块序列包含的像素点数量的中值，w为比例系数。

可选的，w通过实验进行测定。

若前景团块的面积满足则确认前景团块为交叠前景团块。

若前景团块的面积不满足则确认前景团块为非交叠前景团块。

步骤304，对交叠前景团块进行第一次预分割，得到候选分割结果。

具体地，该步骤可由如下步骤实现：

一、利用光流聚类方法将交叠前景团块分为若干个子团块。

二、根据子团块的光流特性，以子团块的交界线作为分界线分割子团块，得到候选分割结果。

以交叠前景团块中有两个物体为例进行说明，先将交叠前景团块通过光流、聚类方法分为若干个子团块，再根据子团块的光流特性，在每次分割时都将某连个子团块的交界线作为分割线，将所有的子团块分割为两个部分，每个部分表示一个物体，对子团块的分割结果即为候选分割结果。

可选的，候选分割结果的数量大于等于一。

步骤305，利用前景团块相似性对初始的前景团块序列中的非交叠前景团块进行关联。

在前景提取时，有可能会将属于同一个物体的前景团块作为不同物体对应的非交叠前景团块，因此还需要对非交叠前景团块进行关联。

针对相邻的帧中的同一个物体，该物体的前景团块具有两个特点：1、如果将该物体在相邻的帧中的两个前景团块放在同一帧中，两个前景团块会有很大一部分重叠；2、两个前景团块的轮廓比较相似。

当相邻的帧中的两个前景团块满足上述两个特点时，可以认为这两个前景团块表示的是同一个物体，从而将这两个前景团块关联。

具体地，该步骤可通过如下几个步骤实现：

检测图像序列中第t帧图像中的第i个前景团块和第t-1帧图像中的第j个前景团块是否满足

若第i个前景团块和第j个前景团块是否满足则将第i个前景团块与第j个前景团块关联。

其中，表示第t帧图像中第i个前景团块包含的像素点的数量，表示第j个前景团块包含的像素点的数量，表示第t帧图像中第i个前景团块的hog(histogramoforientedgradient，方向梯度直方图)特征，表示第j个前景团块的hog特征，表示第i个前景团块与第j个前景团块之间的相似度。

hog特征用于描述图像中物体的轮廓特征。

需要说明的是，步骤305中的前景团块都为非交叠前景团块。

需要说明的是，步骤304和步骤305可以同时执行，或者步骤305在步骤304之前执行。

步骤306，利用关联后的非交叠前景团块对交叠前景团块进行第二次预分割，得到预测分割结果。

具体地，利用关联后的非交叠前景团块预测各个非交叠前景团块对应的物体在交叠前景团块中的位置及区域，也即利用已知的非交叠前景团块分割交叠前景团块，生成预测分割结果。预测分割结果中的前景团块只对应一个物体。

可选的，预测分割结果不唯一。

步骤307，计算候选分割结果与预测分割结果之间的距离，将最小的距离对应的候选分割结果作为最终分割结果。

具体地，该步骤可由如下几个步骤实现：

一、计算候选分割结果与预测分割结果之间的距离。

计算每个候选分割结果与各个预测分割结果之间的距离。

二、按如下公式确定最终分割结果：

其中，d(ψ,ki)＝1/(ψ∩ki)，ψ^*表示最终分割结果，ψ表示一种候选分割结果，ki表示第i个预测分割结果，d(ψ,ki)表示第i个预测分割结果与候选分割结果之间的距离，(ψ∩ki)表示候选分割结果和第i个预测分割结果的各自对应的前景团块的交叠区域的大小。

最终分割结果中的前景团块都只对应一个物体。

步骤308，输出最终的前景团块序列。

最终的前景团块序列包括最终分割结果和非交叠前景团块。

综上所述，本发明实施例提供的前景提取方法，通过获取待处理的图像序列，对所述图像序列进行前景提取，得到初始的前景团块序列，利用前景团块包含的像素点的数量区分所述前景团块序列中的交叠前景团块和非交叠前景团块，对所述交叠前景团块进行第一次预分割，得到候选分割结果，利用所述非交叠前景团块对所述交叠前景团块进行第二次预分割，得到预测分割结果，计算所述候选分割结果与所述预测分割结果之间的距离，将最小的距离对应的候选分割结果作为最终分割结果，输出最终的前景团块序列；解决了现有技术中当不同的前景出现相互交叠和背景干扰时，前景难以分离、前景提取误差大的问题；达到了有效分割出现相互交叠的前景，精确提取图像序列中前景的效果。

在一个示例性的例子中，利用如图1或图3所示的前景提取方法对不同的图像序列进行前景提取。

该例子中包括两个评价指标，分别是检测成功率和中心位置误差，检测成功率是指提取正确的物体检测框的个数与检测框总数之比，中心位置误差是指提取出的前景框中心点与其对应的真值中心点之间的像素距离；由于中心位置误差与分辨率有关，本例子中将图像序列的每帧的分辨率归化为800*600。

本例子还采用tld(training-learning-detection)算法、ct(compressivetracking)算法、kcf(kernelizedcorrelationfiltertracking)算法、ba(直接根据相邻的帧之间的前景团块的交叠面积进行前景关联，生成前景序列)算法与本发明实施例提供的前景提取方法进行对比，结果如表一所示：

表一

由表一可知，本发明实施例提供的前景提取方法，在提取前景时中心位置误差低于其他几种算法，检测成功率高于其他几种算法，本发明实施例提供的前景提取算法能够更精确地提取图像序列中前景。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

请参照图4，其示出了本发明一个实施例提供的前景提取装置的结构方框图。该前景提取装置可以通过软件、硬件或者两者的结合实现成为上述可提供前景提取方法的终端的全部或者一部分。该装置包括：

获取模块410，用于获取待处理的图像序列；

初始前景提取模块420，用于对图像序列进行前景提取，得到初始的前景团块序列，前景团块序列包括按时间顺序排列的每帧图像中的前景团块；

区分模块430，用于利用前景团块包含的像素点的数量区分初始的前景团块序列中的交叠前景团块和非交叠前景团块；

第一分割模块440，用于对交叠前景团块进行第一次预分割，得到候选分割结果；

第二分割模块450，用于利用非交叠前景团块对交叠前景团块进行第二次预分割，得到预测分割结果；

确定模块460，用于计算候选分割结果与预测分割结果之间的距离，将最小的距离对应的候选分割结果作为最终分割结果；

输出模块470，用于输出最终的前景团块序列，最终的前景团块序列包括最终分割结果和非交叠前景团块。

综上所述，本发明实施例提供的前景提取装置，通过获取待处理的图像序列，对所述图像序列进行前景提取，得到初始的前景团块序列，利用前景团块包含的像素点的数量区分所述前景团块序列中的交叠前景团块和非交叠前景团块，对所述交叠前景团块进行第一次预分割，得到候选分割结果，利用所述非交叠前景团块对所述交叠前景团块进行第二次预分割，得到预测分割结果，计算所述候选分割结果与所述预测分割结果之间的距离，将最小的距离对应的候选分割结果作为最终分割结果，输出最终的前景团块序列；解决了现有技术中当不同的前景出现相互交叠和背景干扰时，前景难以分离、前景提取误差大的问题；达到了有效分割出现相互交叠的前景，精确提取图像序列中前景的效果。

需要说明的是：上述实施例提供的前景提取装置在执行前景提取方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的前景提取装置与前景提取方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。