专利名称：一种确定视频前景主体图像区域的方法和装置的制作方法
技术领域：
本发明涉及图像处理领域，尤其涉及一种确定视频前景主体图像区域的方法和装置。
背景技术：
在一帧图像中，包括前景范围和背景范围，所述背景范围是整个图像或整个图像除去所述前景范围后的图像。所述前景范围可划分为前景主体图像和前景背景图像。前景范围是指在一幅图像当中使用矩形、圆形、椭圆形等几何形状将前景主体图像框起来的图像区域。例如在一幅包含人脸的图像中，前景范围指的是人脸所覆盖的区域，背景是除去人脸以外的图像区域。在一幅图像中将前景提取出来，称为前景分割。随着视频应用的广泛传播，前景分割技术也被应用到视频中。目前视频图像分割大都集中在视频监控和新闻节目中的前景分割，由于在这类场景中，拍摄机的位置不会发生变动，只是前景在运动，因此这类场景中视频的背景是静止不动的，而在电影等视频中的背景和前景同时运动的情况中，视频分割技术的应用很少。在目前的视频前景分割技术中，采用的是基于单点的光流计算方法。这种光流算法首先对视频中的前一帧图像进行特征点选取，使用LK光流算法对每个特征点(x，y)计算相对于下一帧图像的运动矢量(S X，δγ)0然后使用聚类算法，将特征点分为两类。聚类算法对特征点分类的具体步骤为以下1-4:1、将特征点随机分为两类；2、将每个特征点的X, y, δ X，Sy带入以下公式，ax+by+c = δ χdx+ey+f = δ y可以得到多个(a, b, c, d, e, f)的等式,从中确定出(a, b, c, d, e, f)的最小二乘解(￡ii，bi，Cl，di，Θι，f"i) ο3、将每个特征点的X’ y值代入ap+t^y+Cid^+e^+f!得到(δXl，Sy1)4、根据得到的(δ Χι，δ yi)与(δ χ，δ y)的差值情况，重新将特征点分为两类，然后回到上述步骤2继续进行，直至特征点的分类不再变化。将其中一类的特征点作为前景的特征点，最后将前景的特征点合成前景区域，从而达到视频中前景分割效果。在实现上述视频分割的过程中，背景和前景同时运动的场 景是一种更为复杂的场景，在采用基于单点的光流计算方法进行前景和背景分割时，由于特征点的选取和计算会有一定的误差，使大量前景的点被归类为背景，背景的点被归类为前景，使得分割结果中的前景带有大量的背景纹理及其部分前景缺失，导致分割错误率很高，目前现有技术还不能达到理想的分割效果。
发明内容
本发明的实施例提供一种确定视频前景主体图像区域的方法和装置，提高视频前景主体图像区域分割准确率。为达到上述目的，本发明的实施例采用如下技术方案:本发明的实施例第一方面提供了一种确定视频前景主体图像区域的方法，包括:在视频的前一帧图像中，确定前景范围以及背景范围，所述背景范围是整个图像或整个图像除去所述前景范围后的图像区域；获取下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率；根据所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率，得到所述下一帧图像中的前景范围；计算所述下一帧图像的前景范围和所述前一帧图像的前景范围的之间的灰度值之差，由所述灰度值之差得到前景运动边缘灰度图；根据所述前景运动边缘灰度图，得到前景主体图像区域。作为本发明实施例的第一方面的第一实现方式，所述获取下一帧图像的相对于前一帧图像的背景范围的运动矢量和放大倍率，具体包括:在所述前一帧图像的背景范围中取一组点集；计算所述点集中的每个点相对于下一帧图像的运动矢量；根据模板匹配算法，计算所述点集中的每个点相对于下一帧图像的匹配度；从所述点集中筛选出匹配度高于匹配阈值的点；所述匹配阈值为所述点集中的每个点的匹配度组成的集合的中值；根据所述匹配度高于匹配阈值的点的运动矢量，得到所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量；根据所述匹配度高于匹配阈值的点在前一帧中的两两之间距离和在下一帧中的两两之间距离，得到所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的放大倍率。作为本发明实施例的第一实现方式的第一可能，，所述计算所述点集中的每个点相对于下一帧图像的运动矢量，具体包括:根据光流算法，计算所述点集中的每个点相对于下一帧图像的运动矢量；或对所述点集中的每个点，在距离d的范围内获取下一帧图像中的对应点；所述距离d根据视频宽度与视频中物体运动速度获得；根据所述点集中的每个点和在距离d的范围内下一帧图像中的对应点的距离，得到所述点集中的每个点相对于下一巾贞图像的运动矢量。作为本发明实施例的第一实现方式的第二可能，所述根据所述匹配度高于匹配阈值的点的运动矢量，得到所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量，具体包括:根据公式V。= [median (X), median (Y)],得到所述下一巾贞图像的背景范围相对于所述前一帧图像的背景范围的运动矢量Vtl;其中，X是所有所述匹配度高于匹配阈值的点的运动矢量的X方向分量的集合，Y是所有所述匹配度高于匹配阈值的点的运动矢量的I方向分量的集合。作为本发明实施例的第一实现方式的第三可能，所述根据所述匹配度高于匹配阈值的点在前一帧中的两两之间距离和在下一帧中的两两之间距离，得到所述下一帧图像的背景范围相对于所述前一帧图像的所述背景范围的放大倍率，具体包括:根据公式s = median (D1) /median (D0),得到下一巾贞图像的所述背景范围相对于前一帧图像的所述背景范围的放大倍率s ;其中，Dtl是所有所述匹配度高于匹配阈值的点在前一帧中的两两之间距离的集合，D1是所有所述匹配度高于匹配阈值的点在下一帧中的两两之间距离的集合。结合第一方面，第一实现方式或第一至第三可能的第四可能，所述根据所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率，得到所述下一帧图像中的前景范围，具体包括:根据所述下一帧图像背景范围的相对于所述前一帧图像的背景范围的运动矢量和前一帧图像中的所述背景范围的中心点Ctl，得到下一帧图像中的所述背景范围的中心点Co，；对于前一帧图像中的所述前景范围中的任意点P，根据公式p，= s* (p-C0)+C0，得到下一帧图像中与所述任意点P对应的点P’，根据P’确定下一帧图像中的所述前景范围；其中s为所述背景范围的放大倍率。结合第四可能的第五可能，所述前景范围包括前景主体图像和前景背景图像，所述前景背景图像为所述前景范围除去所述前景主体图像的图像部分，在根据所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率，得到下一帧图像中的所述前景范围后，所述确定前景主体图像区域的方法还包括:对前一帧图像中的所述前景范围进行调整，以使得所述前一帧图像中的所述前景范围与所述下一帧图像中的所述前景范围的大小一致；或对下一帧图像中的所述前景范围进行调整，以使得下一帧图像中的所述前景范围与前一帧图像中的所述前景范围大小一致。结合本发明实现第一方面的第二实现方式，所述根据所述前景运动边缘灰度图，得到前景主体图像区域，所述方法还包括:对所述前景运动边缘灰度图进行二值化处理，得到二值化图像，所述二值化图像由值为O的像素点和值为I的像素点组成；对所述二值化图像进行腐蚀运算，得到腐蚀后的二值化图像；根据所述腐蚀后的二值化图像，得到所述前景主体图像区域。结合本发明实现第一方面的第二实现方式的第六可能，所述根据所述腐蚀后的二值化图像，得到所述前景主体图像区域，具体包括:获取在X轴方向每行最左端和最右端的灰度值为I的像素点，组成第一像素点集，并获取在y轴方向每列最上端和最下端的灰度值为I的像素点，组成第二像素点集；得到所述第一像素点集和所述第二像素点集的并集；依次连接所述并集中的像素点，得到所述前景主体图像区域。本发明实施例提供了一种确定视频前景主体图像区域的方法，根据视频图像中的前景范围得到背景范围，对背景范围进行均匀取点，通过光流算法计算所述点集中每一点相对于下一帧图像的运动矢量和放大倍率，根据所述计算所述点集中每一点相对于下一帧图像的运动矢量和放大倍率，获取下一帧图像的前景范围，计算下一帧图像的所述前景范围和前一帧图像的所述前景范围的灰度值之差，得到前景运动边缘灰度图，对所述前景运动边缘灰度图进行二值化处理和腐蚀运算，得到前景主体图像区域，从而避免了通过光流算法对选取的特征点进行计算并分类而导致的将大量前景的点归类为背景，背景点被归类为iu景，实现了分割准确率的提闻。本发明实施例的第二方面，提供了一种确定视频前景主体图像区域的装置，包括:确定单元，用于在视频的前一帧图像中，确定所述前一帧图像的前景范围以及背景范围，所述背景范围是整个图像或整个图像除去所述前景范围后的图像区域；第一获取单元，用于获取下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率；所述背景范围是整个图像范围或整个图像除去所述前景范围后的图像范围；第二获取单元，用于根据所述第一获取单元获取的所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率，得到下一帧图像中的所述前景范围；计算单元，计算所述第二获取单元得到的下一帧图像的前景范围和所述确定单元确定的前一帧图像的前景范围的之间的灰度值之差，由所述灰度值之差得到前景运动边缘灰度图；第三获取单元，用于根据所述计算单元获得的所述前景运动边缘灰度图，得到前景主体图像区域。作为本发明实施例的第二方面的第一实现方式，所述第一获取单元具体包括:点集获取子单元，用于在所述确定单元确定的前一帧图像的背景范围中取一组点集；运动矢量计算子单元，用于计算所述点集获取子单元获取的所述点集中的每个点相对于下一帧图像的运动矢量；匹配度计算子单元，用于根据模板匹配算法，计算所述点集获取子单元获取的所述点集中的每个点相对于下一帧图像的匹配度；筛选子单元，用于从所述点集获取子单元获取的所述点集中筛选出匹配度高于匹配阈值的点；所述匹配阈值为所述点集中的每个点的匹配度组成的集合的中值；运动矢量获取子单元，用于根据所述筛选子单元筛选的所述匹配度高于匹配阈值的点的运动矢量，得到所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量；放大倍率获取子单元，用于根据所述筛选子单元筛选的所述匹配度高于匹配阈值的点在前一帧中的两点之间距离和在下一帧中的两点之间距离，得到所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的放大倍率。结合第一实现方式的第一可能，所述运动矢量计算子单元具体包括:第一运动矢量计算模块，用于根据光流算法，计算所述点集获取子单元获取的所述点集中的每个点相对于下一帧图像的运动矢量；对应点获取模块，用于对所述点集获取子单元获取的所述点集中的每个点，在距离d的范围内获取下一帧图像中的对应点，所述距离d根据视频宽度与视频中物体运动速度获得；第二运动矢量计算模块，用于根据所述点集中的每个点和所述对应点获取模块获取的在距离d的范围内下一帧图像中的对应点的距离，得到所述点集中的每个点相对于下一帧图像的运动矢量。结合第一实现方式的第二可能，所述运动矢量获取子单元，具体包括:运动矢量获取模块，用于根据公式V。= [median (X)，median (Y)]，得到所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量Vtl;其中，X是所有所述匹配度高于匹配阈值的点的运动矢量的X方向分量的集合，Y是所有所述匹配度高于匹配阈值的点的运动矢量的y方向分量的集合。结合第一实现方式的第三可能，所述放大倍率获取子单元，具体包括:放大倍率获取模块，用于根据公式s = median(D1)/median(Dtl)，得到下一帧图像的所述背景范围相对于前一帧图像的所述背景范围的放大倍率s ;其中，Dtl是所有所述匹配度高于匹配阈值的点在前一帧中的两两之间距离的集合，D1是所有所述匹配度高于匹配阈值的点在下一帧中的两两之间距离的集合。结合上述任一实现方式或任一可能的第四可能，所述第二获取单元具体包括:中心点获取子单元，用于根据所述第一获取单元获取的下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和前一帧图像中的所述背景范围的中心点Ctl，得到下一帧图像中的所述背景范围的中心点Cc/ ;前景范围获取子单元，用于对于所述第一获取单元获取的前一帧图像中的所述前景范围中的任意点P，根据公式:p’ = SMp-Ctl)+(V，得到下一帧图像中与所述任意点P对应的点P’，根据P’确定下一帧图像中的所述前景范围；其中s为所述背景范围的放大倍率，(V为所述中心点获取子单元得到的下一帧图像中的所述背景范围的中心点。结合第四可能的第五可能，所述前景范围包括前景主体图像和前景背景图像，所述前景背景图像为所述前景范围除去所述前景主体图像的图像部分，所述装置还包括:第一前景范围调整单元，用于所述第二获取单元在根据所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率，得到下一帧图像中的所述前景范围后，对前一帧图像中的所述前景范围进行调整，以使得所述前一帧图像中的所述前景范围与所述下一帧图像中的所述前景范围的大小一致；第二前景范围调整单元，用于所述第二获取单元在根据所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率，得到下一帧图像中的所述前景范围后，对下一帧图像中的所述前景范围进行调整，以使得下一帧图像中的所述前景范围与前一帧图像中的所述前景范围大小一致。结合第二方面的第二实现方式，所述第三获取单元，具体包括:处理子单元，用于对所述计算单元得到的前景运动边缘灰度图进行二值化处理，得到二值化图像，所述二值化图像由值为O的像素点和值为I的像素点组成；腐蚀子单元，用于对所述处理子单元得到的所述二值化图像进行腐蚀运算，得到腐蚀后的二值化图像；前景主体图像区域获取子单元，用于根据所述腐蚀子单元生成的所述腐蚀后的二值化图像，得到所述前景主体图像区域。结合第二实现方式的第六可能，所述前景主体图像区域获取子单元具体包括:像素点集获取模块，用于获取所述处理子单元得到的在X轴方向每行最左端和最右端的灰度值为I的像素点，组成第一像素点集，并获取在y轴方向每列最上端和最下端的灰度值为I的像素点，组成第二像素点集；并集获取模块，用于得到所述像素点集获取模块获取的所述第一像素点集和所述第二像素点集的并集；连接模块，用于依次连接所述并集获取模块得到的所述并集中的像素点，得到所述前景主体图像区域。本发明实施例提供的一种确定视频前景主体图像区域的方法和装置，根据视频图像中的前景范围得到背景范围，对背景范围进行均匀取点，通过光流算法计算所述点集中每一点相对于下一帧图像的运动矢量和放大倍率，根据所述计算所述点集中每一点相对于下一帧图像的运动矢量和放大倍率，获取下一帧图像的前景范围，计算下一帧图像的所述前景范围和前一帧图像的所述前景范围的灰度值之差，得到前景运动边缘灰度图，对所述前景运动边缘灰度图进行二值化处理和腐蚀运算，得到前景主体图像区域，从而避免了通过光流算法现有技术中对选取的特征点进行计算并分类而导致的将大量前景的点归类为背景，背景点被归类为前景的问题，实现了分割准确率的提高。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例提供的一种确定视频前景主体图像区域的方法的流程图；图2为前景范围，背景范围，前景主体图像和前景背景图像的示意图；图3为本发明实施例提供的一种确定视频前景主体图像区域的方法的流程图；图4为本发明实施例提供的另一种确定视频前景主体图像区域的方法的流程图；图5为本发明实施例提供的一种确定视频前景主体图像区域的装置的框图；图6为本发明实施例提供的第一获取单元的框图；图7为本发明实施例提供的运动矢量获取子单元的框图；图8为本发明实施例提供的放大倍率获取子单元的框图；图9为本发明实施例提供的运动矢量计算子单元的框图；图10为本发明实施例提供的第二获取单元的框图；图11为本发明实施例提供的另一种确定视频前景主体图像的装置的框图；图12为本发明实施例提供的第三获取单元的框图；图13为本发明实施例提供的前景主体图像区域获取子单元的框图；图14为本发明实施例提供的单向腐蚀模板的示意图。图15为本发明实施例中前一帧图像的前景范围和下一帧图像的前景范围的示意图；图16为本发明实施例中根据表3的差值结果得到的前景运动边缘灰度图；图17为在图16基础上得到的二值化图像；图18为在图17基础上进行腐蚀去噪后的图像；图19为图18基础上得到的前景主体图像区域；
图20为本发明实施例提供的一种终端的结构示意图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明实施例提供了一种确定视频前景主体图像区域的方法，如图1所示，该方法包括:101、在视频的前一帧图像中，确定所述前一帧图像的前景范围以及背景范围。在一帧图像中，包括前景范围和背景范围，所述背景范围是整个图像或整个图像除去所述前景范围后的图像区域。所述前景范围可划分为前景主体图像和前景背景图像。前景范围是指在一幅图像当中使用矩形、圆形、椭圆形等几何形状将前景主体图像框起来的图像区域。举例来说，如图2所示，其中201为前景范围，202为背景范围，在201中，203是前景主体图像；在前景范围201内，前景主体图像203周边，存在有前景背景图像204。在视频的前一帧图像中，通过两种方式来确定前景范围。方式一为人工输入，通过人为随机画一个包含主体图像区域的图像的几何形状作为输入，方式二为自动检测，采用与模板匹配的方式来自动检测输入图像的前景范围，所述模板预先保存在计算机中，并用预定义的几何形状将所述主体图像区域框出来。比如，如果前景主体图像为汽车，则可以使用汽车检测模板来确定前景范围。进一步地，根据所述确定的前景范围得到背景范围，首先将一幅图像设为Iv前景范围设为bi，背景范围用bbg表示，通过两种方式获取所述背景范围:方式一:bbg = bflv通过在一幅图像中减去前景范围得到背景范围。方式二:bbg = bQ。这种方式将整幅图像作为背景范围。102、获取下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率。103、根据所述下一帧图像的背景范围相对于前一帧图像的背景范围的运动矢量和放大倍率，得到下一帧图像的前景范围。下一帧图像相对于前一帧图像会产生相对运动，具体的，下一帧图像的背景范围相对于前一帧图像的背景范围，会出现相对位移，以及放大或缩小的情况。这样，通过下一帧图像的相对于前一帧图像的背景范围的运动矢量和放大倍率，可以获取到下一帧图像中的前景范围。举例来说，根据所述下一帧图像的相对于前一帧图像的背景范围的运动矢量和视频中前一帧图像中心点位置坐标，得到下一帧图像中心点的位置坐标；然后根据所述下一帧图像的相对于前一帧图像的背景范围的放大倍率、下一帧图像中心点位置坐标和前一帧图像中任意点的位置坐标，得到与前一帧图像中任意点对应的下一帧中任意点的位置坐标，从而得到下一帧图像的前景范围。104、计算所述下一帧图像的前景范围和所述前一帧图像的前景范围之间的灰度值之差，由灰度值之差得到前景运动边缘灰度图。一幅灰度图像，采用灰度值为O至255之间的像素点来表示，通过计算下一帧图像的所述前景范围和前一帧图像的所述前景范围的灰度值之差，得到前景运动边缘灰度图。下面举例来对步骤104进行说明。为了便于说明，首先假设前一帧图像的背景图像和下一帧图像的背景图像是相同的，即前后背景图像没有变化。然后再假设前一帧图像的前景范围是16*16个像素点(共256个像素点)的一副图像，并且下一帧图像的前景范围也是16*16个像素点的一副图像，如图15所示。其中1501为前一帧图像的前景范围，1502为下一帧图像的前景范围。可以看出，15021与15011的轮廓形状相同，但15021在1502的位置与15011在1501的位置相比，出现了变化。需要指出的是，实景应用中，前景范围通常并不只是16*16个像素点的情况，而有可能远远超过16*16个像素点。在本发明实施例中，以16*16个像素点来举例进行说明，但并不作为对本发明实施例的限定。其中，前一帧图像的前景范围中256个像素点的灰度取值如表I所示。灰度由O至255，表示灰阶由黑至白的变化。
权利要求
1.一种确定视频前景主体图像区域的方法，其特征在于，包括: 在视频的前一帧图像中，确定所述前一帧图像的前景范围以及背景范围，所述背景范围是整个图像或整个图像除去所述前景范围后的图像区域； 获取下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率； 根据所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率，得到下一帧图像中的前景范围； 计算所述下一帧图像的前景范围和所述前一帧图像的前景范围的之间的灰度值之差，由所述灰度值之差得到前景运动边缘灰度图； 根据所述前景运动边缘灰度图，得到前景主体图像区域。
2.根据权利要求1所述的方法，其特征在于，所述获取下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率，包括: 在所述前一帧图像的背景范围中取一组点集； 计算所述点集中的每个点相对于下一帧图像的运动矢量； 根据模板匹配算法，计算所述点集中的每个点相对于下一帧图像的匹配度； 从所述点集中筛选出匹配度高于 匹配阈值的点；所述匹配阈值为所述点集中的每个点的匹配度组成的集合的中值； 根据所述匹配度高于匹配阈值的点的运动矢量，得到所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量； 根据所述匹配度高于匹配阈值的点在前一帧中的两点之间距离和在下一帧中的两点之间距离，得到所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的放大倍率。
3.根据权利要求2所述的方法，其特征在于，所述计算所述点集中的每个点相对于下一帧图像的运动矢量，包括: 根据光流算法，计算所述点集中的每个点相对于下一帧图像的运动矢量；或对所述点集中的每个点，在距离d的范围内获取下一帧图像中的对应点；所述距离d根据视频宽度与视频中物体运动速度获得；根据所述点集中的每个点和在距离d的范围内下一帧图像中的对应点的距离，得到所述点集中的每个点相对于下一帧图像的运动矢量。
4.根据权利要求2所述的方法，其特征在于，所述根据所述匹配度高于匹配阈值的点的运动矢量，得到所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量，包括: 根据公式Vci = [median (X), median (Y)],得到所述下一巾贞图像的背景范围相对于所述前一帧图像的背景范围的运动矢量Vtl;其中，X是所有所述匹配度高于匹配阈值的点的运动矢量的X方向分量的集合，Y是所有所述匹配度高于匹配阈值的点的运动矢量的I方向分量的集合。
5.根据权利要求2所述的方法，其特征在于，所述根据所述匹配度高于匹配阈值的点在前一帧中的两点之间距离和在下一帧中的两点之间距离，得到所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的放大倍率，包括: 根据公式s = median (D1) /median (D0),得到下一巾贞图像的所述背景范围相对于前一中贞图像的所述背景范围的放大倍率S ;其中，Dtl是所有所述匹配度高于匹配阈值的点在前一帧中的两点之间距离的集合，D1是所有所述匹配度高于匹配阈值的点在下一帧中的两两之间距离的集合。
6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述根据所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率，得到所述下一帧图像中的前景范围，包括: 根据所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和前一帧图像中的所述背景范围的中心点Ctl，得到下一帧图像中的所述背景范围的中心点Cc/ ；对于前一帧图像中的所述前景范围中的任意点P，根据公式P，= s* (p-C0)+C0’ 得到下一帧图像中与所述任意点P对应的点P’，根据P’确定下一帧图像中的所述前景范围；其中S为所述背景范围的放大倍率。
7.根据权利要求6所述的方法，其特征在于，所述前景范围包括前景主体图像和前景背景图像，所述前景背景图像为所述前景范围除去所述前景主体图像的图像部分， 在根据所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率，得到下一帧图像中的所述前景范围后，所述方法还包括: 对前一帧图像中的所述前景范围进行调整，以使得所述前一帧图像中的所述前景范围与所述下一帧图像中的所述前景范围的大小一致； 或 对下一帧图像中的所述前景范围进行调整，以使得下一帧图像中的所述前景范围与前一帧图像中的所述前景范围大小一致。
8.根据权利要求1所述的方法，其特征在于，所述根据所述前景运动边缘灰度图，得到前景主体图像区域，包括: 对所述前景运动边缘灰度图进行二值化处理，得到二值化图像，所述二值化图像由值为I的像素点和值为O的像素点组成； 对所述二值化图像进行腐蚀运算，得到腐蚀后的二值化图像； 根据所述腐蚀后的二值化图像，得到所述前景主体图像区域。
9.根据权利要求8所述的方法，其特征在于，所述根据所述腐蚀后的二值化图像，得到所述前景主体图像区域，包括: 获取在X轴方向每行最左端和最右端的灰度值为I的像素点，组成第一像素点集，并获取在y轴方向每列最上端和最下端的灰度值为I的像素点，组成第二像素点集； 得到所述第一像素点集和所述第二像素点集的并集； 依次连接所述并集中的像素点，得到所述前景主体图像区域。
10.一种确定视频前景主体图像区域的装置，其特征在于，包括: 确定单元，用于在视频的前一帧图像中，确定所述前一帧图像的前景范围以及背景范围，所述背景范围是整个图像或整个图像除去所述前景范围后的图像区域； 第一获取单元，用于获取下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率； 第二获取单元，用于根据所述第一获取单元获取的所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率，得到下一帧图像中的所述前景范围；计算单元，用于计算所述第二获取单元得到的下一帧图像的前景范围和所述确定单元确定的前一帧图像的前景范围的之间的灰度值之差，由所述灰度值之差得到前景运动边缘灰度图； 第三获取单元，用于根据所述计算单元获得的所述前景运动边缘灰度图，得到前景主体图像区域。
11.根据权利要求10所述的装置，其特征在于，所述第一获取单元具体包括: 点集获取子单元，用于在所述确定单元确定的前一帧图像的背景范围中取一组点集；运动矢量计算子单元，用于计算所述点集获取子单元获取的所述点集中的每个点相对于下一帧图像的运动矢量； 匹配度计算子单元，用于根据模板匹配算法，计算所述点集获取子单元获取的所述点集中的每个点相对于下一帧图像的匹配度； 筛选子单元，用于从所述点集获取子单元获取的所述点集中筛选出匹配度高于匹配阈值的点；所述匹配阈值为所述点集中的每个点的匹配度组成的集合的中值； 运动矢量获取子单元，用于根据所述筛选子单元筛选的所述匹配度高于匹配阈值的点的运动矢量，得到所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量; 放大倍率获取子单元，用于根据所述筛选子单元筛选的所述匹配度高于匹配阈值的点在前一帧中的两点之间距离和在下一帧中的两点之间距离，得到所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的放大倍率。
12.根据权利要求11所述的装置，其特征在于，所述运动矢量计算子单元具体包括: 第一运动矢量计算模块，用于根据光流算法，计算所述点集获取子单元获取的所述点集中的每个点相对于下一帧图像的运动矢量； 对应点获取模块，用于对所述点集获取子单元获取的所述点集中的每个点，在距离d的范围内获取下一帧图像中的对应点，所述距离d根据视频宽度与视频中物体运动速度获得; 第二运动矢量计算模块，用于根据所述点集中的每个点和所述对应点获取模块获取的在距离d的范围内下一帧图像中的对应点的距离，得到所述点集中的每个点相对于下一帧图像的运动矢量。
13.根据权利要求11所述的装置，其特征在于，所述运动矢量获取子单元，具体包括: 运动矢量获取模块，用于根据公式V。= [median (X) ,median (Y)]，得到所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量Vtl;其中，X是所有所述匹配度高于匹配阈值的点的运动矢量的X方向分量的集合，Y是所有所述匹配度高于匹配阈值的点的运动矢量的I方向分量的集合。
14.根据权利要求11所述的装置，其特征在于，所述放大倍率获取子单元，具体包括: 放大倍率获取模块，用于根据公式s = Iiiedian(D1)Aiedian(Dci),得到下一巾贞图像的所述背景范围相对于前一帧图像的所述背景范围的放大倍率s ;其中，Dtl是所有所述匹配度高于匹配阈值的点在前一帧中的两两之间距离的集合，D1是所有所述匹配度高于匹配阈值的点在下一帧中的两两之间距离的集合。
15.根据权利要求10至14中任意一项所述的装置，其特征在于，所述第二获取单元具体包括: 中心点获取子单元，用于根据所述第一获取单元获取的下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和前一帧图像中的所述背景范围的中心点Ctl，得到下一帧图像中的所述背景范围的中心点Cc/ ； 前景范围获取子单元，用于对于所述第一获取单元获取的前一帧图像中的所述前景范围中的任意点P，根据公式P，= s* (P-C0)+Co， 得到下一帧图像中与所述任意点P对应的点P’，根据P’确定下一帧图像中的所述前景范围；其中S为所述背景范围的放大倍率，(V为所述中心点获取子单元得到的下一帧图像中的所述背景范围的中心点。
16.根据权利要求15所述的装置，其特征在于，所述前景范围包括前景主体图像和前景背景图像，所述前景背景图像为所述前景范围除去所述前景主体图像的图像部分， 所述装置还包括: 第一前景范围调整单元，用于所述第二获取单元在根据所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率，得到下一帧图像中的所述前景范围后，对前一帧图像中的所述前景范围进行调整，以使得所述前一帧图像中的所述前景范围与所述下一帧图像中的所述前景范围的大小一致； 第二前景范围调整单元，用于所述第二获取单元在根据所述下一帧图像的背景范围相对于所述前一帧图像的背景范围的运动矢量和放大倍率，得到下一帧图像中的所述前景范围后，对下一帧图像中的所述前景范围进行调整，以使得下一帧图像中的所述前景范围与前一帧图像中的所述前景范围大小一致。
17.根据权利要求10所述的装置，其特征在于，所述第三获取单元，具体包括: 处理子单元，用于对所述计算单元得到的前景运动边缘灰度图进行二值化处理，得到二值化图像，所述二值化图像由值为O的像素点和值为I的像素点组成； 腐蚀子单元，用于对所述处理子单元得到的所述二值化图像进行腐蚀运算，得到腐蚀后的二值化图像； 前景主体图像区域获取子单元，用于根据所述腐蚀子单元生成的所述腐蚀后的二值化图像，得到所述前景主体图像区域。
18.根据权利要求17所述的装置，其特征在于，所述前景主体图像区域获取子单元具体包括: 像素点集获取模块，用于获取所述处理子单元得到的在X轴方向每行最左端和最右端的灰度值为I的像素点，组成第一像素点集，并获取在y轴方向每列最上端和最下端的灰度值为I的像素点，组成第二像素点集； 并集获取模块，用于得到所述像素点集获取模块获取的所述第一像素点集和所述第二像素点集的并集； 连接模块，用于依次连接所述并集获取模块得到的所述并集中的像素点，得到所述前景主体图像区域。
全文摘要
本发明实施例公开了一种确定视频前景主体图像区域的方法和装置，涉及图像处理领域，提高视频前景主体图像区域分割准确率。具体方案包括在视频的前一帧图像中，确定前景范围及背景范围；获取下一帧图像的背景范围相对于前一帧图像的背景范围的运动矢量和放大倍率；根据所述下一帧图像的相对于前一帧图像的背景范围的运动矢量和放大倍率，得到下一帧图像中的所述前景范围；计算下一帧图像的所述前景范围和前一帧图像的所述前景范围的灰度值之差，得到前景运动边缘灰度图；根据所述前景运动边缘灰度图，得到前景主体图像区域。本发明用于视频图像中前景主体图像区域的分割。
文档编号G06K9/00GK103119609SQ201280001946
公开日2013年5月22日 申请日期2012年9月27日 优先权日2012年9月27日
发明者杨晓峰, 张园园, 石腾 申请人:华为技术有限公司