基于结合图割(Graph Cut)的Vibe改进算法的运动目标实时提取方法
【专利摘要】本发明提供了一种基于结合图割(Graph?Cut)的Vibe改进算法的运动目标实时提取方法，本方法首先通过Vibe背景建模算法对视频序列进行预处理，将图像中的像素分为前景、背景和未知类型，建立不完全三元图；根据Vibe算法得到的不完全三元图，建立图像到图的映射，结合像素与前景和背景的隶属程度以及相邻像素的相似度特征构造目标能量函数，通过最大流最小割定理求出使能量函数最小化的边和点的集合，在最小割的基础上进行图像分割；在图割算法分割结果的基础上进行后处理，基于在二值图像中运动目标检测的结果，在原图像中将运动目标用外接矩形标记出来，并通过模型匹配的方法进一步检测运动目标，提高运动目标提取的鲁棒性和准确性。
【专利说明】基于结合图割(Graph Cut)的V i be改进算法的运动目标实时提取方法
【技术领域】
[0001]本发明涉及图像处理与计算机视觉领域，具体的说，是指一种在复杂背景下对运动目标进行实时提取的方法。
【背景技术】
[0002]随着体育比赛转播技术和数字多媒体技术的发展，将虚拟现实技术融入到体育比赛的转播当中，为观众提供了丰富的视频画面。本发明以足球比赛为例，提供了一种在复杂背景下进行运动目标实时提取的方法。
[0003]在体育比赛中，足球是一项深受大家喜爱的体育运动。在足球比赛转播方面，通过加入虚拟的人物和场景可以提高比赛的观赏性。在比赛直播过程中，需要记录每个球员的各项数据以及整个球队的技术统计，并通过字幕的方式呈现给观众。这些技术都依赖于对足球比赛视频中运动目标的检测和提取，所以说运动目标的检测和提取是足球视频分析技术的基础。
[0004]随着运动目标提取的深入研究，根据背景的复杂度提出了许多实用的方法。在简单背景中，采用基于颜色信息的色键技术提取运动目标。这种基于单色背景的运动目标提取技术已经非常成熟，广泛应用于虚拟演播室和电视节目制作中。但是在足球比赛的环境中，每个地方的球员的肤色都不一样，每支球队的队服也是比较独特的，不同时间的比赛受光照条件的影响而使球场的环境也不一样，再加上观众区域、球场线和周围的广告牌的影响，可以说，足球比赛视频中的背景相当复杂，因此如何在复杂的背景下实现运动目标的自动检测和分割，这个问题受到国内外学者更多的关注。
[0005]在复杂背景中，精确的区分前景目标是运动目标提取算法的关键。特别是在足球比赛视频中，摄像机随着足球在不断的移动，有时候导播还会在不同的镜头之间切换，这无疑给运动目标的实时提取增加了难度。
[0006]基于上述情况，亟需一种计算简单、鲁棒性强、能够实现在复杂背景下进行运动目标实时提取的方法。
【发明内容】
[0007]为了解决上述问题，本发明提供了一种基于结合图割(Graph Cut)的Vibe改进算法的运动目标实时提取方法，可以实时的准确分割出前景目标和背景，将前景运动目标提取出来。
[0008]为了实现上述方法，本发明首先采用Vibe算法对视频序列的第一帧进行背景模型初始化，从第二帧开始对每一帧图像根据Vibe算法的预处理结果将像素分为背景区域、前景区域及未知区域三种类型，建立不完全三元图；其次，利用像素与前景和背景的隶属程度以及相邻像素的相似度特征构建目标能量函数，采用最大流最小割定理求取目标能量函数的极值，经过图割的再处理过程，将图像实时分割为前景和背景；最后，在二值图像上检测运动目标，采用基于目标区域大小、宽高比限制以及模型匹配等后处理方法，使分割出的前景目标更加准确和完整。具体步骤如下:
[0009](I)首先获取视频数据流，采用Vibe算法通过视频序列的第一帧创建背景模型，从第二帧开始，对图像中的每一个像素进行处理，初步划分为前景、背景和未知类型像素，建立不完全三元图；然后根据像素的类型确定是否更新背景模型；
[0010](2)根据步骤(I)在视频当前帧中，建立不完全三元图，确立图像到图的映射关系；利用步骤(I)中像素与前景和背景的隶属度以及相邻像素的相似度特征构建目标能量函数；采用最大流最小割定理求取目标能量函数的极值，得到二值化的图像分割结果；因此，当前帧图像中未确定像素类型的像素已具备明确的前景或背景类型；
[0011](3)对于步骤(2)中图像分割结果进行后处理，利用形态学算法去除分割结果的噪声和运动目标的不连续、空洞现象；为了确定运动目标，采用基于目标区域大小、宽高比限制以及模型匹配等后处理方法，使提取出的前景目标更加的准确和完整。
[0012]2.根据权利要求1所述的方法，其特征在于，步骤(I)中采用Vibe算法对视频序列进行预处理的过程如下所述:
[0013](11)根据视频序列的第一帧创建背景模型，实现背景模型初始化；
[0014](12)从第二帧开始，将当前帧图像中的像素与背景模型中的像素样本数据进行比较，根据比较结果对像素进行前景、背景以及未知类型的划分；
[0015](13)如果像素被划分为背景，则更新背景模型；如果像素被划分前景，则不更新背景模型；如果像素被划分为未知区域类型，则在后续步骤中使用图切算法进行更精确的分类；
[0016](14)采用随机的策略机制在时域和空间上更新背景模型；在时域上，在该像素的背景模型中采用随机的策略机制选取一个样本像素值，用当前像素值替换更新；在空间上，在该像素的邻域中，采用随机的策略机制选取一个邻域像素，并在该邻域像素的背景模型中再次采用随机的策略机制选取一个样本像素值，用当前像素值替换更新；
[0017](15)利用上述的方法，将当前帧图像分割成前景、背景和未知区域三类像素集，建立不完全三元图。
[0018]3.根据权利要求2所述的方法，其特征在于，步骤⑵中目标能量函数构造以及求解目标能量函数的极值如下所述:
[0019](21)根据(15)得到的像素分类结果，设定目标能量函数的各项具体表达形式；
[0020](22)利用像素的亮度和邻域像素的相似度作为目标能量函数的平滑项，以表征相邻两个像素间的平滑性；
[0021](23)利用(15)的像素分类结果，根据像素属于背景或前景的程度来设定目标能量函数的数据项，即得到目标能量函数。
[0022](24)建立图像到图的映射，为每一帧图像构造赋权图，以便执行图切算法；
[0023](25)根据最大流和最小割定理求取目标能量函数的极值，求出使能量函数最小化的边和点的集合，以确定目标能量函数的极值及未知像素类型的二值标签，在最小割的基础上进行图像分割。
[0024]4.根据权利要求3所述的方法，其特征在于，步骤(3)中对图像分割结果的后处理过程以及运动目标提取的标记如下所示:
[0025](31)利用区域标识和形态学闭操作算法，去除(25)中得到的前景分割结果中小面积干扰区域，填充运动目标断开以及区域中小的孔洞；
[0026](32)采用运动目标区域面积和宽高比限制条件，根据区域检测算法在二值图像中检测前景目标；
[0027](33)通过模型匹配的方法进一步对不符合区域面积和宽高比限制的区域进行运动目标检测；
[0028](44)根据(32)和(33)中运动目标检测结果在图像中利用外接矩形将运动目标标记出来。
[0029]本发明与现有的技术相比具有如下优点:
[0030]1.本发明是一种基于Vibe背景建模和图割进行复杂背景下运动目标实时提取的方法。根据Vibe算法的预处理结果对像素进行前景、背景以及未知类型的划分，建立不完全三元图。该方法思想简单，容易实现。
[0031]2.在不完全三元图的基础上构建能量函数。利用当前像素与背景和前景的隶属程度为像素分配不同的标签代价值，作为目标能量函数的数据项，利用相邻像素的相似程度构建目标能量函数的平滑项，求取能量函数的极值，对像素进行更精确的划分，抑制Vibe算法中产生的鬼影，提高了算法的鲁棒性。
[0032]3.在图像分割的二值图像上通过区域面积、宽高比以及连通区域占有率等限制条件检测运动目标，并通过模型匹配的方法进一步对不符合以上限制条件的区域再一次检测运动目标，提高了运动目标的提取效率。
【专利附图】
【附图说明】
[0033]图1为本发明运动目标实时提取方法的流程图。
[0034]图2为米用Vibe算法对图像进行预处理流程图。
[0035]图3为采用图割(Graph Cut)算法进行图像再分割流程图。
[0036]图4为后处理以及运动目标标记流程图。
[0037]图5(a)_(e)为本发明所提出的算法和Vibe对足球比赛视频中运动目标的提取结果图。
[0038]
[0039]
[0040]
[0041]
【具体实施方式】
[0042]下面将结合附图对本发明加以详细说明，借此对本发明如何应用技术手段来解决实际问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，本发明中所描述的实施方式仅旨在便于对本发明的理解，而对其不起任何限定作用，所形成的技术方案均在本发明的保护范围之内。
[0043]本发明提供了一种基于结合图割(Graph Cut)的Vibe改进算法的运动目标实时提取方法，图1所示为本方法的整体流程图。
[0044]如图1所示，首先在步骤SlOl中读入视频数据流，如果读入的是第一帧的视频数据，则采用Vibe算法在步骤S102中进行背景模型的初始化；如果不是第一帧的视频数据，则在步骤S102中将当前帧的像素与背景模型中的像素样本数据进行比较，根据比较结果对像素进行分类，建立不完全三元图，并根据分类结果确定是否更新背景模型。
[0045]在步骤S103中，根据步骤S102中得到的不完全三元图，利用像素与前景和背景的隶属程度以及相邻像素的相似度特征构建目标能量函数。基于最大流最小割定理的图割算法求取目标能量函数的极值，得到二值化的图像分割结果。
[0046]通过步骤S104来实现对分割结果的后处理，在步骤S104中，基于形态学的方法对运动目标进行优化，然后采用连通域检测的方法对二值化图像中的运动目标进行检测，并在原图像上将运动目标标记出来。
[0047]图2所示为采用Vibe算法对图像进行预处理流程图。在步骤S201中读入视频流数据，Vibe算法首先要创建背景模型，在步骤S202a中判断是否为视频首帧，对于视频序列的第一帧图像，在步骤S202b中通过Vibe算法为每个像素点建立一个样本模型，也叫做背景模型，该样本中包含随机选择的N个样本值{p1; p2，...，pn}。
[0048]步骤S203是像素分类过程，在步骤S202a的判断中，如果不是视频序列的第一帧，就在步骤S203a中对像素进行分类，根据当前像素与背景模型中的N个样本像素值逐一进行差运算，如果差值小于预先设定的阈值R(当前像素与背景模型中样本像素差值的最大值)，说明当前像素和背景模型中的像素匹配，然后统计count (当前像素和背景模型中样本像素累计匹配的个数)的数目。依据count的统计结果和阈值#min (累计匹配数目的最小值)对像素进行前景(步骤S203b)、背景(步骤S203c)以及未知类型(步骤S203d)的划分，如下式所示:
Tb count > #min
[0049]T= < Tu O < count < # min
Tcount - 0
[0050]在上式中，Tb代表背景，Tf代表前景，TuR表未知类型。如果被划分为未知区域类型，则在后续步骤中使用图割算法对该类型像素进行更精确的分类。
[0051]在步骤S203c中，把像素划分为背景，则需要在时域和空间上更新背景模型。首先，在步骤S204a中，在该像素的背景模型中采用随机的策略机制选取一个样本像素值，用当前像素值替换更新；然后，在步骤S204b中，在该像素的邻域中，采用随机的策略机制选取一个邻域像素，并在该邻域像素的背景模型中再次采用随机的策略机制选取一个样本像素值，用当前像素值替换更新。这样，背景模型就在时域和空间上得到了更新。
[0052]在步骤S203b和S203d中，像素被划分为前景和未知类型，则不更新背景模型。
[0053]根据Vibe算法的预处理结果在步骤S205中得到不完全三元图。如果在步骤S206中预处理处理未完成，返回步骤S201中进行下一帧的处理，直至所有视频帧处理完成，在步骤S207中结束。
[0054]图3所示为采用图割(Graph Cut)算法进行图像再分割流程图。在步骤S205中，根据Vibe算法的预处理结果将图像像素分为前景、背景和未知类型，也就是步骤S301中的不完全三元图。
[0055]在步骤S302中建立图像到图的映射，图中普通顶点由图像中的每个像素组成，每两个相邻像素之间构成一条边，它的权值由能量函数的“平滑项”来决定。此外，还有两个终端顶点s(目标)和t(背景)，每个普通顶点和S都通过连接形成边，边的权值由数据项Dp(I)来决定,每个普通顶点和t连接的边的权值由数据项Dp(O)来决定。这样，所有边的权值确定了之后，图就确定了。
[0056]图1llJ中的图确定之后，在步骤S303中构建目标能量函数，在能量函数中，由数据项Edata(f)和平滑项Es_th(f)构成。在步骤S303a中构建目标能量函数的数据项，如下式所示:
【权利要求】
1.一种基于结合图割(Graph Cut)的Vibe改进算法的运动目标实时提取方法,其特征在于，首先采用Vibe算法进行背景建模，将视频中的每一帧图像分为背景区域、前景区域及未知区域，建立不完全三元图；其次，利用像素的亮度信息和空间相似度特征构建目标能量函数，采用图割算法求取目标能量函数的极值，从而将每一帧图像实时分割为前景和背景；最后，采用基于目标区域大小、宽高比限制以及模型匹配等后处理方法，使分割出的前景目标更加的准确和完整；具体步骤如下: (1)首先获取视频数据流，采用Vibe算法通过视频序列的第一帧创建背景模型，从第二帧开始，对图像中的每一个像素进行处理，初步划分为前景、背景和未知类型像素，建立不完全三元图；然后根据像素的类型确定是否更新背景模型； (2)根据步骤(I)在视频当前帧中，建立不完全三元图，确立图像到图的映射关系；利用步骤(I)中像素与前景和背景的隶属度以及相邻像素的相似度特征构建目标能量函数；采用最大流最小割定理求取目标能量函数的极值，得到二值化的图像分割结果；因此，当前帧图像中未确定像素类型的像素已具备明确的前景或背景类型； (3)对于步骤(2)中图像分割结果进行后处理，利用形态学算法去除分割结果的噪声和运动目标的不连续、空洞现象；为了确定运动目标，采用基于目标区域大小、宽高比限制以及模型匹配等后处理方法，使提取出的前景目标更加的准确和完整。
2.根据权利要求1所述的方法，其特征在于，步骤(I)中采用Vibe算法对视频序列进行预处理的过程如下所述: (11)根据视频序列的第一帧创建背景模型，实现背景模型初始化； (12)从第二帧开始，将当前帧图像中的像素与背景模型中的像素样本数据进行比较，根据比较结果对像素进行前景、背景以及未知类型的划分； (13)如果像素被划分为背景，则更新背景模型；如果像素被划分前景，则不更新背景模型；如果像素被划分为未知区域类型，则在后续步骤中使用图割算法进行更精确的分类； (14)采用随机的策略机制在时域和空间上更新背景模型；在时域上，在该像素的背景模型中采用随机的策略机制选取一个样本像素值，用当前像素值替换更新；在空间上，在该像素的邻域中，采用随机的策略机制选取一个邻域像素，并在该邻域像素的背景模型中再次采用随机的策略机制选取一个样本像素值，用当前像素值替换更新； (15)利用上述的方法，将当前帧图像分割成前景、背景和未知区域三类像素集，建立不完全三元图。
3.根据权利要求2所述的方法，其特征在于，步骤(2)中目标能量函数构造以及求解目标能量函数的极值如下所述: (21)根据(15)得到的像素分类结果，设定目标能量函数的各项具体表达形式； (22)利用像素的亮度和邻域像素的相似度作为目标能量函数的平滑项，以表征相邻两个像素间的平滑性； (23)利用(15)的像素分类结果，根据像素属于背景或前景的程度来设定目标能量函数的数据项，即得到目标能量函数。 (24)建立图像到图的映射，为每一帧图像构造赋权图，以便执行图割算法； (25)根据最大流和最小割定理求取目标能量函数的极值，求出使能量函数最小化的边和点的集合，以确定目标能量函数的极值及未知像素类型的二值标签，在最小割的基础上进行图像分割。
4.根据权利要求3所述的方法，其特征在于，步骤(3)中对图像分割结果的后处理过程以及运动目标提取的标记如下所示: (31)利用区域标识和形态学闭操作算法，去除(25)中得到的前景分割结果中小面积干扰区域，填充运动目标断开以及区域中小的孔洞； (32)采用运动目标区域面积和宽高比限制条件，根据区域检测算法在二值图像中检测前景目标； (33)通过模型匹配的方法进一步对不符合区域面积和宽高比限制的区域进行运动目标检测； (34)根据(32)和(33)中运动目标检测结果在图像中利用外接矩形将运动目标标记出来。
【文档编号】G06T7/00GK104166983SQ201410309927
【公开日】2014年11月26日 申请日期:2014年6月30日 优先权日:2014年6月30日
【发明者】吴晓雨, 李绍彬, 张岳, 张宜春, 蒋伟, 田鹏宇 申请人:中国传媒大学