专利名称：基于背景建模和能量最小化的复杂背景实时替换方法
技术领域：
本发明涉及图像处理与计算机视觉领域，尤其是指一种在视频流中对复杂背景进
行实时准确分割与替换的方法。
背景技术：
目前视频目标分割方法整体上可分为交互式分割和自动式分割算法。交互式视频目标分割算法是指在分割过程中，借助用户交互信息对算法进行干预来提高分割的效果。交互式分割技术虽然已经取得了很大的进展，但尚存在一些问题。如交互繁琐，工作量大，且交互存在着一定的技巧性，交互的质量直接影响着最终的分割效果；自动分割算法在分割过程中无需人工干预，自动地完成特定目标提取的分割。 若按照背景复杂度分类，自动目标分割可分为单色背景下的目标分割和复杂背景下的目标分割两种。单色背景下的视频分割是指在单色背景、光线均匀条件下进行目标的实时分割和背景替换，目前单色背景下的背景替换技术已经成熟且商业化，如蓝屏抠图技术已应用于虚拟演播室、电影制作中。但是单色背景对场景和演员着装上有着诸多限制，如何在复杂自然背景下实现目标的自动分割与检测，这个问题受到国内外学者越来越多的关注。 复杂背景下基于单目的视频分割系统成本廉价，系统构建方便，在人机交互、视频编辑、智能监控和数字娱乐等领域具有较高的实用价值和广泛的应用前景。虽然人们在基于单目的视频分割方面已做了大量的努力，也取得了一定的成果，但是一般的背景替换方法在复杂背景下无法实时、准确地分割背景，自动合成准确性较高的虚拟背景视频。
发明内容
为了解决复杂背景单摄像头下的实时准确背景替换问题，本发明的目的是提供一种基于背景建模和能量最小化的复杂背景实时替换方法，可以实时准确地分割出前景与背景，并将分割得到的真实背景替换成虚拟的背景图片，以生成具有虚拟背景的视频效果。
为了实现上述目的，本发明提供的基于背景建模和能量最小化的复杂背景实时替换方法，首先采用提出的融合背景模型将视频中的每一帧图像三分为背景区域、前景区域及未知区域；其次利用颜色和空间对比度特征构建目标能量函数，采用动态图切的方法求取目标能量函数极值，从而将每一帧图像实时分割为前景和背景；最后采用基于频率滤波的边界平滑方法和阿拉法透明度(alpha)值估计等后处理方法，使分割出的前景目标无缝地融合到虚拟背景中；具体包括如下步骤 步骤1 :系统首先获取视频流数据，学习视频流数据的图像的背景，建立该图像基于亮度的特征背景模型和基于色度的高斯模型，对两个模型进行线性融合，得到对光线具有抗干扰能力、具备模型更新特征、像素级的融合背景模型；依据融合背景模型，将每帧图像像素分为前景、背景和未知类型三类标签； 步骤2 :根据步骤1在视频当前帧中，系统已确定部分像素具备明确的前景/背景
4类型归属；对于哪些未知类型的像素，利用融合背景模型的时间颜色特征和基于局部二值模式(local binary pattern, lbp)的空间对比度特征，构造基于时空信息的目标能量函数，以通过步骤3确定未知标签像素的前景或背景类型； 步骤3 :根据基于最大流和最小割理论的动态图切(gr即h cut)算法求取步骤2建立的目标能量函数的极值，得到二值化的分割标签；因此，当前帧的所有像素已具备明确的背景或前景标签； 步骤4 :对前景目标分割结果进行后处理利用区域标识和形态学滤波后处理算法去除分割结果的噪声和隙缝，并设计基于傅立叶变换的频率滤波平滑前景边界，得到最终的背景分割结果； 步骤5 :为将分割出来的前景目标无缝地融合到虚拟背景中，求解前景边界阿拉法透明度值以实现前景目标边界的羽化效果；并依据阿拉法透明度值将分割得到的真实背景替换成虚拟的背景图片，以生成具有虚拟背景的视频效果。
其中，步骤1构建融合背景模型如下所述
步骤11 :首先学习若干帧只有背景的视频序列； 步骤12 :利用主成份分析法建立基于像素亮度信息的特征背景模型，并通过背景补偿的方法重构背景图像，以实现达到特征背景模型的更新； 步骤13 :为每个像素建立基于色度信息的单高斯背景模型，并实时更新特征背景模型的参数； 步骤14 :对建立的特征背景模型和单高斯背景模型进行线性融合，并根据像素亮度信息动态计算融合系数，获得融合背景模型； 步骤15 :利用上述的融合背景模型，将当前帧图像分割成前景、背景和未知标签
三类像素集。 其中，步骤2能量目标函数构造如下所述 步骤21 :依据步骤15得到的像素的分类结果，设定目标函数的各项的具体表达形式； 步骤22 :利用局部二值模型(lbp)计算相邻像素的空间对比度信息，以表征相邻两个像素间的平滑性； 步骤23 :根据基于时间连续性信息的融合背景模型及局部二值模型空间对比度信息，设定吉布斯能量(Gibbs)能量函数的数据项和平滑性因子，即得到能量目标函数。
其中，当前帧所有像素的二值分割步骤如下
步骤31 :为每一帧图像构造赋权图，以执行图切算法； 步骤32 :利用视频上下帧分割结果的关联性，从上一帧分割结果出发利用步骤23求取的数据项和平滑项，更新赋权图中边的权重； 步骤33 :依据动态图切算法求取当前赋权图的最小割集，以确定目标能量函数的极值及未知像素的二值标签。
其中，步骤4对前景目标分割结果后处理按如下过程进行 步骤41 :利用区域标识和形态学闭操作算法，去除步骤33得到的前景分割结果中
小面积干扰区域，填充狭窄间断和小的孔洞； 步骤42 :根据边界跟踪算法求得前景目标的边界；
步骤43 :沿着前景物体的边界曲线以间隔采样得到点序列，经傅立叶变换得到边界的傅立叶描绘子； 步骤44 :设计低通滤波器的截止频率，以平滑步骤42得到的前景目标边界；最后
反傅立叶变换，得到平滑后的边界点坐标，以确定分割出来的前景目标的最终边界。 其中，步骤5首先计算步骤44得到的前景边界带的阿拉法透明度值，即利用膨胀
腐蚀算法得到一定带宽的边界带，根据高斯平滑的结果计算边界带阿拉法透明度值，并归
一化到0到1范围内；再依据求得阿拉法透明度值设定前背景的混合比例，确定合成图片中
每个像素的颜色值，最终生成具有虚拟背景的视频效果。
本发明与现有的技术相比具有如下优点 1.根据颜色和对比度信息构造目标能量函数，设计了基于时间连续性信息的融合背景模型和局部二值模式(lbp)的对比度平滑项。这样，我们充分利用颜色、对比度、时空连续性信息，建立更为鲁棒的、简捷的目标能量函数。 2.通过动态图切算法极小化能量函数求取所有像素的二值标签，提高了视频当
前帧图像的分割效率；并设计低通滤波器平滑前景边界，采用区域标识和阿拉法透明度
(alpha)值估计等后处理方法使得分割出的前景目标无缝地融合到虚拟背景中。 归纳起来，本发明系统搭建简单，算法具备完全自动化、实时、结果准确的特性。
图1为本发明复杂背景实时替换方法的流程图。
图2为本发明的复杂背景实时替换过程示意图。 图3(a)和图3(b)为本发明的复杂背景实时分割结果，其中 图3 (a)输入的原始视频帧； 图3 (b)复杂背景分割结果。 图4(a)-图4(d)为本发明的复杂背景替换结果。 从图4(a)、图4(c)列的原始视频中分割出前景，并分别叠加到图4(b)图4(d)列虚拟场景中。
具体实施例方式
下面将结合附图对本发明加以详细说明，应指出的是所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
图i是复杂背景实时替换方法的流程图。按照流程顺序，本发明方法各步骤的具体实施过程如下
1.读入视频流 系统首先获取视频流数据。视频数据获取来源方式可以分为两种一是摄像头实时采集到的图像序列。二是事先采集的视频文件。
2.背景学习，构造融合背景模型 (21)学习N帧图像序列；一般学习40-80帧，约2s的时间； (22)建立基于亮度信息的特征背景通过学习N帧背景图像序列，建立基于亮度信息的特征子空间。即维数为mXn的每帧图像被看作是一种随机向量，用K-L变换获取其
6像素集x。=
正交K-L基底，对应其中较大特征值的基底构成了特征子空间W，表征了静止背景的特性。通过特征子空间重建当前帧P背景图像Bp，计算新一帧图像Ip与背景图像的差值Dp(E)=Ip-Bpl，该差值Dp(E)表示了在新一帧图像中，通过特征背景模型计算得到的像素属于背景的代价值； (23)建立基于色度信息的单高斯背景模型通过学习N帧背景图像序列，建立基于色度信息的高斯模型Dp(G); (24)建立融合的背景模型对上述建立的特征背景和高斯背景模型进行线性融合，Dp(E) = ADP(E) + (1-A)DP(G)。这里，Dp(E)是融合的背景模型，求法如(22)所示；DP(G)是(23)建立的高斯模型；A是融合比例，依据像素亮度差确定。 (25)利用上述的融合背景模型，将当前帧图像分割成前景、背景和未知标签三类
」"p(e)>t;
其他 这里，Xp表示像素p的标签值。B表示背景，F表示前景，U表示待进一步确定为前景/背景的未知类型。Dp(E)是融合的背景模型。Tb、Tf为判定像素p归属于背景、前景的判别阈值。 3.构建能量函数，设定能量函数中的数据项和平滑项 (31)在马尔可夫_最大后验概率(MRF-MAP)计算框架下，采用吉布斯Gibbs分布
能量函数別^) = 72]1)'化)+ S巧,/"，~)为构建的目标函数。这里Di(Xi)是目标函
数的数据项，表示为顶点i分配标签&的代价值；Vi,j(Xi，Xj)是目标函数的平滑项，表示为相邻顶点i， j分配标签Xi， Xj的代价值；Y表示I, j (Xi， Xj)相对于Di (Xi)的权重系数。这样，基于MRF的分割问题就转化为求后验能量函数Gibbs最小值所对应的标号问题；
(32)根据融合的特征背景模型设定能量函数中的数据项Di (Xi);
(33)依据局部二值模型lbp (local binary pattern)计算能量函数中相邻像素i， j的平滑项Vi,j(Xi， Xj)。基于lbp对比度值不涉及到指数运算，计算简单，且具有对光照变化不敏感的特点； (34)依据平滑项与数据项的重要性设定能量函数中的比例系数Y 。
4.求能量函数的极值 (41)我们采用图切算法求解目标能量函数(见(31)所示)的极小值minE(X)。故首先构造赋权图，图中的每个点对应着当前帧的每个像素，依据能量函数中的数据项和平滑项设定赋权图各边的权重； (42)采用动态图切的方法加快能量极小值的求取。即首先针对视频中相邻帧连续性这一事实，充分地利用了上一帧的剩余图信息更新当前帧赋权图边的权重，减少了当前帧增广路径算法中搜索树的重新构造，降低了最小割路径查找时间；再依据最大流-最小割算法找出所有割集中的最小割，即对应着求得能量函数E(X)的极小值，为未知类型(U)的部分像素确定了二值标签(前景/背景)。这样，我们得到了当前帧所有像素的二值分割结果； 采用动态图切算法后，对于320X240大小的图片，每帧分割时间由原来执行图切算法所需约120毫秒(ms)降为约65ms，分割速度提高了将近一倍。当前帧中待分割的前景目标越小，分割速度提高的越显著。
5.边界平滑、区域标识等后处理 (51)利用区域标识算法对分割的结果进行区域标号，去除面积较小的孤立区域； (52)利用形态学闭操作进行细小孔洞和断裂的填充； (53)根据边界跟踪算法，求得前景边界点，列出其复数表达形式； (54)对边界点进行傅立叶变换，设定低通滤波器的截止频率r，以确定边缘的平
滑度； (55)反傅立叶变换求得平滑后的边界点平面坐标。 6.求取分割出来的前景边界的阿拉法透明度(alpha)值，替换背景合成虚拟图像
(61)对确定的前景边界进行几次腐蚀之后进行相应次数的膨胀操作，得到具有一定带宽的狭长边界带。带宽与形态学操作的结构元素大小有关； (62)在边界带内进行高斯平滑，这样在边界带内像素值由原先的0与255两个
值，转为0到255之间的若干离散值，并将这些离散值进行0到1范围内的归一化，就得到
了边界带内各个像素点的阿拉法透明度(alpha)值。边界带外侧各背景点的阿拉法透明度
(alpha)值为O，边界带内侧各前景点的阿拉法透明度(alpha)值为1 ; (63)选择虚拟背景或虚拟视频序列，对分割的背景用虚拟的背景图像进行替换，
依据阿拉法透明度(alpha)值将虚拟背景与分割的前景物体混合，合成具有虚拟背景的视
频序列。 图2是背景替换算法过程示意图。系统通过读入视频或者摄像头采集到的图像序列，获取当前帧图像信息；利用提出的融合背景模型计算像素属于背景模型的概率值，以此将当前帧图像的每个像素分为三类背景、前景和未知类别(有待进一步判别属于前景或背景)；构建能量函数，利用动态图切算法确定未知类别的像素二值标签，最终为当前帧所有像素分配前景或背景的二值标签；求取前景边界带的阿拉法透明度(alpha)值，用虚拟背景替换分割得到的背景，合成一帧虚拟图像。 图3是在一段序列图像中的测试结果。图3(a)给出了序列图像中某两帧的原始图像。图3(b)给出了根据我们提出的融合模型和动态图切方法得到的背景分割的结果，其中背景被准确判别，前景目标被完整提取。 图4是给出了不同序列图像中的背景替换结果。从图4(a)、图4(c)列的原始视频
中自动实时地分割出前景，并分别叠加到图4(b)、图4(d)列虚拟场景中。 本发明提供了一种基于背景建模和能量最小化的复杂背景替换算法。该算法具有
较好的实时性，对于尺度为320x240的输入视频，在CPU为P42. 8G，内存为512MB的机器上
测试，算法速度可以达到16-18帧/s，基本满足实时性要求；同时该算法在大量的序列图像
中进行了实验验证，结果表明算法具有较高的准确性。 以上所述仅是本发明中的具体实施方式
，但本发明的范围不应由该描述来限定。本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均属于本发明权利要求来限定的范围。
8
权利要求
一种基于背景建模和能量最小化的复杂背景图像实时替换方法，其特征是，首先采用提出的融合背景模型将视频中的每一帧图像三分为背景区域、前景区域及未知区域；其次利用颜色和空间对比度特征构建目标能量函数，采用动态图切的方法求取目标能量函数极值，从而将每一帧图像实时分割为前景和背景；最后采用基于频率滤波的边界平滑方法和阿拉法透明度(alpha)值估计等后处理方法，使分割出的前景目标无缝地融合到虚拟背景中；具体包括如下步骤步骤1系统首先获取视频流数据，学习视频流数据的图像的背景，建立该图像基于亮度的特征背景模型和基于色度的高斯模型，对两个模型进行线性融合，得到对光线具有抗干扰能力、具备模型更新特征、像素级的融合背景模型；依据融合背景模型，将每帧图像像素分为前景、背景和未知类型三类标签；步骤2根据步骤1在视频当前帧中，系统已确定部分像素具备明确的前景/背景类型归属；对于哪些未知类型的像素，利用融合背景模型的时间颜色特征和基于局部二值模式的空间对比度特征，构造基于时空信息的目标能量函数，以通过步骤3确定未知标签像素的前景或背景类型；步骤3根据基于最大流和最小割理论的动态图切算法求取步骤2建立的目标能量函数的极值，得到二值化的分割标签；因此，当前帧的所有像素已具备明确的背景或前景标签；步骤4对前景目标分割结果进行后处理利用区域标识和形态学滤波后处理算法去除分割结果的噪声和隙缝，并设计基于傅立叶变换的频率滤波平滑前景边界，得到最终的背景分割结果；步骤5为将分割出来的前景目标无缝地融合到虚拟背景中，求解前景边界阿拉法透明度值以实现前景目标边界的羽化效果；并依据阿拉法透明度值将分割得到的真实背景替换成虚拟的背景图片，以生成具有虚拟背景的视频效果。
2. 根据权利要求1所述的方法，其特征在于，步骤1构建融合背景模型如下所述步骤11 :首先学习若干帧只有背景的视频序列；步骤12 :利用主成份分析法建立基于像素亮度信息的特征背景模型，并通过背景补偿的方法重构背景图像，以实现达到特征背景模型的更新；步骤13 :为每个像素建立基于色度信息的单高斯背景模型，并实时更新特征背景模型的参数；步骤14 :对建立的特征背景模型和单高斯背景模型进行线性融合，并根据像素亮度信息动态计算融合系数，获得融合背景模型；步骤15 :利用上述的融合背景模型，将当前帧图像分割成前景、背景和未知标签三类像素集。
3. 根据权利要求1所述的方法，其特征在于，步骤2能量目标函数构造如下所述步骤21 :依据步骤15得到的像素的分类结果，设定目标函数的各项的具体表达形式；步骤22 :利用局部二值模型计算相邻像素的空间对比度信息，以表征相邻两个像素间的平滑性；步骤23 :根据基于时间连续性信息的融合背景模型及局部二值模型空间对比度信息，设定吉布斯能量能量函数的数据项和平滑性因子，即得到能量目标函数。
4. 根据权利要求1所述的方法，其特征在于，当前帧所有像素的二值分割步骤如下步骤31 :为每一帧图像构造赋权图，以执行图切算法；步骤32 :利用视频上下帧分割结果的关联性，从上一帧分割结果出发利用步骤23求取的数据项和平滑项，更新赋权图中边的权重；步骤33 :依据动态图切算法求取当前赋权图的最小割集，以确定目标能量函数的极值及未知像素的二值标签。
5. 根据权利要求1所述的方法，其特征在于，步骤4对前景目标分割结果后处理按如下过程进行步骤41 :利用区域标识和形态学闭操作算法，去除步骤33得到的前景分割结果中小面积干扰区域，填充狭窄间断和小的孔洞；步骤42 :根据边界跟踪算法求得前景目标的边界；步骤43 :沿着前景物体的边界曲线以间隔采样得到点序列，经傅立叶变换得到边界的傅立叶描绘子；步骤44 :设计低通滤波器的截止频率，以平滑步骤42得到的前景目标边界；最后反傅立叶变换，得到平滑后的边界点坐标，以确定分割出来的前景目标的最终边界。
6. 根据权利要求1所述的方法，其特征在于，步骤5首先计算步骤44得到的前景边界带的阿拉法透明度值，即利用膨胀腐蚀算法得到一定带宽的边界带，根据高斯平滑的结果计算边界带阿拉法透明度值，并归一化到0到1范围内；再依据求得阿拉法透明度值设定前背景的混合比例，确定合成图片中每个像素的颜色值，最终生成具有虚拟背景的视频效果。
全文摘要
本发明提出了一种基于背景建模和能量最小化的复杂背景实时替换方法。该方法首先利用提出的融合背景模型将当前帧图像分割成前景、背景和未知标签三类像素集，然后在动态图切框架下，根据颜色和对比度信息构造目标能量函数，设计了基于时间连续性信息的融合背景模型的数据项和基于局部二值模式的对比度平滑项，最后通过图切算法极小化能量函数求取所有像素的二值标签；采用了边界平滑和α值估计等后处理方法，使得分割出的前景目标无缝地融合到虚拟背景中。实验结果表明该方法能较好地将复杂背景中的目标实时分割出来并真实地合成到虚拟背景中。本发明的特点是自动、实时分割复杂背景，将其替换为虚拟背景，得到高质量的虚拟效果序列图。
文档编号G06T7/00GK101777180SQ20091024373
公开日2010年7月14日 申请日期2009年12月23日 优先权日2009年12月23日
发明者吴晓雨, 李基拓, 王阳生 申请人:中国科学院自动化研究所