专利名称：基于快速图像配准的视角变化条件下视频前景提取方法
技术领域：
本发明涉及视频与图像处理领域，尤其涉及一种基于快速图像配准的视角 变化条件下视频前景提取方法。
技术背景前景提取是指将视频中的前景物体(如人物)和背景相分离的过程。前景 的位置、形状、运动等信息对于图像和视频理解非常关键，许多后期的视觉分 析都是基于前景提取的结果。例如，安全监控系统可以通过前景提取来监控特定的动作与行为；交通监控系统可以根据前景(车辆)提取来评估交通状态； 人机交互系统可以通过提取的前景来识别人体的手势或动作从而产生响应；动 作捕获系统可以通过前景提取来恢复三维人体运动；视频和动画编缉系统则可 以通过前景提取将一段视频的前景附加到另外一段视频上，从而产生特效。复杂条件下的前景提取是一项较困难的工作，困难主要来源于背景的高度 复杂性，背景本身的变化，以及相机运动带来的视角变化。背景减除法 (background subtraction)是一种广泛使用的方法，它假定背景已知而且是静态的， 通过将视频帧和背景图像进行逐像素比较来提取前景。这种方法在背景本身发 生变化或者相机发生运动的情况下显然会失效。为了解决背景的局部变化问题(如摇摆的树枝，荡漾的水波)，混合高斯模型(Mixture Gaussian Model)方法被 广泛使用，如1999年在IEEE Conference on Computer Vision and Pattern Recognition(CVPR)会议上发表的《Adaptive background mixture models for realtime tracking》。该方法认为，图像上每个像素的颜色值可以有多个来源。例 如，随着树枝的摇摆，某个像素在某些时刻对应着树叶的颜色，而在另一些时 刻对应着天空的颜色。于是，可以用混合高斯模型来对各个像素的颜色值进行 建模。为了解决阴影和高亮等光照问题，1999年的IEEE ICCV Fmme-mte Workshop上发表了 《A statistical approach for real-time robust background subtraction and shadow detection》 一文，公开了一种将色品和亮度分离的颜色模 型扩展了传统的背景减除方法。为了解决背景的缓慢的变化问题(如光照的渐 变)，还有一些方法通过自适应的滤波来不断的更新背景统计模型，如1997年 在IEEE Transactions on Pattern Analysis and Machine Intelligence上发表的《Pfmder: Real-time tracking of human body》。另一种方法则使用隐马尔科夫模 型(Hidden Markov Model)来解决背景本身的变化，如2002年在IEEE Transactionson Pattern Analysis and Machine Intelligence 上发表的《An HMM based segmentation method for traffic monitoring movies》。
以上方法的共同点在于，他们都假定拍照的相机是静止不动的，即整个视 频的视角是保持不变的。而事实上，现实中的大多数视频拍摄时相机都是运动 的。例如，很多视频是用手持相机拍摄的，手的抖动会使视角发生变化；很多 监控相机通过旋转视角来监控大范围的区域。在这些情况下，传统背景减除方 法都不可用。如图1， (a)是一包含前景的视频帧；(bl)是处于相同视角的背景 图像；(cl)是由于相机抖动而视角略有位移的背景图像;(b2)和(c2)分别是利用(bl) 和(cl)通过背景减除获得的前景图。可以看出，背景减除对视角的微小变化也 非常敏感。
另一方面，研究人员也提出了某些专门针对运动相机的前景提取方法。例 如，2000年在IEEE Conference on Computer Vision and Pattern Recognition(CVPR) 会议上发表的《Scene modeling for wide area surveillance and image synthesis》禾!j 用一系列不同视角的图像建立视频全景图，然后对于新视频帧，首先定位它在 全景图中的位置，然后再用背景减除提取前景。这种方法在有运动视差(motion parallax)的情况下会失效。2000年在IEEE Transactions on Pattern Analysis and Machine Intelligence 上发表的《Detecting salient motion by accumulating directionally-consistent flow》通过计算光流(optical flow),将光流不一致的局部 区域作为前景。这种方法假定前景的运动和背景有显著的不同，且前景的运动 方向要始终保持一致。
发明内容
本发明的目的是提供一种基于快速图像配准的视角变化条件下视频前景提 取方法。
基于快速图像配准的视角变化条件下视频前景分割的方法包括离线的背景 训练和在线的前景分割两个阶段，
离线的背景训练阶段包括如下步骤
(1) 获取训练背景图像集(^J;
(2) 利用训练背景图像集来进行Isomap流形学习，获得其所在的低维流形；
(3) 利用窗口相关性方法、基于角点的插值和基于局部高斯模型的奇异值去 除方法来计算在背景流形上位置接近的训练背景图像之间的光流；
在线的前景分割阶段包括如下步骤
(4) 对每个新来的包含前景的视频帧F，首先利用扩展的Isomap计算该帧在背景流形上的位置；(5) 在计算获得新视频帧F在背景流形上的位置之后，在背景流形的局部欧 氏范围内进行光流插值，得到从最接近的背景训练图像5(F)到F的光流(6) 根据5("和Ow构造出和F处在完全相同的视角下的背景图像5^(7) 利用图像F和B^，通过背景减除，即获得F的前景区域，完成了尸的 前景分割。所述的获取训练背景图像集{^}:拍摄不同视角的背景图像来获取训练背景 图像集，或者使用视频中空的不包含前景的背景帧作为训练背景图像集。所述的利用训练背景图像集来进行Isomap流形学习，获得训练背景图像集 所在的低维流形对于D维向量集^J ("=1,2, ...，AO，首先计算一个iVxAT的 距离矩阵S，公式如下&叫|万,-刷(/,7.= 1,2，...局， 1其中IIA-AII即为A与^之间的i:2距离；然后，根据距离矩阵s构造最短路径矩阵S，，即方阵^，记录了(^J中任意两个顶点A和A之间的最短路径；然后， 由距离矩阵S'来构造矩阵M:其中的矩阵i/由i^.—广l/iV定义；于是，(5J在d维流形上的映射(C")(^《D) 由下式计算<formula>formula see original document page 7</formula>其中A, 4，...， 4为矩阵M的前d个非负特征值(降序排列)，。,e2，…,^是对 应的特征向量，{ 5 }的本征维度J由降维后的残差确定，当残差变化曲线停 止随维度上升而降低时，维度作为本征维度丄所述的利用窗口相关性方法、基于角点的插值和基于局部高斯模型的奇异 值去除方法来计算在背景流形上位置接近的训练背景图像之间的光流对于{5 } 中任一样本A，在流形上寻找它最接近的A:个邻居并计算5,和每个邻居间的光 流；计算从尿到5/的光流的方法如下定义一个局部窗口大小，对于5,上的点 iV(Xo,内)，在5/的(X(Hyo)点附近寻找点尸，:(x。+Ax,少。+A力，使得^.上以尸，为中心 的窗口和5,上以为中心的窗口的相关性最大，相关性定义为Zu偶<formula>formula see original document page 7</formula>其中^和『2为两个窗口， ^和^为窗口 ^和『2的颜色均值；只计算角点处 的光流，同时，非角点处光流采用A近邻插值由邻近的角点处光流插值得到；在插值之前，采用局部高斯模型去除角点处光流的奇异值，用EM算法来迭代 去除角点处光流的奇异值，在EM算法的每一步迭代中，对每个不为奇异值的 光流^，利用其他临近的到不为奇异值的光流来计算一个局部高斯模型，然后 利用这个局部高斯模型来判断O,是否应为奇异值。所述的对每个新来的包含前景的视频帧F，首先利用扩展的Isomap计算该 帧在背景流形上的位置位置坐标计算公式如下其中，》是由Isomap计算的样本间距离矩阵S的列向量的均值，粘+1是新视频 帧和训练背景图像的距离平方组成的iV维向量，C是所有训练样本的低维坐标 构成的矩阵，C^表示矩阵C的伪逆的转置。所述的在计算获得新视频帧F在背景流形上的位置之后，在背景流形的局 部欧氏范围内进行光流插值，得到从最接近的背景训练图像B(F)到F的光流 设背景流形维数为A选取在背景流形上和F距离最接近的d+l个训练背 景图像5(F),52, ...，5rf+1，将背景流形上从5(F)到52，从5(F)到丑3，…，从B(/0 到BrfW的向量分别用<formula>formula see original document page 8</formula>来表示，将从5(F)到F的向量用v胖表示， 则v^可以由下式表达成 的线性组合<formula>formula see original document page 8</formula>再令052, CW表示从丑CO到丑2，从丑("到丑3，...，从丑("到A+l的光流，令0^表示从5(F)到F的向量，则0^可以用同样的权重由下式快速计算得到-<formula>formula see original document page 8</formula>其中Ob3,...， 0^w)已在背景训练训练阶段计算得到。所述的根据5("和0^构造出一个图像获得和F处在完全相同的视角下的背景图像5r设图像高/z像素，宽W像素，首先构造一个的空图像作为5f的初始图像；^的像素(x,力的颜色由下式计算<formula>formula see original document page 8</formula> 8 所述的利用图像F和与其处在完全相同视角下的背景图像Bp通过背景减除，即获得F的前景区域，完成了F的前景分割对于每个像素坐标(X，力，计 算F和5f的颜色i /G/S三分量差值-<formula>formula see original document page 9</formula>
其中C(x,力耿^表示两幅图像的(x,力像素颜色的i /C /B分量差值，F(x,力表示图 像F的像素(x,力颜色 分量，&(x，力 脆/s 表示图像5F的像素(x,力颜色i /G/B 分量；之后，计算向量C(x,力在RGB空间的代表亮度的长度和代表色品的角度， 如果角度超过阈值，则像素(x,y)为前景像素，否则为背景像素。
本发明具有的有益的效果是方法具有准确、鲁棒和高效的特点。通过流 形学习的背景建模避免了在线阶段的光流计算。所有的光流计算都在离线阶段 预先完成，在线阶段的光流通过插值的方式得到，极大地提高了效率，使得本 方法能够实时地对视频进行前景分割。由于对于每帧的前景提取是相互独立的， 本方法也避免了跟踪机制往往存在的误差累积和难以从错误中自动恢复等问 题。实验证明该方法在相机平移(tmnslating)、旋转(panning/tilting)、滚动(rolling)、 镜头縮放(zooming)等条件下均有良好的效果。
图1是以背景流形维数"=2为例的流形上的光流插值过程； 图2是实施例一所用的视频的若干代表帧、每帧构造出的背景、以及提取 的前景；
图3是实施例二所用的视频的若干代表帧、每帧构造出的背景、以及提取 的前景。
具体实施例方式
基于快速图像配准的视角变化条件下视频前景分割的方法包括离线的背景 训练和在线的前景分割两个阶段，
离线的背景训练阶段包括如下步骤
(1) 获取训练背景图像集{5 };
(2) 利用训练背景图像集来进行Isomap流形学习，获得其所在的低维流形;
(3) 利用窗口相关性方法、基于角点的插值和基于局部高斯模型的奇异值去 除方法来计算在背景流形上位置接近的训练背景图像之间的光流；
在线的前景分割阶段包括如下步骤
C4)对每个新来的包含前景的视频帧F，首先利用扩展的Isomap计算该帧 在背景流形上的位置；
(5)在计算获得新视频帧F在背景流形上的位置之后，在背景流形的局部欧 氏范围内进行光流插值，得到从最接近的背景训练图像丑(F)到F的光流(6) 根据5("和O胖构造出和F处在完全相同的视角下的背景图像5尸；
(7) 利用图像F和5p通过背景减除，即获得F的前景区域，完成了F的
前景分割。
所述的获取训练背景图像集(^J:拍摄不同视角的背景图像来获取训练背景 图像集，或者使用视频中空的不包含前景的背景帧作为训练背景图像集。本方 法需要一组背景图像{5 }用来进行背景训练。这些图像是不包含前景的纯背景 图像，并处于不同的视角下。{5 }所处的视角应当能够大致涵盖接下来在线提 取阶段相机的运动范围。例如，如果是为了解决相机由于手持而产生的抖动， 则可以手持该相机在同一个场景下拍摄一些没有前景的背景图像作为{5 };如 果是处理已有的视频，很多视频中存在一些"空"的不包含任何前景的帧，这些帧 可以作为训练图像；对于旋转监控相机，则可以手动拍摄一些不同视角下的纯 背景图像。对于{5 }中的训练图像数量， 一般而言，该数量随着视角变化自由 度的增加而增加。例如，对于仅存在抖动的情况，50幅左右的训练背景图像就 可以达到良好的效果；对于相机大范围旋转的情况(典型的如旋转监控相机)， 则需要200 300幅训练背景图像；而如果相机同时存在旋转、抖动和縮放，则 需要500-600幅训练背景图像。
所述的利用训练背景图像集来进行Isomap流形学习，获得训练背景图像集所 在的低维流形对于"维向量集{5 } "=l,2，...,AO，首先计算一个iVx7V的距 离矩阵S，公式如下
<formula>formula see original document page 10</formula> 1
其中iia-用|即为a与^之间的丄2距离；然后，根据距离矩阵S构造最短路径 矩阵51，， s卩方阵S，记录了(a)中任意两个顶点瑪和a之间的最短路径；然后， 由距离矩阵S，来构造矩阵Af:
其中的矩阵丑由i^.—广l/iV定义；于是，(5J在d维流形上的映射(cJ(d《D) 由下式计算
<formula>formula see original document page 10</formula>
其中A, 4,..., ^为矩阵M的前J个非负特征值(降序排列)，^^2,...,^是对
应的特征向量，{ B }的本征维度"由降维后的残差确定，当残差变化曲线停 止随维度上升而降低时，维度作为本征维度么
在获取训练背景图像集{&}之后，要对{5 }进行Isomap流形降维。假设{&}在原始高维图像空间中的维数为D，坐标为A， Isomap的计算步骤如下
(a) 计算距离方阵A
(b) 构造最短路径
以{5 }中的每个样本为顶点构造一个邻居图G，对于图中的任何两个顶点 A与^，方阵S的^项是它们之间的距离。对于任何/和/，当且仅当A是取 的邻居时，将邻居图G中的5,与^相连。邻居的判断可以用A:最近邻法或^w'/o" 法。
A:最近邻法所有的顶点中(除A外)和A最接近的&个顶点是&的邻居。
印w7o"法取一个阈值e戸/to"，对于任意一个顶点5/ 如果ll&-刷々戸//0"，则A是A的邻居。
然后，在邻居图G中计算任意两个顶点A和A之间的最短路径，最短路径 的计算方法可以用dijska法等方法。
(c) 计算流形坐标
关于{5 }的本征维度，也即流形的维数A可以由降维后的残差确定，当残 差停止随维度上升时，所处的维度即为本征维度。本征维度也可以利用相机的 运动自由度来确定。如前所述，相机的转动、歪斜、縮放分别对应的自由度为2、 1、 1。例如，如果相机只做转动，则相机运动自由度为2，流形维数也是2;如 果相机同时做转动、歪斜和縮放，则相机运动自由度为4，流形维数也为4。我 们推荐的方法是如果相机的运动类型很容易确定，那么就用相机运动的自由 度作为流形维数A如果相机运动类型不确定或者很复杂，则可以用Isomap降 维后的残茶来确定"。
所述的利用窗口相关性方法、基于角点的插值和基于局部高斯模型的奇异 值去除方法来计算在背景流形上位置接近的训练背景图像之间的光流在确定 了训练背景图像{5 }的低维流形之后，要计算视角相近的训练背景图像之间的 光流。由于{^}中的图像在流形上的坐标即反映了它们的视角关系，所以，在 流形上距离接近的训练背景图像，它们的视角也接近。对于{5 }中任一样本&，
在流形上寻找它最接近的A个邻居并计算双和每个邻居间的光流；计算从&到 A的光流的方法如下定义一个局部窗口大小，对于5,上的点尸4&,少。)，在A 的(W,W)点附近寻找点尸，:(xo+Ax,少o+Ay)，使得上以尸，为中心的窗口和尿上以 i^为中心的窗口的相关性最大，相关性定义为<formula>formula see original document page 12</formula>
其中^和『2为两个窗口， ^和^为窗口 ^和『2的颜色均值；光流的孔径问
题(apertureproblem)导致只有在图像的角点处计算得到的光流才是最可靠的，只 需计算角点处的光流即可，这既可以提高准确率，又可以加快计算的速度。同 时，非角点处光流采用A:近邻插值由邻近的角点处光流插值得到；在插值之前， 采用局部高斯模型去除角点处光流的奇异值，用EM算法来迭代去除角点处光 流的奇异值，在EM算法的每一步迭代中，对每个不为奇异值的光流利用 其他临近的到不为奇异值的光流来计算一个局部高斯模型，然后利用这个局部 高斯模型来判断O,是否应为奇异值。
所述的对每个新来的包含前景的视频帧F，首先利用扩展的Isomap计算该 帧在背景流形上的位置本方法对于每个视频帧的处理是独立的，设当前处理 的视频帧为F。当F到达后，第一步是要对其进行流形映射，即确定F在背景 流形上的位置。位置坐标计算公式如下
Cjv+1=C*(5- +1)/2 5 其中，》是由Isomap计算的样本间距离矩阵S的列向量的均值，s糾是新视频 帧和训练背景图像的距离平方组成的维向量，C是所有训练样本的低维坐标
构成的矩阵，<:*表示矩阵C的伪逆的转置。
所述的在计算获得新视频帧F在背景流形上的位置之后，在背景流形的局 部欧氏范围内进行光流插值，得到从最接近的背景训练图像B(F)到F的光流 05F:设背景流形维数为A选取在背景流形上和F距离最接近的d+l个训练背 景图像5(F),52,…,5w，将背景流形上从5("到52，从5CF)到丑3，...，从必(" 到^+1的向量分别用vB2， v们，…，i^w+i)来表示，将从丑(/0到^的向量用v^表示， 则v^可以由下式表达成 的线性组合
再令^2，Ofi3,CW表示从5(/0到52，从5("到53,...，从5(F)到5州的光流，
令Ow表示从B(F)到F的向量，则6W可以用同样的权重由下式快速计算得到:
。M ="々S2 + "々53 +... + ""夠 7 其中0B2, OB(w)已在背景训练训练阶段计算得到。 所述的根据5(F)和Ow构造出一个图像获得和F处在完全相同的视角下的背景图像5f:设图像高/z像素，宽W像素，首先构造一个的空图像作为 丑f的初始图像；^的像素(x,力的颜色由下式计算& "力=5(F)(x _ (x，力,_y - 0BF (x，力) 8 所述的利用图像F和与其处在完全相同视角下的背景图像5p通过背景减 除，即获得F的前景区域，完成了F的前景分割对于每个像素坐标(x,力，计 算F和5F的颜色三分量差值[C(x,;^,C(x,j;)G,C(x,>Oa]=[IF"A - A(x，力J,IF"力g —斗(;c,力gII，IIF(x,力s - AOc，力sl] 9其中C(x，力m^表示两幅图像的(x，力像素颜色的i /G/S分量差值，尸(x,力表示图 像F的像素O，力颜色 m /b分量，(x, _y)脆/b表不图像丑f的像素(;c，力颜色i /G/S 分量；之后，计算向量C(x，力在RGB空间的代表亮度的长度和代表色品的角度，如果角度超过阈值，则像素(x,y)为前景像素，否则为背景像素。 实施例1要对一个旋转的监控相机拍摄的视频进行前景提取。如图2所示为视频中 的几个代表帧和前景提取的结果。相机拍摄到的图象分辨率为320*240。下面结 合前面所述的具体技术方案说明该实例实施的步骤，如下1. 训练背景图像的获取在相机的旋转范围内，随机选取300个视角，拍摄300幅纯背景图像作为 训练背景图像集{5 }。2. 训练背景图像的流形降维对300幅训练背景图像用Isomap进行降维(具体计算步骤如前面所示，不 再罗列)。在判断邻居图G的邻居时，采用&最近邻法，取h6。由于本例中旋 转相机的视角变化自由度为2 (竖直方向的仰角和水平方向的偏离角)，因此 Isomap降维时流形维数d取2。3. 训练背景图像的光流计算对于{5 }中任一样本A，在流形上寻找它最接近的A: a取6)个邻居并计 算A和每个邻居间的光流。计算光流采用局部窗口相关性距离法，具体计算公 式如前所述，不再罗列。在计算光流时，只计算角点处的光流，非角点处光流 由邻近的角点处光流插值得到(采用A近邻插值，A取5)。在插值之前，采用局 部高斯模型去除角点处光流的奇异值。 4. 新视频帧的流形映射本步骤是在线阶段的开始，从这里开始对每个新视频帧F提取前景。首先 对F进行流形映射，即确定F在背景流形上的位置。具体计算公式如前所述，不再罗列。5. 新视频帧的光流插值在确定新视频帧F在流形上的位置之后，在背景流形的局部欧氏范围内进行光流插值，获得从F到最接近的背景训练图像5(F)之间的光流0^:在本例中，流形维数d-2，如图l，选取在背景流形上和F距离最接近的3个训练背景 图像5("，必2,丑3 (按距离升序排列)。假定背景流形上从5(F)到52、从5("到 ￡3、从B(F)到F的向量分别用vB2、 vB3、 v^来表示，VM可以表达成Vb2与&3 的线性组合再令0￡2， 0B3, Ow表示从5CF)到52，从5(F)到53，从5(F)到F的光流， 则0^可以用同样的权重由C B2, Om和快速插值得到其中"2,"3和已在背景训练训练阶段(步骤3)计算得到。6. 新视频帧的背景构造在插值获得从F到最接近的背景训练图像B(F)之间的光流Ow之后，根据 5(F)和Ow构造出一个图像获得和F处在完全相同的视角下的背景图像5^由 Ow所记录的丑CF)和F的像素间对应关系，根据已知的训练背景图像5(F)，即 可以构造出图像必f，它是一个背景图像，且和F处在完全相同的视角。7. 背景减除和前景提取在构造出和新视频帧F处在完全相同视角下的背景图像Bf后，就可以利用 利用图像F和5F，通过背景减除，即获得F的前景区域，完成了 F的前景分割。 背景减除是指根据图像F和5F逐像素进行颜色的比较，获得F的前景区域。在 本例中，本方法的在线前景提取的速度为30帧/秒，达到实时要求。实施例2要对一个由于手持而抖动，同时又有縮放变化的相机拍摄的视频进行前景 提取。如图3所示为视频中的几个代表帧和前景提取的结果。相机拍摄到的图 象分辨率为320*240。下面结合前面所述的具体技术方案说明该实例实施的步骤，如下
1. 训练背景图像的获取
取相机的8个縮放级别，在每个縮放级别上随机抖动拍摄100幅图像，于
是，训练背景图像集{5 }包含800幅背景图像。
2. 训练背景图像的流形降维对640幅训练背景图像用Isomap进行降维(具体计算步骤如前面所示，不 再罗列)。在判断邻居图G的邻居时，采用&最近邻法，取h6。由于本例中相 机的视角变化自由度为4 (竖直方向的仰角、水平方向的偏离角、歪斜角度和縮 放比例)，因此Isomap降维时流形维数d取4。
3. 训练背景图像的光流计算
对于{5 }中任一样本5,，在流形上寻找它最接近的t a取6)个邻居并计
算A和每个邻居间的光流。计算光流采用局部窗口相关性距离法，具体计算公 式如前所述，不再罗列。在计算光流时，只计算角点处的光流，非角点处光流 由邻近的角点处光流插值得到(采用A近邻插值，A取5)。在插值之前，采用局 部高斯模型去除角点处光流的奇异值。
4. 新视频帧的流形映射
本步骤是在线阶段的开始，从这里开始对每个新视频帧F提取前景。首先 对F进行流形映射，即确定F在背景流形上的位置。具体计算公式如前所述， 不再罗列。
5. 新视频帧的光流插值
在确定新视频帧F在流形上的位置之后，在背景流形的局部欧氏范围内进 行光流插值，获得从F到最接近的肯景训练图像B(F)之间的光流0^:在本例 中，流形维数^/=4，所以，选取在背景流形上和F距离最接近的5个训练背景 图像5(",52,53,54,55 (按距离升序排列)。假定背景流形上从5(F)到丑2、从 5(F)到丑3、从5(iO到丑4、从5(F)到丑5、从J5CF)到F的向量分别用vB2、 v氾、
V肌、VS5、 V胖来表示，V^可以表达成V丑2、 Vfi3、 V似、V仍的线性组合 再令"2、 0B3、 Ofl4、 0B5、 Ow表示从fi(F)到52、从5(F)到丑3、从丑("到必4、
从B(/0到丑5、从B(F)到F的光流，则o^可以用同样的权重由"2、 O氾、O似、 0^快速插值得到<formula>formula see original document page 16</formula>其中^2、 "3、 O斜、C^5和已在背景训练训练阶段(步骤3)计算得到。
6. 新视频帧的背景构造
在插值获得从F到最接近的背景训练图像B(巧之间的光流0^之后，根据 5(F)和0^构造出一个图像获得和F处在完全相同的视角下的背景图像5f由 0^所记录的B("和F的像素间对应关系，根据已知的训练背景图像5(/0，即
可以构造出图像^r，它是一个背景图像，且和F处在完全相同的视角。
7. 背景减除和前景提取
在构造出和新视频帧F处在完全相同视角下的背景图像5f后，就可以利
用利用图像F和必户通过背景减除，即获得F的前景区域，完成了F的前景分
割。背景减除是指根据图像F和5f逐像素进行颜色的比较，获得F的前景区域。
权利要求
1.一种基于快速图像配准的视角变化条件下视频前景分割的方法，其特征在于包括离线的背景训练和在线的前景分割两个阶段，离线的背景训练阶段包括如下步骤(1)获取训练背景图像集{Bn}；(2)利用训练背景图像集来进行Isomap流形学习，获得其所在的低维流形；(3)利用窗口相关性方法、基于角点的插值和基于局部高斯模型的奇异值去除方法来计算在背景流形上位置接近的训练背景图像之间的光流；在线的前景分割阶段包括如下步骤(4)对每个新来的包含前景的视频帧F，首先利用扩展的Isomap计算该帧在背景流形上的位置；(5)在计算获得新视频帧F在背景流形上的位置之后，在背景流形的局部欧氏范围内进行光流插值，得到从最接近的背景训练图像B(F)到F的光流OBF；(6)根据B(F)和OBF构造出和F处在完全相同的视角下的背景图像BF；(7)利用图像F和BF，通过背景减除，即获得F的前景区域，完成了F的前景分割。
2. 根据权利要求1所述的一种基于快速图像配准的视角变化条件下视频前 景分割的方法，其特征在于，所述的获取训练背景图像集(^J:拍摄不同视角 的背景图像来获取训练背景图像集，或者使用视频中空的不包含前景的背景帧 作为训练背景图像集。
3. 根据权利要求1所述的一种基于快速图像配准的视角变化条件下视频前 景分割的方法，其特征在于，所述的利用训练背景图像集来进行Isomap流形学 习，获得训练背景图像集所在的低维流形对于￡>维向量集{5 }"= 1,2, ...,AO， 首先计算一个7Vx7V的距离矩阵S，公式如下-<formula>formula see original document page 2</formula> 1 其中,-刷即为5,与A之间的Z2距离；然后，根据距离矩阵S构造最短路径矩阵S'， g卩方阵S，记录了(5J中任意两个顶点^和A之间的最短路径； 然后，由距离矩阵S，来构造矩阵M:<formula>formula see original document page 2</formula>其中的矩阵好由=~ -1/W定义；于是，{5 }在J维流形上的映射(CJ (d X>)由下式计算-<formula>formula see original document page 3</formula>其中4, 4,...， 4为矩阵M的前d个非负特征值(降序排列)，<formula>formula see original document page 3</formula>是对应的特征向量，{ 5 》的本征维度d由降维后的残差确定，当残差变化曲线停 止随维度上升而降低时，维度作为本征维度d。
4. 根据权利要求1所述的一种基于快速图像配准的视角变化条件下视频前 景分割的方法，其特征在于，所述的利用窗口相关性方法、基于角点的插值和 基于局部高斯模型的奇异值去除方法来计算在背景流形上位置接近的训练背景 图像之间的光流对于{5 }中任一样本尿，在流形上寻找它最接近的A:个邻居 并计算A和每个邻居间的光流；计算从A到A的光流的方法如下定义一个局 部窗口大小，对于尿上的点尸。:(xqj;。)，在A的(x。^)点附近寻找点尸，:(jcq+Ax， yo+AK)，使得A上以尸，为中心的窗口和尿上以&为中心的窗口的相关性最大， 相关性定义为其中^和『2为两个窗口， ^和^"为窗口 M和『2的颜色均值；只计算角点处 的光流，同时，非角点处光流采用A:近邻插值由邻近的角点处光流插值得到； 在插值之前，采用局部高斯模型去除角点处光流的奇异值，用EM算法来迭代 去除角点处光流的奇异值，在EM算法的每一步迭代中，对每个不为奇异值的 光流"，利用其他临近的到不为奇异值的光流来计算一个局部高斯模型，然后 利用这个局部高斯模型来判断"是否应为奇异值。
5. 根据权利要求1所述的一种基于快速图像配准的视角变化条件下视频前 景分割的方法，其特征在于，所述的对每个新来的包含前景的视频帧F，首先 利用扩展的Isomap计算该帧在背景流形上的位置位置坐标计算公式如下<formula>formula see original document page 3</formula> 其中，S是由Isomap计算的样本间距离矩阵S的列向量的均值，^w是新视频 帧和训练背景图像的距离平方组成的W维向量，C是所有训练样本的低维坐标 构成的矩阵，C^表示矩阵C的伪逆的转置。
6. 根据权利要求1所述的一种基于快速图像配准的视角变化条件下视频前景分割的方法，其特征在于，所述的在计算获得新视频帧F在背景流形上的位 置之后，在背景流形的局部欧氏范围内进行光流插值，得到从最接近的背景训练图像5(F)到F的光流设背景流形维数为A选取在背景流形上和F距 离最接近的d+l个训练背景图像B(F)，52, ...,^+1，将背景流形上从5(F)到丑2, 从5("到53，…，从5(F)到5rf+i的向量分别用Vb3,…,V^+d来表示，将从 5("到F的向量用V^表示，则V^可以由下式表达成VB2， V^…，^的线性组合.<formula>formula see original document page 4</formula> 6再令"2,"3,仏f表示从丑(i0到52，从5(/0到丑3，...，从5("到A+i的光流， 令0^表示从5(F)到F的向量，则0^可以用同样的权重由下式快速计算得到<formula>formula see original document page 4</formula> 7其中0B3,...， 0^+1)已在背景训练训练阶段计算得到。
7. 根据权利要求1所述的一种基于快速图像配准的视角变化条件下视频前 景分割的方法，其特征在于，所述的根据5("和Ow构造出一个图像获得和F 处在完全相同的视角下的背景图像5p设图像高/z像素，宽vv像素，首先构造 一个Wvv的空图像作为&的初始图像；^的像素(jc，力的颜色由下式计算<formula>formula see original document page 4</formula> 8 。
8. 根据权利要求1所述的一种基于快速图像配准的视角变化条件下视频前 景分割的方法，其特征在于，所述的利用图像尸和与其处在完全相同视角下的 背景图像5p通过背景减除，即获得F的前景区域，完成了尸的前景分割对 于每个像素坐标(x,力，计算F和5F的颜色i /G/B三分量差值<formula>formula see original document page 4</formula> 9其中C(x,力欣^表示两幅图像的(x,力像素颜色的iW7/B分量差值，F(x，力表示图 像F的像素(x,力颜色狄^分量，5F (x,力腦/5表示图像5F的像素(jc，力颜色WG/B 分量；之后，计算向量C(x,力在RGB空间的代表亮度的长度和代表色品的角度， 如果角度超过阈值，则像素(x，y)为前景像素，否则为背景像素。
全文摘要
本发明公开了一种基于快速图像配准的视角变化条件下视频前景分割的方法。本方法利用一组不同视角下的训练背景图像进行Isomap流形学习获得背景模型。然后，对由于相机运动等原因而引起视角变化的视频，可以实时地进行前景分割，即将其中每帧的前景和背景进行分割。前景分割过程首先通过视频帧和最接近的训练背景图像间的光流构造一幅和视频帧的视角完全相同的背景图像，然后通过背景减除来获得前景区域。为了解决光流计算的低效率问题，本方法使用一种基于流形的光流插值来避免在线阶段的光流计算，在背景建模阶段预先计算视角相似的背景图像之间的光流，在前景分割阶段，利用新视频帧在背景流形上的位置快速插值获得光流。获得了很高的效率。
文档编号G06K9/00GK101216888SQ20081005912
公开日2008年7月9日 申请日期2008年1月14日 优先权日2008年1月14日
发明者飞 吴, 庄越挺, 俊 肖, 成 陈 申请人:浙江大学