专利名称：一种自适应选取权重的增量式特征背景建模算法的制作方法
技术领域：
本发明涉及视频运动检测，尤其涉及一种自适应选取权重的增量式特征背景建模方法。
背景技术：
运动检测和运动跟踪是视觉领域内比较底层的问题，其中运动检测又是跟踪的前提。作为解决运动检测问题的一类方法，背景建模近年来受到很多研究者的关注。一些典型的背景建模方法包括高斯模型，混合高斯模型，核密度估计以及特征背景建模(Eigen-background Modeling)。前三种方法是基于像素的方法，即为每一个像素在时间域上建立一个单独模型进行描述。基于像素的背景建模计算复杂度较高，而且不利于捕捉复杂的背景内容，比如雨、雪等天气状况，风吹动树叶等情况。相反，Oliver等人在IEEE模式分析与机器智能汇刊上(IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8)831～843)提出的特征背景建模方法则是基于整体视频帧，因此能较好的表达复杂的背景信息。这种方法的流程可概括为用一组样例背景图像计算协方差矩阵并抽取几个特征背景(特征向量)，将当前帧投影至这些特征向量上获得一组特征系数，基于样例背景图像的均值和这些特征向量重建当前背景帧。其原理是采用主成分分析(Principle Component Analysis)技术重建背景帧，由于少数特征向量仅描述图像的整体特征，因此相对于场景来说较小的前景物体就被忽略了，从而使得重建的背景图像只包括场景信息。然而这种特征背景建模方法仍然存在两个主要问题一是此方法需要预先准备一组样例背景图像，选取哪些图像作为样例对于算法准确率影响很大，而且原始的特征背景建模方法没有讨论如何对模型做快速更新；二是由于特征根分解是在整幅图像上进行的，这就导致较大的前景运动物体被“吸收”进背景模型，从而无法生成理想的背景图像。第一个问题可以用Weng等人在IEEE模式分析与机器智能汇刊(IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(8)1034～1040)上提出的增量式主成分分析方法解决。这是一种无需构造协方差矩阵，增量式的特征向量更新算法，适合背景建模中的模型更新这类实时应用。针对第二个问题，目前对特征背景建模方法最新的改进是Yongmin Li在Pattern Recognition上发表的鲁棒的增量式子空间学习方法(Yongmin Li.Onincremental and robust subspace learning.Pattern Recognition2004(37)1509～1518)。作者不仅实现了对特征背景模型的增量式实时更新，而且为不同的视频帧指定不同的权重以增加鲁棒性。然而作者并未对这些权重加以解释，没有为此权重赋予物理含义，更没有提供定量的合理的权重计算方法。显然，仅靠经验确定权重的方法很不稳定，难以建立优化的背景模型和生成理想的背景图像。另外，权重是施加在整幅图像上，并未考虑图像的不同区域对背景模型的不同贡献。
发明内容
本发明的目的是提供一种自适应选取权重的增量式特征背景建模方法，包括如下步骤 自适应选取权重的增量式特征背景建模方法包括如下步骤 1)基于样本背景视频帧用主成分分析建立初始背景模型； 2)利用当前背景模型重建输入视频帧的背景图像，并计算背景图像与输入视频帧之间的误差； 3)根据背景图像与输入视频帧之间的误差确定输入视频帧中的运动区域； 4)基于背景图像与输入视频帧之间的误差自适应地为输入视频帧的运动区域构造权重； 5)基于加权的视频帧，采用增量式主成分分析进行背景模型更新。
所述的基于样本背景视频帧用主成分分析建立初始背景模型方法为设样本背景图像表示为向量X＝(x1，...xn)T，计算这组向量的均值μx＝E(X)，协方差矩阵Cx＝E{(x-μx)(x-μx)T}，计算协方差矩阵Cx的特征值和特征向量基于特征值λi和特征向量ei满足的约束条件Cx·ei＝λi·ei求解λi和ei，其中i＝1，…，n，将特征向量按照特征值的大小从大到小排列，得到一组正交基A；这组正交基与样本背景视频帧的均值即为初始背景模型。
所述的用当前背景模型重建输入视频帧的背景图像并计算背景图像与输入视频帧之间的误差令E＝{E1，…，En}和
分别为当前背景模型的特征向量和背景视频帧的均值，Fm+1是当前视频帧，对Fm+1减除均值
得到Fm+1％，并将Fm+1％投影至E其中cof是投影系数向量，用来重建当前视频帧，当前帧Fm+1可重建为当前帧Fm+1与重建帧Fm+1′之间的误差可按下式计算其中npxl是当前帧中所有像素的数目，er是当前帧和背景帧之间的均方根误差。
所述的根据背景图像与输入视频帧之间的误差确定输入视频帧中的运动区域令Fdif为当前帧Fm+1与重建帧Fm+1′的差分图像，首先将Fdif转化为灰度图Fdif％，然后沿x方向和y方向分别计算Fdif％的灰度分布直方图，直方图的每一栏里是这一行或这一列图像上非零值像素的累计个数，直方图上非零值像素数目最多的位置就表示差分图像Fdif％上非零值像素最密集的区域，当非零像素数目超过某一阈值时，该位置为运动区域。
所述的基于背景图像与输入视频帧之间的误差自适应地为输入视频帧的运动区域构造权重令MR为粗略检测到的当前帧上的运动区域，
是当前均值图像中与此运动区域处于同一位置的子区域，计算加权的运动区域为权重W可按下式进行自适应的选取其中θ和α是阈值。
所述的基于加权的视频帧，采用增量式主成分分析进行背景模型更新的方法为 按如下公式进行加权处理
其中W是权重，
是当前均值图像中与此运动区域处于同一位置的子区域，；更新当前模型的背景均值其中F1，...Fm为前m帧，
是均值，Fm+1为当前帧； 假设{E1，...En}是当前特征背景模型的特征向量，当有新的一帧Ft+1到来时，减除更新后的均值
得到Ft+1％，然后基于Ft+1％更新第一个特征向量 其中E1′为更新后的特征向量； 用E1重建Ft+1％，重建后的数据与Ft+1％之间的误差可计算为 此误差与E1的方向是正交的，可用来进一步更新第二个特征向量E2 接下来根据R1计算R2，逐步更新背景模型 本发明不仅能根据每一视频帧对背景模型进行增量式的实时更新，而且在更新过程中为每一帧指定一权重，从而增强背景模型的表达与描述能力，在实时运动检测与运动对象分割方面具有很大应用价值。采用未更新的特征背景模型粗略检测到当前帧的运动区域，并为运动区域指定一特定权重。此权重仅仅施加于运动区域，图像的其它区域不受影响。采用一种自适应的方法定量计算权重。权重是基于当前帧和用未更新的特征背景模型重建的背景帧之间的误差进行计算。
图1是本发明中基于当前图像与背景图像差分图的灰度分布直方图进行运动区域粗略检测的示意图； 图2是本发明实施例1中的西湖边场景； 图3(a)是由传统的特征背景建模方法产生的背景图像； 图3(b)是由传统的特征背景建模方法产生的前景区域； 图3(c)是由本发明所述方法建模得到的背景图像， 图3(d)是由本发明所述方法建模得到的前景区域； 图4(a)是实施例2中包含人体运动的视频场景； 图4(b)是由传统的特征背景建模方法产生的背景图像； 图4(c)是由本发明所述方法建模得到的背景图像； 图5是本发明中针对大范围复杂场景进行背景建模效果示意图。
具体实施例方式 自适应选取权重的增量式特征背景建模方法实施如下 1)基于200个800×600的样本背景视频帧用主成分分析建立初始背景模型。我们为每段视频提供200帧样本背景图像，表示为X＝(x1，...x200)T，计算样本均值μx＝E(X)并采用主成分分析算法提取前30个特征向量首先计算协方差矩阵Cx＝E{(x-μx)(x-μx)T}，基于协方差矩阵的特征值λi和特征向量ei满足的约束条件Cx·ei＝λi·ei(i＝1，…，200)求解λi和ei，将特征向量按照特征值的大小从大到小排列，得到一组正交的特征向量A，选取前30个特征向量a，a和样本背景视频帧的均值构成了初始背景模型。
2)利用当前背景模型重建输入视频帧的背景图像，并计算背景图像与输入视频帧之间的误差。令E＝{E1，...E30和
分别为当前背景模型的特征向量和背景视频帧的均值，Fm+1是当前视频帧，对Fm+1减除均值
得到Fm+1％，并将Fm+1％投影至E当前帧Fm+1可重建为当前帧Fm+1与重建帧Fm+1′之间的误差可按下式计算其中npxl是当前帧中所有像素的数目，er即是当前帧和背景帧之间的均方根误差。
3)根据背景图像与输入视频帧之间的误差确定输入视频帧中的运动区域令Fdif为当前帧Fm+1与重建帧Fm+1′的差分图像，首先将Fdif转化为灰度图Fdif％，然后沿x方向和y方向分别计算Fdif％的灰度分布直方图，做法是在x方向将图像中每一列的非零像素累计个数，形成一个1×800行向量；在y方向将图像中每一行的非零像素累计个数，形成一个600×1列向量，两向量的每一个元素表明这一行或这一列图像上非零值像素的累计个数，直方图上非零值像素数目最多的位置就表示差分图像Fdif％上非零值像素最密集的区域，当非零像素数目超过某一阈值时，认为该位置出现了较为显著的运动，这里我们将阈值预先设定为20。运动区域检测效果如图1所示。
4)基于背景图像与输入视频帧之间的误差自适应地为输入视频帧的运动区域构造权重令MR为粗略检测到的当前帧上的运动区域，
是当前均值图像中与此运动区域处于同一位置的子区域，计算加权的运动区域为权重W可按下式进行自适应的选取其中θ和α是阈值，实际应用时θ取3-7，α取0.4-0.6即可得到让人满意的结果。
5)基于加权的视频帧，采用增量式主成分分析进行背景模型的实时更新 对当前帧的运动区域MR进行加权处理其中W是权重
是当前均值图像中与此运动区域处于同一位置的子区域；更新当前模型的背景均值其中F1，...Fm为前m帧，
是均值，Fm+1为当前帧，由于初始的背景模型是根据200帧背景图像建立的，因此在实施时m值从201开始，即F201为测试视频的第一帧； 假设{E1，...En}是当前特征背景模型的特征向量，当有新的一帧Ft+1到来时，减除更新后的均值
得到Ft+1％，然后基于Ft+1％更新第一个特征向量 其中E1′为更新后的特征向量； 用E1重建Ft+1％，重建后的数据与Ft+1％之间的误差可计算为 此误差与E1的方向是正交的，可用来进一步更新第二个特征向量E2 接下来可根据R1计算R2 按照这种方式逐步更新背景模型中包含的30个特征向量 为了验证本发明所述的方法，我们提供了三个背景建模实例。
实施例1 针对西湖湖面上的快艇进行背景建模实施例 第一个场景是夕阳映照中的西湖，一艘快艇迅速的驰过远方的湖面。在此场景下进行运动检测有一定的困难首先，我们希望检测出的前景物体也就是快艇在整幅画面中占据的面积太小，快艇的运动很容易被当作背景噪声被背景模型吸收；其次，视频画面中背景的变化较为显著，包括镜头近处上方被风吹动的树叶和湖波反射的阳光。如图2所示。
运动检测结果如图3所示。(a)和(b)是由传统的特征背景建模方法产生的背景图像和检测到的前景区域，(c)和(d)是由本发明所述方法得到的背景图像和前景区域。尽管直观上看，(a)和(c)并无差别，但检测到的运动前景却有差异。图像(b)表明，经典的特征背景建模方法不仅检测到了快艇，还检测到了晃动的背景树叶，而且树叶区域几乎与快艇区域等大，这就造成无法区分前景和背景。原因在于经典的特征背景建模方法只是根据我们给出的200帧样本图像建立背景模型，而没有对模型做更新，因此对超出样本数据范围的场景变化缺乏表达能力。图像(d)则基本上只检测到了运动的快艇，这是因为本发明所述方法是种基于增量式主成分分析的算法，背景模型不断更新从而能适应场景的动态变化。
实施例2 针对西湖边的运动人体进行背景建模实施例 第二个场景是一个人沿着苏堤走过湖畔，背景是有风浪运动的西湖，如图4(a)所示。这里的困难在于背景湖面面积较大，而且背景波浪运动十分复杂，同时近处的柳枝随风舞动，很容易被当作前景物体。我们基于此场景分别测试了传统特征背景建模方法和本发明所述方法，生成的背景图像分别如图4(b)和图4(c)所示。图4(b)显示背景图像中在有人经过的区域产生了明显的“鬼影”现象，这是因为传统的方法将视频帧作为一个整体看待，而没有考虑到图像中不同区域的运动情况，因此前景物体的运动容易被吸收进背景模型。对于很大的前景运动物体这种问题尤为严重。图4(c)表明本发明所述方法较为成功的解决了此问题，因为考虑到了运动区域对背景模型的影响。
实施例3 针对大范围复杂场景进行背景建模实施例 最后一个场景对于所有基于背景建模的运动检测方法都很有挑战性。测试视频是在浙江大学玉泉校区的草坪上拍摄的，有人快速跑过整个场景，场景包含非常复杂的背景变化，如远处无规律运动的人群和随风摇曳的树丛。同样基于这个场景测试传统的方法和本发明所述方法，图5展示了算法效果。在图5中，第一行是原始视频的第1373、1410、1450、1634和第1660帧，第二行是用传统方法生成的对应背景图像，第三行是用本发明所述方法生成的对应背景图像。第二行图像中，圆圈处的图像区域有很明显的“鬼影”效果，这同样是因为作者并未采取任何措施防止运动区域被纳入背景模型。相反，本发明所述方法能很好的解决此问题。
权利要求
1.一种自适应选取权重的增量式特征背景建模方法，其特征在于包括如下步骤
1)基于样本背景视频帧用主成分分析建立初始背景模型；
2)利用当前背景模型重建输入视频帧的背景图像，并计算背景图像与输入视频帧之间的误差；
3)根据背景图像与输入视频帧之间的误差确定输入视频帧中的运动区域；
4)基于背景图像与输入视频帧之间的误差自适应地为输入视频帧的运动区域构造权重；
5)基于加权的视频帧，采用增量式主成分分析进行背景模型更新。
2.根据权利要求1所述的一种自适应选取权重的增量式特征背景建模方法，其特征在于所述的基于样本背景视频帧用主成分分析建立初始背景模型方法为设样本背景图像表示为向量X＝(x1，...xn)T，计算这组向量的均值μx＝E(X)，协方差矩阵Cx＝E{(x-μx)(x-μx)T}，计算协方差矩阵Cx的特征值和特征向量基于特征值λi和特征向量ei满足的约束条件Cx·ei＝λi·ei求解λi和ei，其中i＝1，…，n，将特征向量按照特征值的大小从大到小排列，得到一组正交基A；这组正交基与样本背景视频帧的均值即为初始背景模型。
3.根据权利要求1所述的一种自适应选取权重的增量式特征背景建模方法，其特征在于所述的用当前背景模型重建输入视频帧的背景图像并计算背景图像与输入视频帧之间的误差令E＝{E1，…，En}和
分别为当前背景模型的特征向量和背景视频帧的均值，Fm+1是当前视频帧，对Fm+1减除均值
得到Fm+1％，并将Fm+1％投影至E其中cof是投影系数向量，用来重建当前视频帧，当前帧Fm+1可重建为当前帧Fm+1与重建帧Fm+1′之间的误差可按下式计算其中npxl是当前帧中所有像素的数目，er是当前帧和背景帧之间的均方根误差。
4.根据权利要求1所述的一种自适应选取权重的增量式特征背景建模方法，其特征在于所述的根据背景图像与输入视频帧之间的误差确定输入视频帧中的运动区域令Fdif为当前帧Fm+1与重建帧Fm+1′的差分图像，首先将Fdif转化为灰度图Fdif％，然后沿x方向和y方向分别计算Fdif％的灰度分布直方图，直方图的每一栏里是这一行或这一列图像上非零值像素的累计个数，直方图上非零值像素数目最多的位置就表示差分图像Fdif％上非零值像素最密集的区域，当非零像素数目超过某一阈值时，该位置为运动区域。
5.根据权利要求1所述的一种自适应选取权重的增量式特征背景建模方法，其特征在于所述的基于背景图像与输入视频帧之间的误差自适应地为输入视频帧的运动区域构造权重令MR为粗略检测到的当前帧上的运动区域，
是当前均值图像中与此运动区域处于同一位置的子区域，计算加权的运动区域为权重W可按下式进行自适应的选取其中θ和α是阈值。
6.根据权利要求1所述的一种自适应选取权重的增量式特征背景建模方法，其特征在于所述的基于加权的视频帧，采用增量式主成分分析进行背景模型更新的方法为
按如下公式进行加权处理其中W是权重，
是当前均值图像中与此运动区域处于同一位置的子区域，；更新当前模型的背景均值其中F1，...Fm为前m帧，
是均值，Fm+1为当前帧；
假设{E1，...En}是当前特征背景模型的特征向量，当有新的一帧Ft+1到来时，减除更新后的均值
得到Ft+1％，然后基于Ft+1％更新第一个特征向量
其中E1′为更新后的特征向量；
用E1重建Ft+1％，重建后的数据与Ft+1％之间的误差可计算为
此误差与E1的方向是正交的，可用来进一步更新第二个特征向量E2
接下来根据R1计算R2，逐步更新背景模型
全文摘要
本发明公开了一种自适应选取权重的增量式特征背景建模方法。在运动检测中不仅能根据每一视频帧包含的运动情况对背景模型进行增量式的实时更新，而且在更新过程中为每一帧指定一个权重，从而增强背景模型的表达与描述能力。首先采用未更新的背景模型粗略检测到当前帧的运动区域，然后基于模型的重建误差为运动区域构造权重，最后基于加权的当前帧采用增量式主成分分析进行背景模型更新，生成背景图像。本发明提供的技术不仅能够很好的表达复杂场景的动态变化，而且对前景具有显著运动的物体十分敏感，在视频监控等领域具有较高应用价值。
文档编号G06T7/00GK101216942SQ20081005913
公开日2008年7月9日 申请日期2008年1月14日 优先权日2008年1月14日
发明者庄越挺, 剑 张, 俊 肖, 飞 吴 申请人:浙江大学