专利名称：视频流背景图像建模方法
技术领域：
本发明属于视频监控技术领域，涉及一种用于视频监控系统的视频流背景图像建模方法。
背景技术：
视频监控系统是一个备受关注且具有广泛的应用前景的智能系统。一个典型的视频监控系统一般是用一个静态的摄像机对某个固定区域的目标进行监控，其中从视频流中实时分离出运动目标是视频监控系统一个基本环节。而背景差分法以其简单可靠在运动目标检测中得到广泛应用，然而，在许多视频监控场所，监控场景的背景不是固定的，往往受光照、天气等环境因素的影响，因此如何准确获取动态变化的场景背景是利用背景差分法进行运动目标检测的关键，为此，前人提出了大量的背景建模方法其中Stauffer与Grimson在《Adaptive BackgroundMixture Models for Real-Time Tracking》一文中利用自适应的混合高斯背景模型，并且利用在线估计来更新模型，进而可靠地处理了光照变化、背景动态运动的干扰等影响，然而，由于其背景模型是逐象素进行计算，存在计算量大，“虚影”现象等问题，李志慧等人在《交通流视频检测中背景模型与阴影检测算法》一文中通过对彩色视频的背景建模，并引入反馈机制，较好的克服了“虚影”现象，然而彩色视频的引入大大提高了背景建模的复杂度，赵燕伟等人在《一种交通流信息视频检测中的特征采集方法》(中国专利，专利申请号200510062004.3)中采用了一种基于逐象素亮度混合高斯分布的背景帧维护方法。但在上述文献中，背景模型的建立和维护都是逐象素进行，计算复杂度大，特别是对于彩色视频存在更大的计算复杂度，难于满足那些对系统的实时性、可靠性和准确性都要求较高的应用场合的需求。
发明内容
本发明要解决的技术问题是克服目前基于混合高斯模型的背景建模方法中存在实时性差的问题，提供一种基于Bayer模式的快速混合高斯背景建模方法，使其能够提高视频监控系统的实时性、可靠性和准确性。
为解决上述技术问题，本发明的方法包括以下步骤 (1)设定混合高斯模型的相关参数，所述的参数包括全局背景阈值T、学习率α、高斯分布模型个数K、和初始化帧数M； (2)采集摄像机的数字视频信息，并利用中值和高斯滤波对获取的彩色或灰度数字视频信息进行去噪和清晰化处理； (3)数字视频信号进行子采样，对基于RGB或YCrCb模式的彩色数字视频信号，依据分量分离的原则，按照Bayer模式进行子采样，而对于灰度数字视频信号，则直接对亮度信息按照Bayer模式进行1/2子采样； (4)根据前K帧子采样视频图像的各象素分量值对各象素的混合高斯模型进行初始化，在此基础上，利用前M-1帧的子采样视频图像完成对混合高斯背景模型的初始化； (5)随监控场景外界条件的变化，根据运动目标区域有选择地进行混合高斯模型的背景更新； (6)通过邻域插值来获取完整的背景模型，对基于RGB或YCrCb模式的彩色数字视频信号，在Bayer模式子采样视频图像的基础上，按照邻域插值方法还原到原来的色彩模式，而对灰度数字视频信号则采用邻域插值方法还原到完整的视频模式。
所述(1)中，全局背景阈值T一般取T＝0.4、学习率α的取值范围一般在
、高斯分布个数K的取范围一般为[3，5]、而初始化帧数M取值范围一般为[50，500]。
所述(4)和(5)中，对基于RGB或YCrCb模式的彩色数字视频信号，将子采样视频图像上每个象素上的对应的色彩分量的视频序列可看作一时间序列{Xij，1，Xij，2，…，Xij，t}，且该时间序列可表示为K个高斯分布的叠加，即混合高斯分布。其当前点的概率表示为 式(1-1)中K为高斯分布个数，ωk为第k个高斯分布的权重系数，μij，k，t为第k个高斯分布的均值，Σij，k，t为第k个高斯分布的协方差矩阵，ij为象素点的序号，即第i行j列的象素点，而η为高斯概率密度函数，如式(1-2)。
所述(4)和(5)中，对灰度数字视频信号，则子采样视频图像上每个象素上的对应的只有亮度信息，因此混合高斯建模只对亮度信息进行处理。
所述(4)中的背景初始化过程包括如下步骤 (4.1)背景模型的初始设定，即将前K帧子采样视频图像的每个象素的相应分量值作为该象素各高斯分布的均值，方差、权重设为预定值，完成每个象素混合高斯背景模型的初始化。
(4.2)初始背景模型的更新，在初始高斯背景模型的基础上，根据前M-1帧的子采样视频图像各象素的相应分量信息更新其混合高斯模型，进而完成背景初始化。具体过程为 当获取新的一帧子采样视频图像后，首先得到子采样视频中每个象素点的值，并将该值与已有的各高斯分布进行比较。对于t时刻任意的象素点Xij，t，将其与已有的各高斯分布进行匹配，定义 如果Mij，k，t＝1，则可以认为第k个子模型与Xij，t匹配，此时权重进行如下更新 ωij，k，t＝(1-α)ωij，k，t-1+αMij，k，t，k＝1，...，K (1-4) 高斯分布的参数则进行如下更新 在式(1-4)和(1-5)中，α是学习率，决定了高斯模型模型参数变化的速度。g为参数更新率。
如果在已有的混合高斯背景模型中，没有一个高斯分布与该象素点匹配，此时，用新的高斯分布代替优先级最低的高斯分布。新的高斯分布的均值取当前象素点的相应分量、赋予较大的方差和较小的权重。
所述(5)中背景更新过程包括如下步骤 (5.1)前景区域的获取，即从前一帧的运动区域检测结果中获取前景区域，该部分信息由后续的目标检测部分反馈得到。
(5.2)前景区域的Bayer模式子采样，对前景区域采用(3)中所述的方式进行子采样。
(5.3)背景更新，当获取新的一帧子采样视频图像后，首先得到子采样视频中每个象素点的值，对于子采样图像阵列中上一帧为背景的象素点，仍按照(4.2)所述方法进行背景更新，而对于为前景的象素点，则继续保留前一帧背景模型的相关参数，如式(1-6)所示。
本发明的有益效果主要表现在1、算法的计算速度快、实时性高，由于本发明引入了Bayer模式对数字视频信号进行子采样，为此对数字彩色视频的背景建模效率提高为原来的1/3，而对数字灰度视频的背景建模效率提高为原来的1/2，对于彩色和灰度视频信息每秒钟能处理20帧以上；2、能较准确地反映环境变化情况，包括下雨、有雾的天气变化、光照变化、目标在背景中的移入和移出、树叶摆动等。
图1(a)是基于RGB的彩色数字视频信号，依据分量分离的原则，按照Bayer色彩模式进行子采样的示意图。
图1(b)是基于YCrCb模式的彩色数字视频信号，依据分量分离的原则，按照Bayer色彩模式进行子采样示意图。
图1(c)是灰度数字视频信号对亮度信息按照Bayer色彩模式进行1/2子采样的示意图。
图2(a)是基于RGB的彩色数字视频信号，由Bayer色彩模式子采样阵列经邻域插值还原为原始图像阵列的示意图。
图2(b)是基于YCrCb模式的彩色数字视频信号，由Bayer色彩模式子采样阵列经邻域插值还原为原始图像阵列的示意图。
图2(c)是灰度数字视频信号，由Bayer色彩模式1/2子采样阵列经邻域插值还原为原始图像阵列的示意图。
图3为本发明方法的步骤框图。
具体实施例方式 下面结合附图对本发明作进一步描述。
参照图3，其中描述了本发明的步骤框图。在步骤(1)相关参数设定中，完成对混合高斯模型的相关参数设定，所述的参数包括全局背景阈值T、学习率α、高斯分布模型个数K、和初始化帧数M。
在步骤(2)清晰化处理中，由于视频监控系统往往用在室外复杂环境中，视频信息将受雾、风沙等天气因素的影响，而使图像清晰程度降低，针对这一影响，本发明首先采用3×3的中值滤波器对所采集的每一帧数字视频图像进行去噪处理，然后在利用高斯滤波器对图像中的高频分量进行增强，使图像轮廓更为清晰。
在步骤(3)Bayer模式子采样中，完成每一帧数字视频图像的子采样，对于原数字视频中的图像阵列，假设首行为第一行，首列为第一列，并且图像阵列为RGB模式，则单行单列只取红色分量，双行双列只取蓝色分量，单行双列和双行单列只取绿色分量，那么t时刻子采样图像中某一象素点(i，j)可表示为
如果是YCrCb模式的彩色视频信号，则t时刻子样图像中某一象素点(i，j)可表示为
其他亮度和色度分离的彩色视频信号采用类似的子采样处理。如果是灰度视频信号，则t时刻子样图像中某一象素点(i，j)可表示为
如图1(a)、图1(b)和图1(c)所示。
在步骤(4)读取子采样象素点中，对RGB模式和YCrCb模式的彩色视频信号即读取每个相应子采样点上的相应色彩分量的数据作为该象素点的值，而对于灰度视频信号，则读取每个子采样点的亮度数据作为该象素点的值。
在步骤(6)混合高斯模型中，本发明对于子采样视频中象素点值看作一时间序列{Xij，1，Xij，2，…，Xij，t}，且在混合高斯模型中将该时间序列表示为K个高斯分布的叠加，即混合高斯分布。其当前点的概率表示为 式(2-4)中K为高斯分布个数，ωk为第k个高斯分布的权重系数，μij，k，t为第k个高斯分布的均值，Σij，k，t为第k个高斯分布的协方差矩阵，ij为象素点的序号，即第i行j列的象素点，而η为高斯密度函数，如下式。
如果是RGB模式的彩色视频信号，在建模时，认为R、G、B三通道是相互独立的。则μij，k，t、Σij，k，t可写成如下形式 μij，k，t＝Xij，k，t (2-6) Σij，k，t＝diag((σRij，k，t)2，(σGij，k，t)2，(σBij，k，t)2) (2-7) 各高斯分布优先级qk计算如下 当采用YCrCb空间时，μij，k，t、Σij，k，t、qk也可类似得到。当采用灰度空间时，μij，k，t、Σij，k，t、qk也形成如下形式 在步骤(5)初始背景设定中，将前K帧子采样视频图像的每个象素的相应分量值作为该象素各混合高斯模型的均值，方差、权重设为预定值，假设K取3，则各高斯模型的方差可分别设为14，15，16；而权值可分别设为0.05，0.06，0.07。
当所获取的视频帧数小于预定参数M时，表示系统还在背景初始化阶段，此时背景更新将执行步骤(7)初始背景更新过程，即当获得一帧新视频图像时，首先得到子采样视频中每个象素点的值，并将该值与已有的各高斯分布进行比较。对于t时刻任意的象素点Xij，t，将其与已有的各高斯分布进行匹配，定义 如果Mij，k，t＝1，则可以认为第k个高斯分布与Xij，t匹配，此时权重进行如下更新 ωij，k，t＝(1-α)ωij，k，t-1+αMij，k，t，k＝1，...，K (2-11) 高斯分布的参数则进行如下更新 在式(2-11)和(2-12)中，α是学习率，决定了高斯模型参数变化的速度。g为参数更新率。
如果在已有的混合高斯背景模型中，没有一个高斯分布与该象素点匹配，此时，用新的高斯分布代替优先级最低的高斯分布。新的高斯分布的均值取当前象素点的相应分离、赋予较大的方差和较小的权重。
当所获取的视频帧数不小于预定参数M时，表示系统背景更新阶段，该过程用来克服监控场景外界条件变化的影响，使背景模型能适应这些变化。由于在有些监控场景和时段，被检测出来的运动目标可能会出现短暂的停留现象，如果直接按步骤(7)的策略更新背景，会将暂时停留的运动目标更新为背景，当这些运动目标再次运动时，原来它们停留的区域就会被检测成为前景区域，出现所谓的“鬼影”现象，从而降低运动目标检测的正确率，在本发明中考虑了这种运动目标区域对背景更新的影响，采用了根据运动目标区域有选择地进行混合高斯的背景更新的策略。整个背景更新过程包括步骤(8)(9)(10)三部分。
在步骤(8)前景区域中，获取有目标检测部分根据前一帧所提取的运动目标区域，以实现有条件的背景更新，在实现中前景区域信息作为背景建模的外部参数，由目标检测部分反馈过来。
在步骤(9)Bayer模式子采样中实现与步骤(4)类似的功能，对运动目标区域进行子采样。
在步骤(10)背景更新中，当获得一帧新视频图像时，首先得到子采样视频中每个象素点的值，对于子采样图像阵列中上一帧为背景的象素点，仍按照步骤(7)中的背景更新策略进行更新，而对于为前景的象素点，则继续保留前一帧背景模型的相关参数，如式(2-13)所示。
通过步骤(7)的背景更新公式可知，高斯分布权值ω越大，表示一段时间内有较多的观察值与该子模型匹配；而方差σ的大小表示了子模型的稳定性，σ越小，子模型越稳定。因此，可以用权和方差之比ω/σ(q)作为子模型的优先级，进行背景建模。在步骤(6)中，按优先级值的大小以降序排列混合模型中所有子模型，前b个权值之和大于阈值T的子模型即为当前子采样视频的背景模型 式(2-14)中，T是背景建模阈值，它表示能真正反映背景的数据占总数据的最小比重，一般取T＝0.4。
在步骤(11)邻域插值中，根据子采样背景模型，按照图2(a)(b)(c)所示的方法分别对彩色视频和灰度视频进行邻域插值处理，还原出整个视频图像阵列的背景模型。
对于RGB模式的彩色视频信号，邻域插值处理如下所示
对于YCrCb模式的彩色视频信号，邻域插值处理如下所示
对于灰度视频信号，邻域插值处理如下所示 μij，t＝(μi-1j，t+μi+1j，t+μij-1，t+μij+1，t)/4(2-21) 经过邻域插值得到的便是完整的背景模型，在此基础上目标检测部分可以进行运动目标提取。
从上述描述可以看出，本发明的背景建模是在依据Bayer模式子采样的基础上，结合混合高斯模型实现的，对彩色视频来说，背景建模过程由原来需要计算3个色彩分量降为只需要计算1个分量，而其他分量则依据邻域内图像的相关性利用邻域插值方法获取，使背景建模的计算量降为原来的1/3；而对于灰度视频来说，同样依据Bayer模式进行1/2子采样，而不是简单的隔行隔列采样，从而最大限度保留了视频图像的原有信息，而整个背景模型则依据1/2子采样背景模型按照图2(c)所示的邻域插值法获取，在最大限度保留视频图像原始背景信息的基础上使背景建模的计算时间降为原来的1/2。
权利要求
1、一种视频流背景图像建模方法，其特征是它包括以下步骤，
(1)设定混合高斯模型的相关参数，所述的参数包括全局背景阈值T、学习率α、高斯分布模型个数K、和初始化帧数M；
(2)采集摄像机的数字视频信息，并利用中值和高斯滤波对获取的彩色或灰度数字视频信息进行去噪和清晰化处理；
(3)数字视频信号进行子采样，对基于RGB或YCrCb模式的彩色数字视频信号，依据分量分离的原则，按照Bayer模式进行子采样，而对于灰度数字视频信号，则直接对亮度信息按照Bayer模式进行1/2子采样；
(4)根据前K帧子采样视频图像的各象素分量值对各象素的混合高斯模型进行初始化，在此基础上，利用前M-1帧的子采样视频图像完成对混合高斯背景模型的初始化；
(5)随监控场景外界条件的变化，根据运动目标区域有选择地进行混合高斯模型的背景更新；
(6)通过邻域插值来获取完整的背景模型，对基于RGB或YCrCb模式的彩色数字视频信号，在Bayer模式子采样视频图像的基础上，按照邻域插值方法还原到原来的色彩模式，而对灰度数字视频信号则采用邻域插值方法还原到完整的视频模式。
2、根据权利要求1所述的视频流背景图像建模方法，其特征是所述(4)中的背景初始化过程包括如下步骤，
(4.1)背景模型的初始设定，即将前K帧子采样视频图像的每个象素的相应分量值作为该象素各高斯分布的均值，方差、权重设为预定值，完成每个象素混合高斯背景模型的初始化；
(4.2)初始背景模型的更新，在初始高斯背景模型的基础上，根据前M-1帧的子采样视频图像各象素的相应分量信息更新其混合高斯模型，进而完成背景初始化。
3、根据权利要求1所述的视频流背景图像建模方法，其特征是所述(5)中背景更新过程包括如下步骤，
(5.1)前景区域的获取，即从前一帧的运动区域检测结果中获取前景区域，该部分信息由后续的目标检测部分反馈得到；
(5.2)前景区域的Bayer模式子采样，对前景区域采用(3)中所述的方式进行子采样；
(5.3)背景更新，当获取新的一帧子采样视频图像后，首先得到子采样视频中每个象素点的值，对于子采样图像阵列中上一帧为背景的象素点，仍按照(4.2)所述方法进行背景更新，而对于为前景的象素点，则继续保留前一帧背景模型的相关参数。
全文摘要
本发明属于视频监控技术领域，涉及一种用于视频监控系统的视频流背景图像建模方法。该方法包括以下步骤(1)设定混合高斯模型的相关参数；(2)对获取的彩色或灰度数字视频信息进行去噪和清晰化处理；(3)数字视频信号按照Bayer模式进行子采样；(4)对各象素的混合高斯模型进行初始化，完成对混合高斯背景模型的初始化；(5)有选择地进行混合高斯模型的背景更新；(6)通过邻域插值来获取完整的背景模型。本发明能够提高视频监控系统的实时性、可靠性和准确性。
文档编号H04N5/272GK101420536SQ20081023628
公开日2009年4月29日 申请日期2008年11月28日 优先权日2008年11月28日
发明者峰 李, 彭长生, 珺 陆, 戴乐云 申请人:江苏科海智能系统有限公司