专利名称：一种多模态自动更新替换的背景建模方法
技术领域：
本发明属于视频监控技术领域，涉及一种用于视频运动目标检测的背景建模方法，具体涉及一种多模态自动更新替换的背景建模方法。
背景技术：
运动目标检测是完成智能监控系统中目标行为分析的最关键的环节，考虑到监视视场中运动目标在运动方向、速度上的不确定性，通常大多采用背景差分法来完成对运动目标的检测。然而采用背景差分法进行运动目标检测的效果，取决于背景模型是否有效。因为在背景中，虽然景物没有变化，但环境的光照会发生无法预知的变化，除缓慢的自然光照的变化之外，还存在如过云、风吹树叶摇动等突发变化，为此，就需要所建立的背景模型有一定的适应性，虽然目前已经有混合高斯模型等多种方法来实现具有一定自适应的背景建模，但在实际应用中仍旧存在着许多的问题。
发明内容
本发明的目的是提供一种多模态自动更新替换的背景建模方法，解决了现有的背景建模方法对环境的突发变化适应性不高的问题。
本发明所采用的技术方案是，一种多模态自动更新替换的背景建模方法，具体按照以下步骤实施 步骤1主背景和辅助背景的建模 主背景建模具体按照以下步骤实施 a.主背景模型的初始化； b.对主背景模型进行修正； c.更新主背景模型阈值； 辅助背景建模具体按照以下步骤实施 a.建立候补辅助背景序列； b.对分类数据进行统计； c.更新辅助背景模型的阈值； 步骤2待更新背景的计算 按照以下公式，进行背景更新
Fk＝[fk(i，j)]m×n为监视视频的当前帧，B＝[b(i，j)]m×n为背景模型，Ok＝[ok(i，j)]m×n为当前帧的目标检测结果，th为背景判断阈值。
本发明的特点还在于， 其中的步骤1主背景建模a步中主背景模型的初始化，具体按照以下步骤实施 取连续的N帧视频进行背景学习，N的大小满足视频帧序列中，每个像素点未被运动目标遮挡的帧数占总帧数的98％，采用单高斯法，得到主背景的初始值Bmain＝[bmain(i，j)]m×n，m，n分别为视频帧图像的行数及列数，bmain(i，j)＝μ(i，j)，i＝1，2，...，m，j＝1，2，...，n，其中，μ(i，j)为N帧视频帧图像在点(i，j)上的均值，即fk(i，j)为第k帧视频图像，并统计该N帧视频图像的标准差σ(i，j)，即
其中的步骤1主背景建模b步中对主背景模型进行修正，具体按照以下步骤实施 对第N+1帧到第2N帧的视频图像序列，通过以下计算得到修正后的主背景模型Bmain＝[bmain(i，j)]m×n，即
其中，阈值th1(i，j)＝2σ(i，j)，σ(i，j)为步骤1a步计算得到的前N帧视频图像的标准差。
其中的步骤1主背景建模c步中更新主背景模型阈值，具体按照以下步骤实施 令σold(i，j)＝th1(i，j)/2，
其中，i＝1，2，...，m，j＝1，2，...，n，k＝N+1，N+2，...，2N， th1(i，j)＝2σ(i，j)，i＝1，2，...，m，j＝1，2，...，n，α为更新率。
其中的步骤1辅助背景建模a步中建立候补辅助背景序列，具体按照以下步骤实施 在第2N+1帧到第3N帧的视频图像序列中，设置阈值序列th2(i，j)＝th1(i，j)+σ(i，j)，th3(i，j)＝th2(i，j)+σ(i，j)，......，thk+1(i，j)＝thk(i，j)+σ(i，j)，k为正整数， 如果|fk(i，j)-bmain(i，j)|＞th1(i，j)，并且|fk(i，j)-bmain(i，j)|≤th2(i，j)，则该帧在(i，j)点上的像素值归为C1(i，j)类； 同理，|fk(i，j)-bmain(i，j)|＞thm(i，j)，并且|fk(i，j)-bmain(i，j)|≤thm+1(i，j)，则该帧在(i，j)点上的像素值归为Cm(i，j)类。
其中的步骤1辅助背景建模b步中对分类数据进行统计，具体按照以下步骤实施 统计每个类别Ck(i，j)，k＝1，2，...，m中的像素个数，记作
如果设置的辅助背景是L个，则从m个类别中，选择出像素个数最多的L类作为辅助背景，未被选中的类别则进行删除，按照以下公式分别计算该L个类别的均值
之后，统计被选中类别中的像素分布标准差，即
其中的步骤1辅助背景建模c步中更新辅助背景模型的阈值，具体按照以下步骤实施 根据步骤1辅助背景建模b步中得到的像素分布标准差，按照以下公式更新辅助背景的判断阈值 thk(i，j)＝2σk(i，j)i＝1，2，...，m，j＝1，2，...，n，k＝1，2，...，L。
其中的步骤2待更新背景的计算，具体按照以下步骤实施 当背景是缓慢变化时，按照以下公式
其中，bs(i，j)为主背景及L个辅助背景，ths(i，j)为主背景及L个辅助背景的判断阈值， 同时，对背景模型的像素分布个数进行累加，即
设置上限值Nlim it，当Ns(i，j)≥Nlim it时，强制Ns(i，j)＝Nlim it， 首先，按照下式更新各背景模型的标准差
之后，更新背景的判断阈值 ths(i，j)＝2σs(i，j)， 其中，σs(i，j)为主背景及L个辅助背景模型的标准差； 当背景中的部分点发生跳变时，若待更新背景与之前设置的主背景bmain(i，j)，以及L个辅助背景之间的差异均超过了设定阈值，判断为前景点，将其值拷贝至待更新背景，即 brenew(i，j)＝fk(i，j)， 同时，设置阈值thnew(i，j)＝min{th1(i，j)，ths(i，j)(s＝1，2，...，L)}，th1(i，j)为主背景的判断阈值，ths(i，j)为第s个辅助背景的判断阈值，对该待更新背景在之后的P帧内进行统计，若P帧中有Q帧，Q不少于预先设置的下限值，满足 |brenew(i，j)-fj(i，j)|≤thnew，j＝k+1，...，P 则被判断为属于待更新背景，即待更新背景的像素个数Nrenew(i，j)为 Nrenew(i，j)＝Q， 则将该Q帧的均值存入更新背景模型中，更新待更新模型的判断阈值，否则，将该点判断为前景，从待更新背景中删除，等待下次的重新判断，如果Nrenew(i，j)大于L个辅助背景中的某些辅助背景的像素分布个数，则将待更新背景替换掉L个辅助背景中统计值较小的一个，作为新的辅助背景，替换掉的辅助背景删除，同时也删除待更新背景，等待下次的重新判断。
本发明的有益效果是，在背景训练学习及更新过程中，建立多个模态进行背景描述，并根据所判得的当前状态，选择合适的模态进行背景描述，并在检测运动目标的同时，对所设置的多个模态进行更新与替换，由此，最大限度地提高在运动目标检测时对光照环境的适应。
具体实施例方式 下面结合具体实施方式
对本发明进行详细说明。
本发明多模态自动更新替换的背景建模方法，具体按照以下步骤实施 步骤1主背景和辅助背景的建模 主背景建模具体按照以下步骤实施 a.主背景模型的初始化 系统启动时，首先进入背景学习阶段，取连续的N帧视频进行背景学习，N的大小取决于该N帧中运动目标的运动速度，要求视频帧序列中，每个像素点未被运动目标遮挡的帧数占总帧数的98％，这时，便无需专门剔除运动目标，只需采用单高斯法，即可得到主背景的初始值Bmain＝[bmain(i，j)]m×n(m，n分别为视频帧图像的行数及列数)，即 bmain(i，j)＝μ(i，j)，i＝1，2，...，m，j＝1，2，...，n(1) 其中，μ(i，j)为N帧视频帧图像在点(i，j)上的均值，即fk(i，j)为第k帧视频图像。
并统计该N帧视频图像的标准差σ(i，j)，即
b.对主背景模型进行修正 对第N+1帧到第2N帧的视频图像序列，通过如下的计算得到修正后的主背景模型Bmain＝[bmain(i，j)]m×n，即
其中，阈值th0(i，j)＝2σ(i，j)，σ(i，j)为由公式(2)计算得到的前N帧视频图像的标准差。
c.更新阈值th0(i，j) 在利用公式(3)对背景模型进行修正的同时，也对阈值th1(i，j)进行更新，以保证其能够适应当前的环境光照的变化。
即令σold(i，j)＝th0(i，j)/2，
i＝1，2，...，m，j＝1，2，...，n，k＝N+1，N+2，...，2N。
(4) th0(i，j)＝2σ(i，j) i＝1，2，...，m，j＝1，2，...，n(5) 其中，α为更新率，α∈
。
辅助背景建模具体按照以下步骤实施 第2N+1帧到第3N帧的视频图像序列中，设置阈值序列th1(i，j)＝th0(i，j)+σ(i，j)，th2(i，j)＝th1(i，j)+σ(i，j)，......，thk+1(i，j)＝thk(i，j)+σ(i，j)，(k为正整数)。
a.建立候补辅助背景序列 如果|fk(i，j)-bmain(i，j)|＞th0(i，j)，并且|fk(i，j)-bmain(i，j)|≤th1(i，j)，则该帧在(i，j)点上的像素值归为C1(i，j)类。
同理，|fk(i，j)-bmain(i，j)|＞thm-1(i，j)，并且|fk(i，j)-bmain(i，j)|≤thm(i，j)，则该帧在(i，j)点上的像素值归为Cm(i，j)类。
b.对分类数据进行统计 统计每个类别Ck(i，j)，k＝1，2，...，m中的像素个数，记作
如果设置的辅助背景是L个，则从上面的m个类别中，选择出像素个数最多的L类(注如果上面统计得到的类别个数m≤L，则无需进行选择，全部为辅助背景，这时，令L＝m)，作为辅助背景，未被选中的类别则进行删除。同时，按照公式(6)分别计算该L个类别的均值
之后，统计被选中类别中的像素分布标准差，即
c.更新辅助背景模型的阈值 根据公式(7)计算得到的标准差，分别更新两个辅助背景的判断阈值，即 thk(i，j)＝2σk(i，j)i＝1，2，...，m，j＝1，2，...，n，k＝1，2，...，L (8) 步骤2待更新背景的计算 完成了主背景和辅助背景的建模之后，就可以将获得的阈值参数代入公式进行目标检测
其中，Fk＝[fk(i，j)]m×n为监视视频的当前帧，B＝[b(i，j)]m×n为背景模型，Ok＝[ok(i，j)]m×n为当前帧的目标检测结果，th为背景判断阈值，th∈{th0，th1，...，thL}。
通过背景差分法来检测运动目标。在检测的过程中，背景不断进行更新以适应光照环境的变化。当背景变化的情况不同，则本专利采用的更新方法也不同。
(1)背景是缓慢变化的情况 这种情况是指环境的光照条件没有剧烈变化的情况，则背景更新按照如下公式计算。
其中，bs(i，j)为主背景及L个辅助背景，ths(i，j)为主背景及L个辅助背景的判断阈值。
同时，对其所属的背景模型的像素分布个数进行累加，即
为了防止长期监控时，累加次数Ns(i，j)过大导致的溢出，这里采用的保护措施是，设置上限值Nlim it，当Ns(i，j)≥Nlim it时，强制Ns(i，j)＝Nlim it。
之后，进行下一时刻的背景更新阈值。
首先，按照下式更新各背景模型的标准差
之后，更新背景的判断阈值 ths(i，j)＝2σs(i，j)(13) 其中，σs(i，j)为主背景及L个辅助背景模型的标准差。
(2)背景中的部分点发生跳变的情况 背景中由于风吹树叶等各种原因发生长久跳变的点一般是比较少而且是相对离散的，这种变化开始可能不会影响到运动目标的提取，但如果长时间不更新的话，可能就会积少成多甚至会影响到对目标的检测，造成很多的误检。这就要求对这种背景中跳变的点也要进行的实时的更新。
本专利的做法是，如果通过判据判别其与之前设置的主背景bmain(i，j)，以及L个辅助背景之间的差异均超过了设定阈值，判断为前景点，同时，为了防止其有可能是跳变的背景，将其值拷贝至待更新背景，即 brenew(i，j)＝fk(i，j)(14) 同时，设置阈值thnew(i，j)＝min{th0(i，j)，ths(i，j)(s＝1，2，...，L)}(th0(i，j)为主背景的判断阈值，ths(i，j)为第s个辅助背景的判断阈值)，对该待更新背景在之后的P帧内进行统计，若P帧中有Q帧(Q不少于预先设置的下限值，下限值为经验值)满足 |brenew(i，j)-fj(i，j)|≤thnew，j＝k+1，...，P(15) 则被判断为属于待更新背景，即待更新背景的像素个数Nrenew(i，j)为 Nrenew(i，j)＝Q(16) 则将该Q帧的均值(按照公式(6)计算)存入更新背景模型中，并按照公式(7)，(8)更新待更新模型的判断阈值。否则，将该点判断为前景，从待更新背景中删除，等待下次的重新判断。
如果Nrenew(i，j)大于L个辅助背景中的某些辅助背景的像素分布个数(由公式(11)计算得到的结果)，则将待更新背景替换掉L个辅助背景中统计值较小的一个，作为新的辅助背景，替换掉的辅助背景删除，同时也删除待更新背景，等待下次的重新判断。
权利要求
1.一种多模态自动更新替换的背景建模方法，其特征在于，具体按照以下步骤实施
步骤1主背景和辅助背景的建模
主背景建模具体按照以下步骤实施
a.主背景模型的初始化；
b.对主背景模型进行修正；
c.更新主背景模型阈值；
辅助背景建模具体按照以下步骤实施
a.建立候补辅助背景序列；
b.对分类数据进行统计；
c.更新辅助背景模型的阈值；
步骤2待更新背景的计算
按照以下公式，进行背景更新
Fk＝[fk(i，j)]m×n为监视视频的当前帧，B＝[b(i，j)]m×n为背景模型，Ok＝[ok(i，j)]m×n为当前帧的目标检测结果，th为背景判断阈值。
2.根据权利要求1所述的多模态自动更新替换的背景建模方法，其特征在于，所述的步骤1主背景建模a步中主背景模型的初始化，具体按照以下步骤实施
取连续的N帧视频进行背景学习，N的大小满足视频帧序列中，每个像素点未被运动目标遮挡的帧数占总帧数的98％，采用单高斯法，得到主背景的初始值Bmain＝[bmain(i，j)]m×n，m，n分别为视频帧图像的行数及列数，bmain(i，j)＝μ(i，j)，i＝1，2，…，m，j＝1，2，…，n，其中，μ(i，j)为N帧视频帧图像在点(i，j)上的均值，即fk(i，j)为第k帧视频图像，并统计该N帧视频图像的标准差σ(i，j)，即
i＝1，2，…，m，j＝1，2，…，n。
3.根据权利要求1所述的多模态自动更新替换的背景建模方法，其特征在于，所述的步骤1主背景建模b步中对主背景模型进行修正，具体按照以下步骤实施
对第N+1帧到第2N帧的视频图像序列，通过以下计算得到修正后的主背景模型Bmain＝[bmain(i，j)]m×n，即
k＝N+1，N+2，…，2N，
其中，阈值th1(i，j)＝2σ(i，j)，σ(i，j)为步骤1a步计算得到的前N帧视频图像的标准差。
4.根据权利要求1所述的多模态自动更新替换的背景建模方法，其特征在于，所述的步骤1主背景建模c步中更新主背景模型阈值，具体按照以下步骤实施
令σold(i，j)＝th1(i，j)/2，
其中，i＝1，2，…，m，j＝1，2，…，n，k＝N+1，N+2，…，2N，
th1(i，j)＝2σ(i，j)，i＝1，2，…，m，j＝1，2，…，n，α为更新率。
5.根据权利要求1所述的多模态自动更新替换的背景建模方法，其特征在于，所述的步骤1辅助背景建模a步中建立候补辅助背景序列，具体按照以下步骤实施
在第2N+1帧到第3N帧的视频图像序列中，设置阈值序列th2(i，j)＝th1(i，j)+σ(i，j)，th3(i，j)＝th2(i，j)+σ(i，j)，……，thk+1(i，j)＝thk(i，j)+σ(i，j)，k为正整数，
如果|fk(i，j)-bmain(i，j)|＞th1(i，j)，并且|fk(i，j)-bmain(i，j)|≤th2(i，j)，则该帧在(i，j)点上的像素值归为C1(i，j)类；
同理，|fk(i，j)-bmain(i，j)|＞thm(i，j)，并且|fk(i，j)-bmain(i，j)|≤thm+1(i，j)，则该帧在(i，j)点上的像素值归为Cm(i，j)类。
6.根据权利要求1所述的多模态自动更新替换的背景建模方法，其特征在于，所述的步骤1辅助背景建模b步中对分类数据进行统计，具体按照以下步骤实施
统计每个类别Ck(i，j)，k＝1，2，…，m中的像素个数，记作
k＝1，2，…，m，如果设置的辅助背景是L个，则从m个类别中，选择出像素个数最多的L类作为辅助背景，未被选中的类别则进行删除，按照以下公式分别计算该L个类别的均值
i＝1，2，…，m，j＝1，2，…，n，k＝1，2，…，L，
之后，统计被选中类别中的像素分布标准差，即
i＝1，2，…，m，j＝1，2，…，n，k＝1，2，…，L。
7.根据权利要求1所述的多模态自动更新替换的背景建模方法，其特征在于，所述的步骤1辅助背景建模c步中更新辅助背景模型的阈值，具体按照以下步骤实施
根据步骤1辅助背景建模b步中得到的像素分布标准差，按照以下公式更新辅助背景的判断阈值
thk(i，j)＝2σk(i，j)i＝1，2，…，m，j＝1，2，…，n，k＝1，2，…，L。
8.根据权利要求1所述的多模态自动更新替换的背景建模方法，其特征在于，所述的步骤2待更新背景的计算，具体按照以下步骤实施
当背景是缓慢变化时，按照以下公式
其中，bs(i，j)为主背景及L个辅助背景，ths(i，j)为主背景及L个辅助背景的判断阈值，
同时，对背景模型的像素分布个数进行累加，即
设置上限值Nlim it，当Ns(i，j)≥Nlim it时，强制Ns(i，j)＝Nlim it，首先，按照下式更新各背景模型的标准差
之后，更新背景的判断阈值
ths(i，j)＝2σs(i，j)，
其中，σs(i，j)为主背景及L个辅助背景模型的标准差；
当背景中的部分点发生跳变时，若待更新背景与之前设置的主背景bmain(i，j)，以及L个辅助背景之间的差异均超过了设定阈值，判断为前景点，将其值拷贝至待更新背景，即
brenew(i，j)＝fk(i，j)，
同时，设置阈值thnew(i，j)＝min{th1(i，j)，ths(i，j)(s＝1，2，…，L)}，th1(i，j)为主背景的判断阈值，ths(i，j)为第s个辅助背景的判断阈值，对该待更新背景在之后的P帧内进行统计，若P帧中有Q帧，Q不少于预先设置的下限值，满足
|brenew(i，j)-fj(i，j)|≤thnew，j＝k+1，…，P
则被判断为属于待更新背景，即待更新背景的像素个数Nrenew(i，j)为
Nrenew(i，j)＝Q，
则将该Q帧的均值存入更新背景模型中，更新待更新模型的判断阈值，否则，将该点判断为前景，从待更新背景中删除，等待下次的重新判断，如果Nrenew(i，j)大于L个辅助背景中的某些辅助背景的像素分布个数，则将待更新背景替换掉L个辅助背景中统计值较小的一个，作为新的辅助背景，替换掉的辅助背景删除，同时也删除待更新背景，等待下次的重新判断。
全文摘要
本发明公开的一种多模态自动更新替换的背景建模方法，首先进行主背景和辅助背景的建模，主背景建模按照以下步骤实施主背景模型的初始化，对主背景模型进行修正，更新阈值；辅助背景建模按照以下步骤实施建立候补辅助背景序列，对分类数据进行统计，更新辅助背景模型的阈值。其次进行待更新背景的计算，并根据戴更新背景的出现频度来确定其替换其中的辅助背景。本发明方法采用了一种多模态更新替换的设计思想，采用多种模态构成的矢量来对背景进行建模，通过不断的更新与模态间的替换，完成背景适应于环境光照的变化。本背景建模方法适用于智能监控系统中，采用背景差分法检测运动目标。
文档编号H04N5/14GK101777186SQ201010013590
公开日2010年7月14日 申请日期2010年1月13日 优先权日2010年1月13日
发明者朱虹, 马文庆, 王栋, 孟凡星, 邢楠, 刘薇 申请人:西安理工大学