专利名称：智能视频监控用结构化背景重建方法
技术领域：
本发明涉及视频监控领域，特别是涉及一种智能视频监控用结构化背景重建方法。
背景技术：
随着我国民用监控安全系统网络的不断增大，对采集到得视频进行自动化的智能化分析，可提高海量监控录像数据量的有效利用率。智能监控视频分析中，都画面的运动目标提取、追踪、轨迹分析，以及目标搜索、快速定位等，都依赖于监控场景的背景画面。有效准确地重建场景的背景，是基于差分图像的目标提取的基础，当前帧图像与背景图像差分后，运动的目标区域由于差异较大，在差分后的图像中像素值较高，而静态背景区域，由于其画面跟背景画面基本一致，差分后的像素值很小。 一般的基于帧图像均值进行背景重建方法，一直对帧图像按时间进行均值积累，均值积累的背景图像其边缘模糊，画面对比度较小，不利于有效准确地提取到目标的轮廓。一般的基于相领帧间差分分割静态背景和动态前景来重构场景背景，在于两帧的间隔较大，运动目标在两帧之间几乎不存在交叠，或交叠很小。基于这种时间间隔较远帧的差分，差分图像中不存在因运动目标本身交叠，同时交叠区域灰度变化较小的情况下，将目标区域也当做背景区域，导致学习速度慢、特别是运动目标较大、运动速度较慢的情况下，如果运动目标区域的灰度变化比较平缓，学习的背景出现较大的错误。这种错误同时也会积累随着时间而不断积累进背景图像，导致背景重建失败。
发明内容
本发明主要解决的技术问题是提供一种智能视频监控用结构化背景重建方法，能够结合帧平均图像时间积累和背景区域分割两种方法相结合的背景学习方法，可快速、有效、清晰地重建监控场景的静态背景画面。为解决上述技术问题，本发明采用的一个技术方案是提供一种智能视频监控用结构化背景重建方法，包括图像帧获取与更新模块、画面运动光流估计模块、画面分割模块、图像均值模块、背景局部重建模块、背景重建状态检测模块、输出背景模块；
通过所述图像帧获取与更新模块获取与更新图像；
所述画面运动光流估计模块检测所述图像的全画面运动光流，记入缓存中的运动光流队列，并判断运动状态；
所述画面分割模块进一步对动态的帧间画面进行分割，区分出静态、动态、由静态到动态、由动态到静态四类区域；
所述图像均值模块以静态区域为掩膜模板，根据不同的画面状态，更新两幅图像中静态趣面部分；
所述背景局部重建模块将静态区域的像素均值填补到背景图相对应位置；
所述背景重建状态检测模块计算背景画面重建的百分比，是否完成重建，如果没有完成，回到第一步获取新的图像帧，继续画面分割，进行帧画面分割和背景重建，如果完成，则将背景通过输出背景模块输出。在本发明一个较佳实施例中，所述图像帧获取与更新模块在更新帧图像时，每次在更新当前帧图像时，都与前一帧图像的时间间隔间隔2 30秒。在本发明一个较佳实施例中，所述画面运动光流估计模块将全画面分成大小相等的小区域，每个小区域内进行运动估计，计算各小画面的运动矢量，记入缓存中的运动光流队列；从第三帧开始，每次估计完成，都根据前后帧运动间的关系，判断各类运动状态持续静止、持续运动、从静止到开始运动、从运动到开始静止。在本发明一个较佳实施例中，所述画面分割模块进一步对动态帧画面分割进行确认，确定区分出静态和动态区域的正确性；首先需要进一步判定上一步更新帧的图像是否是有效帧，如果是无效图像，需要重新抓图；需要进行以下两种判断1)计算差分图像的灰度均值Avglliff,如果灰度均值过大，说明两帧间存在背景亮度变化，可能是某些物体的反光、阳光变化、夜间车灯等，预设一亮度阈值LThMS，如果AvgDiff>LThres，则认为出现了亮度变 化，则放弃该帧，略过10帧，回到上一步，重新抓一帧；2)计算相邻图像差分后的图像中运动部分的面积占整个画面面积的百分比，如果运动部分超过画面的50%，则放弃该帧，略过10帧，回到上一步，重新抓一帧。在本发明一个较佳实施例中，所述图像均值模块以持续保持静态的区域为掩膜模板，将两幅图像中静态画面部分求均值；上一步差分的图像，先使用平滑滤波，滤掉噪声，然后进行二值化，以上一步计算得到的灰度均值Avglliff作为二值化的阈值BTh_，由于目标区域差分后的亮度较亮，二值化前，所以需要对Bltoes进行修正，BThres=AvgDiff*l. 1+5，使用修正后的阈值再二值化，进一步有效消除掩膜中的小运动噪声。在本发明一个较佳实施例中，所述背景局部重建模块根据画面分割模块中的四种区域情况分别作不同的处理1)将持续保持静态区域，将像素均值填补到背景图相对应位置；2)持续动态区域，画面不能更新，画面保持不变；3)从动态到静止的区域，由于运动物体停止运动造成，该区域内运动物体覆盖住背景，所以当前区域的画面为运动物体，区域不能更新，只进行亮度调整；4)从静止转为运动的区域，由于静止物体开始运动造成，如果区域从未没有更新过，即从背景学习图像直接拷贝新像素覆盖原来由物体遮挡的部分；如果以前有过更新，则调用均值算法进行像素更新。在本发明一个较佳实施例中，所述背景重建状态检测模块计算背景画面重建的百分比，是否完成重建，如果没有完成，回到第一步获取新的帧图像，继续画面分割，进行帧画面分割和背景重建；画面分割模块在分割出背景区域后，将背景掩膜图和背景更新区域模板图进行或运算，每次被更新的背景区域记入已更新区域模板图，更新完毕后，计算未被更新的部分，如果仍然后未被更新的部分，则回到起始，进行下一次背景更新；如果已经全部更新完毕，则结束背景重建，从输出背景模块输出。本发明的有益效果是本发明在采集帧图像数据的时候，不是采集相邻帧，而是间隔一段时间采集，采集到得图像中，运动目标没有交叠部分，虽然这种方法每次重建的背景区域较小，但是重建的准确度很高，不会出现重建错误；
本发明结合了帧平均图像时间积累和背景区域分割两种方法相结合的背景学习方法，可快速、有效、清晰地重建监控场景的静态背景画面；本发明采用运动估计的前后景分割算法，可以有效区分图像中的真实与虚假运动，有效检测出从静止到运动和从运动到静止的区别，从而消除复杂运动情景下的背景更新。
图I是本发明智能视频监控用结构化背景重建方法一较佳实施例的结构示意图。
具体实施例方式下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。请参阅图I，本发明实施例包括
一种智能视频监控用结构化背景重建方法，包括图像帧获取与更新模块、画面运动光流估计模块、画面分割模块、图像均值模块、背景局部重建模块、背景重建状态检测模块、输出背景模块。 通过所述图像帧获取与更新模块获取与更新图像；所述画面运动光流估计模块检测所述图像的全画面运动光流，记入缓存中的运动光流队列，并判断运动状态；所述画面分割模块进一步对动态的帧间画面进行分割，区分出静态、动态、由静态到动态、由动态到静态四类区域；所述图像均值模块以静态区域为掩膜模板，根据不同的画面状态，更新两幅图像中静态画面部分；所述背景局部重建模块将静态区域的像素均值填补到背景图相对应位置；所述背景重建状态检测模块计算背景画面重建的百分比，是否完成重建，如果没有完成，回到第一步获取新的图像帧，继续画面分割，进行帧画面分割和背景重建，如果完成，则将背景通过输出背景模块输出。所述图像帧获取与更新模块在更新帧图像时，每次在更新当前帧图像时，都与前一帧图像的时间间隔间隔2 30秒。本发明优选间隔2 3秒，考虑到场景的背景亮度可能因为天气原因而缓慢变化，所以不要超过30秒。所述画面运动光流估计模块将全画面分成大小相等的小区域，每个小区域内进行运动估计，计算各小画面的运动矢量，记入缓存中的运动光流队列；从第三帧开始，每次估计完成，都根据前后帧运动间的关系，判断各类运动状态持续静止、持续运动、从静止到开始运动、从运动到开始静止。所述画面分割模块进一步对动态帧画面分割进行确认，确定区分出静态和动态区域的正确性；首先需要进一步判定上一步更新帧的图像是否是有效帧，如果是无效图像，需要重新抓图；需要进行以下两种判断1)计算差分图像的灰度均值Avglliff，如果灰度均值过大，说明两帧间存在背景亮度变化，可能是某些物体的反光、阳光变化、夜间车灯等，预设一亮度阈值LThMS，如果AvgDiff>LThres，则认为出现了亮度变化，则放弃该帧，略过10巾贞，回到上一步，重新抓一帧；2)计算相邻图像差分后的图像中运动部分的面积占整个画面面积的百分比，如果运动部分超过画面的50%，则放弃该帧，略过10帧，回到上一步，重新抓一帧。所述图像均值模块以持续保持静态的区域为掩膜模板，将两幅图像中静态画面部分求均值；上一步差分的图像，先使用平滑滤波，滤掉噪声，然后进行二值化，以上一步计算得到的灰度均值Avglliff作为二值化的阈值BTh_，由于目标区域差分后的亮度较亮，二值化前，所以需要对BThres进行修正，BThres=AvgDiff*l. 1+5，使用修正后的阈值再二值化，进一步有效消除掩膜中的小运动噪声。所述背景局部重建模块根据画面分割模块中的四种区域情况分别作不同的处理I)将持续保持静态区域，将像素均值填补到背景图相对应位置。由于上一步比较准确分割到背景区域，可直接将当前帧图像的被认为是背景的区域，拷贝到背景图像中，以更新背景区域。更新后的背景图像中，可能仍然存在运动目标，需要对其他几种状态对背景进行更新状态判断处理。2)持续动态区域，这是由于运动物体较大，运动物体在相邻帧画面由本身遮挡噪声，故这部份画面不能更新，而是保持不变。3)从动态到静止区域，这种状态是由运动物体停止运动造成，因此，该区域位运动物体覆盖住背景，所以当前该区域的画面为运动物体，故该区域不能更新，但是由于全图像亮度可能变化，所以该区域根据领域画面亮度变化，只进行亮度调整。4)从静止到动态区域。这时由于静止物体开始运动造成，这种情况比较复杂，分为两种a)如果该区域一直没有更新过，即从背景学习图像直接拷贝新像素覆盖原来由物体遮挡的部分山)如果以前有过更新，则调用均值算法进行像素更新。所述背景重建状态检测模块计算背景画面重建的百分比，是否完成重建，如果没有完成，回到第一步获取新的帧图像，继续画面分割，进行帧画面分割和背景重建；画面分 割模块在分割出背景区域后，将背景掩膜图和背景更新区域模板图进行或运算，每次被更新的背景区域记入已更新区域模板图，更新完毕后，计算未被更新的部分，如果仍然后未被更新的部分，则回到起始，进行下一次背景更新；如果已经全部更新完毕，则结束背景重建，从输出背景模块输出。本发明的具体工作过程为
由于监控相机绝大多数都固定不动，背景图像比较稳定，序列图像的变化主要来源于运动物体，最简单的分割方法为先估计每个像素的光流，然后应用静态矢量图像分割方法对像素进行分类。基于光流的运动分析可以从时间相邻帧的像素梯度最小的方向获得，静止区域像素的梯度方向显然与图像平面法线平行，其它方向则为运动区域，定义帧间时间间隔为1，运动目标在时空图像体中的速度V=(u，v, 1)，其中u、v分别为x、y方向的速度，时间轴方向的速度为I。像素灰度值在
速度V方向上变化为0，即&v#g=0。显然，对应静止物体，其运动方向跟图像平面的法线平行u=v=0。在时间体图像中计算运动方向，跟基于平面图像进行运动估计相似，以(x，y，t)像素为中心，取邻域像素，包括空间相邻和时间相邻的像素，共3X3X3=27个像素集合。为简化起见，可在x-t图像中以小窗口为基准进行运动估计，计算其最匹配位置，即计算下式最小值
e“tt) = J w{x - . ,1 - 1#)||7叫-令2地通过对窗函数进一步简化，上式可记为矩阵形式
e(i,s) = ^FWMg^MST￥= V1GV其中G = ^^7,是一个在图像体中的3维张量
权利要求
1.一种智能视频监控用结构化背景重建方法，其特征在于，包括图像帧获取与更新模块、画面运动光流估计模块、画面分割模块、图像均值模块、背景局部重建模块、背景重建状态检测模块、输出背景模块； 通过所述图像帧获取与更新模块获取与更新图像； 所述画面运动光流估计模块检测所述图像的全画面运动光流，记入缓存中的运动光流队列，并判断运动状态； 所述画面分割模块进一步对动态的帧间画面进行分割，区分出静态、动态、由静态到动态、由动态到静态四类区域； 所述图像均值模块以静态区域为掩膜模板，根据不同的画面状态，更新两幅图像中静态趣面部分； 所述背景局部重建模块将静态区域的像素均值填补到背景图相对应位置； 所述背景重建状态检测模块计算背景画面重建的百分比，是否完成重建，如果没有完成，回到第一步获取新的图像帧，继续画面分割，进行帧画面分割和背景重建，如果完成，则将背景通过输出背景模块输出。
2.根据权利要求I所述的智能视频监控用结构化背景重建方法，其特征在于，所述图像帧获取与更新模块在更新帧图像时，每次在更新当前帧图像时，都与前一帧图像的时间间隔间隔2 30秒。
3.根据权利要求I所述的智能视频监控用结构化背景重建方法，其特征在于，所述画面运动光流估计模块将全画面分成大小相等的小区域，每个小区域内进行运动估计，计算各小画面的运动矢量，记入缓存中的运动光流队列；从第三帧开始，每次估计完成，都根据前后帧运动间的关系，判断各类运动状态持续静止、持续运动、从静止到开始运动、从运动到开始静止。
4.根据权利要求I所述的智能视频监控用结构化背景重建方法，其特征在于，所述画面分割模块进一步对动态帧画面分割进行确认，确定区分出静态和动态区域的正确性；首先需要进一步判定上一步更新帧的图像是否是有效帧，如果是无效图像，需要重新抓图；需要进行以下两种判断1)计算差分图像的灰度均值Avglliff，如果灰度均值过大，说明两帧间存在背景亮度变化，可能是某些物体的反光、阳光变化、夜间车灯等，预设一亮度阈值LThMS，如果AvgDiff>LTtoes，则认为出现了亮度变化，则放弃该帧，略过10帧，回到上一步，重新抓一帧；2)计算相邻图像差分后的图像中运动部分的面积占整个画面面积的百分比，如果运动部分超过画面的50%，则放弃该帧，略过10帧，回到上一步，重新抓一帧。
5.根据权利要求I所述的智能视频监控用结构化背景重建方法，其特征在于，所述图像均值模块以持续保持静态的区域为掩膜模板，将两幅图像中静态画面部分求均值；上一步差分的图像，先使用平滑滤波，滤掉噪声，然后进行二值化，以上一步计算得到的灰度均值Avglliff作为二值化的阈值，由于目标区域差分后的亮度较亮，二值化前，所以需要对Blhres进行修正，BTtoes=AVgDiff*l. 1+5，使用修正后的阈值再二值化，进一步有效消除掩膜中的小运动噪声。
6.根据权利要求I所述的智能视频监控用结构化背景重建方法，其特征在于，所述背景局部重建模块根据画面分割模块中的四种区域情况分别作不同的处理I)将持续保持静态区域，将像素均值填补到背景图相对应位置；2)持续动态区域，画面不能更新，画面保持不变；3)从动态到静止的区域，由于运动物体停止运动造成，该区域内运动物体覆盖住背景，所以当前区域的画面为运动物体，区域不能更新，只进行亮度调整；4)从静止转为运动的区域，由于静止物体开始运动造成，如果区域从未没有更新过，即从背景学习图像直接拷贝新像素覆盖原来由物体遮挡的部分；如果以前有过更新，则调用均值算法进行像素更新。
7.根据权利要求I所述的智能视频监控用结构化背景重建方法，其特征在于，所述背景重建状态检测模块计算背景画面重建的百分比，是否完成重建，如果没有完成，回到第一步获取新的帧图像，继续画面分割，进行帧画面分割和背景重建；画面分割模块在分割出背景区域后，将背景掩膜图和背景更新区域模板图进行或运算，每次被更新的背景区域记入已更新区域模板图，更新完毕后，计算未被更新的部分，如果仍然后未被更新的部分，则回到起始，进行下一次背景更新；如果已经全部更新完毕，则结束背景重建，从输出背景模块输出。
全文摘要
本发明公开了一种智能视频监控用结构化背景重建方法，包括通过所述图像帧获取与更新模块获取与更新图像，所述画面运动光流估计模块检测所述图像的全画面运动光流，所述画面分割模块进一步对动态的帧间画面进行分割，所述图像均值模块以静态区域为掩膜模板，所述背景局部重建模块将静态区域的像素均值填补到背景图相对应位置；所述背景重建状态检测模块计算背景画面重建的百分比，是否完成重建，如果没有完成，回到第一步获取新的图像帧，如果完成，则将背景通过输出背景模块输出。通过上述方式，本发明采集帧图像数据的时候，间隔一段时间采集到得图像中，重建的准确度很高，不会出现重建错误，快速、有效、清晰地重建监控场景的静态背景画面。
文档编号H04N7/18GK102833464SQ20121025672
公开日2012年12月19日 申请日期2012年7月24日 优先权日2012年7月24日
发明者傅裕 申请人:常州泰宇信息科技有限公司