专利名称：一种基于帧差的多重帧间形态学区域探测方法
技术领域：
本发明属于视频图像处理技术领域，特别是指一种基于帧差的多 重帧间形态学区域探测方法。
背景技术：
在近几年中，物体移动探测技术在众多领域里得到广泛的应用，尤 其是在视频监控领域。由于此项技术仍然处在早期的发展阶段，所以仍 然需要在各个方面得到提高以适应各种复杂的环境条件。
目前在常用的一些移动物体探测的处理方法中，有三种具有代表 性的方法，它们分别是背景差法，光流法和帧差法。
背景差法是最常用的方法，通常应用在静止的背景环境下，它的原 理是用一个背景模型当作参考来跟当前帧图像进行比较以探测到前景
运动信息。背景差法快速，简单，但是此方法在应用时需要有固定，静止
M -匕旦 H、J冃豕。
光流法是一种运动补偿的方法，用来估计在相邻两帧内像素点的 运动趋势，它可以应用在背景信息变化的环境下。它的原理是假设相应 的像素点在连续两帧内的运动不超过一定的像素距离，以计算出它的 运动趋势，在不确定的环境条件下，这意味着背景变换应该相对的较 小。光流法可以很准确的探测到物体运动，但是此方法非常复杂，计算 量庞大，对于实时应用的要求具有一定难度。
帧差法是建立在帧间变化的基础上，原理是通过计算相邻帧间的 变化来得到物体运动区域。此方法对于动态的背景环境具有非常高的 适应性，计算复杂度低，但是对于探测到的运动物体信息的提取不是非 常精确，适于快速的初歩探测
发明内容
本发明的目的在于提供一种基于帧差的多重帧间形态学区域探测方法。
本发明的技术方案是 一种基于帧差的多重帧间形态学区域探测方法，其方法步骤是 首先读取当前帧信息，在积累帧累计大于2时，
第一步开始进行帧差探测；用来探测最初的可能移动区域并为下 一步能够实时准确的探测做好准备，
第二步针对帧差探测的结果，进行多重帧间形态学检测，
a、 进行区域块状检测，用于完成检测中由点到块的转换，
b、 进行多重帧间构造处理，即通过一次以上的对相邻帧间信息的 纵向扩展并利用一次以上的形态学检测，得到扩展一层和扩展二层结 果，以达到区分开背景干扰和前景运动信息以克服环境变化产生的影 响，并在消除帧间随机性的信息的同时又保留了帧间连续性的信息。
其中，所述的帧差探测是把连续2帧256级灰度图像在时间t和 t+l时某象素点(x，y)的灰度值设为I(x，y，t)和工(x，y， t+l)，通过设定 自动阀值Td来计算2帧图像灰度值的变化以得到前景变化区域。自动 阀值的设定可以根据图像的统计信息得出。
所述的区域块状检测是将点的运算转换成块状区域运算，即将整 个图像按照4X4的块状大小进行分割，通过设定阀值在上述的帧差法 的基础上判断此块是否为运动区域块。
所述的扩展一层是对于相邻两帧的帧差结果，以前 -帧某 -固定 象素块为参考块，对其在后一帧的相同象素块位置的周围8邻域象素 块进行判断，如果前一帧象素块为运动象素块，并且后一帧同一位置象 素块周围8邻域象素块中有任何一个象素块为运动块，则以后一帧此 领域象素块为中心，进行8邻域的膨胀运算，结果是使得其本身和其8 邻域块都标记为运动块，并保存到扩展一层的输出结果中；
扩展二层是将对于相邻两帧的扩展一层输出结果，以前一帧某一 固定象素块为参考块，对其在后一帧的相同象素块位置象素块进行判 断，如果前一帧象素块为运动象素块，并且后一帧同一位置象素块也为 运动象素块，则以后一帧此领域象素块为中心，进行8邻域的膨胀运算，结果是使得其本身和其8邻域块都标记为运动块，并保存到扩展二 层的输出结果中。
其中所述的形态学检测是指形态学运算方法中的膨胀运算.膨胀
运算公式为
<formula>formula see original document page 6</formula>
其中A为被检目标，B为结构运算符,膨胀运算的效果是使被运算 目标的边界扩大，可以起到连接和填充的作用。
本发明的优点在于本发明用帧差法进行物体运动的初步分析，并
结合多重帧间构造法和形态学检测法来区分背景噪音和前景运动信息: 在消除背景噪音的同时尽可能保留前景运动信息以得到更好的探测结 果，具有很高的抗干扰性和探测准确率。
图1为本发明的工作流程示意图。
图2为本发明所述的块状区域探测变换过程示意图。
图3为本发明所述的多重帧间构造处理示意图。
图4为本发明所述的帧差结果到扩展一层的形态学帧间膨胀处理
示意图。
图5为本发明所述的扩展一层到扩展二层的形态学帧间膨胀处理
示意图。
具体实施例方式
下面就结合说明书附图及对本发明作进一步的说明。 本发明是一种基于帧差的多重帧间形态学区域探测方法，该方法 的工作流程图如图l所示。
首先读取当前帧信息，在积累帧累计大于2的时候，进行本发 明的第一歩骤开始进行帧差探测；其目的是用来探测最初的可能移 动区域并为下一步能够实时准确的探测做好准备。具体步骤为把连
续2帧256级灰度图像在时间t和t+1时某象素点(x，y)的灰度值设为 I (x， y， t)和I (x， y， t+1)，通过设定自动阀值Td来计算2帧图像灰度值的变化以得到前景变化区域.自动阀值的设定可以根据图像的统计信
息得出，所用公式如下
<formula>formula see original document page 7</formula>其中w是一个在0到1之间的小数，代表差分图像的变化范围。 Ia(x， y， t-l)在最开始的时候设为空白图像。Td设为3倍的Ia(x， y， t+l: 平均值，w设为0. 5;
第二步针对上述帧差探测的结果，进行多重帧间形态学检测，该 步骤分为
a、进行区域块状检测，用于完成检测中由点到块的转换，目的是 将点的运算转换成块状区域运算，如图2所示，方法是将整个图像按照 4X4的块状大小进行分割，通过设定阀值在帧差法的基础上判 是否为运动区域块。其公式为
<formula>formula see original document page 7</formula>
其中PixelMotionSum代表区域块中Id(x， y)为255的象素点的总 禾口，T为阀值，设定为7，即在4X4块中运动象素点总和大于一半时，此 块为运动块。
该步骤可以大大减少对视频图像的处理运算量。例如，原本视频 图像为cif格式352X288大小，如果以点为基础进行处理，扫描一次完 整图像需要进行352X288次运算。如果以块状区域为基础进行处理， 运算量会减少为原来的1/16，同时在内存容量方面也会减少到原来的 1/16。b、进行多重帧间构造处理
在进行多重帧间构造处理的步骤中，根据对于背景干扰信息，它的 出现具有帧间随机性，而对于前景运动信息，它则具有帧间连续性的特 点，利用多重帧间构造处理，使得帧间信息纵向扩展，并利用一次以上 的形态学检测方法，可以既消除了帧间随机性的信息而同时又保留了 帧间连续性的信息，以达到区分开背景干扰和前景运动信息以克服环 境变化产生的影响，并在消除帧间随机性的信息的同时又保留了帧间 连续性的信息。
多重帧间构造处理是通过一次以上的对相邻帧间信息的纵向扩展 并利用一次以上的形态学检测，得到扩展一层和扩展二层结果，即在 帧差法结果的基础上，向纵向扩展。如图3所示，每一下层的图像结果 都是由上一层相邻两图像经过不同的处理方式得到的，例如帧差结果
是通过帧差法得到的，而扩展1层和扩展2层结果都是通过形态学检测
得到的。形态学图像处理技术被广泛的应用在图像处理，机器视觉，以 及模式识别等领域，当形态学应用在物体形状探测领域时，它可以将目 标物体分解为有意义的部分从而将其从背景信息中分离出来，同时保
留了目标物体的主要形状特性；在本发明中采用了其中的膨胀运算， 膨胀运算公式为
，S = {x I d n ^ 0}
其中A为被检目标，B为结构运算符。
膨胀运算的效果是使被运算目标的边界扩大，可以起到连接和填 充的作用.主要是使前景运动信息尽可能的保留。
从图3中可以看到，从帧差结果到扩展一层和从扩展一层到扩展二
层，形态学运算将会被连续运用两次，而这两次运用的判别条件又略有不同。
如图4所示，从帧差结果到扩展一层，是对于相邻两帧的帧差结果，
以前一帧某一固定象素块为参考块，对其在后一帧的相同象素块位置 的周围8邻域象素块进行判断，如果前一帧象素块为运动象素块，并且 后一帧同一位置象素块周围8邻域象素块中有任何一个象素块为运动块，则以后一帧此领域象素块为中心，进行8邻域的膨胀运算，结果是使 得其本身和其8邻域块都标记为运动块，并保存到扩展一层的输出结果中。如图5所示，从扩展一层到扩展二层，是对于相邻两帧的扩展一 层输出结果，以前一帧某一固定象素块为参考块，对其在后一帧的相同 象素块位置象素块进行判断，如果前一帧象素块为运动象素块，并且后 一帧同一位置象素块也为运动象素块，则以后一帧此领域象素块为中 心，进行8邻域的膨胀运算，结果是使得其本身和其8邻域块都标记为 运动块，并保存到扩展二层的输出结果中。在本发明中具有帧差法，区域块状检测处理，多重帧间构造处理， 形态学检测的综合应用，帧差法用来探测最初的可能移动区域，并为 下一步能够实时准确的探测做好准备；区域块状检测处理完成了由点 到块的转换，实现了运算时间和内存消耗的降低；多重帧间构造处理通 过相邻帧间信息的纵向扩展和运用形态学检测的手段，区分开背景干 扰和前景运动信息以克服环境变化产生的影响；实现了更好的探测结 果。以本发明在TI最近推出的达芬奇产品线的两款新数字信号处理器 -TMS320DM647和TMS320DM648应用为例，大大提升了 DSP智能视频能 力，在它的支持下，基于这些DSP的NVR与DVR等高级摄像头系统可 实现视频内容分析功能，允许在整体网络视频监控系统中集成更高的 灵活性、可升级性以及智能性。由于本发明具有的对视频处理实时性高的优势，即对每帧的消耗 时间能控制在4ms/帧，可以很好的实现在一颗主频720M的DM647芯 片上进行8路实时视频智能功能的任务，降低了 DVR的BOM成本， 并使DVR设计方案更便于实现简约化。此外，本发明还具有抗干扰性 强的特征。针对目前市面上大量使用的低成本摄像头，采用本发明的 技术方案，可以有效的去除摄像头的工程噪音，保证探测质量，还可 以针对目前对于智能功能配套高级摄像头的要求，可以在不进行摄像 头升级的基础上完成智能功能，从而大幅度降低了使用成本。
权利要求
1、一种基于帧差的多重帧间形态学区域探测方法，其特征在于该方法步骤是首先读取当前帧信息，在积累帧累计大于2时，第一步开始进行帧差探测；用来探测最初的可能移动区域并为下一步能够实时准确的探测做好准备；第二步针对帧差探测的结果，进行多重帧间形态学检测，a、进行区域块状检测，用于完成检测中由点到块的转换；b、进行多重帧间构造处理，即通过一次以上的对相邻帧间信息的纵向扩展并利用一次以上的形态学检测，得到扩展一层和扩展二层结果，以达到区分开背景干扰和前景运动信息以克服环境变化产生的影响，并在消除帧间随机性的信息的同时又保留了帧间连续性的信息。
2、根据权利要求1所述的基于帧差的多重帧间形态学区域探测方 法，其特征在于所述的帧差探测是把连续2帧256级灰度图像在时间 t和t + l时某象素点(x， y)的灰度值设为工(x, y， t)和I (x， y, t十l)，通过 设定自动阀值Td来计算2帧图像灰度值的变化，以得到前景变化区域； 根据图像的统计信息可以设定自动阀值T d 。
3、 根据权利要求1所述的基于帧差的多重帧间形态学区域探测方 法，其特征在于所述的区域块状检测是将点的运算转换成块状区域运 算，即将整个图像按照4X4的块状大小进行分割，通过设定阀值用帧 差法来判断此块是否为运动区域块。
4、 根据权利要求1所述的基于帧差的多重帧间形态学区域探测方 法，其特征在于所述的扩展一层是对于相邻两帧的帧差结果，以前一 帧某一固定象素块为参考块，对其在后一帧的相同象素块位置的周围 8邻域象素块进行判断，如果前一帧象素块为运动象素块，并且后一帧同一位置象素块周围8邻域象素块中有任何一个象素块为运动块，则 以后一帧此领域象素块为中心，进行8邻域的膨胀运算，结果是使得其 本身和其8邻域块都标记为运动块，并保存到扩展一层的输出结果中； 所述的扩展二层是将对于相邻两帧的扩展一层输出结果，以前一 帧某一固定象素块为参考块，对其在后一帧的相同象素块位置象素块 进行判断，如果前一帧象素块为运动象素块，并且后一帧同一位置象素 块也为运动象素块，则以后一帧此领域象素块为中心，进行8邻域的膨胀运算，结果是使得其本身和其8邻域块都标记为运动块，并保存到扩展二层的输出结果中。
5、根据权利要求1所述的基于帧差的多重帧间形态学区域探测方法，其特征在于所述的形态学检测是指形态学运算方法中的膨胀运算.膨胀运算公式为j④丑={x I n爿# 0}其中A为被检目标，B为结构运算符，膨胀运算的效果是使被运算 目标的边界扩大，可以起到连接和填充的作用。
全文摘要
本发明属于视频图像处理技术领域，特别是指一种基于帧差的多重帧间形态学区域探测方法，其方法步骤是读取当前帧信息，在积累帧累计大于2时，第一步开始进行帧差探测；用来探测最初的可能移动区域并为下一步能够实时准确的探测做好准备，第二步针对帧差探测的结果，进行多重帧间形态学检测，a.进行区域块状检测，用于完成检测中由点到块的转换；b.进行多重帧间构造处理，即通过一次以上的对相邻帧间信息的纵向扩展并利用一次以上的形态学检测，得到扩展一层和扩展二层结果，以达到区分开背景干扰和前景运动信息以克服环境变化产生的影响，并在消除帧间随机性的信息的同时保留帧间连续性的信息。本发明具有很高的抗干扰性和探测准确率。
文档编号G06T7/20GK101320478SQ200810117038
公开日2008年12月10日 申请日期2008年7月23日 优先权日2008年7月23日
发明者楠 吕 申请人:北京蓝色星际软件技术发展有限公司