专利名称：基于h.264编码域的移动对象检测装置的制作方法
技术领域：
本发明涉及数字视频信号处理领域，具体来说是指一种利用H.264编 码过程中产生的编码辅助信息进行移动对象4全测的装置。
背景技术：
诸如视频会议和视频监控的应用场合，在H.264编码的同时，也可能 需要执行视频内容分析。 一种常见的视频内容分析装置就是移动对象检测 装置。在传统的数字视频信号处理系统中，移动对象检测装置和H.264编 码装置是相互独立的，它们各自都会消耗硬件计算资源。H.264编码装置 包括运动估计器和帧内模式分析器。运动估计器对视频场景进行运动信息 分析，帧内模式分析器对视频场景进行空间紋理分析。如果能利用H.264 编码过程中产生的编码辅助信息，来进行移动对象纟企测，则可以实现了两 个装置之间的信息共享，替代了独立于H.264编码装置的传统移动对象检 测装置，起到减省硬件资源的目的。
移动对象检测装置的功能是检测出视频场景中的移动对象。在视频会 议、视频监控等应用中，都会用到该装置。移动对象检测装置可以概括为 图1所示，包括视频采集器110、图像緩存器120、图像特征提取器130 和移动检测器140。视频采集器IIO采集视频场景图像，并存入到图像緩 存器120中，图像特征提取器130的功能是计算出空间域和时域相关的图 像特征数据，例如紋理分布特征、运动矢量和相邻两帧图像的像素差值等。 图像特征提取器130把图像特征数据发送给移动检测器140。移动检测器 140的功能是根据图像特征数据，执行移动检测算法，检测出视频场景中 的移动对象，并把险测结果输出。
Wiegand T, Sullivan G J, Bjntegaard G等人的文章"Overview of the H.264/AVC video coding standard"(《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》2003, 13(7): 560-576)中公开了一种H.264编码装置可以概括为如图2所示，包括视
频采集器210,图像緩存器220，运动估计器230，帧内模式分析器240， 熵编码等其他执4亍器250。
从功能上来看，R264编码装置中的视频采集器210、图像緩存器220 分别和移动对象检测装置中的视频采集器110、图像緩存器120具有相同 作用。因此R264编码装置中的视频采集器210,图像緩存器220，能取 代移动对象检测装置中的视频采集器IIO和图像緩存器120。
从功能上来看，H.264编码装置中的运动估计器230和帧内模式分析 器240和熵编码等其他执行器250可以实现移动对象^r测装置中图像特征 提取器130的作用，进行图像特征数据的计算。因此，只要再设计一个能 处理这些图像特征数据的移动检测器，则相当于实现了一个低硬件成本的 移动对象检测装置。
H.264编码装置在工作时，运动估计器230,帧内模式分析器240和 熵编码等其他执行器250通过对视频场景的处理，会得到很多编码辅助信 息。例如运动估计器230可以得到视频场景中移动对象的运动矢量场(MV) 等信息。帧内模式分析器240可以得到视频场景中图像紋理复杂度相关的 数据，如DC分析模式下得到的像素差值的绝对值的和(SADoc)信息。
现有技术中，还有一类称作基于H.264压缩域的移动对象检测方法， 例如Zeng W， Du J， Gao W等人的文章"Robust moving object segmentation on H.264/AVC compressed video using the block-based MRF model" (《Real-Time Image》2005, 11: 290-299)中公开了 一种移动对象检测方 法，从H.264视频压缩码流中来提取图像内容特征相关的信息，因此无法 利用编码过程中的其他编码辅助信息，比如SADdc等信息，这会降低检 测精度。另夕卜，该类方法采用的计算操作过程也复杂，导致检测效率降低。
现有技术中，为了满足某种需要，经常是同时使用移动对象检测装置 和H.264编码装置，如何能够降低硬件成本，将移动对象检测装置和H.264 编码装置有机结合一直也是困扰本领域技术人员的难题。
发明内容
本发明提供了一种基于H.264编码域的移动对象检测装置，利用 H.264编码过程中产生的编码辅助信息，进^f于移动对象4企测。 一种基于H.264编码域的移动对象检测装置，包括
H.264编码辅助信息收发器，用于收发H.264编码装置在编码纟见频场 景过程中得到的编码辅助信息；
H.264编码域移动冲企测器，用于处理H.264编码辅助信息收发器中的 编码辅助信息，检测出视频场景中的移动对象。
所述的H.264编码辅助信息收发器，包括
MV信息收发器，用于收发H.264编码装置在编码视频场景过程中得 到的MV信息；所述的MV信息来源于H.264编码装置中的运动估计器。
SADoc信息收发器，用于收发H.264编码装置在编码视频场景过程中 得到的SADdc (帧内模式分析器DC分析模式下得到的像素差值的绝对值 的和)信息；所述的SADdc信息来源于H.264编码装置中的帧内模式分析 器。
所述的H.264编码域移动4企测器，包括
全局运动补偿器，用于接受MV信息收发器中的MV信息进行全局运 动补偿；
紋理复杂度分析器，用于接受并处理SADdc信息收发器中的SADdc 信息进行紋理复杂度分析；
运动矢量去噪滤波器；用于接受并处理全局运动补偿器和紋理复杂度 分析器中的信息进行运动矢量去噪滤波；
移动对象二值图产生器，用于接受并处理运动矢量去噪滤波器的信 息，输出移动对象^r测结果(移动对象二值图)。
本发明还提供了 一种基于H.264编码域的移动对象检测方法。
一种基于H.264编码域的移动对象检测方法，包括以下步骤
1) 接收H.264编码装置中运动估计器发送过来的MV信息；
2) 对接收到的MV信息执行迭代最小二乘算法估计仿射全局运动模 型参数，然后执行全局运动补偿操作，得到补偿后的MV信息(GMV);
3) 在步骤1)的同时，接收H.264编码装置中帧内模式分析器发送 过来的SADdc信息；
4) 对接收到的SADoc信息执行阈值判断，把图像按照紋理复杂度进 行分类，划分为紋理区域和平滑区域两种类型；
5) 利用步骤4)中得到的分类结果对步骤2)中得到的补偿后的MV 信息(GMV)执行两级扫描滤波操作，滤除运动矢量噪声得到运动矢量场 (SGMV);
6)根据步骤5)中得到的运动矢量场(SGMV)中每个运动矢量的运动 幅度，执行阈值判断，输出反映视频场景各个区域是否运动的移动对象检 测结果(移动对象二值图信息)；阈值的取值大小决定了对移动对象运动 幅度的灵敏度，取[l， 3]之间的一个整数值。。
本发明移动对象检测装置及方法的优点是直接利用了 R264编码过程 中产生的编码辅助信息，避免了传统移动对象检测器的视频采集、图像緩 存和图像特征计算过程，实现了 R264编码和移动对象检测之间的计算和 内存资源共享。从而减省了硬件资源成本。而且，本发明所述的H,264编 码域移动检测器装置及方法，设计思路简洁，操作过程效率高，进一步减 省了硬件资源成本。
图1为现有技术中移动对象检测装置的结构示意图； 图2为现有技术中H.264编码装置的结构示意图； 图3为本发明移动对象检测装置的结构简图； 图4为本发明移动对象检测装置的结构示意图； 图5为本发明移动对象检测装置中运动矢量去噪滤波器的两遍滤波扫 描路径示意图6为本发明移动对象检测装置中运动矢量去噪滤波器的算法流程图。
具体实施例方式
如图3所示，本发明基于H,264编码域的移动对象检测装置，包括
H.264编码辅助信息收发器310;用于收发H.264编码装置在编码视 频场景过程中得到的编码辅助信息；
H.264编码域移动^r测器320;用于处理H.264编码辅助信息收发器 中的编码辅助信息，检测出视频场景中的移动对象。
所述的11264编码辅助信息收发器310，包括
MV信息收发器410,用于收发H.264编码装置在编码视频场景过程 中得到的MV信息；所述的MV信息来源于H.264编码装置中的运动估计
器230。
SADDC信息收发器420,用于收发H.264编码装置在编码4见频场景过 程中得到的SADdc (帧内模式分析器DC分析模式下得到的像素差值的绝 对值的和)信息；所述的SADDc信息来源于H,264编码装置中的帧内模式 分析器240。
所述的H.264编码i或移动检测器320，包括
全局运动补偿器430，用于接受MV信息收发器410中的MV信息进 行全局运动补偿；
紋理复杂度分析器440，用于接受并处理SADoc信息收发器420中的 SADdc信息进行紋理复杂度分析；
运动矢量去噪滤波器450;用于接受并处理全局运动补偿器430和紋 理复杂度分析器440中的信息进行运动矢量去噪滤波；
移动对象二值图产生器460,用于接受并处理运动矢量去噪滤波器450 的信息，输出移动对象检测结果(移动对象二值图)。
实施本发明基于H.264编码域的移动对象4企测方法时
MV信息收发器410接收H.264编码装置中运动估计器230发送过来 的MV信息；SADoc信息收发器420接收H.264编码装置中帧内模式分析 器240发送过来的SADdc信息；
全局运动补偿器430接收MV信息收发器410发送过来的MV信息， 执行迭代最小二乘算法估计仿射全局运动模型参数，然后对MV执行全局 运动补偿操作，最后把补偿后运动矢量场(GMV)发送给运动矢量去噪滤波 器450;
紋理复杂度分析器440接收SADoc信息收发器420发送过来的 SADdc信息。执行如下阈值判断，如果一个图像区域的SADDc值大于阈 值thl(thl可以取40~200),则把该图像区域分类为紋理区域，否则， 把该图像区域分类为平滑区域。对所有SADoc信息执行上述操作后，获 得分类结果(Tc)。最后，把Tc发送给运动矢量去噪滤波器450;
运动矢量去噪滤波器450接收全局运动补偿器430发送的GMV信息 和紋理复杂度分析器440发送的Tc信息，然后执行两级扫描滤波操作， 滤除运动矢量噪声。首先按图5的第一遍扫描路径，执行第一遍去噪滤波 操作，具体过程为从GMV的左上角开始，从左到右、从上到下依次扫描滤波每个运动矢量，其对应的图像区域如果不是平滑区域，则认为该运
动矢量不是噪声，保持该运动矢量不变；其对应的图像区域如果是平滑区 域，并且左侧图像区域对应的运动矢量不是零，则也认为该运动矢量不是 噪声，保持该运动矢量不变；其对应的图像区域如果是平滑区域，并且左 侧图像区域对应的运动矢量是零，则认为该运动矢量是噪声，置该运动矢 量为零；最后用滤波后的运动矢量(保持不变或者置为零)更新GMV。 然后按图5的第二遍扫描路径，执行第二遍去噪滤波操作，具体过程为 从第一遍扫描滤波操作后的运动矢量场的右下角开始，从右到左、从下到 上依次扫描滤波每个运动矢量，其对应的图像区域如果不是平滑区域，则 认为该运动矢量不是噪声，保持该运动矢量不变；其对应的图像区域如果 是平滑区域，并且右侧图像区域对应的运动矢量不是零，则也认为该运动 矢量不是噪声，保持该运动矢量不变；其对应的图像区域如果是平滑区域， 并且右侧图像区域对应的运动矢量是零，则认为该运动矢量是噪声，置该 运动矢量为零；最后用滤波后的运动矢量(保持不变或者置为零)更新第 一遍扫描滤波操作后的运动矢量场。将滤除运动矢量噪声后的运动矢量场 (SGMV)发送给移动对象二值图产生器460;
移动对象二值图产生器460接收运动矢量去噪滤波器450发送过来的 运动矢量场(SGMV),根据每个运动矢量的运动幅度，执行阈值判断；如 果SGMV中的一个运动矢量幅度大于阈值th2，则把该运动矢量对应的图 像区域标记为移动区域，否则把该运动矢量对应的图像区域标记为非移动 区域。阈值th2的取值大小决定了对移动对象运动幅度的灵敏度，取[l, 3]之间的一个整数值。对SGMV中的所有运动矢量执行上述操作后，产生 反映视频场景各个区域是否移动的移动对象二值图信息。至此，移动对象 检测操作完毕。
图5是运动矢量去噪滤波器的两遍滤波扫描路径。
如图5所示，给出了两遍滤波扫描路径。第一遍扫描从GMV的左上 角开始，从左到右、从上到下依次扫描滤波每个运动矢量；而第二遍扫描 从第一遍扫描滤波操作后的运动矢量场的右下角开始，从右到左、从下到 上依次扫描滤波每个运动矢量。
图6是运动矢量去噪滤波器的两遍扫描滤波算法流程图。
如图6所示，通过第一遍扫描滤波，可以滤除与物体轮廓对应运动矢
量不连通的平滑区域运动矢量噪声，并滤除与物体轮廓对应运动矢量连通
而处于物体外部左侧的平滑区域运动矢量噪声；第二遍扫描滤波，可以进 一步滤除与物体轮廓对应运动矢量连通而处于物体外部右侧的平滑区域 运动矢量噪声。
权利要求
1、一种基于H.264编码域的移动对象检测装置，由H.264编码辅助信息收发器和H.264编码域移动检测器组成；所述的H.264编码辅助信息收发器包括MV信息收发器，用于收发H.264编码装置在编码视频场景过程中得到的MV信息；SADDC信息收发器，用于收发H.264编码装置在编码视频场景过程中得到的SADDC信息；所述的H.264编码域移动检测器包括全局运动补偿器，用于接受MV信息收发器中的MV信息进行全局运动补偿；纹理复杂度分析器，用于接受并处理SADDC信息收发器中的SADDC信息进行纹理复杂度分析；运动矢量去噪滤波器；用于接受并处理全局运动补偿器和纹理复杂度分析器中的信息进行运动矢量去噪滤波；移动对象二值图产生器，用于接受并处理运动矢量去噪滤波器的信息，输出移动对象检测结果。
2、 如权利要求1所述的基于H.264编码域的移动对象检测装置，其 特征在于，所述的MV信息为H.264编码装置中运动估计器计算得到的视 频场景中移动对象的运动矢量场；所述的SADoc信息为R264编码装置中 帧内模式分析器DC分析模式下得到的像素差值的绝对值的和。
3、 一种基于R264编码域的移动对象检测方法，包括以下步骤1) 接收H.264编码装置中运动估计器发送过来的MV信息；2) 对接收到的MV信息执行迭代最小二乘算法估计仿射全局运动模 型参数，然后执行全局运动补偿操作，得到补偿后的MV信息；3) 在步骤1)的同时，接收H.264编码装置中帧内模式分析器发送 过来的SADdc信息；4) 对接收到的SADoc信息执行阈值判断，把图像按照紋理复杂度进 行分类，划分为紋理区域和平滑区域两种类型；5) 利用步骤4)中得到的分类结果对步骤2)中得到的补偿后的MV信息执行两级扫描滤波操作，滤除运动矢量噪声得到运动矢量场；6)根据步骤5)中得到的运动矢量场中每个运动矢量的运动幅度，执 行阈值判断，输出反映视频场景各个区域是否运动的移动对象检测结果。 4、如权利要求3所述的基于H.264编码域的移动对象检测方法，其 特征在于，所述的MV信息为H.264编码装置中运动估计器计算得到的视 频场景中移动对象的运动矢量场；所述的SADoc信息为H.264编码装置中 帧内模式分析器DC分析模式下得到的像素差值的绝对值的和。
全文摘要
本发明公开了一种基于H.264编码域的移动对象检测装置和方法，装置包括H.264编码辅助信息收发器，用于收发H.264编码装置在编码视频场景过程中得到的编码辅助信息；H.264编码域移动检测器，用于处理H.264编码辅助信息收发器中的编码辅助信息，检测出视频场景中的移动对象。本发明移动对象检测装置及方法设计思路简洁，操作过程效率高，直接利用了H.264编码过程中产生的编码辅助信息，避免了传统移动对象检测器的视频采集、图像缓存和图像特征计算过程，实现了H.264编码和移动对象检测之间的计算和内存资源共享，进一步减省了硬件资源成本。
文档编号H04N7/26GK101340583SQ20081006343
公开日2009年1月7日 申请日期2008年8月8日 优先权日2008年8月8日
发明者威 朱, 郑雅羽, 陈耀武, 黄爱爱 申请人:浙江大学