基于视频编码器的移动侦测方法及装置与流程

本发明涉及视频编码器技术领域，具体的，涉及一种基于视频编码器的移动侦测方法，以及应用该方法的装置。

背景技术：

现有的移动侦测算法中，主流的算法有3种：背景减除法、时间差分法和光流法。

背景减除法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据，但是对于运动场景的变化，如光照等事件的干扰特别敏感。

时间差分法是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动区域。时间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征。

基于光流方法的运动检测采用了运动目标随时间变化的光流特性，如Meyer算法等通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。

此外，现有的移动侦测方法受很多因素影响，比如，光照、噪声等、实时性、带宽、运算速度以及成本等因素。而且，基本上现有的移动侦测算法都是基于采集的视频进行解码后的YUV序列或者基于YUV序列进行的，还没有切入在视频编码器中的进行移动侦测的方法。

考虑到视频编码器本身的一些特性可以作为移动侦测使用，嵌入编码器中进行移动侦测，那么硬件成本和带宽都可以节省很多，而且编码器编码时本身就是按照块来进行编码的，可以降低噪声带来的影响。

技术实现要素：

本发明的主要目的是提供一种节约成本、节省带宽以及提高编码速率的基于视频编码器的移动侦测方法。

本发明的另一目的是提供一种节约成本、节省带宽以及提高编码速率的基于视频编码器的移动侦测装置。

为了实现上述主要目的，本发明提供的基于视频编码器的移动侦测方法包括：获取当前帧图像以及参考帧图像；根据当前帧图像和参考帧图像获取帧差图像，获取帧差图像的二值图；对二值图进行形态学滤波，输出滤波后的二值图；获取编码器的输出特征数据，根据输出特征数据获得二值图中所有的运动块，对所有的运动块进行聚类分析；对聚类分析后的二值图进行区域生长处理，获得预设数量的感兴趣区域；对预设数量的感兴趣区域进行区域标定处理，输出标定后的感兴趣区域。

由此可见，本发明基于视频编码器的移动侦测方法通过对视频图像进行编码前进行运动区域的判断，输出感兴趣区域数据，便于后续编码。在视频编码器中进行运动区域的判断，可节省视频信息在传播中的宽带占用量，同时，使用宏块的方式进行运动区域的判断，充分利用了视频编码器以数据块编码的特性，便于编码器对输出的感兴趣区域数据的利用。此外，在视频编码器中进行移动侦测，无需增加额外硬件支持，节约了成本。

进一步的方案中，对二值图进行形态学滤波，输出滤波后的二值图，包括：对二值图进行腐蚀处理；对腐蚀处理后的二值图进行膨胀处理。

由此可见，对二值图先进行腐蚀处理后在进行膨胀处理，可去除图像中由噪声点引起的小像素块，在纤细处分离物体和平滑较大物体边界，提高图像检测的准确率。

进一步的方案中，根据输出特征数据获得二值图中所有的运动块，对所有的运动块进行聚类分析，包括：判断当前宏块的运动向量和预测模式是否满足预设条件，若是，则确定当前宏块为运动块。优选的，预设条件包括：当前宏块的运动向量大于零向量且小于预设向量阈值；以及当前宏块的预测模式为帧内预测模式。

由此可见，通过判断当前宏块的运动向量和预测模式是否满足预设条件从而初步判断出当前宏块是否为运动块，对当前帧图像中所有宏块进行遍历，从而获得当前帧图像中所有的运动块。对运动块进行聚类分析，可将运动块周围相似的运动块进行重新组合。

进一步的方案中，对聚类分析后的二值图进行区域生长处理，获得预设数量的感兴趣区域，包括：根据所有运动块的坐标信息，将邻近的运动块聚合成至少一个运动区域；选取至少一个运动区域中预设数量的感兴趣区域。

由此可见，经过聚类分析获得当前帧图像中的所有运动块后，运动块与运动块之间有一定的空间位置关系，为了便于分析，需将运动区域聚合处理。此外，经过区域生长处理后，可进一步判断聚类分析后得到的运动块是否真实的运动块，提高检测的准确率。

为了实现上述另一目的，本发明提供的基于视频编码器的移动侦测装置包括：图像获取模块，获取当前帧图像以及参考帧图像；二值图生成模块，根据当前帧图像和参考帧图像获取帧差图像，获取帧差图像的二值图；形态学滤波模块，对二值图进行形态学滤波，输出滤波后的二值图；聚类分析模块，获取编码器的输出特征数据，根据输出特征数据获得二值图中所有的运动块，对所有的运动块进行聚类分析；区域生长模块，对聚类分析后的二值图进行区域生长处理，获得预设数量的感兴趣区域；区域标定模块，对预设数量的感兴趣区域进行区域标定处理，输出标定后的感兴趣区域。

由上述方案可见，本发明基于视频编码器的移动侦测装置通过对视频图像进行编码前进行运动区域的判断，输出感兴趣区域数据，便于后续编码。在视频编码器中进行运动区域的判断，可节省视频信息在传播中的宽带占用量，同时，使用宏块的方式进行运动区域的判断，充分利用了视频编码器以数据块编码的特性，便于编码器对输出的感兴趣区域数据的利用。此外，在视频编码器中进行移动侦测，无需增加额外硬件支持，节约了成本。

附图说明

图1是本发明基于视频编码器的移动侦测方法实施例的流程图。

图2是本发明基于视频编码器的移动侦测装置实施例的结构框图。

以下结合附图及实施例对本发明作进一步说明。

具体实施方式

本发明应用于视频编码器中，具体的应用在视频编码器进行压缩编码处理中，对需要编码的当前帧进行运动区域的检测。

基于视频编码器的移动侦测方法实施例：

如图1所示，本实施例中的移动侦测方法在进行运动区域检测时，首先执行步骤S1，获取当前帧图像以及参考帧图像。视频编码器从输入的视频数据中获取需要编码的当前帧图像及其参考帧图像，参考帧图像为背景图像，当背景图像中物体发生变化并持续一段时间时，则需要进行背景图像的更新，即更新参考帧图像。

获取当前帧图像以及参考帧图像后，执行步骤S2，根据当前帧图像和参考帧图像获取帧差图像，获取帧差图像的二值图。视频编码器进行编码时，以像素块为单位进行编码，像素块即为宏块，宏块包含的像素点可根据图像的大小进行设置。为了便于编码时应用运动侦测后得到的数据，本实施例中，按8X8的宏块的像素均值减去参考帧的对应位置8X8的宏块的像素均值，从而得到当前帧中当前宏块对应的帧差图像，对帧差图像进行二值化处理，得到当前宏块的帧差图像的二值化图像，将当前帧所有宏块的帧差图像组合则可得到整帧帧差图像的二值图。按照8X8的宏块整体进行帧差图像的获取，可以解决一些运动块的误检问题，例如，噪声带来的影响所造成的虚假运动块。

得到帧差图像的二值图后，执行步骤S3，对二值图进行形态学滤波，输出滤波后的二值图。本实施例中，对二值图进行形态学滤波，输出滤波后的二值图，包括：对二值图进行腐蚀处理；对腐蚀处理后的二值图进行膨胀处理。

本实施例中，腐蚀处理和膨胀处理均采用3X3的结构元素进行滤波处理，结构元素相当于滤波的窗口。为了防止误检或者漏检，对3X3的结构元素采用累加数的做法，如果结构元素对应的当前宏块中灰度值不为零的像素点的数量总和大于等于预设数量阈值时，则当前宏块被保留，否者将被滤掉。优选的，本实施例中的预设数量阈值为3。此外，还可以根据图像噪声的增益还有图像的大小进行结构元素的选择调整，例如，图像的尺寸较大时，可采用包括较多像素点的结构元素进行滤波处理。

对帧差图像的二值图进行形态学滤波后，执行步骤S4，获取编码器的输出特征数据，根据输出特征数据获得二值图中所有的运动块，对所有的运动块进行聚类分析。其中，根据输出特征数据获得二值图中所有的运动块，对所有的运动块进行聚类分析，包括：判断当前宏块的运动向量和预测模式是否满足预设条件，若是，则确定当前宏块为运动块。优选的，预设条件包括：当前宏块的运动向量大于零向量且小于预设向量阈值；以及当前宏块的预测模式为帧内预测模式。当且仅当上述两个条件同时成立时，才判断当前宏块为运动块，否则，判断为静止块，即，背景块。在对当前帧的宏块进行判断时，需保证每个像素点仅检测一次，以减少检测的时间，提高编码的速率。其中，编码器的输出特征数据包括当前宏块的运动向量和预测模式等。

获取到当前帧图像中所有的运动块后，执行步骤S5，对聚类分析后的二值图进行区域生长处理，获得预设数量的感兴趣区域。进行区域生长处理的主要目的是将形态学滤波后的二值图进行修正以及扩充，把运动物体的基本形态表示出来，这样利于区分图像的前景和背景。因为在进行腐蚀滤波处理时，有可能会滤除一些分散的物体，对于真实应用场景中，特别是在低噪度下环境下很可能做出误检。为了防止误检或漏检，在对二值图进行腐蚀处理后增加膨胀处理，同时增加区域生长处理，可使得被滤除的真实运动物体可以复现。

一般情况下，区域生长的主要做法是先给定图像中目标物体内一个小块或者种子区域，再在这个种子区域基础上不断将其周围的像素点以一定的规则加入其中，从而达到最终代表物体所有像素结合成一个区域的目的。由于区域生长法是一种迭代的方法，在存储空间和处理时间上都消耗较大。本实施例中，为了降低计算量，以宏块代替像素点进行区域生长处理。

本实施例中，区域生长处理的步骤包括：根据所有运动块的坐标信息，将邻近的运动块聚合成至少一个运动区域。通过获取个运动块的坐标信息，判断出各个运动块之间的位置关系，从而将相邻的运动块聚合在一起，形成运动区域。由于运动块之间可能存在非运动块，例如，图片中有多个运动物体，造成运动块不相邻，因此，进行区域生长后会形成多个运动区域。

区域生长处理的步骤还包括：选取运动区域中预设数量的感兴趣区域。本实施例中，感兴趣区域的预设数量为小于8个。通过筛选机制，选择所有运动区域中较大的运动区域作为感兴趣区域，当运动区域较多，超过预设数量时，可通过将较小的运动区域去除，保留最大的预设数量的运动区域作为感兴趣区域。

获得预设数量的感兴趣区域后，执行步骤S6，对预设数量的感兴趣区域进行区域标定处理，输出标定后的感兴趣区域。区域生长后的图像区域为不规则的区域，通过区域标定可把不规则的区域整合成矩形区域。将感兴趣区域进行区域标定的目的有两个：一、由于编码器进行编码时编码是按块的方式进行压缩编码的，矩形区域可以方便视频编码器的使用，便于实现；二、由于运动物体有趋向性，所以把不规则的区域整合成矩形区域，可以将运动物体运动的范围标定出来，得到运动物体的趋向性预判。

基于视频编码器的移动侦测装置实施例：

如图2所示，本发明的基于视频编码器的移动侦测装置包括图像获取模块1、二值图生成模块2、形态学滤波模块3、聚类分析模块4、区域生长模块5以及区域标定模块6。其中，图像获取模块1用于获取当前帧图像以及参考帧图像。视频编码器从输入的视频数据中获取需要编码的当前帧图像及其参考帧图像，参考帧图像为背景图像，当背景图像中物体发生变化并持续一段时间时，则需要进行背景图像的更新，即更新参考帧图像。

二值图生成模块2用于根据当前帧图像和参考帧图像获取帧差图像，获取帧差图像的二值图。视频编码器进行编码时，以像素块为单位进行编码，像素块即为宏块，宏块包含的像素点可根据图像的大小进行设置。为了便于编码时应用运动侦测后得到的数据，本实施例中，按8X8的宏块的像素均值减去参考帧的对应位置8X8的宏块的像素均值，从而得到当前帧中当前宏块对应的帧差图像，对帧差图像进行二值化处理，得到当前宏块的帧差图像的二值化图像，将当前帧所有宏块的帧差图像组合则可得到整帧帧差图像的二值图。按照8X8的宏块进行帧差图像的获取，可以解决一些运动块的误检问题，例如，噪声带来的影响所造成的虚假运动块。

形态学滤波模块3用于对二值图进行形态学滤波，输出滤波后的二值图。其中，形态学滤波模块3对二值图进行形态学滤波，输出滤波后的二值图，包括：形态学滤波模块3对二值图进行腐蚀处理；形态学滤波模块3对腐蚀处理后的二值图进行膨胀处理。

本实施例中，腐蚀处理和膨胀处理均采用3X3的结构元素进行滤波处理，结构元素相当于滤波的窗口。为了防止误检或者漏检，对3X3的结构元素采用累加数的做法，如果结构元素对应的当前宏块中灰度值不为零的像素点的数量总和大于等于预设数量阈值时，则当前宏块被保留，否者将被滤掉。优选的，本实施例中的预设数量阈值为3。此外，还可以根据图像噪声的增益还有图像的大小进行结构元素的选择调整，例如，图像的尺寸较大时，可采用包括较多像素点的结构元素进行滤波处理。

聚类分析模块4用于获取编码器的输出特征数据，根据输出特征数据获得二值图中所有的运动块，对所有的运动块进行聚类分析。其中，聚类分析模块4根据输出特征数据对滤波后的二值图进行聚类分析，获得当前帧图像中所有的运动块，包括：聚类分析模块4判断当前宏块的运动向量和预测模式是否满足预设条件，若是，则确定当前宏块为运动块。优选的，预设条件包括：当前宏块的运动向量大于零向量且小于预设向量阈值；当前宏块的预测模式为帧内预测模式。当且仅当上述两个条件同时成立时，才判断当前宏块为运动块，否则，判断为静止块，即，背景块。在对当前帧的宏块进行判断时，需保证每个像素点仅检测一次，以减少检测的时间，提高编码的速率。其中，编码器的输出特征数据包括当前宏块的运动向量和预测模式等。

区域生长模块5用于对聚类分析后的二值图进行区域生长处理，获得预设数量的感兴趣区域。其中，区域生长模块5对聚类分析后的二值图进行区域生长处理，获得预设数量的感兴趣区域，包括：区域生长模块5根据所有运动块的坐标信息，将邻近的运动块聚合成至少一个运动区域。通过获取个运动块的坐标信息，判断出各个运动块之间的位置关系，从而将相邻的运动块聚合在一起，形成运动区域。由于运动块之间可能存在非运动块，例如，图片中有多个运动物体，造成运动块不相邻，因此，进行区域生长后会形成多个运动区域。

区域生长模块5对聚类分析后的二值图进行区域生长处理，获得预设数量的感兴趣区域，还包括：区域生长模块5选取运动区域中预设数量的感兴趣区域。本实施例中，感兴趣区域的预设数量为小于8个。通过筛选机制，选择所有运动区域中较大的运动区域作为感兴趣区域，当运动区域较多，超过预设数量时，可通过将较小的运动区域去除，保留最大的预设数量的运动区域作为感兴趣区域。

区域标定模块6用于对感兴趣区域进行区域标定处理，输出标定的感兴趣区域。区域生长后的图像区域为不规则的区域，通过区域标定可把不规则的区域整合成矩形区域。将感兴趣区域进行区域标定的目的由两个：一、由于编码器进行编码时编码是按块的方式进行压缩编码的，矩形区域可以方便视频编码器的使用，便于实现；二、由于运动物体有趋向性，所以把不规则的区域整合成矩形区域，可以将运动物体运动的范围标定出来，得到运动物体的趋向性预判。

由上述可知，本发明通过对视频图像进行编码前进行运动区域的判断，输出感兴趣区域数据，便于后续编码。在视频编码器中进行运动区域的判断，可节省视频信息在传播中的宽带占用量，同时，使用宏块的方式进行运动区域的判断，充分利用了视频编码器以数据块编码的特性，便于编码器对输出的感兴趣区域数据的利用。此外，在视频编码器中进行移动侦测，无需增加额外硬件支持，节约了成本。此外，在进行区域生长时，利用宏块代替像素点进行区域生长，减少了计算量，提高了侦测的速度。

需要说明的是，以上仅为本发明的优选实施例，但发明的设计构思并不局限于此，凡利用此构思对本发明做出的非实质性修改，也均落入本发明的保护范围之内。