专利名称：对视频数据帧中特定区域进行检测的方法和设备的制作方法
技术领域：
本发明涉及图像处理技术，尤其涉及一种对视频数据帧中特定区域进行检 测的方法和设备。
背景技术：
传统的对一个视频数据帧中用户感兴趣的特定区域进行检测方法，特别是
对视频数据帧中的人脸区域进行检测的方法主要包括
首先，对输入的一个视频数据帧进行全图扫描，对图像中的全部象素点进 行分析，确定出人脸区域。
然后，再对确定出的人脸区域内的象素点进行分析，对人脸区域内的人脸
器官进行定位，最终获得包含人脸区域位置信息和人脸器官信息的人脸区域信 台
上述检测方法需要对一个视频数据帧进行全图扫描，时间开销大，无法对 有实时性要求的连续多个视频数据帧的特定区域进行检测。
发明内容
本发明实施例提供一种对视频数据帧中特定区域进行检测的方法和设备， 以减少对特定区域进行检测时的时间开销。
一种对视频数据帧中特定区域进行检测的方法，该方法包括 对第一参考帧和第二参考帧中特定区域的边界真实信息和内容真实信息 进行估计，得到当前帧中特定区域的边界参考信息和内容参考信息；
对所述内容参考信息进行调整，得到当前帧中特定区域的内容真实信息； 在所述当前帧特定区域的内容参考信息满足设定条件时，利用当前帧的内容参考信息和内容真实信息的差别调整边界参考信息，得到当前帧的边界真实 信息。
一种对视频数据帧中特定区域进行检测的设备，所述设备包括 估计模块，用于对第 一参考帧和第二参考帧中特定区域的边界真实信息和 内容真实信息进行估计，得到当前帧中特定区域的边界参考信息和内容参考信
息；
内容真实信息确定模块，用于对所述内容参考信息进行调整，得到当前帧
中特定区域的内容真实信息；
边界真实信息确定模块，用于在所述当前帧特定区域的内容参考信息满足
设定条件时，利用当前帧的内容参考信息和内容真实信息的差别调整边界参考 信息，得到当前帧的边界真实信息。
本发明实施例中，利用前两帧获得的特定区域相关信息来估计当前帧中特 定区域的边界参考信息和内容参考信息，进一步地，通过对边界参考信息和内 容参考信息的调整来获得当前帧的边界真实信息和内容真实信息的方案，当前 帧的各种信息是直接根据前两帧的各种相关信息估计得出，避免进行全图扫 描，减少了时间开销，以此实现对有实时性要求的多个连续的视频数据帧中特 定区域进行检测，并且可以根据实际的参数变化来调整相应的检测方法，适应 外界变化对检测的影响。
图l为本发明实施例一中对视频数据帧中的特定区域进行检测的方法步骤 流程示意图2 (a)、图2 (b)、图2 (c)、和图2 (d)和图2 (e)为本发明实施例 一中对第i帧的内容参考信息进行校验，得到内容真实信息的示意图3 (a)、图3 (b)和图3 (c)为本发明实施例二中对4见频数据帧中的特 定区域进行检测的设备结构示意图。
具体实施例方式
发明人通过研究发现，在对实时到来的视频数据帧的特定区域进行检测 时，由于相邻两帧^[艮可能具有较强的相关性，因此，在第一帧和第二帧已确定 特定区域相关信息的情况下，可以利用前两帧得到的特定区域相关信息来估计 第三帧的特定区域相关信息，简化对第三帧的检测操作，即使是为了提高检测 结果的精确度而使用较复杂的算法，也能够在一定程度上减少时间开销，满足 对实时性的要求。
下面结合说明书附图对本发明的方案进行详细的描述。
本发明涉及的对视频数据帧中特定区域进行检测，包括对特定区域的边界 真实信息和内容真实信息的检测，例如，特定区域是人脸区域，则对特定区域
进行检测包括对人脸的轮廓信息和人脸器官信息的检测；特定区域是一个建筑 物，则对特定区域进行检测包括建筑物的轮廓和轮廓中建筑物的内容进行检测 等。为了使描述更加简单，后续的各实施例中以人脸检测为例对本发明进行描 述。
如图1所示，本发明实施例一对视频数据帧中的特定区域(人脸区域)进 行检测的方法步骤流程示意图，包括以下步骤
步骤101:接收视频数据流中依次到来的视频数据帧。
视频数据流可以是来源于网络的视频文件、从视频设备中读取的视频数据 或从网络中的流媒体服务器等设备中获取的实时视频流。
从外界接收到的视频数据帧的格式可以是多种，例如可以是运动静止图
像专家组的M-JPEG和国际标准化组织运动图像专家组的MPEG系列标准编码 后的数据格式等，为了保证后续对视频数据进行统一的处理，使处理过程更加 方便，可以将接收到的不同格式的视频数据进行解码，得到统一的无压缩的视 频数据格式，如将接收到的*1频数据帧统一转换为RGB格式。 步骤102:确定待处理的当前视频数据帧为第i帧。
假设本实施例 一 中待处理的视频数据帧包含了人脸区域信息。
步骤103:利用与第i帧相邻的前两帧(第i-l帧和第i-2帧)中特定区域
的边界真实信息和内容真实信息对第i帧进行估计，得到第i帧中特定区域的 边界参考信息和内容参考信息。
由于第i-l帧和第i-2帧是用于估计第i帧中特定区域相关信息的，因此， 第i-l帧可以看作是第一参考帧，第i-2帧看作是第二参考帧。
在本发明实施例中，在第i帧之前进行处理的得到的视频数据帧中特定区 域相关信息都认为是真实的信息，因此利用第i-l帧和第i-2帧中已分别确定的 特定区域的内容真实信息(人脸器官信息)对第i帧进行运动估计，得到第i 帧的内容参考信息的方法包括
第一步分别在第i-l帧和第i-2帧的特定区域中选择一个特定目标。
第二步根据该特定目标分别在第i-l帧和第i-2帧中的位置信息建立运动 向量。
第三步将建立的运动向量作为特定目标在第i-l帧和第i帧之间的运动 向量，调整第i-l帧中该特定目标的位置信息，调整后的位置信息是该特定目 标在第i帧中的参考位置信息。
第四步根据特定目标在第i帧中的参考位置信息和该特定目标与特定区 域中的其他目标之间的位置关系，确定在第i帧中特定区域的内容参考信息； 或者，在特定区域中重新选择一个特定目标，重复执行以上第一步至第三步的 操作，直到确定特定区域内全部的特定目标在第i帧中的参考位置信息。
类似地，得到第i帧中特定区域的边界参考信息的方法是按照以上第二 步得到的所述运动向量调整第i-l帧的边界真实信息，调整后得到第i帧的边 界参考信息。
例如，分别选中第i-2帧和第i-l帧中的眼睛作为特定目标，眼睛的中心点 是特定目标在第i-2帧中的位置信息是(xl， yl ),在第i-l帧中的位置信息是 (x2， y2)，在第i帧中的参考位置信息是(x3， y3)。由于一般视频数据帧之间传输的间隔非常短，可以认为两帧间的运动速度v是匀速运动，任意相邻两
帧到达接收端之间的间隔时间AT是相等的，因此，第i-l帧的运动速度Vl= (x2-xl)/ATl，第i帧的运动速度V2= (x3-x2)/AT2，由于V1-V2、 AT1= △ T2，所以x3=2*x2-xl，类似地，y3=2*y2-yl。如果i见频数据帧是三维图像， 则z3的算法类似。后续，根据眼睛与其他器官的位置关系，可以确定其他器 官在第i帧中的参考位置信息，进而确定了内容参考信息，或者，对人脸器官 的鼻子、嘴、眉毛等其他器官都按照以上的做法，确定其在当前帧中的参考位 置信息。
在这里的特定区域边界参考信息和内容参考信息都是估计得到的，与第i 帧中边界真实信息和内容真实信息可能存在误差。
步骤104:对第i帧的内容参考信息进行校验，得到内容真实信息。
如图2(a)、图2(b)、图2 (c)和图2 (d)所示，以人眼为例说明内容 真实信息的确定方法
第一步将第i帧的视频图像转换为灰度值图像，计算灰度值图像中的相 似度信息，如图2 (a)所示。
第二步对得到的灰度值图像进行二值化，得到二值化图像，如图2(b) 所示。
第三步对得到的二值化的图像进行边缘检测，如图2(c)所示，并在其 中标记在步骤103中得到的眼睛的参考位置信息，并将该参考位置所在的区域 作为眼睛的真实区域，如图2 (d)所示。
第四步将眼睛的真实区域的中心点坐标即为眼睛的真实位置信息，如图 2(e)所示。由于眼睛可以近似看作是椭圓形，因此，眼睛的中心就是其重心， 如果特定目标是其他不规则图形，则可以将重心坐标作为真实位置信息。
后续，可以根据该眼睛真实区域和其他器官之间的几何位置关系确定其他 器官在第i帧中的真实位置信息，进而得到特定区域的内容真实信息；同样， 也可以利用以上的方法分别得到其他器官的真实位置信息，进而得到特定区域 的内容真实信息。
步骤105:将第i帧中特定区域的内容参考信息和内容真实信息进行比较， 在比较结果满足设定条件时，执行步骤106，否则，执行步骤107。
对特定区域的内容参考信息和内容真实信息进行比较可以进一步细化为 对特定区域中的一个特定目标的参考位置信息和真实位置信息进行比较，以眼 睛为特定目标为例，比较的方法包括
第一步比较第i帧中特定目标的参考位置信息和真实位置信息的坐标， 判断坐标值的差别是否小于第一门限值，若小于，则执行第二步；否则，认为 第i帧与第i-2帧和第i-l帧的相关性较小或是完全不相关，比较结果不满足设 定条件，利用第i-2帧和第i-l帧得到的关于第i帧的信息不可信。
第二步分别以参考位置信息和真实位置信息的坐标为中心点，填充得到 两个眼睛区域。
第三步比较得到的两个眼睛区域的大小，若大小差别不大于第二门限值， 则认为当前视频数据帧与相邻的两帧的相关性较大，比较结果满足设定条件； 否则，比较结果不满足设定条件。
步骤106:利用内容参考信息和内容真实信息的坐标差值调整特定区域边 界参考信息，得到特定区域边界真实信息，并执行步骤108。
例如，内容真实信息的坐标相对于内容参考信息的坐标向右平移了 5个象 素点，则将特定区域边界参考信息的坐标整体向右平移5个象素点后得到特定 区域边界真实信息的坐标。
步骤107:利用全图扫描方式确定第i帧中的特定区域，并执行步骤108。
这种全图扫描方式是对整个视频数据帧进行扫描、分析，根据分析结果提 炼出准确的特定区域信息。
步骤108:将确定出的第i帧中特定区域信息保存。
通过以上描述完成了对第i帧中特定区域的检测过程，得到了该特定区域 的边界真实信息和内容真实信息。在第i+l帧到来时，可以从步骤102开始重
复执行本发明实施例一的方案。
特殊地，如果第i帧是利用步骤107的方法检测获得的特定区域相关信息， 说明第i帧与相邻的第i-2帧和第i-l帧之间的相关性较小，甚至是完全不相关， 则对第i+l帧进行处理时，可以认为第i-l帧与第i+l帧之间的相关性也较小， 因此，为了提高检测的效率，可以直接利用全图扫描方式确定第i+l帧中的特 定区域，也可以对第i帧的特定区域相关信息进行局部扫描，得到第i+l帧的 特定区域相关信息。
在本发明实施例一中涉及的局部扫描、计算运动向量和在第i帧中确定特 定区域的内容真实信息时都要进行二值化，在进行二值化时使用的阈值可以是 在处理第i帧之前，最近的一次执行全图扫描方式时得到的。
另外，考虑到若第i帧是检测过程开始后接收到的第一帧或第二帧，则本 发明实施例一的处理方法还可以如下
若第i帧是接收到的第一帧，则可以直接利用全图扫描方式对其进行处理。
若第i帧是接收到的第二帧，则也可以直接利用全图扫描方式对其进行处 理，或对第i-l帧确定的特定区域信息进行局部扫描，得到第i帧的特定区域 信息。由于相邻两帧(特别是初始的相邻两帧)之间的相关性一般较大，可以 认为第i帧中的特定区域中的人脸轮廓信息与第i-l帧相同，因此，可以直接 利用第i-l帧的特定区域边界真实信息得到第i帧中的特定区域边界参考信息， 然后再利用局部扫描方式对第i帧中的特定区域的内容真实信息进行检测；最 后，根据第i帧的内容真实信息与第i-l帧的内容真实信息之间的差别，调整 第i帧中的特定区域边界参考信息。例如第i帧的内容真实信息相对于第i-l 帧的内容真实信息向右平移了 3个象素点，则第i帧中的特定区域边界参考信 息向右平移3个象素点，得到第i帧中的特定区域边界真实信息。
与本发明实施例一对应地，本发明实施例二还提供一种对-现频数据帧中特 定区域进行检测的设备，如图3 (a)所示，所述设备包括估计模块11、内容 真实信息确定模块12和边界真实信息确定模块13，其中估计模块11用于对 第 一参考帧和第二参考帧中特定区域的边界真实信息和内容真实信息进行估
计，得到当前帧中特定区域的边界参考信息和内容参考信息；内容真实信息确 定模块12用于对所述内容参考信息进行调整，得到当前帧中特定区域的内容 真实信息；边界真实信息确定模块13用于在所述当前帧特定区域的内容参考 信息满足设定条件时，利用当前帧的内容参考信息和内容真实信息的差别调整 边界参考信息，得到当前帧的边界真实信息。
如图3 (b)所示，所述估计模块11包括选择单元21、运动向量建立单元 22、内容参考信息确定单元23和边界参考信息确定单元24，其中选择单元 21用于分别从所述第一参考帧和第二参考帧特定区域中选择一个特定目标；运 动向量建立单元22用于根据所述特定目标在第一参考帧和第二参考帧中的位 置信息建立运动向量；内容参考信息确定单元23用于利用所述运动向量调整 第一参考帧中该特定目标的位置信息，作为在当前帧中的参考位置信息，并且 根据特定目标与特定区域中其他目标的位置关系，得到其他目标的参考位置信 息，确定当前帧的内容参考信息；边界参考信息确定单元24用于根据所述运 动向量调整第 一参考帧中的边界真实信息，作为当前帧中的边界参考信息。
如图3 (c)所示，所述内容真实信息确定模块12包括转换单元31、真实 区域划定单元32和执行单元33，其中转换单元31用于将当前帧转换为二值 化图像；真实区域划定单元32用于将所述二值化图像中特定目标参考位置信 息所在的设定区域作为该特定目标的真实区域；执行单元33用于将所述真实 区域的重心作为该特定目标的真实位置信息，并利用所述特定目标与特定区域 中其他目标的位置关系，得到其他目标的真实位置信息，确定当前帧的内容真 实信息。
所述设备还包括第一比较模块14和第二比较模块15,其中第一比较模 块14用于比较当前帧中特定目标的参考位置信息和真实位置信息的坐标，当 坐标值的差别不小于第一门限值时，内容参考信息不满足设定条件；否则触发 所述第二比较模块15;第二比较模块15用于根据特定目标的参考位置信息中
心点得到特定目标的参考区域，当参考区域与所述真实区域的大小差别不小于 第二门限值时，内容参考信息不满足设定条件，否则，内容参考信息满足设定 条件。
所述设备还包括全图扫描模块16，用于在所述当前帧特定区域的内容参考 信息不满足设定条件时，利用全图扫描方式确定当前帧中特定区域的边界真实 信息和内容真实信息。
通过本发明实施例提供的方法和设备，利用前两帧的各种相关信息对当前 帧的各种信息进行估计，简化对当前帧的检测操作，减少了时间开销，实现了 对实时到来的视频数据帧中特定区域的检测，在大多数情况下提高了检测速 度；另外，本发明可以根据实际的参数变化来调整相应的检测方法，适应外界 变化对检测的影响。
明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1、一种对视频数据帧中特定区域进行检测的方法，其特征在于，该方法包括对第一参考帧和第二参考帧中特定区域的边界真实信息和内容真实信息进行估计，得到当前帧中特定区域的边界参考信息和内容参考信息；对所述内容参考信息进行调整，得到当前帧中特定区域的内容真实信息；在所述当前帧特定区域的内容参考信息满足设定条件时，利用当前帧的内容参考信息和内容真实信息的差别调整所述边界参考信息，得到当前帧的边界真实信息。
2、 如权利要求1所述的方法，其特征在于，所述第一参考帧是与所述当 前帧相邻的前一帧；对第一参考帧和第二参考帧的边界真实信息和内容真实信息进行估计，得 到当前帧的边界参考信息和内容参考信息的方法包括分别从所述第 一参考帧和第二参考帧的特定区域中选择一个特定目标； 根据所述特定目标在第一参考帧和第二参考帧中的位置信息建立运动向量；利用所述运动向量调整第一参考帧中该特定目标的位置信息，作为在当前 帧中的参考位置信息，并且，调整第一参考帧中的边界真实信息，作为当前帧 中的边界参考信息；利用特定目标与特定区域中其他目标的位置关系，得到其他目标的参考位 置信息，确定当前帧的内容参考信息。
3、 如权利要求2所述的方法，其特征在于，对所述内容参考信息进行调 整，得到当前帧的内容真实信息的方法包括将当前帧转换为二值化图像；将所述二值化图像中特定目标的参考位置信息所在的设定区域作为该特 定目标的真实区域； 将该真实区域的重心作为该特定目标的真实位置信息； 利用所述特定目标与特定区域中其他目标的位置关系，得到其他目标的真 实位置信息，确定当前帧的内容真实信息。
4、 如权利要求3所述的方法，其特征在于，判断当前帧特定区域的内容 参考信息是否满足设定条件的方法包括比较当前帧中特定目标的参考位置信息和真实位置信息的坐标，当坐标值 的差别不小于第一门限值时，内容参考信息不满足设定条件；否则根据特定目标的参考位置信息中心点得到特定目标的参考区域，当参考区 域与所述真实区域的大小差别不小于第二门限值时，内容参考信息不满足设定 条件，否则，内容参考信息满足设定条件。
5、 如权利要求1所述的方法，其特征在于，在所述当前帧特定区域的内 容参考信息不满足设定条件时，利用全图扫描方式确定当前帧中特定区域的边 界真实信息和内容真实信息。
6、 如权利要求5所述的方法，其特征在于，利用全图扫描方式确定当前 帧中特定区域的边界真实信息和内容真实信息之后，所述方法还包括利用全图扫描方式或局部扫描方式确定下一帧中特定区域的边界真实信 息和内容真实信息。
7、 一种对视频数据帧中特定区域进行检测的设备，其特征在于，所述设 备包括估计模块，用于对第一参考帧和第二参考帧中特定区域的边界真实信息和 内容真实信息进行估计，得到当前帧中特定区域的边界参考信息和内容参考信 自 内容真实信息确定模块，用于对所述内容参考信息进行调整，得到当前帧中特定区域的内容真实信息；边界真实信息确定模块，用于在所述当前帧特定区域的内容参考信息满足设定条件时，利用当前帧的内容参考信息和内容真实信息的差别调整边界参考信息，得到当前帧的边界真实信息。
8、 如权利要求7所述的设备，其特征在于，所述估计模块包括 选择单元，用于分别从所述第一参考帧和第二参考帧特定区域中选择一个特定目标；运动向量建立单元，用于根据所述特定目标在第一参考帧和第二参考帧中 的位置信息建立运动向量；内容参考信息确定单元，用于利用所述运动向量调整第 一参考帧中该特定 目标的位置信息，作为在当前帧中的参考位置信息，并且根据特定目标与特定 区域中其他目标的位置关系，得到其他目标的参考位置信息，确定当前帧的内 容参考信息；边界参考信息确定单元，用于根据所述运动向量调整第一参考帧中的边界 真实信息，作为当前帧中的边界参考信息。
9、 如权利要求8所述的设备，其特征在于，所述内容真实信息确定模块 包括转换单元，用于将当前帧转换为二值化图像；真实区域划定单元，用于将所述二值化图像中特定目标参考位置信息所在 的设定区域作为该特定目标的真实区域；执行单元，用于将所述真实区域的重心作为该特定目标的真实位置信息， 并利用所述特定目标与特定区域中其他目标的位置关系，得到其他目标的真实 位置信息，确定当前帧的内容真实信息。
10、 如权利要求8所述的设备，其特征在于，所述设备还包括第 一比较模块，用于比较当前帧中特定目标的参考位置信息和真实位置信 息的坐标，当坐标值的差别不小于第一门限值时，内容参考信息不满足设定条 件；否则第二比较模块，用于根据特定目标的参考位置信息中心点得到特定目标的 参考区域，当参考区域与所述真实区域的大小差别不小于第二门限值时，内容参考信息不满足设定条件，否则，内容参考信息满足设定条件。
11、如权利要求IO所述的设备，其特征在于，所述设备还包括全图扫描模块，用于在所述当前帧特定区域的内容参考信息不满足设定条件时，利用全图扫描方式确定当前帧中特定区域的边界真实信息和内容真实信 自
全文摘要
本发明公开了一种对视频数据帧中特定区域进行检测的方法，该方法包括对第一参考帧和第二参考帧中特定区域的边界真实信息和内容真实信息进行估计，得到当前帧中特定区域的边界参考信息和内容参考信息；对所述内容参考信息进行调整，得到当前帧中特定区域的内容真实信息；在所述当前帧特定区域的内容参考信息满足设定条件时，利用当前帧的内容参考信息和内容真实信息的差别调整边界参考信息，得到当前帧的边界真实信息。通过本发明，简化了对当前帧检测的方法，减少了时间开销，实现了对有实时性要求的多个连续的视频数据帧中特定区域进行检测。本发明公开了一种对视频数据帧中特定区域进行检测的设备。
文档编号G06K9/00GK101344920SQ200810116938
公开日2009年1月14日 申请日期2008年7月21日 优先权日2008年7月21日
发明者凯 姚, 祥 王, 郭宗明 申请人:北大方正集团有限公司;北京大学;北京北大方正电子有限公司