一种视频感兴趣区域快速标定方法与装置与流程

本发明涉及一种视频数据处理方法，尤其涉及一种视频感兴趣区域快速标定方法与装置。

背景技术：

随着互联网、移动互联网基础设施的不断完善，以及蜂窝移动通信网络的升级换代，人们在生活和工作中越来越多地使用视频电话或视频通话作为远距离沟通交流的手段。但是由于诸如网络带宽不足、网络传输负荷过大、视频图像分辨率不断提升等多方面因素的影响，传统的视频编码技术无法保证用户获得高质量的视频图像。视频编码技术经过多年的发展，也逐步接近压缩率的极限，如何在相对稳定的压缩比基础上，进一步获得让观看者主观感知上更高质量的视频图像，是当前视频压缩技术领域的难点之一。

颜色空间也称色彩模型(又称色彩空间或色彩系统)，它的用途是在某些标准下用通常可接受的方式对颜色加以描述。颜色空间有许多种，常用有RGB、YUV、HSI等。RGB(红绿蓝)是依据人眼识别的颜色定义出的空间，可表示大部分颜色。但因为RGB模型将色调，亮度，饱和度三个量放在一起表示，很难分开，难以进行数字化的细节调整，所以在工程及科研中，一般不直接使用RGB模型，而是将RGB模型转换为YUV或HSI等其他色彩模型再进行后续处理。

YUV色彩模型是将RGB模型的R、G、B分量经过矩阵变换得到亮度信号Y和两个色差信号B－Y(即U)、R－Y(即V)，最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。其中“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色，分别用Cr和Cb来表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异，而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。YUV色彩模型的亮度信号Y和色度信号U、V是分离的，非常适合进行增强、压缩等图像处理。

HSI〔Hue-Saturation-Intensity(Lightness),HSI或HSL〕颜色模型用H、S、I三参数描述颜色特性，其中H定义颜色的波长，称为色调；S表示颜色的深浅程度，称为饱和度；I表示强度或亮度。当人观察一个彩色物体时，用色调、饱和度、亮度来描述物体的颜色。色调是描述纯色的属性(纯黄色、橘黄或者红色)；饱和度给出一种纯色被白光稀释的程度的度量；亮度是一个主观的描述，实际上，它是不可以测量的，体现了无色的强度概念，并且是描述彩色感觉的关键参数。而强度(灰度)是单色图像最有用的描述子，这个量是可以测量且很容易解释。则将提出的这个模型称作为HSI(色调、饱和度、强度)彩色模型，该模型可在彩色图像中从携带的彩色信息(色调和饱和度)里消去强度分量的影响，使得HSI模型成为开发基于彩色描述的图像处理方法的良好工具，而这种彩色描述对人来说是自然而直观的。

HSI模型是美国色彩学家孟塞尔(H.A.Munseu)于1915年提出的，它反映了人的视觉系统感知彩色的方式，以色调、饱和度和强度三种基本特征量来感知颜色。

感兴趣区域(ROI，Range of Interesting)视频编码是目前应对以上难题的有效解决方案之一，由于人眼具有视觉感兴趣区的特性，即人眼对一副图像不同区域感兴趣的程度不同，这就意味着人眼对一幅图像不同区域的质量损失可察觉度也相应不同，因此，基于感兴趣区域的视频编码方法，可充分利用视频图像接收者的这一主观特性，对图像中不同区域采用不同的编码策略，可以有效地在不增加编码码率的同时显著提升图像等的主观感受质量。为了实现感兴趣区域视频编码这一技术，当前主流的视频编解码算法标准均提供了相应的建议实现方案，例如国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-2(MPEG-2)标准、ISO/IEC运动图像专家组-4(MPEG-4)第10部分高级视频编码标准(AVC)、国际电信联盟(ITU)H.264标准，均提供了在图像特定区域获得比其它区域更高质量的机制，允许发送端通过分析待编码图像的特性区分出感兴趣区域，通过对感兴趣区域分配更多编码比特以保留更多细节，来获得更高的感知质量。

而对于一般的ROI提取问题，流行的方法是建立可计算的视觉关注模型，这是一种涉及视觉生理，认知心理，记忆机制，图像信息等等方面的复杂模型，一般难以得到快速标定方法，特别是对于动态图像。另外一些处理特定的从动态图像中标定人脸区域的方法因为过多关注于人脸的形状或人脸上特定部位的性质，往往引入了复杂的算法，也不适用于动态图像中人脸区域的快速标定。符合H264规范的软件编码器如OPENH264编码器，由于算法的复杂性本身会占用处理器的一部分处理资源，因此在其中嵌入人脸区域标定的算法必须是简单快速而又有效的，且由于H264中压缩处理的基本单元是宏块(MB)，因此人脸区域标定应该以MB为该区域的基本单元。

关于从图像对人脸区域进行标定，目前有多种算法：基于知识的算法利用对人脸先验的知识指定规则进行识别；基于特征的算法先找到人脸的稳定特征然后在图像中进行匹配验证这种特征是否存在；还有基于统计和概率模型的算法。基于人脸各个部分的肤色特征进行分割处理，并考虑各部分的形状特征以及相互之间的位置关系特征，这是一种属于基于特征的算法，与其他种类算法一样，它也具有相当大的复杂性，不适用于快速标定。

现有技术的缺点主要体现在计算的复杂性上，大部分视频相关应用都是动态视频，有相当的实时性要求，另一方面，承载视频应用的设备，比如通常的移动终端，处理器能力有限，也不允许太多的计算复杂性。

技术实现要素：

为了解决现有技术中视频感兴趣区域标定方式计算方式复杂不适用于处理器能力有限的终端或情境的问题，本发明提供了一种视频感兴趣区域快速标定方法与装置。

本发明提供了一种视频感兴趣区域快速标定方法，包括：

确定视频数据中的目标帧图像；

确定目标帧图像中第一分量图像数据、第二分量图像数据；

计算所述第一分量图像数据的阈值TH并计算所述第一分量图像数据和X倍的第二分量图像数据的差值阈值DTH；

根据所述阈值TH、所述差值阈值DTH、所述目标帧图像中每个宏块中像素的第一分量的值和第二分量的值确定处于人脸或皮肤区域的宏块，将所述宏块的集合作为所述目标帧图像的感兴趣域区域。

上述视频感兴趣区域快速标定方法还具有以下特点：

所述根据所述阈值TH、所述差值阈值DTH、所述目标帧图像中每个宏块中像素的第一分量的值和第二分量的值确定处于人脸或皮肤区域的宏块包括：

所述阈值TH的值大于或等于第一TH值时，确定每个宏块的各像素中第一分量的值大于所述第二TH值且小于第一TH值的像素为目标像素；

所述阈值TH的值小于所述第一TH值且大于或等于第二TH值时，确定每个宏块的各像素中第一分量的值大于第二TH值且小于所述第一TH值且所述第一分量的值与第二分量的值的差值的绝对值大于所述差值阈值DTH的像素为目标像素；

所述阈值TH的值小于所述第二TH值且大于或等于第三TH值时，确定每个宏块的各像素中第一分量的值大于所述第三TH值且所述第一分量的值与第二分量的值的差值的绝对值大于所述差值阈值DTH的像素为目标像素；

所述阈值TH的值小于所述第三TH值时，确定每个宏块的各像素中第一分量的值大于第三TH值且小于所述第一TH值的像素为目标像素；

确定各宏块中目标像素个数大于所述宏块中像素个数的第一比例的宏块为处于人脸或皮肤区域的宏块；

其中，所述第一TH值、所述第二TH值、所述第三TH值依次降低。

上述视频感兴趣区域快速标定方法还具有以下特点：

所述根据所述阈值TH、所述差值阈值DTH、所述目标帧图像中每个宏块中像素的第一分量的值和第二分量的值确定处于人脸或皮肤区域的宏块包括：

针对每个目标帧图像执行以下操作：

所述阈值TH的值大于或等于第一TH值时，确定每个宏块的各像素中第一分量的值大于所述第二TH值且小于第一TH值的像素为目标像素；

所述阈值TH的值小于第一TH值且大于或等于第二TH值时，确定每个宏块的各像素中第一分量的值大于第一阈值且小于所述第一TH值且所述第一分量的值与第二分量的值的差值的绝对值大于所述差值阈值DTH的像素为目标像素；第一阈值小于所述第二TH值；

所述阈值TH的值小于所述第二TH值且大于或等于第三TH值时，确定每个宏块的各像素中第一分量的值大于所述阈值TH且大于第二阈值且第一分量的值与第二分量的值的差值的绝对值大于所述差值阈值DTH的像素为目标像素；

所述阈值TH的值小于所述第三TH值时，确定每个宏块的各像素中第一分量的值大于所述阈值TH且大于第三阈值且小于所述第一TH值的像素为目标像素；

确定各宏块中目标像素个数大于所述宏块中像素个数的第一比例的宏块为处于人脸或皮肤区域的宏块；

其中，所述第一TH值、所述第二TH值、所述第三TH值依次降低；所述第一阈值、所述第二阈值、所述第三阈值依次降低且均大于所述第二TH值且小于所述第二TH值。

上述视频感兴趣区域快速标定方法还具有以下特点：

所述第一分量图像数据是所述目标帧图像中的浓度分量图像数据，所述第二分量图像数据是所述目标帧图像中的色度分量图像数据；所述X的值为1，所述第一TH值为160、所述第二TH值为145、所述第二TH值为120。

上述视频感兴趣区域快速标定方法还具有以下特点：

所述第一分量图像数据是所述目标帧图像中的浓度分量图像数据，所述第二分量图像数据是所述目标帧图像中的色度分量图像数据；所述X的值为1，所述第一TH值为160、所述第二TH值为145、所述第二TH值为120、所述第一阈值为140，所述第二阈值为135、所述第三阈值为130。

上述视频感兴趣区域快速标定方法还具有以下特点：

所述第一分量图像数据是所述目标帧图像中的色调分量图像数据，所述第二分量图像数据是所述目标帧图像中的饱和度分量图像数据；所述X的值为π，所述第一TH值为1.2π、所述第二TH值为1.1π、所述第三TH值为π、所述第一阈值为1.05π，所述第二阈值为1.02π、所述第三阈值为1.01π。

上述视频感兴趣区域快速标定方法还具有以下特点：

第一比例为1/10。

上述视频感兴趣区域快速标定方法还具有以下特点：

所述计算所述第一分量图像数据的二值化阈值TH和所述第一分量图像数据和X倍的第二分量图像数据的差值的二值化阈值DTH包括：根据最大类间方差方法计算所述第一分量图像数据的二值化阈值TH和所述第一分量图像数据和X倍的第二分量图像数据的差值的二值化阈值DTH。

上述视频感兴趣区域快速标定方法还具有以下特点：

所述确定视频数据中的目标帧图像包括：以相同间隔帧数选取所述视频数据中的目标帧图像；或者，根据所述视频数据中相邻帧中宏块的运动信息确定目标帧图像。

本发明还提供了一种视频感兴趣区域快速标定装置，包括：

目标帧图像确定模块，用于确定视频数据中的目标帧图像；

分量图像数据确定模块，用于确定目标帧图像中第一分量图像数据、第二分量图像数据；

阈值计算模块，用于计算所述第一分量图像数据的阈值TH、所述第一分量图像数据和X倍的第二分量图像数据的差值阈值DTH；

感兴趣区域确定模块，用于根据所述阈值TH、所述差值阈值DTH、所述目标帧图像中每个宏块中像素的第一分量的值和第二分量的值确定处于人脸或皮肤区域的宏块，将所述宏块的集合作为所述目标帧图像的感兴趣域区域。

本发明提供了一种准确又简单快速的标定视频感兴趣区域的方法，用于在动态视频中标定人脸区域，尤其适用于处理器能力有限的终端和应用情境。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是实施例中视频感兴趣区域快速标定方法的流程图；

图2是实施例中视频感兴趣区域快速标定装置的结构图。

具体实施方式

以下结合说明书附图及具体实施例进一步说明本发明的技术方案。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

图1是实施例中视频感兴趣区域快速标定方法的流程图，此方法包括：

步骤101，确定视频数据中的目标帧图像；

步骤102，确定目标帧图像中第一分量图像数据、第二分量图像数据；

步骤103，计算第一分量图像数据的阈值TH、第一分量图像数据和X倍的第二分量图像数据的差值阈值DTH；

步骤104，根据阈值TH、差值阈值DTH、目标帧图像中每个宏块中像素的第一分量的值和第二分量的值确定处于人脸或皮肤区域的宏块，将所述宏块的集合作为目标帧图像的感兴趣域区域。

其中，步骤101中确定视频数据中的目标帧图像的方式包括以下两种：以相同间隔帧数选取视频数据中的目标帧图像；或者，根据视频数据中相邻帧中宏块的运动信息确定目标帧图像，在相邻帧中宏块的运动范围较小时，以较小的间隔帧数确定目标帧图像，在相邻帧中宏块的运动范围较大时，以较大的间隔帧数确定目标帧图像。本发明对于处理能力较差的设备，很容易通过放弃一小部分人脸区域标定的性能，等效的提升本发明提出的算法的速度，具体如下：利用连续的图像帧之间的相关性，可以使用大于1的帧数，比如以2或3帧为周期做人脸区域标定而不是每1帧都作为目标帧，周期内的帧认为人脸区域不变。在视频流的图像内容变化不快的情况下，这样做几乎不会损失标定的性能。

步骤103中，根据最大类间方差计算第一分量图像数据的阈值TH以及第一分量图像数据和X倍的第二分量图像数据的差值的阈值DTH。

下面通过使用视频图像中浓度分量V和色度分量U的两个示例说明本发明的实现方法。步骤102中的目标帧图像的图像格式不是YUV格式时，需先将目标帧图像转换为YUV图像格式再执行下述操作。

实现方法一

本实现方法二中采用YUV空间进行ROI的快速标定。其中，第一分量图像数据是目标帧图像中的浓度分量V图像数据，第二分量图像数据是目标帧图像中的色度分量U图像数据。

针对每个目标帧图像执行以下操作：

TH的值大于或等于第一TH值时，确定每个宏块的各像素中第一分量的值大于第二TH值且小于第一TH值的像素为目标像素；

TH的值小于第一TH值且大于或等于第二TH值时，确定每个宏块的各像素中第一分量的值大于第二TH值且小于第一TH值且第一分量的值与第二分量的值的差值的绝对值大于差值阈值DTH的像素为目标像素；

TH的值小于第二TH值且大于或等于第三TH值时，确定每个宏块的各像素中第一分量的值大于第三TH值且第一分量的值与第二分量的值的差值的绝对值大于差值阈值DTH的像素为目标像素；

TH的值小于第三TH值时，确定每个宏块的各像素中第一分量的值大于第三TH值且小于第一TH值的像素为目标像素；

确定各宏块中目标像素个数大于宏块中像素个数的第一比例的宏块为处于人脸或皮肤区域的宏块。

其中，第一TH值、第二TH值、第三TH值依次降低。

针对此方法一的具体示例如下：

目标帧图像中的浓度分量V图像数据的阈值为V_TH，第一分量V图像数据和第二分量U图像数据的差值阈值为DVU_TH。第一TH值为160、第二TH值为145、第三TH值为120。

针对每个目标帧图像执行以下操作：

V_TH≥160时，确定每个宏块的各像素中V>145且V<160的像素为目标像素；

V_TH≥145并且V_TH<160时，确定每个宏块的各像素中V>145且V<160且|V-U|>DVU_TH的像素为目标像素；

V_TH≥120并且V_TH<145时，确定每个宏块的各像素中V>120且|V-U|>DVU_TH的像素为目标像素；

V_TH<120时，确定每个宏块的各像素中V>120且V<160的像素为目标像素。

实现方法二

本实现方法二中采用YUV空间进行ROI的快速标定。其中，第一分量图像数据是目标帧图像中的浓度分量V图像数据，第二分量图像数据是目标帧图像中的色度分量U图像数据。

针对每个目标帧图像执行以下操作：

阈值TH的值大于或等于第一TH值时，确定每个宏块的各像素中第一分量的值大于第二TH值且小于第一TH值的像素为目标像素；

阈值TH的值小于第一TH值且大于或等于第二TH值时，确定每个宏块的各像素中第一分量的值大于第一阈值且小于第一TH值且第一分量的值与第二分量的值的差值的绝对值大于差值阈值DTH的像素为目标像素；第一阈值小于第二TH值；

阈值TH的值小于第二TH值且大于或等于第三TH值时，确定每个宏块的各像素中第一分量的值大于阈值TH且大于第二阈值且第一分量的值与第二分量的值的差值的绝对值大于差值阈值DTH的像素为目标像素；

阈值TH的值小于所述第三TH值时，确定每个宏块的各像素中第一分量的值大于阈值TH且大于第三阈值且小于第一TH值的像素为目标像素；

确定各宏块中目标像素个数大于宏块中像素个数的第一比例的宏块为处于人脸或皮肤区域的宏块。

其中，第一TH值、第二TH值、第三TH值依次降低。第一阈值、第二阈值、第三阈值依次降低且均大于第二TH值且小于第二TH值。

针对此方法二的具体示例如下：

目标帧图像中的浓度分量V图像数据的阈值为V_TH，第一分量V图像数据和第二分量U图像数据的差值阈值为DVU_TH。第一TH值为160、第二TH值为145、第三TH值为120、第一阈值为140、第二阈值为135、第三阈值为130。

针对每个目标帧图像执行以下操作：

V_TH≥160时，确定每个宏块的各像素中V>145且V<160的像素为目标像素；

V_TH≥145并且V_TH<160时，确定每个宏块的各像素中V>140且V<160且|V-U|>DVU_TH的像素为目标像素；

V_TH≥120并且V_TH<145时，确定每个宏块的各像素中V>V_TH且V>135且|V-U|>DVU_TH的像素为目标像素；

V_TH<120时，确定每个宏块的各像素中V>V_TH且V>130且V<160的像素为目标像素。

确定各宏块中目标像素个数大于宏块中像素个数的第一比例的宏块为处于人脸或皮肤区域的宏块。

实现方法三

本实现方法三中使用HSI空间进行ROI的快速标定。其中，第一分量图像数据是目标帧图像中的色调分量H，第二分量图像数据是目标帧图像中的饱和度分量S。

针对每个目标帧图像执行以下操作：

阈值TH的值大于或等于第一TH值时，确定每个宏块的各像素中第一分量的值大于第一TH值且小于第一TH值的像素为目标像素；

阈值TH的值小于第一TH值且大于或等于第二TH值时，确定每个宏块的各像素中第一分量的值大于第一阈值且小于第一TH值且第一分量的值与第二分量的值的差值的绝对值大于阈值DTH的像素为目标像素；第一阈值小于第二TH值；

阈值TH的值小于第二TH值且大于或等于第三TH值时，确定每个宏块的各像素中第一分量的值大于阈值TH值且大于第二阈值且第一分量的值与第二分量的值的差值的绝对值大于差值二值化阈值DTH的像素为目标像素；

阈值TH的值小于第三TH值时，确定每个宏块的各像素中第一分量的值大于阈值TH值且大于第三阈值且小于第一TH值的像素为目标像素；

其中，第一TH值、第二TH值、第三TH值依次降低；

第一阈值、第二阈值、第三阈值依次降低。

确定各宏块中目标像素个数大于宏块中像素个数的第一比例的宏块为处于人脸或皮肤区域的宏块。

针对此实现方法三的具体示例如下：

目标帧图像中的色调分量H图像数据的阈值为H_TH，第一分量H图像数据和第二分量S图像数据的π倍的差值的阈值为DHS_TH。第一TH值为1.2π、第二TH值为1.1π、第三TH值为π、第一阈值为1.05π，第二阈值为1.02π、第三阈值为1.01π。

针对每个目标帧图像执行以下操作：

H_TH≥1.2*π时，确定每个宏块的各像素中H>1.1π且H<1.2π的像素为目标像素；

H_TH≥1.1π并且H_TH<1.2π时，确定每个宏块的各像素中H>1.1π且H<1.2π且|H-S＊π|>DHS_TH的像素为目标像素；

H_TH≥π并且H_TH<1.1π时，确定每个宏块的各像素中H>H_TH且H>1.02π且|H-S＊π|>DHS_TH的像素为目标像素；

H_TH<π时，确定每个宏块的各像素中V>H_TH且V>1.01π且V<1.2π的像素为目标像素。

确定各宏块中目标像素个数大于宏块中像素个数的第一比例的宏块为处于人脸或皮肤区域的宏块。

此方法中，第一比例优选但不限于1/10，宏块为16X16宏块时确定各宏块中目标像素个数大于16的宏块为处于人脸或皮肤区域的宏块。

本方法中基于肤色模型和最大类间方差法(OSTU)的在图像中进行人脸区域标定的快速方法，与基于人脸各个部分肤色特征进行分割的方法不同，它不需要考虑几何形状以及这些形状之间的位置关系，而只是在简单的统计计算之后得到几个阀值，然后通过检查MB中的像素的UV值与这些阀值之间的关系，即可相当准确的标定一个MB是否在人脸区域或暴露的皮肤区域内。

本发明不局限于使用YUV空间的UV分量的方式和HIS空间的HS分量的方式，还可以是RGB空间中的分量，还可以是其它图像格式或其它颜色空间中的分量，使用其它图像格式或其它颜色空间的分量时相应阈值需根据图像格式或颜色空间进行相应的改变。

本发明还提供了对应于图1的视频感兴趣区域快速标定方法的视频感兴趣区域快速装置。图2是实施例中视频感兴趣区域快速标定装置，参考图2，视频感兴趣区域快速标定装置包括：

目标帧图像确定模块201，用于确定视频数据中的目标帧图像；

分量图像数据确定模块202，用于确定目标帧图像中第一分量图像数据、第二分量图像数据；

阈值计算模块203，用于计算第一分量图像数据的阈值TH、第一分量图像数据和X倍的第二分量图像数据的差值阈值DTH；

感兴趣区域确定模块204，用于根据阈值TH、差值阈值DTH、目标帧图像中每个宏块中像素的第一分量的值和第二分量的值确定处于人脸或皮肤区域的宏块，将所述宏块的集合作为目标帧图像的感兴趣域区域。

上述各模块的功能的具体实现方式与上述方法中描述的方式相同，此处不再重复描述。

本发明的方法简单快速且准确有效，可以全部用软件实现，实施的时候很灵活，几乎没有成本，非常适合于在视频图像处理特别是互联网视频应用中使用：一旦人脸区域被标定，后续针对该区域的特殊处理就称为可能。比如：在使用H.264编码时，可以提升人脸区域的质量，同时适当降低图像的其他部分的质量，总体保持编码率不变，这样，即使在网络带宽受限的情况下，压缩码流被解码后，也能得到人脸清晰的图像，而不是整个都模糊的图像。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。