一种视频图像处理方法、及设备与流程

本发明涉及计算机技术领域，特别涉及一种视频图像处理方法、及设备。

背景技术：

实时视频通话或者视频直播过程中，需要实时采集视频图像形成视频；在图像采集后会通过网络发送给视频的播放端。在这个过程中，视频图像中可能存在各种瑕疵，主要包含如下三个方面：

一、人脸本身的瑕疵，例如：小斑点；这会对人的整体美观度产生不好的影响。

二、人的皮肤看起来不是那么健康。

三、光线等环境原因对图像产生的影响，例如：环境光太暗的时候整体图像会太过于昏暗，导致人脸看不清楚。

基于以上影响视频图像质量的问题，如果能对视频图像进行优化，例如：消除人脸瑕疵、美化肤色等，让人看起来更加自然美丽；调节过暗的视频图像提升整体画质，使得视频图像看起来更加清楚自然。

目前针对视频图像处理结果，特别是针对实时通信邻域中的视频图像处理结果，存在背景模糊、人脸粗糙以及光照环境质量差等问题。

技术实现要素：

本发明实施例提供了一种视频图像处理方法、及设备，应用于视频图像特别是实时通信领域中视频图像的优化，提高视频图像质量。

一方面本发明实施例提供了一种视频图像处理方法，包括：

获取视频图像，所述视频图像属于亮度色度YUV视频流中的图像；

确定所述视频图像中蓝色色度分量U和红色色度分量V，并依据所述U和V确定所述视频图像中人脸的肤色；

依据所述视频图像的亮度分量Y和所述肤色对所述视频图像进行磨皮处理，使用所述肤色对所述磨皮处理后的图像进行色调调整，并输出所述色调调整后的图像。

在一个可选的实现方式中，所述依据所述U和V确定所述视频图像中人脸的肤色包括：

依据所述U和V确定所述视频图像中人脸的第一肤色参数和第二肤色参数；所述第一肤色参数为用于磨皮处理的肤色参数，所述第二肤色参数为用于色调调整的肤色参数。

在一个可选的实现方式中，所述依据所述视频图像的亮度分量Y和所述肤色对所述视频图像进行磨皮处理，使用所述肤色对所述磨皮处理后的图像进行色调调整，并输出所述色调调整后的图像包括：

对所述视频图像的亮度分量Y进行保边滤波获得第一图像，将所述第一图像和所述视频图像根据所述第一肤色参数进行叠加得到第二图像，将所述第二图像进行色调调整得到第三图像；将所述第三图像和所述第二图像按照所述第二肤色参数进行混合得到第四图像，并输出所述第四图像。

在一个可选的实现方式中，所述确定所述视频图像中蓝色色度分量U和红色色度分量V，并依据所述U和V确定所述视频图像中人脸的肤色包括：

设定肤色区域的U和V的取值范围分别为：u∈[umin,umax],v∈[vmin,vmax]；其中umin和umax分别为U的最小值和最大值，vmin和vmax分别为V的最小值和最大值；对于所述视频图像中的像素点(u，v)肤色检测结果为：

V(u,v)＝Pu*Pv；

vstepleft＝vmin/scale；

vstepright＝(255-vmax)/scale；

ustepleft＝umin/scale；

ustepright＝(255-umax)/scale；

所述scale为阶数量化参数；所述V(u,v)为第一肤色参数；

所述视频图像的像素(u,v)值通过如下公式：

其中μu，μv分别是肤色在u和v的中心；σu，σv分别是肤色的u和v分量的方差；ρ是肤色的u和v的互相关系数；计算出像素(u,v)到椭圆中心的马氏距离，像素(u,v)的第二肤色参数为：

在一个可选的实现方式中，所述对所述视频图像的亮度分量Y进行保边滤波获得第一图像，将所述第一图像和所述视频图像根据所述第一肤色参数进行叠加得到第二图像，将所述第二图像进行色调调整得到第三图像；将所述第三图像和所述第二图像按照所述第二肤色参数进行混合得到第四图像，并输出所述第四图像包括：

记亮度分量Y对应的一维表为：

对所述视频图像的亮度分量Y进行保边滤波得到Yfiltered，然后使用如下公式得到差值图像：Ydif＝Yfiltered-Y+128；然后使用如下公式进行线性光叠加得到磨皮图像，Ysmooth＝Y+2*Ydif-256；

把磨皮图像Ysmooth和所述视频图像的亮度分量Y按照所述第一肤色参数和所述亮度分量Y对应的一维表使用如下公式进行混合，Yres＝(1-a)*Y+a*Ysmooth，其中，a＝V(u,v)*Yi；

把Yres和所述U和V组成的图像变换到红绿蓝RGB格式的图像，然后分别对R、G、B三个分量进行曲线拉伸，再把拉伸后的图像转回YUV格式得到色调调整后的图像ItoneAdjusted；把色调调整后的图像和所述第二图像采用如下公式进行线性混合得到所述第四图像：

其中，b＝P(u,v)/255；在所述ItoneAdjusted中，亮度分量为YtoneAdjusted，红色色度分量和蓝色色度分量分别为UtoneAdjusted和VtoneAdjusted；

输出所述第四图像。

二方面本发明实施例还提供了一种视频图像处理设备，包括：

图像获取单元，用于获取视频图像，所述视频图像属于亮度色度YUV视频流中的图像；

肤色确定单元，用于确定所述视频图像中蓝色色度分量U和红色色度分量V，并依据所述U和V确定所述视频图像中人脸的肤色；

图像调整单元，用于依据所述视频图像的亮度分量Y和所述肤色对所述视频图像进行磨皮处理，使用所述肤色对所述磨皮处理后的图像进行色调调整；

图像输出单元，用于输出所述色调调整后的图像。

在一个可选的实现方式中，所述肤色确定单元，用于依据所述U和V确定所述视频图像中人脸的第一肤色参数和第二肤色参数；所述第一肤色参数为用于磨皮处理的肤色参数，所述第二肤色参数为用于色调调整的肤色参数。

在一个可选的实现方式中，所述图像调整单元，用于对所述视频图像的亮度分量Y进行保边滤波获得第一图像，将所述第一图像和所述视频图像根据所述第一肤色参数进行叠加得到第二图像，将所述第二图像进行色调调整得到第三图像；将所述第三图像和所述第二图像按照所述第二肤色参数进行混合得到第四图像；

所述图像输出单元，用于输出所述第四图像。

在一个可选的实现方式中，所述肤色确定单元，用于设定肤色区域的U和V的取值范围分别为：u∈[umin,umax],v∈[vmin,vmax]；其中umin和umax分别为U的最小值和最大值，vmin和vmax分别为V的最小值和最大值；对于所述视频图像中的像素点(u，v)肤色检测结果为：

V(u,v)＝Pu*Pv；

vstepleft＝vmin/scale；

vstepright＝(255-vmax)/scale；

ustepleft＝umin/scale；

ustepright＝(255-umax)/scale；

所述scale为阶数量化参数；所述V(u,v)为第一肤色参数；

所述视频图像的像素(u,v)值通过如下公式：

其中μu，μv分别是肤色在u和v的中心；σu，σv分别是肤色的u和v分量的方差；ρ是肤色的u和v的互相关系数；计算出像素(u,v)到椭圆中心的马氏距离，像素(u,v)的第二肤色参数为：

在一个可选的实现方式中，所述图像调整单元，用于记亮度分量Y对应的一维表为：

对所述视频图像的亮度分量Y进行保边滤波得到Yfiltered，然后使用如下公式得到差值图像：Ydif＝Yfiltered-Y+128；然后使用如下公式进行线性光叠加得到磨皮图像，Ysmooth＝Y+2*Ydif-256；

把磨皮图像Ysmooth和所述视频图像的亮度分量Y按照所述第一肤色参数和所述亮度分量Y对应的一维表使用如下公式进行混合，Yres＝(1-a)*Y+a*Ysmooth，其中，a＝V(u,v)*Yi；

把Yres和所述U和V组成的图像变换到红绿蓝RGB格式的图像，然后分别对R、G、B三个分量进行曲线拉伸，再把拉伸后的图像转回YUV格式得到色调调整后的图像ItoneAdjusted；把色调调整后的图像和所述第二图像采用如下公式进行线性混合得到所述第四图像：

其中，b＝P(u,v)/255；在所述ItoneAdjusted中，亮度分量为YtoneAdjusted，红色色度分量和蓝色色度分量分别为UtoneAdjusted和VtoneAdjusted。

三方面本发明实施例还提供了一种电子设备，该电子设备包括：输入输出设备、存储器以及处理器；其中存储器用于存储可执行程序，所述处理器用于执行所述可执行程序实现本发明实施例中的方法流程。

从以上技术方案可以看出，本发明实施例具有以下优点：基于视频图像具有连续性的特性，对视频图像中的人脸进行图像优化，且可以调整视频图像的背景质量，从而提高视频图像质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例方法流程示意图；

图2为本发明实施例方法流程示意图；

图3为本发明实施例设备结构示意图；

图4为本发明实施例设备结构示意图；

图5为本发明实施例服务器结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例提供了一种视频图像处理方法，如图1所示，包括：

101：获取视频图像，上述视频图像属于亮度色度YUV视频流中的图像；

YUV是一种颜色编码方法，属于逐行倒相(Phase Alteration Line，PAL)，是PAL和按顺序传送彩色与存储(SequentielCouleur A Memoire，SECAM)模拟彩色电视制式采用的颜色空间。在现代彩色电视系统中，通常采用三管彩色摄影机或彩色电荷耦合元件(Charge-coupled Device，CCD)摄影机进行取像，然后把取得的彩色图像信号经分色、分别放大校正后得到红绿蓝(Red，Green，Blue，RGB)，再经过矩阵变换电路得到亮度信号Y和两个色差信号B－Y(即U)、R－Y(即V)，最后发送端将亮度和色差三个分量的信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。

102：确定上述视频图像中蓝色色度分量U和红色色度分量V，并依据上述U和V确定上述视频图像中人脸的肤色；

肤色是用于确定人脸的肤色深浅的参数，基于用途不同可以分为两类：一类是用来对人脸图像进行磨皮使用的肤色参数，一类是用来对整个视频图像进行色调变换的肤色参数。

103：依据上述视频图像的亮度分量Y和上述肤色对上述视频图像进行磨皮处理，使用上述肤色对上述磨皮处理后的图像进行色调调整，并输出上述色调调整后的图像。

本实施例，基于视频图像具有连续性的特性，对视频图像中的人脸进行图像优化，且可以调整视频图像的背景质量，从而提高视频图像质量。

基于前面实施例的介绍，上述依据上述U和V确定上述视频图像中人脸的肤色包括：

依据上述U和V确定上述视频图像中人脸的第一肤色参数和第二肤色参数；上述第一肤色参数为用于磨皮处理的肤色参数，上述第二肤色参数为用于色调调整的肤色参数。

更进一步地，上述依据上述视频图像的亮度分量Y和上述肤色对上述视频图像进行磨皮处理，使用上述肤色对上述磨皮处理后的图像进行色调调整，并输出上述色调调整后的图像包括：

对上述视频图像的亮度分量Y进行保边滤波获得第一图像，将上述第一图像和上述视频图像根据上述第一肤色参数进行叠加得到第二图像，将上述第二图像进行色调调整得到第三图像；将上述第三图像和上述第二图像按照上述第二肤色参数进行混合得到第四图像，并输出上述第四图像。

更具体地，上述确定上述视频图像中蓝色色度分量U和红色色度分量V，并依据上述U和V确定上述视频图像中人脸的肤色包括：

设定肤色区域的U和V的取值范围分别为：u∈[umin,umax],v∈[vmin,vmax]；其中umin和umax分别为U的最小值和最大值，vmin和vmax分别为V的最小值和最大值；对于上述视频图像中的像素点(u，v)肤色检测结果为：

V(u,v)＝Pu*Pv；

vstepleft＝vmin/scale；

vstepright＝(255-vmax)/scale；

ustepleft＝umin/scale；

ustepright＝(255-umax)/scale；

上述scale为阶数量化参数；上述V(u,v)为第一肤色参数；

上述视频图像的像素(u,v)值通过如下公式：

其中μu，μv分别是肤色在u和v的中心；σu，σv分别是肤色的u和v分量的方差；ρ是肤色的u和v的互相关系数；计算出像素(u,v)到椭圆中心的马氏距离，像素(u,v)的第二肤色参数为：

更具体地，上述对上述视频图像的亮度分量Y进行保边滤波获得第一图像，将上述第一图像和上述视频图像根据上述第一肤色参数进行叠加得到第二图像，将上述第二图像进行色调调整得到第三图像；将上述第三图像和上述第二图像按照上述第二肤色参数进行混合得到第四图像，并输出上述第四图像包括：

记亮度分量Y对应的一维表为：

对上述视频图像的亮度分量Y进行保边滤波得到Yfiltered，然后使用如下公式得到差值图像：Ydif＝Yfiltered-Y+128；然后使用如下公式进行线性光叠加得到磨皮图像，Ysmooth＝Y+2*Ydif-256；

把磨皮图像Ysmooth和上述视频图像的亮度分量Y按照上述第一肤色参数和上述亮度分量Y对应的一维表使用如下公式进行混合，Yres＝(1-a)*Y+a*Ysmooth，其中，a＝V(u,v)*Yi；

把Yres和上述U和V组成的图像变换到红绿蓝RGB格式的图像，然后分别对R、G、B三个分量进行曲线拉伸，再把拉伸后的图像转回YUV格式得到色调调整后的图像ItoneAdjusted；把色调调整后的图像和上述第二图像采用如下公式进行线性混合得到上述第四图像：

其中，b＝P(u,v)/255；在上述ItoneAdjusted中，亮度分量为YtoneAdjusted，红色色度分量和蓝色色度分量分别为UtoneAdjusted和VtoneAdjusted；

输出上述第四图像。

以下实施例将以视频直播为例，视频直播过程中视频图像以视频流的形式在通信网络中传播，本实施例方案可以在服务平台所在的服务器实现，也可以在视频流的接收方或者发送方的终端设备上实现，本发明实施例对此不作唯一性限定，具体如下：

首先，对YUV视频流的UV分量进行肤色两种肤色检测，得到用来磨皮的肤色检测的结果，以及，用来进行色调变换的肤色检测结果；

然后，对Y分量进行保边滤波并对滤波后的图像和原始图像进行线性叠加来进行达到磨皮效果，再把磨皮后的图像和原始图像根据用来磨皮的肤色检测的结果进行叠加来得到最终磨皮后的图像；

最后，把最终磨皮后的图像根据用来进行色调变换的肤色检测结果进行色调调整，得到美颜后的图像输出。

具体的流程，如图2所示，包括：

S10、设定肤色区域的UV的阈值分别为u∈[umin,umax],v∈[vmin,vmax]。其中的阈值是通过实验预先得到的。本实施例，构造一张256*256大小的肤色似然图像，其中图像的x方向代表u分量，y方向代表v分量，对于图像中的一个点(u,v)的像素值可以用如下公式计算得到：

V(u,v)＝Pu*Pv；

其中，V(u,v)是用来磨皮的肤色检测的结果，exp为以自然常数e为底的指数函数，全称为指数曲线(Exponential)；

vstepleft＝vmin/scale；

vstepright＝(255-vmax)/scale；

ustepleft＝umin/scale；

ustepright＝(255-umax)/scale；

scale为一个阶数量化指标，通过实验获得。

S20、对于0到255的Y分量，我们也构造一个大小为256的一维表:

S30、肤色在UV平面的统计数据可以用一个椭圆拟合：

其中μu，μv分别是肤色在u和v的中心；σu，σv分别是肤色的u和v分量的方差；ρ是肤色的u和v的互相关系数。这几个数都可以从肤色数据库的数据得到。

对于输入的视频流，任意一个像素的(u,v)值都可以用上述公式算出其到椭圆中心的马氏距离，我们用下述公式表示该点为肤色可能性：

S40、对输入的图像的Y分量进行保边滤波得到图像Yfiltered，(第一图像)然后使用如下公式得到差值图像：

Ydif＝Yfiltered-Y+128；

进行线性光叠加得到磨皮图像(第二图像)：

Ysmooth＝Y+2*Ydif-256；

S50、把磨皮图像和原始图像的Y分量按照S10中肤色检测的结果和S20中亮度的判断进行混合(第三图像)：

Yres＝(1-a)*Y+a*Ysmooth；

其中,a＝V(u,v)*Yi；

S60、把Yres和原始的U，V分量组成的图像变换到RGB空间，然后分别对三个分量进行曲线拉伸，再把拉伸后的图像转回YUV空间得到图像ItoneAdjusted；

S70、把色调调整后的图像和原始图像进行线性混合(第四图像)：

b＝P(u,v)*Yi；

S80、输出美颜图像。

本发明实施例提出的方法能够保证视频帧连续的情况下对人脸进行美化，同时对于暗图像进行调整。

发明实施例还提供了一种视频图像处理设备，如图3所示，包括：

图像获取单元301，用于获取视频图像，上述视频图像属于亮度色度YUV视频流中的图像；

肤色确定单元302，用于确定上述视频图像中蓝色色度分量U和红色色度分量V，并依据上述U和V确定上述视频图像中人脸的肤色；

图像调整单元303，用于依据上述视频图像的亮度分量Y和上述肤色对上述视频图像进行磨皮处理，使用上述肤色对上述磨皮处理后的图像进行色调调整；

图像输出单元304，用于输出上述色调调整后的图像。

可选地，上述肤色确定单元302，用于依据上述U和V确定上述视频图像中人脸的第一肤色参数和第二肤色参数；上述第一肤色参数为用于磨皮处理的肤色参数，上述第二肤色参数为用于色调调整的肤色参数。

可选地，上述图像调整单元303，用于对上述视频图像的亮度分量Y进行保边滤波获得第一图像，将上述第一图像和上述视频图像根据上述第一肤色参数进行叠加得到第二图像，将上述第二图像进行色调调整得到第三图像；将上述第三图像和上述第二图像按照上述第二肤色参数进行混合得到第四图像；

上述图像输出单元304，用于输出上述第四图像。

可选地，上述肤色确定单元302，用于设定肤色区域的U和V的取值范围分别为：u∈[umin,umax],v∈[vmin,vmax]；其中umin和umax分别为U的最小值和最大值，vmin和vmax分别为V的最小值和最大值；对于上述视频图像中的像素点(u，v)肤色检测结果为：

V(u,v)＝Pu*Pv；

vstepleft＝vmin/scale；

vstepright＝(255-vmax)/scale；

ustepleft＝umin/scale；

ustepright＝(255-umax)/scale；

上述scale为阶数量化参数；上述V(u,v)为第一肤色参数；

上述视频图像的像素(u,v)值通过如下公式：

其中μu，μv分别是肤色在u和v的中心；σu，σv分别是肤色的u和v分量的方差；ρ是肤色的u和v的互相关系数；计算出像素(u,v)到椭圆中心的马氏距离，像素(u,v)的第二肤色参数为：

可选地，上述图像调整单元303，用于记亮度分量Y对应的一维表为：

对上述视频图像的亮度分量Y进行保边滤波得到Yfiltered，然后使用如下公式得到差值图像：Ydif＝Yfiltered-Y+128；然后使用如下公式进行线性光叠加得到磨皮图像，Ysmooth＝Y+2*Ydif-256；

把磨皮图像Ysmooth和上述视频图像的亮度分量Y按照上述第一肤色参数和上述亮度分量Y对应的一维表使用如下公式进行混合，Yres＝(1-a)*Y+a*Ysmooth，其中，a＝V(u,v)*Yi；

把Yres和上述U和V组成的图像变换到红绿蓝RGB格式的图像，然后分别对R、G、B三个分量进行曲线拉伸，再把拉伸后的图像转回YUV格式得到色调调整后的图像ItoneAdjusted；把色调调整后的图像和上述第二图像采用如下公式进行线性混合得到上述第四图像：

其中，b＝P(u,v)/255；在上述ItoneAdjusted中，亮度分量为YtoneAdjusted，红色色度分量和蓝色色度分量分别为UtoneAdjusted和VtoneAdjusted。

本发明实施例还提供了一种电子设备，如图4所示，该电子设备包括：输入输出设备401、存储器402以及处理器403；其中存储器401用于存储可执行程序，上述处理器403用于执行上述可执行程序实现本发明实施例中的方法流程。

本发明实施例还提供了一种服务器，图5是本发明实施例提供的一种服务器结构示意图，该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)522(例如，一个或一个以上处理器)和存储器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器522可以设置为与存储介质530通信，在服务器500上执行存储介质530中的一系列指令操作。

服务器500还可以包括一个或一个以上电源526，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口558，和/或，一个或一个以上操作系统541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中由视频图像处理设备所执行的步骤可以基于该图5所示的服务器结构。

值得注意的是，上述视频图像处理设备实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各方法实施例中的全部或部分步骤是可以通过程序来指令相关的硬件完成，相应的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。