一种基于示例图像变形的面部着色方法与流程

本发明涉及面部着色领域，尤其是涉及了一种基于示例图像变形的面部着色方法。

背景技术：

面部是人们表情达意的主要载体和最富有个性化的部分，也是人体表面特征最复杂的地方，对面部进行着色，能够实现面部及面部表情的真实感。随着海量图像数据的增加，各种图像处理技术越来越受到人们关注。其中，面部着色就是新兴技术之一，它可以应用在移动设备上各种艺术风格的图像编辑，如不同图像风格的转换、黑白图像的着色操作等；又如电影、游戏、动漫等娱乐产业中视频画面的图像颜色改变以及科学和医学插图领域、工程领域等的图像应用。然而，脸部图像通常含有少量纹理，在面部着色过程中容易产生伪影，影响图像质量。

本发明提出了一种基于示例图像变形的面部着色方法，先将rgb源图像转换为yuv图像，定义目标和模板图像的平均值和标准偏差目标化的图像之间的映射，接着计算两个灰度图像之间的变形映射，在图像网格上定义目标图像的色度通道，通过插值计算色度通道的值，最后使用色度后处理的变分方法减少图像伪影。本发明的面部着色方法不依赖图像的选择，消除了面部着色过程中容易产生伪影的情况，图像亮度、清晰度等都有所提高，大大提高了图像质量。

技术实现要素：

针对在面部着色过程中容易产生伪影的问题，本发明的目的在于提供一种基于示例图像变形的面部着色方法，先将rgb源图像转换为yuv图像，定义目标和模板图像的平均值和标准偏差目标化的图像之间的映射，接着计算两个灰度图像之间的变形映射，在图像网格上定义目标图像的色度通道，通过插值计算色度通道的值，最后使用色度后处理的变分方法减少图像伪影。

为解决上述问题，本发明提供一种基于示例图像变形的面部着色方法，其主要内容包括：

(一)颜色转换；

(二)色度后处理的变分方法。

其中，所述的图像变形，令为具有利普希茨连续边界的一个开放、有界的域，给定一个灰色值模板图像和目标图像它们是连续可微和紧支撑的(除了被称为支撑区的有限区间外，函数值都为0)；对于k≥2，i0:＝itemp,ik：＝itar；

找到一系列k-1图像i与ω上的一个二维序列即，

那么，对于所有x∈ω，变形具有下面定义的小线性化弹性电位；为此，假设k＝1,…,k，与公式(1)的位移vk和v：＝(v1,…,vk)相关；

柯西应变张量的位移由下式定义：

其中，表示v的雅各布矩阵；线性化的弹性电位由下式给出：

其中，μ,λ>0；将其最小化：

函数的最小元(i,v)提供沿着近似测地线的图像序列i和位移序列v，通过这个图像序列管理灰度值的传输；项可以通过更高阶导数来实现；

∫ω|d^mvk(x)|²dx,m>2(6)

这确保了时间连续设置中是微分同胚映射。

进一步地，所述的最小化，为了找到公式(5)的最小化，提出了i和v的最小化：

首先修复i并最小化v，导致了k的单一定位问题：

其中，与vk相关；

然后修正要解决以下图像序列问题：

这可以通过欧拉-拉格朗日方程产生的线性方程式来完成。

其中，所述的面部着色，这是一种基于源图像(模板)的亮度通道与当前图像(目标)之间的变形映射来对灰度图像进行着色的方法，该方法基于将色度信道从源图像传输到目标图像；此外，还将一种基于总变异的正则化变分方法作为去除可能的伪影的后处理步骤。

其中，所述的颜色转换，颜色转换将在yuv(一种颜色编码方法)色彩空间中完成；在rgb图像中，颜色通道是高度相关的，yuv空间在亮度通道y和两个色度通道u、v之间显示合适的解相关；由下式给出从rgb空间到yuv空间的转换：

大多数着色方法是基于目标图像是所需图像的亮度通道的假设；因此，图像着色处理是基于未知色度通道的计算；颜色转换包括亮度归一化和变形映射的色度转换。

进一步地，所述的亮度归一化，算法的第一步是通过公式(9)将rgb源图像转换为yuv图像；将目标和模板图像的平均值和标准偏差目标化的图像之间的映射定义为：

其中，mean是像素值的平均值，var是经验方差。

进一步地，所述的变形映射的色度转换，计算两个灰度图像itemp和itar之间的变形映射，这导致变形序列其通过级联产生从模板图像到目标图像的结果图；由于图像的离散化，对于大小为n1×n2的图像，在离散网格上定义映射φ：

其中，φ(x)是源图像中与目标图像中的像素相对应的位置；

(utar(x),vtar(x))：＝(u(φ(x)),v(φ(x)))(12)

通过计算x处(utar(x),vtar(x))表示的色度通道对目标图像进行着色。

进一步地，所述的色度通道，目标图像的色度通道定义在图像网格上，通常因此，必须通过插值计算φ(x)处色度通道的值；使用双线性插值，通过公式(13)定义φ(x)＝(p,q),(p,q)∈[i,i+1]×[j,j+1],(i,j)∈{1,…,n1-1}×{1,…,n2-1}；

最后，从其亮度itar＝ytar和色度通道(12)通过公式(9)的倒数计算着色rgb图像：

其中，所有

其中，所述的色度后处理的变分方法，

其中，

公式(7)中的第一项是耦合的总变化项，其强制色度信道在与目标灰度值图像相同的位置具有相同的值；数据保真项是给定的和所需的色度通道的差异的平方l2范数(一个测度空间上的平方可积函数构成的函数空间)；

使用步长时间参数τ和σ的更新和松弛参数θ来加快收敛速度；使用缩写b：＝(utar,vtar)和u：＝(u,v)；此外，p是中的像素方向的双变量；参数τ和σ实时时间步长；运算符div表示离散渐变，离散梯度为此外，近端映射是通过像素方式给出的，

其中

其中，

进一步地，所述的近端映射，对于变量和算法内的近端映射是像素，如：

其中，的定义如公式(17)所示。

附图说明

图1是本发明一种基于示例图像变形的面部着色方法的系统框架图。

图2是本发明一种基于示例图像变形的面部着色方法的图像变形。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于示例图像变形的面部着色方法的系统框架图。主要包括颜色转换和色度后处理的变分方法。

面部着色，这是一种基于源图像(模板)的亮度通道与当前图像(目标)之间的变形映射来对灰度图像进行着色的方法，该方法基于将色度信道从源图像传输到目标图像；此外，还将一种基于总变异的正则化变分方法作为去除可能的伪影的后处理步骤。

颜色转换，颜色转换将在yuv(一种颜色编码方法)色彩空间中完成；在rgb图像中，颜色通道是高度相关的，yuv空间在亮度通道y和两个色度通道u、v之间显示合适的解相关；由下式给出从rgb空间到yuv空间的转换：

大多数着色方法是基于目标图像是所需图像的亮度通道的假设；因此，图像着色处理是基于未知色度通道的计算；颜色转换包括亮度归一化和变形映射的色度转换。

亮度归一化，算法的第一步是通过公式(1)将rgb源图像转换为yuv图像；将目标和模板图像的平均值和标准偏差目标化的图像之间的映射定义为：

其中，mean是像素值的平均值，var是经验方差。

变形映射的色度转换，计算两个灰度图像itemp和itar之间的变形映射，这导致变形序列其通过级联产生从模板图像到目标图像的结果图；由于图像的离散化，对于大小为n1×n2的图像，在离散网格上定义映射φ：

其中，φ(x)是源图像中与目标图像中的像素相对应的位置；

(utar(x),vtar(x))：＝(u(φ(x)),v(φ(x)))(4)

通过计算x处(utar(x),vtar(x))表示的色度通道对目标图像进行着色。

色度通道，目标图像的色度通道定义在图像网格上，通常因此，必须通过插值计算φ(x)处色度通道的值；使用双线性插值，通过公式(5)定义φ(x)＝(p,q),(p,q)∈[i,i+1]×[j,j+1],(i,j)∈{1,…,n1-1}×{1,…,n2-1}；

最后，从其亮度itar＝ytar和色度通道(4)通过公式(19)的倒数计算着色rgb图像：

其中，所有

色度后处理的变分方法，

其中，

公式(17)中的第一项是耦合的总变化项，其强制色度信道在与目标灰度值图像相同的位置具有相同的值；数据保真项是给定的和所需的色度通道的差异的平方l2范数(一个测度空间上的平方可积函数构成的函数空间)；

使用步长时间参数τ和σ的更新和松弛参数θ来加快收敛速度；使用缩写b：＝(utar,vtar)和u：＝(u,v)；此外，p是中的像素方向的双变量；参数τ和σ实时时间步长；运算符div表示离散渐变，离散梯度为此外，近端映射是通过像素方式给出的，

其中

其中，

对于变量和算法内的近端映射是像素，如：

其中，的定义如公式(9)所示。

图2是本发明一种基于示例图像变形的面部着色方法的图像变形。令为具有利普希茨连续边界的一个开放、有界的域，给定一个灰色值模板图像和目标图像它们是连续可微和紧支撑的(除了被称为支撑区的有限区间外，函数值都为0)；对于k≥2，i0:＝itemp,ik：＝itar；

找到一系列k-1图像i与ω上的一个二维序列即，

那么，对于所有x∈ω，变形具有下面定义的小线性化弹性电位；为此，假设k＝1,…,k，与公式(11)的位移vk和v：＝(v1,…,vk)相关；

柯西应变张量的位移由下式定义：

其中，表示v的雅各布矩阵；线性化的弹性电位由下式给出：

其中，μ,λ>0；将其最小化：

函数的最小元(i,v)提供沿着近似测地线的图像序列i和位移序列v，通过这个图像序列管理灰度值的传输；项可以通过更高阶导数来实现；

∫ω|d^mvk(x)|²dx,m>2(16)

这确保了时间连续设置中是微分同胚映射。

为了找到公式(15)的最小化，提出了i和v的最小化：

首先修复i并最小化v，导致了k的单一定位问题：

其中，与vk相关；

然后修正要解决以下图像序列问题：

这可以通过欧拉-拉格朗日方程产生的线性方程式来完成。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。