一种基于自适应网格变形的人脸图像去模糊方法与流程

本发明属于图像处理技术领域，具体涉及到一种基于自适应网格变形的人脸图像去模糊方法。

背景技术：

图像作为人们获取信息的重要手段，在科学领域和现实生活中都拥有着非常重要的地位。近年来伴随科技的快速发展进步，很多种便携式拍照设备得到了普及化，无论是专门用于摄像的手持数码相机，还是生活中几乎人手一部的智能手机都使得人们更加容易记录生活中的瞬间。然而，在图像实际摄制和传播中，因受到机器的分辨率、成像的光照条件与相机的相对移动等影响，通常实际得到的人脸图像信息丟失、质退化，这也给人们的日常活动带来一定的干扰。因此，通过一定的手段来防止人脸图像退化或者复原降质后的人脸图像呈现出了其重要性，这也成为近年来科学界普遍关注的焦点。

人脸图像去模糊，通常也叫图像去卷积，是从人脸图像模糊的机理出发，借助于一定的图像先验知识，从一副或多幅退化人脸图像中来重建出一副近似于真实人脸的清晰图像。传统的人脸图像非盲去光学模糊方法是在模糊核已知的前提下来反求清晰图像，而在大多数实际应用中，图像的光学模糊核是无法提前知道的，再加上噪声等因素的干扰，使得人脸图像去光学模糊问题更加困难，这也是人脸图像非盲去光学模糊的挑战之所在。

技术实现要素：

本发明的目的是提出一种基于自适应网格变形的人脸图像去模糊方法，以提高人脸图像去模糊的效果。

本发明的基于自适应网格变形的人脸图像去模糊方法包括如下步骤：

a：对原始人脸图像进行预处理，获取原始人脸图像的模糊核数值，估计原始人脸图像边缘的模糊程度；

b：利用预处理后的人脸图像生成自适应三角网格；

c：利用自适应三角网格构造基于径向基函数的三角网格；

d：设计位移函数，将人脸图像边缘附近的像素依据位移函数向边缘移动；

e：使用像素网格转换对d步骤得到的图像进行边缘增强，并将边缘增强后的图像从变形的网格插入到目标均匀网格中，得到去模糊后的人脸图像。

上述人脸图像去模糊方法的思想是转换模糊边缘的邻域，使相邻像素靠近边缘，利用特征物构造自适应三角网格，采用径向基函数对三角网格进行基点采样，对网格进行更新；接着，设计位移函数，在最近的图像边缘方向上移动像素；最后，将图像从变形网格重新采样到目标均匀网格。上述方法保持了图像纹理，同时使边缘更清晰，采用上述方法对不同的光学模糊模型(高斯模糊、圆形的模糊、环模糊影响)进行了分析，在人脸图像基本去模糊方面具有很好的效果，证明了该方法的有效性。

附图说明

图1是自适应网格变形的人脸图像去模糊方法的算法流程图。

图2是人脸图像显著图。

图3是三角网格示意图。

图4是二维网格变形的位移方向。

图5是像素移位示意图。

图6是网格变形示意图。

图7是插值示意图。

具体实施方式

下面对照附图，通过对实施实例的描述，对本发明的具体实施方式如所涉及的各构件的形状、构造、各部分之间的相互位置及连接关系、各部分的作用及工作原理等作进一步的详细说明。

实施例1：

本实施例提出了一种基于自适应网格变形的人脸图像去模糊方法，以提高人脸图像去模糊的效果。

如图1所示，本实施例的基于自适应网格变形的人脸图像去模糊方法包括如下步骤：

a：对原始人脸图像进行预处理，获取原始人脸图像的模糊核数值，估计原始人脸图像边缘的模糊程度；

b：利用预处理后的人脸图像生成自适应三角网格；

c：利用自适应三角网格构造基于径向基函数的三角网格；

d：设计位移函数，将人脸图像边缘附近的像素依据位移函数向边缘移动；

e：使用像素网格转换对d步骤得到的图像进行边缘增强，并将边缘增强后的图像从变形的网格插入到目标均匀网格中，得到去模糊后的人脸图像。

下面就上述步骤进行详细说明：

图像去模糊是使用模糊模型从给定的模糊图像ib中找到清晰图像i0的过程。通常假设得到模糊图像服从以下模型

ib＝i0*h+n；

其中，ib是模糊图像，i0是清晰图像，h是模糊核，n是加性噪声。如果模糊核h和噪声n已知足够的重构，则可以通过基于正则化的算法有效地解决反卷积问题。

步骤a具体做法如下：利用模糊模型对采集到的人脸图像进行模糊处理，得到光学模糊人脸图像。

目前常见的三种光学模糊类型的图像分别为高斯模糊、圆形的模糊、环模糊影响，为了证明本实施例方法的有效性，我们分别针对三种光学模糊类型的图像进行去模糊处理。

光学像差是光学系统中光线会聚不准确的结果，通常会导致图像模糊，本实施例利用不同的模型来模拟这种效应，采集一张清晰图像，利用以下三种典型的模糊图像模型进行光学模糊预处理：

1)高斯模糊近似于球面像差

2)圆形的模糊

3)环模糊

其中：gσ(x,y)，cr(x,y)，rr(x,y)的值等于模糊核h的值。

最后两种模糊类型对应于失焦模糊。它出现在相机焦平面之前或之后的区域。当相机无法正确设置对焦平面时，可能是由于前置对焦和后置对焦等镜头和相机问题导致的结果。在摄影艺术中也有意使用失焦模糊来创建称为散景的效果，在这种情况下，模糊内核具有锐利边缘的圆形状。

步骤b的具体做法如下：

b1、提取a步骤中模糊人脸图像的亮度、颜色、方向三个特征，进一步归一化，并相加得到显著图s，

其中，i表示亮度，c表示颜色，o表示方向，n(·)表示归一化因子；

提取模糊图像的显著图，显著图给每个像素点分配一个特征数值σ∈[0,1]的数值，数值越高，该像素越能代表图像的特征物，σ＝1表示像素点在特征物区域，σ＝0表示像素点在非特征物区域，图像特征物在图像的重要区域位置；其中，特征物区域表示人脸图像中我们所要关注的目标特征所在的区域，(如，眼睛，脸颊，鼻子，嘴巴等特征)，非特征物区域即为人脸图像中不需要关注的图像特征(如人的衣服，背景，旁边的物体)；σ＝1表示提取的像素点是有效的特征，(如眼睛，嘴巴等特征)，σ＝0表示提取的像素点是无效的，不是我们所要关注的；

b2、在特征物区域构建自适应的三角密网格，在非特征物区域构建自适应的三角疏网格，设定所述三角密网格的边长间距为lmin，所述三角疏网格的边长间距为lmax，所述lmax＞lmin；首先使用canny算子检测特征物的轮廓，以canny算子检测出的轮廓像素点和图像边界点为优先选择作为三角网格的顶点，以σlmin+(1-σ)lmax为采样点，使用约束delaunay三角化构造得到自适应三角网格mp(x,y)，其中(x,y)为像素点的位置，p为下标，表示第p个三角网格m(x,y)。

通过图像的显著图可以计算得到图像的特征物。由于图像特征物通常在图像的重要区域位置，因此可以使用显著图来得到特征物信息，通过显著图给每个像素点分配一个特征数值σ∈[0,1]的数值，数值越高,说明该像素越可能代表图像的特征物。

自适应的三角网格希望在图像的特征物处采用加密的网格，而同时在图像非重要区域使用稀疏的网格。设定密网格边长间距为lmin，稀网格边长间距为lmax,在本实施例中，设定lmax＝3*lmin。

步骤c的具体做法如下：

对步骤b得到的三角网格点采用径向基函数插值进行更新，所述径向基函数插值表示为

式中：f(x,y)为三角网格mp(x,y)在位置(x,y)的函数值；(xi,yi)为第i个插值节点的位置；||mp(x,y)-mp(xi,yi)||为mp(x,y)与mp(xi,yi)两点之间的距离；n为径向基函数基点的数量；ai(i＝1,2,…,n)为插值系数，取值为a∈[0,1]，且满足为基函数的一般形式。

人脸在移动时采取的图像发生移位或变形后，需要对三角网格点进行更新。三角网格点包含各向同性网格点，对于各向同性三角网格点，采用径向基函数插值进行更新。径向基函数插值的计算量主要依赖于基点的数量n，n增大，插值计算量成指数倍增加。本发明采用径向基函数仅对各向同性三角网格点进行坐标更新，因此，可以选择部分物面网格点作为径向基点，提高径向基函数插值的效率。

本发明采用的径向基基点选择方法依赖于偏离面网格的生成，当偏离面网格点数目较多，会导致基点数目增加，从而降低径向基函数插值的效率和鲁棒性。因此，基点总的数目也限制了偏离面网格的生成，但该基点选择算法可以增加基点与偏离面网格点之间连接的刚性，当偏离距离较小时，降低两种方法更新三角网格点不协调导致三角网格单元发生交叉的概率。

上述d步骤具体如下：在步骤c所述的基于径向基函数的三角网格中，利用像素点(x,y)的函数值f(x,y)，设计位移函数模型如下分段线性函数：

式中的参数a为致密化区域的宽度，b为稀疏化区域的宽度，c为位移函数的陡度，sign是符号函数；

当c＝-a、且时，可实现较强的变形效果，上述式(3)简化变形为

上述公式(4)的推导过程如下：

在式(3)中，当c＝-a时，可实现最强变形效果。因此，我们使用两个参数的位移函数：

而在实验过程中，发现函数d2的参数b的对图像质量影响是微不足道的，同时，图像质量对参数b的依赖性是微不足道的，所以我们决定添加第三个位移函数模型d3(x)来构造单参数位移函数，这样，由三个参数的位移函数简化成单参数位移函数，其中参数b设为时，其去模糊效果最好，这样就得到了式(4)：

上述e步骤具体如下：使用像素网格转换对图像进行边缘增强，利用每个边缘像素的单个变形矢量的加权平均值对像素附近的所有边缘执行网格变形，得到位移函数模型其中n(x,y)是邻近区域的边缘像素点(x,y)的集合，(xk,yk)是边缘区域上第k个像素点，是与边缘轮廓梯度方向相对应的单位向量，是边缘梯度向量，di(xk,yk)是第i个位移函数模型的位移函数，w(xk,yk)是di(xk,yk)的权重系数，与边缘像素的距离成正比，边缘像素的梯度方向与边缘轮廓方向之间的夹角成正比得到一个距离函数，具体为：

其中，σ为模糊参数；

从变形网格到目标均匀网格的插值如下：在像素点(xk,yk)处图像的强度被计算为像素周围的变形网格上所有点的强度和的加权总和，对于给定的半径和所有相邻的点我们使用插值半径r＝1.5，锐化图像iw在p(xk，yk)处的强度计算为其中

上述加权平均值即将各数值乘以相应的权数，然后加总求和得到总体值，再除以总的单位数加权平均值为

在2d人脸图像情况下，位移是一个矢量d(x,y)，二维网格变形的位移方向如图5所示，粗线代表确切的边缘位置，空心圆圈代表边缘像素，实心圆圈代表来自边缘邻域的像素。

一个模糊边缘的轮廓，比锐利的边缘更为平缓。为了使边缘变得更锐利，它的瞬态宽度应减少。对于任何边缘g(x,y)都以(x,y)＝0为中心，可以从像素点的边缘附近向中心移动得到更清晰的h(x,y)，位移函数d(x,y)描述一个像素的位移从坐标(x,y)到到新的像素的坐标(x,y)+d(x,y)，如图3所示，则有：

h((x,y)+di(x,y)*h)＝g(x,y)；

其中，di(x,y)表示选择的第i种类型的位移函数，{i＝1,2,3}，h是模糊核，表示位移函数的移位多少。

因此，位移函数应该与以下约束相匹配

d′(x,y)≥-1；

如图4所示，位移函数d(x,y)对边缘变形的结果有很大的影响。一方面，边缘斜率会变陡；另一方面，边缘附近的区域不应超出某些预定义的范围，在离散情况下，避免相邻像素之间的大差距。

利用每个边缘像素的单个变形矢量的加权平均值对像素附近的所有边缘执行网格变形。权重与边缘像素的距离成正比，边缘像素的梯度幅度和梯度方向与线连接边缘像素和处理像素之间的夹角成正比。距离函数的形式如下：

其中，n(x,y)是邻近区域的边缘像素点(x,y)的集合，(xk,yk)是边缘区域上第k个像素点，是与边缘轮廓(梯度)方向相对应的单位向量，是边缘梯度向量，di(xk,yk)是第i个模糊模型在第k个像素点的位移函数，w(xk,yk)是权重系数，根据位移函数的支持来选择邻域的大小。

从变形网格到目标均匀网格的插值算法如下：如图5所示在像素点(xk,yk)处图像的强度被计算为像素周围的变形网格上所有点的强度和的加权总和。对于给定的半径和所有相邻的点我们使用插值半径r＝1.5，锐化图像iw在p(i,j)处的强度可计算为其中，

上面结合附图对本发明进行了示例性描述，显然本发明具体设计并不受上述方式的限制，只要采用了本发明的构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。