基于对称性的人脸图像特征提取的方法及装置与流程

本发明涉及数据处理领域，具体涉及一种基于对称性的人脸图像特征提取的方法及装置。

背景技术：

人脸图像的特征提取技术是人脸识别的一个重要发展方向，目前该技术仍然面临多方面的挑战。其中就包括面部图像会随着表情、光照、姿态的变换，使得学习到的低维投影空间重构出来的人脸图像还原度较低。

利用图像学习线性表达输入得到该图像对应的低维投影空间是目前比较流行的学习原始图像的低维投影空间的方法。这些方法需要存储整张图像信息，并且学习出来的低维投影空间维度一般比较大，需要较大的存储空间。

技术实现要素：

针对上述问题，本发明提供了一种基于对称性的人脸图像特征提取的方法及装置，如图1，所述方法包括：

S1、根据人脸的对称性，将预先存储的人脸样本图像分成左半脸和右半脸，并转化为向量的形式；

S2、利用人脸图像的左半脸和右半脸，根据目标函数交替迭代计算求得每张人脸样本图像的左半脸的低维投影空间及左右半的残差；

S3、利用求得的左半脸对应的低维投影空间及左右脸的残差，得到每张人脸样本图像的重构图像；

S4、判断低维投影空间重构图像与人脸样本的残差是否小于残差阈值，若是则结束运算得到满足残差阈值的左半脸的低维投影空间和左右脸的残差，并利用左半脸的低维投影空间对人脸样本的进行特征提取；否则返回S2。

优选的，目标函数的计算包括：

其中，En表示含有N张人脸样本的图像集需要满足的优化目标函数，该函数优化目标分为三个部分：第一部分为(a)表示约束第i张人脸样本的左脸重构误差，第二部分为(b)约束第i张人脸样本的右脸重构误差，第三部分为(c)表示左右脸残差的稀疏度约束；表示第i个人脸样本的左半脸的线性空间模型，表示第i个人脸样本的左半脸在低维投影空间的重构图像的线性空间模型，表示第i个人脸样本的右半脸的镜像的线性空间模型，表示第i个人脸样本的右半脸在低维投影空间的重构脸的镜像的线性空间模型，eⁱ表示第i个人脸样本的左右脸残差，λ1表示约束右脸重构误差的系数，λ2表示左右脸残差稀疏度的系数，表示向量的二范数，||·||1表示向量的一范数，N表示图像集的数量。

优选的，左半脸在低维投影空间的重构脸所构成的线性空间模型xⁱL'的计算为：

其中，W^L表示第i张人脸样本的左半脸的低维投影空间，上标T表示转置矩阵。

优选的，第i个人脸样本的左右脸残差eⁱ的表示为：

优选的，第i个人脸样本的右半脸在低维投影空间的重构图像的镜像的线性空间模型的计算包括：

使用第i个人脸样本左半脸的镜像的线性空间模型来替换第i个人脸样本右半脸在低维投影空间的重构脸的镜像的线性空间模型，具体可以表示为：

其中，表示第i个人脸样本右半脸的镜像的线性空间模型。

一种基于对称性的人脸图像特征提取的装置，如图2，包括存储模块、计算模块、重构模块、获取模块和判断模块：

存储模块，用于存储根据人脸结构的对称性分别左右脸并转化成向量的形式的人脸样本和经过处理的人脸样本图像特征，所述人脸样本图像特征包括左半脸的特征和右半脸的残差；

计算模块，用于针对人脸样本，计算目标函数的最小值成立的时候得到的每张人脸样本的左半脸的低维投影空间及左半脸和右半脸的残差；

重构模块，用于利用每张人脸样本图像的左半脸和所述人脸样本的左半脸对应的低维投影空间、以及左半脸和右半脸的残差，分别重构所述人脸样本，得到每张人脸样本的重构人脸图像；

获取模块，用于根据每张人脸样本的左半脸对应的重构人脸图像和人脸样本，得到每张人脸样本对应的残差向量；

判断模块，用于判断获取模块得到残差向量与残差阈值的关系，同时保证左半脸和右半脸的残差尽可能稀疏，并将满足获取模块得到残差向量与残差阈值的关系的左半脸的低维投影空间及左半脸和右半脸的残差存储在存储模块；

转化模块，用于根据得到的左半脸的低维投影空间及左半脸和右半脸的残差转化为人脸重构图像。

本发明提供一种基于对称性的人脸图像特征提取的方法及装置，可以结合人脸左右对称的结构特性，减少存储空间，降低了人脸图片的重构误差。

附图说明

图1为本发明提供的基于对称性的人脸图像特征提取的方法流程图；

图2为本发明提供的基于对称性的人脸图像特征提取的装置结构图；

图3为本发明基于对称性的人脸图像特征提取人脸的方法的人脸重建过程；

图4为本发明实施例中的人脸样本图像；

图5为根据本发明的方法得到的重构图片；

图6为本发明提供的基于对称性的人脸图像特征提取的方法与传统图像重构方法的重构误差对比图。

具体实施方式

为了传统人脸识别中图像存储空间较大的问题，本发明提出一种人脸识别的方法及装置来减少存储空间。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

一种基于对称性的人脸图像特征提取的方法及装置，如图1，所述方法包括：

S1、根据人脸的对称性，将预先存储的人脸样本分成左半脸和右半脸，并转化为向量的形式；

S2、利用人脸图像的左半脸和右半脸，根据目标函数交替迭代计算求得每张人脸样本的左半脸的低维投影空间及左右脸的残差；

S3、利用求得的左半脸对应的低维投影空间及左右脸的残差，得到每张人脸样本的重构图像；

S4、判断低维投影空间重构图像与人脸样本的残差是否小于残差阈值，若是则结束运算得到满足残差阈值的左半脸的低维投影空间和左右脸的残差，并利用左半脸的低维投影空间对人脸样本进行特征提取；否则返回S2。

优选的，目标函数包括：

其中，En表示含有N张人脸样本的集需要满足的优化目标函数，该函数优化目标分为三个部分：第一部分为(a)表示约束第i张人脸样本的左脸重构误差，第二部分为(b)约束第i张人脸样本的右脸重构误差，第三部分为(c)表示左右脸残差的稀疏度约束；表示第i个人脸样本的左半脸的线性空间模型，表示第i个人脸样本的左半脸在低维投影空间的重构图像的线性空间模型，表示第i个人脸样本的右半脸的镜像的线性空间模型，表示第i个人脸样本的右半脸在低维投影空间的重构脸的镜像的线性空间模型，eⁱ表示第i个人脸样本的左右脸残差，λ1表示约束右脸重构误差的系数，λ2表示左右脸残差稀疏度的系数，表示向量的二范数，||·||1表示向量的一范数，N表示图像集的数量。

优选的，第i个人脸样本的右半脸在低维投影空间的重构图像的镜像的线性空间模型的计算包括：

使用第i个人脸样本左半脸的镜像的线性空间模型来替换第i个人脸样本右半脸在低维投影空间的重构脸的镜像的线性空间模型，具体可以表示为：

其中，表示第i个人脸样本左半脸的镜像的线性空间模型。

由上述内容知道，所以目标函数可以表示为：

进一步的，根据主成分分析(Principal Component Analysis，PCA)理论，可以得到人脸样本点在新空间中超平面的投影，基于此来重构可以得到：

其中，左半脸的低维投影空间表示(W^L)^T中的第i个元素，W^L要满足约束条件W^L(W^L)^T＝I。

此时，目标函数可以表示为：

计算左半脸的低维投影空间和左右脸的残差的过程，可以采用交替迭代计算，即首先固定左右脸的残差，再计算左半脸的低维投影空间，然后固定左半脸的低维投影空间计算左右脸的残差，再利用得到的左半脸的低维投影空间和左右脸的残差重构图像，计算重构图像与人脸样本的残差，若是小于残差阈值，则输出此时的左半脸的低维投影空间和左右脸的残差，否则继续进行迭代。

可以理解的是，本发明为了方便理解和描述，采用求取左半脸的低维投影空间和左右脸的残差，但是也可以求取右半脸的特征向量和左右脸的残差。

如图3，将人脸样本分为左半脸和右半脸，将左半脸的二维矩阵拉成列向量，得到第i张人脸样本的左半脸列向量和，第i张人脸样本的右半脸的镜像图片构成的列向量并代入目标函数，交替迭代计算出左半脸的低维投影空间W^L和左右脸的残差eⁱ，并根据左半脸的低维投影空间W^L和左右脸的残差eⁱ重建图片得到重构图片，重建图片的过程，如图3，包括：

使用左半脸的低维投影空间W^L得到左脸的重构图片，表示为：

利用得到的左脸重构图片和左右脸的残差eⁱ得到镜像重构图片，表示为：

将得到的镜像重构图片翻转，并与左脸重构图片拼合，得到如图5的重构图片。

当人脸样本的重构图像与人脸图像的残差小于残差阈值时，可以得到最终的左半脸的低维投影空间W^L和左右脸的残差eⁱ，利用此时的左半脸的低维投影空间对人脸样本进行特征提取，包括：

其中，表示第i张人脸样本图像的左半脸特征，W^L表示第i张人图像的左半脸的低维投影空间，上标T表示转置矩阵，表示第i个人脸样本图像的左半脸的线性空间模型。

一种基于对称性的人脸图像特征提取的装置，如图2，包括存储模块、计算模块、重构模块、获取模块和判断模块：

存储模块，用于存储根据人脸结构的对称性分别左右脸并转化成向量的形式的人脸样本和经过处理的人脸样本图像特征，所述人脸样本图像特征包括左半脸的低维投影空间及左右半的残差；

计算模块，用于针对人脸样本，计算目标函数的最小值成立的时候得到的每张人脸样本的左半脸的低维投影空间及左半脸和右半脸的残差；

重构模块，用于利用每张人脸样本的左半脸和所述人脸样本的左半脸对应的低维投影空间、以及左右脸的残差，分别重构左右脸，得到每张人脸样本的重构人脸图像；

获取模块，用于根据每张人脸样本的左半脸对应的重构人脸样本和人脸样本，得到人脸样本的残差向量；

判断模块，用于判断获取模块得到残差向量与残差阈值的关系，同时保证左半脸和右半脸的残差尽可能稀疏，并将满足获取模块得到残差向量与残差阈值的关系的左半脸的低维投影空间及左右脸的残差存储在存储模块；

转化模块，用于根据得到的左半脸的低维投影空间及左半脸和右半脸的残差转化为重构人脸图像。

优选的，计算模块中的目标函数表示为：

进一步的，目标函数中人脸样本中第i个人脸样本的左右脸残差eⁱ的表示为：

进一步的，目标函数中左半脸在低维投影空间的重构脸的线性空间模型的表示为：

进一步的，使用第i个人脸样本左半脸的镜像的线性空间模型来替换第i个人脸样本右半脸在低维投影空间的重构脸的镜像的线性空间模型，具体可以表示为：

进一步的，从人脸样本中提取左半脸的特征表示为：

其中，W^L表示第i张人图像的左半脸的低维投影空间，上标T表示转置矩阵，表示第i个人脸样本的左半脸的线性空间模型。

本专利在保存图像特征的同时减少图像的存储空间，图4为人脸样本，图5为利用本专利的方案使用左半脸的低维投影空间W^L和左右脸的残差eⁱ恢复的重构图像；对比图4和图5可以发现以人眼的分辨率，几乎分辨不出人脸样本和人脸样本的重构图像有什么不同；图6为本发明提供的基于对称性的人脸图像特征提取的方法与传统图像重构方法的重构误差对比图，从图6可以看出，本发明的重构误差与传统使用PCA方法的特征提取方法相比明显较小，提高了重构图像的质量，使得重构图像在人的视觉中与人脸样本没有明显的偏差；从存储的特征向量大小来看，本发明只需存储左半脸的低维投影空间W^L，与传统特征提取的方法特征向量的存储空间相比节省了50％的存储空间，且左右脸的残差eⁱ是一个稀疏矩阵，可以通过数据结构中的特殊矩阵的存储方法来压缩存储空间，整体来说本发明与现有特征提取的方法相比，大量减少了人脸样本的存储空间，降低了人脸样本的重构误差。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。