表情特征提取方法及装置与流程

本发明涉及图像分析领域，具体而言，涉及一种表情特征提取方法及装置。

背景技术：

生物特征识别随着模式识别与人工智能等技术的不断发展而受到广泛的关注。如今主要有指纹识别、人脸识别、语音识别、掌纹识别、视网膜识别、虹膜识别及面部表情识别等生物特征识别。其中，面部表情识别对人类情感理解、心理状态及情绪变化的判断有着非常重要的理论意义及实际的应用价值。

现有技术中表情特征提取主要基于整个面部在产生表情时其肌肉运动所带来的形状变化来考虑，存在运算过程复杂的问题，导致表情特征提取速度缓慢。且现有技术的表情特征提取缺少局域性，导致获取的图像未保留原始面部图像的精细结构，无法反映面部图像的边缘轮廓信息，表情识别率不是很高。

技术实现要素：

为了克服现有技术中的上述不足，本发明的目的在于提供一种表情特征提取方法，应用于电子终端，所述方法包括：

获得图像库中包括多种预设表情的面部图像；

根据所述面部图像，通过PCA算法计算获得各面部图像的全局表情特征；

根据面部器官对表情识别的贡献程度，将所述面部图像划分为多个面部器官识别区域；

根据不同所述面部图像中每个面部器官识别区域的数据，通过LDP算法计算获得所述面部图像每个面部器官识别区域的区域纹理特征；

基于所述面部图像的全局表情特征及所述每个所述面部器官识别区域的区域纹理特征，加权计算获得所述面部图像的融合表情特征向量。

进一步地，在上述方法中，所述根据所述面部图像，通过PCA算法计算获得各面部图像的全局表情特征的步骤包括：

根据所述面部图像数据，获得每个所述面部图像的像素矩阵向量；

根据多个所述面部图像的像素矩阵向量，计算获得所述图像库中面部图像的平均像素矩阵向量；

根据每个所述面部图像的像素矩阵向量及所述平均像素矩阵向量，计算获得每个所述面部图像的标准矩阵向量，其中，所述标准矩阵向量为各所述面部图像的像素矩阵向量与所述平均像素矩阵向量的差；

根据每个所述面部图像的标准矩阵向量，计算获得所述图像库的总体散布矩阵；

根据总体散布矩阵得到所述图像库的特征向量组；

根据所述特征向量组的特征子空间得到各所述面部图像的全局表情特征。

进一步地，在上述方法中，所述根据面部器官对表情识别的贡献程度，将所述面部图像划分为多个面部器官识别区域的方式包括：

将所述面部图像划分为眼部识别区域及嘴部识别区域。

进一步地，在上述方法中，所述区域纹理特征通过局部LDP直方图表征；所述根据不同所述面部图像中每个面部器官识别区域的数据，通过LDP算法计算获得所述面部图像每个面部器官识别区域的区域纹理特征的步骤包括：

将面部图像的任意像素点作为中心点，将其分别与8个方向的Kirsch算子进行卷积运算，获得中心点周围的8个方向的边缘响应值；

将获取的所述8个方向的边缘响应值取绝对值，并进行排序；

根据排序后的边缘响应值取绝对值编码获得LDP码值；

根据所述LDP码值计算获得各面部器官识别区域的局部LDP直方图。

进一步地，在上述方法中，所述根据所述面部图像的全局表情特征及所述每个所述面部器官识别区域的区域纹理特征，加权计算获得所述面部图像的融合表情特征向量的步骤包括：

将所述面部图像各面部器官识别区域的区域LDP直方图合成为统一LDP直方图；

按从左至右、从上而下的顺序依次将所述统一LDP直方图存为LDP特征向量；

将所述面部图像的全局表情特征向量及LDP特征向量加权融合，获得融合表情特征向量。

本发明的另一目的在于提供一种表情特征提取装置，应用于电子终端，所述装置包括：

图像获取模块，用于获得图像库中包括多种预设表情的面部图像；

PCA计算模块，用于根据所述面部图像，通过PCA算法计算获得各面部图像的全局表情特征；

区域划分模块，用于根据面部器官对表情识别的贡献程度，将所述面部图像划分为多个面部器官识别区域；

LDP计算模块，用于根据不同所述面部图像中每个面部器官识别区域的数据，通过LDP算法计算获得所述面部图像每个面部器官识别区域的区域纹理特征；

融合计算模块，用于基于所述面部图像的全局表情特征及所述每个所述面部器官识别区域的区域纹理特征，加权计算获得所述面部图像的融合表情特征向量。

进一步地，在上述装置中，所述PCA计算模块获得所述全局表情特征的方式包括：

根据所述面部图像数据，获得每个所述面部图像的像素矩阵向量；

根据多个所述面部图像的像素矩阵向量，计算获得所述图像库中面部图像的平均像素矩阵向量；

根据每个所述面部图像的像素矩阵向量及所述平均像素矩阵向量，计算获得每个所述面部图像的标准矩阵向量，其中，所述标准矩阵向量为各所述面部图像的像素矩阵向量与所述平均像素矩阵向量的差；

根据每个所述面部图像的标准矩阵向量，计算获得所述图像库的总体散布矩阵；

根据总体散布矩阵得到所述图像库的特征向量组；

根据所述特征向量组的特征子空间得到各所述面部图像的全局表情特征。

进一步地，在上述装置中，所述区域划分模块根据面部器官对表情识别的贡献程度，将所述面部图像划分为多个面部器官识别区域的方式包括：

将所述面部图像划分为眼部识别区域及嘴部识别区域。

进一步地，在上述装置中，所述LDP计算模块获得所述区域纹理特征的方式包括：

将面部图像的任意像素点作为中心点，将其分别与8个方向的Kirsch算子进行卷积运算，获得中心点周围的8个方向的边缘响应值；

将获取的所述8个方向的边缘响应值取绝对值，并进行排序；

根据排序后的边缘响应值取绝对值编码获得LDP码值；

根据所述LDP码值计算获得各面部器官识别区域的局部LDP直方图。

进一步地，在上述装置中，所述融合计算模块获得所述融合表情特征向量的方式包括：

将所述面部图像各面部器官识别区域的区域LDP直方图合成为统一LDP直方图；

按从左至右、从上而下的顺序依次将所述统一LDP直方图存为LDP特征向量；

将所述面部图像的全局表情特征向量及LDP特征向量加权融合，获得融合表情特征向量。

相对于现有技术而言，本发明具有以下有益效果：

本发明提供的一种表情特征提取方法及装置，通过采用PCA算法获得的面部图像的全局表情特征，及采用LDP算法获得的面部图像的区域纹理特征，并将所述全局表情特征与所述区域纹理特征加权融合得到融合表情特征。如此，可以获得更加有效的面部区域纹理特征表示，有效提高表情识别的准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的电子终端的示意图；

图2为本发明实施例提供的表情特征提取方法的流程示意图；

图3为图2所示步骤S120的子步骤示意图；

图4为图2所示步骤S140的子步骤示意图；

图5为图2所示步骤S150的子步骤示意图；

图6为本发明实施例提供的表情特征提取装置的示意图。

图标：100-电子终端；110-表情特征提取装置；111-图像获取模块；112-PCA计算模块；113-区域划分模块；114-LDP计算模块；115-融合计算模块；120-存储器；130-处理器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参照图1，图1为本发明实施例提供的一种电子终端100，所述电子终端100。本实施例中，所述电子终端100可以是，但不限于，服务器、个人电脑(personal computer，PC)、个人数字助理(personal digital assistant，PDA)、工作站、工控机等。

所述电子终端100包括表情特征提取装置110、存储器120及处理器130。

所述存储器120及处理器130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述表情特征提取装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述电子终端100的操作系统(operating system，OS)中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块，例如所述表情特征提取装置110所包括的软件功能模块及计算机程序，及存储待处理的面部图像的图像库等。

其中，所述存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序。

所述处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

请参照图2，图2应用于图1所示的电子终端100的一种表情特征提取方法，所述方法包括以下步骤。

步骤S110，获得图像库中包括多种预设表情的面部图像。

具体地，在本实施例中，所述电子终端100中存储有一图像库，所述图像库中包括有多种预设表情的面部图像，在本实施例中，记所述图像库中的预设表情的种类数量为C，每种类别下包含的所述面部图像的数量为L，所述图像库中图像总数记为S＝C×L。

步骤S120，根据所述面部图像，通过主成分分析(Principal Component Analysis，PCA)算法计算获得各面部图像的全局表情特征。

具体地，请参照图3，步骤S120可以包括以下子步骤。

子步骤S121，根据所述面部图像数据，获得每个所述面部图像的像素矩阵向量。

在本实施例中，记每幅图像素为M×N，所述面部图像的像素矩阵记为A，所述电子终端100计算获得每个所述面部图像的像素矩阵向量为：

ξ＝Vec(A)∈R^MN×1。

步骤S122，根据多个所述面部图像的像素矩阵向量，计算获得所述图像库中面部图像的平均像素矩阵向量。

在本实施例中，记所述图像库中的多个所述面部图像组成的样本矩阵为

X_sample＝[ξ₁₁,ξ₁₂,...,ξ_ij](i＝1,2,...,C；j＝1,2,...,L)；

所述电子终端100计算获得所述图像库中的多个所述面部图像的像素矩阵的平均值为

步骤S123，根据每个所述面部图像的像素矩阵向量及所述平均像素矩阵向量，计算获得每个所述面部图像的标准矩阵向量，其中，所述标准矩阵向量为各所述面部图像的像素矩阵向量与所述平均像素矩阵向量的差。

在本实施例中，所述电子终端100计算获得所述图像库中标准的训练集样本矩阵记为

步骤S124，根据每个所述面部图像的标准矩阵向量，计算获得所述图像库的总体散布矩阵。

在本实施例中，根据所述标准矩阵向量通过散布矩阵算法，所述电子终端100计算获得所述图像库中总体散布矩阵记为

V＝[λ₁,λ₂,...,λ_S](λ₁＞λ₂＞...＞λ_S)。

步骤S125，根据总体散布矩阵得到所述图像库的特征向量组。

在本实施例中，所述电子终端100根据总体散布矩阵的特征值得到所述特征向量组记为

P＝[P₁,P₂,...,P_S]。

步骤S126，根据所述特征向量组的特征子空间得到各所述面部图像的全局表情特征。

在本实施中，所述特征向量组的特征子空间记为

P_k＝[P₁,P₂,...,P_x](x＝k≤S)，

所述电子终端100计算各所述面部图像的向量为

步骤S130，根据面部器官对表情识别的贡献程度，将所述面部图像划分为多个面部器官识别区域。

具体地，由于在面部表情识别中，眼部及嘴部对表情识别起到的贡献度较大，故在本实施例中，所述电子终端100将所述面部图像划分为眼部识别区域及嘴部识别区域，可以将所述面部图像分上下两个区域，上部为眼部识别区域，下部为嘴部识别区域。在本实施例中，所述上下两个区域可以个占50％。

步骤S140，根据不同所述面部图像中每个面部器官识别区域的数据，通过局部定向模式(Local Directional Patterns，LDP)算法计算获得所述面部图像每个面部器官识别区域的区域纹理特征。

具体地，在本实施中，所述区域纹理特征通过局部LDP直方图表征，请参照图4，步骤S140可以通过以下子步骤获得所述局部LDP直方图。

子步骤S141，将面部图像的任意像素点作为中心点，将其分别与8个方向的Kirsch算子进行卷积运算，获得中心点周围的8个方向的边缘响应值。

子步骤S142，将获取的所述8个方向的边缘响应值取绝对值，并进行排序。

子步骤S143，根据排序后的边缘响应值取绝对值编码获得LDP码值。

在本实施例中，所述电子终端100选取前k个较大的边缘响应值取绝对值将其对应位置设为1，其余8-k个位置全部置为0。

记m_k为第k个最大的边缘响应值，将m₀位置的值作为最低位来进行8个方向编码处理，得到LDP码值记为

其中，i＝0,1,...,7。

经发明人发现当k的值为3，时可以获得更好的表情识别率，因此在本实施中，k的值取3。

子步骤S144，根据所述LDP码值计算获得各面部器官识别区域的局部LDP直方图。

在本实施例中，当k值为3时，LDP特征数据的维数记为维，其LDP特征的直方图可由下式计算得来：

式中，C_i表示LDP码值。

步骤S150，基于所述面部图像的全局表情特征及所述每个所述面部器官识别区域的区域纹理特征，加权计算获得所述面部图像的融合表情特征向量。

具体地，请参照图5，步骤S150可以包括以下子步骤。

子步骤S151，将所述面部图像各面部器官识别区域的区域LDP直方图合成为统一LDP直方图。

子步骤S152，按从左至右、从上而下的顺序依次将所述统一LDP直方图存为LDP特征向量。

在本实施例中，将所述LDP特征向量记为

Y∈R_m2。

子步骤S153，将所述面部图像的全局表情特征向量及LDP特征向量加权融合，获得融合表情特征向量。

在本实施例中，将所述面部图像的全局表情特征向量及LDP特征向量加权融合，获得融合表情特征向量记为Z∈(R_m1+R_m2)。所述电子终端100计算得到融合表情特征向量Z可由下式表示：

式中，σ₁、σ₂分别表示特征向量X、Y的标准差，可由特征向量方差的平方根计算而得。

请参照图6，本实施例还提供一种表情特征提取装置110，所述装置包括：图像获取模块111、PCA计算模块112、区域划分模块113、LDP计算模块114及融合计算模块115。

所述图像获取模块111用于获得图像库中包括多种预设表情的面部图像；

所述PCA计算模块112用于根据所述面部图像，通过PCA算法计算获得各面部图像的全局表情特征。

进一步地，在本实施例中，所述PCA计算模块112获得所述全局表情特征的方式包括：

根据所述面部图像数据，获得每个所述面部图像的像素矩阵向量；

根据多个所述面部图像的像素矩阵向量，计算获得所述图像库中面部图像的平均像素矩阵向量；

根据每个所述面部图像的像素矩阵向量及所述平均像素矩阵向量，计算获得每个所述面部图像的标准矩阵向量，其中，所述标准矩阵向量为各所述面部图像的像素矩阵向量与所述平均像素矩阵向量的差；

根据每个所述面部图像的标准矩阵向量，计算获得所述图像库的总体散布矩阵；

根据总体散布矩阵得到所述图像库的特征向量组；

根据所述特征向量组的特征子空间得到各所述面部图像的全局表情特征。

所述区域划分模块113用于根据面部器官对表情识别的贡献程度，将所述面部图像划分为多个面部器官识别区域。

进一步地，在本实施例中，所述区域划分模块113根据面部器官对表情识别的贡献程度，将所述面部图像划分为多个面部器官识别区域的方式包括：

将所述面部图像划分为眼部识别区域及嘴部识别区域。

所述LDP计算模块114用于根据不同所述面部图像中每个面部器官识别区域的数据，通过LDP算法计算获得所述面部图像每个面部器官识别区域的区域纹理特征。

进一步地，在本实施例中，所述LDP计算模块114获得所述区域纹理特征的方式包括：

将面部图像的任意像素点作为中心点，将其分别与8个方向的Kirsch算子进行卷积运算，获得中心点周围的8个方向的边缘响应值；

将获取的所述8个方向的边缘响应值取绝对值，并进行排序；

根据排序后的边缘响应值取绝对值编码获得LDP码值；

根据所述LDP码值计算获得各面部器官识别区域的局部LDP直方图。

所述融合计算模块115用于基于所述面部图像的全局表情特征及所述每个所述面部器官识别区域的区域纹理特征，加权计算获得所述面部图像的融合表情特征向量。

进一步地，在本实施例中，所述融合计算模块115获得所述融合表情特征向量的方式包括：

将所述面部图像各面部器官识别区域的区域LDP直方图合成为统一LDP直方图；

按从左至右、从上而下的顺序依次将所述统一LDP直方图存为LDP特征向量；

将所述面部图像的全局表情特征向量及LDP特征向量加权融合，获得融合表情特征向量。

综上所述，本发明提供的一种表情特征提取方法及装置，通过采用PCA算法获得的面部图像的全局表情特征，及采用LDP算法获得的面部图像的区域纹理特征，并将所述全局表情特征与所述区域纹理特征加权融合得到融合表情特征。如此，可以获得更加有效的面部区域纹理特征表示，有效提高表情识别的准确率。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。