一种适用于面瘫患者的智能化人脸识别方法和系统与流程

1.本发明涉及人脸识别和人工智能领域，具体涉及一种适用于面瘫患者的智能化人脸识别方法和系统。


背景技术：

2.人脸识别技术在近几年出现了爆发式增长，从全球人脸识别技术领域的应用场景布局来看，安防、金融、交通、零售、教育、医疗等领域都有较多应用场景，为经济社会的发展以及人们日常生活的便捷带来了新机遇。
3.而现实生活中，人脸识别时也会遇到一些问题，例如实时采集到的人脸与人脸库中的人脸差异较大，很难进行人脸识别，此时使用局部的特征进行识别，又会降低识别的准确性，这一问题对于面瘫患者尤为突出，面瘫患者在进行人脸识别时，由于其面部发生了病变，所以其面部的部分特征必定与无病变时的面部特征不同，这个时候用病变人脸图像和人脸库中的健康人脸进行相似度对比，会有较大的误差，难以进行准确的人脸识别。


技术实现要素：

4.针对上述问题，本发明提出了一种适用于面瘫患者的智能化人脸识别方法和系统，所采用的技术方案如下：第一方面，本发明一个实施例提供了一种适用于面瘫患者的智能化人脸识别方法。所采用的技术方案具体如下：获取待识别面瘫患者面部图像的面瘫病情信息构成病变信息编码；将人脸数据库中人脸图像输入变分自编码网络的编码器得到人脸信息编码；将人脸信息编码和病变信息编码输入重映射网络，得到可控病变信息编码；利用变分自编码网络的解码器对可控病变信息编码进行解码得到人脸图像对应的病变人脸图像；其中，变分自编码网络用于生成不同面瘫程度的人脸图像；根据人脸数据库中每张人脸图像对应病变人脸图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别。
5.优选地，获取待识别面瘫患者面部图像的面瘫病情信息构成病变信息编码包括：将待识别面瘫患者人脸根据病变位置分为包括左眼区域、右眼区域、左嘴角区域、右嘴角区域的多个区域；以面部纵向等分线为对称轴，将任意一侧的眼睛区域、嘴角区域映射至另一侧；在映射后的人脸图像中，获得正常眼睛外交点和病变眼睛外眼角点坐标组成的眼睛区域的病变向量，获得正常嘴角点和病变嘴角点坐标组成的嘴巴区域的病变向量；根据眼睛和嘴巴区域的病变向量获得包含面瘫患者的病变位置、病变方向和病变程度的病变信息编码。
6.优选地，重映射网络的训练过程包括：在模拟器中为人脸图像训练样本加入病变信息获得对应的真值病变人脸图像，并将病变信息变为病变信息编码；将人脸图像训练样本的人脸信息编码与病变信息编码输入重映射网络，输出人脸图像训练样本的可控病变信
息编码；对可控病变信息编码解码，根据解码所得图像与真值病变人脸图像的距离更新重映射网络的参数。
7.优选地，重映射网络的损失函数为：y为根据可控病变信息编码生成的病变人脸图像，y为不同病变信息对应的真值病变人脸图像，n为训练样本数量，为生成的病变人脸图像和真值病变人脸图像的距离；、分别为第i个、第j个训练样本的病变信息编码；、分别为第i个、第j个样本对应的重映射网络输出第k维的采样值；分别为第i个、第j个训练样本的均值向量中第k维均值，分别为第i个、第j个训练样本的标准差向量中第k维标准差。
8.优选地，根据人脸数据库中每张人脸图像对应病变人脸图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别包括：获取与待识别面瘫患者面部图像相似度最高的病变人脸图像，病变人脸图像对应的人脸数据库的人脸图像为面瘫患者的健康人脸图像，完成对面瘫患者的人脸识别。
9.第二方面，本发明另一个实施例提供了一种适用于面瘫患者的智能化人脸识别系统。该系统包括：病变信息编码获取模块，用于获取待识别面瘫患者面部图像的面瘫病情信息构成病变信息编码；病变人脸图像生成模块，用于将人脸数据库中人脸图像输入变分自编码网络的编码器得到人脸信息编码；将人脸信息编码和病变信息编码输入重映射网络，得到可控病变编码；利用变分自编码网络的解码器对可控病变编码进行解码得到人脸图像对应的病变人脸图像；其中，变分自编码网络用于生成不同面瘫程度的人脸图像；人脸识别模块，用于根据人脸数据库中每张人脸图像对应的病变人脸图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别。
10.优选地，病变信息编码获取模块还用于将待识别面瘫患者人脸根据病变位置分为包括左眼区域、右眼区域、左嘴角区域、右嘴角区域的多个区域；以面部纵向等分线为对称轴，将任意一侧的眼睛区域、嘴角区域映射至另一侧；在映射后的人脸图像中，获得正常和病变眼睛外眼角点坐标组成的眼睛区域的病变向量，获得正常和病变嘴角点坐标组成的嘴巴区域的病变向量；根据眼睛和嘴巴区域的病变向量获得包含面瘫患者的病变位置、病变方向和病变程度的病变信息编码。
11.优选地，病变人脸图像生成模块还用于在模拟器中为人脸图像训练样本加入病变信息获得对应的真值病变人脸图像，并将病变信息变为病变信息编码；将人脸图像训练样本的人脸信息编码与病变信息编码输入重映射网络，输出人脸图像训练样本的可控病变信息编码；对可控病变信息编码解码，根据解码所得图像与真值病变人脸图像的距离更新重映射网络的参数。
12.优选地，病变人脸图像生成模块中重映射网络的损失函数为：
y为根据可控病变信息编码生成的病变人脸图像，y为不同病变信息对应的真值病变人脸图像，n为训练样本数量，为生成的病变人脸图像和真值病变人脸图像的距离；、分别为第i个、第j个训练样本的病变信息编码；、分别为第i个、第j个样本对应的重映射网络输出第k维的采样值；分别为第i个、第j个训练样本的均值向量中第k维均值，分别为第i个、第j个训练样本的标准差向量中第k维标准差。
13.优先地，人脸识别模块还用于获取与待识别面瘫患者面部图像相似度最高的病变人脸图像，病变人脸图像对应的人脸数据库的人脸图像为面瘫患者的健康人脸图像，完成对面瘫患者的人脸识别。
14.本技术方案有如下有益效果：本发明中通过训练重映射网络和变分自编码网络，基于人脸数据库的健康人脸图像和待识别面瘫患者的病变信息生成病变的人脸图像，与待识别面瘫患者的病变人脸图像比较，得到其相似度，从而达到对面瘫患者进行人脸识别的目的。本发明解决了面瘫患者直接进行人脸识别容易出现识别错误的问题，提高了面瘫患者的人脸识别的合理性和准确性，并且使面瘫患者的人脸识别的速度也进一步得到了提升。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
16.图1为本发明的方法流程图。
具体实施方式
17.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种适用于面瘫患者的智能化人脸识别方法和系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
18.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
19.下面结合附图具体的说明本发明所提供的一种适用于面瘫患者的智能化人脸识别方法和系统的具体方案。
20.实施例1：本发明具体所针对的场景为：应用于人脸识别场景，主要是针对于面部发生病变
的面瘫患者，对于面瘫患者，后台备份的资料多是身份证等证件，其得到的患者对应的人脸信息是患者健康无病情时的人脸，与当前病变的人脸具有一定的差异，直接比较异常的病变人脸和正常的健康人脸，很容易被病变带来的差异影响，使得出现识别错误。
21.请参阅图1，其示出了本发明一个实施例提供的一种适用于面瘫患者的智能化人脸识别方法流程图，该方法包括以下步骤：首先，获取待识别面瘫患者面部图像的面瘫病情信息构成病变信息编码。
22.病变信息编码m1表示人脸图像中的病变信息，包括病变位置、病变方向以及病变程度。病变信息的获得方式为：（1）面瘫患者的病变体现在人脸的左眼、右眼、左嘴角、右嘴角4个位置。因此，本实施例中的病变信息编码m1包括4个部分，分别对应4个病变位置，每个部分的信息为对应位置的病变信息。
23.（2）为了获得各位置的病变信息，首先需要根据4个病变位置对人脸图像进行区域划分，包括左眼区域、右眼区域、左嘴角区域和右嘴角区域等四个区域。其中，左、右眼区域是以瞳孔为中心点，以两个眼睛长度中的最大值r1为直径的圆区域，左、右嘴角区域是以嘴角点为中心，以正常嘴角点与鼻尖点所在面部纵向等分线的距离为半径的圆区域。据此将人脸划分为多个区域。
24.（3）本发明中用病变方向θ和病变程度γ来表征每个病变位置的病变信息（θ，γ）。
25.（4）基于经验可知，面瘫患者的病变位置一般发生在同一侧，因此，本发明基于对称差异来表征病变方向θ和病变程度γ。
26.以面部纵向等分线为对称轴，将任意一侧的眼睛区域、嘴角区域映射至另一侧；则在对称映射后的人脸图像中，由正常眼睛外眼角点和病变眼睛外眼角点坐标p1和p2，可得到眼睛病变向量；由正常嘴角点和病变嘴角点的坐标p3、p4，可得到嘴角病变向量；则上述眼睛病变方向即为向量对应的方向，病变程度即为对应的长度，嘴角病变方向即为眼睛病变向量对应的方向，病变程度即为对应的长度。
27.（5）因此，可获得图像中包含人脸的病变位置、病变方向、病变程度的病变信息。以上述病变信息为基础，则病变信息编码m1=[（θ1，γ1），（θ2，γ2），（θ3，γ3），（θ4，γ4）]，分别对应左眼、右眼、左嘴角、右嘴角的病变信息。且当人脸某个区域没有发生病变时，该区域对应的病变信息为（0，0）。
[0028]
然后，将人脸数据库中人脸图像输入变分自编码网络的编码器得到人脸信息编码；将人脸信息编码和病变信息编码输入重映射网络，得到可控病变信息编码；利用变分自编码网络的解码器对可控病变信息编码进行解码得到人脸图像对应的病变人脸图像；其中，变分自编码网络用于生成不同面瘫程度的人脸图像。
[0029]
目前dnn方面的三大生成模型，分别是变分自编码（vae），对抗生成网络（gan）以及流模型（glow）。本实施例使用变分自编码网络进行数据生成。搭建变分自编码网络，该网络为encoder-decoder结构，使用人脸数据集训练变分自编码网络，实现功能为：输入人脸图像，通过编码器得到图像对应的隐码z，再将隐码z经过解码操作得到生成图像。本发明变分自编码网络的训练集包括不同的健康人脸图像、大量不同面瘫病情的面瘫患者人脸图像，
结合变分自编码的损失函数经过训练，本发明的变分自编码网络可以生成不同面瘫病情的人脸图像。
[0030]
人脸信息编码m2为将人脸数据库中的健康人脸图像输入变分自编码网络中的编码器得到的高维特征向量（包括均值向量和标准差向量），且人脸数据库中每张健康人脸图像均有一个对应的人脸信息编码m2。
[0031]
此时，训练重映射网络，完成病变信息编码m1和人脸信息编码m2到可控病变信息编码m的重映射。当在模拟器中对一张健康人脸图像加入不同的病变信息时，该张人脸图像对应的病变信息编码m1的值会发生对应改变，此时该张人脸图像随着病变信息的加入由健康人脸图像转变为病变人脸图像，则该张人脸图像对应的隐码z发生变化，即可控病变信息编码发生变化。
[0032]
本实施例中的重映射网络完成病变信息编码m1和人脸信息编码m2到可控病变信息编码m的重映射后，根据重映射之后的可控病变信息编码m生成人脸数据库中健康人脸对应的病变人脸图像。该重映射网络为全连接网络结构，训练过程为：（1）人脸图像训练样本为人脸数据库中的健康人脸图像。在模拟器中为人脸图像训练样本加入病变信息获得对应的真值病变人脸图像，并将病变信息变为病变信息编码m1；将人脸图像训练样本的病变信息编码m1和人脸信息编码m2输入重映射网络，输出人脸图像训练样本的可控病变信息编码m，即重映射隐码z；对可控病变信息编码m解码，根据解码所得图像与真值病变人脸图像的距离更新重映射网络的参数。
[0033]
（2）重映射网络的损失函数为：其中，y为根据重映射隐码z生成的病变人脸图像，y为可控病变信息编码m1对应的真值病变人脸图像，n为训练样本数量（病变信息编码m1个数），为生成的病变人脸图像和真值病变人脸图像的距离；m1i、m1j分别为第i个、第j个样本的病变信息编码，z
i,k
、z
j,k
分别为第i个、第j个样本对应的全连接网络输出（重映射隐码z）第k维的采样值，μ
i,k
、μ
j,k
分别为第i个、第j个训练样本的均值向量中第k维均值，σ
i,k
、σ
j,k
分别为第i个、第j个训练样本的方差向量中第k维标准差。
[0034]
网络训练过程中若第i个和第j个训练样本的加入的病变信息相似或者相同，则全连接网络输出的第i个和第j个样本的重映射隐码的z的采样值相近，其随机采样的方式相同。
[0035]
完成重映射网络的训练后，在健康人脸图像的基础上，将待识别面瘫患者面部图像对应的病变信息编码m1和人脸数据库中的人脸图像的人脸信息编码m2，输入重映射网络，输出可控病变信息编码m，即重映射隐码z。可控病变信息编码m在自编码网络中解码得到人脸数据库中每张健康人脸图像对应的病变人脸图像。
[0036]
本发明通过训练变分自编码网络生成不同的病变人脸图像，通过简单可靠的网络结构，可将多张健康人脸图像与病变人脸图像之间的识别转换成多张生成的病变人脸图像与真实病变人脸图像之间的识别，提高了识别的合理性和准确性。
[0037]
与实现属性可编辑的单个对抗生成网络相比，本发明使用简单的变分自编码网络
和全连接网络相结合生成病变人脸图像，优势为：本发明网络结构简单，易训练，低功耗。单个对抗生成网络至少包括三个分支，结构复杂，训练难，功耗高，对硬件设备的要求较高；且对应3个loss，每个分支的loss均对整个网络造成影响，降低网络准确性。本发明将简单的自编码网络和全连接网络相结合，结构简单，易于训练且功耗低，对硬件设备的要求很低。
[0038]
本发明网络中不需要鉴别器，生成的病变人脸图像均为合理图像而单个对抗生成网络至少需要两个鉴别器，一个鉴别器用来衡量生成人脸图像与真实人脸图像之间的差异，使得生成人脸图像为合理的人脸图像；另一个鉴别器用于判断身份特征信息与图像之间的对应关系，确保学习到的身份与人脸图像之间的对应关系。本发明使用变分自编码网络生成病变人脸图像，获得人脸数据库中人脸图像对应的人脸信息编码m2。健康人脸图像加入病情信息后对应的可控病变信息编码m，即重映射隐码z，其可控病变信息编码中包含的人脸信息编码与人脸数据库中人脸图像的人脸信息编码m2具有一致的分布空间。
[0039]
因此，基于变分自编码网络的特性，基于重映射隐码z生成的病变人脸图像符合人脸数据库人脸图像加入病变信息后的病变人脸图像特性，因此不需要鉴别器来衡量其合理性。可控病变信息编码m与生成的病变人脸图像一一对应，因此可保证不同的人脸信息与同样的病情信息结合之后对应生成不同的病变人脸图像。最后，根据人脸数据库中每张人脸图像对应的病变人脸图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别。
[0040]
在变分自编码网络中，上述可控病变信息编码m经过解码可得到人脸数据库中每张人脸图像对应的病变人脸图像，该病变人脸图像即为人脸数据库中健康人脸图像在与待识别面瘫患者病变人脸图像包含一致的病变信息下生成的病变人脸图像。
[0041]
可根据相似度对比，找到与待识别面瘫患者面部图像相似性最高的病变人脸图像，该生成病变人脸图像对应的健康人脸图像，即为面瘫患者病变之前的健康人脸图像，从而完成对待识别面瘫患者的人脸识别。
[0042]
实施例2：本实施例提供了一种系统实施例。一种适用于面瘫患者的智能化人脸识别系统，包括：病变信息编码获取模块，用于获取待识别面瘫患者面部图像的面瘫病情信息构成病变信息编码；病变人脸图像生成模块，用于将人脸数据库中人脸图像输入变分自编码网络的编码器得到人脸信息编码；将人脸信息编码和病变信息编码输入重映射网络，得到可控病变编码；利用变分自编码网络的解码器对可控病变编码进行解码得到人脸图像对应的病变人脸图像；其中，变分自编码网络用于生成不同面瘫程度的人脸图像；人脸识别模块，用于根据人脸数据库中每张人脸图像对应的病变人脸图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别。
[0043]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者
可能是有利的。
[0044]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0045]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。