面具脸特征识别模型训练方法和装置
本申请涉及机器学习技术领域，具体涉及一种面具脸特征识别模型训练方法和装置。
背景技术：
面具脸指的是表情呆板，即使有意地做表情但其因面部表情肌活动受抑制而表现出的面部状态。虽然并不不能直接作为帕金森病的直接诊断依据，但是从大量的已有病例确定面具脸和帕金森等神经系统变性疾病具有较强的关联关系，可以作为帕金森等疾病的初步筛选依据。
随着智能手机等智能终端的普及，原本需要专业人进行操作的身体健康数据监测工作可以由智能终端对采集数据进行运算处理得到。例如，面具脸的识别可以由深度学习算法对智能终端拍摄用户面部视频得到；在此情况下，核心问题是用于对采集数据进行处理的算法的适用性和准确性。
目前，已有提及采用智能终端对用户面部进行采集，得到样本面部特征视频，运用深度学习方法建立相关算法模型的过程，但是此类算法核心需要对视频中的各个帧进行特征识别，算法的计算量很大；实际应用中，在拍摄特征视频时的测试人员动作状态对识别结果具有很大影响。
技术实现要素：
基于对现有技术方案的分析发现的问题，本申请提供一种面具脸特征识别模型训练方法和装置，以及面具脸识别方法。
一方面，本申请提供一种面具脸特征识别模型训练方法，包括：
获取样本面部特征视频以及对应的评价标签；所述样本面部特征视频为用户按照设定规则执行操作而形成的视频；
提取所述样本面部特征视频的图像帧而形成帧序列；
按照所述帧序列，对所述帧序列中的相邻帧进行差分运算，得到差分图像；
提取各个所述差分图像的特征矩阵；以及，按照所述帧序列组合各个所述差分图像的特征矩阵，得到视频特征矩阵；
采用所述视频特征矩阵和对应的所述评价标签，训练所述面具脸特征识别模型。
可选地，提取所述样本面部特征视频的图像帧而形成帧序列，包括：按照设定规则对所述样本面部特征视频进行划分，得到样本分视频；
提取各个所述样本分视频的图像帧而形成对应的帧序列；
按照所述帧序列组合各个所述差分图像的特征矩阵，得到视频特征矩阵，包括：按照所述样本分视频的排列顺序和对应所述帧序列，组合各个所述差分图像的特征矩阵，得到所述视频特征矩阵。
可选地，所述设定规则包括至少两个面部动作和各个所述面部动作的执行时间；
按照设定规则对所述样本面部特征视频进行划分，得到样本分视频，包括：根据所述面部动作和对应的所述执行时间对所述视频特征进行划分，得到所述样本分视频。
可选地，所述面部动作包括闭上双眼、放松并直视前方、微笑并露出牙齿。
可选地，提取所述样本面部特征视频的图像帧而形成帧序列，包括：
提取所述图像帧的面部图像区域；
按照所述图像帧的排序组合所述面部图像区域，形成所述帧序列。
可选地，所述差分图像的特征矩阵包括至少两个特征参数；
按照所述帧序列组合各个所述差分图像的特征矩阵，得到视频特征矩阵，包括：
按照所述帧序列提取各个所述特征矩阵的同一特征参数，组合形成同参数向量；
组合所述同参数向量，得到所述视频特征矩阵。
另一方面，本申请提供一种面具脸识别方法，其特征在于，包括：
获取待评价面部特征视频；所述待评价面部特征视频为用户按照设定规则执行操作而形成的视频；
提取所述待评价面部评价视频的图像帧而形成帧序列；
按照所述帧序列，对所述帧序列中的相邻帧进行差分运算，得到差分图像；
提取各个所述差分图像的特征矩阵；以及，按照所述帧序列组合各个所述差分图像的特征矩阵，得到视频特征矩阵；
采用如前文所述的方法得到的面具脸特征识别模型处理所述视频特征矩阵，得到面具脸程度评价结果。
再一方面，本申请提供一种面具脸识别模型训练装置，包括：
源数据获取单元，用于获取样本面部特征视频以及对应的评价标签；所述样本面部特征视频为用户按照设定规则执行操作而形成的视频；
帧提取单元，用于提取所述样本面部特征视频的图像帧而形成帧序列；
差分处理单元，用于按照所述帧序列，对所述帧序列中的相邻帧进行差分运算，得到差分图像；
特征确定单元，用于提取各个所述差分图像的特征矩阵；以及，按照所述帧序列组合各个所述差分图像的特征矩阵，得到视频特征矩阵；
模型训练单元，用于采用所述视频特征矩阵和对应的所述评价标签，训练所述面具脸特征识别模型。
本申请提供的面具脸特征识别模型训练方法，利用帧序列中相邻帧进行差分运算得到差分图像后，再对差分图像进行处理提取特征矩阵，并基于差分图像的特征矩阵得到表征样本面部特征视频的特征矩阵。
因为表征样本面部特征视频的特征矩阵是基于差分图像确定，其体现了视频内容随时间的变化情况，也就是体现了测试人员的面部表情按照设定规则变化迟缓程度和可控制程度，继而能够体现测试人员面具脸特性。本方法提供的表征样本面部特征视频的特征矩阵数据量较小，相比于现有技术中直接采用利用人脸面部特征进行特征提取，确定面具脸谱特征的方法，本方案能够简化计算量，实现面具脸特征识别模型的快速建立，并能够达到较好地准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；
图1是本申请实施例提供的面具脸特征识别模型训练方法的流程图；
图2是本申请实施提供的面具脸识别方法流程图；
图3是本申请实施例提供的面具脸识别装置的结构示意图；
图4是本申请实施例提供的电子设备的结构示意图；
其中：11-源数据获取单元，12-帧提取单元、13-差分处理单元，14-特征确定单元，15-模型训练单元，21-处理器，22-存储器，23-通信接口，24-总线系统。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面将对本申请的方案进行进一步描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。
本申请实施例提供一种面具脸特征识别模型训练方法，通过采用新的方法获取用于训练面具脸特征识别模型的训练数据，并采用此训练数据进行模型。
图1是本申请实施例提供的面具脸特征识别模型训练方法的流程图。如图1所示，本申请实施例提供的方法包括步骤s101-s105。
s101：获取样本面部特征视频以及对应的评价标签。
样本面部特征视频可以由测试人员采用诸如智能手机等移动终端进行采集，也可以采用专用的图像采集设备获得，本申请实施例并不做特别地限定。
本申请实施例中，样本面部特征视频为测试人员按照设定规则执行面部动作而形成的视频；设定规则包括测试人员面部动作的类型、面部动作的执行时间等参数。在获取样本面部特征视频时，测试人员必须严格按照设定规则自主地控制面部肌肉执行相应的动作。
本申请实施例，设定规则可以包括一个面部动作和对应的执行时间，也可以包括多个面部动作和对应的执行时间。
在一个具体应用中，设定规则包括三个面部动作，三个面部动作分别为闭上双眼、放松并直视前方和微小并露出牙齿；三个面部动作均是针对面具脸具有的一些特点进行设计，用于观察测试人员(也就是测试人员)的面部僵硬程度和面部变化迟缓程度，其中：闭上双眼用于观察测试人员面部放松程度，放松并直视前方用于观察测试人员眼睛状况，微笑并露出牙齿用于观察测试人员嘴角及眼睛情况。
为了使得各个面部动作均能够被合理地捕捉，并体现前文的面部僵硬程度和面部变化迟缓程度，各个面部动作均应当满足合适地执行时间。在本申请实施例的一个应用中，各个面部动作的执行时间均为5s，并且三个面部动作的执行是连续的。
本申请实施例中，评价标签由专业人员查看前述的样本面部特征视频，或者观察相应的测试对象面部特征得到。在一个应用中，评价标签可以包括正常、轻微、轻度、中度和重度五个等级；正常表征了正常的面部表情；轻微对应测试人员具有瞬目频率减少的情况；轻度对应的测试人员瞬目频率减少、下面部表情减少(例如有自发性的微笑弹嘴唇没有分开)；中度对应测试人员嘴唇在嘴部不动时会有张开；重度对应嘴唇不动时大多数情况下是张开的。
s102：提取样本面部特征视频的图像帧而形成帧序列。
本申请实施例中，在获取样本面部特征视频后，需要对样本面部特征视频进行分帧处理，以形成用户后续处理的帧序列。
实际应用中，根据样本面部特征视频的采样频率，对应形成帧序列的策略可以不同。如果采样频率较小，可以直接将样本面部特征视频的所有图像帧作为帧序列中的一帧；如果采样频率较大，可以采用间隔采样的方法，提取样本面部特征视频中的部分帧作为帧序列。
实际应用中，在测试人员进行样本面部特征视频采集时，图像采集设备(诸如用户的智能手机)相对用户面部发生位移，使得用户面部位置发生移动。
为能够提取到有效信息，排除非必要信息，在步骤s102中还可以确定各个图像帧中用户的面部区域，提取出用户的面部区域而删除其他区域，作为帧序列中各个帧的像素点。例如，在本申请实施例的一个应用中，可以通过边缘识别或者深度学习的方法，确定出各个图像帧的面部区域，并通过差值或者像素合并等方法，使得面部区域的尺寸为64×64像素，继而满足后续处理的一致性需求。
在本申请实施例实际应用中，如果步骤s101中设定规则包括三个动作，也就是样本面部特征视频包括多个动作的视频内容时，步骤s102中还可以根据设定规则(即设定规则中各个面部动作的执行时间)对样本面部特征视频进行划分，得到样本分视频，并对各个样本分视频进行帧处理而形成对应各个面部动作的帧序列。当然，在其他实施例中，也可以先确定出帧序列后，再根据处理规则分割帧序列。
在本申请实施例中，为了提高处理效率，在样本面部特征视频为彩色视频的情况下，还可以将样本面部特征视频转换为黑白灰度视频，再获取帧序列；或者在获取帧序列后，对帧序列中的内容进行灰度转换，形成黑白灰度视频。
s103：按照帧序列，对帧序列中的相邻帧进行差分运算，得到差分图像。
步骤s103中，对帧序列中的相邻帧进行差分运算，是将帧序列中的相邻两帧对应像素点的灰度数据进行相减，将相减值的绝对值作为对应差分图像中对应点的像素灰度值。可以想到，差分运算确定除了相邻帧的变化情况，因此差分图像体现了用户面部特征的变化情况。
具体的，如果帧序列有k个，针对其中的第m个帧序列，对应第t个图像帧中，对应的像素点(i，j)的差值采用
s104：提取各个差分图像的特征矩阵；以及，按照帧序列组合各个差分图像的特征矩阵，得到视频特征矩阵。
在确定差分图像后，可以对差分图像进行特征提取，而确定表征差分图像的特征矩阵。
本申请实施例中，差分图像的特征矩阵可以包括如下的参数：信息熵、最大值、最小值、平均值、方差、偏度、峰度、中位数、极差、四分位数1、四分位数3、四分位数差和相关系数，并利用前述参数构建出差分图像的特征矩阵。实际应用中，差分图像的特征矩阵可以仅是一个特征向量，特征向量中各个参数按照设定的顺序排列。
假设某一差分图像中位于各个灰度值的像素所占的比例为pi，则信息熵采用
某一差分图像中的所有像素的灰度为xi，则最大值为
在获得各个差分图像的特征矩阵后，按照序列组合各个差分图像的特征矩阵，得到视频特征矩阵。实际应用中，根据各个差分图像的特征矩阵得到视频特征矩阵，可以提取各个差分图像的特征矩阵中的同一特征参数，并按照视频帧的排序对此参数进行排序而得到对应的特征向量，并将所有参数对应的特征向量组合为视频特征矩阵。
在本申请实施例的一些应用中，在将样本面部特征视频拆分为多个样本分视频的情况下，还可以先计算各个样本分视频的视频特征矩阵，再将各个样本分视频的特征矩阵组合为样本面部特征视频的特征矩阵。
s105：采用视频特征矩阵和对应的评价标签，训练面具脸特征识别模型。
步骤s105是在确定了视频特征矩阵和对应的面部脸评价标签后，基于二者的关联关系对面具脸特征识别模型进行训练的过程。本申请实施例中，面具脸特征识别模型可以是机器学习领域广泛采用的模型，例如可以为支持向量机模型等。
通过前文步骤s101-s105的叙述分析可知，本申请实施例提供的面具脸特征识别模型训练方法，利用帧序列中相邻帧进行差分运算得到差分图像后，再对差分图像进行处理提取特征矩阵，并基于差分图像的特征矩阵得到表征样本面部特征视频的特征矩阵。因为表征样本面部特征视频的特征矩阵是基于差分图像确定，其表征了视频内容随时间的变化情况，也就反应了测试人员的面部表情按照设定规则变化迟缓程度和可控制程度，继而能够体现测试人员面具脸特性。
相比于现有技术中直接采用利用人脸面部特征进行特征提取，确定面具脸谱特征的方法，本方案能够简化计算，实现面具脸特征识别模型的快速建立，并能够达到较好地准确性。
另外，在本申请实施例一些具体应用中，样本面部特征视频是拍摄测试人员按照设定规则指导动作时形成的视频，而设定规则是对应的测试指标特征，使得样本面部特征视频对应的特征矩阵也和相应的测试指标特征对应，使得面具脸特征识别模型更为精准。
在获得面具脸特征识别模型后，可以将此模型存储在app应用程序中，并将app应用程序分发给相应的用户端，由用户端根据采集的样本面部特征视频进行处理得到视频特征矩阵，并利用视频特征矩阵作为模型输入，而得到对应的分类结果。
基于前文提供的面具脸识别模型训练方法得到的面具脸是识别模型，本申请实施例还提供一种面具脸识别方法。图2是本申请实施提供的面具脸识别方法流程图。如图2所示，本申请实施例提供的面具量识别方法包括步骤s201-s205。
s201：获取待评价面部特征视频；待评价面部特征视频为用户按照设定规则执行操作而形成的视频。
s202：提取待评价面部评价视频的图像帧而形成帧序列。
s203：按照帧序列，对帧序列中的相邻帧进行差分运算，得到差分图像。
s204：提取各个差分图像的特征矩阵；以及，按照帧序列组合各个差分图像的特征矩阵，得到视频特征矩阵。
前述的步骤s201-s204的执行步骤和步骤s101-s105的实施步骤基本相同，仅是在步骤s201中处理的是待评价面部特征视频，并且无需确定评价标签；相关步骤的具体操作可以参照前文描述，此处不再复述。
s205：采用面具脸特征识别模型处理将视频特征矩阵，得到面具脸程度评价结果。
步骤s205中将步骤s204确定的视频特征矩阵作为输入，输入到前文确定的面具特征识别模型中，即可以得到面具脸程度评价结果。在前文模型中的评价标签为正常、轻微、轻度、中度和重度的情况下，面具脸程度评价结果为前述标签中的任一个。
除了提供前述的面具脸识别模型训练方法外，本申请实施例还提供一种面具脸特征识别模型训练装置。图3是本申请实施例提供的面具脸识别装置的结构示意图，如图3所示，面具脸识别模型训练装置包括源数据获取单元11、帧提取单元12、差分处理单元13、特征确定单元14和模型训练单元15。
源数据获取单元11用于获取样本面部特征视频以及对应的评价标签。
本申请实施例中，样本面部特征视频为测试人员按照设定规则执行面部动作而形成的视频；设定规则包括测试人员面部动作的类型、面部动作的执行时间等参数。在获取样本面部特征视频时，测试人员必须严格按照设定规则自主地控制面部肌肉执行相应的动作。
本申请实施例，设定规则可以包括一个面部动作和对应的执行时间，也可以包括多个面部动作和对应的执行时间。
在一个具体应用中，设定规则包括三个面部动作，三个面部动作分别为闭上双眼、放松并直视前方和微小并露出牙齿；三个面部动作均是针对面具脸具有的一些特点进行设计，用于观察测试人员(也就是测试人员)的面部僵硬程度和面部变化迟缓程度，其中：闭上双眼用于观察测试人员面部放松程度，放松并直视前方用于观察测试人员眼睛状况，微笑并露出牙齿用于观察测试人员嘴角及眼睛情况。
为了使得各个面部动作均能够被合理地捕捉，并能投体现前文的面部僵硬程度和面部变化迟缓程度，各个面部动作均应当满足合适地执行时间。在本申请实施例的一个应用中，各个面部动作的执行时间均为5s，并且三个面部动作的执行是连续的。
本申请实施例中，评价标签由专业人员查看前述的样本面部特征视频，或者观察相应的测试对象面部特征得到。在一个应用中，评价标签可以包括正常、轻微、轻度、中度和重度五个等级；正常表征了正常的面部表情；轻微对应测试人员具有瞬目频率减少的情况；轻度对应的测试人员瞬目频率减少、下面部表情减少(例如有自发性的微笑弹嘴唇没有分开)；中度对应测试人员嘴唇在嘴部不动时会有张开；重度对应嘴唇不动时大多数情况下是张开的。
帧提取单元12用于提取样本面部特征视频的图像帧而形成帧序列。
实际应用中，根据样本面部特征视频的采样频率，帧提取单元12形成帧序列的策略可以不同。例如，如果采样频率较小，可以直接将样本面部特征视频的所有图像帧作为帧序列中的一帧；如果采样频率较大，可以采用间隔采样的方法，提取样本面部特征视频中的部分帧作为帧序列。
为能够提取到有效信息，而排除非必要信息，帧处理单元还可以确定各个图像帧中用户的面部区域，提取出用户的面部区域而删除其他区域，作为帧序列中各个帧的像素点。
差分处理单元13用于按照所述帧序列，对所述帧序列中的相邻帧进行差分运算，得到差分图像。
特征确定单元14用于提取各个所述差分图像的特征矩阵；以及，按照所述帧序列组合各个所述差分图像的特征矩阵，得到视频特征矩阵。
实际应用中，根据各个差分图像的特征矩阵得到视频特征矩阵，可以提取各个差分图像的特征矩阵中的同一特征参数，并按照视频帧的排序对此参数进行排序而得到对应的特征向量，并将所有参数对应的特征向量组合为视频特征矩阵。
在本申请实施例的一些应用中，在将样本面部特征视频拆分为多个样本分视频的情况下，还可以线计算各个样本分视频的视频特征矩阵，再将各个样本分视频的特征矩阵组合为样本面部特征视频的特征矩阵。
模型训练单元15用于采用所述视频特征矩阵和对应的所述评价标签，训练所述面具脸特征识别模型。
本申请实施例中，面具脸特征识别模型可以是机器学习领域广泛采用的模型，例如可以为支持向量机模型等。
本申请实施例提供的面具脸识别模型的训练方法能够简化计算，实现面具脸特征识别模型的快速建立，并能够达到较好地准确性。
基于前述的发明构思，本申请还提供一种电子设备。图4是本申请实施例提供的电子设备的结构示意图。如图4所示，第一服务器包括至少一个处理器21、至少一个存储器22和至少一个通信接口23。通信接口23，用于与外部设备之间的信息传输。
第一服务器中的各个组件通过总线系统24耦合在一起。可理解地，总线系统24用于实现这些组件之间的连接通信。总线系统24除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图4中将各种总线都标为总线系统24。
可以理解，本实施例中的存储器22可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。在一些实施方式中，存储器22存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础任务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(mediaplayer)、浏览器(browser)等，用于实现各种应用任务。实现本公开实施例提供的面具脸特征识别模型训练方法的程序可以包含在应用程序中。
在本公开实施例中，处理器21通过调用存储器22存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器21用于执行本公开实施例提供的面具脸特征识别模型训练方法的各个步骤。
本公开实施例提供的面具脸特征识别模型训练方法可以应用于处理器21中，或者由处理器21实现。处理器21可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器21中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器21可以是通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本公开实施例提供的面具脸特征识别模型训练方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器22，处理器21读取存储器22中的信息，结合其硬件完成方法的步骤。
本公开实施例还提出一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储程序或指令，程序或指令使计算机执行面具脸特征识别模型训练方法的步骤各实施例的步骤，为避免重复描述，在此不再赘述。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
- 还没有人留言评论。精彩留言会获得点赞！