模型训练的方法、面部动作单元强度估计的方法及装置与流程

文档序号：18450634发布日期：2019-08-17 01:14阅读：750来源：国知局

本申请涉及人工智能领域，尤其涉及一种面部动作单元强度估计的方法、模型训练的方法及装置。

背景技术：

人脸表情识别是人机交互、机器学习、智能控制和图像处理等领域涉及的重要研究方向，现已成为国内外研究的热点。基于人脸面部动作单元(facialactionunit，au)的表情识别方法基于心理学上的面部活动编码系统，通过建立人脸视觉特征与au，以及au与表情之间的关系进行表情识别。

目前，现有的au强度估计方法大多为监督学习方法，需要专家对视频中每一帧图像进行au标注，然后通过概率图模型建立多个au强度之间的关系。

然而，监督学习方法需要标注视频中每一帧的au强度，而au强度的标注需要较高的人力成本。尤其对于深度学习而言，训练含有百万参数的深度神经网络，如果标注样本较少，训练得到的模型在实际应用中效果就会较差。

技术实现要素：

本申请实施例提供了一种模型训练的方法、面部动作单元强度估计的方法及装置，仅对待训练视频中的au强度峰值帧以及au强度谷值帧进行标注即可，结合多个约束条件进行学习，从而在降低au强度标注成本的同时，还可以训练得到较好的模型。

有鉴于此，本申请第一方面提供一种模型训练的方法，包括：

获取待训练视频，其中，所述待训练视频中包括至少一个视频段，每个视频段的面部动作单元au强度为单调递增、单调递减或保持不变；

从所述待训练视频中获取标注视频帧集合，其中，所述标注视频帧集合中包括多个标注视频帧，且所述标注视频帧集合至少包括所述待训练视频中的au强度峰值帧或者au强度谷值帧；

根据所述标注视频帧集合获取图像特征集合，其中，所述图像特征集合包括多个图像特征，所述图像特征与所述标注图像具有对应关系；

根据所述图像特征集合生成目标损失函数，其中，所述目标损失函数包括多个约束条件；

采用所述目标损失函数对待训练au强度预测模型进行训练，得到au强度预测模型。

本申请第二方面提供一种面部动作单元强度估计的方法，包括：

获取待预测图像；

从所述待预测图像中提取第一图像特征；

通过面部动作单元au强度预测模型获取所述第一图像特征所对应的au强度预测结果，其中，所述au强度预测模型包括基向量以及模型参数，所述基向量用于将所述第一图像特征转换为第二图像特征，所述第一图像特征与所述第二图像特征具有不同的特征空间，所述模型参数用于根据所述第二图像特征确定所述au强度预测结果。

本申请第三方面提供一种模型训练装置，包括：

获取模块，用于获取待训练视频，其中，所述待训练视频中包括至少一个视频段，每个视频段的面部动作单元au强度为单调递增、单调递减或保持不变；

所述获取模块，还用于从所述待训练视频中获取标注视频帧集合，其中，所述标注视频帧集合中包括多个标注视频帧，且所述标注视频帧集合至少包括所述待训练视频中的au强度峰值帧或者au强度谷值帧；

所述获取模块，还用于根据所述标注视频帧集合获取图像特征集合，其中，所述图像特征集合包括多个图像特征，所述图像特征与所述标注图像具有对应关系；

生成模块，用于根据所述获取模块获取的所述图像特征集合生成目标损失函数，其中，所述目标损失函数包括多个约束条件；

训练模块，用于采用所述生成模块生成的所述目标损失函数对待训练au强度预测模型进行训练，得到au强度预测模型。

在一种可能的设计中，在本申请实施例的第三方面的第一种实现方式中，

所述获取模块，具体用于根据所述待训练视频获取au强度变化信息；

根据所述au强度变化信息确定峰值帧以及谷值帧，其中，所述峰值帧表示在视频段中au强度最大值所对应的视频帧，所述谷值帧表示在视频段中au强度最小值所对应的视频帧；

从所述待训练视频随机选择待标注视频帧；

对所述待标注视频帧、所述峰值帧以及所述谷值进行标注，得到所述标注视频帧集合。

在一种可能的设计中，在本申请实施例的第三方面的第二种实现方式中，

所述获取模块，具体用于从标注视频帧中获取n个关键点，其中，所述n个关键点用于表示面部特征，所述n为大于或等于1的整数；

根据所述n个关键点以及n个平均关键点，确定第一维度特征，其中，所述n个平均关键点为根据所述标注视频帧集合所确定的；

根据所述n个关键点中的m个关键点，确定第二维度特征，其中，所述m为大于或等于1，且小于或等于所述n的整数；

根据所述n个关键点中每个关键点到所述标注视频帧的中心点的距离，确定第三维度特征；

根据所述第一维度特征、所述第二维度特征以及所述第三维度特征，确定所述标注视频帧所对应的图像特征。

在一种可能的设计中，在本申请实施例的第三方面的第三种实现方式中，

所述生成模块，具体用于根据所述图像特征集合以及模型参数确定硬约束条件；

根据所述图像特征集合以及所述待训练视频确定软约束条件；

根据所述硬约束条件以及所述软约束条件生成所述目标损失函数。

在一种可能的设计中，在本申请实施例的第三方面的第四种实现方式中，

所述生成模块，具体用于根据所述标注视频帧集合确定au强度向量，其中，所述au强度向量中的元素与所述标注视频帧集合中的标注视频帧具有对应关系；

获取所述标注视频帧集合在隐空间的第一系数，其中，所述隐空间所对应的特征空间小于所述图像特征所对应的特征空间；

根据所述au强度向量、所述第一系数与所述模型参数，生成第一约束条件，其中，所述第一约束条件属于所述硬约束条件。

在一种可能的设计中，在本申请实施例的第三方面的第五种实现方式中，

所述生成模块，具体用于获取所述待训练视频中视频段的帧数；

根据所述视频段的帧数生成矩阵；

获取所述待训练视频在隐空间的第二系数，其中，所述隐空间所对应的特征空间小于所述图像特征所对应的特征空间；

根据所述视频段的帧数生成矩阵、所述第二系数与所述模型参数，生成第二约束条件，其中，所述第二约束条件属于所述硬约束条件。

在一种可能的设计中，在本申请实施例的第三方面的第六种实现方式中，

所述生成模块，具体用于获取所述标注视频帧集合在隐空间的第一系数，其中，所述隐空间所对应的特征空间小于所述图像特征所对应的特征空间；

获取所述待训练视频在隐空间的第二系数，其中，所述隐空间所对应的特征空间小于所述图像特征所对应的特征空间；

根据所述第一系数、所述第二系数以及所述模型参数，生成第三约束条件，其中，所述第三约束条件属于所述硬约束条件。

在一种可能的设计中，在本申请实施例的第三方面的第七种实现方式中，

所述生成模块，具体用于获取所述待训练视频在隐空间的第二系数，其中，所述隐空间所对应的特征空间小于所述图像特征所对应的特征空间；

根据所述待训练视频中相邻两帧视频帧确定邻接矩阵；

根据所述邻接矩阵确定所述相邻两帧视频帧的对角矩阵；

根据所述邻接矩阵、所述对角矩阵、所述第二系数以及所述模型参数，生成第四约束条件，其中，所述第四约束条件属于所述软约束条件。

在一种可能的设计中，在本申请实施例的第三方面的第八种实现方式中，

所述生成模块，具体用于获取所述待训练视频在隐空间的第二系数，其中，所述隐空间所对应的特征空间小于所述图像特征所对应的特征空间；

根据所述待训练视频中相邻两帧视频帧确定邻接矩阵；

根据所述邻接矩阵确定所述相邻两帧视频帧的对角矩阵；

根据所述邻接矩阵、所述对角矩阵以及所述第二系数，生成第五约束条件，其中，所述第五约束条件属于所述软约束条件。

在一种可能的设计中，在本申请实施例的第三方面的第九种实现方式中，

所述生成模块，具体用于采用如下方式确定所述目标损失函数

其中，所述b表示基向量，所述β表示所述b的值域，所述w表示所述模型参数，所述φl表示第一系数，所述φu表示第二系数，所述df表示所述标注视频帧集合，所述ds表示所述待训练视频，所述λ2表示第一超参数，所述λ3表示第二超参数，所述s.t.表示受限于，所述γ表示矩阵，所述lu(φl,φu,b,df,ds)表示重建损失函数，所述ll(w,φl,df)表示第一约束条件，所述γφuw≤0表示第二约束条件，所述φlw≥0,φuw≥0表示第三约束条件，所述ri(w,φu,ds)表示第四约束条件，所述rf(w,φu,ds)表示第五约束条件。

在一种可能的设计中，在本申请实施例的第三方面的第十种实现方式中，

所述训练模块，具体用于根据所述目标损失函数确定基向量以及模型参数；

根据所述基向量以及所述模型参数对所述待训练au强度预测模型进行训练，得到所述au强度预测模型。

本申请第四方面提供一种面部动作单元强度估计装置，包括：

获取模块，用于获取待预测图像；

提取模块，用于从所述获取模块获取的所述待预测图像中提取第一图像特征；

所述获取模块，还用于通过面部动作单元au强度预测模型获取所述提取模块提取的所述第一图像特征所对应的au强度预测结果，其中，所述au强度预测模型包括基向量以及模型参数，所述基向量用于将所述第一图像特征转换为第二图像特征，所述第一图像特征与所述第二图像特征具有不同的特征空间，所述模型参数用于根据所述第二图像特征确定所述au强度预测结果。

本申请第五方面提供一种服务器，包括：存储器、收发器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

获取待训练视频，其中，所述待训练视频中包括至少一个视频段，每个视频段的面部动作单元au强度为单调递增、单调递减或保持不变；

根据所述标注视频帧集合获取图像特征集合，其中，所述图像特征集合包括多个图像特征，所述图像特征与所述标注图像具有对应关系；

根据所述图像特征集合生成目标损失函数，其中，所述目标损失函数包括多个约束条件；

采用所述目标损失函数对待训练au强度预测模型进行训练，得到au强度预测模型；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

本申请第六方面提供一种终端设备，包括：存储器、收发器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

获取待预测图像；

从所述待预测图像中提取第一图像特征；

通过面部动作单元au强度预测模型获取所述第一图像特征所对应的au强度预测结果，其中，所述au强度预测模型包括基向量以及模型参数，所述基向量用于将所述第一图像特征转换为第二图像特征，所述第一图像特征与所述第二图像特征具有不同的特征空间，所述模型参数用于根据所述第二图像特征确定所述au强度预测结果；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

本申请的第七方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例中，提供了一种模型训练的方法，首先，获取待训练视频，其中，待训练视频中包括至少一个视频段，每个视频段的面部动作单元au强度为单调递增、单调递减或保持不变，然后可以从待训练视频中获取标注视频帧集合，其中，标注视频帧集合中包括多个标注视频帧，且标注视频帧集合至少包括待训练视频中的au强度峰值帧或者au强度谷值帧，再根据标注视频帧集合获取图像特征集合，其中，图像特征集合包括多个图像特征，图像特征与标注图像具有对应关系，接下来，根据图像特征集合生成目标损失函数，其中，目标损失函数包括多个约束条件，最后采用目标损失函数对待训练au强度预测模型进行训练，得到au强度预测模型。通过上述方式，无需对待训练视频中的每个视频帧进行标注，而是对待训练视频中少量的au强度峰值帧以及au强度谷值帧进行标注即可，结合多个约束条件进行学习，从而在降低au强度标注成本的同时，还可以训练得到较好的模型。

附图说明

图1为本申请实施例中面部动作单元强度估计系统的一个架构示意图；

图2为本申请实施例中模型训练阶段和模型测试阶段的一个流程示意图；

图3为本申请实施例中模型训练的方法一个总体流程示意图；

图4为本申请实施例中模型训练的方法一个实施例示意图；

图5为本申请实施例中au表现的一个实施例示意图；

图6为本申请实施例中待训练视频中峰值帧和谷值帧的一个示意图；

图7为本申请实施例中生成标注视频帧集合的一个流程示意图；

图8为本申请实施例中提取图像特征的一个流程示意图；

图9为本申请实施例中面部动作单元强度估计的方法一个实施例示意图；

图10a为本申请实验场景中在6％的训练样本被注释的情况下的学习曲线示意图；

图10b为本申请实验场景中不同迭代次数所对应的au强度预测一个对比示意图；

图11为本申请实验场景中不同数据集的au标注分布一个对比示意图；

图12为本申请实验场景中基于人脸表情识别与分析2015竞赛数据集的一个皮尔森相关系数一个对比示意图；

图13为本申请实验场景中基于人脸表情识别与分析2015竞赛数据集的一个组内相关系数一个对比示意图；

图14为本申请实验场景中基于人脸表情识别与分析2015竞赛数据集的一个平均绝对误差一个对比示意图；

图15为本申请实验场景中基于丹佛面部自发活动强度数据集的一个皮尔森相关系数一个对比示意图；

图16为本申请实验场景中基于丹佛面部自发活动强度数据集的一个组内相关系数一个对比示意图；

图17为本申请实验场景中基于丹佛面部自发活动强度数据集的一个平均绝对误差一个对比示意图；

图18为本申请实施例中模型训练装置的一个实施例示意图；

图19为本申请实施例中面部动作单元强度估计装置的一个实施例示意图；

图20为本申请实施例中服务器的一个结构示意图；

图21为本申请实施例中终端设备的一个结构示意图。

具体实施方式

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

伴随着人工智能的发展和普及，人机交互在我们的生活中也扮演着越来越重要的作用。人们总是觉得机器冷冰冰的，不食人间烟火，而情绪情感识别则真正为人们搭建起了与他人沟通的桥梁。如果机器能识别面对对象当下的情绪，就能更好地做出反应。应理解，本申请所提供的au强度估计方法不但可以应用于人机交互，让机器人能够读懂人的情绪，还可以应用于社交平台上用户情绪分析，即当两个人进行视频通话的时候，通过面部行为分析，可以判断视频中人物的情绪状态，可以辅助社交活动。

为了便于理解，本申请提出了一种唤醒词检测的方法，该方法应用于图1所示的au强度估计系统，请参阅图1，图1为本申请实施例中面部动作单元强度估计系统的一个架构示意图，如图所示，服务器预先训练得到au强度预测模型，在离线状态下，服务器可以将训练好的au强度预测模型发送至客户端，由客户端根据待预测图像进行au强度的预测。在在线状态下，客户端将待预测的图像发送至服务器，由服务器进行au强度的预测，得到预测结果之后反馈至客户端。具体地，输入au强度预测模型的输入信息为待预测图像，待预测图像中包括面部图像，通过au强度预测模型对采集到的面部图像进行识别判断，确认用户的情感，客户端根据用户情感作出相应的反馈，比如展示表情或者执行动作等。需要说明的是，客户端部署于终端设备上，其中，终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、机器人以及个人电脑(personalcomputer，pc)，此处不做限定。

请参阅图2，图2为本申请实施例中模型训练阶段和模型测试阶段的一个流程示意图，如图所示，模型处理主要包括两个过程，第一个过程是训练阶段，第二个过程是测试阶段。在训练阶段中，首先获取弱标注数据，弱标注包括两个部分，第一个部分是找到关键帧(即待训练视频中的峰值帧和谷值帧)和少数随机取出的视频帧(可能包括关键帧)，第二个部分是标注关键帧和随机取出的视频帧，标注视频帧具体是指标注这些视频帧的au强度。接下来，提取这些视频帧的特征，然后将准备好的视频帧特征输入到待训练的模型进行联合学习，联合学习的对象包括表征学习以及模型学习，最终根据联合学习的结果输出子空间的基向量以及模型参数。

在测试阶段中，首先输入一张人脸图像，然后提权该人脸图像的图像特征，再利用子空间的基向量获取图像特征所对应的新图像特征，即利用子空间的基向量重建原特征得到该人脸图像在子空间的表达系数。最后，采用训练得到的模型对新图像特征进行ai强度预测。

应理解，本申请提出一种结合表征与模型联合学习的方法，用于对人脸au强度进行估计，au强度估计的准确度取决于图像表征、au强度估计模型和监督信息。请参阅图3，图3为本申请实施例中模型训练的方法一个总体流程示意图，如图所示，利用au相关的先验知识，使用少量已标注au强度的视频帧进行半监督学习，可以较大程度减少标注成本。本申请可以灵活地嵌入不同形式的先验知识，包括软约束(softconstraints)和硬约束(hardconstraints)。

结合上述介绍，下面将对本申请中模型训练的方法进行介绍，请参阅图4，本申请实施例中模型训练的方法一个实施例包括：

101、获取待训练视频，其中，待训练视频中包括至少一个视频段，每个视频段的面部动作单元au强度为单调递增、单调递减或保持不变；

本实施例中，模型训练装置获取待训练视频，其中，待训练视频可以是一段连续的电视剧片段、电影片段或者广告片段等，并且在待训练视频中包括人脸图像。其中，模型训练装置可以属于在服务器上。

考虑到肌肉运动的平稳性导致面部表情的平滑演变。如果帧速率足够高，则可以捕捉到面部表情的细微变化，因此，au的强度也会按顺序平稳地演变。基于au的强度可以将待训练视频分为三种类型的视频段，即单调递增、单调递减和保持不变。

102、从待训练视频中获取标注视频帧集合，其中，标注视频帧集合中包括多个标注视频帧，且标注视频帧集合至少包括待训练视频中的au强度峰值帧或者au强度谷值帧；

本实施例中，模型训练装置对待训练视频进行弱标注，从而得到标注视频帧集合。具体地，弱标注包括两个部分，一个部分为定性标注，另一个部分是定量标注。定性标注就是指识别关键帧的位置，即识别峰值帧和谷值帧。而定量标注是指对一组帧序列进行au强度标注，对峰值帧标注后得到au强度峰值帧，对谷值帧标注后得到au强度谷值帧。其中，au强度可以分为n个级别，比如n为6，那么au强度可以表示为0、1、2、3、4和5，0表示自然状态，以嘴角上扬为例，从0至5表示嘴角上扬的角度越来越大。

在弱标注的情况下，待训练视频可以根据关键帧的位置分割成若干段，可以理解的是，为了避免使用一个额外的变量来表示趋势，还可以颠倒从峰值帧到谷值帧的段的帧序号，从而在所有训练段中，au强度为增加或保持不变。可选地，也可以颠倒从谷值帧到峰值帧的段的帧序号，从而在所有训练段中，au强度为减少或保持不变。

103、根据标注视频帧集合获取图像特征集合，其中，图像特征集合包括多个图像特征，图像特征与标注图像具有对应关系；

本实施例中，模型训练装置需要对标注视频帧集合中的每个标注视频帧进行特征提取，假设有m个标注视频帧，即得到m个图像特征，这m个图像特征构成图像特征集合。

104、根据图像特征集合生成目标损失函数，其中，目标损失函数包括多个约束条件；

本实施例中，模型训练装置结合先验知识和图像特征集合，可以得到目标损失函数，其中，该先验知识包括硬约束和软约束两类约束条件，即目标损失函数中至少包括两个约束条件，这样可以提升模型监督的能力。硬约束表示强制约束，通常表现为等式，而软约束表示优化约束，通常表现为正则项。

105、采用目标损失函数对待训练au强度预测模型进行训练，得到au强度预测模型。

本实施例中，模型训练装置采用目标损失函数对待训练au强度预测模型进行训练，当目标损失函数中的表征、模型参数以及子空间的基向量都达到最小值时，输出模型参数以及子空间的基向量，根据模型参数以及子空间的基向量即可得到au强度预测模型。

可选地，在上述图4对应的实施例的基础上，本申请实施例提供的模型训练的方法第一个可选实施例中，从待训练视频中获取标注视频帧集合，可以包括：

根据待训练视频获取au强度变化信息；

根据au强度变化信息确定峰值帧以及谷值帧，其中，峰值帧表示在视频段中au强度最大值所对应的视频帧，谷值帧表示在视频段中au强度最小值所对应的视频帧；

从待训练视频随机选择待标注视频帧；

对待标注视频帧、峰值帧以及谷值进行标注，得到标注视频帧集合。

本实施例中，介绍了一种获取标注视频帧集合的方式。面部肌肉的动作是和表情有很大关系的，面部由一些au组成，为了便于理解，请参阅图5，图5为本申请实施例中au表现的一个实施例示意图，如图所示，不同的au对应不同的面部肌肉表现形式，假设存量六种基本表情(快乐、伤心、恐惧、愤怒、惊讶和厌恶)，较为复杂的表情可以是上述六种基本表情的组合，且同一个类型的表情所表示的语义是多样化的。如果要准确地判断出用户情感以及情感的表达程度，那么就需要准确地进行标注。

具体地，首先模型训练装置根据待训练视频获取au强度变化信息，可以通过视音频解码工具生成au强度变化信息，请参阅图6，图6为本申请实施例中待训练视频中峰值帧和谷值帧的一个示意图，如图所示，在同一个待训练视频中，不同au强度的峰值帧和谷值帧的位置不同，本申请分别标注au强度的峰值帧和谷值帧。根据峰值帧的位置和谷值帧的位置，可以将待训练视频分割为多个视频段。此外，为了能够增加监督信息，还可以从待训练视频随机选择若干个待标注视频帧，待标注视频帧有可能是峰值帧或者谷值帧。最后，需要分别对待标注视频帧、峰值帧以及谷值进行标注，得到相应的标注视频帧，所有的标注视频帧构成标注视频帧集合。

标注的方式包含并不仅限于如下方式：

方式一，采用向量表示au强度，比如，使用[1,0,0,0,0,0]表示快乐。如果考虑强度的话，可以表示为[2.5,0,0,0,0,0]，值越大表示越强。同时可以设置一个强度表示范围[0,5]。

方式二，采用离散值表示au强度，比如au0表示自然状态。au1表示强于au0，且弱于au2的状态。au2表示强于au1，且弱于au3的状态。au3表示强于au2，且弱于au4的状态。au4表示强于au3，且弱于au5的状态。au5表示强于au4的状态。

为了便于介绍，请参阅图7，图7为本申请实施例中生成标注视频帧集合的一个流程示意图，如图所示，步骤201中，获取待训练视频，即得到未标注的视频序列。步骤202中，对待训练视频进行标注，即标注峰值帧和谷值帧的位置。步骤203中，将训练训练视频(即视频序列)按照峰值帧和谷值帧划分为多个视频段。步骤204中，从待训练视频中随机选择部分视频帧，并且标注这些视频帧的au强度。

其次，本申请实施例中，将介绍一种获取标注视频帧集合的方法，即先根据待训练视频获取au强度变化信息，然后根据au强度变化信息确定au强度峰值帧以及au强度谷值帧，此外，还需要从待训练视频随机选择待标注视频帧，最后对待标注视频帧、au强度峰值帧以及au强度谷值进行标注，得到标注视频帧集合。通过上述方式，仅仅对关键帧和少数随机选择视频帧的进行au强度标注即可，虽然一个待训练视频中存在多个峰值帧和谷值帧，但它们在整个待训练视频中只占很小的一部分，因此，可以大幅地降低视频帧的标注成本。

可选地，在上述图4或图4对应的第一个实施例的基础上，本申请实施例提供的模型训练的方法第二个可选实施例中，根据标注视频帧集合获取图像特征集合，可以包括：

从标注视频帧中获取n个关键点，其中，n个关键点用于表示面部特征，n为大于或等于1的整数；

根据n个关键点以及n个平均关键点，确定第一维度特征，其中，n个平均关键点为根据标注视频帧集合所确定的；

根据n个关键点中的m个关键点，确定第二维度特征，其中，m为大于或等于1，且小于或等于n的整数；

根据n个关键点中每个关键点到标注视频帧的中心点的距离，确定第三维度特征；

根据第一维度特征、第二维度特征以及第三维度特征，确定标注视频帧所对应的图像特征。

本实施例中，将介绍如何提取标注视频帧所对应的图像特征，为了便于说明，请参阅图8，图8为本申请实施例中提取图像特征的一个流程示意图，如图所示，在步骤301中，给定一个标注视频帧，且该标注视频帧包括人脸图像。在步骤302中，可以先检测出66个人脸关键点。在步骤303中，利用利用双眼中心点对齐关键点，对齐后的关键点用于计算人脸几何特征。在步骤304中特征提取只用到五官周围的49个关键点。可以理解的是，49个关键点的数量仅为一个示意，在实际应用中，还可以提取其他数量的关键点。这里我们以n＝49为例进行介绍，然而这不应理解为对本申请的限定。

具体地，获取n个平均关键点，假设标注视频帧集合包括100个标注视频帧，n个平均关键点就是这100个标注视频帧的关键点的平均值。用标注视频帧的n个关键点的位置减去n个平均人脸关键点的位置即可得到49个偏移位置，由于偏移位置包括横轴偏移量和纵轴偏移量，因此，具有49*2＝98个维度的特征，即得到第一维度特征。

计算m个关键点中连续两点之间的距离和连续三个点之间的角度。将n个关键点中的m个关键点分为三组，第一组为左眼(关键点20至25)和左眉毛(关键点1至5)，第二组为右眼(关键点26至31)和右眉毛(关键点6至10)，第三组为嘴区域(关键点32至49)。第一组共有11个关键点，即得到11-1＝10个距离，以及11-2＝9个角度。第二组共有11个关键点，即得到11-1＝10个距离，以及11-2＝9个角度。第三组共有18个关键点，即得到18-1＝17个距离，以及18-2＝16个角度。由此得到10+9+10+9+17+16＝71个维度的特征，即得到第二维度特征。

计算n个关键点中每个关键点到人脸中心点的距离，从而得到49维特征，即得到第三维度特征。最后，将第一维度特征、第二维度特征和第三维度特征拼接起来，得到标注视频帧所对应的图像特征。比如得到98+71+49＝218维的图像特征。

再次，本申请实施例中，提供了一种对提取图像特征的方法。首先从标注视频帧中获取n个关键点，然后根据n个关键点以及n个平均关键点，确定第一维度特征，根据n个关键点中的m个关键点，确定第二维度特征，并且根据n个关键点中每个关键点到标注视频帧的中心点的距离，确定第三维度特征，最后结合第一维度特征、第二维度特征以及第三维度特征，确定标注视频帧所对应的图像特征。通过上述方式，能够提取到足够丰富的人脸特征，基于每个图像帧采用相同的方法进行特征提取，从而得到更加全面的图像特征，由此提升方案的可靠性。

可选地，在上述图4以及图4对应的第一个至第二个实施例中任一项的基础上，本申请实施例提供的模型训练的方法第三个可选实施例中，根据图像特征集合生成目标损失函数，可以包括：

根据图像特征集合以及模型参数确定硬约束条件；

根据图像特征集合以及待训练视频确定软约束条件；

根据硬约束条件以及软约束条件生成目标损失函数。

本实施例中，在模型训练装置得到图像特征集合之后，可以根据先验知识确定硬约束条件，并且从训练数据中自动学习软约束条件，结合硬约束条件和软约束条件得到目标损失函数。可以理解的是，硬约束条件包括至少一个约束条件，软约束条件也包括至少一个约束条件，因此，目标损失函数可以结合多种不同的约束条件而生成，本申请所提供的五个约束条件是一种实现方式，在实际应用中，还可以加入不同类型的约束条件。

其次，本申请实施例中，提供了一种目标损失函数的生成方法，根据图像特征集合以及模型参数确定硬约束条件，并且根据图像特征集合以及待训练视频确定软约束条件，结合硬约束条件以及软约束条件生成目标损失函数。通过上述方式，充分考虑到不同形式的先验知识，先验知识被表述成为软约束和硬约束，可以灵活地嵌入建立的模型中。

可选地，在上述图4以及图4对应的第一个至第三个实施例中任一项的基础上，本申请实施例提供的模型训练的方法第四个可选实施例中，根据图像特征集合以及模型参数确定硬约束条件，可以包括：

根据标注视频帧集合确定au强度向量，其中，au强度向量中的元素与标注视频帧集合中的标注视频帧具有对应关系；

获取标注视频帧集合在隐空间的第一系数，其中，隐空间所对应的特征空间小于图像特征所对应的特征空间；

根据au强度向量、第一系数与模型参数，生成第一约束条件，其中，第一约束条件属于硬约束条件。

本实施例中，介绍了一种硬约束条件，即对有限的标注视频帧进行au强度标注。在待训练视频中，只有少量的标注视频帧含有au强度标注，这部分标注可以作为较强的监督信息。学到的表征和模型参数应满足：

φlw＝yl；

其中，yl表示au强度向量，au强度向量中的元素与标注视频帧集合中的标注视频帧具有对应关系，比如，1号标注视频帧的au强度为0，2号标注视频帧的au强度为5，3号标注视频帧的au强度为1，4号标注视频帧的au强度为5，5号标注视频帧的au强度为3，则au强度向量yl表示为0,5,1,5,3，即n为au强度向量中的元素个数。φl表示第一系数，即表示所有含有标注的标注视频帧在隐空间(新维度下的空间)的系数，隐空间所对应的特征空间小于图像特征所对应的特征空间，比如原始图像空间是218维度的，隐空间是60维度的。w表示模型参数。

根据au强度向量、第一系数与模型参数，生成第一约束条件，其中，第一约束条件属于硬约束条件，该第一约束条件写在目标函数里面可以表述为：

其中，df表示标注au强度的标注视频帧集合，具体表示为表示第n个标注视频帧的图像特征，表示第n个标注视频帧的au强度。λ0表示超参数，可以取值0.1，或者1，或者10等，具体可以根据验证数据集来选择。

再次，本申请实施例中，提供了一种硬约束条件的内容，即根据标注视频帧集合确定au强度向量，获取标注视频帧集合在隐空间的第一系数，根据au强度向量、第一系数与模型参数，生成第一约束条件，其中，第一约束条件属于硬约束条件。通过上述方式，为硬约束条件设计了一种具体的实现方式，从而提供方案的可行性和可操作性。

可选地，在上述图4以及图4对应的第一个至第四个实施例中任一项的基础上，本申请实施例提供的模型训练的方法第五个可选实施例中，根据图像特征集合以及模型参数确定硬约束条件，可以包括：

获取待训练视频中视频段的帧数；

根据视频段的帧数生成矩阵；

获取待训练视频在隐空间的第二系数，其中，隐空间所对应的特征空间小于图像特征所对应的特征空间；

根据视频段的帧数生成矩阵、第二系数与模型参数，生成第二约束条件，其中，第二约束条件属于硬约束条件。

本实施例中，介绍了另一种硬约束条件，由于人脸肌肉的运动是平滑的，人脸表观的变化也是平滑的，所以au强度是平滑的。在已经分割好的视频段中，au强度单调递增(或单调递增)或者保持不变。所以在一个视频段中，预测得到的位置在前的标注视频帧的au强度应大于(或小于)位置在后的标注视频帧的au强度。以au强度单调递增为例，学到的表征和模型参数应该满足如下条件：

其中，φu表示第二系数，表示待训练视频中所有视频段在隐空间的系数，隐空间所对应的特征空间小于图像特征所对应的特征空间，比如原始图像空间是218维度的，隐空间是60维度的。w表示模型参数。待训练视频总共包括m个视频段，m表示m个视频段中的一个视频段。tm表示视频段中的包含的视频帧数量，即待训练视频中视频段的帧数。

au强度的有序性是不等式约束，写成矩阵的形式可以表示为：

其中，γ^m是根据视频段帧数生成的矩阵，可以表示为由此，根据视频段的帧数生成矩阵、第二系数与模型参数，生成第二约束条件，第二约束条件表示为：

γφuw≤0；

其中，γ＝diag([γ¹,γ²,...,γ^m])，diag()函数用于构造一个对角矩阵。

再次，本申请实施例中，提供了另一种硬约束条件的内容，即获取待训练视频中视频段的帧数，根据视频段的帧数生成矩阵，获取待训练视频在隐空间的第二系数，根据视频段的帧数生成矩阵、第二系数与模型参数，生成第二约束条件，其中，第二约束条件属于硬约束条件。通过上述方式，为硬约束条件设计了另一种具体的实现方式，从而提供方案的可行性和灵活性。

可选地，在上述图4以及图4对应的第一个至第五个实施例中任一项的基础上，本申请实施例提供的模型训练的方法第六个可选实施例中，根据图像特征集合以及模型参数确定硬约束条件，可以包括：

获取标注视频帧集合在隐空间的第一系数，其中，隐空间所对应的特征空间小于图像特征所对应的特征空间；

获取待训练视频在隐空间的第二系数，其中，隐空间所对应的特征空间小于图像特征所对应的特征空间；

根据第一系数、第二系数以及模型参数，生成第三约束条件，其中，第三约束条件属于硬约束条件。

本实施例中，介绍了另一种硬约束条件，由于au强度被定义为非负的标量，所以视频帧的au预测值应该不小于0.因此，学习到的表征和模型参数应该满足如下约束条件，即第三约束条件表示为：

φuw≥0,φlw≥0；

其中，φl表示第一系数，即表示所有含有标注的标注视频帧在隐空间(新维度下的空间)的系数，φu表示第二系数，表示待训练视频中所有视频段在隐空间的系数。隐空间所对应的特征空间小于图像特征所对应的特征空间，比如原始图像空间是218维度的，隐空间是60维度的。w表示模型参数。

再次，本申请实施例中，提供了另一种硬约束条件的内容，即标注视频帧集合在隐空间的第一系数，获取待训练视频在隐空间的第二系数，根据第一系数、第二系数以及模型参数，生成第三约束条件，其中，第三约束条件属于硬约束条件。通过上述方式，为硬约束条件设计了另一种具体的实现方式，从而提供方案的可行性、可操作性和灵活性。

可选地，在上述图4以及图4对应的第一个至第六个实施例中任一项的基础上，本申请实施例提供的模型训练的方法第七个可选实施例中，根据图像特征集合以及待训练视频确定软约束条件，可以包括：

获取待训练视频在隐空间的第二系数，其中，隐空间所对应的特征空间小于图像特征所对应的特征空间；

根据待训练视频中相邻两帧视频帧确定邻接矩阵；

根据邻接矩阵确定相邻两帧视频帧的对角矩阵；

根据邻接矩阵、对角矩阵、第二系数以及模型参数，生成第四约束条件，其中，第四约束条件属于软约束条件。

本实施例中，介绍了一种软约束条件，由于人脸表观在时序上是平滑的，au强度根据表观进行标注，au强度在时序上是平滑的。在一个视频段中，相邻的视频帧的au强度应该是接近的，即对于相邻帧i和j，较小，对于所有的视频段满足如下的正则项，即生成第四约束条件：

其中，l^m＝d^m-c^m和l＝diag([l¹，l²，...，l^m])。待训练视频总共包括m个视频段，m表示m个视频段中的一个视频段。c^m是一个邻接矩阵，如果i和j是相邻两帧视频帧，则否则根据邻接矩阵确定相邻两帧视频帧的对角矩阵，即对角矩阵d^m表示为φu表示第二系数，表示待训练视频中所有视频段在隐空间的系数，隐空间所对应的特征空间小于图像特征所对应的特征空间，比如原始图像空间是218维度的，隐空间是60维度的。

再次，本申请实施例中，提供了一种软约束条件的内容，即先获取待训练视频在隐空间的第二系数，根据待训练视频中相邻两帧视频帧确定邻接矩阵，然后根据邻接矩阵确定相邻两帧视频帧的对角矩阵，最后根据邻接矩阵、对角矩阵、第二系数以及模型参数，生成第四约束条件。通过上述方式，为软约束条件设计了一种具体的实现方式，从而提供方案的可行性和可操作性。

可选地，在上述图4以及图4对应的第一个至第七个实施例中任一项的基础上，本申请实施例提供的模型训练的方法第八个可选实施例中，根据图像特征集合以及待训练视频确定软约束条件，可以包括：

获取待训练视频在隐空间的第二系数，其中，隐空间所对应的特征空间小于图像特征所对应的特征空间；

根据待训练视频中相邻两帧视频帧确定邻接矩阵；

根据邻接矩阵确定相邻两帧视频帧的对角矩阵；

根据邻接矩阵、对角矩阵以及第二系数，生成第五约束条件，其中，第五约束条件属于软约束条件。

本实施例中，介绍了另一种软约束条件，由于人脸表观在时序上是平滑的，相邻的视频帧在隐空间应该具有相近的系数。特征的平滑性可以表述为如下正则项，即生成第五约束条件：

其中，其中，l^m＝d^m-c^m和l＝diag([l¹，l²，...，l^m])。待训练视频总共包括m个视频段，m表示m个视频段中的一个视频段。c^m是一个邻接矩阵，如果i和j是相邻两帧视频帧，则否则根据邻接矩阵确定相邻两帧视频帧的对角矩阵，即对角矩阵d^m表示为φu表示第二系数，表示待训练视频中所有视频段在隐空间的系数，隐空间所对应的特征空间小于图像特征所对应的特征空间，比如原始图像空间是218维度的，隐空间是60维度的。tr()是指将矩阵对角线相加。上标t表示转置运算。

再次，本申请实施例中，提供了另一种软约束条件的内容，即先获取待训练视频在隐空间的第二系数，根据待训练视频中相邻两帧视频帧确定邻接矩阵，然后根据邻接矩阵确定相邻两帧视频帧的对角矩阵，最后根据邻接矩阵、对角矩阵以及第二系数，生成第五约束条件，其中，第五约束条件属于软约束条件。通过上述方式，为软约束条件设计了另一种具体的实现方式，从而提供方案的可行性、可操作性和灵活性。

可选地，在上述图4以及图4对应的第一个至第八个实施例中任一项的基础上，本申请实施例提供的模型训练的方法第九个可选实施例中，根据硬约束条件以及软约束条件生成目标损失函数，可以包括：

采用如下方式确定目标损失函数

其中，b表示基向量，β表示b的值域，w表示模型参数，φl表示第一系数，φu表示第二系数，df表示标注视频帧集合，ds表示待训练视频，λ2表示第一超参数，λ3表示第二超参数，s.t.表示受限于，γ表示矩阵，lu(φl,φu,b,df,ds)表示重建损失函数，ll(w,φl,df)表示第一约束条件，γφuw≤0表示第二约束条件，φlw≥0,φuw≥0表示第三约束条件，ri(w,φu,ds)表示第四约束条件，rf(w,φu,ds)表示第五约束条件。

本实施例中，将介绍一种生成目标损失函数的方法。对于给定峰值帧、谷值帧以及部分随机选择的视频帧的au强度标注，可以按照如下方式进行建模。对于表征学习，学到的系数和基向量用于重建原特征，其中，重建损失为：

其中，b表示基向量，β表示b的值域，β＝{b:b2≤1}，xl表示所有标注视频帧的图像特征，d为图像特征的维度，tm表示视频段中的包含的视频帧数量，即待训练视频中视频段的帧数。su表示所有未标注视频段的图像特征，λ1表示超参数，φl表示第一系数，φu表示第二系数。

结合上述的第一约束条件、第二约束条件、第三约束条件、第四约束条件和第五约束条件，得到如下目标损失函数：

其中，lu(φl,φu,b,df,ds)表示重建损失函数，第二项是第一约束条件，即标注损失，第三项是第四约束条件，即au强度平滑的正则项，第四项是第五约束条件，即特征平滑的正则项，硬约束为au强度的有序性和au强度的非负性。

目标损失函数含有多个变量，对于单个变量是凸问题，但是对于所有的变化并不是联合凸提，可以采用交替方向乘子法(alternatingdirectionmethodofmultipliers，admm)来求解建立的优化问题。本申请用于提供监督信息，使得在少量标注的情况下训练模型成为可能。本申请可以用于辅助社交，也可以用于人机交互，帮助机器人理解人的表情。

本发明使用了五种不同的先验知识，作为硬约束和软约束嵌入模型中，但是先验知识并不限于以上五种。本发明的建模的优化问题使用admm进行优化，也可以使用其他的优化方法进行优化。进一步地，本申请实施例中，提供了一种目标损失函数的具体表示方式，通过上述方式，能够准确地表达目标损失函数包括的内容，且灵活地在目标约束函数中嵌入硬约束和软约束，达到更好的模型监督效果，从而提升模型训练的可靠性。

可选地，在上述图4以及图4对应的第一个至第九个实施例中任一项的基础上，本申请实施例提供的模型训练的方法第十个可选实施例中，采用目标损失函数对待训练au强度预测模型进行训练，得到au强度预测模型，可以包括：

根据目标损失函数确定基向量以及模型参数；

根据基向量以及模型参数对待训练au强度预测模型进行训练，得到au强度预测模型。

本实施例中，基于上述介绍，根据最小化的目标损失函数确定基向量以及模型参数，基向量其中，k表示有k组基向量，k即为降维的数值。结合基向量以及模型参数对待训练au强度预测模型进行训练，得到au强度预测模型。

其次，本申请实施例中，提供了一种得到au强度预测模型的方式。即首先需要根据目标损失函数获取基向量以及模型参数，然后根据基向量以及模型参数对待训练au强度预测模型进行训练，得到au强度预测模型。通过上述方式，能够结合多种先验知识训练得到au强度预测模型，这些先验知识用于提供监督信息，使得在少量标注的情况下也能训练得到au强度预测模型。

结合上述介绍，下面将对本申请中面部动作单元强度估计的方法进行介绍，请参阅图9，本申请实施例中面部动作单元强度估计的方法一个实施例包括：

401、获取待预测图像；

本实施例中，首先获取待预测图像，该待预测图像可以是通过拍摄得到的，也可以是从已有的视频或图像中提取的。

402、从待预测图像中提取第一图像特征；

本实施例中，提取待预测图像的第一图像特征，其中，待预测图像需包括人脸图像，第一图像特征的提取方式可以参考图4对应的第二个可选实施例，此处不做赘述。

403、通过面部动作单元au强度预测模型获取第一图像特征所对应的au强度预测结果，其中，au强度预测模型包括基向量以及模型参数，基向量用于将第一图像特征转换为第二图像特征，第一图像特征与第二图像特征具有不同的特征空间，模型参数用于根据第二图像特征确定au强度预测结果。

本实施例中，根据训练得到的au强度预测模型，可以学习到子空间的基向量b和模型参数w，对于待预测图像的第一图像特征x之后，先计算待预测图像在子空间的表示，即：

φ'＝argminφ||x-bφ||；

其中，φ为第一图像特征，φ'为第二图像特征。然后利用新的第二图像特征进行au强度的计算，即：

y＝w^tφ'；

其中，y表示au强度预测结果。

本申请实施例中，提供了一种au强度估计的方法，首先获取待预测图像，然后从待预测图像中提取第一图像特征，最后通过面部动作单元au强度预测模型获取第一图像特征所对应的au强度预测结果，au强度预测模型包括基向量以及模型参数，基向量用于将第一图像特征转换为第二图像特征，第一图像特征与第二图像特征具有不同的特征空间，模型参数用于根据第二图像特征确定au强度预测结果。通过上述方式，利用au强度预测模型能够将图像特征进行空间变换，基于变换后的特征进行au强度预测，从而能够更准确快捷地输出au强度。

基于本申请提供的au强度估计方法，下面将结合实验数据做进一步地说明。请参阅图10a，图10a为本申请实验场景中在6％的训练样本被注释的情况下的学习曲线示意图，如图所示，本申请提供的au强度估计方法可以称为知识共同学习表示和估计方法(knowledgetojointlylearnrepresentationandestimator，kjre)，当迭代次数足够大时，kjre在au12上的学习曲线更接近初始目标(primalobjective)k1。请参阅图10b，图10b为本申请实验场景中不同迭代次数所对应的au强度预测一个对比示意图，如图所示，k3表示真实值，k4表示预测值，当迭代次数等于1时，真实值和预测值相差较大。当迭代次数等于5时，真实值和预测值相差仍然较大。当迭代次数等于9时，真实值和预测值相差较小。而当迭代次数等于30时，真实值和预测值比较接近。由此可见，迭代次数越多，真实值和预测值越接近。

下面将介绍两类不同的数据集，请参阅图11，图11为本申请实验场景中不同数据集的au标注分布一个对比示意图，如图所示，左图为基于人脸表情识别与分析(facialexpressionrecognitionandanalysischallenge，fera)2015竞赛数据集，右图为丹佛面部自发活动强度数据集(denverintensityofspontaneousfacialaction，disfa)数据集，由于两个数据库中的序列都是以较高的帧速率捕获的，因此连续帧中的面部只有较小的变化。所以每五帧选择一帧进行记录，视频段长度在10值80之间。为了进行评估，改变了训练集中标记帧的比例，包括2％、4％、6％、8％、10％、30％、50％、70％、90％和100％。标记的视频帧是随机选择的，关键帧具有选择优先级，每5次实验报告一次平均性能。

基于fera2015竞赛数据集和disfa数据集，可以验证本申请所提供的au强度估计方法的有效性。fera2015竞赛数据集的au强度被分为6个离散的强度，采用21个人的视频作为训练集，采用20个人的视频作为测试集。disfa数据集包含27个人的视频，我们采用4份数据进行训练，1份数据进行测试，由此进行独立交叉验证。采用本申请提供的图像特征提取方法可以得到218维的图像特征。

下面将采用皮尔森相关系数(pearsoncorrelationcoefficient，pcc)、组内相关系数(intra-classcorrelation，icc)以及平均绝对误差(meanabsoluteerror，mae)作为评价指标，通过网格法来寻找超参数。k∈{60,80,100,120,140}，k表示基向量数量，λ表示超参数，ρ表示优化过程中的参数。

请参阅表1和表2，表1为基于fera2015竞赛数据集的au强度估计方法比较结果一个示意，表2为基于disfa数据集的au强度估计方法比较结果一个示意。

表1

表2

由此可见，实验中将多种方法进行对比，包括支持向量机(supportvectormachine，svr)、支持序数向量回归(supportordinalvectorregression，sovrim)、相关向量机(relevancevectormachine，rvr)、潜在树(latenttree，lt)、copula序数回归(copulaordinalregression，cor)、双支持相关向量机(doublesupportrelevancevectormachine，dsrvm)、海森半监督回归(hessiansemi-supervisedregression，hssr)、凸子空间学习(convexsubspacelearning，csl)、序数支持向量回归(ordinalsupportvectorregression，osvr)、双边序贯相关多实例回归(bilateralordinalrelevancemulti-instanceregression，bormir)以及kjre。表1和表2展示了在数据集中6％的视频帧有au强度标注的情况下，各种方法的结果对比结果，不难看出，本申请设计的kjre在fera2015数据集中，在三个不同的指标下均取得最好的结果。在disfa数据集中，在icc和pcc的指标下均取得最好的结果。虽然dsrvm和hssr的mae很好，但是它们的pcc和icc较差。因为它们在数据不均衡时，学习到的模型趋向于预测训练数据里最多的au强度，即0。而本申请设计的kjre可以一定程度上缓解数据不均衡带来的影响。

请参阅图12至图17，图12为本申请实验场景中基于fera2015数据集的一个pcc一个对比示意图，图13为本申请实验场景中基于fera2015数据集的一个icc一个对比示意图，图14为本申请实验场景中基于fera2015数据集的一个mae一个对比示意图，图15为本申请实验场景中基于disfa数据集的一个pcc一个对比示意图，图16为本申请实验场景中基于disfa数据集的一个icc一个对比示意图，图17为本申请实验场景中基于disfa数据集的一个mae一个对比示意图，如图所示，随着训练视频段中，被标注的视频帧百分比的增多，在fera2015数据集上，本申请设计的kjre在不同的指标下取得最好的结果在disfa数据集上，本申请设计的kjre在pcc和icc是最好的，mae和最好的结果相当。

在实验中还结合了四种先验知识来共同学习kjre，为了验证不同类型的先验知识有效性，将不使用先验知识的共同学习表示与估计方法(jointlylearnrepresentationandestimator，jre)性能与仅使用一种先验知识的性能进行比较，包括仅使用标签排名的方法(kjre-o)，仅使用标签平滑度的方法(kjre-i)，仅使用特征平滑度的方法(kjre-f)和仅使用正向强度的方法(kjre-p)，ke-pca使用主成分分析(principalcomponentanalysis，pc)来表示。请参阅表3和表4，表3为基于fera2015竞赛数据集在具有强度标签情况下的一个评估结果示意，表4为基于disfa数据集在具有强度标签情况下的一个评估结果示意。

表3

表4

由此可见，每种方法在fera2015竞赛数据集上都比在disfa数据集上获得更好的性能，因为disfa数据集是一个更具挑战性的数据库，具有低质量的图像、变化较多的头部姿势、复杂的照明和不平衡的强度分布。具体分析如下。首先，使用一种先验知识的方法，包括kjre-o、kjre-i、kjre-f和kjre-p，比不使用任何类型知识的jre获得更好的效果。它证明了每种类型先验知识的有效性，且标签排序和标签平滑度比特征平滑度和正强度更重要。其次，kjre结合了所有类型的知识，比jre以及使用部分知识的方法获得了更好的性能。进一步证明了先验知识知识有助于改善表示和估计学习。第三，kjre比ke-pca方法获得了更好的结果，后者使用pca在无监督的情况下学习表示，然后结合知识进行估计学习。在disfa数据集上，ke-pca比kjre获得了略好的mae，但却得到了更差的pcc和icc。因为强度水平不平衡且disfa数据集中的多数强度为0，表示学习将以样本为主，强度为0。这使得ke-pca倾向于预测所有测试样本的0强度。由于大多数强度为0，ke-pca可以获得良好的mae，但icc的性能较差。与ke-pca的比较表明，当数据库不平衡时，kjre对表示和估计的学习更为稳健。

请参阅表5，表5为使用有限标注帧时与不同深度模型的对比示意。

表5

由此可见，copula条件随机场算法神经网络(copulacrfneuralnetwork，copulaconditionalrandomfieldalgorithmneuralnetwork)和深度编码器(deepcoder，2dc)的结果与相应的论文相吻合。在fera2015竞赛数据集上，kjre在使用120个标注帧或360个标注帧时优于基于知识的半监督方法(knowledgebasedsemi-supervisedmethod，kbss)。当使用1000个标注帧时，在disfa数据集上，kjre实现了更好的pcc和icc。结果表明，kjre适用于具有极少标注帧的数据集，即使在具有数百个标注帧的数据集中，kjre也能优于kbss。

下面对本申请中的模型训练装置进行详细描述，请参阅图18，图18为本申请实施例中模型训练装置一个实施例示意图，模型训练装置50包括：

获取模块501，用于获取待训练视频，其中，所述待训练视频中包括至少一个视频段，每个视频段的面部动作单元au强度为单调递增、单调递减或保持不变；

所述获取模块501，还用于从所述待训练视频中获取标注视频帧集合，其中，所述标注视频帧集合中包括多个标注视频帧，且所述标注视频帧集合至少包括所述待训练视频中的au强度峰值帧或者au强度谷值帧；

所述获取模块501，还用于根据所述标注视频帧集合获取图像特征集合，其中，所述图像特征集合包括多个图像特征，所述图像特征与所述标注图像具有对应关系；

生成模块502，用于根据所述获取模块501获取的所述图像特征集合生成目标损失函数，其中，所述目标损失函数包括多个约束条件；

训练模块503，用于采用所述生成模块502生成的所述目标损失函数对待训练au强度预测模型进行训练，得到au强度预测模型。

本实施例中，获取模块501获取待训练视频，其中，所述待训练视频中包括至少一个视频段，每个视频段的面部动作单元au强度为单调递增、单调递减或保持不变，所述获取模块501从所述待训练视频中获取标注视频帧集合，其中，所述标注视频帧集合中包括多个标注视频帧，且所述标注视频帧集合至少包括所述待训练视频中的au强度峰值帧或者au强度谷值帧，所述获取模块501根据所述标注视频帧集合获取图像特征集合，其中，所述图像特征集合包括多个图像特征，所述图像特征与所述标注图像具有对应关系，生成模块502根据所述获取模块501获取的所述图像特征集合生成目标损失函数，其中，所述目标损失函数包括多个约束条件，训练模块503采用所述生成模块502生成的所述目标损失函数对待训练au强度预测模型进行训练，得到au强度预测模型。

本申请实施例中，提供了一种模型训练装置，首先，获取待训练视频，然后可以从待训练视频中获取标注视频帧集合，其中，标注视频帧集合中包括多个标注视频帧，且标注视频帧集合至少包括待训练视频中的au强度峰值帧或者au强度谷值帧，再根据标注视频帧集合获取图像特征集合，接下来，根据图像特征集合生成目标损失函数，最后采用目标损失函数对待训练au强度预测模型进行训练，得到au强度预测模型。通过上述方式，无需对待训练视频中的每个视频帧进行标注，而是对待训练视频中少量的au强度峰值帧以及au强度谷值帧进行标注即可，结合多个约束条件进行学习，从而在降低au强度标注成本的同时，还可以训练得到较好的模型。