一种多维度情绪识别方法及系统

1.本发明属于情感识别领域，更具体地，涉及一种多维度情绪识别方法及系统。


背景技术：

2.情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力以实现和谐的人机交互，情绪识别是情感计算的重要组成部分之一，指通过不同形式的信号，例如语音、面部表情、生理信号等，来推测人类情感状态的技术。情绪有多种表示方式，其中常用的两种情感表示是类别型和维度型情感，相比于离散的类别型情感，维度型情感更适合于描述细粒度的、连续的情感，维度型情感的常用维度有valence(愉悦度)、arousal(唤醒度)和dominance(支配度)。
3.通常构建性能良好的多维度情绪识别模型需要大量的带标注数据，由于情感本身的不确定性和主观性，在标注每个情感样本时标注者往往需要反复斟酌才能给出合适的标签，一般每个情感样本也需要经多人标注后通过加权平均值等方式才能得出最终的标签，由此使得多维情感数据的标注成本较高。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种多维度情绪识别方法和系统，其目的在于利用半监督学习自训练的方法为部分样本自动添加标注，节约标注成本，由此解决多维情感数据的标注成本较高的技术问题。
5.为实现上述目的，按照本发明的一个方面，提供了一种多维度情绪识别方法，其包括：
6.获取第一样本集和第二样本集，所述第一样本集包括生理特征以及各生理特征在t个不同情感维度上标签，所述第二样本集包括不带标签的生理特征；
7.基于第一样本集训练情绪识别模型和标签映射模型，所述情绪识别模型用于预测生理特征在各个情感维度的标签，所述标签映射模型用于根据同一生理特征在其他情感维度的标签预测当前情感维度的标签；
8.将第二样本集输入所述情绪识别模型，获取生理特征在各情感维度上的预测标签；
9.将同一生理特征的其他维度上的预测标签输入所述标签映射模型，获取对应生理特征在当前维度上的映射标签；
10.分析同一生理特征在同一情感维度上获得的预测标签和映射标签的一致性程度，选取一致性符合预设条件的情感维度进行自动标注，各情感维度自动标注值为对应维度预测标签和映射标签的加权平均值；
11.根据新标注的数据继续对情绪识别模型进行训练，得到最终的情绪识别模型。
12.优选地，所述方法还包括：选择一致性程度与预设条件偏差最大的部分生理特征进行人工标注，根据人工标注的数据继续对情绪识别模型进行训练。
13.优选地，还包括：
14.基于最终的情绪识别模型，对生理特征在不同情感维度上进行标注，并根据标注结果识别生理特征对应的情绪。
15.优选地，
16.基于第一样本集训练情绪识别模型，包括：基于第一样本集中的第t个情感维度的生理特征和标签训练对应第t个情感维度的情绪识别模型，获得t个情绪识别模型，1≤t≤t；
17.所述将第二样本集输入所述情绪识别模型，获取生理特征在各情感维度上的预测标签，包括：将第二样本集分别输入到t个情绪识别模型中，其中，第t个情绪识别模型生成生理特征在第t个情感维度上的预测标签。
18.优选地，基于第一样本集训练标签映射模型，包括：基于除第t个情感维度之外的其他情感维度预测标签训练对应第t个情感维度的标签映射模型，获得t个标签映射模型，1≤t≤t。
19.优选地，分析同一生理特征在同一情感维度上获得的预测标签和映射标签的一致性程度，包括：
20.计算同一生理特征在同一情感维度上的预测标签和映射标签的绝对差值；
21.遍历同一生理特征在t个情感维度上的t个绝对差值，判定绝对差值小于给定阈值的情感维度的预测标签和映射标签的一致性符合预设条件。
22.优选地，选择一致性程度与预设条件偏差最大的部分生理特征进行人工标注，包括：
23.计算同一生理特征在同一情感维度上的预测标签和映射标签的绝对差值；
24.对同一生理特征在t个情感维度上t个绝对差值求乘积，以乘积结果最大的部分生理特征进行人工标注。
25.优选地，根据新标注的数据继续对情绪识别模型进行训练，得到最终的情绪识别模型，包括：
26.根据新标注的数据继续对情绪识别模型进行训练；
27.判断新获得的情绪识别模型的可靠性是否符合要求；
28.当新获得的情绪识别模型的可靠性符合要求，结束训练，得到最终的情绪识别模型；否则，判断是否有预算进行人工标注，若有预算，则继续获取自动标注和人工标注的数据并对情绪识别模型进行迭代训练直至可靠性符合要求，若无预算，则结束对情绪识别模型的训练。
29.优选地，各情感维度自动标注值为对应维度预测标签和映射标签的加权平均值，其中，预测标签的加权系数为0.5，映射标签的加权系数为0.5。
30.按照本发明的另一方面，提供了一种一种多维度情绪识别系统，其用于执行上述任一项所述的多维度情绪识别方法。
31.总体而言，本发明通过训练情绪识别模型和标签映射模型，首先通过情绪识别模型预测某一生理特征在各个情感维度上的标签，又因为同一生理特征不同情感维度之间存在一定的关联，可将同一生理特征其他维度的预测标签输入标签映射模型，得到该生理特征当前维度的映射标签。在分别通过情绪识别模型和标签映射模型获得同一同理特征在同
一情感维度下的预测标签和映射标签后，通过判断预测标签和映射标签的一致性程度，当一致性程度符合预设条件时，说明当前生理特征的预测结果和映射结果较好，将该生理特征筛选出来进行自动标注，并将自动标注好的数据投入训练样本继续训练情绪识别模型，提高情绪识别模型的预测精度。在本发明中，利用半监督学习自训练的方法为部分样本自动添加标注并投入训练，减少成本较高的人工标注，降低了训练情绪识别模型时的人工标注成本。
附图说明
32.图1是本发明一实施例中多维度情绪识别方法的步骤流程图；
33.图2是本发明另一实施例中多维度情绪识别方法的步骤流程图；
34.图3是本发明一实施例中多维度情绪识别方法的数据信息交互图。
具体实施方式
35.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
36.如图1所示为一实施例中多维度情绪识别方法的步骤流程图，该多维度情绪识别方法至少包括以下步骤：
37.步骤s100：获取第一样本集和第二样本集。
38.其中，所述第一样本集包括生理特征以及各生理特征在t个不同情感维度上标签，所述第二样本集包括不带标签的生理特征。其中，情感维度可以包括valence(愉悦度)、arousal(唤醒度)和dominance(支配度)，每个维度标注的标签值用于表示该维度情感的强度，例如valence维度，标签数值越小，代表情绪越负面，反之则表示正面情绪。
39.在一实施例中，设定每个生理特征具有t个不同的情感维度，其中t≥2。第一样本集中具有n
l
个有标注样本，每个样本表示一个生理特征和t个情感维度的标签，第一样本集可以表示为其中，i表示第i个样本，表示第i个生理特征，样本的t维标签分别对应第i个样本中的生理特征在t个情感维度中的标签。
40.在一实施例中，第二样本集的样本包含n
u
个没有标签的样本，每个样本只包含生理特征，第二样本集可以表示为i表示第i个样本，表示第i个生理特征。
41.步骤s200：基于第一样本集训练情绪识别模型和标签映射模型。
42.其中，所述情绪识别模型用于预测生理特征在各个情感维度的标签，所述标签映射模型用于根据同一生理特征在其他情感维度的标签预测当前情感维度的标签。
43.具体的，训练情绪识别模型和训练标签映射模型是两个独立的过程，两者可以同时进行，也可以先后进行。
44.如图1所示，步骤s200可以拆分为
45.步骤s210：训练情绪识别模型。
46.步骤s220：训练标签映射模型。
47.在一实施例中，步骤s210训练情绪识别模型，具体为，基于第一样本集中的第t个情感维度的生理特征和标签训练对应第t个情感维度的情绪识别模型，获得t个情绪识别模型，1≤t≤t。具体的，针对第t个情感维度，用第一样本集中的生理特征和第t个情感维度的标签训练第t个情绪识别模型f
t
。所述情绪识别模型用于预测生理特征在各个情感维度的标签，即，第t个情绪识别模型的输入为目标输出为一共得到t个情绪识别模型{f1,
…
,f
t
}。
48.在一实施例中，步骤s220训练标签映射模型。由于同一生理特征的不同情感维度之间是具有相互关联的，训练标签映射模型，实际是获取标签之间的映射函数。用所有的有标注数据的标签分别对每个情感维度训练对应的标签映射模型。具体地，基于除第t个情感维度之外的其他情感维度预测标签训练对应第t个情感维度的标签映射模型，获得t个标签映射模型。例如，对于第t个情感维度，标签映射模型g
t
的输入为目标输出为其中，表示t个情感维度中除去第t个情感维度的标签所剩的其他维度的标签。一共得到t个标签映射模型{g1,
…
,g
t
}。
49.步骤s300：将第二样本集输入所述情绪识别模型，获取生理特征在各情感维度上的预测标签。
50.当通过带标签的第一样本集训练得到标签映射模型和初始的情绪识别模型后，需将训练好的模型迁移至第二样本集以对第二样本集进行标注。
51.在一实施例中，在步骤s300中，将第二样本集输入所述情绪识别模型，获取生理特征在各情感维度上的预测标签，具体为：将第二样本集分别输入到t个情绪识别模型中，其中，第t个情绪识别模型生成生理特征在第t个情感维度上的预测标签。例如，针对第二样本集无标签数据x
u
，用{f1,
…
,f
t
}对每个样本进行预测，对于第i个生理特征得到t个情感维度的对应预测标签
52.步骤s400：将同一生理特征的其他维度上的预测标签输入所述标签映射模型，获取对应生理特征在当前维度上的映射标签。
53.在一实施例中，对于无标签数据x
u
，用映射模型{g1,
…
,g
t
}对每个样本的预测标签进行映射，每个生理特征对应生成t个映射标签进行映射，每个生理特征对应生成t个映射标签其中
54.通过步骤s300和步骤s400，对于第二样本集中的同一生理特征在同一情感维度上分别生成预测标签和映射标签，继续执行：
55.步骤s600：分析同一生理特征在同一情感维度上获得的预测标签和映射标签的一致性程度。
56.通过步骤s600的分析步骤，计算预测标签和映射标签的一致性程度，便于后续筛选自动标记数据和人工标记数据。
57.在一实施例中，分析同一生理特征在同一情感维度上获得的预测标签和映射标签的一致性程度，具体为：
58.计算同一生理特征在同一情感维度上的预测标签和映射标签的绝对差值，遍历同一生理特征在t个情感维度上的t个绝对差值，判定绝对差值小于给定阈值的情感维度的预测标签和映射标签的一致性符合预设条件。
59.步骤s710:选取一致性符合预设条件的情感维度进行自动标注。
60.其中，各情感维度自动标注值为对应维度预测标签和映射标签的加权平均值。
61.具体的，对于符合δ
i,t
<τ，则为样本添加自动标注添加自动标注并将样本
‑
标签对复制到自动标注数据子集中，i＝1,
…
,n
u
，其中α为用户指定参数，优选0.5，t＝1,
…
,t。
62.在一实施例中，如图2所示，在步骤s600之后，还可执行
63.步骤s720：选择一致性程度与预设条件偏差最大的部分生理特征进行人工标注。
64.具体的，可对同一生理特征在t个情感维度上的t个绝对差值求乘积，以乘积结果最大的部分生理特征进行人工标注。
65.具体的，对于每个无标注样本计算它们在各任务上的不一致性，对于情感维度t，样本的不一致性通过连乘得到的总不一致性选择δ
i
最大的部分样本进行人工标注。
66.其中，由于人工标注成本较高，可以根据标注费用预算，确定进行人工标注的数量，例如可选择k个样本进行标注，则选择总不一致性δ
i
最大的k个样本进行人工标注，并将进行人工标注好的样本从第二样本集x
u
移至第一样本集x
l
，得到更新的第一样本集和第二样本集。
67.需要说明的是，步骤s710和步骤s720是两个独立的步骤，两个步骤可同时执行，也可先后执行。
68.步骤s800：根据新标注的数据继续训练情绪识别模型。
69.具体的，根据自动标注数据子集继续训练情绪识别模型，得到更新后的t个情绪识别模型{f1,
…
,f
t
}用于后续的情绪识别任务。
70.在一实施例中，当执行了步骤s720后，在步骤s800中，训练情绪识别模型具体是根据新增人工标注的样本数据和自动标注数据子集共同训练情绪识别模型，具体可以是以更新后的第一样本集和自动标注数据子集共同训练情绪识别模型，得到更新后的t个情绪识别模型{f1,
…
,f
t
}用于后续的情绪识别任务。
71.在一实施例中，如图2所示，在结束训练之前，还会存在
72.步骤s510：判断当前情绪识别模型的可靠性是否符合要求。
73.当新获得的情绪识别模型的可靠性符合要求，结束训练，得到最终的情绪识别模型。
74.当新获得的情绪识别模型的可靠性不符合要求，继续获取自动标注的数据并对情绪识别模型进行迭代训练直至可靠性符合要求。进一步的，当新获得的情绪识别模型的可靠性不符合要求时，还继续执行
75.步骤s520：判断是否有预算进行人工标注。
76.当没有预算进行人工标注时，结束训练；
77.当有预算进行人工标注时，继续获取自动标注的数据并对情绪识别模型进行迭代训练直至可靠性符合要求。
78.其中，继续获取自动标注的数据并对情绪识别模型进行迭代训练直至可靠性符合要求，具体为继续执行步骤s600、步骤s710、步骤s720、步骤s800并跳转至步骤s300并重复步骤s300后续步骤。
79.为了便于理解本发明，以下以一具体实施例进行说明。
80.如图3所示，假设每一生理特征从a、b两个情感维度进行标注，准备第一样本集x
l
和第二样本集x
u
，基于第一样本集x
l
分别训练维度a的情绪识别模型、维度b的情绪识别模型、维度a和维度b之间的标签映射模型，将第二样本集x
u
分别输入维度a的情绪识别模型和维度b的情绪识别模型，生成各样本在维度a的预测标签以及各样本在维度b的预测标签。将维度a的预测标签输入标签映射模型得到维度b的映射标签，将维度b的预测标签输入标签映射模型得到维度a的映射标签。根据得到的预测标签和映射标签分析两者一致性，当绝对差小于预设值τ，则对该情感维度进行自动标注，实现半监督学习，同时，选取同一生理特征在t个情感维度上的t个绝对差值乘积结果最大的k个样本进行人工标注，实现多任务主动学习。最后通过新增标注数据继续训练情绪识别模型，获取更新后的情绪识别模型进行后续的情绪识别任务。
81.本发明还涉及一种多维度情绪识别系统，其特征在于，所述系统用于执行上述任一种多维度情绪识别方法，该多维度情绪识别系统的操作单元与多维度情绪识别方法的操作步骤一一对应以用于执行各个步骤。
82.在本发明中，本发明通过训练情绪识别模型和标签映射模型，首先通过情绪识别模型预测某一生理特征在各个情感维度上的标签，又因为同一生理特征不同情感维度之间存在一定的关联，可将同一生理特征其他维度的预测标签输入标签映射模型，得到该生理特征另一维度的映射标签。在分别通过情绪识别模型和标签映射模型获得同一同理特征在同一情感维度下的预测标签和映射标签后，通过判断预测标签和映射标签的一致性程度，当一致性程度符合预设条件时，说明当前生理特征的预测结果和映射结果较好，将该生理特征筛选出来进行自动标注，并将自动标注好的数据投入训练样本继续训练情绪识别模型，提高情绪识别模型的预测精度。在本发明中，利用半监督学习自训练的方法为部分样本自动添加标注并投入训练，减少成本较高的人工标注，降低了训练情绪识别模型时的人工标注成本。
83.同时，本发明还引入多任务主动学习的方法，相比单任务主动学习算法，能在多个任务上取得更均衡的性能，相比其他多任务主动学习算法，利用多个情感维度之间的内在关系，计算出无标注样本对于当前各维度情绪识别模型的信息量，并将这一指标用于指导合作学习，使得合作学习中选出的样本加上人工标注和机器标注后能最大程度提升模型性能，在给定标注预算下训练出性能更好的多维度情绪识别模型。
84.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。