基于人工智能的预训练优化方法、装置、设备及介质与流程

1.本技术适用于人工智能技术领域，尤其涉及一种基于人工智能的预训练优 化方法、装置、设备及介质。


背景技术：

2.目前，语音情感识别(speech emotion recognition，ser)是数字语音信号 处理领域的一个新兴的研究方向，为人机交互开辟了全新的道路，在很多场景 中扮演了重要的角色。呼叫中心使用ser技术跟踪客户情绪，为其提供更好的 服务；在医学领域，基于ser技术的诊断系统能够分析患者的抑郁和痛苦的程 度；还有许多其他应用也利用高效的ser系统提高他们的工作效率。
3.人类声音中的情感受到多方面因素，如性别、年龄、说话人、方言和文化 的影响，因此如何更好的对情感进行建模一直是研究人员的重点研究方向。如 今，基于深度学习(deep leraning)的方法成为了主流。其中，自注意力 (self-supervised)预训练模型提供了一种高性能的解决方案。虽然预训练可以 使用大规模异构数据集，获得性能强大且泛用性很好的模型，但是由于预训练 任务与目标任务并不完全一致，即预训练域和目标域存在差异，导致预训练模 型应用于特定任务的效果不够理想。在ser任务中，通常使用大量未标注的数 据进行预训练，需要预训练的模型具备对未标注数据进行较为准确的情感信息 提取。因此，如何对预训练模型进行预训练优化，以提高预训练模型对未标注 数据的情感信息提取的准确性成为亟待解决的问题。


技术实现要素：

4.有鉴于此，本技术实施例提供了一种基于人工智能的预训练优化方法、装 置、设备及介质，以解决如何对预训练模型进行预训练优化，以提高预训练模 型对未标注数据的情感信息提取的准确性的问题。
5.第一方面，本技术实施例提供一种基于人工智能的预训练优化方法，所述 预训练优化方法包括：
6.针对训练集中任一句级语音，使用第一情感预测模型提取所述句级语音中 每一帧数据对应的帧级特征，将所述句级语音的句级情感标签作为所述帧级特 征的情感类别，得到所述训练集中所有帧数据的帧级特征对应的情感类别；
7.针对任一情感类别，将属于所述情感类别的所有帧级特征输入预设编码器 进行编码，从所述情感类别的所有帧级特征中随机选择至少一个帧级特征输入 预设预测网络进行预测；
8.以编码的结果与预测的结果的负余弦相似度最小化为目标，训练所述预设 编码器，得到训练好的预设编码器，将属于所述情感类别的所有帧级特征输入 所述训练好的预设编码器，输出对应的更新帧级特征，得到所述训练集中所有 帧数据的更新帧级特征；
9.根据所有帧数据的更新帧级特征及对应的情感类别，对所有的更新帧级特 征进
行聚类，并根据聚类结果对所有的更新帧级特征对应的情感类别进行更新， 确定更新结果为对应帧数据的伪标签；
10.以所述训练集中所有帧数据的伪标签为依据，使用所述训练集对第二情感 预测模型进行训练，得到预训练好的第二情感预测模型，所述第一情感预测模 型和所述第二情感预测模型均具有时间步长对齐的特征编码器。
11.在一实施方式中，根据所有帧数据的更新帧级特征及对应的情感类别，对 所有的更新帧级特征进行聚类，并根据聚类结果对所有的更新帧级特征对应的 情感类别进行更新，确定更新结果为对应帧数据的伪标签包括：
12.对所有情感类别的帧级特征进行聚类，得到n个聚类中心点，n为大于零 的整数；
13.将属于同一情感类别的所有帧级特征的均值作为锚点，得到m个锚点，计 算所有聚类中心点分别与每个锚点的距离，m为大于零的整数；
14.针对任一聚类中心点，确定与所述聚类中心点的距离最近的锚点为目标锚 点，在所述目标锚点满足预设条件时，将所述目标锚点对应的句级情感标签作 为所述聚类中心点内所有帧级特征的伪标签，得到所述训练集中所有帧数据的 伪标签。
15.在一实施方式中，在计算所有聚类中心点分别与每个锚点的距离之后，还 包括：
16.针对任一聚类中心点，确定所有与所述聚类中心点的距离小于第以距离阈 值的锚点；
17.确定与所述聚类中心点的距离最近的锚点为目标锚点包括：
18.从所有与所述聚类中心点的距离小于所述第一距离阈值的锚点中确定与所 述聚类中心点的距离最近的锚点为目标锚点。
19.在一实施方式中，针对任一聚类中心点，确定与所述聚类中心点的距离最 近的锚点为目标锚点，在所述目标锚点满足预设条件时，将所述目标锚点对应 的句级情感标签作为所述聚类中心点内所有帧级特征的伪标签包括：
20.针对任一聚类中心点，确定与所述聚类中心点的距离最近的锚点为目标锚 点；
21.检测所述目标锚点与所述聚类中心点的距离是否小于第二距离阈值；
22.若检测到所述目标锚点与所述聚类中心点的距离小于所述第二距离阈值， 则确定所述目标锚点满足预设条件，将所述目标锚点对应的句级情感标签作为 所述聚类中心点内所有帧级特征的伪标签。
23.在一实施方式中，在检测所述目标锚点与所述聚类中心点的距离是否小于 第二距离阈值之后，还包括：
24.若检测到所述目标锚点与所述聚类中心点的距离不小于所述第二距离阈 值，则确定所述目标锚点不满足预设条件，创建其他类锚点，将所述其他类锚 点所定义的句级情感标签作为所述聚类中心点内所有帧级特征的伪标签。
25.在一实施方式中，在以所述训练集中所有帧数据的伪标签为依据，使用所 述训练集对第二情感预测模型进行训练，得到预训练好的第二情感预测模型之 后，还包括：
26.针对训练集中任一句级语音，使用所述预训练好的第二情感预测模型提取 所述句级语音中每一帧数据对应的预训练帧级特征，将所述句级语音的句级情 感标签作为所述预训练帧级特征的情感类别，得到所述训练集中所有帧数据的 预训练帧级特征对应的情感类别；
27.针对任一情感类别，将属于所述情感类别的所有预训练帧级特征输入预设 编码器进行编码，从所述情感类别的所有预训练帧级特征中随机选择至少一个 帧级特征输入预设预测网络进行预测；
28.以编码的结果与预测的结果的负余弦相似度最小化为目标，训练所述预设 编码器，得到训练好的预设编码器，将属于所述情感类别的所有预训练帧级特 征输入所述训练好的预设编码器，输出对应的更新预训练帧级特征，得到所述 训练集中所有帧数据的更新预训练帧级特征；
29.根据所有帧数据的更新预训练帧级特征及对应的情感类别，对所有的更新 预训练帧级特征进行聚类，并根据聚类结果对所有的更新预训练帧级特征对应 的情感类别进行更新，确定更新结果为对应帧数据的预训练伪标签；
30.以所述训练集中所有帧数据的预训练伪标签为依据，使用所述训练集对所 述第二情感预测模型进行训练，得到训练好的第二情感预测模型。
31.在一实施方式中，所述第一情感预测模型包括第一特征编码器、双向lstm 层和第一全连接层，所述第一特征编码器由cnn层构成，所述第二情感预测 模型包括第二特征编码器、transformer层和第二全连接层，所述第二特征编码 器由cnn层构成，所述第一特征编码器中cnn层的个数与所述第二特征编码 器中cnn层的个数为相同。
32.第二方面，本技术实施例提供一种基于人工智能的预训练优化装置，所述 预训练优化装置包括：
33.第一训练模块，用于针对训练集中任一句级语音，使用第一情感预测模型 提取所述句级语音中每一帧数据对应的帧级特征，将所述句级语音的句级情感 标签作为所述帧级特征的情感类别，得到所述训练集中所有帧数据的帧级特征 对应的情感类别；
34.编码预测模块，用于针对任一情感类别，将属于所述情感类别的所有帧级 特征输入预设编码器进行编码，从所述情感类别的所有帧级特征中随机选择至 少一个帧级特征输入预设预测网络进行预测；
35.特征更新模块，用于以编码的结果与预测的结果的负余弦相似度最小化为 目标，训练所述预设编码器，得到训练好的预设编码器，将属于所述情感类别 的所有帧级特征输入所述训练好的预设编码器，输出对应的更新帧级特征，得 到所述训练集中所有帧数据的更新帧级特征；
36.伪标签确定模块，用于根据所有帧数据的更新帧级特征及对应的情感类别， 对所有的更新帧级特征进行聚类，并根据聚类结果对所有的更新帧级特征对应 的情感类别进行更新，确定更新结果为对应帧数据的伪标签；
37.第二训练模块，用于以所述训练集中所有帧数据的伪标签为依据，使用所 述训练集对第二情感预测模型进行训练，得到预训练好的第二情感预测模型， 所述第一情感预测模型和所述第二情感预测模型均具有时间步长对齐的特征编 码器。
38.在一实施方式中，所述伪标签确定模块包括：
39.特征聚类单元，用于对所有情感类别的帧级特征进行聚类，得到n个聚类 中心点，n为大于零的整数；
40.距离计算单元，用于将属于同一情感类别的所有帧级特征的均值作为锚点， 得到m个锚点，计算所有聚类中心点分别与每个锚点的距离，m为大于零的整 数；
41.伪标签确定单元，用于针对任一聚类中心点，确定与所述聚类中心点的距 离最近的锚点为目标锚点，在所述目标锚点满足预设条件时，将所述目标锚点 对应的句级情感标签作为所述聚类中心点内所有帧级特征的伪标签，得到所述 训练集中所有帧数据的伪标签。
42.在一实施方式中，所述伪标签确定模块还包括：
43.锚点筛选单元，用于在计算所有聚类中心点分别与每个锚点的距离之后， 针对任一聚类中心点，确定所有与所述聚类中心点的距离小于第以距离阈值的 锚点；
44.所述伪标签确定单元包括：
45.第一目标锚点确定子单元，用于从所有与所述聚类中心点的距离小于所述 第一距离阈值的锚点中确定与所述聚类中心点的距离最近的锚点为目标锚点。
46.在一实施方式中，所述伪标签确定单元包括：
47.第二目标锚点确定子单元，用于针对任一聚类中心点，确定与所述聚类中 心点的距离最近的锚点为目标锚点；
48.距离检测子单元，用于检测所述目标锚点与所述聚类中心点的距离是否小 于第二距离阈值；
49.第一伪标签确定子单元，用于若检测到所述目标锚点与所述聚类中心点的 距离小于所述第二距离阈值，则确定所述目标锚点满足预设条件，将所述目标 锚点对应的句级情感标签作为所述聚类中心点内所有帧级特征的伪标签。
50.在一实施方式中，所述伪标签确定单元还包括：
51.第二伪标签确定子单元，用于在检测所述目标锚点与所述聚类中心点的距 离是否小于第二距离阈值之后，若检测到所述目标锚点与所述聚类中心点的距 离不小于所述第二距离阈值，则确定所述目标锚点不满足预设条件，创建其他 类锚点，将所述其他类锚点所定义的句级情感标签作为所述聚类中心点内所有 帧级特征的伪标签。
52.在一实施方式中，所述预训练优化装置还包括：
53.微调模块，所述微调模块具体用于：
54.在以所述训练集中所有帧数据的伪标签为依据，使用所述训练集对第二情 感预测模型进行训练，得到预训练好的第二情感预测模型之后，针对训练集中 任一句级语音，使用所述预训练好的第二情感预测模型提取所述句级语音中每 一帧数据对应的预训练帧级特征，将所述句级语音的句级情感标签作为所述预 训练帧级特征的情感类别，得到所述训练集中所有帧数据的预训练帧级特征对 应的情感类别；
55.针对任一情感类别，将属于所述情感类别的所有预训练帧级特征输入预设 编码器进行编码，从所述情感类别的所有预训练帧级特征中随机选择至少一个 帧级特征输入预设预测网络进行预测；
56.以编码的结果与预测的结果的负余弦相似度最小化为目标，训练所述预设 编码器，得到训练好的预设编码器，将属于所述情感类别的所有预训练帧级特 征输入所述训练好的预设编码器，输出对应的更新预训练帧级特征，得到所述 训练集中所有帧数据的更新预训练帧级特征；
57.根据所有帧数据的更新预训练帧级特征及对应的情感类别，对所有的更新 预训练帧级特征进行聚类，并根据聚类结果对所有的更新预训练帧级特征对应 的情感类别进
行更新，确定更新结果为对应帧数据的预训练伪标签；
58.以所述训练集中所有帧数据的预训练伪标签为依据，使用所述训练集对所 述第二情感预测模型进行训练，得到训练好的第二情感预测模型。
59.在一实施方式中，所述第一情感预测模型包括第一特征编码器、双向lstm 层和第一全连接层，所述第一特征编码器由cnn层构成，所述第二情感预测 模型包括第二特征编码器、transformer层和第二全连接层，所述第二特征编码 器由cnn层构成，所述第一特征编码器中cnn层的个数与所述第二特征编码 器中cnn层的个数为相同。
60.第三方面，本技术实施例提供一种计算机设备，所述计算机设备包括处理 器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如第一方面所述的预训练优化方法。
61.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读 存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面 所述的预训练优化方法。
62.本技术实施例与现有技术相比存在的有益效果是：本技术针对训练集中任 一句级语音，使用第一情感预测模型提取句级语音中每一帧数据对应的帧级特 征，将句级语音的句级情感标签作为帧级特征的情感类别，得到训练集中所有 帧数据的帧级特征对应的情感类别，针对任一情感类别，将属于情感类别的所 有帧级特征输入预设编码器进行编码，从情感类别的所有帧级特征中随机选择 至少一个帧级特征输入预设预测网络进行预测，以编码的结果与预测的结果的 负余弦相似度最小化为目标，训练预设编码器，得到训练好的预设编码器，将 属于情感类别的所有帧级特征输入训练好的预设编码器，输出对应的更新帧级 特征，得到训练集中所有帧数据的更新帧级特征，根据所有帧数据的更新帧级 特征及对应的情感类别，对所有的更新帧级特征进行聚类，并根据聚类结果对 所有的更新帧级特征对应的情感类别进行更新，确定更新结果为对应帧数据的 伪标签，以训练集中所有帧数据的伪标签为依据，使用训练集对第二情感预测 模型进行训练，得到预训练好的第二情感预测模型，通过预设编码器和预设预 测网络最大化相同标签下的特征之间的相似性，通过聚类进一步加强低维特征 与情感信息的相关性，再将聚类分布作为情感伪标签，并以此进行训练，从而 提高模型对情感信息的预测准确性。
附图说明
63.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳 动性的前提下，还可以根据这些附图获得其他的附图。
64.图1是本技术实施例一提供的一种基于人工智能的预训练优化方法的一应 用环境示意图；
65.图2是本技术实施例二提供的一种基于人工智能的预训练优化方法的流程 示意图；
66.图3是本技术实施例三提供的一种基于人工智能的预训练优化装置的结构 示意图；
67.图4是本技术实施例四提供的一种计算机设备的结构示意图。
68.具体实施方式
69.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术 之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当 清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中， 省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节 妨碍本技术的描述。
70.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指 示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或 多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
71.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指 相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些 组合。
72.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依 据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似 地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释 为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应 于检测到[所描述条件或事件]”。
[0073]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、
ꢀ“
第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0074]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本 申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。 由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例 中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的 实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另 外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限 于”，除非是以其他方式另外特别强调。
[0075]
本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中， 人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的 机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结 果的理论、方法、技术及应用系统。
[0076]
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布 式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件 技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、 自然语言处理技术以及机器学习/深度学习等几大方向。
[0077]
应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后， 各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施 过程构成任何限定。
[0078]
为了说明本技术的技术方案，下面通过具体实施例来进行说明。
[0079]
本技术实施例一提供的一种情感预测模型的预训练优化方法，可应用在如 图1的
应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不 限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，umpc)、上网本、云端计算机设备、个人数字助理(personaldigital assistant，pda)等计算机设备。服务端可以用独立的服务器或者是多个 服务器组成的服务器集群来实现。
[0080]
参见图2，是本技术实施例二提供的一种情感预测模型的预训练优化方法 的流程示意图，上述情感预测模型的预训练优化方法应用于图1中的服务端， 服务端对应的计算机设备连接相应的数据库，以获取数据库中相应的训练用数 据。上述计算机设备还可以连接相应的客户端，客户端为用户所操作，用户可 以通过客户端向服务端提供相应的训练集。如图2所示，该情感预测模型的预 训练优化方法可以包括以下步骤：
[0081]
步骤s201，针对训练集中任一句级语音，使用第一情感预测模型提取句级 语音中每一帧数据对应的帧级特征，将句级语音的句级情感标签作为帧级特征 的情感类别，得到训练集中所有帧数据的帧级特征对应的情感类别。
[0082]
本技术中，第一情感预测模型可以为wav2vec模型，该wav2vec模型包括 特征编码器、一个双向lstm层和一个全连接层，其中，全连接层中可以使用 softmax函数进行归一化。
[0083]
其中的特征编码器是用于与第二情感预测模型进行时间步长的对齐而设 定，如果第二情感预测模型采用wav2vec2.0模型，该wav2vec2.0模型包含一 个多层的cnn网络构成的特征编码器，相应地，在wav2vec模型中的特征编 码器也需要具备与其相同层数的cnn网络。
[0084]
帧级特征为每一帧数据的特征，也即是将句级语音分割为一帧帧的语音， 对该一帧语音进行特征提取，对应的一个句级语音对应一个情感标签，该句级 语音中所有帧语音的特征对应的情感类别为该句级语音的情感标签。
[0085]
步骤s202，针对任一情感类别，将属于情感类别的所有帧级特征输入预设 编码器进行编码，从情感类别的所有帧级特征中随机选择至少一个帧级特征输 入预设预测网络进行预测。
[0086]
本技术中，提供一个simsiamese模块，该simsiamese模块包括一个编码 器f()和预测网络h()，将具有相同情感类别的帧级特征输入编码器，从其中选 择至少一个帧级特征输入预测网络，得到帧级特征的重新编码的编码结果zn和 预测结果pm。
[0087]
步骤s203，以编码的结果与预测的结果的负余弦相似度最小化为目标，训 练预设编码器，得到训练好的预设编码器，将属于情感类别的所有帧级特征输 入训练好的预设编码器，输出对应的更新帧级特征，得到训练集中所有帧数据 的更新帧级特征。
[0088]
本技术中，编码器是由一个resnet和一个三层全连接网络组成，预测网络 是一个两层的全连接网络，对应计算负余弦相似度，如下：
[0089][0090]
将负余弦相似度最小化作为目标来训练预设编码器，得到训练好的预设编 码器，使用该训练好的预设编码器对帧级特征进行重新编码即可得到更新帧级 特征。使用上述的simsiamese模块可以提高相同情感类别下的帧级特征的相似 性，以增强聚类的效果，提高后续聚类的准确度和效率。
[0091]
步骤s204，根据所有帧数据的更新帧级特征及对应的情感类别，对所有的 更新帧级特征进行聚类，并根据聚类结果对所有的更新帧级特征对应的情感类 别进行更新，确定更新结果为对应帧数据的伪标签。
[0092]
可选的是，根据所有帧数据的更新帧级特征及对应的情感类别，对所有的 更新帧级特征进行聚类，并根据聚类结果对所有的更新帧级特征对应的情感类 别进行更新，确定更新结果为对应帧数据的伪标签包括：
[0093]
对所有情感类别的帧级特征进行聚类，得到n个聚类中心点，n为大于零 的整数；
[0094]
将属于同一情感类别的所有帧级特征的均值作为锚点，得到m个锚点，计 算所有聚类中心点分别与每个锚点的距离，m为大于零的整数；
[0095]
针对任一聚类中心点，确定与聚类中心点的距离最近的锚点为目标锚点， 在目标锚点满足预设条件时，将目标锚点对应的句级情感标签作为聚类中心点 内所有帧级特征的伪标签，得到训练集中所有帧数据的伪标签。
[0096]
本技术中，使用改进的k-means聚类算法对帧级特征进行聚类，将帧级特 征聚类为n簇，每一簇中所有帧级特征的均值对应的聚类中心点。由于提取到 的帧级特征已经能够表示一定的情感信息，所以提取同一情感类别的所有帧级 特征的均值作为锚点，可以得到m个锚点，m也表示情感类别的总个数。使用 上述的聚类结果，计算每个簇的聚类中心点与各个锚点之间的距离。
[0097]
可选的是，在计算所有聚类中心点分别与每个锚点的距离之后，还包括：
[0098]
针对任一聚类中心点，确定所有与聚类中心点的距离小于第以距离阈值的 锚点；
[0099]
确定与聚类中心点的距离最近的锚点为目标锚点包括：
[0100]
从所有与聚类中心点的距离小于第一距离阈值的锚点中确定与聚类中心点 的距离最近的锚点为目标锚点。
[0101]
可选的是，针对任一聚类中心点，确定与聚类中心点的距离最近的锚点为 目标锚点，在目标锚点满足预设条件时，将目标锚点对应的句级情感标签作为 聚类中心点内所有帧级特征的伪标签包括：
[0102]
针对任一聚类中心点，确定与聚类中心点的距离最近的锚点为目标锚点；
[0103]
检测目标锚点与聚类中心点的距离是否小于第二距离阈值；
[0104]
若检测到目标锚点与聚类中心点的距离小于第二距离阈值，则确定目标锚 点满足预设条件，将目标锚点对应的句级情感标签作为聚类中心点内所有帧级 特征的伪标签。
[0105]
可选的是，在检测目标锚点与聚类中心点的距离是否小于第二距离阈值之 后，还包括：
[0106]
若检测到目标锚点与聚类中心点的距离不小于第二距离阈值，则确定目标 锚点不满足预设条件，创建其他类锚点，将其他类锚点所定义的句级情感标签 作为聚类中心点内所有帧级特征的伪标签。
[0107]
其中，若聚类中心点与锚点之间的距离d
ij
≤γ，则将这个聚类中心点的伪标 签映射为该锚点对应的情感类别，γ表示预设的阈值，i∈(0,m)，j∈(0,n)；若距 离大于γ，则创建新的other类锚点，作为非情感类别的统一类别表示，则最后 共有m+1个伪标签。
[0108]
步骤s205，以训练集中所有帧数据的伪标签为依据，使用训练集对第二情 感预测模型进行训练，得到预训练好的第二情感预测模型。
[0109]
本技术中，第一情感预测模型和第二情感预测模型均具有时间步长对齐的 特征编码器。
[0110]
可选的是，第一情感预测模型包括第一特征编码器、双向lstm层和第一 全连接层，第一特征编码器由cnn层构成，第二情感预测模型包括第二特征 编码器、transformer层和第二全连接层，第二特征编码器由cnn层构成，第 一特征编码器中cnn层的个数与第二特征编码器中cnn层的个数为相同；在 针对训练集中任一句级语音，使用第一情感预测模型提取句级语音中每一帧数 据对应的帧级特征之前，还包括：
[0111]
使用特征集对第一情感预测模型进行训练，特征集包括句级语音样本及其 对应的情感标签和所属情感类别标签；
[0112]
对第一全连接层输出量进行softmax函数归一化，得到预测值；
[0113]
通过第一交叉熵函数进行损失度量，重复使用特征集对第一情感预测模型 进行训练的步骤，直至损失度量的结果满足预设条件，得到训练好的第一情感 预测模型，其中，第一交叉熵函数lg包括：
[0114][0115]
式中，z为样本总数，c为总的情感类别个数，yi表示对应样本i所属的情 感类别标签，cj表示情感标签，p(cj|xi)表示对应输入特征xi的cj类的后验概率 预测值。
[0116]
其中，第二特征编码器由7层cnn组成，然后通过transformer层获得上 下文表示，再通过由两层全连接层组成的线性多头预测遮蔽部分的伪标签类别。
[0117]
可选的是，第二全连接层包括两层的全连接层，训练集中所有帧数据的伪 标签为依据，使用训练集对第二情感预测模型进行训练，得到预训练好的第二 情感预测模型包括：
[0118]
使用训练集中所有帧数据及其对应的伪标签对第二情感预测模型进行训 练；
[0119]
通过第二交叉熵函数进行损失度量，重复使用训练集中所有帧数据及其对 应的伪标签对第二情感预测模型进行训练的步骤，直至损失度量的结果满足预 设条件，得到预训练好的第二情感预测模型，其中，第二交叉熵函数lv包括：
[0120][0121]
式中，表示使用特征编码器对帧数据进行编码并输出的低维特征，t表示 通过第二全连接层遮蔽的遮蔽部分，z
t
表示使用transformer层提取的遮蔽部分 的上下文表示，表示遮蔽部分上下文的后验概率预测值。
[0122]
可选的是，在以训练集中所有帧数据的伪标签为依据，使用训练集对第二 情感预测模型进行训练，得到预训练好的第二情感预测模型之后，还包括：
[0123]
针对训练集中任一句级语音，使用预训练好的第二情感预测模型提取句级 语音中每一帧数据对应的预训练帧级特征，将句级语音的句级情感标签作为预 训练帧级特征的情感类别，得到训练集中所有帧数据的预训练帧级特征对应的 情感类别；
[0124]
针对任一情感类别，将属于情感类别的所有预训练帧级特征输入预设编码 器进行编码，从情感类别的所有预训练帧级特征中随机选择至少一个帧级特征 输入预设预测
网络进行预测；
[0125]
以编码的结果与预测的结果的负余弦相似度最小化为目标，训练预设编码 器，得到训练好的预设编码器，将属于情感类别的所有预训练帧级特征输入训 练好的预设编码器，输出对应的更新预训练帧级特征，得到训练集中所有帧数 据的更新预训练帧级特征；
[0126]
根据所有帧数据的更新预训练帧级特征及对应的情感类别，对所有的更新 预训练帧级特征进行聚类，并根据聚类结果对所有的更新预训练帧级特征对应 的情感类别进行更新，确定更新结果为对应帧数据的预训练伪标签；
[0127]
以训练集中所有帧数据的预训练伪标签为依据，使用训练集对第二情感预 测模型进行训练，得到训练好的第二情感预测模型。
[0128]
其中，由于伪标签类别与情感类是相关的，因此这种方法可以专注于预测 被遮蔽序列的情感信息。预训练结束后，可以直接使用wav2vec2.0替换 wav2vec，按照步骤s201至步骤s205对预训练的第二情感预测模型进行微调， 进而得到训练好的第二情感预测模型。
[0129]
本技术实施例针对训练集中任一句级语音，使用第一情感预测模型提取句 级语音中每一帧数据对应的帧级特征，将句级语音的句级情感标签作为帧级特 征的情感类别，得到训练集中所有帧数据的帧级特征对应的情感类别，针对任 一情感类别，将属于情感类别的所有帧级特征输入预设编码器进行编码，从情 感类别的所有帧级特征中随机选择至少一个帧级特征输入预设预测网络进行预 测，以编码的结果与预测的结果的负余弦相似度最小化为目标，训练预设编码 器，得到训练好的预设编码器，将属于情感类别的所有帧级特征输入训练好的 预设编码器，输出对应的更新帧级特征，得到训练集中所有帧数据的更新帧级 特征，根据所有帧数据的更新帧级特征及对应的情感类别，对所有的更新帧级 特征进行聚类，并根据聚类结果对所有的更新帧级特征对应的情感类别进行更 新，确定更新结果为对应帧数据的伪标签，以训练集中所有帧数据的伪标签为 依据，使用训练集对第二情感预测模型进行训练，得到预训练好的第二情感预 测模型，通过预设编码器和预设预测网络最大化相同标签下的特征之间的相似 性，通过聚类进一步加强低维特征与情感信息的相关性，再将聚类分布作为情 感伪标签，并以此进行训练，从而提高模型对情感信息的预测准确性。
[0130]
对应于上文实施例的情感预测模型的预训练优化方法，图3示出了本技术 实施例三提供的情感预测模型的预训练优化装置的结构框图，上述预训练优化 装置应用于图1中的服务端，服务端对应的计算机设备连接相应的数据库，以 获取数据库中相应的训练用数据。上述计算机设备还可以连接相应的客户端， 客户端为用户所操作，用户可以通过客户端向服务端提供相应的训练集。为了 便于说明，仅示出了与本技术实施例相关的部分。
[0131]
参见图3，该预训练优化装置包括：
[0132]
第一训练模块31，用于针对训练集中任一句级语音，使用第一情感预测模 型提取句级语音中每一帧数据对应的帧级特征，将句级语音的句级情感标签作 为帧级特征的情感类别，得到训练集中所有帧数据的帧级特征对应的情感类别；
[0133]
编码预测模块32，用于针对任一情感类别，将属于情感类别的所有帧级特 征输入预设编码器进行编码，从情感类别的所有帧级特征中随机选择至少一个 帧级特征输入预设预测网络进行预测；
[0134]
特征更新模块33，用于以编码的结果与预测的结果的负余弦相似度最小化 为目
标，训练预设编码器，得到训练好的预设编码器，将属于情感类别的所有 帧级特征输入训练好的预设编码器，输出对应的更新帧级特征，得到训练集中 所有帧数据的更新帧级特征；
[0135]
伪标签确定模块34，用于根据所有帧数据的更新帧级特征及对应的情感类 别，对所有的更新帧级特征进行聚类，并根据聚类结果对所有的更新帧级特征 对应的情感类别进行更新，确定更新结果为对应帧数据的伪标签；
[0136]
第二训练模块35，用于以训练集中所有帧数据的伪标签为依据，使用训练 集对第二情感预测模型进行训练，得到预训练好的第二情感预测模型，第一情 感预测模型和第二情感预测模型均具有时间步长对齐的特征编码器。
[0137]
可选的是，伪标签确定模块34包括：
[0138]
特征聚类单元，用于对所有情感类别的帧级特征进行聚类，得到n个聚类 中心点，n为大于零的整数；
[0139]
距离计算单元，用于将属于同一情感类别的所有帧级特征的均值作为锚点， 得到m个锚点，计算所有聚类中心点分别与每个锚点的距离，m为大于零的整 数；
[0140]
伪标签确定单元，用于针对任一聚类中心点，确定与聚类中心点的距离最 近的锚点为目标锚点，在目标锚点满足预设条件时，将目标锚点对应的句级情 感标签作为聚类中心点内所有帧级特征的伪标签，得到训练集中所有帧数据的 伪标签。
[0141]
可选的是，伪标签确定模块34还包括：
[0142]
锚点筛选单元，用于在计算所有聚类中心点分别与每个锚点的距离之后， 针对任一聚类中心点，确定所有与聚类中心点的距离小于第以距离阈值的锚点；
[0143]
伪标签确定单元包括：
[0144]
第一目标锚点确定子单元，用于从所有与聚类中心点的距离小于第一距离 阈值的锚点中确定与聚类中心点的距离最近的锚点为目标锚点。
[0145]
可选的是，伪标签确定单元包括：
[0146]
第二目标锚点确定子单元，用于针对任一聚类中心点，确定与聚类中心点 的距离最近的锚点为目标锚点；
[0147]
距离检测子单元，用于检测目标锚点与聚类中心点的距离是否小于第二距 离阈值；
[0148]
第一伪标签确定子单元，用于若检测到目标锚点与聚类中心点的距离小于 第二距离阈值，则确定目标锚点满足预设条件，将目标锚点对应的句级情感标 签作为聚类中心点内所有帧级特征的伪标签。
[0149]
可选的是，伪标签确定单元还包括：
[0150]
第二伪标签确定子单元，用于在检测目标锚点与聚类中心点的距离是否小 于第二距离阈值之后，若检测到目标锚点与聚类中心点的距离不小于第二距离 阈值，则确定目标锚点不满足预设条件，创建其他类锚点，将其他类锚点所定 义的句级情感标签作为聚类中心点内所有帧级特征的伪标签。
[0151]
可选的是，预训练优化装置还包括：
[0152]
微调模块，微调模块具体用于：
[0153]
在以训练集中所有帧数据的伪标签为依据，使用训练集对第二情感预测模 型进
行训练，得到预训练好的第二情感预测模型之后，针对训练集中任一句级 语音，使用预训练好的第二情感预测模型提取句级语音中每一帧数据对应的预 训练帧级特征，将句级语音的句级情感标签作为预训练帧级特征的情感类别， 得到训练集中所有帧数据的预训练帧级特征对应的情感类别；
[0154]
针对任一情感类别，将属于情感类别的所有预训练帧级特征输入预设编码 器进行编码，从情感类别的所有预训练帧级特征中随机选择至少一个帧级特征 输入预设预测网络进行预测；
[0155]
以编码的结果与预测的结果的负余弦相似度最小化为目标，训练预设编码 器，得到训练好的预设编码器，将属于情感类别的所有预训练帧级特征输入训 练好的预设编码器，输出对应的更新预训练帧级特征，得到训练集中所有帧数 据的更新预训练帧级特征；
[0156]
根据所有帧数据的更新预训练帧级特征及对应的情感类别，对所有的更新 预训练帧级特征进行聚类，并根据聚类结果对所有的更新预训练帧级特征对应 的情感类别进行更新，确定更新结果为对应帧数据的预训练伪标签；
[0157]
以训练集中所有帧数据的预训练伪标签为依据，使用训练集对第二情感预 测模型进行训练，得到训练好的第二情感预测模型。
[0158]
可选的是，第一情感预测模型包括第一特征编码器、双向lstm层和第一 全连接层，第一特征编码器由cnn层构成，第二情感预测模型包括第二特征 编码器、transformer层和第二全连接层，第二特征编码器由cnn层构成，第 一特征编码器中cnn层的个数与第二特征编码器中cnn层的个数为相同。
[0159]
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申 请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法 实施例部分，此处不再赘述。
[0160]
图4为本技术实施例四提供的一种计算机设备的结构示意图。如图4所示， 该实施例的计算机设备包括：至少一个处理器(图4中仅示出一个)、存储器 以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行 计算机程序时实现上述任意各个情感预测模型的预训练优化方法实施例中的步 骤。
[0161]
该计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可 以理解，图4仅仅是计算机设备的举例，并不构成对计算机设备的限定，计算 机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部 件，例如还可以包括网络接口、显示屏和输入装置等。
[0162]
所称处理器可以是cpu，该处理器还可以是其他通用处理器、数字信号处 理器(digital signal processor，dsp)、专用集成电路(application specificintegrated circuit，asic)、现成可编程门阵列(field-programmable gate array， fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件 等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0163]
存储器包括可读存储介质、内存储器等，其中，内存储器可以是计算机设 备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提 供环境。可读存储介质可以是计算机设备的硬盘，在另一些实施例中也可以是 计算机设备的外部存储设备，例如，计算机设备上配备的插接式硬盘、智能存 储卡(smart media card，smc)、安全数字
(secure digital，sd)卡、闪存卡 (flash card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元 也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序 (bootloader)、数据以及其他程序等，该其他程序如计算机程序的程序代码 等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
[0164]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上 述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上 述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的 功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单 元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可 以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的 形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的 具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述装 置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在 此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销 售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本 申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相 关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程 序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括 计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行 文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序 代码的任何实体或装置、记录介质、计算机存储器、只读存储器(read-onlymemory，rom)、随机存取存储器(random access memory，ram)、电载波 信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。 在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信 号和电信信号。
[0165]
本技术实现上述实施例方法中的全部或部分流程，也可以通过一种计算机 程序产品来完成，当计算机程序产品在计算机设备上运行时，使得计算机设备 执行时实现可实现上述方法实施例中的步骤。
[0166]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述或记载的部分，可以参见其它实施例的相关描述。
[0167]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示 例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来 实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用 和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现 所描述的功能，但是这种实现不应认为超出本技术的范围。
[0168]
在本技术所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方 法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅 仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实 现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另 一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之 间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合 或通讯连接，可以是电性，机械或其它的形式。
[0169]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元 显示
的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可 以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元 来实现本实施例方案的目的。
[0170]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述 实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然 可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进 行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各 实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。