数据处理方法及计算机可读存储介质与流程

本公开涉及人工智能(artificial intelligence，ai)，特别涉及一种数据处理方法及计算机可读存储介质。

背景技术：

1、多模态命名实体识别已经成为从社交媒体上的非结构化文本和图像中提取命名实体的一项基本任务。与传统的命名实体识别相比，社交媒体上的多模态命名实体识别提出了一个独特的挑战，即缩小多种模态数据之间的语义差距。多模态命名实体识别的目的在于结合多种类型的信息识别其中所承载的命名实体。

2、目前常规训练识别多模态命名实体识别模型的方式是有监督训练，即需要对每种模态的训练数据进行标注，而标注的成本相对较高，导致常规训练识别多模态命名实体识别模型的成本较高。并且现有的多模态命名实体识别通常只重点关注其中某种模态数据，导致识别结果不准确。

技术实现思路

1、本公开提供一种数据处理方法及计算机可读存储介质。

2、第一方面，本公开提供了一种数据处理方法，用于对命名实体识别模型进行训练，所述命名实体识别模型包括命名实体预测网络和至少两种模态数据分别对应的识别网络；所述数据处理方法包括：

3、获取有标签训练样本对和无标签训练样本对；其中，一个训练样本对由至少两种模态数据组成；

4、通过每种模态数据对应的识别网络分别对所述有标签训练样本对和所述无标签训练样本对中相应模态的数据进行识别，得到所述有标签训练样本对中每种模态数据对应的第一潜在表示特征，以及所述无标签训练样本对中每种模态数据对应的第二潜在表示特征；

5、通过所述命名实体预测网络将所述有标签训练样本对中每种模态数据的第一潜在表示特征进行融合及命名实体预测，得到所述有标签训练样本对的第一预测结果，以及通过所述命名实体预测网络将所述无标签训练样本对中每种模态数据的第二潜在表示特征进行融合及命名实体预测，得到所述无标签训练样本对的第二预测结果；

6、将所述有标签训练样本对中每种模态数据的第一潜在表示特征进行解码处理得到所述有标签训练样本对中每种模态数据的重构特征，以及基于所述无标签训练样本对中每种模态数据的第二潜在表示特征和所述第二预测结果进行重构处理，得到所述无标签训练样本对中每种模态数据的重构特征；

7、基于所述有标签训练样本对的第一预测结果和所述有标签训练样本的标签确定第一损失函数，以及基于所述有标签训练样本对和所述有标签训练样本对的重构特征确定第二损失函数，基于所述无标签训练样本对和所述无标签训练样本对的重构特征确定第三损失函数；

8、根据所述第一损失函数、所述第二损失函数和所述第三损失函数对所述命名实体识别模型进行训练。

9、第二方面，本公开提供了一种命名实体识别方法，调用命名实体识别模型执行，所述命名实体识别模型通过上述数据处理方法训练得到，所述方法包括：

10、分别将至少两种模态数据输入所述命名实体识别模型；所述至少两种模态数据在语义上存在关联关系；

11、通过所述命名实体识别模型中每种模态数据对应的识别网络分别对相应模态数据进行识别处理，得到每种模态数据对应的潜在表示特征；

12、通过所述命名实体识别模型中的命名实体预测网络融合所述至少两种模态数据的潜在表示特征；

13、基于融合后的潜在表示特征进行命名实体识别，得到所述至少两种模态数据中包含的多模态命名实体。

14、第三方面，本公开提供了一种数据处理装置，该数据处理装置包括：

15、用于对命名实体识别模型进行训练，所述命名实体识别模型包括命名实体预测网络和至少两种模态数据分别对应的识别网络；包括：

16、获取单元，用于获取有标签训练样本对和无标签训练样本对；其中，一个训练样本对由至少两种模态数据组成；

17、识别单元，用于通过每种模态数据对应的识别网络分别对所述有标签训练样本对和所述无标签训练样本对中相应模态的数据进行识别，得到所述有标签训练样本对中每种模态数据对应的第一潜在表示特征，以及所述无标签训练样本对中每种模态数据对应的第二潜在表示特征；

18、处理单元，用于通过所述命名实体预测网络将所述有标签训练样本对中每种模态数据的第一潜在表示特征进行融合及命名实体预测，得到所述有标签训练样本对的第一预测结果，以及通过所述命名实体预测网络将所述无标签训练样本对中每种模态数据的第二潜在表示特征进行融合及命名实体预测，得到所述无标签训练样本对的第二预测结果；

19、重构单元，用于将所述有标签训练样本对中每种模态数据的第一潜在表示特征进行解码处理得到所述有标签训练样本对中每种模态数据的重构特征，以及基于所述无标签训练样本对中每种模态数据的第二潜在表示特征和所述第二预测结果进行重构处理，得到所述无标签训练样本对中每种模态数据的重构特征；

20、确定单元，用于基于所述有标签训练样本对的第一预测结果和所述有标签训练样本的标签确定第一损失函数，以及基于所述有标签训练样本对和所述有标签训练样本对的重构特征确定第二损失函数，基于所述无标签训练样本对和所述无标签训练样本对的重构特征确定第三损失函数；

21、训练单元，用于根据所述第一损失函数、所述第二损失函数和所述第三损失函数对所述命名实体识别模型进行训练。

22、第四方面，本公开提供了一种命名实体识别装置，调用命名实体识别模型执行，所述命名实体识别模型通过上述数据处理方法训练得到的，命名实体识别装置包括：

23、输入单元，用于分别将至少两种模态数据输入所述命名实体识别模型；

24、识别单元，用于通过所述命名实体识别模型中每种模态数据对应的识别网络分别对相应模态数据进行识别处理，得到每种模态数据对应的潜在表示特征；

25、融合单元，用于通过所述命名实体识别模型中的命名实体预测网络融合所述至少两种模态数据的潜在表示特征；

26、所述识别单元，还用于基于融合后的潜在表示特征进行命名实体识别，得到所述至少两种模态数据中包含的多模态命名实体。

27、第五方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的数据处理方法及命名实体识别方法。

28、第六方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述的数据处理方法及命名实体识别方法。

29、第七方面，本公开提供了一种计算机程序或计算机程序产品，该计算机程序产品包括计算机程序，计算机程序存储在计算机可读存储介质中，所述计算机程序在被处理器执行时实现上述的命名实体识别方法。

30、本公开所提供的实施例中，待训练的命名实体识别模型包括命名实体预测网络和至少两种模态数据分别对应的识别网络，进而，获取有标签训练样本对和无标签训练样本对；其中，一个训练样本对由至少两种模态数据组成。之后，通过每种模态数据对应的识别网络分别对所述有标签训练样本对和所述无标签训练样本对中相应模态的数据进行识别处理，得到所述有标签训练样本对中每种模态数据对应的第一潜在表示特征，以及所述无标签训练样本对中每种模态数据对应的第二潜在表示特征，通过命名实体预测网络将所述有标签训练样本对中每种模态数据的第一潜在表示特征进行融合及命名实体预测，得到所述有标签训练样本对的第一预测结果，以及将所述无标签训练样本对中每种模态数据的第二潜在表示特征进行融合及命名实体预测，得到所述无标签训练样本对的第二预测结果。将所述有标签训练样本对中每种模态数据的第一潜在表示特征进行解码处理得到所述有标签训练样本对中每种模态数据的重构特征，以及基于所述无标签训练样本对中每种模态数据的第二潜在表示特征和所述第二预测结果进行重构处理，得到所述无标签训练样本对中每种模态数据的重构特征，然后，基于所述有标签训练样本对第一预测结果和所述有标签训练样本的标签确定第一损失函数，以及基于所述有标签训练样本对和所述有标签训练样本对的重构特征确定第二损失函数，基于所述无标签训练样本对和所述无标签训练样本对的重构特征确定第三损失函数，并根据所述第一损失函数、所述第二损失函数和所述第三损失函数对所述命名实体识别模型进行训练。其中，用于训练待训练的命名实体识别模型的数据包括有标签训练样本对和无标签训练样本对，可见，相对于传统标注全部模态的训练数据的方式，本公开实施例涉及的训练样本中的一部分是有标签训练样本，另一部分是标签训练样本，即，本公开实施例不需要将多模态的训练样本均进行标注，只标注部分即可，本公开实施例的训练方式为半监督训练，能够降低训练成本。此外，本公开实施例，通过识别出每种模态数据对应的潜在表示特征，进而基于各种模态数据的潜在表示特征进行后续计算和模型训练，可以理解为，将各个模态的语义特征映射到了同一维度，相较于传统直接融合多模态语义特征的方式，打破了语义跨模态的问题，使得融合后的特征对各模态数据语义的对齐效果相对更佳，且潜在表示特征对特征表征的颗粒度相对更细，从而有利于优化多模态命名实体的识别效果。

31、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。