文本编码方法和装置、计算机设备及存储介质与流程

本技术涉及人工智能，尤其涉及一种文本编码方法和装置、计算机设备及存储介质。

背景技术：

1、目前，词向量已经成为自然语言处理领域的基本概念，所以将词汇中单词、短句映射为词向量已发展成熟。但是对于文本中的数字转换为向量则是直接将数字统一转换为特殊符号，所以未能充分捕抓到上下文中数字符号内部蕴含的语义信息，使得涉及数字自然语言处理下游任务的处理效果较差。因此，如何提高数字编码使得数字自然语言处理下游任务的处理效果，成为了亟待解决的技术问题。

技术实现思路

1、本技术实施例的主要目的在于提出一种文本编码方法和装置、计算机设备及存储介质，旨在提高数字编码输出的嵌入向量更加符合数字，且能够提升自然语言处理下游任务的处理效果。

2、为实现上述目的，本技术实施例的第一方面提出了一种文本编码方法，所述方法包括：

3、获取训练文本；其中，所述训练文本包括训练词语和训练数字，并根据所述训练数字构建验证数字序列；

4、将所述训练数字输入至预设的自然语言处理模型；其中，所述自然语言处理模型包括：第一编码网络和第二编码网络；

5、通过所述第一编码网络对所述训练数字进行编码处理，得到第一嵌入向量；

6、通过所述第二编码网络对所述训练数字进行编码处理，得到第二嵌入向量；

7、根据预设的参考向量、所述第一嵌入向量和所述第二嵌入向量进行损失计算，得到编码损失数据；

8、根据所述训练数字的所述第一嵌入向量和所述第二嵌入向量进行上下文预测处理，得到预测数字；

9、根据所述预测数字和所述验证数字序列进行损失计算，得到上下文损失数据；

10、根据预设的权重参数、所述编码损失数据和所述上下文损失数据对所述自然语言处理模型进行参数调整，得到目标编码模型，并将获取的待编码数字输入至所述目标编码模型进行编码处理，得到目标向量。

11、在一些实施例，所述获取训练文本；其中，所述训练文本包括训练词语和训练数字，并根据所述训练数字构建验证数字序列，包括：

12、获取训练文本；

13、对所述训练文本进行语句分割处理，得到训练语句；其中，每一所述训练语句包括所述训练词语和所述训练数字；

14、获取每一训练语句的所述训练数字的个数，得到数字个数；

15、根据所述数字个数将所述训练数字进行顺序排序，得到数字排序信息；

16、根据所述数字排序信息将所述训练数字进行序列构建，得到所述验证数字序列。

17、在一些实施例，所述第一编码网络包括：转换层和第一编码层；所述通过第一编码网络对所述训练数字进行编码处理，得到第一嵌入向量，包括：

18、通过转换层将所述训练数字进行字符串转换，得到训练字符串；

19、通过所述第一编码层对所述训练字符串进行编码处理，得到所述第一嵌入向量。

20、在一些实施例，所述第二编码网络包括：数字划分层、第二编码层、向量处理层；所述通过第二编码网络对所述训练数字进行编码处理，得到得二嵌入向量，包括：

21、通过所述数字划分层将所述训练数字进行数字拆分处理，得到每一数字表达式的数字片段；

22、通过所述第二编码层对所述数字片段进行编码处理，得到片段向量；

23、通过所述向量处理层对所述片段向量进行向量处理，得到所述第二嵌入向量。

24、在一些实施例，所述向量处理层包括：拼接层和平均层；所述通过所述向量处理层对所述片段向量进行向量处理，得到所述第二嵌入向量，包括：

25、通过所述拼接层对所述片段向量进行向量拼接，得到每一所述数字表达式的数字向量；

26、通过所述平均层对每一所述数字表达式的所述数字向量进行向量平均值计算，得到所述第二嵌入向量。

27、在一些实施例，所述根据预设的参考向量、所述第一嵌入向量和所述第二嵌入向量进行损失计算，得到编码损失数据，包括：

28、根据所述参考向量和所述第一嵌入向量进行损失计算，得到第一向量损失值；

29、根据所述参考向量和所述第二嵌入向量进行损失计算，得到第二向量损失值；

30、将所述第一向量损失值和所述第二向量损失值进行数值拼接，得到所述编码损失数据。

31、在一些实施例，所述根据所述预测数字和所述验证数字序列进行损失计算，得到上下文损失数据，包括：

32、根据所述预测数字从所述验证数字序列提取出验证数字；

33、获取所述验证数字位于所述验证数字序列的位置，得到验证位置；

34、获取所述预测数字在所述验证位置的预测概率；

35、根据所述预测概率进行概率损失计算，得到所述上下文损失数据。

36、为实现上述目的，本技术实施例的第二方面提出了一种文本编码装置，所述装置包括：

37、数据处理模块，用于获取训练文本；其中，所述训练文本包括训练词语和训练数字，并根据所述训练数字构建验证数字序列；

38、数字输入模块，用于将所述训练数字输入至预设的自然语言处理模型；其中，所述自然语言处理模型包括：第一编码网络和第二编码网络；

39、第一编码模块，用于通过所述第一编码网络对所述训练数字进行编码处理，得到第一嵌入向量；

40、第二编码模块，用于通过所述第二编码网络对所述训练数字进行编码处理，得到第二嵌入向量；

41、编码损失计算模块，用于根据预设的参考向量、所述第一嵌入向量和所述第二嵌入向量进行损失计算，得到编码损失数据；

42、上下文预测模块，用于根据所述训练数字的所述第一嵌入向量和所述第二嵌入向量进行上下文预测处理，得到预测数字；

43、上下文损失计算模块，用于根据所述预测数字和所述验证数字序列进行损失计算，得到上下文损失数据；

44、目标向量生成模块，用于根据预设的权重参数、所述编码损失数据和所述上下文损失数据对所述自然语言处理模型进行参数调整，得到目标编码模型，并将获取的待编码数字输入至所述目标编码模型进行编码处理，得到目标向量。

45、为实现上述目的，本技术实施例的第三方面提出了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

46、为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

47、本技术提出的文本编码方法和装置、计算机设备及存储介质,其通过结合了对比学习技术和遮掩数字预测技术以对自然语言处理模型训练，既能够增加嵌入向量的独特性，还能够考虑到数字后续的四则运算能力中的数字预测效果，以构建既能够准确输出准确表征数字的向量、且有利于提升后续语言模型四则运算能力的目标编码模型，则通过目标编码模型对待编码数字进行编码处理得到目标向量，目标向量既能够准确的表征待编码数字，还能够提升后续语言模型的四则运算能力。