一种文本信息处理方法、装置、电子设备及存储介质与流程

1.本发明涉及信息处理技术，尤其涉及文本信息处理方法、装置、电子设备及存储介质。


背景技术：

2.随着机器学习技术的发展，机器学习可以通过人工智能的方式机制实现回答用户的问题，其中，文本信息query的理解在问答引擎、对话系统等nlp领域是核心技术，更准确的理解用户的请求，系统才可以更好给出对应的答案。query通常是一段文本或者是一句话经过语音识别之后得到的文本，但是对于多轮问答中常见的“上下文无关”，“重复提问”，“缺省追问”，“指代发问”等多种上下文语境类型，相关技术无法对语境类型进行准确的识别，影响了人工智能对文本信息的处理，导致处理结果精确性较差。


技术实现要素：

3.有鉴于此，本发明实施例提供一种文本信息处理方法、装置、电子设备及存储介质，能够通过关联文本信息，确定关联文本信息语境类型，实现对待处理文本信息的处理效果更加准确，使得待处理文本信息的处理结果适用当前的使用场景，减少由于关联文本信息的缺失对所生成的答复语句的影响，提高用户的使用体验。
4.本发明实施例的技术方案是这样实现的：
5.本发明实施例提供了一种文本信息处理方法，包括：
6.获取文本处理语境中的待处理文本信息以及与所述待处理文本相匹配的关联文本信息；
7.基于所述待处理文本信息和关联文本信息，确定与所述关联文本信息相匹配的关联文本信息语境类型；
8.获取与所述待处理文本信息相匹配的候选相似文本信息，基于所述待处理文本信息、关联文本信息以及关联文本信息语境类型，确定所述待处理文本信息与所述候选相似文本信息的相似度；
9.基于所述待处理文本信息与所述候选相似文本信息的相似度，确定与所述待处理文本信息相匹配的答复语句。
10.本发明实施例还提供了一种文本信息处理装置，包括：
11.信息传输模块，用于获取文本处理语境中的待处理文本信息以及与所述待处理文本相匹配的关联文本信息；
12.信息处理模块，用于基于所述待处理文本信息和关联文本信息，确定与所述关联文本信息相匹配的关联文本信息语境类型；
13.所述信息处理模块，用于获取与所述待处理文本信息相匹配的候选相似文本信息，基于所述待处理文本信息、关联文本信息以及关联文本信息语境类型，确定所述待处理文本信息与所述候选相似文本信息的相似度；
14.所述信息处理模块，用于基于所述待处理文本信息与所述候选相似文本信息的相似度，确定与所述待处理文本信息相匹配的答复语句。
15.上述方案中，
16.所述信息处理模块，用于通过所述文本信息匹配模型的关联文本信息语境类型判别器网络，对所述待处理文本信息和关联文本信息进行处理，确定与所述关联文本信息相匹配的关联文本信息语境类型；或者，
17.通过所述文本信息匹配模型的文本信息处理网络，确定与所述待处理文本信息相对应的待处理文本信息嵌入向量；
18.通过所述文本信息匹配模型的文本信息处理网络，确定与所述关联文本信息相对应的关联文本信息嵌入向量；
19.通过所述文本信息匹配模型的关联文本信息语境类型判别器网络，对所述待处理文本信息嵌入向量和关联文本信息嵌入向量进行处理，确定与所述关联文本信息相匹配的关联文本信息语境类型。
20.上述方案中，
21.所述信息处理模块，用于根据所述待处理文本信息所携带的文本信息参数，触发相应的分词库；
22.所述信息处理模块，用于通过所述文本信息匹配模型的文本信息处理网络，基于所触发的分词库单词词典对所述待处理文本信息进行分词处理，形成不同的词语级待处理文本信息嵌入向量；
23.所述信息处理模块，用于对所述不同的词语级待处理文本信息嵌入向量进行除噪处理，形成与所述待处理文本信息相对应的待处理文本信息嵌入向量集合。
24.上述方案中，
25.所述信息处理模块，用于确定对所述待处理文本信息进行分词处理时所使用的分词库的名称；
26.所述信息处理模块，用于根据与所述分词库的名称，确定与所述待处理文本信息相对应的词语级待处理文本信息嵌入向量相匹配的分词库的参数，其中，所述分词库的参数包括：
27.所述分词库的种类、所述分词库的名称和所述分词库的版本。
28.上述方案中，
29.所述信息处理模块，用于确定与所述文本处理语境相匹配的动态噪声阈值；
30.所述信息处理模块，用于根据所述动态噪声阈值对所述待处理文本信息进行去噪处理，并触发与所述动态噪声阈值相匹配的动态分词策略；
31.所述信息处理模块，用于根据与所述动态噪声阈值相匹配的动态分词策略，对所述待处理文本信息进行分词处理，形成与所述待处理文本信息相对应的待处理文本信息嵌入向量。
32.上述方案中，
33.所述信息处理模块，用于确定与所述文本处理语境相匹配的固定噪声阈值；
34.所述信息处理模块，用于根据所述固定噪声阈值对所述待处理文本信息进行去噪处理，并触发与所述固定噪声阈值相匹配的固定分词策略；
35.所述信息处理模块，用于根据与所述固定噪声阈值相匹配的固定分词策略，对所述待处理文本信息进行分词处理，形成与所述待处理文本信息相对应的待处理文本信息嵌入向量。
36.上述方案中，
37.所述信息处理模块，用于通过所述文本信息匹配模型的文本信息处理网络，确定与所述候选相似文本信息对应的候选相似文本信息嵌入向量；
38.所述信息处理模块，用于通过所述文本信息匹配模型的多轮匹配网络，对所述待处理文本信息嵌入向量和关联文本信息嵌入向量进行处理，确定第一拼接特征向量；
39.所述信息处理模块，用于通过所述文本信息匹配模型的多轮匹配网络，基于所述关联文本信息语境类型和第一拼接特征向量，确定所述待处理文本信息嵌入向量与所述候选相似文本信息嵌入向量的相似度。
40.上述方案中，
41.所述信息处理模块，用于通过所述文本信息匹配模型的文本信息处理网络，确定与所述候选相似文本信息对应的候选相似文本信息嵌入向量；
42.所述信息处理模块，用于通过所述文本信息匹配模型的多轮匹配网络，对所述待处理文本信息嵌入向量和关联文本信息嵌入向量进行处理，确定第一拼接特征向量；
43.所述信息处理模块，用于通过所述文本信息匹配模型的多轮匹配网络，基于所述第一拼接特征向量确定所述待处理文本信息嵌入向量与所述候选相似文本信息嵌入向量的相似度；
44.所述信息处理模块，用于通过所述关联文本信息语境类型，对所述待处理文本信息嵌入向量与所述候选相似文本信息嵌入向量的相似度进行排序；
45.所述信息处理模块，用于基于排序结果，确定所述待处理文本信息与所述候选相似文本信息的相似度。
46.上述方案中，所述装置还包括：
47.训练模块，用于获取训练样本集合，其中，所述训练样本集合包括经过实体标记的不同文本信息样本；
48.所述训练模块，用于通过所述文本信息匹配模型对所述训练样本集合进行处理，确定所述文本信息匹配模型中的关联文本信息语境类型判别器网络的初始参数，和多轮匹配网络的初始参数；
49.所述训练模块，用于基于所述关联文本信息语境类型判别器网络的初始参数和多轮匹配网络的初始参数，通过所述文本信息匹配模型对所述训练样本集合进行处理，分别确定所述关联文本信息语境类型判别器网络对应的更新参数和多轮匹配网络对应的更新参数；
50.所述训练模块，用于根据所述关联文本信息语境类型判别器网络对应的更新参数和多轮匹配网络对应的更新参数，通过所述训练样本集合对关联文本信息语境类型判别器网络和多轮匹配网络分别进行迭代更新。
51.上述方案中，
52.所述训练模块，用于确定所述关联文本信息语境类型判别器网络相匹配的第一损失函数；
53.所述训练模块，用于确定所述多轮匹配网络相匹配的第二损失函数；
54.所述训练模块，用于基于所述第一损失函数和所述第二损失函数，确定所述文本信息匹配模型对应的融合损失函数。
55.上述方案中，
56.所述训练模块，用于基于关联文本信息相匹配的关联文本信息语境类型，在数据源中获取与所述待处理文本信息的语境类型相匹配的训练样本集合；
57.所述训练模块，用于根据所述与所述待处理文本信息的语境类型相匹配的训练样本集合，确定与所述待处理文本信息的语境类型相适配的文本信息匹配模型的模型参数。
58.本发明实施例还提供了一种电子设备，所述电子设备包括：
59.存储器，用于存储可执行指令；
60.处理器，用于运行所述存储器存储的可执行指令时，实现前序的文本信息处理方法。
61.本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现前序的文本信息处理方法。
62.本发明实施例具有以下有益效果：
63.本发明通过获取文本处理语境中的待处理文本信息以及与所述待处理文本相匹配的关联文本信息；基于所述待处理文本信息和关联文本信息，确定与所述关联文本信息相匹配的关联文本信息语境类型；获取与所述待处理文本信息相匹配的候选相似文本信息，基于所述待处理文本信息、关联文本信息以及关联文本信息语境类型，确定所述待处理文本信息与所述候选相似文本信息的相似度；基于所述待处理文本信息与所述候选相似文本信息的相似度，确定与所述待处理文本信息相匹配的答复语句。由此，能够通过关联文本信息，确定关联文本信息语境类型，实现对待处理文本信息的处理效果更加准确，使得待处理文本信息的处理结果适用当前的使用场景，减少由于关联文本信息的缺失对所生成的答复语句的影响，减少万能回复，从而可以提升回复的匹配性和前瞻性，提高用户的使用体验。
附图说明
64.图1为本发明实施例提供的文本信息处理方法的使用场景示意图；
65.图2为本发明实施例提供的文本信息处理装置的组成结构示意图；
66.图3为相关技术中基文本信息匹配模型生成答复语句的示意图；
67.图4为本发明实施例提供的文本信息处理方法的数据结构示意图；
68.图5为本发明实施例提供的文本信息处理方法一个可选的流程示意图；
69.图6为本发明实施例中通过小程序进行文本信息处理的示意图；
70.图7为本发明实施例提供的文本信息处理方法的数据结构示意图；
71.图8为本发明实施例提供的文本信息处理方法的数据结构示意图；
72.图9为本发明实施例中文本匹配过程示意图；
73.图10为本发明实施例提供的文本信息处理方法一个可选的流程示意图；
74.图11为本发明实施例中文本信息匹配模型的应用环境示意图；
75.图12为本发明实施例所提供的文本信息匹配模型的工作过程示意图。
具体实施方式
76.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
77.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
78.对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
79.1)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
80.2)分词：又称切词，起作用为把一个完整的句子的文本信息切分成多个词，例如：xx是个中国歌手。分词后的结果为：xx、中国、歌手。
81.3)分词库：又称切词库，指一种特定的分词方法，不同的分词库各自对应的单词字典，并可以根据各自对应的单词字典对相应的文本信息进行分词处理。
82.4)token：词单元，对输入文本做任何实际处理前，都需要将其分割成诸如词、标点符号、数字或纯字母数字等语言单元。这些单元被称为词单元。
83.5)孪生神经网络(siamese network)：在伪孪生神经网络中，输入数据对应的两个神经网络可以是不同的神经网络，或者，两个神经网络也可以是相同类型的神经网络。伪孪生神经网络适用于处理两个输入“有一定差别”的情况。本文的文本处理方法即在伪孪生神经网络中实现
84.6)模型训练，对图像数据集进行多分类学习。该模型可采用tensor flow、torch等深度学习框架进行构建，使用cnn等神经网络层的多层结合组成多分类模型。模型的输入为图像经过opencv等工具读取形成的三通道或原通道矩阵，模型输出为多分类概率，通过softmax等算法最终输出网页类别。在训练时，模型通过交叉熵等目标函数向正确趋势逼近。
85.7)神经网络(neural network，nn)：人工神经网络(artificial neural network，ann)，简称神经网络或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。
86.8)双向注意力神经网络模(bert bidirectional encoder representations from transformers)谷歌提出的双向注意力神经网络模型。transformers：一种新的网络结构，采用注意力机制，代替传统的编码器
‑
解码器必须依赖其它神经网络的模式，该方法被广泛用于多种自然语言处理任务，如文本分类、文本匹配、机器阅读理解等。
87.9)小程序(mini program)，是一种基于面向前端的语言(例如javascript)开发的、在超文本标记语言(html，hyper text markup language)页面中实现服务的程序，由客户端(例如浏览器或内嵌浏览器核心的任意客户端)经由网络(如互联网)下载、并在客户端的浏览器环境中解释和执行的软件，节省在客户端中安装的步骤。例如，通过语音指令唤醒
终端中的小程序实现在社交网络客户端中可以下载、运行用于实现机票购买、任务处理与制作、数据展示等各种服务的小程序。
88.图1为本发明实施例提供的文本信息处理方法的使用场景示意图，参见图1，终端(包括终端10
‑
1和终端10
‑
2)上设置有能够执行不同功能相应客户端其中，所属客户端为终端(包括终端10
‑
1和终端10
‑
2)通过网络300从相应的服务器200中获取不同的文章进行浏览或者获得服务器中所保存的小程序或者公众号，当终端运行即时通讯客户端进程时，可以通过所提供的问答功能根据所输入的问题语句获取相应的答复语句，其中所获取的答复语句可以是来自朋友圈、小程序、文章、公众号、等不同内容中的答复内容中所获取的候选答复语句，也可以由医疗机器人所获取的与医疗应用场景环境相适配的答复语句。终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，终端(包括终端10
‑
1和终端10
‑
2)上设置还可以有聊天软件的客户端，用户通过所设置的聊天客户端可以输入相应的问题语句，聊天客户端也可以接收相应的答复语句，并将所接收的答复语句向用户进行展示。
89.在本发明的一些实施例中，服务器200中所保存的不同类型的小程序可以是在不同编程语言的软件代码环境中所编写的，代码对象可以是不同类型的代码实体。例如，在c语言的软件代码中，一个代码对象可以是一个函数。在java语言的软件代码中，一个代码对象可以是一个类，ios端oc语言中可以是一段目标代码。在c++语言的软件代码中，一个代码对象可以是一个类或一个函数以执行来自于不同终端的文本信息。其中本技术中不再对检索指令的来源进行区分。其中，即时通讯客户端进程中小程序可以触发问答引擎，小程序(mini program)，是一种基于面向前端的语言(例如javascript)开发的、在超文本标记语言(html，hyper text markup language)页面中实现服务的程序，由客户端(例如浏览器或内嵌浏览器核心的任意客户端)经由网络(如互联网)下载、并在客户端的浏览器环境中解释和执行的软件，节省在客户端中安装的步骤。例如，通过语音指令唤醒终端中的小程序实现在社交网络客户端中可以下载、运行用于实现机票购买、任务处理与制作、数据展示等各种服务的小程序。
90.服务器200根据终端识别的关键词通过网络300向终端(终端10
‑
1和/或终端10
‑
2)发送相应的文本信息的答复语句，因此。作为一个事例，服务器200可以用于获取文本处理语境中的待处理文本信息以及与所述待处理文本相匹配的关联文本信息；基于所述待处理文本信息和关联文本信息，确定与所述关联文本信息相匹配的关联文本信息语境类型；获取与所述待处理文本信息相匹配的候选相似文本信息，基于所述待处理文本信息、关联文本信息以及关联文本信息语境类型，确定所述待处理文本信息与所述候选相似文本信息的相似度；基于所述待处理文本信息与所述候选相似文本信息的相似度，确定与所述待处理文本信息相匹配的答复语句。
91.其中，本技术实施例所提供的文本信息处理方法是基于人工智能实现的，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
92.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
93.在本技术实施例中，主要涉及的人工智能软件技术包括上述语音处理技术和机器学习等方向。例如，可以涉及语音技术(speech technology)中的语音识别技术(automatic speech recognition，asr)，其中包括语音信号预处理(speech signal preprocessing)、语音信号频域分析(speech signal frequency analyzing)、语音信号特征提取(speech signal feature extraction)、语音信号特征匹配/识别(s peech signal feature matching/recognition)、语音的训练(speech training)等。
94.例如可以涉及机器学习(machine learning，ml)，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习通常包括深度学习(deep learning)等技术，深度学习包括人工神经网络(artificialneural network)，例如卷积神经网络(convolutional neural network，cnn)、循环神经网络(recurrent neural network，rnn)、深度神经网络(deep neural n etwork，dnn)等。
95.可以理解的是，本技术提供的文本信息处理方法以及语音处理可以应用于智能设备(intelligent device)上，智能设备可以是任何一种具有语音指令识别功能的设备，例如可以是智能终端、智能家居设备(如智能音箱、智能洗衣机等)、智能穿戴设备(如智能手表)、车载智能中控系统(通过语音指令唤醒终端中执行不同任务的小程序)或者ai智能医疗设备(通过语音指令进行唤醒触发)等。
96.下面对本发明实施例的文本信息处理装置的结构做详细说明，文本信息处理装置可以各种形式来实施，如带有文本信息处理功能的专用终端，也可以为设置有文本信息处理功能的服务器，例如前序图1中的服务器200。图2为本发明实施例提供的文本信息处理装置的组成结构示意图，可以理解，图2仅仅示出了文本信息处理装置的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。
97.本发明实施例提供的文本信息处理装置包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。文本信息处理装置中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
98.其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
99.可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10
‑
1)的操作。这些数据的示例包括：用于在终端(如10
‑
1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现
各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
100.在一些实施例中，本发明实施例提供的文本信息处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的文本信息处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的文本信息处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、现场可编程门阵列(fpga，field
‑
programmable gate array)或其他电子元件。
101.作为本发明实施例提供的文本信息处理装置采用软硬件结合实施的示例，本发明实施例所提供的文本信息处理装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的文本信息处理方法。
102.作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
103.作为本发明实施例提供的文本信息处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、现场可编程门阵列(fpga，field
‑
programmable gate array)或其他电子元件执行实现本发明实施例提供的文本信息处理方法。
104.本发明实施例中的存储器202用于存储各种类型的数据以支持文本信息处理装置的操作。这些数据的示例包括：用于在文本信息处理装置上操作的任何可执行指令，如可执行指令，实现本发明实施例的从文本信息处理方法的程序可以包含在可执行指令中。
105.在另一些实施例中，本发明实施例提供的文本信息处理装置可以采用软件方式实现，图2示出了存储在存储器202中的文本信息处理装置，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括文本信息处理装置，文本信息处理装置中包括以下的软件模块信息传输模块2081和信息处理模块2082。当文本信息处理装置中的软件模块被处理器201读取到ram中并执行时，将实现本发明实施例提供的文本信息处理方法，下面介绍本发明实施例中文本信息处理装置中各个软件模块的功能，其中，
106.信息传输模块2081，用于获取文本处理语境中的待处理文本信息以及与所述待处理文本相匹配的关联文本信息。
107.信息处理模块2082，用于基于所述待处理文本信息和关联文本信息，确定与所述关联文本信息相匹配的关联文本信息语境类型。
108.所述信息处理模块2082，用于获取与所述待处理文本信息相匹配的候选相似文本信息，基于所述待处理文本信息、关联文本信息以及关联文本信息语境类型，确定所述待处
理文本信息与所述候选相似文本信息的相似度。
109.所述信息处理模块2082，用于基于所述待处理文本信息与所述候选相似文本信息的相似度，确定与所述待处理文本信息相匹配的答复语句。
110.根据图2所示的电子设备，在本技术的一个方面中，本技术还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述文本信息处理方法的各种可选实现方式中所提供的不同实施例及实施例的组合。
111.结合图2示出的文本信息处理装置说明本发明实施例提供的文本信息处理装置方法，在介绍本发明实施例提供的文本信息处理装置方法之前，首先介绍相关技术中，通过传统的文本信息匹配模型根据问题文本生成相应答复语句的过程中，图3为相关技术中基文本信息匹配模型生成答复语句的示意图，其中，传统的基于上下文信息的端到端文本检索方法主要通过优化模型的匹配过程来提升多轮信息的匹配效果。如图3所示，将多轮问答语句合并为一列,连接处用_sos_隔开,将整个对话历史视为完整的向量语句去匹配下一句答复语句。然后在匹配过程中引入多视角额匹配机制来增强匹配效果。具体而言，将整个对话历史合并为一列,通过字符嵌入向量word embedding后通过gru模块提取词汇级特征,与候选的答复语句response进行匹配，这一过程仅使用数据驱动来增强模型匹配效果。因而这种方法对数据要求较高，增加了终端设备的计算负担，不利于移动终端对文本信息的处理。
112.参考图4，图4为本发明实施例提供的文本信息处理方法的数据结构示意图，基于上下文query改写的方法生成答复语句主要通过利用上下文信息对当前用户query进行抽取式或者生成式改写，使用改写后的query替换原有query,同样通过该方法将多轮匹配转化为单轮匹配。具体而言，首先需要把用户输入a1和系统回复b1连接起来，再和用户输入a2(待改写语句)一起作为改写模型的输入，输出为改写后的query。但是相关技术中，改写模型的效果不可控，在改写过程中会引入大量的改写偏差从而导致多轮对话引入新的噪声，也无法根据上下文的关联文本信息语境类型进行适配性调整。
113.为了克服上述缺陷，参见图5，图5为本发明实施例提供的文本信息处理方法一个可选的流程示意图，可以理解地，图5所示的步骤可以由运行文本信息处理装置的各种电子设备执行，例如可以是如带有文本信息答复功能的专用终端、手机或者运行检索功能小程序的通信装置。下面针对图5示出的步骤进行说明。
114.步骤501：获取文本处理语境中的待处理文本信息以及与所述待处理文本相匹配的关联文本信息。
115.其中，不同的文本处理语境中的待处理文本信息的来源可以不同，例如：在智能医疗终端中，待处理文本信息可以是病患所输入的诊疗问题信息。在移动终端的媒资类使用环境中，待处理文本信息可以是智能音箱和车载智能系统所接收的用户所输入的语音问题文本信息。
116.在本发明的一些实施例中，可以根据所述待处理文本信息所携带的文本信息参数，触发相应的分词库；通过所述文本信息匹配模型的文本信息处理网络，基于所触发的分词库单词词典对所述待处理文本信息进行分词处理，形成不同的词语级待处理文本信息嵌入向量；对所述不同的词语级待处理文本信息嵌入向量进行除噪处理，形成与所述待处理
文本信息相对应的待处理文本信息嵌入向量集合。其中，确定对所述待处理文本信息进行分词处理时所使用的分词库的名称；根据与所述分词库的名称，确定与所述待处理文本信息相对应的词语级待处理文本信息嵌入向量相匹配的分词库的参数，其中，所述分词库的参数包括：所述分词库的种类、所述分词库的名称和所述分词库的版本。
117.参考图6，图6为本发明实施例中通过小程序进行文本信息处理的示意图，其中，结合前序实施例的描述，不同的终端设备(例如前序图1所示的终端10
‑
1和/或终端10
‑
2)可以在各自对应问答界面上(例如网页、信息问答app和微信的问答小程序)提供用于输入待问答的关键词的问答栏，以及用于对该待问答的关键词进行数据问答的问答按键，用户通过语音指令在问答栏中输入文本信息，当该终端设备检测到对该问答按键的点击操作时，触发该服务器启动相应的分词指令，该分词指令携带该问答栏中的关键词，该服务器接收该分词指令。或者，该终端设备在问答界面上显示热门问答关键词，当检测到对热门问答关键词的点击操作时，该终端设备向该服务器发送该分词指令，该分词指令携带该热门问答关键词，该服务器接收该分词指令。需要说明的是本发明实施例对该分词指令的触发方式不做限定。
118.其中，由于使用不同的分词库对同一文本信息处理时，所形成的词语级特征向量并不完全相同，因此据与所述分词库的名称，确定与所述待处理文本信息相对应的词语级特征向量相匹配的分词库的参数，实现确定对待处理文本信息进行分词所使用的分词库的参数，例如：待处理文本信息为“信用卡到期怎么办”使用分词库a进行处理后，形成与所述待处理文本信息相对应的词语级特征向量集合a(信用卡；到期；怎么办)；使用分词库b进行处理后，形成与所述待处理文本信息相对应的词语级特征向量集合b(信用卡到期；怎么办)；使用分词库a1进行处理后，形成与所述待处理文本信息相对应的词语级特征向量集合a1(信用卡，到期怎么办)。
119.在本发明的一些实施例中，可以确定与所述文本处理语境相匹配的动态噪声阈值；根据所述动态噪声阈值对所述待处理文本信息进行去噪处理，并触发与所述动态噪声阈值相匹配的动态分词策略；根据与所述动态噪声阈值相匹配的动态分词策略，对所述待处理文本信息进行分词处理，形成与所述待处理文本信息相对应的待处理文本信息嵌入向量。或者，确定与所述文本处理语境相匹配的固定噪声阈值；根据所述固定噪声阈值对所述待处理文本信息进行去噪处理，并触发与所述固定噪声阈值相匹配的固定分词策略；根据与所述固定噪声阈值相匹配的固定分词策略，对所述待处理文本信息进行分词处理，形成与所述待处理文本信息相对应的待处理文本信息嵌入向量。其中，当词向量处理网络固化于相应的硬件机构中，例如医院中的智能分诊系统时，使用环境为对医疗信息相关的口语指令进行处理与关键词提取时，由于噪声较为单一，通过固定词向量处理网络相对应的固定噪声阈值，能够有效提神词向量处理网络的训练速度，减少用户的等待时间，使得词向量处理网络更加适应医院的智能分诊使用环境。
120.步骤502：基于所述待处理文本信息和关联文本信息，确定与所述关联文本信息相匹配的关联文本信息语境类型。
121.在本发明的一些实施例中，基于所述待处理文本信息和关联文本信息，确定与所述关联文本信息相匹配的关联文本信息语境类型，可以通过以下方式实现：
122.基于所述待处理文本信息和关联文本信息，触发相匹配的文本信息匹配模型；通
过所述文本信息匹配模型的关联文本信息语境类型判别器网络，对所述待处理文本信息和关联文本信息进行处理，确定与所述关联文本信息相匹配的关联文本信息语境类型；或者，通过所述文本信息匹配模型的文本信息处理网络，确定与所述待处理文本信息相对应的待处理文本信息嵌入向量；通过所述文本信息匹配模型的文本信息处理网络，确定与所述关联文本信息相对应的关联文本信息嵌入向量；通过所述文本信息匹配模型的关联文本信息语境类型判别器网络，对所述待处理文本信息嵌入向量和关联文本信息嵌入向量进行处理，确定与所述关联文本信息相匹配的关联文本信息语境类型。
123.其中，参考图7，图7为本发明实施例提供的文本信息处理方法的数据结构示意图，关联文本信息语境类型判别器网络和多轮匹配网络可以呈现串行结构，串行联合上下文语境类型信息时，可以将上下文语境类型判别与多轮匹配过程串行执行，先通过上下文语境进行类型判定，再将判定结果信息，提问上下文信息及当前用户query一起作为匹配模型的部分输入进行多轮检索的匹配过程。通过所述文本信息匹配模型的关联文本信息语境类型判别器网络，对所述待处理文本信息和关联文本信息进行处理的优势是离线可以分阶段逐步进行模型训练，在部署之后可以进行串行使用，方便线上进行灵活的适配，减少模型应用后的调整时间。进一步地，当使用串行结构时，获取与所述待处理文本信息相匹配的候选相似文本信息，基于所述待处理文本信息、关联文本信息以及关联文本信息语境类型，确定所述待处理文本信息与所述候选相似文本信息的相似度，可以通过以下方式实现：
124.通过所述文本信息匹配模型的文本信息处理网络，确定与所述候选相似文本信息对应的候选相似文本信息嵌入向量；通过所述文本信息匹配模型的多轮匹配网络，对所述待处理文本信息嵌入向量和关联文本信息嵌入向量进行处理，确定第一拼接特征向量；通过所述文本信息匹配模型的多轮匹配网络，基于所述关联文本信息语境类型和第一拼接特征向量，确定所述待处理文本信息嵌入向量与所述候选相似文本信息嵌入向量的相似度。
125.其中，参考图8，图8为本发明实施例提供的文本信息处理方法的数据结构示意图，关联文本信息语境类型判别器网络和多轮匹配网络也可以呈现并行结构，其中，多轮匹配网络可以使用siamese
‑
bert的结构，其中左右bert模型不进行参数共享，保持各自独立计算。
126.步骤503：获取与所述待处理文本信息相匹配的候选相似文本信息，基于所述待处理文本信息、关联文本信息以及关联文本信息语境类型，确定所述待处理文本信息与所述候选相似文本信息的相似度。参考图9，图9为本发明实施例中文本匹配过程示意图，当关联文本信息语境类型判别器网络和多轮匹配网络也可以呈现并行结构时，通过所述文本信息匹配模型的文本信息处理网络，确定与所述候选相似文本信息对应的候选相似文本信息嵌入向量；通过所述文本信息匹配模型的多轮匹配网络，对所述待处理文本信息嵌入向量和关联文本信息嵌入向量进行处理，确定第一拼接特征向量；通过所述文本信息匹配模型的多轮匹配网络，基于所述第一拼接特征向量确定所述待处理文本信息嵌入向量与所述候选相似文本信息嵌入向量的相似度；通过所述关联文本信息语境类型，对所述待处理文本信息嵌入向量与所述候选相似文本信息嵌入向量的相似度进行排序；基于排序结果，确定所述待处理文本信息与所述候选相似文本信息的相似度。
127.步骤504：基于所述待处理文本信息与所述候选相似文本信息的相似度，确定与所述待处理文本信息相匹配的答复语句。
128.当然，在使用文本信息匹配模型之前还需要对文本信息匹配模型进行训练，其中，参考图10，图10为本发明实施例提供的文本信息处理方法一个可选的流程示意图，可以理解地，图10所示的步骤可以由运行文本信息处理装置的各种电子设备执行，例如可以是如带有文本信息答复功能的专用终端、手机或者运行检索功能小程序的通信装置，以实现训练文本信息匹配模型，并将经过训练的文本信息匹配模型部署在服务器中。下面针对图10示出的步骤进行说明。
129.步骤1001：获取训练样本集合，其中，所述训练样本集合包括经过实体标记的不同文本信息样本。
130.具体来说，可以基于关联文本信息相匹配的关联文本信息语境类型，在数据源中获取与所述待处理文本信息的语境类型相匹配的训练样本集合；根据所述与所述待处理文本信息的语境类型相匹配的训练样本集合，确定与所述待处理文本信息的语境类型相适配的文本信息匹配模型的模型参数。
131.步骤1002：通过所述文本信息匹配模型对所述训练样本集合进行处理，确定所述文本信息匹配模型中的关联文本信息语境类型判别器网络的初始参数，和多轮匹配网络的初始参数。
132.步骤1003：基于所述关联文本信息语境类型判别器网络的初始参数和多轮匹配网络的初始参数，通过所述文本信息匹配模型对所述训练样本集合进行处理，分别确定所述关联文本信息语境类型判别器网络对应的更新参数和多轮匹配网络对应的更新参数。
133.步骤1004：根据所述关联文本信息语境类型判别器网络对应的更新参数和多轮匹配网络对应的更新参数，通过所述训练样本集合对关联文本信息语境类型判别器网络和多轮匹配网络分别进行迭代更新。
134.具体来说，通过训练样本集合对关联文本信息语境类型判别器网络和多轮匹配网络分别进行迭代更新的过程中，可以确定所述关联文本信息语境类型判别器网络相匹配的第一损失函数；确定所述多轮匹配网络相匹配的第二损失函数；基于所述第一损失函数和所述第二损失函数，确定所述文本信息匹配模型对应的融合损失函数，其中，关联文本信息语境类型判别器网络和多轮匹配网络也可以呈现串行结构时，训练中的模型参数参考公式1：
[0135][0136]
关联文本信息语境类型判别器网络和多轮匹配网络也可以呈现并行结构，训练中模型参数参考公式2：
[0137][0138]
而在测试使用阶段，仅需要输入上下文，当前query及候选即可，无需进行阶段预测。由此可以节省用户的等待时间，使得文本信息匹配模型的用户获得更好的使用体验。其中，当文本信息匹配模型的使用场景为非中文(可以是单一的英语或其他语种的使用环境，也可以是至少包括两种语言问题语句来源的使用环境)使用环境时，根据所述负例样本集合所确定相应的双语评估研究值可以用于作为监督参数对所述文本信息匹配模型的语义理解结果进行评价。
[0139]
在本发明的一些实施例中，文本信息匹配模型中的解码器可以为双向网络模型，例如可以均选用bi
‑
gru双向gru模型作为对应的编码器和对应的解码器，此处的bi
‑
gru双向gru模型是一种可以识别倒装句结构的模型。由于用户在输入问题语句时，可能使得该对话语句为倒装句结构，即与正常的语句结构不一样，例如用户输入的对话语句为“结婚了吗夏美”，而正常的语句结构为“夏美结婚了吗”，采用bi
‑
gru双向gru模型可以识别出倒装句结构的对话语句，从而可以丰富训练后的模型的功能，进而可以提高最终训练得到的文本信息匹配模型的鲁棒性。
[0140]
下面以封装于相应app中的文本信息匹配模型对本发明实施例所提供的文本信息匹配模型进行说明，其中，图11为本发明实施例中文本信息匹配模型的应用环境示意图，如图11所示，随着人机交互技术的发展，越来越多的基于人机交互技术的智能产品应运而生，例如即时通讯客户端的自动回复机器人，这些智能产品可以和用户进行聊天交流，并根据用户的问题生成相应的回答信息。但是，所生成的回答信息通常都是高频的通用答复或者错误的回复信息，相反的用户所期望得到的恰恰是图11右侧所示的答复语句，但是图11左侧所生成的这些答复往往没有实际意义，与文本信息匹配模型的的语境并不相符合(例如不同的文本信息匹配模型需要根据使用环境模的上下文语境生成最合适的回复语句)同时相关技术仅能够根据一个问题语句生成一个对应的答复语句，但并不能够根据一个问题语句以及相应的虚拟机器人的人设信息生成多个对应的答复语句，影响用户的使用体验。
[0141]
图12为本发明实施例所提供的文本信息匹配模型的工作过程示意图，具体包括以下步骤：
[0142]
步骤1201：获取待处理文本信息和关联文本信息，并触发即时通讯app中的文本信息匹配模型。
[0143]
步骤1202：基于即时通讯app中对话信息，确定与关联文本信息相匹配的关联文本信息语境类型。
[0144]
步骤1203：确定待处理文本信息与候选相似文本信息的相似度。
[0145]
步骤1204：基于所述待处理文本信息与所述候选相似文本信息的相似度以及相匹配的相似度阈值，确定候选相似文本信息是否合规。
[0146]
步骤1205：当确定候选相似文本信息合规时，将所述候选相似文本信息添加至文本推荐进程。
[0147]
步骤1206：对所述文本推荐进程中的所有候选相似文本信息的召回顺序进行排序；
[0148]
步骤1207：基于所述候选相似文本信息的召回顺序的排序结果向目标用户进行文本信息推荐。
[0149]
由此，能够通过关联文本信息，确定关联文本信息语境类型，实现对待处理文本信息的处理效果更加准确，以适配当前的使用场景，使得用户在即时通讯app中获得更好的自动对话体验。
[0150]
本发明具有以下有益技术效果：
[0151]
本发明通过获取文本处理语境中的待处理文本信息以及与所述待处理文本相匹配的关联文本信息；基于所述待处理文本信息和关联文本信息，确定与所述关联文本信息相匹配的关联文本信息语境类型；获取与所述待处理文本信息相匹配的候选相似文本信
息，基于所述待处理文本信息、关联文本信息以及关联文本信息语境类型，确定所述待处理文本信息与所述候选相似文本信息的相似度；基于所述待处理文本信息与所述候选相似文本信息的相似度，确定与所述待处理文本信息相匹配的答复语句。由此，能够通过关联文本信息，确定关联文本信息语境类型，实现对待处理文本信息的处理效果更加准确，使得待处理文本信息的处理结果适用当前的使用场景，减少由于关联文本信息的缺失对所生成的答复语句的影响，减少万能回复，从而可以提升回复的匹配性和前瞻性，提高用户的使用体验。
[0152]
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。