文本检测模型的训练方法、文本检测方法及相关设备

本公开涉及数据处理，尤其涉及一种文本检测模型的训练方法、文本检测方法及相关设备。

背景技术：

1、随着人工智能的发展，人工智能在自然语言生成方面取得了巨大的进步。然而，人工智能生成的文本容易造成虚假信息、网络钓鱼、欺诈产品评论和学术不诚实等问题。

2、有鉴于此，如何准确地对输入的目标文本进行检测成为亟待解决的技术问题。

技术实现思路

1、有鉴于此，本公开的目的在于提出一种文本检测模型的训练方法、文本检测方法及相关设备用以解决或部分解决上述技术问题。

2、基于上述目的，本公开的第一方面提出了一种文本检测模型的训练方法，所述方法包括：

3、获取输入文本，基于所述输入文本中字符标记对应的实体类型标签以及字符标记所属实体提及的实体标识，对所述字符标记进行编码得到字符表示；

4、基于预训练语言模型对所述字符表示进行编码得到上下文表示；

5、基于提及级子图对所述上下文表示进行初始化得到初始提及节点，对所述初始提及节点进行更新得到更新提及节点，对所述初始提及节点和所述更新提及节点进行连接处理得到目标提及节点；

6、基于实体级子图中实体提及的数量对所述目标提及节点进行平均处理得到初始实体节点，对所述初始实体节点进行更新得到目标实体节点；

7、基于所述上下文表示、所述提及级子图中的第一全局节点和所述实体级子图中的第二全局节点得到损失函数；其中，所述损失函数为更新文本检测模型对应的损失函数，所述更新文本检测模型为原始文本检测模型中初始提及节点和初始实体节点进行更新后得到的模型；

8、响应于确定所述损失函数满足预设的损失函数条件，将所述更新文本检测模型作为目标文本检测模型。

9、基于同一个发明构思，本公开的第二方面提出了一种文本检测方法，包括：

10、获取目标文本，其中所述目标文本为进行文本检测的文本；

11、将所述目标文本输入至通过第一方面所述的训练方法得到的目标文本检测模型，得到文本检测结果；

12、其中，所述目标文本检测模型是对原始文本检测模型进行训练得到的。

13、基于同一个发明构思，本公开的第三方面提出了一种文本检测模型的训练装置，包括：

14、第一编码模块，被配置为获取输入文本，基于所述输入文本中字符标记对应的实体类型标签以及字符标记所属实体提及的实体标识，对所述字符标记进行编码得到字符表示；

15、第二编码模块，被配置为基于预训练语言模型对所述字符表示进行编码得到上下文表示；

16、目标提及节点确定模块，被配置为基于提及级子图对所述上下文表示进行初始化得到初始提及节点，对所述初始提及节点进行更新得到更新提及节点，对所述初始提及节点和所述更新提及节点进行连接处理得到目标提及节点；

17、目标实体节点确定模块，被配置为基于实体级子图中实体提及的数量对所述目标提及节点进行平均处理得到初始实体节点，对所述初始实体节点进行更新得到目标实体节点；

18、损失函数确定模块，被配置为基于所述上下文表示、所述提及级子图中的第一全局节点和所述实体级子图中的第二全局节点得到损失函数；其中，所述损失函数为更新文本检测模型对应的损失函数，所述更新文本检测模型为原始文本检测模型中初始提及节点和初始实体节点进行更新后得到的模型；

19、模型更新模块，被配置为响应于确定所述损失函数满足预设的损失函数条件，将所述更新文本检测模型作为目标文本检测模型。

20、基于同一发明构思，本公开的第四方面提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的方法。

21、基于同一发明构思，本公开的第五方面提出了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上所述的方法。

22、从上面所述可以看出，本公开提供的文本检测模型的训练方法、文本检测方法及相关设备。通过编码生成字符表示和上下文表示，将输入文本中的字符标记以及字符标记的上下文转化为可以进行处理的字符表示和上下文表示，以便后续对编码后的上下文表示进行处理。基于初始提及节点和更新提及节点得到的目标提及节点更加准确。通过对初始实体节点进行更新得到目标实体节点，使得生成的目标实体节点更加准确。目标提及节点中考虑了输入文本本身包含的内部证据，目标实体节点中考虑了输入文本外的知识图谱等其他资源的外部证据，这样，基于上下文表示、目标提及节点和目标实体节点得到的损失函数综合考虑了输入文本的内部证据和外部证据，使得确定的损失函数更加准确，从而基于损失函数更新得到的目标文本检测模型更加准确，以便基于目标文本检测模型准确地对输入的目标文本进行检测，准确地判断目标文本为人工智能生成的文本还是人为书写的文本。

技术特征：

1.一种文本检测模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述输入文本中字符标记对应的实体类型标签以及字符标记所属实体提及的实体标识，对所述字符标记进行编码得到字符表示，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于预训练语言模型对所述字符表示进行编码得到上下文表示，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于提及级子图对所述上下文表示进行初始化得到初始提及节点，对所述初始提及节点进行更新得到更新提及节点，对所述初始提及节点和所述更新提及节点进行连接处理得到目标提及节点，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于实体级子图中实体提及的数量对所述目标提及节点进行平均处理得到初始实体节点，对所述初始实体节点进行更新得到目标实体节点，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述上下文表示、所述提及级子图中的第一全局节点和所述实体级子图中的第二全局节点得到损失函数，包括：

7.一种文本检测方法，其特征在于，所述方法包括：

8.一种文本检测模型的训练装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至6任意一项所述的文本检测模型的训练方法或者权利要求7所述的文本检测方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至6任意一项所述的文本检测模型的训练方法或者权利要求7所述的文本检测方法。

技术总结
本公开提供一种文本检测模型的训练方法、文本检测方法及相关设备。所述文本检测模型的训练方法包括：获取输入文本，基于输入文本中字符标记对应的实体类型标签以及所属实体提及的实体标识，对字符标记进行编码得到字符表示；对字符表示进行编码得到上下文表示；对上下文表示进行初始化得到初始提及节点，对初始提及节点进行更新得到更新提及节点，对初始提及节点和更新提及节点进行连接处理得到目标提及节点；对目标提及节点进行平均处理得到初始实体节点，对初始实体节点进行更新得到目标实体节点；基于上下文表示、第一全局节点和第二全局节点得到损失函数；响应于损失函数满足预设的损失函数条件，将更新文本检测模型作为目标文本检测模型。

技术研发人员：王泉
受保护的技术使用者：北京邮电大学
技术研发日：
技术公布日：2024/3/5