命名实体识别方法、装置及设备与流程

本申请涉及计算机，具体地涉及一种命名实体识别方法、装置及设备。

背景技术：

1、在自然语言处理领域，旅游评论数据中的命名实体识别问题备受关注。旅游评论数据中通常包含了丰富的实体信息，如地理位置、餐馆、景点等，准确地识别这些实体对于旅游行业和信息提供商至关重要。然而，旅游评论数据具有多样性，并且可能伴随随机噪声，这使得传统的命名实体识别方法难以实现高准确性的识别。此外，评论数据中包含大量泛化实体，如“沙滩”或“酒店”，它们属于旅游相关的实体，但并不提供具体的信息，从后续信息利用的角度来看，它们显得多余。

2、目前一种常见的方法是使用预训练语言表征模型（bidirectional encoderrepresentation from transformers，bert）来进行文本嵌入，接着使用双向长短时记忆网络（long short-term memory，lstm）来提取和总结上下文信息，最后采用条件随机场（conditional random field，crf）算法来执行命名实体识别。然而，深度学习模型对训练数据的数量和质量要求较高，标注训练数据需要耗费大量人工成本。此外，在旅游领域中，尚未建立一套高效完备的命名实体识别流程，现有的方法也未能有效区分泛化实体和包含实际信息的非泛化实体，这导致最终的结果难以直接用于后续任务。

技术实现思路

1、有鉴于此，本申请提供一种命名实体识别方法、装置及设备，以利于解决现有技术中识别后的数据中包含大量泛化实体的问题。

2、第一方面，本申请实施例提供了一种命名实体识别方法，包括：

3、基于通用模型对待识别数据进行识别处理，得到初始预测数据；

4、基于第n深度学习模型对所述待识别数据进行识别处理，得到第n预测数据，所述第n深度学习模型由初始模型基于第n训练数据训练所得到，n为正整数；

5、根据所述初始预测数据和所述第n预测数据确定第n+1训练数据；

6、基于所述第n+1训练数据对所述初始模型训练，得到第n+1深度学习模型，所述第n+1深度学习模型用于实体识别处理。

7、一种可选的实施例中，所述基于通用模型对待识别数据进行识别处理，得到初始预测数据之后，所述方法还包括：

8、响应于用户的选择操作，在所述初始预测数据中确定初始泛化词表；

9、基于所述初始泛化词表在所述初始预测数据中进行筛选，得到第1训练数据，其中，所述第1训练数据用于对所述初始模型进行训练，得到第1深度学习模型。

10、一种可选的实施例中，所述根据所述初始预测数据和所述第n预测数据确定第n+1训练数据，包括：

11、确定所述初始预测数据和所述第n预测数据之间的第n差异数据；

12、响应于用户的选择操作，在所述第n差异数据中确定第n泛化词表；

13、基于所述第n泛化词表对所述初始预测数据进行筛选，得到所述第n+1训练数据。

14、一种可选的实施例中，所述确定所述初始预测数据和所述第n预测数据之间的第n差异数据，包括：

15、将所述初始预测数据与所述第n预测数据相减，得到所述第n差异数据。

16、一种可选的实施例中，所述第n+1训练数据中所包含的非泛化实体的个数大于所述第n预测数据中所包含的非泛化实体的个数。

17、一种可选的实施例中，所述第n+1训练数据中所包含的泛化实体的个数大于所述第n训练数据中所包含的泛化实体的个数。

18、一种可选的实施例中，所述基于通用模型对待识别数据进行识别处理，得到初始预测数据之前，所述方法还包括：

19、获取评论数据；

20、基于用户评分和数据长度对所述评论数据进行排序；

21、按排列顺序均匀提取预设数量的评论数据，得到所述待识别数据。

22、第二方面，本申请实施例提供了一种命名实体识别装置，包括：

23、处理模块，用于基于通用模型对待识别数据进行识别处理，得到初始预测数据；

24、所述处理模块，还用于基于第n深度学习模型对所述待识别数据进行识别处理，得到第n预测数据，所述第n深度学习模型由初始模型基于第n训练数据训练所得到，n为正整数；

25、确定模块，用于根据所述初始预测数据和所述第n预测数据确定第n+1训练数据；

26、训练模块，用于基于所述第n+1训练数据对所述初始模型训练，得到第n+1深度学习模型，所述第n+1深度学习模型用于实体识别处理。

27、第三方面，本申请实施例提供了一种电子设备，包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被所述处理器执行时，触发所述电子设备执行上述第一方面任一项所述的方法。

28、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行第一方面任一项所述的方法。

29、第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行第一方面任一项所述的方法。

30、采用本申请实施例所提供的方案，先基于通用模型对待识别数据进行识别处理，得到初始预测数据，基于第n深度学习模型对待识别数据进行识别处理，得到第n预测数据，第n深度学习模型由初始模型基于第n训练数据训练所得到，n为正整数；然后根据初始预测数据和第n预测数据确定第n+1训练数据；基于第n+1训练数据对初始模型训练，得到第n+1深度学习模型，第n+1深度学习模型用于对待识别数据进行识别处理。本申请实施例中，通过多次迭代不断更新训练数据，每次更新后训练数据所包含的泛化实体减少，以此训练数据对初始模型进行训练所得到的训练模型在预测时能够更好的去除泛化实体。

技术特征：

1.一种命名实体识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于通用模型对待识别数据进行识别处理，得到初始预测数据之后，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述初始预测数据和所述第n预测数据确定第n+1训练数据，包括：

4.根据权利要求1至3任一项所述的方法，其特征在于，所述确定所述初始预测数据和所述第n预测数据之间的第n差异数据，包括：

5.根据权利要求1至3任一项所述的方法，其特征在于，所述第n+1训练数据中所包含的非泛化实体的个数大于所述第n预测数据中所包含的非泛化实体的个数。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述第n+1训练数据中所包含的泛化实体的个数大于所述第n训练数据中所包含的泛化实体的个数。

7.根据权利要求1所述的方法，其特征在于，所述基于通用模型对待识别数据进行识别处理，得到初始预测数据之前，所述方法还包括：

8.一种命名实体识别装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被所述处理器执行时，使所述电子设备执行权利要求1至7任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的方法。

技术总结
本申请实施例提供的一种命名实体识别方法、装置及设备，先基于通用模型对待识别数据进行识别处理，得到初始预测数据，基于第N深度学习模型对待识别数据进行识别处理，得到第N预测数据，第N深度学习模型由初始模型基于第N训练数据训练所得到，N为正整数；然后根据初始预测数据和第N预测数据确定第N+1训练数据；基于第N+1训练数据对初始模型训练，得到第N+1深度学习模型，第N+1深度学习模型用于对待识别数据进行识别处理。本申请实施例中，通过多次迭代不断更新训练数据，每次更新后训练数据所包含的泛化实体减少，以此训练数据对初始模型进行训练所得到的训练模型在客体识别时能够更好的去除泛化实体。

技术研发人员：陈德坤,姜进华,陈冠英,杨学平,崔曙光,熊小康
受保护的技术使用者：深圳市客路网络科技有限公司
技术研发日：
技术公布日：2024/2/21