聊天数据的审核方法、装置、电子设备和可读存储介质与流程

本申请涉及审核，具体涉及一种聊天数据的审核方法、装置、电子设备和计算机可读存储介质。

背景技术：

1、在互联网的浪潮下，聊天机器人在人们生活中的应用越来越广泛，例如应用在群聊场景中，而目前针对聊天机器人在群聊场景中与其他人的聊天数据，只能通过人工的方式进行安全审核，从而需花费较长的时间，以及耗费巨大的人力成本，进而导致针对聊天数据的审核效率较低。

技术实现思路

1、本申请实施例提供一种聊天数据的审核方法、装置、电子设备和计算机可读存储介质，可以提升针对聊天数据的审核效率。

2、第一方面，本申请实施例提供一种聊天数据的审核方法，上述方法包括：

3、获取聊天机器人所处的目标群组中的多条聊天数据；

4、基于预设的分类模型，对位于上述聊天数据中的开始位置的数据段进行违规预测，并依次将上述聊天数据中的未参与预测的数据段加入已参与预测的数据段中进行违规预测，直至上述聊天数据中不存在未参与预测的数据段时，得到上述聊天数据对应的至少两个审核结果；

5、基于上述聊天数据对应的至少两个上述审核结果，确定上述聊天数据的目标审核结果。

6、第二方面，本申请实施例还提供一种聊天数据的审核装置，上述装置包括：

7、数据获取模块，用于获取聊天机器人所处的目标群组中的多条聊天数据；

8、预测模块，用于基于预设的分类模型，对位于上述聊天数据中的开始位置的数据段进行违规预测，并依次将上述聊天数据中的未参与预测的数据段加入已参与预测的数据段中进行违规预测，直至上述聊天数据中不存在未参与预测的数据段时，得到上述聊天数据对应的至少两个审核结果；

9、结果确定模块，用于基于上述聊天数据对应的至少两个上述审核结果，确定上述聊天数据的目标审核结果。

10、第三方面，本申请实施例还提供一种电子设备，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本申请实施例所提供的任一种聊天数据的审核方法中的步骤。

11、第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种聊天数据的审核方法中的步骤。

12、本申请实施例中通过获取聊天机器人所处的目标群组中的多条聊天数据，以针对目标群组中的多条聊天数据进行安全审核。然后，通过基于预设的分类模型，对位于上述聊天数据中的开始位置的数据段进行违规预测，并依次将上述聊天数据中的未参与预测的数据段加入已参与预测的数据段中进行违规预测，直至上述聊天数据中不存在未参与预测的数据段时，得到上述聊天数据对应的至少两个审核结果。最后，通过基于上述聊天数据对应的至少两个上述审核结果，确定上述聊天数据的目标审核结果，从而通过多步对聊天数据中的不同数据段进行违规检测，在保证审核的准确率的同时，避免了人工审核带来的审核时间较长，以及人力成本较大的问题，提升了针对聊天数据的审核效率。

技术特征：

1.一种聊天数据的审核方法，其特征在于，所述方法包括：

2.如权利要求1所述的聊天数据的审核方法，其特征在于，所述基于所述聊天数据对应的至少两个所述审核结果，确定所述聊天数据的目标审核结果，包括：

3.如权利要求2所述的聊天数据的审核方法，其特征在于，所述审核结果包括违规概率和不违规概率，所述基于所述聊天数据对应的至少两个所述审核结果，以及每一所述审核结果对应的权重，确定所述聊天数据的目标审核结果，包括：

4.如权利要求3所述的聊天数据的审核方法，其特征在于，在确定对至少两个所述违规概率进行加权处理后的至少两个目标违规概率之后，还包括：

5.如权利要求1所述的聊天数据的审核方法，其特征在于，在基于预设的分类模型，对位于所述聊天数据中的开始位置的数据段进行违规预测之前，还包括：

6.如权利要求5所述的聊天数据的审核方法，其特征在于，所述生成模型包括gpt(generative pre-training)模型。

7.如权利要求1至6任一项所述的聊天数据的审核方法，其特征在于，所述聊天数据包括所述聊天机器人基于用户输入的聊天数据自动生成的目标聊天数据，在确定所述聊天数据的目标审核结果之后，还包括：

8.一种聊天数据的审核装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1至7任一项所述的聊天数据的审核方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的聊天数据的审核方法中的步骤。

技术总结
本申请公开了一种聊天数据的审核方法、装置、电子设备和计算机可读存储介质，本申请实施例通过获取聊天机器人所处的目标群组中的多条聊天数据；基于预设的分类模型，对位于聊天数据中的开始位置的数据段进行违规预测，并依次将聊天数据中的未参与预测的数据段加入已参与预测的数据段中进行违规预测，直至聊天数据中不存在未参与预测的数据段时，得到聊天数据对应的至少两个审核结果；基于聊天数据对应的至少两个审核结果，确定聊天数据的目标审核结果。本申请实施例可以提升针对聊天数据的审核效率。

技术研发人员：汪自力
受保护的技术使用者：小红书科技有限公司
技术研发日：
技术公布日：2024/2/19