敏感词的检测方法、装置、电子设备及存储介质与流程

本申请属于通信领域，具体涉及一种敏感词的检测方法、装置、电子设备及存储介质。

背景技术：

1、相关技术中，服务器在接收到客户端发送的消息时，需要对消息中的违规词汇进行校验，若上述消息中存在违规词汇，则对违规词汇进行替换或删除。而相关技术中的违规词汇均是采用事先设定的敏感词汇或引导消费词汇。

2、但是事先设定的违规词汇一经确定便很难再更改，而消息中的词汇又随着网络信息的传播在进行快速演变，这样相关技术中的违规词汇在使用过程中很容易失去及时性，从而无法对消息中的违规词汇进行全面拦截。

技术实现思路

1、本申请实施例提供一种敏感词的检测方法、装置、电子设备及存储介质，能够解决相关技术中的违规词汇无法被有效拦截的问题。

2、第一方面，本申请实施例提供了一种敏感词的检测方法，该方法包括：接收第一用户对应的第一终端所发送的针对第一信息的举报消息，其中所述举报消息中包括所述第一信息，且所述第一信息中标注有由所述第一用户所指定的敏感信息；根据所述敏感信息中的第一关键词，从预先设置的第一数据库中获取预先存储的与所述第一关键词相匹配的至少一个已举报信息，其中所述第一数据库用于存储举报成功后的信息；若所述至少一个已举报信息的数量与所述第一数据库中所存储的所有信息的数量的比值大于第一预设阈值，则确定举报成功并将所述第一关键词确定为目标敏感词；将所述目标敏感词保存至预先设置的第二数据库，得到更新后的第二数据库；根据所述更新后的第二数据库对接收到的待处理消息进行敏感词检测操作。

3、第二方面，本申请实施例提供了一种敏感词的检测装置，该装置包括：接收模块，用于接收第一用户对应的第一终端所发送的针对第一信息的举报消息，其中所述举报消息中包括所述第一信息，且所述第一信息中标注有由所述第一用户所指定的敏感信息；获取模块，用于根据所述敏感信息中的第一关键词，从预先设置的第一数据库中获取预先存储的与所述第一关键词相匹配的至少一个已举报信息，其中所述第一数据库用于存储举报成功后的信息；确定模块，用于若所述至少一个已举报信息的数量与所述第一数据库中所存储的所有信息的数量的比值大于第一预设阈值，则确定举报成功并将所述第一关键词确定为目标敏感词；保存模块，用于将所述目标敏感词保存至预先设置的第二数据库，得到更新后的第二数据库；检测模块，用于根据所述更新后的第二数据库对接收到的待处理消息进行敏感词检测操作。

4、第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

5、第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

6、第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

7、在本申请实施例中，通过接收第一用户对应的第一终端所发送的针对第一信息的举报消息，其中所述举报消息中包括所述第一信息，且所述第一信息中标注有由所述第一用户所指定的敏感信息；根据所述敏感信息中的第一关键词，从预先设置的第一数据库中获取预先存储的与所述第一关键词相匹配的至少一个已举报信息，其中所述第一数据库用于存储举报成功后的信息；若所述至少一个已举报信息的数量与所述第一数据库中所存储的所有信息的数量的比值大于第一预设阈值，则确定举报成功并将所述第一关键词确定为目标敏感词；将所述目标敏感词保存至预先设置的第二数据库，得到更新后的第二数据库；根据所述更新后的第二数据库对接收到的待处理消息进行敏感词检测操作，可以使得在利用第二数据库对接收到的待处理消息进行敏感词检测操作时，可以避免第二数据中的敏感词汇由于是在使用前已经预先设定完整，导致其在使用过程中很容易失去及时性，消息中的违规词汇(敏感词)无法被有效拦截的问题。

技术特征：

1.一种敏感词的检测方法，其特征在于，包括：

2.根据权利要求1所述的敏感词的检测方法，其特征在于，所述接收第一用户对应的第一终端所发送的针对第一信息的举报消息之前，还包括：

3.根据权利要求2所述的敏感词的检测方法，其特征在于，在所述接收第二用户对应的第二终端所发送的第二信息之后，还包括：

4.根据权利要求3所述的敏感词的检测方法，其特征在于，所述将所述第二关键词确定为第一敏感词，并将所述第二信息确定为第一敏感信息，包括：

5.根据权利要求4所述的敏感词的检测方法，其特征在于，所述确定所述第三关键词对应的情绪属性，包括：

6.根据权利要求1所述的敏感词的检测方法，其特征在于，所述第二数据库中的敏感词为自互联网中获取的敏感词，其中，所述敏感词包括恶意词汇和/或引导消费词汇。

7.一种敏感词的检测装置，其特征在于，包括：

8.根据权利要求7所述的敏感词的检测装置，其特征在于，所述接收模块还用于：

9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的敏感词的检测方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-6任一项所述的敏感词的检测方法的步骤。

技术总结
本申请公开了一种敏感词的检测方法、装置、电子设备及存储介质，属于通信领域，解决了相关技术中的违规词汇无法被有效拦截的问题。所述方法包括：接收第一用户对应的第一终端所发送的针对第一信息的举报消息；根据所述敏感信息中的第一关键词，从预先设置的第一数据库中获取预先存储的与所述第一关键词相匹配的至少一个已举报信息；若所述至少一个已举报信息的数量与所述第一数据库中所存储的所有信息的数量的比值大于第一预设阈值，则确定举报成功并将所述第一关键词确定为目标敏感词；将所述目标敏感词保存至预先设置的第二数据库，得到更新后的第二数据库；根据所述更新后的第二数据库对接收到的待处理消息进行敏感词检测操作。

技术研发人员：刘娟,谢新标,宋睿,班正波,秦志超,董宇
受保护的技术使用者：中国移动通信集团贵州有限公司
技术研发日：
技术公布日：2024/1/16