敏感词识别方法、装置、电子设备及存储介质与流程

文档序号:30656307发布日期:2022-07-06 00:58阅读:来源:国知局

技术特征:
1.一种敏感词识别方法,其特征在于,包括:从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串,其中,所述预设编码库中存储有具有映射关系的多个词与字符串;对所述第一字符串和所述第二字符串分别进行预处理,得到所述待识别词的第一字符向量和所述敏感样本词的第二字符向量;计算所述第一字符向量和所述第二字符向量的余弦相似度;根据计算结果,确定所述待识别词是否为敏感词。2.根据权利要求1所述的敏感词识别方法,其特征在于,对所述第一字符串和所述第二字符串进行预处理,得到所述待识别词的第一字符向量和所述敏感样本词的第二字符向量,包括:对所述第一字符串和所述第二字符串进行合并与去重处理,得到特征字符串;利用所述特征字符串对所述第一字符串和第二字符串进行向量化处理,得到所述待识别词的第一字符向量和所述敏感样本词的第二字符向量。3.根据权利要求2所述的敏感词识别方法,其特征在于,利用所述特征字符串对所述第一字符串和第二字符串进行向量化处理,得到所述待识别词的第一字符向量和所述敏感样本词的第二字符向量,包括:利用所述特征字符串中的每个字符在所述第一字符串进行遍历查找,若在所述第一字符串查找到所述特征字符串中的字符,记为1,否则记为0,得到所述待识别词的第一字符向量;利用所述特征字符串中的每个字符在所述第二字符串进行遍历查找,若在所述第二字符串查找到所述特征字符串中的字符,记为1,否则记为0,得到所述敏感样本词的第二字符向量。4.根据权利要求1所述的敏感词识别方法,其特征在于,在从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串之前,所述方法还包括:根据所述待识别词,从所述预设编码库中获取所述待识别词对应的敏感样本词,其中,所述预设编码库还存储有多个具有映射关系的敏感词和敏感词的变形词,所述待识别词属于敏感词的变形词,敏感词的变形词为与敏感词形近或对敏感词进行拆分组合后的词,所述敏感样本词属于敏感词。5.根据权利要求1所述的敏感词识别方法,其特征在于,通过以下公式计算所述第一字符向量和所述第二字符向量的余弦相似度:其中,为第一字符向量,为第二字符向量,n为第一字符向量和第二字符向量中元素的个数,为正整数,similar(p,q)为第一字符向量和第二字符向量的目标相似度,i为元素序号。6.根据权利要求5所述的敏感词识别方法,其特征在于,根据计算结果,确定所述待识
别词是否为敏感词,包括:若所述目标相似度大于或等于所述预设相似度阈值,则确定所述待识别词为敏感词;若所述目标相似度小于所述所述预设相似度阈值,则确定所述待识别词为非敏感词。7.根据权利要求1所述的敏感词识别方法,其特征在于,所述方法还包括:获取多组样本词;根据五笔编码规则生成每组样本词对应的字符串;根据所述多组样本词和对应的字符串,生成映射表;将所述映射表存储至所述预设编码库中。8.一种敏感词识别装置,其特征在于,包括:字符串获取模块,用于从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串,其中,所述预设编码库中存储有具有映射关系的多个词与字符串;预处理模块,用于对所述第一字符串和所述第二字符串进行预处理,得到所述待识别词的第一字符向量和所述敏感样本词的第二字符向量;相似度计算模块,用于计算所述第一字符向量和所述第二字符向量的余弦相似度;结果确定模块,用于根据计算结果,确定所述待识别词是否为敏感词。9.一种电子设备,其特征在于,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1~7中任意一项所述敏感词识别方法。10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~7中任意一项所述的敏感词识别方法。

技术总结
本公开提供了一种敏感词识别方法、装置、电子设备及存储介质,其中,敏感词识别方法包括:从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串;对第一字符串和第二字符串分别进行预处理,得到待识别词的第一字符向量和敏感样本词的第二字符向量;计算第一字符向量和第二字符向量的余弦相似度;根据计算结果,确定待识别词是否为敏感词。本公开通过获取与待识别词和敏感样本词有映射关系的第一字符串和第二字符串,对第一字符串和第二字符串向量化处理,计算第一字符向量和第二字符向量的余弦相似度,根据得到的余弦相似度确定待识别词是否为敏感词,提高了敏感词识别的准确率和效率。了敏感词识别的准确率和效率。了敏感词识别的准确率和效率。


技术研发人员:马兆铭 王铮 任华 杨迪 汪少敏
受保护的技术使用者:中国电信股份有限公司
技术研发日:2022.01.25
技术公布日:2022/7/5
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1