敏感词识别方法、装置、电子设备及存储介质与流程

1.本公开涉及网络信息识别技术领域，尤其涉及一种敏感词识别方法、装置、电子设备及存储介质。


背景技术：

2.随着通信网络的发展，人们可以自由的在网络上发表言论，随之也出现的一些恶意用户发表的不良信息。为了躲避网络平台的审查，恶意用户发布不良信息的手段变得多样、形式也变得复杂，如使用拆分字或形近字表示对应的敏感词，这种发布不良信息的方式不但增加了网络平台对敏感词过滤的难度，甚至会造成不良信息的泄露或需要人工进行二次复检。
3.现有技术通常采用区位编码和kmp算法(由d.e.knuth，j.h.morris 和v.r.pratt提出的一种改进的字符串匹配算法)来解决汉字拆分体问题，该方法需对敏感词进行拆分、穷举组合，增加了预处理的复杂度，该方法对包含正常字体的拆分字组合无法进行精确匹配，抗干扰能力较弱。
4.基于此，如何提高敏感词识别的准确率和效率成为了亟需解决的技术问题。
5.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

6.本公开提供一种敏感词识别方法、装置、电子设备及存储介质，至少在一定程度上克服相关技术中敏感词识别的准确率低和效率低的问题。
7.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
8.根据本公开的一个方面，提供一种敏感词识别方法，包括：从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串，其中，所述预设编码库中存储有具有映射关系的多个词与字符串；对所述第一字符串和所述第二字符串分别进行预处理，得到所述待识别词的第一字符向量和所述敏感样本词的第二字符向量；计算所述第一字符向量和所述第二字符向量的余弦相似度；根据计算结果，确定所述待识别词是否为敏感词。
9.在本公开的一个实施例中，对所述第一字符串和所述第二字符串进行预处理，得到所述待识别词的第一字符向量和所述敏感样本词的第二字符向量，包括：对所述第一字符串和所述第二字符串进行合并与去重处理，得到特征字符串；利用所述特征字符串对所述第一字符串和第二字符串进行向量化处理，得到所述待识别词的第一字符向量和所述敏感样本词的第二字符向量。
10.在本公开的一个实施例中，利用所述特征字符串对所述第一字符串和第二字符串进行向量化处理，得到所述待识别词的第一字符向量和所述敏感样本词的第二字符向量，
包括：利用所述特征字符串中的每个字符在所述第一字符串进行遍历查找，若在所述第一字符串查找到所述特征字符串中的字符，记为1，否则记为0，得到所述待识别词的第一字符向量；利用所述特征字符串中的每个字符在所述第二字符串进行遍历查找，若在所述第二字符串查找到所述特征字符串中的字符，记为1，否则记为0，得到所述敏感样本词的第二字符向量。
11.在本公开的一个实施例中，在从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串之前，所述方法还包括：根据所述待识别词，从所述预设编码库中获取所述待识别词对应的敏感样本词，其中，所述预设编码库还存储有多个具有映射关系的敏感词和敏感词的变形词，所述待识别词属于敏感词的变形词，敏感词的变形词为与敏感词形近或对敏感词进行拆分组合后的词，所述敏感样本词属于敏感词。
12.在本公开的一个实施例中，通过以下公式计算所述第一字符向量和所述第二字符向量的余弦相似度：
[0013][0014]
其中，为第一字符向量，为第二字符向量，n为第一字符向量和第二字符向量中元素的个数，为正整数，similar(p,q)为第一字符向量和第二字符向量的目标相似度，i为元素序号。
[0015]
在本公开的一个实施例中，根据计算结果，确定所述待识别词是否为敏感词，包括：若所述目标相似度大于或等于所述预设相似度阈值，则确定所述待识别词为敏感词；若所述目标相似度小于所述所述预设相似度阈值，则确定所述待识别词为非敏感词。
[0016]
在本公开的一个实施例中，所述方法还包括：获取多组样本词；根据五笔编码规则生成每组样本词对应的字符串；根据所述多组样本词和对应的字符串，生成映射表；将所述映射表存储至所述预设编码库中。
[0017]
根据本公开的另一个方面，提供一种敏感词识别装置，包括：字符串获取模块，用于从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串，其中，所述预设编码库中存储有具有映射关系的多个词与字符串；预处理模块，用于对所述第一字符串和所述第二字符串进行预处理，得到所述待识别词的第一字符向量和所述敏感样本词的第二字符向量；相似度计算模块，用于计算所述第一字符向量和所述第二字符向量的余弦相似度；结果确定模块，用于根据计算结果，确定所述待识别词是否为敏感词。
[0018]
在本公开的一个实施例中，上述预处理模块还用于对所述第一字符串和所述第二字符串进行合并与去重处理，得到特征字符串；利用所述特征字符串对所述第一字符串和第二字符串进行向量化处理，得到所述待识别词的第一字符向量和所述敏感样本词的第二字符向量。
[0019]
在本公开的一个实施例中，上述预处理模块还用于利用所述特征字符串中的每个字符在所述第一字符串进行遍历查找，若在所述第一字符串查找到所述特征字符串中的字符，记为1，否则记为0，得到所述待识别词的第一字符向量；利用所述特征字符串中的每个
字符在所述第二字符串进行遍历查找，若在所述第二字符串查找到所述特征字符串中的字符，记为1，否则记为0，得到所述敏感样本词的第二字符向量。
[0020]
在本公开的一个实施例中，上述装置还包括样本词获取模块，该样本词获取模块用于在从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串之前，根据所述待识别词，从所述预设编码库中获取所述待识别词对应的敏感样本词，其中，所述预设编码库还存储有多个具有映射关系的敏感词和敏感词的变形词，所述待识别词属于敏感词的变形词，敏感词的变形词为与敏感词形近或对敏感词进行拆分组合后的词，所述敏感样本词属于敏感词。
[0021]
在本公开的一个实施例中，上述预处理模块通过以下公式计算所述第一字符向量和所述第二字符向量的余弦相似度：
[0022][0023]
其中，为第一字符向量，为第二字符向量，n为第一字符向量和第二字符向量中元素的个数，为正整数，similar(p,q)为第一字符向量和第二字符向量的目标相似度，i为元素序号。
[0024]
在本公开的一个实施例中，上述结果确定模块还用于若所述目标相似度大于或等于所述预设相似度阈值，则确定所述待识别词为敏感词；若所述目标相似度小于所述所述预设相似度阈值，则确定所述待识别词为非敏感词。
[0025]
在本公开的一个实施例中，上述装置还包括映射表存储模块，该映射表存储模块用于获取多组样本词；根据五笔编码规则生成每组样本词对应的字符串；根据所述多组样本词和对应的字符串，生成映射表；将所述映射表存储至所述预设编码库中。
[0026]
根据本公开的再一个方面，提供一种如电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的敏感词识别方法。
[0027]
根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的敏感词识别方法。
[0028]
本公开的实施例所提供的一种敏感词识别方法、装置、电子设备及存储介质，通过获取与待识别词和敏感样本词有映射关系的第一字符串和第二字符串，对第一字符串和第二字符串向量化处理，计算第一字符向量和第二字符向量的余弦相似度，根据得到的余弦相似度确定待识别词是否为敏感词，提高了敏感词识别的准确率和效率。
[0029]
进一步，在从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串之前，根据待识别词，从预设编码库中获取待识别词对应的敏感样本词，其中，预设编码库还存储有多个具有映射关系的敏感词和敏感词的变形词，待识别词属于敏感词的变形词，敏感词的变形词为与敏感词形近或对敏感词进行拆分组合后的词，敏感样本词属于敏感词。本公开通过从预设编码库汇总获取与待识别词具有映射关系的敏感样本词，降低了现有技术采用区位编码和kmp匹配算法对敏感词进行拆分、穷举组合的复杂度，
使得拆分字和组合字可以精确匹配，提高了抗干扰能力。
[0030]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0031]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]
图1示出本公开实施例中一种敏感词匹配方法的示意图；
[0033]
图2示出本公开实施例中一种敏感词识别方法的流程图；
[0034]
图3示出本公开实施例中另一种敏感词识别方法的流程图；
[0035]
图4示出本公开实施例中另一种敏感词识别方法的流程图；
[0036]
图5示出本公开实施例中另一种敏感词识别方法的流程图；
[0037]
图6示出本公开实施例中另一种敏感词识别方法的流程图；
[0038]
图7示出本公开实施例中又一种敏感词识别方法的示意图；
[0039]
图8示出本公开实施例中一种敏感词识别装置示意图；和
[0040]
图9示出本公开实施例中一种电子设备的结构框图。
具体实施方式
[0041]
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
[0042]
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0043]
正如背景技术中所提到的，近年不良信息发生了很大的变化，为了躲避网络平台的审查，恶意用户发布不良信息的手段变得多样、形式也变得复杂。尤其是中文敏感词的变形体，比如：不良词汇“贩毒”，可以被写成“饭毒”、“贝反毒”或者“贝反丰母”等形近和拆分变形字体组合，这些网络平台无法识别但又不影响用户阅读和理解的敏感词变形字体组合的出现，大大增加了敏感词过滤的难度，往往会造成不良信息的漏检或者需要人工进行二次复检。
[0044]
现有技术通常采用区位编码和kmp匹配算法来解决汉字拆分体问题，参见图1所示的一种敏感词匹配方法的示意图，该敏感词匹配方法包括如下步骤：
[0045]
将敏感词样本库中的敏感词样本字体和待测文本进行汉字拆分：按照汉字上下、左右、内外、框架等规则来拆分，得到疑似敏感词和拆分敏感词；
[0046]
对上述疑似敏感词和拆分敏感词进行区位码编码转换：按照标准汉字编码字符集，分别将有疑似敏感词的文本和汉字拆分敏感词转换为相应的汉字区位码s和a；
[0047]
采用模式匹配算法进行匹配：将样本敏感词的字体拆分区位码a与疑似敏感词的字体拆分区位码s左对齐，然后将a向右逐位移动，并与s 进行比较，直到a与s中的区位码相等时，则匹配成功，其中模式匹配算法为kmp匹配算法。
[0048]
发明人对现有技术进行分析，发现现有技术存在以下几个问题：
[0049]
1.现有技术需要对现有敏感词样本进行汉字拆分和穷举组合，增加了预处理的复杂度。
[0050]
2.区位码逐位比较的匹配方法计算量较高，如果待检测词为较长的词组，计算复杂度会增加，匹配的效率较低。
[0051]
3.该方法使用区位码进行逐位匹配，属于精确匹配法，若疑似敏感词内加入一定扰动，比如混入部分正常敏感词，则无法成功匹配，因此，现有技术抗干扰能力较弱。
[0052]
基于此，本公开提供了一种敏感词识别方法、装置、电子设备及存储介质，旨在解决现有技术存在的以上几个技术问题，通过获取与待识别词和敏感样本词有映射关系的第一字符串和第二字符串，对第一字符串和第二字符串向量化处理，得到第一字符向量和第二字符向量，并计算第一字符向量和第二字符向量的余弦相似度，根据得到的余弦相似度确定待识别词是否为敏感词，提高了敏感词识别的准确率和效率。同时，无需预先对现有敏感词样本做拆分和穷举组合处理，即可在现有敏感词基础上实现拆分字体敏感词的扩展性识别，具有较好的鲁棒性和抗干扰性。
[0053]
下面结合附图及实施例对本示例实施方式进行详细说明。
[0054]
首先，本公开实施例中提供了一种敏感词识别方法，该方法可以由任意具备计算处理能力的电子设备执行。
[0055]
图2示出本公开实施例中一种敏感词识别方法流程图，如图1所示，本公开实施例中提供的敏感词识别方法包括如下步骤：
[0056]
s202，从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串，其中，预设编码库中存储有具有映射关系的多个词与字符串；
[0057]
该步骤中，待识别词可以为敏感词的拆分词、形近词或同音词，敏感样本词为与待识别词对应的组合词，比如敏感样本词为“贩毒”，待识别词可以是“饭毒”、“贝反毒”或者“贝反丰母”等形近和拆分变形字体组合。预设编码库中存储有具有映射关系的多个词与字符串，映射关系可以是五笔编码规则，生成汉字所对应的字符串，将所有汉字和该汉字对应的字符串存储预设编码库中，根据每个汉字与字符串的对应关系，从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串。
[0058]
s204，对第一字符串和第二字符串分别进行预处理，得到待识别词的第一字符向量和敏感样本词的第二字符向量；
[0059]
该步骤中，可以对第一字符串和第二字符串进行处理得到特征字符串，在利用特征字符串分别对第一字符和第二字符串进行处理，得到待识别词的第一字符向量和敏感样本词的第二字符向量。
[0060]
s206，计算第一字符向量和第二字符向量的余弦相似度；
[0061]
该步骤中，根据余弦定理计算第一字符向量和第二字符向量之间的余弦相似度，
其中，余弦相似度是通过两个向量夹角的余弦值来衡量两者之间的相似性，0度角的余弦值是1，而其他任何角度的余弦值都不大于1；并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值为1；两个向量夹角为90
°
时，余弦相似度的值为0；两个向量指向完全相反的方向时，余弦相似度的值为-1。
[0062]
s208，根据计算结果，确定待识别词是否为敏感词。
[0063]
该步骤中，计算第一字符向量和第二字符向量的余弦相似度，得到目标相似度，目标相似度反应的待识别词与敏感样本词之间的相似程度，且数值越大表示相似程度越高，可以设置一个相似度阈值，比较目标相似度与相似度阈值的大小，从而确定待识别词是否为敏感词。
[0064]
本公开提供的敏感词识别方法，通过获取与待识别词和敏感样本词有映射关系的第一字符串和第二字符串，对第一字符串和第二字符串向量化处理，得到第一字符向量和第二字符向量，并计算第一字符向量和第二字符向量的余弦相似度，根据得到的余弦相似度确定待识别词是否为敏感词，提高了敏感词识别的准确率和效率。
[0065]
在本公开的一个实施例中，可以通过图3中公开的步骤对第一字符串和第二字符串进行预处理，得到待识别词的第一字符向量和敏感样本词到的第二字符向量，参见图3所示的另一种敏感词识别方法的流程图，具体可以包括：
[0066]
s302，对第一字符串和第二字符串进行合并与去重处理，得到特征字符串；
[0067]
该步骤中，对第一字符串和第二字符串进行合并，比如，待识别词的第一字符串为“iyygfculgnhwxbaltn”，第二字符串为“ifcylwxnaln”，合并后的字符串为“iyygfculgnhwxbaltnifcylwxnaln”，对合并后的字符串进行去重处理，得到特征字符串“abcfghilntuwxy”。
[0068]
s304，利用特征字符串对第一字符串和第二字符串进行向量化处理，得到待识别词的第一字符向量和敏感样本词的第二字符向量。
[0069]
该步骤中，如接着对s302的描述，利用特征字符串“abcfghilntuwxy”对第一字符串“iyygfculgnhwxbaltn”和第二字符串“ifcylwxnaln”进行向量化处理，将特征字符串中的每个字符在第一字符串中进行查找，若找到相同的字,记为1，若未相同的字符记为0，如特征字符串中的字符a在第一字符串中进行查找，找到记为1，遍历查找结束后统计结果，得到待识别词的第一字符向量“11111111111111”，同样的，将特征字符串中的每个字符在第二字符串中进行查找，遍历查找结束后统计结果，得到敏感样本词的第二字符向量“10110011100111”。
[0070]
在本公开的一个实施例中，可以通过图4中公开的步骤对第一字符串和第二字符串进行向量化处理，得到待识别词的第一字符向量和敏感样本词的第二字符向量，参见图4所示的另一种敏感词识别方法的流程图，具体可以包括：
[0071]
s402，利用特征字符串中的每个字符在第一字符串进行遍历查找，若在第一字符串查找到特征字符串中的字符，记为1，否则记为0，得到待识别词的第一字符向量；
[0072]
s404，利用特征字符串中的每个字符在第二字符串进行遍历查找，若在第二字符串查找到特征字符串中的字符，记为1，否则记为0，得到敏感样本词的第二字符向量。
[0073]
需要说明的是，在进行遍历查找时，将特征字符串的每个字符在第一字符串中进
行查找，如果在第一字符串中查找到相同的字符，则记为1，否则记为0，在遍历查找结束后，统计查找结果，得到待识别词的第一字符向量在第二字符串中进行同样的遍历查找操作，得到敏感样本词的第二字符向量本公开通过将字符串转换成字符向量，使得可以根据向量之间的余弦相似度，判断待识别词与敏感样本词之间的关系，从而确定待识别词是否为敏感词。
[0074]
在本公开的一个实施例中，在从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串之前，还可以包括获取待识别词对应的敏感样本词的步骤，可以是根据待识别词，从预设编码库中获取待识别词对应的敏感样本词，其中，预设编码库还存储有多个具有映射关系的敏感词和敏感词的变形词，待识别词属于敏感词的变形词，敏感词的变形词为与敏感词形近或对敏感词进行拆分组合后的词，敏感样本词属于敏感词。
[0075]
本公开通过从预设编码库汇总获取与待识别词具有映射关系的敏感样本词，无需预先对现有敏感词样本做拆分和穷举组合处理，即可在现有敏感词基础上实现拆分字体敏感词的扩展性识别，降低了现有技术采用区位编码和kmp匹配算法对敏感词进行拆分、穷举组合的复杂度，使得拆分字和组合字可以精确匹配，提高了识别方法的抗干扰能力。
[0076]
在本公开的一个实施例中，可以通过以下公式计算第一字符向量和第二字符向量的余弦相似度：
[0077][0078]
其中，为第一字符向量，为第二字符向量，n为第一字符向量和第二字符向量中元素的个数，为正整数，similar(p,q)为第一字符向量和第二字符向量的目标相似度，i为元素序号。
[0079]
比如，第一字符串为“iyygfculgnhwxbaltn”，第二字符串为“ifcylwxnaln”，特征字符串“abcfghilntuwxy”，第一字符向量，第一字符向量第二字符向量利用上述公式计算第一字符向量和第二字符向量的预先相似度，n＝14，得到：
[0080][0081][0082]
similar(p,q)＝0.80
[0083]
通过计算得到待识别词和敏感样本词的字符向量相似度为0.80，这里，如果想要筛选词待识别词，可以设置预设相似度阈值小于0.80。
[0084]
在本公开的一个实施例中，可以通过图5中的步骤判断待识别词是否为敏感词，参
见图5所示的另一种敏感词识别方法的流程图，根据计算结果，确定待识别词是否为敏感词，可以包括：
[0085]
s502，若目标相似度大于或等于预设相似度阈值，则确定待识别词为敏感词；
[0086]
s504，若目标相似度小于预设相似度阈值，则确定待识别词为非敏感词。
[0087]
需要说明的是，上述预设相似度阈值可以是一个预先设置的阈值，例如，可以设置为0.9，如果想要提高筛选敏感词的精确度可以设置预设相似度阈值再高一些，如0.93、0.95或0.97等等，如果想要筛选的敏感词范围广泛一些，可以设置预设相似度阈值低一些，如0.85、0.8、0.75等等，本公开可以通过调整预设相似度阈值的大小，改变敏感词筛选的范围和精确程度。
[0088]
在本公开的一个实施例中，可以通过图6中公开的步骤，将多组样本词与字符串的映射关系存储至预设编码库中，参见图6所示的另一种敏感词识别方法的流程图，具体可以包括：
[0089]
s602，获取多组样本词；
[0090]
该步骤中，样本词即判定为敏感词的词语，敏感词可以是带有敏感政治倾向、暴力倾向、不健康色彩的词语或不文明用语，也可以是根据自身实际情况，设定的一些特殊敏感词，将这些可能为敏感词的词语作为样本词，并获取这些样本词。
[0091]
s604，根据五笔编码规则生成每组样本词对应的字符串；
[0092]
该步骤中，根据样本词的五笔编码规则生成该样本词对应的字符串，获取多组样本词中每个样本词对应的字符串。
[0093]
s606，根据多组样本词和对应的字符串，生成映射表；
[0094]
该步骤中，根据样本词和该样本词对应的字符串的一一对应关系，生成映射表。
[0095]
s608，将映射表存储至预设编码库中。
[0096]
通过上述实施例，可以从预设编码库中，直接获取与待识别词对应的第一字符串，和与敏感样本词对应的第二字符串，提高简化敏感词识别的流程，提高敏感词识别的效率。
[0097]
在本公开的一个实施例中，本公开还提供了又一种敏感词识别方法，参见图7所示的敏感词识别方法，在具体实施时，主要包括：
[0098]
五笔编码字符串映射：按照五笔字体编码规则集，分别将敏感词样本和疑似敏感词映射为相应的编码字符串，得到敏感词样本的合体字字符串和疑似敏感词的拆分字字符串，其中，敏感词样本为合体字，疑似敏感词为拆分字组合。
[0099]
特征字符串生成：将生成的两类字符串进行合并，再将合并后的字符串进行去重处理，以生成特征字符串；
[0100]
字符向量化：利用生成的特征字符串对合体字字符串和拆分字字符串分别进行向量化处理，以生成敏感词字符向量和疑似敏感词字符向量；
[0101]
余弦值的相似度计算：将生成的敏感词字符向量和疑似敏感词字符向量进行余弦相似度计算，得出两者的余弦相似度值；
[0102]
阈值判定：对相似度结果进行阈值判定，若大于阈值则判定疑似敏感词为敏感词，反之则否。
[0103]
本公开提供的又一种敏感词识别方法与上述敏感词识别方法解决的技术问题相同，且实现的技术效果相同，此处不在一一赘述。
[0104]
基于同一发明构思，本公开实施例中还提供了一种敏感词识别装置，如下面的实施例。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
[0105]
图8示出本公开实施例中一种敏感词识别装置示意图，如图8所示，该装置包括：
[0106]
字符串获取模块810，用于从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串，其中，预设编码库中存储有具有映射关系的多个词与字符串；
[0107]
预处理模块820，用于对第一字符串和第二字符串进行预处理，得到待识别词的第一字符向量和敏感样本词的第二字符向量；
[0108]
相似度计算模块830，用于计算第一字符向量和第二字符向量的余弦相似度；
[0109]
结果确定模块840，用于根据计算结果，确定待识别词是否为敏感词。
[0110]
在本公开的一个实施例中，上述预处理模块还用于对第一字符串和第二字符串进行合并与去重处理，得到特征字符串；利用特征字符串对第一字符串和第二字符串进行向量化处理，得到待识别词的第一字符向量和敏感样本词的第二字符向量。
[0111]
在本公开的一个实施例中，上述预处理模块还用于利用特征字符串中的每个字符在第一字符串进行遍历查找，若在第一字符串查找到特征字符串中的字符，记为1，否则记为0，得到待识别词的第一字符向量；利用特征字符串中的每个字符在第二字符串进行遍历查找，若在第二字符串查找到特征字符串中的字符，记为1，否则记为0，得到敏感样本词的第二字符向量。
[0112]
在本公开的一个实施例中，上述装置还包括样本词获取模块，该样本词获取模块用于在从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串之前，根据待识别词，从预设编码库中获取待识别词对应的敏感样本词，其中，预设编码库还存储有多个具有映射关系的敏感词和敏感词的变形词，待识别词属于敏感词的变形词，敏感词的变形词为与敏感词形近或对敏感词进行拆分组合后的词，敏感样本词属于敏感词。
[0113]
在本公开的一个实施例中，上述预处理模块通过以下公式计算第一字符向量和第二字符向量的余弦相似度：
[0114][0115]
其中，为第一字符向量，为第二字符向量，n为第一字符向量和第二字符向量中元素的个数，为正整数，similar(p,q)为第一字符向量和第二字符向量的目标相似度，i为元素序号。
[0116]
在本公开的一个实施例中，上述结果确定模块还用于若目标相似度大于或等于预设相似度阈值，则确定待识别词为敏感词；若目标相似度小于预设相似度阈值，则确定待识别词为非敏感词。
[0117]
在本公开的一个实施例中，上述装置还包括映射表存储模块，该映射表存储模块
用于获取多组样本词；根据五笔编码规则生成每组样本词对应的字符串；根据多组样本词和对应的字符串，生成映射表；将映射表存储至预设编码库中。
[0118]
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0119]
下面参照图9来描述根据本公开的这种实施方式的电子设备900。图 9显示的电子设备900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0120]
如图9所示，电子设备900以通用计算设备的形式表现。电子设备 900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910) 的总线930。
[0121]
其中，存储单元存储有程序代码，程序代码可以被处理单元910执行，使得处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元910可以执行上述方法实施例的如下步骤：从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串，其中，预设编码库中存储有具有映射关系的多个词与字符串；对第一字符串和第二字符串分别进行预处理，得到待识别词的第一字符向量和敏感样本词的第二字符向量；计算第一字符向量和第二字符向量的余弦相似度；根据计算结果，确定待识别词是否为敏感词。
[0122]
在一些实施例中，本公开实施例中提供的电子设备中，处理单元910 还用于：对第一字符串和第二字符串进行合并与去重处理，得到特征字符串；利用特征字符串对第一字符串和第二字符串进行向量化处理，得到待识别词的第一字符向量和敏感样本词的第二字符向量。
[0123]
在一些实施例中，本公开实施例中提供的电子设备中，处理单元910 还用于：利用特征字符串中的每个字符在第一字符串进行遍历查找，若在第一字符串查找到特征字符串中的字符，记为1，否则记为0，得到待识别词的第一字符向量；利用特征字符串中的每个字符在第二字符串进行遍历查找，若在第二字符串查找到特征字符串中的字符，记为1，否则记为 0，得到敏感样本词的第二字符向量。
[0124]
在一些实施例中，本公开实施例中提供的电子设备中，处理单元910 还用于：根据待识别词，从预设编码库中获取待识别词对应的敏感样本词，其中，预设编码库还存储有多个具有映射关系的敏感词和敏感词的变形词，待识别词属于敏感词的变形词，敏感词的变形词为与敏感词形近或对敏感词进行拆分组合后的词，敏感样本词属于敏感词。
[0125]
在一些实施例中，本公开实施例中提供的电子设备中，处理单元910 还用于：通过以下公式计算第一字符向量和第二字符向量的余弦相似度：
[0126][0127]
其中，为第一字符向量，为第二字符向量，n为第一字符向量和第二字符向
量中元素的个数，为正整数，similar(p,q)为第一字符向量和第二字符向量的目标相似度，i为元素序号。
[0128]
在一些实施例中，本公开实施例中提供的电子设备中，处理单元910 还用于：若目标相似度大于或等于预设相似度阈值，则确定待识别词为敏感词；若目标相似度小于预设相似度阈值，则确定待识别词为非敏感词。
[0129]
在一些实施例中，本公开实施例中提供的电子设备中，处理单元910 还用于：获取多组样本词；根据五笔编码规则生成每组样本词对应的字符串；根据多组样本词和对应的字符串，生成映射表；将映射表存储至预设编码库中。
[0130]
存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(rom)9203。
[0131]
存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0132]
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0133]
电子设备900也可以与一个或多个外部设备940(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备 900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、 raid系统、磁带驱动器以及数据备份存储系统等。
[0134]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是 cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
[0135]
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质可以是可读信号介质或者可读存储介质。其上存储有能够实现本公开上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，本公开实施例中计算机可读存储介质上存储的计算机程序被处理器执行时，可实现如下方法的如下步骤：从预设编码库中分别获取待识别词对应的第一字符串和敏感样本词对应的第二字符串，其中，预设编码库中存储有具有映射关系的多个词与字符串；对第一
字符串和第二字符串分别进行预处理，得到待识别词的第一字符向量和敏感样本词的第二字符向量；计算第一字符向量和第二字符向量的余弦相似度；根据计算结果，确定待识别词是否为敏感词。
[0136]
本公开中的计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom 或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0137]
在本公开中，计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0138]
可选地，计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0139]
在具体实施时，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0140]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0141]
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
[0142]
通过以上实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是 cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
[0143]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识
或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。