一种面向文本信息的敏感词过滤方法
【技术领域】
[0001] 本发明涉及一种敏感词过滤方法，尤其涉及一种面向文本信息的敏感词过滤方 法，属于网络安全技术领域。
【背景技术】
[0002] 随着互联网行业的高速发展，网站内容日益丰富，用户数量急剧上升，给互联网管 理工作带来了很大的压力。当前，不少用户将自己制作的内容通过互联网平台进行展示或 者提供给其他用户，如UGC(User Generated Content，用户生产内容）网站或社交应用软 件。伴随而来也会产生许多不符合互联网使用环境甚至违反国家法律法规的内容，即非法 内容，如政治敏感、色情词汇等等，导致相关的网站因违反国家法律法规的强制性规定，存 在安全运营风险。
[0003]因此，有必要采用技术手段对上述非法内容进行过滤。这就需要一些能够禁止或 者过滤掉网站中非法内容的方法或者软件。由于互联网中存在着海量的数据，在对网站中 的非法内容进行处理时，无需对整段整句内容进行检索，只需要对可能涉及到非法的敏感 词进行检索即可。这就需要对敏感词进行过滤。通过敏感词过滤，可以将各种网络信息的 内容里面不该出现的敏感词汇过滤掉，从而营造一个良好的互联网使用环境。
[0004] 申请公布号为CN 102208992A的中国专利申请公开了一种面向互联网的不良信 息过滤系统及其过滤方法。该不良信息过滤系统包括用户数据提交模块、用户服务管理系 统、用户交互信息审核平台、净化服务运营平台、知识库及至少一个标引引擎，运用多项智 能技术：分词、关键词匹配、向量模型，以及多个高性能的处理算法对数据进行处理，可以为 互联网社区提供敏感、色情、低俗、灌水及商业广告等信息的标引服务。但是，该技术方案需 要调用知识库中的实例库进行过滤。如果希望检索到更多、更全的内容时，需要更大词汇量 的词库支持，这样给不良信息的过滤速度带来了很大的压力。
【发明内容】
[0005]针对现有技术的不足，本发明所要解决的技术问题在于提供一种面向文本信息的 敏感词过滤方法。
[0006] 为实现上述发明目的，本发明采用下述的技术方案：
[0007]一种面向文本信息的敏感词过滤方法，包括以下步骤：
[0008] (1)接收用户的文本信息，验证所述文本信息的数据格式是否正确，若数据格式验 证不通过，则回到步骤（1);若通过验证，则转至步骤（2);
[0009] (2)对所述文本信息进行语义分析：从所述文本信息中取出一个词组，在语义分 析库中进行匹配，得到所述词组的词重；按照词重对所述文本信息的所有词组重新排序，然 后将排序后的文本信息转换成数组格式；
[0010] (3)对所述数组格式的文本信息进行敏感词过滤；如果有敏感词存在，将匹配出 的敏感词返回给用户；如果不存在，返回给用户一个空信息。
[0011] 其中较优地，所述步骤（1)中，所述文本信息采用可扩展标记语言XML的数据格 式，包括用户ID、过滤内容和签名三个参数。
[0012] 其中较优地，所述步骤（2)中，将文本信息转换成数组格式的步骤为：把每个词组 的第一个字组成数组的键，把所述每个词组做成多维数组或者一维数组，所述每个词组的 值为整个词组。
[0013] 其中较优地，所述步骤（2)中，采用正则方式把文本信息转换成数组格式。
[0014] 其中较优地，所述步骤（2)中，采用贪婪匹配算法对数组格式的文本信息进行匹 配。
[0015] 其中较优地，所述步骤（3)中，从做完语义分析后的文本信息中，取出第一个字的 首字母，并初始化首字母对应的敏感词库，逐级检索是否存在敏感词。
[0016] 其中较优地，所述敏感词库包括一级敏感词库、二级敏感词库、三级敏感词库；其 中，
[0017] 所述一级敏感词库、所述二级敏感词库、所述三级敏感词库中分别存有26个敏感 词表，所述26个敏感词表以首字母为表名。
[0018] 其中较优地，所述步骤（3)中，通过匹配过滤后的敏感词放到结果数组中保存。
[0019] 与现有技术相比较，本发明不仅对敏感词进行词重分类，并且对分完类的敏感词 又按照字母类别进一步分类，有效提高了过滤速度。利用本发明，可以快速、准确地为用户 过滤掉违反规定的信息，从而为用户提供一个经过净化的良好网络信息环境。
【附图说明】
[0020] 图1是本发明所提供的面向文本信息的敏感词过滤方法流程图；
[0021] 图2是本发明中，文本信息语义分析的流程图；
[0022] 图3是本发明中，数据打散后的多维数组结构示意图；
[0023] 图4是本发明中，词库结构的示意图；
[0024] 图5是本发明中，文本信息正则后的数据格式示意图。
【具体实施方式】
[0025] 下面结合附图和具体实施例对本发明的技术内容作进一步的详细说明。
[0026] 如图1所示，本发明提供了一种面向文本信息的敏感词过滤方法，包括以下步骤：
[0027] (1)接收用户的文本信息，验证所述文本信息的数据格式是否正确，若数据格式验 证不通过，则回到步骤（1);若通过验证，则转至步骤（2);
[0028] (2)对所述文本信息进行语义分析：从所述文本信息中取出一个词组，在语义分 析库中进行匹配，得到所述词组的词重；按照词重对所述文本信息的所有词组重新排序，然 后将排序后的文本信息转换成数组格式；
[0029] (3)对所述数组格式的文本信息进行敏感词过滤；如果有敏感词存在，将匹配出 的敏感词返回给用户；如果不存在，返回给用户一个空信息。
[0030] 下面对上述各步骤进行详细说明。
[0031] 第1步：接收文本信息，验证文本信息的格式调用是否正确。
[0032] 在本发明的一个实施例中，具有敏感词过滤功能的第三方网站向某个网站开放敏 感词过滤功能，需要向该网站开放对应的接口。用户访问该网站时，首先会使用第三方网站 的敏感词过滤功能，即用户访问接口时，文本信息格式需要与接口的数据格式相同。本发明 中采用可扩展标记语言（extensible Markup Language，简写为XML)的方式进行访问，即采 用XML的格式。该格式有3个参数，uid为用户id，content是需要过滤的内容，sign为签 名。当3个参数都存在时，并且与第三方网站的服务器的本地的数据相匹配，才可以通过验 证。
[0033] 例如，以下格式的数据是正确的：
【主权项】
1. 一种面向文本信息的敏感词过滤方法，其特征在于包括以下步骤： (1) 接收用户的文本信息，验证所述文本信息的数据格式是否正确，若数据格式验证不 通过，则回到步骤（1);若通过验证，则转至步骤（2); (2) 对所述文本信息进行语义分析：从所述文本信息中取出一个词组，在语义分析库 中进行匹配，得到所述词组的词重；按照词重对所述文本信息的所有词组重新排序，然后将 排序后的文本信息转换成数组格式； (3) 对所述数组格式的文本信息进行敏感词过滤；如果有敏感词存在，将匹配出的敏 感词返回给用户；如果不存在，返回给用户一个空信息。
2. 如权利要求1所述的敏感词过滤方法，其特征在于， 所述步骤（1)中，所述文本信息采用可扩展标记语言XML的数据格式，包括用户ID、过 滤内容和签名三个参数。
3. 如权利要求1所述的敏感词过滤方法，其特征在于， 所述步骤（2)中，将文本信息转换成数组格式的步骤为：把每个词组的第一个字组成 数组的键，把所述每个词组做成多维数组或者一维数组，所述每个词组的值为整个词组。
4. 如权利要求1所述的敏感词过滤方法，其特征在于， 所述步骤（2)中，采用正则方式把文本信息转换成数组格式。
5. 如权利要求4所述的敏感词过滤方法，其特征在于， 所述步骤（2)中，采用贪婪匹配算法对数组格式的文本信息进行匹配。
6. 如权利要求1所述的敏感词过滤方法，其特征在于， 所述步骤（3)中，从做完语义分析后的文本信息中，取出第一个字的首字母，并初始化 首字母对应的敏感词库，逐级检索是否存在敏感词。
7. 如权利要求6所述的敏感词过滤方法，其特征在于， 所述敏感词库包括一级敏感词库、二级敏感词库、三级敏感词库；其中， 所述一级敏感词库、所述二级敏感词库、所述三级敏感词库中分别存有26个敏感词 表，所述26个敏感词表以首字母为表名。
8. 如权利要求1所述的敏感词过滤方法，其特征在于， 所述步骤（3)中，通过匹配过滤后的敏感词放到结果数组中保存。
【专利摘要】本发明公开了一种面向文本信息的敏感词过滤方法，包括以下步骤：(1)接收用户的文本信息，验证文本信息的数据格式是否正确，若数据格式验证不通过，则回到步骤(1)；若通过验证，则转至步骤(2)；(2)对文本信息进行语义分析：从文本信息中取出一个词组，在语义分析库中进行匹配，得到词组的词重；按照词重对文本信息的所有词组重新排序，然后将排序后的文本信息转换成数组格式；(3)对数组格式的文本信息进行敏感词过滤；如果有敏感词存在，将匹配出的敏感词返回给用户；如果不存在，返回给用户一个空信息。本发明不仅对敏感词进行词重分类，并且对分完类的敏感词又按照字母类别分类，有效提高了敏感词的过滤速度。
【IPC分类】G06F17-30
【公开号】CN104850574
【申请号】CN201510083247
【发明人】白春玲
【申请人】博彦科技股份有限公司
【公开日】2015年8月19日
【申请日】2015年2月15日