专利名称：基于关键词的垃圾文档过滤方法和装置的制作方法
技术领域：
本发明涉及计算机技术，尤其涉及一种基于关键词的垃圾文档过滤方法和装置。
背景技术：
当前反垃圾技术中应用最普遍的方法就是关键词过滤，即对待检查文档进行关键词搜索，用以判别待检查文档是否为垃圾文档。一般情况下，每个关键词对应一条过滤规贝U。对待检查文档进行关键词搜索的过程，就是对待检查文档进行过滤规则匹配的过程。现有技术中，需要针对每个关键词设置关键词过滤规则，以保证反垃圾效果。然而，这种方式导致关键词匹配效率较低，进而导致垃圾文档的过滤效率低下，而且这种方式中关键词可能列举不全，导致垃圾文档的过滤效率较低。
发明内容
本发明提供一种基于关键词的垃圾文档过滤方法和装置，用于解决现有技术中关键词匹配效率较低，进而导致垃圾文档的过滤效率低下的问题。本发明的第一个方面是提供一种基于关键词的垃圾文档过滤方法，包括获取待检查的中文文档；将所述中文文档中的中文字符转换成拼音字符，得到拼音文档；根据中文关键词对应的拼音，对所述拼音文档进行匹配；若所述拼音文档中的拼音字符与所述中文关键词对应的拼音匹配，则将所述待检查的中文文档确定为垃圾文档。本发明的另一个方面提供一种基于关键词的垃圾文档过滤装置，包括获取模块，用于获取待检查的中文文档；转换模块，用于将所述中文文档中的中文字符转换成拼音字符，得到拼音文档；匹配模块，用于根据中文关键词对应的拼音，对所述拼音文档进行匹配；确定模块，用于若所述拼音文档中的拼音字符与所述中文关键词对应的拼音匹配，则将所述待检查的中文文档确定为垃圾文档。本发明通过获取待检查的中文文档，并将中文文档转换成对应的拼音文档，根据中文关键词对应的拼音，对拼音文档进行匹配，由于一个拼音关键词可对应多个中文关键词，减少关键词的数量，从而提闻关键词匹配效率；而且拼首关键词还可以与中文关键词同音的没有列举出来的其他关键词进行对应，从而提高了垃圾文档识别率。
图1为本发明基于关键词的垃圾文档过滤方法一个实施例的流程图；图2为本发明基于关键词的垃圾文档过滤方法又一个实施例的流程图；图3为本发明基于关键词的垃圾文档过滤装置一个实施例的结构示意图。
具体实施例方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图1为本发明基于关键词的垃圾文档过滤方法一个实施例的流程图，如图1所示，包括101、垃圾文档过滤装置获取待检查的中文文档。其中，待检查的中文文档可以为邮件、微博、贴吧或者博客等包含的文档。本发明中基于关键词的垃圾文档过滤方法的执行主体为垃圾文档过滤装置，该装置可以为服务器、电脑或者手机等终端，还可以是上述终端中具有处理功能的模块或芯片，例如=CPU等。该装置可以用于对终端接收的邮件包含的文档、以及终端登录的微博、贴吧或者博客中的文档进行过滤，判断文档是否为垃圾文档。102、垃圾文档过滤装置将中文文档中的中文字符转换成拼音字符，得到拼音文档。可选的，如果待检查的中文文档中包含英文字符，为了避免英文字符与中文字符转换得到的拼音字符混淆，在垃圾文档过滤装置将中文文档中的中文字符转换成拼音字符，得到拼音文档之前，可以将中文文档中的大写英文字符转换成小写英文字符。其中，垃圾文档过滤装置可以先查询中文文档中的大写英文字符，并将大写英文字符转换成小写英文字符，然后垃圾文档过滤装置可以将中文文档中的中文字符转换成拼音字符，且拼音字符的首字母设置为大写格式，与英文字符进行区分。垃圾文档过滤装置将中文文档中的中文字符转换成拼音字符的过程可以为垃圾文档过滤装置可以对中文文档进行通用转换格式(UnicodeTransformation Format, UTF)编码，获取中文文档中的每个中文字符对应的区位码，并根据每个中文字符对应的区位码，查询静态查找表，获取每个中文字符对应的拼音字符其中，静态查找表中包含区位码及其对应的拼音字符。从而降低将中文文档中的中文字符转化成拼音字符带来的额外开销。103、垃圾文档过滤装置根据中文关键词对应的拼音，对拼音文档进行匹配。其中，在根据中文关键词对应的拼音，对拼音文档进行匹配之前，对于两个以上拼音相同的中文关键词，可以将该两个以上拼音相同的中文关键词中的中文字符转换为对应的拼音字符。例如，中文关键词“待开发票”、“代开发票”、“代开发飘”以及“代开發漂”等对应的拼音关键词为“Dai Kai Fa Piao”，若与“待”字对应的拼音相同的中文字符有nl个，与“开”字对应的拼音相同的中文字符有n2个，与“发”字对应的拼音相同的中文字符有n3个，与“票”字对应的拼音相同的中文字符有n4个，与关键词“待开发票”对应的拼音相同的关键词可以有nl*n2*n3*n4个，即nl*n2*n3*n4个中文关键词对应一个拼音关键词“Dai KaiFaPiao”，而每个关键词对应一条过滤规则。因此，根据中文关键词对应的拼音，对拼音文档进行匹配，多个拼音相同的中文关键词对应一个拼音关键词，可以减少关键词的数量，对应的减少过滤规则的数量，进而提高关键词匹配效率。进一步地，中文关键词可以为正则中文关键词，拼音关键词可以为正则拼音关键词，垃圾文档过滤装置可以将正则中文关键词对应的正则拼音关键词预先保存在拼音文件中，并采用flex(fast LEXical compiler)工具将该拼音文件转化为C文件，然后通过编译器将C文件编译为动态链接库，垃圾文档过滤装置在对拼音文档进行正则匹配的过程中，可以调用动态链接库对拼音文档进行匹配，从而进一步地提高匹配效率。例如，拼音关键词“Dai Kai Fa Piao"对应的过滤规则为〃Dai〃( s:.{0，7})"Kai"( s:· *)"Fa"( s:· {0，7}) "Piao"，其中，(？s:· {0,7})表示“Dai”和“Kai”之间的距离范围为0-7个拼音字符，( s:.*)表示“Kai”和“Fa”之间的距离为任意距离。垃圾文档过滤装置可以将上述过滤规则保存到flex的模板文件rule.1中，格式如下 …%%"Dai"( s:· {0，7})"Kai" ( s: · *)"Fa" ( s: · {0，7})"Piao"{return 100;}%% ...然后采用flex工具将保存有上述过滤规则的模板文件rule.1转换为二进制C文件，并将C文件编译成动态链接库(shared object, SO)文件。其中，如果垃圾文档过滤装置在拼音文档中“Dai ”之后，且距离“Dai ” 0-7个拼音字符的范围内查找到“Kai ”，以及在〃Fa〃之后，且距离〃Fa〃0_7个拼音字符的范围内查找到〃Piao〃，则说明垃圾文档过滤装置在拼音文档中查找到与拼音关键词“Dai Kai Fa Piao”匹配的拼音字符，则确定与拼音文档对应的中文文档为垃圾文档。104、若拼音文档中的拼音字符与中文关键词对应的拼音匹配，则垃圾文档过滤装置将待检查的中文文档确定为垃圾文档。 若拼音文档中的拼音字符与中文关键词对应的拼音不匹配，则垃圾文档过滤装置将待检查的中文文档确定为正常文档。垃圾文档过滤装置可以将确定为垃圾文档的中文文档删除，或者存入预设的文件夹中。本实施例提供的基于关键词的垃圾文档过滤方法，通过垃圾文档过滤装置获取待检查的中文文档，并将中文文档转换成对应的拼音文档，根据中文关键词对应的拼音，对拼音文档进行匹配，由于一个拼音关键词可对应多个中文关键词，减少关键词的数量，从而提闻关键词匹配效率；而且拼首关键词还可以与中文关键词同首的没有列举出来的其他关键词进行对应，从而提高了垃圾文档识别率，即垃圾文档的识别效果。图2为本发明基于关键词的垃圾文档过滤方法又一个实施例的流程图，如图2所示，在图1所示实施例的基础上，本实施例提供了将中文文档中的中文字符转换成拼音字符，得到拼音文档的具体过程，可以包括如下步骤 1021、垃圾文档过滤装置对中文文档中的中文字符进行通用转换格式UTF编码，得到每个中文字符对应的区位码。其中，各种UTF编码中，UTF-8编码包含的汉字范围最大。因此，优选的，垃圾文档过滤装置可以对中文文档中的中文字符进行UTF-8编码，得到每个中文字符对应的区位码。1022、垃圾文档过滤装置根据每个中文字符对应的区位码在静态查找表中查询对应的拼音字符，静态查找表中包含区位码及其对应的拼音字符。垃圾文档过滤装置可以预先设置静态查找表，并在静态查找表中保存所有区位码以及每个区位码对应的拼音字符。静态查找表可以按照区位码的大小进行排序，并以数组的方式保存区位码及其对应的拼音字符，以便垃圾文档过滤装置根据区位码线性查询对应的拼音字符。1023、垃圾文档过滤装置根据每个中文字符对应的拼音字符，得到拼音文档。本实施例提供的基于关键词的垃圾文档过滤方法，通过垃圾文档过滤装置对中文文档中的中文字符进行UTF编码，得到每个中文字符对应的区位码，并根据每个中文字符对应的区位码在静态查找表中查询对应的拼音字符，得到拼音文档，以便根据中文关键词对应的拼音，对拼音文档进行匹配，提高关键词匹配效率，进而提高垃圾文档的过滤效率。本领域普通技术人员可以理解实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括R0M、RAM、磁碟或者光盘等各种可以存储程序代码的介质。图3为本发明基于关键词的垃圾文档过滤装置一个实施例的结构示意图，如图3所示，包括获取模块31，用于获取待检查的中文文档。转换模块32，用于将中文文档中的中文字符转换成拼音字符，得到拼音文档。其中，转换模块32具体用于，对中文文档中的中文字符进行通用转换格式UTF编码，得到每个中文字符对应的区位码；根据每个中文字符对应的区位码在静态查找表中查询对应的拼音字符，静态查找表中包含区位码及其对应的拼音字符；根据每个中文字符对应的拼音字符，得到拼音文档。进一步地，若待检查的中文文档中包含英文字符，在转换模块32将中文文档中的中文字符转换成拼音字符，得到拼音文档之前，转换模块32还用于，将中文文档中的英文字符转换成小写英文字符。上述实施例中，通过转换模块32对中文文档中的中文字符进行UTF编码，得到每个中文字符对应的区位码，并根据每个中文字符对应的区位码在静态查找表中查询对应的拼音字符，得到拼音文档，以便根据中文关键词对应的拼音，对拼音文档进行匹配，提高关键词匹配效率，进而提高垃圾文档的过滤效率。匹配模块33，用于根据中文关键词对应的拼音，对拼音文档进行匹配。匹配模块33具体用于，将中文关键词对应的拼音编译成动态链接库；根据动态链接库，对拼音文档进行匹配。进一步地，在匹配模块33根据中文关键词对应的拼音，对拼音文档进行匹配之前，获取模块31还用于，获取两个以上拼音相同的中文关键词；转换模块32还用于，将两个以上拼音相同的中文关键词中的中文字符转换为对应的拼音字符。确定模块34，用于若拼音文档中的拼音字符与中文关键词对应的拼音匹配，则将待检查的中文文档确定为垃圾文档。本实施例提供的基于关键词的垃圾文档过滤装置，通过获取模块获取待检查的中文文档，转换模块将中文文档转换成对应的拼音文档，匹配模块根据中文关键词对应的拼音，对拼音文档进行匹配，由于一个拼音关键词可对应多个中文关键词，减少关键词的数量，从而提高关键词匹配效率；而且拼音关键词还可以与中文关键词同音的没有列举出来的其他关键词进行对应，从而提闻了垃圾文档识别率。最后应说明的是以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
权利要求
1.一种基于关键词的垃圾文档过滤方法，其特征在于，包括 获取待检查的中文文档； 将所述中文文档中的中文字符转换成拼音字符，得到拼音文档； 根据中文关键词对应的拼音，对所述拼音文档进行匹配； 若所述拼音文档中的拼音字符与所述中文关键词对应的拼音匹配，则将所述待检查的中文文档确定为垃圾文档。
2.根据权利要求1所述的方法，其特征在于，所述将所述中文文档中的中文字符转换成拼音字符，得到拼音文档，包括 对所述中文文档中的中文字符进行通用转换格式UTF编码，得到每个所述中文字符对应的区位码； 根据每个所述中文字符对应的区位码在静态查找表中查询对应的拼音字符，所述静态查找表中包含区位码及其对应的拼音字符； 根据每个所述中文字符对应的拼音字符，得到所述拼音文档。
3.根据权利要求2所述的方法，其特征在于，若所述待检查的中文文档中包含英文字符，则在所述将所述中文文档中的中文字符转换成拼音字符，得到拼音文档之前，还包括 将所述中文文档中的英文字符转换成小写英文字符。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据中文关键词对应的拼音，对所述拼音文档进行匹配之前，还包括 获取两个以上拼音相同的中文关键词； 将所述两个以上拼音相同的中文关键词中的中文字符转换为对应的拼音字符。
5.根据权利要求1所述的方法，其特征在于，所述根据中文关键词对应的拼音，对所述拼音文档进行匹配，包括 将所述中文关键词对应的拼首编译成动态链接库； 根据所述动态链接库，对所述拼音文档进行匹配。
6.一种基于关键词的垃圾文档过滤装置，其特征在于，包括 获取模块，用于获取待检查的中文文档； 转换模块，用于将所述中文文档中的中文字符转换成拼音字符，得到拼音文档； 匹配模块，用于根据中文关键词对应的拼音，对所述拼音文档进行匹配； 确定模块，用于若所述拼音文档中的拼音字符与所述中文关键词对应的拼音匹配，则将所述待检查的中文文档确定为垃圾文档。
7.根据权利要求6所述的装置，其特征在于，所述转换模块，具体用于，对所述中文文档中的中文字符进行通用转换格式UTF编码，得到每个所述中文字符对应的区位码； 根据每个所述中文字符对应的区位码在静态查找表中查询对应的拼音字符，所述静态查找表中包含区位码及其对应的拼音字符； 根据每个所述中文字符对应的拼音字符，得到所述拼音文档。
8.根据权利要求7所述的装置，其特征在于，若所述待检查的中文文档中包含英文字符，所述转换模块还用于，将所述中文文档中的英文字符转换成小写英文字符。
9.根据权利要求6-8任一项所述的装置，其特征在于，所述获取模块还用于，获取两个以上拼音相同的中文关键词；所述转换模块还用于，将所述两个以上拼音相同的中文关键词中的中文字符转换为对应的拼音字符。
10.根据权利要求6所述的装置，其特征在于，所述匹配模块具体用于，将所述中文关键词对应的拼音编译成动态链接库； 根据所述动态链接库，对所述拼音文档进行匹配。
全文摘要
本发明提供一种基于关键词的垃圾文档过滤方法和装置。其中，垃圾文档过滤方法包括获取待检查的中文文档，将中文文档中的中文字符转换成拼音字符，得到拼音文档，根据中文关键词对应的拼音，对拼音文档进行匹配，若拼音文档中的拼音字符与中文关键词对应的拼音匹配，则将待检查的中文文档确定为垃圾文档。由于一个拼音关键词可对应多个中文关键词，减少关键词的数量，从而提高关键词匹配效率；而且拼音关键词还可以与中文关键词同音的没有列举出来的其他中文关键词进行对应，从而提高了垃圾文档识别率。
文档编号G06F17/30GK103064928SQ201210563248
公开日2013年4月24日 申请日期2012年12月21日 优先权日2012年12月21日
发明者黄福昌, 田飞, 李雪明 申请人:北京二六三企业通信有限公司