专利名称：基于邮件服务器的垃圾邮件过滤系统及方法
技术领域：
本发明涉及互联网垃圾邮件过滤技术，具体是指基于邮件服务器的垃圾邮件过滤系统及方法。
背景技术：
随着INTERNET国际互联网在全球的普及，网络应用已经进入人们的生活，并发挥着越来越大的作用。互联网络的迅速发展在给我们带来有利一面的同时，也为各种不法分子提供了新的犯罪技术手段和空间，一些不法分子利用互联网进行各种违法犯罪活动，网上各种反动、淫秽、色情、迷信、暴力等有害信息大量传播，境内外敌对势力也利用互联网进行渗透、煽动、破坏活动情况严重，已经危及国家安全和社会稳定，危害社会主义精神文明建设和互联网的健康发展。垃圾邮件，诸如反动、色情、商业等内容，已成为互联网的一大公害。垃圾邮件已经是中国互联网的一个毒瘤。垃圾邮件已经成为中国在互联网领域重点整治的对象。
过滤技术是反垃圾邮件用到的主要技术。目前垃圾邮件过滤系统主要采用基于客户主机的过滤方式和基于邮件服务器的过滤方式。
(一)基于客户主机的过滤方式，是邮件客户端从接收邮件服务器接收邮件到本地机器前进行过滤，如微软的Outlook 2003、Symantec的邮件过滤客户端都提供这样的过滤功能。但这种方式需要客户自身的自主参与，完全是用户的个人行为，需要自定义很多过滤规则，对客户素质要求较高。所以这种方法只有很少量的用户在使用。如果没有配置使用过滤功能，大量的垃圾邮件会进入个人电脑。即使配置使用了过滤功能，由于过滤手段单一、过滤规则简单，很难过滤大部分垃圾邮件。
(二)基于邮件服务器的过滤方式，是在邮件服务器之前安装垃圾邮件过滤器，所有发送到邮件服务器的邮件必须通过邮件过滤器进行过滤处理。这种过滤方式不需要终端用户的直接参与，过滤规则由邮件服务提供方统一定制，而且邮件服务器之前由于是邮件的统一入口，更易从大量邮件中采集垃圾邮件特征，在“源头”消除大部分的垃圾邮件，同时这种方式能有效保护邮件服务器的安全，所以这种方式得到广大邮件服务提供商的认可，有实力的邮件服务提供商均在邮件服务器之前安装过滤器。
采用传统的基于邮件服务器的过滤方式，其组网时每个邮件服务器前的垃圾过滤器(如垃圾过滤器1、垃圾过滤器2……垃圾过滤器n)只是单独起作用，没有和其他的垃圾过滤器有任何关联。这种过滤方式存在的主要问题有(1)过滤的实时性差。垃圾爆发存在地域性、时差性及行业特性，一个用户发现的垃圾邮件很可能蔓延到同地区、同行业的其他用户。在这种方式下不能实现垃圾特征共享，相同垃圾很有可能会发往其他的邮件服务器。而且每个用户要单独过滤这些垃圾都有一个相对滞后的学习过程，如何在第一时间消除这些垃圾对用户的影响尤其必要。同时同行业的垃圾邮件特征具有很大的相似性，通过特征共享模式在一点发现的垃圾特征及时共享到其他过滤器，减少其他过滤器的学习时间，这样可以提升过滤的实时性。
(2)过滤的效果难以提升。垃圾过滤效果的好坏受很多因素的影响，如用户邮件量的多少、邮件服务器在组网环境中的位置、邮件服务器的参数配置、用户所属的行业特性、用户的业务性质等。单个过滤器邮件量相对较少，很多不具有统计规律，如果依赖于单个邮件过滤器的学习能力，很难学习大量的垃圾特征，较多垃圾邮件不能被过滤器过滤。
发明内容
本发明的目的在于克服上述现有技术的缺点和不足，提供一种基于邮件服务器的垃圾邮件过滤系统，其可以实现垃圾特征全网同步共享，有效提升垃圾防范的实时性，提高垃圾邮件的过滤效果。
本发明的目的还在于提供基于邮件服务器的垃圾邮件过滤系统的垃圾邮件过滤方法。
本发明的目的通过下述技术方案实现本基于邮件服务器的垃圾邮件过滤系统，包括多个邮件过滤器及依次连接其后的邮件服务器、邮件客户端，多个所述邮件过滤器通过互联网还同时连接有中央管理器，所述中央管理器、邮件过滤器分别都包括样本管理模块、特征管理模块，且所述中央管理器的样本管理模块、特征管理模块通过互联网相应与邮件过滤器的样本管理模块、特征管理模块分别连接。
为更好地实现本发明，所述中央管理器样本管理模块包括依次连接的样本采集模块、样本审核模块、样本存储模块和中央垃圾样本库模块；所述中央管理器特征管理模块包括特征采集模块、特征合并模块、特征提取模块、特征分发模块和中央垃圾特征库模块，所述特征合并模块分别与特征采集模块、特征提取模块、中央垃圾特征库模块连接，特征分发模块与中央垃圾特征库模块连接，特征提取模块与中央垃圾样本库模块连接；所述邮件过滤器样本管理模块包括样本下载模块、样本审核模块、样本上报模块、样本处理模块和垃圾样本库模块，样本下载模块与样本审核模块连接，样本审核模块、样本上报模块、样本处理模块分别与垃圾样本库模块连接，样本上报模块还通过互联网与所述中央管理器特征管理模块的样本采集模块连接；所述邮件过滤器特征管理模块包括依次连接的特征下载模块、特征合并模块、垃圾特征库模块、特征上报模块，其特征合并模块与样本处理模块连接，特征下载模块、特征上报模块还通过互联网相应与所述中央管理器特征管理模块的特征分发模块、特征采集模块分别连接。
本基于邮件服务器的垃圾邮件过滤系统的垃圾邮件过滤方法，是指在邮件过滤器内建立垃圾样本库和垃圾特征库，各邮件过滤器的垃圾样本库和垃圾特征库可以通过互联网上传、共享垃圾样本和垃圾特征；中央管理器通过采集和处理各个邮件过滤器或邮件客户端提交的垃圾样本和垃圾特征，提取垃圾特征并分类，建立中央垃圾样本库、中央垃圾特征库；各个邮件过滤器定时或通过手动从中央管理器下载垃圾特征以更新邮件过滤器的垃圾特征库，实现垃圾特征同步共享，并根据其垃圾特征库进行垃圾邮件的过滤，且所述中央管理器、邮件过滤器的垃圾特征库必须定期进行遗忘处理。
所述邮件过滤器的垃圾样本库的建立，是指邮件过滤器通过其样本管理模块的样本下载模块，采集互联网上或邮件客户端主动上报的垃圾邮件样本，并传送到其样本管理模块的样本审核模块进行审核筛选，避免用户提交恶意邮件(如病毒邮件、超大邮件等)对系统处理造成影响，审核以后的垃圾样本直接进入其样本管理模块的垃圾样本库模块中，并进行分类存储，从而建立邮件过滤器的垃圾样本库。
所述邮件过滤器的垃圾特征库的建立，是指邮件过滤器通过其样本管理模块的样本处理模块，从其样本管理模块的垃圾样本库模块中提取垃圾样本进行分析并提取垃圾特征，同时邮件过滤器通过其特征管理模块的特征下载模块，从中央管理器特征管理模块的特征分发模块下载垃圾特征，邮件过滤器通过其特征管理模块的特征合并模块对垃圾特征进行合并、去掉重复特征后，将垃圾特征分类存储于其特征管理模块的垃圾特征库模块中，从而建立邮件过滤器的垃圾特征库。
所述中央管理器的垃圾样本库的建立，是指中央管理器通过其样本管理模块的样本采集模块，采集各个邮件过滤器样本管理模块的样本上报模块或邮件客户端主动上报的垃圾样本，并传送到中央管理器样本管理模块的样本审核模块进行审核筛选，避免用户提交恶意邮件(如病毒邮件、超大邮件等)对系统处理造成影响，审核以后的垃圾样本经中央管理器样本管理模块的样本存储模块进行分类缓存，并送入其样本管理模块的中央垃圾样本库模块中，从而建立中央管理器的垃圾样本库。
所述中央管理器的垃圾特征库的建立，是指中央管理器通过其样本管理模块的特征提取模块，从其样本管理模块的中央垃圾样本库模块中按垃圾特征分类提取新的垃圾特征，同时中央管理器通过其特征管理模块的特征采集模块，采集邮件过滤器特征管理模块的特征上报模块主动上报的垃圾特征，中央管理器通过其特征管理模块的特征合并模块对垃圾特征进行合并、去掉重复特征，并对超过设定期限的垃圾特征进行时效处理后，将垃圾特征分类存储于其特征管理模块的垃圾特征库模块中，从而建立中央管理器的垃圾特征库。
所述垃圾样本的分类包括符合IP黑名单的邮件、符合地址黑名单的邮件、符合指纹特征的邮件、符合关键字的邮件；所述垃圾特征的分类包括全文特征、IP黑名单特征、地址黑名单特征、指纹特征、关键字特征。
所述垃圾特征库的遗忘处理，是指垃圾特征库对存入的各个垃圾特征记录时间戳，并清除达到设定时间期限的各个垃圾特征；根据运行经验，所述设定时间期限一般可设定为3个月。无论中央管理器还是各个邮件过滤器，随着运行时间的增加，垃圾特征会越来越多，这些垃圾特征一方面来自于邮件过滤器自身的不断学习积累，另一方面来自其他邮件过滤系统通过中央管理器共享获得的垃圾特征。由于垃圾发送者不断变换着垃圾发送方法，如修改邮件内容、变换发送地址，原来的垃圾特征随着时间的推移，部分垃圾特征再也不能过滤变化后的垃圾邮件，这些特征就失去了应有的作用，相反会增加垃圾特征库的容量，对特征分发造成带宽上的增加，所以必须对垃圾特征库进行遗忘处理。
所述各个邮件过滤器从中央管理器下载垃圾特征的定时时间，依据中央管理器、邮件过滤器之间的网络通信状况及中央管理器的运行负荷情况设定，定时时间可以为一天。
所述时效处理的期限由管理员设定，一般可设定为90天。
所述特征分发包括增量分发和全量分发，全量分发是指将中央垃圾特征库的所有垃圾特征分发到各个邮件过滤器；增量分发是指中央垃圾特征库根据邮件过滤器的垃圾特征下载历史记录确定需要分发的垃圾特征，避免重复分发，这可减少特征分发时的网络带宽占用，降低邮件过滤器获取新垃圾特征的时延。
本发明与现有技术相比，具有如下优点和有益效果采用多个邮件过滤器通过统一的中央管理器将垃圾邮件的垃圾特征进行异地共享处理，形成一个全网防护网络，做到一点发现垃圾全网联动阻击，可以有效提升垃圾邮件的过滤效果；另一方面，中央管理器作为垃圾特征共享的桥梁和中枢，将各个过滤系统有机的联系起来，实现垃圾特征和垃圾样本的共享，也有效提升过滤效果和快速响应处理垃圾邮件的能力。
图1是本发明基于邮件服务器的垃圾邮件过滤系统的结构示意图；图2是图1所示中央管理器的内部结构示意图；图3是图1所示邮件过滤器的内部结构示意图。
具体实施例方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例一如图1所示，本基于邮件服务器的垃圾邮件过滤系统，包括n个邮件过滤器及依次连接其后的邮件服务器、邮件客户端，n个邮件过滤器通过互联网还同时连接有中央管理器，中央管理器、邮件过滤器分别都包括样本管理模块、特征管理模块，且中央管理器的样本管理模块、特征管理模块通过互联网相应与邮件过滤器的样本管理模块、特征管理模块分别连接。
如图2所示，中央管理器样本管理模块包括依次连接的样本采集模块、样本审核模块、样本存储模块和中央垃圾样本库模块；中央管理器特征管理模块包括特征采集模块、特征合并模块、特征提取模块、特征分发模块和中央垃圾特征库模块，特征合并模块分别与特征采集模块、特征提取模块、中央垃圾特征库模块连接，特征分发模块与中央垃圾特征库模块连接，特征提取模块与中央垃圾样本库模块连接；如图3所示，邮件过滤器样本管理模块包括样本下载模块、样本审核模块、样本上报模块、样本处理模块和垃圾样本库模块，样本下载模块与样本审核模块连接，样本审核模块、样本上报模块、样本处理模块分别与垃圾样本库模块连接，样本上报模块还通过互联网与中央管理器特征管理模块的样本采集模块连接；邮件过滤器特征管理模块包括依次连接的特征下载模块、特征合并模块、垃圾特征库模块、特征上报模块，其特征合并模块与样本处理模块连接，特征下载模块、特征上报模块还通过互联网相应与中央管理器特征管理模块的特征分发模块、特征采集模块分别连接。
如图2、3所示，本基于邮件服务器的垃圾邮件过滤系统，其过滤垃圾邮件的工作过程是在邮件过滤器内建立垃圾样本库和垃圾特征库，各邮件过滤器的垃圾样本库和垃圾特征库可以通过互联网上传、共享垃圾样本和垃圾特征；中央管理器通过采集和处理各个邮件过滤器或邮件客户端提交的垃圾样本和垃圾特征，提取垃圾特征并分类，建立中央垃圾样本库、中央垃圾特征库；各个邮件过滤器定时或通过手动从中央管理器下载垃圾特征以更新邮件过滤器的垃圾特征库，实现垃圾特征同步共享，并根据其垃圾特征库进行垃圾邮件的过滤，且所述中央管理器、邮件过滤器的垃圾特征库必须定期进行遗忘处理。
其中，邮件过滤器的垃圾样本库的建立，是指邮件过滤器通过其样本管理模块的样本下载模块，采集互联网上或邮件客户端主动上报的垃圾邮件样本，并传送到其样本管理模块的样本审核模块进行审核筛选，避免用户提交恶意邮件(如病毒邮件、超大邮件等)对系统处理造成影响，审核以后的垃圾样本直接进入其样本管理模块的垃圾样本库模块中，并按照符合IP黑名单的邮件、符合地址黑名单的邮件、符合指纹特征的邮件、符合关键字的邮件等类别进行分类存储，从而建立邮件过滤器的垃圾样本库。
邮件过滤器的垃圾特征库的建立，是指邮件过滤器通过其样本管理模块的样本处理模块，从其样本管理模块的垃圾样本库模块中提取垃圾样本进行分析并提取垃圾特征，同时邮件过滤器通过其特征管理模块的特征下载模块，从中央管理器特征管理模块的特征分发模块下载垃圾特征，邮件过滤器通过其特征管理模块的特征合并模块对垃圾特征进行合并、去掉重复特征后，按照全文特征、IP黑名单特征、地址黑名单特征、指纹特征、关键字特征等类别将垃圾特征分类存储于其特征管理模块的垃圾特征库模块中，从而建立邮件过滤器的垃圾特征库。
中央管理器的垃圾样本库的建立，是指中央管理器通过其样本管理模块的样本采集模块，采集各个邮件过滤器样本管理模块的样本上报模块或邮件客户端主动上报的垃圾样本，并传送到中央管理器样本管理模块的样本审核模块进行审核筛选，避免用户提交恶意邮件(如病毒邮件、超大邮件等)对系统处理造成影响，审核以后的垃圾样本经中央管理器样本管理模块的样本存储模块按照符合IP黑名单的邮件、符合地址黑名单的邮件、符合指纹特征的邮件、符合关键字的邮件等类别进行分类缓存，并送入其样本管理模块的中央垃圾样本库模块中，从而建立中央管理器的垃圾样本库。
中央管理器的垃圾特征库的建立，是指中央管理器通过其样本管理模块的特征提取模块，从其样本管理模块的中央垃圾样本库模块中按垃圾特征分类提取新的垃圾特征，同时中央管理器通过其特征管理模块的特征采集模块，采集邮件过滤器特征管理模块的特征上报模块主动上报的垃圾特征，中央管理器通过其特征管理模块的特征合并模块对垃圾特征进行合并、去掉重复特征，并对超过设定期限的垃圾特征进行时效处理后，按照全文特征、IP黑名单特征、地址黑名单特征、指纹特征、关键字特征等类别将垃圾特征分类存储于其特征管理模块的垃圾特征库模块中，从而建立中央管理器的垃圾特征库。
垃圾特征库的遗忘处理，是指垃圾特征库对存入的各个垃圾特征记录时间戳，并清除达到设定时间期限的各个垃圾特征；根据运行经验，所述设定时间期限一般可设定为3个月。
各个邮件过滤器从中央管理器下载垃圾特征的定时时间，依据中央管理器、邮件过滤器之间的网络通信状况及中央管理器的运行负荷情况设定，定时时间为一天。
时效处理的期限设定为90天。
特征分发包括增量分发和全量分发，全量分发是指将中央垃圾特征库的所有垃圾特征分发到各个邮件过滤器；增量分发是指中央垃圾特征库根据邮件过滤器的垃圾特征下载历史记录确定需要分发的垃圾特征，避免重复分发。
如上所述，便可较好地实现本发明。
权利要求
1.基于邮件服务器的垃圾邮件过滤系统，包括多个邮件过滤器及依次连接其后的邮件服务器、邮件客户端，其特征在于多个所述邮件过滤器通过互联网还同时连接有中央管理器，所述中央管理器、邮件过滤器分别都包括样本管理模块、特征管理模块，且所述中央管理器的样本管理模块、特征管理模块通过互联网相应与邮件过滤器的样本管理模块、特征管理模块分别连接。
2.按权利要求1所述基于邮件服务器的垃圾邮件过滤系统，其特征在于所述中央管理器样本管理模块包括依次连接的样本采集模块、样本审核模块、样本存储模块和中央垃圾样本库模块；所述中央管理器特征管理模块包括特征采集模块、特征合并模块、特征提取模块、特征分发模块和中央垃圾特征库模块，所述特征合并模块分别与特征采集模块、特征提取模块、中央垃圾特征库模块连接，特征分发模块与中央垃圾特征库模块连接，特征提取模块与中央垃圾样本库模块连接；所述邮件过滤器样本管理模块包括样本下载模块、样本审核模块、样本上报模块、样本处理模块和垃圾样本库模块，样本下载模块与样本审核模块连接，样本审核模块、样本上报模块、样本处理模块分别与垃圾样本库模块连接，样本上报模块还通过互联网与所述中央管理器特征管理模块的样本采集模块连接；所述邮件过滤器特征管理模块包括依次连接的特征下载模块、特征合并模块、垃圾特征库模块、特征上报模块，其特征合并模块与样本处理模块连接，特征下载模块、特征上报模块还通过互联网相应与所述中央管理器特征管理模块的特征分发模块、特征采集模块分别连接。
3.基于邮件服务器的垃圾邮件过滤系统的垃圾邮件过滤方法，其特征在于在邮件过滤器内建立垃圾样本库和垃圾特征库，各邮件过滤器的垃圾样本库和垃圾特征库可以通过互联网上传、共享垃圾样本和垃圾特征；中央管理器通过采集和处理各个邮件过滤器或邮件客户端提交的垃圾样本和垃圾特征，提取垃圾特征并分类，建立中央垃圾样本库、中央垃圾特征库；各个邮件过滤器定时或通过手动从中央管理器下载垃圾特征以更新邮件过滤器的垃圾特征库，实现垃圾特征同步共享，并根据其垃圾特征库进行垃圾邮件的过滤，且所述中央管理器、邮件过滤器的垃圾特征库必须定期进行遗忘处理。
4.按权利要求3所述基于邮件服务器的垃圾邮件过滤系统的垃圾邮件过滤方法，其特征在于所述邮件过滤器的垃圾样本库的建立，是指邮件过滤器通过其样本管理模块的样本下载模块，采集互联网上或邮件客户端主动上报的垃圾邮件样本，并传送到其样本管理模块的样本审核模块进行审核筛选，避免用户提交恶意邮件对系统处理造成影响，审核以后的垃圾样本直接进入其样本管理模块的垃圾样本库模块中，并进行分类存储，从而建立邮件过滤器的垃圾样本库。
5.按权利要求3所述基于邮件服务器的垃圾邮件过滤系统的垃圾邮件过滤方法，其特征在于所述邮件过滤器的垃圾特征库的建立，是指邮件过滤器通过其样本管理模块的样本处理模块，从其样本管理模块的垃圾样本库模块中提取垃圾样本进行分析并提取垃圾特征，同时邮件过滤器通过其特征管理模块的特征下载模块，从中央管理器特征管理模块的特征分发模块下载垃圾特征，邮件过滤器通过其特征管理模块的特征合并模块对垃圾特征进行合并、去掉重复特征后，将垃圾特征分类存储于其特征管理模块的垃圾特征库模块中，从而建立邮件过滤器的垃圾特征库。
6.按权利要求3所述基于邮件服务器的垃圾邮件过滤系统的垃圾邮件过滤方法，其特征在于所述中央管理器的垃圾样本库的建立，是指中央管理器通过其样本管理模块的样本采集模块，采集各个邮件过滤器样本管理模块的样本上报模块或邮件客户端主动上报的垃圾样本，并传送到中央管理器样本管理模块的样本审核模块进行审核筛选，避免用户提交恶意邮件(如病毒邮件、超大邮件等)对系统处理造成影响，审核以后的垃圾样本经中央管理器样本管理模块的样本存储模块进行分类缓存，并送入其样本管理模块的中央垃圾样本库模块中，从而建立中央管理器的垃圾样本库。
7.按权利要求3所述基于邮件服务器的垃圾邮件过滤系统的垃圾邮件过滤方法，其特征在于所述中央管理器的垃圾特征库的建立，是指中央管理器通过其样本管理模块的特征提取模块，从其样本管理模块的中央垃圾样本库模块中按垃圾特征分类提取新的垃圾特征，同时中央管理器通过其特征管理模块的特征采集模块，采集邮件过滤器特征管理模块的特征上报模块主动上报的垃圾特征，中央管理器通过其特征管理模块的特征合并模块对垃圾特征进行合并、去掉重复特征，并对超过设定期限的垃圾特征进行时效处理后，将垃圾特征分类存储于其特征管理模块的垃圾特征库模块中，从而建立中央管理器的垃圾特征库。
8.按权利要求3所述基于邮件服务器的垃圾邮件过滤系统的垃圾邮件过滤方法，其特征在于所述垃圾样本的分类包括符合IP黑名单的邮件、符合地址黑名单的邮件、符合指纹特征的邮件、符合关键字的邮件；所述垃圾特征的分类包括全文特征、IP黑名单特征、地址黑名单特征、指纹特征、关键字特征。
9.按权利要求3所述基于邮件服务器的垃圾邮件过滤系统的垃圾邮件过滤方法，其特征在于所述垃圾特征库的遗忘处理，是指垃圾特征库对存入的各个垃圾特征记录时间戳，并清除达到设定时间期限的各个垃圾特征；所述设定时间期限为3个月；所述各个邮件过滤器从中央管理器下载垃圾特征的定时时间为一天；所述时效处理的期限设定为90天。
10.按权利要求3所述基于邮件服务器的垃圾邮件过滤系统的垃圾邮件过滤方法，其特征在于所述特征分发包括增量分发和全量分发，全量分发是指将中央垃圾特征库的所有垃圾特征分发到各个邮件过滤器；增量分发是指中央垃圾特征库根据邮件过滤器的垃圾特征下载历史记录确定需要分发的垃圾特征，避免重复分发。
全文摘要
本发明提供基于邮件服务器的垃圾邮件过滤系统，包括多个邮件过滤器及依次连接其后的邮件服务器、邮件客户端，多个所述邮件过滤器通过互联网还同时连接有中央管理器，所述中央管理器、邮件过滤器分别都包括样本管理模块、特征管理模块，且所述中央管理器的样本管理模块、特征管理模块通过互联网相应与邮件过滤器的样本管理模块、特征管理模块分别连接。本发明可以实现垃圾特征全网同步共享，有效提升垃圾防范的实时性，提高垃圾邮件的过滤效果。
文档编号G06F17/30GK1909520SQ200610036948
公开日2007年2月7日 申请日期2006年8月4日 优先权日2006年8月4日
发明者隆承志, 张凌, 董守斌, 许勇, 陈启愉 申请人:华南理工大学, 广州数园网络有限公司