基于伪造发件人的垃圾邮件检测与过滤方法
【专利摘要】本发明涉及互联网【技术领域】，具体公开了一种基于伪造发件人的垃圾邮件检测与过滤方法。本发明包括步骤：启动邮件监听系统；接收邮件；提取邮件头；初始化发件人邮件域集合S_DN；从From字段中解析出发件人邮件域MD；从Received字段中解析出发件人邮件域DN；垃圾邮件判定：如果MD∈S_DN，则判定该邮件为垃圾邮件；如果MD∈S_DN，则为正常邮件。本发明实现了有效检测与过滤伪造发件人的垃圾邮件，保证正常邮件不会被错误过滤，为网络管理、网络安全监控、以及网络在线取证提供技术支持。
【专利说明】基于伪造发件人的垃圾邮件检测与过滤方法
【技术领域】
[0001]本发明涉及互联网【技术领域】，具体公开了一种基于伪造发件人的垃圾邮件检测与过滤方法。
【背景技术】
[0002]电子邮件一直是互联网最重要的应用之一，早期的电子邮件系统设计，基于一个基本的假设，即发信人是可信的，因而很少考虑邮件系统的安全性。随着互联网的迅速发展，电子邮件系统越来越普及，随之而来的就是越来越严重的安全性问题，其中最主要的就是垃圾邮件的泛滥，绝大多数邮箱每天都会收到大量的垃圾邮件，给社会、集体和个人带来巨大的损失和不便。如何有效防止垃圾邮件已经成了摆在当前邮件系统面前的最为严峻的问题。目前人们想尽了一切办法与垃圾邮件进行斗争，如黑白名单技术、过滤技术、增强认证技术等。然而垃圾邮件仍然呈不断上升的趋势。
[0003]现有电子邮件系统所存在的诸多安全问题归根到底是由于缺乏对发信人的源地址进行认证所造成的，现有基于SMTP协议和客户/服务器模式的电子邮件系统采用类似路由器的转发机制，服务器无法验证最初发送者的身份或源地址的真实性，导致垃圾邮件泛
YmL ο
[0004]面对凶猛的垃圾邮件，人们采取各种手段，希望能有效遏制垃圾邮件，但收效不大。
[0005]垃圾邮件的过滤包括邮件客户端过滤和邮件服务器端过滤两种途径。一般用户所使用的邮件客户端软件，比如Out look Express、FoxMail和自由软件Mozilla Mail等,都有过滤垃圾邮件的功能，这实际上是对用户已经接受下来的邮件进行过滤，一般都可以按照发件人和主题设置过滤条件，好处是由接收者决定什么是垃圾邮件，是否删除。坏处是这要将所有邮件接收到本地进行，会耗费用户的带宽和精力，对拨号用户，问题尤为严重。服务器端的过滤软件，比如著名的Spamassassin,是通过对邮件文本进行复杂的贝叶斯分析，对邮件中一些符合垃圾邮件特点的文本特征打分，超过某个标准分就判断为垃圾邮件，这些过滤软件再加上对邮件服务器端进行一些设置，就可以在服务器端对垃圾邮件进行标记、转发、存档甚至删除。这样做的好处是，由邮件服务器对付垃圾邮件，用户不必亲自动手，垃圾邮件在服务器端就被阻挡，不会再收到用户本地计算机的信箱中。但是，这对过滤软件的要求很高，要求误判率要尽可能低，因为用户一般宁愿接收10份垃圾邮件也不愿被服务器误删除一份正常的邮件。另外，道高一尺，魔高一丈，面对各种过滤系统，垃圾邮件制造者总会想出各种应对办法。比如，垃圾邮件发送者经常会针对过滤软件的打分系统，在邮件里随机放置一些无意义的词汇，用html语言排版为白底白字，这样用户不会看到，但却可以干扰过滤邮件的打分系统。
[0006]除了用户端和服务器端的过滤，更高级的对付垃圾邮件的技术还包括雅虎提出的Domain Key 和 Eric Raymond 提出的 Sender Policy Framwork(SPF)等。
[0007]事实上，上述解决方案不可能从根本杜绝垃圾邮件的泛滥，垃圾邮件制造者如此猖狂的根本原因在于目前还没有办法对其身份与地址进行认证与追踪的机制，Domain Key和SPF虽然也具有一定程度的认证与追踪机制，但它只能认证到邮件域，而不能认证到邮件发送人。
[0008]事实上，垃圾邮件制造者的主要目的是向邮件接收人推送广告及其它信息，无需收件人进行回复，同时为了躲避各种过滤手段，每次都临时随机构造一个虚假的发信人地址发送邮件，使得黑白名单技术与基于内容与特征的过滤技术失效，我们称这类垃圾邮件为伪造发件人的垃圾邮件(Faked Sender of Spam, FSpam)。
[0009]针对垃圾邮件的特点及现有垃圾邮件检测与过滤方法存在的问题，本发明实现了一种基于伪造发件人的垃圾邮件检测与过滤方法，该方法通过分析邮件头(Header)中相关字段所记录的邮件传输过程的详细信息，如发信人的邮件地址、发信人的邮件域、以及邮件在传输过程中所经过的邮件服务器等信息，从而准确地判断出伪造发件人的垃圾邮件。该方法能有效检测与过滤虚伪造发件人的垃圾邮件，同时能保证正常邮件不会被错误过滤，该方法广泛应用于网络管理、安全监控、网络行为分析等领域。
【发明内容】
[0010]本发明的目的在于:实现有效检测与过滤伪造发件人的垃圾邮件，保证正常邮件不会被错误过滤，为网络管理、网络安全监控、以及网络在线取证提供技术支持。
[0011]为了实现上述发明目的，本发明采用的技术方案如下:
[0012]本发明所采用的技术原理在于:
[0013]邮件头中的From字段记录了邮件发送人的Emai I地址MA(格式为MC0MD，MD为邮件域的名称，MC为发件人在该邮件域内的账号名)，此外邮件头中还有一个或多个Received字段，它记录了邮件在投递过程中所经过的邮件服务器的域名(DN)或IP地址。如图1所示是一封正常邮件的部分邮件头信息，邮件头中的From字段记录了邮件发送人的Email地址(MA):springeriscientific-direct.net,表明邮件发送人来自邮件域(MD):scientific_direct.net,其账号名(MC)为springer。在正常邮件中，可以在Received字段中发现与MD相同的DN,例如在图1所示的例子中，我们会发现MD = DN =scientific-direct, net。
[0014]对于伪造发件人的垃圾邮件FSpam而言，垃圾邮件发送者为了逃避检测与追踪，总是伪造发信人地址，这样就会出现MD与DN不相同的异常情况，反而成了检测与过滤FSpam的基本依据。如图2所示为一封典型的FSpam的邮件头,不难看出,From字段中的邮件域MD与Received字段中的DN不相同。
[0015]依据上述技术原理，基于伪造发件人的垃圾邮件检测与过滤方法，包括步骤:
[0016]1、启动邮件监听系统；
[0017]2、接收邮件；
[0018]3、提取邮件头；
[0019]4、初始化发件人邮件域集合S_DN ；
[0020]5、从From字段中解析出发件人邮件域MD ;
[0021]6、从Received字段中解析出发件人邮件域DN ；
[0022]7、垃圾邮件判定:如果MD e S_DN,则判定该邮件为垃圾邮件；如果MD e S_DN,则为正常邮件。
[0023]与现有技术相比，本发明的有益效果是:
[0024]UAFSpam能够准确地检测出虚假垃圾邮件，同时能够保证正常邮件不会被错误过滤；
[0025]2、AFSpam为插件形式，运行效率高，兼容多种邮件系统，安装部署与卸载都非常方便，不影响邮件系统正常工作；
[0026]3、提供应用编程接口 AP1，可以方便地与入侵检测系统、攻击源追踪系统、在线取证系统等安全管理与安全监控系统实现数据交换与信息通信。
【专利附图】
【附图说明】
[0027]图1为正常邮件头代码格式示意图；
[0028]图2为伪造发件人的垃圾邮件头代码格式示意图；
[0029]图3为FSpam检测/过滤引擎在Qmail邮件系统中的方位示意图；
[0030]图4为FSpam系统结构示意图；
[0031]图5为FSpam测试环境示意图；
[0032]图6为FSpam测试结果示意图。
【具体实施方式】
[0033]下面结合【具体实施方式】对本发明的上述
【发明内容】
作进一步的详细描述。
[0034]但不应将此理解为本发明上述主题的范围仅限于下述实施例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的范围内。
[0035]实施例
[0036]由于不同的邮件系统在实现细节上并未严格遵循电子邮件的相关协议与标准如RFC822等，以及邮件系统自身的配置差错，在具体实施FSpam的检测与过滤时可能会遇到一些技术性问题。比如，有些非标准邮件系统发送邮件时，在Received字段中写入的不是域名而是IP地址；另外，有些邮件系统支持虚拟邮件域(即一个邮件系统同时管理多个邮件域)，发送邮件时写入Received字段中的邮件域ND不一定是From字段中的邮件域MD。这样就可能给FSpam的检测带来一些操作上的困难，出现误杀正常邮件的可能。对于上述问题，可以通过DNS正向查询、反向解析以及通过NSL00KUP查询MX记录等技术手段得到较好的解决。
[0037]本实施例列举的基于伪造发件人的垃圾邮件检测与过滤方法，包括如下步骤:
[0038]1、FSpam检测/过滤引擎AFSpam的部署；
[0039]邮件系统具体实现FSpam的检测与过滤时，需要选择一个最佳的切入点。本发明以Qmai I邮件系统为例加以说明。如图3所示，邮件系统处理的邮件包括4种:
[0040](I)从外部邮件域发往其它外部邮件域但需要经过本邮件服务器进行中转的邮件；
[0041](2)从外部邮件域发往本域的邮件；
[0042](3)从本域发往外部邮件域的邮件；[0043](4)从本域发往本域的邮件。
[0044]检测/过滤引擎必须能处理所有这些邮件，因此，虚假发信人垃圾邮件的检测与处理的最佳位置应该是在邮件队列中进行。本发明将FSpam检测/过滤引擎以插件的形式安装部署在Qmai I邮件系统的qmai 1-queue与qmai卜send之间,这样不会影响原有系统结构，安装、移除都很方便，运行效率也很高。
[0045]2、FSpam检测/过滤引擎AFSpam的体系结构与实施流程。
[0046]具体实施过程中，在一台Linux操作系统Cent0S6.0上安装部署了 Qmail邮件服务器系统，并将FSpam检测/过滤引擎AFSpam以插件的形式安装部署在Qmail邮件系统的qmai卜queue (负责处理邮件队列)与qmai卜send(负责发送经过qmai 1-queue处理后的邮件队列)之间，使得邮件服务器可以正常工作而不受AFSpam引擎的影响。
[0047]AFSpam引擎的体系结构如图4所示,主要包括邮件头解析、FSpam检测引擎、FSpam过滤、FSpam追踪、FSpam分析/统计以及可视化输出等模块。实施过程主要包括以下步骤(如图4中的虚框内部所示):
[0048](I)邮件系统启动后自动启动FSpam检测/过滤引擎AFSpam，开始监听邮件系统，并进行初始化工作:
[0049](2)邮件头解析模块从来自邮件队列qmail-queue中邮件的邮件头中的相关字段如From、Received等中提取出MD、MC、DN信息,然后提交给AFSpam检测引擎进行处理；
[0050](3)FSA检测引擎接收来自邮件头解析模块中提取出的MD、MC、DN等信息，作为输入信息调用FSA检测算法判定是否为FSpam ；
[0051](4)垃圾邮件的判断与处理:
[0052]①如果判定为正常邮件，则将邮件提交给qmail-send进行正常投递；
[0053]②如果判定为FSpam,则AFSpam过滤模块根据用户事先设定的规则对FSpam进行过滤，目前本系统支持的过滤形式包括:打上[FSpam]标签，然后放行；直接丢弃该邮件。
[0054](5)FSpam追踪。当邮件被判定为FSpam邮件时,本系统还提供了一个FSpam追踪功能，结合FSpam分析/统计模块用以进一步追查邮件的源头。比如，如果大量FSpam邮件来自同一个邮件服务器，则此邮件服务器为垃圾邮件发送器，通知邮件服务器守护进程tcpserver/inetd拒绝来自该邮件服务器的SMTP连接请求。
[0055]实验例
[0056]FSpam检测/过滤弓丨擎AFSpam的性能测试
[0057]为了验证FSpam检测/过滤器的功能,设计了如图5所示的FSpam过滤对比实验:
[0058]1、通过FSpam发送平台向收件人I iuwuOcernet.edu.cn随机发送一些FSpam邮件与正常邮件
[0059]2、邮件服务器cernet.edu.cn上未部署FSpam检测/过滤器Ant1-FSpam,并且cernet.edu.cn邮件服务器自动将发往I iuwuOcernet.edu.cn的邮件转发给I iuwuOvhost.galaxy, edu.cn
[0060]3、在邮件服务器vhost.galaxy, edu.cn上部署了 FSpam检测过滤器Ant1-FSASpam0
[0061]4、如果Ant1-FSpam检测过滤系统工作正常,那么IiuwuOcernet.edu.cn的邮箱中将接收到所有来自FSpam发送器所发送的邮件,而liuwu@vhost.galaxy, edu.cn的邮箱中只能接收到FSpam发送器所发送的正常邮件。那么，通过对比IiuwuOcernet.edu.cn与Iiuwuivhost.galaxy, edu.cn中的邮件就可判定FSpam检测过滤系统Ant1-FSASpam是否正
常工作。
[0062]图6所示为测试结果，其中:
[0063]FSpam 检测率=liuwuivhost.galaxy, edu.cn 收到的邮件数量 / 发送的 FSpam 数量X 100%，即正确检测出FSpam邮件的比率。
[0064]误判率=(I iuwuOvhost.galaxy, edu.cn收到的邮件数量-正常邮牛数量)/正常邮件数量X 100%，即将正常邮件误判为FSpam邮件的比率。
[0065]实验表明，AFSpam能够准确地检测出虚假垃圾邮件，同时能够呆证正常邮件不会被错误过滤。
【权利要求】
1.基于伪造发件人的垃圾邮件检测与过滤方法，其特征在于，包括步骤: 启动邮件监听系统； 接收邮件； 提取邮件头； 初始化发件人邮件域集合S_DN ； 从From字段中解析出发件人邮件域MD ； 从Received字段中解析出发件人邮件域DN ； 垃圾邮件判定:如果MD e S_DN，则判定该邮件为垃圾邮件；如果MD e S_DN，则为正常邮件。
【文档编号】H04L29/06GK103716335SQ201410030188
【公开日】2014年4月9日 申请日期:2014年1月12日 优先权日:2014年1月12日
【发明者】刘武, 唐再良, 文永革, 赵永驰 申请人:绵阳师范学院