专利名称：一种http流量的控制方法及装置的制作方法
技术领域：
本发明涉及网络安全领域，具体涉及一种HTTP流量的控制方法及装置。
背景技术：
HTTP (Hyper Text Transfer Protocol，超文本传输协议)是目前互联网上应用最为广泛的协议之一。作为互联网主要业务之一的Web业务目前得到了极速发展，它给人们获取信息带来了极大便利的同时，也成为了黑客最关注的攻击目标。目前，对Web站点的攻击方法多种多样，传统的攻击包括基于传输层的攻击方式(包括SYN Flood攻击和空连接攻击)，而目前见得最多的则为基于应用层的攻击方式，包括HTTP Flood攻击、CC攻击，这些基于应用层的Web攻击所产生的HTTP流量大多数符合HTTP协议规范，传统基于特征检测的网络安全设备无法对其进行过滤，而Web服务器要处理这些异常HTTP流量则需要消耗大量的计算资源，一旦这些HTTP攻击流量达到一定水平，则可能耗尽Web服务器所有资源， 使得Web服务器无法对正常的Web服务请求进行响应，从而造成拒绝服务攻击。本文中，为叙述方便，称这些符合HTTP协议规范的由攻击者发出的HTTP流量为异常HTTP流量。目前，对异常HTTP流量的检测方法主要为基于统计的方法，它需要根据受保护的 Web服务器的情况设置检测阈值。在防御异常HTTP流量时，目前大多数方法都无法区分正常Web业务访问HTTP流量和异常HTTP流量，因而只能采取统一对待的方法对HTTP请求进行处理，比如限流等。这种异常HTTP流量防御方法在实际应用场景中应用效果并不理想。
发明内容
本发明要解决的技术问题是提供一种HTTP流量的控制方法及装置，能够对异常 HTTP流量进行限流，同时允许正常Web业务访问HTTP流量正常通过，从而最大限度保障正常用户的Web访问服务质量。为了解决上述问题，本发明提供了一种HTTP流量的控制方法，包括根据Web客户端发往Web服务器的HTTP流量，判定所述Web客户端为自动工具或人工浏览；仅允许判定为人工浏览的Web客户端所产生的HTTP流量进入所述Web服务器。优选地，所述根据Web客户端发往Web服务器的HTTP流量，判定Web客户端为自动工具或人工浏览的步骤前还包括对访问所述Web服务器的各Web客户端进行标识；对于携带正确的客户端标识的HTTP请求，对发出该HTTP请求的Web客户端进行所述根据该Web客户端发往Web服务器的HTTP流量，判定该Web客户端为自动工具或人工浏览的步骤。 优选地，所述对访问所述Web服务器的各Web客户端进行标识的步骤包括
对于每个发给所述Web服务器的HTTP请求，检查其Cookie中是否携带了正确的客户端标识；所述正确的客户端标识是指所存储的网络地址和客户端标识对中，携带该
权利要求
1.一种HTTP流量的控制方法，包括根据Web客户端发往Web服务器的HTTP流量，判定所述Web客户端为自动工具或人工浏览；仅允许判定为人工浏览的Web客户端所产生的HTTP流量进入所述Web服务器。
2.如权利要求1所述的方法，其特征在于，所述根据Web客户端发往Web服务器的HTTP 流量，判定Web客户端为自动工具或人工浏览的步骤前还包括对访问所述Web服务器的各Web客户端进行标识；对于携带正确的客户端标识的HTTP请求，对发出该HTTP请求的Web客户端进行所述根据该Web客户端发往Web服务器的HTTP流量，判定该Web客户端为自动工具或人工浏览的步骤。
3.如权利要求2所述的方法，其特征在于，所述对访问所述Web服务器的各Web客户端进行标识的步骤包括对于每个发给所述Web服务器的HTTP请求，检查其Cookie中是否携带了正确的客户端标识；所述正确的客户端标识是指所存储的网络地址和客户端标识对中，携带该客户端标识的HTTP请求的源网络地址对应的客户端标识，与该客户端标识相同；对于没有携带客户端标识的HTTP请求，为发出该HTTP请求的Web客户端随机生成全局唯一的客户端标识，存储该Web客户端的网络地址和客户端标识对；丢弃该HTTP请求，并向发出该HTTP请求的Web客户端发送一个要求重新提交当前HTTP请求的HTTP重定向消息，所述HTTP重定向消息包含一条将所生成的客户端标识推送到Web客户端的Cookie设置指令。
4.如权利要求1到3中任一项所述的方法，其特征在于，所述仅允许判定为人工浏览的 Web客户端所产生的HTTP流量进入所述Web服务器的步骤前还包括监视所述Web服务器的性能，当所述Web服务器性能恶化时，进行所述仅允许判定为人工浏览的Web客户端所产生的HTTP流量进入所述Web服务器的步骤；所述Web服务器性能恶化包括以下情况中的任一种或其任意组合单位时间内Web服务器发出的HTTP响应消息数量和进入Web服务器的HTTP请求数量之比小于或等于预先指定阈值；单位时间内Web服务器对HTTP请求的平均响应时间大于或等于预先指定阈值；进入Web服务器的HTTP请求的速率大于或等于预先指定阈值。
5.如权利要求1到3中任一项所述的方法，其特征在于，所述根据Web客户端发往Web 服务器的HTTP流量，判定所述Web客户端为自动工具或人工浏览的步骤包括获取一段时间内所述的Web客户端的发出的一系列网页请求，判断各相邻网页请求的时间间隔是否大于或等于一预定的相邻网页请求时间间隔阈值，时间间隔大于或等于预先设定的相邻网页请求时间间隔阈值时，将此时间间隔对应的事件元素ei记为0，否则记为 1 ；将各时间间隔对应的事件元素ei组成一个基本事件序列E ；用所述基本事件序列E分别匹配假设HO和H1，其中HO表示所述Web客户端为人工浏览，Hl表示所述Web客户端为自动工具；如果所述基本事件序列E匹配假设Hl的程度，与基本事件序列E匹配假设HO的程度之间的差距大于或等于一程度阈值，则判定所述Web客户端为自动工具，否则判定所述Web客户端为手动浏览。
6.一种HTTP流量的控制装置，其特征在于，包括Web客户端判定模块用于根据Web客户端发往Web服务器的HTTP流量，判定所述Web 客户端为自动工具或人工浏览；HTTP限流模块，用于仅允许判定为人工浏览的Web客户端所产生的HTTP流量进入所述 Web服务器。
7.如权利要求6所述的装置，其特征在于，还包括HTTP请求鉴别模块，用于对访问所述Web服务器的各Web客户端进行标识；将携带正确的客户端标识的HTTP请求发送给所述Web客户端判定模块和HTTP限流模块。
8.如权利要求7所述的装置，其特征在于，所述HTTP请求鉴别模块包括HTTP请求分类单元，用于对于每个发给所述Web服务器的HTTP请求，检查其Cookie中是否携带了正确的客户端标识；所述正确的客户端标识是指所存储的网络地址和客户端标识对中，携带该客户端标识的HTTP请求的源网络地址对应的客户端标识，与该客户端标识相同；HTTP流量标识单元，用于对于没有携带客户端标识的HTTP请求，为发出该HTTP请求的Web客户端随机生成全局唯一的客户端标识，存储该Web客户端的网络地址和客户端标识对，丢弃该HTTP请求；HTTP请求重定向单元，用于向发出所述没有携带客户端标识的HTTP请求的Web客户端，发送一个要求重新提交当前HTTP请求的HTTP重定向消息，所述HTTP重定向消息包含一条将所生成的客户端标识推送到Web客户端的Cookie设置指令。
9.如权利要求6到8中任一项所述的装置，其特征在于，还包括Web服务器性能监控模块，用于监视所述Web服务器的性能，当所述Web服务器性能恶化时，启动所述HTTP限流模块；所述Web服务器性能恶化包括以下情况中的任一种或其任意组合单位时间内Web服务器发出的HTTP响应消息数量和进入Web服务器的HTTP请求数量之比小于或等于预先指定阈值；单位时间内Web服务器对HTTP请求的平均响应时间大于或等于预先指定阈值；进入Web服务器的HTTP请求的速率大于或等于预先指定阈值。
10.如权利要求6到8中任一项所述的装置，其特征在于，所述Web客户端判定模块根据Web客户端发往Web服务器的HTTP流量，判定所述Web客户端为自动工具或人工浏览是指所述Web客户端判定模块获取一段时间内所述的Web客户端的发出的一系列网页请求，判断各相邻网页请求的时间间隔是否大于或等于一预定的相邻网页请求时间间隔阈值；当时间间隔大于或等于预先设定的相邻网页请求时间间隔阈值时，将此时间间隔对应的事件元素ei记为0，否则记为1 ；将各时间间隔对应的事件元素ei组成一个基本事件序列E ；用所述基本事件序列E分别匹配假设HO和H1，其中HO表示所述Web客户端为人工浏览，Hl表示所述Web客户端为自动工具；如果所述基本事件序列E匹配假设Hl的程度，与基本事件序列E匹配假设HO的程度之间的差距大于或等于一程度阈值，则判定所述Web客户端为自动工具，否则判定所述Web客户端为手动浏览。
全文摘要
本发明公开了一种HTTP流量的控制方法及装置；方法包括根据Web客户端发往Web服务器的HTTP流量，判定所述Web客户端为自动工具或人工浏览；仅允许判定为人工浏览的Web客户端所产生的HTTP流量进入所述Web服务器。本发明能够对异常HTTP流量进行限流，同时允许正常Web业务访问HTTP流量正常通过，从而最大限度保障正常用户的Web访问服务质量。
文档编号H04L12/56GK102571547SQ20101061198
公开日2012年7月11日 申请日期2010年12月29日 优先权日2010年12月29日
发明者叶润国, 周涛 申请人:北京启明星辰信息安全技术有限公司, 北京启明星辰信息技术股份有限公司