专利名称：Url洗白装置和洗白方法
技术领域：
本发明涉及计算机软件领域，尤其涉及一种对曾经被识别为恶意 网址的URL进行洗白的装置和方法。
背景技术：
利用网页挂马传播恶意程序，是恶意程序传播的一种重要渠道。 一个网页连接(URL)被识别为恶意网址的时候，带安全警告的搜索引 擎、浏览器、以及带网页浏览安全防护的软件会拦截对这个URL的 访问。多数情况，URL的所有者也是受害者，黑客攻击了这个网站 并植入了恶意程序或恶意代码，网站的所有者发现后，会对其进行清 除。问题是，当该网站已经安全后，而上述工具(搜索引擎、浏览器、 以及带网页浏览安全防护的软件等)还会在较长一段时间内认为其是 恶意网站。因为，搜索引擎、浏览器等一旦将某个URL识别为恶意 网址后，搜索引擎、浏览器等要经过固定的一个周期以后才会再次访 问该URL，如果访问结果显示该URL已经安全，则将其洗白，本文 中所说的URL洗白就是将该URL设置为非恶意的网址，将URL的 状态由恶意改为非恶意。上述周期一般很长，因此，延缓了用户对已 经及时清除了网页挂马的URL的访问。上述周期之所以比较长，原 因是，在搜索引擎、浏览器等的服务器端有URL访问尝试模块，该 模块不断循环地访问所有URL，然后返回URL是否为恶意的结果。由于全球网站数量众多，也受到服务器的工作能力的限制，必然这种 尝试周期会很长。
综上，有必要提供一种能够及时将已经清除了网页挂马的URL 洗白的装置和方法。本方法要解决的就是縮短这些受害网站的洗白时 间。
发明内容
本发明克服了现有技术中的不足，本发明的第一目的是提供一种 缩短受害URL的洗白时间的装置。
本发明的第二目的是提供一种縮短受害URL的洗白时间的方法。
为了实现上述第一目的，本发明采用如下技术方案-URL洗白装置，包括服务器端和多个客户端； 服务器端包括
通信模块，其用于与各个客户端的通信模块共同实现服务器端与 客户端的信息交互；
URL状态列表，其具体包括每个被收集的URL的收集时间、最 早发现时间、最后发现时间、发现次数、链接状态、链接状态被修改 为恶意的次数；
URL状态列表修改模块，其用于修改URL状态列表中的各种信
息；
URL状态列表轮询模块，其轮询URL状态列表中的各个链接状 态为恶意的URL; 客户端包括
通信模块，其用于与服务器端的通信模块共同实现服务器端与客 户端的信息交互；恶意URL检测模块，其用于检测用户所访问的URL是否为恶意 URL,如果用户所访问URL为恶意URL，将通过客户端的通信模块和 服务器端的通信模块将此URL发送到服务器端;如果为非恶意URL， 则不做任何操作。
为了实现上述第二目的，本发明采用如下技术方案
使用上述URL洗白装置进行的URL洗白方法，其包括URL状 态收集整理过程和URL洗白过程，这两个过程分别进行；
URL状态收集整理过程的具体步骤如下；
a. 恶意URL检测模块检测到恶意URL，通过客户端的通信模块 和服务器端的通信模块把该URL发送到服务器端；
b. 如果该URL尚未存在于URL状态列表中，进入步骤c;如果 该URL已经存在于URL状态列表中，进入步骤山
c. URL状态列表修改模块增加这个URL到URL状态列表，设 定该URL的收集时间为当前时间，最早发现时间为当前时间，最后 发现时间为当前时间；发现次数设为1，链接状态设置为恶意，链接 状态被修改为恶意次数设为1，返回步骤a;
d. 如果该URL在状态列表中的状态为恶意，URL状态列表修 改模块将该URL的最后发现时间改为当前时间，发现次数加1;如 果该URL在状态列表中的状态为非恶意，URL状态列表修改模块将 该URL的最早发现时间改为当前时间，最后发现时间改为当前时间， 发现次数设为1，链接状态改为恶意，链接状态被修改为恶意次数加 1,返回步骤a;
URL洗白过程的具体步骤是，
URL状态列表轮询模块轮询URL状态列表中的各个链接状态为 恶意的URL，对同时满足下列两个条件的URL进行链接状态修改， 将链接状态修改为非恶意第一、该URL的发现次数大于或等于2， 第二、(当前时间-最后发现时间)> k * ((最后发现时间-最
7早发现时间)/发现次数)，其中，k为大于1的实数。
上述装置和方法根据服务器端不断对URL的访问而获得该URL 的一般访问频率，如果在k倍正常的访问时间间隔内，该URL没有 被当做恶意URL而收集入服务器端的URL状态列表，则可以说明该 URL已经被洗白(被认为是非恶意URL)，大大縮短了受害URL的 洗白时间。另外，不需要服务器端另外设置进行URL访问试探的模 块，降低了服务器的工作压力。
具体实施例方式
URL洗白装置，包括服务器端和多个客户端。 服务器端包括
通信模块，其用于与各个客户端的通信模块共同实现服务器端与
客户端的信息交互；
URL状态列表，其具体包括每个被收集的URL的收集时间、最早 发现时间、最后发现时间、发现次数、链接状态、链接状态被修改为 恶意的次数；
URL状态列表修改模块，其用于修改URL状态列表中的上述各种 信息；
URL状态列表轮询模块，其轮询URL状态列表中的各个链接状态 为恶意的URL;
系数k取值列表，该系数k取值列表中列出了在不同时间段内系 数k的取值，其中，k为大于l的实数。 客户端包括
通信模块，其用于与服务器端的通信模块共同实现服务器端与客 户端的信息交互；
恶意URL检测模块，其用于检测用户所访问的URL是否为恶意 URL，如果用户所访问URL为恶意URL，将通过客户端的通信模块和服 务器端的通信模块将此URL发送到服务器端；如果为非恶意URL,则不做任何操作。
下面介绍使用上述URL洗白装置进行URL洗白的方法，该方法包 括URL状态收集整理过程和URL洗白过程，这两个过程分别进行； URL状态收集整理过程的具体步骤如下；
a. 恶意URL检测模块检测到恶意URL，通过客户端的通信模块 和服务器端的通信模块把该URL发送到服务器端；
b. 如果该URL尚未存在于URL状态列表中，进入步骤c;如果该 URL已经存在于URL状态列表中，进入步骤d;
c. URL状态列表修改模块增加这个URL到URL状态列表，设定 该URL的收集时间为当前时间，最早发现时间为当前时间，最后发现 时间为当前时间；发现次数设为l，链接状态设置为恶意，链接状态 被修改为恶意次数设为l，返回步骤a;
d. 如果该URL在URL状态列表中的链接状态为恶意，URL状态 列表修改模块将该URL的最后发现时间改为当前时间，发现次数加1; 如果该URL在URL状态列表中的链接状态为非恶意，URL状态列表修 改模块将该URL的最早发现时间改为当前时间，最后发现时间改为当 前时间，发现次数设为1,链接状态改为恶意，链接状态被修改为恶 意次数加l,返回步骤a;
URL洗白过程的具体步骤是，
URL状态列表轮询模块轮询URL状态列表中的各个链接状态为恶 意的URL，对同时满足下列两个条件的URL进行链接状态修改，将链 接状态修改为非恶意第一、该URL的发现次数大于或等于2，第二、 (当前时间-最后发现时间)> k * ((最后发现时间-最早发 现时间)/发现次数)，其中，k为大于l的实数。"(最后发现时 间-最早发现时间)/发现次数"代表该恶意URL先前被客户端访 问的平均时间间隔，上述公式表示，在k倍的平均时间间隔内，仍然 没有客户端反映该URL为恶意URL，则认为该URL已经被修复，变为
9非恶意URL，因此，进行URL洗白操作。
还有一种情况是，有一部分URL被访问的频率非常低，其首次被 确定为恶意URL以后，可能经过很长一段时间都再也无客户端访问， 这样，上述URL洗白过程就不能对其洗白。针对这种情况，URL状态 列表轮询模块轮询URL状态列表中的各个链接状态为恶意的URL，对 同时满足下列两个条件的URL也进行链接状态修改，将链接状态修改 为非恶意第一、该URL的发现次数等于1，第二、(前时间-最 后发现时间)> Max，其中，Max为在服务端设置的最长洗白周期， 一般可以设置为28-40天。当然，Max值也可以根据客户端的分布广 度不同，由编程者设定为其他值。
在上述方法中，k为修正系数，修正系数由两个因素决定
A. 客户端分布规模规模越大，k值越小。客户端规模越大， 其收集数据越接近真实情况，所以k的修正需求就越小。
B. 客户端分布时区规律和当前时间在该时区规律中客户端活跃 程度。如果客户端时区分布窄，在较窄的时区里，所有客户端的活跃 情况和该时区的作息时间密切相关。所以，窄时区分布的客户端，期 k值根据当前时间跟作息时间表对应修改。因为，对于同一时区(例 如中国来说)，在白天客户端访问URL的频率一般会比凌晨时段要高， 因此，作为修正系数的k值在白天一般应该比凌晨时段要小。同样的 道理，周末、休假等作息规律也会影响到k的取值。如果客户端分布 的时区比较广，比如在绝大多数国家都有分布，则可以不考虑作息时 间的而变化，即不考虑此时间段内客户端的活跃程度。
当然，k的具体取值可以由编程人员根据实际情况设定，上面只 是给出影响k值设定的一些常见因素。k值越大，洗白URL的正确性 越高，但却可能影响到URL应该被洗白的时间。 一般，k取大于或等 于2的值比较安全、实用。K值可以是一个定值。也可以把k值放入 系数k取值列表中，该系数k取值列表中列出了在不同时间段内系数k的取值，在不同时段，根据列表取不同的k值，这样进行URL洗白 操作的准确性更高。
以上实施例描述仅用以说明而非限制本发明的技术方案。不脱离
本发明精神和范围的任何修改或局部替换，应涵盖在本发明的权利要
求范围当中。
权利要求
1、URL洗白装置，其特征在于，包括服务器端和多个客户端；服务器端包括通信模块，其用于与各个客户端的通信模块共同实现服务器端与客户端的信息交互；URL状态列表，其具体包括每个被收集的URL的收集时间、最早发现时间、最后发现时间、发现次数、链接状态、链接状态被修改为恶意的次数；URL状态列表修改模块，其用于增加URL到URL状态列表以及修改URL状态列表中的各种信息；URL状态列表轮询模块，其轮询URL状态列表中的各个链接状态为恶意的URL；客户端包括通信模块，其用于与服务器端的通信模块共同实现服务器端与客户端的信息交互；恶意URL检测模块，其用于检测用户所访问的URL是否为恶意URL，如果用户所访问URL为恶意URL，将通过客户端的通信模块和服务器端的通信模块将此URL发送到服务器端；如果为非恶意URL，则不做任何操作。
2、 根据权利要求1所述的URL洗白装置，其特征在于， 服务器端还包括一系数k取值列表，该系数k取值列表中列出了不同 时间段内系数k的取值，其中，k为大于l的实数。
3、 使用权利要求1所述URL洗白装置进行的URL洗白方法，其特征 在于，包括URL状态收集整理过程和URL洗白过程，这两个过程分别 进行；URL状态收集整理过程的具体步骤如下；a. 恶意URL检测模块检测到恶意URL，通过客户端的通信模块和服 务器端的通信模块把该URL发送到服务器端；b. 如果该URL尚未存在于URL状态列表中，进入步骤c;如果该URL 已经存在于URL状态列表中，进入步骤d;c. URL状态列表修改模块增加这个URL到URL状态列表，设定该URL 的收集时间为当前时间，最早发现时间为当前时间，最后发现时间为 当前时间；发现次数设为1，链接状态设置为恶意，链接状态被修改 为恶意次数设为l，返回步骤a;d. 如果该URL在URL状态列表中的链接状态为恶意，URL状态列表 修改模块将该URL的最后发现时间改为当前时间，发现次数加l;如 果该URL在URL状态列表中的链接状态为非恶意，URL状态列表修改 模块将该URL的最早发现时间改为当前时间，最后发现时间改为当前 时间，发现次数设为1，链接状态改为恶意，链接状态被修改为恶意 次数加l，返回步骤a;URL洗白过程的具体步骤是，URL状态列表轮询模块轮询URL状态列表中的各个链接状态为恶意的 URL，对同时满足下列两个条件的URL进行链接状态修改，将链接状 态修改为非恶意第一、该URL的发现次数大于或等于2，第二、(当 前时间-最后发现时间)>k* ((最后发现时间-最早发现时间) /发现次数)，其中，k为大于l的实数。
4、 根据权利要求3所述的URL洗白方法，其特征在于，URL洗白过程还包括，对同时满足下列两个条件的URL进行链接状态 修改，将链接状态修改为非恶意第一、该URL的发现次数等于l， 第二、(前时间-最后发现时间)> Max,其中，Max为在服务端 设置的最长洗白周期。
5、 根据权利要求4所述的URL洗白方法，其特征在于， 所述k值的设定与客户端的数量有关，客户端的数量越多，k值越小。
6、 根据权利要求5所述的URL洗白方法，其特征在于，所述k值的设定与所有客户端分布的时区规律及当前时间客户端的 活跃程度有关；如果客户端在各个时区规律中分布均匀，则不考虑当前时间客户端的 活跃程度；如果客户端在较窄的时区内分布，则k值根据作息时间进行修正。
7、 根据权利要求6所述的URL洗白方法，其特征在于， 所述Max值为28-40天。
8、 根据权利要求7所述的URL洗白方法，其特征在于， K=2。
9、 根据权利要求3-8中任意一项所述的URL洗白方法，其特征在于， 所述k值存在于系数k取值列表中，该系数k取值列表中列出了不同 时间段内系数k的取值。
全文摘要
本发明涉及一种对曾经被识别为恶意网址的URL进行洗白的装置和方法。URL洗白装置，包括服务器端和多个客户端；服务器端包括通信模块、URL状态列表、URL状态列表修改模块、URL状态列表轮询模块；客户端包括通信模块、恶意URL检测模块。上述装置根据服务器端不断对URL的访问而获得该URL的一般访问频率，如果在k倍正常的访问时间间隔内，该URL没有被当做恶意URL而收集入服务器端的URL状态列表，则可以说明该URL已经被洗白(被认为是非恶意URL)，大大缩短了受害URL的洗白时间。另外，不需要服务器端另外设置进行URL访问试探的模块，降低了服务器的工作压力。
文档编号H04L29/06GK101547197SQ200910039168
公开日2009年9月30日 申请日期2009年4月30日 优先权日2009年4月30日
发明者刘桂峰, 梅银明, 勇 陈 申请人:珠海金山软件股份有限公司