专利名称：统一资源定位符优化审计的方法、装置和网络侧设备的制作方法
技术领域：
本发明实施例涉及通信技术领域，尤其涉及一种统一资源定位符优化审计的方 法、装置和网络侧设备。
背景技术：
随着网络的发展，互联网应用已经渗透到社会生活的每一个角落，成为人们学习、 工作和生活不可或缺的工具，成为企业运营的基础平台。互联网的开放性、交互性和延伸性 为人们快速获取知识、即时沟通以及跨地域交流提供了极大的便利；与此同时，互联网的便 利性与虚拟性也成为各种不和谐行为滋生的温床，网络恶搞、人肉搜索、工作时间“偷菜”以 及浏览与工作无关的网站等问题，越来越对社会和谐，以及企业效率等提出了严峻的挑战。统一资源定位符(Uniform Resource Locator ；以下简称URL)过滤提供了一种 简单而有效的方案，可以防止用户访问与工作无关的、不健康的和恶意的网站，而URL审计 则使得用户的上网行为变得更加透明化，可以清楚地看到内网用户在什么时间访问了什么 网站，同时这也是一种强有力的威慑工具，有利于规范网络的合理利用。现有技术中，URL的语法格式如下所示HTTP_URL: = 〃 http:〃 “ //〃 host [ port] [abs_path[" ？ “ query]]其中"http”代表超文本传输协议(HyperiText Transfer Protocol ；以下简称 HTTP)，“h0St[:p0rt]”为HTTP请求报文首部主(host)域的值，即资源站点的地址，可以 是域名，也可以是因特网协议(Internet Protocol ；以下简称IP)地址，如果端口(port) 为空，则代表端口为80。"abs_path[" ？ “ query]，，即资源的统一资源标识符(Uniform Resource Identifier ；以下简称URI)。当通过浏览器去访问一个网站的首页时，浏览器往往不只发起一个URL请求。例 如通过浏览器访问“http://WWW. linux. org/"时，实际上浏览器发起了大量的URL请求， 如(仅罗列部分)http/ / www.linux.org//
http/ / www.linux.org/,images./colour/yellow, gif
http/ / www.linux.org/,images./header/advert, if
http/ / www.linux.org/Zfavicon. ico
http/ / www.linux.org/,images./logo/linuxorg. gif
http/ / www.linux.org/,advert./bin/source ？ 02:1826:0490:BA4C0A3FFFD016730F3A1A59
http/ / www.linux.org/,images./navbar/news. gif
http/ / www.linux.org/,images./navbar/events, gif
http/ / www.linux.org/,images./navbar/hardware. gif
http/ / www.linux.org/7Image s/navbar/people, gif
http/ / www.linux.org/,images./navbar/projects. gif
http://www. linux. org/images/navbar/usergroups. gifhttp://www. linux. org/images/navbar/download, gifhttp://www. linux. org/advert/bin/source ？ 02:1822:0484:BA4C0A3FFFD0167 31D3A1A99......造成上面这种情况的原因就在于“www. linux. org”首页中包含了大量的图片数 据，浏览器在获取首页的同时，会自动去获取这些图片数据，也就生成了大量的URL请求。 互联网网站访问的这种情况可谓比比皆是，这些浏览器自动生成的URL请求对URL审计来 说，往往是没有实际意义的，如果不加区分的将这些URL请求全部审计下来的话，审计数据 量将会很庞大，带来如下问题1、URL审计的时间与性能开销较大。2、海量数据占用大量的存储空间；3、从海量审计数据中去查询想要的信息时，对查询性能的要求很大。因此，在对URL进行审计的时候，需要过滤掉那些没有实际意义的URL请求(例 如由浏览器自动生成的URL请求)，使得URL审计更加贴近用户实际的网络访问行为。现有技术中，在对URL进行审计时，主要有以下几种方式1、不审计图片、脚本和样式等的URL访问，其他的都审计。这种方式通常是预先设定一个不审计的后缀列表，如“.jpg”、“.gif”、“.ico”、 css”、“. js”、“. png”等，如果URL的后缀在不审计后缀列表中，则该URL将不会被审计下来。这种方式虽然实现起来很简单，也可以过滤掉很大一部分URL请求，但还是有大 量的URL无法过滤掉，并且这种URL在互联网上是大量存在的。并且，该方式还有另一个问 题，如果用户自己在浏览器里输入“http://www. linux. org/imges/colour/yellow. gif”的 话，使用了本方式的话，该URL将不会被审计，可该URL却是用户的实际网络访问行为。2、HTTP请求报文的HTTP头部中带有来源(Referer)域的URL请求不审计。该方式同样存在一个问题，如果用户此时在首页上点击了一个链接，使用该方法， 该URL也将被忽略，而该URL却是用户的实际网络访问行为。综上所述，现有技术尚无法进行有效的URL优化审计，无法对用户的实际网络访 问行为进行有效的审计。
U
发明内容
本发明实施例提供一种统一资源定位符优化审计的方法、装置和网络侧设备，以 实现有效识别浏览器自动生成的URL访问，对用户的实际网络访问行为进行有效的审计。本发明实施例提供一种统一资源定位符优化审计的方法，包括当接收的请求报文的报文头中包括来源域时，提取所述来源域的值与所述请求报 文的统一资源定位符；当所述来源域的值与预先设置的统一资源定位符访问缓存池中记录的统一资源 定位符均不相同，且所述请求报文的统一资源定位符与预先设置的浏览器自动统一资源定 位符访问缓存池中记录的统一资源定位符均不相同时，审计所述请求报文的统一资源定位符。本发明实施例还提供一种统一资源定位符优化审计的装置，包括提取模块，用于当接收的请求报文的报文头中包括来源域时，提取所述来源域的 值与所述请求报文的统一资源定位符；审计模块，用于当所述提取模块提取的来源域的值与预先设置的统一资源定位符 访问缓存池中记录的统一资源定位符均不相同，且所述提取模块提取的所述请求报文的统 一资源定位符与预先设置的浏览器自动统一资源定位符访问缓存池中记录的统一资源定 位符均不相同时，审计所述请求报文的统一资源定位符。本发明实施例还提供一种网络侧设备，包括上述统一资源定位符优化审计的装置。通过本发明实施例，当接收到的请求报文的报文头中来源域的值与预先设置的统 一资源定位符访问缓存池中记录的统一资源定位符均不相同，且接收到的请求报文的统一 资源定位符与预先设置的浏览器自动统一资源定位符访问缓存池中记录的统一资源定位 符均不相同时，才对上述请求报文的统一资源定位符进行审计，否则不审计该请求报文的 统一资源定位符，从而可以实现有效识别浏览器自动生成的URL访问，对用户的实际网络 访问行为进行有效的审计。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。图1为本发明统一资源定位符优化审计的方法一个实施例的流程图；图2为本发明统一资源定位符优化审计的方法另一个实施例的流程图；图3为本发明对网页数据进行分析的方法一个实施例的流程图；图4为本发明统一资源定位符优化审计的装置一个实施例的结构示意图；图5为本发明统一资源定位符优化审计的装置另一个实施例的结构示意图。
具体实施例方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。图1为本发明统一资源定位符优化审计的方法一个实施例的流程图，如图1所示， 该统一资源定位符优化审计的方法可以包括步骤101，当接收的请求报文的报文头中包括来源(Referer)域时，提取该 Referer域的值与该请求报文的URL。本实施例中，接收的请求报文可以为HTTP请求报文，该请求报文的报文头可以为 HTTP头。上述Referer域为HTTP头中的一个域，Referer域的值表明了 HTTP请求报文的URL的来源地址，Referer域的值的格式与URL的格式相同；当URL是用户直接在浏览器中 敲入产生时，Referer域的值为空。进一步地，在提取该Referer域的值与该请求报文的URL之后，可以将该请求报文 的URL记录到URL访问缓存池中。步骤102，当上述Referer域的值与预先设置的URL访问缓存池中记录的URL均不 相同，且该请求报文的URL与预先设置的浏览器自动URL访问缓存池中记录的URL均不相 同时，审计该请求报文的URL。本实施例中，当接收的请求报文的报文头中不包括Referer域时，可以提取该请 求报文的URL，将该请求报文的URL记录到URL访问缓存池中，然后审计该请求报文的URL。进一步地，在步骤101提取该Referer域的值与该请求报文的URL之后，当该请求 报文的URL与浏览器自动URL访问缓存池中记录的至少一个URL相同时，或者当Referer 域的值与URL访问缓存池中记录的至少一个URL相同时，也可以将该请求报文的URL记录 到URL访问缓存池中；但是，本实施例中，不审计该请求报文的URL。本实施例中，URL访问缓存池中记录的URL为预设时间段(例如5秒)内用户访 问的URL，该URL访问缓存池中的节点记录该用户的IP地址、该用户访问的URL对应的URL 字符串和访问该用户访问的URL的时间中的一个或多个；浏览器自动URL访问缓存池中记录的URL为浏览器根据网页数据自动生成的URL， 该浏览器自动URL访问缓存池中的节点记录访问该自动生成的URL的用户的IP地址、该自 动生成的URL对应的URL字符串和该浏览器自动URL访问缓存池中的节点的生成时间中的 一个或多个。本实施例中，URL访问缓存池中的节点和浏览器自动URL访问缓存池中的节点记 录的信息不是固定的，可以根据实际情况增加或删除，本实施例对URL访问缓存池和浏览 器自动URL访问缓存池中的节点所记录的信息不作限定。上述实施例中，当接收到的请求报文的报文头中Referer域的值与预先设置的 URL访问缓存池中记录的URL均不相同，且接收到的请求报文的URL与预先设置的浏览器自 动URL访问缓存池中记录的URL均不相同时，才对上述请求报文的URL进行审计，否则不审 计该请求报文的URL，从而可以实现有效识别浏览器自动生成的URL访问，对用户的实际网 络访问行为进行有效的审计。图2为本发明统一资源定位符优化审计的方法另一个实施例的流程图，如图2所 示，该统一资源定位符优化审计的方法可以包括步骤201，设置URL访问缓存池和浏览器自动URL访问缓存池。本实施例中，URL访问缓存池用于记录预设时间段(例如最近5秒)内网用户访 问的URL。该URL访问缓存池中的每一个节点需要包含如下信息(具体实施时可以根据需 要增减)1) IP地址访问该URL的IP地址；2) URL 该URL访问对应的URL字符串；3)时间访问该URL的时间。浏览器自动URL访问缓存池用于记录浏览器将根据网页数据自动生成的URL请 求。在该浏览器自动URL访问缓存池中的URL是将由浏览器自动生成的，而非用户主动访问的URL，因此这些URL是不需要审计的。该浏览器自动URL访问缓存池中的每一个节点需 要包含如下信息(具体实施时可以根据需要增减)1) IP地址访问该自动生成的URL的IP地址；2) URL 该自动生成的URL对应的URL字符串；3)时间该节点生成的时间。上述两种缓存池中的节点，其存储组织方式必须符合如下要求(1)节点插入的时间开销要尽可能短；(2)查询一个节点是否存在时，查询的时间开销也要尽可能短；(3)节点老化的时间开销也要尽可能短。要满足如上要求，通常可以使用哈希链表的方式对上述两种缓存池中的节点进行 组织存储。步骤202，接收HTTP请求报文。步骤203，判断HTTP请求报文的HTTP头中是否包括Ref erer域。如果包括，则执行 步骤204 ；如果HTTP头中不包括Referer域，则表明该HTTP请求报文的URL不是从其他URL 链接过来的，而是用户的实际URL访问行为，需要被审计，因此当HTTP头中不包括Referer 域时，执行步骤209。步骤204，提取HTTP请求报文的URL和Referer域的值。步骤205，判断HTTP请求报文的URL是否与浏览器自动URL访问缓存池中记录的 URL相同。如果HTTP请求报文的URL与浏览器自动URL访问缓存池中记录的至少一个URL 相同，则表明该URL是浏览器自动生成的，不需要审计，执行步骤210 ；其中，HTTP请求报文 的URL与浏览器自动URL访问缓存池中记录的至少一个URL相同可以为HTTP请求报文的 URL和访问该URL的IP地址，与浏览器自动URL访问缓存池中记录的至少一个URL和访问 该至少一个URL的IP地址均相同。而如果HTTP请求报文的URL与浏览器自动URL访问缓存池中记录的URL均不相 同，则需要执行步骤206。这里，需要说明下该浏览器自动URL访问缓存池中的节点是如何得来的。本实施 例中，需要对每个HTTP请求报文对应的回应信息(即网页数据)进行分析，根据网页对应 的超文本标记语言(HyperText Mark-up Language ；以下简称HTML)语法，可以获知浏览 器将会自动生成哪些URL，将这部分URL请求记入浏览器自动URL访问缓存池即可。由于 对网页数据进行分析对性能的消耗相对比较大，因此对每个HTTP请求报文对应的网页数 据进行分析的操作将在后台进行，这样就不会影响HTTP请求报文的转发性能。具体地， 对HTTP请求报文对应的网页数据进行分析可以为对HTTP请求报文对应的网页数据进行 HTML语法分析，获得浏览器自动生成的URL ；然后，将浏览器自动生成的URL记录到浏览器 自动URL访问缓存池中。图3为本发明对网页数据进行分析的方法一个实施例的流程图，如图3所示，该方 法可以包括步骤301，获得HTTP请求报文对应的网页数据。步骤302，判断该网页数据是否压缩；如果是，则执行步骤303 ；如果没有压缩，则执行步骤304。步骤303，对上述网页数据进行解压缩。步骤304，对该网页数据进行HTML语法分析，获得浏览器自动生成的URL，将该自 动生成的URL记录到浏览器自动URL访问缓存池中。举例来说，对该网页数据进行HTML语法分析时，< img src = ‘‘ /test, gif" border = “ 0" height=" 1" width = “ 1" alt" “ / > 等标签均能使浏览器 自动生成相应的URL访问。步骤206，判断Referer域的值是否与URL访问缓存池中记录的URL相同。如果 Referer域的值与URL访问缓存池中记录的URL均不相同，则执行步骤207。如果Referer域的值与URL访问缓存池中记录的至少一个URL相同，则表明该 HTTP请求报文的URL是由之前的某个URL链接过来的，实际上该HTTP请求报文的URL可能 是浏览器自动生成的，也可能是用户点击了先前页面上的链接而产生的。本实施例中，如果 Referer域的值与URL访问缓存池中记录的至少一个URL相同，则执行步骤210。由于在步骤205中，网页数据的分析是在后台进行的，因此延迟是不可避免的，如 果在网页数据分析得出该HTTP请求报文的URL是浏览器自动生成的URL之前，浏览器可能 已经自动生成并发起该URL访问了，因此，本实施例中，当Referer域的值与URL访问缓存 池中记录的至少一个URL相同时，不审计该HTTP请求报文的URL。但是，需要说明的是，URL访问缓存池中节点的生存周期不能太长，否则就会发生 误判，即用户实际的URL访问行为未被审计下来。通常可以用户打开一个网站首页到用户 在该页面上点击某个链接所需要的平均时间为依据，设置URL访问缓存池中节点的生存周 期，例如可以将URL访问缓存池中节点的生存周期设为5秒，当然在具体实施时，可以根据 实际情况调整URL访问缓存池中节点的生存周期的长短，本实施例对此不作限定。这样就 可以保证URL访问审计尽可能贴近用户的实际网络访问行为。本实施例中，步骤205与步骤206可以先后执行，也可以并行执行，本实施例对此 不作限定。步骤207，将该请求报文的URL记录到URL访问缓存池中。步骤208，审计该请求报文的URL。本实施例中，步骤207与步骤208可以先后执行，也可以并行执行，本实施例对此 不作限定。步骤209，提取HTTP请求报文的URL，执行步骤207。步骤210，不审计该请求报文的URL，将该HTTP请求报文的URL记录到URL访问缓 存池中。本实施例中，不管一个URL是否需要审计，均需要将该URL记录到URL访问缓存池 中，以用于步骤206的判断。本实施例中，两种类型的缓存池中的节点都需要考虑老化，因此需要预先设置这 两种类型的缓存池中节点的生存周期，当缓存池中的节点超过生存周期时，系统需要自动 将该节点从缓存池中删除，释放相应的资源。其中，浏览器自动URL访问缓存池中的节点的 生存周期可以设置的长一点，以内存空间的承受能力为准(因为老化时间太长，必然导致 需要更多的内存空间)，通常设置1 3分钟为宜。而URL访问缓存池中节点的生存周期可以参考步骤206中的说明，在此不再赘述。由于图片等URL通常不会触发浏览器自动去获取其他URL，因此作为本发明实施 例的优选方案，可以设置一个过滤后缀列表，当URL的后缀与该过滤后缀列表中的后缀相 同时，不对该URL对应的网页数据进行分析，也不将该URL记录到URL访问缓存池中；也就 是说，只有当HTTP请求报文的URL的后缀与过滤后缀列表中的后缀不同时，才对该HTTP请 求报文对应的网页数据进行HTML语法分析，并将该HTTP请求报文的URL记录到URL访问 缓存池中。这样可以大大减少网络侧设备的工作量，并且可以大大减少两个缓存池中节点 的数量，有利于优化网络侧设备的吞吐性能。上述实施例可以实现有效识别浏览器自动生成的URL访问，使得URL审计更有意 义，更能贴近内网用户的实际网络访问行为，大大减少了 URL审计数据量。并且由于采用后 台分析HTTP请求报文对应的网页数据的方式，不影响HTTP请求报文的转发性能。下面结合一个具体的实施例对本发明实施例提供的统一资源定位符优化审计的 方法进行说明。首先需要设置浏览器自动URL访问缓存池和URL访问缓存池。两个缓存池中的节 点都通过哈希链表的方式进行存储。上述两个缓存池均以(IP，URL)作为哈希的键值。其 中浏览器自动URL访问缓存池的节点的生存周期设置为120秒，URL访问缓存池中节点的 生存周期设置为5秒。初始化两个缓存池都为空。这两个缓存池可以存储于网络侧设备的 内存中。设置过滤后缀列表，该过滤后缀列表中可以包括以下后缀“.jpg”、“.gif”、 “.ico”、“. png”。本发明实施例中，当URL的后缀与上述后缀相同时，不对该URL对应的网 页数据进行分析，也不将该URL记录到URL访问缓存池中。为了便于描述，下面以相对时间来说明。第1秒时，内网用户192. 168. 0. 10在浏览器里输入www. linux. org,并按回车键。 网络侧设备收到该HTTP请求报文，该HTTP请求报文的HTTP头中Referer域为空，根据本 发明实施例提供的统一资源定位符优化审计的方法，网络侧设备提取该HTTP请求报文的 URL，并审计该 URL，同时，将生成一个 URL 访问节点(IP :192. 168. 0. 10，URL :http://www. linux. org，时间:2010-12-10 11:04:01)，记录到URL访问缓存池中，然后转发该HTTP请求 报文。同时，网络侧设备对该HTTP请求报文对应的HTTP回应数据(即该HTTP请求报文对 应的网页数据)进行分析。本发明实施例中，该网页数据的HTML源码中，包含了如下字段信息< img src = “ /images/colour/yellow, gif “ border = “ 0 “ width ="1" height =" 1" alt =""/>;< img src = “ /images/colour/clear, gif “ border = “ 0 “ height ="1" width =" 1" alt =""/>;上述字段信息表明浏览器将自动去获取http://冊w. linux.org/images/colour/ yellow, gif 与 http//www. linux. org/images/colour/clear, gif,因此可以生成以下两 个浏览器自动URL访问节点ι 1 :ΙΡ :192. 168. 0. 10，URL :http://www. linux. org/images/colour/yellow. gif，时间2010-12-10 11:04:05 ；
ι2 :IP :192.168.0.10， URL :http://www. linux. org/images/colour/clear. gif，时间2010-12-10 11:04:05。然后将上述两个节点记录到浏览器自动URL访问缓存池中。这里假设这两个浏览 器自动URL访问节点是在第5秒时生成的。第2秒时，网络侧设备收至Ij IP 192. 168. 0. 10的HTTP请求报文，“http//www. linux. org/images/colour/yellow. gif",该 HTTP 请求报文的 HTTP 头中 Referer 域的值为 "http://www. linux. org，，。由于该 Referer 域的值(IP :192. 168. 0. 10，URL :http://www. linux. org)与URL访问缓存池中记录的一个URL和访问该URL的IP相同，因此不需要审计 该URL。由于该URL与过滤后缀列表中的一个后缀相同，因此也不需要将该URL记录到URL 访问缓存池中，并且也不需要对该HTTP请求报文对应的网页数据进行分析。第6 秒时，URL 访问缓存池中的节点(IP :192. 168. 0. 10,URL :http://www. linux. org，时间:2010-12-10 11:04:01)的生存周期到达，将该节点从URL访问缓存池中删除。第7秒时，网络侧设备接收到IP =192. 168. 0. 10的HTTP请求报文“http//www. linux. org/images/colour/clear. gif",该 HTTP 请求报文的 HTTP 头中的 Referer 域的值 (IP :192. 168. 0. 10，URL :http://www. linux. org)与 URL 访问缓存池中记录的 URL 不相 同，但是该 HTTP 请求报文的 URL(IP :192. 168. 0. 10，URL :http://www. linux. org/mages/ colour/clear, gif)与浏览器自动URL访问缓存池中记录的URL相同，因此不审计该HTTP 请求报文的URL。同时由于该URL的后缀与过滤后缀列表中的后缀相同，因此不将该URL记 录到URL访问缓存池中，也不对该HTTP请求报文对应的网页数据进行分析。第8秒时，用户点击了 mm. linux. org首页上的一个链接，网络侧设备收到IP 192. 168. 0. 10 的 HTTP 请求报文“http//www. linux. org/news/2010/12/09/0003. html”， 该 HTTP 请求报文的 HTTP 头中 Referer 域的值(IP :192. 168. 0. 10，URL :http://www. linux. org)与URL访问缓存池中记录的URL均不相同，并且该HTTP请求报文的URL(IP 192. 168. 0. 10，URL :http://www. linux. org/news/2010/12/09/0003. html)与浏览器自动 URL访问缓存池中记录的URL均不相同，因此该URL需要审计，同时生成一个URL访问节 点(IP :192.168.0.10，URL :http://www. linux. org/news/2010/12/09/0003. html,时间 2010-12-10 11:04:08)，将生成的URL访问节点记录到URL访问缓存池中。并且需要对该 HTTP请求报文对应的网页数据进行分析，分析的方式请参见前述说明，在此不再赘述。第126 秒时，浏览器自动 URL 访问节点(IP :192. 168. 0. 10，URL :http:// www.linux. org/images/colour/yellow. gif,时间2010-12-10 11:04:05)禾口 (IP 192. 168. 0. 10，URL :http://www. linux. org/mages/colour/clear. gif,时间2010-12-10 11:04:05)生存周期到达，将上述两个节点从浏览器自动URL访问缓存池中删除。以此类推，这里对其他类型的URL访问就不再进行分析。在上述实施例中，实际审计的URL有IP 192. 168. 0. 10，URL :http://www. linux. orgIP :192. 168. 0. 10，URL :http://www. linux. org/news/2010/12/09/0003. html与内网用户192. 168. 0. 10的实际网络访问行为一致。本发明实施例提出的统一资源定位符优化审计的方法，通过在后台对HTTP请求 报文对应的网页数据进行分析，可以有效识别浏览器自动生成的URL，使得URL审计更能贴近内网用户的实际网络访问行为，大大减少了 URL审计数据量。并且由于采用后台分析URL 请求回应数据的方式，不影响HTTP请求报文的转发性能。优选地，本发明实施例可以设置 一个过滤后缀列表，当URL的后缀与该过滤后缀列表中的后缀相同时，不审计该URL(通常 是杀毒软件或系统自动更新等产生的URL)，来满足不同用户的实际需求。本领域普通技术人员可以理解实现上述方法实施例的全部或部分步骤可以通过 程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序 在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括R0M、RAM、磁碟或者 光盘等各种可以存储程序代码的介质。图4为本发明统一资源定位符优化审计的装置一个实施例的结构示意图，本实施 例中的统一资源定位符优化审计的装置可以作为网络侧设备，或网络侧设备的一部分实现 本发明图1所示实施例的流程。如图4所示，该统一资源定位符优化审计的装置可以包括提取模块41，用于当接收的请求报文的报文头中包括Referer域时，提取该 Referer域的值与该请求报文的URL ；审计模块42，用于当提取模块41提取的Referer域的值与预先设置的URL访问缓 存池中记录的URL均不相同，且提取模块41提取的请求报文的URL与预先设置的浏览器自 动URL访问缓存池中记录的URL均不相同时，审计该请求报文的URL。本实施例中的网络侧设备可以为路由器、网关设备(例如局域网网关设备)或上 网行为监控设备等。上述实施例中，当提取模块41提取的Referer域的值与预先设置的URL访问缓存 池中记录的URL均不相同，且提取模块41提取的URL与预先设置的浏览器自动URL访问缓 存池中记录的URL均不相同时，审计模块42才对上述请求报文的URL进行审计，否则不审 计该请求报文的URL，从而可以实现有效识别浏览器自动生成的URL访问，对用户的实际网 络访问行为进行有效的审计。图5为本发明统一资源定位符优化审计的装置另一个实施例的结构示意图，本实 施例中的统一资源定位符优化审计的装置可以作为网络侧设备，或网络侧设备的一部分实 现本发明图1和图2所示实施例的流程。与图4所示的统一资源定位符优化审计的装置相比，不同之处在于，图5所示的统 一资源定位符优化审计的装置中，提取模块41还可以当接收的请求报文的报文头中不包 括Referer域时，提取该请求报文的URL ；审计模块42还可以在提取模块41提取请求报文 的URL之后，审计该请求报文的URL。进一步地，该统一资源定位符优化审计的装置还可以包括第一记录模块43，用于将提取模块41提取的请求报文的URL记录到URL访问缓存 池中。进一步地，该第一记录模块43还可以当提取模块41提取的请求报文的URL与 浏览器自动URL访问缓存池中记录的至少一个URL相同时，或者当提取模块41提取的 Referer域的值与URL访问缓存池中记录的至少一个URL相同时，将该请求报文的URL记录 到URL访问缓存池中，并且审计模块42不审计该请求报文的URL。进一步地，该统一资源定位符优化审计的装置还可以包括分析模块44，用于对请求报文对应的网页数据进行HTML语法分析，获得浏览器自动生成的URL ；第二记录模块45，用于将分析模块44获得的浏览器自动生成的URL记录到浏览器 自动URL访问缓存池中。具体地，本实施例中，第一记录模块43可以当请求报文的URL的后缀与预先设置 的过滤后缀列表中的后缀不同时，将请求报文的URL记录到URL访问缓存池中。分析模块 44可以当请求报文的URL的后缀与预先设置的过滤后缀列表中的后缀不同时，对该请求报 文对应的网页数据进行HTML语法分析。而当请求报文的URL的后缀与预先设置的过滤后 缀列表中的后缀相同时，分析模块44可以不对该请求报文对应的网页数据进行HTML语法 分析，第一记录模块43也可以不将该URL记录到URL访问缓存池中。这样可以大大减少统 一资源定位符优化审计的装置的工作量，并且可以大大减少两个缓存池中节点的数量，有 利于优化统一资源定位符优化审计的装置的吞吐性能。本实施例中的网络侧设备可以为路由器、网关设备(例如局域网网关设备)或上 网行为监控设备等。上述统一资源定位符优化审计的装置可以实现有效识别浏览器自动生成的URL 访问，使得URL审计更有意义，更能贴近内网用户的实际网络访问行为，大大减少了 URL审 计数据量。本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流 程并不一定是实施本发明所必须的。本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分 布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上 述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。最后应说明的是以上实施例仅用以说明本发明的技术方案，而非对其限制；尽 管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解其依然 可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替 换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精 神和范围。
权利要求
1.一种统一资源定位符优化审计的方法，其特征在于，包括当接收的请求报文的报文头中包括来源域时，提取所述来源域的值与所述请求报文的 统一资源定位符；当所述来源域的值与预先设置的统一资源定位符访问缓存池中记录的统一资源定位 符均不相同，且所述请求报文的统一资源定位符与预先设置的浏览器自动统一资源定位符 访问缓存池中记录的统一资源定位符均不相同时，审计所述请求报文的统一资源定位符。
2.根据权利要求1所述的方法，其特征在于，还包括当所述接收的请求报文的报文头中不包括所述来源域时，提取所述请求报文的统一资 源定位符；审计所述请求报文的统一资源定位符。
3.根据权利要求1或2所述的方法，其特征在于，所述提取所述请求报文的统一资源定 位符之后，还包括将所述请求报文的统一资源定位符记录到所述统一资源定位符访问缓存池中。
4.根据权利要求1所述的方法，其特征在于，还包括对所述请求报文对应的网页数据进行超文本标记语言语法分析，获得浏览器自动生成 的统一资源定位符；将所述浏览器自动生成的统一资源定位符记录到所述浏览器自动统一资源定位符访 问缓存池中。
5.根据权利要求3所述的方法，其特征在于，所述将所述请求报文的统一资源定位符 记录到所述统一资源定位符访问缓存池中包括当所述请求报文的统一资源定位符的后缀与预先设置的过滤后缀列表中的后缀不同 时，将所述请求报文的统一资源定位符记录到所述统一资源定位符访问缓存池中。
6.根据权利要求4所述的方法，其特征在于，所述对所述请求报文对应的网页数据进 行超文本标记语言语法分析包括当所述请求报文的统一资源定位符的后缀与预先设置的过滤后缀列表中的后缀不同 时，对所述请求报文对应的网页数据进行超文本标记语言语法分析。
7.根据权利要求1、2、4或6所述的方法，其特征在于，所述统一资源定位符访问缓存池 中记录的统一资源定位符为预设时间段内用户访问的统一资源定位符，所述统一资源定位 符访问缓存池中的节点记录所述用户的因特网协议地址、所述用户访问的统一资源定位符 对应的统一资源定位符字符串和访问所述用户访问的统一资源定位符的时间中的一个或 多个；所述浏览器自动统一资源定位符访问缓存池中记录的统一资源定位符为浏览器根据 网页数据自动生成的统一资源定位符，所述浏览器自动统一资源定位符访问缓存池中的节 点记录访问所述自动生成的统一资源定位符的用户的因特网协议地址、所述自动生成的统 一资源定位符对应的统一资源定位符字符串和所述节点的生成时间中的一个或多个。
8.一种统一资源定位符优化审计的装置，其特征在于，包括提取模块，用于当接收的请求报文的报文头中包括来源域时，提取所述来源域的值与 所述请求报文的统一资源定位符；审计模块，用于当所述提取模块提取的来源域的值与预先设置的统一资源定位符访问缓存池中记录的统一资源定位符均不相同，且所述提取模块提取的所述请求报文的统一资 源定位符与预先设置的浏览器自动统一资源定位符访问缓存池中记录的统一资源定位符 均不相同时，审计所述请求报文的统一资源定位符。
9.根据权利要求8所述的装置，其特征在于，所述提取模块，还用于当所述接收的请求报文的报文头中不包括所述来源域时，提取 所述请求报文的统一资源定位符；所述审计模块，还用于在所述提取模块提取所述请求报文的统一资源定位符之后，审 计所述请求报文的统一资源定位符。
10.根据权利要求8或9所述的装置，其特征在于，还包括第一记录模块，用于将所述提取模块提取的所述请求报文的统一资源定位符记录到所 述统一资源定位符访问缓存池中。
11.根据权利要求8所述的装置，其特征在于，还包括分析模块，用于对所述请求报文对应的网页数据进行超文本标记语言语法分析，获得 浏览器自动生成的统一资源定位符；第二记录模块，用于将所述分析模块获得的浏览器自动生成的统一资源定位符记录到 所述浏览器自动统一资源定位符访问缓存池中。
12.根据权利要求10所述的装置，其特征在于，所述第一记录模块具体用于当所述请求报文的统一资源定位符的后缀与预先设置的 过滤后缀列表中的后缀不同时，将所述请求报文的统一资源定位符记录到所述统一资源定 位符访问缓存池中。
13.根据权利要求11所述的装置，其特征在于，所述分析模块具体用于当所述请求报文的统一资源定位符的后缀与预先设置的过滤 后缀列表中的后缀不同时，对所述请求报文对应的网页数据进行超文本标记语言语法分 析。
14.一种网络侧设备，其特征在于，包括如权利要求8-13任意一项所述的统一资源定 位符优化审计的装置。
全文摘要
本发明实施例提供一种统一资源定位符优化审计的方法、装置和网络侧设备，该统一资源定位符优化审计的方法包括当接收的请求报文的报文头中包括来源域时，提取所述来源域的值与所述请求报文的统一资源定位符；当所述来源域的值与预先设置的统一资源定位符访问缓存池中记录的统一资源定位符均不相同，且所述请求报文的统一资源定位符与预先设置的浏览器自动统一资源定位符访问缓存池中记录的统一资源定位符均不相同时，审计所述请求报文的统一资源定位符。本发明实施例可以实现有效识别浏览器自动生成的URL访问，对用户的实际网络访问行为进行有效的审计。
文档编号G06F17/30GK102098229SQ20111005311
公开日2011年6月15日 申请日期2011年3月4日 优先权日2011年3月4日
发明者魏逢一 申请人:北京星网锐捷网络技术有限公司