一种审计URL的方法及装置与流程

本发明实施例涉及网络通信技术领域，尤其涉及一种审计url(uniformresourcelocator，统一资源定位符)的方法及装置。

背景技术：

随着网络的发展，互联网应用已经渗透到社会生活的每一个角落，成为人们学习、工作、生活不可或缺的工具。通过对url审计，可以使用户的上网行为透明化。

但现有技术中，用户访问一个网站的首页时，浏览器可能不只发起一个url请求，例如用户通过浏览器访问“http://www.xxxxxx.org/”时，在浏览器获取首页的同时，浏览器同时还会获取大量的图片，从而生成了大量的url请求，生成的部分url请求如表1所示。

表1浏览器访问“www.xxxxxx.org/”生成的部分url请求列表

而对于url审计而言，浏览器访问自动生成的url没有实际意义，若在审计过程中，审计所有生成的url请求，则审计了大量无需审计的url，不仅会给审计设备带来负担，还会降低url审计的效率。

技术实现要素：

本发明实施例提供一种审计url的方法及装置，过滤掉大量不需要审计的url，提升url审计的效率，降低审计设备的负担。

本发明实施例提供的一种审计url的方法，包括：

获取http(hypertexttransferprotocol，超文本传输协议)请求报文，所述http请求报文的报文头中包括referer(来源)域；

当所述http请求报文符合第一条件且所述referer域的域值不为空时，在确定所述referer域的域值不在第一url列表中后，判断所述referer域的域值是否在url缓存池中，若否，则审计所述http请求报文请求的url；

其中，所述第一条件包括所述http请求报文请求的url的后缀不在预设的不审计后缀列表中；所述第一url列表是根据预设网站确定的url列表。

可选的，所述第一条件还包括所述http请求报文对应的http响应报文的内容类型在预设的审计类型中和/或所述http请求报文对应的http响应报文的内容尺寸不小于预设尺寸。

可选的，在所述审计所述http请求报文请求的url之后，还包括：

将所述http请求报文请求的url存储在所述url缓存池中，并在所述http请求报文请求的url的缓存时长过期后将所述http请求报文请求的url删除。

可选的，还包括：

当所述http请求报文不符合第一条件且所述referer域的域值不为空时，判断所述referer域的域值是否在所述url缓存池中，若是，则重新计算所述url缓存池中所述referer域的域值的缓存时长；否则，将所述referer域的域值存储在所述url缓存池中，并在所述referer域的域值的缓存时长过期后将所述referer域的域值删除。

可选的，还包括：

在确定所述referer域的域值在第一url列表中后，判断所述http请求报文请求的url是否在第二url列表中，若是，则不审计所述http请求报文请求的url；否则，审计所述http请求报文请求的url；所述第二url列表是浏览器访问所述第一url列表中的url后确定的url列表，其中所述第二url列表中不包括所述第一url列表中的url。

可选的，所述获取http请求报文，包括：

通过dpi(deeppacketinspection，深度报文检测)识别技术获取用户点击行为生成的所述http请求报文。

相应的，本发明实施例还提供了一种审计url的装置，包括：

获取单元，用于获取http请求报文，所述http请求报文的报文头中包括referer域；

处理单元，用于当所述http请求报文符合第一条件且所述referer域的域值不为空时，在确定所述referer域的域值不在第一url列表中后，判断所述referer域的域值是否在url缓存池中，若否，则审计所述http请求报文请求的url；

其中，所述第一条件包括所述http请求报文请求的url的后缀不在预设的不审计后缀列表中；所述第一url列表是根据预设网站确定的url列表。

可选的，所述第一条件还包括所述http请求报文对应的http响应报文的内容类型在预设的审计类型中和/或所述http请求报文对应的http响应报文的内容尺寸不小于预设尺寸。

可选的，所述处理单元还用于：

在所述审计所述http请求报文请求的url之后，将所述http请求报文请求的url存储在所述url缓存池中，并在所述http请求报文请求的url的缓存时长过期后将所述http请求报文请求的url删除。

可选的，所述处理单元还用于：

当所述http请求报文不符合第一条件且所述referer域的域值不为空时，判断所述referer域的域值是否在所述url缓存池中，若是，则重新计算所述url缓存池中所述referer域的域值的缓存时长；否则，将所述referer域的域值存储在所述url缓存池中，并在所述referer域的域值的缓存时长过期后将所述referer域的域值删除。

可选的，所述处理单元还用于：

在确定所述referer域的域值在第一url列表中后，判断所述http请求报文请求的url是否在第二url列表中，若是，则不审计所述http请求报文请求的url；否则，审计所述http请求报文请求的url；所述第二url列表是浏览器访问所述第一url列表中的url后确定的url列表，其中所述第二url列表中不包括所述第一url列表中的url。

可选的，所述获取单元具体用于：

通过dpi识别技术获取用户点击行为生成的所述http请求报文。

相应的，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述审计url的方法。

相应的，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述审计url的方法。

本发明实施例表明，通过四个步骤判断：1、http请求报文请求的url的后缀是否在预设的不审计后缀列表；2、referer域的域值是否为空；3、referer域的域值是否在第一url列表中；4、referer域的域值是否在url缓存池中，最终确定http请求报文请求的url是否需要审计。通过上述步骤，可以将不需要审计的http请求报文请求的url过滤，提升url审计的效率，降低审计设备的负担。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种系统架构的示意图；

图2为本发明实施例提供的一种审计url的方法的流程示意图；

图3为本发明实施例提供的另一种审计url的方法的流程示意图；

图4为本发明实施例提供的后缀在预设的不审计后缀列表中的url审计；

图5为本发明实施例提供的一种审计url的装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示例性的示出了本发明实施例提供的审计url的方法所适用的系统架构，该系统架构可以包括终端110、审计设备120。

其中，审计设备120包括处理器122、通信接口123和存储器121。通信接口123用于与终端110进行通信，收发终端110传输的http请求报文。

处理器122是审计设备120的控制中心，利用各种接口和线路连接整个审计设备120的各个部分，通过运行或执行存储在存储器121内的软件程序或模块，以及调用存储在存储器121内的数据，执行审计设备120的各种功能和处理数据。可选地，处理器122可以包括一个或多个处理单元。

存储器121可用于存储软件程序以及模块，处理器122通过运行存储在存储器121的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器121可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。

基于上述描述，图2示例性的示出了本发明实施例提供的一种审计url的方法的流程，该流程可以由审计url的装置执行，该装置可以位于审计设备中，也可以是该审计设备。如图2所示，该流程具体包括：

步骤201，获取http请求报文。

其中，http请求报文的报文头中包括referer域，referer域的域值表明了http请求报文请求的url的来源地址，当浏览器向服务器发送请求的时候，一般会带上referer，告诉服务器该浏览器是从哪个页面链接过来的，服务器籍此可以获得一些信息用于处理。进一步的，当url请求是用户直接在浏览器中手动输入url产生时，referer域的域值为空；当url请求是用户点击某网址产生时，referer域的域值不为空。

例如，http请求报文的报文头如表2所示，其所表示的url为“http://www.xxxxxx.org/news/2010/12/07/0003.html”，存在referer域的域值为“http://www.xxxxxx.org/”，即表明该url是由“http://www.xxxxxx.org/”链接而来的。可能是浏览器自动根据“http://www.xxxxxx.org/”首页的数据自动产生的，也有可能是用户点击了“http://www.xxxxxx.org/”首页上的某个链接而产生的。

表2http请求报文的报文头列表

优选的，可以通过dpi识别技术获取用户点击行为生成的http请求报文。其中，dpi识别技术是一种基于数据包的深度报文检测技术，针对不同的网络应用层载荷(例如http、dns(domainnamesystem，域名系统))进行深度检测，通过对报文的有效载荷检测决定其合法性。通过dpi识别技术可以识别出由用户点击行为生成的http请求报文，即可以过滤例如非浏览器应用或app(application，应用程序)触发等非用户点击行为生成的http请求报文。避免了获取到大量非用户点击行为生成的http请求报文，从而影响url审计效率。

步骤202，当所述http请求报文符合第一条件且所述referer域的域值不为空时，在确定所述referer域的域值不在第一url列表中后，判断所述referer域的域值是否在url缓存池中，若否，则审计所述http请求报文请求的url。

其中，第一条件包括http请求报文请求的url的后缀不在预设的不审计后缀列表中；第一url列表是根据预设网站确定的url列表。

分别对第一条件、第一url列表、url缓存池做进一步解释。

(1)对第一条件做如下解释：

由于网站中包含了大量的图片等数据，浏览器在访问网站时，发起了多个url请求，其中很大一部分url请求都是浏览器自动生成的用于获取图片等数据的url请求，为了将这些对url审计没有实际意义的url请求过滤，需要预先设置一个不审计后缀列表，该列表中包含不需要审计的后缀，例如，不需要审计的后缀为“.jpg”、“.gif”、“.ico”、“.css”、“.js”、“.png”等。http请求报文符合第一条件相当于http请求报文请求的url的后缀不在预设的不审计后缀列表中，即通过第一条件将后缀在不审计后缀列表中的url请求过滤。表2中的url经第一条件过滤后获得符合第一条件的url，如表3所示，即过滤大量的对url审计没有意义的url请求。

表3符合第一条件的url列表

此外，第一条件不仅可以包括http请求报文请求的url的后缀不在预设的不审计后缀列表，还可以包括http请求报文对应的http响应报文的内容类型(content-type)在预设的审计类型中和/或http请求报文对应的http响应报文的内容尺寸(content-size)不小于预设尺寸。

其中，http响应报文与http请求报文呈对应关系，获取到http请求报文后，还需要获取该http请求报文对应的http响应报文后，判断http响应报文的内容类型是否在预设的审计类型中，该预设的审计类型可以根据经验设定，可以包括html(hypertextmarkuplanguage，超级文本标记语言)格式、xml(可扩展标记语言，extensiblemarkuplanguage)格式、纯文本格式等；和/或判断http响应报文的内容尺寸是否不小于预设尺寸，该内容尺寸可以根据经验设定，可以设定为30字节。

(2)对第一url列表做如下解释：

第一url列表是根据预设网站确定的url列表，其中预设网站可以是访问次数大于一定阈值的n个网站，也可以是根据经验预先设定的n个网站。获取该n个网站的html文件，根据html语法提取各自网站对应的url，例如，根据语法<ahref＝"">获取href的值，获取到的href值即该网站的url。

(3)对url缓存池做如下解释：

可以将预先设定的url放至url缓存池中，也可以在获取到http请求报文后，根据http请求报文请求的url确定出待缓存的url，并将该待缓存的url放至url缓存池中。针对待缓存的url可以由以下两种方式获取：

其一，获取到的http请求报文符合第一条件且referer域的域值不为空，并确定该http请求报文请求的url不是访问预设网站后生成的url，即该http请求报文的报文头中的referer域的域值不在第一url列表中，则需要判断url缓存池中是否存在有该referer域的域值，若没有，则将该http请求报文请求的url确定为待缓存的url；若有，则不将该http请求报文请求的url确定为待缓存的url。

其二，获取到的http请求报文不符合第一条件且referer域的域值不为空，则需要判断url缓存池中是否存在有该referer域的域值，若没有，则将该referer域的域值确定为待缓存的url；若有，则将重新计算url缓存池中该referer域的域值的缓存时长。需要说明的是，url对应的referer域的域值实质上也是一个url，重新计算url缓存池中该referer域的域值的缓存时长的具体实施方式在下面做详细解释。

通过上述两种方式获取到该待缓存的url后，将该待缓存的url放至url缓存池中。

进一步的，在url缓存池中的每个url都有设置有缓存时长，url缓存时长可以理解为该url存在于缓存池中的时间长度，即到达该url的缓存时长后，将该url从url缓存池中删除。换句话说，将url放入url缓存池后，需要计算url缓存池中该url在当前时刻已经缓存了的时长，当该url当前已经缓存了的时长到达该url的缓存时长后，则会将该url从url缓存池中删除。可以根据经验设定该url的缓存时长，可以为2s，即url存在于url缓存池中的缓存的时间到达2s后，将该url从url缓存池中删除。

当http请求报文符合第一条件且referer域的域值不为空时，还存在referer域的域值在第一url列表中的情况。在确定referer域的域值在第一url列表中后，判断http请求报文请求的url是否在第二url列表中，若是，则不审计http请求报文请求的url；否则，审计http请求报文请求的url；第二url列表是浏览器访问第一url列表中的url后确定的url列表，其中第二url列表中不包括第一url列表中的url。

作为一种可实现方式，第二url列表的获取步骤为：浏览器通过爬虫工具或浏览器扩展程序模拟人工访问第一url列表中的url；记录浏览器访问时所生成的所有url请求；将生成的所有url请求中的第一url列表中的url删除；将剩余的url组成的列表确定为第二url列表。通过第二url列表的获取步骤可知，第二url列表可以理解为浏览器访问时自动生成的url列表，进一步的，浏览器访问时自动生成的url无需审计，也就是确定存在于第二url列表中的url无需审计。

在确定referer域的域值在第一url列表中后，判断http请求报文请求的url是否在第二url列表中，可以理解为判断http请求报文请求的url是否为浏览器访问时自动生成的url。若是，则可以确定不需要审计该http请求报文请求的url；否则，需要审计该http请求报文请求的url。

此外，当http请求报文符合第一条件时，还包括referer域的域值为空时，可以确定该http请求报文请求的url是用户直接在浏览器中手动输入url产生的，则确定该http请求报文请求的url需要审计。

上述实施例描述了当http请求报文符合第一条件时确定url是否需要审计的流程，下面具体描述当http请求报文不符合第一条件时的处理流程。

当http请求报文不符合第一条件时，即可以确定http请求报文请求的url的后缀在预设的不审计后缀列表中，则确定该http请求报文请求的url是不需要审计的。进一步的，还需要判断http请求报文的报文头中的referer域是否为空：

若referer域的域值不为空，则判断referer域的域值是否在url缓存池中，若是，则重新计算url缓存池中referer域的域值的缓存时长；否则，将该referer域的域值存储在url缓存池中，并在该referer域的域值的缓存时长过期后将该referer域的域值删除。

解释为，当http请求报文不符合第一条件时，即http请求报文请求的url的后缀在预设的不审计后缀列表中，例如http请求报文请求的url的后缀为“gif”或“png”，则进行第一步判断：确定referer域的域值是否为空，若referer域的域值为空，则可以直接确定该http请求报文请求的url不需要审计；referer域的域值不为空，则进行第二步判断：referer域的域值是否在url缓存池中，若是，则重新计算url缓存池中该referer域的域值的缓存时长，否则，将referer域的域值存储在url缓存池中，并在referer域的域值的缓存时长过期后将referer域的域值删除。

对上述第二步判断做以下说明，http请求报文请求的url的后缀在预设的不审计后缀列表中时，需要提取该url的referer域的域值。判断该url的referer域的域值是否已经被缓存在url缓存池中，若没有，则将该url的referer域的域值缓存在url缓存池中，并计算referer域的域值的缓存时长。若referer域的域值已经被缓存在url缓存池中时，则需要将原来已经缓存的该referer域的域值的缓存时长清零后，重新计算缓存时长。

举例来说，http请求报文请求的url为“http://www.xxxxxx.org/images/colour/yellow.gif”，该url的后缀“.gif”在预设的不审计后缀列表中，提取该url的referer域的域值为“http://www.xxxxxx.org”，判断url缓存池中是否存在有“http://www.xxxxxx.org”。当url缓存池中没有“http://www.xxxxxx.org”时，则将“http://www.xxxxxx.org”缓存在url缓存池中，并计算“http://www.xxxxxx.org”的缓存时长。当url缓存池中有“http://www.xxxxxx.org”时，假设该“http://www.xxxxxx.org”在当前时刻已经在url缓存池中缓存了2s(假设，当缓存在url缓存池中的referer域的域值的缓存时长到达3s后，该referer域的域值被删除)，则重新计算url缓存池中“http://www.xxxxxx.org”的缓存时长，即将“http://www.xxxxxx.org”的缓存时长2s清零，重新开始计算。

在第二步判断时，判断referer域的域值是否在url缓存池中，若是，则重新计算url缓存池中referer域的域值的缓存时长，相当于刷新了referer域的域值的缓存时长，进而延长了referer域的域值存在于url缓存池中的总时长。存在的有益效果可以结合上述例子做以下分析：

由于“http://www.xxxxxx.org/images/colour/yellow.gif”刷新了url缓存池中“http://www.xxxxxx.org”的缓存时长，相对延长了“http://www.xxxxxx.org”存在于url缓存池中的总时长。当获取到http请求报文请求的url为“https://www.xxxxxx.org/threads/new-install-help.20492/”时(该url的后缀不在预设的不审计后缀列表中)，则判断“https://www.xxxxxx.org/threads/new-install-help.20492/”存在referer域的域值为“https://www.xxxxxx.org/”后，判断“https://www.xxxxxx.org/”是否在url缓存池中，若“https://www.xxxxxx.org/”存在于url缓存池中，则不审计该url“https://www.xxxxxx.org/threads/new-install-help.20492/”。上述例子中，因为延长了referer域的域值存在于url缓存池中的总时长，则过滤了无需审计的url“https://www.xxxxxx.org/threads/new-install-help.20492/”，即将不需要审计的http请求报文请求的url过滤，提升url审计的效率，降低审计设备的负担。当然，若“https://www.xxxxxx.org/”不存在于url缓存池中，则将url中https://www.xxxxxx.org/threads/new-install-help.20492/”缓存至url缓存池中。

此外，当http请求报文不符合第一条件时，无论http请求报文的报文头的referer域的域值是否为空，都不需要审计该http请求报文请求的url。通过该方式，可以将http请求报文请求的后缀为“.jpg”、“.gif”等的url过滤，初步删除不需要审计的url。

上述实施例中，当http请求报文不符合第一条件时，在确定http请求报文的报文头中的referer域的域值不为空后，将http请求报文的报文头中的referer域的域值缓存至url缓存池中或刷新referer域的域值的缓存时长，延长referer域的域值存在于url缓存池中的总时长，过滤掉大量不需要审计的url，提升url审计的效率，降低审计设备的负担。

为了更好的解释本发明实施例，下面将在具体的实施场景下描述该审计url的流程，如图3所示，具体如下：

步骤301，通过dpi识别技术获取用户点击行为生成的http请求报文。

步骤302，判断url后缀是否在预设的不审计后缀列表中。若是，则不审计该url，否则，转向步骤303。

判断url的后缀是否在预设的不审计后缀列表中，即判断url的后缀是否为“.jpg”、“.gif”等，若是，则不审计该url。否则，判断http请求报文对应的http响应报文的内容类型是否在预设的审计类型中。

步骤303，判断内容类型是否在预设的审计类型中。若是，转向步骤304，否则，不审计该url。

判断http请求报文对应的http响应报文的内容类型是否在预设的审计类型中，即判断http请求报文对应的http响应报文的内容类型是否为html格式、xml格式、纯文本格式等，若是，则继续判断http请求报文对应的http响应报文的内容尺寸是否不小于预设尺寸。否则，不审计该url。

步骤304，判断内容尺寸是否不小于预设尺寸。若是，转向步骤305，否则，不审计该url。

判断http请求报文对应的http响应报文的内容尺寸是否不小于预设尺寸，若是，则继续判断该http请求报文的报文头中的referer域的域值是否不为空；否则，不审计该url。

步骤305，判断referer域的域值是否不为空。若是，转向步骤306，否则，审计该url。

判断referer域的域值是否不为空，即判断url是否为某页面链接过来。若是，则判断referer域的域值是否在第一url列表中。否则，确定该url是用户直接在浏览器中手动输入url产生的，审计该url。

步骤306，判断referer域的域值是否在第一url列表中。若是，转向步骤309，否则，转向步骤307。

判断referer域的域值是否在第一url列表中，即判断该url是否为从预设网站的url中链接过来，若是，则判断url是否在第二url列表中。否则，确定该url是从除预设网站以外的网站的url中链接过来，进一步确定referer域的域值是否在url缓存池中。

步骤307，判断referer域的域值是否在url缓存池中。若是，不审计该url，否则，转向步骤308。

判断referer域的域值是否在url缓存池中。若在url缓存池中已经存在该url对应的referer域的域值，则确定该referer域的域值未超过缓存时长，不审计该url。若在url缓存池中未存在该referer域的域值，则需要将该url加入缓存池，进行缓存计时，并审计该url。

步骤308，将url加入缓存池，进行缓存计时。

将该url加入url缓存池后，进行缓存计时，直至该url缓存在url缓存池的缓存时长过期后，将该url从url缓存池删除。

步骤309，判断url是否在第二url列表中。若是，不审计该url，否则，审计该url。

判断url是否在第二url列表中，即判断该url是否为浏览器访问第一url列表中url时，自动生成的url。若是，则确定该url为自动生成的，不需要审计。否则，审计该url。

上述实施例中，确定该url后缀在预设的不审计后缀列表中后，可以执行图4的流程，具体如下：

步骤401，判断referer域的域值是否不为空。若是，转向步骤402，否则，不审计该url。

判断referer域的域值是否不为空，即在确定该url的后缀在预设的不审计后缀列表中后，判断该url是否为某页面链接过来。若该url是某页面链接过来，则判断该url的referer域的域值是否在url缓存池中。若该url不是某页面链接过来，则不审计该url。

步骤402，判断referer域的域值是否在url缓存池中。若是，转向步骤403，否则，转向步骤404。

判断referer域的域值是否在url缓存池中。若是，则确定url缓存池中缓存有referer域的域值，且该referer域的域值缓存时长未过期，进一步的，刷新该referer域的域值在url缓存池中的缓存计时。否则，将该referer域的域值缓存至缓存池中，进行缓存计时。

步骤403，url缓存池中referer域的域值的缓存计时清零后，重新计时。

步骤404，将referer域的域值缓存至缓存池中，进行缓存计时。

由于本实施例的具体实现方式已在其他实施例中描述，在此不作赘述。

上述实施例中，通过四个步骤判断：1、http请求报文请求的url的后缀是否在预设的不审计后缀列表；2、referer域的域值是否为空；3、referer域的域值是否在第一url列表中；4、referer域的域值是否在url缓存池中，并且在确定http请求报文请求的url的后缀在预设的不审计后缀列表中时，将referer域的域值缓存至url缓存池中或刷新referer域的域值的缓存时长，最终确定http请求报文请求的url是否需要审计，这样，过滤掉大量不需要审计的url，提升url审计的效率，降低审计设备的负担。

此外，作为本发明的一种实现方式，还可以针对每个审计设备定期采集的url，将每个审计设备采集的url数位于前n个的url(topnurl)定周期发送至指定服务器，该服务器将所有审计设备反馈的各自的前n个的url进行汇总，并确定汇总后的url中url数位于前m个的url(topmurl)。引入人工辅助，通过人工判断该位于前m个的url(topmurl)是否是需要审计的url。若不是，则将这些人工确定不审计的url添加至垃圾url库中。将垃圾url库中的垃圾url列表发送至每个审计设备，以使得审计设备在审计url时还可以根据垃圾url列表进行比对，若命中，则审计设备确定该url不审计，否则进行其他处理。

基于同一发明构思，图5示例性的示出了本发明实施例提供的一种审计url的装置的结构，该装置可以执行审计url的方法的流程。

获取单元501，用于获取http请求报文，所述http请求报文的报文头中包括referer域；

处理单元502，用于当所述http请求报文符合第一条件且所述referer域的域值不为空时，在确定所述referer域的域值不在第一url列表中后，判断所述referer域的域值是否在url缓存池中，若否，则审计所述http请求报文请求的url；

其中，所述第一条件包括所述http请求报文请求的url的后缀不在预设的不审计后缀列表中；所述第一url列表是根据预设网站确定的url列表。

可选的，所述第一条件还包括所述http请求报文对应的http响应报文的内容类型在预设的审计类型中和/或所述http请求报文对应的http响应报文的内容尺寸不小于预设尺寸。

可选的，所述处理单元502还用于：

在所述审计所述http请求报文请求的url之后，将所述http请求报文请求的url存储在所述url缓存池中，并在所述http请求报文请求的url的缓存时长过期后将所述http请求报文请求的url删除。

可选的，所述处理单元502还用于：

当所述http请求报文不符合第一条件且所述referer域的域值不为空时，判断所述referer域的域值是否在所述url缓存池中，若是，则重新计算所述url缓存池中所述referer域的域值的缓存时长；否则，将所述referer域的域值存储在所述url缓存池中，并在所述referer域的域值的缓存时长过期后将所述referer域的域值删除。

可选的，所述处理单元502还用于：

在确定所述referer域的域值在第一url列表中后，判断所述http请求报文请求的url是否在第二url列表中，若是，则不审计所述http请求报文请求的url；否则，审计所述http请求报文请求的url；所述第二url列表是浏览器访问所述第一url列表中的url后确定的url列表，其中所述第二url列表中不包括所述第一url列表中的url。

可选的，所述获取单元501具体用于：

通过dpi识别技术获取用户点击行为生成的所述http请求报文。

基于同一发明构思，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述审计url的方法。

基于同一发明构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述审计url的方法。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。