一种互联网流量来源去向的分析方法
【技术领域】
[0001]本发明涉及互联网DNS域名解析领域，尤其涉及一种互联网流量来源去向的分析方法。
【背景技术】
[0002]所谓互联网流量的来源去向是指用户先访问了什么网站然后又去了什么网站等一系列的网站访问路径。关于如何确认网站的流量来源，业界的主流方式只有一种，就是在网站的页面上添加JavaScr ipt监测代码。最常见的就是第三方检测工具，如googleanalytics和百度统计等。
[0003]上述统计方法有很大的局限性，每个网站只能知道访客上一个访问的网站，没有办法获悉这个访客之前访问的多个网站，更加没有办法了解这个访客离开自己网站后会去哪里。DNS(Domain Name System，域名系统)，是因特网上作为域名和IP地址相互映射的一个分布式数据库，能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。“DNS域名解析技术”是指:当用户需要访问一个网站时，他需要在浏览器中输入这个网站的域名。敲击回车后浏览器会先发起一个DNS请求，通过DNS技术，浏览器可以获取这个域名对应的服务器IP地址，然后再对这个IP地址发起HTTP请求。
[0004]DNS日志会记录每次DNS请求的应答内容，几乎能记录所有用户请求的域名信息。不过日志中会包含太多的异常和无效的信息，例如服务器也会发起DNS请求从而产生大量的域名信息，互联网爬虫甚至网络攻击都会产生大量的DNS请求。而这些请求是无法真实有效地反应用户的真实访问路径的。
[0005]目前市场上没有能够很好分析互联网访客的整个访问路径的方法，而本发明则弥补了这一空缺，是一种通过对DNS日志的再处理来分析网站的流量分别来自哪些网站，离开后又去了哪些网站的方法。
【发明内容】
[0006]鉴于上述缺陷的存在，本发明提出了一种互联网流量来源去向的分析方法，通过本发明方法，尽可能地清洗掉日志中非人为访问的行为，能够有效地获得互联网流量的来源和去向。
[0007]本发明的一种互联网流量来源去向的分析方法，通过处理DNS日志来获得互联网流量的来源与去向，包括如下步骤:
[0008]日志过滤步骤，过滤无法反映用户真实访问路径的DNS日志；日志切分步骤，对日志过滤步骤后获得的DNS日志根据源IP、根据时间戳之差以及根据中心域依次进行切分，获得切分后的访问路径；以及数据汇总步骤，将所有所述切分后的访问路径进行汇总。
[0009]优选地，日志过滤步骤通过设置黑白名单保留包含重点关注的域名请求的DNS日志以及去除包含服务器产生的非人为的域名请求的DNS日志。
[0010]优选地，去除DNS日志进一步包括去除企业IP访问的日志以及去除没有解析IP的曰志。
[0011 ]优选地，根据源IP对DNS日志进行切分是获得一段时间内相同源IP的连续的DNS日
V 1、1、O
[0012]优选地，所述根据时间戳之差对日志进行切分是对根据源IP切分后的日志再根据DNS日志的时间戳之间的差进行切分，如果两个DNS日志的时间戳之间的差大于规定时间长度，则切开所述两个DNS日志。
[0013]优选地，所述规定时间长度为3秒。
[0014]优选地，根据时间戳之差对DNS日志进行切分步骤后还包括合并步骤，对切分获得的访问路径中的域名转化成域，并将连续相同的域合并，以获得所述源IP的路径。
[0015]优选地，所述根据中心域进行切分是以中心域为基准对所述源IP的路径进行切分，切分后获得的访问路径为:来源域名η+...+来源域名1+中心域名+去向域名I+...+去向域名η，其中，所述中心域是根据用户/系统需求确定要重点分析的域。
[0016]优选地，所述数据汇总步骤中，对根据所述中心域切分步骤后获得的所述源IP的所有访问路径进行汇总。
[0017]通过本发明的分析方法，能够掌握互联网流量的来源和去向，从而能够更好地帮助网站进行网站流量的分析和优化;进一步地，通过完整地了解整个互联网的流量的流向情况，可以从全局的角度进行分析并了解其他网站的流量情况，做到知己知彼。
【附图说明】
[0018]图1(a)、图1(b)是本发明的互联网流量来源去向的分析方法的流程图；
[0019]图2(a)、图2(b)是通过本发明的互联网流量来源去向的分析方法获得的流量来源的示意图。
【具体实施方式】
[0020]以下，将结合附图和实施例对发明进行详细说明。以下实施例并不是对本发明的限制。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中。
[0021]如前所提到的，DNS(Domain Name System，域名系统)，是因特网上作为域名和IP地址相互映射的一个分布式数据库，能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。当用户访问一个网站时，先在浏览器中输入这个网站的域名，敲击回车后浏览器会先发起一个DNS请求，通过DNS技术，浏览器可以获取这个域名对应的服务器IP地址，然后再对这个IP地址发起HTTP请求。这就是DNS域名解析技术。
[0022]在上述域名解析的过程中，会产生DNS日志。DNS日志会记录每次DNS请求的应答内容，几乎能记录所有用户请求的域名信息。DNS日志的格式如下所示:
[0023]14.***.***.1 Iwww.baidu.com|20141211035932|180.***.***.107；180.***.***.108 I O
[0024]源IPI域名I时间戳I解析IP I状态码
[0025]S卩DNS日志包括“源IP”，“域名”，“时间戳”，“解析IP”和“状态码”五部分内容。
[0026]由于DNS日志中包括了所有用户请求的域名信息，本发明人由此想到通过对DNS日志的再处理来分析网站的流量的来源和去向。但是DNS日志中也包括了很多异常和无效的信息，例如服务器也会发起DNS请求从而产生大量的域名信息，互联网爬虫甚至网络攻击都会产生大量的DNS请求。而这些请求是无法真实有效地反映用户的真实访问路径的。基于上述的情况，本发明人想到了通过尽可能地清洗掉日志中非人为访问的行为，来有效地获得互联网流量的来源和去向。
[0027]图1是本发明的互联网流量来源去向的分析方法的流程图。如图1所示，本发明的互联网流量来源去向的分析方法包括如下步骤。
[0028]首先，过滤无法反映用户真实访问路径的DNS日志(步骤SI)。如前所述，由于DNS请求中包括了很多无法真实有效地反映用户的真实访问路径的域名，因此需要进行清洗。例如通过设置黑白名单保留包含重点关注的域名请求的DNS日志以及去除包含服务器产生的非人为的域名请求的DNS日志。通过设置黑名单可以去除服务器产生的非人为的域名请求。通过设置白名单可以保留重点关注的某些域名。白名单优先级高于黑名单。另外，去除DNS日志进一步包括去除企业IP访问的日志以及去除没有解析IP的日志。其中，去除企业IP，是因为企业IP会产生多人的同时访问日志，影响对个人访问轨迹的判断;去除没有解析IP的日志，即去除访问失败的日志。通过不同的维度进行日志过滤，从而可以获得反映用户真实访问路径的DNS日志。
[0029]接下来对日志过滤步骤后获得的DNS日志根据源IP、根据时间戳之差以及根据中心域依次进行切分，获得切分后的域(步骤S2)。
[0030]详细步骤如下:
[0031 ] I)根据源IP切分(步骤S21)。根据源IP对DNS日志进行切分是获得一段时间内相同源IP的连续的DNS日志。
[0032]例如，源IP1.1.1.1和源IP2.2.2.2是不同源IP所以将日志切分。如下所示:
[0033]源IPI域名I时间戳I解析IP I状态码
[0034]1.1.1.1 www.baidu.com 201412110359321180.***.***.107；180.***.*林.108O
[0035]1.1.1.1 www.qq.com 201412110359321180.***.***.107；180.***.***.108|0
[0036]---------------------------------------H志切割
_-----------------------------------------
[0037]2.2.2.2 www.baidu.com 20141211035932|180.***.***.107；180.***.*林.1080
[0038]2.2.2.2 www.qq.com 201412110359321180.***.***.107；180.***.***.108|0
[0039]2)接下来将按照源IP切分好的日志根据时间戳之差再进行切分(步骤S22)。根据时间戳之差切分是指对根据源IP切分后的日志再根据DNS日志的时间戳之间的差值进行切分。如果两个DNS日志的时间戳之间的差大于规定时间长度，则切开这两个DNS日志(切分的原因是日志的时间间隔过久则被认为是两个不同的行为)。该规定时间长度可以根据需要调整。本实施例中，所述规定时间长度为3秒，即时间戳相隔大于3秒会被切分开。
[0040]例如，对源IP2.2.2.2的DNS日志进一步根据其时间戳之差值进行切分，如下所示。(时间戳20141211035932表示2014年12月11日3点59分32秒)
[0041 ]源IP I域名I时间戳I解析IP I状态码
[0042]2.2.2.2 www.baidu.com 20141211000001|180.***.***.107；180.***.***.108O
[0043]2.2.2.2|a.qq.com|20141211000002|180.***.***.107;180.***.***.108|O
[0044]2.2.2.2 Ib.baidu.com|201412110000031180.***.***.107;180.***.***.108|O
[0045]2.2.2.2 c