一种dns流量分析方法
【专利摘要】本申请公开了一种DNS流量分析方法，该方法首先实时采集网络中的报文信息，对所采集的报文信息进行DNS流量预处理，从中提取出需要的DNS流量信息；然后，对所提取的DNS流量信息进行DNS分析，得到DNS域名-域名关系集合、DNS域名-IP关系集合；最后，对所述DNS域名-域名关系集合和DNS域名-IP关系集合进行归并操作，得到DNS域名-IP关系资源表。应用本申请公开的技术方案，能够简化DNS流量分析的复杂度，并更好地了解DNS流量状况。
【专利说明】一种DNS流量分析方法
【技术领域】
[0001] 本申请涉及网络流量分析【技术领域】，特别涉及一种DNS流量分析方法。
【背景技术】
[0002] DNS (Domain Name System，域名系统）实现了枯燥难记的 IP( Internet Protocol) 地址和容易记忆的域名之间的转换，是互联网上最为关键的基础设施，几乎所有基于IP网 络的信息通信服务都要通过域名访问来定位相应的网络资源。因此，通过对DNS流量的分 析，可以更好地了解当前的网络状况。
[0003] 随着互联网的高速发展，越来越多的用户和应用呈现爆发式的增长，随之而带来 的互联网网络流量急剧增加。就目前而言，在线的电信运营商的设备每天都产生TB级甚至 PB级的流记录数据，对应的DNS记录的数据量也极大，如何处理如此海量的数据是一个巨 大的挑战。
[0004] 现有的流量分析方法，无论是软件分析还是硬件分析，对DNS的研究和分析都集 中在DNS的安全与防护、DNS服务器本身的性能和配置等方面的研究，其目的都是发现DNS 查询中的错误数据，而对于DNS正确数据中所包含的网络用户行为信息的分析还比较少。
【发明内容】
[0005] 本申请提供了一种DNS流量分析方法，旨在简化DNS流量分析的复杂度，并更好地 了解DNS流量状况。
[0006] 本申请提供的一种DNS流量分析方法，包括：
[0007] A、实时采集网络中的报文信息；
[0008] B、对所采集的报文信息进行DNS流量预处理，从中提取出需要的DNS流量信息；
[0009] C、对所提取的DNS流量信息进行DNS分析，得到DNS域名-域名关系集合、DNS域 名-IP关系集合；
[0010] D、对所述DNS域名-域名关系集合和DNS域名-IP关系集合进行归并操作，得到 DNS域名-IP关系资源表。
[0011] 较佳地，所述c包括：
[0012] 对每一条DNS流量信息，获取其中的查询域名和返回域名，将获取到的查询域名 和各个返回域名分别构成一个DNS域名-域名关系对，所有DNS流量信息的DNS域名-域 名关系对构成DNS域名-域名关系集合；
[0013] 对每一条DNS流量信息，获取其中的查询域名和服务器响应IP地址，将获取到的 查询域名和各个服务器响应IP地址分别构成一个DNS域名-IP关系对，所有DNS流量信息 的DNS域名-IP关系对构成DNS域名-IP关系集合。
[0014] 较佳地，所述D包括：
[0015] D1、对所述DNS域名-域名关系集合进行归并操作，得到DNS域名-域名关系字 血.
[0016] D2、对所述DNS域名-IP关系集合进行归并操作，得到DNS域名-IP关系字典；
[0017] D3、对所述DNS域名-域名关系字典和DNS域名-IP关系字典进行整合，得到DNS 域名-IP关系资源表。
[0018] 较佳地，所述D1包括：
[0019] D11、输入DNS域名-域名关系集合中的第1个DNS域名-域名关系对，记为（A1， B1)；
[0020] 如果Al ! =B1，则生成域名集合C1={A1，B1};
[0021] 否则，如果A1==B1，则生成域名集合C1={A1};
[0022] D12、输入DNS域名-域名关系集合中的第i条（i>=2) DNS域名-域名关系对，记 为（Ai，Bi)，
[0023] 如果Ai ! =Bi，则将Ai和Bi分别与已有的域名集合中的元素相比较：
[0024] a)如果已有的域名集合Cm包含Ai，且Cn包含Bi，且m==n，则执行步骤D13 ;
[0025] b)如果已有的域名集合Cm包含Ai，且Cn包含Bi，且m ! =n，则将已有的域名集 合Cm和Cn进行合并，将Cn的元素添加到Cm中，并删除Cn ;
[0026] c)如果已有的域名集合Cm包含Ai，且Bi不被任意已有的域名集合所包含，则将 Bi加入到集合Cm中去；或者，如果已有的域名集合Cm包含Bi，且Ai不被任意已有的域名 集合所包含，则将Ai加入到集合Cm中去；
[0027] d)如果Ai和Bi均不被任意已有的域名集合所包含，则生成域名集合Ci={Ai， Bi}；
[0028] 如果Ai==Bi，则将Ai与已有的域名集合的中的元素相比较：
[0029] a)如果Ai不被任意已有的域名集合所包含，贝U生成域名集合Ci={Ai};
[0030] b)如果Ai被域名集合Cm所包含，执行步骤D13 ;
[0031] D13、重复步骤D12,直至DNS域名-域名关系集合中的所有DNS域名-域名关系对 处理完毕，得到的所有域名集合构成DNS域名-域名关系字典。
[0032] 较佳地，所述D2包括：
[0033] D21、输入DNS域名-IP关系集合中的第1个DNS域名-IP关系对，按照所述第1 个DNS域名-IP关系对生成一个新的DNS域名-IP集合；
[0034] D22、输入DNS域名-IP关系集合中的第i条（i>=2)DNS域名-IP关系对，将所述 第i个DNS域名-IP关系对中的查询域名记为Ai ;
[0035] 将Ai与已有的DNS域名-IP集合中的元素相比较：
[0036] a)如果已有的DNS域名-IP集合Cm包含Ai，则将所述第i条DNS域名-IP关系 对中的服务器响应IP地址加入到Cm中；
[0037] b)如果Ai不被任意已有的DNS域名-IP集合所包含，则按照所述第i条DNS域 名-IP关系对生成一个新的DNS域名-IP集合；
[0038] D23、重复步骤D22,直至DNS域名-IP关系集合中的所有DNS域名-IP关系对处理 完毕，得到的所有DNS域名-IP集合构成DNS域名-IP关系字典。
[0039] 较佳地，所述D3包括：
[0040] D31、读入整个DNS域名-IP关系字典，生成一个空的DNS域名-IP关系资源表；
[0041] D32、按行读入DNS域名-域名关系字典，对于所读入的每一行：
[0042] 如果该行中的所有域名都没有出现在DNS域名-IP关系字典中，则按照预定的格 式将域名输出到DNS域名-IP关系资源表中；
[0043] 如果该行中至少有1个域名出现在DNS域名-IP关系字典中，则按照预定的格式， 先将域名输出到DNS域名-IP关系资源表中，然后将所有对应的服务器响应IP地址输出到 DNS域名-IP关系资源表中；
[0044] D33、重复步骤D32,直至DNS域名-域名关系字典中的每一行都被处理完毕，得到 DNS域名-IP关系资源表。
[0045] 由上述技术方案可见，本申请提供的DNS流量分析方法通过实时采集网络中的报 文信息，对所采集的报文信息进行DNS流量预处理，从中提取出需要的DNS流量信息；然后， 对所提取的DNS流量信息进行DNS分析，得到DNS域名-域名关系集合、DNS域名-IP关系 集合；最后，对所述DNS域名-域名关系集合和DNS域名-IP关系集合进行归并操作，减少 了 DNS流量的域名种类，使得对DNS流量的分析更加具有针对性，并能够从整体上更好地了 解当前的DNS流量状况。
【专利附图】
【附图说明】
[0046] 图1为本申请DNS流量采集和分析过程示意图；
[0047] 图2为本申请DNS流量分析方法的时序图；
[0048] 图3为本申请对DNS域名-域名关系对进行域名归并操作的流程示意图；
[0049] 图4为本申请DNS域名-IP关系资源表生成(或更新）的流程示意图。
【具体实施方式】
[0050] 为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对 本申请作进一步详细说明。
[0051] 本申请的主要通过运用域名归并算法，来减少DNS流量中的域名种类，从而简化 对DNS流量分析的复杂度。
[0052] 针对传统的流量分析方法，本申请重点关注和分析DNS数据中3个重要信息之间 的深层联系，这3个重要信息分别为：查询域名、返回域名和服务器响应IP地址。在某种 程度上，这3个重要信息之间存颇为复杂的映射关系，诸如一对一、一对多、多对一。例如： 现实中通常一个域名会有多个别名，一个服务器响应IP地址也会对应多个域名，故本申请 通过每一条查询记录将相关的域名归并到一个域名集合中去，指向同一个ISP (Internet Service Provider)，形如XXX. cn XXX. com. cn XXX. com。在关联性的分析中，很有必要将这 些指向同一个ISP的域名或IP聚集在一起，形成一个专属的集合。运用本申请技术方案对 海量DNS流量进行分析，可以得到DNS域名和DNS域名之间有关联的域名关系集合，以及相 应的域名-IP关系集合，运用此关系集合可以更好理解DNS流量状况。
[0053] 图1为本申请DNS流量采集和分析过程示意图。图1所示过程的主要步骤说明如 下：
[0054] 首先，通过报文采集装置从运营商网络中实时采集报文信息并存储。
[0055] 然后，对所采集的报文信息进行DNS流量预处理操作，从中提取出所需要的DNS流 量信息。例如，典型的对报文信息进行DNS流量预处理之后得到的DNS流量字段示例如表 1所示。
[0056]
[0057]
【权利要求】
1. 一种DNS流量分析方法，其特征在于，包括： A、 实时采集网络中的报文信息； B、 对所采集的报文信息进行DNS流量预处理，从中提取出需要的DNS流量信息； C、 对所提取的DNS流量信息进行DNS分析，得到DNS域名-域名关系集合、DNS域名-IP 关系集合； D、 对所述DNS域名-域名关系集合和DNS域名-IP关系集合进行归并操作，得到DNS 域名-IP关系资源表。
2. 根据权利要求1所述的方法，其特征在于，所述C包括： 对每一条DNS流量信息，获取其中的查询域名和返回域名，将获取到的查询域名和各 个返回域名分别构成一个DNS域名-域名关系对，所有DNS流量信息的DNS域名-域名关 系对构成DNS域名-域名关系集合； 对每一条DNS流量信息，获取其中的查询域名和服务器响应IP地址，将获取到的查询 域名和各个服务器响应IP地址分别构成一个DNS域名-IP关系对，所有DNS流量信息的 DNS域名-IP关系对构成DNS域名-IP关系集合。
3. 根据权利要求1或2所述的方法，其特征在于，所述D包括： D1、对所述DNS域名-域名关系集合进行归并操作，得到DNS域名-域名关系字典； D2、对所述DNS域名-IP关系集合进行归并操作，得到DNS域名-IP关系字典； D3、对所述DNS域名-域名关系字典和DNS域名-IP关系字典进行整合，得到DNS域 名-IP关系资源表。
4. 根据权利要求3所述的方法，其特征在于，所述D1包括： D11、输入DNS域名-域名关系集合中的第1个DNS域名-域名关系对，记为（A1，B1); 如果Al! =B1，则生成域名集合C1={A1，B1}; 否则，如果A1==B1，则生成域名集合C1={A1}; D12、输入DNS域名-域名关系集合中的第i条（i>=2)DNS域名-域名关系对，记为（Ai， Bi)， 如果Ai ! =Bi，则将Ai和Bi分别与已有的域名集合中的元素相比较： a) 如果已有的域名集合Cm包含Ai，且Cn包含Bi，且m==n，则执行步骤D13 ; b) 如果已有的域名集合Cm包含Ai，且Cn包含Bi，且m ! =n，则将已有的域名集合Cm 和Cn进行合并，将Cn的元素添加到Cm中，并删除Cn ; c) 如果已有的域名集合Cm包含Ai，且Bi不被任意已有的域名集合所包含，则将Bi加 入到集合Cm中去；或者，如果已有的域名集合Cm包含Bi，且Ai不被任意已有的域名集合 所包含，则将Ai加入到集合Cm中去； d) 如果Ai和Bi均不被任意已有的域名集合所包含，贝U生成域名集合Ci={Ai,Bi}; 如果Ai==Bi,则将Ai与已有的域名集合的中的元素相比较： a) 如果Ai不被任意已有的域名集合所包含，贝U生成域名集合Ci={Ai}; b) 如果Ai被域名集合Cm所包含，执行步骤D13 ; D13、重复步骤D12,直至DNS域名-域名关系集合中的所有DNS域名-域名关系对处理 完毕，得到的所有域名集合构成DNS域名-域名关系字典。
5. 根据权利要求3所述的方法，其特征在于，所述D2包括： D21、输入DNS域名-IP关系集合中的第1个DNS域名-IP关系对，按照所述第1个DNS 域名-IP关系对生成一个新的DNS域名-IP集合； D22、输入DNS域名-IP关系集合中的第i条（i>=2) DNS域名-IP关系对，将所述第i 个DNS域名-IP关系对中的查询域名记为Ai ; 将Ai与已有的DNS域名-IP集合中的元素相比较： a) 如果已有的DNS域名-IP集合Cm包含Ai，则将所述第i条DNS域名-IP关系对中 的服务器响应IP地址加入到Cm中； b) 如果Ai不被任意已有的DNS域名-IP集合所包含，则按照所述第i条DNS域名-IP 关系对生成一个新的DNS域名-IP集合； D23、重复步骤D22,直至DNS域名-IP关系集合中的所有DNS域名-IP关系对处理完 毕，得到的所有DNS域名-IP集合构成DNS域名-IP关系字典。
6.根据权利要求3所述的方法，其特征在于，所述D3包括： D31、读入整个DNS域名-IP关系字典，生成一个空的DNS域名-IP关系资源表； D32、按行读入DNS域名-域名关系字典，对于所读入的每一行： 如果该行中的所有域名都没有出现在DNS域名-IP关系字典中，则按照预定的格式将 域名输出到DNS域名-IP关系资源表中； 如果该行中至少有1个域名出现在DNS域名-IP关系字典中，则按照预定的格式，先将 域名输出到DNS域名-IP关系资源表中，然后将所有对应的服务器响应IP地址输出到DNS 域名-IP关系资源表中； D33、重复步骤D32,直至DNS域名-域名关系字典中的每一行都被处理完毕，得到DNS 域名-IP关系资源表。
【文档编号】H04L29/12GK104253875SQ201310268521
【公开日】2014年12月31日 申请日期:2013年6月28日 优先权日:2013年6月28日
【发明者】查诚吉, 刘芳, 刘军, 雷振明 申请人:北京宽广电信高技术发展有限公司