本发明属于互联网识别领域,涉及一种互联网业务流量归属的识别方法和装置。
背景技术:
随着我国基础通信的不断发展,伴随宽带的普及,4G的高速发展以及不断提速;网内的流量越来越复杂,如何监控网内各服务提供商的流量流向、落点分布、内容引入已成为各大运营商待以解决的一个难题。
域名系统(Domain Name System缩写DNS,Domain Name被译为域名)是因特网的一项核心服务,它作为可以将域名和IP地址相互映射的一个分布式数据库。
其中,根据互联网中的相关定义,一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的数据包流,且所有数据包具有共同的传输层源、目的端口号。
现有Netflow流量分析的缺点:
现有Netflow分析技术难以实现对业务流量归属内容商做准确识别;
虽然现有Netflow技术也集成了DNS识别功能,由于现网业务很少为其提供服务的ip做反向域名解析,导致该功能无法实际发挥作用。
技术实现要素:
本发明所要解决的技术问题是提供一种互联网业务流量归属的识别方法,用于解决现有技术存在的问题。
本发明解决上述技术问题所采取的技术方案如下:
一种互联网业务流量归属的识别方法,包括:
步骤1)通过实时DNS解析数据采集并建立ip地址和域名的对应关系,形成一个动态的反解库;
根据授权返回的地址更新这个反解库;
步骤2)在对Netflow日志进行Netflow分析时,通过建立的接口获取当时的ip与域名的对应关系,同时通过域名归属识别获取该域名归属厂家或者采用CDN分发部分,由此识别出一个流(Flow)的归属厂家、业务类型细分、IP位置归属。
进一步地,优选的是,所述DNS采集日志的格式如下:
源IP、源端口、目的IP目的端口、ID号、请求域名、请求类型、解析结果、请求时间、状态码、请求q或响应r。
进一步地,优选的是,步骤1)中建立ip地址和域名的对应关系,形成一个动态的反解库,具体包括:通过响应日志得到的授权地址,形成某一域名地址对应的反向地址库。
进一步地,优选的是,步骤2)中,还包括:根据Netflow的日志,可以获取到wwwbaidu.com两个授权地址的流量信息。
进一步地,优选的是,所述NETFLOW日志格式如下:
源地址、目的地、源自治域、目的自治域、流入接口号、流出接口号、源端口、目的端口、协议类型、包数量、字节数和流数量。
进一步地,优选的是,步骤2)中,具体包括以下子过程:
第一个过程通过DNS日志获取动态地址库;
第二个过程通过Netflow日志信息的目的IP和端口,结合DNS反解库,得到内容服务提供商某个业务流量信息。
进一步地,优选的是,还包括:将Netflow日志中的流量流向数据与通过DNS全数据采集构建的ip到域名反向对应关系库结合,将城域网出口流量细分到每个内容厂家、CDN分发商以及同厂家内部的业务流量进行分类。
进一步地,优选的是,所述业务流量的分类包括:网页门户、视频、游戏或者电商。
一种互联网业务流量归属的识别装置,包括:
DNS分析单元,用于通过实时DNS解析数据采集并建立ip地址和域名的对应关系,形成一个动态的反解库;
根据授权返回的地址更新这个反解库;
Netflow分析单元,用于在对Netflow日志进行Netflow分析时,通过建立的接口获取当时的ip与域名的对应关系,同时通过域名归属识别获取该域名归属厂家或者采用CDN分发部分,由此识别出一个流(Flow)的归属厂家、业务类型细分、IP位置归属。
本发明采取了上述方案以后,由此建立一套业务域名与业务ip动态的对应关系库;并据此将netflow分析深度提升,可以获得本省、本城域网内用户到具体应用提供方的流量分布情况,以及由于内容方做调度而产生的流量波动等,具有很好的效果。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
下面结合附图对本发明进行详细的描述,以使得本发明的上述优点更加明确。其中,
图1是本发明一种互联网业务流量归属的识别方法的示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
另外,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一:
具体来说,一种互联网业务流量归属的识别方法,包括:
步骤1)通过实时DNS解析数据采集并建立ip地址和域名的对应关系,形成一个动态的反解库;
根据授权返回的地址更新这个反解库;
步骤2)在对Netflow日志进行Netflow分析时,通过建立的接口获取当时的ip与域名的对应关系,同时通过域名归属识别获取该域名归属厂家或者采用CDN分发部分,由此识别出一个流(Flow)的归属厂家、业务类型细分、IP位置归属。
进一步地,优选的是,所述DNS采集日志的格式如下:
源IP、源端口、目的IP目的端口、ID号、请求域名、请求类型、解析结果、请求时间、状态码、请求q或响应r。
进一步地,优选的是,步骤1)中建立ip地址和域名的对应关系,形成一个动态的反解库,具体包括:通过响应日志得到的授权地址,形成某一域名地址对应的反向地址库。
进一步地,优选的是,步骤2)中,还包括:根据Netflow的日志,可以获取到www.baidu.com两个授权地址的流量信息。
进一步地,优选的是,所述NETFLOW日志格式如下:
源地址、目的地、源自治域、目的自治域、流入接口号、流出接口号、源端口、目的端口、协议类型、包数量、字节数和流数量。
进一步地,优选的是,步骤2)中,具体包括以下子过程:
第一个过程通过DNS日志获取动态地址库;
第二个过程通过Netflow日志信息的目的IP和端口,结合DNS反解库,得到内容服务提供商某个业务流量信息。
进一步地,优选的是,还包括:将Netflow日志中的流量流向数据与通过DNS全数据采集构建的ip到域名反向对应关系库结合,将城域网出口流量细分到每个内容厂家、CDN分发商以及同厂家内部的业务流量进行分类。
进一步地,优选的是,所述业务流量的分类包括:网页门户、视频、游戏或者电商。
本发明采取了上述方案以后,由此建立一套业务域名与业务ip动态的对应关系库;并据此将netflow分析深度提升,可以获得本省、本城域网内用户 到具体应用提供方的流量分布情况,以及由于内容方做调度而产生的流量波动等,具有很好的效果。
实施例二:
具体来说,本发明解决的问题如下:
建立一套业务域名与业务ip动态的对应关系库;
将netflow分析深度提升,可以获得本省、本城域网内用户到具体应用提供方的流量分布情况,以及由于内容方做调度是产生的流量波动;
为此,本技术方案是将NETFLOW采集到的流量流向数据与通过DNS全数据采集构建的ip到域名反向对应关系库结合,将城域网出口流量细分到每个内容厂家、CDN分发商以及同厂家内部的业务流量进行分类,如:网页门户、视频、游戏、电商等。
具体来说,本方案由两部分组成:动态反向解析地址库、分析算法。如图1所示:
流程如下:
通过实时DNS解析数据采集建立ip地址和域名的对应关系,形成一个动态的反解库,并根据授权返回的地址更新这个反解库;
如:www.baidu.com,得到的授权地址如以下所示:
其中,DNS采集日志的格式如下:
源IP 源端口 目的IP 目的端口 ID号 请求域名 请求类型 解析结果 请求时间 状态码 请求q或响应r;
通过响应日志得到的授权地址,形成一个www.baidu.com的反向地址库。
在Netflow分析时,通过建立的接口获取当时的ip与域名的对应关系,同时通过域名归属识别获取该域名归属厂家(包括采用CDN分发部分),可以识别出一个流的归属厂家、业务类型细分、IP位置归属等;
如:根据Netflow的日志,可以获取到www.baidu.com两个授权地址的流量信息,如以下所示。
NETFLOW日志格式如下:
源地址 目的地 源自治域 目的自治域 流入接口号 流出接口号 源端口 目的端口 协议类型 包数量 字节数 流数量
其中,本发明的分析算法如下:
分析算法分为两个过程:第一个过程通过DNS日志获取动态地址库,;第二个过程通过Netflow日志信息的目的IP和端口,结合DNS反解库,得到内容服务提供商某个业务流量信息。
其中,以百度为例:
通过netflow的日志信息可以看到去往61.135.169.121和61.135.169.125两个目的IP地址的端口信息(443)和流量信息,根据DNS的反向解析库锁定是去往百度的网页类流向信息,根据地址的落点,显示该流量是去往北京的。
实施例三:
一种互联网业务流量归属的识别装置,包括:
DNS分析单元,用于通过实时DNS解析数据采集并建立ip地址和域名的对应关系,形成一个动态的反解库;
根据授权返回的地址更新这个反解库;
Netflow分析单元,用于在对Netflow日志进行Netflow分析时,通过建立的接口获取当时的ip与域名的对应关系,同时通过域名归属识别获取该域名归属厂家或者采用CDN分发部分,由此识别出一个流(Flow)的归属厂家、业务类型细分、IP位置归属。
需要说明的是,对于上述方法实施例而言,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。