一种基于多数据源融合的IP地域类特征提取方法与流程

本发明涉及数据分析领域，具体涉及一种基于多数据源融合的ip地域类特征提取方法。

背景技术：

ip地址(internetprotocoladdress，网际协议地址)是网络中节点的唯一标识。由于ip地址具有唯一性，且是一种符合协议的地址格式，因此它更像是人们在互联网这个“社会”的“身份证”。随着社会与网络科技的发展，互联网的多数核心业务都需要对ip地址进行精准定位。但全球的ip地址数以亿计，遍布于世界上每个角落，不同的ip地址可能包含了不同的地域属性，如大洲、国家、地区、运营商、时区、经纬度等。如何从这浩瀚的网络中得到ip地址精准的地域类属性，是一项极具挑战性的任务。

随着定位技术的发展，互联网上也出现了一些优秀的定位数据库，如geolite2ip地址数据库、纯真ip地址数据库、百度ip地址数据库、淘宝ip地址数据库、全球ipv4地址归属地数据库(ipip.net)、中国行政区域经纬度信息表等网络数据库。但这些数据库的来源多种多样，格式规范不统一，并且都有自己的局限性，比如有些只是针对特定国家的定位比较准确，需要收费，没有规范的接口供用户使用等。所以如何利用现有定位数据库，解决现有数据库定位数据冲突、定位不准等问题，如何将国内外优秀的定位数据库汇集到一起，构建一套面向全球ip的地域类特征知识库，如何构建一个相对全面的定位数据库，是目前亟待解决的一个问题。

技术实现要素：

针对现有技术中存在的ip地址数据库采用各种不同的格式导致无法进行数据融合的问题，本发明要解决的技术问题是提出一种基于多数据源融合的ip地域类特征提取方法。

为了解决上述问题，本发明实施例提出了一种基于多数据源融合的ip地域类特征提取方法，包括：

步骤1、基于现有的ip地址定位数据库，计算每一定位数据库的权威度；

authorityi＝coveri+concidencei；

其中authorityi为第i个定位数据库的权威度，coveri为定位数据库中数据占所有定位数据库的总数居的比重；concidencei为定位数据库与其他定位数据中数据的重合的比重；

步骤2、基于现有的ip地址定位数据库，计算每一定位数据库中定位数据的完整度；

步骤3、根据步骤1和步骤2中的每一定位数据库的权威度和每一定位数据库中定位数据的完整度，确定定位数据的可信度；

步骤4、根据定位数据的可信度，选取定位数据构建ip地域类特征知识库。

其中，步骤1中的定位数据库的权威度通过authorityi以下方式计算：

步骤11、通过以下公式(1)计算定位数据库的覆盖率，其中覆盖率为定位数据库中数据占所有定位数据库的总数居的比重；

其中dbi表示不同的定位数据库，i＝1,2,……,n分别表示n种不同的定位数据库，value表示定位数据库中的数据数；

步骤12、通过以下公式(2)计算一个定位数据库与其他定位数据中数据的重合的比重，作为重合率

其中，h运算表示对集合做不去除重复元素的并运算，b运算表示计算某个元素在h运算结果中的个数，count运算表示h运算结果中所有元素的个数，m表示数据库中包含网段的个数；

则定位数据库权威度为：

authorityi＝coveri+concidencei。

其中，步骤2中的定位数据的完整度通过以下方法计算：

步骤21、从ip地域类属性的12种指标中选择至少一个指标作为评价指标，以建立定位数据完整度integrity评价指标l元组e<e1,e2,……,el>；其中所述12种指标包括：ip地址所属网段、大洲、大洲id、国家、国家id、一级行政区域、二级行政区域、三级行政区域、互联网服务提供商、时区、经度、纬度。

步骤22、基于评价指标l元组e<e1,e2,……,el>，利用如下公式计算定位数据的完整度integrity：

其中：interityip,i表示ip地址ip在第i个定位数据库中的定位数据完整度，wj(i＝1,2,……,l)为各个评价指标特征的权值系数，满足

wj>0

其中，表示ip地址ip在第i个定位数据库的第j个特征指标的值，其计算公式如下：

其中，定位数据的可信度通过以下方法计算：

通过定位数据库的权威度和定位数据的完整度计算定位数据的可信度：

credibility(ipvalue(x,i))＝interityip,i*authorityi

其中credibility(ipvalue(x,i))表示ip地址为ip的特征指标x在第i个定位数据库中的定位数据值的可信度，interityip,i表示ip地址为ip在第i个定位数据库中的定位数据的完整度，authorityi表示第i个定位数据库的权威度；

其中，对于ip地址为ip的特征指标x的可信度计算如下所示：

其中j∈[1,n]，表示特征指标x的不去重的取值个数；而对于重复的属性取值即当ipvalue(x)＝ipvalue(x,i)，则特征指标x的可信度为所有重复属性值的可信度之和，可以看作特征指标x的加权投票可信度，max运算表示取加权投票可信度的最大值。

其中，步骤4具体包括：基于定位数据的可信度，对ip地址的地域类特征的进行筛选，并构建ip地域类特征知识库。

本发明的上述技术方案的有益效果如下：上述技术方案提出了一种基于多数据源融合的ip地域类特征提取方法，其具有以下优势：

1、针对互联网上多种定位数据库数据结构不统一以及定位冲突的问题，本发明将ip地域类特征表示为九元组的形式，利用国内外定位数据库的分层特性和ip定位数据，提出了一种基于多数据源的ip地域类特征提取方法。该方法通过计算定位数据的可信度(credibility)实现ip地域类特征的提取，定位数据可信度的确定则依赖于定位数据库的权威度(authority)和定位数据的完整度(integrity)。

2、针对定位数据库权威度的计算问题，本发明通过分析国内外主流ip定位数据库的结构及各数据库之间的数据差异，提出了一种基于ip定位数据库之间差异的权威度评价方法。

3、针对定位数据完整度的计算问题，本发明基于ip地域类特征的九元组表示方法，构建了一种定位数据完整度的定量评估模型。

4、针对定位数据可信度评价中多源数据库定位数据冲突问题，本发明考虑数据库权威度和定位数据完整度两项指标，利用加权投票机制算法，提出了一种多特征多模态的可信度定量评价模型，实现了定位数据库可信度的定量计算。

5、针对目前国内外ip地域类属性的差异，提出了一种基于定位数据可信度的ip地域类特征筛选算法，构建了一套面向全球ip的地域类特征知识库。

附图说明

图1为本发明实施例的基于多数据源融合的ip地域类特征提取方法

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明根据ip地域类特征的组成结构，通过对互联网中现有的多个定位数据库(在本发明实施例中采用五个最常见淘宝ip地址库、纯真ip地址库、新浪ip地址库、百度地址数据库、全球ipv4地址归属地数据库ipip.net)与中国行政区域经纬度信息表进行分析，实现对国内外ip地域类特征的提取，提出了一种基于多数据源的ip地域类特征提取方法，最终构建一套面向全球ip的地域类特征知识库。本发明通过计算定位数据的可信度(credibility)，选取定位数据可信度较高的定位数据作为定位结果，最终实现ip地域类特征的提取。而定位数据可信度的计算则依赖于定位数据库的权威度(authority)和定位数据的完整度(integrity)两项指标。

本发明实施例的基于多数据源的ip地域类特征提取方法，其流程如图1所示的，包括：

步骤1、基于现有的ip地址定位数据库，计算每一定位数据库的权威度；

authorityi＝coveri+concidencei；

其中authorityi为第i个定位数据库的权威度，coveri为定位数据库中数据占所有定位数据库的总数居的比重；concidencei为定位数据库与其他定位数据中数据的重合的比重；

步骤2、基于现有的ip地址定位数据库，计算每一定位数据库中定位数据的完整度；

步骤3、根据步骤1和步骤2中的每一定位数据库的权威度和每一定位数据库中定位数据的完整度，确定定位数据的可信度；

步骤4、根据定位数据的可信度，选取定位数据构建ip地域类特征知识库。

其中，定位数据库的权威度通过authorityi以下方式计算：

步骤11、通过以下公式(1)计算定位数据库的覆盖率，其中覆盖率为定位数据库中数据占所有定位数据库的总数居的比重；

其中dbi表示不同的定位数据库，i＝1,2,……,n分别表示n种不同的定位数据库，value表示定位数据库中的数据数。在本发明实施例中，由于采用了现有的5个最常见的ip地址数据库，因此n＝5；

步骤12、通过以下公式(2)计算一个定位数据库与其他定位数据中数据的重合的比重，作为重合率

本发明实施例中可以通过网段为单位，计算定位数据库之间的重合率；

其中，h运算表示对集合做不去除重复元素的并运算，b运算表示计算某个元素在h运算结果中的个数，count运算表示h运算结果中所有元素的个数，m表示数据库中包含网段的个数；

例如：n种定位数据库对某一网段ip的某一个属性x的数据值分别为a,b,a,c,a，则：

即集合中一共有5个元素；

即其中重复的元素数为3；含有3个a

即包含a,b,a,c,a这5个元素

则定位数据库权威度为：

authorityi＝coveri+concidencei。

其中，步骤2中的定位数据的完整度通过以下方法计算：

ip地域类属性具有以下12种指标：ip地址所属网段、大洲、大洲id、国家、国家id、一级行政区域(对应国内的省或直辖市)、二级行政区域(对应国内的地级市或相当区域)、三级行政区域(对应国内的县或相当区域)、互联网服务提供商(isp)、时区、经度、纬度。

在本发明实施例中，可以将这12种指标进行合并，只保留如表1所示的9种指标，以建立定位数据完整度(integrity)评价指标l元组e<e1,e2,……,el>，对应映射表如表1所示：

表1ip地域类特征

表1中是采用九元组的方式，这只是本发明实施例的一种实现方式，可以任意多个指标，本发明实施例并不对此做出限定。基于评价指标l元组e<e1,e2,……,el>，构建定位数据完整度(integrity)的计算公式如下：

如表1所示的例子中用了9种指标，因此l＝9。

其中：interityip,i表示ip地址ip在第i个定位数据库中的定位数据完整度，wj(i＝1,2,……,l)为各个评价指标特征的权值系数，满足

wj>0

表示ip地址ip在第i个定位数据库的第j个特征指标的值，其计算公式如下：

由于特征因素的权值系数难以确定，因此采用层次分析法确定各个特征权值的方法，最终得出特征的权值依次为(0.03338，0.0512，0.0860，0.1489，0.2455，0.0860，0.0512，0.1489，0.1489)。

其中，定位数据的可信度通过以下方法计算：

本发明通过计算定位数据的可信度credibility，选取定位数据可信度较高的定位数据作为ip地域类的最终特征。而定位数据可信度的定量计算则依赖于定位数据库的权威度和定位数据的完整度两项指标。计算公式如下：

credibility(ipvalue(x,i))＝interityiu,i*authorityi

其中credibility(ipvalue(x,i))表示ip地址为ip的特征指标x在第i个定位数据库中的定位数据值的可信度，interityip,i表示ip地址为ip在第i个定位数据库中的定位数据的完整度，authorityi表示第i个定位数据库的权威度。

其中，对于ip地址为ip的特征指标x的可信度计算如下所示：

其中j∈[1,n]，表示特征指标x的不去重的取值个数；而对于重复的属性取值即当ipvalue(x)＝ipvalue(x,i)，则特征指标x的可信度为所有重复属性值的可信度之和，可以看作特征指标x的加权投票可信度，max运算表示取加权投票可信度的最大值。

基于定位数据可信度的ip地域类知识库的构建

本发明提出了基于定位数据可信度对ip地址的地域类特征的筛选方法，利用定位数据可信度分别对国内、外的ip地域类特征进行提取，具体的提取流程如图3所示。

(1)关于覆盖率、重合率、权威度、完整度的计算

在基于定位数据可信度的ip地域类特征提取实际过程中，对于覆盖率、重合率、权威度、完整度的计算过程如下：

对于覆盖率的计算，我们将淘宝ip地址库、纯真ip地址库、新浪ip地址库、百度地址数据库和全球ipv4地址归属地数据库ipip.net的地域信息进行合并，提取出每个网段的每个地域类特征全部覆盖的范围，然后通过每个知识库中地域类属性的覆盖范围与合并后全部覆盖范围比例确定每个定位数据库的覆盖率。如图4所示的，其中对国家、省份、城市的覆盖率进行研究后发现，ipip.net定位数据库对国家、省份、城市的覆盖率中的覆盖率最高，百度定位数据库的覆盖率最低。

对于重合率的计算，我们将淘宝ip地址库、纯真ip地址库、新浪ip地址库、百度地址数据库和全球ipv4地址归属地数据库ipip.net的地域信息进行合并，以网段的地域信息记录为单位，提取每个网段全部地域类记录的所有值，然后通过每个数据库中每个网段的每条记录与全部记录的重复个数的比率的平均值，确定每个数据库的重合率。如图5所示的，每个数据库的重合率经过计算后发现，ipip.net定位数据库相对于其它数据库，重合率较高。

对于权威度的计算，采用覆盖率和重合率之和表示。

对于完整度的计算，通过每个ip定位数据库中每个网段的地域信息中存在的地域信息属性值的个数与本发明构建的九元组的属性的个数的比例来确定。

(2)关于特征筛选算法的说明

对于最终的ip地域类特征的筛选策略，本发明只定义了一条筛选策略：取所有ip地域类特征属性值中可信度的最大值作为ip最终的地域属性值。通过利用完整度和权威度，发明人已经构建了一个大规模的ip地域类知识库，包括国内900万个ip地址国外15万个ip网段。其中国内ip地域类知识库如图6所示，国外ip地域类知识库如图7所示。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。