一种基于大型内容网站DNS解析的CDN场景判定方法与流程

一种基于大型内容网站dns解析的cdn场景判定方法
技术领域
1.本发明涉及ip应用场景划分领域，具体而言，涉及了一种基于大型内容网站dns解析的cdn场景判定方法。


背景技术：

2.大型内容服务网站往往使用cdn技术，使用户就近获取所需内容，降低网络拥塞，以提高用户访问响应速度和命中率。目前，通过在全球部署探测机器获取大型内容服务网站所使用的ip。但是，这种方法受限于探测机器的数量和地理分布情况，无法获取大型内容服务网站所使用的全部ip，无法全面地判定全球的cnd场景ip。
3.因此，有必要提出一种基于大型内容网站dns解析的cdn场景判定方法，能够基于全球开放的dns服务器，获取大型内容网站域名所使用的ip，全面判断cdn场景的ip。


技术实现要素：

4.为了解决背景技术中所存在的问题，本发明提出了一种基于大型内容网站dns解析的cdn场景判定方法。
5.一种基于大型内容网站dns解析的cdn场景判定方法，包括
6.步骤1、采集多个来源的全球公开的dns服务器ip，并筛选获取有效的开放dns服务器ip；
7.步骤2、利用网络爬虫技术，获取目标数量的大型内容服务网站；
8.步骤3、基于有效的开放dns服务器ip，获取大型内容服务网站对应的ip，并对获取的ip进行cdn场景判定。
9.基于上述，步骤1中，采集互联网多个来源的全球公开dns服务器ip列表，在去掉重复的ip后，利用dig工具，获取未使用cdn技术的网站域名对应的ip信息；根据结果到的ip信息，确定全球公开dns服务器的有效性，去掉不可用的和受污染的流氓dns服务器ip并获取有效的开放dns服务器ip。
10.基于上述，步骤3中，基于有效的全球开放dns服务器ip，使用dig工具获取大型内容服务网站域名对应的ip；如果一个网站得到了多个不同的ip，则将这些ip判定为cdn场景ip。
11.本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明基于全球开放的dns服务器，能够获取大型内容服务网站域名所使用的全部ip，并将其判定为cdn场景的ip，实现对cdn场景ip的全面判断。
附图说明
12.图1是本发明的流程示意图。
13.图2为针对www.ipplus360.com网站，分别使用有效的、不可用的和受污染的流氓dns服务器进行dns解析的结果。
具体实施方式
14.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
15.一种基于大型内容网站dns解析的cdn场景判定方法，以解析大型内容服务网站www.baidu.com为例进行说明。
16.步骤1、采集多个来源的全球公开的dns服务器ip，并通过去重复、去掉不可用的、去掉流氓dns服务器等手段得到有效的开放dns服务器ip。
17.首先，采集多个来源的全球公开的dns服务器ip，得到了如图2中的8.8.8.8、1.11.71.4和103.14.246.1等dns服务器ip；其次，在去重复的基础上，使用所有的dns服务器ip解析www.ippplus360.com，根据返回的结果ip，去掉无法得到结果的不可用的dns服务器ip和返回错误结果的流氓dns服务器ip(如图2中的1.11.71.4和103.14.246.1)，得到有效的dns服务器ip。
18.步骤2、利用网络爬虫技术，通过采集类似alexa的网站排名发布网站，获取大型内容服务网站。
19.利用网络爬虫技术，采集类似alexa的网站排名发布网站，获取排名靠前的前1000个网站，得到了大型内容服务网站https://www.baidu.com/。
20.步骤3、基于有效的开放dns服务器ip，获取大型内容服务网站对应的ip，并对获取的ip判定为cdn场景。基于有效的全球开放dns服务器ip，使用dig工具获取大型内容服务网站域名对应的ip。如果一个网站得到了多个不同的ip，则将这些ip判定为cdn场景ip。否则，网站域名对应的ip不是cdn场景的ip。
21.基于有效的全球开放dns服务器ip，使用dig工具获取大型内容服务网站域名www.baidu.com对应的ip,得到www.baidu.com网站对应的ip有103.235.46.39、112.80.248.75和112.80.248.76等，因此，将这些ip判断为cdn场景的ip。
22.针对图1中所示的动态ip块，使用基于密度的dbscan聚类方法对它们的历史基准点数据进行聚类，聚类结果以一个中心位置的经度、纬度和对应的半径表示，如图1中的圈所示的聚类结果，实现对动态ip的定位。
23.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。


技术特征：
1.一种基于大型内容网站dns解析的cdn场景判定方法，其特征在于：包括步骤1、采集多个来源的全球公开的dns服务器ip，并筛选获取有效的开放dns服务器ip；步骤2、利用网络爬虫技术，获取目标数量的大型内容服务网站；步骤3、基于有效的开放dns服务器ip，获取大型内容服务网站对应的ip，并对获取的ip进行cdn场景判定。2.根据权利要求1所述的基于大型内容网站dns解析的cdn场景判定方法，其特征在于：步骤1中，采集互联网多个来源的全球公开dns服务器ip列表，在去掉重复的ip后，利用dig工具，获取未使用cdn技术的网站域名对应的ip信息；根据结果到的ip信息，确定全球公开dns服务器的有效性，去掉不可用的和受污染的流氓dns服务器ip并获取有效的开放dns服务器ip。3.根据权利要求1所述的基于大型内容网站dns解析的cdn场景判定方法，其特征在于：步骤3中，基于有效的全球开放dns服务器ip，使用dig工具获取大型内容服务网站域名对应的ip；如果一个网站得到了多个不同的ip，则将这些ip判定为cdn场景ip。

技术总结
本发明提供了一种基于大型内容网站DNS解析的CDN场景判定方法，步骤1、采集多个来源的全球公开的DNS服务器IP，并筛选获取有效的开放DNS服务器IP；步骤2、利用网络爬虫技术，获取目标数量的大型内容服务网站；步骤3、基于有效的开放DNS服务器IP，获取大型内容服务网站对应的IP，并对获取的IP进行CDN场景判定。本发明提出基于全球开放的DNS服务器，能够获取大型内容服务网站域名所使用的全部IP，并将其判定为CDN场景的IP，实现对CDN场景IP的全面判断。实现对CDN场景IP的全面判断。实现对CDN场景IP的全面判断。


技术研发人员：王永 戚伟 申文凯 李腾飞 任国明
受保护的技术使用者：郑州埃文计算机科技有限公司
技术研发日：2021.05.14
技术公布日：2021/9/17