基于网站服务器的跨域网络测量方法

专利名称：基于网站服务器的跨域网络测量方法
技术领域：
本发明涉及计算机网络技术领域，特别涉及一种基于网站服务器的跨域网络测量 方法。
背景技术：
如今的互联网是一个复杂的巨系统，是现代信息社会的基础设施，其行为影响我 们每个人的工作和生活。互联网的行为在不断变化中，无法预测，要想理解这个网络，只有 通过网络测量。网络测量的作用就是对网络行为进行特征化、对各项指标进行量化进而充 分理解与正确认识互联网，可以说，网络测量是理解网络行为的最有效的途径。根据不同的用途，可以对网络的多种参数进行测量，包括延时、丢包率、链路的容 量和可用带宽、流量等等。在对各种参数的测量中，对链路可用带宽的直接测量几乎是不可 能的，只能通过对其他参数的测量来间接衡量链路的可用带宽。分布式互联网测量服务器自动注册与管理方法(专利号ZL200810094269. 5)提供 了一种测量服务器自动注册与管理的方法，部署测量服务器后，各测量服务器与管理服务 器之间自动通信以进行网络测量。这种方法的前提在于需要预先部署测量服务器，才能进 行链路性能的自动测量，如果想要测试的链路上没有部署测量服务器则无法进行测试，这 是目前网络测量方法中普遍存在的一个问题。可扩展的互联网测量服务器自动发现与管理方法(专利号ZL200710065189. 2)使 用域名服务器(Domain Name System, DNS)来传递测量服务器的信息，其目的是将任意IP 地址映射为此IP所在自治域(Autonomouse System, AS)内性能最好的测量服务器，分两步 实现第一步，将IP地址嵌入查询域名，通过DNS查询获得此IP所在的AS号，第二步，将AS 号嵌入查询域名，再次通过DNS查询获得此AS内的测量服务器。此方法需要经过两步才能 获得最终结果，增加了 DNS服务器的负担，降低了查询效率。

发明内容
(一)要解决的技术问题本发明要解决的技术问题是在网络测量时，如何使用已有的网站服务器代替传 统的测量服务器，并只需进行一步DNS查询便能获得AS内性能最优的网站服务器，从而提 高了网络测量的效率。( 二 )技术方案为解决上述技术问题，本发明提供了一种基于网站服务器的跨域网络测量方法， 包括以下步骤Sl 中心服务器采集全球互联网上网站服务器的网站信息；S2:中心服务器验证所采集的网站的有效性，并将有效的网站信息存入其上的网 站信息数据库；S3 用户通过DNS查询中心服务器中网站服务器的网站信息，中心服务器对任一IP地址返回所述IP所在自治域AS内性能最好的网站服务器的IP地址和域名，下载速度最 快的网站为性能最好的网站；具体包括用户将所述IP地址嵌入查询域名，通过中心服务器中的域名服务功能进行DNS查 询；中心服务器收到查询请求后，提取出IP地址，查询BGP路由表获得所述IP地址所 在的AS号；中心服务器查询所述网站信息数据库，获得所述AS内性能最好的网站服务器信 息，通过DNS返回所述AS内性能最好的网站服务器的IP和域名；S4 通信双方用户利用所述S3中得到的网站服务器信息对网络进行双向链路测量。其中，所述步骤Sl具体包括Sll 查询WHOIS数据库，WHOIS记录中包含Email地址，解析出Email地址中的邮 件服务器，检测是否为网站服务器，并验证网站有效性；S12 查找AS的主页，使用网络爬虫下载AS信息页面，提取网站域名，并验证网站 有效性；S13:以AS名称为关键词利用搜索引擎收集网站信息，检测前两页返回结果，并验 证网站有效性；S14 使用开放目录项目dmoz提供的网站列表，并验证网站有效性；S15 接收用户通过预先设定的提交数据接口提交新的网站服务器的信息。其中，所述网站信息数据库中，IPv4和IPv6网站分别存入不同的表格中，表格的 每个表项对应域名的一项信息，以IP地址和域名作为联合主键，对每个表项分别制作索 引。其中，所述步骤S2中验证所采集的网站的有效性的具体方式为向所采集到的网 站信息中的域名发送HTTP连接请求，如果建立连接且成功下载一个完整的页面，则说明所 述域名为有效的网站服务器。其中，所述步骤S4具体包括S41 用户A发现从A到B所经过的各跳路由器的IP地址；S42 用户A使用DNS服务，将各跳路由器的IP地址映射为对应AS内的网站服务 器，把AS内的网站服务器信息通知用户B ；S43 用户B依次下载S42中获得的网站服务器的页面，通过下载过程获得从用户 A到用户B的单向链路性能，其中性能最差的一段为链路瓶颈；S44 用户B发现从B到A所经过的各跳路由器的IP地址；S45 用户B使用DNS服务，将各跳路由器的IP地址映射为对应AS内的网站服务 器；S46 用户A依次下载S45中获得的网站服务器的页面，通过下载过程获得从用户 B到用户A的单向链路性能，其中性能最差的一段为链路瓶颈。其中，所述步骤S2中在将网站信息存入数据库之前还包括对有效的网站按网站 服务器性能进行排序。其中，所述网站信息包括IP地址、域名、AS号、首页页面大小和下载速度。
(三)有益效果本发明通过在全球互联网范围内采集网站服务器信息，并存入数据库，在DNS查 询后，直接根据查询的AS号在数据库中查询该AS内性能最好的网站服务器，使得将IP地 址映射到该IP所在AS内性能最好的测量服务器只需一步完成，提高了网络测量的效率。具 体来说本发明无需预先部署测量服务器，只需找出链路所在网络中的网站服务器就可进 行测量，使得在整个互联网范围内进行网络测量变为可能，解决了第一个专利存在的问题。 使用网站服务器进行测量的方法是从被测网站上下载页面，通过下载过程获得链路可用带 宽，测量的数据量决定于页面大小，一般在IOK 1MB之间；同时，如果需要测量的自治域内 没有网站服务器，则无法进行相应测量。与部署测量服务器的方法相比，本发明限制了测量 的数据量，但极大的扩大了测量范围，更具有实用意义。本发明的主要工作为在全球互联网 范围内采集网站服务器信息，并通过可扩展的方法将网站信息传递给用户。本发明同样采用DNS传递网站服务器信息，但查询步骤由两步减为一步，用户将 任意IP地址嵌入查询域名，本发明会直接返回此IP所在AS内性能最优的测量服务器，中 间获取AS号的过程在服务器端完成，无需用户参与，提高了第二个专利的效率。


图1是本发明实施例的一种基于网站服务器的跨域网络测量方法流程图；图2是图1的方法中通过DNS传递网站服务器信息的一步查询机制，以IPv6查询 为例的查询流程图。图3是图1的方法的网络连接拓扑示意图。
具体实施例方式下面结合附图和实施例，对本发明的具体实施方式
作进一步详细描述。以下实施 例用于说明本发明，但不用来限制本发明的范围。本发明方法可分为三大步骤1)网站服务器信息采集；2)网站服务器信息传递； 3)两次测量获得链路双向性能。本实施例中在中心服务器S上部署有数据库功能模块，用于存放网站服务器信息；BGP (Border Gateway Protocol Table，外部路由协议路由表)功能模块，导入任 意AS内边界路由器的全球BGP路由表，实现IP地址到AS号码的映射；DNS功能模块，使用BGP功能模块提供的IP地址到AS号码的映射功能，提供对 域名*. ip2server. sasm4. net禾口 *. ip6server. sasm4. net的角军析月艮务，两个域名分别负责 IPv4地址和IPv6地址到同一自治域内网站服务器信息的映射；HTTP功能模块，用网站的方式提供多样化的查询服务。本发明所述方法的流程图如图1所示，包括步骤S101，采集全球互联网上网站服务器的网站信息，网站信息包括IP地址，域 名，AS号，首页页面大小，首页下载速率。网站信息以域名列表的形式列出。IP地址和域名 共同用来唯一标识一台服务器。AS号用来管理网站服务器信息，对服务器进行聚类。首页 页面大小和下载速率用来标识服务器性能。采集方式具体包括以下5种
1、查询WHOIS数据库，WHOIS (读作“Who is”，而非缩写，是用来查询域名的IP以 及所有者等信息的传输协议)数据库是提供查询域名、IP前缀、AS号等信息的权威数据库， 通过查询WHOIS数据库中的AS信息，可以获得此AS管理人员的Email地址。解析出Email 地址中的邮件服务器后，存入域名列表。这种做法的局限在于只能获得邮件服务器域名，大 量的普通网站服务器并不是邮件服务器，这种方法无法采集这部分服务器信息。2、查找各AS主页，FixedOrbit是由非盈利组织管理的提供AS信息的网站，提供 的信息包括AS的主页。但并不是所有的AS都有主页，且部分网站已失效，所以这种方法只 能获得部分网站服务器信息。3、利用搜索引擎收集网站信息，以AS名称为关键词搜索Google，收集前两页返回 结果中的网站服务器。这种方法只能被动获取服务器信息，可控性不强。4、粗放型查找，粗放型查找意为找出尽可能多的网站服务器而不考虑这些网站服 务器是否分布在不同的AS。本系统使用的域名来源为www.dmoz.org。这种方法可以获得 大量网站服务器，但效率较低。5、用户提交网站信息。当用户发现一个性能更好的网站服务器，可以提交此服务 器的信息，中心服务器将新网站服务器存入域名列表中。本方法使用网站提供给用户的提 交数据的接口。步骤S102，遍历步骤SlOl中的域名列表；步骤S103，验证所采集的网站的有效性，若有效，则执行步骤S104，若当前网站无 效继续遍历上述域名列表，直至遍历完成。步骤S104，将有效的网站信息存入网站信息数据库。上述5种方法都不能获得目 前互联网上所有的web服务器，且各有利弊。为了获得最多的网站服务器信息，本发明实现 了这五种方法，将收集到的域名信息存入同一个网站信息数据库中。本方法采用MySQL作 为存储数据库，IPv4和IPv6服务器分别存储在不同的表格中，表格的每个表项对应域名的 一项信息，包括ip，网站服务器的IP地址，采用DNS协议解析域名获得；webdomain,网站服务器的域名；asn,网站服务器的IP地址所在的AS号码；pagesize，通过域名直接下载网站首页的页面大小，单位为字节(byte)；bw，下载网页时的下载速度，用页面大小除以下载时间获得，单位为字节每秒(B/ s)。下载速度为衡量服务器性能的依据，下载速度越快，性能越好。表1为存储IPv4网站服务器的表格结构和部分数据，通过SQL查询语句选出 AS4538内性能最优的五台不同的网站服务器如下表1存储IPv4网站服务器的数据库表格结构和示例数据
权利要求
1.一种基于网站服务器的跨域网络测量方法，其特征在于，包括以下步骤51中心服务器采集全球互联网上网站服务器的网站信息；52中心服务器验证所采集的网站的有效性，并将有效的网站信息存入其上的网站信 息数据库；53用户通过DNS查询中心服务器中网站服务器的网站信息，中心服务器对任一 IP地 址返回所述IP所在自治域AS内性能最好的网站服务器的IP地址和域名，下载速度最快的 网站为性能最好的网站；具体包括用户将所述IP地址嵌入查询域名，通过中心服务器中的域名服务功能进行DNS查询；中心服务器收到查询请求后，提取出IP地址，查询BGP路由表获得所述IP地址所在的 AS号；中心服务器查询所述网站信息数据库，获得所述AS内性能最好的网站服务器信息，通 过DNS返回所述AS内性能最好的网站服务器的IP和域名；54通信双方用户利用所述S3中得到的网站服务器信息对网络进行双向链路测量。
2.如权利要求1所述的基于网站服务器的跨域网络测量方法，其特征在于，所述步骤 Sl具体包括511查询WHOIS数据库，WHOIS记录中包含Email地址，解析出Email地址中的邮件服 务器，检测是否为网站服务器，并验证网站有效性；512查找AS的主页，使用网络爬虫下载AS信息页面，提取网站域名，并验证网站有效性；513以AS名称为关键词利用搜索引擎收集网站信息，检测前两页返回结果，并验证网 站有效性；514使用开放目录项目dmoz提供的网站列表，并验证网站有效性；S15:接收用户通过预先设定的提交数据接口提交新的网站服务器的信息。
3.如权利要求2所述的基于网站服务器的跨域网络测量方法，其特征在于，所述网站 信息数据库中，IPv4和IPv6网站分别存入不同的表格中，表格的每个表项对应域名的一项 信息，以IP地址和域名作为联合主键，对每个表项分别制作索引。
4.如权利要求1所述的基于网站服务器的跨域网络测量方法，其特征在于，所述步 骤S2中验证所采集的网站的有效性的具体方式为向所采集到的网站信息中的域名发送 HTTP连接请求，如果建立连接且成功下载一个完整的页面，则说明所述域名为有效的网站 服务器。
5.如权利要求1所述的基于网站服务器的跨域网络测量方法，其特征在于，所述步骤 S4具体包括541用户A发现从A到B所经过的各跳路由器的IP地址；542用户A使用DNS服务，将各跳路由器的IP地址映射为对应AS内的网站服务器，把 AS内的网站服务器信息通知用户B ；543用户B依次下载S42中获得的网站服务器的页面，通过下载过程获得从用户A到 用户B的单向链路性能，其中性能最差的一段为链路瓶颈；544用户B发现从B到A所经过的各跳路由器的IP地址；545用户B使用DNS服务，将各跳路由器的IP地址映射为对应AS内的网站服务器；S46 用户A依次下载S45中获得的网站服务器的页面，通过下载过程获得从用户B到 用户A的单向链路性能，其中性能最差的一段为链路瓶颈。
6.如权利要求1 5中任一项所述的基于网站服务器的跨域网络测量方法，其特征在 于，所述步骤S2中在将网站信息存入数据库之前还包括对有效的网站按网站服务器性能 进行排序。
7.如权利要求6所述的基于网站服务器的跨域网络测量方法，其特征在于，所述网站 信息包括IP地址、域名、AS号、首页页面大小和下载速度。
全文摘要
本发明公开了一种基于网站服务器的跨域网络测量方法，使用网站服务器作为测量服务器；采用多种方法采集互联网上网站服务器的信息，对网站性能进行排序并以自治域为聚类管理网站服务器信息；通过可扩展的域名服务提供任意IP地址到其所在自治域内的最优网站服务器的查询，并架设网站提供以网站服务器的信息为中心的搜索服务；由于网站只提供下载通道，不提供上传通道，使用网站服务器作为测量服务器只能测量下载通道的网络性能，如需测量链路的双向性能，需要两次测量。本方案的优点在于使用广泛分布的网站服务器作为测量服务器，省去传统网络测量方法中部署主动测量服务器的过程，使得在整个互联网范围内进行网络测量变为可能。
文档编号H04L29/12GK102098192SQ20111006704
公开日2011年6月15日 申请日期2011年3月18日 优先权日2011年3月18日
发明者余坤, 包丛笑, 李星 申请人:清华大学