现存域名dns流量的获取和分析的制作方法

专利名称：现存域名dns流量的获取和分析的制作方法
现存域名DNS流量的获取和分析
背景技术：
随着因特网持续扩张，理解因特网上的用户活动正变得更加重要，同时也变得更加困难。因特网的商业应用是最近十年急剧扩张的一个领域，其对理解、监视和预测用户活动具有特别关注。关于因特网商业应用的一个重要方面是广告。广告商在确定合适网站或域以投放具体内容广告中利用诸如流量排名等因素。类似地，网站所有者使用流量排名为在他们网站上投放的广告收取合理费用。如本领域普通技术人员所知的，因特网广告也采用了直接展示具体广告有效性的许多不同形式，诸如按点击收费(PPC)应用。然而，流量排名仍然是英特网广告以及因特网基础设施管理的其他方面中的重要方面。例如，随着因特网上有效网站的数量增加，日益需要精确的流量等级以告知诸如服务管理、网络开发、广告聚焦和定级等的决策者。然而，一般监管用户或网站流量以计算流量分数的常规的流量监管服务有很多限制。其中因特网内部管理方式的描述将有助于理解有效地与监管并评级因特网上具体网站的流量相关的挑战。在因特网上构建网站的处理一般开始于注册人(Registrant)通过域名注册服务商(Registrar)注册具体域名。注册人一般是标识域名(诸如“example, com”)的个人或组织。注册人联系注册服务商以处理名称注册。注册服务商向注册局(registry)发送所需的域名服务(DNS )信息。注册服务商维护包含发送到注册局以外的其他客户信息的数据库。注册局从注册服务商接收DNS信息，将该信息插入中央数据库并在因特网上传播该信息，因此能由全世界的用户找到该域名。一般而言，DNS是将人工可读域名翻译成在因特网上建立TCP/IP通信所需的英特网协议(IP)号的因特网架构的一部分。即，DNS允许用户使用更容易记住的域名(诸如“服example, com")而不是在因特网上分配给计算机的数字IP地址(诸如 “123. 4. 56. 78”)指向网站以及其他资源。每个域名由点分割的字符串序列(标签)组成。最右边的标签是称为“顶级域”(TLD)的域名。公知的TLD的示例是“.com”、“. net”、“. org", 等等。每个TLD支持二级域，列在TLD紧邻左边的位置，例如“獲.example, com"中的 “example”级。每个二级域能包括多个紧邻二级域左边的三级域，例如“www. example, com" 中的“www”级。也可以有其他级的域，实际上没有限制。例如，具有其他域级的域可以是 "www. photos, example, com，，。其他的非域信息包括在统一资源定位符(“URI”)结构中，该结构也包括域名。例如，“path”部分是由正斜杠(“/”)分割的段序列(结构上类似目录，但不必然表示它们)。该信息能包括在紧邻域名右边，诸如“胃w. example, com/blog”中的“blog”，并能由服务器或其他接收设备用于识别并发送特定内容或运行具体代码。非域信息的其他示例包括查询 (query)和分片(fragment)，本领域普通技术人员能理解它们的细节不在此详细解释。这些信息的组合被包括在网页超链接中，超链接将用户导航到相同页面的另一部分或作为相同域的部分或不同域的另一网页。可以以体系或套嵌形式组织相关域名和内容，诸如“www. example, com" ；"www.blog. example, com" ；"www. example, com/blog” 或“blog. example, com” 等，每个具有不同的意义。该相关域不需要共享各个域名解析到的实际IP地址的相似性。在这方面，部分域名表示所需具体服务器，例如，“mail, example, com"和“微example, com"会解析到具有不同功能用于相同二级域的不同服务器。因特网的上述注册和结构方面然后由终端用户应用使用以通过DNS解析处理寻找因特网上的具体资源。下面解释DNS解析处理的各个方面以帮助理解本申请的主题。操作每个TLD (包括维护在TLD中二级域的注册文件)的责任被指定给具体域名注册局(registry)。注册局负责通过DNS服务器将域名转换为IP地址(“解析”)并操作其顶级域，所述DNS服务器维护大型数据库中的这些信息。DNS存储IP地址和域名，帮助服务定址在TLD中，诸如.com、. net、. edu和.tv。解析是域名与对应IP号匹配的处理。解析由称为名称服务器的计算机和软件的组合完成，该名称服务器使用DNS中的数据以确定哪个IP号对应于具体域名。在此使用如下的一般性定义。MM 将域名翻译成IP地址解析器发布查询以便解析域名的计算机
^liMMi 接收查询并直接地或借助其他名称服务器的解析回答查询子网共享IP地址八位字节的IP地址组
因特网域能根据他们的TLD后缀(例如，.com、.net、. co.uk···)划分组，使用不同的注册局负责他们中的每一个。单个注册局负责这些组合中多个，诸如VeriSign注册局负责.com 禾口 · net 域。DNS由分布式数据库系统维护，该数据库系统使用客户-服务器的模式。该数据库的节点是名称服务器。每个域或子域具有一个或多个可信DNS服务器，该服务器发布关于域和隶属于它的任何域的名称服务器的信息。体系顶层由根名称服务器服务，当查询(或解析)TLD时查询。DNS通过为每个域指定可信名称服务器发布分配域名并将该域名映射到IP地址的责任。可信名称服务器经分配用于负责他们的具体域。理论上，完全合格的域名具有多个段(例如，“www. one. type, example, com. ”)。为了查询，名称段一般从右向左以段解释。在沿着该方向的每步，查询对应的DNS服务器以提供应该咨询的下一服务器的指针。因为DNS产生的海量请求，解析处理也允许在成功回答之后的给定时间周期缓存 (即，本地记录和DNS查询的结果的随后咨询)。解析器能多久缓存DNS响应(S卩，多久内认为DNS响应是有效的)由称为存活时间(TTL)的值确定。该TTL 一般由处理响应的DNS服务器的管理机构设置。有效期的时期从几秒到数日到甚至数周有所改变。根据DNS结构以及缓存功能，一般应用于名称服务器的有两种分类，可信的和递归的(缓存的)。可信名称服务器是向DNS查询发出最初的、确定回答(“可信”回答)的名称服务器。必须对每个域名分配用于负责解析域名的可信名称服务器集。如上所示，DNS也是用递归缓存服务器，其在TTL确定的时期内存储域名记录的 DNS查询结果。一般而言，该缓存DNS服务器也实施解析给定域名所需的递归算法直到查询域的可信名称服务器，该给定域名以DNS根开始。因特网服务运营商(ISP)—般向他们的客户提供递归和缓存名称服务器。此外，许多家庭网络路由器实施DNS缓存和递归以改进本地网的效率。已知DNS “stub”解析器本质上作为较少缓存的应用而操作以将DNS名称解析为 IP地址。DNS stub解析器将DNS查询转发到经配置用于工作站(或服务器)的DNS服务器并向请求软件返回DNS服务器的响应。如果stub解析器向缓存名称服务器查询在TTL期满前由缓存服务器持有的记录，缓存服务器将用缓存的资源记录回答而不是再次从可信名称服务器对其检索。

发明内容
当前有多种方法用于提供网络流量信息。已知的方法包括样本人群分析 (panel-centric)方法，在该方法中，向所选用户样本提供监视他们网络流量使用的客户代理。还有种站点分析(site-centric)方法，在该方法中，直接由网络服务器收集对于网站的网络流量统计。另外的方法集中于ISP，并从向客户提供网络数据的ISP的日志收集网络使用流量。然而，已知方法每个都经历涉及收集数据的点、收集的数据量和/或收集数据的真实性的缺陷。例如，样本人群分析应用受限于在因特网上获取整体活动浏览的能力，这是因为这些应用受限于被监视的所选用户。另外，试图分类数十亿单个因特网用户的活动即使可能也会产生海量数据，这些数据很快将达到不可管理的级别。ISP也受限于根据他们的具体客户基础、地理关注、和其他因素标志因特网整体活动的能力，这些因素固有的或隐含的限制具体ISP参与的流量。在为域确定准确并有意义的流量等级时有其他的问题。一般而言，英特网流量分为两组面向用户的流量和面向机器的流量。面向用户的流量被认为是由用户浏览网站产生的活动。面向机器的流量被认为是由自动处理和服务产生的活动(例如，反病毒更新、操作系统更新、网页服务，等等)。对于包括在线广告的商业用途，识别驱动到网站的由用户产生流量是非常重要的。因此，测量面向用户的流量的方法是优选的。然而，由于例如不能从输入的DNS查询本身获取关于请求者的本质的信息，因此，还存在重大挑战。在区别流量类型的另一挑战由因特网DNS系统的结构引起，该因特网DNS系统参考由中间DNS解析器发起的查询。这会模糊发起请求的终端用户的本质。当前主题通过利用在可信名称服务器(诸如TLD DNS服务器)获取的DNS流量数据的各个机制解决了以上提出的许多问题。根据本发明的各个方面，因特网上的域能以已知系统没有设想或实现的方法进行排列。在实施例中，属性和/或测量能在可信名称服务器 (诸如对于各个域的TLD DNS服务器)的DNS流量获取，并用于计算流量分数。计算出的分数能用于排列域。发明人已认识到将DNS数据转换成有意义并有用的形式的挑战在于DNS数据的规模。注册局操作位于世界不同位置的多个解析站点。一个注册局的站点每天会回答超过 340亿以上的查询。海量查询对试图分析原始数据提出了巨大挑战。本申请提供了一种用于数据集成的系统和方法，能将全部数据量减少到可管理的规模。根据这些方法，也已经发现可以开发更准确描绘因特网上有意义的活动，这已经超出了利用原始流量数据的常规方法所实现的。公开的方法包括不同的集成格式，包括例如域概括流量信息和域详细流量信息， 所述域概括流量信息列出每天每个域的多个统计，以及域详细流量信息列出关于DNS查询的更详细的信息。已发现DNS查询信息的具体有用示例是与产生查询的解析器集一致的。本发明实施例提供了一种用于为域评分的自动方法，其中在可信名称服务器(诸如TLD DNS)接收解析域名的请求。根据所述接收的请求，对所述域名递增服务计数器，并根据所述服务计数器计算域流量分值。在实施例中，计算所述域流量分值包括根据请求解析器集的相关信息向所述服务计数器应用权重因子。实施例还包括，所述服务计数器在预定的时间周期，针对特定的请求服务器集，受限于一个预定的计数。例如，对于解析器集的计数器每M小时受限于一个计数。实施例包括在预定时间周期后复位所述计数器。实施例包括每当所述可信名称服务器接收请求以解析所述域名时，递增命中计数器。此外，计算所述域流量分值进一步根据所述命中计数器。实施例包括所述权重因子基于诸如例如所述请求解析器集的地理区域、请求解析器集的网络流量等级、网络流量类型和/或请求解析器集的结构等的多个标准。实施例包括判断解析所述域名的请求是否由用户发出或是由类似机器产生的流量；以及根据所述判断确定所述权重因子。实施例包括对于由所述可信名称服务器服务的多个域自动计算域流量分值。此夕卜，根据所述域流量分值自动排列所述多个域。实施例包括为预定域目录中的域根据相关流量分值计算排列的分值。该操作包括将域的域流量分值和预定域目录的其他域流量分数进行比较。计算的流量和/或排列分数能作为收费服务的一部分自动发布或用于确定诸如广告率的其他项目等。实施例包括根据域排列确定各个二级值，诸如，例如广告费、托管值、和/或域的普及等级。如在此所述，广告费被理解为域上广告经过估值用于销售的费率。广告费能用于例如提供或完成广告交易和/或向域所有者提供估值的场景中。如在此所述，托管值是表示根据所述评分方法的域值的计算值。托管值能用于例如在诸如销售域、和/或向域所有者提供域值的环境中。普及等级是表示域的普及性的计算值，能用于表示各个类型的普及性，诸如例如，地理普及性、用户类型普及性、流量类型普及性等。通过上述因素的各个组合，可以为广泛的域网络开发出用于各种用途的准确费率表格。在根据使用否则对其他实体不可获得的信息的TLD提供商提供或由其发起的可靠集中式收费服务、域再销售市场等是有优势的。实施例包括使用不同计数器计数满足预定标准的请求。例如，满足预定格式的请求能由特定计数器计数，诸如包括“WWW”字符串的请求在不同于对不包括“WWW”字符串的请求的单独计数器上计数。在实施例中，域的不同计数器被不同地加权，诸如，例如对包括 “www”字符串的请求计数加权在分值计算中不同于不包括“www”字符串的请求的计数。实施例包括区别DNS查询中请求的地址类型。例如，实施例单独识别exact请求、 “www”请求和其他请求。如在此所述，exact请求是匹配预定标准的请求，诸如具体的标签数量。在实施例中将exact请求识别为包括两个标签，诸如没有任何前缀的二级域名。例如，对于域"example, com，，的 exact 请求是"http://example, com，，。"www"请求是其中在前缀中包含字符串“誦”的请求。例如，读取“http://www. example, com/”、"http://wwwl. example, com/” 以及“http://AAA-www. example, com/” 的请求被识别为“www”请求。如在此所述，"other"请求是不满足“exact”或“www”标准的请求。这些其他请求包括其他前缀作为请求的一部分。例如，如果没有识别到对应的确切匹配，"http://jobs, example, com/，，、"http //mail, example, com/，，禾口 "http://AAA· BBB. example, com/”都被识别为“other”请求。在实施例中，如下关于域的DNS查询的示例性特性将被获取并用于计算等级 Wffff请求命中数(hit)对第一标签使用“■”的DNS记录的访问数。Exact请求命中数对只具有两个标签(例如，仅为“example, com")的DNS记录的访问数。Other请求命中数不落在任一种类的对DNS记录的访问数。如下进一步所述，实施例包括在确定流量和/或等级分数中向域的各个域请求访问应用合适的权重因子。实施例包括对于和原始IP地址和/或DNS查询解析器集的如下属性进行计算，并使用它们以计算等级
Wffff服务计数命中第一标签使用“·”的DNS记录的的解析器集或者唯一下游IP地址的计数
Exact服务计数命中仅具有两个标签的DNS记录的解析器集或者唯一下游IP地址的
计数
Other服务计数命中不落在以上任一种类的DNS记录的解析集或者唯一下游IP地址的计数
如下进一步所述，实施例包括在确定流量和/或等级分数中向域的各个服务计数应用合适的权重因子。实施例包括根据域的DNS记录的TTL计算流量和/或等级分数。本领域普通技术人员通过阅读并理解优选实施例的如下详细描述，当前主题的其他优势将变得更加明显。


图1示出根据本发明实施例的示例系统和相关网络； 图2示出根据本发明实施例的示例系统和相关网络；
图3示出根据本发明实施例的示例性方法的各个方面； 图4示出根据本发明实施例的示例性方法的各个方面； 图5示出根据本发明实施例的示例性方法的各个方面； 图6示出根据本发明实施例的示例性方法的各个方面； 图7示出根据本发明实施例的示例性方法的各个方面； 图8示出根据本发明实施例的示例性方法的各个方面； 图9示出根据本发明实施例的示例系统和相关网络；
图10示出反映域流量规模和指向到“Other”目标的流量百分比之间的关系的图表； 图11示出反映域流量规模和指向到“WWW”和“Exact”目标的流量百分比之间的关系的图表；以及
图12示出根据本发明实施例反映组合的域的数量的图表。
具体实施例方式为了便于说明和理解，参考示例性实施例提供如下详细说明。所申请的发明并不限于公开的实施例，而是包括落在在此提供的整体说明范围的其他变形。如上所述，本发明的实施例涉及对网络的操作，诸如图1所示的因特网环境。客户计算设备110可以向递归名称服务器130发起DNS请求103。如图1暗示的，可以从诸如移动设备120、无线计算设备122、其他通信链接124、和/或中间网络服务器126向递归名称服务器130发起或发送DNS请求103。解析域名的DNS请求一般包括由点分割的η个标签。 这些标签在某种形式上对于所需因特网资源(例如，网页)比起数字IP地址更容易记忆。为了便于描述，最左边的标签被认为是第一标签，TLD是第η个标签。因此，在“www. example, com”的请求中，n=3，第一标签是“www”，TLD是“.com”。如上所述，递归名称服务器103向多个可信服务器140、150、160发送DNS请求作为递归名称解析的一部分。可替换地，请求的DNS信息驻留在递归名称服务器130的缓存器中，受限于DNS记录的TTL，在这种情况下， 在不参考可信名称服务器140、150、160的情况下回答查询。图2示出关于递归名称服务器220以及其与可信名称服务器230、M0、250交互的进一步细节。在图2中，可信服务器230是根级可信服务器。这些服务器中的每个包含因特网上具体TLD的信息。根级服务器能将TLD内域的请求指向TLD注册局管理的其他可信服务器。例如，来自客户210的DNS请求202包括对“www. example, com”的请求。递归名称服务器220首先检查内部缓存寻找对应的DNS记录。如果没有找到，DNS请求在203被转发到根级可信服务器230。负责“.com"的根级可信服务器230返回“example, com"的DNS 信息，将请求指向可信名称服务器M0，在该情况下，这些服务器代表“.com”注册局的服务器集群。如在此所述，例如203、204、205的DNS请求可以在例如230、M0、250的多个可信服务器计数。在实施例中，在诸如例如230的TLD名称服务器执行计数。其他的可信名称服务器240、250也能对各个服务器处理的那些记录计数DNS访问。实施例也包括合并各个服务器和/或TLD的分数，例如“.com”、“. net”、“. edu”、“. uk”以获得合并的等级。在实施例中，进行确定在给定计数器上对请求计数或不对请求计数。例如，某些计数器，诸如“服务计数器”在预定时间周期受限于单个计数。如图3所示，在S3100接收请求。在S3200递增相关的命中计数器。在S3300，确定是否递增服务计数器。在该示例中， 服务计数器的当前计数与预定值“X”进行比较。如果服务计数大于或等于X，则确定不再递增服务计数器，并将方法进行到S3500。如果服务计数小于X，则方法进行到S3400，在该步骤，递增服务计数器。在预定时间周期后对服务计数自动复位。虽然结合服务计数器进行描述，但其他计数器也以类似形式限制，诸如和具体IP地址相关的计数器、解析器集，等等。如下进一步所述，限制某些计数器的技术能用于更准确地描述有意义的因特网活动。这些受限的计数器单独地或结合命中计数器向用户提供对整体网络流量的可管理并准确的表征。例如，使用受限计数器减少不希望的人工或不可靠流量指示的影响，这些流量指示来源于特定服务器、解析器集、IP地址，等等。在S3500，确定和请求相关的解析器集。为了便于描述附图，示例的解析器集被称为子网。然而，如在此所述，和解析器集相关的特征不限于子网本身，而是包括表示各个关联的其他解析器集，诸如，例如地址、地理、组织和类型，及其组合。在实施例中，确定在 S3300是否递增服务计数器之前进行确定，诸如识别要评价的合适计数器。在S3500确定和/或访问和解析器集相关的数据。例如，如下进一步所述，确定、计算和/或访问和解析器集的地址、流量等级、流量类型等相关的数据。在实施例中，诸如例如如果已知识别的服务器由产生重要非用户流量的网络搜索器(web crawler)等利用，关于具体识别的请求服务器的信息能用于应用权重因子。这些服务器列表能存储在具有或不具有合适权重因子的数据库中。因此，在域评分中，对于看上去或归档到本质为面向数据的请求服务器将置于不利位置。在域评分中该方法继续进行到S3700。在S3700，确定解析器集的权重因子(WF)。该确定基于在S3600确定的多个数据并能应用于S3900为域计算分数。在S3800，评价请求以确定它是否表示用户产生的流量。该确定基于各种数据，诸如，例如嵌入请求的信息、关于发起的解析器集的信息、子网结构，等等。进行该确定的示例性方法如下进一步所述。如果S3800指出请求可能涉及用户产生的流量，则在S3900确定权重因子。在实施例中，对于用户产生的流量给予比其他流量(诸如未确定来源的流量、或可能是机器产生的流量)更高的WF。在实施例中，通过应用WF=I只考虑用户产生流量，并通过应用WF=O丢弃所有其他流量。参考图4，示例性方法包括在S1500例如以类似于图3的S3500的形式确定与接收的请求相关的解析器集。为了给从可信服务器请求的域地址信息提供返回地址信息，接收请求的可信服务器一般可获得此类信息。该方法可继续进行到S4510。在S4510，评价请求以确定解析器集的位置。发明人已发现诸如解析服务器的国家等的原始地址对于表示其查询之后的用户数量具有重要意义。这是因为各种因素，包括如下事实，在某些因特网快速发展的国家，比起其他慢速发展的国家对于每个因特网用户有更多的解析器。这些数字并不必然是静态的并能持续地进一步精炼以提供更有价值的信肩、ο如表格1所示，关于在不同的地理区域每个解析器集的用户数量能用于有利地估计个人从多个解析器集(诸如子网)请求而表示的流量评分。
表格1
权利要求
1.一种为域评分的自动方法，包括 在可信名称服务器接收解析域名的请求； 对所述域名递增服务计数器；以及根据所述服务计数器计算域流量分值；其中，计算所述域流量分值包括根据请求解析器集的相关信息向所述服务计数器应用权重因子。
2.如权利要求1的方法，其中所述服务计数器在预定的时间周期针对特定请求服务器集受限于一个计数。
3.如权利要求2的方法，进一步包括每当所述可信名称服务器接收请求以解析所述域名时，递增命中计数器，其中，计算所述域流量分值进一步根据所述命中计数器。
4.如权利要求1的方法，其中所述权重因子基于所述请求解析器集的地理位置。
5.如权利要求1的方法，其中所述权重因子基于所述请求解析器集的网络流量等级和网络流量类型中的至少一个。
6.如权利要求1的方法，其中所述权重因子基于所述请求解析器集的结构。
7.如权利要求1的方法，进一步包括 判断解析所述域名的请求是否由用户发出；以及根据所述判断确定所述权重因子。
8.如权利要求1的方法，进一步包括对于由所述可信名称服务器服务的多个域自动计算域流量分值； 根据所述域流量分值自动排列所述多个域；以及根据至少一个域的所述排列为所述域中的至少一个确定广告率。
9.如权利要求1的方法，其中不同于不包括“www”字符串的请求对包括“www”字符串的请求计数。
10.如权利要求9的方法，其中对包括“www”字符串的请求计数加权在计算中不同于不包括“誦”字符串的请求的计数。
11.一种用于为域评分的系统，包括 处理器；用计算机可执行代码编程的存储器，所述代码使得所述处理器执行如下方法，包括 在可信名称服务器接收解析域名的请求； 对所述域名递增服务计数器；以及根据所述服务计数器计算域流量分值； 其中，计算所述域流量分值包括根据请求解析器集的相关信息向所述服务计数器应用权重因子。
12.如权利要求1的系统，其中所述服务计数器在预定的时间周期针对特定请求服务器集受限于一个计数。
13.如权利要求2的系统，进一步包括每当所述可信名称服务器接收请求以解析所述域名时，递增命中计数器，其中，计算所述域流量分值进一步根据所述命中计数器。
14.如权利要求1的系统，其中所述权重因子基于所述请求解析器集的地理地址。
15.如权利要求1的系统，其中所述权重因子基于所述请求解析器集的网络流量等级和网络流量类型中的至少一个。
16.如权利要求1的系统，其中所述权重因子基于所述请求解析器集的结构。
17.如权利要求1的系统，进一步包括 判断解析所述域名的请求是否由用户发出；以及根据所述判断确定所述权重因子。
18.如权利要求1的系统，进一步包括对于由所述可信名称服务器服务的多个域自动计算域流量分值； 根据所述域流量分值自动排列所述多个域；以及根据至少一个域的所述排列为所述域中的至少一个确定广告率。
19.如权利要求1的系统，其中不同于不包括“www”字符串的请求对包括“www”字符串的请求计数。
20.如权利要求9的系统，其中对包括“www”字符串的请求计数加权在计算中不同于不包括“誦”字符串的请求的计数。
全文摘要
根据在可信名称服务器接收的解析域名的DNS流量请求对域网络流量评分的系统和方法。在可信名称服务器接收解析域名的请求。根据所接收的请求对所述服务计数器或命中计数器等的计数器。根据所述计数器的计数计算诸如域名递增诸如域流量评分或域排名等评分。计算所述分值包括根据请求解析器集和其他域/网站的相关信息向所述服务计数器应用权重因子，所述其他域/网站将流量链接或驱动到正计算流量评分的域。相关解析器集信息的示例包括地址、流量等级、流量类型和解析器集的结构。
文档编号G06Q30/00GK102549562SQ201080024730
公开日2012年7月4日 申请日期2010年4月7日 优先权日2009年4月7日
发明者A.辛普森, A.霍尔姆斯, E.兰克斯纳, K.什亚姆森德, L.奥伦塔斯, M.拉森, M.科斯特斯, N.佐哈, S.曼金, S.森卡拉, T.卡马拉 申请人:弗里塞恩公司