技术领域本公开的方面涉及互联网应用性能领域，并且更具体地讲，涉及用于当被递送通过特定互联网服务提供者时将所述端对端应用性能特性化的方法。
背景技术：
互联网上，内容托管网站或其他应用允许用户上传、浏览和共享数字内容。这种数字内容可以包括音频片段、电影片段、TV片段和音乐视频，以及业余内容，诸如视频博客、短原创视频、图片、照片等。然而，互联网用户对互联网和这些基于互联网的应用体验不同，取决于他们的连接速率、他们的互联网服务提供者(ISP)的服务质量、所述ISP到互联网的剩余部分的互连程度、应用服务器的可用性和负载特性，以及甚至家庭网络的质量。给定最常见的当前的ISP性能测量(例如，从通常地理上接近用户并且良好互连到用户的服务器的下载速率)，当他们的用户体验不满足由ISP所承诺的某一访问网速率所产生的期望时，会使消费者困惑。目前可用的一些测量标准尝试通过将从给定ISP可用于终端用户的带宽特性化来解决该问题。然而，这些测量标准中最普遍的仅测量了部分路径，并且因此不能充分表示任何给定用户能期望的应用体验。用于评估应用性能的另一种技术集中在测量特定面向具体应用的特性。然而，这种类型的测量标准难以重复，并且，即使其给出了能表示通过ISP的集合的差分性能的数值结果，通常也难以转化成用户体验。
技术实现要素：
在一些实施方案中，提出了测量通过特定ISP的端对端互联网应用性能的方法。该方法包括识别来自至少一个客户端的对媒体项的多个请求，以及对多个请求中的每个，确定请求时间、互联网服务提供者标识、客户端的位置、响应于请求所传递的数据量和从发出请求到履行该请求所经过的时间。该方法还包括确定评估时段、地理边界和互联网服务提供者，以及从多个请求中确定多个匹配请求，其中，多个匹配请求中的每个具有在评估时段内的请求时间、在地理边界内的位置和与互联网服务提供者对应的互联网服务提供者标识。另外，该方法包括基于对应的所传递的数据量和经过的时间，计算所述多个匹配请求中的每个的传递速率，以及计算多个匹配请求中，具有满足传递阈值的传递速率的匹配请求的百分比。在一些实施方案中，该方法还能包括基于百分比，确定互联网服务提供者的类别，其中，类别包括百分比的范围，以及将类别提供给用户。类别能与维持对第一清晰度的媒体项目(例如视频)进行流式传输的最小传递速率相对应。在一些实施方案中，该方法还能包括将至少一个测量URL提供给客户端，其中，多个请求基于至少一个测量URL。客户端能是多个客户端。所传递的数据量能被下载到客户端或从客户端上传。附图说明从下述给出的详细描述和本公开的各种实施例的附图，将更充分地理解本公开。图1根据本公开的一个实施例，图示了示例性系统架构。图2根据本公开的一个实施例，图示了性能测量系统。图3是图示了用于测量互联网连接速率的方法的一个实施例的流程图。图4根据本公开的一个实施例，图示了用于主动地测量性能的系统。图5是可以执行本文中所描述的操作中的一个或多个的示例性计算机系统的框图。具体实施方式本公开的方面有关基于典型用户可达到的传递速率，将对于互联网应用的预期用户体验特性化。能识别媒体项的请求，其中，每个请求都是通过互联网从客户端到服务器的。对每个请求，能确定请求时间、互联网服务提供者标识、客户端的位置、响应于所述请求所传递的数据量和从发出请求到履行该请求的经过时间。能识别评估时段、地理边界和互联网服务提供者，并且能确定匹配请求，其中，匹配请求具有在评估时段内的请求时间、在地理边界内的位置，以及与互联网服务提供者相对应的互联网服务提供者标识。能基于所传递的数据量和经过的时间来计算每个匹配请求的传递速率。然后，能计算具有满足传递阈值的传递速率传递的匹配请求的百分比。在一些实施方案中，能收集与下载的请求有关的数据。例如，如果经由Web服务做出该请求，收集HTTPGET数据。对每个请求，确定响应于该请求所传递的字节数(例如，应用字节)。还确定经过的时间(例如，从当发出该请求时的时间到该请求的履行已完成并且数据可用于应用时的时间)。能将实际吞吐量或应用层吞吐量定义为每单位时间，由网络递送至某一目的地的有用信息比特的数目。同样地，每一个字节的时间(经过的时间)样本所传递的字节的有效负荷大小能表示实际吞吐量样本(goodputsample)。而且，对于每个请求，能确定服务器和请求客户端两者的IP地址，以及有关该请求可用的任何其他信息(例如，客户端的用户代理、服务器名称、服务器位置等)。客户端IP地址能用来识别与每个请求相关联的ISP(例如，使用IP到ASN(自治系统号码)映射)，以及客户端的地理位置。然后，例如，能连同地理位置、ASN/IP、请求日期和请求时间一起，存储每个实际吞吐量样本。换句话说，能利用与连接速率测量标准的计算有关的信息注释实际吞吐量样本。能利用该数据来排序请求以便于不同类型的分析。替选地，能收集与上传的请求有关的数据，同时从初始POST请求到从客户端到服务器的数据传递的结束来确定的经过时间。一旦确定了有关请求的数据，能计算基于该数据的测量标准。这里，能选择时间段(例如，24小时或一周)，以及ISP(或ASN)和地理位置(例如，市、县、州或国家)。能确定利用对应信息注释的实际吞吐量样本(例如，在所选择的时间段和地理位置内发生并且与所选择的ISP(或ASN)相关联的实际吞吐量样本)。能分析每个实际吞吐量样本来确定是否等于或高于预确定的传递阈值。能确定处于或高于阈值的实际吞吐量样本的总数，以及所考虑的样本总数中，这些实际吞吐量样本的百分比。能将该百分比称为高于阈值的实际吞吐量(GAT)。一致性阈值能表示提供可接受性能(例如90％或95％)所要求的GAT的水平。如果所确定的GAT高于一致性阈值，能将该样本视为满足相应的传递阈值的基本服务要求。传递阈值可以表示用于支持某一质量的媒体项(例如某一清晰度的视频)的流式传输的最小数据传递速率。在实施例中，能选择传递阈值来匹配视频质量类别(或某一清晰度的视频)中的平均比特率。例如，能通过选择传递阈值数(例如2)，建立类别数(例如3)。在该示例中，类别能对应于：(1)高清(HD)视频，其中，2.5Mbps的平均比特率(对应于720p分辨率视频)对于支持HD视频的充足性能来说是必要的；(2)标清(SD)视频，其中，0.7Mbps的平均比特率(对应于360p分辨率视频)对于支持SD视频的充足性能来说是必要的；以及(3)平均比特率低于0.7Mbps的情况下不能支持充足性能。在这些示例中，定义传递阈值来匹配与上述类别相关联的平均比特率。在上述示例中，如果GAT超出HD视频类别要求，那么确定包括了对应的ISP的网络以便能够维持HD视频质量。如果GAT超出SD视频类别要求，但低于HD视频需求，那么确定包括了对应的ISP的网络，以便能够维持SD视频质量。如果GAT未超出用于任一类别的阈值，那么确定该网络不能为SD或HD视频质量维持充足性能。本公开的方面基于易于获取的仪器(例如，字节计数和经过的时间)提供测量，其允许用户简单地理解ISP以给定质量水平操作的可靠性。将网络测量标准(即，以每秒的位数为单位的传递速率)转化成预期用户体验(即，用户是否可以期望能够观看SD和/或HD质量的内容)。图1根据本公开的一个实施例图示了示例性系统架构100。系统100包括通过网络102与内容服务器110通信(例如，被耦合至)的客户端/用户设备105，以及数据存储库130。网络102可以是专用网络(例如，局域网(LAN)、广域网(WAN)、内联网等)、公司网络(例如，用于诸如公司的组织的专用网)、广播网络、公用网(例如，互联网)、有线网(例如，以太网)、无线网(例如，802.11网)和/或蜂窝网(例如长期演进(LTE)网)。客户端/用户设备105可以是任何类型的计算设备，例如，包括处理器、计算机可读介质和存储器的设备。在一些实施例中，客户端/用户设备105可以执行浏览器应用或适合于通过互联网相关协议(例如TCP/IP和HTTP)通信的其他应用和/或显示用户界面。尽管在图1中仅示出了单个客户端/用户设备105，但系统100可以支持多个客户端/用户设备105的大量并行会话。内容服务器110可以包括具有宽范围处理能力的计算设备，诸如个人计算机(PC)、服务器计算机、个人数字助理(PDA)、智能电话、膝上型计算机、笔上网本计算机、平板设备和/或能够执行指定将由该机器采取的动作的指令集(连续或以其他方式)的任何机器。本公开的实施例可以在单个服务器设备内或在多个服务器设备上操作。在一个实施例中，内容服务器110将媒体项(例如，数字视频、流媒体视频、图像、数字音乐、流媒体音乐、社交媒体信息等)提供给客户端/用户设备105中的一个或多个。例如，内容服务器110可以是内容共享平台的一部分，并且可以提供由用户在频道的活动源所请求的媒体项(诸如流媒体视频)用来经由网络102在客户端/用户设备105上回放。数据存储库130能包括一个或多个可写持久存储设备，诸如存储器、磁带或磁盘。尽管在图1中，将内容服务器110和数据存储库130中的每个描绘为单个不同的组件，但这些组件可以在单个设备中一起被实施或以一起操作的多个不同设备的各种组合的形式被联网。设备的示例可以包括但不限于服务器、大型计算机、联网计算机、基于过程的设备和类似类型的系统和设备。在系统100操作期间，用户通过网络102经由客户端/用户设备105请求媒体项。内容服务器110从客户端/用户设备105接收通信并且相应地处理和/或定向这些通信。在实施例中，客户端/用户设备105向内容服务器110做出请求。例如，客户端/用户设备105能做出与来自内容服务器110的媒体项有关的请求(例如，下载视频)。内容服务器110接收并且响应该请求。例如，内容服务器110能将所请求的媒体项目(例如视频)发送到客户端/用户设备105。内容服务器110可以包括性能测量系统135，所述性能测量系统135能通过确定请求传播以到达内容服务器110处的路径来记录客户端/用户设备105的位置和提供到客户端/用户设备105的互联网访问的ISP。性能测量系统135还能记录请求的时间。能将位置、ISP和请求时间存储在数据存储库130中。当已经完成了所请求数据的接收(例如，视频内容)时，客户端/用户设备105能向内容服务器110发送确认。性能测量系统135能记录内容服务器110确认接收的时间以及所传送的数据量，可以将其存储在数据存储库130中。性能测量系统135能继续记录与客户端/用户设备105和其他客户端/用户设备所作出的附加请求有关的信息。然后，可以由性能测量系统135使用每个请求所记录的位置、ISP、请求时间、确认时间和数据量，来对各个ISP在各个位置的连接速率进行分析。在实施例中，来自客户端/用户设备105的请求能包括上传数据的请求，而不是下载数据的请求。这里，性能测量系统135能记录与上述相同的信息，除所记录的数据量为所上传的数据量，以及记录了数据完成上传的时间之外。图2根据本公开的一个实施例，图示了性能测量系统210。性能测量系统210可以包括数据收集模块201、计算模块202和报告模块203。可以将更多或更少的组件包括在性能测量系统210中而不丧失通用性。在实施例中，性能测量系统210是性能测量系统135并且数据存储库250是图1中所示的数据存储库130。在实施例中，数据收集模块201收集与从用户/客户设备到内容服务器的请求有关的信息(例如，请求时间、包括ISP的请求路径、请求的地理位置和请求完全履行的确认时间)。数据收集模块201将与该请求有关的信息记录在数据存储库250的请求列表251中。在实施例中，计算模块202分析在特定时间段，ISPs的特定位置的连接速率。计算模块202确定地理边界、ISP和评估时段。例如，用户(例如，系统管理员)能输入预期测量参数，诸如洛杉矶县的地理边界、ISPX和1月1日8:00am到9:00am的评估时段。然后，计算模块202能确定请求列表251中的匹配请求。例如，计算模块202将包括在8:00am到9:00am之间洛杉矶县中通过ISPX做出的请求中的所有。基于匹配请求中的每个所经过的时间(即，从请求开始到接收到数据传输完成的确认为止所经过的时间)和数据量，计算模块202能计算匹配请求的传递速率。例如，能将传递速率计算为数据量除以所经过的时间。一旦为请求中的每个都确定了传递速率，计算模块202能确定传递速率是否满足请求中的每个的一个或多个阈值。能将阈值存储在数据库250的请求列表251中。例如，计算模块202能确定传递速率是否满足用于保持HD视频质量的阈值，或传递速率是否满足用于保持SD视频质量的阈值。一旦计算模块202确定了请求中的每个的传递速率是否满足每个响应的一个或多个阈值，计算模块202能确定匹配请求中，满足每个阈值的匹配请求的百分比。此时，能基于匹配请求的百分比，将对于该时间段和地理位置的ISP的连接速率进行分类。在一个实施例中，能按照将用在评级标准中的MBPS，定义实际吞吐量阈值。例如，能将各种视频内容分辨率的平均编码比特率(+20％开销)用于分类，使得阈值表示分辨率容量(例如1080p为5.0Mbps，720p为2.5Mbps，480p为1.12Mbps，360p为0.7Mbps以及240p为0.5Mbps)。在一个实施例中，评级标准能基于所定义的阈值。在表A中示出了示例性评级标准。在示例中，时间段(或所选择的颗粒度)可以是正好在分类的确定之前的时间段，使得结果提供大体上“现场”测试。例如，时间段可以是在计算前的5分钟。在另一示例中，时间段能基于在所选择的持续时间上，所选择的ISP的历史数据。例如，能设定时间段，使得分类能基于过去30日的平均值(例如，基于来自过去30天的请求的评级)、过去24小时的平均值(例如，基于来自之前24小时的请求的评级)、过去7天平均值(例如，基于来自之前7天的请求的评级)、每小时的性能等。然后，报告模块203能报告由计算模块202所确定的类别。例如，报告模块203能将类别报告给用户/客户设备的用户、一个或多个ISPs或公众可用源(例如，网站)。能使用类别来确定由特定位置的ISP所提供的连接速率是否适合于特定用途。例如，潜在用户能使用类别来确定哪个ISP最适合于该用户，以便该用户能够在用户的家里流式传输HD质量视频。实施方案为评估各个ISPs的连接速率提供了简单和易于理解的测量标准，因为它利用客观实际吞吐量数据并且避免任何变换。该方法跨不同颗粒度(例如，大体上瞬时、小时、天、周、月)和跨不同数据源(例如，速率测试服务、视频流流式传输服务、文件下载等)是一致的。评级阈值还能为ISPs提供非运动目标来考虑何时评估目标用于改善连接速率。图3是图示了用于测量ISP的性能的方法300的实施例的流程图。可以由可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，在处理设备上运行来执行硬件仿真的指令)或其组合的处理逻辑来执行方法300。在一个实施例中，由服务器(例如，图1的内容服务器110)执行方法300。在块302处，处理逻辑识别从客户端到服务器的媒体项的请求。例如，该请求可以是对视频内容的请求。在块304处，处理逻辑确定用于每个请求的请求时间、ISP标识、位置、所传递的数据量和经过的时间(例如，从请求时间到数据传递完成所经过的时间)。例如，请求时间可以是日子和日期中的特定时刻(例如，1月1日的8am)。在块306处，处理逻辑确定评估时段、地理边界和ISP。例如，评估时段可以是时间段(例如，1月1日的7:30am到8:30am)。在另一示例中，地理边界可以是邮政编码、GPS坐标、或者市或县边界的集合。在块308处，处理逻辑对每个请求，确定各自的请求是否是匹配请求。换句话说，处理逻辑能确定位置是否在地理边界内、请求时间是否在评估时段内以及ISP标识是否与ISP匹配。在块310处，处理逻辑计算每个匹配请求的传递速率。例如，可以将传递速率计算为所传递的数据量除以经过的时间。在块312处，处理逻辑计算具有满足请求的传递阈值的传递速率的匹配请求的百分比。例如，可以将具有满足传递阈值的传递速率的匹配请求的数量除以匹配请求的数量。图4是根据本公开的一个实施例，用于主动测量性能的示例性系统400。在该实施例中，用户可以使用预确定的请求，主动地进行测试来分析连接速率，而不是当请求发生时，被动地收集有关请求的信息。系统400包括具有性能服务器前端411(例如，系统管理员的控制台)和性能服务器后端412的性能测试平台。系统400还能包括具有URL提供应用编程接口(API)413和内容流式传输服务器414的内容托管平台415。替选地，URL提供API413和内容流式传输服务器414可以是不同平台、系统或物理机器的部分。在实施例中，在操作401处，一经用户请求，性能服务器前端411指示性能服务器后端412进行测试以测量内容流服务器414所使用的ISP的性能。在操作402处，性能服务器后端412将用于测量统一资源定位符(URL)的请求发送到URL提供API413。在操作403处，URL提供API413将测量URLs发送到性能服务器后端412。测量URL指定能由内容流服务器414提供的媒体项的位置。在操作404处，性能服务器后端412将测量URLs发送到性能服务器前端411。在操作405处，对每个测量URL，性能服务器前端411能从内容流服务器414请求对应于测量URL的媒体项。可以通过查看测量URL中的“范围＝”查询参数，计算媒体项的预期数据量。如果请求的完整响应花费太长时间(例如，因为低实际吞吐量)，性能服务器前端411可以取消该请求并且将该响应报告为部分结果。在操作406处，内容流式传输服务器413可以所请求的媒体项，并且能记录测量时间，其中，测量时间是从当性能服务器前端411将请求发送到内容流式传输服务器414时到当将所请求的媒体项的最后部分递送到性能服务器前端411时所经过的时间。在操作407处，性能服务器前端411能将用于测量URL中的每个的测量时间和数据量提供给性能服务器后端412。在操作408处，性能服务器后端412能将用于每个测量URL的测量时间和数据量发送到提供了API313的URL。测量时间能表示用于完成对由性能服务器前端411所接收到的请求的响应所经过的时间。数据量能表示响应于每个请求，性能服务器前端411从内容流式传输服务器414所接收到的字节数。然而，如果性能服务器前端411因为在接收到完整响应前已经经过了太长时间而取消了请求的话，数据量可以小于预期数据量。另外，性能服务器前端411可以指示已经成功地验证了来自内容流式传输服务器414的响应，以及用于该请求的URL。然后，URL提供API413可以基于用于测量URL中的每个的测量时间和数据量，计算性能结果(即连接速率的类别)。在操作409处，URL提供API413可以将性能结果发送到性能服务器后端412。在操作410处，性能服务器后端412可以将性能结果提供给性能服务器前端411，用于呈现给用户(例如，系统管理员)，使得用户可以分析该连接速率是否适当。图5图示了计算机系统500的示例性形式中的机器的图解表示，在所述计算机系统500内可以执行用于使得机器执行本文所讨论的方法论中的任何一个或多个的指令的集合。在替选的实施例中，机器可以被连接(例如，被联网)至LAN、内联网、外联网、或者因特网中的其他机器。机器可以在客户端-服务器网络环境中作为服务器或者客户端机器操作，或者在对等(或分布式)网络环境中作为对等机器操作。机器可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、web用具、服务器、网络路由器、交换机或桥接器、或者能够(连续或以其他方式)执行指定了将要由该机器所采取的动作的指令的集合的任何机器。进一步地，尽管仅图示出单个机器，但还应采取术语“机器”以包括机器的任意集合，所述机器的任意集合单独或联合执行指令的集合(多个集合)以执行本文中所讨论的方法论中的任何一个或多个。示例性计算机系统500包括经由总线508来彼此通信的处理设备(处理器)502、主存储器504(例如，只读存储器(ROM)、闪速存储器、动态随机存取存储器(DRAM)(诸如同步式DRAM(SDRAM)或者RambusDRAM(RDRAM)的)等)、静态存储器506(例如，闪速存储器、静态随机存取存储器(SRAM)等)以及数据存储设备518。处理器502表示诸如微处理器、中央处理单元等的一个或多个通用处理设备。更具体地，处理器502可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或者实施其他指令集的处理器或实施指令集的组合的处理器。处理器502也可以是一个或多个专用处理设备，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等。处理器502被配置成执行用于执行本文所讨论的操作和步骤的指令526。计算机系统500可以进一步包括网络接口设备522。计算机系统500也可以包括视频显示单元510(例如，液晶显示器(LCD)或阴极射线管(CRT))、字母数字输入设备512(例如，键盘)、光标控制设备514(例如，鼠标)、以及信号生成设备520(例如，扬声器)。数据存储设备518可以包括计算机可读存储介质524，在其上存储了指令526的一个或多个集合(例如，软件)，所述指令将本文中所述的方法论或者功能中的任何一个或多个具体化。指令526也可以在其由计算机系统500执行期间完全地或者至少部分地驻留于主存储器504内和/或处理器502内，主存储器504和处理器502还构成计算机可读存储介质。可以进一步经由网络接口设备522通过网络516传送或者接收指令526。在一个实施例中，指令526包括用于性能测量系统550的指令，其可以对应于图1的性能测量系统135，和/或包含测量端对端互联网应用性能的方法的软件库。尽管计算机可读存储介质524在示例性实施例中被示出为单个介质，仍然应采取术语“计算机可读存储介质”以包括存储指令的一个或多个集合的单个介质或者多个介质(例如，集中式或分布式数据库、和/或相关联的缓存和服务器)。还应采取术语“计算机可读存储介质”以包括能够存储、编码或者携带用于由机器执行并且使得机器执行本公开的方法论中的任何一个或多个的指令集的任何介质。因此应采取术语“计算机可读存储介质”以包括但不限于固态存储器、光介质、和磁介质。在前面的描述中，阐述了诸多细节。然而，在不具备这些特定细节的情况下也能实践本公开，这对于享有本公开好处的本领域普通技术人员而言是显而易见的。在一些实例中，以框图形式而非在细节上示出了众所周知的结构和设备，以便避免模糊本公开。已依据对计算机存储器内的数据比特的操作的算法和符号表示来呈现具体实施方式中的一些部分。这些算法描述和表示是数据处理领域的那些技术人员用来最有效地将其工作内容传达给本领域其他技术人员而使用的手段。在这里且一般来说，算法被构想为导致预期结果的自一致的一系列步骤。所述步骤是要求对物理量的物理操控的那些。通常，尽管并不一定必须如此，但这些量采取能够被存储、递送、结合、比较、以及以其他方式操控的电或磁信号的形式。已证明，时常为方便起见，主要是出于习惯用语的原因，将这些信号称作比特、值、元素、符号、字符、术语、数字等。然而，应牢记的是，这些和类似术语中的所有都将与适当的物理量相关联并且仅是被应用于这些量的便捷标记。除非从下面的讨论中明显看出另有特别规定，应理解，在整个说明书中，利用诸如“确定”、“计算(computing)”、“计算(calculating)”、“获得”、“识别”、“修改”等术语的讨论是指计算机系统或者类似的电子计算设备的动作和进程，所述计算机系统或者类似的电子计算设备将表示为计算机系统的寄存器和存储器内的物理(例如，电子)量的数据操控和转换成同样表示为计算机系统存储器或寄存器或者其他这样的信息存储、传输或显示设备内的物理量的其他数据。本公开还涉及用于执行本文中的操作的装置。该装置可以出于所要求的目的而被专门构造，或者其可以包括由存储于计算机中的计算机程序来选择性激活或者重新配置的通用型计算机。这样的计算机程序可以被存储于计算机可读存储介质中，诸如但不限于任何类型的盘，其包括软盘、光盘、CD-ROM、以及磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、或者适于存储电子指令的任何类型的介质。在整个本说明书中引用“一个实施例”或“实施例”意指有关实施例所述的特定的特征、结构、或者特性被包括在至少一个实施例中。因此，贯穿本说明书的各处中出现的短语“在一个实施例中”或“在实施例中”不一定全部指相同实施例。此外，术语“或者”旨在意指包括性的“或者”而非排除性的“或者”。应理解，以上描述旨在说明性，而并非限制性。在本领域技术人员阅读并且理解以上描述后，许多其他实施例对于他们而言将显而易见。因此，本公开的范围应参考所附的权利要求连同这样的权利要求所赋予的等同方式的整体范围来确定。