视频传输的用户体验质量测试的制作方法
【专利摘要】在此描述了一种用于计算接收装置上播放的视频流的用户体验质量(QoE)的分数的技术。在计算QoE分数前，装置接收在接收装置播放视频流时捕捉的接收装置的显示屏幕的视频。装置还从参与视频流到接收装置的传输的至少一个装置接收传输指标。然后装置至少部分基于参考视频、所述传输指标和一个或多个QoE模型计算所述QoE分数。另外，在接收视频或传输指标前，装置可以通过至少一个网络模拟器将参考视频作为视频流从发送装置自动传输到接收装置，包括提供网络损伤设置到所述网络模拟器。
【专利说明】视频传输的用户体验质量测试
【技术领域】
[0001]本申请要求2011年10月14日提交的、题为“Multimedia QoE Video Lab”的、申请号为61/547，652的美国临时专利申请的优先权。申请号为61/547，652的申请作为参考被全部合并于此。
[0002]本申请要求2012年10 月 11 日提交的、题为“Quality of User Experience Testingfor Video Transmiss1ns”的、申请号为13/649,818的美国实用新型专利申请的优先权。申请号为13/649,818的申请作为参考被全部合并于此。
【背景技术】
[0003]随着网络技术、手持装置和数据传输技术的发展，使用手持装置来享受消耗高宽带的媒体(诸如视频流)越来越多。现在用户在视频聊天、视频会议和在线游戏中，会对来自远程视频流服务器的视频进行回放。为了量化用户消费视频的用户体验质量(QoE)，国际电信联盟(ITU-T)在J.341标准中定义了用于确定平均意见分数(MOS)中“感性分析”建议。MOS表示用户对质量的感受，可以由一组用户主观确定或基于模型客观确定。模型可以反过来基于关于多个视频的多个主观评价。
【专利附图】
【附图说明】
[0004]参考附图做了详细的描述。在附图中，附图标记的最左边的数字辨别该附图标记第一次出现的图。不同的图中使用相同的附图标记指示相似或相同的项或特征。
[0005]图1a示出了视频QoE测试系统，包括测试控制器装置、发送装置、至少一个网络模拟器、接收装置和相机，所述系统计算观看显示在所述接收装置上的传输的视频流的用户体验的QoE分数；
[0006]图1b示出了视频QoE测试系统，包括测试控制器装置、视频流服务器、至少一个网络模拟器、接收装置和相机，所述系统计算观看显示在接收装置上的传输的视频流的用户体验的QoE分数；
[0007]图2示出了能够用作测试控制器装置、发送装置、接收装置、相机、电信网络模拟器、互联网协议(IP)网络模拟器、视频中继服务器或视频流服务器的计算装置的组件级视图；以及
[0008]图3示出了用于对多个视频流传输以及在改变传输条件的情况下计算在用户的接收装置上进行视频流回放的用户体验的QoE分数的示例性过程。
【具体实施方式】
[0009]本说明书部分描述了计算接收装置上播放的视频流的用户体验质量(QoE)分数的技术。在计算QoE分数之前，诸如视频测试系统的测试控制器装置的装置，接收在接收装置播放视频流的同时捕捉的接收装置的显示屏幕的视频。装置还从至少一个参与向接收装置传输视频流的装置接收传输指标。然后装置至少部分基于参考视频、传输指标和一个或多个QoE模型来计算所述接收的视频的QoE。另外，在接收视频或传输指标之前，装置可以随着通过至少一个网络模拟器从发送装置到接收装置的视频流自动传输参考视频。所述自动可以包括向网络模拟器提供网络损伤设置。
[0010]然后装置用给定的一组网络损伤设置多次重复其操作，以及在其他时间用其他损伤设置多次重复其操作。通过在变化的情况下执行多次测试，视频测试系统将达到准确反应用户体验的QoE分数。
[0011]示例性测试系统
[0012]图1示出了视频QoE测试系统，该系统包括测试控制器装置、发送装置、至少一个网络模拟器、接收装置和相机，所述系统计算观看显示在所述接收装置上的传输的视频流的用户体验的QoE分数。如图所示，测试控制器装置102可以通过至少一个网络模拟器106从发送装置104自动传输视频流到接收装置108。在接收装置108播放视频流的同时，相机110捕捉接收装置108的显示屏幕的视频，并提供所述视频到测试控制器装置102。在一些实施方式中，测试控制器装置102可以指示发送装置104通过IP网络模拟器112在网络(诸如互联网)116上将视频流传输到视频中继服务器114上。为了自动化传输视频流和计算相机110捕捉的视频的QoE分数，测试控制器装置102可以配置有多个模块，诸如测试管理器模块118、损伤设置模块120、自动化模块122、传输指标模块124、QoE计算模块126和QoE报告模块128。
[0013]在各种实施方式中，测试控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112和视频中继服务器114中的每一个可以是或者可以包括服务器或服务器群、多个分布式服务器群、主机、工作站、个人电脑(PC)、笔记本电脑、平板电脑、个人数字助理、移动电话、媒体中心、嵌入式系统或任何其他种类的装置。在一些实施方式中，一个或多个测试控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112和视频中继服务器114可以为在一个或多个计算装置上实现的一个或多个虚拟机。图2中示出了并在下面参考图2描述了示例性的能够用作控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112或视频中继服务器114的计算装置。
[0014]在一些实施方式中，发送装置104可以被配置为与电信网络模拟器106通过一个或多个射频进行无线通信。发送装置104例如还经由通用串行总线(USB)连接器、以太网连接器或一些其他类型的连接器与测试控制器装置102物理耦合。而且，发送装置104可以从测试控制器装置102接收参考视频和/或自动指令。基于所述指令，发送装置104可以创建视频聊天、视频会议或其他到接收装置108的连接，以及可以将参考视频作为视频流通过电信网络模拟器106传输到接收装置108。在一些实施方式中，可以以点对点(P2P)的方式传输视频流；在其他实施方式中，发送装置104可以将视频流导向视频中继服务器114以用于随后传输到接收装置108。在其他实施方式中，可以由用户启动传输，而不是响应于自动化指令。不论何种情况，在传输视频流时，发送装置104可以记录传输指标，诸如帧率、比特率、往返时间、呼叫建立时间或编码率，以及可以自动或者根据请求向测试控制器装置102提供传输指标。
[0015]在各种实施方式，电信网络模拟器106可以模拟任何种类的电信网络，诸如全球移动通信系统(GSM)网络、通用移动通信系统(UMTS)网络、演进的高速分组接入技术(HSPA+)网络或长期演进(LTE)网络。电信网络模拟器106可以包括一个或多个能够在一个或多个射频上进行传输和接收的基站模拟器组件。例如，电信网络模拟器106可以包括用于与发送装置104通信的第一基站模拟器组件，和用于与接收装置108通信的第二基站模拟器组件。另外，电信网络模拟器106可以有线或无线地连接到IP网络模拟器112或网络116。而且，电信网络模拟器106可以例如经由USB连接器、以太网连接器或一些其他类型的连接器物理耦合到测试控制器装置102。
[0016]在一些实施方式中，电信网络模拟器106可以配置为从测试控制器装置102接收网络损伤设置，以及根据所述配置执行视频流的传输。例如，网络损伤设置可以指定射频(RF)损伤，以及电信网络模拟器106可以在所述RF损伤的情况下传输视频流。而且，电信网络模拟器106可以检查传输视频流的分组，以确定传输是P2P还是客户端-服务器式。如果是P2P，电信网络模拟器106可以在接下来将视频流传输到接收装置108。如果是客户端-服务器式，电信网络模拟器106可以通过IP网络模拟器112将视频流传输到视频中继服务器114，可以从视频中继服务器114将视频流接收回来，以及然后可以将视频流传输到接收装置108。在传输视频流时，电信网络模拟器106可以记录传输指标，诸如射频、帧率、比特率、往返率、呼叫建立时间、或编码率，以及可以自动或根据请求提供传输指标到测试控制器装置102。
[0017]在各种实施方式中，接收装置108被配置为从测试控制器装置102接收自动化指令，和从发送装置104接收视频流。接收装置108可以例如经由USB连接器、以太网连接器或一些其他类型的连接器物理耦合到测试控制器装置102。指令可以包括接收连接视频聊天、视频会议或视频广播的指令，以及在接收到视频流时播放与所述连接有关的视频流的指令。在其他实施方式中，并不是接收自动化指令，而是接收装置108可以接收响应于用户输入的连接。当播放视频流时，接收装置108可以同时以视频流播放的方式来记录视频流，而不需要对记录的视频进行任何后处理来去掉延迟、漏掉的帧等。然后，接收装置108可以自动或根据请求向测试控制器装置102提供记录的视频。而且在接收和播放视频流时，接收装置108可以记录传输指标，诸如帧率、比特率、往返时间、呼叫建立时间或编码率，以及可以自动或根据请求向测试控制器装置102提供传输指标。
[0018]在一些实施方式中，相机110可以被配置成从测试控制器装置102接收指令，来记录接收装置108的显示屏幕的视频。相机110可以经由例如USB连接器、以太网连接器或一些其他形式的连接器物理耦合到测试控制器装置102。可以对指令进行时控以当在接收装置108上开始回放时指令使得视频的记录开始。相机110还可以接收指令以停止记录。在完成记录时，相机110可以向测试控制器装置102提供视频。
[0019]在各个实施方式中，IP网络模拟器可以被配置成从测试控制器装置102接收网络损伤设置，以及根据所述设置执行视频流的传输。例如，网路损伤设置可以指定一个或多个IP损伤，诸如分组丢失、传输延迟、数据损坏或有限的吞吐量，以及IP网络模拟器112可以在所述IP损伤的条件下传输视频流。而且，IP网络模拟器112可以从耦合到IP网络模拟器112的电信网络模拟器106接收视频流，可以将视频流传输到可以直接或通过网络116耦合到IP网络模拟器112的视频中继服务器114，可以从视频中继服务器114接收回视频流，以及然后可以通过电信网络模拟器106向接收装置108传输视频流。当传输视频流时，IP网络模拟器112可以记录传输指标，诸如帧率、比特率、往返时间、呼叫建立时间或编码率，以及可以自动或根据请求提供传输指标到测试控制器装置102。
[0020]在一些实施方式中，视频中继服务器114可以被配置成接收去往接收装置108的视频流，以及可以将视频流传输到接收装置108。可以直接或通过网络116从IP网络模拟器112接收或可以向IP网络模拟器112传输视频流。
[0021]在进一步的实施方式中，网络116可以为任意一个或多个网络，诸如有线网络、无线网络和有线与无线网络的结合。进一步的，网络116可以包括任意一个公共或私有网络(例如电缆网络、互联网、无线网络等)或多个不同类型的公共或私有网络的结合。在一些情况下，计算装置使用安全协议(例如http)和/或任何其他协议或协议组(诸如传输控制协议/互联网协议(TCP/IP))来在网络116上进行通信。
[0022]如图1a所示，测试控制器装置102可以配置有多个模块，所述多个模块被配置成执行视频传输性能测试。所述模块包括测试管理器模块118。测试管理器模块118自动或基于设置或响应于用户输入来启动测试。例如可以经由测试用户接口来接收该用户输入。用户或者设置可以指定多个不同的网络损伤设置来测试以及指定给定数量的测试去执行特定的网络损伤设置。可替换的，可以使用一组默认的网络损伤设置和默认数量的测试迭代。
[0023]在一些实施方式中，在启动测试时，测试管理器模块118调用损伤设置模块120以及指定要提供给电信网络模拟器106和IP网络模拟器中的一者或两者的网络损伤设置。所述网络损伤设置的示例如上所述。然后损伤设置模块120提供网络损伤设置，以及在确定成功应用了所述网络损伤设置时，告知测试管理器模块118。
[0024]测试管理器模块118然后调用自动化模块，来将视频流从发送装置104自动传输到接收装置108。自动模块122可以向发送装置104提供参考视频，以及提供将参考视频作为视频流传输到接收装置108的指令。指令还可以指定传输是P2P传输还是使用视频中继服务器114的客户端-服务器传输。自动化模块122还可以提供指令给电信网络模拟器106和IP网络模拟器112来在接收到视频流时传输视频流，以及提供指令给接收装置108。给接收装置108的指令可以告诉接收装置108从发送装置104接收通信以及在接收后打开和播放与通信相关的视频流。在一些实施方式中，自动化模块122还指示接收装置108将视频流的回放记录为视频文档或指示相机在接收装置108播放视频流时记录接收装置108的显示屏幕的视频。如果指示相机，自动化模块122可以对指令计时，从而相机110与接收装置108开始回放基本同时启动视频捕捉操作。在提供指令之后，自动化模块122告知管理器模块118指令已被提供。
[0025]在各种实施方式中，测试管理器模块118然后调用传输指标模块124来从一个或多个发送装置104、电信网络模拟器106、接收装置108或IP网络模拟器112接收或检索传输指标。所述传输指标的示例如上所述。然后，传输指标模块124将传输指标模块124提供到测试管理器模块118。
[0026]在接收到传输指标时，测试管理器模块118调用QoE计算模块126，和给QoE计算模块126提供传输指标。QoE计算模块126还从接收装置108或相机110获取或检索视频流回放的视频。使用一个或多个QoE模块，然后QoE计算模块126计算视频的QoE分数。例如，QoE计算模块126可以使用第一 QoE模型、视频和参考视频来基于参考视频和第一 QoE模模型计算视频的Q0E分数。QoE计算模块126然后可以使用一个或多个第二 QoE模型、传输指标以及视频来基于传输指标和第二 QoE模型计算视频的一个或多个另外的QoE分数。接下来，QoE计算模块126可以使用第三QoE模型，所述第三QoE模型基于QoE分数是否被计算使用参考视频或特定传输指标来给QoE分数权重，以将QoE分数合成为单个的视频QoE分数。在其他实施方式中，并不是使用传输指标和第二 QoE模型计算另外的QoE分数，而是QoE计算模块126可以使用传输指标和第二 QoE模型计算QoE分数调整，所述QoE分数调整被加入QoE分数中或者从QoE分数中减去。在计算视频的QoE分数后，QoE计算模块126可以提供QoE分数到测试管理器模块118。
[0027]在各种实施方式中，测试管理器模块118然后确定是否应该使用网络损伤设置来执行另外的测试迭代。例如，测试管理器模块118可以确定为给定一组网络损伤设置要执行的三个测试，以及确定需要执行的再两个测试迭代。在该情况下，所述测试管理器模块118可以再调用自动化模块122、传输设置模块124和QoE计算模块126，来获得每个测试迭代的QoE分数。此外，测试管理器模块118可以确定是否有其他网络损伤设置来测试，以及如果有，则经由损伤设置模块120提供所述网络损伤设置，以及使用所述网络损伤设置执行测试迭代。
[0028]在测试完成时，测试管理器模块118具有一个或多个QoE分数，每个QoE分数与测试迭代和一组网络损伤设置相关。测试管理器模块118可以将一些或所有分数综合起来(例如，计算平均值或中间值)。综合的QoE分数可以为所有QoE分数的综合或给定一组网络损伤设置的QoE分数的综合。测试管理器模块118然后可以调用QoE报告模块128和向QoE报告模块128提供QoE分数、合成的QoE分数和/或传输指标。QoE报告模块128然后可以经由例如测试用户界面或其他用户界面与用户分享QoE分数、合成的QoE分数和/或传输指标。
[0029]在一些实施方式中，测试管理器模块118或QoE报告模块128还可以根据一个或多个QoE分数生成模块，所述一个或多个QoE分数中的每个与一组给定的网络损伤设置或者传输指标中的一者或两者相关。然后模型可以被提供到其他用户或实体或被其他用户和实体使用，以评估其他用户或实体的视频回放体验的QoE。
[0030]图1b示出了视频QoE测试系统，包括测试控制器装置、视频流服务器、至少一个网络模拟器、接收装置和相机，所述系统计算观看显示在接收装置上的传输的视频流的用户的体验的QoE分数。在图1b中，通过视频流服务器130而不是发送装置104或视频中继服务器114提供视频流。
[0031]视频流服务器130可以是任意种类的配置为传输视频流的服务器，诸如经由用户网络浏览器给用户提供流化视频回放的网络服务器。视频流服务器130可以经由例如USB连接器、以太网连接器或其他任何形式的连接器物理耦合到测试控制器装置102。在其他实施方式中，视频流服务器130可以通过网络(诸如网络116)与测试控制器装置102通信。而且，视频流服务器130可以从测试控制器装置102接收参考视频和/或自动化指令。基于所述指令，视频流服务器130可以创建与接收装置108的数据连接，以及可以将参考视频作为视频流通过IP网络模拟器112和电信网络模拟器106发送到接收装置108。在传输视频流时，视频流服务器130可以就传输指标，诸如帧率、往返时间或编码率，以及可以自动或根据请求将传输指标提供给测试控制器装置102。
[0032]在一些实施方式中，在图1b的视频测试系统中，测试管理器模块118、损伤设置模块120、QoE计算模块126和QoE报告模块128与图1a的视频测试系统中一样操作。除了参考视频和传输指令提供给视频流服务器130而不是提供给发送装置104以外，自动化模块122也同样操作。而且，除了传输指令从视频流服务器130获取和接收而不是从发送装置104获取和接收外，传输指令模块也同样操作。
[0033]示例装置
[0034]图2示出了能够用作测试控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112、视频中继服务器114或视频流服务器130的计算装置的组件级视图。如图所示，计算装置200包括系统存储器202，用于存储模块和数据204。而且，计算装置200包括处理器206、可移动存储208和不可移动存储210、输入装置及212、输出装置214和用于与其他计算装置218进行通信的通信连接216。
[0035]在各种实施方式中，系统存储器202为易失性(诸如RAM)、非易失性(诸如ROM、快闪存储器等)或这两者的一些结合。存储在系统存储器202中的模块或数据204可以包括方法、线程、进程、应用或任意其他种类的可执行指令，诸如用来执行测试控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112、视频中继服务器114或视频流服务器130的操作。模块和数据204也可以包括文档和数据库。
[0036]在一些实施方式中，处理器206为中央处理单元(CPU)、图形处理单元(GPU)或CPU和GPU、或本领域中已知的其他处理单元或组件。
[0037]计算装置200还包括另外的数据存储装置(可移动和/或不可移动)，例如磁盘、光盘或磁带。图2中由可移动存储208和不可移动存储210示出了这种另外的存储。有形计算机可读介质可以包括用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移动和不可移动介质。系统存储器202、可移动存储208和不可移动存储210都是计算机可读存储介质的示例。计算机可读存储介质包括但不限于RAM、R0M、EEPR0M、快闪存储器或其他存储器技术、CD-ROM、数字通用光盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储装置，或其他任何可以用来存储所需信息和可以由计算装置200访问的媒介。任何这种有形计算机可读介质可以为计算装置200的一部分。
[0038]计算装置200还具有输入装置212，诸如键盘、鼠标、触摸式显示器、语音输入装置等，以及还具有输出装置，诸如显示器、扬声器、打印机等。所述装置是本领域公知的，在此不再赘述。
[0039]计算装置200还包括通信连接216，该通信连接216允许计算装置200与其他计算装置218 (诸如其他测试控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112、视频中继服务器114或视频流服务器130)进行通信。
[0040]示例过程
[0041]图3示出了示例过程300。该过程以逻辑图表示出，过程的每个操作表示可以在硬件、软件或其结合中执行的操作序列。在软件情况下，操作表示存储在一个或多个计算机可读存储戒指上的计算机可执行指令，所述指令当被一个或多个处理器执行时执行所列出的操作。一般，计算机可执行指令包括例程、程序、对象、组件、数据结构和执行特定功能和实现特定抽象数据类型的指令。操作的顺序不用于做出限制，任意数量的所述操作可以以任意的顺序结合起来，或者可以并列执行所述过程。[0042]图3示出了用于对多个视频流传输以及在改变传输条件的情况下计算在用户的接收装置上进行视频流回放的用户体验的QoE分数的示例性过程。过程300包括，在302通过测试控制器装置提供网络损伤设置到至少一个网络模拟器。所述至少一个网络模拟器可以为电信网络模拟器或IP网络模拟器中的一者。网络损伤设置可以包括RF损伤设置、分组丢失设置、传输延迟设置、数据损坏设置或吞吐量设置中的至少一者。
[0043]在304，测试控制器装置通过至少一个网络模拟器自动将参考视频作为视频流从发送装置传输到接收装置，包括将网络损伤设置提供给至少一个网络模拟器。在304a，自动包括指示发送装置或视频流服务器将参考视频作为视频流传输，指示至少一个网络模拟器将视频流传输到接收装置，以及指示接收装置接收和播放视频流。在304b，自动包括将参考视频提供到发送装置或视频流服务器。在304c，自动包括指示发送装置将视频流以点对点方式或者通过视频中继服务器以客户端-服务器方式传输到接收装置。
[0044]在306，测试控制器装置接收在接收装置播放视频流时捕捉的接收装置的显示屏幕的视频。在306a，接收包括从相机接收视频或从接收装置接收视频。接收装置可以从远程视频流服务器接收了视频流。
[0045]在308，测试控制器装置从至少一个参与向接收装置的视频流的传输的装置接收传输指标。传输指标可以包括帧率、比特率、往返时间、呼叫建立时间或编码率中的至少一者。
[0046]在310，测试控制器装置至少部分基于参考视频、传输指标和一个或多个QoE模型计算视频的QoE分数。一个或多个QoE模型可以包括至少一个用于基于参考视频计算视频的第一 QoE分数的QoE模型或用于基于传输指标计算视频的第二 QoE分数的QoE模型。而且，一个或多个QoE模型可以包括用于综合第一和第二 QoE分数的QoE模型。而且或者可替换的，一个或多个QoE模型可以包括用于基于参考视频计算视频的第一 QoE分数的QoE模型，和用于基于传输指标计算QoE分数调整的QoE模型。
[0047]在312，测试控制器装置确定是否存在为给定的参考视频和一组网络损伤设置执行的更多测试迭代。这可以包括将计数器与设置或阈值进行比较。如果测试控制器装置确定应该执行另一个测试迭代，则测试控制器装置重复在304-310示出的操作。
[0048]在314，测试控制器装置确定是否存在用参考视频测试的其他损伤设置。如果存在其他测试的网络损伤设置，则测试控制器重复在框302-312示出的操作。
[0049]结论
[0050]虽然以特定的结构特征和/或方法的语言描述了主体，但是应该理解，所附权利要求中限定的主题不必现定于所描述的特定特征或领域。而是，特定特征和领域作为实施权利要求的示例形式而公开。
【权利要求】
1.一种系统，该系统包括: 发送装置，被配置为将参考视频作为视频流传输； 接收装置，被配置为接收和播放所述视频流； 至少一个网络模拟器组件，被通信地耦合到所述发送装置和所述接收装置，以及被配置为将所述视频流从所述发送装置传输到所述接收装置； 相机，被配置为在所述接收装置播放所述视频流时捕捉所述接收装置的显示屏幕的视频；以及 测试控制器装置，被配置为: 将所述视频流从所述发送装置自动传输到所述接收装置，包括提供网络损伤设置到所述至少一个网络模拟器， 从所述发送装置、所述接收装置和所述至少一个网络模拟器中的至少一者接收传输指标，； 从所述相机接收 所述视频；以及 至少部分基于所述参考视频、所述传输指标和一个或多个QoE模型，计算所述视频的用户体验质量(QoE)分数。
2.根据权利要求1所述的系统，其中所述至少一个网络模拟器为电信网络模拟器或互联网协议(IP)网络模拟器中的一者。
3.根据权利要求1所述的系统，其中所述发送装置、所述接收装置、所述至少一个网络模拟器和所述相机每者被物理耦合到所述测试控制器装置。
4.根据权利要求1所述的系统，该系统还包括视频中继服务器，该视频中继服务器经由IP网络连接到所述至少一个网络模拟器，以及被配置成从所述至少一个网络模拟器接收所述视频流和将所述视频流传输回所述至少一个网络模拟器。
5.根据权利要求4所述的系统，其中所述视频中继服务器被配置为基于损伤设置执行所述传输或接收。
6.一种方法，该方法包括: 由计算装置接收在接收装置播放视频流时捕捉的所述接收装置的显示屏幕的视频；由所述计算装置从参与向所述接收装置的所述视频流的传输的至少一个装置接收传输指标；以及 由所述计算装置至少部分基于参考视频、所述传输指标和一个或多个QoE模型计算所述视频的用户体验质量(QoE)分数。
7.根据权利要求6所述的方法，其中接收所述视频包括从相机接收所述视频或从所述接收装置接收所述视频中的至少一者。
8.根据权利要求6所述的方法，该方法还包括通过至少一个网络模拟器将所述参考视频作为所述视频流从发送装置自动传输到所述接收装置，包括提供网络损伤设置到所述至少一个网络模拟器。
9.根据权利要求6所述的方法，其中所述接收装置从远程视频服务器接收所述视频流。
10.根据权利要求6所述的方法，其中所述传输指标包括帧率、比特率、往返时间、呼叫建立时间或编码率中的至少一者。
11.根据权利要求6所述的方法，其中所述一个或多个QoE模型包括以下至少一者:用于基于所述参考视频计算所述视频的第一 QoE分数的QoE模型、或用于基于所述传输指标计算所述视频的第二 QoE分数的QoE模型。
12.根据权利要求11所述的方法，其中所述一个或多个QoE模型包括用于综合所述第一 QoE分数和所述第二 QoE分数的QoE模型。
13.根据权利要求11所述的方法，其中所述一个或多个QoE模型包括用于基于所述参考视频计算所述第一 QoE分数的QoE模型和基于所述传输指标计算QoE分数调整的QoE模型。
14.一种或多种有形计算机可读介质，其上存储有多个可执行指令，所述可执行指令配置为对计算装置编程以执行以下操作，包括: 通过至少一个网络模拟器将参考视频作为视频流从发送装置自动传输到接收装置，包括将网络损伤设置提供到所述至少一个网络模拟器； 接收在所述接收装置播放所述视频流时捕捉的所述接收装置的显示屏幕的视频； 从所述发送装置、所述接收装置或所述至少一个网络模拟器中的至少一个装置接收传输指标；以及 至少部分基于所述参考视频、所述传输指标和一个或多个QoE模型计算所述视频的用户体验质量(QoE)分数。
15.根据权利要求14所述的一个或多个有形计算机可读介质，其中所述网络损伤设置包括射频(RF)损伤设置、分组丢失设置、传输延迟设置、数据损坏设置或吞吐量设置中的至少一者。
16.根据权利要求14所述的一个或多个有形计算机可读介质，其中所述自动包括指示所述发送装置将所述参考视频作为所述视频流传输，指示所述至少一个网络模拟器将所述视频流传输到所述接收装置，以及指示所述接收装置接收和播放所述视频流。
17.根据权利要求14所述的一个或多个有形计算机可读介质，其中所述自动包括提供所述参考视频到所述发送装置。
18.根据权利要求14所述的一个或多个有形计算机可读介质，其中所述自动包括指示所述发送装置以点对点的方式或以通过视频中继服务器的客户端-服务器的方式将所述视频流传输到所述接收装置。
19.根据权利要求14所述的一个或多个有形计算机可读介质，其中所述操作还包括采用同一网络损伤设置和同一参考视频多次重复所述自动、所述接收所述视频和所述接收所述传输指标，以及基于所述参考视频、所接收的传输指标和所述一个或多个QoE模型为所接收的视频执行所述计算。
20.根据权利要求19所述的一个或多个有形计算机可读介质，其中所述操作还包括采用不同的网络损伤设置重复所述自动、所述接收所述视频、所述接收所述传输指标和所述计算。
21.根据权利要求20所述的一个或多个有形计算机可读介质，其中所述操作还包括生成将QoE分数与网络损伤设置或传输指标中的一者或两者相关联的模型。
【文档编号】H04L12/26GK104040953SQ201280058751
【公开日】2014年9月10日 申请日期:2012年10月12日 优先权日:2011年10月14日
【发明者】惠捷, M·F·伊兹丁, M·塞缪尔 申请人:T移动美国公司