专利名称：用于在数据网络中监视视频会话的监视装置和方法
技术领域：
本发明涉及用于在数据网络中监视视频服务器与视频客户端之间的视频会话的监视装置和方法。
背景技术：
视频流或累进不断进步的下载是因特网内的普遍应用。例如移动或固定操作者等经由ISP(因特网服务提供商)连接的视频串流视频流客户端请求位于ISP网络内某个地方或位于因特网外部的串流流服务器发送视频流。可使用的一种协议为基于TCP/IP上的 HTTP。与接入网页或传统视频下载相反，视频客户端在客户端已成功下载整个源文件之前开始显示所请求文件的内容。IP网络中的视频内容传输受底层传输网络的例如带宽、延迟、 抖动和包损失丢包等输送特性影响。最终用户感知体验会将受到初始缓冲的影响损害，所述初始缓冲即为从请求开始直到开始播放视频文件的时间，而且还受在播放期间的视频停止损害的影响，在视频停止发生后，只要所述视频停止发生在客户端应用程序中的接收器缓冲器已完全耗尽且没有其它内容可用时且随后是就会重新缓冲。当输送网络所提供的平均带宽低于视频流位速率时通常是这样的情况。需要监视系统内部的缓冲器仿真器，其计算缓冲器水平且提供关于重新缓冲特性的进一步信息。
然而，已知的视频监视算法往往较复杂，且需要频繁地对比特流进行深度包检测 (DPI)以便获取关于视频的所需信息，或其需要原始视频源以便执行所监视视频与原始视频之间的比较。归因于此类任务将需要的计算容量，此类解决方案对于网络监视探测系统为不可行的，所述网络监视探测系统必须并行且实时地分析成千上万的会话。发明内容
本发明的目的是提供一种用于以具计算效率的方式监视视频会话的有效概念，所述概念适合应用于同时监视大量视频会话。
此目的由独立权利要求项的特征实现。从附属权利要求项、描述和图式中容易明白其它实施形式。
本发明是基于以下发现客户端装置的屏幕分辨率可确定用户所体验的视频质量，也称为体验质量(QoE)。因此，可在考虑用户所体验的视频质量对屏幕分辨率的相依性时提供用于监视视频会话的有效概念。QoE可考虑终端的屏幕分辨率且使终端的屏幕分辨率与视频分辨率相关。QoE还可考虑重新缓冲的次数和持续时间，其可使用缓冲器模型来计笪ο
为了详 细描述本发明，将使用以下术语、缩写和符号
缓冲器大小b :表示在视频文件开始在用户装置屏幕上进行显示之前在客户端播放器处缓冲的以秒为单位的最小视频信息量，
r(t):表示由输送网络分配给视频会话的瞬时网络速率。等效术语为网络包速率、网络速率、瞬时网络速率、会话速率、瞬时会话速率，
v(t):表示视频播放器必须解码视频包以便确保在用户屏幕上连续重放视频所用的速率。此值表示经编码视频流的特性且在编码过程期间设置。等效术语为视频速率、视频位速率、视频重放速率、视频消费速率，
DP1:深度包检测-为用以检测网络包和从包有效负载提取相关信息的方法，
QoE:体验质量。等效术语为感知用户质量、视频主观质量、用户所感知的质量，
视频分辨率经编码视频序列的水平和垂直像素的数目。等效术语视频分辨率、 视频分辨率信息、视频流分辨率、基础视频分辨率、经编码视频分辨率，
屏幕分辨率用户装置的屏幕的最大分辨率，其由可在屏幕上显示的水平和垂直像素的数目所界定。此文献中的等效术语本征装置分辨率、最大屏幕分辨率、客户端能力信息，
HTTP :超文本传送协议，
TCP:传输控制协议，
IP:因特网协议，
rocp :包数据会聚协议，
RLC :无线电链路控制协议，
MAC :媒体接入控制协议，
OSI模型开放式系统互连模型，
L2 =OSI模型中的任何普通层2通信协议，
LI =OSI模型中的任何普通层I通信协议，
KQ1:关键质量指示符。
根据第一方面，本发明涉及一种用于在数据网络中监视提供视频文件的视频服务器与播放所述视频文件的视频客户端之间的视频会话的监视装置，所述监视装置包含数据接口，其经配置以连接到所述视频服务器与所述视频客户端之间的端到端通信路径且经配置以捕获视频分辨率信息并取回客户端屏幕分辨率信息；以及确定单元，其经配置以基于所述视频分辨率信息、基于所述客户端屏幕分辨率信息且基于缓冲器模型来确定所述视频会话的质量测量，所述缓冲器模型为所述视频客户端中的接收缓冲器的填充水平建模， 所述接收缓冲器经配置以在播放所述视频文件之前缓冲所述视频文件。
所述视频分辨率信息可通过检查由视频服务器发送且由视频客户端接收的视频包来接收。所述检查可通过对视频服务器与视频客户端之间的端到端通信路径的比特流进行最小深度包检测(DPI)来执行。需要从比特流获得的信息可通过对所传输的视频文件的一些包，例如在 视频传输期间的前一些包或其它一些包，进行DPI来获得。因此，还可改进可缩放性。此外，在基于网络的监视探测系统中实施也是可行的。另外，可增大能够并行且实时地分析的会话的数目。
根据特定实施形式，用于计算QoE的算法是基于
1.)通过捕获第一视频包的视频元数据中所包括的视频分辨率信息来评价基础视频质量；
2.)收集关于最终用户的装置屏幕分辨率的信息，即通过分析装置能力消息来提取所述信息；
3.)使用缓冲器模型考虑每个流会话的停止事件数目；以及
4.)考虑每个停止，例如视频冻结，事件的重新缓冲持续时间。
视频的体验质量或换句话说用户感知质量是基于连接到视频客户端与视频服务器之间的端到端通信路径的装置在网络层级处可获得的信息来计算的。计算结果可为标量值，其表示给定视频会话的质量测量。此标量值表示视频分辨率、显示器屏幕分辨率和网络影响对视频会话的影响，如由在其装置显示器上观看视频的用户所感知的。
监视装置可例如能够在TCP层级处监视端到端会话，且可放置于通信路径中的任何网络片段上，包括放置于最终装置上。
第一方面的实施形式可减少监视装置中的计算工作量。因此，其可向操作者提供较宽的测量基础且因而提供对最终用户感知质量的较佳理解。这些形式允许操作者以减少的基础结构需要，例如在不需要添加更多的监视装置的情况下，并行执行对多个视频会话的监视。
数据网络可例如为用于在无线网络中，明确地说在GSM/UMTS/LTE蜂窝式网络和 WLAN中，进行传输的网络。根据替代实施形式，数据网络为用于在有线网络中进行传输的网络，其以电路切换或包交换方式进行操作。根据一种实施形式，数据网络为基于IP、基于 ATM或基于TDM的网络。根据一种实施形式，数据网络为XDSL网络。根据一种实施形式，数据网络为光学数据网络。根据一种实施形式，数据网络为电学数据网络。根据一种实施形式，数据网络提供光学和电学传输。
在根据第一方面的监视装置的第一可能实施形式中，所述数据接口包含用于捕获所述视频分辨率信息的第一接口单元，明确地说，探测器；以及用于经由通信网络从网络节点取回所述客户端显示器分辨率信息的第二接口单元，所述网络节点明确地说为归属用户服务器或移动性管理实体或设备身份寄存器。在此实施方案中，监视装置可将例如视频分辨率和客户端屏幕分辨率信息等两个信息片放在一起，且将其匹配在一起以便计算匹配因子。
在根据上述第一方面或根据第一方面的第一实施形式的监视装置的第二可能实施形式中，所述数据接口经配置以从与视频文件相关联的视频文件元数据捕获视频分辨率信息。这需要对横越网络的视频包进行最低限度的DPI，其中仅对在视频文件的开始处找到的特定视频包进行最低限度的DPI。
在根据上述第一方面或根据第一方面的第一或第二实施形式中的任一者的监视装置的第三可能实施形式中，客户端屏幕分辨率信息指示视频客户端的显示器的最大分辨率，还称为视频客户端的显示器的本征分辨率，且其中视频分辨率信息指示视频文件的编码分辨率。
视频文件的编码分辨率可为视频文件的分辨率，或者视频文件的视频图片或帧经源编码且可提供为在视频图片或帧的水平方向上的像素数目和在视频图片或帧的垂直方向上的像素数目。
客户端显示器分辨率或视频客户端的显示器的本征分辨率也可提供为在显示器的水平方向上的像素数目和在显示器的垂直方向上的像素数目。
在根据上述第一方面或根据第一方面的前述实施形式中的任一者的监视装置的第四可能实施形式中，质量测量取决于视频质量匹配因子KQI1， 其经确定为所述视频文件的视频分辨率与所述客户端能力信息中所包括的所述视频客户端的显示器分辨率的相关性。所述两个值之间的相关性越高，所计算的匹配因子(KQIl)就越好。
在根据上述第一方面或根据第一方面的前述实施形式中的任一者的监视装置的第五可能实施形式中，质量测量取决于会话标准化播放时间KQI2，其经确定为由所述视频会话的持续时间标准化的活动视频会话的总播放时间。KQI2越接近1，所计算的质量测量就越闻。
在根据上述第一方面或根据第一方面的前述实施形式中的任一者的监视装置的第六可能实施形式中，质量测量取决于会话停止持续时间降级因子KQI3，其经确定为所述视频会话的平均停止持续时间与所述视频会话的停止的发生频率的函数，其中使用缓冲器模型来确定所述视频会话的停止持续时间。停止持续时间越长，且停止发生频率越高，所计算的质量测量就越低。
在根据上述第一方面或根据第一方面的前述实施形式中的任一者的监视装置的第七可能实施形式中，质量测量取决于会话标准化总停止时间KQI4，其经确定为由所述视频会话的持续时间标准化的所述视频会话的累积停止时间。KQI4越接近0，所计算的质量测量就越高。
在根据上述第一方面或根据第一方面的前述实施形式中的任一者的监视装置的第八可能实施形式中，质量测量取决于会话停止次数降级因子KQI5，其经确定为所述视频会话期间的平均停止次数的函数。KQI5值越高，所计算的质量测量就越低。
在根据上述第一方面或根据第一方面的前述实施形式中的任一者的监视装置的第九可能实施形式中，质量测量QoE取决于公式
QoE = max(QoEmin, KQI1*KQI2_KQI3*KQI4*KQI5)，
其中QoEmin为质量测量的最小限值，KQIl为视频质量匹配因子，KQI2为会话标准化播放时间，KQI3为会话停止持续时间降级因子，KQI4为会话标准化总停止时间，且KQI5 为会话停止次数降级因子。如下文相对于图7和图8所描述，根据表I到表4来执行KQI1、 KQI2、KQI3、KQI4和KQI5的确定。可根据一些实施形式省略运算符“max”和QoEmin值。
在根据第一方面且根据第一方面的前述实施形式五到九中的任一者的监视装置的第十可能实施形式中，缓冲器模型取决于由视频客户端与视频服务器之间的以下消息计算的瞬时网络速率r (t)，且其中缓冲器模型取决于从所传输的视频文件的一些包中所含有的视频元数据信息捕获的视频速率V(t)，所述一些包明确地说为视频文件的第一包。借助于r(t)和V (t)，缓冲器模型可估算视频会话中的停止的次数和持续时间。
在根据上述第一方面或根据第一方面的前述实施形式中的任一者的监视装置的第十一可能实施形式中，数据接口经配置以通过经由数据网络进行信令或通过使数据网络的网络管理系统和数据库中可得的装置屏幕分辨率信息相关来取回客户端屏幕分辨率。
在根据上述第一方面或根据第一方面的前述实施形式中的任一者的监视装置的第十二可能实施形式中，确定单元经配置以确定视频会话群组的 一个质量测量，所述质量测量表示所述视频会话群组的平均质量。此实施方案提供预定义会话群组的平均质量测量，使得操作者可监视其网络和用户群组的各种片段。
质量测量可例如为一个标量测量，其表示所考虑的会话群组的此平均质量测量。 根据一些实施例，网络中的片段与网络操作者或特定地理区域或给定用户终端类型或特定持续时间的所有黄金用户相关。
在根据上述第一方面或根据第一方面的前述实施形式中的任一者的监视装置的第十三可能实施形式中，视频会话群组包含一个视频服务器与多个视频客户端之间的视频会话、一个视频服务器与一个视频客户端之间的多个视频会话以及多个视频服务器与多个视频客户端之间的视频会话。
在根据第一方面和所述第一方面的第十三实施形式的监视装置的第十四可能实施形式中，所述数据网络为TCP/IP网络，且所述数据接口经配置以连接到所述TCP/IP网络的TCP层。
在根据上述第一方面或根据第一方面的前述实施形式中的任一者的监视装置的第十五可能实施形式中，数据接口为视频服务器、视频客户端、中间网络节点或放置于所述数据网络的端到端通信路径中的额外中间网络节点的元件。
根据第二方面，本发明涉及一种用于在数据网络中监视提供视频文件的视频服务器与播放所述视频文件的视频客户端之间的视频会话的方法，其包含连接到所述视频服务器与所述视频客户端之间的端到端通信路径，且捕获视频分辨率信息和客户端屏幕分辨率信息；以及基于所述视频分辨率信息、基于所述屏幕分辨率信息且基于缓冲器模型来确定所述视频会话的质量测量，所述缓冲器模型为所述视频客户端中的接收缓冲器的填充水平建模，所述接收缓冲器经配置以在播放所述视频文件之前，即在重放之前，缓冲所述视频文件。
根据第三方面，本发明涉及一种用于在数据网络中监视提供视频文件的视频服务器与播放所述视频文件的视频客户端之间的视频会话的计算机程序产品，其包含数据接口，其经配置以连接到所述视频服务器与所述视频客户端之间的端到端通信路径，且经配置以捕获视频分辨率信息和客户端显示器分辨率信息；以及软件模块，其经配置以基于所述视频分辨率信息、基于所述客户端显示器分辨率信息且基于缓冲器模型来确定所述视频会话的质量测量，所述缓冲器模型为所述视频客户端中的接收缓冲器的填充水平建模，所述接收缓冲器经配置以在播放所述视频文件之前，即在重放之前，缓冲所述视频文件。
在第三方面的一种实施形式中，所述计算机程序产品经配置以作为终端代理软件在最终用户装置中运行或作为网络探测器在网络接口上运行。
根据第四方面，本发明涉及一种IP网络业务监视和分析系统，尤其是一种分析视频流业务的QoE的系统。
在第四方面的第一实施形式中，所述系统为用于HTTP视频流服务的被动监视系统，其利用缓冲器模型和从视频流捕获的信息以便计算客户端所感知的会话的一些质量指示符，其中
-计算算法采用如装置屏幕分辨率和视频分辨率等相关视频会话信息作为输入且计算KQII,
-计算算法采用会话期间的相关视频播放时间信息作为输入且计算KQI2，
-计算算法采用由缓冲器模型提供的例如持续时间和频率等会话期间的相关视频停止信息作为输入且计算KQI3、KQI4和KQI5，
-计算算法使用KQIl到KQI5报告针对会话所获得的质量指示符，即QoE(会话)。 KQIl到KQI5的计算在下文中描述。
在上述第四方面的一种实施形式中，或根据第四方面的前述实施形式中的任一者，所述系统为用于HTTP视频流服务的被动监视系统，其利用缓冲器模型和从视频流捕获的信息以便计算客户端所感知的特定会话片段的一些质量指示符，其中
-计算算法采用如装置屏幕分辨率和视频分辨率等相关视频会话信息作为输入且计算特定片段的KQI6，
-计算算法采用会话期间的相关视频播放时间信息作为输入且计算特定片段的 KQI7,
-计算算法采用由缓冲器模型提供的例如持续时间和频率等会话期间的相关视频停止信息作为输入且计算特定片段的KQI8、KQI9和KQI10，
-计算算法使用KQI6到KQI10报告针对片段所获得的质量指示符，即QoE(会话)。 KQI6到KQIlO的计算在下文中更详细地描述。
在上述第四方面的第三实施形式中，或根据第四方面的前述实施形式中的任一者，所述系统计算视频会话和特定视频会话片段两者的一些质量指示符。
根据一些实施形式，计算算法与装置屏幕分辨率和会话的视频分辨率相关以便在不需要其它额外DPI的情况下估算视频流的基础质量。
根据一些实施形式，在会话持续时间内求视频流的停止持续时间的平均值。
根据一些实施形式，在会话持续时间内求停止事件数目的平均值。
根据其它实施形式，在给定时间间隔内求停止事件数目的平均值。
根据一些实施形式，计算算法与装置屏幕分辨率和片段的视频分辨率相关以便在不需要其它额外DPI的情况下估算片段中的视频会话的平均基础质量，所述片段是由会话群组形成的。
根据一些实施形式，片段中的平均停止持续时间由此片段的平均会话持续时间标准化。
根据一些实施形式，片段的平均停止事件数目由属于此片段的会话的数目标准化。
监视系统可例如应用于固定或移动网络。
监视系统可例如作为终端代理软件部署于最终用户装置中或作为网络探测器部署于网络接口上。
本发明可以数字电子电路或以计算机硬件、固件、软件或以其组合来实施。
将相对于以下图式来描述本发明的其它实施例，在附图中
图1展示根据一种实施形式的监视装置的框图2展示根据一种实施形式的用于在数据网络中监视提供视频文件的视频服务器与播放所述视频文件的视频客户端之间的视频会话的方法 的框图3展示根据一种实施形式的缓冲器模型的图4展示根据一种实施形式的如图3所描绘的缓冲器模型的性能图5展示根据一种实施形式的用于计算如图3所描绘的缓冲器模型的性能的等式系统；
图6展示根据一种实施形式的包括监视装置的端到端通信路径的框图7展示根据一种实施形式的用于会话停止持续时间降级因子的模型的图；以及
图8展示根据一种实施形式的用于会话停止次数降级因子的模型的图。
具体实施方式
图1展示根据一种实施形式的监视装置的框图。监视装置101包含数据接口 102 和确定单元103。数据接口连接到视频服务器105与视频客户端104之间的端到端通信路径，且经配置以捕获视频分辨率信息并取回客户端显示器分辨率信息。确定单元103经配置以基于视频分辨率信息和客户端显示器分辨率信息且基于缓冲器模型确定视频会话的质量测量，所述缓冲器模型为视频客户端104中的接收缓冲器的填充水平建模，接收缓冲器在重放之前正缓冲视频文件。视频客户端104在用户设备(UE)中实施，其处理协议堆栈 HTTP/TCP/IP/roCP/RLC/MAC/Ll。视频服务器105在因特网内的服务提供商位置处实施，且实施协议堆栈HTTP/TCP/IP/L2/L1。所述协议堆栈对于连接到LTE/EPC网络的用户来说为实例。可构想其它网络和协议堆栈。数据接口 102在TCP层处连接到端到端通信路径，以便从视频服务器105捕获视频分辨率信息且从视频客户端104取回客户端显示器分辨率信肩、O
图2展示根据一种实施形式的用于在数据网络中监视提供视频文件的视频服务器与播放视频文件的视频客户端之间的视频会话的方法的框图。所述方法包含连接201到视频服务器与视频客户端之间的端到端通信路径且捕获视频分辨率信息和客户端显示器分辨率信息。所述方法包含基于视频分辨率信息和客户端显示器分辨率信息且基于缓冲器模型确定202视频会话的质量测量，所述缓冲器模型为视频客户端中的接收缓冲器的填充等级建模，所述接收缓冲器在播放视频文件之前缓冲所述视频文件。
图3展示根据一种实施形式的缓冲器模型的图。缓冲器301经配置以缓冲多个视频包，其中图3描绘第一视频包302第i号、第二视频包303第i+Ι号和其它视频包304。 缓冲器301具有缓冲器大小b 307，其对应于缓冲器301的大小，表示用于存储视频包的存储器单元的数目，或表示在播放视频文件的所缓冲部分之前需要在缓冲器中缓冲的视频文件的例如以秒为单位的最小缓冲持续时间或最小缓冲重放持续时间。视频包由网络以瞬时网络速率r (t) 305接收，且每一视频包提供到视频重放单元以用于以视频速率V (t) 306播放视频。取决于瞬时网络速率305，用视频包302、303、304填充缓冲器301，直到达到视频客户端中的缓冲器大小b 307为止。当将缓冲器填充到缓冲器大小b时，视频客户端开始以视频速率306播放视频。如果瞬时网络速率305大于视频速率306，那么缓冲器301被填充视频包302、303、304。如果视频速率306大于瞬时网络速率305，那么缓冲器301耗尽且最终可变成空的，从而致使视频在客户端显示器上停止。缓冲器大小b可形成对在视频开始重放或在冻结之后重新开始重放之前应缓冲多少的最小值约束。如果缓冲器大小b已经被填充有包，那么客户端仍可根据瞬时网络速率在网络包到达时存储所述网络包，因而增大缓冲器中可得的包的量。缓冲器大小b可用作输入参数。
视频分辨率V (t)和r(t)与端到端通信路径相关。形成客户端能力的实施方案的显示器屏幕分辨率可从其它接口和网络节点或数据库检索。参数r(t)为瞬时网络速率且可通过观测和监视视频会话的包来获得。V (t)为视频速率，即位速率，且可通过对视频会话的第一包进行DPI来获得。v(t)为含有所述视频的视频文件的一些包中的视频元数据中所包括的参数。
图4展示说明根据一种实施形式的缓冲器301的加载和卸载的图。
根据一种实施形式，缓冲器301不具有上限。因此，即使网络速率高于视频速率， 仍可加载包并将其存储于不断增大的缓冲器中。缓冲器大小b可表示为了使视频开始重放而必须下载的最小数据量。
监视装置内部的缓冲器仿真器或缓冲器模型为至关重要的计算元件，其可评价网络状态对属于视频会话的包的传输过程的影响。用于缓冲器仿真器或缓冲器模型的输入参数为缓冲器大小b、提供到视频会话的瞬时网络速率和视频文件的视频速率或位速率，如从图3可见。仿真器的内部计算可基于这些参数来预测i)在播放器开始显示视频信息之前的初始缓冲时间，ii)视频归因于缓冲器下溢而在屏幕上冻结所在的时间，以及iii)重新填充缓冲器且恢复重放所花费的时间。
图4展示根据一种实施形式的如图3所描绘的缓冲器模型的性能图。虚线表示根据瞬时网络速率的视频包的传入速率。实线表示播放器以视频速率对视频信息的消费以及视频信息在用户屏幕上的对应显示。tl表示在视频开始显示之前播放器缓冲器得以填充到水平b的初始缓冲时间。t2表示在发生缓冲器下溢时的时间。视频重放停止，播放器尝试将缓冲器重新填充到水平b，之后重新开始显示视频。缓冲器在时间t3处得以重新填充，且视频在用户屏幕上继续。在t2与t3之间的间隔中，用户经历屏幕上的视频冻结。
所述图说明两个数据速率，第一数据速率为由虚线说明的瞬时网络速率405，第二数据速率为由实线说明的视频速率406。瞬时网络速率405r(t)可由视频客户端与视频服务器之间的以下消息捕获，且视频速率406v(t)可从视频文件的第一包捕获。在初始缓冲的从O到&的第一时间间隔期间，以瞬时网络速率405用视频包填充缓冲器。在此时间间隔期间，在视频客户端中不存在视频重放。在时间^处，用视频包将缓冲器填充到缓冲器大小b407，且视频客户端开始重放。在第二时间间隔h到t2期间，实线406说明视频以视频速率在用户屏幕上的连续播放。在此时间间隔期间，以瞬时网络速率405从网络接收数据包。然而，从所述图式可见，瞬时网络速率405小于视频速率406，从而导致缓冲器耗尽，使得在时间t2处，缓冲器为空且没有更多包可用于重放。因此，在时间t2处，视频播放停止。 缓冲器必须在从时间t2到时间t3的第三时间间隔处再次填充，在所述时间间隔中视频客户端不播放视频。在时间t3处，已由网络以瞬时网络速率传递足够的视频包将缓冲器填充到缓冲器大小407。接着，视频客户端恢复播放视频。
从所述图式可见，如果网络速率405大于视频重放速率406，那么视频客户端连续地播放视频。然而，如果网络速率405小于视频速率，那么缓冲器正耗尽，直到其成为空为止，且视频播放停止。图5中呈现根据一种实施形式的用于缓冲器的缓冲器模型。
根据一些实施例，根据泄漏桶原理来执行时间tl、t2和t3的计算，且在图5中显示所述计算。
图5展示根据一种实施形式 的用于计算如图3中所描绘的缓冲器模型的性能的等式系统。
如先前所提及，参数r(t)为瞬时网络速率，且可通过观测和监视会话服务器的包来获得。v(t)为视频速率，即比特速率，且可通过对视频会话的第一包进行DPI来获得。 v(t)为含有所述视频的视频文件的第一包中的视频元数据中所包括的参数，b为缓冲器大小，其用作输入参数或通过评估从视频客户端上的客户端应用程序接收的客户端能力信息来获得。基于此模型和计算，监视装置能够预测用户播放器必须重新缓冲的次数和这些重新缓冲间隔的持续时间以便评价用户的体验质量。
缓冲器模型为缓冲器301建模，其填充水平在图4中描绘。通过相对于时间t使用最小自变量来计算填充缓冲器所需要的时间h，针对其从O到h积分的r (t)的积分大于 v(t)与b的乘积，其中r(t)为瞬时网络速率，v(t)为视频速率，且b为缓冲器大小。r(t) 对应于图4的瞬时网络速率405，V (t)对应于图4的视频速率406，且b对应于图4的缓冲器大小407。通过相对于时间t使用最小自变量来计算时间t2，针对其从O到t2积分的r (t) 的积分小于从h到t2积分的v(t)的积分。通过第三等式来计算在从t2到t3的时间间隔期间以瞬时网络速率对缓冲器的重新填充。通过相对于时间t使用最小自变量来计算时间 t3，针对其从&到&积分的r(t)的积分大于v(t)与b的乘积。在第三时间间隔期间，以瞬时网络速率r(t)重新填充缓冲器，直到达到缓冲器大小b为止。
图6展示根据一种实施形式的包括监视装置的端到端通信路径的框图。明确地说，图6仅描绘一种类型的通信网络(LTE/EPC移动网络)的协议堆栈的实例。然而，应注意，本文中所描述的方面和实施形式同样也适用于其它网络。
监视装置607放置于服务提供商606的视频服务器与视频客户端601之间。服务提供商606的视频服务器在因特网中的服务提供商内实施，且实施协议堆栈L1/L2上IP上 TCP上HTTP，其中视频客户端在用户设备601内实施，其实施协议堆栈LI上MAC上RLC上 PDCP上IP上TCP上HTTP。监视装置607放置于视频服务器与视频客户端之间的端到端通信路径处，且与视频服务器和视频客户端的TCP层接触并与HTTP层接触。在端到端通信路径中，存在大量中间网络节点，其为E-UTRAN装置602、路由器603、服务网关604和包数据网络(TON)网关605。E-UTRAN装置602在连接到用户设备601时实施协议堆栈LI上MAC 上RLC上PDCP，且在连接到路由器603时实施协议堆栈L1/L2上IP上UDP上GTP-U。两个连接均通过中继器来中继。路由器603实施协议堆栈L1/L2上IP，且连接到E-UTRAN装置 602和服务网关604。服务网关604在连接到E-UTRAN装置602和TON网关605时实施协议堆栈L1/L2上IP上UDP上GTP-U，两个连接均通过中继器来中继。服务网关604的IP堆栈与路由器603的IP堆栈连接。包数据网络网关605实施协议堆栈L1/L2上IP上UDP上 GTP-U上IP，其中其上层IP堆栈与服务提供商606的IP堆栈连接且与用户设备601的IP 堆栈连接。另外，其L1/L2堆栈与服务提供商606的L1/L2堆栈连接。根据此实施形式，监视装置607为网络探测器(DPI)，其放置于服务提供商606的视频服务器与视频客户端601 之间。
根据一些实施形式，监视装置可在图6所描绘的网络节点中的每一者中实施，即在E-UTRAN 602中、在路由器603中、在服务网关604中以及在包数据网络网关 605中实施。
根据一些实施形式，监视装置607在服务提供商606的视频服务器中且/或在用户设备601中实施。
根据一些实施形式，监视装置607经配置以从服务提供商606的视频服务器捕获视频分辨率信息且经配置以分别从用户设备或视频客户端捕获客户端显示器分辨率信息。
根据一些实施形式，用户设备仅针对图6中的LTE/EPC网络实施此协议堆栈。也可构想与其它通信网络有关的其它协议堆栈，例如连接到固定网络的膝上型计算机将具有协议堆栈HTTP/TCP/IP/L2/L1，其中LI和L2为层I和层2协议且由TCP/IP通信范例概括。 LI和L2可为用于根据OSI模型的层I和层2通信的任何协议。
根据一种实施形式，监视装置为放置于TCP/HTTP层级处以监视HTTP视频流会话的网络监视探测器。根据一种实施形式，端到端通信路径在视频服务器与接入LTE网络的移动客户端之间。监视装置/网络探测器接入TCP层且可放置在通信路径的任何地方，包括放置于最终装置处。
TCP在应用程序与因特网协议(IP)之间的中间层级处提供通信服务。也就是说， 当例如视频客户端等应用程序需要使用IP跨越因特网发送大块数据而非将数据分解为若干IP大小片且发布一系列IP请求时，软件可向TCP发布单个请求且让TCP处置IP细节。
IP通过交换称为包的信息片来工作。包为八位字节序列且由标头后面加上主体来构成。标头描述包的目的地，且任选地，描述待用以转发直到其到达其目的地的路由器。主体含有IP正在传输的数据。
归因于网络拥塞、业务负荷平衡或其它无法预测的网络行为，IP包可能会发生丢失、复制或无序传递。TCP检测到这些问题，请求重新传输丢失数据，重新布置无序数据，且甚至帮助将网络拥塞减到最小以减少其它问题的发生。一旦TCP接收器已重新组合了原始传输的八位字节序列，其即刻将它们传到应用程序。因此，TCP从底层连网细节提取应用程序的通信。因此，根据多种实施形式的监视装置的数据接口可连接到TCP层而不必担心下部协议层中的传输。
TCP经优化以实现准确传递而非及时传递，且因此，TCP在等待无序消息或丢失消息的重新传输时有时引发大约几秒的相对较长的延迟。其并不特别适合于例如IP语音等实时应用。对于此类应用来说，通常改为推荐如在用户数据报协议(UDP)上方运行实时输送协议(RTP)等协议。根据替代实施形式的监视装置的数据接口连接到UDP层或RTP层。 因此，其可应用于IP语音应用。
根据一些实施形式，监视装置用于使用HTTP层的HTTP视频流监视系统。超文本传送协议(HTTP)为用于分布式、合作、超媒体信息系统的连网协议。HTTP为用于万维网的数据通信的基础。根据一种实施形式，定义HTTP/1.1的RFC 2616用作HTTP协议的版本。
HTTP为在因特网协议族的框架内设计的应用层协议。协议定义假设用于主机到主机数据传送的可靠输送层协议。传输控制协议(TCP)为出于此目的而使用的主要协议。根据多种实施形式，监视装置的数据接口经配置以连接到视频服务器与视频客户端之间的在 TCP层处的端到端通信路径。然而，HTTP甚至适用于不可靠的协议，例如在例如简单服务发现协议(SSDP)等方法中的用户数据报协议(UDP)。根据多种实施形式，监视装置的数据接口经配置以连接到视频服务器与视频客户端之间的在UDP层处的端到端通信路径。
HTTP/1.1可多次重新使用连接来下载例如刚刚传递的页面的图像。根据多种实施形式，监视装置的数据接口经配置以连接到视频服务器与视频客户端之间的在HTTP层处的端到端通信路径，以便多次重新使用连接。因此，根据多种实施形式的监视装置经历较少等待时 间，因为TCP连接的建立呈现相当可观的开销。
HTTP充当客户端-服务器计算模型中的请求-响应协议。在HTTP中，举例来说， 网络浏览器充当根据第一方面的实施形式的视频客户端，而在托管网站的计算机上运行的应用程序充当根据第一方面的实施形式的视频服务器。视频客户端向视频服务器提交HTTP请求消息。存储内容或提供例如HTML文件等资源或代表视频客户端执行其它功能的视频服务器向视频客户端返回响应消息。响应中含有关于所述请求的完成状态信息，且可在其消息主体中含有视频客户端所请求的任何内容。根据一些实施形式，视频客户端被称为用户代理(UA)或网络浏览器或网络爬行器。
HTTP协议经设计以准许中间网络元件改进或实现客户端与服务器之间的通信。根据多种实施形式，监视装置放置于客户端或服务器或任何中间网络元件中。高业务网站通常受益于网络高速缓存服务器，其代表原始的所谓起源服务器传递内容以改进响应时间。 根据多种实施形式，监视装置放置于起源服务器中。位于网络边界处的HTTP代理服务器在不具有可全局路由的地址的客户端位于专用网络中时通过在客户端与服务器之间中继所述请求和响应来促进通信。根据多种实施形式，监视装置放置于HTTP代理服务器中。
根据第一方面的第九实施形式，每个会话的体验质量(QoE)估算如下计算。
QoE (会话)=max (QoEmin, KQI 1*KQI2_KQI3*KQI4*KQI5)，
其中KQI (关键质量指示符)经定义为KQI1 =视频质量匹配因子(fI (rj)，KQI2 =会话标准化播放时间，KQI3 =会话停止持续时间降级因子(f2(t)), KQI4 =会话标准化总停止时间，且KQI5 =会话停止次数降级因子(f3(x))。
所介绍的公式计算视频会话的用户感知质量的质量评价度量，其并入有三个主要因子。首先，可考虑视频分辨率与屏幕分辨率之间的匹配(KQIl)。视频分辨率越接近屏幕分辨率，实现的感知用户质量就越高。接着，考虑用户在视频重放期间感知为停止时间的总持续时间(KQI3)，其中停止时间减少，用户所感知的视频质量就会提高。最后，考虑在视频重放期间的停止事件的数目(KQI5)。视频在重放期间停止的次数越少，最终用户对视频的感知质量就越高。将所述因子与用户在重放模式(KQI2)和停止模式(KQI4)中花费的时间占总会话时间的百分比相乘。在播放模式中所花费的时间越长且在停止模式中所花费的时间越短,感知用户质量就越高。
参数KQI1，即视频质量匹配因子f Uri),使用屏幕和视频分辨率作为用于基础质量计算函数的输入参数。所述KQI需要关于用于所述会话的视频分辨率的信息，其可通过对视频文件的初始包进行深度包检测(DPI)来获得，那些初始包含有视频元数据。所述KQI 还需要关于用户屏幕分辨率的信息，其可通过与其它网络管理系统和数据库中可得的装置能力信息相关或通过经由网络进行信令来获得。此KQIl测量视频分辨率与屏幕分辨率之间的匹配。用户屏幕上的视频分辨率不能大于屏幕分辨率。即使视频分辨率大于屏幕分辨率，客户端视频播放器中的播放引擎也将按比例缩小视频分辨率以匹配屏幕分辨率。在多种实施形式中，在HSS-归属用户系统中或在MME-移动性管理实体中可获得含有屏幕分辨率信息的装置能力信息。在多种实施形式中，通过移动网络或任何其它网络执行相应信令， 且此网络可不同于包含视频服务器与视频客户端之间的端到端通信路径的网络。
表I KQI1 计算
权利要求
1.一种用于在数据网络中监视提供视频文件的视频服务器(105)与播放所述视频文件的视频客户端(104)之间的视频会话的监视装置(101)，其包含数据接口(102)，其经配置以连接到所述视频服务器(105)与所述视频客户端(104)之间的端到端通信路径且经配置以捕获视频分辨率信息并取回客户端屏幕分辨率信息；以及确定单元(103)，其经配置以基于所述视频分辨率信息、基于所述客户端屏幕分辨率信息且基于缓冲器模型来确定所述视频会话的质量测量，所述缓冲器模型为所述视频客户端(104)中的接收缓冲器(301)的填充水平建模，所述接收缓冲器(301)经配置以在播放所述视频文件之前缓冲所述视频文件。
2.根据权利要求1所述的监视装置(101)，其中所述数据接口(102)包含用于捕获所述视频分辨率信息的第一接口单元，明确地说，探测器；以及用于经由通信网络从网络节点取回所述客户端屏幕分辨率信息的第二接口单元，所述网络节点明确地说为归属用户服务器或移动性管理实体或设备身份寄存器。
3.根据权利要求1或2所述的监视装置(101)，其中所述数据接口(102)经配置以从与所述视频文件关联的视频文件元数据捕获所述视频分辨率信息。
4.根据前述权利要求中任一权利要求所述的监视装置(101)，其中所述客户端屏幕分辨率信息指示所述视频客户端的显示器的本征分辨率，且其中所述视频分辨率信息指示所述视频文件的编码分辨率。
5.根据前述权利要求中任一权利要求所述的监视装置(101)，其中所述质量测量取决于视频质量匹配因子，所述视频质量匹配因子经确定为所述视频分辨率信息中所包括的所述视频文件的视频分辨率与所述客户端能力信息中所包括的所述视频客户端的显示器的最大屏幕分辨率的相关性。
6.根据前述权利要求中任一权利要求所述的监视装置(101)，其中所述质量测量取决于会话标准化播放时间，所述会话标准化播放时间经确定为由所述视频会话的持续时间标准化的所述视频会话的总播放时间。
7.根据前述权利要求中任一权利要求所述的监视装置(101)，其中所述质量测量取决于会话停止持续时间降级因子，所述会话停止持续时间降级因子经确定为所述视频会话的平均停止持续时间与所述视频会话的停止的发生频率的函数，其中使用所述缓冲器模型来确定所述视频会话的所述停止持续时间。
8.根据前述权利要求中任一权利要求所述的监视装置(101)，其中所述质量测量取决于会话标准化总停止时间，所述会话标准化总停止时间经确定为由所述视频会话的持续时间标准化的所述视频会话的累积停止时间。
9.根据前述权利要求中任一权利要求所述的监视装置(101)，其中所述质量测量取决于会话停止次数降级因子，所述会话停止次数降级因子经确定为所述视频会话期间的平均停止次数的函数。
10.根据权利要求5到9中任一权利要求所述的监视装置(101)，其中所述质量测量 QoE取决于公式QoE = max(QoEmin, KQI1*KQI2_KQI3*KQI4*KQI5)，其中QoEmin为所述质量测量的最小限值,KQIl为所述视频质量匹配因子,KQI2为所述会话标准化播放时间，KQI3为所述会话停止持续时间降级因子，KQI4为所述会话标准化总停止时间，且KQI5为所述会话停止次数降级因子。
11.根据前述权利要求中任一权利要求所述的监视装置(101)，其中所述缓冲器模型取决于由所述视频客户端(104)与所述视频服务器(105)之间的以下消息计算的瞬时网络速率r (t)，且其中所述缓冲器模型取决于从所述视频文件的包的元数据捕获的视频速率 V (t),所述包明确地说为第一包。
12.根据前述权利要求中任一权利要求所述的监视装置(101)，其中所述数据接口(102)经配置以通过经由所述数据网络进行信令或通过使所述数据网络的网络管理系统和数据库中可得的装置能力信息相关来取回所述客户端屏幕分辨率信息。
13.根据前述权利要求中任一权利要求所述的监视装置(101)，其中所述确定单元(103)经配置以确定视频会话群组的一个质量测量，所述质量测量表示所述视频会话群组的平均质量。
14.根据权利要求13所述的监视装置(101)，其中所述视频会话群组包含一个视频服务器(105)与多个视频客户端(104)之间的视频会话、一个视频服务器(105)与一个视频客户端(104)之间的多个视频会话以及多个视频服务器(105)与多个视频客户端(104)之间的视频会话。
15.根据前述权利要求中任一权利要求所述的监视装置(101)，其中所述数据网络为 TCP/IP网络，且所述数据接口(102)经配置以连接到所述TCP/IP网络的TCP层。
16.根据前述权利要求所述的监视装置(101)，其中所述数据接口(102)为视频服务器(105)、所述视频客户端(104)、中间网络节点或放置于所述数据网络的所述端到端通信路径中的额外中间网络节点的元件。
17.一种用于在数据网络中监视提供视频文件的视频服务器(105)与播放所述视频文件的视频客户端(104)之间的视频会话的方法，其包含连接(201)到所述视频服务器(105)与所述视频客户端(104)之间的端到端通信路径，且捕获视频分辨率信息并取回客户端屏幕分辨率信息；以及基于所述视频分辨率信息、基于所述客户端屏幕分辨率信息且基于缓冲器模型来确定 (202)所述视频会话的质量测量，所述缓冲器模型为所述视频客户端(104)中的接收缓冲器(301)的填充水平建模，所述接收缓冲器(301)经配置以在播放所述视频文件之前缓冲所述视频文件。
18.一种用于在数据网络中监视提供视频文件的视频服务器(105)与播放所述视频文件的视频客户端(104)之间的视频会话的计算机程序产品，其包含数据接口(102)，其经配置以连接到所述视频服务器(105)与所述视频客户端(104)之间的端到端通信路径，且经配置以捕获视频分辨率信息并取回客户端屏幕分辨率信息；以及软件模块(103)，其经配置以基于所述视频分辨率信息、基于所述客户端屏幕分辨率信息且基于缓冲器模型来确定所述视频会话的质量测量，所述缓冲器模型为所述视频客户端(104)中的接收缓冲器(301)的填充水平建模，所述接收缓冲器(301)经配置以在播放所述视频文件之前缓冲所述视频文件。
19.根据权利要求18所述的计算机程序产品，其经配置以作为终端代理软件在最终用户装置(601、606)中运行或作为网络探测器(607)在网络接口(602、603、604、605)上运行。
全文摘要
本发明涉及一种用于在数据网络中监视提供视频文件的视频服务器(105)与播放所述视频文件的视频客户端(104)之间的视频会话的监视装置(101)，其包含数据接口(102)，其经配置以连接到所述视频服务器(105)与所述视频客户端(104)之间的端到端通信路径且经配置以捕获视频分辨率信息并取回客户端屏幕分辨率信息；以及确定单元(103)，其经配置以基于所述视频分辨率信息、基于所述客户端屏幕分辨率信息且基于缓冲器模型来确定所述视频会话的质量测量，所述缓冲器模型为所述视频客户端(104)中的接收缓冲器(301)的填充水平建模，所述接收缓冲器(301)经配置以在播放所述视频文件之前缓冲所述视频文件。
文档编号H04N17/00GK103039085SQ201180002783
公开日2013年4月10日 申请日期2011年6月7日 优先权日2011年6月7日
发明者马丁·亚当斯, 丹·朱卡, 瑞纳德·卡尼, 西格·贝克尔 申请人:华为技术有限公司