专利名称：用于测量传输链上的音频和视频比特流传输的质量的方法和系统的制作方法
技术领域：
本发明涉及音频和视频比特流传输的质量测量。
背景技术：
音频流和视频流通常被编码成所谓的基本码流(ES)。随后，音频基本码流和视频基本码流被打包成互联网协议(IP)数据包。基本上，现有技术支持不同格式。最先进的面向比特流的质量评估方法分析比特流的IP数据包，并获取所估计的质量测量，诸如反映流的音频-视频质量的平均意见评分(M0S)。为此，通常对用于音频和视频的基本码流解多路复用。在其他步骤中，从用于音频和视频的比特流中提取质量相关参数。最后，使用数学模型从所提取的关于音频和视频的参数计算质量测量或者计算中间质量测量，以汇集成整体视觉质量估计。IPTV系统通常设置汇聚和准备对于所有TV频道的流的前端。所准备的流被分配给树状网络结构中的用户。关于单个TV频道，所有用户原则上接收相同的流。仅传输可能引起流的特定变化(例如，数据包丢失)，这可能对质量产生影响。
发明内容
本发明的目标是提供一种支持计算和估计由IPTV比特流的用户感知的质量的质量测量方法和系统。利用权利要求的特征来实现该目标。一般来说，本发明提供了一种支持对传输链中的一个或多个任意点进行质量估计的中心质量监测方法和系统。一个或多个数据包丢失检测器被置于传输链中，以向前端报告关于特定传输链路的丢失的数据包。以此方式，例如，可计算(即，估计)被单个用户接收的关于每个流的质量。因此，本发明提供了一种测量在传输链上的音频和视频比特流传输的质量的方法，该方法包括:a)沿所述传输链设置一个或多个测量检测器；b)利用所述一个或多个测量检测器检测在一个或多个测量点处的比特流数据包的丢失；c)确定用于每个检测到的丢失数据包的唯一标识符；d)每个测量检测器将丢失数据包标识符的列表发送至中心监测系统；e)在所述中心监测系统，根据所存储的无错误流和基于所接收的丢失数据包标识符来构造针对每个测量点的模拟流；以及f)评估所述模拟流以获取针对沿所述传输链的每个测量点的质量分数。代替在所选监测点从IP流提取和直接测量质量相关参数，测量单元仅检测在一个或多个所选测量点处的数据包丢失。同样采用对于每个数据包的唯一标识符(即，标识符对于每个数据包是唯一的)来标注每个丢失数据包。在下一步骤中，具有丢失数据包的标识符的列表的消息被发送至设置在整个系统的前端的中心监测系统。中心监测系统接收具有丢失数据包的标识符的列表，并使用该列表从先前存储在中心监测系统中的无错误流与丢失数据包的列表相结合来构造精确示出与在特定监测点处监测的传输流具有相同错误行为的流(即，模拟流)。随后，评估该模拟流，以利用基本的目标质量评估方法来获得MOS。步骤f)还可包括通过将编码器的输入处的信号与所述编码器的输出处的信号进行比较来估计编码过程的质量的步骤。根据本发明的可选实施方式，步骤e)和步骤f)被以下步骤替换:el’)从所述无错误流中提取一组参数或另一质量相关表示，e2’)基于所述丢失数据包标识符的列表来修改所提取的所述组参数或表示，以及f’ )评估经修改的参数组或流表示以获取针对沿所述传输链的传输的质量分数。从RTP时间戳和数据包编号来提取丢失数据包的唯一标识符。优选地，用于MPEG-2传输流数据包的附加唯一标识符被定义为由显示时间戳、附加计数器和连续计数器组成或者从显示时间戳、附加计数器和连续计数器获取。还优选地，映射表被用于从丢失RTP数据包的信息获取有关丢失的RTP和MPEG-2传输流数据包的信息，即，将丢失RTP数据包的标识符映射到丢失MPEG-2传输流数据包。音频和视频质量的估计可根据本领域中公知的方法来执行，包括用于根据参考文献[I]、[2]、[5]、[3]、[8]中的任一个来估计视听质量的方法，将所有这些方法结合于此供参考。质量测量系统或方法一般根据所采用的质量模型类型来分类，该质量模型类型与所需输入信息的特定类型和格式相关。在测量系统中使用的质量模型可归属于以下的用于音频、视频两者或视听质量估计的类型中的一个:全基准型(FR):需要基准信号；简化:需要从源信号中提取的部分信息；或者无基准型(NR):不需要基准信号。相应模型输入信息可归属于以下类型中的一个:基于信号/媒体的:需要解码视频(像素信息)和解码音频；或基于参数的:需要比特流级信息。信息的范围可从数据包头信息(需要解析数据包头但不需要(完全或部分)解码比特流)到完全解码的比特流。中心监测系统可采用所有提及的模型类型，因为基准信号以及未加密的编码流在中心监测系统所在的前端可用。因此，可设想该系统的不同实施方式。对于基于全基准型质量模型的实现而言，需要缓冲未压缩流和压缩流以用于后续的质量分析处理。对于音频流，可应用质量模型类型PEAQ[1]，以及对于视频流，可应用质量模型PEVQ [2]或类似模型。对于基于无基准型质量模型的实施方式，仅需要缓冲和处理压缩流。已提出了不同的无基准型质量模型，例如，参见[3]。目前正根据标准来开发ITU-T，其也被称为P.NAMS(基于数据包头的质量预测)和P.NBAMS (基于比特流的质量预测)[4]。在根据该情况的本发明的实施方式中，对于每个用户，可在中心监测位置获得反映由她/他的机顶盒播放的错误流的流。使用相应的数据包头或基于比特流的质量监测方法，可获得针对相应用户的质量估计。当信号通过编码器时，例如在前端，还可即时执行对于质量分析所需的未压缩流和压缩流的处理的主要部分。这里的优势在于，将仅需要缓冲分析的某些中间结果。例如，在本发明的一种优选实施方式中，使用质量模型在由于编码的质量影响与由于传输的质量影响(例如，在数据包丢失的情况下)之间进行区分。这里，编码对质量的影响可被直接获取，且基于从相应测量点接收的信息来计算丢失对质量的影响。在本发明的可选实施方式中，信息可由一组从完整流中获取的参数组成，并基于端点信息或测量点信息来校正该参数组。例如，这些参数可以是丢失可能性、给定时间帧内的丢失校正、成行丢失的数据包数量、恶化持续时间(即，数据包丢失相关的伪象将持续的时间)、或其他类似参数。其他更多的比特流相关参数可以是:对于视频为丢失片段的位置或索引、帧类型、剩余能量(即，变换系数的平方和)、运动矢量的平均和最大量(和相位)、用于宏模块间的分区的平均数和最大数、丢失宏模块的均方误差估计、或在因丢失影响的宏模块数量方面的空间范围；对于音频而言，实例性参数是受影响的音频帧的索引、其频谱-时间内容的描述符-例如，给出有关受影响部分的谐波结构的信息，或者包括有关其是否包括诸如起始的关键信息的信息。在参数编解码器的情况中，可使用编解码器特定信息，诸如所包括的比特的比特种类。在可选实施方式中，可根据信号相关的简化基准型来表示音频和视频有效载荷信息，其中，可以考虑更多内容特定的方面。这里，所需存储容量将低于存储整个未退化流的情况，但可期望模型预测比纯参数方法的情况更精确。关于该简化基准型质量模型的一个实例是标准化为J.246[5]的质量模型。根据本发明的优选实施方式，可应用以上所述的质量模型的组合。可使用基于信号/媒体的特征以及基于数据包头或基于比特流的特征，以产生所谓的混合质量模型(参见[6])。期望基于比特流信息和播放器输出两者的模型的优势来产生最佳可行的质量估计性能。根据本发明的集中式的质量测量方法提供了几种优势:-根据本发明的系统需要仅在一种实例中(S卩，在中心监测系统)的质量分析单元。因此，其可具有最高复杂性，并因此将允许最佳可行的质量估计。-若质量分析单元位于前端中，则也可考虑入站信号或源信号。如本文中先前所述，这能实现利用入站信号或源信号作为基准信号来应用所谓的全基准型质量估计算法。在本发明的相应实施方式的情况下，考虑到内容特性，将经修改的流与该基准信号相比较，以更好地估计编码和压缩处理的质量。-在许多实施中，基于比特流或基于数据包头的质量评估方法利用至少两项来计算音频或视频质量MOS:—项描述了编码和压缩阶段的质量影响。第二项考虑由于传输错误而产生的影响。在本发明的相应实施方式的情况下，对第一项的分析和计算仅需进行一次，因为相同的TV流被传送给多个用户。然而，该编码减损估计将适用于所有观看相应频道的用户。在本发明的该实施方式中，沿传输线路的某处或者在用户的STB处，对于每个监测点单独计算估计由于IP传输的质量影响的第二项。这允许整个计算负荷被显著降低。-可通过在中心位置应用简化基准型而不是全基准型以及应用相应的质量模型来降低所需存储容量。-可实现利用可位于中心位置的混合质量模型的质量评估，从而允许由单个观察者感知的质量被近乎从观察者的视角来准确评估。-所需的数据包丢失检测器非常简单，且因此将数据包丢失检测器放置在沿传输链的任何类型的位置(例如，也在每个机顶盒中)所产生的成本非常低。-流的质量分析可基于在前端可用的未加密流。在编码之后加密流。仅接收加密流的其他质量模型在系统上表现出较低性能。根据上述发明内容以及根据后续描述且包括附图和权利要求，其他方面、特征和优势将变得显而易见。
具体实施例方式以下描述聚焦于利用MPEG-2传输流的多媒体传输，但本发明还适用于其他流格式。
图1示出了 IPTV系统的典型实例。入站音频和视频流101适应于在使用标准化音频和视频编解码器的编码器侧的传送比特率。在该实例中，输出比特流被多路复用成MPEG-2传输流(TS)，并被打包成用户数据报协议(UDP)数据包(由图1中的单元111生成的102)。所谓的采集服务器(A-服务器112)按照传送所需来调整该流。在A-服务器中，加密传输流数据包，并将其打包成实时传输协议(RTP)数据包103。来自A-服务器的输出流在核心网络上被分配给特定的分布式服务器(D-服务器)(图中未示出)。D-服务器提供用于在错误情况下快速改变信道和重发的机制。特定路由器，动态源路由器(DSR 113)，被用于通过能实现多播的分层汇聚网络来分配TV信道。对于重发数据包和快速信道切换，使用单播传送。在用户端，由DSL调制解调器和互联网访问装置(IAD 114)来提供访问。IAD连接至机顶盒(STB 115)。机顶盒包括用于最终解码音频和视频信号的媒体播放器。根据本发明的中心质量监测方法/系统允许估计整个IPTV系统的质量。根据图1所示的示例性实施方式的中心质量监测系统包括质量分析单元(QA 199)、数据包映射器单元(PM 117)、多个数据包丢失检测器(PLD116)和质量测量管理单元(QMM 110)。质量分析单元在编码器的输出与采集服务器的输入之间获取流102。在传输链的这一点处，假设流仍是无错误的。此外，在明确的基准型或简化基准型的情况下，可考虑输入流101，如图1中由虚线所示。无错误流102被存储在质量分析单元的缓冲器中一定时间，使得可在后续用于质量评估的阶段使用，如下文所描述。存储在缓冲器中的数据根据用于所传输的流的打包被组织在数据包序列中。根据本发明的该实施方式，每个数据包标记有唯一的数据包标识符。利用针对给定测量点105接收的数据包丢失信息，在中心监测位置生成针对相应用户的流。在本发明的优选实施方式中，用于音频和视频压缩的质量估计仅计算一次。该计算对应于无丢失的传输。该计算可被重复用于针对各个监测点计算质量，因为所有用户接收相同的编码信号。对于各单个监测点，由于传输而产生的质量影响可以是不同的，因为对于不同用户的数据包丢失事件通常性质不同，且取决于网络中出现数据包丢失事件的位置。因此，对于每个监测点需要单独计算传输质量107。这通过考虑所报告的丢失数据包标识符的列表连同缓冲的无错误流来实现。根据本发明，对丢失的流部分的了解被用于精确确定受损的流看上去或听起来如何。最后，将描述由于编码的质量的无丢失质量估计与由不同监测点提供的单个分析相结合，例如，可计算系统中的对于每个最终用户的MOS 107。诸如T-V-Model算法的质量估计模型可被用于计算MOS值[8]。
假如不分别考虑编码和传输影响，则从所获得的错误信息和初始源流生成的用户特定流直接被用作关于音频、视频和/或视听质量模型的输入，其中，该模型可归属于先前描述的质量模型类型的任何一个。以上所述的唯一数据包标识符还被用于数据包映射器单元。某些打包和加密解决方案需要特定的映射解决方案。以下描述针对m)P和RTPMPEG传输流的解决方案。该解决方案还支持加密流，因为可提供加密数据包到未加密数据包的映射。注意，在本发明的可选实施方式中，中心监测解决方案可仅直接在A-服务器访问产生的RTP数据包之后获取无错误的流。然而，在该情况下，将不能访问加密有效载荷，且仅使用头信息的质量模型是可行的。在下文中，我们将聚焦于原则上能够访问有效载荷并由此可利用更复杂和因此更精确的质量模型类型的本发明的实施方式。如先前所述，图1中所示的A-服务器112加密流并将数据包存储在RTP数据包103中。A-服务器接收基于UDP的传输流。重新排序传输流数据包并加密传输流有效载荷。随后，几个传输流数据包被捆绑成一个RTP数据包。数据包映射器单元支持RTP数据包中的加密的传输流数据包到未加密的UDP数据包中的传输流数据包的映射。映射系统生成最终允许确定未加密流的哪个传输流数据包已丢失的描述。针对RTP传输流数据包到原始传输流数据包的映射系统需要针对传输流数据包的唯一标识符。除多播地址、程序标识符和对于整个流恒定的流标识符(PID)之外，MPEG-2传输流提供在每个打包的基本码流(PES)帧的边界改变的显示时间戳(PTS)。此外，提供4位连续计数器CC，其从一个传输流数据包递增到下一个传输流数据包。正如这是可能的，PES帧包括多于16个数据包 并由此复位CC，所以需要另一计数器来从流获取唯一计数。假设额外的11位计数器AuxCnt将保证获取的对于传输流数据包的标识符是唯一的。根据优选实施方式，标识符具有以下格式。TsPcktId:PTS (33 位)，AuxCnt (11 位)，CC (4 位)假设数据包在获取TsPcktId时具有正确的顺序。标识符以映射TS数据包和RTP数据包的表格的形式被内部用于映射器。音频流和视频流的分析将与TsPcktId的序列相关。可通过考虑RTP时间戳和RTP序列号来唯一识别RTP数据包:RtpPcktId:RtpTimeStamp (32 位)，RtpSeqNr (16 位)在下一步骤中，分析哪个传输流数据包存在于哪个RTP数据包中。假设直接在A-服务器之后，数据包仍具有相同的顺序，且此时没有数据包丢失。该测量的结果被存储在以下形式的列表中:RtpTsMap:RtpPcktId, TsPckIdO, TsPckIdl,…，TsPckIdn该映射表明了哪个传输流数据包被包括在RTP数据包中。假如已检测到RTP数据包的丢失，则这些映射条目的流现在可被用于找出哪个传输流数据包已丢失。可在传输链中的几个位置提供一个或多个数据包丢失检测器116。示例性监测点是机顶盒115、互联网访问装置114、或在网络中的不同点，诸如D-服务器或DSR 113。其他监测点可位于汇聚网络的交换机处。优选地，丢失数据包检测位于机顶盒115处，因为这将最可能最符合呈现给最终用户的视频和声音。
可替代地，数据包丢失检测器可被实施在互联网访问装置114上或放置在互联网访问装置与机顶盒之间的额外的子系统上。这支持被期望几乎与在机顶盒中的实施一样精确的测量结果。用于监测多播流的质量的数据包丢失检测器优选位于传送链的每一级。然而，通过该选择无法确定针对单个用户的质量，因为在传输链的后期，其他数据包可能已丢失。此夕卜，系统中可能应用数据包重发机制，且随后将修改流量。检测重发请求的数据包丢失检测器优选有助于以网络中心方式估计针对单个机顶盒的质量。该数据包丢失检测器优选位于DSR的输出端。被请求进行重发的数据包可被视为丢失。可监测重发数据包。根据网络流量分析，可估计重发数据包将有多大可能及时到达机顶盒，并因此被视为重新存储。该信息可有助于获取质量参数，即使在最终未出现丢失的情况下。在丢失数据包周围良好接收的数据包可被用于估计错误传播的影响。然而，期望该数据包丢失检测器的可靠性低于位于机顶盒中的数据包丢失检测器的可靠性。例如，使用该方法无法检测到由于某些原因而未被请求重发的丢失数据包。以下描述优选如可被实施在机顶盒或互联网访问装置中的“轻权重”数据包丢失检测器。用于RTP传输流数据包的丢失检测器的实施包括以下步骤:-在互联网访问装置(114)内，监测每个入站RTPMPEG-2传输流数据包、单播和多播。-新RTPSSRC的出现调用新的监测跟踪。-在一段时间不活动之后，再停止监测跟踪。_不需要存储所有序列号。-仅丢失数据包的RtpPcktId需要被存储在列表中。当RTP序列号不连续时，检测到丢失的RTP数据包。-若丢失的序列数据包稍后到达，则再从列表中除去丢失的RtpPckId(例如，由于重发而到达)。-若丢失的数据包在一定时隙内未到达，则该数据包被标记为确定丢失。-可基于阈值或经中心监测服务器的要求周期性报告丢失数据包的列表。如何报告出现丢失的方式可被远程配置。该报告可使用RTCPXR协议[7]或其扩展版本。-通过重构如上所述的针对相应用户的传输流或者该传输流的缩减版或参数描述，中心监测系统使用这些报告来计算考虑之下的对于单个监测点的单个MOS值。质量测量管理单元110从一个或多个数据包丢失检测器收集丢失数据包消息以及其他相关信息，诸如监测点的位置。质量测量管理单元评估哪个传输流数据包已丢失。具体地，根据接收到的RTP数据包标识符,检索哪个传输流数据包已丢失。该信息被传递至质量分析单元。质量分析单元考虑有关丢失传输流数据包的信息，重构包括数据包丢失错误的模拟流，并计算单独的MOS结果和其他相关的质量测量。返回该信息并由质量测量管理单元来进一步处理该信息。质量测量管理单元提供用于总体上控制和管理中心监测系统的接口。尽管在附图和前述描述中已详细示出和描述了本发明，但该示出和描述应被视为是说明性或示例性的且并非限制性的。将理解，在所附权利要求的范围内，本领域技术人员可进行变更和修改。具体地，本发明涵盖了具有以上和以下描述的来自不同实施方式的特征的任何组合的其他实施方式。此外，在权利要求中，词语“包括”不排除其他元件或步骤，以及不定冠词“一个”或“一种”不排除多个。单个单元可实现权利要求中详述的一些特征的功能。与属性或值相联系的术语“基本上”、“约”、“近似”等也特别恰当地分别定义了属性或值。权利要求中的任何附图标记不应被解释为限定范围。参考文献列表(将所有文献结合于此供参考)[I]ITU-R Recommendation BS.1387:Method for objective measurements ofperceived audio quality (PEAQ).
[2]ITU-T Rec.J.247(08/08)Objective perceptual multimedia video qualitymeasurement in the presence of a full reference.
[3]欧洲专利申请第 20090244289 号；题为:AUD10_VISUAL QUALITY ESTIMATION.发明人:Sebastian Moeller, Alexander Raake，Marie-Neige Garcia.
[4]Akira Fakahashi^, Kazuhisa Yamagishi，and Ginga Kawagut1.RecentActivities of QoS/QoE Standardization in ITU-T SG12.NTT Technical Review.
[5]ITU-T Rec.J.246(08/08)Perceptual audiovisual quality measurementtechniques for multimedia services over digital cable television networks inthe presence of a reduced bandwidth reference.
[6] S.Winkler, P.Mohandas.The Evolution of Video QualityMeasurement:From PSNR to Hybrid Metrics.1EEE Trans.BroadcastingVol.54，N0.3，Sept.2008.
[7]IETF RFC 3611.RTP Control Protocol Extended Reports(RTCP XR).
[8] Raake, A.，Garcia, M._N.，Mdller3 S.，Berger, J.，Kling，F.，List, P.，Johann，J.，Heidemann，C.(2008), T-V-Model:Parameter-based Prediction of IPTVQuality,In:Proc.1nternational Con-ference on Acoustics,Speech,and SignalProcessing (ICASSP 2 008),USA-Las Vegas.
权利要求
1.一种测量在传输链上的打包音频和视频传输的质量的方法，所述方法包括: a)沿所述传输链设置一个或多个测量检测器； b)利用所述一个或多个测量检测器检测在一个或多个测量点处的比特流数据包的丢失; c)确定用于每个检测到的丢失数据包的唯一标识符； d)每个测量检测器将丢失数据包标识符的列表发送至中心监测系统； e)在所述中心监测系统，根据所存储的无错误流并基于所接收的丢失数据包标识符来构造针对每个测量点的模拟流；以及 f)评估所述模拟流以获取针对沿所述传输链的每个测量点的质量分数。
2.根据权利要求1所述的方法，其中，在所述中心监测系统，步骤e)和步骤f)被以下步骤替换:el’)从所述无错误流中提取一组参数，e2’ )基于所述丢失数据包标识符的列表来修改所提取的所述组参数，以及f ’ )评估经修改的参数组以获取针对沿所述传输链的传输的质量分数。
3.根据前述权利要求中任一项所述的方法，其中，步骤f)还包括通过将编码器的输入处的信号与所述编码器的输出处的信号进行比较来估计编码过程的质量的步骤。
4.根据前述权利要求中任一项所述的方法，其中，用于MPEG-2传输流数据包的唯一标识符被定义为由显示时间戳、附加计数器和连续计数器组成或者从显示时间戳、附加计数器和连续计数器获取。
5.根据前述权利要求中任一项所述的方法，其中，映射表从丢失RTP数据包的信息获取有关丢失的MPEG-2传输流数据包的信息。
6.一种用于测量在传输链上的音频和视频比特流传输的质量的系统，包括: 一个或多个测量检测器，沿所述传输链被设置，所述一个或多个测量检测器被配置为检测在一个或多个测量点处的比特流数据包的丢失，并确定用于每个所检测的丢失数据包的唯一标识符； 中心监测系统，从所述一个或多个测量检测器接收丢失数据包标识符的列表，所述中心监测系统被配置为根据所存储的无错误流和基于所接收的丢失数据包标识符来构造针对每个测量点的模拟流，并评估所述模拟流以获取针对沿所述传输链的每个测量点的质量分数。
7.一种用于测量在传输链上的音频和视频比特流传输的质量的系统，包括: 一个或多个测量检测器，沿所述传输链被设置，所述一个或多个测量检测器被配置为检测在一个或多个测量点处的比特流数据包的丢失，并确定用于每个所检测的丢失数据包的唯一标识符； 中心监测系统，从所述一个或多个测量检测器接收丢失数据包标识符的列表，所述中心监测系统被配置为从所存储的无错误流中提取一组参数，基于所述丢失数据包标识符的列表来修改所提取的所述组参数，以及评估经修改的参数组以获取针对沿所述传输链的传输的质量分数。
全文摘要
本发明提供了一种用于测量在传输链上的音频和视频流传输的质量的方法和系统。该方法包括以下步骤沿传输链设置一个或多个测量检测器；利用一个或多个测量检测器检测在一个或多个测量点处的数据包的丢失；确定用于每个检测到的丢失数据包的唯一标识符；将丢失数据包标识符的列表发送至中心监测系统；在中心监测系统，根据所存储的无错误流和基于所接收的丢失数据包标识符来构造模拟流；以及评估模拟流以获取针对沿传输链的传输的质量分数。本发明的可选实施方式使用存储在中心监测系统中的流的参数描述或其缩减版，利用从测量检测器接收的信息来校正或修改该参数描述或其缩减版。
文档编号H04L12/26GK103119895SQ201180044716
公开日2013年5月22日 申请日期2011年9月12日 优先权日2010年9月16日
发明者伯恩哈德·费坦恩, 萨瓦斯·阿伊罗普洛斯, 玛丽-内日·加西亚, 尼尔斯·勒德, 彼得·利斯特, 亚历山大·拉克, 乌尔夫·维斯藤汗根 申请人:德国电信股份有限公司