一种视频流质量监测方法及装置制造方法

一种视频流质量监测方法及装置制造方法
【专利摘要】本发明公开了一种视频流质量监测方法及装置。其中，该方法包括：获取网络侧的视频流信息；根据视频流信息，计算基准帧的质量评分，以及当前视频帧的编码质量评分；根据基准帧的质量评分、当前视频帧的编码质量评分、以及当前视频帧的编码类型，计算源编码质量评分；根据视频流信息，计算网络损伤评分；其中，网络损伤是由丢包以及时延抖动引起的视频流质量损伤；根据源编码质量评分和网络损伤评分，确定视频流的质量监测评分。通过本发明，解决了相关技术中网络侧视频流质量监测方法监测精度不高、实现较复杂的问题，准确反映出视频质量的动态变化，提高了视频流质量监测的准确度，复杂度不高，能很方便地应用于网络侧视频质量实时监测环境中。
【专利说明】一种视频流质量监测方法及装置
【技术领域】
[0001]本发明涉及移动通讯领域，特别是涉及一种视频流质量监测方法及装置。
【背景技术】
[0002]近年来随着网络带宽的增加，实时视频业务如流媒体业务、视频电话业务、视频会议业务等发展速度非常迅速。对这些视频业务的质量进行准确评估，既可以让用户了解到视频业务的服务水平，又可以为服务提供商提供服务水平提升的标尺，对业务的良好运营有着重要作用。尤其在业务实际运行中，实现业务的在线监测，可以动态掌握业务运行的质量状态，及时发现业务运行过程中的质量问题，具有很强的实用价值。
[0003]视频流业务质量的在线监测可在服务侧、网络侧和终端侧实现。服务侧业务质量监测主要监测服务侧提供的质量，无法体现终端侧的用户体验质量。终端侧业务质量监测需要部署在用户终端上，一般需征得用户同意才能部署，部署存在一定难度，并且只能反映单个用户对业务的体验，很难反映网络群体用户的体验。有些终端侧业务质量监测方法还会影响用户对业务的使用，从而影响用户的业务体验。而网络侧业务质量监测可部署在各网络节点，无需用户配合，也不会影响用户，可对网络节点上通过的多个业务会话同时进行监测，从而反映该网络节点负责的网络的质量状况。如果部署在离用户终端很近的网络节点上，虽无法像终端侧方法那样直接反映用户体验，但也能很好反映业务运行状况。
[0004]但是，在网络侧进行视频流业务质量在线监测存在一些挑战。首先，网络侧业务数据通过量较大，视频业务尤其如此，因此对数据处理速度的要求很高，相应的质量监测方法就不能太复杂；其次，在网络侧不存在视频业务的原始数据，只能通过解析视频业务流来进行质量评测，这在媒体质量评测中称为无参考方法，无参考方法在质量评测领域一直是难点所在，要么精度不高、要么过于复杂；再次，网络侧业务质量监测的监测依据需是当前时刻已到达的数据包，且需要根据当前收到的数据包进行质量状态的动态更新，这就要求监测方法能够实时处理实时业务流数据。
[0005]现有的可应用于网络侧的无参考方法，一般会考虑源视频编码和网络性能两方面对视频质量的影响，但在具体涵盖因素方面各有不同。如ITU-T G.1070针对视频电话业务的质量评测提出了一套较完善的无参考框架，但在针对视频质量进行评测时，源视频编码只考虑了编码器类型、比特率和帧率三个因素，网络性能只考虑了丢包因素；移动图像质量度量(Moving Picture Quality Metric,简称为MPQM)模型的源视频编码只是根据编码器类型的不同给出了固定分数，网络性能也只考虑了丢包，导致视频流质量的监测精度较低。另外一些模型，考虑的因素很多，但其具体实现却很模糊。如T-V-model，考虑了视频编码、分辨率变化、传输过程、及显示过程带来的损伤，但是这些损伤与最终评分之间的关系过于简单，且并未阐明损伤的具体表示方法和影响因素。其他一些模型，也存在类似的问题。
[0006]针对相关技术中的网络侧的视频流质量监测方法监测精度不高、实现较复杂的问题，目前尚未提出有效的解决方案。
【发明内容】

[0007]针对相关技术中网络侧的视频流质量监测方法监测精度不高、实现较复杂的问题，本发明提供了一种视频流质量监测方法及装置，用以解决上述技术问题。
[0008]根据本发明的一个方面，本发明提供了一种视频流质量监测方法，其中，该方法包括:获取网络侧的视频流信息；根据上述视频流信息，计算基准帧的质量评分，以及当前视频帧的编码质量评分；根据上述基准帧的质量评分、上述当前视频帧的编码质量评分、以及上述当前视频帧的编码类型，计算源编码质量评分；根据上述视频流信息，计算网络损伤评分；其中，上述网络损伤是由丢包以及时延抖动引起的视频流质量损伤；根据上述源编码质量评分和上述网络损伤评分，确定视频流的质量监测评分。
[0009]进一步地，获取网络侧的视频流信息包括:对网络侧的视频业务网络数据进行解封装和解复用，得到视频流；解析上述视频流，定位当前视频帧和上一视频帧在上述视频流中的起始点和结束点；将当前视频帧的起始点和结束点，以及上述上一视频帧的起始点和结束点，分别反向映射到上述视频业务网络数据包，分别得到上述当前视频帧和上一视频帧的所有网络包的到达时刻；根据该到达时刻分别确定当前视频帧到达时刻和上一视频帧到达时刻；根据上述上一视频帧的结束点以及上述当前视频帧的结束点，确定上述当前视频帧的比特数；确定上述当前视频帧的实时丢包率、实时比特率以及实时帧率；解析上述当前视频帧的编码比特流，确定上述当前视频帧的编码类型、尺寸信息以及量化参数。
[0010]进一步地，根据上述视频流信息，计算基准帧的质量评分包括:根据上述当前视频帧的编码比特流判断上述当前视频帧是否为基准帧；如果是基准帧，则对上述基准帧执行块效应评价操作以及模糊评价操作；对上述块效应评价操作的结果以及上述模糊评价操作的结果进行加权平均，得到上述基准帧的质量评分。
[0011]进一步地，根据上述视频流信息，计算当前视频帧的编码质量评分包括:根据上述当前视频帧的比特数和尺寸信息，得到上述当前视频帧的每像素比特数；根据上述每像素比特数以及上述量化参数，采取与上述当前视频帧的编码类型相应的计算操作，得到时间和空间复杂度；根据上述时间和空间复杂度以及上述量化参数，得到上述当前视频帧的编码质量评分。
[0012]进一步地，根据上述基准帧的质量评分、上述当前视频帧的编码质量评分、以及上述当前视频帧的编码类型，计算源编码质量评分包括:如果上述当前视频帧的编码类型为帧内预测I帧，且上述当前视频帧是基准帧，则上述源编码质量评分等于上述基准帧的质量评分；如果上述当前视频帧的编码类型为帧内预测I帧，上述当前视频帧不是基准帧，且存在上述基准帧的质量评分，则根据上述基准帧的质量评分、上述当前视频帧的编码质量评分，以及上述当前视频帧与基准帧之间的编码质量差异，计算上述源编码质量评分；如果上述当前视频帧的编码类型为帧内预测I帧，上述当前视频帧不是基准帧，且不存在上述基准帧的质量评分，则上述源编码质量评分等于上述当前视频帧的编码质量评分；如果上述当前视频帧的编码类型为前向预测P帧，则获取上一视频帧的质量监测评分；根据上述上一视频帧的质量监测评分、上述当前视频帧的编码质量评分、以及上述当前视频帧与上述上一视频帧之间的编码质量差异，计算上述源编码质量评分。
[0013]进一步地，根据上述视频流信息，计算网络损伤评分包括:设定第一时间窗口长度；其中，上述第一时间窗口的结束点为上述当前视频帧，上述第一时间窗口的开始点为与上述当前视频帧的时间间隔不大于上述第一时间窗口长度的视频帧；根据上述第一时间窗口内的各个视频帧的实时丢包率，计算得到实时平均丢包率；根据上述第一时间窗口内的各个视频帧的实时比特率，计算得到实时平均比特率；根据上述第一时间窗口内的各个视频帧的实时帧率，计算得到实时平均帧率；根据上述实时平均比特率和上述实时平均帧率，计算得到丢包鲁棒性因子；根据上述丢包鲁棒性因子以及上述实时平均丢包率，计算得到丢包损伤评分；根据上述当前视频帧到达时刻的上述实时平均帧率，以及上述上一视频帧到达时刻的实时平均帧率，计算得到时延抖动评分；其中，上述网络损伤评分包括上述丢包损伤评分和上述时延抖动评分。
[0014]进一步地，根据上述源编码质量评分和上述网络损伤评分，确定上述视频流的质量监测评分包括:根据上述源编码质量评分、上述丢包损伤评分、上述时延抖动评分，计算得到当前视频帧的动态评分；设定第二时间窗口长度；其中，上述第二时间窗口的结束点为上述当前视频帧，上述第二时间窗口的开始点为与上述当前视频帧的时间间隔不大于上述第二时间窗口长度的视频帧；对上述第二时间窗口内的各个视频帧的动态评分取平均值，得到上述视频流的质量监测评分。
[0015]根据本发明的另一方面，本发明还提供了一种视频流质量监测装置，其中，该装置包括:信息获取模块，用于获取网络侧的视频流信息；源编码质量评分模块，用于根据视频流信息，计算基准帧的质量评分，以及当前视频帧的编码质量评分；根据基准帧的质量评分、当前视频帧的编码质量评分、以及当前视频帧的编码类型，计算源编码质量评分；网络损伤评分模块，用于根据视频流信息，计算网络损伤评分；其中，网络损伤是由丢包以及时延抖动引起的视频流质量损伤；质量监测评分模块，用于根据源编码质量评分和网络损伤评分，确定视频流的质量监测评分。
[0016]进一步地，上述信息获取模块包括:视频流获取子单元，用于对网络侧的视频业务网络数据进行解封装和解复用，得到视频流；时刻确定子单元，用于解析上述视频流，定位当前视频巾贞和上一视频巾贞在上述视频流中的起始点和结束点；将当前视频巾贞的起始点和结束点，以及上述上一视频帧的起始点和结束点，分别反向映射到上述视频业务网络数据包，分别得到上述当前视频帧和上一视频帧的所有网络包的到达时刻；根据该到达时刻分别确定当前视频帧到达时刻和上一视频帧到达时刻；比特数确定子单元，用于根据上述上一视频帧的结束点以及上述当前视频帧的结束点，确定上述当前视频帧的比特数；编码信息确定子单元,用于确定上述当前视频帧的实时丢包率、实时比特率以及实时帧率；解析上述当前视频帧的编码比特流，确定上述当前视频帧的编码类型、尺寸信息以及量化参数。
[0017]进一步地，上述源编码质量评分模块包括基准帧的质量评分单元，用于根据上述视频流信息，计算基准帧的质量评分；其中，上述基准帧的质量评分单元包括:基准帧判断子单元，用于根据上述当前视频帧的编码比特流判断上述当前视频帧是否为基准帧；评价子单元，用于如果是基准帧，则对上述基准帧执行块效应评价操作以及模糊评价操作；基准帧的质量评分子单元，用于对上述块效应评价操作的结果以及上述模糊评价操作的结果进行加权平均，得到上述基准帧的质量评分。
[0018]进一步地，上述源编码质量评分模块包括编码质量评分单元，用于根据上述视频流信息，计算当前视频帧的编码质量评分；其中，上述编码质量评分单元包括:每像素比特数确定子单元，用于根据上述当前视频帧的比特数和尺寸信息，得到上述当前视频帧的每像素比特数；时间和空间复杂度确定子单元，用于根据上述每像素比特数以及上述量化参数，采取与上述当前视频帧的编码类型相应的计算操作，得到时间和空间复杂度；编码质量评分子单元，用于根据上述时间和空间复杂度以及上述量化参数，得到上述当前视频帧的编码质量评分。
[0019]进一步地，上述源编码质量评分模块包括源编码质量评分单元，用于根据上述基准帧的质量评分、上述当前视频帧的编码质量评分、以及上述当前视频帧的编码类型，计算源编码质量评分；其中，上述源编码质量评分单元包括:第一评分子单元，用于在上述当前视频帧的编码类型为帧内预测I帧，且上述当前视频帧是基准帧的情况下，上述源编码质量评分等于上述基准帧的质量评分；第二评分子单元，用于在上述当前视频帧的编码类型为帧内预测I帧，上述当前视频帧不是基准帧，且存在上述基准帧的质量评分的情况下，根据上述基准帧的质量评分、上述当前视频帧的编码质量评分，以及上述当前视频帧与基准帧之间的编码质量差异，计算上述源编码质量评分；第三评分子单元，用于在上述当前视频帧的编码类型为帧内预测I帧，上述当前视频帧不是基准帧，且不存在上述基准帧的质量评分的情况下，上述源编码质量评分等于上述当前视频帧的编码质量评分；第四评分子单元，用于在上述当前视频帧的编码类型为前向预测P帧的情况下，获取上一视频帧的质量监测评分；根据上述上一视频帧的质量监测评分、上述当前视频帧的编码质量评分、以及上述当前视频帧与上述上一视频帧之间的编码质量差异，计算上述源编码质量评分。
[0020]进一步地，上述网络损伤评分模块包括:第一设定单元，用于设定第一时间窗口长度；其中，上述第一时间窗口的结束点为上述当前视频帧，上述第一时间窗口的开始点为与上述当前视频帧的时间间隔不大于上述第一时间窗口长度的视频帧；平均单元，用于根据上述第一时间窗口内的各个视频帧的实时丢包率，计算得到实时平均丢包率；根据上述第一时间窗口内的各个视频帧的实时比特率，计算得到实时平均比特率；根据上述第一时间窗口内的各个视频帧的实时帧率，计算得到实时平均帧率；丢包损伤评分单元，用于根据上述实时平均比特率和上述实时平均帧率，计算得到丢包鲁棒性因子；根据上述丢包鲁棒性因子以及上述实时平均丢包率，计算得到丢包损伤评分；时延抖动评分单元，用于根据上述当前视频帧到达时刻的上述实时平均帧率，以及上述上一视频帧到达时刻的实时平均帧率，计算得到时延抖动评分；其中，上述网络损伤评分包括上述丢包损伤评分和上述时延抖动评分。
[0021]进一步地，上述质量监测评分模块包括:动态评分单元，用于根据上述源编码质量评分、上述丢包损伤评分、上述时延抖动评分，计算得到当前视频帧的动态评分；第二设定单元，用于设定第二时间窗口长度；其中，上述第二时间窗口的结束点为上述当前视频帧，上述第二时间窗口的开始点为与上述当前视频帧的时间间隔不大于上述第二时间窗口长度的视频帧；质量监测评分单元，用于对上述第二时间窗口内的各个视频帧的动态评分取平均值，得到上述视频流的质量监测评分。
[0022]通过本发明，在获取到网络侧的视频流信息后，根据该视频流信息获取源编码质量评分和网络损伤评分，其中，在源编码质量评分的计算过程中使用基准帧，在网络损伤评分的计算过程中考虑了丢包以及时延抖动引起的视频流质量损伤，最后根据上述源编码质量评分和上述网络损伤评分，确定视频流的质量监测评分，解决了相关技术中网络侧的视频流质量监测方法监测精度不高、实现较复杂的问题，较为准确地反映出视频质量的动态变化，提高了视频流质量监测的准确度，且复杂度不高，能够很方便地应用于网络侧视频质量实时监测环境中。
【专利附图】

【附图说明】
[0023]图1是根据本发明实施例的视频流质量监测方法的流程图；
[0024]图2是根据本发明实施例的网络侧的视频流信息的获取流程图；
[0025]图3是根据本发明实施例的基准帧的质量评分流程图；
[0026]图4是根据本发明实施例的编码质量评分流程图；
[0027]图5是根据本发明实施例的源编码质量评分流程图；
[0028]图6是根据本发明实施例的网络损伤评分流程图；
[0029]图7是根据本发明实施例的视频流质量监测装置的结构框图；
[0030]图8是根据本发明实施例的视频流质量监测装置的结构示意图。
【具体实施方式】
[0031]为了解决相关技术中网络侧的视频流质量监测方法监测精度不高、实现较复杂的问题，本发明提供了一种视频流质量监测方法及装置，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
[0032]本实施例提供了一种视频流质量监测方法，该方法可以在网络侧实现，图1是根据本发明实施例的视频流质量监测方法的流程图，如图1所示，该方法包括以下步骤(步骤S102-步骤 S108):
[0033]步骤S102，获取网络侧的视频流信息；该视频流信息是为后续计算源编码质量评分和网络损伤评分提供计算基础。具体地:
[0034]上述视频流信息包括:当前视频帧的编码比特流，当前视频帧的比特数、尺寸信息、编码类型、量化参数、实时丢包率、实时比特率、实时帧率以及当前视频帧到达时刻、上一视频帧到达时刻；
[0035]步骤S104，根据上述视频流信息，计算基准帧的质量评分，以及当前视频帧的编码质量评分；根据上述基准帧的质量评分、上述当前视频帧的编码质量评分、以及上述当前视频帧的编码类型，计算源编码质量评分；
[0036]步骤S106，根据上述视频流信息，计算网络损伤评分；其中，上述网络损伤是由丢包以及时延抖动引起的视频流质量损伤；
[0037]步骤S108，根据上述源编码质量评分和上述网络损伤评分，确定视频流的质量监测评分。
[0038]通过上述方法，在获取到网络侧的视频流信息后，根据该视频流信息获取源编码质量评分和网络损伤评分，其中，在源编码质量评分的计算过程中使用基准帧，在网络损伤评分的计算过程中考虑了丢包以及时延抖动引起的视频流质量损伤，最后根据上述源编码质量评分和上述网络损伤评分，确定视频流的质量监测评分，解决了相关技术中网络侧的视频流质量监测方法监测精度不高、实现较复杂的问题，较为准确地反映出视频质量的动态变化，提高了视频流质量监测的准确度，且复杂度不高，能够很方便地应用于网络侧视频质量实时监测环境中。
[0039]对于上述步骤S102中的视频流信息的获取操作，本实施例提供了一种优选实施方式，即获取网络侧的视频流信息包括:对网络侧的视频业务网络数据进行解封装和解复用，得到视频流；解析上述视频流，定位当前视频巾贞和上一视频巾贞在上述视频流中的起始点和结束点；将当前视频帧的起始点和结束点，以及上述上一视频帧的起始点和结束点，分别反向映射到上述视频业务网络数据包，分别得到上述当前视频帧和上一视频帧的所有网络包的到达时刻；根据该到达时刻分别确定当前视频帧到达时刻和上一视频帧到达时刻；根据上一视频帧的结束点以及当前视频帧的结束点，确定当前视频帧的比特数；确定上述当前视频帧的实时丢包率、实时比特率以及实时帧率；解析上述当前视频帧的编码比特流，确定上述当前视频帧的编码类型、尺寸信息以及量化参数。通过该优选实施方式，为后续计算源编码质量评分和网络损伤评分提供了计算基础，提到了视频流质量的监测精度和准确度。
[0040]图2是根据本发明实施例的网络侧的视频流信息的获取流程图，如图2所示，该流程包括以下步骤(步骤S202-步骤S210):
[0041 ] 步骤S202，对视频业务网络数据进行解封装和解复用，得到视频流。例如在RTP(实时传送协议)/UDP (User Datagram Protocol,用户数据包协议)/IP (Internet Protocol,网络之间互连的协议)协议框架下，可通过以太网帧解封装、IP包解封装、UDP包解封装、RTP包解封装得到视频业务流，继而通过解复用(如H.223解复用)得到视频流。
[0042]步骤S204，解析视频流，查找起始码，从而定位当前视频帧的编码比特流在视频流中的起始点和结束点。
[0043]步骤S206，将当前视频帧的起始点和结束点反向映射到视频业务网络数据包，可得到用于封装当前视频帧的所有网络数据包的序号以及到达时刻。
[0044]步骤S208，由视频帧的所有网络包的到达时间，可得到视频帧的到达时刻、最早到达时刻和最晚到达时刻。视频帧的最早到达时刻为视频帧的第一个网络数据包的到达时亥IJ，到达时刻和最晚到达时刻都为视频帧的最后一个网络数据包的到达时刻。
[0045]步骤S210，两帧之间结束点的间隔即为当前视频帧所包含的比特数，继续解析当前视频帧的编码比特流，提取其他编码信息:帧的编码类型(I帧或P帧)；帧的尺寸(宽度和高度)；帧的量化参数。为得到上述信息只需解析少量信息即可，运算量很小。举例来说，在H.261、H.263视频流中可解析每巾贞的巾贞头,在H.264视频流中可解析SPS (SequenceParameter Set,序列参数集)和 PPS (Picture Parameter Set,图像参数集)。
[0046]其中，如果当前视频帧的帧编码类型为I帧，且与上一基准帧出现间隔大于G个GoP，则继续判断其是否为无丢包I帧，如是则将其作为新的基准帧，并保存该帧的编码比特流，如否，则该帧不能作为新的基准帧。判断一帧是否存在丢包的方法是:该帧对应的最后一个网络包的序号减去第一个网络包的序号如等于该帧对应的网络包的个数，则认为该帧是无丢包的。在实际应用中，可根据业务性质、评测精度要求、及评测实时性要求等确定G的取值。
[0047]当然，本实施例中的视频流信息的获取方法的实现不局限于上述流程，只要能够准确获取到视频流信息即可。例如可以通过与系统中的封装协议的相配合，来定位当前视频帧。例如，如使用RTP协议直接封装视频帧，且RTP封装时采用了分片单元(Fragmentation Unit,简称为FU)方法,贝U可通过FU中的标志位来定位当前中贞。
[0048]对于上述步骤S104中的根据视频流信息计算基准帧的质量评分，本实施例提供了一种优选实施方式，即根据上述当前视频帧的编码比特流判断上述当前视频帧是否为基准帧；如果是基准帧，则对该基准帧执行块效应评价操作以及模糊评价操作；对上述块效应评价操作的结果以及上述模糊评价操作的结果进行加权平均，得到基准帧的质量评分。该优选实施方式中，引入基准帧进行质量评分，提高了视频流质量的监测精度。
[0049]实时视频业务主要的空间域损伤为块效应和模糊，图3是根据本发明实施例的基准帧的质量评分流程图，如图3所示，该流程包括以下步骤(步骤S302-步骤S310):
[0050]步骤S302，根据视频流信息中的编码比特流确定当前视频帧是否为基准帧；具体为，判断当前视频帧的编码比特流是否存在，如果存在，则当前视频帧为基准帧；如果不存在，则当前视频帧为非基准帧。
[0051 ] 步骤S304,对当前视频巾贞进行视频解码。
[0052]步骤S306，对当前视频帧的重建图像进行块效应评价。
[0053]具体可以采用以下方法实现:使用一种简单的块效应级别统计法进行计算。将重建图像的亮度分量分割成互不重叠的8X8块。在一个8X8亮度块(即有8行8列)中，若有大于或等于7行的值是相同的，就认为该块是“块效应比较严重”;除边缘外，每个8X8亮度块都有与之邻接的4个8X8亮度块，若4条邻接边中有3条或四条发生邻接的8个灰度值中多于5个之间的差值大于阈值，就认为该块的“块效应严重”;若4条邻接边中有2条或I条发生邻接的8个灰度值有多于5个之间的差值大于阈值，就认为该块的“块效应一般”。根据上述方法对所有8X8块进行分类，分别统计出当前视频帧中各种块效应程度块的所占比例，最后求出块效应对该图像的影响。
[0054]步骤S308，对当前帧的重建图像进行模糊评价。
[0055]具体可以采用一种简单的平均边缘宽度法进行计算:使用Sobel竖直方向算子得至IJ边缘图，对于边缘图中的某个边缘点，找到图像的对应点附近(例如同一行)的极值点，极值点间的距离就是该边缘的宽度，对边缘图中所有边缘点求边缘宽度，所有边缘宽度的和与边缘点数量的比值，即为图像的模糊评价。
[0056]步骤S310，对块效应评价和模糊评价的结果加权平均，即为基准帧的质量评分Q。。
[0057]当然，上述块效应评价和模糊评价的方式并不仅限于上述实施例中列举的方式，只要能够准确获取基准帧的质量评分即可。例如可根据业务性质、评测精度要求、及评测实时性要求等选择基准帧的质量评分的具体实施方法。例如块效应可使用基于奇异值分解的块边界差异评测、或基于局部块差异与HVS的块效应评价等方法进行评测，模糊可使用边缘轮廓梯度统计、局部峰态统计等方法进行评测。
[0058]在本实施例中，为了提高视频流的监测精度，可以将一个或多个图像组(Group ofPicture，简称为GoP)中的第一个无损I帧作为基准帧，从视频流中提取基准帧的编码比特流，将基准帧完全解码后进行空间域无参考监测。用这一监测结果作为这一个或多个GoP中的其他后续帧的评分基准。在实际应用中，可根据业务性质、监测精度要求、以及监测实时性要求等选择基准帧出现的间隔。
[0059]对于上述步骤S104中的根据视频流信息，计算当前视频帧的编码质量评分，本实施例提供了一种优选实施方式，即根据当前视频帧的比特数和尺寸信息，得到当前视频帧的每像素比特数；根据上述每像素比特数以及上述量化参数，采取与当前视频帧的编码类型相应的计算操作，得到时间和空间复杂度；根据时间和空间复杂度以及上述量化参数，得到当前视频帧的编码质量评分。通过该优选实施方式，提高了视频流质量的监测精度。
[0060]在实际应用中，量化参数越大，量化步长就越大，视频质量越低，这说明视频质量和量化参数之间存在反比的关系，这种关系在这里用线性模型来表示。同时编码质量还跟时间和空间复杂度有关，不同的时间和空间复杂度会影响该线性模型的斜率。时间和空间复杂度可由残差帧的性质来表征，这里采用该帧的量化参数以及编码后的每像素比特数来体现。因此，当前视频帧的编码质量可根据帧编码类型、量化参数、每像素比特数以及时间和空间复杂度来计算。
[0061]基于此，在上述实施方式中，当前视频帧的编码质量除了使用传统的量化参数(Quantization Parameter,简称为QP)来衡量外，还进一步地考虑了视频帧的时间和空间复杂度。视频帧的时间和空间复杂度具有以下特点:视频帧的时间和空间复杂度使用视频帧的量化参数QP以及帧每像素编码比特数简单有效地表征，并根据该帧所采用的不同编码类型而采取不同的计算方法。由于实时视频业务对时延要求很高，所以一般仅采用帧内预测I帧和前向预测P帧，而不采用引入时延的双向预测B帧，因此此处仅考虑两种编码类型，I帧或P帧。
[0062]图4是根据本发明实施例的编码质量评分流程图，如图4所示，该流程包括以下步骤(步骤S402-步骤S406):
[0063]步骤S402，根据视频流信息中的当前视频帧的比特数B和尺寸(宽度W和高度H)，计算当前视频帧的每像素比特数R。
[0064]每像素比特数R的计算过程具体可以采用以下公式实现
【权利要求】
1.一种视频流质量监测方法，其特征在于，包括: 获取网络侧的视频流信息； 根据所述视频流信息，计算基准帧的质量评分，以及当前视频帧的编码质量评分；根据所述基准帧的质量评分、所述当前视频帧的编码质量评分、以及所述当前视频帧的编码类型，计算源编码质量评分； 根据所述视频流信息，计算获取网络损伤评分；其中，所述网络损伤是由丢包以及时延抖动引起的视频流质量损伤； 根据所述源编码质量评分和所述网络损伤评分，确定所述视频流的质量监测评分。
2.如权利要求1所述的方法，其特征在于，获取网络侧的视频流信息包括: 对网络侧的视频业务网络数据进行解封装和解复用，得到视频流； 解析所述视频流，定位当前视频帧和上一视频帧在所述视频流中的起始点和结束点；将当前视频帧的起始点和结束点，以及所述上一视频帧的起始点和结束点，分别反向映射到所述视频业务网络数据包，分别得到所述当前视频帧和上一视频帧的所有网络包的到达时刻；根据该到达时刻分别确定当前视频帧到达时刻和上一视频帧到达时刻； 根据所述上一视频帧的结束点以及所述当前视频帧的结束点，确定所述当前视频帧的比特数； 确定所述当前视频帧的实时丢包率、实时比特率以及实时帧率；解析所述当前视频帧的编码比特流，确定所述当前视频帧的编码类型、尺寸信息以及量化参数。
3.如权利要求2所述的方法，其特征在于，根据所述视频流信息，计算基准帧的质量评分包括: 根据所述当前视频帧的编码比特流判断所述当前视频帧是否为基准帧； 如果是基准帧，则对所述基准帧执行块效应评价操作以及模糊评价操作； 对所述块效应评价操作的结果以及所述模糊评价操作的结果进行加权平均，得到所述基准帧的质量评分。
4.如权利要求2所述的方法，其特征在于，根据所述视频流信息，计算当前视频帧的编码质量评分包括: 根据所述当前视频帧的比特数和尺寸信息，得到所述当前视频帧的每像素比特数； 根据所述每像素比特数，以及所述量化参数，采取与所述当前视频帧的编码类型相应的计算操作，得到时间和空间复杂度； 根据所述时间和空间复杂度，以及所述量化参数，得到所述当前视频帧的编码质量评分。
5.如权利要求2所述的方法，其特征在于，根据所述基准帧的质量评分、所述当前视频帧的编码质量评分、以及所述当前视频帧的编码类型，计算源编码质量评分包括: 如果所述当前视频帧的编码类型为帧内预测I帧，且所述当前视频帧是基准帧，则所述源编码质量评分等于所述基准帧的质量评分； 如果所述当前视频帧的编码类型为帧内预测I帧，所述当前视频帧不是基准帧，且存在所述基准帧的质量评分，则根据所述基准帧的质量评分、所述当前视频帧的编码质量评分，以及所述当前视频帧与基准帧之间的编码质量差异，计算所述源编码质量评分； 如果所述当前视频帧的编码类型为帧内预测I帧，所述当前视频帧不是基准帧，且不存在所述基准帧的质量评分，则所述源编码质量评分等于所述当前视频帧的编码质量评分； 如果所述当前视频帧的编码类型为前向预测P帧，则获取上一视频帧的质量监测评分；根据所述上一视频帧的质量监测评分、所述当前视频帧的编码质量评分、以及所述当前视频帧与所述上一视频帧之间的编码质量差异，计算所述源编码质量评分。
6.如权利要求2至5中任一项所述的方法，其特征在于，根据所述视频流信息，计算网络损伤评分包括: 设定第一时间窗口长度；其中，所述第一时间窗口的结束点为所述当前视频帧，所述第一时间窗口的开始点为与所述当前视频帧的时间间隔不大于所述第一时间窗口长度的视频帧； 根据所述第一时间窗口内的各个视频帧的实时丢包率，计算得到实时平均丢包率；根据所述第一时间窗口内的各个视频帧的实时比特率，计算得到实时平均比特率；根据所述第一时间窗口内的各个视频帧的实时帧率，计算得到实时平均帧率； 根据所述实时平均比特率和所述实时平均帧率，计算得到丢包鲁棒性因子；根据所述丢包鲁棒性因子以及所述实时平均丢包率，计算得到丢包损伤评分； 根据所述当前视频帧到达时刻的所述实时平均帧率，以及所述上一视频帧到达时刻的实时平均帧率，计算得到时延抖动评分；其中，所述网络损伤评分包括所述丢包损伤评分和所述时延抖动评分。
7.如权利要求6所述的方法，其特征在于，根据所述源编码质量评分和所述网络损伤评分，确定所述视频流的质量监测评分包括: 根据所述源编码质量评分、所述丢包损伤评分、所述时延抖动评分，计算得到当前视频帧的动态评分； 设定第二时间窗口长度；其中，所述第二时间窗口的结束点为所述当前视频帧，所述第二时间窗口的开始点为与所述当前视频帧的时间间隔不大于所述第二时间窗口长度的视频帧； 对所述第二时间窗口内的各个视频帧的动态评分取平均值，得到所述视频流的质量监测评分。
8.一种视频流质量监测装置，其特征在于，所述装置包括: 信息获取模块，用于获取网络侧的视频流信息； 源编码质量评分模块，用于根据所述视频流信息，计算基准帧的质量评分，以及当前视频帧的编码质量评分；根据所述基准帧的质量评分、所述当前视频帧的编码质量评分、以及所述当前视频帧的编码类型，计算源编码质量评分； 网络损伤评分模块，用于根据所述视频流信息，计算网络损伤评分；其中，所述网络损伤是由丢包以及时延抖动引起的视频流质量损伤； 质量监测评分模块，用于根据所述源编码质量评分和所述网络损伤评分，确定所述视频流的质量监测评分。
9.如权利要求8所述的装置，其特征在于，所述信息获取模块包括: 视频流获取子单元，用于对网络侧的视频业务网络数据进行解封装和解复用，得到视频流；时刻确定子单元，用于解析所述视频流，定位当前视频帧和上一视频帧在所述视频流中的起始点和结束点；将当前视频帧的起始点和结束点，以及所述上一视频帧的起始点和结束点，分别反向映射到所述视频业务网络数据包，分别得到所述当前视频帧和上一视频帧的所有网络包的到达时刻；根据该到达时刻分别确定当前视频帧到达时刻和上一视频帧到达时刻； 比特数确定子单元，用于根据所述上一视频帧的结束点以及所述当前视频帧的结束点，确定所述当前视频帧的比特数； 编码信息确定子单元，用于确定所述当前视频帧的实时丢包率、实时比特率以及实时帧率；解析所述当前视频帧的编码比特流，确定所述当前视频帧的编码类型、尺寸信息以及量化参数。
10.如权利要求9所述的装置，其特征在于，所述源编码质量评分模块包括基准帧的质量评分单元，用于根据所述视频流信息，计算基准帧的质量评分；其中，所述基准帧的质量评分单元包括: 基准帧判断子单元，用于根据所述当前视频帧的编码比特流判断所述当前视频帧是否为基准帧； 评价子单元，用于如果是基准帧，则对所述基准帧执行块效应评价操作以及模糊评价操作； 基准帧的质量评分子单元，用于对所述块效应评价操作的结果以及所述模糊评价操作的结果进行加权平均，得到所述基准帧的质量评分。
11.如权利要求9所述的装置，其特征在于，所述源编码质量评分模块包括编码质量评分单元，用于根据所述视频流信息，计算当前视频帧的编码质量评分；其中，所述编码质量评分单元包括: 每像素比特数确定子单元，用于根据所述当前视频帧的比特数和尺寸信息，得到所述当前视频帧的每像素比特数； 时间和空间复杂度确定子单元，用于根据所述每像素比特数，以及所述量化参数，采取与所述当前视频帧的编码类型相应的计算操作，得到时间和空间复杂度； 编码质量评分子单元，用于根据所述时间和空间复杂度，以及所述量化参数，得到所述当前视频帧的编码质量评分。
12.如权利要求9所述的装置，其特征在于，所述源编码质量评分模块包括源编码质量评分单元，用于根据所述基准帧的质量评分、所述当前视频帧的编码质量评分、以及所述当前视频帧的编码类型，计算源编码质量评分；其中，所述源编码质量评分单元包括: 第一评分子单元，用于在所述当前视频帧的编码类型为帧内预测I帧，且所述当前视频帧是基准帧的情况下，所述源编码质量评分等于所述基准帧的质量评分； 第二评分子单元，用于在所述当前视频帧的编码类型为帧内预测I帧，所述当前视频帧不是基准帧，且存在所述基准帧的质量评分的情况下，根据所述基准帧的质量评分、所述当前视频帧的编码质量评分，以及所述当前视频帧与基准帧之间的编码质量差异，计算所述源编码质量评分； 第三评分子单元，用于在所述当前视频帧的编码类型为帧内预测I帧，所述当前视频帧不是基准帧，且不存在所述基准帧的质量评分的情况下，所述源编码质量评分等于所述当前视频帧的编码质量评分； 第四评分子单元，用于在所述当前视频帧的编码类型为前向预测P帧的情况下，获取上一视频帧的质量监测评分；根据所述上一视频帧的质量监测评分、所述当前视频帧的编码质量评分、以及所述当前视频帧与所述上一视频帧之间的编码质量差异，计算所述源编码质量评分。
13.如权利要求9至12中任一项所述的装置，其特征在于，所述网络损伤评分模块包括: 第一设定单元，用于设定第一时间窗口长度；其中，所述第一时间窗口的结束点为所述当前视频帧，所述第一时间窗口的开始点为与所述当前视频帧的时间间隔不大于所述第一时间窗口长度的视频帧； 平均单元，用于根据所述第一时间窗口内的各个视频帧的实时丢包率，计算得到实时平均丢包率；根据所述第一时间窗口内的各个视频帧的实时比特率，计算得到实时平均比特率；根据所述第一时间窗口内的各个视频帧的实时帧率，计算得到实时平均帧率； 丢包损伤评分单元，用于根据所述实时平均比特率和所述实时平均帧率，计算得到丢包鲁棒性因子；根据所述丢包鲁棒性因子以及所述实时平均丢包率，计算得到丢包损伤评分； 时延抖动评分单元，用于根据所述当前视频帧到达时刻的所述实时平均帧率，以及所述上一视频帧到达时刻 的实时平均帧率，计算得到时延抖动评分；其中，所述网络损伤评分包括所述丢包损伤评分和所述时延抖动评分。
14.如权利要求13所述的装置，其特征在于，所述质量监测评分模块包括: 动态评分单元，用于根据所述源编码质量评分、所述丢包损伤评分、所述时延抖动评分，计算得到当前视频帧的动态评分； 第二设定单元，用于设定第二时间窗口长度；其中，所述第二时间窗口的结束点为所述当前视频帧，所述第二时间窗口的开始点为与所述当前视频帧的时间间隔不大于所述第二时间窗口长度的视频帧； 质量监测评分单元，用于对所述第二时间窗口内的各个视频帧的动态评分取平均值，得到所述视频流的质量监测评分。
【文档编号】H04N21/24GK103945213SQ201310022730
【公开日】2014年7月23日 申请日期:2013年1月22日 优先权日:2013年1月22日
【发明者】吴宝春, 魏芳, 王雨 申请人:中兴通讯股份有限公司