考虑场景剪切伪像的视频质量评估的制作方法
【专利摘要】一种特定的实施方案，其在不重建视频的情况下检测比特流中的场景剪切伪像。场景剪切伪像通常(1)当原始视频中的场景剪切图像被部分接收或者(2)当图像涉及原始视频中的丢失场景剪切图像时在所解码的视频中被观察到。为了检测场景剪切伪像，首先选择候选场景剪切图像，并且然后在候选图像上进行场景剪切伪像检测。当一个块被确定为具有场景剪切伪像时，将最低的质量等级分配给该块。
【专利说明】考虑场景剪切伪像的视频质量评估
【技术领域】
[0001]本发明涉及视频质量测量，并且更具体而言，涉及用于确定客观(objective)视频质量度量的方法和设备。
【背景技术】
[0002]随着IP网络的发展，通过有线和无线IP网络(例如，IPTV服务)进行的视频通信变得普遍。不像通过线缆网络进行的常规视频传送，通过IP网络的视频输送是较不可靠的。从而，除了来自视频压缩的质量损失之外，当视频经过IP网络传送时，视频质量进一步劣化。除了由视频压缩造成的质量劣化之外，成功的视频质量建模工具需要评价由网络传送亏损(例如，包丢失、传送延迟和传送抖动)造成的质量劣化。
【发明内容】
[0003]根据一个总的方面，访问包括编码图像的比特流，并且在不解码比特流以获取像素信息的情况下利用来自比特流的信息确定比特流中的场景剪切图像。
[0004]根据另一总的方面，访问包括编码图像的比特流，并且响应于来自比特流的图像集合之间的运动向量、帧尺寸、预测残差中的至少一个来确定各个差度量，其中，该图像集合包括候选场景剪切图像、在候选场景剪切图像之前的图像和在候选场景剪切图像之后的图像中的至少一个。如果这些差度量中的一个或多个超过其各自的预定阈值，则将该候选场景剪切图像确定为场景剪切图像。
[0005]根据另一总的方面，访问包括编码图像的比特流。如果帧内图像的至少一个块的压缩数据丢失则将该帧内图像选择为随候选场景剪切图像，或者将涉及丢失图像的图像选择为候选场景剪切图像。响应于来自比特流的图像集合之间的运动向量、帧尺寸和预测残差中的至少一个来确定各个差度量，其中，该图像集合包括候选场景剪切图像、在候选场景剪切图像之前的图像和在候选场景剪切图像之后的图像中的至少一个。如果这些差度量中的一个或多个超过其各自的预定阈值，则将候选场景剪切图像确定为场景剪切图像。
[0006]一个或多个实施方案的细节在附图和下面的描述中阐明。即使按照一个特定方式描述过，应清楚的是，实施方案可以按照不同的方式来配置或实现。例如，一个实施方案可以作为方法来执行，或者实现为设备，诸如，例如，配置为执行一组操作的设备或者存储用于执行一组操作的指令的设备，或者实现为信号。其它方面和特征将在结合附图和权利要求来考虑的情况下从下面的详细描述中变得显然。
【专利附图】
【附图说明】
[0007]图1A是图不不例,其描绘了在场景到切巾贞处具有场景到切伪像的图像，图1B是图示示例，其描绘了没有场景剪切伪像的图像，并且图1C是图示示例，其描绘了在并非场景剪切帧的帧处具有场景剪切伪像的图像。
[0008]图2A和2B是图示示例，其根据当前原理的一个实施例描绘了场景剪切伪像如何与场景剪切关联。
[0009]图3是流程图，其根据当前原理的一个实施例描绘了视频质量建模的一个示例。
[0010]图4是流程图，其根据当前原理的一个实施例描绘了场景剪切伪像检测的一个示例。
[0011]图5是图示示例,其描绘了如何计算变量n1()SS。
[0012]图6A和6C是图示示例,其根据当前原理的一个实施例描绘了变量pk_num如何随着帧索引变化，以及图6B和6D是图示示例，其根据当前原理的该实施例描绘了变量bytes_num如何随着帧索引变化。
[0013]图7是流程图，其根据当前原理的一个实施例描绘了确定候选场景剪切伪像位置的一个示例。
[0014]图8是图示示例，其描绘了具有99个宏块的图像。
[0015]图9A和9B是图示示例，其根据当前原理的一个实施例描绘了相邻帧如何用于场景剪切伪像检测。
[0016]图10是流程图，其根据当前原理的一个实施例描绘了场景剪切检测的一个示例。
[0017]图1lA和IlB是图示示例，其根据当前原理的一个实施例描绘了相邻的I帧如何用于伪像检测。
[0018]图12是框图，其根据当前原理的一个实施例描绘了视频质量监测器的一个示例。
[0019]图13是框图，其描绘了可以以一个或多个实施方式来使用的视频处理系统。
【具体实施方式】
[0020]视频质量测量工具可以在不同等级上操作。在一个实施例中，该工具可以取得所接收的比特流并且在不重建视频的情况下测量视频质量。这样的方法通常被称为比特流等级视频质量测量。当允许额外的计算复杂度时，视频质量测量可以从比特流重建一些或全部图像，并且将所重建的图像用于更精确地估计视频质量。
[0021]当前的实施例涉及客观视频质量模型，其(I)在不重建视频的情况下并且(2)借助部分重建的视频评估视频质量。尤其，当前原理考虑围绕场景剪切观察到的特定类型的伪像，其被记做场景剪切伪像。
[0022]大多现有的视频压缩标准、例如H.264和MPEG-2将宏块(MB)用作基本编码单元。因此，下面的实施例将宏块用作基本处理单元。然而，这些原理可以适配为使用不同尺寸的块，例如8 X 8块、16 X 8块、32 X 32块和64X 64块。
[0023]当所编码的视频比特流的一些部分在网络传送期间丢失时，解码器可以采用错误隐蔽技术来隐蔽与丢失部分对应的宏块。错误隐蔽的目标是估计丢失的宏块以便将感知的质量劣化最小化。所感知到的由传送错误产生的伪像强度很大程度上取决于所使用的错误隐蔽技术。
[0024]可以将空间方法或者时间方法用于错误隐蔽。在空间方法中，利用像素之间的空间关联，并且丢失的宏块通过插值技术从相邻像素来恢复。在时间方法中，利用运动场的连贯性和像素的空间平滑度两者来估计丢失宏块的运动向量(MV)或者各个丢失像素的MV，然后根据所估计的运动向量利用之前的帧中的参考像素来隐蔽丢失的像素。
[0025]视觉伪像在错误隐蔽之后仍能被感知到。图1A-1C示出了示例性的所解码的图像，其中所编码的比特流的一些包在传送期间丢失。在这些示例中，将时间错误隐蔽方法用于在解码器处隐蔽丢失宏块。具体地，将在之前的帧中的并置的宏块拷贝至丢失宏块。
[0026]在图1A中，例如归因于传送错误的包丢失在场景剪切帧(S卩，新场景中的第一帧)处发生。由于在当前帧和之前的帧(来自另一场景)之间剧烈的内容变化，所隐蔽的图像包含在该所隐蔽的图像中突出的区域。即，该区域具有与其相邻宏块非常不同的纹理。因此，该区域将容易被感知为视觉伪像。为了便于注释，将该类型的围绕场景剪切图像的伪像记做场景剪切伪像。
[0027]相反，图1B示出了位于场景内的另一图像。因为当前帧中的丢失内容类似于在用于隐蔽当前帧的之前帧中的、并置的宏块中的内容，所以时间错误隐蔽合适地起作用并且难以在图1B中感知到视觉伪像。
[0028]请注意，场景剪切伪像不一定要在场景的第一帧处发生。而是，它们可以在场景剪切帧处或在丢失场景剪切帧之后被看到，如通过图2A和2B的示例示出那样。
[0029]在图2A的示例中，图像210和220属于不同的场景。图像210被正确接收，并且图像220是部分接收的场景剪切帧。图像220的所接收的部分被恰当地解码，其中丢失部分借助来自图像210的并置的宏块来隐蔽。当在图像210与220之间存在显著变化时，所隐蔽的图像220将具有场景剪切伪像。因此，在该示例中，场景剪切伪像在场景剪切帧处发生。
[0030]在图2B的示例中，图像250和260属于一个场景，并且图像270和280属于另一场景。在压缩期间，图像270被用作用于运动补偿的图像280的参考。在传送期间，与图像260和270对应的压缩数据丢失。为了在解码器处隐蔽所丢失的图像，可以将所解码的图像250拷贝至图像260和270。
[0031]用于图像280的压缩数据被正确接收。但是因为其涉及图像270，该图像270现在为来自另一场景的所解码的图像250的副本，所以所解码的图像280也可能具有场景剪切伪像。因此，场景剪切伪像可以在丢失场景剪切帧(270)之后发生，在该示例中在场景的第二帧处发生。请注意，场景剪切伪像也可以在场景的其它位置发生。带有在场景剪切帧之后发生的场景剪切伪像的示例图像在图1C中描述。
[0032]事实上，尽管场景在原始视频中在图像270处改变，该场景可以在所解码的视频中显得以场景剪切伪像在图像280处改变。除非明确声明，则本申请中的场景剪切就涉及那些在原始视频中看到的。
[0033]在图1A中示出的示例中，之前的帧中的并置块(即MV = O)被用于隐蔽当前帧中的丢失块。其它时间错误隐蔽方法可以使用具有其它运动向量的块并且可以例如在图像等级或在像素等级中在不同的处理单元中处理。请注意，场景剪切伪像可以对于任意时间错误隐蔽方法围绕场景剪切出现。
[0034]从图1A和IC中示出的示例中可以看到，场景剪切伪像对感知视频质量具有强烈负面影响。因此，为了精确预测客观视频质量，重要的是在对视频质量建模时测量场景剪切伪像的效果。
[0035]为了检测场景剪切伪像，首先需要检测场景剪切帧是否被正确接收或者场景剪切图像是否丢失。考虑到在检测伪像时仅解析比特流(并未重建图像)，这是个困难问题。当与场景剪切帧对应的压缩数据丢失时，其变得更加困难。[0036]显然，用于视频质量建模的场景剪切伪像检测问题与通常在像素域中工作并且有权使用图像的常规场景剪切帧检测问题不同。
[0037]在图3中示出了考虑场景剪切伪像的示例性视频质量建模方法300。将丢失数据所造成的伪像、例如在图1A和2A中描述的伪像记做初始可见伪像。此外，还将该类型的来自场景中首个所接收的图像的伪像、例如在图1C和2B中描述的伪像分类为初始可见伪像。
[0038]如果具有初始可见伪像的块被用作例如用于帧内预测或帧间预测的参考，则初始可见伪像可以通过预测在空间上或时间上传播至相同或其它图像中的其它宏块。这样传播的伪像记做所传播的可见伪像。
[0039]在方法300中，视频比特流在步骤310输入并且与该比特流对应的视频的客观质量将被估计。在步骤320，计算初始可见伪像等级。初始可见伪像可以包括场景剪切伪像和其它伪像。初始可见伪像的等级可以根据伪像类型、帧类型和从比特流获得的其它帧等级或MB等级特征来估计。在一个实施例中，如果在宏块处检测到场景剪切伪像，则将用于该宏块的初始可见伪像等级设定为最闻伪像等级(即较低的质量等级)。
[0040]在步骤330，计算所传播的伪像等级。例如，如果宏块被标记为具有场景剪切伪像，则涉及该宏块的所有其它像素的所传播的伪像等级也将被设定为最高伪像等级。在步骤340，可以将空间-时间伪像合并(pooling)算法用于将不同类型的伪像转换为一个客观M0S(平均意见得分)，其估计与输入比特流对应的视频的总体可见质量。在步骤350，输出所估计的MOS。
[0041]图4示出了用于场景剪切伪像检测的一个示例性方法400。在步骤410处，其扫描比特流以确定用于场景剪切伪像的候选位置。在确定了候选位置之后，其在步骤420确定在候选位置中是否存在场景剪切伪像。
[0042]请注意，步骤420单独地可以被用于比特流等级场景剪切帧检测，例如在无包丢失的情况下。这可以被用于获得场景边界，其在确定场景等级特征时被需要。当单独地使用步骤420时，各个帧可以被看做候选场景剪切图像，或者可以规定哪些帧应被看做候选位置。
[0043]下面，更详细地讨论确定候选场景剪切伪像位置和检测场景剪切伪像位置的步骤。
[0044]确定候选场景剪切伪像位置
[0045]如在图2A和2B中讨论的那样，场景剪切伪像在部分接收的场景剪切帧处或者在涉及丢失场景剪切帧的帧处发生。因此，带有或围绕包丢失的帧可被看做潜在的场景剪切伪像位置。
[0046]在一个实施例中，当解析比特流时，基于例如为RTP时间戳和MPEG-2PES时间戳的时间戳或者在压缩比特流中的语法元素“frame_num”获得对于各个帧接收的字节的数目、接收包的数目、丢失包的数目，并且还记录所解码的帧的帧类型。所获得的包数目、字节数目和帧类型可以用于细化候选伪像位置确定。
[0047]下面，将用于RTP上的H.264的RFC3984用作示例性传输协议，示出如何确定候选场景剪切伪像位置。
[0048]对于每个所接收的RTP包，可以基于时间戳确定其属于哪个视频帧。S卩，将具有相同时间戳的视频包看做属于相同的视频帧。对于部分或完全接收的视频帧i，记录下面的变量:
[0049](1)属于帧i的第一所接收的RTP包的序号，记做sns (i)，
[0050](2)帧i的最后所接收的RTP包的序号，记做sne (i)，以及
[0051](3)在帧i的第一和最后所接收的RTP包之间的丢失RTP包的数目，记做n1()SJi)。
[0052]序号在RTP协议首部中定义，并且其对于每个RTP包增加I。因此，nloss(i)基于序号的不连续性通过计数序号在sns(i)和8~(1)之间的丢失RTP包的数目来计算。计算nloss(i)的示例在图5中示出。在该示例中，sns(i) = 105并且sne(i) = 110。在帧i的起始包(带有序号105)和结束包(带有序号110)之间，带有序号107和109的包丢失。因此，在该示例中nloss(i) = 2。
[0053]定义参数pk_num(i)以估计对于帧i传送的包的数目，并且其可以计算为
[0054]pk_num(i) = [sne (i) _sne (i_k) ]/k (I)
[0055]其中，帧1-k是紧接在帧i之前的帧(即，在帧i和i_k之间的其它帧丢失)。对于具有包丢失或者丢失了紧接在前的(多个)帧的帧i，通过对长度为N(例如N = 6)的滑窗中的之前的(非I)帧的pk_num求平均来计算参数pk_num_avg(i),即,将pk_num_avg(i)定义为在当前帧之前传送的包的平均(估计)数目:
[0056]
【权利要求】
1.一种方法，包括: 访问包括所编码的图像的比特流；以及 在不解码所述比特流来获取像素信息的情况下利用来自所述比特流的信息确定(1080)所述比特流中的场景剪切图像。
2.根据权利要求1所述的方法，其中所述确定包括: 响应于在来自所述比特流的图像集合之间的运动向量、帧尺寸和预测残差中的至少一个，确定(1020，1050, 1065)各个差度量，其中所述图像集合包括候选场景剪切图像、在所述候选场景剪切图像之前的图像以及在所述候选场景剪切图像之后的图像中的至少一个；以及 如果所述差度量中的一个或多个超过其各自的预定阈值(1025，1060, 1070)，则确定(1080)所述候选场景剪切图像是场景剪切图像。
3.根据权利要求2所述的方法，确定各个差度量还包括: 计算(1030)与所述图像集合的图像的块位置相对应的预测残差能量因子；以及 利用所述预测残差能量因子计算(1040)用于所述块位置的差度量，其中，该用于所述块位置的差度量被用于计算用于所述候选场景剪切图像的差度量。
4.根据权利要求 2所述的方法，还包括: 如果用于帧内图像中的至少一个块的压缩数据丢失(730)，则选择(735，780)该帧内图像作为所述候选场景剪切图像。
5.根据权利要求4所述的方法，还包括: 确定所述场景剪切图像中的至少一个块具有场景剪切伪像。
6.根据权利要求5所述的方法，还包括: 将最低质量等级分配给被确定为具有所述场景剪切伪像的所述至少一个块。
7.根据权利要求2所述的方法，还包括: 将涉及丢失图像的图像选择为所述候选场景剪切图像。
8.根据权利要求7所述的方法，还包括: 确定(740)图像的所传送的包的估计数目以及在该图像之前的图像的所传送的包的平均数目，其中，当在所述图像的所传送的包的估计数目与在所述图像之前的图像的所传送的包的平均数目之间的比率超过预定阈值时(750，780)，所述图像被选择为所述候选场景剪切图像。
9.根据权利要求7所述的方法，还包括: 确定(760)图像的所传送的字节的估计数目以及在该图像之前的图像的所传送的字节的平均数目，其中，当在所述图像的所传送的字节的估计数目与在所述图像之前的图像的所传送的字节的平均数目之间的比率超过预定阈值时(770，780)，所述图像被选择为所述候选场景剪切图像。
10.根据权利要求9所述的方法，其中，所述图像的所传送的字节的估计数目是响应于所述图像的所接收的字节的数目和丢失字节的估计数目来确定的。
11.根据权利要求7所述的方法，还包括: 当所述场景剪切图像中的块涉及丢失图像时，确定该块具有场景剪切伪像。
12.根据权利要求11所述的方法，还包括:将最低质量等级分配给所述块，其中所述块被确定为具有场景剪切伪像。
13.根据权利要求2所述的方法，其中，所述图像集合中的图像是P-图像(1010)。
14.一种设备，包括: 解码器(210)，其访问包括所编码的图像的比特流；以及 场景剪切伪像检测器(1230)，其在不解码所述比特流以获取像素信息的情况下利用来自所述比特流的信息确定所述比特流中的场景剪切图像。
15.根据权利要求14所述的设备，其中，所述解码器(1210)对于来自所述比特流的图像集合的运动向量、帧尺寸和预测残差中的至少一个进行解码，其中，所述图像集合包括候选场景剪切图像、在所述候选场景剪切图像之前的图像和在所述候选场景剪切图像之后的图像中的至少一个，并且其中，所述场景剪切伪像检测器(1230)响应于帧尺寸、预测残差和运动向量中的至少一个来确定用于所述候选场景剪切图像的各个差度量，并且如果所述差度量中的一个或多个超过其各自的预定阈值，则确定所述候选场景剪切图像是场景剪切图像。
16.根据权利要求15所述的设备，还包括: 候选场景剪切伪像检测器(1220)，如果用于帧内图像中的至少一个块的压缩数据丢失，则该候选场景剪切伪像检测器将该帧内图像选择为候选场景剪切图像。
17.根据权利要求16所述的设备，其中，所述场景剪切伪像检测器(1230)确定在所述场景剪切图像中的所述 至少一个块具有场景剪切伪像。
18.根据权利要求17所述的设备，还包括: 质量预测器(1240)，其将最低质量等级分配给被确定为具有场景剪切伪像的所述至少一个块。
19.根据权利要求15所述的设备，还包括: 候选场景剪切伪像检测器(1220)，其将涉及丢失图像的图像选择为所述候选场景剪切图像。
20.根据权利要求19所述的设备，其中，所述候选场景剪切伪像检测器(1220)确定图像的所传送的包的估计数目和在所述图像之前的图像的所传送的包的平均数目，并且当在所述图像的所传送的包的估计数目与所述图像之前的图像的所传送的包的平均数目之间的比率超过预定阈值时将所述图像选择为所述候选场景剪切图像。
21.根据权利要求19所述的设备，其中，所述候选场景剪切伪像检测器(1220)确定图像的所传送的字节的估计数目和在所述图像之前的图像的所传送的字节的平均数目，并且当在所述图像的所传送的字节的估计数目与所述图像之前的图像的所传送的字节的平均数目之间的比率超过预定阈值时将所述图像选择为所述候选场景剪切图像。
22.根据权利要求21所述的设备，其中，所述候选场景剪切伪像检测器(1220)响应于所述图像的所接收的字节的数目和丢失字节的估计数目来确定所述图像的所传送的字节的估计数目。
23.根据权利要求19所述的设备，其中，所述场景剪切伪像检测器(1230)当所述场景剪切图像中的块涉及丢失图像时确定该块具有场景剪切伪像。
24.根据权利要求23所述的设备，还包括: 质量预测器(1240)，其将最低质量等级分配给所述块，其中所述块被确定为具有场景剪切伪像。
25.—种处理器可读的介质，其具有存储于其上的指令，用于使得一个或多个处理器共同地进行: 访问包括所编码的图像的比特流；以及 在不解码所述比特流以获取像素信息的情况下利 用来自所述比特流的信息确定(1080)所述比特流中的场景剪切图像。
【文档编号】H04N19/89GK103988501SQ201180075069
【公开日】2014年8月13日 申请日期:2011年11月25日 优先权日:2011年11月25日
【发明者】廖宁, 陈志波, 张帆, 谢凯 申请人:汤姆逊许可公司