用于估计视频质量评估的运动均匀性的方法及装置制造方法
【专利摘要】当场景均匀地或者快速地移动时，人眼对凝固伪像变得敏感。为了测量运动均匀性的强度，估计摇摄均匀性参数以考虑例如由相机摇摄、倾斜和平移造成的各向同性的运动矢量，对例如由相机缩放造成的径向对称的运动矢量估计缩放均匀性(5)参数，对例如由相机旋转造成的旋转对称的运动矢量估计旋转均匀性参数。随后，基于摇摄、缩放和旋转均匀性参数来估计总体运动均匀性参数。然后，使用总体运动均匀性参数估计(10)凝固失真因子。与压缩和切片失真因子组合的凝固失真因子用于估计视频质量度量。
【专利说明】用于估计视频质量评估的运动均匀性的方法及装置
[0001] 相关申请的交叉引用
[0002] 本申请要求享有于2012年8月27日提交的WO国际申请第PCT/CN2012/080627 号的权益。
【技术领域】
[0003] 本发明涉及视频质量度量，并且更具体地，涉及一种用于响应于运动信息来确定 视频质量度量的方法和装置。所确定的视频质量度量然后可以用于例如调整编码参数或者 提供在接收器侧所需的视频质量。
【背景技术】
[0004] 人类对凝固（freezing)伪像（亦即，视觉暂停）的感知与场景的运动密切相关。 当场景均匀地或者快速地移动时，人眼对凝固伪像变得敏感。
[0005] 在 F. Zhang、N. Liao、K. Xie 和 Z. Chen 共同拥有的标题为 "Video Quality Measurement" 的 PCT 申请（PCT/CN2011/082870,律师案号 PA110050,以下为 "Zhang"）中 公开了一种使用从比特流得出的参数（例如，量化参数、内容不可预测性参数、丢失块的比 率、传播块的比率、错误隐藏距离、运动矢量、凝固的持续时间以及帧速率）来估计压缩失 真因子、切片（slicing)失真因子和凝固失真因子的方法，通过引用将其教导具体地并入 本文。
【发明内容】
[0006] 本原理提供一种用于产生包括在比特流中的视频的质量度量的方法，如下所述， 包含以下步骤：访问视频的画面的运动矢量；响应于运动矢量来确定运动均匀性参数；以 及响应于运动均匀性参数来确定质量度量。本原理还提供一种用于执行这些步骤的装置。
[0007] 本原理还提供一种用于产生包括在比特流中的视频的质量度量的方法，如下所 述，包含以下步骤：访问视频的画面的运动矢量；响应于运动矢量来确定运动均匀性参数， 其中，运动均匀性参数表示各向同性的运动矢量、径向对称的运动矢量以及旋转对称的运 动矢量中的至少一个的均匀性的强度；响应于运动均匀性参数来确定凝固失真因子；以及 响应于凝固失真因子来确定质量度量，如下所述。本原理还提供一种用于执行这些步骤的 装置。
[0008] 本原理还提供一种在其上存储用于根据上述方法产生包括在比特流中的视频的 质量度量的指令的计算机可读取的存储介质。
【专利附图】
【附图说明】
[0009] 图1是图示根据本原理的实施例的对应于运动场（motion field)以及摇摄、缩放 和旋转均匀性参数（IH、RH和AH)的标度的不同的相机移动的图例。
[0010] 图2A和2B分别是图示径向投影和角投影的图例。
[0011] 图3是图示根据本原理的实施例的用于基于运动均匀性估计视频质量的示例的 流程图。
[0012] 图4是图示根据本原理的可以通过一种或多种实现方式使用视频质量测量装置 的示例的框图。
[0013] 图5是图示可以通过本原理的一种或多种实现方式使用的视频处理系统的示例 的框图。
【具体实施方式】
[0014] 即使是很慢的均匀运动也可以吸引人眼的注意。当视频解码器凝固解码时，例如 当画面数据或参考画面丢失并因此造成视觉暂停时，人类对凝固伪像或视觉暂停的感知与 场景的运动密切相关。当场景均匀地或者快速地移动时，人眼对凝固伪像变得敏感。
[0015] 相机移动经常造成场景中的均匀运动。典型的一组基本的相机操作包括摇摄 (pan)、倾斜、旋转/摇摆、平移/跟踪/上升（boom)、推移（dolly)/缩放，其中，摇摄、倾斜 和摇摆分别是绕Y轴、X轴和Z轴的旋转，而上升和推移则分别是沿着Y轴和Z轴的平移。 在捕捉内容时，相机移动通常不是非常大，并且很少同时执行多种类型的相机操作。因此， 相机操作经常可以被视为包含单一类型的移动，例如仅仅是摇摄、上升或者平移。
[0016] 图1例示了多种相机操作以及画面中的示例性的结果运动场。一般出现三种类型 的运动场：A)由于摇摄、倾斜和平移/跟踪/上升出现的各向同性的运动场；B)由于推移/ 缩放出现的径向对称的运动场；以及C)由于旋转/摇摆出现的旋转对称的运动场。所有以 上运动场都表现均匀的运动，其中，画面中的当前区域的运动矢量与邻近区域的运动矢量 没有太大不同。在一个示例中，当相机摇摄时，所捕捉的视频表现均匀的运动，运动矢量以 基本相似的大小（magnitude)指向基本相似的方向。在另一个示例中，当相机旋转时，所捕 捉的视频也表现均匀的运动，运动矢量以基本相似的角速度沿着相同的方向（即，顺时针 或逆时针）旋转。对于人眼，因为运动矢量在整个画面上基本统一或一致，所以均匀的运动 可以呈现明显的运动趋势。这可能是在具有均匀运动的场景凝固时，由于人眼期待运动趋 势继续而凝固伪像对人眼很明显的原因。
[0017] 另外，前景或背景对象也可能造成均匀运动，例如可以在具有公共汽车驾驶或者 风车转动的视频中的均匀运动。
[0018] 在本申请中，从运动矢量（MV)确定视频片段的运动均匀性参数，并且使用运动均 匀性参数来估计视频序列的凝固失真因子。具体地，使用运动均匀性参数来测量运动矢量 在视频中有多均匀，并且使用凝固失真因子来测量凝固失真。
[0019] 多数现存的视频压缩标准（例如，H. 264和MPEG-2)使用宏块（MB)作为基本编码 单位。因此，下面的实施例使用宏块作为基本的处理单位。然而，所述原理可以适用于使用 不同大小的块，例如8x8的块、16x16的块、32x32的块或者64x64的块。
[0020] 为了确定运动均匀性参数，对运动矢量进行预处理。例如，使用预测画面和对应的 参考画面之间的间隔对MV进行归一化，并且如果MV是向后参考的，则将它们的符号取反。 如果宏块是帧内预测的，并且因此没有MV，则将MB的MV设置为显示次序下的最近先前画面 中的同位MB的MV( S卩，与最近先前画面中的当前MB位置相同的MB)。对于B画面中的双向 预测的MB，将MB的MV设置为使用预测画面和参考画面之间的间隔进行了归一化的两个MV 的平均。
[0021] 随后，定义若干均匀性参数以考虑不同类型的运动场。下面，详细地论述各向同性 的运动、径向对称的运动以及旋转对称的运动的均匀性参数。
[0022] A)各向同性的
[0023] 使用摇摄均匀性参数（记为IH)来对与各向同性的运动矢量相关联的运动均匀性 的强度进行量化。使用H. 264作为示例，对于单个画面，可以将画面中的所有MV的矢量均 值定义为：
[0024]
【权利要求】
1. 一种用于产生包括在比特流中的视频的质量度量的方法，包含以下步骤： 访问（320)视频的画面的运动矢量； 响应于运动矢量来确定（360)运动均匀性参数；以及 响应于运动均匀性参数来确定（380)质量度量。
2. 根据权利要求1所述的方法，还包含： 响应于运动均匀性参数来确定凝固失真因子，其中，响应于凝固失真因子来确定质量 度量。
3. 根据权利要求1或2所述的方法，其中，运动均匀性参数表示各向同性的运动矢量、 径向对称的运动矢量以及旋转对称的运动矢量中的至少一个的均匀性的强度。
4. 根据权利要求1或2所述的方法，其中，运动均匀性参数表示由相机操作造成的运动 的均匀性的强度，相机操作包括摇摄、旋转、倾斜、平移、放大和缩小中的至少一种。
5. 根据权利要求1或2所述的方法，其中，确定运动均匀性参数的步骤还包含： 响应于运动矢量来确定（330, 340, 350)摇摄均匀性参数、缩放均匀性参数以及旋转均 匀性参数中的至少一个。
6. 根据权利要求5所述的方法，其中，响应于运动矢量的径向投影来确定缩放均匀性 参数。
7. 根据权利要求5所述的方法，其中，确定缩放均匀性参数的步骤包含： 确定左半画面和右半画面中的运动矢量的水平分量之和之间的第一差异，以及上半画 面和下半画面中的运动矢量的垂直分量之和之间的第二差异，其中，响应于第一和第二差 异来确定缩放均匀性参数。
8. 根据权利要求5所述的方法，其中，响应于运动矢量的角投影来确定旋转均匀性参 数。
9. 根据权利要求5所述的方法，其中，确定旋转均匀性参数的步骤包含： 确定左半画面和右半画面中的运动矢量的垂直分量之和之间的第一差异，以及上半画 面和下半画面中的运动矢量的水平分量之和之间的第二差异，其中，响应于第一和第二差 异来确定旋转均匀性参数。
10. 根据权利要求5所述的方法，其中，响应于摇摄均匀性参数、缩放均匀性参数和旋 转均匀性参数中的至少一个，将运动均匀性参数确定为最大值函数和均值函数中的至少一 个。
11. 根据权利要求1或2所述的方法，还包含： 执行以下至少一项：监视比特流的质量；响应于质量度量来调整比特流；基于质量度 量来创建新的比特流；调整用于传送比特流的分发网络的参数；基于质量度量来确定是否 保持比特流；以及在解码器处选取错误隐藏模式。
12. -种用于产生包括在比特流中的视频的质量度量的装置（500,600)，包含： 解码器（520)，访问视频的画面的运动矢量； 运动矢量解析器（536)，响应于运动矢量来确定运动均匀性参数；以及 质量预测器（550)，响应于运动均匀性参数来确定质量度量。
13. 根据权利要求12所述的装置，还包含： 切片失真预测器（542)，响应于运动均匀性参数来确定凝固失真因子，其中，响应于凝 固失真因子来确定质量度量。
14. 根据权利要求12或13所述的装置，其中，运动均匀性参数表示各向同性的运动矢 量、径向对称的运动矢量以及旋转对称的运动矢量中的至少一个的均匀性的强度。
15. 根据权和要求12或13所述的装置，其中，运动均匀性参数表示由相机操作造成的 运动的均匀性的强度，相机操作包括摇摄、旋转、倾斜、平移、放大和缩小中的至少一种。
16. 根据权和要求12或13所述的装置，其中，运动矢量解析器响应于运动矢量来确定 摇摄均匀性参数、缩放均匀性参数以及旋转均匀性参数中的至少一个。
17. 根据权利要求15所述的装置，其中，运动矢量解析器响应于运动矢量的径向投影 来确定缩放均匀性参数。
18. 根据权利要求15所述的装置，其中，运动矢量解析器确定左半画面和右半画面中 的运动矢量的水平分量之和之间的第一差异，以及上半画面和下半画面中的运动矢量的垂 直分量之和之间的第二差异，其中，响应于第一和第二差异来确定缩放均匀性参数。
19. 根据权利要求15所述的装置，其中，响应于运动矢量的角投影来确定旋转均匀性 参数。
20. 根据权利要求15所述的装置，其中，运动矢量解析器确定左半画面和右半画面中 的运动矢量的垂直分量之和之间的第一差异，以及上半画面和下半画面中的运动矢量的水 平分量之和之间的第二差异，其中，响应于第一和第二差异来确定旋转均匀性参数。
21. 根据权利要求15所述的装置，其中，运动矢量解析器响应于摇摄均匀性参数、缩放 均匀性参数和旋转均匀性参数中的至少一个，将运动均匀性参数确定为最大值函数和均值 函数中的至少一个。
22. 根据权利要求12或13所述的装置，还包含： 视频质量监视器（640,650,660)，执行以下至少一项：监视比特流的质量；响应于质量 度量来调整比特流；基于质量度量来创建新的比特流；调整用于传送比特流的分发网络的 参数；基于质量度量来确定是否保持比特流；以及在解码器处选取错误隐藏模式。
23. -种在其上存储用于根据权利要求1至11产生包括在比特流中的视频的质量度量 的指令的计算机可读取的存储介质。
【文档编号】H04N17/00GK104509109SQ201380039648
【公开日】2015年4月8日 申请日期:2013年6月14日 优先权日:2012年8月27日
【发明者】张帆, 廖宁, 顾晓东, 陈志波 申请人:汤姆逊许可公司