用于视频质量评估的方法和系统的制作方法

专利名称：用于视频质量评估的方法和系统的制作方法
技术领域：
本发明涉及用于评估视频信号质量的方法和系统，具体来说，涉及用于评估重复帧对视频信号质量的影响的方法和系统。
背景技术：
视频质量测试已经进行了许多年。在针对视频的数字压縮技术出现之前， 一直都在借助一套相对稳定的标准化方法来使用正式主观测试
(formal subjective testing)。简单地说，选择多个非专业观察者，对他们的视觉能力进行测试，在受控环境下给出一系列测试场景大约10到30分钟，并且要求他们按多种方式中的一种方式对这些场景的质量进行评分。通常来说，针对完整的基准测试，首先示出基准序列，跟着示出要测试的序列，并且要求观看者相对于基准序列对所测试的序列进行评价。主观测量的进一步细节可以在相关标准ITU-R BT.500"Methodology for theSubjective Assessment of the Quality of Television Picture"中找妾U 。这个标准首先在1974年发布并且正式地命名为CCIRRec.500，并且这个文献的版本7涵盖了过去提出的针对主观测试的方法。
利用人类观看者进行的主观测试有许多优点，因为可以得到针对常规和压縮电视制式两者的有效结果，并且它可以在静态和运动图片应用的宽泛范围上运行良好。然而，存在的明显缺点在于，精确设置的测试可能影响所获取的结果，需要小心翼翼地设置和控制，并且为了获取统计上显著的结果，必须选择和筛选大量的人类观看者。这些缺点使主观测试复杂且耗时，结果，虽然主观测试可以应用于发展目的，但它们不会将其本身引导至操作检测、生产线测试等。
因此，为了规避如上所述人类主观测试的缺点，本领域还已知的是，提供一种利用自动化并且通常基于计算机的视频比较技术的自动视频质量评估。执行自动图片质量分析的现有技术系统是来自泰克有限公司
(14200 SW Karl Braun， P.O. Box 500， Beaverton, Oregon 97077 USA)的 PQA 300系统。PQA 300通过测量五秒钟视频测试序列中的两秒钟部分 来工作。该视频测试序列可以从CDROM中下载或者从视频上记录，并 且在测试时向系统放出。接着，存储所测试的系统的输出，并且通过在 两秒钟序列上利用DSP加速硬件对其进行分析。该测量得到了被称作"图 片质量等级"的单个图片质量数值。PQA 300采用被称为JND Metrix的人 类视觉系统模型，并且执行三种不同类型的视频信息分析，分别为空间 分析、时间分析，以及全色分析，以便生成图片质量等级。另外，PQA300 提供了采用动画地图形式显示的PSNR值，该动画地图的强度涉及基准 图像与测试图像之间的PSNR差。因此，总起来说，PQA 300能够分析 测试和基准视频序列，以便生成视频质量值以及PSNR测量值。
然而，伴随着测试与基准序列的直接比较以生成上述质量度量可能 会产生问题。例如，视频信号中的显著可感知质量劣化源是由时间赝象 (temporal artefact)衍生出的，即，代替已经丢失的原始帧而重复帧的地方。 帧重复的一个来源是发送错误，其可能使视频信号定格达可变时段。缓 冲器上溢和下溢可以导致类似影响。然而，随着针对低带宽系统设计的 发送技术(例如移动电话上的视频流)的出现，出现了一组新的时间赝象。 这些新的时间赝象是因为使用时间二次釆样以縮减要发送的整体信息而 产生的。可以将对于视频流的这种影响描述为周期性帧丢失，或者描述 为在对基准信号与劣化信号进行比较时变明显的规则帧重复。尽管用户 通常觉察不到，但这些规则重复的帧对于质量评估系统是个问题，因为 它们生成了一系列错误突发(errorburst)。另夕卜，这些重复帧的模式(pattern)
可能较复杂。最后，如前所述，时间二次采样的影响与真实发送错误相交叠。

发明内容
本发明致力于通过提供一种进行自动视频质量评估的方法和系统来 解决上述问题，该方法和系统能够识别时间赝象并且在时间二次采样的规则帧重复特征与故障的不规则帧重复特征之间加以区别。
更具体地说，本发明提供了一种对包括多个视频帧的视频信号进行 评估的方法，该方法包括以下步骤
1) 在所述多个视频帧中，分析从一个帧变到下一个帧的像素数量；
2) 如果呈现在当前帧中的设定比例的像素与呈现在前一帧中的相匹 配，则将该帧标识为重复；
3) 记录所述视频信号中重复帧的模式；
4) 扫描所述模式，以确定指定重复帧是否为时间(temporally)重复模
式的一部分；
5) 通过标识那些没有被确定为所述时间重复模式的一部分的重复帧 来生成质量指示符。
在一优选实施方式中，所述方法包括以下步骤-
6) 通过在所述模式中建立在所述模式中被称作第一帧的多个帧的 第一窗口以及具有相同尺寸的第二窗口，来扫描所述模式；
7) 按相对于所述第一窗口有所偏移的方式来布置所述第二窗口 ；
8) 对所述第一窗口和所述第二窗口中的重复帧的模式进行比较，并 且记录这些模式之间失配的数量；
9) 在偏移范围上针对每一个偏移值重复所述比较并且记录结果；
10) 针对所述第一窗口和所述第二窗口来选择新的窗口尺寸值、在偏 移值范围上重复所述比较，并记录结果；
11) 确定在偏移值范围上提供了失配值最小变化的目标窗口尺寸。 所述方法优选地还包括通过以下操作来生成质量指示符的步骤对
第一部分中重复帧的模式与具有相同尺寸的多个第二部分中的重复帧的 模式进行比较并且记录所述第一部分中的模式与每一个所述第二部分中 的模式之间出现失配的次数，其中所述第一部分的尺寸由所述目标窗口 的尺寸来决定。
优选的是，所述方法包括以下步骤将所述质量指示符与一个或更
多个已知质量指示符进行组合，以生成感知平均意见得分。
在本发明的实施方式中，所述分析是针对每一帧的一部分执行的，
7而该部分不包括帧的边缘。在本发明的一方面中，每一帧都包括多个像 素。在一优选实施方式中，如果相邻帧中的第一帧中的一个像素处于第 二帧中的对应像素的预定阈值内，则将来自所述相邻帧的这两个像素标 识为匹配。
在本发明的实施方式中，判定机制对每一个像素应用阈值，如果一 帧中的所有像素都处于前一帧中的对应像素的预定阈值内，则将该帧标 识为重复。
另外，根据又一方面，本发明还提供了一种计算机程序或程序组， 该计算机程序或该程序组被配置成，当由计算机系统执行时它/它们使得 所述计算机系统执行任一权利要求所述的方法。
本发明还提供了一种对包括多个视频帧的视频信号进行评估的系 统，其中，所述系统包括用于通过分析从一个帧变到下一个帧的像素
数量来检测重复帧并且记录重复帧的模式的装置；用于扫描所述模式以
确定指定重复帧是否为时间重复模式的一部分并且通过标识那些没有被 确定为所述时间重复模式的一部分的重复帧来生成质量指示符的装置。
优选的是，用于扫描所述模式的装置包括用于在所述模式中建立 在所述模式中被称作第一帧的多个帧的第一窗口以及具有相同尺寸的第 二窗口的装置；其中，按相对于所述第一窗口的偏移量来布置所述第二 窗口；其中，用于扫描所述模式的装置还包括用于对所述第一窗口和
所述第二窗口中的重复帧的模式进行比较并且记录这些模式之间失配数
量的装置；用于在偏移范围上针对每一个偏移值重复所述比较并且记录 结果的装置；用于针对所述第一窗口和所述第二窗口来选择新的窗口尺 寸值、在偏移值范围上重复所述比较并记录结果的装置；以及用于确定 在所述偏移值范围上提供了失配值最小变化的目标窗口尺寸的装置。
在一优选实施方式中，所述系统包括用于通过以下操作来生成质量 指示符的装置对第一部分中的重复帧的模式与具有相同尺寸的多个第 二部分中的重复帧的模式进行比较并且记录所述第一部分中的模式与每 一个所述第二部分中的模式之间出现失配的次数，其中所述第一部分的 尺寸由所述目标窗口的尺寸来决定。 "
8在一优选实施方式中，所述系统还包括用于将所述质量指示符与一 个或更多个己知质量指示符进行组合以生成感知平均意见得分的装置。


而且，根据下面对本发明的、仅通过实施例的方式呈现的实施方式 的描述，并且通过参照附图，本发明的特征和优点将变清楚，其中，相 同标号指相同部分，并且其中
图1是本发明的系统的总体框图2是更详细示出图1的系统的框图3是例示了要输入到本发明实施方式中的、下采样后的视频信号
的图4a、 4b以及4c是例示了根据本发明实施方式的对一系列标记进 行分析的图5是示出了本发明的分析器的各个部分的系统框图6是例示了本发明实施方式的整合器所执行的步骤的流程图7是例示了本发明的第二、基于软件的实施方式的图。
具体实施例方式
图1例示了本发明实施方式的一般排布结构的总体系统框图。在图 1内，包括基准序列场/帧的基准序列8被输入至检测器模块2。类似的是， 还将视频场/帧的测试序列或劣化序列6输入到检测器模块2中。测试序 列是通过将基准序列输入要测试的系统(举例来说，如录像装置、广播系 统，或视频编解码器)中然后取所测试的系统的输出作为测试序列来获取 的。检测器模块2用于检测输入基准和测试视频场/帧的各个视频特征， 并且生成随后被输出至整合(integration)模块4的视频特征值。整合模块4 将视频特征值整合在一起，以给出从其输出的预测视频质量值10。
如图2所示，将劣化视频序列6输入至多个分析器22-28的劣化序 列输入部。所用分析器的选择可以取决于应用。已知分析器包括空间 频率分析器；亮度和色度峰值信噪比(PSNR)分析器；边缘检测器分析器；以及纹理分析器。下面，将对这些已知分析器的用途和操作进行简要概
述，而完整的描述可以在专利公报EP 1636755中获得。本发明有利地提 供了一种采用后面要详细描述的"时间规律性分析器"形式的附加形式的 分析。可以省略某些分析器的应用的例子是在移动电话处对信号进行实 时评估。由于目前移动手机的局限性，诸如纹理分析的一些处理器密集 型(processor-intensive)操作可能被省略。
在上面提到的已知分析器模块的类型当中，空间频率分析器用于对 输入的测试视频场/帧和基准视频场/帧进行分析，并根据对输入的基准场 /帧和测试场进行金字塔状分析来生成金字塔状SNR值PySNR(a， b)。另 外，亮度和色度PSNR分析器对输入的基准场和输入的测试场进行比较 以生成随后被输出的亮度和色度PSNR值。类似的是，边缘检测器分析 器对输入的基准场和输入的测试场进行分析并输出单个边缘检测器值 EDif。最后，纹理分析器对测试场进行分析以计算表示该帧内的纹理的 参数TextureDeg。这些已知分析器(即，空间频率分析器、亮度和色度峰 值信噪比分析器、边缘检测器分析器以及纹理分析器)中的每一个的操作 都在专利公报EP 1636755中作了更详细的描述。
图3示出了来自已经进行了时间下采样(带宽缩减)的视频信号的一 序列帧。水平轴表示时间，而垂直轴表示存在或不存在帧，其中，存在 帧由时间轴上恰当点处的垂直箭头来表示，而缺失帧由恰当时间点处无 垂直箭头来表示。下采样通过按规则间隔从视频序列中去除多个帧来起 作用；由此减少了视频信号每秒钟运送的帧数。在图3的示例中，这种 下釆样的效果是去除了时间tl、 t3、 t5、 t7、 t9等处的帧。应注意到，在 时间t8处缺失了另一帧。在时间t8处缺失的帧并没有构成由下采样引起 的丢失帧的规则序列的一部分，而是随机错误的结果。本发明的目的是 将这种类型的随机缺失帧识别为与因下采样而造成的规则丢失帧相独立 的事件。釆用本发明的质量评估中的下一步骤是将这两个时间赝象作为 独特的并且具有不同主观意义来加以处理。
本算法中的第一步骤是创建存储在缓冲器中的时间线，其表示针对 视频序列的每一个时隙，该帧是否为前一帧的重复。针对当前帧是具有新视觉内容还是与前一帧类似的内容来判断重复。这是通过分析从一个 帧变到下一个帧的像素数量来完成的。根据一优选实施方式，这种分析 是针对整个帧的一部分(被称作活动帧)来执行的，以便忽略该帧的边 界处的所有额外信息。已知的是，出于操作的原因，在不涉及视频内容 的帧边界处包括有额外信息(如时间码信息)。将分析限制于活动帧避免了 因这种无关信息而造成的虚假结果。如果当前活动帧(tl)中的所有像素都 与前一帧中存在的那些像素相同，则将当前帧标记为重复。
在视频处理链包含类似分量的情况下，可以通过针对每一个像素创 建阈值来改进判断机制。如果每一个像素值都处于前一帧的对应像素值 的阈值内，则将该帧标记为重复。因此，生成了排列在表示存在重复帧 的阵列中的一系列标记，且每帧一个。
下一个步骤是确定指定重复帧是一周期(例如，由下采样引起)的一部 分还是由另一效果生成的。为了实现这个步骤，首先，对系列标记进行
分析，寻找丢失帧的时间重复模式。 一旦确定了时间重复模式；就将没
有形成该模式一部分的剩余重复帧标识为因故障而引起。根据本发明的
--实施方式，重复下面的算法以处理这些标记
下面参照图4a，来描述根据本发明的对一系列标记进行的分析。图 4a示出了分别按l和0表示重复帧和新帧的标记序列70。在该图中，重
复帧的规则模式(可能由于对视频信号进行下采样而埠成)用加粗的1来 表示。为了分析该系列标记(在该图中用l和0来表示，70)，在位置t处 设置了基准分析窗口 74,初始尺寸X等于Xmax个标记(每一个标记表示 一个帧)。在该系列标记中的初始位置t-a处设置了第二偏移分析窗口 76， 其中a是时间偏移量。偏移分析窗口 76被设置成，初始尺寸X等于Xmax 个标记的基准窗口74的尺寸。
记录落入该系列标记中的位置t处的基准窗口 74内的"重复标 记"(即，表明该序列中重复帧的标记)的模式并且将其与落入位置t-a处的 偏移窗口 76内的重复标记的模式进行比较。参照图4a所示标记序列给 出一个例子可能会有所帮助。如果这样来解释1和0，即1表示重复帧而 0表示新帧，则基准窗口 74中的重复标记的数量为四，而偏移值等于a'
ii处的偏移窗口 76中的标记的数量也为四。如果此时査看这些标记的模式， 就会发现
位置t处的基准窗口 740 1 1 0 1 0 0 1 0 位置t-a'处的偏移窗口 76 0 1 0 1 1 0 1 0 0 基准与偏移匹配？ YYNNNYYYY 由此我们发现，对于窗口尺寸X和偏移a'来说，偏移窗口76中的五 个标记与基准窗口 44中的对应标记相匹配。 .
接着，连续地递增偏移值并重复比较基准窗口与偏移窗口中的标记 模式，直到偏移量达到预定最大值amax为止。图4b示出了偏移值a被 递增至值a"并且偏移窗口 76包含三个重复帧标记的中间阶段。如果此时 查看针对偏移a"的标记的模式，就会发现
位置t处的基准窗口 740 1 1 0 1 0 0 1 0 位置t-a"处的偏移窗口 76 0 1 0 1 0 0 0 1 0 基准与偏移匹配？ YYNNNYYYY 由此我们发现，对于窗口尺寸X和偏移a"来说，偏移窗口 76中的 六个标记与基准窗口 44中的对应标记相匹配。
针对每一个偏移值a，将比较结果存储在累积器'中。 一旦偏移窗口到 达范围端点，即，偏移a达到最大值amax，就从偏移值a'开始重复操作， 但基准窗口和偏移窗口的尺寸X递减至Xmax-l 。针对每一个窗口尺寸值 X，将比较结果存储在累积器阵列中。时间偏移a的最大值是根据要分析 的数据来选择的，可以取一个范围内的值，以包括针对高质量视频的大 约一秒钟的值，和针对低帧速率和更大复杂性(例如，针对用于移动电话 的视频信号)的大约io秒钟的值。
重复这个循环，直到窗口尺寸X达到最小值Xmin为止。在这一点 上，累积器包含二维数据阵列，如下所述针对每一个窗口尺寸值X， 表示基准窗口和偏移窗口中的重复帧的模式在偏移值的范围上(即，在采 样帧上)匹配得如何。下面，继续分析来处理这个数据，以确定对于X而 言最佳值是什么，其中所固有的是，周期性帧丢失模式的最可能长度是 什么。针对每一个窗口尺寸值X，检查累积器阵列的规律性。针对指定值 X，每当基准帧中的和偏移帧中的重复帧的模式之间存在差别时就使计数 器递增。接着，基于最小的失配数量来选择窗口尺寸的最佳值X'。在存 在针对X的、以此为基础可平等评分的两个或更多个值的情况下，选择 最大值。选定值X'给出了丢失帧的重复模式的预测尺寸。
一旦确定了这个针对丢失帧的重复模式的尺寸的值，就将其用于计 算上述序列标记中的自相关，表示哪些帧是重复的而哪些是新的。这种 相关的结果提供了可用于下一个阶段的出错指示符。
更详细地说，接着，如下所述来利用通过上述操作而确定的窗口尺 寸值X'，以便在规则与不规则帧重复之间加以区别。在进一步的阶段中
利用选定窗口尺寸X'对标记序列70进行分析。如图4c所示，根据这个 阶段的分析，将标记序列70中的长度为X'的第一部分77中所包含的重 复帧的模式与相同长度的相邻部分78中的模式相比较。在图4c的示例 序列中给出了以下模式，从部分77开始，并且按时间向后移动(该图中朝 左移动)
基准部分77 101001
第一部分78 000101
第二部分78 010101
第三部分78 010001
第四部分78 101001
第五部分78 001101
如果我们将上述比较应用于上述示例中的多个部分，就会发现第一 部分78包含与基准部分77的3处失配；第二部分78包含与基准部分77 的4处失配；第三部分78包含与基准部分77的3处失配；第四部分78 与包含基准部分77的0处失配；而第五部分78包含与基准部分77的2 处失配。应注意到，每一部分中加粗的1都是对准的，因此对应的规则 重复帧从计算中消失。
接着，对基准部分77与其它部分78之间的失配帧的数量进行求和。 这个求和的结果提供了用于下一个阶段的出错值。再一次返回至图4c的
13示例，我们发现总出错值为12，这是基准部分77与其它部分78之间失
配的总和。这个和的大小是具有表示较好质量的较低值的信号质量指示符。
可以采用从上述分析导出的数据，通过允许考虑重复帧的影响而忽
视根据选定窗口尺寸预测的规则重复帧来改进整合功能4的性能。于是， 后续分析步骤就能够集中在非周期性或不规则帧重复上，作为劣化的感 知视频质量的指示。
将根据本发明而提取的值发送至模型的第二阶段，其中，其整合功 能将在估计平均意见得分(MOS)时使用这个信息。这些值包括选定窗口尺 寸X'、出错值、出错指示符以及针对选定窗口尺寸值X'的包含在累积器 阵列中的匹配值。匹配值的变化表示，针对第二阶段，帧的模式中存在 异常变化。
根据本发明的优选实施方式，根据时期(age)对每一个比较的关联 性进行加权，使得基准部分77与多个部分78中较早的一个部分之间的 比较的权重低于基准部分77与多个部分78中的较晚的一个部分之间的 比较的权重。
图5中更详细地示出了图2的时间规律性分析器26。如其所示，时 间规律性分析器26由用于分析标记序列的多个功能模块组成，包括差异 分析器60、分析器/加法器62以及最小值选择器64。如已经参照图2所 述，时间规律性分析器26接收两个输入基准视频序列8和劣化视频序 列6。在差异分析器60中，生成表示输入视频信号6、 8中的重复帧的位 置的标记序列。在分析器/加法器62中，利用尺寸为一个范围的窗口来分 析该标记序列，并且针对每一个窗口尺寸来确定整个序列上的失配累积 总和。在最小值选择器64中，对根据分析器/加法器62中的求和的结果 进行比较，并且选择对应于最小值的窗口尺寸。将该结果转发至整合器4， 如箭头64所示。
本发明的目的是将这种缺失帧识别为与因下采样而造成的规则丢失 新帧不同的事件。作为对视频信号的上述分析的结果，质量评估的下一 个阶段能够分离地处理这两种类型的时间赝象，从而在几乎看不见的规则帧丢失与可见扰动的不规则帧丢失之间加以区别。
下面，参照图2来描述本发明对于整合功能的应用。返回参照图2，
应当看出，将来自检测器模块内的分析器22到28的各个输出馈给至整 合级4，其中，将各个值整合在一起，以获取视频M量值10。下面，参 照图6对整合级4的操作进行描述。
一般来说，整合级操作以通过对选择的、由分析器22到28(包括本 发明的时间规律性分析器)所生成的视频特征参数值进行恰当加权来生成 对测试视频序列的感知视频质量的估计。所使用的特定参数值的集合和 对应加权因子的值取决于被测试视频的特定类型，并且通过之前的校准 来预先确定。针对较大集合的具有已知主观得分的视频序列来执行该校 准，并且优选地该校准具有与要测试的劣化序列类似的特性。
整合过程的一般形式首先通过场检测参数来对该场进行时间加权， 接着对时间加权与平均值进行组合，以获取预测质量得分，作为总体视 频质量值。图6中阐述了实现这个过程的处理。
首先，在步骤13.2，整合级4接收从各个检测器和分析器输出的参 数值并存储它们。各个分析器输出不同的参数。无论每一个较早的级针 对特定测试视频场输出了什么参数和值，整合级都接收该输出信息并存 储它。 '"
接下来，在步骤13.4，整合级选择视频类型，结果根据该视频类型 选择了一组整合参数。
如上所述，通过校准预先确定了各个加权因子的精确值。而且，每 -一组整合参数都存储在整合级4内的查找表等中。
选定了视频类型并且从存储的査找表设置了整合参数之后，在步骤 13.6进行一处理循环，以处理值0到K-1内的每一个整合参数类型k，其 中，每一个参数(k)都是从各个分析器接收到的参数中的一个特定参数。 在该处理循环内，在步骤13.8，首先根据下面的公式计算参数值的时间 加权平均值AvD(k):
= (1 / A0 * (g D化")怖")1' (i 3一工)
其中，N是域的数量，D(k, n)是第k个检测参数的第n个域，而mnk是加权因子。接下来，在步骤13.10，将时间加权平均值AvD(k)乘以合适 的加权因子w(k)，并存储乘积。该合适的加权因子w(k)是从存储在整合 级4中的针对视频类型的合适查找表中读取的。
在步骤13.12，执行评估，以确定是否处理了所有整合参数(k)，如果 没有，则再次执行步骤13.6的处理循环，直到处理了所有参数为止。一 旦处理了所有参数，则可获得针对每一种类型参数k的恰当加权的时间 加权平均值，接着，在步骤13.14，将它们与偏移值进行求和，如下所述
《-1
尸層OS =+ J^vD(" * ,) (13-2)
其中，K等于整合中使用的参数的数量。该式给出了接着在步骤13.16输 出的最终视频质量值PDMOS。
输出视频质量值PDMOS等同于根据利用人类观察者的主观测试所 生成的等级，因为其是考虑了测试视频信号中人类观察者基本上五官知 觉不可检测的畸变和出错(包括根据本发明的导致重复帧的时间赝象) 而生成的。鉴于这种特性，视频质量值PDMOS可以应用于许多用途。 具体来说，可以将其用于估计现有视频服务的质量，以确保该质量足够， 或者另选的是，可以将其用于测试不同视频编解码器的性能。另外，可 以将该视频质量值用于估计新视频服务的性能，如因特网上的宽带形式 的视频服务。就此而言，可以将视频质量值PDMOS用于与根据现有技 术生成的自动质量评估值类似的任何用途，所不同的是，因为该值考虑 了时间赝象，所以与目前为止现有技术的自动视频质量评估技术的情况 相比、更可能表示主观测试期间由人类观看者生成的视频质量值。
图7例示了本发明的作为以软件形式实现的实施方式的第二实施方 式。这里，本发明所提供的各个处理是由计算机40来执行的，该计算机 被设置成接收基准视频序列和测试视频序列二者。计算机40设置有其中 存储了各种计算机程序的程序存储装置，如硬盘驱动器、可写CD或 DVD、存储器等，该计算机程序包含有在被计算机40执行时使该计算机 执行本发明的指令。更具体地说，设置有控制和界面程序48，其在运行 时允许计算机的用户控制该计算机开始处理根据本发明的测试和基准视 频序列，并且允许该计算机在屏幕上向用户输出测试结果。这种控制和
16界面程序优选地以图形化为基础，本领域技术人员可以想到这种程序的 配置。
另外设置的还有根据本发明的整合器程序44、纹理分析程序150、 空间频率分析程序156、信噪比计算程序158、边缘分析程序54以及时 间规律性分析程序152。下面，在示例性操作的环境下，对这些程序中的 每一个程序的操作进行简要讨论。
设想通用计算机40的用户希望测试视频序列。用户首先开始控制和 界面程序48，其向用户提供控制以允许该用户指定要处理的测试和基准 视频序列。 一旦用户经由控制和界面程序48指示计算机40开始处理， 该控制和界面程序48就通过执行其它程序中的几个程序并且在合适时处 理数据而使计算机40开始处理。因此，当接收到来自用户的开始处理的 指令时，控制和界面程序48首先启动空间频率分析程序156的处理。空 间频率分析程序156开始工作以，按照和先前描述的空间频率分析器完 全相同的方式对基准帧和测试帧进行空间频率分析，从而生成接着被存 储在存储装置42的工作数据部46中的视频特征值。
接下来，控制和界面程序48启动信噪比计算程序158，后者接着访 问工作数据部46内的测试视频场/帧和基准视频帧，并且按先前描述的方 式计算亮度和色度信噪比。即，信噪比计算程序158按照和先前所述的 亮度和色度峰值信噪比分析器相同的方式进行工作。将信噪比计算程序 158计算所得的亮度和色度信噪比存储在存储装置的工作数据区46中。
接着，控制和界面程序48启动纹理分析程序150。纹理分析程序150 接着从工作数据区46访问测试视频帧，并且按照和i前针对纹理分析器 描述过的方式相同的方式来计算视频纹理质量参数。
在运行了纹理分析程序150之后，控制和界面程序48接着启动边缘 分析程序160。边缘分析程序访问存储装置42的工作数据区46内的基准 帧，以及测试视频帧。接着，边缘分析程序54基本上按照之前针对边缘 分析器所描述地那样进行工作。将边缘分析程序的输出参数存储在工作 区46中。
在运行了边缘分析程序160之后，控制和界面程序48接着启动时间规律性程序152。时间规律性程序访问存储装置42的工作数据区46内的 基准帧，以及测试视频帧。接着，时间规律性程序按照与上面参照图4a 和4b描述的方式类似的方式在规则时间模式(具有各种复杂度)与反常时 间赝象之间加以区别。
在第二实施方式的运行中的这个阶段，执行了每一个分析程序，因 此工作区46包含了可以用作整合器的输入的所有视频特征参数值。因此， 下--个动作是控制和界面程序48启动整合器程序44，后者在合适时访问 工作区46以从其读取特征参数值，并且将这些参数整合在一起，以便生 成最终视频质量值PDMOS。整合器程序44的运行与如先前描述的整合 器级4的运行基本上相同。因此，整合器程序44基本上根据如先前描述 的图6的流程图来运行。
本发明的第二实施方式因此提供了一个软件实施方式，其按照基本 上与先前针对第一实施方式所描述的方式相同的方式来生成视频质量 值。然而，应注意到，所述的第一实施方式也可以釆用软件来实现，或 者另选地，可以利用硬件部件或软件与硬件两者的混合来实现。在这个 方面，第一实施方式应当被视为比第二实施方式更一般的实施方式。
本领域技术人员应当清楚，本发明的上述实施方式是经过简化的。 而且，本领域技术人员应该认识到，每一个实施方式中描述的特征的等 同物都是存在的，并且可以将一个实施方式的特征并入到其它实施方式 中。在存在实施方式的功能部件的已知等同物的情况下，它们被视为隐 含地公开于此，除非明确地放弃保护。因此，当铭记本领域技术人员的 公知常识而在本说明书的环境下解释时，本发明的主旨和范围不限于在 本说明书中陈述的具体部件，而相反，要由权利要求书的范围来确定。
除非上下文另外明确地需要，贯穿说明书和权利要求书，单词"包 括"等要按与排它相对的包含或详尽的意义来解释；就是说，按"包括 但不限于"的意义来解释。
而且，为避免疑惑，在对在先文献(其内容无论整体还是部分对于 作为本领域技术人员的预期读者理解本发明的任一实施方式的操作和实 现而言都是必需的)进行引用的情况下，所述内容应被视为通过对它的
18所述引用而并入于此。
所附摘要的内容如下所述并入于此。提供了一种用于对包括多个视 频帧的视频信号进行评估的系统和方法。在所述多个视频帧中，对从一 个帧变到下一个帧的像素数量进行分析，如果呈现在当前帧中的设定比 例的像素与呈现在前一帧中的相匹配，则将每一帧标识为重复。记录所 得的该视频信号中的重复帧的模式。接着，扫描所得模式，以确定指定 重复帧是否为时间重复模式的一部分，并且标识那些没有被确定为时间 重复模式的一部分的重复帧。作为上述的结果，视频质量评估能够分离 地处理这两种类型的时间赝象，从而在几乎看不见的规则帧丢失与视觉 扰乱的不规则帧丢失之间加以区分。
权利要求
1、一种对包括多个视频帧的视频信号进行评估的方法，该方法包括以下步骤(a)在所述多个视频帧中，分析从一帧到下一帧发生改变的像素数量；(b)如果呈现在某一帧中的设定比例的像素与呈现在前一帧中的相匹配，则将当前帧标识为重复；(c)记录所述视频信号中重复帧的模式；(d)扫描所述模式，以确定指定重复帧是否为时间重复模式的一部分；以及(e)通过标识那些没有被确定为所述时间重复模式的一部分的重复帧来生成质量指示符。
2、 根据权利要求1所述的方法，该方法包括以下步骤(f) 通过在所述模式中建立在所述模式中被称作第一帧的多个帧的 第一窗口以及具有相同尺寸的第二窗口，来扫描所述模式；(g) 按相对于所述第一窗口有所偏移的方式来布置所述第二窗口 ；(h) 对所述第一窗口和所述第二窗口中的重复帧的模式进行比较，并 且记录这些模式之间失配的数量；(i) 在偏移范围上针对每一个偏移值重复所述比较并且记录结果；(D针对所述第一窗口和所述第二窗口来选择新的窗口尺寸值、在偏 移值范围上重复所述比较，并记录结果； '(k)确定在偏移值范围上提供了失配值最小变化的目标窗口尺寸。
3、 根据权利要求2所述的方法，其中，所述质量指示符是通过以下 操作来生成的对第一部分中重复帧的模式与具有相同尺寸的多个第二 部分中的重复帧的模式进行比较并且记录所述第一部分中的模式与每一 个所述第二部分中的模式之间出现失配的次数，其中所述第一部分的尺 寸由所述目标窗口的尺寸来决定。
4、 根据以上权利要求中任意一项所述的方法，该方法包括以下步骤将所述质量指示符与一个或更多个己知质量指示符进行组合，以生成感 知平均意见得分。
5、 根据以上权利要求中任意一项所述的方法，其中，所述分析是针 对每一帧的一部分执行的。
6、 根据权利要求5所述的方法，其中，所述一部分不包括所述帧的 边缘。
7、 根据以上权利要求中任意一项所述的方法，其中，每一帧都包括 多个像素，其中，如果相邻帧中的第一帧中的一个像素处于第二帧中的 对应像素的预定阈值内，则将来自所述相邻帧的这两个像素标识为匹配。
8、 根据以上权利要求中任意一项所述的方法，其中，判定机制对每 一个像素应用阈值，如果一帧中的所有像素都处于前一帧中的对应像素 的预定阈值内，则将该帧标识为重复。
9、 一种计算机程序或程序组，该计算机程序或该程序组被配置成， 当由计算机系统执行时它/它们使得所述计算机系统执行权利要求1-8中 任意一项所述的方法。
10、 一种对包括多个视频帧的视频信号进行评估的系统，其中，所 述系统包括用于通过分析从一帧到下一帧发生改变的像素数量来检测重复帧并 且记录重复帧的模式的装置； ''用于扫描所述模式以确定指定重复帧是否为时间重复模式的一部分 并且通过标识那些没有被确定为所述时间重复模式的一部分的重复帧来 生成质量指示符的装置。
11、 根据权利要求10所述的系统，其中，用于扫描所述模式的装置 包括用于在所述模式中建立在所述模式中被称作第一帧的多个帧的第 一窗口以及具有相同尺寸的第二窗口，来扫描所述模式的装置；其中，按相对于所述第一窗口有所偏移的形式来布置所述第二窗口； 其中，用于扫描所述模式的装置还包括用于对所述第一窗口和所述第二窗口中的重复帧的模式进行比较并 且记录这些模式之间失配数量的装置；用于在偏移范围上针对每一个偏移值重复所述比较并且记录结果的 装置；用于针对所述第一窗口和所述第二窗口来选择新的窗口尺寸值、在 偏移值范围上重复所述比较并记录结果的装置；以及用于确定在所述偏移值范围上提供了失配值最小变化的目标窗口尺 寸的装置。
12、 根据权利要求ll所述的系统，该系统包括用于通过以下操作来 生成所述质量指示符的装置对第一部分中的重复帧的模式与具有相同 尺寸的多个第二部分中的重复帧的模式进行比较并且记录所述第一部分 中的模式与每一个所述第二部分中的模式之间出现失配的次数，其中所 述第一部分的尺寸由所述目标窗口的尺寸来决定。
13、 根据权利要求10到12中任一项所述的系统，该系统包括用于 将所述质量指示符与一个或更多个已知质量指示符进行组合以生成感知 平均意见得分的装置。
14、 根据权利要求10到13中任一项所述的系统，其中，所述分析 是针对每一帧的一部分执行的。
15、 根据权利要求14所述的系统，其中，所述一部分不包括所述帧 的边缘。
16、 根据权利要求10到15中任一项所述的系统，其中，每一帧都 包括多个像素，其中，如果相邻帧中的第一帧中的一个像素处于第二帧 中的对应像素的预定阈值内，则将来自所述相邻帧的这两个像素标识为匹配。
17、 根据权利要求10到16中任一项所述的系统，其中，判定机制 对每一个像素应用阈值，如果一帧中的所有像素都处于前一帧中的对应 像素的预定阈值内，则将该帧标识为重复。
全文摘要
提供了一种用于对包括多个视频帧的视频信号进行评估的系统和方法。在所述多个视频帧中，对从一个帧变到下一个帧的像素数量进行分析，如果呈现在当前帧中的设定比例的像素与呈现在前一帧中的相匹配，则将每一帧标识为重复。记录所得的该视频信号中的重复帧的模式。接着，扫描所得模式，以确定指定重复帧是否为时间重复模式的一部分，并且标识那些没有被确定为时间重复模式的一部分的重复帧。作为上述的结果，视频质量评估能够分离地处理这两种类型的时间赝象，从而在几乎看不见的规则帧丢失与视觉扰乱的不规则帧丢失之间加以区分。
文档编号H04N17/00GK101682796SQ200880018580
公开日2010年3月24日 申请日期2008年2月27日 优先权日2007年4月3日
发明者亚历山大·琼·布雷 申请人:英国电讯有限公司