专利名称：客观图像质量测量的制作方法
技术领域：
本发明涉及客观图像质量测量，在具体示例中，涉及对诸如时间重采样之类的“制式转换(standards conversion) ”处理的质量进行自动评价。
背景技术：
客观图像质量测量是在图像处理研究时以及在对图像通信网络和广播设施进行离线或实时监控时的重要工具。它们经常用于通过比较输入和输出图像评估图像处理应用的质量。然而，已知方法并不容易应用于对制式转换处理进行评价。用制式转换处理来表示将一种格式的输入信号转换为不同格式的输出信号的处理的意思，其中每种格式通常由国家或国际认可的标准来定义，并且至少规定每场或每帧的线数以及每秒的场数或帧数。制式转换的输出图像一般没有时间等效的输入图像；并且输出图像可以具有不同于输入图像的采样结构。例如，具有50Hz场率(field rate)的交错式(interlaced) 标准清晰度电视可能被转换成具有每秒对帧的帧率(frame rate)的渐次扫描式 (progressively-scanned)高清晰度电视。由于制式转换而导致的图像损伤(impairment)经常随着时间变化，这通常取决于输入图像与输出图像之间的相对时间定相(relative temporal phasing)。在利用不同定时的输入像素的加权和以生成经插值的输出像素的线性时间转换过程中，缓慢运动的物体的变得不太清晰，而快速运动的物体引起了多幅图像。在运动补偿转换器中，不正确的运动矢量和对遮挡(occlusion)的不正确处置可能会导致物体的破裂以及虚假边缘的引入。输入图像与输出图像之间直接时间等效的缺少以及转换损伤的特殊性质使得利用已知的客观质量评价技术不切实际。因此，需要一种特别适合于制式转换的客观损伤测量技术。
发明内容
本发明在于一种用于评估由于根据至少两幅输入图像的一幅或多幅输出图像的插值而导致的图像损伤的方法和装置，在该方法和装置中，输出图像细节测量与输入图像细节测量进行比较，其中所述图像细节测量中至少之一是通过在图像序列的至少两幅图像的图像细节测量之间进行插值而获得的经插值的细节测量。该细节测量可以是表现图像或图像块中的细节的程度的数字或一组数字。该细节测量可以以各种各样的方式获得，这包括求出相邻像素值之间的差或像素值中的梯度，然后总计该图像或图像部分上的这些差或梯度。以简单的形式对这些差进行检波(或求出大小)然后求和。当然，许多其它的技术可用于生成表现图像块中的细节的程度的数字。可以采用滤波技术。对两幅图像的图像细节测量进行插值可以是对各自图像细节测量的加权平均，权重由特定输出图像相对于输入图像的相位来确定。在将输出图像精确地定时在两幅输入图像之间的中间(half way)的简单情况下，对两幅输入图像的图像细节测量的插值可能由简单平均组成。更经常地，在输入制式和输出制式的帧率不相等并且彼此之间不成倍数的情况下，权重将从一个场或帧对到下一场或帧对进行变化。这直接类似于对图像进行时间插值，并且各种各样的对图像进行时间插值的已知技术在此处可以应用于对图像细节测量进行插值。适合地，损伤的特征至少在于表现输出图像的细节测量超出输入图像的细节测量的测量。可替代地，损伤的特征至少在于表现所述细节测量比较的变化的测量。在某些实施例中，以表现输入图像的重复频率与输出图像的重复频率之差的频率进行的所述变化被评价。以输入图像的重复频率与输出图像的重复频率之差的一半进行的所述变化也可以被评价。在优选实施例中，图像被分成块，并且在相同位置的块之间进行所述细节比较。针对图像序列的至少两幅图像所评价的损伤测量可以被合并。
现在将参照附图描述本发明的示例，其中图1示出将制式转换处理的输出与其输入相比较以便获得超出细节(excess detail)的测量的系统的框图。图2示出从超出细节的测量导出由于制式转换而导致的图像损伤的测量的系统的框图。
具体实施例方式在根据本发明的一个制式转换质量评估中，对输入和输出图像的细节内容进行评价和比较，以便导出指示输出图像中与转换有关的伪差(artefact)的水平的时变测量。图 1示出了适合的系统。该示例性系统进行工作以处理流数据，然而，本领域技术人员将理解，可以对存储的或非实时的图像数据实施类似的处理。参见图1，在第一输入端子输入与待评价的转换处理的输入对应的视频数据(1)；并且在第二输入端子输入与待评价的转换处理的输出相对应的视频数据O)。假定已经根据转换处理的传播延迟延迟了转换后的数据，使得给定时刻两个流均描绘相同的图像内容。这两个数据流都包括像素值信息和定时信息。它们例如可以根据ITU/R建议656 (ITU/R Recommendation 656)采用任何方便的格式。我们初始假定，这两个输入视频流是2 1交错的并且具有不同的场率。视频数据流⑴和⑵被施加到各自的定时基准分离器(3)和⑷，定时基准分离器(3)和(4)从它们各自的输入中提取转换器输入场定时数据( 和转换后的输出场定时数据(6)。视频数据流(1)和( 还被输入到各自的、相同的基于块的细节评价处理(7)和 (8)，基于块的细节评价处理(7)和(8)将它们各自的像素值的输入场中的每个场分成块， 并且导出每个块的图像细节的测量。基于块的细节评价处理(7)和(8)利用各自的定时基准信号( 和(6)以确定每个场的像素值，并且将每个场分成连续的像素块的阵列。适合的块结构将每个场分成正交布置在八行和四列中的32个矩形块，并且在以下描述中将假定该结构。在该示例中，每个块的细节测量是该块中的水平相邻像素之间的像素值差的大小之和；该和通过除以组成该块的像素数目被规格化(normalised)。尽管在某些情况下其它像素值参数可能更具有代表性，但通常使用亮度值差。适合的块细节测量可以由以下给出Db = { Σ I Yx-Yrt I}+Nb其中，A是块B的细节测量；Yx是在水平位置χ处的像素的亮度值；求和是对块B的所有像素进行的；Nb是块B中的像素数目；以及|x|是χ的绝对大小。细节评价处理(7)和(8)的输出是各自的每个输入场的32个细节值的集合。细节评价处理(7)以转换器输入视频数据(1)的场率提供细节值(9)的集合，其相位由定时基准数据( 指示；并且细节评价处理(8)以转换后的输出视频数据O)的场率提供细节值(10)的集合，其相位由定时基准数据( 指示。为了评估制式转换的质量，需要将转换器输入细节值(9)与转换后的输出细节值 (10)进行比较。然而，这些块细节值的集合对应于不同的图像定时，即输入场与转换后的场不同步，并且不能以有意义的方式对它们进行比较。这种困难可以通过在时间插值器(11) 中对转换器输入细节值(9)进行时间插值来克服，以便产生经时间插值后的细节值(12)， 其与转换后的输出细节值(10)的定时相同。在场相位比较器(1 中，将转换器输入场定时数据( 与转换后的输出场定时数据(6)进行比较，以产生场相位差信号(14)，其指示每个转换后的输出场相对于在时间上相邻的转换器输入场的相位。因此，场相位差信号(14)控制时间插值器(11)以在由输出场定时数据(6)指示的转换后的输出场时间形成在空间上一致的转换器输入块细节值的加权和。时间插值器(11)的输出(1 包括块细节值的集合，这些集合在定时和块位置方面与各自的转换后的输出块细节值(10)的集合对应。也就是说，时间插值器(11)导出经插值的块细节值的集合，这些经插值的块细节值在频率和相位方面与转换后的输出块细节值(10)同步。时间插值器(11)可以使用任何已知的时间插值方法，但期望不要产生负向过冲 (overshoot)，如果使用了具有负HR滤波器系数的插值孔径(aperture)，则可能会发生这样情况。这种过冲可能会给出转换后的输出图像中的超出细节的错误指示。为此，优选使用块细节值的线性插值。在减法器(15)中将经时间插值的细节值(12)从对应的定时相同的转换后的输出细节值(10)中减去，以生成基于块的“超出细节”信号(16)。针对每个转换后的输出块，该信号包括该块的细节值与相同位置的经时间插值的输入块的细节值之间的差。如果转换后的输出场具有比转换器输入场更小的细节，则超出细节信号(16)将包括负值。然而，也许因为由转换处理所引入的虚假边缘和其它的伪差，如果转换后的输出场具有比转换器输入场更大的细节，则超出细节信号(16)将包括正值。包括超出细节信号(16)的块值的大小将取决于转换后的图像内容。为了减小对内容的这种依赖性，在除法器(17)中对超出细节信号(16)进行规格化，以生成规格化的超出细节信号(18)。该规格化包括将超出细节值与对应的经时间插值的细节值相除。为了避免从具有非常小的细节的块中产生大的而没有代表性的规格化值，在用小的正阈值来代替比该阈值更小的值的限幅器(19)中削减经时间插值的细节值(12)。限幅器(19)的输出形成除法器(17)的除数输入。在时间低通滤波器00)中对规格化的超出细节信号(1 进行过滤，以给出输出的基于块的超出细节测量01)。该信号包括针对转换后的输出视频数据O)的每个场的 32个值(每块一个)的集合。该时间滤波器有助于避免由于输入视频的突然变化例如镜头切换而导致的没有代表性的输出。三抽头(three-tap)中值滤波器是适合的。输出的基于块的超出细节测量指示制式转换处理的质量，其中该制式转换处理从转换器输入视频数据(1)中导出转换后的输出视频数据O)。如果转换是好的，则块值将是低的且是不变化的；如果转换是差的，则正值是可能的，并且这些值将以与输入和转换后的输出之间的场频率差有关的频率有规则律地变化。图2示出如何可以处理场率式基于块的超出细节测量O00)以获得场率式由于制式转换所导致的图像损伤的标量测量070)。这种度量对于转换后的视频序列的每个场具有单个值；接近于零的值指示高质量的转换，并且高值指示存在劣等转换导致的图像损伤特性。基于块的超出细节测量(200)(其优选是图1的系统的输出Ol))被输入到三个分析链路，这三个分析链路的输出被合并以便获得单个转换损伤测量输出(270)。第一分析链路(210)检测以制式转换器输出与其输入之间的场频率差进行的超出细节的变化。在该链路中，基于块的超出细节值O00)的集合在时间带通滤波器中进行时间滤波，其中该带通滤波器的通带以差频为中心Δ f = I frf21}其中f\是转换器输入场频率；f2是转换后的输出场频率；并且|x|是X的大小。对带通滤波器(211)输出的、经时间滤波的、基于块的超出细节测量进行求平方(212) 并且进行时间低通滤波(213)。这些处理的组合效果类似于检波，因为生成了与带通滤波器通带内的频率分量的大小有关的低频分量。还生成了倍频分量，并且通过低通滤波器(213)将这些倍频分量清除。对所得到的值的集合求它们的平方根(214)以针对转换后的输出视频数据 (2)的每个场获得与以场差频Af进行的细节变化的幅值近似成比例的32个值的集合。这些场率式32个块Af变化值015)的集合在统计合并处理016)中被转换为单个值的场率流017)。该处理计算每个场的块Af变化值的平均数和标准偏差= χ + 1.5σ其中又是32个值的集合的平均数；并且σ是32个值的集合的标准偏差。第二分析链路(220)检测以制式转换器输出与其输入之间的场频率差的一半进行的超出细节的改变。除了滤波器之外，第二分析链路(220)与第一分析链路(210)相同。 在用第二数字“2”代替“1”的图2中，等同的功能具有等同的附图标记。带通滤波器(221)中心在Af/2处。通过将具有近似等于各自差频的六分之一的截止频率的高斯低通特性变换为以各自差频(要么要么Af/2)为中心的带通特性，可以获得带通滤波器011)和(221) 的适合响应。低通滤波器(21 和023)的适合特性是具有各自差频的一半的截止频率的高斯特性。第三分析链路Q30)从基于块的超出细节测量(200)中生成“虚假细节”测量 (231)的场率流。限幅器(23 用零来代替基于块的超出细节测量(200)值中的任一个的为负值的值。然后，以在统计合并器(216)和0 )中相同的方式对每个场的被削减的值进行统计合并033)，以生成“虚假细节”测量031)的场率流。第一分析链路OlO)的输出017)以及第二分析链路O20)的输出(227)在最大值确定块O40)中被合并，最大值确定块(MO)输出它的输入中的较高者以给出单值细节变化测量O50)的场率流。这两个基于不同频率的测量被合并，因为即使存在两个频率分量，由于细节变化而导致的主观损伤看起来主要取决于最大的变化。通过在加法器(260)中将每个场的虚假细节测量(231)与该场的对应的细节变化测量(250)合并，来获得总的转换损伤测量070)。该输出是损伤大小的线性测量，该损伤大小采用的单位等同于基于块的细节评价中的像素值，例如在以上所述并在图1中示出的情况下的亮度值。视频工程师熟悉以分贝表示的量，因此通常方便的是，对从图2的系统输出的值进行求对数(底是10)，将它们乘以20，并且减去适合的常数以获得可能与其它视频损伤测量有关的值。存在本发明的若干可替代性实施方式。这包括下面所述的技术。可以更方便的是，对转换后的输出细节测量进行时间插值以将它们与未插值的转换器输入细节测量对准，从而使它们能够被比较。超出细节测量不需要与细节变化的测量相结合，或者被测量的损伤可以仅仅取决于细节的变化。在转换器输入和转换器输出都不进行交错的情况下，不需要半差频分析块 (220)。对分析细节变化所处的频率的选择将取决于在制式转换处理过程中时间插值的精确性质。然而，本领域技术人员将能够确定转换器的时间插值相位的变化速率，并且选择该频率或者一个或多个有关的频率(谐波或子谐波)，用以进行分析。额外的时间滤波可以用于合并来自若干场或帧的结果，并且这可以应用在块水平或者在场或帧水平上。可以使用除了亮度值之外的像素值。可以使用其它的细节测量，例如包括从空间高通滤波器导出的测量的像素能量测量。转换器输入及其输出可能具有不同的空间采样结构，并且可以具有不相等的空间频率响应。在这种情况下，可能需要校正转换器输入图像与转换后的输出图像之间的细节差值，以考虑它们的细节内容中与制式转换无关的内在差异。当本发明应用于存储的或非实时图像数据时，像素的空间和时间位置可以不通过以上所述的示例中的定时基准信号进行指示。在这种情况下，像素位置可以以已知的方式从文件结构规范(convention)或存储器地址中推断出来。在某些情况下，在转换器输入的图像与转换后的输出图像之间的所有精确的时间对准时可能不存在指示。在这种情况下，可以在这两个细节信号之间执行已知的相关处理， 以便恢复时间对准信息。
权利要求
1.一种评估由于根据至少两幅输入图像的一幅或多幅输出图像的插值而导致的图像损伤的方法，在该方法中，输出图像细节测量与输入图像细节测量进行比较，其中所述图像细节测量中至少之一是通过在图像序列的至少两幅图像的图像细节测量之间进行插值而获得的经插值的细节测量。
2.根据权利要求1所述的方法，其中损伤的特征至少在于表现输出图像的细节测量超出输入图像的细节测量的测量。
3.根据权利要求1所述的方法，其中损伤的特征至少在于表现所述细节测量比较的变化的测量。
4.根据权利要求3所述的方法，其中以表现输入图像的重复频率与输出图像的重复频率之差的频率进行的所述变化被评价。
5.根据权利要求3所述的方法，其中以输入图像的重复频率与输出图像的重复频率之差的一半进行的所述变化被评价。
6.根据权利要求1至5中任一项所述的方法，其中图像被分成块，并且在相同位置的块之间进行所述细节比较。
7.根据权利要求1至5中任一项所述的方法，其中针对图像序列的至少两幅图像所评价的损伤测量被合并。
8.一种评估由于根据至少两幅输入图像的一幅或多幅输出图像的插值而导致的图像损伤的装置，在该装置中，输出图像细节测量与输入图像细节测量进行比较，其中所述图像细节测量中至少之一是通过在图像序列的至少两幅图像的图像细节测量之间进行插值而获得的经插值的细节测量。
9.根据权利要求8所述的装置，其中损伤的特征至少在于表现输出图像的细节测量超出输入图像的细节测量的测量。
10.根据权利要求8所述的装置，其中损伤的特征至少在于表现所述细节测量比较的变化的测量。
11.根据权利要求10所述的装置，其中以表现输入图像的重复频率与输出图像的重复频率之差的频率进行的所述变化被评价。
12.根据权利要求10所述的装置，其中以输入图像的重复频率与输出图像的重复频率之差的一半进行的所述变化被评价。
13.根据权利要求8至12中任一项所述的装置，其中图像被分成块，并且在相同位置的块之间进行所述细节比较。
14.根据权利要求8至12中任一项所述的装置，其中针对图像序列的至少两幅图像所评价的损伤测量被合并。
15.一种计算机程序产品，包含使可编程装置实施根据权利要求1至5中任一项所述的方法的指令。
全文摘要
提供了一种客观图像质量测量。例如，在制式转换中，为了评估由于根据输入图像的输出图像的插值而导致的图像损伤，将输出图像细节测量与输入图像细节测量进行比较。所述图像细节测量之一通过在至少两幅图像的图像细节测量之间进行插值而获得。
文档编号E05D15/24GK102163332SQ20111004283
公开日2011年8月24日 申请日期2011年2月21日 优先权日2010年2月19日
发明者迈克尔·詹姆斯·克内 申请人:斯耐尔有限公司