图像分析的制作方法

专利名称：图像分析的制作方法
技术领域：
本发明涉及一种视频信号或数据的图像分析，用于检测之前基 于块的处理，并限制与块相关的图像缺损。
背景技术：
对于视频或图像处理技术来说，利用"基于块"的处理(其中， 图像被分为相等大小的区域，而每个区域中的像素一起被处理)是 十分普遍的。 一个很好的实例就是视频压缩方法，其中变换被独立 地应用到每个规则构成的 一组块像素中，且每个块由 一组变换系数 表示(用于传输或存储)。当不同的处理应用到不同的块中时，例
如不同的变换量子化系数，块结构可以由于图像伪差(artefact)而 变为可见，这是因为传输系统的空间频率响应随着块的不同而不 同。
在广播和多媒体内容的产生和分配中，经常需要检测视频和图 像数据的主观(subjective)质量，并且具体地，由于经济原因，人 们越来越多的开始寻找自动评估主观质量的方法。4见频质量分析方 法分为两种"双端，，方法，其中将经处理的图像与未处理的图像 进行比4交，以识别伪差；以及，"单端，，方法，其中，不参照未处 理的图像来分析经处理的图像。双端方法通常仅适用于研发环境； 单端方法更适用于平常的商业生产与分配才喿作。目前存在很多用于自动分析主观"块"或块伪差。在本文中， "块"或块伪差是由基于块的处理产生的图像的主观缺损参数的度量。
通常，这些方法均需要之前的块边界位置或块尺寸(block size ) 的信息。例如，当已知边界位置时，可以评估边界上的平均亮度差 或色度差；以及当已知块尺寸时，可以评估重复图案中像素间的差， 所述重复图案具有与块尺寸相等的周期。
对块结构之前信息的需求严重地限制了这些方法的实用性。通 常来i兌，不对图l象进行空间变换，诸如改变块尺寸的方位比变换 (aspect ratio-conversion );这些处5里可以串耳关，而基于块的压缩或 处理可以应用于信号链中的任意一点。因而图傳4又决于具有任意块 尺寸和边界位置的许多不同的基于块的处理；并且，对于不同组的 伪差，可以存在具有不同块结构的多于一组的基于块的伪差。

发明内容
本发明包括一种新颖的图l象分析方法，其中，无需才是前访问未 处理的图4象，而可以量化基于块的伪差，并测量要处理的块尺寸。
本发明 一 方面涉及分析图像数据的方法，用于量化由基于块的 处理产生的伪差，其中，对从所述图像数据中推导出的一组像素数 值进行空间滤波并整流，并从所述滤波并整流的数值中推导出一个 或多个缺损参数。
优选地，所述滤波器是高通滤波器，其可以被设置用来只允许 可能包括块边纟彖信息的频率通过。在本文的基于块的处理中，优选 地，所述滤波器是带通滤波器，用来排除可以代表噪声的更高的频 率。在重要的实例中，根据各自的整流的滤波器输出之间的比较， 从两个或多个可选的滤波器选择中自动选择所述滤波器。
优选地，反转耳又心函数(inverse coring function )被应用于这种
整流的数据中。
可以从滤波并整流的数据的空间频谱分析中推导出块尺寸参 数。可以从滤波并整流的数据的二维自相关函数的分析中推导出块 尺寸参数。
在一个实例中，4偉导出块伪差存在可以包^"以下步-骤
估算包括了预期块尺寸空间频率的空间频率带中的能
量；
估算包括了预期块尺寸空间频率的所述空间频率带以外 的能量；以及，
当包括了预期块尺寸空间频率的空间频率带中的能量与 包括了空间频率的所述空间频率带以外的能量相比超出阈值 时，标i己块伪差的存在。
优选地，在所述缺损参凄史导出之前，在基本上全部的图^f象高度 或宽度上对所述滤波和整流的数据进行垂直或水平求和。可以从所 述求和的数据的自相关函数中推导出缺损参数。可以从所述自相关 函数的峰之间的距离中或从所述自相关函数的离散余弦变换中推 导出块尺寸参数。选择一个或多个所述离散余弦变换的基本函数， 以对应于预期的块空间频率。自相关函数可以由空间带通滤波器滤 波。自相关函数由临时低通滤波器滤波，所述低通滤波器组合来自 图像序列中两个或多个图像的数据。可以组合来自多于一个图像的块尺寸参凄t;所述组合可以是模 态数值(modal value )。
识别块边*彖4立置(block edge position )可以包j舌以下步驶纟
将由测得的块尺寸空间分离的求和的滤波并整流的像素 凄t值对相加，以获耳又一组附加结果；
找到该组附加结果的最大值；以及，
识别产生该组的最大值的像素中的 一 个的位置，作为块 边缘位置。
^修改识别的块边^^位置可以包括以下步骤
估算相距至少两个像素的像素对之间的像素数值差值大 小，其中，在所述识别的块边缘位置和识别的块边纟彖位置的每 一侧上的位置处进4于估算；
才企验所述^象素lt值差值大小，以识别局部最大值；
当局部最大值存在时^修改识别的块边多彖位置，以与局 部最大值的位置相对应；以及
当局部最大值不存在时排除识别的块边^^f立置。
另 一方面，本发明涉及一种确定图像区域的块伪差度量的方 法，包4舌以下步骤
在所述区域中的位置处识别块边缘位置；
估算识别块边纟彖位置的每个位置处的相3巨至少两个〗象素 的像素对之间的像素数值差值大小；
对识别块边纟彖的区域中所有位置上的所述估算的 <象素翁: 值差值大小进行求和，以得出块边缘差值的和；估算块内部区域中的相邻像素之间的平均像素数值差值 大小，所述块内部区域包括识别块边缘位置之前和之后的位
置，而不包括临近识别位置的位置；
对所有所述块内部区域的平均像素数值差值大小进行求 和，以;彈出i夹内部差^直的和；以及
通过将块边缘差值的和除以块内部差值的和来形成块伪 差度量。
优选地，识别块边缘的所述区域中识别的块边缘位置的数量在 将其分为所述块边缘差值的和之前被增加到所述块内部差值的和 上，以形成块伪差度量。
优选地，通过平均亮度值对块伪差度量进行加权，从而在很高 和很低的平均亮度的区域中减少伪差度量。
可以通过组合一个或多个最高的各自区域的伪差度量并排除 其他区域的伪差度量来形成图像的块伪差度量。可以在临时低通滤 波器中组合序列中图像的伪差度量。可以以算法形式表示所述伪差 度量。
在 一 个实例中，从多个图像序列上的图像序列的块伪差度量中 的变量中推导出块伪差度量。可以分析图像序列的块伪差度量中的 变量，以识别图片编码方法的重复图案。
本发明的另 一方面将在所附4又利要求中加以阐述。


下面将通过实例的方式参照附图对本发明加以描述，其中图1示出了才艮据本发明实施例的图像数据分析系统。
图2示出了从块缺损(block impaired )的图像中推导出典型的
自相关函数。
图3示出了才艮据本发明的可选实施例的图像数据分析系统。
图4示出了用于分析自相关函数以确定块伪差的存在的系统。
图5示出了用于定位候选块边界位置的处理的流程图。
图6示出了用于从一组候选位置中选择块边界位置的处理的流 程图。
具体实施例方式
本发明可以用于分析代表了与图像像素相关的数值的图像数 据。该数值可以代表亮度、色差(例如，Cb或Cr)、主色成分(例 如，R、 G或B)或者其他合适的〗象素参^t。可以对冲莫拟一见频信号 进行釆样以获取用于分析的像素数值。
参照图1,对应于相邻〗象素(1 )的数值的序列祐:输入至高通滤 波器(2)。当目标是分析块结构的水平成分时，就使用水平相邻像 素的序列，诸如ITU-R Rec.656数字接口信号的可选文字中亮度数 值的流，或在多个视频波形的行频处采样的所述视频波形的随后采 样。可选地，可以输入对应于垂直相邻4象素的数值流，以便分析块 结构的垂直成分。当使用交错的光栅对图像进行扫描时，垂直相邻 的像素可以来自相邻的区域。在一些实施例中，像素数值(1)的序列可以包括诸如消隐
(blanking)和同步数据数值的非图片#:值。这些区域仅包括要分 析的图像中总像素的 一 少部分，因而通常没有必要将其排除。
如上所述，当不同的处理一皮施加至不同的块中时，例如不同的 变换量化系数，块结构作为图像伪差可以变得明显，这是因为传输 系统的空间频率响应随着块的不同而不同。块之间的空间频率响应 的这种不同在高频中最为明显。因此，示例性实施例中的高通滤波 器^f皮用于为进一步分析而选择输入信号的高频空间成分。
对于标清电视信号的水平分析，高通滤波器(2)可以通过已 知方式由有限冲击响应(FIRH黄向滤波器方^更地实现。才艮据ITU-T 推荐601的以13.5MHz采样的亮度信号的合适的滤波截止频率是5 MHz。
由整流器(3)对滤波器的输出进行整流，所述整流器提供与 其输入大小相等的输出。经整流的输出被提供至相关处理器(4)， 所述相关处理器根据下面的表达式来计算进入的经整流的值的自 相关函数
A(d)=》RxxRx.d) 其中Rx是当前的整流输入值；
Rx.d是前dth的整流输入值。
为单位元素和至少最大的预期块维凄t之间的d值评估该表达 式。当分析来自MPEG-2解码视频的水平相邻像素的序列时，数值 d的适当范围是一到32。典型地，在水平分析的情况下，在图像的整个区域上执行求和。
在一些实施例中，可以选4奪一组更大或更小的^f象素；例如块结构在 图i象中可以改变，而这有助于分冲斤更小的部分，以显示这种改变。 在图1中，相关处理器(4)接收识别包含在求和中的一组像素的 求和窗口信号(5)。如前所述，求和不需排除消隐和同步数据，因 而求和窗口信号可以是简单的每个区i或复位一次的求和。
当需要垂直分析交错图像时，求和将包括来自多于一个区域的 像素，而求和窗口信号(5)的确切类型将取决于安排访问这些区 域的方法。 一种可能是，将交错的图像写入帧存储器，并作为渐进 扫描的图^象而^皮读出。这里，可以4安照帧速率复位所述求和。
来自相关处理器(4)的输出是由求和窗口信号(5)定义的对 于每个求和的一组凄W直A(d)。在分才斤流动^l频的典型处理中，本丰# 出是每个区域一次的一组32个数值。这些组的数值被传输至两个 分析处理块尺寸分析器(6);以及，块伪差分析器(7)。
图2中示出了来自相关处理器(4)的输出的实例。(该图示出 了用于描述的从零到32的数值d,在实际系统中，可以使用诸如一 到32的不同范围的数值d。)自相关函数A(d)示出了规则的峰，而 通过分析这些峰的高度和间距(峰间距离)，块伪差和块尺寸的大 小:就可以确定了 。
块尺寸分析器(6)以单位d确定间距。d是输入至相关处理器 (4)的连续(滤波并整流的)采样之间的距离。才艮据输入采样间 距，该间距可以转换至块尺寸并输出(8)。在图2的示例性实施例 中，输入采样是相邻像素数值，而每个单位d表示一个像素。因此， 在图2中示出的实例中，块尺寸是〃\个<象素。一种块尺寸分析器(6)工作的方法是如下确定自相关函数的 两个最为明显的局部最大值之间的距离
一识别那些凄t值d,这些翁:值d中
A(d)>A(d-l)且A(d)>A(d+l) (这些d值对应于局部最大值的位置。) 一对于每个所识别的数值d，选择
1 A(d) -A(d-l)l和l A(d) - A(d+l)i中较小的值
一将每个选4奪的数值与其对应的d值相关联。(这些选4奪的值 给出了对应局部最大值的明显程度的大小。)
_找到两个最高的选l奪凄t值。(这样识别两个最明显的局部最 大值。)
一对于这两个最高的选择数值，确定
其相关d值之间差值的大小。
(这就是块尺寸。)
其他的测量函数中峰之间距离的方法对于本领域的普通技术 人员来i兌是显而易见的。
还应该注意，块尺寸可以不是整#:个<象素(在基于块的处理之 后，图像可以由非整数定标(scaling)因子重新定标)。有很多已知 的方法用于将采样函数中峰的位置确定至子采样精度，诸如使二次或其他函41适于采样的函H这些方法可以用于确定具有子^f象素分 辨率的块尺寸。
块伪差分析器(7)分析与之间的波谷平面相关的自相关函数 中峰的高度，并输出作为块度量输出(9)的结果。合适的方法如 下
一识别对应于两个最明显的局部最大值的d值(例如通过上述 方法)。
这些是dmaxl和dmax2
_将对应于这些局部最大值之间的波谷的d值定义为 dmin 1 =Rnd { Min [dmax 1 ，dmax2]+1/21 dmax 1 -dmax21} 其中Rnd()表示舍入为最近的整数。
一确定块伪差参凄t:
块伪差=101og1() {[A(d蘭1)] + [A(dmin 1)]}
将峰的比率高度的度量确定为中间波谷的高度的其他方法对 于本领域普通技术人员来说是显而易见的。
当求和窗口中像素的数量很小时，块尺寸的输出(8)和块伪 差度量(9)可以是不可靠的。可选地，可以通过组合若干求和结 果来实现更大的可靠性；例如，可以组合来自视频序列若干区域的 分析结果。这是通过在块尺寸分析器(6)的输出处包括中值滤波 器(10)，以及，在块伪差分析器(7)的输出处包括递归(IIR)滤 波器(11 )而在图1中示出的。适用于中值滤波器(10)的算法是将当前的滤波器输入和偶数 个之前的滤波器输入按等级次序分类，并选#^中间等级的输入作为
滤波器输出。然后，该值从分析器中形成块尺寸输出(12)。
当块尺寸4艮小时，相邻像素的本质相关性可以屏蔽来自相关处
理器(4)的输出中的峰，且其由于不可靠而可以适用于识别某一 尺寸以下的块尺寸，或适用于约束较d、的块尺寸数值变成输出。
可以存在在来自相关处理器(4)的输出中的多于一个的块结 构的证据。这会引起多于一个的规则的峰图案。例如，宏块 (macroblock)结构(由例如/\个更小的块组成)可以存在。可选 地，可以存在多于一个的不相关的峰图案。这里，可以通过分析峰 的相对高度来识别多于一个的块结构。
组合了来自视频区域流的块伪差度量的适用于IIR滤波器(11 ) 的算法如下
Output(n)=l/4[3 X OutpUt(n—)+I叩Ut(n)]
其中，Output(n)是当前滤波器输出；
Output(n力是之前滤波器l俞出；以及， Input(n)是当前滤波器l俞入。
存在可以从相关处理器(4)的输出中推导出的其他块伪差参
数
一比例[A(d,l)] + [A(dminl)]可以表达为线性数量而非算法；
_峰谷距离可以除以所有相关数值的和
块伪差度量呵IA(d脂xl)-A(dminl)l] + [ZA(d)]—峰谷距离可以除以加权的和，其中，当d很小时给A(d)较小 的权数
块伪差度量呵IA(d隱l)-A(dminl)l] + [ZW(d).A(d)]
其中W(d)是加权函数。
这可能有助于对根据该图像内容的块伪差度量进行加权，从而 在块伪差可能更为明显的图像的平滑改变区域中给出更高的伪差 等级。可以在滤波器(2)的输出处通过信号能量的测量来识别这 些区域。通过平方每个像素的滤波器输出并累加这些结果(这是 A(O))来获取合适的能量值。可选地，不是滤波器(2)的滤波器可 以应用于输入像素数值(1)和其他滤波器的输出，平方并用于计 算能量值。加权的块伪差度量可以通过将前述量度中的一个乘以能 量值来获取。
相似地，当图片中存在很小的移动时，块伪差更可能是明显的。 这种区域可以通过提取同 一位置的像素之间的区域间的差别和对 结果求和来识别。4壬意的前述块伪差度量可以乘以该和，以^^出加 权的块伪差度量。
当分析MPEG、或相似编码的视频时，可以〗吏用块伪差度量的 帧对帧变化来识别图片组(GoP)周期的长度。(即，直接编码以及 多种类型的预测编码的帧彼此跟随的图案。)可以由低通滤波器识 别块伪差度量的低频率变化，而该频率的周期可以假设为一个GoP 的持续时间。
可以从块伪差度量的帧对帧变化中推导出进一步的伪差度量； 这可以*合出由编石马伪差随时间改变而产生的 一见频序列的主观J夹损 的标志。本发明不限于水平或垂直的分析；可以分析来自图像中沿任意 直线的像素的数据。在某些情况下(例如，当块尺寸大于像素间距 时)，在(含有或不含前置滤波或插值的)处理之前，对像素进行 空间地子采样可以是4艮便捷的。
可以通过寸丸行图1的块(4)中的二维自相关处理并分析峰和 谷的作为结果的二维自相关表面来以二维方式实施本发明。
可以通过省略求和中的一些d值来简化相关处理器(4)。例如， 提供最有用信息的d值可以由分析特定类型的图像数据的经验和从 计算中排除的含较少信息的d值来识别。
图3中示出本发明的另一实例的框图。像素数值(300)的输 入流^皮llT入至滤波器(301 )，以识别高频率成分。当图係j皮增频变 频时，例如从标准清晰度到高清晰度，在滤波器输出处可能不存在 足够的高频信息来分析。这时，优选地使用具有低频带通的滤波器， 诸如不4奪利的位于中带中心旁的带通滤波器；即，大约一半Nyquist 频率。可以通过将至少 一 个滤波器的整流的输出与阈值进行比较并 选择具有最高频率带通的含有重要输出信息的滤波器来配置不同 滤波器之间的自动切换。
对滤波输出进行整流，并在组合的整流和反转取心函数(302) 中选择小振幅的数值。该函数返回来自滤波器(301)的低振幅采 样的绝对大小，并渐进地减少大小超过固定的低阈值的采样。在求 和图框(303 )中的每个单个图l象上对作为结果的一组滤波、反转 取心且整流的像素凄t值进行垂直求和，以获取一组"像素列活动" 值(304 )。该组包括由像素数值(300)流表示的每个图像的每个 水平像素位置的一个lt值。通过对图^f象所有行的垂直相邻的数值进 4亍求和，要处理的H悟的量显著地减少，而该组求和的〗象素列活动 值(304)会包含对于要确定的块水平尺寸来说足够的信息。自相关函数处理器(305 )计算来自每个图像的一组像素列活 动值(304)的自相关函数。该函数应该具有足够的范围，以超出 最宽的预期块宽度三或四倍的因数；典型地，计算间隔从零到至少 100的采样间的相关数值。
每个图像的相关函数(305 )的输出(306)与图2相似，且具 有反映水平块结构的周期性变化。当图2中示出的相关函数被当作 概念上采样的信号片断，其中纵轴表示振幅而横轴表示空间位置， 可以通过对该和克念上的信号进行滤波来获取有用的信息；特别地， 带通滤波器可以分出由块结构产生的可选成分。这是通过带通滤波 器(307 )来完成的，所述带通滤波器使包括了所有预期块尺寸的 空间频率带通过，并移除了更低且更高的频率成分。
当处理代表了移动景象的图像序列时，每个图像在滤波器 (307 )的输出处均会产生概念上的滤波信号片断，而这些片断作
为序列进展而随时间变化。这些暂时的改变是由低通临时滤波器 (308 )进行平滑的，所述低通临时滤波器对来自序列中随后图像
的对应的相关数值进行组合，从而排除短持续时间的假结果并获取
一组更为典型的概念上的信号片断。
将这些滤波的片断传输至离散余弦变换(DCT )处理器(309 ); 应注意，其他基于余弦的变换可以代^# DCT而〗吏用。其将每个概 念上的信号片断变换至频域，从而对于每个片断，获取一组变换系 数，以表示概念上信号片断的频谱的频率成分的大小。每个变换系 数均表示各自的水平块空间频率的大小。基本的变换函数可以被选 择用来包含预期的块尺寸，并可以包含非整数的块尺寸；即，频率 不是整数多个水平像素间距。典型地推导出17个变换系数。
在块尺寸确定处理(310)中评估来自DCT处理器(309)的 一组变换系数，以便确定水平块尺寸。当(由于这种情况经常发生)带通滤波器(307)不具有平(flat)带通时，DCT系数就不需才艮据 窗口函数而^皮校正了，所述窗口函lt "补偿(叫ualise)"滤波器带 通响应，以便每个变换系数均精确地反映相关块空间频率的幅度。
块尺寸确定处理(310)是通过对每个图像进行一次变换系数 排队并找到三个最大值而工作的。最大系^:可能对应于块尺寸、或 多个块尺寸。当该组的三个值中包含彼此相乘的值时，最低的子倍 数(sub-multiple)将保留而较高的则被排除。优选地，在直方图中 组合序列中若干图像的确定的块尺寸，并输出最频繁地被报告的块 尺寸，即，该组检测数值的^t态数值(311 )。
这有助于检测块伪差的存在，而当不存在这种伪差时，有助于 抑制块尺寸和块伪差确定。这是通过自相关的进一步处理而进行的 (306)。该函数是低通滤波器中(312)的低通滤波(对于带通滤 波器(307 )来说以才莫拟的方式)。在块存在确定函数(313)中处 理未滤波的自相关函lt ( 306 )以及来自滤波器(307 )和(312) 的输出，以获取块存在标记(314)。
块存在函数(313 )对自相关函数(306)的活动集中在带通滤 波器(307)的通带中的情况进行检测。在图4中示出了适合的方 法。在该图中，对输入自相关(406)进行带通滤波(407)和低通 滤波(412)。(这些滤波器对应于图3的滤波器(307)和(312)。) 通过减法器(421)和(422)形成每个滤波输出及其各自输入之间 的加权的差值。这些在整流器(423 )和(425 )中被整流；而未滤 波的相关函凄t也在整流器(424)中浮皮整流。通过加法器(426)和 减法器(427)产生来自这三个整流器的输出的加权组合。该组合 与比较器(428 )中的阈值进行比较，且当组合超过阈值时激活块 伪差存在标i己(414)(与标i己(314)等同)。返回至图3，通过像素列活动值(304)的进一步处理找到候选 块边缘位置。这是在候选块边缘位置处理(315)中完成的，该处 理分析了凄t据^:值(304),以确定由等于确定的块尺寸的距离分开 的峰活动的位置。
候选块边纟彖位置处理(315 ) 4妄收测量的块尺寸(311 )的输入。 该尺寸数值将成为DCT (309)的基本函数中的一个的周期，而可 以不是完全地精确；例如，基本函数可以仅包括整数值而实际的块 尺寸可以不是整数个像素。使用测量的块尺寸数值(311 )，如图5 中所示处理图像的该组像素列活动值(304)，以获取候选块边缘位 置。在图5中，该组l象素列活动^f直(304 )的元素由Pi表示，其中 i是指数值(index value),使得最左数值具有指数零而最右数值具 有指数L(即，图像为(L+l )像素宽度)。由数值B表示测量的块 尺寸(311 )的整数部分。
当存在块伪差时，块伪差会产生峰，以出现在块边界位置处的 一组-像素列活动4直(304)中。在图5中所示的处理中，识别了由 测量的块尺寸分开的峰的位置。
参照图5，分析相位参数①在步骤(501 )中被设置为零，然后 指数变量i被设置为步骤(502)中的数值(B+①)。在步骤(503 ) 中，对由一个测量的块尺寸分开的像素对的活动数值进行求和，以 获取一组B求和凄K直。该组的最大<直#皮识别，且影响该<直的最右傳_ 素的指数值被表示为第 一候选块边缘位置。
在步骤(504)中，指数参凄史增加B，且以下一个B活动值重 复步骤(503 )。然后，从第二组活动值的最大值中识别第二候选块 边纟彖的位置。重复步骤(503 )和(504)直到最右像素列活动值已 经包含于和中。在4企观"步骤(505 )中识别该状态，且在步骤(506) 中，相位参4fetO增加测量的块尺寸的四分之一的整凄t部分。然后重复求和步骤(503 )，该步骤开始于由相位增加的指数。这意味着从 向右移位的块数值中选择进一步的像素对求和最大值。如前所述记 录最大值的位置。然后再次增加相位参lt①，且另一组可能的块边 缘位置被识别，且在步骤(506)中再次增加相位参lt(D。
在步骤(507 )中检测新相位，来查看其是否超出了一个半的 测量的块尺寸。如果是这样，就不需对最大值的进一步寻找，而该 处理进入步骤(508 )，其中在两个或多个分析相位处^皮识别为最大 值的位置的指数值;故确认为候选块边缘位置，而其他的就被排除 了。
可以通过在位置处理(315)前对l象素列活动值(304)进行带 通滤波来改进该候选块边缘处理。可以使用与滤波器(307 )相似 的滤波器。不用滤波，块边缘可以显示为在一组像素列活动值(304) 中的两个紧密分隔的峰；这是由于滤波器(301)的输出处的单一 瞬态产生两个紧密分隔的正峰和负峰的反转取心整流器(302 )的 整流函凄t。滤波将两个峰组合为负过冲量(negative overshoot)之 前和之后的单个宽峰。
来自步骤(315)的候选块边缘数值被传输至块边缘位置处理 (316)。该处理利用实际的像素数值(300)，因而可以识别在少于 整个图像高度的范围扩展的块边缘。该步骤识别临近候选位置的位 置，候选位置上由两个像素间距分开的像素间的值的差值是最大 值。
图6中示出了合适的处理。在该图中， -像素值由YI表示，其 中I是以一个水平像素间距为单位表示水平位置的指数参数。在步 骤(601)中，I被设置为第一候选位置的指数。在步骤(602)中， 在由I表示的位置处，估算由两〗象素间距之间的差组成的，对相距 一个测量的块尺寸的位置进4于求和。如图所示，还计算了一个4象素间距位置的等同的求和数值，位置的每侧均由I表示。在步骤(603 ) 中，寻找三个像素数值差值的和的最大值，并将对应于该最大值的 指数I识别为块边缘位置。然后对剩下的图5步骤中的候选边纟彖位 置重复步骤(602)和(603 ),以获取最后一组块边纟彖位置。
. 对每个图^f象4亍重复图6中示出的步骤。当块结构由MPEG或相 似压缩产生时，块边缘位置在随后的行上将会相同；然而，本发明 能够检测未垂直排列的块边缘，诸如那些来自高速"穿梭"模式中 的压缩的凄t字》兹带录音4几的边纟彖。
图6中示出的变化过程是可能的。例如，由一个块尺寸分开的 两个像素间距的差的和可以加权至候选位置，从而和T变为
T=W x |YI-Y(I-2)(+|Y(I-B)-Y(I-B-2)|
其中W是加4又因子。
图中示出的和s与u可以按同样的方法加权。适合w的值是 估算其他的距离候选位置多于 一 个像素间距的位置上由 一 个
块尺寸分开的两个像素间距差的加权的和也是很有好处的；而检测 所选的块边缘位置对应于真实的局部最大值也是;^艮有益的。当没有 将选4奪的位置确定为局部最大值时，就没有从相关候选位置推导出 的边缘位置被记录。
当在基于块的处理之后对图像完成增采样时，对于块边缘位置 处理(316)，这有助于使用在大于两个像素的间距上估算的像素值 的差。返回至图3，下面将描述块伪差度量的推导。因为块边缘位置
已经在每条线上找到，故可以在任意期望的图像区域(包括整个区 域)上估算伪差度量。如下文所述，这通常有助于组合来自图像序 列中随后图像的对应区域的结果，以便获取代表性的结果。
使用检测到的块边缘位置，检测的边缘位置与左数两个像素的
对应位置之间的像素值的差的大小在块边缘差值计算(317)中求和。
和是》YE-Y(E-2)|
其中YE是检测的块边缘位置处的像素值；以及， 在整个4企测的边纟彖位置上4丸行求和。
不包括临近块边缘的差，为每个检测的块在块内部差值计算 (318)中对每个块内部区域的相邻像素值的差求平均。
和是{》Yi-Y(i-l)|} + (N)
其中N是求和中差值的数量；以及 在(E+3)到(E，-3)的范围内对i值执行求和 其中E，是E之后的检测的边缘位置。 对于所有一企测的边缘位置E。
当检测的块尺寸小于6时，排除临近检测边缘位置的数值可以 排除所有内部差值，因而只有很少的数值在这种情况下会被排除。通过在除法器(318)中将来自边缘差值计算(317)的边缘差 值的和除以来自内部差值求和计算(318)的内部差值的和来获:f又 图像区域的块伪差度量(320)。通常，区域会比整个图像宽度窄， 并且低于整个图像高度。落入相关区域的所有边缘位置检测均包含 在求和中，以便在区域的若干行上扩展的单一边缘会影响到包含于 相关区域中每条图像行上的求和。
当内部差值求和计算(308 )产生小数值时，除法(318)可以 广泛地产生用于块伪差度量(320 )的多种值。这种效果可以通过 将小凄t值与来自计算(318 )的内部差值求和相加并在该除法(318 ) 中使用这个略微增加的数值来减轻。增加的恰当数值是相关区域中 块边缘检测的数量；而对于求和，可以在相同区域的相邻行上包括 多个相同边纟彖的4全测。
可以通过根据相关区域的平均亮度来对块伪差度量进行加权 来对其进行改进，从而当平均亮度很高或很低时，减小伪差度量。 例^口，在黑色由16表示而白色由235表示的系乡克中，小于50或大 于170的平均亮度值可以引起伪差度量的减少。该加权给出了与主 观块伪差估计更为相关的结果。
实用的图像序列度量是对序列的每个图像中的三个最高的加 权区域块伪差度量进行求和，然后在若干序列图像上取结果的移动 平均值(或其他临时低通滤波器)。
存在多个可以在图3的系统中完成的变化。用于获耳又块尺寸输
的傅立叶变换，并在对应于预期块尺寸的空间频率范围中找到最大 傅立叶成分来实现。还可以通过比较对应于含其他成分大小的预期 块尺寸的成分大小来从傅立叶成分大小中找到块存在标记(314)， 所述成分的频率可能不取决于块伪差。这种方法与图3的系统相比在计算上更为强大，即《更当可以得到适当资源的时^f夷，这也是优选
的。还可以取垂直求和的l象素列活动值(304)的傅立叶变换，并 通过对其平方而从作为结果的傅立叶成分中获取能量频谱。对应于 能量最大值的频率可能对应于块空间频率。傅立叶成分的相位还会 包含关于块边缘位置的信息。
当处理图像的序列时，在序列中的随后图像彼此不相关时检测 "发射变化(shot-changes )"。可以在发射变化处重置IIR滤波器 (308 )、以及块边缘差值内部差值求和(317)和(318),以避免
组合来自不相关图像的数据。这仅在随后图像的块结构不相关的可
能性时是必要的。
还可以通过对垂直相邻的^f象素进4亍相关来应用上述l支术来才企 测块边^^的垂直位置。普通4支术人员可以将图3的系统应用于这种 情况，例如通过用等效的水平求和来替换垂直求和(303 )并进行 其他才莫拟的1奮改。
本文以多种组合、结构和顺序中描述了 一系列的特征和处理步 骤。应理解，多种应用中的那些特性和处理步骤可以以其他组合、 结构和顺序进行配置。
本发明可以用于分析对应于静止或移动图像的数据，而数据可 以从计算机文件或其他存储介质中推导出。分析图^f象、或部分图像 的时间比将要向7见众显示的时长更快或更十曼。
权利要求
1. 一种分析图像数据的方法，用于量化由基于块的处理产生的伪差，其中，对从所述图像数据中推导出的一组像素数值进行空间地滤波并整流，并从所述滤波并整流的数值中推导出一个或多个缺损参数。
2. 根据权利要求1所述的方法，其中，所述滤波器是高通滤波器。
3. 根据权利要求1所述的方法，其中，所述滤波器是带通滤波器。
4. 才艮据权利要求1所述的方法，其中，乂人两个或多个可选的滤波 器中自动选择所述滤波器，该选择是根据各自的整流的滤波器#r出之间的比4交来进^f亍的。
5. 根据权利要求1至4中任一项所述的方法，其中，反转取心函 凄t被应用于所述整流的数据。
6. 根据权利要求1至5中任一项所述的方法，其中，从所述滤波 并整流的数据的空间频i普分析中推导出块尺寸参数。
7. 根据权利要求1至5中任一项所述的方法，其中，从所述滤波 并整流的数据的二维自相关函数的分析中推导出块尺寸参数。
8. 根据权利要求1至5中任一项所述的方法，其中，推导出块伪 差存在参数。
9. 根据权利要求8所述的方法，其中，检测块伪差存在包括以下 步骤a. 估算包括预期块尺寸的空间频率的空间频率带中的能量；b. 估算包括预期块尺寸的空间频率的所述空间频率带以 外的能量；以及，c. 当包括预期块尺寸空间频率的所述空间频率带中的能 量与包括空间频率的所述空间频率带以外的能量相比超出阈 值时，标记所述块伪差的存在。
10. 才艮据权利要求1至9中任一项所述的方法，其中，在所述缺损 参数导出之前，在基本上全部的图像高度上对所述滤波并整流 的凄W居进4于垂直求和。
11. 根据权利要求1至9中任一项所述的方法，其中，在所述缺损 参数导出之前，在基本上全部的图像宽度上对所述滤波并整流 的数据进行水平求和。
12. 根据权利要求10或11所述的方法，其中，从所述求和的数据 的自相关函数中推导出缺损参数。
13. 根据权利要求12所述的方法，其中，从所述自相关函数中峰 值之间的距离推导出至少 一个块尺寸参数。
14. 根据权利要求12所述的方法，其中，从所述自相关函数的离 散余弦变换中推导出块尺寸参数。
15. 根据权利要求6、 13或14中任一项所述的方法，其中，组合 来自多于一个图像的块尺寸参数。
16. 根据权利要求15所述的方法，其中，所述组合是模态数值。
17. 4艮据4又利要求14所述的方法，其中，选才奪一个或多个所述离 散余弦变换的基本函数，以对应于预期块空间频率。
18. 才艮据权利要求12至14中任一项所述的方法，其中，所述自相 关函数由空间带通滤波器滤波。
19. 根据权利要求12至14中任一项所述的方法，其中，所述自相 关函数由临时的低通滤波器滤波，所述低通滤波器组合来自图 像序列中两个或多个图像的数据。
20. 根据权利要求10或11中任一项所述的方法，其中，识别块边 全彖位置包4舌以下步-骤a. 将求和的滤波并整流的所测得的块尺寸空间分离的傳_ 素凄^f直对相加，以获取一组附加结果；b. 找到该组附加结果的最大值；以及，c. 识别构成该组最大值的像素中的一个的位置，作为块 边缘位置。
21. 4艮据权利要求20所述的方法，其中，^奮改识别的块边缘位置 包4舌以下步-骤a. 估算相距至少两个1象素的像素3于之间的^f象素lt值差值 大小，其中，在所述识别的块边缘位置以及在识别的块边缘位 置的每一侧的位置处进行所述估算；b. 验所述^f象素数值差值大小，以识别局部最大值；c. 当局部最大值存在时修改所述识别的块边缘位置， 以与所述局部最大ii的^f立置相对应；以及d. 当局部最大值不存在时排除所述识别的块边缘位置。
22. —种确定图l象区域的块伪差度量的方法，包括以下步骤a. 在所述区域中的位置处识别块边缘位置；b. 估算识别块边缘位置的每个位置处的相距至少两个像 素的像素对之间的像素数值差值大小；c. 对识别块边缘的区域中所有位置上的所述估算的像素 数值差值大小进行求和，以得出块边缘差值的和；d. 估算块内部区域中相邻像素之间的平均像素数值差值 大小，所述块内部区域包^舌识别块边乡彖yf立置的之前和之后的位 置，而不包4舌邻近所述识别^f立置的^立置；e. 对所有所述块内部区域的平均像素数值差值大小进行 求和，以得出块内部差值的和；以及f. 通过将所述块边纟彖差值的和除以所述块内部差值的和 来形成块伪差度量。
23. 根据权利要求20所述的方法，其中，识别块边缘的所述区域 中的识别的块边缘位置的数量在将其分为所述块边缘差值的 和之前^f皮增加到所述块内部差值的和上，以形成所述块伪差度量。
24. 根据权利要求22或23所述的方法，其中，通过平均亮度值对 所述块伪差度量进行加权，从而在很高和很低的平均亮度的区 域中减少所述伪差度量。
25. 根据权利要求22至24中任一项所述的方法，其中，通过组合 一个或多个最高的各自区域的伪差度量并排除其他区域的伪 差度量，来形成图像的块伪差度量。
26. 根据权利要求22至25中任一项所述的方法，其中，在临时的 低通滤波器中组合序列中图像的伪差度量。
27. 根据权利要求22至26中任一项所述的方法，其中，以算法形 式表示所述伪差度量。
28. 根据权利要求22至27中任一项所述的方法，其中，从多个图 像序列上的图像序列的块伪差度量变化中推导出块伪差度量。
29. 根据权利要求22至28中任一项所述的方法，其中，分析图像 序列的块伪差度量变化，以识别图片编码方法的重复图案。
30. —种分析图像数据以量化由基于块的处理产生的伪差的装置， 包括空间滤波器，所述空间滤波器对从所述图像数据中推导 出的一组^象素数值进行运算，以移除〗氐空间频率；以及处理器， 用于从所述滤波数值的大小中推导出一个或多个缺损参数。
31. 根据权利要求30所述的装置，还包括对所述空间滤波器的输 出进行运算的整流器。
32. 根据权利要求30或31所述的装置，其中，所述滤波器是带通 滤波器。
33. 根据权利要求30至32中任一项所述的装置，包括两个或多个 可选的空间滤波器以及一个选择器，所述选择器用于根据各自 滤波器输出之间的比较来选择所述空间滤波器中的一个的输 出。
34. 根据权利要求30至33中任一项所述的装置，还包括反转取心 函数。
35. 才艮据权利要求30至34中任一项所述的装置，其中，所述处理 器用于从所述滤波的数据的空间频谱分析中推导出块尺寸参数。
36. 根据权利要求30至35中任一项所述的装置，其中，所述处理 器用于从所述滤波的数据的二维自相关函数分析中推导出块 尺寸参数。
37. 根据权利要求30至36中任一项所述的装置，其中，推导出块 伪差存在参数。
38. 根据权利要求30所述的装置，所述装置用于将包括预期块尺 寸空间频率的空间频率带中的能量与包括预期块尺寸空间频 率的所述空间频率带以外的能量进行比较；以及当包括预期块 尺寸空间频率的空间频率带中的能量与包4舌空间频率的所述 空间频率带以外的能量相比超出阈值时，标记所述块伪差的存 在。
39. 根据权利要求30至38中任一项所述的装置，包括加法器，用 于在基本上全部的图像高度上对所述滤波和整流的数据进行 垂直求和。
40. 根据权利要求30至38中任一项所述的装置，包括加法器，用 于在基本上全部的图像宽度上对所述滤波和整流的数据进行 水平求和。
41. 根据权利要求38或39所述的装置，其中，所述处理器用于从 求和数据的自相关函数中推导出缺损参数。
42. 根据权利要求41所述的装置，其中，所述处理器用于从所述 自相关函数中峰值之间的距离推导出至少一个块尺寸参数。
43. 根据权利要求41所述的装置，其中，所述处理器用于从所述 自相关函数的离散余弦变换中获取块尺寸函数，所述自相关函 数具有对应于预期块空间频率的所述离散余弦变换的一个或 多个基本函数。
44. 根据权利要求35、 36、 42和43中的任一项所述的装置，其中， 组合来自多于一个图像的块尺寸参数，优选地作为模态数值。
45. 根据权利要求41所述的装置，包括空间带通滤波器，用于对 所述自相关函数进行滤波。
46. 根据权利要求41所述的装置，包括临时低通滤波器，用于对 所述自相关函数进行运算，以组合来自图4象序列中两个或多个 图像的数据。
47. —种确定图像区域的块伪差度量的装置，包括用于在所述区 域中的位置处识别块边缘位置的装置；用于估算识别块边纟彖位 置的每个〗立置处的相^巨至少两个像素的^f象素只十之间的 <象素凄t值差值大小的装置；用于对识别块边多彖的区域中所有位置上的 所述估算的像素数值差值大小进行求和，以得出块边缘差值的 和的装置；用于估算块内部区域中相邻像素之间的平均像素数 值差值大小的装置，所述块内部区域包括识别块边缘位置的之 前和之后的位置，而不包括邻近所述识别位置的位置；用于对 所有所述块内部区域的平均像素数值差值大d、进行求和，以得 出块内部差值的和的装置；以及用于通过将所述块边缘差值的 和除以所述块内部差值的和来形成块伪差度量的装置。
48. 根据权利要求47所述的装置，其中，识别块边缘的所述区域 中识别的块边缘位置的数量在将其分为所述块边缘差值的和 之前^^皮增加到所述块内部差^f直的和上。
49. 根据权利要求47或48所述的装置，包括用于通过平均亮度值 对所述块伪差度量进行加权，从而在很高和很低的平均亮度的 区域中减少所述伪差度量的装置。
50. 根据权利要求47至49中任一项所述的装置，包括用于组合一 个或多个最高的各自区域的伪差度量并排除其他区域的伪差 度量来形成图像的块伪差度量的装置。
51. 根据权利要求47至50中任一项所述的装置，包括临时的低通 滤波器，用于组合图像序列的伪差度量。
52. 根据权利要求47至51中任一项所述的装置，包括用于从多个 图像序列上的图像序列的块伪差度量的变化中推导出块伪差 度量的装置。
53. 根据权利要求47至52中任一项所述的装置，包括用于分析图 像序列的块伪差度量的变化，以识别图片编码方法的重复图案 的装置。
54. —种程序载体，用于携带处理器可读的指令，所述指令用于实 现片又利要求1至29中4壬一项所述的方法。
55. —种分析图像数据的方法，所述图像凝:据基于块完成在前的处 理，包括以下步骤从所述图像数据中获取一组数值；在所述 一组数值上计算自相关函数；以及从所述自相关函数中获取表 示所述在前处理的图^f象参凄t。
全文摘要
本发明涉及视频信号或数据的图像分析，用于检测之前的基于块的处理，并用于量化相关块的图像缺损。视频数据的相邻采样被高通滤波、整流并自相关，以形成自相关函数。可以分析自相关函数以提供关于块尺寸和其他块伪差度量的信息。
文档编号H04N7/26GK101438594SQ200780014403
公开日2009年5月20日 申请日期2007年4月20日 优先权日2006年4月21日
发明者乔纳森·迪金斯 申请人:史诺伟思有限公司