专利名称：用于人类视觉系统模型的自适应时空滤波器的制作方法
技术领域：
本发明涉及一种视频处理技术，更具体的说，涉及一种用于确定视频服务质量的人类视觉系统模型的自适应时空滤波器。
现有的人类视觉系统(HVS)模型中的时空滤波通常设计有校准为一组特定的参数的固定的响应，即空间和时间响应设计为与某一平均亮度电平的HVS的灵敏度相关。大部分HVS模型也是基于对刚刚能够看出来的差异(JND)的阈值进行预测的方法，如对比度检测和识别阈值。由于HVS模型的组分基于模仿阈值的行为，因此高于阈值的行为，即阈上，不能被保证。
例如，J.Lubin在“A visual Discrimination Model for Imaging System Design andEvaluation”Vision Models for Target Detection and Recognition，ed.Eli Peli，WorldScientific Publishing，River Edge，NJ 1995，pp245-283中提出了一种模型，其具有空间滤波器，该滤波器设计为只与一个亮度水平和持续时间或时间延伸的人类视觉响应相匹配。没有机械装置导致时间频率在空间频率的峰值灵敏度上衰减，因此，这不会与人类视觉经验得到的数据相匹配。Lubin提出的模型没有对作为亮度或其他参数的函数的空间或时间的频率响应的峰值的移动作出规定。Lubin提出的模型也是基于阈值的结合或“刚刚能够看出来的差异(JND)”。唯一修改除固定的空间和时间滤波器之外的响应机械装置是罩膜装置，其是J.Foley的模型的改进的模型，用于预测对比度辨别力(“Contrast Masking inHuman Vision”Journal of the Optical Society of America，Vol.70，No.12pp.1458-1471，Dec.1980)。然而，M.Canon示出的(“Perceived Contrast in the Fovea andPeriphery”，Journal of the Optical Society of America，Vol.2，No.10pp.1760-1768，1985)的Foley的模型在用于预测高于阈值的平均中等对比度水平的感知对比度时具有较粗的误差。另外，Lubin提出的模型没有考虑非线性如那些引起双倍空间频率和幻觉脉冲视错觉的因素。许多其他基于人类视觉的模型，如S.Daly，“The Visible Differences Predictoran Algorithm for the Assessment ofImageFidelity”，Digital Images and Human Vision，ed.Andrew B.Watson，MITPress，Cambridge，MA1993，pp.162-206中提出的模型，完全没有考虑时间因素。
因此，希望提供一种滤波器，其与高于感知参数范围的人类视觉系统响应相匹配。
当结合所附的权利要求和附图对下面的详细说明进行读取时，本发明的目的、优点和新颖之处将更加明显。
图2是根据本发明的自适应的时空滤波器中的用作构件块的可调的HR LP滤波器的方框图。
图3是根据本发明的自适应时空滤波器频率响应的曲线图。
图4是将HVS实验数据与作为本发明的空间频率的函数的自适应时空滤波器的响应相比较的曲线图。
图5是将HVS实验数据与作为本发明的空间频率的函数的自适应时空滤波器的响应相比较的曲线图。
发明的详细说明现在参考
图1所示的适应的三维(3-D)滤波器10，其通过将HVS模型的精确度的主体与等效的非HVS模型，如根据T.Hamada等人所述的加权SNR的算法(Picture Quality Assessment System by Three-Layered Bottom-Up NoiseWeighting Considering Human Visual Perception，SMPTE journal，January1999，pgs20-26)，相结合对用于人类视觉系统(HVS)模型的现有的滤波器进行了改进。滤波器10具有一对自适应的3-D滤波器12、14，“中置”和“环绕”滤波器，其从作为系数发生器的滤波器适应控制器16接收系数。输入视频信号被输入到滤波器12、14和滤波器自适应控制器16。滤波器12、14的输出输入到差分电路18。中置滤波器12或环绕滤波器14的输出也被输入到滤波器自适应控制器16。滤波器自适应控制器16从由输入视频信号或自适应的3-D滤波器12、14之一的输出中提出的感知参数中产生滤波器系数。每个滤波器12、14作为无限激励响应(IIR)时间低通滤波器(LPF)20、22的一级执行，LPF20、22跟随有无因果关系的二维(2-D)IIR空间滤波器24、26，该滤波器使用“未来”数据，即向前和向后过滤。差分电路18作为累加电路28和乘法电路30执行。中置滤波器12的输出作为累加电路28的一个输入，而另一个输入是环绕滤波器14与-1在乘法电路30内相乘后的输出。中置滤波器12具有比环绕滤波器14更宽的带宽，具有其作为结果的差值通常具有带通响应的相关滤波响应，如图3所示。该带通响应首先校准为特定亮度水平的HVS的对比度敏感响应。
滤波器自适应控制器16通过控制每个时间和空间滤波器20-26的带宽对感知参数如亮度、对比度等的局部或全部的改变仿真HVS自适应。这些滤波器每个都由具有适合于集成电路(IC)执行的拓扑结构的普通构件块—第一级、统一DC增益、如图2所示的可调LPF32组成。时间滤波器20、22使用两个串联的可调LPF32，以组成第二级LPF。空间滤波器24、26为每维(水平和垂直)使用两个可调LPF32，以在相对方向(右、左、上、下)产生零相位、无因果关系的2-DIIR滤波器。示出的可调LPF32是以IIR滤波器为基础的第一级离散低归差分方程式，采用其他可调滤波器。输入信号X在乘法电路34内与输入增益系数b0相乘，结果被输入到累加电路36。累加电36的输出在另一个乘法电路38内与反馈系数a1相乘并由延迟电路40延迟一个采样周期后反馈到累加电路的输入。系数之和是1，即b0+a1＝1，因此，在不考虑b0(假设0＜b0≤1)的和a1的各自的数值的情况下，DC增益也为1。这使得滤波器10成为可控的，因为当差值在环绕和中置滤波器12、14中间时，DC增益是已知的。可调LPF32的带宽和相应的杆可以通过提高或降低b0升高或降低。
滤波器适应控制器16在每个根据感知参数如局部平均亮度、滤波器是空间或时间、中置或环绕进行处理的像素为可调LPF32提供适当的b0值。b0值可以从由计算滤波器中得到的查寻表得到，以与实验数据相匹配。或者，他们可以计算为接近该查寻表中的条目。查寻表可以通过校准滤波器的系数以与实验数据相匹配而得到。一种方法是使用线性接近不同亮度水平的校准b0值b0＝K1+K2*Lum(1)其中，Lum是以尼特(堪/平方米)局部平均亮度。
为了校准0.28到91尼特的HVS响应数据，可以使用下面的数据，假设在该实施例中，采样速率为32.0像素每次和60采样每秒空间中置滤波器24K1＝0.67 K2＝0.00067时间中置滤波器20K1＝0.54575K2＝0.00295空间环绕滤波器26K1＝0.225 K2＝0.00225时间环绕滤波器22K1＝0.4125 K2＝0.00375滤波器适应控制器16决定了基于环绕滤波器14的输入或输出的Lum数值，如图1所示。用于确定Lum的方法可以为特定的使用而最优化，以平衡滤波器稳定性、计算操作的数量和准确度之间的需要。
对于基于输入X[n]的Lum数值，对整个滤波器10，为了准确度，适应次数由另一个滤波器控制。每维的Lum通过根据下面的方程式的滤波而在滤波器适应控制器16中得到Lum[n]＝Lb0*(X[n]-Lum[n-1])+Lum[n-1](2)其中，n是在特定维中第n次采样，Lb0相应于HVS模型中的b0。滤波器10的非线性通过取代用于可调滤波器32的方程式中的用于Lum的递归方程式而得到y[n]＝b0*x[n]+(1-b0)*y[n-1]＝b0*(x[n]-y[n-1])+y[n-1]＝(k1+k2*Lum)*(x[n]-y[n-1])+y[n-1]＝(k1+k2*Lb0*(x[n]-Lum[n-1])+Lum[n-1]))*(x[n]-y[n-1])+y[n-1]＝k1*x[n]+(1-k1)*y[n-1]+k2*(Lb0*x[n]*(x[n]-y[n-1])+(1-Lb0)*Lum[n-1]*(x[n]-y[n-1])) (3)＝(IIR LPF linear response)+(Input，output product terms-non-linearities)因此，每个可调第一级IIRLPF32的输出是b0＝k1的固定线性LPF和其增益由Lb0和K2的乘积控制的非线性高通滤波器的线性组合。由于K2已经确定，因此选择Lb0以使视觉错觉非线性和适应次数的组合最优化匹配。对于低对比度水平和/或亮度水平，滤波器10的输出接近线性，但是在高对比度和亮度水平，非线性组份更多，从而非线性与增强的感觉的亮度相一致。
为了提高速度，Lum滤波器可以被省略(Lb0＝1)，单个适应滤波器响应如下y[n]＝k1*x[n]+(1-k1)*y[n-1]+k2*(x[n]*(x[n]-y[n-1]))Lum数值可以基于环绕滤波器14的输出。在速度更加理想的情况下，每个使用附加的滤波Lmm[n-1]＝ys[n-1]其他用于y[n]的算法可以基于将该方程式取代入方程式(3)而得到。
如果y[n]代表各环绕LPF14的滤波器输出，那么，稳定性考虑限制了Lb0有可能的数值。除如对比度等的局部平均亮度其他感知参数也可以被用于通过滤波器自适应控制器16产生滤波器系数。
试验结果显示人类视觉系统响应和自适应时空滤波器响应之间的匹配，如图4和5所示，其平均亮度为20尼特。图4是调制灵敏度对空间频率的曲线图，其中，圆圈或方块表示人类视觉系统模结果(Ms#Hz20尼特)，直线表示相应的滤波器响应(Htindex(#)，ks)。同样，图5是在同一亮度水平(20尼特)下调制灵敏度对空间频率的相应的曲线图，其中，圆圈或菱形表示人类视觉系统模结果(Ms#cpd20尼特)，直线表示相应的滤波器响应(Hrotsindex(#)，kt)。输出调整也与断续的光的光亮的增强相一致，结果在增加的时间频率下在相应的峰值下与增加的平均亮度一同增加。自适应时空滤波器10的操作与其他人类视觉实验的数据相一致，包括作为识别内的感知阈值；超阈值时间对比感知；包括频率混淆/加倍的感知的空间频率；包括闪烁等的感知的时间频率；在速度和方向上的感知的速度；包括噪声、残余图像、额外/丢失脉冲等的感知的幻影噪声；包括电压波形等的中枢响应；和涉及平均亮度改变的附加的灵敏度实验；视网膜上的角度延伸或目标图像的大小；包括旋转的目标图像图案和模板的方位；目标和模板的空间频率；目标图像图案和模板的时间频率；持续时间或时间延伸；和环绕或横向屏蔽效果。
因此，本发明提供了一种用于人类视觉系统模型的自适应时空滤波器，其具有一对平行设置的时空滤波器，其具有重叠的带宽，从而输出的差异产生了带通响应，每个滤波器都由普通适应的、统一DC增益的可调低通滤波器构成，其具有线性低通响应部分和非线性高通响应部分，其滤波器系数由对如局部平均亮度、对比度等的感知参数的处理得到的每个像素确定，以产生与人类视觉系统模型的实验结果相一致的结果。
权利要求
1.一种用于人类视觉系统模型的自适应时空滤波器，包括以第一带宽低通时空滤波输入视频信号以产生第一滤波输出的装置；以第二带宽低通时空滤波输入视频信号以产生第二滤波输出的装置；用于产生作为感知参数的函数的低通时空滤波装置的自适应滤波器系数的装置；和用于得到第一和第二滤波输出的差值以产生用于自适应时空滤波器的输出的装置，该差值具有与人类视觉系统模型的感知响应校准的带通响应。
2.如权利要求1所述的滤波器，其中，每个低通时空滤波装置包括时间滤波器；和与时间滤波器串联的二维空间滤波器。
3.如权利要求2所述的滤波器，其中，每个时间和空间滤波器包括至少两个具有线性部分和非线性部分的滤波器响应的普通构件块。
4.如权利要求3所述的滤波器，其中，普通构件块包括第一级、统一DC增益、可调滤波器。
5.如权利要求4所述的滤波器，其中，第一级、统一DC增益、可调滤波器包括用于将输入信号与第一滤波器系数相乘以产生第一乘积的装置；用于将第一级、统一DC增益、可调滤波器的输出与第二滤波器系数相乘以产生第二乘积的装置，第一和第二滤波器系数之和为一；和用于将第一和第二乘积相加以产生第一级、统一DC增益可调滤波器的输出的装置，第二乘积相对于第一乘积延迟。
6.如权利要求1所述的滤波器，其中，感知参数由输入视频信号得到。
7.如权利要求1所述的滤波器，其中，感知系数由第二滤波输出得到。
8.一种用于人类视觉系统模型的自适应时空滤波方法，包括以下步骤以第一带宽低通时空滤波输入视频信号以产生第一滤波输出；以第二带宽低通时空滤波输入视频信号以产生第二滤波输出；产生作为感知参数的函数的低通时空滤波装置的自适应滤波器系数；和得到第一和第二滤波输出的差值以产生用于自适应时空滤波器的输出，该差值具有与人类视觉系统模型的感知响应校准的带通响应。
9.如权利要求8所述的方法，其中，每个低通时空滤波步骤包括时间滤波输入视频信号以产生时间滤波器输出；和二维空间滤波时间滤波器输出以产生第一和第二滤波输出。
10.如权利要求9所述的方法，其中，每个时间和空间滤波步骤包括为每维使用至少两个串联的普通的构件块，每个构件块具有线性响应部分和作为由自适应滤波器系数确定的非线性响应部分。
11.如权利要求10所述的方法，其中，普通构件块包括第一级、统一DC增益、可调滤波器。
12.如权利要求8所述的方法，其中，感知参数由输入视频信号得到。
13.如权利要求8所述的方法，其中，感知系数由第二滤波输出得到。
全文摘要
一种用在基于人类视觉系统模型的服务装置的视频质量的自适应时空滤波器具有一对平行的低通时空滤波器,其用于接收普通视频输入信号。该对低通时空滤波器的输出被差分,以产生自适应时空滤波器的输出,该对滤波器的带宽被设置为使产生大体的带通响应。滤波器自适应控制器产生用于基于如局部平均亮度、对比度等的该对低通时空滤波器之一输入视频信号或输出的感知参数处理的每个像素的自适应滤波器的系数。
文档编号H04N5/14GK1386020SQ02121800
公开日2002年12月18日 申请日期2002年5月16日 优先权日2001年5月16日
发明者K·M·费尔古森 申请人:特克特朗尼克公司