专利名称：下采样数据值的方法
技术领域：
本发明涉及一种用于下采样数据值的方法和装置。
本发明可以应用于静止图像或图像序列。它可以用于例如视频编码器、视频解码器或诸如个人数字助理或移动电话的便携设备，所述便携设备适用于编码或解码图像，以便以较低空间分辨率存储或显示图像。
背景技术：
在视频和静止图像处理中，下采样和上采样技术广泛地用于在编码步骤之前使图像的内容适合显示器的空间分辨率或者预处理图像序列以便实现给定的比特率。通常使用的下采样和上采样滤波器是线性低通滤波器。
已知的下采样和上采样线性滤波器的组合导致模糊不清的图像，因为高频率被所述滤波器衰减了。其它的技术可以被引入来增强或建立高频率以便改进边缘。但是传统上图像增强技术在上采样滤波器之后使用，也就是说它们相当于后处理技术，通常是复杂的。
这样的后处理技术的一个例子被称为脉冲修尖，其被描述在下述标题的文章中“一种用于亮度信号的一般的2D清晰度增强算法(Ageneric 2D Sharpness Enhancement Algorithm for Luminance Signals)”，作者E.G.T.Jaspers和P.H.N.de，关于图像处理及其应用的第六次国际会议，1997年第一卷，第269至273页，1997年7月14-17日。一般来说，脉冲修尖在于通过在一个上采样图像上增加对所述上采样图像乘一个加权系数进行高通滤波的结果来增强高频率。
此外，这样的处理技术在整个上采样图像上操作，并且从而导致许多计算。
发明内容
本发明的一个目的是提供一种下采样数据值的方法，其比现有技术的复杂度低。
为此目的，根据本发明的下采样方法的特征在于它包括下列步骤- 确定包括原始当前数据值和空间上围绕所述当前数据的原始数据值的第一组数据值；- 通过在所述当前数据值和第一组数据值的原始数据值之间的差异大于一个阈值时限幅所述原始数据值，基于第一组数据值来建立第二组数据值；以及- 基于第二组数据值低通滤波当前数据值。
由于限幅处理的引入，本发明提出一种下采样图像的非线性方法，其产生较清晰的下采样的图像以及较清晰的上采样的图像。换句话说，下采样方法直接增强图像并且从而消除了对于后处理图像增强技术的需要。通过使用该下采样方法，降低了复杂度，由于清晰度增强是在下采样图像上工作的，而不是如现有技术的后处理方法描述的那样在上采样图像上工作。如下文将详细描述的，在提出的方案中执行简单的和低成本的操作。
有利地，如果原始数据值在范围0至255之间，那么阈值等于3。
本发明还涉及执行这样的下采样方法的装置。它涉及一个显示单元，该显示单元包括这样的下采样数据值的装置以及用于显示下采样数据值的屏幕。它涉及一个存储单元，该存储单元包括这样的用于下采样数据值的装置，它还涉及一个存储器，用于存储下采样的数据值，以及一个用于上采样存储在存储器中的下采样数据值的装置。
本发明还涉及一种视频解码器，其包括一个用于提供残差的解码装置，与适于递送运动补偿数据值的运动补偿单元相连的存储单元，以及一个用于将残差加到运动补偿数据值上的加法器，所述加法器的输出被提供到该存储单元的输入中。有利地，其中该存储单元还包括在下采样的装置和存储器之间设置的编码单元，以及在存储器和用于上采样的装置之间设置的解码单元。
本发明还涉及一种包括这样的用于下采样数据值的装置的视频编码器或便携设备。
本发明最后还涉及一种包括用于执行所述下采样方法的程序指令的计算机程序产品。
参照下面描述的实施例，本发明的这些和其它方面将是清楚的并且被阐明。
参照附图，仅通过示例详细描述本发明，其中图1示出在一个边缘周围的一组像素上的传统的下采样方法的结果；图2A和2B示出根据本发明的下采样方法的两个连续的限幅和滤波步骤；图3示出根据本发明的下采样方法在一个边缘周围的一组像素上的结果；图4示出包括根据本发明的下采样装置的解码装置的实施例；图5示出包括根据本发明的下采样装置的解码装置的另一实施例；图6示出包括根据本发明的下采样装置的编码装置的实施例；图7示出包括根据本发明的下采样装置的广播系统；图8示出包括根据本发明的下采样装置的存储单元；以及图9示出包括根据本发明的下采样装置的显示单元。
具体实施例方式
本发明涉及一种用于下采样包含在静止图像或图像序列中的数据值的方法。这些数据值例如是像素的亮度或色度。传统的下采样方法通常包括线性滤波步骤，其由于最接近的相应值的内插而使得过渡平滑。图1中示出的点示出在图像内原始和滤波的数据值val作为它们的位置pos的函数而演化。在图1中，十字交叉表示原始数据值F，圆圈表示滤波的数据值FF，并且虚线表示线性滤波器的平滑效果。这些线性滤波器已知引入了模糊效果，因为它们趋向于抑制数据值的高频成分。
为了解决这个问题，根据本发明的下采样方法包括确定一组数据值的步骤，该组数据值包括原始中心像素值和空间上位于所述中心像素周围的原始像素的值。该组数据值典型地相当于传统线性滤波的输入值。
所述下采样方法还包括修改在过渡中与边缘相对应的该组原始数据值的步骤。基本上，所述修改步骤包括图2A和2B示出的两个子步骤。图2A和2B相当于以因数2下采样。然而，本领域的熟练技术人员应清楚本发明还适用于任何其它下采样因数。
在第一子步骤期间，用于建立下采样值FF(i)的中心像素原始值F(i)与每个像素值F(i±k)之间的差值diff(k)如方程(1)中示出的计算diff(k)＝|F(i)-F(i±k)| (1)其中k是整数，在该例的7抽头滤波器中为1、2或3。
在第二子步骤中，差值diff(k)与阈值δ相比较。如果差值diff(k)低于阈值δ一个给定值k，相应的原始像素值F(i±k)保持不变。如果差值diff(k)高于阈值δ一个给定值k，相应的原始像素值F(i±k)用滤波数据值FF(i)的计算中的限幅值F(i±k)代替，如方程(2)中所示F′(i±k)＝F(i)±δ (2)新的下采样值是修改的像素值组的低通滤波的结果，依赖于所述比较子步骤的结果，所述修改的像素值包括未改变的像素值和限幅的像素值。在图2A的例子中，该组修改的像素值包括F(i-6)、F(i-4)、F(i-2)、F(i)、F(i+2)、F(i+4)和F(i+6)。
图2A和2B示出使用本发明的下采样方法对于将要滤波的两个连续的像素值的原始值的修改。重要的是应注意修改的值F(i±k)仅用于建立当前下采样的值FF(i)。对于下一个将要计算的下采样值FF(i)＝FF(i+2)，再次使用原始值，如图2B中所示出的，并且同以前一样，再次应用修改和低通滤波步骤。
根据本发明的下采样方法需要使用阈值δ，其是非线性操作。这产生了超出奈奎斯特限制的频率，其将折回到工作带宽中。阈值δ越低，混叠信号越明显。视觉测试表明用于阈值的较好的值在当数据值在0到255之间改变时为δ＝3，其是混叠(低δ)和模糊(高δ)之间的较好的折衷。由于所述非线性滤波，重建的图像序列是清晰的，在视觉上令人愉悦。
在限幅步骤之后，任何线性滤波器都可以用于下采样和可选择地上采样操作。根据本发明的实施例，在视觉质量和计算复杂度之间的较好的折衷是对于下采样使用具有下列加权的7抽头FIR(有限脉冲响应)滤波器(-1/32，0，9/32，16/32，9/32，0，-1/32)；并且对于上采样是使用具有下列加权的6抽头FIR滤波器(1/32，-5/32，5/8，5/8，-5/32，1/32)，所述滤波器在H.264标准中用于子像素运动补偿，如ITU-T Rec.H.264/ISO/IEC 11496-10中描述的，“改进的视频编码(Advanced Video Coding)”，最终委员会草稿，文献JVTF100，2002年12月。
下采样方法的结果示出在图3中，其中示出图像中原始和滤波的数据值val作为它们的位置pos的函数的发展。在所述图3中，十字交叉表示原始数据值F，并且圆圈表示滤波的数据值FF。虚线表明当修改边缘周围的下采样值的计算时，过渡可以保持陡峭。
仅在一个方向中描述了下采样方法。然而，本领域熟练技术人员应明白下采样方法可以应用于水平方向或垂直方向或上述两个方向中。
本发明还涉及用于下采样数据值的装置，所述装置通过包括几个分离的传统元件的硬件或者通过适当编程的处理器来执行下采样方法。所述下采样装置包括-用于确定第一组数据值的装置，第一组数据值包括一个原始当前数据值和空间上围绕所述当前数据的原始数据的值；-用于通过在所述当前数据值和第一组数据值的原始数据值之间的差值高于阈值时限幅所述原始数据值、基于第一组数据值来建立第二组数据值的装置；以及-用于基于第二组数据值低通滤波当前数据值的装置。
本发明可以应用于任何视频编码或解码装置，其中图像序列必须存储在存储器中。它特别感兴趣于减少参照图像存储器的尺寸，而不会在解码图像中引入模糊效果。
图4示出根据本发明的解码装置的例子。所述解码装置包括-可变长度解码单元VLD，其适用于解码一个编码的输入数据流BS并且用于递送一方面的解码数据和解码的运动矢量MV到另一方面的图像存储器，-逆量化单元IQ，适用于从解码的数据产生量化的数据，-逆频率变换单元IT，例如逆离散余弦变换块IDCT，用于从量化的数据产生表示残差e的逆变换数据。
解码装置还包括用于将运动补偿数据以如本领域中熟练技术人员已知的数据块接数据块(data-block-by-data block)的方式加到残差上的加法器。运动补偿数据是由改进的运动补偿单元MMC产生的，MMC单元包括串联的下采样装置DSF、图像存储器MEM、上采样装置USF和运动补偿单元MC。加法器的输出是解码输出图像OF的数据块，其然后被递送到显示器(未示出)并且还被递送到根据本发明的下采样装置DSF。解码装置可选择地包括一个解块滤波器FIL，所述滤波器例如是H.264标准中建议的滤波器。本领域的熟练技术人员应明白除下采样单元之外，本文中描述的不同单元都是本技术领域的传统单元。
通过使用所谓的嵌入压缩组合可以进一步减少参照帧存储器的尺寸，所述嵌入压缩包括传统的解码/编码链以及所谓的嵌入尺寸调整，所述嵌入尺寸调整包括下采样和上采样，如上所述。
图5示出解码装置的例子，其中改进的运动补偿单元MMC包括串联的本发明的下采样装置DSF、嵌入压缩单元、图像存储器MEM、嵌入解压缩单元、上采样装置USF和运动补偿单元MC。嵌入压缩单元包括串联的例如变换块T、量化块Q和可变长度编码块VLC。嵌入解压缩单元包括串联的例如可变长度解码块VLD、逆量化块IQ和逆变换块IT。
图6示出视频编码装置的例子。这样的编码装置包括直接频率变换块，例如直接离散余弦变换DCT，适用于将输入视频数据IN变换为变换数据；量化块Q，适用于从变换数据中产生量化数据；以及可变长度编码块VLC，适用于从量化数据产生编码数据ES。它还包括预测电路，其包含串联的逆量化块IQ；逆频率变换块IT，例如逆离散余弦变换块IDCT；用于将来自逆变换块IDCT和运动补偿单元MC的数据块相加的加法器；根据本发明的下采样单元DSF；图像存储器MEM，适用于存储运动补偿单元MC使用的图像和从运动估计单元ME得到的运动矢量；上采样单元USF；以及减法器，适用于从输入视频数据IN中减去来自运动补偿单元MC的数据，减法器的结果被递送到变换块DCT。
本发明还可以应用于任何视频编码/解码装置，其中视频序列必须被调整大小以便通过传输信道被传送。
通过传输信道TC(例如广播或可移动的)传送的视频序列可以被减小尺寸以便帮助编码器适应所需要的带宽，如图7中所示的。在编码装置ENC的输入处，该视频例如是标准清晰度SD的。编码装置ENC包括根据本发明的下采样滤波单元DSF，用于调整视频大小到减少的清晰度HSD，以及传统的编码单元COMP，用于产生将要通过信道TC传送的压缩视频流。在接收端，解码装置DEC被用于通过传统的解码单元UNCOMP来解压缩所述压缩视频流并且通过上采样滤波器单元USF来上采样解码的帧以便以最终显示分辨率显示在屏幕DIS上。
根据本发明的下采样方法还可以在存储应用中用作简单的压缩方法。
图8示出一个存储单元，其包括串联的本发明的下采样单元DSF，用于调整视频的大小到减少的清晰度HSD，一个适用于以减少的分辨率来存储图像的存储器MEM以及一个用于调整视频的大小到标准清晰度SD的上采样单元USF。
根据本发明的下采样方法还可以用于使源序列适应显示单元的性能。
图9示出一个显示单元，其包括串联的根据本发明的下采样单元DSF，用于调整视频的大小到减少的清晰度HSD，以及适于以减少的清晰度显示图像的屏幕。
仅以示例的方式描述了本发明的几个实施例，并且本领域的熟练技术人员应明白对于所描述的实施例可以作出改进和变化，而不会脱离所附权利要求限定的本发明的范围。另外，在权利要求中，放置在括号中的任何附图标记不应解释为对权利要求的限制。词语“包括”不排除存在未在权利要求中列出的那些元件或步骤。词语“一”不排除多个。本发明可以通过包括几个分离元件的硬件，以及通过适当编程的计算机实现。在列举几个装置的装置权利要求中，这些装置中的几个可以实现为同一硬件。在互相不同的独立权利要求中列举的方法不表示这些方法的组合不能被有益的使用。
权利要求
1.一种下采样数据值的方法，所述方法包括步骤-确定包括原始当前数据值和空间上围绕所述当前数据的原始数据值的第一组数据值；-通过在所述当前数据值和所述第一组数据值的原始数据值之间的差异大于一个阈值时限幅第一组数据值的所述原始数据值，基于第一组数据值来建立第二组数据值；以及-基于第二组数据值低通滤波当前数据值。
2.如权利要求1所述的方法，其中如果原始数据值在范围0至255中，那么阈值等于3。
3.一种用于下采样数据值的装置(DSF)，所述装置包括-用于确定第一组数据值的装置，第一组数据值包括原始当前数据值和空间上围绕所述当前数据的原始数据值；-用于通过在所述当前数据值和该第一组数据值的原始数据值之间的差异大于一个阈值时限幅第一组数据值的所述原始数据值、基于第一组数据值来建立第二组数据值的装置；以及-基于第二组数据值低通滤波当前数据值的装置。
4.一种存储单元，包括权利要求3所述用于下采样数据值的装置(DSF)，一个用于存储下采样的数据值的存储器(MEM)，以及一个用于上采样存储在存储器中的下采样数据值的装置(USF)。
5.一种显示单元，包括如权利要求3所述用于下采样数据值的装置(DSF)以及用于显示下采样数据值的屏幕(DIS)。
6.一种视频解码器，其包括用于提供残差的解码单元(VLD，IQ，IT)，与适于递送运动补偿的数据值的运动补偿单元(MC)相连的、如权利要求4所述的存储单元(DSF，MEM，USF)，以及一个用于将残差加到运动补偿的数据值上的加法器，所述加法器的输出被提供到该存储单元的输入中。
7.如权利要求6所述的视频解码器，其中该存储单元还包括在用于下采样的装置(DSF)和存储器(MEM)之间的嵌入的编码单元(eENC)，以及在存储器(MEM)和用于上采样的装置(USF)之间的嵌入的解码单元(eDEC)。
8.一种包括如权利要求3所述的用于下采样数据值的装置(DSF)的视频编码器。
9.一种包括如权利要求3所述的用于下采样数据值的装置(DSF)的便携设备。
10.一种计算机程序产品，包括当所述程序由处理器执行时用于执行如权利要求1中所述的方法的程序指令。
全文摘要
本发明涉及一种下采样数据值的方法，所述方法包括步骤确定包括原始当前数据值和空间上围绕所述当前数据的原始数据值的第一组数据值；通过在所述当前数据值和第一组数据值的原始数据值之间的差异大于一个阈值时限幅第一组数据值的所述原始数据值，基于第一组数据值来建立第二组数据值；以及基于第二组数据值低通滤波当前数据值。它可以用于例如视频编码器、视频解码器或者便携装置，诸如个人数字助理或移动电话，所述装置适用于编码、解码图像以便以较低的空间分辨率存储或显示图像。
文档编号G06T3/40GK1947146SQ200580013265
公开日2007年4月11日 申请日期2005年4月21日 优先权日2004年4月27日
发明者A·布尔热, S·埃斯科巴 申请人:皇家飞利浦电子股份有限公司