专利名称：用于一下变换系统的向上抽样滤波器的制作方法
技术领域：
本发明涉及一种将一编码的高分辨率视频信号，例如MPEG-2编码的视频信号转换并格式化成一解码的低分辨率输出视频信号的解码器，且更具体地，涉及一种用于该解码器的下变换系统。
在美国，一标准已被建议用于数字编码的高清晰度电视信号(HDTV)。该标准的一部分在本质上与由国际标准化组织(ISO)的运动图象专家组(MPEG)建议的MPEG-2是相同的。该标准在题为“信息技术-运动图象及相关的音频的类编码，建议H.626(Information Technology-Generic Coding of Moving Pictures andAssociated Audio，Recommendation H.626)”，ISO/IEC 13818-2，IS，11/94的可从ISO获得的国际标准(IS)出版物中被描述，并将它的有关MPEG-2数字视频编码标准的说明结合在此作为参考。
MPEG-2标准实际上是几个不同的标准，在MPEG-2中，几个不同的轮廓被定义，各对应于被编码图象的一不同的复杂度水平。对于各轮廓，不同的水平被定义，各水平对应于一不同的图象分辨率。MPEG-2标准之一被称之为主轮廓，主水平(Main Profile，MainLevel)，其用于对符合现有电视标准(即NTSC或PAL)的视频信号进行编码。另一标准被称之为主轮廓，高水平(Main Profile，HighLevel)，其用于对高清晰度电视图象进行编码。根据主轮廓，高水平标准被编码的图象具有高达每图象帧1152有效行和每行1920个象素。
另一方面，主轮廓，主水平标准定义了每行720个象素和每帧576行的最大画面尺寸。在每秒30帧的帧速下，根据该标准被编码的信号具有每秒720×576×30或12441600个象素的数据速率。对比起来，根据主轮廓，高水平标准被编码的图象具有每秒1152×1920×30或66335200个象素的最大数据速率。该数据速率比根据主轮廓，主水平标准被编码的图象数据的数据速率的五倍还要大。在美国被建议用于HDTV编码的标准是该标准的一子组，具有高达每图象帧1080行和每行1920个象素，及对于该帧尺寸的每秒30帧的最大帧速。用于该建议的标准的数据速率仍远大于用于主轮廓，主水平标准的最大数据速率。
MPEG-2标准定义了包含数据和控制信息的一混合物的一复合语法。该控制信息的一些被用于使具有几种不同格式的信号能被该标准所覆盖。这些格式定义了具有不同的每行图象元素(象素)数，不同每帧或每场的行数，和不同的每秒帧数或场数的图象。而且，MPEG-2主轮廓的基本语法定义了代表在五个层，序列层、图象群层、图象层、片(slice)层和宏块层中的一序列图象的压缩的MPEG-2位流。这些层中的各层用控制信息被引导。最后，其他信息，也被称为辅助信息(例如，帧类型，宏块图案，图象运动矢量，系数Z形图案和去量化信息)通过该编码的位流被散置。
一下变换系统将高清晰度输入图象变换成低分辨率图象用于在一低分辨率监视器上显示。高分辨率主轮廓，高水平图象到主轮廓，主水平图象，或其他低分辨率图象格式的下转换已获得增大的用于减小HDTV的实现成本的重要性。下转换允许用具有低图象分辨率的便宜的现有的监视器来替换使用主轮廓，高水平编码的图象的昂贵的高清晰度监视器以支持例如主轮廓，主水平编码的图象，例如NTSC或525逐行监视器。
为有效地接收数字图象，解码器应快速地处理视频信号信息。为使最佳地有效，编码系统应是相对便宜的且还具有充足的能力来实时地解码这些数字信号。
现有技术中的一种下变换的方法简单地进行低通滤波并抽取解码的高分辨率、主轮廓，高水平图象以形成适用于在一常规的电视接收机上进行显示的图象。因此，使用现有技术，采用下变换的解码器可使用一单个的具有复杂设计，很大的存储量，并以高数据速率对空间域图象起作用的处理器而被实现以执行该功能。然而，高分辨率，和高数据速率要求非常昂贵的电路，这与成本是主要因素的消费者的电视接收机中的解码器的实现是相违背的。
一种用于从对应于一视频信号的一当前帧的一剩余图象的一组低分辨率象素值并从对应于该视频信号的一基准帧的一组向下抽样的低分辨率象素值形成对应于该视频信号的该当前帧的一组低分辨率向下抽样的象素值的设备。该设备包括一存储装置，用于存储对应于该视频信号的该基准帧的一组向下抽样的低分辨率象素值。一向上抽样装置从该存储装置接收并使用拉格朗日(lagrange)内插以将对应于该视频信号的该基准帧的该组向下抽样的低分辨率象素值转换成对应于该视频信号的该基准帧的一组向上抽样的低分辨率象素值。一求和装置将从对应于该视频信号的当前帧的剩余图象的该组低分辨率象素值加至对应于该视频信号的该基准帧的该组向上抽样的低分辨率象素值以形成对应于该视频信号的当前帧的一组低分辨率象素值。一抽取装置删除对应于该视频信号的当前帧的该组低分辨率象素值中被选择的一些象素值以生成对应于该视频信号的当前帧的一组低分辨率向下抽样的象素值。
从以下结合附图进行的详细描述，本发明的以上及其他的目的和特征将变得显然。
图1为现有技术的一视频解码系统的高水平方框图；图2为一下变换系统的一示例性实施例的高水平方框图；图3A示出了3∶1和2∶1下变换系统的示例性实施例的子象素部分和对应的预测的象素；图3B示出了对一示例性下变换系统的一输入宏块的各行执行的向上抽样过程；图4示出了三个不同的向上抽样滤波器的频率特性；图5A-5C示出了使用三个不同的向上抽样滤波器的一矩形脉冲的内插；图6A-6F示出了当使用一等脉冲向上抽样滤波器时，在预测帧数1，2，3，5，8和10的一运动矩形脉冲的内插；图7示出了当使用一拉格朗日向上抽样滤波器时，在预测帧数10的一运动矩形脉冲的内插；图8示出了当使用一双线性向上抽样滤波器时，在预测帧数10的一运动矩形脉冲的内插；图9示出了用于一块反射镜滤波器的一示例性实施例的第一和第二输出象素值的乘法对；图10A示出了用于使用3∶1抽取的4∶2∶0视频信号的输入和抽取的输出象素；图10B示出了用于使用2∶1抽取的4∶2∶0视频信号的输入和抽取的输出象素；I.解码器综述本发明的示例性实施例对已根据MPEG-2标准且更具体地是主轮廓，高水平MPEG-2标准被编码的解码的HDTV信号进行滤波。
然而，在此所述的本发明并不限于解码的HDTV信号的下变换滤波。以下描述的滤波方法还可被使用以对其他类型的频域编码的数字信号(可被划分成若干部分，被滤波，且然后被重组合)进行滤波。
该MPEG-2主轮廓，高水平标准以五个水平序列水平、图象群水平、图象水平、片水平和宏块水平定义了一序列图象。这些水平中的各个可被认为是一数据流中的一记录，后列出的水平出现作为先列出的水平中的嵌套的子水平。各水平的记录包括一头部，该头部包含在解码其子记录中被使用的数据。
宏块由六个块组成，4个亮度块Y和2个色度块Cr和Cb。编码的HDTV信号的各块包含代表一两维离散余弦变换(DCT)的64个各自系数值的数据，其中该64个各自系数值代表HDTV图象中的64个图象元素(象素)。
在编码的过程中，象素数据在被进行离散余弦变换之前被进行运动补偿差分编码且这些变换的系数的块通过采用行程长度和可变长度编码技术而再被编码。从该数据流恢复该图象序列的一解码器逆反该编码过程。该解码器采用一熵解码器(例如，一可变长度编码器)，一逆离散余弦变换处理器，一运动补偿处理器，和一插值滤波器。
图1是现有技术的一典型的视频解码系统的高水平方框图。该现有技术的视频解码器包括一熵解码器110(通常是一可变长度解码器和一行程长度解码器)，一反量化器120，和一反离散余弦变换(IDCT)处理器130。该示例性系统还包括一相应于由熵解码器110从输入位流检索的控制信息来控制该解码系统的不同元件的控制器170。为处理预测图象，该现有技术的系统还包括一存储器160，一加法器140，一运动补偿处理器150，和一块到光栅(block to raster)转换器180。
可变长度解码器110接收编码的视频图象信号，并逆转编码过程以生成包括描述一先前解码的图象中的一匹配的宏块的相对位移的运动矢量的控制信息。该匹配的宏块对应于当前被解码的预测的图象的一宏块。该可变长度解码器110还接收或者当前视频图象的块的量化的DCT变换系数(如果使用帧内编码)，或者接收当前视频图象和预测的视频图象(被称之为剩余图象)之间的差(如果使用帧间编码)。反量化器120接收量化的DCT变换系数并重构用于一具体宏块的量化的DCT系数。待被用于一具体块的量化矩阵被从该可变长度解码器110接收。
IDCT处理器130将重构的DCT系数变换成空间域中的象素值(用于代表该宏块的亮度或色度分量的8×8矩阵值的各块，和用于代表该预测的宏块的差分亮度或差分色度分量的8×8矩阵值的各块)。
如果该当前宏块未被预测地编码，则输出矩阵值是当前视频图象的对应宏块的象素值。如果该宏块被进行帧间编码，先前视频图象帧(一基准帧)的对应宏块被存储在存储器160中供运动补偿处理器150使用。运动补偿处理器150响应于从熵解码器110接收的运动矢量，从存储器160接收先前的宏块。运动补偿处理器然后在加法器140中将该先前宏块加至当前IDCT变换的宏块(对应于当前预测地编码的帧的一剩余分量)以生成用于当前视频图象的象素的对应的宏块，然后被存入存储器160。
II.下变换系统A.综述图2是一下变换系统的一示例性实施例的高水平方框图。如图2中所述，该下变换系统包括一可变长度解码器(VLD)210，一行程长度(R/L)解码器212，一反量化器214，和一反离散余弦变换(IDCT)处理器218。而且，该下变换系统还包括一下变换滤波器(DCT滤波器)216和一用于编码的图象的滤波的向下抽样处理器232。尽管以下描述了用于一主轮廓，高水平编码的输入的示例性实施例，该下变换系统可用任何类似的进行编码的高分辨率图象位流而被实现。
该下变换系统还包括一运动矢量(MV)变换器220，包括向上抽样处理器226和半象素生成器228的一高分辨率运动块生成器224和一基准帧存储器222。
而且，该系统包括一显示转换单元280(包括一垂直可编程滤波器(VPF)282和水平可编程滤波器(HZPF)284)。该显示转换单元280将一向下抽样的图象转换成在具有低分辨率的一具体显示器上进行显示的图象。
下变换滤波器216执行频域内的高分辨率(例如主轮廓，高水平DCT)系数的低通滤波。向下抽样处理器232通过抽取低通滤波的主轮廓，高水平图象而消去选择的空间象素值以生成一组可在具有比要求显示主轮廓，高水平图象的分辨率要低的分辨率的监视器上显示的象素值。示例性的基准帧存储器222存储对应于具有对应于向下抽样的图象的一分辨率的至少一先前编码的基准帧的空间象素值。对于非宏块内编码，MV转换器220和分辨率的减少一致地对接收的图象的各块运动矢量进行定标，且低分辨率运动块生成器224接收由基准帧存储器222提供的抽取的低分辨率运动块，对这些运动块进行向上抽样并生成半象素值从而以半象素精度提供运动块，其呈现与解码的及滤波的差分象素块的良好的空间一致。
现描述下变换系统的该示例性实施例的用于宏块内编码的操作。该主轮廓，高水平位流由VLD210接收及解码。除了由HDTV系统使用的首部信息外，VLD210提供用于各块和宏块的DCT系数，和运动矢量信息。这些DCT系数在R/L解码器212中被进行行程长度解码并由反量化器214进行反量化。VLD210和R/L解码器212对应于图1中的熵解码器。
由于由DCT系数表示的接收的视频图象是高分辨率图象，各块的DCT系数在进行高分辨率视频图象的抽取之前被低通滤波。反量化器214将这些DCT系数提供给DCT滤波器216，后者在将它们提供给IDCT处理器218之前通过用预定的滤波系数对这些DCT系数进行加权而执行在频域内低通滤波。在一示例性实施例中，该滤波操作在逐块的基础上进行。
IDCT处理器218通过执行滤波的DCT系数的一反离散余弦变换来提供空间象素值。向下抽样处理器232通过根据一预定的抽取比消去空间象素值来减小图象取样尺寸；因此，该低分辨率图象的存储使用相比于存储较高分辨率的主轮廓，高水平图象所需的帧存储器要小的帧存储器222。
现描述一下变换系统的该示例性实施例用于非宏块内编码的操作。在该示例性实施例中，按照MPEG标准，当前接收的图象DCT系数代表预测的图象宏块的剩余分量DCT系数。该预测图象宏块可被向前、向后或双向地预测。在双向情况下，例如，一向前预测的图象宏块和一向后预测的图象宏块可被平均以提供双向预测的图象宏块。由于存储在存储器中的先前帧低分辨率参考图象不具有与高分辨率的预测的帧(主轮廓，高水平)相同的象素数，用于一预测帧的这些运动矢量的水平分量被定标。
参见图2由VLD210提供的主轮廓、高水平位流的运动矢量被提供给MV变换器220。各运动矢量由MV变换器220定标以参考基准帧存储器222中存储的一先前图象的基准帧的适当的预测块。被检索的块中的大小(象素值数)限于被用于编码当前图象的对应的高分辨率块的一块；因此该被检索的块被进行向上抽样以形成具有与IDCT处理器218提供的剩余块相同数目的象素的一预测块。
该向前或向后预测块通过向上抽样处理器226响应于来自MV变换器220的一控制信号被向上抽样以生成对应于象素的初始高分辨率块的一块。然后，生成半象素值，如果由半象素发生器228中的向上抽样的预测块的运动矢量指示，以确保该预测块的空间对准。在双向情况下，例如向上抽样的象素的向前及向后预测的图象宏块可被平均以提供一双向预测的图象宏块。该被向上抽样和对准的预测块在加法器230中被加至当前滤波的块，其例如是来自该预测块的分辨率降低的剩余分量。所有的处理是在逐宏块的基础上进行的。在向上抽样域中完成对当前宏块的运动补偿处理后，重建的宏块因此在向下抽样处理器232中被抽取。该处理不降低图象的分辨率而简单地从低分辨率滤波的图象中去除剩余象素。
一旦获得用于一图象的向下抽样的宏块，显示转换单元280通过分别在VPF282和HZPF294中对该向下抽样的图象的垂直和水平分量进行滤波来调节该图象以在一低分辨率电视显示器上进行显示。
B.宏块预测由于先前图象的基准帧的大小被弄小，接收的针对这些帧的运动矢量也可根据变换比被变换。以下描述例如在水平方向上对亮度块的运动变换。本领域的熟练技术人员将容易地将以下讨论扩展至在垂直方向上的运动变换(如果使用的话)。标记x和y作为初始图象帧中的当前宏块地址，Dx作为水平抽取因子及mvx作为初始图象帧的半象素水平运动矢量，初始图象帧中的运动块的左顶象素的地址，以半象素单位被表示为XH，由下式给出XH＝2x+mvx(1)对应于该运动块的象素在向下抽样的图象中开始，其地址被以象素单位被表示为x*和y*，在下式(2)被给出x*=XH2·Dx;y*=y---(2)]]>因为例示的DCT滤波器216和向下抽样处理器232仅减少该图象的水平分量，而对运动矢量的垂直分量不影响。对于色度，该运动矢量是初始图象中的一亮度运动矢量的一半。因此，用于变换色度运动矢量的定义也可使用公式(1)和(2)。
运动预测由两步处理完成首先，在图2的向上抽样处理器226中对该向下抽样的图象帧进行向上抽样所恢复的初始图象帧中的象素精度运动估算，然后，半象素发生器228通过平均最接近的象素值来执行一半象素运动估算。
对应于一初始图象中的象素的一抽取的图象中的子象素例如使用向上抽样处理器226中的一向上抽样多相滤波器被进行内插，该向上抽样处理器226给出初始图象中的一运动预测。该运动预测在加法器230中被加至IDCT处理器218的一输出信号。由于加法器230的输出值对应于一初始图象格式的分辨率降低的图象，这些值可被向下抽样用于在一具有低分辨率的显示器上进行显示。在向下抽样处理器232中的向下抽样基本上等同于一图象帧的子抽样，但可根据变换比进行调节。例如，在3∶1向下抽样的情况下，对于各输入宏块，水平向下抽样的象素数是6或5，且第一向下抽样的象素不总是输入宏块中的第一象素。
在从该向下抽样的图象获取正确的运动预测块后，执行向上抽样以得到初始图象中的对应的预测块。因此，运动块预测中的子象素精度在该向下抽样的图象中是所期望的。例如，使用3∶1抽取，在运动预测中具有1/3(或1/6)子象素精度是所期望的，除了向下抽样的运动块外的，该运动矢量所需的一第一象素的该子象素被确定。然后，使用模运算确定后继的子象素位置，如以下所述的。这些子象素位置被表示为xs，如式(3)中给出的Xs=(XH2)%(Dx)---(3)]]>其中“％”代表模除法。
例如，xs的范围对于3∶1向上抽样是0，1，2且对于2∶1向上抽样是0，1。图3A示出了用于3∶1和2∶1例子的子象素位置和对应的17个预测的象素，且表1给出了图3A的符号表。
表1
如先前所述，该向上抽样滤波器可以是向上抽样多相滤波器，且表2A给出了这些向上抽样多相滤波器的特性。
表2A
以下的表2B和2C示出了用于例示的3∶1和2∶1向上抽样多相滤波器的多相滤波系数。
表2B3∶1向上抽样滤波器
表2C2∶1向上抽样滤波器
>尽管表2B和2C中的示例性系数是对于等波纹滤波器被给出的，其他的滤波器也可被使用用于内插抽取的象素。例如，在接II.C.中，有关选择一适当的向上抽样滤波器的设计考虑被公开。具体地，节II.C.公开了等波纹、双线性和拉格朗日向上抽样滤波器之间的运动跟踪特性的比较。
在一固定点表示中，表2B和2C的括号中的数是9位的2的补数表示，带有左边的对应的双精度数。根据向下抽样的基准图象帧中的运动预测块的子象素位置，多相内插滤波器的一对应相位被使用。而且，在一例示实施例中，需要在左和右上的更多象素以在该向下抽样的图象帧中内插17个水平象素。例如，在3∶1抽取的情况下，有用于各输入宏块的最大6个水平地向下抽样的象素。然而，当进行向上抽样时，需要9个水平象素以生成对应的运动预测块值，因为一向上抽取滤波器要求该滤波器的边界外侧的更多的左和右象素以进行工作。由于该例示的实施例采用半象素运动估算，需要17个象素以得到可以是第一16个整数象素或最接近的两象素值的平均值的16个半象素。一半象素运动发生器处理其。表3示出了子象素位置和多相滤波器元素，与另外需要的用于向上抽样处理的多个左象素之间的映射。
表3<
图3B概述了对一输入宏块的各行执行的向向上抽样处理。首先，在步骤310，接收用于被处理的输入图象帧的块的运动矢量。在步骤312，该运动矢量被变换以对应于存储器中的向下抽样的基准帧。在步骤314，该被定标的运动矢量被使用以检索帧存储器中存储的预测块的坐标。在步骤316，用于该块的子象素点被确定且然后在步骤318检索用于向上抽取的初始多相滤波器值。然后在步骤320从存储器检索用于该存储的向下抽取的基准帧的预测块的识别的象素。
在滤波步骤324最初通过之前，在步骤322寄存器被初始化，对于该例示性实施例要求用初始3或5个象素值装载这些寄存器。然后，在滤波步骤324之后，在步骤326该处理确定是否所有的象素已被处理。在该例示性实施例中17个象素被处理。如果所有的象素未被处理，在步骤328更新该相位，且核查该相位是否为0值。如果该相位不是零，这些寄存器必须被更新用于下一组多相滤波系数。更新寄存器步骤332然后简单地更新这些输入象素。在最左象素在该块边界外侧的特殊情况下，一先前象素值可以被重复。
C.对于良好运动跟踪的向上抽样参照图2，在以上节II.B.中所述的，向上抽样处理器226从基准帧存储器222检索向下抽样的象素的一块。向上抽样处理器226然后使用内插以生成象素来生成一预测块。这导致带有与它在加法器230被加至的分辨率降低的剩余块相同的数目象素的一预测块。
然后加法器230的输出通过向下抽样处理器232被向下抽样，存储在基准帧存储器222中，且然后通过向上抽样处理器226被向上抽样以生成下一预测块。该循环对各预测帧，P-帧和B-帧两者重复。
由于大多数编码方案使用内部编码的帧之间的多个预测帧，如果通过向上处理器226引入图象失真，该图象失真也通过该处理被循环。该图象失真可在各循环期间通过向上抽样处理器226被累积。如果多个连续的预测帧在内部编码的帧之间被编码，该失真可被放大到可被看出的程度。
这样图象失真的来源可能是向上抽样处理器226的差的运动跟踪特性。最好，一下变换系统中的一向上抽样滤波器具有平滑低通滤波和良好运动跟踪特性两者。根据具体的编码结构和内部编码的帧之间的向前预测的帧的数目，在一些应用中，该运动跟踪特性可优先于低通滤波以防止再现的图象中出现可见的运动跳动。
图4示出了在一3∶1水平下变换系统中的三个不同的向上抽样滤波器的频率响应(dB vs.频率，其中π对应于抽样频率的一半)一等波纹滤波器频率响应410，一双线性滤波器频率响应430，和一拉格朗日滤波器频率响应420。截止频率440等于π/3，对于3∶1抽取系统(对于2∶1抽取系统，等于π/2)。
以下例子示出了在一3∶1下变换系统中的这些滤波器的运动跟踪特性。这些例子涉及在向上抽样域中每帧运动一个象素的一矩形脉冲的一图象。为该例的目的，编码结构由一内部帧后的所有向前预测的帧组成。由于其他象素在向下抽样期间被打乱，该图象根据每隔三个象素被内插。
图5A、5B和5C各自示出了通过一等波纹滤波器、一双线性滤波器和一第三级拉格朗日滤波器的矩形脉冲的内插520、530和540。虚线510(在图5B中看不见)表示被内插的矩形脉冲。拉格朗日内插对于本领域的熟练技术人员是众所周知的且由Atkinson，AnIntroduction to Numerical Analvsis(对数字分析的介绍)，107-10(1978)所教知，其结合在此作为参考。如图5A-5C中所示，相比于拉格朗日滤波器内插540和双线性滤波器内插530，等波纹滤波器内插520具有最大的过冲和下冲。
图6A、6B、6C、6D、6E和6F各自示出了在预测帧数1，2，3，5，8和10中的运动(每帧一个象素)矩形脉冲的等波纹滤波器内插。图6A至6F中的虚线610代表初始图象。实线620代表向下抽样的初始图象610的等波纹内插。在图6D所示的帧数5中内插的脉冲620被畸变且已超前于初始脉冲610运动。在图6F所示的帧数10中，与在图6D所示的帧数5中相比，内插的脉冲620更超前于初始脉冲610。
当显示下一内部编码的帧时，图6F中的内插的脉冲620和初始脉冲610之间的差将导致一“急速返回”问题。当预测帧中的内插图象超前于初始图象的运动而运动且然后被一精确再现的内部编码的帧跟随时，引致该问题产生。由于预测帧中的边缘的运动超前于初始图象的运动，下一内部编码的帧可给观看者一该运动现正向回进行的印象。
例如，当初始图象是一人缓慢地将其头摇向左边的图象时，当上述例的一等波纹滤波器被使用用于向上抽样时，该“急速返回”的问题可导致在每个内部编码的帧处该人的头“急速返回”到右边。该种失真的严重程度依据于实际的编码结构。例如，当被应用于一IBBP编码结构(在基准帧之间具有两个双向帧)时，与参照图6A-6F提供的例子(其中有10个连续向前预测的帧)中相比，该人工因素(artifact)较不明显些。
图7和8各自示出了在与用于一等波纹内插器的图6F中相同的条件下的，对于预测帧数10的，使用拉格朗日和双线性内插器内插的图象。相比于图6F的等波纹内插620，图7中的拉格朗日内插720和图8中的双线性内插820提供更佳的运动跟踪，因为它们的内插的脉冲720，820相比较少地超前于初始图象610。
过冲和下冲是分析预测的脉冲失真时所考虑的因素。图6的等波纹内插620具有16％的过/下冲，图7的第三级拉格朗日内插720具有6％的过/下冲，而图8的双线性内插820不具有过/下冲。
图6F、7和8的比较示出了一拉格朗日滤波器和一双线性滤波器两者提供了比一等波纹滤波器更佳的运动跟踪特性。在本发明的一示例性实施例中，在一向上抽样处理器226中使用一双线性滤波器或一拉格朗日滤波器。
在本发明的另一示例性实施例中，在向上抽样滤波器226中使用一拉格朗日滤波器。第三级拉格朗日滤波器具有相比于一双线性滤波器(如图4中所示)更佳的频率响应且具有比一等波纹滤波器(如比较图6F和7所示的)较少的过/下冲。
示出一双线性滤波器与一第一级拉格朗日滤波器相同。如数字分析技术领域的熟练技术人员所公知的，一拉格朗日内插器(是一用于给出数据点的多项式内插)可被设计如下。
为给出(n+1)个离散数据点，第n级拉格朗日内插器是以下形式Pn(x)=Σi=0nyi·li(x)]]>其中yi是在xi的函数值且li(x)是一第n级多项式且具有以下形式
从上述公式，显然对于n＝i，li(xn)＝1，对于n≠i，li(xn)＝0。因此，Pn(xn)＝Yn且内插多项式满足(n+1)个离散数据点。
该第一级拉格朗日内插器是P1(x)=(x-x1)(x0-x1)·y0+(x-x0)(x1-x0)·y1]]>
其中x0＜x＜x1。
不言而喻，该第一级拉格朗日内插器是双线性的。以下示出的第二级拉格朗日内插器P2(x)和第三级拉格朗日内插器P3(x)可从以上公式中推出。P2(x)=(x-x1)·(x-x2)(x0-x1)·(x0-x2)·y0+(x-x0)·(x-x2)(x1-x0)·(x1-x2)·y1+(x-x0)·(x-x1)(x2-x0)·(x2-x1)·y2]]>P3(x)=(x-x1)·(x-x2)·(x-x3)(x0-x1)·(x0-x2)·(x0-x3)·y0+(x-x0)·(x-x2)·(x-x3)(x1-x0)·(x1-x2)·(x1-x3)·y1+]]>(x-x0)·(x-x1)·(x-x3)(x2-x0)·(x2-x1)·(x2-x3)·y2+(x-x0)·(x-x1)·(x-x2)(x3-x0)·(x3-x1)·(x3-x2)·y3]]>对于2∶1向上抽样，我们对在抽取的图象中的象素之间的半象素位置的内插点感兴趣。对于3∶1抽样，我们对在抽取的图象中的象素之间的1/3或2/3象素位置的内插点感兴趣。例如，对于在2∶1向上抽样中的一半象素的情况，x-x0＝1/2，x-x1＝1/2且x1-x0＝1。通过代入这些值，可导出滤波器系数。
以下表7示出了用于2∶1向上抽样滤波器的拉格朗日滤波器系数。
表7
在表7和8中，相位0意指整数象素，相位1意指在2∶1情况下的一半象素和在3∶1情况下的1/3象素，且相位2意指在3∶1情况下的2/3象素。在2∶1情况下，输入象素在相位0被移位用于滤波，但在3∶1情况下，输入移位不是总在相位0发生。
如本领域的熟练技术人员所周知的，当滤波器级增大时，滤波器的频率响应提高。尽管许多滤波器设计方法是严格地建立在提高一滤波器的频率响应的基础上，在一下变换系统中，该滤波器的空间响应(对应于其运动跟踪特性)是一附加的设计考虑。表9示出了用于一3∶1下变换系统的不同级拉格朗日多相滤波器的百分比的过/下冲。
表9
人眼对于边缘的运动(只要它是可跟踪的)很敏感。当更多的连续预测帧被解码且先前向上抽样操作的结果通过该向上抽样滤波器被再循环时，一向上抽样滤波器的过冲和下冲劣化了一宏块的向上抽样。一向上抽样滤波器设计应被最优化以提供充足的运动跟踪特性同时提供低通滤波。在一3∶1下变换系统的示例性实施例中，向上抽样处理器226使用第三级拉格朗日滤波器用于一向下抽样的图象的内插。这导致了运动跟踪特性和低通滤波特性之间的平衡。第四级滤波器可具有比第三级滤波器更佳的频率响应但第三级滤波器具有更佳的运动跟踪特性。这样该具体设计平衡了这些因素且在它们之间取得了折衷。如上所述，一具体系统的编码结构确定该平衡应落在何处。
D.采用DCT系数的加权的DCT域滤波该下变换系统的示例性实施例包括替换空间域中的低通滤波器的，在频域中处理DCT系数的DCT滤波器216。以DCT域滤波替代空间域滤波用于DCT编码的图象有几个优点，例如由MPEG或JPEG标准所规划。最显著地，DCT域滤波器在计算上更加有效且比施加于空间象素的空间域滤波器要求更少的硬件。例如，具有N个抽头的一空间滤波器可使用多达对个空间象素值的N次乘法和加法。这相当于DCT域滤波器中的仅一次乘法。
最简单的DCT域滤波器是高频DCT系数的一截短，然而，高频DCT系数的截短不导致一平滑的滤波且具有例如在解码的图象中的边缘附近“形成环绕”的缺陷本发明的示例性实施例的DCT域低通滤波器是从空间域中的一块反射镜滤波器导出的。用于该块反射镜滤波器的滤波系数值是例如在空间域中被最优化的，且这些值然后被转换成DCT域滤波器的系数。
尽管该示例性实施例示出了仅在水平方向上的DCT域滤波，DCT域滤波可在水平或垂直任一方向上或通过组合水平和垂直滤波而在两方向上被进行。
E.DCT域滤波器系数从两约束中推导本发明的一示例性滤波器首先，该滤波器不使用来自同一图象的其他块或来自先前图象的信息，对该图象的各块在逐块的基础上处理图象数据；且其次，该滤波器减少当其处理边界象素值时出现的块边界的视见度。
根据第一个约束，在一MPEG图象序列的基于DCT的压缩中，例如，N×NDCT系数的块实现N×N空间象素值的块。因此，本发明的一示例性实施例实现仅处理当前接收的图象的块的一DCT域滤波器。
根据第二个约束，如果该滤波被简单地施加于空间象素值的一块，有在块边界外的不充足数的空间象素值引起的在块边界上滤波的过渡以填充滤波的剩余。也就是说，一块的边界不能被适当地滤波，因为该N抽头滤波器具有各自用于依据N是偶数或奇数而定的仅N/2或(N/2)-1个抽头。其余的输入象素在该块的边界外。有几种提供象素值的方法(1)重复在一边界外的预定的恒定象素值；(2)重复相同的象素值作为边界象素值；及(3)反射该块的象素值以形成相邻于该被处理块的先前及后继块的象素值。没有有关该先前或后继块的内容的信息，该反射方法被认为是一较佳的方法。因此，本发明的一实施例采用该反射方法用于滤波器且被称为“块反射镜滤波器“。
以下描述执行对块的8个输入空间象素值进行低通滤波的一水平块反射镜滤波器。如果该输入块的大小为8×8块矩阵的象素值，则可通过将该块反射镜滤波器施加于8个象素值的各行而完成一水平滤波。显然，对于本领域的熟练技术人员，可通过施加该块矩阵的列方向的滤波系数而执行该滤波处理，或可通过滤波这些行且然后滤波该块矩阵的列来实现多维滤波。
通过对DCT系数进行加权，空间域中的一块反射镜滤波器可等同地在DCT域中被执行，如由Kim等人所著的“DCT Domain Filterfor ATV Down Conversion(用于ATV下变换的DCT域滤波器)”，IEEE Transactions on Consumer Electronics，Vol.43(4)1074-8(NOv.1997)所讲授的。图4示出了采用由抽头值h0至h14代表的一15抽头空间滤波的一示例性反射镜滤波器的用于8个输入象素的输入象素值x0至x7(群X0)之间的对应。这些输入象素在群X0的左侧上被反射，示出为群X1，并在群X0的右侧上被反射，示出为群X2。该滤波器的输出象素值是这些滤波器抽头值与对应的象素值的15次相乘的和。图4示出了用于第一和第二输出象素值的乘法对。
F.块反射镜滤波器的示例性实施例本发明的该示例性块反射镜滤波器的一实施例通过以下步骤被推导出(1)选择带有小于2N个抽头的奇数个抽头的一维低通对称滤波器；(2)这些滤波器系数通过装填若干零而被增大至2N个值；(3)这些滤波器系数被重排以使通过一左圆周移位使初始中间系数进到第零位置；(4)重排的滤波器系数的DFT系数被确定；(5)这些DCT滤波器系数被乘以该输入块的实数个DFT系数；及(6)通过乘以IDCT系数执行滤波的DCT系数的反离散余弦变换(IDCT)以提供准备用于抽取的一低通滤波的象素的块。
低通滤波器的截止频率通过抽取比被确定。对于一示例性实施例，对于3∶1抽取，该截止频率是π/3，而对于2∶1抽取，该截止频率是π/2，其中π是该抽样频率的一半。
MPEG和JPEG解码器中的一DCT域滤波器允许存储需求被减少，因为在现有技术的解码器中已存在有块的反量化和IDCT处理，其仅要求附加的DCT系数与DCT域滤波器系数的标量乘法。因此，在一具体的执行中实际上不要求一分离的DCT域滤波器块乘法；本发明的另一实施例简单地将DCT域滤波器系数与IDCT处理系数组合。
对于本发明的示例性的下变换系统，DCT系数的水平滤波和抽取被考虑；且以下是两示例性的实现1、1920H乘1080V隔行至640H乘1080V隔行变换(水平3∶1抽取)。
2、1280H乘720V逐行至640H乘720V逐行变换(水平2∶1抽取)。
表4示出了DCT块反射镜滤波器(加权)系数；在表4中括号中的数是10位2的补数表示。表4的“*”是指用于10位2的补数表示的一无约束值(out of bound value)，因为该值大于1；然而，如本技术领域的熟练技术人员所知的，块的列系数与由“*”指示的值的相乘可容易地通过将该系数值加至乘以该滤波器值的分数值(余数)的该系数而被执行。<
这些水平DCT滤波器系数加权被编码的视频图象的8×8DCT系数的块中的各列。例如，列零的DCT系数通过H
被加权，且第一列的DCT系数通过H[1]被加权等。
上述讨论说明了使用一维DCT执行水平滤波。如数字信号处理技术中所知的，这样的处理可被扩展至两维系统。对于一两维系统，输入序列现被表示为多个值的一矩阵，示出该序列在列序列中是周期的，带有周期M，且在行序列中是周期的，带有周期N，N和M是整数。可如在输入序列的这些列上执行一维DCT地执行一维DCT，且然后在DCT处理的输入序列的这些行上执行第二一维DCT。而且，如现有技术中已知的，可如一单个处理地执行一两维IDCT。
G.向下抽样通过向下抽样处理器232实现向下抽样以减少下变换的图象中的象素数。图5A示出了3∶1抽取的4∶2∶0色度型的输入和抽取的输出象素。图5B示出了2∶1抽取的4∶2∶0色度型的输入和抽取的输出象素。表5给出了用于图5A和图5B的亮度和色度象素的图例标识。图5A和5B的下变换之前和之后的象素位置分别是隔行的(3∶1抽取)和逐行(2∶1抽取)情况。
表5
对于可以是从1920乘1080象素大小到640乘1080象素大小的变换的隔行图象的向下抽样，在水平轴上每隔三个象素被抽取。对于3∶1抽取，在下变换处理后有三个不同的宏块类型。在图5A中，初始宏块(MB)由MB0、MB1、MB2表示。MB0中被向下抽样的亮度象素在初始宏块中的第一象素开始，但在MB1和MB2中，被向下抽样的象素在第三和第二象素开始。而且在各宏块中的被向下抽样的象素的数目不是相同的。在MB0中，有水平地6个向下抽样的象素，而在MB1和MB2中有5个象素。这三个MB类型被重复，因此模3算术将被应用。表6概述了向下抽样象素数和各输入宏块MB0、MB1、MB2的偏移。
表6
对于逐行格式图象的向下抽样，水平地每隔两个抽样地，该信号被子抽样。
尽管在此已示出和描述了本发明的示例性实施例，可理解提供这些实施例仅是举例。不脱离本发明的精神，本领域的熟练技术人员可作出多种变化、改变和替换。因此，期望后附的权利要求覆盖落入本发明的范围内的所有这样的变化。
权利要求
1.一种用于从对应于一视频信号的一当前帧的一剩余图象的一第二组低分辨率象素值和从对应于该视频信号的至少一基准帧的一第一组向下抽样的低分辨率象素值形成对应于该视频信号的该当前帧的一第三组低分辨率向下抽样的象素值的设备，该设备包括存储装置，用于存储该第一组向下抽样的低分辨率象素值；向上抽样装置，用于从该存储装置接收该第一组向下抽样的低分辨率象素值并使用拉格朗日内插以将该第一组向下抽样的低分辨率象素值转换成对应于该视频信号的至少一基准帧的一组向上抽样的低分辨率象素值；求和装置，用于将对应于该视频信号的当前帧的剩余图象的一第二组低分辨率象素值加至该视频信号的该至少一基准帧的该组向上抽样的低分辨率象素值以形成对应于该视频信号的该当前帧的一组低分辨率象素值；及抽取装置，用于删除对应于该视频信号的该当前帧的该组低分辨率象素值中被选择的一些以生成对应于该视频信号的该当前帧的第三组低分辨率向下抽样的象素值用于存储在该存储装置中。
2.一种从代表一视频信号的一当前帧的一剩余图象的一编码的视频信号，该编码的视频信号是一频域变换的高分辨率视频信号，及从对应于该视频信号的至少一基准帧的一组向下抽样的低分辨率象素值形成对应于该视频信号的该当前帧的一组低分辨率向下抽样的象素值设备，该设备包括接收装置，用于接收该编码的视频信号作为一组高分辨率频域视频系数值；下变换滤波器装置，用于接收并加权该组高分辨率频域视频系数值以形成对应于该视频信号的该当前帧的该剩余图象的一组频域视频系数；反变换装置，用于将对应于该视频信号的该当前帧的该剩余图象的该组频域视频系数变换成对应于该视频信号的该当前帧的该剩余图象的一组象素值；存储装置，用于存储对应于该视频信号的至少一基准帧的该组向下抽样的低分辨率象素值；向上抽样装置，用于从该存储装置接收对应于该视频信号的该至少一基准帧的该组向下抽样的低分辨率象素值并使用拉格朗日内插以将对应于该视频信号的该至少一基准帧的该组向下抽样的低分辨率象素值转换成对应于该视频信号的该至少一基准帧的一组向上抽样的低分辨率象素值；求和装置，用于将该组象素值加至对应于该视频信号的该至少一基准帧的该组向上抽样的低分辨率象素值以形成对应于该视频信号的该当前帧的一组低分辨率象素值；及抽取装置，用于删除对应于该视频信号的该当前帧的该组低分辨率象素值中被选择的一些以生成对应于该视频信号的该当前帧的该组低分辨率向下抽样的象素值用于存储在该存储装置中。
3.根据权利要求1的一种用于形成低分辨率视频信号的设备，其中该抽取装置执行3∶1抽取且该向上抽样装置包括一第三级拉格朗日滤波器。
4.一种用于从对应于一视频信号的一当前帧的一剩余图象的一第二组低分辨率象素值和从对应于该视频信号的至少一基准帧的一第一组向下抽样的低分辨率象素值形成对应于该视频信号的该当前帧的一第三组低分辨率向下抽样的象素值的方法，该方法包括有步骤(a)存储该第一组向下抽样的低分辨率象素值；(b)接收该第一组向下抽样的低分辨率象素值并使用拉格朗日内插以将该第一组向下抽样的低分辨率象素值转换成对应于该视频信号的至少一基准帧的一组向上抽样的低分辨率象素值；(c)将对应于该视频信号的当前帧的剩余图象的一第二组低分辨率象素值加至该视频信号的该至少一基准帧的该组向上抽样的低分辨率象素值以形成对应于该视频信号的该当前帧的一组低分辨率象素值；及(d)删除对应于该视频信号的该当前帧的该组低分辨率象素值中被选择的一些以生成对应于该视频信号的该当前帧的第三组低分辨率向下抽样的象素值用于存储在存储装置中。
5.一种从代表一视频信号的一当前帧的一剩余图象的一编码的视频信号，该编码的视频信号是一频域变换的高分辨率视频信号，及从对应于该视频信号的至少一基准帧的一组向下抽样的低分辨率象素值形成对应于该视频信号的该当前帧的一组低分辨率向下抽样的象素值方法，该方法包括(a)接收该编码的视频信号作为一组高分辨率频域视频系数值；(b)加权该组高分辨率频域视频系数值以形成对应于该视频信号的该当前帧的该剩余图象的一组频域视频系数；(c)将对应于该视频信号的该当前帧的该剩余图象的该组频域视频系数变换成对应于该视频信号的该当前帧的该剩余图象的一组象素值；(d)存储对应于该视频信号的至少一基准帧的该组向下抽样的低分辨率象素值；(e)接收对应于该视频信号的该至少一基准帧的该组向下抽样的低分辨率象素值并使用拉格朗日内插以将对应于该视频信号的该至少一基准帧的该组向下抽样的低分辨率象素值转换成对应于该视频信号的该至少一基准帧的一组向上抽样的低分辨率象素值；(f)将该组象素值加至对应于该视频信号的该至少一基准帧的该组向上抽样的低分辨率象素值以形成对应于该视频信号的该当前帧的一组低分辨率象素值；及(g)删除对应于该视频信号的该当前帧的该组低分辨率象素值中被选择的一些以生成对应于该视频信号的该当前帧的该组低分辨率向下抽样的象素值用于存储在存储装置中。
6.根据权利要求5的一种用于形成低分辨率视频信号的方法，其中在步骤(g)中，执行对应于该视频信号的该当前帧的该组低分辨率象素值的3∶1抽取；及在步骤(e)中，使用一第三级拉格朗日滤波器以将对应于该视频信号的该至少一基准帧的该组向下抽样的低分辨率象素值转换成对应于该视频信号的该至少一基准帧的一组向上抽样的低分辨率象素值。
全文摘要
高清晰度电视信号下变换系统包括从第二组低分辨率象素值和从第一组向下抽样低分辨率象素值形成第三组低分辨率向下抽校象素值的设备,该设备包括:存储装置,存储第一组向下抽样象素值;向上抽样装置,从存储装置接收第一组向下抽样象素值并将其转成向上抽样象素值;求和装置,将第二组象素值加至向上抽样象素值以形成当前帧象素值;及抽取装置,删除第三组低分辨率向下抽样象素值用于存储在该存储装置中。
文档编号H04N7/30GK1255018SQ99121710
公开日2000年5月31日 申请日期1999年10月8日 优先权日1998年10月9日
发明者金熙龙, 埃德温·罗伯特·迈耶, 萨帕塞德·纳伊莫帕利, 拉里·菲利浦斯 申请人:松下电器产业株式会社