专利名称：视频图像的分辨率的按比例缩减的制作方法
对相关申请的优先权/交叉引用的申明本申请要求享有于2001年5月22日提交的序列号为60/292715的美国临时专利申请的优先权。将上述申请的内容通过引用结合于本文中。
称为标准清晰度电视(SDTV)的现有电视技术是基于在二十世纪中叶开发并标准化的模拟技术。这些早已建立的用于频率分配、格式化等的电视广播标准对可供传输、继而被用户观看的信息的量加以限制。设计成克服SDTV的限制的称为高清晰度电视(HDTV)的新型数字电视技术能够提高所传输的数据量，这是通过在传输前对电视信号进行数字化和压缩来实现的。HDTV明显优于SDTV之处在于，增大的数据传输改善了所观看图像的清晰度。通过传输具有比SDTV传输更大的分辨率的图像来提高清晰度。
由于HDTV传输的数量开始随着现有SDTV传输一起增长，因此数亿台SDTV电视机必须适合于接收这种新的HDTV信号。通过增设转换器盒、如机顶盒以使所接收的HDTV信号空间上按比例缩减到在SDTV电视机上观看可接受的格式，就能容易地实现SDTV电视机与HDTV格式的适配。从HDTV到SDTV的空间上按比例缩减的技术在本领域中是众所周知的。
WO97/14252-A1公开了一种采用离散余弦变换(DCT)来调整图像大小的方法和装置。为了缩小图像，此方法和装置利用DCT的卷积-乘法特性来实现DCT域中的抗混淆滤波器，然后对此滤波器系数进行运算，从而产生缩减大小的图像的DCT系数。
EP0781052-A2公开了一种解码器，用于对以任何彩色空间编码格式编码的MPEG视频比特流进行解码，并将解码后的视频比特流输出给不同大小的窗口。在同一解码器内在比特流上进行MPEG解压缩和彩色空间解码和转换。可对此公开的解码器进行编程，以便输出包括YUV 4∶2∶0、YUV 4∶2∶2和YUV 4∶4∶4的三原色空间格式中任一格式的解码视频比特流。解码器还可采用基于图像大小调整的DCT将解码的比特流输出给不同大小的窗口。
根据本发明的第一方面，在与第一视频信号中行方向对应的第一方向(如水平方向)上进行频域抗混淆滤波和按比例缩减，在垂直于第一方向的第二方向(如垂直方向)上进行空间域按比例缩减。第一方向上的按比例缩减可先于逆频率变换操作或在其过程中执行。本发明基于这样的认识在第二方向上对场型编码像素组和帧型编码像素组运用的频域抗混淆滤波器的给定类型对应于空间域中的不同滤波器类型。这是下述事实的结果，即场型像素组通常包括两个独立的变换编码场(例如顶场和底场)，而帧型像素组通常包含与混合在一帧中的两场相对应的信息，此帧整体地被转换编码。在视频信号中同时存在场型和帧型编码像素组的情况下，在空间域中对场型和帧型编码像素组进行不同滤波可能在逆运动补偿期间导致出现显著的差错。通过在行方向上进行频域抗混淆滤波和按比例缩减并且在垂直方向上进行空间域按比例缩减，可以减小这些差错。因此，本发明的方法和装置适用于处理包括混合的帧/场型像素组的隔行视频信号、未带有混合的帧/场型编码像素组(例如只有场型编码像素组)的隔行信号、以及带有帧型编码像素组的逐行视频信号，而不用对此方法或装置进行大的修改。
在一个实际实施例中，第二方向上的空间域抗混淆滤波在第二方向上的空间域按比例缩减之前执行。
在一个实施例中，第一视频信号在逆变换运算、如离散余弦反变换(IDCT)之前或在其过程中进行按比例缩减，该变换运算之后接着是逆运动补偿，这在第二方向上的空间域按比例缩减之前进行。这具有的优点是第二方向上可能由运动矢量的按比例缩减引入的差错对逆运动补偿没有影响。在第二方向上的空间域按比例缩减之前最好是同一方向上的抗混淆滤波。空间域按比例缩减最好运用在帧级。这就使得可以在第二方向上采用具有长脉冲响应的滤波器来得到更陡峭的频率截止。此实施例的优点在于，由基于块的滤波所引起的发生于块边缘处的失真只出现在第一方向上。由于逆运动补偿在单向按比例缩减的图像上进行，因此与传统的全空间域方案相比，参考场/帧存储所需的存储容量得以降低。存储容量的降低取决于水平缩放因子。
最好是，空间域按比例缩减在逆运动补偿之前进行。由于垂直空间域按比例缩减在逆运动补偿之前，因此在按比例缩减将场/帧的大小减小50％的情况下，存储用于逆运动补偿的参考场/帧所需的存储容量降低到例如一半的大小。此存储容量对应于相当的双向频域按比例缩减所需的存储容量。
在另一实施例中，在频域中的两个方向上，而不是在频域中的一个方向上和空间域中的另一方向上，对场型编码像素组进行抗混淆滤波。对于各个帧型编码像素组来说，进行水平的频域抗混淆滤波和垂直的空间域抗混淆滤波。在此实施例中，可在水平方向上对场型编码像素组和帧型编码像素组运用同一频域滤波器。对帧型编码像素组在垂直方向上使用的空间域滤波器必须与对场型编码宏块在垂直方向上使用的频域滤波器相对应。由于空间域中的垂直按比例缩减在逆运动补偿之前，因此存储用于逆运动补偿的参考场/帧所需的存储容量对应于相当的双向频域按比例缩减所需的存储容量。由于通常为缓慢过程的垂直空间域滤波只在帧型像素组而不在场型像素组上进行，因此这个实施例的性能更高。各个帧型像素组在频域中只在第一方向上被滤波，然后在可缩放IDCT过程中在第一方向上按比例缩减。在以此方式对所有像素组进行解码后，可以分开混合场信息，各像素组在运动补偿之前在空间域中在第二方向上进行滤波和按比例缩减。在逆运动补偿之前，场型像素组在两个方向上进行频域滤波，但是在频域中的一个方向上和空间域中的另一方向上进行按比例缩减。
像素组可以是像素块或宏块。在MPEG-2的情况下，各16×16宏块构成四个8×8的像素块。在例如MPEG-2中可通过两种不同模式对隔行信号进行编码第一种是采用场型图像，第二种是采用帧型图像。在第一种情况下，各图像场单独地进行编码，并且不使用混合的场/帧宏块模式。在第二种(普遍使用的)情况中，各图像以逐行方式编码，即两场混合并且一起编码。对于这种情况，采用混合宏块模式。因此，如果对第二种方式编码的隔行信号使用直接的双向频域下变换方案，那么在运动补偿期间会导致差错传播，并且损失显著的显示质量。
附图简介图中
图1说明代表性HDTV的发射和接收系统。
图2说明代表性HDTV和SDTV显示格式；图3说明代表性HDTV接收系统和SDTV显示系统；图4a说明代表性MPEG解码系统的功能框图；图4b说明代表性MPEG解码系统的说明性框图；图5说明根据本发明原理的解码系统的代表性实施例；图6a说明根据本发明原理的解码系统的代表性框图；图6b说明图6a所示代表性解码系统的一部分的功能框图；以及图6c说明用于图6a所示代表性解码系统中的代表性运动矢量按比例缩减的功能框图。
应当理解，这些附图只是用于说明本发明的概念，并不是为了定义本发明的限制。应当理解，在整个附图中使用的相同标号以及在适当处补充的符号表示相应的部分。发明的详细描述为了理解和评价本实施例的新颖特征，包括缩放用于在标准电视屏幕上显示的HDTV解码信号，首先需要讨论传统HDTV处理及其相关问题。图1说明一种典型的HDTV系统。如图所示，由信号发生器101产生的通常包括64个像素的8×8矩阵的数字电视信号由MPEG编码器103进行压缩。MPEG编码基于离散余弦变换(DCT)，这是一种与傅立叶变换类似的数学运算，并且在本领域内已众所周知。MPEG编码器103执行的操作之一是将信号102所表示的代表性8×8像素矩阵转换成信号104所表示的8×8系数矩阵。如所知的，所得的DCT变换矩阵将高频信息存储在矩阵的左上角，将低频信息存储在矩阵的右下角。然后对DCT变换矩阵进行量化，以便采用8位、即一个字节来描述各矩阵元素的值。在此说明性示例中，量化矩阵由电视发射机105通过发射天线106来发送。数字视频压缩技术，比如作为运动图像专家组(MPEG)指定的标准的MPEG-2、MPEG-4、MPEG-7在本领域内已众所周知，在此无须详细讨论。
回到图1，所发送的数字信号108由接收天线110接收，并由包括调谐器125的电视接收机120进行处理。采用调谐器125将特定的HDTV信号与所接收的多个HDTV和SDTV信号隔离。然后由解码器140、如MPEG解码器来处理隔离的信号，解码器140将数字的发送信号130解码成可显示信号145。采用例如MPEG解码，解码器140对所接收的信号进行解码，并使发送的系数恢复成按行和列排列的像素数据流。显示驱动器150根据所接收的数据产生适当的红(R)、绿(G)和蓝(B)色信号，以便在高分辨率屏幕160上显示。
为了实现更高的分辨率，要以高分辨率形成HDTV图像。在一种情况下，以各水平行中1920个像素的条件发送图像并且有1080行，即分辨率为1920×1080。在第二种情况下，以每行1280个像素和720行来发送图像，即1280×720。另一方面，SDTV电视的分辨率明显小于HDTV的分辨率。例如，在美国和日本的电视传输系统中，SDTV的NTSC制式包括约720×480的分辨率，即480行中各行为720个像素。欧洲采用PAL制式，使用另一不同的分辨率，即720×576。
图2说明叠加在HDTV图像上的典型NTSC制式的SDTV图像的图像观看区域。在此说明性示例中，所发送的HDTV图像的观看区域由区域205表示，而SDTV图像由区域210表示。如图所示，由于HDTV图像中只有与SDTV图像重叠的那部分可在SDTV屏幕上观看，因此大部分HDTV图像损失了。
为了使HDTV信号可在SDTV屏幕上显示，应“按比例缩减”HDTV信号以压缩HDTV信号。图3说明在图1所示系统中引入定标器170，以便将数字信号145缩放成可在SDTV屏幕190上观看的缩放信号155。在这种情况下，定标器170实际上对信号145进行两维缩放，从而缩小图2中的图像205以使适应图像210的边界。也就是说，在此说明性示例中，定标器170按照比率1920/720＝2.66来水平地划分图像205，按照比率1080/486＝2.22来垂直地划分图像205。
还可对定标器170进行编程以适当地按比例缩减到其它的HDTV分辨率。采用CPU180来对定标器170进行编程，使其达到适当的按比例缩减比率。
但是，以所公开的方式对HDTV信号进行解码和按比例缩减需要对HDTV信号和有效源进行完全解码。图4a说明一种代表性解码器140、如MPEG解码器，这在本领域内已众所周知，在此只简略地介绍。如图所示，数字信号130由霍夫曼解码器425进行处理。然后由逆量化器405对霍夫曼解码信号进行处理。然后通过离散余弦反变换(IDCT)410对信号407进行处理，将此典型地传输的64系数的8×8矩阵转换成64个像素的8×8矩阵。然后把转换的信号408与一个信号相结合，通过恢复静止图像数据来对传输图像解压，并且最初运用的运动补偿进行逆运算(436)。此时所得的组合信号为未压缩和经运动补偿的数字图像。霍夫曼解码器425和逆运动补偿块436之间的链接表明，霍夫曼解码器425在运动矢量数据用于逆运动补偿之前对其进行解码。接着将数字图像加到抗混淆滤波器435中，从图像中滤去高频分量。这种抗混淆滤波在本领域内已众所周知，可以例如用低通有限脉冲响应滤波器来实现。抗混淆滤波器435对数字图像内的数据项的边缘进行软化。输出信号145包括代表用于显示图像的视频行的像素信息。
图4b说明在解码器140中进行逆运动补偿所需的视频存储器420。在此说明性示例中，各图像存储在视频存储器的“页面”上。因此，存储页面420a包括与第一图像相关的像素信息，存储页面420b包括与第二图像相关的像素信息，存储页面420n包括与“第n”图像相关的像素信息。应当理解，各视频图像的存储需要大量的视频存储容量。例如，存储一幅分辨率为1920×1080的图像需要超过2兆字节的存储容量。
图5说明根据本发明一个实施例，由全格式解码器(AFD)505来代替解码器140。在此说明性示例中，AFD 505接收数字信号130并将其转换成缩放信号520。在这种情况下，AFD 505水平地缩放数字信号130以达到与SDTV图像标准相当的分辨率。例如，AFD 505将数字信号130水平地按比例缩小一倍(例如分辨率从1920变为960)。然后用定标器170对经过水平缩放的信号520进行垂直缩放，以便达到与SDTV图像标准相当的分辨率。例如，定标器170将水平缩放的信号520垂直地按比例缩小一倍，即分辨率从1080变到540。因此，按比例缩减的图像的分辨率为980×540。
采用AFD 505来水平地按比例缩减数字信号130是有利的，因为数字信号130不在全分辨率下解码，因此只需更少的处理能力，而且存储未压缩的运动补偿视频数据所需的视频存储器要小得多。由于处理的是选择性挑出的缩减数据集、如32个元素的4×8矩阵而不是传统的64个元素的8×8矩阵，因此对AFD 505的处理能力的要求显著地降低。另外，由于不存储整个解码图像而是只存储选择性挑出的缩减数据集，因此存储缩放图像所需的视频存储器要小得多。减小的存储器由图5中的存储器510a到510n来表示。在这种情况下，为了存储用于逆运动补偿的水平缩放图像的视频存储器要求约为一兆字节。在逆运动补偿器之前对宏块进行空间按比例缩减的情况下，甚至处理进一步缩减的数据集，例如16个元素的4×4矩阵。在这种情况下，AFD 505的输出是已经在两个方向上进行了缩减的帧，从而使定标器170变成多余的。在这种情况下，对存储用于进行逆运动补偿的水平和垂直缩放图像的视频存储器要求约为一兆字节的二分之一。
图6a说明AFD 505的一个代表性功能框图。在此说明性框图中，数字信号130首先由霍夫曼解码器425进行处理，然后由逆量化器和频域滤波器610进行处理。量化器/滤波器610的输出是信号612。如图所示，信号612具有与抗混淆滤波器435所达到的滤波特性相似的滤波特性。信号612再由可缩放IDCT 615进行处理，将信号612的代表性64个滤波系数元素转换为水平缩放的信号，该信号由例如选择性挑出的32个像素元素构成。然后在空间域垂直缩减器511中在垂直方向上对可缩放IDCT 615的输出进行缩放，并将其与来自可缩放运动补偿器650的信号合并，从而恢复图像内的静止信息和使运动补偿的效果相反。在运动补偿器650中使用的运动矢量是从霍夫曼解码器425中经运动矢量定标器513而得到的。输出信号520是分辨率在空间上按比例缩减到与SDTV电视机基本相当的信号。
图6b说明图6a的代表性解码器的一部分的功能框图。在解码器的这个功能性实施例中，量化器/滤波器610产生的滤波信号612由IDCT和水平定标器615来处理，水平定标器615将系数集转化为缩减的像素集。在隔行素材包括宏块的混合场/帧模式的情况中，可以对解码器编程，以便在宏块级或帧级上对图像垂直地进行空间域按比例缩减。如果选择宏块级，那么在IDCT 630之后，如果各个经过滤波和水平缩减的宏块是帧型编码的，则空间滤波器和定标器在垂直方向上对其处理。如果宏块是场型编码的，则由定标器对其处理而不进行滤波，因为它可能在频域中在两个方向上已经进行了滤波。应当指出，用于场型编码宏块的垂直频域滤波器必须与用于帧型编码宏块的空间域滤波器相对应，以便在逆运动补偿期间减少预测失真。如果选择帧级的垂直空间域缩减，那么在IDCT 630中对任何类型编码的宏块进行水平缩减，之后由运动补偿器650进行处理。在进行运动补偿后，需要用空间域滤波器和定标器170来使图像垂直地在空间上缩小。
图6c说明运动矢量缩减器513的功能框图。运动矢量122首先由霍夫曼解码器425进行处理，然后由水平运动矢量定标器514进行水平缩减，由垂直运动矢量定标器515进行垂直缩减，并且由运动补偿器650进行处理。在帧级垂直空间缩减的情况中，运动矢量必须由垂直运动矢量定标器515只在垂直方向上进行按比例缩减。
频域和相应的空间域滤波器的选择现在可表明与离散余弦变换的卷积-乘法特性相关。如本领域所知，DCT具有与离散傅立叶变换(DFT)类似的卷积-乘法特性。那么对于一维实序列a(n)，n＝0…N-1和一维实偶序列h(n)，n＝-N...N-1来说已知如果Fc(n)＝Ac(n)Hf(n)，对于n＝0...N-1而言 [1]其中Fc(n)为f(n)的N点DCT；Ac(n)为a(n)实序列的N点DCT；以及Hf(n)为h(n)的2N点DFT；那么f(k)＝a(k)*h(k)，对于k＝0...N-1而言； [2]其中*代表对称卷积运算符，它可视为序列h(k)的2N长的循环卷积的对称折叠结果，序列h(k)是可通过零扩展到偶长度的奇对称序列，偶对称序列a(k)可描述为 频域中的乘法和时域中的卷积之间的关系特性可扩展到两维情况，例如如果Fc(n，m)＝Ac(n，m)Hf(n，m)；对于n，m＝0...N-1； [3]那么f(k，l)＝a(k，l)*h(k，l)；对于k，l＝0...N-1； [4]其中*代表两维的对称卷积运算符；Fc(n，m)是f(n，m)的两维N×N DCT，其中n，m＝0...N-1；Ac(n，m)是a(n，m)的两维N×N DCT，n，m＝0，N-1；Hf(n，m)是h(n，m)的两维2N×2N DFT，n，m＝-N...N-1。
不难理解，a(k，l)的实序列的两维DCT形成了一个矩阵，其中较低频元素包含在矩阵的左上角，较高频元素包含在矩阵的右下角。此时，根据公式3和4，可通过把接收的DCT系数乘上一个特殊的滤波器矩阵来实现在DCT域内的两个方向上的滤波。作为示例，以下列方式可以得到在两个方向上脉冲响应h(n)＝{0.25，0.5，0.25}的三抽头低通滤波器的滤波器矩阵。根据公式1，所指示的滤波器HN(n)的频率响应可通过计算h2N(n)的DFT来获得，h2N(n)是可由零扩展到2N长度的奇对称序列。二维频率响应可视为HHN=HN⊗HNT,]]>其中表示克罗内克尔乘法运算符。因此对于滤波器h(n)，乘法矩阵为HHN=10.9620.8540.6910.50.3090.1460.0380.9620.9250.8210.6650.4810.2970.1410.0370.8540.8210.7290.590.4270.2630.1250.0320.6910.6650.590.4780.3460.2130.1010.0260.50.4810.4270.3460.250.1540.0730.0190.3090.2970.2630.2130.1540.0950.0450.0120.1460.1410.1250.1010.0730.0450.0215.574·10-30.0380.0370.0320.0260.0190.0125.574·10-31.449·10-3]]>因此，可通过先将量化矩阵和滤波器矩阵H(n，m)合并来使频域量化器/滤波器与逆量化功能相结合。更具体地说，如果滤波器矩阵定义为如下HHN 对于n，m＝0...N-1而且量化矩阵可描述为 对于k，l＝0...N-1那么组合的量化-滤波矩阵可描述为 对于n，m＝0...N-1从上表明，对于带有混合的场/帧型编码宏块的序列来说，帧型编码宏块必须在频域内只在水平方向以及在空间域内只在垂直方向上进行滤波。同样，对于帧级空间垂直缩减来说，所有宏块必须在频域内只在水平方向上进行滤波。在该情况下，h(n)＝{0.25，0.5，0.25}的滤波器矩阵是Hf(n,m)=1.00.9620.8540.6910.50.3090.1460.0381.00.9620.8540.6910.50.3090.1460.0381.00.9620.8540.6910.50.3090.1460.0381.00.9620.8540.6910.50.3090.1460.0381.00.9620.8540.6910.50.3090.1460.0381.00.9620.8540.6910.50.3090.1460.0381.00.9620.8540.6910.50.3090.1460.0381.00.9620.8540.6910.50.3090.1460.038]]>虽然上文中已经说明、描述和指出了如优选实施例所应用的本发明的基本的新颖特征，但是应当理解，在不脱离本发明范围的前提下，本领域的技术人员可在所述方法中进行各种简化、替代和修改。此外，虽然这里讨论是的与HDTV传输相关的MPEG解码，但是本领域的技术人员可以理解，这里所公开的发明概念并不仅限于MPEG编码/解码，而是还可适用于其它数字TV编码/解码技术。
特别指出，以基本上相同的方式执行基本上相同的功能来达到相同结果的这些要素和/或方法步骤的所有组合均在本发明的范围内。还可完全地构想出用一个所述实施例中的要素来代替另一实施例中的要素。
应当指出，上述实施例是说明而不是限定本发明，在不脱离所附权利要求的范围的前提下，本领域的技术人员可设计出许多替代性实施例。在权利要求书中，任何置于括号之间的标号不应视为限定权利要求。词语“包括”并不排除在权利要求中列出的内容之外的其它要素或步骤的存在。本发明可通过包括若干不同元件的硬件并通过适当编程的计算机来实现。在列出若干装置的装置权利要求中，这些装置中的若干项可以同一项硬件来实现。在多个不同从属权利要求中引用的一定措施并不表示这些措施的组合不能带来优点。
权利要求
1.一种用于把第一视频信号的空间分辨率按比例缩减、以便得到空间分辨率比所述第一视频信号的空间分辨率更低的第二视频信号的方法，所述方法包括以下步骤在与所述第一视频信号中的行方向对应的第一方向上对所述第一视频信号进行频域抗混淆滤波和按比例缩减，从而得到按比例缩减的视频信号，以及在垂直于所述第一方向的第二方向上对所述按比例缩减的视频信号进行空间域按比例缩减，从而得到所述第二视频信号。
2.如权利要求1所述的方法，其特征在于，所述按比例缩减在逆变换运算、如离散余弦反变换之前或在其过程中执行。
3.如权利要求2所述的方法，其特征在于，所述逆变换运算之后接着是在所述空间域按比例缩减之前进行的逆运动补偿。
4.如权利要求2所述的方法，其特征在于，所述逆变换运算之后接着是在逆运动补偿之前进行的所述空间域按比例缩减。
5.如上述权利要求中任一项所述的方法，其特征在于，所述第一视频信号包括像素组并且所述方法是按像素组来进行的。
6.如权利要求5所述的方法，其特征在于，所述像素组包含在混合的场/帧型编码像素组的序列中，以及所述场型编码像素组在所述第一方向和第二方向上都进行频域抗混淆滤波，而所述帧型编码像素组在所述第一方向上经过频域抗混淆滤波，在所述第二方向上经过空间域抗混淆滤波。
7.如上述权利要求中任一项所述的方法，其特征在于，所述第一视频信号包括量化的频率变换系数，所述方法还包括对所述量化的频率变换系数进行逆量化以得到频率变换系数，所述抗混淆滤波在所述频率变换系数上执行，以及所述逆量化步骤和所述滤波步骤是通过采用组合矩阵来进行的，所述组合矩阵是量化矩阵和滤波器矩阵的组合。
8.一种用于把第一视频信号的空间分辨率按比例缩减、以便得到空间分辨率比所述第一视频信号的空间分辨率更低的第二视频信号的装置，所述装置包括用于在与所述第一视频信号中的行方向对应的第一方向上对所述第一视频信号进行频域抗混淆滤波和按比例缩减而得到按比例缩减的视频信号的装置，以及用于在垂直于所述第一方向的第二方向上对所述按比例缩减的视频信号进行空间域按比例缩减而得到所述第二视频信号的装置。
全文摘要
提供一种用于将视频图像按比例缩减到更低分辨率(例如从HDTV到SDTV)的方法和装置。此方法包括以下步骤在与第一视频信号中的行方向对应的第一方向上对第一视频信号进行频域抗混淆滤波和按比例缩减以得到按比例缩减的视频信号；以及在垂直于第一方向的第二方向上对按比例缩减的视频信号进行空间域按比例缩减以得到第二视频信号。本发明的方法和装置适合于有效地和高质量地对逐行和任何类型编码的隔行信号进行解码。
文档编号H04N7/26GK1463552SQ02801764
公开日2003年12月24日 申请日期2002年5月17日 优先权日2001年5月22日
发明者K·加加林, C·C·A·M·范宗 申请人:皇家菲利浦电子有限公司