专利名称：用于从编码高分辨率视频信号中产生解码低分辨率视频信号的系统的制作方法
技术领域：
本发明涉及将编码的高分辨率(HD)视频信号解码从而产生一个解码的适用于例如记录和再现一个画中画(PIP)或其它低分辨率显示的视频信号。
现有技术中所公知的是，当显示来自一个主要电视频道的相对大的图象时，电视接收机可以同时显示一个来自第二电视频道的小的PIP。在高分辨率电视接收机(HDTV)中，该接收机必须包括一个相对复杂和昂贵的与IS013818-2标准一致的用于实时地解码接收到的编码的HD视频信号以便于高分辨率显示的解码器。然而，由于PIP很小，而且因为固有的观众不能分辨高分辨率PIP的较高分辨率部分，所以没有必要提供一个高分辨率的PIP显示。所以，为了提供PIP，HDTV接收机可以提供一个较低分辨率的第二个简单的和不太昂贵的解码器，这个解码器还是与IS013818-2标准一致。
在公知的现有技术中，一种提供与提供高分辨率显示的解码器相比要相对简单和不太昂贵的第二解码器的方法公开在三个分别由Boyce等人在1997年5月25日、1997年5月25日、1997年6月3日获颁的美国专利5614952、5614957和5635985中。
但是，还存在对低分辨率第二解码器的需求，这个第二解码器应适用于实时地从一个接收到的编码HD视频信号中产生PIP，并且与由Boyce等人披露的第二解码器相比实现起来明显地更简单和廉价，但也符合IOS13818-2标准。
一种用于将表示第一分辨率图象的象素块形式的压缩的图象数据解码以提供一个将第一分辨率图象的象素块去压缩的降低的第二分辨率的图象。该系统包括在压缩的象素块数据中选择一个频率域系数的子集，并处理这些系数子集的各元素来提供代表包括在第一分辨率图象中的象素块中的空间分布的象素子集的象素的象素数据，并且排除该象素块的其它象素。安排代表包括空间分布象素的象素的象素数据来提供降低的第二分辨率图象。
图1是根据本发明显示响应于一个输入HD MPEG数据位流的用于将从一个PIP解码装置中输出的第一选择的MPEG数据和从一个HD解码装置输出的第二选择的MPEG数据施加到HD解码装置的一个可变长度的解码器(VLD)的功能性框图。
图2是图1中体现本发明特性的PIP解码装置实施例的一个简化的功能性框图。
图3、3a、3b和3c与在图2中所示的取样率转换器实施例相关。
参考图1，这里示出了长度可变检测器(VLD)100、PIP解码装置102和HD解码装置104。一种对由作为一个输入施加其上的正在进行的位流来定义的编码的HD MPEG数据的VLD100的响应是将由量化离散余弦变换(DCT)系数的每个连续的8×8数据块来定义的编码的图象数据作为输入传送到HD解码装置104。另外，在由HD解码装置104执行的功能中是首先进行DCT系数的每个连续的8×8数据块的反量化，然后进行每个连续的8×8数据块的DCT系数的反离散余弦变换(IDCT)。最后，HD解码装置104必须在那个内部编码的宏模块上已经进行了IDCT之后执行对于每个内部编码的宏模块的运动补偿。
图1a表示DCT系数的一个8×8数据块，其中(1)系数DCT0，0(位于在8×8数据块的左上角)表示在进行DCT之前由相应象素的8×8数据块的64个值定义的图象平均值(DC)(即，水平和垂直频率都是0)；(2)系数DCT7，7(位于8×8数据块的右下角)表示由在进行DCT之前由相应象素的8×8数据块的64个值定义的图象的最高水平频率和最高垂直频率分量。对于一个HD图象，所有或接近于所有的64DCT系数包括图1a的从DCT0，0到DCT7，7都具有非零值。这样导致在相当大数量的图象处理计算中实时实现IDCT。另外，运动补偿也需要大数量的图象处理计算来实时实现。所以，HD解码装置104(图1)需要大约96兆比特的存储器在显示之前来暂时存储MPEG解码的图象画面。HD解码装置104需要这些用于运动补偿的画面从而重新构造用于显示的精确的图象。因此，HD解码装置104实际的实现方式是相当贵的。
回到图1，另一种对由作为一个输入施加其上的正在进行的位流来定义的编码的HD MPEG数据的VLD100的响应是仅将由相对少的给定数量的每个连续的8×8数据块的以较低频率定义的、量化的DCT系数来定义的编码的图象信息作为输入传送到PIP解码装置102中。在一个将在下面详细描述的PIP解码装置102的最佳实施例中，这个DCT系数小的给定数量包括在图1b中所示的6个DCT系数DCT0，0、DCT1，0、DCT2，0、DCT0，1、DCT1，1和DCT0，2。更具体地，由VLD100接收的PIP位流是由VLD100中的一个分析算法预先分析的，以便于在作为输入施加到PIP解码装置102的PIP位流中的DCT系数的最大运行值是7。这种约束的重要性将在通过下面对所提出的最佳实施例的详细描述中清楚明了。
在图2示出的PIP解码装置102实施例的功能性框图包括行程解码器(RLD)200、反量化器202、单一IDCT单元204(包括滤波器和象素抽取处理装置)、加法器205、抽取象素存储器206、运动补偿单元处理装置208和取样率转换器210。尽管图2的简化的功能性框图没有示出用于控制PIP解码装置102的这个实施例操作的装置，但是应该理解，与ISO 13818-2标准的要求一致的合适的控制装置将包含在这个实施例的一个实际装置中。
为了说明的目的，在下面对上述元件200、202、204、205、206、208和210的描述中假设这些元件的每一个都是根据上面讨论的最佳实施例来操作的。
在这个例子中，RLD200使用在ISO 13818-2标准中定义的2个扫描模式来输出每个8×8编码数据块的6个DCT系数。在图1b中说明了在每个8×8数据块中的这6个DCT系数的位置。如果来自用于当前图象的图象编码扩充的隔行扫描标记是0，则在图1b中示出的6个DCT系数对应于一个空间扫描顺序中的0、1、2、3、4、5，而如果隔行扫描是1，则相应的6个DCT系数是以扫描顺序的系数0、1、2、3、4、5、6。根据隔行扫描的值，存在在RLD200中具有一个不同于在ISO 13818-2标准中所描述的含义的两个运行值。如果隔行扫描是0，运行值为6表示PIP解码器102需要的系数全是0并且没有后来的非零系数。同样地，如果隔行扫描是1，运行值为7表示解码器102需要的系数全是0并且没有后来的非零系数。下面的表1总结用于隔行扫描标记的两个可能值的运行值为6和7的RLD200的含义。
表1-由RLD200解释run＝6和run＝7如同在ISO 13818-2标准中所描述的，IQ202在6个DCT系数上执行反量化算法和饱和度计算。更具体地，IQ202必须对DCT系数(u，v)＝(0，0)、(1，0)、(2，0)、(0，1)、(1，1)和(0，2)进行反量化计算和如同在ISO 13818-2标准中所描述的反量化处理的饱和部分。不需要反量化处理的失配控制部分。
通常，需要三个单独步骤的一个扩展的计算处理被需要来将通过在来自IQ202的输出中的反量化DCT系数的相应值在频域中定义的8×8数据块形式的编码信息转换为图象信息，该图象信息是通过用于产生降低的分辨率的视频信号来进行PIP显示的较小的抽取象素的相应值在空间域中定义的。第一步是确定作为反量化DCT系数值的一个IDCT功能的图象信息的每个8×8数据块的64个象素值中的每一个值。然后，在每个连续的8×8数据块象素上执行尾随第三步象素抽取的第二步低通滤波过程，从而提供所希望的较小的抽取象素数据块。例如，用于逐行扫描情况中的交替的水平和垂直滤波象素的抽取将导致在象素密度上75％的缩减。因此，在任何一种情况中，这种抽取将导致在象素密度上75％的缩减，即从每8×8数据块64到每8×8数据块16个。但是，实现这种通常的三步骤计算处理所需要的硬件数相对较大，所以，这样做相对昂贵。
根据本发明的原则，单一的IDCT、滤波和象素抽取处理装置204可以将包含在从IQ202输出的8×8数据块中的反量化DCT系数的编码的相应值转换为一个单步骤计算处理中抽取象素的一个较小的数据块。因此，通过装置204来实现这个单步骤计算过程所需的硬件数目要相对少些，所以，与前述通用的三步骤计算过程相比要相对便宜。更明确地，在这个最佳实施例中，其中，反量化DCT系数包括6个图1b所示的DCT系数DCT0，0、DCT1，0、DCT2，0、DCT0，1、DCT1，1和DCT0，2，这个单一步骤的计算过程可以直接产生(1)作为这6个DCT系数的相应值的函数的16个抽取象素值(或，可替换地，预测误差值)g(0，0)到g(3，3)的首先的逐行扫描组中的每一个；(2)作为这6个DCT系数的相应值的函数的16个抽取象素值(或，可替换地，预测误差值)g(0，0)到g(1，7)的随后的隔行扫描组中的每一个。应该注意到在第二组中的DCT系数DCT0.2的值等于零，因此，对抽取象素g0，0到g1，7的计算值中的任何一个没有贡献。
抽取象素值的逐行扫描组g(0，0)＝[8DCT0，0+10DCT1，0+10DCT0，1+7DCT0，2+13DCT1，1+7DCT2，0]/64g(1，0)＝[8DCT0，0+4DCT1，0+10DCT0，1+7DCT0，2+5DCT1，1-7DCT2，0]/64g(2，0)＝[8DCT0，0-4DCT1，0+10DCT0，1+7DCT0，2-5DCT1，1-7DCT2，0]/64g(3，0)＝[8DCT0，0-10DCT1，0+10DCT0，1+7DCT0，2-13DCT1，1+7DCT2，0]/64g(0，1)＝[8DCT0，0+10DCT1，0+4DCT0，1-7DCT0，2+5DCT1，1+7DCT2，0]/64g(1，1)＝[8DCT0，0+4DCT1，0+4DCT0，1-7DCT0，2+2DCT1，1-7DCT2，0]/64g(2，1)＝[8DCT0，0-4DCT1，0+4DCT0，1-7DCT0，2-2DCT1，1-7DCT2，0]/64g(3，1)＝[8DCT0，0-10DCT1，0+4DCT0，1-7DCT0，2-5DCT1，1+7DCT2，0]/64g(0，2)＝[8DCT0，0+10DCT1，0-4DCT0，1-7DCT0，2-5DCT1，1+7DCT2，0]/64g(1，2)＝[8DCT0，0+4DCT1，0-4DCT0，1-7DCT0，2-2DCT1，1-7DCT2，0]/64g(2，2)＝[8DCT0，0-4DCT1，0-4DCT0，1-7DCT0，2+2DCT1，1-7DCT2，0]/64g(3，2)＝[8DCT0，0-10DCT1，0-4DCT0，1-7DCT0，2+5DCT1，1+7DCT2，0]/64g(0，3)＝[8DCT0，0+10DCT1，0-10DCT0，1+7DCT0，2-13DCT1，1+7DCT2，0]/64g(1，3)＝[8DCT0，0+4DCT1，0-10DCT0，1+7DCT0，2-5DCT1，1-7DCT2，0]/64g(2，3)＝[8DCT0，0-4DCT1，0-10DCT0，1+7DCT0，2+5DCT1，1-7DCT2，0]/64g(3，3)＝[8DCT0，0-10DCT1，0-10DCT0，1+7DCT0，2+13DCT1，1-7DCT2，0]/64抽取象素值的隔行扫描组g(0，0)＝[8DCT0，0+7DCT1，0+11DCT0，1+10DCT0，2+10DCT1，1]/64g(1，0)＝[8DCT0，0-7DCT1，0+11DCT0，1+10DCT0，2-5DCT1，1]/64g(0，1)＝[8DCT0，0+7DCT1，0+9DCT0，1+4DCT0，2+9DCT1，1]/64g(1，1)＝[8DCT0，0-7DCT1，0+9DCT0，1+4DCT0，2-9DCT1，1]/64g(0，2)＝[8DCT0，0+7DCT1，0+6DCT0，1-4DCT0，2+6DCT1，1]/64g(1，2)＝[8DCT0，0-7DCT1，0+6DCT0，1-4DCT0，2-6DCT1，1]/64g(0，3)＝[8DCT0，0+7DCT1，0+2DCT0，1-10DCT0，2+2DCT1，1]/64g(1，3)＝[8DCT0，0-7DCT1，0+2DCT0，1-10DCT0，2-2DCT1，1]/64g(0，4)＝[8DCT0，0+7DCT1，0-2DCT0，1-10DCT0，2-2DCT1，1]/64g(1，4)＝[8DCT0，0-7DCT1，0-2DCT0，1-10DCT0，2+2DCT1，1]/64g(0，5)＝[8DCT0，0+7DCT1，0-6DCT0，1-4DCT0，2-6DCT1，1]/64g(1，5)＝[8DCT0，0-7DCT1，0-6DCT0，1-4DCT0，2+6DCT1，1]/64
g(0，6)＝[8DCT0，0+7DCT1，0-9DCT0，1-4DCT0，2-9DCT1，1]/64g(1，6)＝[8DCT0，0-7DCT1，0-9DCT0，1+4DCT0，2+9DCT1，1]/64g(0，7)＝[8DCT0，0+7DCT1，0-11DCT0，1+10DCT0，2-10DCT1，1]/64g(1，7)＝[8DCT0，0-7DCT1，0-11DCT0，1+10DCT0，2+10DCT1，1]/64以下述方法产生上面的“抽取象素值的逐行扫描组”和上面的“抽取象素值的隔行扫描组”的每一个1.如果DCTu，v表示带有水平频率指数u和垂直频率指数v的DCT系数，则将使用IDCT方程来解码的由f(x，y)表示的高清晰度的数据块，其中f(x，y)通过下式给出f(x,y)=2NΣu=0N-1Σv=0N-1C(u)C(v)DCTu,vcos(2x+1)uπ2Ncos(2y+1)vπ2N.....(1)]]>(ISO 1388818-2标准)2.仅使用图1b中所示的6个DCT来给出近似方程2f(x,y)≈2N12DCT0,0+12DCT1,0cos(2x+1)π2N+12DCT2,0cos(2x+1)2π2N+12DCT0,1cos(2y+1)π2N+12DCT1,1cos(2x+1)π2Ncos(2y+1)π2N+12DCT0,2COS(2Y+1)2π2N......(2)]]>3.让近似方程2的右边表示为
。在逐行扫描的情况中(即，逐行序列标记是1)，可以通过下列方程来计算排列在8×8数据块的2×2数据块部分中的一组4个连续象素(或预测误差)值的平均值g~(x,y)=14[f~(2x,2y)+f~(2x+1,2y)+f~(2x,2y+1)+f~(2x+1,2y+1)]...(3)]]>在隔行扫描的情况中(即，逐行序列标记是0)，可以通过下列方程来计算排列在8×8数据块的4×1数据块部分中的一组4个连续图素(或预测误差)值的平均值g~(x,y)=14[f~(x,y)+f~(4x+1,y)+f~(4x+2,y)+f~(4x+3,y)]...(4)]]>因此，16个抽取象素可以构成任何一个象素值或预测值的4×4数据块或2×8数据块(根据逐行序列标记)。这个数据块表示为
x＝0....K；y＝0....L。如果逐行序列标记是0，则K＝1、L＝7。如果逐行序列标记是1，则K＝3、L＝3。
4.通过将方程2代入方程(3)、将x、y数值代入g(x，y)、代入N＝8、并且用有理数值来近似“抽取图素值的逐行扫描组”的16个方程的DCT系数的加权系数可以导出上述的“抽取图素值的逐行扫描组”的16个方程g(0，0)到g(3，3)。同样地，通过将方程2代入方程(4)、将x、y数值代入
、代入N＝8、并且用有理数值来近似“抽取象素值的隔行扫描组”的16个方程的DCT系数的加权系数可以产生上述的“抽取象素值的隔行扫描组”的16个方程g(0，0)到g(1，7)。
其结果，为隔行扫描输出选择不同空间分布的象素子集合比为逐行扫描更为有利。在或是帧基础上或是场基础上可以垂直地完成垂直抽取滤波处理。主观上，可以观察到，当在一帧上发生许多运动时，以场为基础滤波可能更好，反过来，当存在许多空间细节时，以帧为基础的滤波可能更好。结果，为了减小与象素抽取处理相关的问题，最佳实施例对于隔行序列可以使用可示范的在1/4水平分辨率和全部垂直的分辨率处进行解码。相反，该最佳实施例对于逐行序列可以使用在1/2水平和1/2垂直分辨率处进行解码。但是，这些抽取要素仅是可示范的并不排除其它为此目的所使用的要素。
回到图2，抽取象素存储器206(由于象素抽取，它仅需要一个相应的未抽取象素存储器存储大小的1/4的存储容量)包括一些分离的缓冲器，在未示出的控制装置的控制下，每一个这样的缓冲器都可以暂时存储写入其中的抽取象素然后再从中读出。根据ISO 13818-2标准，抽取图素存储器206包括一个或多个用于存储定义重新构造的内部编码的(I)、可预测编码的(P)和/或双向预测编码(B)的帧或场参考图象抽取象素的缓冲器。另外，可以将来自MCU处理装置208(下面将要详细描述)的象素值的运动补偿预测数据块输出在加法器205中加到在单一IDCT、滤波和象素处理装置204中从每个连续的8×8数据块中产生的16个抽取象素值的每个相应的数据块输出上，并且从加法器205输出的作为输入施加到抽取象素存储器206中的求和的象素值被写入第一缓存器中。这个第一缓存器可以是一个先进先出(FIFO)缓存器，在其中可以在(1)被写入第一缓存器的和(2)被从第一缓存器中读出并写入抽取象素存储器206的另一个缓存器中的抽取象素之间重新安排被存储的抽取象素。在一个当前I或P帧或场的情况中，抽取象素存储器206包括一个缓存器，它将与ISO 13818-2标准一致的作为输入的宏模块第一读出输出施加到MCU处理装置208以便于提供运动补偿。
根据上述讨论的最佳实施例，MCU处理装置208运行以便于为每个宏模块构成一个亮度预测数据块和2个色度预测数据块。如果该宏模块是内编码(I)参考图象的一部分，则预测值全是0。另外，来自抽取的非内编码(可预测的P和B)参考图象的存在抽取象素存储器206中的象素被读出并在MCU处理装置208中进行低通滤波从而以下列方式获得这个预测。
由MCU处理装置208执行的运动补偿处理有3个要素。第一是必须从存储一个参考图象的缓存器中取出的抽取象素的当前数据块的位置。第二是必须取出的抽取象素的当前数据块的大小，第三是将要在这个抽取象素的当前数据块上进行的滤波过程。在这些要素的定义中，符号/表示带有结果的余项逼近负的无穷大的整数除法，符号//表示带有结果逼近0的整数除法。通过在参考图象中的数据块的起始(即，左上角)水平和垂直坐标轴来确定被取出的用于运动补偿的象素数据块的位置。
确定从存储器中取出象素数据块的位置的第一步是获得如果该序列在高清晰度被解码时所使用的运动向量。该步骤包括位流中运动向量数据的解码过程，运动向量预示变量的更新，以及在包含没有编码的运动向量的非内编码宏模块(例如跳跃的宏模块)中运动向量的选择。MCU处理装置208执行如ISO 13818-2标准所述的所有的这些操作。
在运动向量解码后，修改它来指出在抽取的参考图象中的正确位置。使x和y是被计算的预测数据块的水平和垂直位置并使mv＝(dx，dy)是解码的运动向量，以便于如果该序列在高清晰度被解码，则位于高清晰度参考亮度图象中的位置(x+dx/2，y+dy/2)上的象素块将被从存储器中读出并用来构成亮度预测。同样地，需要在参考色度图象中的位置(x/2+(dx//2)/2，y/2+(dy//2)/2)上的色度块值来构成用于高清晰度解码中2个色度分量的每一个的预测。
使用x、y、dx、dy来确定通过MCU处理装置208从抽取象素存储器206中读出的用于运动补偿的数据块的位置，其中，x和y又是当前被预测数据块的高清晰度坐标轴，(dx，dy)是解码的运动向量。下面的表2表示各种预测模式的数据块的位置。在下面表3中说明了用于各种预测模式的在MCU处理装置208中从抽取象素存储器206中读出的用于运动补偿的数据块的大小
表2-在MCU处理装置208中从存储器206中读出的用于运动补偿的数据块的位置
表3-在MCU处理装置208中从存储器206中读出的用于运动补偿的数据块的大小在从抽取象素存储器206中读出运动补偿所需要的象素数据块之后，必须要滤波以获得这个预测。有5种不同的用于预测滤波的滤波器。这5种滤波器在下面的表4中列出。滤波器1有2个相位，这与在ISO13818-2标准中所描述的滤波器一样，其中如果运动向量是偶数则使用滤波器1的相位0，如果运动向量是奇数，则使用滤波器1的相位1。滤波器2有4个相位并且仅在逐行序列的水平和垂直亮度预测中使用。滤波器3有8个相位并且仅在隔行序列的水平亮度预测中使用。滤波器4有4个相位并且仅在逐行序列的水平和垂直色度预测中使用。滤波器5有8个相位并且仅在隔行序列的水平色度预测中使用。在每个滤波器2、3、4和5中所使用相位的选择是基于运动向量的。下面表5到12显示了用于不同预测模式的滤波器和相位。符号％表示模数操作器，dx和dy是解码的运动向量的水平和垂直分量。来自滤波操作的结果必须四舍五入为最接近的整数，没有余项。
在双向预测的宏模块中，从抽取图素存储器206中读出2个抽取象素数据块并如ISO 13818-2标准所述的那样在组合之前先单独滤波。来自预测滤波的输出(如果该宏模块是双向预测的，则在2个数据块的组合之后)是来自MCU处理装置208的最后输出。在下面的表3中列出了用于各种预测模式的最终的预测数据块的大小。这些最终的预测数据块在加法器205中被加到来自单一的IDCT、滤波和象素抽取处理装置204的输出中。这些预测和来自单一的IDCT、滤波和象素抽取处理装置204的输出的和值被饱和处理以便于所有写入抽取图素存储器206中的象素值都位于0到255之间。<
表4-用于预测滤波的滤波器<
>表5-用于水平预测滤波的滤波器
表6-用于垂直预测滤波的滤波器
表7-在逐行序列中用于水平亮度预测滤波的相位选择
表8-在隔行序列中用于水平亮度预测滤波的相位选择
表9-在逐行序列中用于水平色度预测滤波的相位选择
表10-在隔行序列中用于水平色度预测滤波的相位选择
表11-在逐行序列中用于垂直亮度预测滤波的相位选择
表12-在逐行序列中用于垂直色度预测滤波的相位选择
表13-由PIP MCU输出的数据块大小再回到图2，一个正在进行的包括定义每个连续的图象场或帧的象素的视频信号从抽取象素存储器206中读出并被作为输入施加到取样率转换器210。这样做是为了产生作为来自取样率转换器210输出的被作为输入转送到PIP显示的一个显示的视频信号。为了举例，假设PIP显示的大小是占用整个HD显示大小的1/3的水平面积和1/3的垂直面积。如果HD位流的原始的分辨率是1920×1080隔行扫描，那么PIP解码的帧(其中水平方向的象素数目已经由系数4∶1来抽取)是480×1080隔行扫描。假设一个1920×1080隔行扫描的HD显示，所显示的PIP帧应该是640×360隔行扫描。所以，在这个例子中，在存储器中存储的解码的帧必须通过取样率转换器210通过系数4/3在水平方向和1/3垂直方向中进行标定(scaled)。
取样率转换器210可以采用在图3框图中所示的通用形式。首先，方框300通过系数U(例如，在上述例子中仅在水平方向上是4)上取样从抽取象素存储器206中读出的正在进行的视频信号。这个包括在正被读出的这个视频信号的每个水平象素后面插入3个零值象素取样。其次，包括一个低通内插滤波器(Hi)302的显示滤波使用所读出的视频信号的值来计算用于这些零值象素取样的每一个的内插非零值。第三，方框304通过系数D(例如，在上述例子中的水平方向和垂直方向上都是3)通过从3个连续的内插非零值的每个组中抽取2个并且仅使用从取样率转换器210中输出的显示视频信号中的每组中保留的一个来对滤波器Hi的输出下取样。
如同联系MCU处理装置208在上面所讨论的那样，为所有内编码(I)图象的宏模块提供一个预测值。但是，在为非内编码(P和B)图象的内编码宏模块预测的产生过程中，使用在表4中说明的5个低通预测滤波器中的所选出的一个。取样率转换器210应该采用在图3中所示的通用形式，这个低通预测滤波器导致了所显示的PIP图象的一个不希望有的显著的脉冲。在这点上，现参考图3a、3b和3c。
图3a是表示包括一个尾随一系列从上开始延伸的非内编码P图象P1到Pn但不包括下一个I图象(以虚线框形式表示的)的一个内编码图象的一组n+1个连续图象(GOP)。这个所显示的I图象是最尖锐的，因为没有发生低通预测滤波过程。但是，在MCU208中进行的对这系列非内编码P图象P1到Pn中的每一个的连续的低通预测滤波过程导致了由于较高空间频率信息的损失使在每个非内编码P图象P1到Pn的显示与它瞬时前面的GOP图象相比更模糊，因而导致了所显示的PIP图象中出现的不希望的显著的脉冲。
很明显，GOP图象的最后一个图象Pn是最不清楚的。如果GOP图象的每一个前面的图象I、P1、.....P(n-1)通过一个量进行单独低通滤波，该量是通过与GOP图象的最后图象Pn的量相同的量来导致它变模糊，这样将避免显示的PIP图象中的不希望的显著脉冲。由于所显示的PIP图象尺寸相对小，对观看者而言，与显示的PIP图象的显著的脉冲相比，这个显示的PIP图象的模糊实际上要较不显著一些。
现参考图3b和3c来显示获得对GOP图象的每一个前面的图象I、P1、.....P(n-1)进行单独低通滤波过程所使用的方式。在图3b和3c中，1＜k＜n。图3b和3c显示了两个连续显示P图象、图象Pk和P(k-1)之间的处理差别(或是垂直地或是水平地)。图3b中所包括的是在MCU中用于从图象P(k-1)中预测图象Pk的运动滤波器(HM)306、上取样块300、以及在虚线框310中所示的加到Hi滤波器302的补偿滤波器(HC(k))308的显示滤波和下取样块304。包括在图3c中的是上取样块300、在虚线框314中所示的加到Hi滤波器302的补偿滤波器(HC(k-1))312的显示滤波和下取样块304。补偿滤波器的目的是使用HC(k)滤波器308和HC(k-1)滤波器312在等效于图3c虚线框314中的闭合路径中的处理过程的图3b虚线框310中的闭合路径中进行处理过程。这是以如下方式实现的使HM，U表示由U进行上取样的滤波器HM，U即是通过在滤波器HM的脉冲响应的连续取样之间插入U-1所获得的滤波器。通过下式给出HC(k)和HC(k-1)之间的所需关系HC(k-1)＝HM，UHC(k)GOP中最后的P图象Pn需要没有补偿的滤波器，因为它已经显示了最大的模糊量。下一步考虑图象P，补偿滤波器HC(n-1)＝HM，U提供与GOP系列中的最后的P图象Pn相同的最大的模糊量。继续追溯GOP，HC(n-2)＝HM，UHM，U，HC(n-3)＝HM，UHM，UHM，U等等。通常，通过下式给出图象Rk的补偿滤波器HC(k)=HM,Un-k]]>其中，上标n-k表示频响HM，U自乘n-k次。通过HC(I)乘以HM，U来获得用于GOP起始处I图象的补偿滤波器。对于B图象，可以使用用于两个参考图象之一的补偿滤波器。
所实现的滤波器HM对应于上述提出的表4中合适滤波器的一个所选择的相位。实际上用于预测滤波过程的相位在宏模块电平处变化从而使它难于很好地进行预测滤波补偿。但是，实验上已经发现相位0在上述的补偿滤波器的设计中可以提供很好的效果。
另外，如果在取样率转换器210中的滤波器系数值是可编程的，实际上不需要与转换器210的成本有关的附加成本就可以实现所需的低通补偿滤波过程。因为B图象中的降质是不传送的，所以在设计这些补偿滤波器时仅需要考虑I和P图象。特别是，通过将Hi滤波器的脉冲响应与用于图3a所示的每个GOP图象的补偿滤波器系列的每一个的脉冲响应卷积，可以预先计算系数值的结果并将其存储在存储器中。然后，实现这个过程所需要的是在依次显示每个GOP图象之前用于加载正确系数值的合适的硬件和/或软件。
由于需要来存储一个滤波器的系数值的存储器的数量很小，所以可以预先计算并存储大量滤波器的系数值。但是，在图3a中所示的GOP图象的总量n+1应该很大以至于没有足够的存储容量来存储对应于每个GOP图象的单个滤波器的系数值，所以可以将一个或多个存储滤波器的系数用于多个GOP图象，因此，至少可以减轻前述的脉冲问题。因此，在系统特性基础上可以有利地适应性地变化滤波功能，这些系统特性包括(a)运动向量的类型，(b)图象组(GOP)结构，(c)GOP的边界变化，(d)所处理的是I、B还是P帧图象，以及(e)所要输出的是隔行扫描还是逐行扫描。所以，可以将滤波器功能设计成能够提供具有这些PIP图象特性(i)希望的PIP图象大小，(ii)希望的或是隔行扫描的或是逐行扫描的PIP图象，以及(iii)所希望的PIP图象垂直和水平分辨率。这个自适应能力使解码器例如可以在PIP图象中产生最小的误差传播。特别地，它能使解码器将跟随I帧数据象素的移动的解码误差最小并且能够使由越过GOP边界的滤波器失配而导致的误差为最小。
本发明的原则不限制如前所述的PIP解码装置102的最佳实施例，其中(1)在每个连续的8×8数据块中DCT系数的数目局限于图1b所示的6个DCT系数DCT0，0、DCT1，0、DCT2，0、DCT0，1、DCT1，1和DCT0，2，(2)通过系数4∶1减小对应于这些连续的8×8数据块中的每一个的解码的抽取象素的密度从而使每个逐行扫描的或隔行扫描的帧图象仅有16个象素。通常，在一个单独的步骤中由IDCT、滤波和象素抽取装置204导出的在每个逐行扫描组或每个隔行扫描组中的方程数等于每个逐行扫描的画面或隔行扫描的画面的象素数，并且每个方程的项数等于每个8×8数据块所使用的DCT系数的减小数目。但是，由于下列原因，使用从根据ISO 13818-2标准已经解码的编码的HD视频信号中产生的输入数据的PIP解码装置102的这个最佳实施例被认为是最实际的。
在第一种情况中，PIP显示中的高频空间分量是通过将每个连续的8×8数据块中的DCT系数的数目增加到10个DCT系数来增加的，而DCT系数的增加是通过在图1b所示的6个DCT系数上加上4个DCT系数DCT3，0、DCT2，1、DCT1，2和DCT0，3来实现的，对应于每个连续的8×8数据块的解码的抽取象素的密度将不得不由比4∶1小的系数来减小(因此提供了比每个逐行扫描画面或隔行扫描画面的16大的一个数)以便于获得满足Nyquist标准的水平和垂直的空间取样率。这将导致计算处理数量和一个所实现的单一IDCT、滤波和象素抽取处理装置204的所需复杂性的增加，因此减轻了本发明的好处。另外，相对小的PIP显示的浏览器不能解决PIP显示中的高频空间分量。
在第二种情况中，PIP显示中的高频空间分量可以通过将每个连续的8×8数据块中的DCT系数的数目从图1b中所示的6个DCT系数减少到仅3个DCT0，0、DCT1，0和DCT0，1。这便于计算处理的数量和所需硬件复杂性的进一步减少。特别地，它简化了所需的单一IDCT、滤波和象素抽取处理装置204，其代价为不能有效地进一步降低逐行扫描画面或隔行扫描画面的每个连续的8×8数据块的象素密度，使其越过那个数据块的一个单独的象素(即，每个单独的块象素有一个等于那个数据块的DC值的值)。
尽管已经结合对根据用于实时再现在PIP显示中所用的解码视频信号的MPEG ISO 13818-2标准编码的一个编码的HD视频信号的解码过程，具体地描述了本发明，但本发明的范围并不局限于此。特别是，由单一IDCT、滤波和象素抽取处理装置204执行的单独步骤的处理可适用于用来解码一个编码的HD视频信号并用来产生可在随后的任何一个权利要求中所读到的解码的视频信号的任何一种解码器装置和方法，而不用考虑编码的HD视频信号是否已经根据MPEG ISO 13818-2标准编码或者或是实时再现或者不是。另外，解码的视频信号可以用标准分辨率显示和/或用标准分辨率记录视频信号，这样导致当重放时是标准分辨率显示而不是用PIP显示。
权利要求
1.在用于解码以代表第一分辨率图象的象素块形式的压缩图象数据以提供一个具有降低的第二分辨率图象的系统中，一种方法，其特征在于包括步骤将所述第一分辨率图象的一个象素块解压缩，这是通过在所述压缩的象素块数据中选择频域系数的一个子集，并且处理所述系数子集的元素来提供象素数据，该象素数据代表包括在所述第一分辨率的所述图象中的所述象素块中空间分布的象素子集的象素并且排除所述象素块的其它象素；以及将代表包括所述空间分布象素的象素的所述象素数据格式化从而提供所述降低的第二分辨率的所述图象。
2.根据权利要求1的方法，其特征在于所述处理步骤包括，构成系数的所述子集元素的加权线性组合。
3.根据权利要求2的方法，其特征在于所述处理步骤包括步骤选择所述的空间分布的象素子集并且对于所述的选择的象素子集，选择至少其中一种，(a)一组加权系数和(b)频域系数的一个子集。
4.根据权利要求2的方法，其特征在于所述处理步骤包括构成系数的所述子集元素的预定的加权线性组合从而提供代表包括一个非下取样的空间分布的象素子集的象素的象素数据。
5.根据权利要求1的方法，其特征还在于，为隔行扫描和逐行扫描图象输出选择不同空间分布的象素子集。
6.根据权利要求1的方法，其特征在于所述格式化步骤包括上取样代表包括所述空间分布象素子集的象素的所述象素数据从而提供所述降低的第二分辨率的所述图象。
7.实现权利要求1的方法的装置，其特征在于所述的处理步骤是用‘2逻辑平方’来实现的。
8.根据权利要求1的方法，其特征在于所述处理步骤包括步骤在希望的PIP图象特性的基础上选择所述空间分布象素子集。
9.根据权利要求7的方法，其特征在于所述PIP图象特性包括至少其中一种(a)PIP图象大小，(b)所述PIP图象是隔行扫描还是逐行扫描，以及(c)PIP图象垂直和水平象素分辨率。
10.根据权利要求1的方法，其特征在于所述格式化步骤包括步骤使用在下列至少一种的基础上选择的滤波器功能自适应地滤波代表包括空间分布的象素子集的象素的象素数据(a)运动向量的类型，(b)图象(GOP)结构组，(c)GOP边界传送，(d)是I、B还是P帧，以及(e)是降低的第二分辨率输出所需的隔行扫描帧还是逐行扫描帧。
11.根据权利要求1的方法，其特征在于所述格式化步骤包括步骤使用从下列至少一种中选择的滤波器功能自适应地滤波代表包括空间分布的象素子集的象素的象素数据(a)一个垂直象素数据滤波器，(b)一个水平象素数据滤波器，(c)一个色度数据滤波器，以及(d)一个亮度数据滤波器。
全文摘要
一种用于将表示第一分辨率图象的象素块形式的压缩的图象数据解码以提供一个将第一分辨率图象的象素块去压缩的降低的第二分辨率的图象。该系统包括在压缩的象素块数据中选择(204)一个频率域系数的子集,并处理这些系数子集的各元素(204、205、206、208)来提供代表包括在第一分辨率图象中的象素块中的空间分布的象素子集的象素的象素数据,并且排除该象素块的其它象素。将代表包括空间分布象素的象素的象素数据格式化(210)来提供降低的第二分辨率图象。
文档编号H04N7/30GK1246019SQ9911035
公开日2000年3月1日 申请日期1999年7月14日 优先权日1998年7月14日
发明者M·L·科默, E·S·卡尔斯加特, T·E·霍兰德, S·A·巴伦 申请人:汤姆森消费电子有限公司