专利名称：运动图像编码/解码装置和方法,以及存储运动图像的存储介质的制作方法
技术领域：
本发明涉及用于编码/解码运动图像(画面)的装置和方法以及用于存储运动图像的编码序列(比特流)的存储介质。特别是，本发明涉及用于处理和存储隔行图像信号的装置和方法、以及存储介质。
在运动图像的编码中，隔行图像信号在每场扫描行的位置中被偏离。因此，与非隔行图像信号的情况相比，需要设计相对于隔行图像信号的图像间预测和图像内编码。
按照编码隔行图像信号的过程，存在一些已标准化的编码系统。
ITU-R的J.81系统是一种将一场作为一个基本处理单元的系统，图像间预测在帧间和场间之间被自适应地切换。
MPEG2和DVC是将一帧作为一个基本处理单元的另一种系统，每场和每帧单元的处理以更精细的宏块单元切换。
图1示出用于上述隔行图像的编码装置和解码装置的实例。
在图1中，由隔行图像编码器71对经输入端1输入的隔行图像信号编码并压缩成编码序列。该编码序列(比特流)提供给隔行图像解码器72。
隔行图像解码器72与隔行图像编码器71成对以重放经输出端25输出的隔行图像信号。
另外，如题为＂视频信号变换装置＂的日本专利特开No.3(1991)-132278(日本专利申请No.1(1989)-271006)所公开的，考虑了一种用于将每秒60场的隔行图像信号转换成每秒30帧的隔行图像信号以提供非隔行图像编码的方法。
然而，这种情况下，当在显示装置上照其原样显示每秒30帧时出现大幅度闪烁。因此，在显示前将一帧分成两场以获得每秒60场。在此采用的编码系统是象MPEG1这样的非隔行编码系统。
在诸如MPEG1之类系统中低分辨率图像的情况下，仅使用隔行图像信号的两场之一而取消另一场，以获得被编码的每秒30帧的非隔行图像信号。
另外，作为一种图像格式，已知的有每秒60帧的逐行图像。由于扫描行还在隔行图像中抽取的扫描行部分上出现，这样称其为顺序扫描。逐行图像的基本扫描行结构与非隔行图像的相同，可认为其是高帧频非隔行信号。
逐行图像信号可无闪烁地显示在一个显示装置上，但水平偏转频率或视频信号频带被加倍。因此，逐行图像信号不能显示在普通电视机上。作为编码系统，可采用像MPEG1这样的非隔行编码系统。然而，由于逐行图像为每秒60帧，因此需要双倍处理速度。
在每个格式的图像被编码情况下的编码效率，即每个像素所需的信息量(比特)将足以成为每秒60帧的逐行图像、接下来每秒30帧的非隔行图像中的最小限度，隔行图像需要最大数量的编码。
由于每场图像中包括的折叠失真分量的出现造成隔行图像的编码效率较差。如从场的角度来看，隔行图像不适合于满足取样定理的垂直滤波和包括许多折叠失真分量。
在图像正在运动的情况下，可通过场间预测中的运动补偿处理隔行图像。然而，折叠失真趋向于每场变化以致预测不准确而降低编码效率。由于画面内处理中增加高频分量使得编码效率进一步降低。
另一方面，在每秒60帧的逐行运动图像和每秒30帧的非隔行运动图像的情况下，其间的差值仅保持在帧频内。任何一个更高帧频的图像涉及到帧之间更近的距离，与帧之间更少的图像变化和拍。这样导致准确的图像间预测以提高编码效率。对于帧间编码，在逐行和非隔行图像之间不出现差值。
另外，在隔行图像信号编码的情况下，在每场的处理中未提高编码效率。由于场图像或预测残余包括许多折叠分量。即使在帧/场的自适应预测中，快速图像受到场处理并且情况与上面描述的相似。
如上所述，隔行信号在编码效率方面低于非隔行信号。另外，每秒60场的隔行信号转换成每秒30帧的非隔行信号时，与原始隔行图像相比重放图像的运动不平滑。
本发明的一个目的是提供一种用于在隔行图像信号转换成逐行图像信号后通过逐行编码来编码隔行图像信号以达到高编码效率的运动图像编码装置和方法，一种用于解码逐行编码的信号以重放原始隔行图像信号的解码装置和方法，和用于存储通过编码装置获得的图像信号的存储介质。
本发明提供一种编码装置，包括一个用于内插从输入的隔行图像信号抽取的扫描行以便将隔行图像信号转换成第一逐行图像信号的逐行转换器；一个用于在垂直方向亚取样第一逐行图像信号以获得其扫描行比第一逐行图像信号的扫描行少的第二逐行图像信号的亚取样器；和一个用于编码第二逐行图像信号以获得一个压缩编码序列的编码器。
另外，本发明提供一种解码装置，包括一个用于解码通过逐行编码产生的输入编码序列以获得一个第一逐行图像信号的解码器；一个用于将垂直方向中的第一逐行图像信号的图像格式转换成其中扫描行被抽取的另一种格式以获得一个隔行图像信号的图像格式转换器。
另外，本发明提供一种编码和解码装置，包括一个用于内插从输入的隔行图像信号抽取的扫描行以便将隔行图像信号转换成第一逐行图像信号的逐行转换器；一个用于在垂直方向亚取样第一逐行图像信号以获得其扫描行比第一逐行图像信号的扫描行少的第二逐行图像信号的亚取样器；一个用于编码第二逐行图像信号以获得一个压缩编码序列的编码器；一个用于解码该编码序列以重放第二逐行图像信号的解码器；和一个用于将垂直方向中的第二逐行图像信号的图像格式转换成其中扫描行被抽取的另一种格式以重放该隔行图像信号的图像格式转换器。
另外，本发明提供一种编码方法，包括步骤内插从输入的隔行图像信号抽取的扫描行以便将隔行图像信号转换成第一逐行图像信号；在垂直方向亚取样第一逐行图像信号以获得其扫描行比第一逐行图像信号的扫描行少的第二逐行图像信号；和编码第二逐行图像信号以获得一个压缩编码序列。
另外，本发明提供一种解码方法，包括步骤解码通过逐行编码产生的输入编码序列以获得一个第一逐行图像信号；将垂直方向中的第一逐行图像信号的图像格式转换成其中扫描行被抽取的另一种格式以获得一个隔行图像信号。
另外，本发明提供一种编码和解码方法，包括步骤内插从输入的隔行图像信号抽取的扫描行以便将隔行图像信号转换成第一逐行图像信号；在垂直方向亚取样第一逐行图像信号以获得其扫描行比第一逐行图像信号的扫描行少的第二逐行图像信号；编码第二逐行图像信号以获得一个压缩编码序列；解码该编码序列以重放第二逐行图像信号；和将垂直方向中的第二逐行图像信号的图像格式转换成其中扫描行被抽取的另一种格式以重放该隔行图像信号。
另外，本发明提供一种用于存储通过内插从隔行图像信号抽取的扫描行以便将隔行图像信号转换成第一逐行图像信号，在垂直方向亚取样第一逐行图像信号以获得其扫描行比第一逐行图像信号的扫描行少的第二逐行图像信号，和编码第二逐行图像信号以获得该压缩编码序列而获得的压缩编码序列的存储介质。
图1是常规运动图像编码和解码装置的示意图；图2是根据本发明的图像编码装置一个实施例的方框图；图3是根据本发明的图像解码装置一个实施例的方框图；图4示出根据本发明在相应处理阶段中的图像格式；图5A和5B是根据本发明在亚取样之前和之后频率特性的示意图；图6是根据本发明的逐行图像编码器的方框图；图7是根据本发明的MPEG编码中图像类型的示意图。
下面将参考附图描述根据本发明的图像编码装置的一个实施例。
图2是图像编码装置实施例的方框图。经输入端1输入的隔行图像信号提供给逐行转换器2。在该实施例中，隔行图像信号包含1080(每帧)个，或540(每场)个有效扫描行。
下面图2中的方框图表示的数值，例如1080/60/2∶1分别表示有效扫描行/帧(场)频/隔行比的数量。因此，60/2∶1表示一个隔行图像，60/1∶1表示一个逐行图像。
逐行转换器2通过对数量少了输入的隔行图像信号中所抽取数量的扫描行进行运动补偿内插处理将输入的隔行图像信号转换成具有多倍密度的顺序扫描行的第一逐行图像信号。第一逐行图像信号包括每秒60帧，每个有1080扫描行。在电视协会技术报告BCS93-70题为＂顺序扫描研究和使用运动补偿的变换方法及其装置＂一文中公开了这种逐行转换器。
由垂直亚取样器3对第一逐行图像信号进行亚取样。第一逐行图像信号的扫描行被亚取样2/3成为具有720扫描行的第二图像信号。
亚取样是图像格式转换中的通用技术。通过切换具有三个不同抽头因数的数字滤波器实现2/3亚取样。
由逐行图像编码器4编码第二逐行图像信号。通过将编码帧频提高到与MPEG1中的非隔行信号编码对应的60帧/秒执行逐行图像编码。
当本发明应用于MPEG2时，由于MPEG2能够进行逐行图像编码，因此可不需要逐行图像编码器4。
这样，获得了具有压缩的第二逐行图像信号的编码序列(比特流)并经由输出端5输出。输出的编码序列通过未示出的传输线传送到下面将描述的解码装置。或将其存储在图2所示的数字存储介质中，例如同样未示出的盘和磁带中。
图3是根据本发明的图像解码装置一个实施例的示意图。
从图2所示编码装置输出的编码序列(比特流)经输入端21提供给逐行图像解码器22。逐行图像解码器22通过减少输入的编码序列(比特流)的扫描行数量重放第二逐行图像信号。
重放的第二逐行图像信号提供给一个垂直附加取样器23以便重放具有由图2中所示编码装置编码之前的原始扫描行的第一逐行图像信号。
将重放的第一逐行图像信号提供给隔行信号转换器24。转换器24仅抽取重放的第一逐行图像信号的扫描行以重放已输入到图2所示的编码装置的隔行图像信号。经输出端25输出重放的隔行图像信号。
在此，可构成垂直附加取样器23以便不产生由隔行信号转换器24抽取和擦除的扫描行。该处理是一种图像格式转换。并且在该处理中，由垂直附加取样器23产生每隔一个的扫描行以产生与由隔行信号转换器24重放的隔行图像信号相同的隔行图像信号。这种情况下，垂直附加取样器23的处理仅完成一半并且不需要隔行信号转换器24。
图4示出参考图2和3如上所述的一系列编码和解码处理阶段中图像格式的转变。图4中所示的垂直方向是由图2和3的编码和解码装置处理的图像的垂直方向。水平方向表示随时间的变化。每个点代表一个扫描行。
在上面的描述中，由图2和3中所示的编码和解码装置处理的图像信号是隔行图像信号。然而，图2和3所示的编码和解码装置也可处理逐行图像信号。这种情况下，输入的逐行图像信号直接提供给图2中的逐行图像编码器4。该输出信号与如上所述经图2的编码装置的输出端5输出的信号相同。
因此，在本发明中，当输入到图2中所示的编码装置的图像信号是隔行和逐行图像信号时输出的压缩编码序列(比特流)相互相同。
另外，在图3中所示的解码装置中，当能够显示逐行图像的显示装置连接到解码装置的输出端25时，可经由输出端25直接输出逐行图像解码器22或垂直附加取样器23的输出信号。
这样，在本发明中，可改善隔行和逐行图像信号之间的互换性。
下面将研究垂直取样器2中的取样比。
每帧隔行图像信号包含与每帧非隔行图像(逐行图像)信号相同数量的扫描行。然而，由于隔行图像信号的扫描行被抽取，在隔行图像信号中不能获得等于非隔行图像信号的垂直分辨率。如果该隔行图像信号被提供有垂直高频分量，该频率分量将不能作为垂直方向中的高频分量在显示装置上显示，但它将是一个折叠分量并作为时间方向中的高频分量显示以产生大幅度行闪烁。
通常，用于隔行图像信号的TV摄像机光学或电学地限制产生的隔行图像信号的频带，以输出具有垂直抑制的高频分量的图像信号作为隔行图像信号。
频带限定程度被称为凯尔系数，通常约为0.7。
因此，通过扫描行内插转换成逐行图像信号的隔行图像信号将处在垂直方向中的频带中限定的状态。
因此，在本发明中，由逐行转换器2输出的第一逐行图像信号的扫描行的数量被减少以便通过垂直亚取样器3的亚取样处理匹配凯尔系数。由于信号分量当然不会出现在因亚取样而将失去的信号频带中，不出现对信息的损害。
另一方面，在具有被垂直亚取样器3的亚取样处理减少的扫描行数量的第二逐行图像信号中，在频带中出现没有空白的信号分量。
图5A和5B示出第一逐行信号(亚取样之前)和第二逐行信号(亚取样之后)的频率特性。在该图中，实线表示信号频率分量实际出现的部分，虚线表示由取样理论给出的可传输频带。图5B示出在亚取样之后，实际出现的信号频率分量与由取样理论给出的可传输频带相互相同。
例如，为了便于扫描行变换，亚取样比经常采用分等为2/3(＝0.667)和3/4(＝0.75)的整数。在本实施例中，如上面已描述的，采用2/3(＝0.667)作为亚取样比。
因图像之间处理中的差别，本发明中使用的MPEG编码具有不同的帧(画面)类型，I、P和B。I帧(画面)是在一帧中独立编码的帧，P是单向预测帧和B是双向预测帧。
图6示出图2中所示的逐行图像编码器4的方框图的一个实例。
各由从图2中所示垂直亚取样器3输出的一帧组成的图像信号(第二逐行图像信号)经输入端51依次存储在一个图像存储器52中。输入的图像信号中所包含的帧按照编码顺序更换并提供给预测信号减法器53。
预测信号减法器53从一个输入的图像信号(一帧)减去一个下文将描述的预测信号以产生一个提供给离散余弦变换器(DCT)54的预测残余信号。变换器54进行离散余弦变换，以便将8×8像素单元中的预测残余信号变换成被提供给一个量化器55的系数。
该系数被量化器55量化成提供给可变长度编码器56和逆量化器59的固定长度编码。
经输出端5输出由可变长度编码器56从固定长度编码转换成可变长度编码的编码序列。
由逆量化器59通过用代表值替换被量化的系数重放该系数(固定长度编码)。将重放的系数提供给进行离散余弦变换器54的逆处理的反离散余弦变换器(DCT)64。然后将重放的系数变换成提供给预测信号加法器63的重放残留信号。
预测信号加法器63将预测信号与重放的残留信号相加以重放提供给图像存储器62的图像信号。图像存储器62的输出提供给运动补偿器61并根据下文将描述的运动矢量信息被运动补偿。经运动补偿的图像信号提供给开关58作为预测信号。与图1中所示的隔行图像编码器71不同，运动补偿较简单，不需要场和帧处理之间的切换。
开关58是这样工作的根据来自图像类型控制器57的控制信号，在P和B帧中，将预测信号提供给预测信号减法器53和预测信号加法器63，而在I帧时向其提供零值。
图像存储器52和62根据来自图像类型控制器57的控制信号依据输入的图像信号是P还是B帧按照编码顺序更换帧。
由运动估算器60根据输入的帧类型从输入的图像信号获得运动矢量信息。
图像类型控制器57对输入的帧计数，从而将几帧中的一帧确定为一个P帧，和将几十帧中的一帧确定为I帧。更一般地说，两个P帧之间的间隔通常为3帧，但在本发明中，采用2、4和6帧，为下述原因它们是2的倍数。
在所述的MPEG编码系统中，对P帧进行圆型预测，其中重放的图像用于其它帧预测，对B帧进行非圆型预测，其中重放的图像不用于预测。
因此，当P帧的P帧的质量比B帧高时，可改善整个图像的质量。为此，不应改变P帧的图像以便能够充分地执行P帧的帧间预测。
然而，在由图2所示的逐行转换器2获得的逐行图像信号中，原始输入扫描行和内插扫描行之间的位置关系依据原始输入场是偶数场还是奇数场而相反。
就是说，扫描行结构在帧中相同，但内插未被完全执行。因此，每帧的图像本身依据原始场而略有不同。
因此，由图2所示逐行转换器2处理的同一类型场构成的帧被图6中所示的图像类型控制器57确定为P帧。这是通过将两个P帧之间的间隔与隔行比(通常为2)同步实现的。具体地说，它将是隔行比的整数倍(例如2、4、6)。
图7示意性地示出由图6中所示的帧类型控制器57在MPEG编码情况下确定的帧类型。
在图6中，符号○表示从输入到图2的编码装置的原始图像信号出现的扫描行，符号△表示由图2的逐行转换器2内插的扫描行。符号下面表示的是图像帧的类型，上层表示每2帧设定一个P帧，中层表示每4帧设定一个P帧和下层表示每6帧设定一个P帧。
因此，P帧将总是由逐行转换器2的内插处理难以影响的偶数或奇数场构成的帧，而在偶数或奇数场中内插可略有不同。
根据本发明，在隔行图像已被转换成逐行图像之后扫描行的数量被减少，并对图像进行逐行编码从而总是对帧的图像编码。这样消除了常规隔行图像编码中造成的场图像的折叠失真分量问题，因此能够获得高编码效率。
另外，根据本发明，由于减少了扫描行的数量，使相对于受到逐行转换的图像编码的处理量减少并且编码量也因此而减少。
另外，根据本发明，通过亚取样将扫描行数量的转换比调节到凯尔系数，从而能够不损坏输入的隔行信号的图像信息进行编码。
此外，根据本发明，使单向帧间预测的间隔为编码中隔行比的整数倍，从而使作为圆型预测的单向帧间预测的帧将总是相同内插状态中的帧。因此，帧间预测很难受到帧间微小差值的影响，从而改善了编码效率。
如上所述，根据本发明，可以高效地编码由输入的隔行图像信号最初处理的所有图像信息。
此外，图像在本发明的中间处理阶段中被输入和输出，从而能够适应逐行图像的编码和重放。因此能够处理隔行和逐行图像二者以获得公用压缩编码，从而极大地改善了两个图像格式之间的互换性。
权利要求
1.一种编码装置，包括一个用于内插从输入的隔行图像信号抽取的扫描行以便将隔行图像信号转换成第一逐行图像信号的逐行转换器；一个用于在垂直方向亚取样第一逐行图像信号以获得其扫描行比第一逐行图像信号的扫描行少的第二逐行图像信号的亚取样器；和一个用于编码第二逐行图像信号以获得一个压缩编码序列的编码器。
2.根据权利要求1所述的编码装置，其中亚取样器进行亚取样以使第二逐行图像信号的扫描行数量与第一逐行图像信号的扫描行数量的比与输入的隔行图像信号的凯尔系数匹配。
3.根据权利要求1所述的编码装置，其中编码器进行编码以使受到帧间编码或单向帧间预测编码的第二逐行图像信号的帧的间隔是输入的隔行图像信号扫描行的抽取比的整数倍。
4.根据权利要求1所述的编码装置，其中编码器包括一个用于编码第二逐行图像信号以输出可变长度编码的预测编码器；一个用于补偿在预测编码器的编码处理以产生一个预测信号之后已经重放的图像信号的运动的补偿器；和一个用于根据第二逐行图像信号的帧类型控制向预测编码器提供预测信号的控制器。
5.一种解码装置，包括一个用于解码通过逐行编码产生的输入编码序列以获得一个第一逐行图像信号的解码器；和一个用于将垂直方向中的第一逐行图像信号的图像格式转换成其中扫描行被抽取的另一种格式以获得一个隔行图像信号的图像格式转换器。
6.根据权利要求5所述的解码装置，其中图像格式转换器包括一个用于在垂直方向附加取样第一逐行图像信号以获得其扫描行比第一逐行图像信号的扫描行多的第二逐行图像信号的附加取样器；和一个通过抽取第二逐行图像信号的扫描行将第二逐行图像信号转换成隔行图像信号的转换器。
7.一种编码和解码装置，包括一个用于内插从输入的隔行图像信号抽取的扫描行以便将隔行图像信号转换成第一逐行图像信号的逐行转换器；一个用于在垂直方向亚取样第一逐行图像信号以获得其扫描行比第一逐行图像信号的扫描行少的第二逐行图像信号的亚取样器；一个用于编码第二逐行图像信号以获得一个压缩编码序列的编码器；一个用于解码该编码序列以重放第二逐行图像信号的解码器；和一个用于将垂直方向中的第二逐行图像信号的图像格式转换成其中扫描行被抽取的另一种格式以重放该隔行图像信号的图像格式转换器。
8.一种编码方法，包括步骤内插从输入的隔行图像信号抽取的扫描行以便将隔行图像信号转换成第一逐行图像信号；在垂直方向亚取样第一逐行图像信号以获得其扫描行比第一逐行图像信号的扫描行少的第二逐行图像信号；和编码第二逐行图像信号以获得一个压缩编码序列。
9.根据权利要求8所述的编码方法，其中亚取样步骤进行亚取样以使第二逐行图像信号的扫描行数量与第一逐行图像信号的扫描行数量比与输入的隔行图像信号的凯尔系数匹配。
10.根据权利要求8所述的编码方法，其中编码步骤进行编码以使受到帧间编码或单向帧间预测编码的第二逐行图像信号的帧的间隔是输入的隔行图像信号扫描行的抽取比的整数倍。
11.根据权利要求8所述的编码方法，其中编码步骤包括步骤编码第二逐行图像信号以输出可变长度编码；补偿在预测编码器的编码处理以产生一个预测信号之后已经重放的图像信号的运动；和根据第二逐行图像信号的帧类型控制向预测编码器提供预测信号。
12.一种解码方法，包括步骤解码通过逐行编码产生的输入编码序列以获得一个第一逐行图像信号；和将垂直方向中的第一逐行图像信号的图像格式转换成其中扫描行被抽取的另一种格式以获得一个隔行图像信号。
13.根据权利要求12所述的解码方法，其中转换步骤包括步骤在垂直方向附加取样第一逐行图像信号以获得其扫描行比第一逐行图像信号的扫描行多的第二逐行图像信号；和通过抽取第二逐行图像信号的扫描行将第二逐行图像信号转换成隔行图像信号。
14.一种编码和解码方法，包括步骤内插从输入的隔行图像信号抽取的扫描行以便将隔行图像信号转换成第一逐行图像信号；在垂直方向亚取样第一逐行图像信号以获得其扫描行比第一逐行图像信号的扫描行少的第二逐行图像信号；编码第二逐行图像信号以获得一个压缩编码序列；解码该编码序列以重放第二逐行图像信号；和将垂直方向中的第二逐行图像信号的图像格式转换成其中扫描行被抽取的另一种格式以重放该隔行图像信号。
15.一种用于存储通过内插从隔行图像信号抽取的扫描行以便将隔行图像信号转换成第一逐行图像信号，在垂直方向亚取样第一逐行图像信号以获得其扫描行比第一逐行图像信号的扫描行少的第二逐行图像信号，和编码第二逐行图像信号以获得该压缩编码序列而获得的压缩编码序列的存储介质。
全文摘要
内插从隔行图像信号抽取的扫描行以便将隔行图像信号转换成第一逐行图像信号。在垂直方向亚取样第一逐行图像信号以获得其扫描行比第一逐行图像信号的扫描行少的第二逐行图像信号。和,编码第二逐行图像信号以获得一个压缩编码序列(比特流)。可将该压缩编码序列存储在存储介质中。解码该编码序列以重放第二逐行图像信号。和,在垂直方向将第二逐行图像信号的图像格式转换成其中扫描行被抽取的另一种格式以重放该隔行图像信号。
文档编号H04N7/01GK1188376SQ9712275
公开日1998年7月22日 申请日期1997年10月11日 优先权日1996年10月11日
发明者杉山贤二 申请人:日本胜利株式会社