专利名称：输入逐行扫描视频信号用的分层编码设备和分层解码设备的制作方法
技术领域：
本发明涉及一种编码和/或解码设备，该设备适宜与采用诸如光盘或磁带之类的信息记录和/或重放设备配用，也适宜与诸如电视会议系统、活动图像电话系统和广播设备之类的信息传输和/或接收设备配用。
有一种可以改变输入图像与输出图像之间的空间分辨力的活动图像编码和/或解码系统，这种系统是ISO-IEC/JTC1/SC29/WG11所研究的分层编码/解码系统。在分层编码/解码系统中，基本上在编码器侧，所输入的低分辨力图像在下层经过编码形成比特流，下层比特流组成的经解码的图像经过上变换转换之后，用以对其它输入的高分辨力上层图像进行编码。另一方面在解码器侧，下层经解码的图像经过上变换转换之后，用以对上层的比特流进行解码。
1992年10月19日二次修订版的ISO-IEC/JTC1/SC29/WG11对试验模型2所作的建议第101～108页上公开了这种分层编码/解码系统的详细实例。
然而，这种分层编码/解码系统有一个待解决的课题这种系统由于是构制得使其只适应输入是个隔行扫描图像的情况，因而适应不了输入是个逐行扫描图像的其它情况。
本发明的目的是提供一种能分别对逐行扫描输入的图像进行分层编码和解码的编码设备和解码设备。
按照本发明，隔行扫描图像是从输入的逐行扫描图像形成的。隔行扫描图像经过编码，形成第一编码信号。逐行扫描图像从第一编码信号形成。所输入的逐行扫描图像用逐行扫描图像加以编码。
另外，按照本发明，经解码的隔行扫描图像是从第一输入比特流形成的。第一经解码的逐行扫描图像从经解码的隔行扫描图像形成。第二经解码的逐行扫描图像则从第一经解码的逐行扫描图像和第二输入比特流形成。
结合附图阅读下面最佳实施例的详细说明可以更清楚地了解本发明的上述和其它目的、特点和优点。附图中，几个视图中相同或类似的部件都用同样的编号表示。
图1是上层具有逐行扫描结构的编码器的结构方框图;
图2是上层具有逐行扫描结构的一解码器的结构方框图;
图3是下降抽样电路结构的示意图;
图4是下降抽样操作的示意图;
图5是上升抽样电路结构的示意图;
图6是上升抽样操作的示意图;以及图7是比特流记录设备的方框图。
下面介绍这样一种系统，其中，举例说，逐行扫描图像经过输入，逐行扫描图像经过输入，用2∶1的上层/下层扫描线数比进行解码，获得既适应逐行扫描图像又适应隔行扫描图像的输出比特流。
现在参看图1说明本发明的编码系统或编码器。先说明下层的编码器方框2。
在编码器中，处理过程是按宏字块(macroblock)单元逐个进行的。具逐行扫描结构的高分辨力输入视频信号S21输进下降抽样电路22之后，在该电路中被转换成低分辨力的隔行扫描图像。进行这种转换时，涉及到来自运动估计器37的运动矢量宏字块(macroblock)，以便自适应地确定在对数据进行抽样时是否应让输入视频信号S21通过一个低通滤波器。这里，运动矢量可以从运动估计器24提供，稍后即将对该估计器进行说明。在此情况下，由于采用了在时间上略为提前的图像运动矢量，因而上层侧的编码效率有时水平较低。下降抽样电路的细节稍后即将说明。
由下降抽样电路22通过下降抽样进行抽样的字块格式的隔行扫描图像存入帧存储器组23中，供运动估计器24检测运动矢量用。运动估计器24从参考图像检测运动矢量，目前采用存入帧存储器组23的图像中的正向预测图像和反向预测图像。这里，在检测运动矢量时，在一字块各单元中的各场或各帧之间的差值的绝对值和被确定为一个运动矢量。
运动矢量的信息传送到运动补偿帧存储器组25，在该存储器组中选择宏字块(macroblock)型式。然后将对应于如此选取的宏字块型式的预计图像发送到差值单元26。差值单元26计算输入图像与输出图像之间的差值，并将该差值输出到离散余弦变(DCT)电路27。
DCT电路27利用视频信号的二维相互关系通过离散余弦变换将字块各单元中的输入图像数据或差值数据加以变换，并将通过离散余弦变换获得的变换数据输出到量化电路28。
量化电路28用某一量化级等级(这是为各宏字块或其部分确定的)对DCT变换数据进行量化，然后将在其输出端获得的量化数据作为量化的结果提供给可变长度编码(VLC)电路29和量化电路30。
VCL电路29通过可变长度编码处理将量化数据连同量化标度、宏字块型式、运动矢量等等一起进行处理，并将可变长度编码得出的下层比特流S31作为传输数据加以输出。
去量化电路30将从量化电路28发出的量化数据去量化成去量化数据，并在量化电路进行变换之前对输出数据的变换数据进行解码。接着，去量化电路30将去量化数据提供给离散余弦变换(IDCT)电路32。
IDCT电路32用与DCT电路相反的逆变换处理将经去量化电路30解码过的去量化数据变换成原来的经解码的图像数据，并将经解码的图像数据输出到运动补偿帧存储器组25。
运动补偿帧存储器组25根据从运动估计器24加到其上的运动矢量进行运动补偿，并将经解码的图像作为正向预测图像写入各帧存储器中。在正向、反向或双向预计的情况下，来自预测图像的差值作为IDCT电路32的输出传送到运动补偿帧存储器组25，于是，通过用加法器33将该差值加到该预测图像上完成局部解码。
这里预测图像与经下层解码器解码过的图像一模一样，同时根据该预测图像对下一个要处理的图像进行正向、反向或双向预测。
从加法器33输出的局部解码图像也加到上升抽样电路34上。尽管下层的局部解码图像呈隔行扫描结构，还是由上升抽样电路34对局部解码图像进行内插，从而将局部解码图像变换成与上层的图像类似的逐行扫描图像，再将逐行扫描图像输进上层的时空预测器39中。
上升抽样电路34自适应地与来自上层的图像以及来自下层的图像都有关，来自上层的图像含有精确度高但在各瞬时抽样点上不同的同样空间抽样点，来自下层的另一个图像则因取样而使其分辨力低，但却具有同样的各瞬时点可以根据运动信息产生逐行扫描的内插图像。上升抽样电路的细节稍后即将说明。
接下去，说明一下上层的结构。在上层编码器方框1中，处理的对象是输入的逐行扫描视频信号S21，同时只留其100%的精确度。输入的逐行扫描视频信号S21经延迟是路35延迟后存入帧存储器36中，这之后由运动估计器37检测所输入的逐行扫描视频信号的运动矢量。运动估计器37的工作情况与运动估计器34类似。
运动矢量的信息发送到运动补偿帧存储器组38，相应的预测图像则输进时空预测器39中。时空预测器39通过加权适应性地选择来自运动补偿帧存储器组38的预测图像(即来自瞬时方向的预测图像)和来自上升抽样电路34的预测图像(即来自空间方向的另一个预测图像)。
时空预测器39根据来自运动估计器37的运动信息确定系数α，将1-α的加权值加到在瞬时方向的预测图像(即上层的预测图像)，并将α的加权值加到空间方向上的预测图像(即来自下层的预测图像)，然后将如此加权过的预测图像发送到累积差值单元40。
差值单元40计算输入图像与预测图像之间的差值，并将该差值输出到离散余弦变换电路(DCT)41。
DCT电路41利用视频信号的二维校正通过离散余弦变换将输入的图像数据或差值数据加以变换，并将离散余弦变换得出的数据输出到量化电路42。
量化电路42将DCT变换数据以某一量化级等级(这是为各宏字块或部分确定的)进行量化，并将在其输出端获得的量化数据作为量化的结果提供给可变长度编码(VCL)电路43和去量化电路44。
VCL电路43通过可变长度编码处理将量化数据连同量化标度、宏字块型式、运动矢量等进行处理，并将可变长度编码得出的上层比特流S45作为传输数据加以输出。
量化电路44将量化电路42发出的量化数据量化成代表值以获取去量化数据，并在量化电路42进行变换之前将变换数据解码成原来的输出数据，然后，去量化电路44将去量化数据提供给离散余弦逆变换(IDCT)电路46。
IDCT电路46用与DCT电路41相反的逆变换处理将经去量化电路44解码过的去量化数据变换成原来经解码的图像数据，并将该经解码的图像数据输出到运动补偿帧存储器组38。
运动补偿帧存储器组38根据运动估计器24提供到其上的运动矢量、型式和运动矢量进行局部解码，并将经局部解码的图像作为正向预测图像或反相预测图像写入各帧存储器中。在正向或双向预测的情况下，因预测图像引起的差值作为IDCT电路46的输出传送到运动补偿帧存储器组38，因此，局部编码是通过用加法器47将该差值加到预测图像中进行的。
这里，预测图像与上层解码器所解码的图像完全一样，而正向或双向预测则是根据该预测图像就下一次要处理的图像进行的。
图3示出了下降抽样电路22的结构。输入图像输进低通滤波器71中，并关73则相应地根据运动矢量选择低通滤波器71的输入图像或输出图像。开关73的输出由抽样电路72交替抽样。由于图像经过这种抽样之后含有反射分量，因而在正常的情况下低通滤波器71会对它均匀滤波，但由于运动小时输入是个逐行扫描视频信号这样一个特点，在空间位置上与各稀化点(thinnedoutpoints)完全相同但在瞬时位置上与各稀化点不同的各抽样点必然出现。
图4举例说明了下降抽样电路22的工作过程。参看图4。两排点分别表示单幅图像中在垂直方向上排列的各像素的位置。下降抽样电路22将各交错位置的各像素从两图像中稀化掉，同时只对图4中用方框围起来的那些像素进行抽样，以便将输入的逐行扫描视频信号转换成隔行扫描图像。在例如静止图像的情况下，图4中为虚线所环绕的两点表示同样的数据，因而如上面说过的那样不需要进行滤波处理。
图5示出了上长抽样电路34的结构。上升抽样电路34的输入包括在空间位置上相同在瞬时位置上不同的上层数据、从下层的同一个场内插的数据和下层不同场各相应点处的数据。因此各输入的加权内插是采用系数发生器81相应确定的系数W1、W2和W3进行的。
图6举例说明了上升抽样电路34的工作过程。参看图6。左边的两排点分别表示排列在上层单幅图像中垂直方向上各像素的位置。另方面，左边另两排点分别表示下层单幅图像中在垂直方向上排列的各像素的位置。从图6中可以看到，上升取样电路34对应进行内插的像素分别采用系数W1和W2从下层同一场中的毗邻像素进行内插，从下层另一场的像素和上层同一空间位置的另一像素进行加权内插。此外，上升抽样电路34将采用系数W1和W2获得的内插值与下层同一位置处理的值(即应加以内插的点的值;连同系数W3的加权值加起来。举例说，当应加以内插的像素处在205的位置时，上升抽样电路34就分别采用系数W1和W2从下层同一场中的毗邻像素201和202进行内插，从下层另一场中同一位置的像素203进行加权内插。在此情况下，下层同一位置处与系数1-W3有关的像素205是个已经过零内插的点，而由于内插值为0，因而不影响内插过程。另一方面，当应加以内插的像素处在206的位置时，就是说，当下层不等于0的像素206出现在应进行内插的同一位置时，由于与系数1-W1和1-W2有关的各点是些已经过零内插的点，它们不影响内插过程。当应加以内插的像素处在205的位置和当应加以内插的像素处在206的位置时，处理过程采用类似的电路结构。
若内插时将系数W1置零，则可以只用下层的各值无需采用上层的任何值产生应加以内插的点的值。另外，适当选择内插滤波器和抽样点可以使下降抽样电路22和上升抽样电路34适用于2∶1以外抽样比或内插比的分辨力转换。
图7示出了下层比特流和上层比特流的记录设备的一个实例。参看图7。从上层编码器1输出的上层比特流S45和从下层编码器2输出的比特流S31分别通过缓冲器101和102之后用多路复用电路104与经声频编码器100编码过且通过缓冲器103的声频信号以及图中未示出的同步信号多路复用。从多路复用电路104输出的多路复用比特流是这样加以处理的先由纠错码加法电路对纠错码进行加法处理，再由调制器106进行预定的调制，然后借助于激光束作为凹凸的坑纹记录在主盘107上。应用主盘107制造出压模，再用压模制造出大量的复制盘，例如，光盘。
接下去，参看图2说明本发明的解码系统(解码器)。先说明下层的解码器方框4，下层比特流S5-1借助于诸如光盘之类的传输煤体输进下层的解码器中。比特流S51输进可变长度解码(HIV)电路52中。可变长度解码电路52将比特流S51进行解码，并输出量化数据、运动矢量、宏方块型式、预测工作方式、量化标度等等。
去量化电路3根据量化标度将从可变长度解码电路52输出的量化数据去量化成代表值，并在编码器的量化电路进行变换之前将变换数据解码。接着，去量化电路53将去量化数据提供给离散余弦逆变换(IDCT)电路54。
IDCT电路54通过与DCT电路27相反的逆变换处理将经去量化电路53解码的去量化数据变换成原来经解码的图像数据，并将该经解码的图像数据输出到运动补偿帧存储器组55。此外，具隔行扫描结构的已解码图像数据同时作为下层输出输出到上升抽样电路57。
运动补偿帧存储器组55根据IDCT电路54的输出数据、型式和运动矢量进行解码，并将经解码的图像作为正向预测图像或反向预测图像写入各帧存储器中。在正向、反向或双向预测的情况下，预测图像引起的差值作为IDCT电路54的输出传送到运动补偿帧存储器组55，因而解码是通过采用加法器56将该差值加到预测图像中进行的，以便形成具隔行扫描结构的下层图像S66作为已解码的图像。
这里预测图像与编码器的局部解码器所解码的图像完全一样，且根据预测图像对下一个应处理的图像进行正向、反向或双向预测。
与此同时，下层的输出图像S56输进上升抽样电路57中，在电路57内经过内插处理，以便将其转换成逐行扫描图像。该逐行扫描图像输进时空预测器58中。
上升抽样电路47在编码器方面的工作过程与上述上升抽样电路34类似。
接下去再说明上层部分。上层输入比特流59输进上层中。比特流59输进可变长度解码(IVLC)电路60中。可变长度解码电路60将比特流59进行解码，并输出量化数据、运动矢量、型式和量化标度。
去量化电路61根据量化标度对从可变长度解码电路输出的量化数据进行去量化，以获取去量化数据，并在编码器的量化电路进行变换之前对变换数据进行解码。然后，去量化电路61将去量化数据提供给离散余弦逆变换(IDCT)电路62。
IDCT电路62用与DCT电路41相反的逆变换处理将去量化数据变换成原来经解码的图像数据，并将经解码的图像数据输出到运动补偿帧存储器组63。此外，与此同时，具隔行扫描结构经解码的图像数据作为具逐行扫描结构的上层输出图像S65输出出去。
运动补偿帧存储器组63根据IDCT电路62的输出数据、宏字块型式和运动矢量进行解码，并将经解码的图像作为正向预测图像或反向预测图像写入帧存储器中。
对应于所选择的宏字块型式的图像输进时空预测器58中。时空预测器58的工作过程与图1上述编码器中的时空预测器39类似。
详细地说，从时空预测器58输出的图像是通过对空间分辨力高但各瞬时抽样点不同的上层预测图像和对另一个空间分辨力可能较差但各瞬时抽样点相同的下层预测图像进行适应性加权获得的。在正向、反向或双向预测的情况下，由于预测图像引起的差值系作为IDCT电路61的输出传送的，因而解码是通过用加法器64将该差值加到预测图像上进行的。
如到此为止所述的那样，输出逐行扫描图像和输出隔行扫描图像都可以从上层输入比特流和下层输出比特流达到。
应该指出的是，尽管在上述实施例中，从编码器输出的比特流是记录在光盘上，但也可以不这样做而用人造卫星发送入ISDN或电信的传输线中。
尽管这里已就本发明的具体实施例进行显示和公开，不言而喻，在不脱离本发明范围的前提下，熟悉本技术领域的行家们是可以对上述实施例进行种种更改和修改的。
权利要求
1.一种视频信号编码设备，包括下降抽样装置，用以通过下降抽样对逐行扫描输入的视频信号进行抽样，以形成隔行扫描的图像；第一编码装置，用以对隔行扫描图像进行编码，形成第一位流；上升抽样装置，用以通过上升抽样根据第一比特流对视频信号进行抽样，以形成逐行扫描图像；和第二编码装置，用以逐行扫描图像对隔行扫描输入的图像进行编码。
2.根据权利要求1所述的视频信号编码设备，其特征在于，所述第一编码装置包括第一变换装置，用以对隔行扫描图像进行预定变换;和第一局部解码装置，用以对所述第一变换装置的输出进行局部解码以形成第一经局部解码的图像;所述上升抽样装置通过上升抽样对第一经局部解码的图像进行抽样，以形成逐行扫描的图像。
3.根据权利要求1所述的视频信号编码设备，其特征在于，所述第二编码装置包括第二变换装置，用以对逐行扫描输入的信号进行预定变换;第二局部解码装置，用以对所述第二变换装置的输出进行局部解码以形成第二经局部解码的图像;运动补偿装置，用以对第二经局部解码的图像进运行作补偿以形成第一预测图像;和预测图像形成装置，用以根据从所述上升抽样装置输出的逐行扫描图像并根据第一预测图像形成第二预测图像。
4.根据权利要求1所述的视频信号编码设备，其特征在于，所述下降抽样装置包括稀化装置，用以稀化逐行扫描输入的视频信号的各像素;和滤波装置，用以根据运动信息转换，对所述稀化装置的输入进行或不进行滤波。
5.根据权利要求1所述的视频信号编码设备，其特征在于，所述上升抽样装置有一个内插装置用以根据第一预测图像在同样位置的各像素和/或第一经局部解码图像在毗邻场的同样位置的各像素进行内插。
6.根据权利要求5所述的视频信号编码设备，其特征在于，所述内插装置有一个系数发生装置用以根据动作信息产生预定的系数。
7.一种视频信号解码装置，包括第一解码装置，用从第一输入位流形成隔行扫描经解码的信号;上升抽样装置，用以通过上升抽样对隔行扫描经解码的图像进行抽样以形成第一逐行扫描经解码的信号;第二解码装置，用以从第二位流形成第二逐行扫描经解码的图像;运动补偿装置，用以对第二逐行扫描经解码的图像进行运动补偿以形成第一预测图像;和预测图像形成装置，用以根据第一逐行扫描经解码的图像和第一预测图像形成供对第二逐行扫描经解码的图像进行解码用的第二预测图像。
8.根据权利要求7所述的视频信号解码设备，其特征在于，所述上升抽样装置有一个内插装置用以根据第一预测图像在相同位置的各像素和/或第一经局部解码的图像在毗邻场各相同位置的像素进行内插。
9.根据权利要求8所述的视频信号解码设备，其特征在于，所述内插装置有一个系数发生装置用以根据运动信息产生预定的系数。
10.一种视频信号编码方法，包括下列步骤通过下降抽样对逐行扫描输入的视频信号进行抽样，以形成隔行扫描图像;对隔行扫描图像进行编码以形成第一比特流;通过上升抽样根据第一位流对信号进行抽样以形成逐行扫描图像;和用逐行扫描图像对逐行扫描输入的图像进行编码。
11.根据权利要求10所述的视频信号编码方法，其特征在于，所述对隔行扫描图像进行编码的步骤包括下列步骤对隔行扫描图像进行预定的变换以形成第一系数数据;对系数数据进行局部解码以形成第一经局部解码的图像;所述根据第一比特流形成的信号为第一经局部解码的图像。
12.根据权利要求10所述的视频信号编码方法，其特征在于，所述对逐行扫描输入的图像进行编码的步骤包括下列步骤对逐行扫描输入的图像进行预定变换以形成第二系数数据;对第二系数数据进行局部解码以形成第二经局部解码的图像;对第二经局部解码的图像进行运动补偿以形成第一预测图像;然后根据逐行扫描图像和第一预测图像形成第二预测图像。
13.根据权利要求10所述的视频信号编码方法，其特征在于，下降抽样时，根据运动补偿情况确定进行或还进行滤波。
14.根据权利要求10所述的视频信号编码方法，其特征在于，上升抽样时，根据第一预测图像在同样位置的各像素和/或第一经局部解码的图像在毗邻场同样位置的各像素进行内插。
15.根据权利要求14所述的视频信号编码方法，其特征在于，所述内插步骤包括下列步骤根据运动信息对第一预测图像在相同位置的各像素和/或第一经局部解码的图像在毗邻场各相同位置的各像素进行预定加权。
16.一种视频信号的解码方法，包括下列步骤从第一输入位流形成隔行扫描经解码的图像;通过上升抽样对隔行扫描经解码的图像进行抽样以形成逐行扫描经解码的图像;人第二比特流形成第二逐行扫描经解码的图像;对第二逐行扫描经解码的图像进行运动补偿以形成第一预测图像;和根据第一隔行扫描经解码的图像和第一预测图像形成供对第二逐行扫描经解码的图像进行解码用的第二预测图像。
17.根据权利要求16所述的视频信号解码方法，其特征在于，上升抽样时，根据第一预测图像在各相同位置的各像素和/或第一经局部解码的图像在毗邻场各相同位置的各像素进行内插。
18.根据权利要求17所述的视频信号解码方法，其特征在于，内插的步骤包括下列步骤对第一预测图像在各相同位置的像素和/或第一经局部解码的图像在毗邻场各相同位置的像素进行预定的加权。
19.一种视频信号记录媒体，其上记录有第一位流和第二比特流，第一位流是通过对隔行扫描图像信号进行编码形成的，第二比特流则采用第一位流对逐行扫描图像信号进行编码形成的。
全文摘要
在编码器中，逐行扫描结构的输入图像通过下降抽样进行抽样形成隔行扫描图像，再对该隔行扫描图像进行编码。经编码的数据经过解码形成隔行扫描经解码的图像，再通过上升抽样对隔行扫描经解码的图像进行抽样，并在对逐行扫描输入的图像进行编码时用作预测图像。在解码器中，将对应于低分解力隔行扫描图像的比特流解码成隔行扫描经解码的图像。
文档编号H04N7/26GK1090116SQ9311426
公开日1994年7月27日 申请日期1993年11月2日 优先权日1992年11月2日
发明者米满润, 田原胜己, 佐藤智之 申请人:索尼公司