专利名称：图象信号混洗、编码、译码装置及其程序记录媒体的制作方法
技术领域：
本发明涉及图像信号的混洗(shuffling)、编码、译码装置及其程序记录媒体，特别是，(1)关于高品质电视信号或渐进方式的电视信号的混洗装置及其程序记录媒体；(2)关于段的发生编码量控制的编码装置及其程序记录媒体；(3)关于由作为图像信号压缩方式的标准化团体的MPEG规格化的空间轴方向的层次编码的编码装置和译码装置及其程序记录媒体。
(先有例1)对于用于将现行电视信号记录到压缩型数字VTR中的高效率编码，有为了使编码处理单位内的图像信号的数据长度均匀化而进行混洗这样的方法。
该方法将在画面上位于相互远离的位置的多个块组合，形成作为1个编码单位的段。
结果，由于段内的数据的相关性弱，所以，可以防止各段的数据长度的分散不一，从而可以防止画质的局部劣化。
该混洗方法是根据输入数字图像信号的取样数和记录速率等而决定的。
例如，迄今在将某一现行电视信号下取样(down sampling)为411信号而以25Mbps记录的方式中，是将1帧的数据分割为270个段。
另外，在将422信号以50Mbps记录的方式中，是将1帧的数据分割为540个段。
另一方面，现在，正在研究将比现行电视信号更高画质的电视信号及渐进方式的电视信号用100Mbps进行记录的方式。
由于这将比现行电视信号提高数据速率，所以，将要使记录速率进而扩大2倍来进行记录。
即，由于输入图像信号的数据速率和记录速率改变，所以，就不能仍然使用先有的方式，而必须将先有方式扩展或变更。
(先有例2)关于先有的编码量控制的图像信号编码装置的框图示于图21。
在本先有例的说明中，按以下条件进行说明。
量化器采用2种。规定量化步长(quantization step)的量化号码采用0和1这样2种，将各个量化器表为量化器0和量化器1。并规定量化号码越大，量化步长就越小。
即，对相同的正交变换数据进行量化和可变长编码时，就发生编码量而言，量化器1最多，相反，量化器0最少。
另外，对各块计算出的优先度采用0、1这样2种。将与优先度0对应的偏移值取为1，将与优先度1对应的偏移值取为0。
下面，参照图21说明先有的编码装置。
段作成部91将输入图像信号分割为例如8×8像素的块，集中20个块构成作为编码量控制单位的段。各段输入正交变换器92和优先度计算部93。
正交变换器92对段按块单位进行正交变换，并输出正交变换数据。正交变换数据输入包含优先度计算部93和量化器0(图中未示出)的编码部94、包含量化器1(图中未示出)的编码部95和编码部97。
优先度计算部93根据输入的块信息和正交变换后的块信息计算各块的优先度，并设定优先度0或1。
各块的优先度输入编码部94、95和量化器决定部96。
编码部94、95将按优先度决定的偏移值与各个量化号码相加(但是，量化号码与偏移值的相加结果受最大的量化号码限制)，并对输入的正交变换数据进行量化处理。
即，优先度0输入量化器0时，将量化号码取为0，优先度1输入量化器0时，将量化号码取为1，优先度0输入量化器1时，将量化号码取为1，优先度1输入量化器1时，将量化号码取为1，按这样方式进行量化处理。
此外，进行可变长编码处理，并计算该块的编码量。
对段内的20个块进行同样的处理，计算按段单位的编码量。
由编码部94、95计算出的编码量输入量化器决定部96。
量化器决定部96将与编码部94的编码量、编码部95的编码量内不超过目标编码量的最大的编码量对应的量化器决定为最终量化器。最终量化器的量化号码输入编码部97。
编码部97将正交变换数据按最终量化器和优先度规定的偏移值进行量化处理，进而进行可变长编码并输出编码数据。
但是，在先有例的编码装置中，块的优先度高时，即使使用量化步长最大的量化器进行编码，有时也会发生该段的发生编码量超过目标编码量的溢出现象。
发生溢出时，段内的发生编码量超过分配给段的编码量，所以，不能记录全部的数据，从而将丢掉一些数据。
即，段内的编码数据按照在段内设定的块间的优先顺位记录到记录媒体的记录区域内。
因此，将发生构成段的块内优先顺位高的块的数据全部记录到记录区域内，与此相反，而其他优先顺位低的块的数据几乎不能记录的状况。
另外，按照削减信息量等目的，可以考虑将例如具有超过特定的值的AC系数的块的优先度设定为1，而对优先度1的块在进行量化处理前将全部AC系数用2相除。
这是削减信息量的有效手段，但是，对于优先度设定为1的块，即使使用量化步长最小的量化器进行编码，也总是对全部AC系数用2相除。这样，该段的发生编码量将远远少于目标编码量，从而将不能有效地使用分配给段的编码量。
(先有例3)先有的图像信号的层次化编码装置示于图28，图像信号层次化译码装置示于图29。
在图28中，输入图像信号由第1格式变换器1001变换为低解像度的图像信号。
运动检测器1002将作为第1格式变换器1001的输出的图像信号记录到图像存储器1003中。
此外，检测器1002使用编码帧和记录到图像存储器1003中的参照帧的图像信号以及已编码译码的参照帧的图像信号检测宏块单位(在亮度信号中，在画面内16像素×16行的块)的运动。
运动补偿器1004按宏块单位输出编码帧的图像信号与由运动检测器1002检测的参照帧的图像信号的差分信号。
DCT器1005将运动补偿器1004的输出的差分信号对各块(在画面内8像素×8行的块)进行DCT(离散余弦变换)后而输出。
量化器1006将DCT系数进行量化处理后而输出。
逆量化器1007将由量化器1006进行了量化处理的系数进行逆量化处理后而输出。
IDCT器1008将逆量化器1007的输出进行IDCT(逆离散余弦变换)后而输出。
运动补偿器1009将IDCT器的输出与由运动补偿器1004进行运动补偿后的参照帧的译码图像信号相加，生成译码图像信号后存储到图像存储器1003中。
可变长编码器1010将量化器1006的输出和包含运动矢量的指定的标志进行可变长编码并输出。
第2格式变换器1011将作为运动补偿器1009的输出的译码图像信号变换为与输入图像信号相同的解像度，并存储到图像存储器1013中。
运动检测器1012将输入图像信号记录到图像存储器1013中。检测器1012使用编码帧和记录到图像存储器1013中的参照帧的图像信号、已编码译码的参照帧的图像信号和作为第2格式变换器1011的输出的低解像度信号中的作为同时刻的图像信号的参照帧来检测宏块单位的活动。
运动补偿器1014按宏块单位输出编码帧的图像信号与由运动检测器1012检测的参照帧的图像信号的差分信号。
DCT器1015将运动补偿器1019的输出的差分信号按各块进行DCT(离散余弦变换)处理。
量化器1016将DCT系数进行量化处理。
逆量化器1017对由量化器1016进行了量化处理的系数进行逆量化处理。
IDCT器1018对逆量化器1017的输出进行逆DCT处理。
运动补偿器1019将IDCT器1018的输出与由运动补偿器1014进行了运动补偿的参照帧的译码图像信号相加，生成译码图像信号并存储到图像存储器1013中。
可变长编码器1020将量化器1016的输出和包含运动矢量的指定的标志进行可变长编码。
在图29中，输入了第1压缩流的可变长译码器1021输出不进行指定的译码的运动矢量和译码信号。
逆量化器1022按指定的量化步长对译码信号进行逆量化处理，并输出DCT系数。IDCT器1023对DCT系数进行IDCT处理。
运动补偿器1024将IDCT器1023的输出与由运动矢量指定的参照帧的图像信号相加，生成译码图像信号并存储到图像存储器1025中。
第2格式变换器1026将图像信号进行格式变换后存储到图像存储器1031中。
输入了第2压缩流的可变长译码器1027输出不进行指定的译码的运动矢量和译码信号。逆量化器1028对译码信号按指定的量化步长进行逆量化处理并输出DCT系数。IDCT器1029对DCT系数进行IDCT处理。
运动补偿器1030将IDCT器1029的输出与由运动矢量指定的参照帧的图像信号相加，生成译码图像信号，并存储到图像存储器1031中。
但是，在先有的图像信号层次化编码装置中，要使用2个运动检测器，所以，编码装置复杂。由于第1压缩流和第2压缩流都具有运动矢量，所以，2个压缩流的冗长度高。在输入图像信号和低解像度图像信号中，画面中的段不同，所以，交叉畸变特别明显。
本发明第1就是鉴于先有例1的问题而提案的，目的旨在通过将高品质电视信号分割为多个区域、使每个区域的段数与现行电视的方式相同，提供可以继承先有的记录装置的基本原理并将该方式扩展的图像信号混洗装置和图像信号混洗程序记录媒体。
本发明第2是鉴于先有例2的问题而提案的，目的旨在提供更有效地使用分配给段内的编码量而改善画质和减少发生溢出的图像信号编码装置和程序记录媒体。
本发明第3是鉴于先有例3的问题而提案的，目的旨在提供结构更简单、可以防止压缩畸变的交叉而对图像信号进行层次化编码的图像信号编码装置和图像信号编码程序记录媒体及其译码装置和译码程序记录媒体。
为了解决上述问题，本发明的图像信号混洗装置或存储实现其动作的程序的程序记录媒体具有将输入图像信号对于每1帧分割为块的分割单元、将由分割单元分割的1帧内的块改变排列的排列改变单元和顺序作成由改变排列单元改变排列后的多个块构成的段的段作成单元，段作成单元将由排列改变单元改变了排列的1帧内的块分为多个区域，在多个区域内，用构成段的多个块内的基准位置的块和相对于基准位置的块在多个区域内具有相同的偏移值的位置的块作成段，使对多个区域作成的段与多个区域对应，并向多个频道输出。
本发明的图像信号混洗装置或存储实现其动作的程序的程序记录媒体具有将输入图像信号对每1帧分割为块的分割单元和由1帧内的多个块作成段的段作成单元，分割单元将1帧分为区域1和区域2，将区域1和区域2分割为块；段作成单元将区域1的块分为多个区域，在这些多个区域中，用构成段的多个块内的基准位置的块和相对于上述基准位置的块在多个区域内具有相同的偏移值的位置的块作成段，将对多个区域作成的段向多个频道输出；区域2的段，将具有向指定的水平方向和垂直方向的偏移值的位置的块组合而作为段，并仅向多个频道内的指定的频道输出。
本发明的图像信号混洗装置或存储实现其动作的程序的程序记录媒体具有将渐进方式的输入图像信号对于每1帧分割为块的分割单元和作成由多个块构成的段的段作成单元，段作成单元将1帧的块分为由Ms×Ns(Ms是水平方向的块数，是Lh的倍数，Lh是大于2的整数；Ns是垂直方向的块数，是Lv的倍数，Lv是大于2的整数)构成的至少1给区域，由至少1给帧作成多个区域，在多个区域中，用在画面上位于相互不相邻的位置的Lh个亮度信号块和Lh个块以及在画面上相同位置的2Lh个色差信号块构成段，用Lh个块内的基准位置的块和相对于基准位置的块在多个区域内具有相同的偏移值的位置的块作成段。
本发明的图像信号编码装置或存储实现其动作的程序的程序记录媒体具有将输入图像信号分割为块并由多个块作成段的段作成单元、对段按块单位进行正交变换从而生成正交变换数据的正交变换器、对各块设定用于控制量化器的多个第1优先度的第1优先度设定单元、包含由第1优先度控制的L(L为正整数)个量化器对1个段计算L个编码量的第1编码量计算单元、对从L个量化器内选择的T个量化器为了控制量化器而改变多个第1优先度中的特定的优先度从而设定第2优先度的第2优先度设定单元、包含由第2优先度控制的T个量化器对1个段计算T个编码量的第2编码量计算单元、根据L个编码量、T个编码量和目标编码量决定对段的最终量化器和最终优先度的量化器决定单元和根据最终量化器和最终优先度对段进行量化处理从而生成可变长编码数据的编码单元。
本发明的图像信号编码装置或存储实现其动作的程序的程序记录媒体具有从高解像度的第1图像信号生成低解像度的第2图像信号的第1格式变换单元、输出使用运动补偿对第2图像信号进行编码的第1压缩流的第1编码单元、从第2图像信号的译码图像信号生成和第1图像信号解像度相同的第3图像信号的第2格式变换单元、生成第1图像信号与上述第3图像信号的差分信号的差分信号生成单元和输出使用在第1编码单元中检测的运动矢量对差分信号进行运动补偿后进行编码的第2压缩流的第2编码单元。
本发明的图像信号编码装置或存储实现其动作的程序的程序记录媒体具有对高解像度的第1图像信号生成帧内的水平方向的取样数为N2/N1而垂直方向的行数为L2/L1(N1、N2、L1、L2是正整数)的低解像度的第2图像信号的第1格式变换单元、输出通过运动补偿和M×M(M是正整数)的正交变换将第2图像信号进行编码的第1压缩流的第1编码单元、从第2图像信号的译码图像信号生成与第1图像信号解像度相同的第3图像信号的第2格式变换单元、生成第1图像信号与上述第3图像信号的差分信号的差分信号生成单元和输出使用运动补偿和(M×N1/N2)×(M×L1/L2)(M是正整数)的正交变换将差分信号进行编码的第2压缩流的第2编码单元。
本发明的图像信号译码装置或存储实现其动作的程序的程序记录媒体，在用于将使用运动补偿对从高解像度的第1图像信号生成的低解像度的第2图像信号编码后的第1压缩流和将上述第1图像信号与从上述第2图像信号的译码图像信号生成的解像度与上述第1图像信号相同的第3图像信号的差分信号编码后的第2压缩流进行译码的译码装置中，具有将第1压缩流进行译码并输出第2图像信号的译码图像信号的第1译码单元、从第2图像信号的译码图像信号生成和第1图像信号解像度相同的第3图像信号的第2格式变换单元、输入第1压缩流和上述第2压缩流并从第1压缩流中对运动矢量进行译码从而使用译码后的上述运动矢量将第2压缩流译码并输出差分信号的译码信号的第2译码单元和将上述第3图像信号与上述第2译码单元译码后的译码信号相加而生成第1图像信号的译码图像信号的加法运算单元。
本发明的图像信号层次化译码装置或存储实现其动作的程序的程序记录媒体，在用于将使用运动补偿对从高解像度的第1图像信号生成的低解像度的第2图像信号编码后的第1压缩流和将上述第1图像信号与从上述第2图像信号的译码图像信号生成的解像度与上述第1图像信号相同的第3图像信号的差分信号编码后的第2压缩流进行译码的译码装置中，具有将第1压缩流进行译码并输出第2图像信号的译码图像信号的第1高效率译码单元、从第2图像信号的译码图像信号生成和第1图像信号解像度相同的第3图像信号的第2格式变换单元、输入从第1压缩流中译码的运动矢量和第2压缩流并使用第1压缩流中的运动矢量对第2压缩流进行译码而输出差分信号的译码信号的第2译码单元和将第3图像信号的译码图像信号与上述差分信号的译码信号相加而生成第1图像信号的译码图像信号的加法运算单元。
本发明的图像信号译码装置或存储实现其动作的程序的程序记录媒体，在用于将使用运动补偿对从高解像度的第1图像信号生成的低解像度的第2图像信号编码后的第1压缩流和将上述第1图像信号与从上述第2图像信号的译码图像信号生成的解像度与上述第1图像信号相同的第3图像信号的差分信号编码后的第2压缩流进行译码的译码装置中，具有使用M×M(M是自然数)的正交变换对第1压缩流进行译码并输出第2图像信号的译码图像信号的第1译码单元、从图像信号的译码图像信号生成和第1图像信号解像度相同的第3图像信号的第2格式变换单元、使用(M×N1/N2)×(M×L1/L2)的正交变换对第2压缩流进行译码并输出差分信号的译码信号的第2译码单元和将第3图像信号与差分信号的译码信号相加而生成第1图像信号的译码图像信号的加法运算单元。
图1是本发明实施例1的图像信号混洗装置的框图。
图2是说明向实施例1的存储器的写入的图。
图3是本发明实施例2的图像信号混洗装置的框图。
图4是本发明实施例3的图像信号混洗装置的框图。
图5是说明实施例3的块的排列改变的图。
图6是说明本发明实施例4的图像信号混洗装置的图。
图7是说明实施例4的块的排列改变的图。
图8是本发明实施例5的图像信号混洗装置的框图。
图9是本发明实施例6的图像信号混洗装置的框图。
图10是说明本发明实施例7的图像信号混洗装置的图。
图11是本发明实施例8的图像信号混洗装置的框图。
图12是本发明实施例9的图像信号混洗装置的框图。
图13是说明本发明实施例10的图像信号混洗装置的图。
图14是说明本发明实施例11的图像信号混洗装置的图。
图15是说明本发明实施例12的图像信号混洗装置的图。
图16是本发明实施例13的编码装置的框图。
图17是说明实施例13的最终量化器和最终优先度的决定的图。
图18是说明实施例13的最终量化器和最终优先度的决定的图。
图19是说明本发明实施例15的图像信号编码装置的最终量化器和最终优先度的决定的图。
图20是说明本发明实施例16的图像信号编码装置的最终量化器和最终优先度的决定的图。
图21是先有的编码量控制的图像信号编码装置的框图。
图22是本发明实施例18的图像信号编码装置的框图。
图23是本发明实施例19的图像信号编码装置的框图。
图24是本发明实施例20的图像信号编码装置的框图。
图25是本发明实施例21的图像信号译码装置的框图。
图26是本发明实施例22的图像信号编码装置的框图。
图27是本发明实施例23的图像信号编码装置的框图。
图28是先有的层次化编码装置的框图。
图29是先有的层次化译码装置的框图。
下面，参照
本发明的实施例。
(实施例1)图1是本发明实施例1的图像信号混洗装置的框图。
在图1中，从输入端子10输入的数字图像信号输入存储器18。
块化地址生成部13生成用于将输入数据在存储器上分割为块的地址。排列改变地址生成部14生成用于在存储器上将块改变排列的地址。
存储器写入控制部12控制块化地址生成部13和排列改变地址生成部14根据输入数据在画面上的位置计算存储器上的唯一的地址并将输入数据写入指定的地址。
存储器读出控制器15利用根据存储器18上的数据作成段的段地址生成部16和输出段的生成频道地址的频道地址生成部17读出存储器18上的数据并向指定的频道输出。
图2是说明实施例1的向存储器的写入的图。下面，说明将水平像素数Xp、垂直行数Yp的输入信号写入水平像素数Ap(Ap＞Xp)、垂直行数Bp(Bp＞Yp)的存储器区域的情况(这里，令Xp×Yp＝Ap×Bp)。
在图2中，实线表示输入信号的像素区域，虚线表示存储器18的区域。在使画面与存储器一一对应时不能直接写入存储器，所以，排列改变多数生成部14生成将画面上的Xp×(Yp-Bp)的区域移动到存储器上的(Ap-Xp)×Bp的区域进行写入的地址。
另外，上述排列改变及段的形成等移动过程全部以块为最小单位而进行。
现在，设该块由水平Kp像素×垂直Kp行构成。这里，垂直Yp行相对于块的最小单位的Kp，处于Yp＝Kp×Lp(Lp是自然数)+Kp/2的关系时，块化地址生成部13对于Kp/2行部发生以水平(2×Kp)像素×垂直(Kp/2)行的块写入存储器的地址。
存储器读出控制器15使用段地址生成部16和频道地址生成部17这2种地址生成部进行从存储器中的读出。从存储器中的读出地址的生成，首先由段地址生成部16生成与向频道输出的段的号码对应的地址。是用计算将由频道地址生成部17生成的各频道的水平、垂直方向的偏移值加到该地址上的值的简单的方法进行的。
这是因为，在形成段时，在画面上相互位于远离的位置的存储器上的块的读出地址不论频道如何，在水平和垂直方向都是相同的偏移值，在各频道中所不同的，仅仅是开始的存储器上的地址。
按照以上述方式决定的读出地址，通过读出多个块来形成段。
另外，块化的地址、排列改变的地址、段地址、频道地址是任意的。
(实施例2)图3是本发明实施例2的图像信号混洗装置的框图。
在图3中，对于和图1相同动作的块标以相同的符号，并省略其说明。
在图3中，从输入端子10输入的图像信号，向格式变换器11输出。
格式变换器11对输入信号加以频带限制，同时进行输入信号的像素数的变换。
这里，假定输入信号是水平像素数为Mp、垂直行数为Np的信号。
其中，假定Mp、Np对于输入信号的水平像素数Xp、垂直行数Yp的信号处于Mp≥Xp、Np≥Yp的关系。
格式变换器11对输入像素加以频带限制后，间抽像素，从而将输入信号变换为水平像素数Xp、垂直行数Yp的信号并向存储器18输出。
如上所述，实施例2的图像信号混洗装置通过在实施例1的基础上增加格式变换器，使输入信号成为与混洗图形一致的格式，便可使其与很多规格的信号对应。
格式变换可以只是水平方向或垂直方向，也可以不进行频带限制而只减少像素。总之，只要进行使输入像素数与混洗的像素数一致的变换就行。
(实施例3)图4是用于说明本发明实施例3的的图。
本实施例的图像信号混洗装置的框图与图3相同。
下面，使用图3和图4说明本实施例的图像信号混洗装置的动作。
有效行数为1080行、亮度信号(以下，表为Y信号)的水平方向的有效像素数(每1行的有效像素数)为1920像素、2个色差信号(以下，分别表为Cr、Cb信号)的水平方向的有效像素数分别为960像素的图像信号(参见图4(a))输入到端子10上。
格式变换器11对输入信号加以频带限制，将Y信号的水平像素数变换为1280像素，将Cr、Cb信号的水平像素数分别变换为640像素(参见图4(b))。由块化地址生成部13对有效行数1080内的1072行的区域1，Y信号用水平16像素×垂直16行的块生成块化地址，Cr、Cb信号用水平8像素×垂直16行的块生成块化地址。
对于其余的8行的区域2，Y信号用水平32像素×垂直8行的块生成块化地址，Cr、Cb信号用水平16像素×垂直8行的块生成块化地址。
在图4(c)中，为了容易理解与像素的关系，表示的是将区域2的块利用和图1的块相同的块大小分割为各块的情况。
在画面上，将位于相同位置的1个Y信号块和Cr、Cb信号块作为1个宏块(以下，表为MB)，如图4(d)所示的那样，改变排列成水平方向90MB、垂直60MB。
图5是说明本实施例的块的排列改变的图。
如图5所示，对于中央的垂直60MB不进行排列改变，而将上下的部分改变排列到右端。
上部的水平方向80MB、垂直方向4MB的区域，以水平方向10MB为1单位分割为从U0到U7的8个区域。
排列改变并不变更区域内的MB排列，而只是进行移动。结果，便成为水平10MB、垂直32MB的区域。
下部的水平80MB、垂直3MB的区域，和上部的情况一样，D0-D7的区域如箭头所示的那样进行移动，从而成为水平方向10MB、垂直方向24MB的区域。其余的水平方向40MB、垂直方向1MB的D8的区域也分割为水平方向10MB的4个区域进行移动，从而成为水平方向10MB、垂直方向4MB的区域。
如上所述，通过排列改变而形成的水平方向90MB×垂直方向60MB(参见图4(d))的区域，按垂直方向1MB单位进行分割，如图4(e)所示的那样，分割为水平方向90MB、垂直方向30(Ns＝30)MB的2个区域。此外，该2个区域在水平方向对90MB以9MB单位进行分割。通过用该水平方向每9MB的区域形成1个区域，便形成4个区域(参见图4(e))。即，形成由水平方向45MB(Ms＝45)、垂直方向30MB(Ns＝30)的宏块构成的4个区域。
在本实施例中，取Lh＝5、Lv＝5，在图4(e)内的虚线内构成水平方向9MB(Ms/Lh＝9)、垂直方向6MB(Ns/Lv＝6)。
这4个区域与4个输出频道A、B、C、D对应。
图4(e)内的小的方块表示各频道的读出开始的块。
如图中所示，根据每4个区域不同的开始位置的读出地址，将在所有的区域具有相同值的向水平和垂直方向的指定的偏移值的5个块组合而形成段。
将这样的段的形成在垂直和水平方向反复移动各块的位置而形成1帧的段。
其他MB相对于形成段的5个MB的1个MB的位置的偏移值符合(1)、(2)式的关系。
Hoff＝MOD(k×Ms/Lh，Ms) (1)Voff＝MOD(p×k×Ns/Lv，Ns)(2)MOD(p，Lv)≠0，并且MOD(Lv，p)≠0。
k＝1、2、…、Lh-1其中，MOD(a，b)＝a-b×INT(a/b)(a，b为整数，INT(a/b)为舍弃独立变数的运算结果的小数点以下的函数)在本实施例中，p的值采用3，具体的偏移值，是作为(9，18)、(18，6)、(27，24)、(36，12)的第n(是正整数)个段的开头块的水平和垂直方向的位置Hn、Vn符合(3)、(4)式的关系。
Hn＝MOD(H1+INT((n-1)/Lv)，Ms/Lh)(3)Vn＝MOD(V1+Ns/Lv×MOD(n-1，Lv)+INT((n-1)/Lv/(Ms/Lh))，Ns)(4)其中，H1、V1是开头块的水平和垂直方向的位置。
在本实施例中，在1个区域中形成(Ms/Lh×Ns)＝270个段。
具体而言，在图4(e)中，在水平方向虚线1行的9MB和垂直方向的虚线5行的30MB内，在步骤1在垂直方向对每6MB进行扫描在步骤2垂直方向每扫描5次，在水平方向移动1MB，并执行步骤1在步骤3每扫描45次，在垂直方向移动1MB
反复执行步骤1、2、3，形成270个段。
(实施例4)图6是用于说明本发明实施例4的图。
本实施例的混洗装置的框图与图3相同。
下面，使用图3和图6说明本实施例的动作。
输入到端子10上的图像信号和实施例3相同。
在本实施例中，输入的图像信号由格式变换器11限制频带，关于水平方向的像素数，Y信号变换为960像素，Cr、Cb分别变换为320像素(参见图6(b))。
此外，Cr、Cb的有效行数变换为540行。
块化地址生成部13对于有效行数1080内的1072行的区域1的Y信号，用水平24像素×垂直16行的块生成块化地址，对于Cr、Cb信号用水平8像素×垂直8行的块生成块化地址。
对于其余的8行的区域2的Y信号，用水平48像素×垂直8行的块生成块化地址，对于Cr、Cb信号用水平16像素×垂直4行的块生成块化地址。
在图6(c)中，为了容易理解与像素的关系，表示的是将区域2的块用和区域1的块相同的块大小分割块的情况。这样作成的块，用在画面上位于相同位置的1个Y信号块和Cr、Cb信号块作为1MB，如图6(d)所示的那样，排列改变为水平方向45MB、垂直方向60MB。
在图6(d)中，用在画面上位于相同位置的1个Y信号块和Cr、Cb信号块构成1个宏块(以下，表为MB)。
图7是说明本实施例的块的排列改变的图。由图7可知，水平方向的MB的数是实施例3的一半。因此，排列改变的详细说明从略。
如上所述，排列改变后的MB(参见图6(d))在垂直方向按3块单位对60MB进行分割，用3MB单位分割完的区域交互集合，如图6(e)所示的那样，分割为由水平45(Ms＝45)MB、垂直30(Ns＝30)MB构成的2个区域。
在这二个区域中作成的段分别向A频道和B频道输出。
在本实施例中，取Lh＝5、Lv＝10，图6(e)的虚线内的各区域在水平方向形成9MB(Ms/Lh＝9)、在垂直方向形成3MB(Ns/Lv＝3)。
图6(e)内的小方块表示各频道的读出开始的块。
在本实施例中，两个频道都从相同的开始位置将具有向相同值的水平和垂直方向的指定的偏移值的5个MB组合形成段。同一区域内的形成段的5个MB的位置的偏移值符合实施例3的式(1)、(2)的关系。
在本实施例中，p值采用6，具体的偏移值是(9，18)、(18，6)、(27，24)、(36，12)。
第n(n是自然数)个段的开头的块的水平和垂直方向的位置Hn、Vn符合(5)、(6)式的关系。
Hn＝MOD(H1+INT((n-1)/(Ns/Lv))，Ms/Lh)(5)Vn＝(Ns/Lv)×MOD(INT(V1/(Ns/Lv))+INT((n-1)/(Ms/Lh)/(Ns/Lv)，Lv)+MOD(Hn+1，2)×MOD(V1+(n-1)，(Ns/Lv))+MOD(Hn，2)×MOD((Ms/Lh)×(Ns/Lv)-MOD(Ci+n，(Ms/Lh)/(Ns/Lv))，(Ns/Lv))(6)其中，Ci＝(Ns/Lv)-MOD(V1，(Ns/Lv))，V1是n＝1时的MB的垂直和水平方向的位置。
具体而言，将虚线内的块在垂直方向进行扫描，在完成垂直方向的扫描时，在水平方向移动1MB，然后反复在垂直方向进行扫描。另外，在水平方向每移动1MB使垂直的扫描方向反转1次。
在1个虚线内的MB的扫描结束时，在垂直方向对下一个虚线内的MB进行扫描，从而在各区域中形成270个段。
(实施例5)图8是实施例5的混洗装置的框图。
在图8中，存储器写入控制器22的块化地址生成部23的动作和实施例1的生成部13基本上相同，所以，说明从略。
存储器读出控制器24使用段地址生成部25和频道地址生成部26这两种地址生成部进行从存储器中的读出处理。
对于画面上的中央的区域，进行和实施例1一样的处理。而对于除此以外的区域则仅向特定的频道例如频道A输出。
在本实施例中，使用进行如下的简单方法，从画面中央区域的存储器的读出地址的生成由段地址生成部25生成与向各频道A、B、C、D输出的段的号码对应的地址，计算将由频道地址生成部26生成的向各频道的水平、垂直方向的偏移值与该地址相加后的值。
如上所述，本发明的实施例5的图像信号混洗装置不进行在实施例1中进行的排列改变，就可以将混洗应用于高品质电视信号并向多个频道输出。此外，中央区域以外的区域不使用全部频道，所以，可以向不使用的频道输入其他数据。
另外，在本实施例中，块化的地址、排列改变的地址、段地址、频道地址是任意的。
(实施例6)图9是本发明实施例6的混洗装置的框图。
在图9中，对于和图8相同动作的块标以相同的符号。
在图9中，从输入端子20输入的图像信号向格式变换器21输出。格式变换器21和实施例2相同对图像信号的解像度进行变换，并将数据向存储器27输出。
存储器写入控制器22、块化地址生成部23、存储器读出控制器24、段地址生成部25和频道地址生成部26的动作和实施例5相同。
如上所述，实施例6的图像信号混洗装置通过在实施例5的基础上增加格式变换器21，便可将输入信号变换为与混洗图形一致。
因此，可以使之与更多规格的输入图像信号对应。
本实施例的格式变换可以只在水平方向或垂直方向进行，也可以不进行频带限制而只减少像素。
总之，只要将输入像素数变换为与混洗的像素数一致就行。
(实施例7)图10是用于说明本发明实施例7的图。
本实施例的混洗装置的框图和图9相同。
有效行数为1080行、Y信号的水平方向的像素数为1920像素、Cr、Cb信号的水平方向的有效像素数分别为960像素的图像信号(参见图10(a))输入到端子20上。
格式变换器21对输入信号加以频带限制，将Y信号的水平像素数变换为1440像素，将Cr、Cb信号的水平像素数分别变换为720像素(参见图10(b))。
块化地址生成部23将有效行数1080行内的1056行的区域1的Y信号生成用水平16像素×垂直16行的块进行分割的块化地址，将Cr、Cb信号生成用水平8像素×垂直16行的块进行分割的块化地址。
结果，便作成在水平方向为90块、在垂直方向为Nb＝66块。
其余的24行的区域2分为由16行构成的区域2a和由8行构成的区域2b。
将区域2a的Y信号用水平16像素×垂直16行的块生成块化地址，将Cr、Cb信号用水平16像素×垂直8行的块生成块化地址。即，作成水平方向45块、垂直方向1块。
在图10(c)、(d)、(e)中，为了容易理解与像素的关系，表示的是将区域2v的块用与区域1的块相同的像素排列分割为块的情况。
这样作成的块，将在画面上位于相同位置的1个Y信号块和Cr、Cb信号块作为1MB，如图10(d)所示，构成水平90MB、垂直67.5MB。
图10(d)的区域1的水平方向90MB、垂直方向66MB按垂直方向1MB单位进行分割，用1MB单位进行分割后的区域进行集合后，如图10(e)所示的那样，分为水平90MB、垂直33MB的2个区域和区域2水平90MB、垂直1.5MB的区域。
下面，说明从区域1的存储器的读出处理。
上述区域1的2个区域进而在水平方向以9MB单位对90MB进行分割。通过在该水平方向每9MB的区域作成1个区域，结果就形成4个区域(参见图10(e))。图10(e)内的虚线内，在水平方向构成9MB，在垂直方向构成3MB。
这4个区域与输出频道A、B、C、D对应。
图10(e)内的小方块表示各频道的读出开始的块。如图所示，根据各频道不同的开始位置的读出地址，将在所有的频道中具有向相同值的水平和垂直方向的指定的偏移值的5个MB组合形成段。
在本实施例中，同一区域内的形成段的5个MB的位置的偏移值为(9，18)、(18，6)、(27，24)、(36，12)。
第n(n为正整数)个段的开头块的水平和垂直方向的位置Hn、Vn和实施例3一样，符合式(3)、(4)的关系。
在本实施例中，在式(3)、(4)中，Ms＝45、Ns＝33、Lh＝5、Lv＝11。
结果，在每1帧的各4个区域中，作成297个段。
区域2的MB共计为135MB。在本实施例中，在画面上从上部到下部，从左到右顺序由每17个MB形成段。
即，最开始的段由号码为0、27、54、81、108的MB作成，下一个段由号码为1、28、55、82、109的MB作成，以此类推，顺序构成段。将这样形成的27个段如图10(e)所示的那样，向A频道输出。
由上述实施例1～实施例7的说明可知，本发明的图像信号混洗装置，在进行存储器写入时，通过利用块化地址分割为块，并根据需要生成排列改变地址，将块的排列改变，在进行存储器读出时，通过利用段地址和频道地址生成地址，便可将混洗应用于高品质电视信号，向多个频道输出。
(实施例8)图11是本发明实施例8的图像信号混洗装置的框图。
在图11中，输入到输入端子30的渐进图像信号向存储器37输入。
作为分割单元的存储器写入控制器32从输入数据在画面上的位置开始，将输入数据写入到由块化地址生成部33计算的存储器上的地址。
作为段作成单元的存储器读出控制器34使用段地址生成部35和区域地址生成部36这2种地址生成部生成读出地址，并从存储器37中读出数据。
区域地址生成部36将由存储器上的多个块构成的小区域作为1单位，按帧单位将保存在存储器上的图像信号水平方向的块分割为2×Lh(Lh＝2，3，4…)个。将分割的2×Lh个块内的水平方向的第偶数个区域规定为第1区域，将第奇数个区域规定为第2区域。
此外，与输入渐进信号连续的2帧内的第1帧对应的第1区域称为区域1、第2区域称为区域2；将与第2帧对应的第1区域称为区域3、第2区域称为区域4，判断从存储器读出的数据位于区域1到区域4中的哪个区域，并输出地址。
从存储器37的读出地址的生成，首先生成与由段地址生成部35在各区域输出的段的号码对应的地址。
其次，通过将由区域地址生成部36生成的向各区域的水平、垂直方向的偏移值加到由生成部35生成的地址上，生成读出地址。
在形成段时进行的在画面上位于相互远离的位置的存储器37上的块的读出，不论区域如何，水平和垂直方向的偏移都相同，在各区域所不同的只是开始进行的存储器上的地址，所以，用上述简单的方法便可生成读出地址。
如上所述，本发明实施例8的图像信号混洗装置可以将输入渐进信号分割为多个区域，并应用混洗方法。
(实施例9)图12是实施例9的图像信号混洗装置的框图。
在图12中，对于和图11相同动作的块标以相同的符号，并省略其说明。从输入端子30输入的渐进图像信息向格式变换器31输出。格式变换器31对输入信号加以频带限制，同时进行输入信号的像素数的变换，然后向存储器37输入。
这里，在输入信号是比实施例8的输入信号解像度高的图像时，格式变换器31就进行频带限制和像素间抽处理，变换为和实施例8的输入信号相同的像素大小后输出。
如上所述，实施例9的图像信号混洗装置通过在实施例8的基础上增加格式变换器31，可以比实施例8应用于更多种类的渐进图像信号。
本实施例的格式变换，不仅可以减少像素数，而且也可以通过填充、内插而增加空数据。另外，也可以不进行频带限制。总之，只要使输入像素数与混洗的像素数一致就可以。
(实施例10)图13是用于说明本发明实施例10的的图。
本实施例的图像信号混洗装置的框图和图12相同。
在图12、图13中，有效行数720行、Y信号的水平有效像素数1280像素、Cr、Cb信号的水平有效像素数640像素的渐进图像信号(参见图13(a))输入到输入端子30上。
格式变换器31对输入图像信号加以频带限制，如图13(b)所示的那样，将Y信号的水平方向像素数变换为960像素，将Cr、Cb信号的水平方向像素数变换为480像素。
块化地址生成部34对于Y信号，生成用水平16像素×垂直16行的块分割的块化地址，对于Cr、Cb信号生成用水平8像素×垂直16行的块分割的块化地址。
结果，如图13(c)所示，Y信号形成60×45块，Cr、Cb信号分别形成60×45块。
通过利用在画面上相同位置的Y信号、Cr、Cb信号的块构成MB，如图13(d)所示，形成水平60×垂直45MB。
将上述块化的图13(d)的块集中连续的2帧(参见图13(e))进行以后的处理。
将各帧的MB在水平方向划分为10(2 Lh＝10)等分，在垂直方向划分为5等分。
将水平方向的被进行了2 Lh等分的区域分为奇数和偶数的区域，将第1帧的偶数区域规定为区域1，将奇数区域规定为区域2，将第2帧的偶数区域规定为区域3，将奇数区域规定为区域4。
图13(e)内的虚线表示分割上述块排列的图像，虚线内的各区域由水平6MB、垂直9MB构成。
图13(e)内的小方块，表示各区域中的读出开始的MB。如图所示，根据在各区域不同的开始位置的读出地址，将在所有的区域中具有向相同值水平和垂直方向的指定的偏移值的5个MB组合形成段。
具体而言，同一区域内形成段的5个MB的水平、垂直方向的偏移值符合实施例3的式(1)、式(2)的关系。
在本实施例中，在k＝1、2、3、4时，Ms＝30、Ns＝45、p＝3、Lv＝5、Lh＝5，偏移值为(6，27)、(12，9)、(18，36)、(24，18)。
将这样的段在垂直和水平方向反复移动各块的段，形成2帧的段。
即，各区域中的第n(n是正整数)个段的开头块的水平和垂直方向的位置Hn、Vn和实施例3一样，符合式(3)、式(4)的关系。
本实施例的情况，在式(3)、式(4)中，Ms＝30、Ns＝45、Lh＝5、Lv＝5。
结果，在各区域中便形成270个段。
(实施例11)图14是用于说明本发明实施例11的图。
本实施例的图像信号混洗装置的框图与图11相同。
下面，使用图11和图14说明本实施例的图像信号混洗装置。
如图14(a)所示，有效行数为480行、Y信号的水平有效像素数为720像素、Cr及Cb信号的水平有效像素数为360像素的渐进图像信号输入到输入端子30上。
块化地址生成部32生成将Y信号用水平16像素×垂直16行的块分割、将Cr及Cb信号用水平8像素×垂直16行的块分割的块化地址。
即，如图14(b)所示，Y、Cr、Cb信号成为45×30的块。
由在画面上的相同位置的Y、Cr、Cb信号的块构成宏块。即，如图14(c)所示的那样，构成水平45MB×垂直30MB的MB。
将上述已块化的图14(c)的MB集中连续的2帧(参见图14(d))进行以下的处理。
将各帧的块划分为水平5等分、垂直5等分，并将第1帧的块规定为区域1、将第2帧的块规定为区域2。
图14(d)内的虚线表示将上述块排列分割的图像，虚线内成为水平9MB、垂直6MB。
图14(d)内的小方块表示各区域中的读出开始的块。如图所示，根据在各区域相同的开始位置的读出地址，将在所有的区域中具有向相同值的水平和垂直方向的指定的偏移值的5个块组合形成段。
在同一区域内形成段的5个MB的位置的偏移值符合实施例3的式(1)、式(2)的关系。
在本实施例中，在k＝1、2、3、4时，Ms＝45、Ns＝30、p＝3、Lv＝5、Lh＝5，所以，偏移值为(9，18)、(18，6)、(27，24)、(36，12)。
第n(n为正整数)个段的开头块的水平和垂直方向的位置Hn、Vn和实施例3一样，符合式(3)、式(4)的关系。
本实施例的情况，在式(3)、式(4)中，Ms＝45、Ns＝30、Lh＝5、Lv＝5。
通过使这样的段的形成在垂直和水平方向反复移动各块的位置，形成2帧的270个段。
如上所述，本实施例的图像信号混洗装置，对有效行数为480行的渐进信号进行区域分割后可以进行混洗。
(实施例12)图15是用于说明本发明实施例12的图。
本实施例的图像信号混洗装置的框图与图12相同。下面，使用图12和图15说明本实施例的图像信号混洗装置。
如图15(a)所示，有效行数为720行、Y信号的水平有效像素数为1280像素、Cr及Cb信号的水平有效像素数为640的渐进图像信号输入到输入端子30上。
格式变换器31如图15(b)所示的那样将Y信号的水平有效像素数变换为960像素、将Cr及Cb信号的水平有效像素数变换为240像素。
块化地址生成部34生成将Y信号用水平32像素×垂直8行的块分割、将Cr及Cb信号用水平8像素×垂直8行的块分割的块化地址。
即，如图15(c)所示的那样，Y、Cr、Cb信号分别成为30块×9块。
图15(d)是将在画面上相同位置的Y、Cr、Cb信号的块作为宏块而表示的图。
如图15(e)所示，将图15(d)的MB划分为水平5等分、垂直5等分。从图15(e)内的小方块所示的各区域中的读出开始的块开始顺序读出，形成540个段。
如上所述，本实施例的图像信号混洗装置进行与实施例10不同的格式变换，可以对有效行数为720行的渐进信号进行混洗处理。
另外，将上述实施例的一部分进行下述变更，也会获得和实施例12相同的效果。
将Cr、Cb信号的水平有效像素数变换为480像素、将垂直有效行数变换为360行。用水平16像素×垂直16行进行分割。结果，便构成水平60MB、垂直45MB，如图15(e)所示的那样，水平和垂直都划分为5等分。
如上所述，变更实施例12的一部分处理，形成540个段。
由上述实施例8～实施例11的说明可知，本发明的图像信号混洗装置通过构成具有块化地址生成部的存储器写入控制器和具有段地址生成部和区域地址生成部的存储器读出控制器104，将输入渐进图像信号的1帧至少分割为1个区域，以1帧或连续的2帧为处理单位，可以将对每1个区域作成的段数分割为与现行电视信号相同的段数，从而可以对输入渐进信号应用混洗处理。
在上述实施例中虽然未说明，但是，向与由区域地址生成部作成的区域对应的输出频道输出段也是很容易的，并且也包含在本发明中。
一种记录用于通过计算机执行上述实施例1～12的各图像信号混洗装置的全部或一部分要素的全部或一部分功能的程序和/或数据的的程序记录媒体也属于本发明，其特征在于可以利用计算机进行读取，读取的上述程序和/或上述数据与上述计算机协同执行上述功能。
下面，说明本发明的关于编码量控制的实施例。
首先，说明以下实施例的量化器和优先度。
各量化器设定规定量化步长的量化号码。设定了量化号码的各量化器附加上量化号码，表为量化器0、量化器1、量化器2、…。量化号码越大，量化步长越小。(量化步长越小，就意味着发生编码量越多)另外，优先度附加上优先度号码，表为优先度0、优先度1、优先度2、…。并且，设定与优先度号码对应的偏移值。
在给定偏移值时，量化器就按给自身的量化号码加上偏移值后的量化号码进行量化处理。
相加后的量化号码，有时会在装置准备的量化号码的范围之外。这时，在超过装置的最大的量化号码时，就采用最大的量化号码。在本实施例中虽然不采用，但是，在偏移值用负值定义而加上偏移值后的量化号码比装置准备的最小的量化号码小时，就采用最小的量化号码。
(实施例13)图16是本发明实施例13的编码装置的框图。
在图16中，从输入端子40输入的图像信号输入段作成部41。段作成部41将输入的图像分割为由8×8像素构成的块，集中20个块构成作为编码量控制单位的段。
各段被输入正交变换器42和第1优先度计算部43。
正交变换器42对输入的段按块为单位进行正交变换，并输出正交变换数据。
正交变换数据输入第1优先度计算部43、第1编码部44、及45、第2编码部47及49和编码部51。
第1编码量计算部55由第1编码部44和45构成。第2编码量计算部由第2编码部47和49构成。
第1优先度计算部43根据正交变换前后的块信息计算各块的优先度。在本实施例中，优先度是0和1这两种。各块的第1优先度输入第1编码部44及45、第2优先度计算部46及48和量化器决定部50。
第2优先度计算部46对输入的第1优先度变更特定的优先度，并设定第2优先度。该第2优先度输入第2编码部47和量化器决定部50。
另一个第2优先度计算部48对输入的第1优先度变更特定的优先度，并设定第2优先度。该第2优先度输入第2编码部49和量化器决定部50。
由量化器0(图中未示出)构成的第1编码部44和由量化器1(图中未示出)构成的第1编码部45分别按将由第1优先度给定的偏移值与量化器的量化号码相加后的量化号码对输入的正交变换数据进行量化处理。
偏移值对优先度是固有而一定的，在本实施例中，优先度0的偏移值为1，优先度1的偏移值为0。
例如，某一块的优先度为1时，量化器0按量化号码1、量化器1按量化号码1(将偏移值与量化器的量化号码相加的结果由第1编码量计算部的最大量化器号码限制)对该块进行量化处理。优先度为0时，量化器0按量化号码0、量化器1按量化号码1对该块进行量化处理。
编码部44和45进而进行可变长编码，并计算编码量。
对段内的20个块进行同样的处理，并计算段的编码量。
由第1编码部44和45计算的段的编码量输入量化器决定部50。
第2优先度计算部46、48对输入的第1优先度分别变更特定的优先度，并设定第2优先度。由第2优先度计算部46设定的第2优先度输入第2编码部47和量化器决定部50。
由第2优先度计算部48设定的第2优先度输入第2编码部49和量化器决定部50。
由量化器0(图中未示出)构成的第2编码部47和由量化器1(图中未示出)构成的第2编码部49和编码部44及45一样，将由第2优先度给定的偏移值与量化器的量化号码相加，并对该块进行量化处理。编码部47及49进而进行可变长编码，并计算该块的编码量。
对段内的20个块进行同样的处理，计算以段为单位的编码量。由第2编码部47及49计算的各编码量输入量化器决定部50。
量化器决定部50根据输入的第1编码部44及45和第2编码部47及49的各段的编码量以及目标编码量决定最终编码量，并分别将与该最终编码量对应的量化器和优先度决定为最终量化器和最终优先度。
例如，第1编码部45的编码量是最终编码量时，就将量化器1决定为最终量化器，将第1优先度决定为最终优先度。
第2编码部47的总编码量时最终编码量时，就将量化器0决定为最终量化器，将第2优先度计算部的第2优先度决定为最终优先度。
最终量化器(最终量化器的量化号码)和最终优先度输入编码部51。
编码部51按加上由最终量化器和最终优先度给定的偏移值后的量化号码对输入的正交变换数据进行量化处理，进而进行可变长编码，并输出该段的编码数据。编码数据输入输出端子52。由最终量化器和优先度给定的偏移值超过1时，所选择的量化器就成为量化器1。
输出端子52将输入的编码数据向记录及传输媒体等输出。
图17是说明对本实施例的段S0决定最终量化器和最终优先度的图。
在图17中，编码量60是编码部44的编码量，编码量61是编码部45的编码量，编码量62是编码部47的编码量，编码量63是编码部49的编码量。
编码量62以外的编码量，超过了目标编码量64。这时，与编码部47对应的量化器0就成为最终量化器，第2优先度计算部46计算的第2优先度就成为最终优先度。
图18是用于说明本实施例对某一段S1的最终量化器和最终优先度的决定的图。
在图18中，编码量65是编码部44的编码量，编码量66是编码部45的编码量，编码量67是的编码部47的编码量，编码量68是编码部49的编码量。
只有编码量66超过了目标编码量69。
这时，与编码部44对应的量化器0就成为最终量化器，第1优先度就成为最终优先度。
编码部49的编码量虽然有未超过目标编码量的最大的编码量，但是，为了使第1编码部比第2编码部优先，所以，编码部44成为最终的编码量。
(实施例14)本实施例的图像信号编码装置的框图与图16相同。
在图16中，基本的结构和动作和在实施例13中说明一样。
在本实施例中，第2优先度计算部46将全部优先度定为最低的优先度1，并且第2编码部47使用量化步长最大的量化器0进行编码。这时，编码部47的发生编码量成为最小的发生编码量。
这样，通过由第2优先度计算部46设定编码量成为最小的优先度，并在第2编码量计算部57中选择编码量成为最小的量化器，便可避免溢出。
(实施例15)本实施例的图像信号编码装置的框图与图16相同。
在图16中，基本的结构和动作和在实施例13中说明的一样。
在本实施例中，第1编码部44及45对于输入的正交变换数据，在优先度为1时分别将全部AC系数用2相除后的数据作为新的正交变换数据。
并且，各量化器按将由第1优先度给定的偏移值与量化号码相加后的值(相加结果为2时就取为1)的量化号码进行量化处理。
此外，编码部44和45分别进行可变长编码，并计算该块的编码量。对段内的20个块进行同样的处理，并计算按段单位的编码量。
由第1编码部44和45计算的编码量输入量化器决定部50。
第2编码部47和49在优先度为1时对于输入的正交变换数据，将全部AC系数用2相除后的数据作为新的正交变换数据。
并且，各量化器按将由第2优先度给定的偏移值与量化号码相加后的值(相加结果为2时就取为1)的量化号码进行量化处理。
此外，编码部47和49分别进行可变长编码，并计算该块的编码量。对段内的20个块进行同样的处理，并计算以段为单位的编码量。
由第2编码部47和49计算的编码量输入量化器决定部50。
编码部51在优先度为1时对于输入的正交变换数据，将全部AC系数用2相除后的数据作为新的正交变换数据。
并且，编码部51按加上由最终量化器和最终优先度给定的偏移值后的量化号码对输入的正交变换数据进行量化处理，并进而进行可变长编码。
结果，便输出该段的编码数据。编码数据向输出部52输出。在由最终量化器和最终优先度给定的偏移值超过1时，所选择的量化器就成为量化器1。
图19是由于说明本实施例对某一段S0的最终量化器和最终优先度的决定的图。
在图19中，编码量70是编码部44的编码量，编码量71是编码部45的编码量，编码量72是编码部47的编码量，编码量73是编码部49的编码量。
编码量70、71、72、73都小于目标编码量74。
本实施例的情况，与编码部49对应的量化器1定为最终量化器，第2优先度计算部48计算的第2优先度定为最终优先度。
(实施例16)本实施例的图像信号编码装置的框图与图16相同。
在图16中，基本的结构和动作与在实施例13中说明的一样。
在本实施例中，第2优先度计算部46将全部第2优先度决定为最低优先度1，并且，第2编码部47用量化步长最大的量化器0进行编码。
第2优先度计算部48将全部第2优先度定为最高优先度0，并且，第2编码部49用量化步长最小的量化器1进行编码。除此以外，和实施例15相同。
本实施例的情况，编码部47的发生编码量成为最小的发生编码量，编码部49的发生编码量成为最大的发生编码量。
图20是用于S0的最终量化器和最终优先度的决定的图。
在图20中，编码量75是编码部44的编码量，编码量76是编码部45的编码量，编码量77是编码部47的编码量，编码量78是编码部49的编码量。
编码量75、76、77、78都小于目标编码量。
这时，与编码部49对应的量化器1就成为最终量化器，第2优先度计算部48计算的第2优先度就成为最终优先度。
(实施例17)本实施例的图像信号编码装置的框图与图16相同，在图16中，基本的结构和动作与在实施例13中说明的一样。
本实施例是量化器决定部50将编码部44、45、47、49的编码量内未超过目标编码量的最大的编码量作为最终的编码量。
下面，参照图18说明对某一段S0的最终量化器和最终优先度的决定。
在本实施例中，发生编码量68是最终的编码量，与第2编码部49对应的量化器1成为最终量化器，第2优先度计算部48计算的优先度成为最终优先度。
由上述实施例13～17的说明可知，本发明的关于编码量的控制的编码装置，从可以选择的量化器中选择L个量化器，使用根据块的特征而设定的第1优先度和L个量化器对各块的正交变换数据进行量化处理，计算L个编码量，进而通过用与第1优先度不同的第2优先度设定进行编码量的计算的新的T个编码量计算部，便可避免溢出，从而可以提供稳定的画质。另外，一种记录用于通过计算机执行上述实施例13～17的各图像信号编码装置的全部或一部分要素的全部或一部分功能的程序和/或数据的的程序记录媒体也属于本发明，其特征在于可以利用计算机进行读取，读取的上述程序和/或上述数据与上述计算机协同执行上述功能。
(实施例18)图22是本发明实施例18的图像信号编码装置的框图。
在图22中，输入图像信号由第1格式变换器101变换为低解像度的图像信号。
运动检测器102将作为格式变换器101的输出的图像信号记录到图像存储器104中。此外，检测器102根据编码帧和记录在图像存储器104中的参照帧的图像信号和已编码译码的参照帧的译码图像信号检测宏块(在亮度信号中，在画面内16像素×16行的块)单位的活动。
运动补偿器103将编码帧的图像信号与由运动检测器102检测的参照帧的译码图像信号的差分信号向宏块(MB)输出。
DCT器105对各块将运动补偿器103的输出信号进行DCT(离散余弦变换)处理。
量化器106对DCT系数进行量化处理。
逆量化器107对由量化器106进行了量化处理的系数进行逆量化处理。
IDCT器108对逆量化器107的输出进行逆DCT处理。
运动补偿器109将IDCT器108的输出与由运动补偿器103进行了运动补偿的参照帧的译码图像信号相加，生成译码图像信号，并存储到图像存储器104中。
可变长编码器110对量化器106的输出和包含运动矢量的指定的标志进行可变长编码。
第2格式变换器111对作为运动补偿器109的输出的译码图像信号进行格式变换，变换为与输入图像信号相同的解像度。
差分信号生成器112根据输入图像信号和第2格式变换器111的输出生成差分信号。运动矢量变换器113使用作为运动检测器102的输出的运动矢量，根据编码帧与已编码译码的图像存储器114中的参照帧的译码差分信号按宏块单位输出差分信号用的参照图像。运动补偿器115按宏块单位输出编码帧的差分信号与从图像存储器114输出的信号的差分信号。
DCT器116对各块将运动补偿器115的输出的差分信号进行DCT处理。
量化器117对DCT系数进行量化处理。
逆量化器118对由量化器117进行了量化处理的系数进行努量化处理。
IDCT器119对逆量化器118的输出进行逆DCT处理。
运动补偿器120将IDCT器118的输出与由运动补偿器115进行了运动补偿的参照帧的译码差分信号相加，生成译码差分信号，并存储到图像存储器114中。
可变长编码器121对量化器117的输出和不包含运动矢量的指定的标志进行可变长编码。
作为一例，考虑设输入图像信号为有效行数为1080行、1行的有效像素数为1920像素的渐进信号(以下，表为1080p信号)、由第1格式变换器101从输入图像信号变换的低解像度的图像信号为有效行数为720行、1行的像素数为1280像素的渐进信号(以下，表为720p信号)的情况。
这时，对1080p信号不附加运动矢量，对720p信号附加运动矢量。
只要仅对720p信号具有运动检测器，对720p信号和1080p信号都可以进行编码。
另外，运动矢量变换器113按照720p信号与1080p信号的取样比，将作为运动检测器102的输出的运动矢量在水平和垂直方向都以3/2倍使用。
另外，若举第1压缩流的一例，就是MPEG的基本图像流。
对于第2压缩流，语法和在MPEG中所说的基本图像流相同，但是，内容是未包含在第1压缩流中的高解像度图像信号的成分(高解像度图像信号与将第1压缩流译码后进行了格式变换的信号的差分信号)。
另外，第1格式变换器101与第2格式变换器111处于相反变换的关系，可以改变所使用的滤波器的特性。
另外，显然，第1格式变换器的输入图像信号格式和第2格式变换器的输出图像信号格式与第1格式变换器的输出图像信号格式和第2格式变换器的输入图像信号格式是相同的。
(实施例19)图23是本发明实施例19的图像信号编码装置的框图。
在图23中，对于与图22动作相同的块标以相同的符号。
在图23中，输入图像信号由第1格式变换器101从输入图像信号变换为低解像度的图像信号。这里，为了便于说明，对水平方向和垂直方向都变换为1/2的解像度。
运动检测器102将格式变换器101的输出图像信号记录到图像存储器104中，并且，根据编码帧和记录在图像存储器104中的参照帧的图像信号以及已编码译码的参照帧的译码图像信号检测宏块单位(在亮度信号中，在画面内16像素×16行的块)的的活动。
DCT器105对每块(在画面内8像素×8行的块)将运动补偿器103的输出的差分信号进行DCT处理并输出该信号。
运动矢量变换器113使作为运动检测器102的输出的运动矢量在水平方向和垂直方向都成为2倍后来使用，根据图像存储器114中的参照帧的译码差分信号以宏块单位(在亮度信号中，在画面内32像素×32行的块)输出差分信号用的参照图像。
DCT器202对每块(16像素×16行的块)将运动补偿器115的输出的差分信号进行DCT处理并输出该信号。
运动补偿器120将IDCT器203的输出与由运动补偿器115进行了运动补偿的参照帧的译码差分信号相加，生成译码差分信号，并存储到图像存储器114中。
(在图23中，上述以外的块的动作，参见实施例18)。
这里，虽然将水平垂直的格式变换比都定为1/2，但是，可以将水平、垂直解像度独立地用任意的比率进行变换。
通常，将水平、垂直的格式变换比率分别取为N2/N1、L2/L1(N1、N2、L1、L2是自然数)由DCT器105和IDCT器108进行的DCT及其逆变换，规定为M像素×M行单位。
这时，由DCT器202和IDCT器203进行的DCT及其逆变换就成为(M×N1/N2)像素×(M×L1/L2)行单位。
并且，宏块的大小在第1高效率编码单元181中为M像素×M行的整数倍，在第2高效率编码单元182中为(M×N1/N2)像素×(M×L1/L2)行的整数倍。
作为具体例子，在输入图像信号为1080p信号、低解像度图像信号为720p信号时，则N1＝3、N2＝2、L1＝3、L2＝2。
运动矢量变换器113使作为运动检测器102的输出的运动矢量在水平垂直方向都成为3/2后来使用。
DCT器105和IDCT器108以8像素×8行进行DCT及其逆变换时，DCT器202和IDCT器203就都以12像素×12行进行DCT及其逆变换。
(实施例20)图24是本发明实施例20的图像信号编码装置的框图。
在图24中，对于与图22动作相同的块标以相同的符号。
在图24中，输入图像信号由第1格式变换器101从输入图像信号变换为低解像度的图像信号。这里，为了便于说明，在水平方向和处方向都变换为1/2的解像度。
运动检测器102就作为格式变换器101的输出的图像信号记录到图像存储器104中。此外，检测器102根据编码帧和记录在图像存储器104中的参照帧的图像信号以及已编码译码的参照帧的译码图像信号检测宏块(在亮度信号中，在画面内16像素×16行的块)单位的活动。
运动补偿器103以宏块单位输出编码帧的图像信号与由运动检测器102检测的参照帧的译码图像信号的差分信号。DCT器105对每块(在画面内8像素×8行的块)将运动补偿器103的输出的差分信号进行DCT处理。
IDCT器108对逆量化器107的输出进行逆DCT处理后输出该信号。
运动检测器201将输入图像信号的编码帧的图像信号和差分信号记录到图像存储器114中，并且根据编码帧和记录在图像存储器104中的参照帧的图像信号检测宏块(在亮度信号中，在画面内32像素×32行的块)的活动。
DCT器202对每块(在画面内16像素×16行的块)将运动补偿器115的输出的差分信号进行DCT处理并输出该信号。
量化器117对作为DCT器202的输出的DCT系数进行量化处理。
IDCT器203对逆量化器118的输出进行逆DCT处理。
运动补偿器120将IDCT器203的输出与由运动补偿器115进行了运动补偿的参照帧的译码差分信号相加，生成译码差分信号，并存储到图像存储器114中。
(在图24中，上述以外的块的动作，参见实施例18)。
第1格式变换器将水平垂直的格式变换比都是变换为1/2，但是，可以将水平、垂直解像度独立地用任意的比率进行变换。
通常，将水平、垂直的格式变换比率分别取为N2/N1、L2/L1(N1、N2、L1、L2是自然数)由DCT器105和IDCT器108进行的DCT及其逆变换，规定为M像素×M行单位。
这时，由DCT器202和IDCT器203进行的DCT及其逆变换就成为(M×N1/N2)像素×(M×L1/L2)行单位。
并且，宏块的大小在第1高效率编码单元191中可以为M像素×M行的整数倍，在第2高效率编码单元192中可以为(M×N1/N2)像素×(M×L1/L2)行的整数倍。
作为具体例子，在输入图像信号为1080p信号、低解像度图像信号为720p信号时，则N1＝3、N2＝2、L1＝3、L2＝2。
DCT器105和IDCT器以例如8像素×8行进行DCT及其逆变换时，则DCT器202和IDCT器203就以12像素×12行进行DCT及其逆变换。
(实施例21)图25是本发明实施例21的图像信号译码装置的框图。
本实施例是与例如在实施例18、19中说明的本发明的编码装置对应的图像信号译码装置的一个实施例。
在图25中，可变长译码器401对第1压缩流进行指定的译码，并输出运动矢量和译码信号。
逆量化器402将由译码器401译码后的信号按指定的量化步长进行逆量化处理，并输出DCT系数。
IDCT器403对DCT系数进行IDCT处理。
运动补偿器404将IDCT器的输出与由运动矢量指定的参照帧的译码图像信号相加，并存储到图像存储器405中。
第2格式变换器406将译码图像信号进行格式变换并输出该信号。可变长译码器407对第2压缩流进行指定的译码。
逆量化器408将由译码器407译码后的信号按指定的量化步长进行逆量化处理，并输出DCT系数。
IDCT器409对DCT系数进行IDCT处理。
运动矢量译码器412从第1压缩流中将运动矢量进行译码，并进行指定的变换，然后输出第2压缩流用的运动矢量。
运动补偿器410将IDCT器409的输出与由作为运动矢量译码器412的输出的运动矢量指定的参照帧的译码差分信号相加，生成译码差分信号，并存储嗲图像存储器411中。
加法器413将补偿器410的输出信号与第2格式变换器406的输出信号相加，生成第1图像信号的译码图像信号。
在水平、垂直的解像度比率为N2/N1、L2/L1(N1、N2、L1、L2是自然数)、IDCT器403为以M×M进行IDCT处理时，则IDCT器209最好以(M×N1/N2)×(M×L1/L2)进行IDCT处理。
作为具体例子，在由第2译码单元472译码的高解像度图像信号为1080p信号、而由第1译码单元471译码的低解像度图像信号为720p信号时，早N1＝3、N2＝2、L1＝3、L2＝2。
运动矢量译码器412使第1压缩流中的运动矢量在水平和垂直方向都成为3/2倍后使用。
IDCT器403进行8×8的DCT的逆变换时，则IDCT器409就可以进行12×12的DCT的逆变换。
(实施例22)图26是本发明实施例22的图像信号译码装置的框图。
在图26中，对于与图25动作相同的块标以相同的符号。
本实施例是与例如在实施例18、19中说明的本发明的编码装置对应的图像信号译码装置的一个实施例。
运动矢量变换器501将作为可变长译码器401的输出的运动矢量通过指定的变换后输出第2压缩流用的运动矢量。
运动补偿器410将IDCT器409的输出与由作为运动矢量变换器501的输出的运动矢量指定的参照帧的译码差分信号相加，生成译码差分信号，并存储到图像存储器411中。
加法器413将译码后的差分信号与作为第2格式变换器406的输出的译码图像信号相加，生成第1图像信号的译码图像信号。
(关于上述以外的块动作，参见实施例21)在水平、垂直的格式变换比率为N2/N1、L2/L1(N1、N2、L1、L2为自然数)、IDCT器403以M×M进行DCT处理时，在IDCT器409中，最好以(M×N1/N2)×(M×L1/L2)进行IDCT处理。
作为具体例子，在输入图像信号为1080p信号、低解像度图像信号为720p信号时，则N1＝3、N2＝2、L1＝3、L2＝2。
运动矢量变换器501使作为可变长译码器401的输出的运动矢量在水平、垂直方向都成为3/2倍后使用。
IDCT器403进行8×8的DCT的逆变换时，则IDCT器409就可以进行12×12的DCT的逆变换。
(实施例23)图27是本发明实施例23的图像信号译码装置的框图。
在图27中，对于与图25动作相同的块标以相同的符号。
本实施例是与例如在实施例20中译码的编码装置对应的图像信号译码装置的一个实施例。
IDCT器403对DCT系数进行8×8的DCT的逆变换。
第2格式变换器406将译码图像信号进行格式变换并输出。这里，为了便于说明，在水平方向和垂直方向都变换为2倍的解像度。
可变长译码器601将第2压缩流进行指定的译码，并输出运动矢量和译码信号。
逆量化器408将译码信号按指定的量化步长进行逆量化处理，并输出DCT系数。
IDCT器602将DCT数据进行16×16的DCT的逆变换。
运动补偿器410将IDCT器409的输出与由作为可变长译码器的输出的运动矢量指定的参照帧的译码差分信号相加，生成译码差分信号，并存储到图像存储器411中。
加法器413将已译码的差分信号与作为第2格式变换器406的输出的译码图像信号相加，生成第1图像信号的译码信号。
这里，虽然将水平和垂直的格式变换比都取为1/2，但是，水平、垂直的变换比率，可以是任意的比率。
通常，将水平、垂直的比率分别取为N2/N1、L2/L1(N1、N2、L、L2是自然数)，由IDCT器403进行的DCT的逆变换采用M×M单位时，则由IDCT器409进行的DCT的逆变换就成为(M×N1/N2)×(M×L1/L2)单位。
作为具体例子，在输入图像信号为1080p信号、低解像度图像信号为720p信号时，则N1＝3、N2＝2、L1＝3、L2＝2。
IDCT器403采用8×8的DCT的逆变换时，则IDCT器409就成为12×12的DCT的逆变换。
由上述实施例18～23可知，本发明的将图像信号进行层次性编码的图像信号编码装置或其译码装置具有以下功能(1)在对低解像度图像信号进行编码时，将所检测的运动矢量使用于高解像度的差分信号的编码，所以，运动检测器1个就够了。通过在第2压缩流内不包含运动矢量的信息，便可比以往更有效地对图像信号进行层次化编码。
(2)通过对高解像度的差分信号的编码使用与低解像度图像信号的解像度比率一致的正交变换，在画面上，高解像度图像信号与低解像度图像信号的段一致，所以，可以防止压缩畸变发生交叉，从而可以以高画质进行有效的层次化编码。
(3)通过具有运动矢量译码器，可以用简单的结构对已编码的压缩流进行译码。
(4)通过具有运动矢量变换器，可以用简单的结构对已编码的压缩流进行译码。
(5)通过具有IDCT器602，可以对已编码的压缩流进行译码。
另外，上述实施例18～23的各图像信号编码装置或译码装置的各结构要素的全部或一部分可以是硬件，也可以是具有与该硬件的功能相同的功能的软件。
另外，一种记录用于由计算机执行上述实施例18～23的图像信号编码装置或译码装置的全部或一部分要素的全部或一部分功能的程序和/或数据的程序记录媒体也属于本发明，其特征在于可以由计算机进行读取，读取的上述程序和/或上述数据与上述计算机协同地执行操作。
权利要求
1.一种图像信号混洗装置，其特征在于具有将输入图像信号对于每1帧分割为块的分割单元；将由分割单元分割的1帧内的块改变排列的排列改变单元；和顺序作成由改变排列单元改变排列后的多个块构成的段的段作成单元；段作成单元将由排列改变单元改变了排列的1帧内的块分为多个区域，在多个区域内，用构成段的多个块内的基准位置的块和相对于基准位置的块在多个区域内具有相同的偏移值的位置的块作成段，使对多个区域作成的段与多个区域对应，并向多个频道输出。
2.按权利要求1所述的图像信号混洗装置，其特征在于进而具有将上述输入图像信号的解像度进行变换的格式变换器，上述分割单元将由上述格式变换器进行了格式变换的图像信号分割为块。
3.按权利要求2所述的图像信号混洗装置，其特征在于上述分割单元将上述格式变换后的1帧分为区域1和区域2，将上述区域1的亮度信号用2h×v(h、v是正整数)像素的块进行分割，将色差信号用h×2v像素的块进行分割，将上述区域2的亮度信号用4h×v像素的块进行分割，将色差信号用2h×v像素的块进行分割，上述排列改变单元改变上述区域1内的块的排列，改变上述区域2内的块内的像素排列和块排列，上述段作成单元将上述排列改变单元处理过的块分为由Ms×Ns(Ms是水平方向的块数，是Lh的倍数，Lh是大于2的整数、Ns是垂直方向的块数，是Lv的倍数，Lv是大于2的整数)的块构成的多个区域，在由Ms×Ns个块组成的上述各区域中，使用在画面上位于相互不相邻的位置的Lh个亮度信号块和与上述亮度信号块在画面上位于相同位置的2Lh个色差信号块作成段。
4.按权利要求3所述的图像信号混洗装置，其特征在于其他块的位置的水平方向的偏移值Hoff和垂直方向的偏移值Voff满足以下关系Hoff＝MOD(k×Ms/Lh，Ms)Voff＝MOD(k×p×Ns/Lv，Ns)(其中，k＝1、2、…、Lh-1，p是满足MOD(p，Lv)≠0并且MOD(Lv，p)≠0的整数，MOD是余数运算函数)。
5.按权利要求4所述的图像信号混洗装置，其特征在于由上述段作成单元作成的第n(n是正整数)个段的块的水平和垂直方向的位置Hn、Vn符合以下关系Hn＝MOD(H1+INT((n-1)/Lv)，Ms/Lh)Vn＝MOD(V1+Ns/Lv×MOD(n-1，Lv)+INT((n-1)/Lv/(Ms/Lh))，Ns)(H1、V1是n＝1时的块的水平和垂直方向的位置，INT是舍弃小数点以下的运算函数)。
6.按权利要求4所述的图像信号混洗装置，其特征在于由上述段作成单元作成的第n(n是自然数)个段的块的水平和垂直方向的位置Hn、Vn符合以下关系Hn＝MOD(H1+INT((n-1)/(Ns/Lv))，Ms/Lh)Vn＝(Ns/Lv)×MOD(INT(V1/(Ns/Lv))+INT((n-1)/(Ms/Lh)/(Ns/Lv)，Lv)+MOD(Hn+1，2)×MOD(V1+(n-1)，(Ns/Lv))+MOD(Hn，2)×MOD((Ms/Lh)×(Ns/Lv)-MOD(Ci+n、(Ms/Lh)×(Ns/Lv))，(Ns/Lv))其中，Ci＝(Ns/Lv)-MOD(V1，(Ns/Lv))，(H1、V1是n＝1时的块的垂直和水平方向的位置，INT是舍弃小数点以下的取整运算函数)。
7.按权利要求5所述的图像信号混洗装置，其特征在于上述输入图像信号的亮度信号的水平有效像素数为1920像素、垂直有效行数为1080行、色差信号的水平有效像素数为960像素、垂直有效行数为1080行，上述格式变换器将上述输入数字信号的水平有效像素数对亮度信号变换为1280像素、对色差信号变换为640像素，上述分割单元将上述有效行数1080行内的1072行定为区域1、将其余的8行定为区域2，将上述区域1的亮度信号用水平16像素×垂直16像素的块进行分割，将色差信号用水平8像素×垂直16像素的块进行分割，将上述区域2的亮度信号用水平32像素×垂直8像素的块进行分割，将色差信号用水平16像素×垂直8像素的块进行分割，上述排列改变单元对上述区域1内的块改变块排列，对区域2内的块改变块内的像素排列和块排列，将上述区域1和区域2的块加在一起，使亮度信号和色差信号的1帧成为水平90块、垂直60块，上述段作成单元作成上述Ms和Ns分别为Ms＝45、Ns＝30的4个区域，将上述Lh取为Lh＝5，作成段。
8.一种图像信号混洗程序记录媒体，其特征在于具有完成如下操作步骤的程序数据，即对每帧将输入图像信号分割为块的分割步骤；将由上述分割步骤分割的1帧内的块改变排列的排列改变步骤和从由上述排列改变步骤进行了排列改变的多个块作成段的段作成步骤，上述段作成步骤将由上述排列改变单元进行了排列改变的1帧内的块分为多个区域，在上述各多个区域内，用构成段的上述多个块的内的基准位置的块和对上述基准位置的块在上述多个区域中具有相同的偏移值的位置的块作成段，使对每上述多个区域作成的段与上述多个区域对应，向多个频道输出。
9.按权利要求8所述的图像信号混洗程序记录媒体，其特征在于进而具有将上述输入图像信号的解像度进行变换的格式变换步骤，上述分割步骤将由上述格式变换步骤变换后的图像信号的1帧分割为块。
10.一种图像信号混洗装置，其特征在于具有相对于每1帧将输入图像信号分割为块的分割单元和从上述1帧内的多个块作成段的段作成单元，上述分割单元将1帧分为区域1和区域2，将上述区域1和区域2分割为块，上述段作成单元将上述区域1的块分为多个区域，在上述各多个区域中，用构成段的上述多个块内的基准位置的块和对上述基准位置的块在上述多个区域中具有相同的偏移值的位置的块作成段，使对上述多个区域作成的段与上述多个区域对应地向多个频道输出，上述区域2的块，将具有向指定的水平和垂直方向的偏移值的位置的块组合，作为段仅向上述多个频道内的指定的频道输出。
11.按权利要求10所述的图像信号混洗装置，其特征在于进而具有将上述输入图像信号的解像度进行变换的格式变换器，上述分割单元将由上述格式变换器进行了格式变换的图像信号的1帧分为区域1和区域2，进而将上述区域1和区域2分割为块。
12.按权利要求11所述的图像信号混洗装置，其特征在于上述输入图像信号的亮度信号的水平有效像素数为1920像素、垂直有效行数为1080行、色差信号的水平有效像素数为960像素、垂直有效行数为1080行，上述格式变换器将上述输入图像信号的水平有效像素数对亮度信号变换为1440像素、对色差信号变换为720像素，上述分割单元将上述有效行数1080行内的1056行作为区域1、将其余的24行作为区域2，对于上述区域1内的像素，亮度信号用水平16像素×垂直16像素的块进行分割，色差信号用水平8像素×垂直16像素的块进行分割，将上述区域2内的16行作为区域2a、将其余的8行作为区域2b，上述区域2a内的亮度信号用水平16像素×垂直16像素的块进行分割，色差信号用水平8像素×垂直16像素的块进行分割，上述区域2b内的亮度信号用水平32像素×垂直8像素的块进行分割，色差信号用水平16像素×垂直8像素的块进行分割，上述段作成单元将上述区域1分为上述Ms和Ns分别为Ms＝45、Ns＝33的4个区域，在上述4个区域中，用在画面上位于相互不相邻的位置的5个亮度信号的块和在画面上与上述5个亮度信号的块位于相同位置的10个色差信号的块作成段，在上述区域2的画面上用位于相互不相邻的位置的5个亮度信号的块和在画面上与上述5个亮度信号的块位于相同位置的10个色差信号的块作成段。
13.按权利要求12所述的图像信号混洗装置，其特征在于相对于构成上述区域1的段的上述5个块内的基准位置的块，其他块的位置的水平方向和垂直方向的偏移值(Hoff、Voff)为(9，18)、(18，6)、(27，24)、(36，12)。
14.按权利要求13所述的图像信号混洗装置，其特征在于由上述段作成单元作成的上述区域1的第n(n是自然数)个段的块的水平和垂直方向的位置Hn、Vn符合以下关系Hn＝MOD(H1+INT((n-1)/Lh)，Ms/Lh)Vn＝MOD(V1+Ns/Lv×MOD(n-1，Lv)+INT((n-1)/Lv/(Ms/Lh))，Ns)(H1、V1是n＝1时的宏块的水平和垂直方向的位置，INT是舍弃小数点以下的取整函数)
15.一种图像信号混洗程序记录媒体，其特征在于具有完成如下操作步骤的程序数据，即对于每1帧将输入图像信号分割为块的分割步骤和由上述1帧内的多个块作成段的段作成步骤，上述分割步骤将1帧分为区域1和区域2，将上述区域1和区域2分割为块，上述段作成步骤将上述区域1的块分为多个区域，在上述各多个区域中，用构成段的上述多个块内的基准位置的块和在上述多个区域中相对于上述基准位置的块具有相同的偏移值的位置的块作成段，将在上述多个区域中作成的段与上述多个区域对应地向多个频道输出，上述区域2的块，将具有向指定的水平和垂直方向的偏移值的位置的块组合作为段，并且仅向上述多个频道内的指定的频道输出。
16.按权利要求15所述的图像信号混洗程序记录媒体，其特征在于进而具有变换上述输入图像信号的解像度的格式变换步骤，上述分割步骤将由上述格式变换步骤变换后的图像信号的1帧分为区域1和区域2，将上述区域1和区域2分割为块。
17.一种图像信号混洗装置，其特征在于具有将顺次扫描方式的输入图像信号对每1帧分割为块的分割单元和作成由上述多个块构成的段的段作成单元，上述段作成单元将1帧的块分为由Ms×Ns(Ms是水平方向的块数，是Lh的倍数，Lh是大于2的整数，Ns是垂直方向的块数，是Lv的倍数，Lv是大于2的整数)构成的至少1个区域，作成至少由1帧构成的多个区域，在上述各多个区域中，用在画面上位于相互不相邻的位置的Lh个亮度信号块和在画面上与上述Lh个块位于相同位置的2Lh个色差信号块构成段，用上述Lh个块内的基准位置的块和在上述多个区域中相对于上述基准位置的块具有相同偏移值的位置的块作成段。
18.按权利要求17所述的图像信号混洗装置，其特征在于进而具有变换上述输入图像信号的解像度的格式变换器，上述分割单元将由上述格式变换器进行了格式变换的图像信号分割为块。
19.按权利要求17或18所述的图像信号混洗装置，其特征在于相对于构成上述段的上述Lh个块内的基准位置的块，其他的块的位置的水平方向的偏移值Hoff和垂直方向的偏移值Voff符合以下关系Hoff＝MOD(k×Ms/Lh，Ms)Voff＝MOD(p×k×Ns/Lv，Ns)(其中，k＝1、2、…、L-1，p是满足MOD(p，Lv)≠0并且MOD(Lv，p)≠0的整数，MOD是余数运算函数)
20.按权利要求19所述的图像信号混洗装置，其特征在于由上述段作成单元作成的第n(n是自然数)个段的块的水平和垂直方向的位置Hn、Vn符合以下关系Hn＝MOD(H1+INT((n-1)/Lv)，Ms/Lh)Vn＝MOD(V1+Ns/Lv×MOD(n-1，Lv)+INT((n-1)/Lv/(Ms/Lh))，Ns)(H1、V1是n＝1时的块的水平和垂直方向的位置，INT是舍弃小数点以下的取整函数)
21.按权利要求20所述的图像信号混洗装置，其特征在于上述段作成单元将水平方向的块用2Lh分割，将水平方向的块分为由奇数块和偶数块构成的2个区域，用2帧单位作成段。
22.按权利要求20所述的图像信号混洗装置，其特征在于上述Lh和上述Vh采用相同的值(Lh＝Vh)，上述段作成单元用2帧为单位作成段，构成段的块在上述2帧中是在画面上相同的位置。
23.按权利要求20所述的图像信号混洗装置，其特征在于上述输入图像信号的亮度信号的水平有效像素数为1280像素、垂直有效行数为720行、色差信号的水平有效像素数为640像素、垂直有效行数为720行，上述格式变换器将上述输入图像信号的亮度信号的水平有效像素数变换为960像素、将色差信号的水平有效像素数变换为480像素，上述分割单元将亮度信号用水平16像素×垂直16像素块进行分割、将色差信号用水平8像素×垂直16像素的块进行分割、将亮度信号和色差信号分割为水平方向60块、垂直方向45块，上述段作成单元将上述Ms和Ns取为Ms＝30、Ns＝45，将1帧分为2个区域，将上述Lh取为Lh＝5，以此来作成段。
24.按权利要求20所述的图像信号混洗装置，其特征在于上述输入图像信号的亮度信号的水平有效像素数为720像素、垂直有效行数为480行、色差信号的水平有效像素数为360像素、垂直有效行数为480行，上述分割单元将亮度信号用水平16像素×垂直16像素的块进行分割、将色差信号用水平8像素×垂直16像素的块进行分割，将亮度信号和色差信号分为水平方向45块、垂直方向30块，将上述Ms、Ns取为Ms＝45、Ns＝30，上述段作成单元采用Lh＝5、Lv＝5。
25.一种图像信号混洗程序记录媒体，其特征在于具有存储具备下述操作的程序数据即将顺次扫描方式的输入图像信号对每1帧分割为块的分割步骤和作成由上述多个块构成的段的段作成步骤，上述段作成步骤将1帧的块分为由Ms×Ns(Ms为水平方向的块数，是Lh的倍数，Lh是大于2的整数，Ns是垂直方向的块数，是Lv的倍数，Lv是大于2的整数)构成的至少1个区域，作成至少由1帧构成的多个区域，在上述个多个区域中，用在画面上位于相互不相邻的位置的Lh个亮度信号块和在画面上与上述Lh个块位于相同位置的2Lh个色差信号块构成段，与上述Lh个块内的基准位置的块和在上述多个区域内相对于上述基准位置的块具有相同的偏移值的位置的块作成段。
26.按权利要求25所述的图像信号混洗程序记录媒体，其特征在于进而具有存储具备下述操作功能的程序数据即变换上述输入图像信号的解像度的格式变换步骤，上述分割步骤将由上述格式变换步骤进行了格式变换的图像信号分割为块。
27.一种图像信号混洗装置，其特征在于具有将亮度信号的水平有效像素数为1280像素、垂直有效行数为720行、色差信号的水平有效像素数为640像素、垂直有效行数为720行的顺次扫描方式的图像信号变换为亮度信号的水平有效像素数为960像素、色差信号的水平有效像素数为240像素的格式变换器；将由上述格式变换器变换后的图像信号以1帧单位对亮度信号用水平32像素×垂直8像素分割为块、对色差信号用水平8像素×垂直8像素分割为块的上述分割单元；用上述块的在画面上位于相互远离的位置的5个亮度信号的块和位于相同位置的10个色差信号的块顺序作成段的段作成单元。
28.一种图像信号混洗装置，其特征在于具有将亮度信号的水平有效像素数为1280像素、垂直有效行数为720行、色差信号的水平有效像素数为640像素、垂直有效行数为720行的顺次扫描方式的图像信号变换为亮度信号的水平有效像素数为960像素、色差信号的水平有效像素数和有效行数为480像素、360行的上述格式变换器；将由上述格式变换器变换后的图像信号以1帧单位对亮度信号用水平16像素×垂直16像素分割为块、对色差信号用水平8像素×垂直8像素分割为块的上述分割单元；用上述块的在画面上位于相互远离的位置的5个亮度信号的块和位于相同位置的10个色差信号的块顺序作成段的段作成单元。
29.一种图像信号编码装置，其特征在于具有将输入图像信号分割为块并由上述多个块作成段的段作成单元；对上述段按上述块单位进行正交变换从而生成正交变换数据的正交变换器；对上述各块设定用于控制量化器的多个第1优先度的第1优先度设定单元；包含由上述第1优先度控制的L(L为正整数)个量化器按上述段计算L个编码量的第1编码量计算单元；对从上述L个量化器内选择的每T个量化器，为了控制量化器改变上述多个第1优先度中特定的优先度从而设定第2优先度的第2优先度设定单元；包含由上述第2优先度控制的上述T个量化器，按上述段计算T个第2编码量的第2编码量计算单元；根据上述L个编码量、上述T个编码量和目标编码量按上述段决定最终量化器和最终优先度的量化器决定单元；和根据上述最终量化器和最终优先度对上述段内的块进行量化处理从而生成可变长编码数据的编码单元。
30.按权利要求29所述的图像信号编码装置，其特征在于上述段作成单元将输入图像信号分割为块，由上述多个块构成宏块，由上述多个宏块构成段，对于上述第1优先度最低的块的正交变换数据的AC分量用2相除后的段，上述第1和第2编码量计算单元计算编码量，上述编码单元生成可变长数据。
31.按权利要求29、30所述的图像信号编码装置，其特征在于对于上述T个量化器的特定的量化器，上述第2优先度计算单元将上述多个第1优先度内指定的优先度以下的优先度设定为最低优先度，将其他优先度设定为最低优先度以外的优先度。
32.按权利要求29、30所述的图像信号编码装置，其特征在于对于上述T个量化器的特定的量化器，上述第2优先度计算单元将上述多个第1优先度内指定的优先度以下的优先度设定为最高优先度，将其他优先度设定为最高优先度以外的优先度。
33.按权利要求29、30所述的图像信号编码装置，其特征在于对于上述T个量化器内的第1特定的量化器，上述第2优先度计算单元将上述多个第1优先度内的指定的优先度以下的优先度设定为最低优先度，对于上述T个量化器内的第2特定的量化器，上述第2优先度计算单元将上述多个第1优先度内的指定的优先度以上的优先度设定为最高优先度。
34.按权利要求33所述的图像信号编码装置，其特征在于上述第1特定的量化器是量化步长最大的量化器。
35.按权利要求33所述的图像信号编码装置，其特征在于上述第1特定的量化器是T个量化器内量化步长最大的量化器，上述第2特定的量化器是T个量化器内量化步长最小的量化器。
36.一种图像信号编码程序记录媒体，其特征在于存储具有如下操作功能的程序数据即将输入图像信号分割为块并由上述多个块作成段的段作成步骤；对上述段按上述块单位进行正交变换从而生成正交变换数据的正交变换步骤；对上述各块设定用于控制量化器的多个第1优先度的第1优先度设定步骤；包含由上述第1优先度控制的L(L为正整数)个量化器，按上述段计算L个编码量的第1编码量计算步骤；对从上述L个量化器内选择的每T个量化器，为了控制量化器改变上述多个第1优先度中特定的优先度，从而设定第2优先度的第2优先度设定步骤；包含由上述第2优先度控制的上述T个量化器按上述段计算T个第2编码量的第2编码量计算步骤；根据上述L个编码量、上述T个编码量和目标编码量，按上述段决定最终量化器和最终优先度的量化器决定步骤；和根据上述最终量化器和最终优先度对上述段内的块进行量化处理从而生成可变长编码数据的编码步骤。
37.一种图像信号编码装置，其特征在于具有从高解像度的第1图像信号生成低解像度的第2图像信号的第1格式变换单元；输出使用运动补偿将上述第2图像信号编码后的第1压缩流的第1编码单元；从上述第2图像信号的译码图像信号生成解像度与上述第1图像信号相同的第3图像信号的第2格式变换单元；生成上述第1图像信号与上述第3图像信号的差分信号的差分信号生成单元；和输出使用由上述第1编码单元检测的运动矢量对上述差分信号进行运动补偿后而编码的第2压缩流的第2编码单元。
38.按权利要求37所述的图像信号编码装置，其特征在于上述第1格式变换单元对于上述第1图像信号生成帧内的水平方向的取样数为N2/N1、垂直方向的行数为L2/L1(N1、N2、L1、L2为正整数)的低解像度的第2图像信号，上述第1编码单元输出使用运动补偿和M×M(M为正整数)的正交变换将上述第2图像信号编码后的第1压缩流，上述第2编码单元使用由上述第1编码单元检测的运动矢量，输出使用运动补偿和(M×N1/N2)×(M×L1/L2)的正交变换将上述差分信号编码后的第2压缩流。
39.一种图像信号编码装置，其特征在于具有对于高解像度的第1图像信号生成帧内的水平方向的取样数为N2/N1、垂直方向的行数为L2/L1(N1、N2、L1、L2为正整数)的低解像度的第2图像信号的第1格式变换单元；输出利用运动补偿和M×M(M为正整数)的正交变换将上述第2图像信号编码后的第1压缩流的第1编码单元；从上述第2图像信号的译码图像信号生成解像度与上述第1图像信号相同的第3图像信号的第2格式变换单元；生成上述第1图像信号与上述第3图像信号的差分信号的差分信号生成单元；和输出使用运动补偿和(M×N1/N2)×(M×L1/L2)(M为正整数)的正交变换将上述差分信号编码后的第2压缩流的第2编码单元。
40.按权利要求38、39所述的图像信号编码装置，其特征在于运动补偿最小单位为2M×2M的块。
41.一种图像信号编码程序记录媒体，其特征在于存储具有如下功能的程序数据从高解像度的第1图像信号生成低解像度的第2图像信号的第1格式变换步骤；输出使用运动补偿将上述第2图像信号编码后的第1压缩流的第1编码步骤；从上述第2图像信号的译码图像信号生成解像度与上述第1图像信号相同的第3图像信号的第2格式变换步骤；生成上述第1图像信号与上述第3图像信号的差分信号的差分信号生成步骤；和输出使用由上述第1编码步骤检测的运动矢量对上述差分信号进行运动补偿后而编码的第2压缩流的第2编码步骤。
42.一种图像信号编码程序记录媒体，其特征在于存储具有如下功能的程序数据对于高解像度的第1图像信号生成帧内的水平方向的取样数为N2/N1、垂直方向的行数为L2/L1(N1、N2、L1、L2为正整数)的低解像度的第2图像信号的第1格式变换步骤；输出利用运动补偿和M×M(M为正整数)的正交变换将上述第2图像信号编码后的第1压缩流的第1编码步骤；从上述第2图像信号的译码图像信号生成解像度与上述第1图像信号相同的第3图像信号的第2格式变换步骤；生成上述第1图像信号与上述第3图像信号的差分信号的差分信号生成步骤；和输出使用运动补偿和(M×N1/N2)×(M×L1/L2)(M为正整数)的正交变换将上述差分信号编码后的第2压缩流的第2编码步骤。
43.一种图像信号的译码装置，用于将使用运动补偿对由高解像度的第1图像信号生成的低解像度的第2图像信号编码后的第1压缩流和将上述第1图像信号与第3图像信号的差分信号编码后的第2压缩流进行译码，其中第3图像信号是通过将上述第2图像信号的译码图像信号变换为解像度与上述第1图像信号相同而生成的，其特征在于具有输出将上述第1压缩流译码后的第2图像信号的译码图像信号的第1译码单元；从上述第2图像信号的译码图像信号生成解像度与第1图像信号相同的第3图像信号的第2格式变换单元；输入上述第1压缩流和上述第2压缩流，从上述第1压缩流中将运动矢量译码，使用译码后的上述运动矢量将第2压缩流进行译码，从而输出差分信号的译码信号的第2译码单元；和将上述第3图像信号与上述第2译码单元译码后的译码信号相加从而生成第1图像信号的译码图像信号的加法运算单元。
44.一种图像信号译码程序记录媒体存储具有如下功能的程序，即将使用运动补偿对从高解像度的第1图像信号生成的低解像度的第2图像信号编码后的第1压缩流和将上述第1图像信号与从上述第2图像信号的译码图像信号生成的解像度与上述第1图像信号相同的第3图像信号的差分信号编码后的第2压缩流进行译码，其特征在于存储具有如下功能的程序输出将上述第1压缩流译码后的第2图像信号的译码图像信号的第1译码步骤；从上述第2图像信号的译码图像信号生成解像度与第1图像信号相同的第3图像信号的第2格式变换步骤；输入上述第1压缩流和上述第2压缩流，从上述第1压缩流中将运动矢量译码，使用译码后的上述运动矢量将第2压缩流进行译码从而输出差分信号的译码信号的第2译码步骤；和将上述第3图像信号与上述第2译码步骤译码后的译码信号相加从而生成第1图像信号的译码图像信号的加法运算步骤。
45.一种图像信号层次化译码装置，用于将使用运动补偿对从高解像度的第1图像信号生成的低解像度的第2图像信号编码后的第1压缩流和将上述第1图像信号与从上述第2图像信号的译码图像信号生成的解像度与上述第1图像信号相同的第3图像信号差分信号编码后的第2压缩流进行译码，其特征在于具有将第1压缩流译码并输出运动矢量和第2图像信号的译码图像信号的第1高效率译码单元；从第2图像信号的译码图像信号生成解像度与第1图像信号相同的第3图像信号的第2格式变换单元；将从第1压缩流中译码的运动矢量和第2压缩流作为输入，使用第1压缩流中的运动矢量对第2压缩流进行译码，并输出差分信号的译码信号的第2译码单元；和将上述第3图像信号的译码图像信号与上述差分信号的译码信号相加生成第1图像信号的译码图像信号的加法运算单元。
46.一种存储图像信号译码程序记录媒体，用于将使用运动矢量对从高解像度的第1图像信号生成的低解像度的第2图像信号编码后的第1压缩流和将上述第1图像信号与从上述第2图像信号的译码图像信号生成的解像度与上述第1图像信号相同的第3图像信号差分信号编码后的第2压缩流进行译码，其特征在于存储具有如下功能的程序数据将上述第1压缩流译码而输出运动矢量和第2图像信号的译码图像信号的第1译码步骤；从上述第2图像信号的译码图像信号生成解像度与第1图像信号相同的第3图像信号的第2格式变换步骤；输入从上述第1压缩流译码的运动矢量和第2压缩流，使用第1压缩流中的运动矢量将第2压缩流译码，而输出差分信号的译码信号的第2译码步骤；和将上述第3图像信号的译码图像信号与上述差分信号的译码信号相加生成第1图像信号的译码图像信号的加法运算步骤。
47.一种图像信号译码装置，用于将使用运动补偿对从高解像度的第1图像信号生成的低解像度的第2图像信号编码后的第1压缩流和将上述第1图像信号与从上述第2图像信号的译码图像信号生成的解像度与上述第1图像信号相同的第3图像信号的差分信号编码后的第2压缩流进行译码，其特征在于具有使用M×M(M是自然数)将第1压缩流译码并输出第2图像信号的译码图像信号的第1译码单元；从第2图像信号的译码图像信号生成解像度与第1图像信号相同的图像信号的第2格式变换单元；使用(M×N1/N2)×(M×L1/L2)的正交变换将第2压缩流进行译码并输出差分信号的译码信号的第2译码单元；和将上述第3图像信号与上述差分信号的译码信号相加生成第1图像信号的译码图像信号的加法运算单元。
48.一种存储图像信号译码程序记录媒体具有如下功能的程序数据的，用于将使用运动矢量对从高解像度的第1图像信号生成的低解像度的第2图像信号编码后的第1压缩流和将上述第1图像信号与从上述第2图像信号的译码图像信号生成的解像度与上述第1图像信号相同的第3图像信号差分信号编码后的第2压缩流进行译码，其特征在于存储具有如下功能的程序数据，用M×M(M是自然数)将第1压缩流译码并输出第2图像信号的译码图像信号的第1译码步骤；从第2图像信号的译码图像信号生成解像度与第1图像信号相同的图像信号的第2格式变换步骤；使用(M×N1/N2)×(M×L1/L2)的正交变换将第2压缩流进行译码并输出差分信号的译码信号的第2译码步骤；和将上述第3图像信号与上述差分信号的译码信号相加生成第1图像信号的译码图像信号的加法运算步骤。
全文摘要
本发明公开一种根据由第1优先度和多个量化器得到的编码量和由第2优先度和量化器得到的编码量决定最终的优先度和量化器,从而进行按段的量化处理和可变长编码的编码装置。
文档编号H04N7/30GK1276679SQ0011810
公开日2000年12月13日 申请日期2000年6月7日 优先权日1999年6月8日
发明者藤原裕士, 西野正一, 宫下充弘, 和気一博, 竹内诚一, 岡本啓史 申请人:松下电器产业株式会社