专利名称：图象处理方法和图象处理装置以及数据存储媒体的制作方法
技术领域：
本发明涉及一种图象处理方法、图象处理装置以及数据存储媒体，更具体地说。本发明涉及的是对隔行图象信号的频率成分进行可变长编码处理时，适当地进行频率成分系列的并列交换，以提高编码效率。
在最近的图象编码处理中，广泛地利用了离散余弦变换(DCT)，在具有代表性的图象编码方式的MPEG中，将输入的图象信号分别对应于构成DCT处理单位的1表示画面的多个矩形块进行分割；对于分块后的图象信号，按各块进行DCT处理。
下面具体说明MPEG中的图象编码处理。
图26是表示进行上述图象编码处理的现有图象处理装置的概略构成方框图，图中200a是对图象信号进行包含DCT处理在内的编码处理的现有图象处理装置。该图象处理装置200a包括分别对应于构成1表示画面的多个块，分割输入的图象信号101、生成分块化的图象信号的分块器102；对于分块后的图象信号103在各块中进行DCT处理，并把上述图象信号变换为频率成分(DCT系数)的DCT处理器104；把DCT处理器104的输出105加以量化。生成与各块对应的量化值107的量化器106。这里所述DCT处理器104及量化器106构成信息源编码部200a1。
上述图象处理装置200a还有按量化DCT系数(量化值)设定该编码处理顺序的扫描器109；根据上述处理顺序对设定该处理顺序的量化值111进行可变长编码、生成与各块的图象信号对应的编码列113的VLC处理器112。
下面对其操作进行说明。
输入的图象信号101用分块器102首先对应于8×8象素的矩形块被分块。分块后的输入图象信号103通过DCT处理器104进行DCT处理并变换为多个频率成分(DCT系数)，这些DCT系数在量化器106量化。
量化的DCT系数107通过扫描器109进行并列交换，以提高可变长编码(VLC)处理的效率，也就是说设定了编码的处理顺序后，该并列交换的量化值通过VLC处理器112根据上述设定的处理顺序进行可变长编码(VLC)处理。在VLC处理中，使用了扫描宽度编码，当以相同大小的系数进行连续扫描时，可提高VLC处理的效率。
然而，在隔行图象信号的编码处理中，当相邻扫描线间的相关性强时，进行帧DCT处理，也就是进行把帧作为1单位的DCT处理；当场内的相关性强时，则进行场DCT处理，也就是进行把场作为1单位的DCT处理。
具体地说。如图27所示，在隔行图象信号的帧DCT处理中，交互排列第1场的扫描线和第2场的扫描线。形成1帧画面，把该1帧画面分割为多个宏块(16×16象素)，再把各宏块分割为4个子块(8×8象素)，在各子块对与其对应的图象信号进行DCT处理。另外，在隔行图象信号的场DCT处理中，在构成1帧画面的各宏块上形成仅由第1场扫描线组成的2个第1子块以及仅由第2场扫描线组成的2个第2子块，在各子块对与其对应的图象信号进行DCT处理。
用MPEG方式。可按每个宏块适当选择实施帧DCT和场DCT。因此，为了正确解码输入的图象信号，在上述图象编码装置200a中，与来自分块器102的块化图象信号103一起，还输出表示在每个宏块的DCT处理单位的DCT处理信息114(即表示对各个宏块进行了帧DCT还是场DCT中哪一个DCT处理的信息)。与实施场DCT的子块(场DCT块)对应的DCT系数群，由于该子块仅由构成1帧画面扫描线的奇数号码或偶数号码的扫描线构成，因此与实施帧DCT的子块(场DCT块)的DCT系数相比，包含较多的表示在表示画面纵方向的象素值变化率大的DCT系数。
图28是对应于图26所示图象编码装置的图象解码装置的概略构成方框图，图中200b是解码由上述图象编码装置200a编码的图象编码信号113的图象处理装置(图象解码装置)。该图象解码装置200b具有对上述图象编码信号113进行可变长解码处理的可变长解码器201；在由该解码处理得到了量化值111上，为使该配列顺序返回到在编码处理时进行并列交换处理前的配列顺序而进行逆扫描处理的逆扫描器202；根据该逆扫描处理得到的结果，生成对应于作为解码处理对象的被解码块的DCT系数(频率成分)105的逆量化器203。上述图象解码装置200b还具有对上述DCT系数105进行逆DCT处理，生成对应于被解码块的图象信号103的逆DCT器204；对该图象信号103，根据上述DCT处理信息114进行逆块化，再生出对应于1帧画面的图象信号101的逆分块器205。这里，上述逆量化器203及逆DCT处理器204构成信息源解码部200b1。
该图象解码装置200b按对上述图象编码信号113以编码处理时的逆顺序，进行相对于上述图象编码装置200a的各个变换处理的逆变换处理，从而可正确地进行该图象编码信号113的解码处理。
图29是表示其他现有的图象编码装置的概略构成方框图。
图中，200c是利用帧内信息，生成被编码块的量化值的预测值，把该预测值与被编码块的量化值的差分进行编码的帧内预测编码处理的图象处理装置(图象编码装置)。
该图象编码装置200c具有在上述图象编码装置200a的结构上附加的生成上述预测值的预测部200c2；以及使用与该预测值生成有关的参数，可转换扫描方法的扫描部200c1。上述预测200c2具有在生成并输出预测值303的同时，输出与预测值生成有关的第1、第2预测信息309a、309b的预测器305；对上述量化器106的输出107和预测器305的预测输出(预测值)303进行减法处理的加法器301；以及对该加法器301的输出302和上述预测器305的输出303进行加法处理的加法器304。
上述扫描部200c1具有对上述预测部200c2的输出进行扫描处理而扫描方法不同的3个扫描器(1)109s1～(3)109s3；根据控制信号116选择上述3个扫描器其中之一，把上述预测部200c2的输出302供给选择的扫描器的第1开关108c；根据控制信号116选择上述3个扫描器其中之一，把选择的扫描器的输出供给上述可变长编码器112的第2开关110c；根据上述第1预测信息309a产生上述控制信号116的扫描控制器1401c。
该第2预测信息309b从本图象编码装置200c输出。
这种结构的图象编码装置200c由于使用与预测值生成有关的参数(预测信息)309来转换扫描方法，因此提高了VLC处理的效率。
下面用图30说明预测值的生成方法。
图30表示1个16×16象素的宏块，该宏块由4个8×8象素的子块(以下简称块)R0、R1、R2、X组成，块X是被编码块，块R0、R1及R2是与被编码块X相邻的已编码块。在被编码块X的预测值(量化值)的生成中，要参照块R1或R2的任一个。在决定参照块时，使用块R0、R1及R2的DC系数(各块的左上角的量化值)。具体地说。把块R0、R1间的DC系数差的绝对值与块R0、R2间的DC系数差的绝对值边行比较，当块R0、R1间的DC系数差的绝对值大时，参照块R1(纵向参照)。不是这种情况时，参照块R2(横向参照)。
参照块R1时，块R1的DC系数(块左上角的量化值)和AC系数(除去块最上列量化值中的DC系数)作为块X的相同位置的系数预测值，参照块R2时，块R2的DC系数(块左上角的量化值)和AC系数(除去块最左列量化值中的DC系数)作为块X的相同位置的系数预测值。然而，当通过预测反而使VLC处理的效率恶化时，也可以不进行AC系数的预测。
扫描方法的转换应根据帧内预测的AC预测的ON(进行AC预测的情况)、AC预测的OFF(不进行AC预测的情况)，且在AC预测ON的情况下根据预测的参照方向进行。也就是说，在供给上述扫描控制器1401c的第1预测信息309a中，包含表示AC预测的ON或OFF的信息(ON/OFF信息)和表示进行AC预测时的预测的参照方向的信息(预测方向信息)，在上述第2预测信息309b中仅包含表示AC预测的ON或OFF的信息(ON/OFF信息)。
在AC预测为OFF的情况下，按图31(a)所示的顺序进行量化值的扫描。即据此在量化值中设定编码处理的顺序。在这种情况(AC预测OFF)下，对应于子块的量化值群，常常是在纵横方向同样分布着高频成分，因此可按从低频成分到高频成分的顺序一样地进行量化值的扫描。在参照纵方向进行AC预测的情况下，按图31(b)所示的顺序进行量化值的扫描。这种情况下，对应于子块的量化值群，根据预测其横方向的高频成分将减少，因此可优先在横方向进行量化值的扫描，VLC处理的效率将提高。在参照横方向进行AC预测的情况下，按图31(c)所示的顺序进行量化值的扫描。这种情况下，对应于分块的量化值群，根据预测其纵方向的高频成分将减少，因此可优先在纵方向进行量化值的扫描，VLC处理的效率将提高。
图32是对应于图29所示图像编码装置的图象解码装置的概略构成方框图，图中200d是对由上述图象编码装置200c编码的图象编码信号308进行解码的图象处理装置(图象解码装置)。
该图象解码装置200d具有逆扫描部200d1，对将上述图象编码信号308进行可变长解码得到的量化值，在使该配列顺序返回到编码处理时的扫描处理前的配列顺序而进行逆扫描处理的同时，根据与上述图象编码装置200c中预测值的生成有关的预测信息(参数)，可转换该逆扫描方法的逆扫描部200d1；预测部200d2，在对应于进行逆扫描处理的被解码块的量化值上，加上从位于该被解码块周边的已解码块量值中预测的被解码块的量化值(预测值)。
上述逆扫描部200d1具有对上述可变长解码器201的输出，进行逆扫描处理且逆扫描方法不同的3个逆扫描器(1)202s1-(3)202s3；根据控制信号116选择上述3个逆扫描器其中之一，把上述可变长解码器201的输出供给选择的逆扫描器的第1开关108d；根据控制信号116选择上述3个逆扫描器其中之一,把选择的逆扫描器的输出供给上述预测部200d2的第2开关110d；根据第1预测信息309产生上述控制信号116的逆扫描控制器1401d。
上述逆扫描器(1)202s1对上述图象编码装置200c的扫描器(1)109s1的扫描进行逆扫描，上述逆扫描器(2)202s2对上述图象编码装置200c的扫描器(2)109s2的扫描进行逆扫描，上述逆扫描器(3)202s3对上述图象编码装置200c的扫描器(3)109s3的扫描进行逆扫描。
上述预测部200d2具有预测器401，在根据上述图象编码装置200c输出的第2预测信息309b以及相当于该图象编码装置的量化值107的值107d，生成并输出预测值303的同时，生成并输出相当于该图象编码装置200c的第1预测信息309a的控制用预测信息309a'；加法器304，用于把该预测值303和上述逆扫描部200d1的输出302相加。上述控制用预测信息309a*与上述第1预测信息309a一样,包含着有关AC预测的ON/OFF信息和有关AC预测的预测方向信息。
这种结构的图象解码装置200d,对上述图象编码信号308，按上述编码处理时的逆顺序，对图29所示的图象编码装置200c的各变换处理进行逆变换处理，即可正确进行该图象编码信号308的解码处理。
图33是表示已有的其他图象编码装置的概略构成方框图，图中200e是从其他帧生成被编码帧的图象信号的预测值，进行使被编码帧的图象信号和其预测值的差分值编码的帧间预测编码(内编码)处理的图象处理装置(图象编码装置)。
该图象编码装置200具有对块化图象信号103和其预测值1008的差分值102进行信息源编码处理的信息源编码部200e2，以代替图26的图象编码装置200a中对块化图象信号103进行信息源编码处理的信息源编码部200a1；还具有根据有关上述预测值1008的生成的参数1015，转换扫描方法即编码处理顺序的扫描部200e1，以代替上述图象处理装置200a中的扫描器109。
上述信息源编码部200e2具有对应于被编码块，对图象信号103和其预测值1008的差分值1002进行DCT处理，并把该差分值变换为频率成分(DCT系数)1003的DCT器104e；将该DCT处理器104e的输出1003进行量化，生成与各块对应的量化值1004的量化器106e。
上述信息源编码部200e2具有将上述量化器106e输出的量化值1004进行逆量化，输出相当于上述DCT系数1003的DCT系数1007的逆量化器203e；对DCT系数1007进行逆DCT处理，输出相当于上述差分值1002的差分信号1009的逆DCT器204e；将该差分信号1009和上述预测值1008相加，输出与被编码块对应的已编码图象信号1011的加法器1010。
上述信息源编码部200e2具有把对应于各块的已编码图象信号1011的1帧或规定帧数暂时存贮的帧存储器1014；根据对应于该存储器1014中参照块的已编码图象信号1013以及对应于输入的被编码块的图象信号103，在预测对应于被编码块的图象信号并生成该预测值1008的同时，输出有关该预测处理的参数1015的预测器1012；从对应于上述输入的被编码块的图象信号103中减去上述预测值1008的加法器1001。
上述扫描部200e1具有对上述信息源编码部200e2的输出进行扫描处理且扫描方法各不相同的2个扫描器(1)129s1、(2)129s2；根据控制信号116e选择上述2个扫描器之一，把上述信息源编码部200e2的输出1004供给选择的扫描器的第1开关108e；根据控制信号116e选择上述2个扫描器中的一个，把选择的扫描器的输出供给上述可变长编码器112的第2开关110e；根据上述予测器1012的参数1015产生上述控制信号116e的扫描控制器1016e。
上述扫描器129s1按图31(a)所示顺序进行量化值的扫描，上述扫描器129s2由图29所示预测200c2中的各构成要素301、304、305以及图29所示扫描200c1中各构成要素108c、110c、109s1～109s3、1401c构成，也就是说，上述扫描器129s2的构成是当编码处理时，在对没进行过帧间预测的块(帧内编码块)进行帧内预测处理的同时，根据有关该预测值生成的预测信息，从构成该扫描器129s2的扫描器109s1～109s3中选择任意一个。构成上述扫描器129s2的扫描器109s1～109s3上述的其中之一按图31(a)所示顺序进行量化值扫描。
该图象编码装置200e的编码处理基本上与图29所示的图象编码装置200c的情况是一样的，但是，该图象编码装置200e在被分块的图象信号和其预测值的差分值被编码这一点上，与上述图象编码装置200c有很大不同。
也就是说，在该图象编码装置200e的帧间预测编码处理中，由于在预测效率不好的情况下可使预测值1008为0，因此可实施使与输入的被编码块对应的图象信号103仍进行DCT处理的编码(帧内编码)处理，这里，帧间编码和帧内编码的转换是以宏块为单位进行的，表示已实施编码的信息附加在有关预测的参数1015上。
在该图象编码装置200e的帧间预测编码处理中，被编码块是帧间编码(帧编码的宏块)的情况下，选择扫描器(1)129s1，被编码块是帧内编码(帧内编码的宏块)的情况下，选择扫码描器(2)129s2，分别实施适应编码处理的扫描方法。
具体地说，对应于帧内编码的宏块的量化值被供给上述扫描器(2)129s2(由图29的预测部200c2及扫描部200c1构成)，该扫描器129s2通过帧内预测生成该预测值，再根据与该预测值生成有关的预测信息，对被编码块的量化值和其预测值的差分值，进行适当的扫描处理。
另一方面，对应于帧间编码的宏块的量化值被供给上述扫描器(1)129s1，该扫描器进行按图31(a)所示顺序的扫描。
这种结构的图象编码装置，对帧间编码的宏块来说，通过为对差分值编码而进行的量化，为0的DCT系数很多，因此VLC处理的效率提高了。
上述构成的图象编码装置200e，对于帧内编码宏块也可以不进行帧内预测处理，这种情况下，对帧内编码宏块的量化值，通过构成上述扫描器129s2的扫描器109s1～109s3其中之一，进行图31(a)所示顺序的扫描处理。
图34是对应于图33所示图象编码装置200e的图象解码装置的概略构成方框图，图中200f是对由上述图象编码装置200e编码的图象编码信号1006进行解码的图象解码装置。
该图象解码装置200具有逆扫描部200f1，代替图28的图象解码装置200b的逆扫描器202，对于将上述图象编码信号1006进行可变长解码得到的量化值1005，在使该配列顺序返回到编码处理时的扫描处理前的配列顺序而进行逆扫描处理的同时，可根据有关上述图象编码装置200e中帧间预测值生成的参数1015及有关帧内预测值生成的参数309b，转换该逆扫描方法；还具有信息源解码部200f2，代替上述图象解码装置200b的信息源解码部200b1，对于与进行了逆扫描处理的被解码块对应的量化值1004，进行信息源解码处理上述逆扫描部200f1具有对上述可变长解码器201的输出1005进行逆扫描处理且逆扫描方法不相同的2个逆扫描器(1)222s1、(2)222s2；根据控制信号116f选择上述2个逆扫描器其中之一，把上述可变长解码器201的输出1005供给选择的逆扫描器的第1开关108f；根据控制信号116f选择上述2个逆扫描器其中之一，把选择的逆扫描器的输出供给上述信息源解码部200f2的第2开关110f；根据上述预测参数1015产生上述控制信号116f的逆扫描控制器1016f。上述逆扫描器222s1、222s2具有对应于上述图象编码装置200e中扫描器129s1、129s2的结构。
也就是说，上述逆扫描器222s1具有进行对应于图31(a)所示顺序扫描的逆扫描的结构，逆扫描器222s2由图32所示逆扫描部200d1中各构成要素108d、110d、202s1～202s3、1401d以及图32所示预测部200d2中各构成要素304、401构成。
上述信息源解码部20f2还具有对上述逆扫描部200fl的输出进行逆量化处理的逆量化器203f；对该量化器203的输出1003进行逆DCT处理的逆DCT器204f。
上述信息源解码部200f2具有将对应于各块的已解码图象信号103的1帧或规定帧数临时存贮的帧存储器101f；根据对应于该存储器1014f的参照块的已解码图象信号1013f以及有关编码时预测的参数1015，生成对应于被解码块的图象信号的预测值1008f的预测器1102f，把该预测值1008f和上述逆DCT器204f的输出1002相加的加法器1101f。
用这种结构的图象解码装置200f,对上述图象编码信号1006按编码处理时的逆顺序进行相对于图33所示图象编码装置200e的各变换处理的逆变换处理，即可正确进行图象编码信号1006的解码处理。
然而，已有图象处理装置的扫描转换方法，对于全部块是帧DCT块的逐行图象编码处理是有效的，但是，对于帧DCT块和场DCT块混合的隔行图象编码处理，由于场DCT块和帧DCT块的DCT系数的分布是不同的，当使用同样的扫描转换方法时，相同大小的系数不连续，将使VLC效率恶化也就是说，对每个宏块适当选择实施帧DCT处理和场DCT处理，在不同DCT类型的宏块混合的隔行图象编码处理中，当用有关预测值生成的参数转换扫描方法时，由于帧DCT块和场DCT块的DCT系数分布不同，相同大小的系数不连续，即存在VLC效率恶化的情况。
即使对于已有图象处理装置的隔行图象的帧间预测编码处理，由于不同DCT类型的宏块混合，也存在与上述同样的问题。
即使对于逐行图象编码处理，当根据图象内容转换帧DCT处理和场DCT处理时，例如，当邻接扫描线间的相关性强时进行帧DCT处理、当邻接扫描线间的相关性弱时进行场DCT处理的情况下，与上述隔行图象编码处理的情况一样，也会产生VLC效率恶化的问题。
本发明的目的是解决以上问题，提供一种即使在对不同DCT类型宏块混合的隔行图象进行解码处理，或者在特定逐行图像的编码处理，可适当选择能提高VLC效率的扫描方法，可进行高效编码的图象处理装置及图象处理方法，以及存储为实现该图象处理方法的图象处理程序的数据存储媒体。
本发明(方案1)的图象处理方法是把数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号、在上述每个块进行各块的图象信号的编码处理的图象处理方法，根据把帧作为1单位的帧频率变处理以及把场作为1单位的场频率变换处理中的任一个频率变换处理，把作为该编码处理对象的被编码块的图象信号变换为频率成分，与该被编码块图象信号进行帧频率变换处理还是进行场频率变换处理相适应，设定列于与上述被编码块的图象信号对应的频率成分的编码处理顺序，按照设定的处理顺序，顺次对与上述被编码块图象信号对应的频率成分进行编码。
本发明(方案2)的图象处理方法是在构成1表示画面的各个块中、通过包含频率变换处理的编码处理对使数字图象信号编码得到的图象编码信号在每个块进行解码处理的图象处理方法，对按规定顺序使各频率成分进行编码得到的输入信号根据对作为上述解码处理对象的被解码块对应的图象信号进行的频率变换处理是把帧作为1单位进行的帧单位处理还是以场作为1单位进行的场单位处理而决定的配列顺序进行并列交换，生成对应于上述被解码块的频率成分，将对应于该被解码块的频率成分进行逆频率变换处理，再生与该被解码块对应的图象信号。
本发明(方案3)的图象处理方法是把数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号在上述每个块进行各块的图象信号的编码处理的图象处理方法，根据把帧作为1单位的帧频率变换处理以及把场作为1单位的场频率变换处理中的任一类频率变换处理，把作为该编码处理对象的被编码块的图象信号变换为频率成分，根据对该被编码块的图象信号实施的频率变换处理的种类以及对应于该被编码块周边的已编码块的图象信号实施的频率变换处理的种类之组合类型，设定对于与上述被编码块的图象信号对应的频率成分的编码处理顺序，按照设定的处理顺序，顺次对与上述被编码块图象信号对应的频率成分进行编码。
本发明(方案4)的图象处理方法是在构成1表示画面的各个块中通过包含频率变换处理的编码处理对使数字图象信号编码得到的图象编码信号在每个块进行解码处理的图象处理方法，对按规定顺序使各频率成分进行编码得到的输入信号根据作为上述解码处理对象的被解码块对应的图象信号进行的频率变换处理，以及位于该被解码块周边的已编码块对应的图象信号进行的频率变换处理的组合类型决定的配列顺序进行并列交换，生成对应于上述被解码块的频率成分，将对应于该被解码块的频率成分进行逆频率变换处理，再生对应于该被解码块的图象信号。
本发明(方案5)的图象处理方法是把数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号在上述每个块进行各块的图象信号的编码处理的图象处理方法，根据把帧作为1单位的帧频率变换处理以及把场作为1单位的场频率变换处理中的任一个频率变换处理，把作为该编码处理对象的被编码块的图象信号变换为频率成分，根据对应于上述被编码块周边的已编码块的频率成分，通过规定的预测处理生成被编码块的频率成分的预测值，根据对该被编码块的图象信号进行的频率变换处理种类和上述预测处理种类的组合类型，设定对上述被编码块的频率成分和其预测值的差分值的编码处理顺序，按设定的处理顺序，顺次使对应于该被编码块的差分值编码。
本发明(方案6)的图象处理方法是在构成1表示画面的各个块中通过包含频率变换处理的编码处理对使数字图象信号编码得到的图象编码信号在每个块进行解码处理的图象处理方法，根据在对应于作为上述解码处理对象的被解码块的图象信号上实施的频率变换处理的种类和上述预测处理的种类之组合类型决定的配列顺序，并列交换按规定顺序使经预测处理的各种频率成分编码得到的输入信号，根据对应于在上述被解码块周边的已解码块的频率成分，按照上述预测处理的种类生成对应于该被解码块的频率成分的预测值，根据上述并列交换后的输入信号和上述预测值，生成对应于被解码块的频率成分，对上述被解码块对应的频率成分进行逆频率变换处理，再生上述被解码块对应的图象信号。
本发明(方案7)的图象处理方法是把数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号在上述每个块进行各块的图象信号的编码处理的图象处理方法，根据把帧作为1单位的帧频率变换处理以及把场作为1单位的场频率变换处理中的任一个频率变换处理，把作为该编码处理对象的被编码块的图象信号变换为频率成分，根据对应于在上述被编码块周边的已编码块的频率成分，按照规定的预测处理生成对应于被编码块的频率成分的预测值，根据对该被编码块的图象信号进行的频率变换处理的种类、对在该被编码块周边的已编码块的图象信号进行的频率变换处理的种类以及上述预测处理的种类之组合类型，设定对上述被编码块的频率成分和其预测值的差分值的编码处理顺序，按照设定的处理顺序，顺次对该被编码块对应的差分值进行编码。
本发明(方案8)的图象处理方法是在构成1表示画面的各个块中通过包含频率变换处理的编码处理在上述每个块进行使数字图象信号编码得到的图象编码信号的解码处理的图象处理方法，根据列作为上述解码处理对象的被解码块所对应的图象信号进行的频率变换处理的种类、对在该被解码块周边的已解码块所对应的图象信号进行的频率变换处理的种类以及上述预测处理的种类之组合类型决定的配列顺序，并列交换按规定顺序使已实施了预测处理的各种频率成分编码而得到的输入信号，根据在上述被解码块周边的已解码块所对应的频率成分，按照上述预测处理的种类，生成该被解码块对应的频率成分的预测值，再根据上述并列交换后的输入信号和上述预测值，生成被解码块对应的频率成分，对上述被解码块对应的频率成分进行逆频率变换处理，再生上述被解码块对应的图象信号。
本发明(方案9)的图象处理装置是把输入的数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号在上述每个块进行各块的图象信号的编码处理的图象处理装置，包括分块器，在作为频率变换处理单位的每个帧或场集中上述数字图象信号，在对应于上述各块进行分块的同时，输出上述分块的图象信号以及表示上述频率变换处理单位的频率变换类型信息；频率变换器，在各块对上述块化的图象信号进行频率变换，输出各块的图象信号对应的频率成分；量化器，使上述频率成分量化。输出各块图象信号对应的量化值；多个扫描器，按照该配列顺序的并列交换，在上述量化值中设定规定的处理顺序，使并列交换处理时顺序不同；扫描控制器，根据上述频率变换类型信息。输出选择用于上述量化值并列交换的扫描器的控制信号；可变长编码器，对上述并列交换后的量化值进行可变长编码。
本发明(方案10)的图象处理装置是在构成1表示画面的各个块中通过包含以帧单位或场单位的频率变换处理的编码处理对使数字图象信号进行编码得到的图象编码信号在上述每个块进行解码处理的图象处理装置，具有可变长解码器，对各块对应的图象信号频率成分的量化值进行并列交换处理及可变长编码处理将得到的编码列再进行可变长解码；多个逆扫描器，对上述并列交换后的量化值，进行使该配列顺序返回并列交换前的配列顺序的并列交换处理，输出上述量化值，使并列交换处理时顺序不同；逆扫描控制器，根据表示上述频率变换处理的种类的频率变换类型信息，输出选择用于上述量化值并列交换的逆扫描器的控制信号；逆量化器，使上述量化值逆量化。输出上述各块对应的块化图象信号的频率成分；逆频率变换器，使该频率成分逆频率变换，输出上述块化图象信号，逆分块器，根据表示上述编码处理中的频率变换处理是以帧单位还是以场单位进行处理的频率变换类型信息，使上述块化图像信号逆块化。输出数字图象信号。
本发明(方案11)的图象处理装置是把输入的数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号在上述每个块进行各块的图象信号的编码处理的图象处理装置，具有分块器，在作为频率变换处理单位的每个帧或场集中上述数字图象信号，在对应于上述各块进行块化的同时，输出上述块化的图象信号以及表示上述频率变换处理单位的频率变换类型信息；频率变换器，在上述每个块对上述块化的图象信号进行频率变换，输出与各块的图象信号对应的频率成分；量化器，使该频率成分量化，输出与各块的图象信号对应的量化值；预测器，根据位于作为上述编码处理对象的被编码块周边的已编码块对应的量化值，生成对应于上述被编码块的量化值的预测值，输出该预测值和有关上述预测值生成处理的种类的预测信息；第1加法器，输出从对应于上述被编码块的量化值减去上述预测值的差分值；第2加法器，将上述差分值和上述预测值相加，把该相加值作为与已编码块对应的量化值并输出；多个扫描器，进行上述差分值的并列交换，使并列交换顺序不同；扫描控制器，根据上述预测信息及上述频率变换类型信息，输出选择用于上述差分值并列交换的扫描器的控制信号，可变长编码器，对上述并列交换后的差分值进行可变长编码。
本发明(方案12)的图象处理装置是在构成1表示画面的各个块中，通过包含频率变换处理的编码处理，对使数字图象信号编码得到的图象编码信号，在每个块进行解码处理的图象处理装置，具有可变长解码器，对各块对应的图象信号频率成分的量化值，进行预测处理、并列交换处理以及可变长编码处理，将得到的编码列，再进行可变长解码；多个逆扫描器；对上述并列交换后的量化值，进行使该配列顺序返回到并列交换前的配列顺序的并列交换处理，使并列交换处理时顺序不同；逆扫描控制器，根据表示上述频率变换处理种类的频率变换类型信息以及表示上述预测处理种类的预测信息，输出选择用于上述量化值并列交换的逆扫描器的控制信号；逆量化器，使上述量化值逆量化，输出与上述各块对应的块化图象信号的频率成分；逆频率变换器，对上述频率成分进行逆频率变换，输出上述块化图象信号；逆分块器，根据上述频率变换类型信息使上述块化图象信号逆块化，输出数字图象信号。
本发明(方案13)的图象处理方法是把数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理的图象处理方法，根据把帧作为1单位的帧频率变换处理以及把场作为1单位的场频率变换处理中的任一个频率变换处理，把作为该编码处理对象的被编码块的图象信号变换为频率成分，根据已编码块的图象信号对应的频率成分的分布，设定对于上述被编码块的图象信号对应的频率成分的编码处到顺序，按照设定的处理顺序，顺次对上述被编码块的图象信号对应的频率成分进行编码。
本发明(方案14)的图象处理方法是在构成1表示画面的各个块中，通过包含频率变换处理的编码处理，对使数字图象信号编码得到的图象编码信号，在每个块进行解码处理的图象处理方法，根据由对应于已解码块的图象信号频率成分的分布决定的配列顺序，并列交换按规定顺序使各个频率成分编码得到的输入信号，生成作为解码处理对象的被解码块对应的频率成分，对上述被解码块对应的频率成分进行逆频率变换处理，再生该被解码块对应的图象信号。
本发明(方案15)的图象处理方法是把数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理的图象处理方法，根据把帧作为1单位的帧频率变换处理以及把场作为1单位的场频率变换处理中的任一个频率变换处理，把作为该编码处理对象的被编码块的图象信号变换为频率成分，根据位于上述被编码块周边的已编码块对应的频率成分，按照规定的预测处理，生成被编码块的频率成分的预测值，根据表示是否进行适当的顺序设定的标志信息，交替进行根据上述预测处理的种类，适当设定对上述被编码块频率成分和其预测值的差分值的编码处理顺序的第1顺序设定操作以及不管上述预测处理的种类，把上述处理顺序设定为特定顺序的第2顺序设定操作，根据设定的处理顺序，顺次对该被编码块对应的差分值进行编码，与上述标志信息一起发送或存储。
本发明(方案16)的图象处理方法是在构成1表示画面的各个块中，通过包含频率变换处理的编码处理，对使数字图象信号编码得到的编码图象信号，在每个块进行解码处理的图象处理方法，根据表示是否进行与上述输入信号一起输入的适当的并列交换的标志信息，交替进行以下操作对按规定顺序实施了预测处理的各种频率成分进行编码得到的输入信号，根据上述预测处理的种类适当并列交换的第1并列交换操作；不局限于上述预测处理的种类，按特定顺序并列交换该输入信号的第2并列交换操作，根据位于作为解码处理对象的被解码块周边的已解码块对应的频率成分，按照上述预测处理种类，生成对应于该被解码块频率成分的预测值，根据上述并列交换后的输入信号和上述预测值，生成被解码块对应的频率成分，对上述被解码块对应的频率成分，进行逆频率变换处理，再生上述被解码块对应的图象信号。
本发明(方案17)的图象处理方法是把数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理的图象处理方法，根据与包含该被编码块的表示画面不同的已编码表示画面对应的图象信号规定的预测处理，生成作为该编码处理对象的被编码块图象信号的预测值，根据把帧作为1单位的帧频率变换处理及把场作为1单位的场频率变换处理中任一种频率变换处理，将上述被编码块的图象信号及其预测值的差分值变换为频率成分，根据表示是否进行适当的顺序设定的标志信息，交替进行根据上述预测处理种类适当地设定上述被编码块频率成分的编码处理顺序的第1顺序设定操作，以及不局限于上述预测处理种类把上述处理顺序设定为特定顺序的第2顺序设定操作，根据设定的处理顺序对该被编码块对应的频率成分顺次进行编码，并与上述标志一起发送或存储。
本发明(方案18)的图象处理方法是构成1表示画面的各个块中，通过包含频率变换的处理，对使数字图象信号编码得到的图象编码信号，在每个块进行解码处理的图象处理方法，根据表示是否进行与上述输入信号一起输入的适当的并列交换的标志信息，交替进行根据上述预测处理种类的顺序适当并列交换以规定顺序使经预测处理的频率成分进行编码得到的输入信号的第1并列交换操作，以及不局限于上述预测处理的种类以特定顺序并列交换该输入信号的第2并列交换操作，对上述并列交换后的输入信号进行逆频率变换处理，生成作为解码处理对象的被解码块对应的差分信号，根据包含与该被解码块的表示画面不同的已编码表示画面的图象信号，按上述预测处理种类生成该被解码块的图象信号的预测值，根据上述差分信号和上述预测值，再生被解码块对应的图象信号。
本发明(方案19)的图象处理装置是把输入的数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理的图象处理装置，具有分块器，在作为频率变换处理单位的每个帧或场集中上述数字图象信号，在进行对应于上述各块块化的同时，输出上述块化的图象信号以及表示上述频率变换的处理单位的频率变换类型信息；频率变换器，把上述块化过的图象信号在上述每个块进行频率变换，输出各块图象信号对应的频率成分，量化器，对该频率成分进行量化，输出各块图象信号对应的量化值；多个扫描器，对上述量化值按其配列顺序的并列交换设定规定的处理顺序，使并列交换处理时顺序不同；特性解析器，输出指定根据特性解析对上述量化器的输出进行适合各块量化值的并列交换的扫描器的扫描指定信号；一次存储上述特性解析器的扫描指定信号的存储；扫描控制器，根据上述存储器存储的扫描指定信号，输出选择用于作为编码处理对象的被编码块量化值的并列交换的扫描器的控制信号；对上述并列交换后的量化值进行可变长编码的可变长编码器。
本发明(方案20)的图象处理装置是在构成1表示画面的各个块中，通过包含以帧单位或场单位的频率变换处理的编码处理，对使数字图象信号编码得到的图象编码信号，在每个上述块进行解码处理的图象处理装置，具有可变长解码器，对各块对应的图象信号频率成分的量化值，进行并列交换处理以及可变长编码处理，将得到的编码列进行可变长解码；多个逆扫描器，对上述并列交换后的量化值，进行使该配列顺序返回到并列交换前的配列顺序的并列交换处理，使并列交换处理时顺序不同；特性解析器，根据上述逆扫描器的输出的特性解析，输出指定进行适合各块量化值的并列交换的逆扫描器的扫描指定信号；一次存储上述特性解析器的扫描指定信号的存储器；扫描控制器，根据上述存储器存储的扫描指定信号，输出选择用于作为上述解码处理对象的被解码块量化值的并列交换的逆扫描器的控制信号，逆量化器，对上述选择的逆扫描器输出的量化值进行逆量化，输出上述各块对应的图象信号频率成分，对上述频率成分进行逆频率变换，输出上述块化图象信号的逆频率变换器，逆分块器，根据表示上述编码处理中频率变换处理是否以帧单位或场单位的其中一个单位的处理的频率变换标志信息，对上述块化图象信号进行逆块化，输出数字图象信号。
本发明(方案21)的图象处理装置是把输入的数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块图象信号的编码处理的图象处理装置，具有分块器，在每个作为频率变换处理单位的帧或场集中上述数字图象信号，并对应上述各块进行块化的同时，输出上述块化的图象信号以及表示上述频率变换处理单位的频率变换类型信息；频率变换器，在每个上述块对上述块化图象信号进行频率变换，输出各块的图象信号对应的频率成分；量化器，对该频率成分进行量化，输出各块图象信号对应的量化值；预测器，根据位于被编码块周边的已编码块对应的量化值，生成上述被编码块对应的量化值的预测值，输出该预测值及有关上述预测值的生成处理种类的预测信息；第1加法器，从上述被编码块对应的量化值减去上述预测值，输出差分值；第2加法器，上述差分值与上述预测值相加，把上述相加值作为已编码块对应的量化值并输出；多个扫描器，进行上述差分值的并列交换，由选择信号选择，并且交换处理时使顺序不同；扫描控制器，根据上述预测信息，输出选择用于上述差分值并列交换的扫描器的第1控制信号；开关，根据在系统外部或系统内部生成的扫描转换信号，选择上述第1控制信号或选择特定扫描的第2控制信号其中之一，把该选择的控制信号作为上述扫描器的选择信号并输出；可变长编码器，对上述并列交换后的差分值进行可变长编码。
本发明(方案22)的图象处理装置是在构成1表示画面的各个块中，通过包含以帧单位或场单位的频率变换处理的编码处理，对使数字图象信号编码得到的图象编码信号，在每个块进行解码处理的图象处理装置，具有可变长解码器，对各块对应的图象信号频率成分的量化值，进行其预测处理、并列交换处理以及可变长编码处理，将得到的编码列进行可变长解码；多个逆扫描器，对上述并列交换后的量化值，进行使该配列顺序返回到并列交换前的配列顺序的并列交换处理，由选择信号选择，使并列交换处理时顺序不同；逆扫描控制器，根据表示预测处理种类的预测信息，输出选择用于上述量化值的并列交换的逆扫描器的第1控制信号；开关，根据扫描转换信号，选择上述第1控制信号或选择特定扫描的第2控制信号其中之一，把该选择的控制信号作为上述选择信号并输出；预测器，按照上述预测信息，根据位于被解码块周边的已解码块对应的量化值。生成上述被解码块对应的量化值的预测值；加法器，把上述预测值加到上述逆扫描器的输出；逆量化器，对上述加法器的输出进行逆量化。输出上述各块对应的图象信号的频率成分；逆频率变换器，对上述频率成分进行逆频率变换，输出上述块化图象信号；逆分块器，根据表示上述编码处理中的频率变换处理是否是以帧单位或场单位其中之一的处理的频率变换类型信息，对上述块化图象信号进行逆块化，输出数字图象信号。
本发明(方案23)的图象处理装置是把输入的数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理的图象处理装置，具有分块器，在每个作为频率变换处理单位的帧或场集中上述数字图象信号，并对应上述各块进行块化的同时，输出上述块化的图象信号以及表示上述频率变换处理单位的频率变换类型信息；第1加法器，从上述块化的图象信号减去上述块化图象信号的预测值，输出差分信号；频率变换器，在上述每个块对上述差分信号进行频率变换，输出各块的差分信号对应的频率成分；量化器，对该频率成分进行量化，输出各块图象信号对应的量化值；逆量化器，使上述量化值逆量化，输出各块的差分信号对应的频率成分；逆频率变换器，对上述逆量化器的输出进行逆频率变换，输出各块的差分信导；第2加法器，将上述逆频率变换器的输出和上述预测值相加，作为构成已编码表示画面的已编码块的图象信号，存储在帧存储器，预测器，根据上述帧存储器存储的已编码块的图象信号以及上述块化的图象信号，生成上述预测值，输出该预测值和有关上述预测值生成处理的预测信息；多个扫描器，进行上述量化值的并列交换，并列交换时顺序不同；扫描控制器，根据在系统外部或系统内部生成的扫描转换信号及上述预测信息，输出选择用于上述量化值的并列交换的扫描器的控制信号；可变长编码器，对上述并列交换后的量化值进行可变长编码。
本发明(方案24)的图象处理装置是在构成1表示画面的各个块中，通过包含以帧单位或场单位的频率变换处理的编码处理，对使数字图象信号编码得到的编码图象信号，在每个块进行解码处理的图象处理装置，具有可变长解码器，对各块对应的图象信号，进行其预测处理、频率变换处理、量化处理、并列交换处理以及可变长编码处理，将得到的编码列进行可变长解码；多个逆扫描器，对上述并列交换后的量化值，进行使该配列顺序返回到并列交换前的配列顺序的并列交换处理，使并列交换处理时顺序不同；逆扫描控制器，根据扫描转换信号及表示预测处理种类的预测信息，输出选择用于上述量化值并列交换的逆扫描器的控制信号；逆量化器，对上述逆扫描器的输出进行逆量化，输出上述各块对应的差分信号频率成分；逆频率变换器，对上述频率成分进行逆频率变换，输出上述各块对应的差分信号；加法器，将上述差分信号和上述各块对应的图象信号预测值相加，输出上述块化图象信号；帧存储器，将上述加法器的输出作为构成已解码表示画面的已解码块的图象信号存储，预测器，根据上述预测信息及已解码块的图象信号生成上述预测值；逆分块器，根据表示上述编码处理中的频率变换处理是否以帧单位或场单位的其中一个单位的处理的频率变换标志信息，对上述块化图象信号进行逆块化，输出数字图象信号。
本发明(方案25)的图象处理方法是把输入的数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理的图象处理方法，根据与包含该被编码块的表示画面不同的已编码表示画面对应的图象信号，通过规定的帧间预测处理，生成作为该编码处理对象的被编码块图象信号的帧间预测值，根据以帧为1单位的帧频率变换处理及以场为1单位的场频率变换处理的其中一个频率变换处理，把上述被编码块图象信号和其帧间预测值的画面间差分值或作为上述编码处理对象的被编码块图象信号变换为频率成分，根据位于上述被编码块周边的已编码块对应的频率成分，通过规定帧内预测处理，生成被编码块的频率成分帧内预测值，根据表示顺序设定的转换的标志信息，交替进行包含根据上述两预测处理种类的顺序，包含适当设定对于上述被编码块的频率成分和其帧内预测值的画面内差分值的编码处理顺序的处理的第1顺序设定操作；不局限于上述两予测处理种类，把上述处理顺序设定为特定顺序的第2顺序设定操作，根据设定的处理顺序，对该被编码块对应的画面内差分值进行顺次编码，与上述标志信息一起发送或存储。
本发明(方案26)的图象处理方法是在方案25记载的图象处理方法中，接收作为上述数字图象信号的隔行图象信号；在上述第1顺序设定操作中，对于由上述频率变换处理得到的频率成分对应于被编码块画面间差分值的帧间编码块，对该频率成分，按照沿表示画面水平方向排列成分和沿垂直方向排列成分间均等的优先顺位，从低频向高频进行处理顺序的设定，对于由上述频率变换处理得到的频率成分对应于被编码块图象信号的帧内编码块，对该频率成分，根据帧内预测处理的种类，适当进行从低频向高频的处理顺序的设定，在上述第2顺序设定操作中，无论是上述帧间编码块及帧内编码块，对由上述频率变换处理得到的频率成分，沿表示画面垂直方向排列成分比沿水平方向排列成分优先进行从低频向高频的处理顺序的设定。
本发明(方案27)的图象处理方法是在构成1表示画面的各个块中，通过包含频率变换处理的编码处理，对使数字图象信号编码得到的编码图象信号，在上述每个块进行解码处理的图象处理方法，根据表示与上述输入信号一起输入的并列交换的转换的标志信息，交替进行包含将按规定顺序对实施了帧间预测处理及帧内预测处理的各频率成分进行编码得到的作为解码处理对象的被解码块的输入信号，根据该两预测处理种类的顺序适当并列交换处理的第1并列交换操作，以及不局限于上述两预测处理种类按特定顺序并列交换的第2并列交换操作，根据在作为解码处理对象的被解码块周边的已解码块对应的频率成分，通过帧内预测处理生成该被解码块对应的频率成分的帧内预测值，根据上述并列交换后的输入信号和上述帧内预测值，生成被解码块对应的频率成分，对上述被解码块对应的频率成分进行逆频率变换处理，生成上述被解码块对应的图象信号或差分信号，对于该被解码块对应的差分信号，将根据与包含该被解码块的表示画面不同的已编码表示画面的图象信号通过上述帧间预测处理生成的该被解码块图象信号的帧间预测值，进行与上述差分信号的相加处理，生成对于被解码块的图象信号。
本发明(方案28)是在方案27记载的图象处理方法中，将上述解码处理对象作为编码图象信号，接收在上述各块对隔行图象信号进行编码得到的隔行图象编码信号，在上述第1并列交换操作中，对于由上述隔行图象信号的频率变换处理得到的频率成分对应于被编码块画面间差分值的帧间编码块，按从低频向高频的顺序，对在沿表示画面水平方向排列成分和沿垂直方向排列成分之间，实现按均等的优先顺位的处理顺序的均等设定的频率成分，根据该均等设定的处理顺序进行并列交换处理，对于由上述隔行图象信号的频率变换处理得到的频率成分对应于被编码块的图象信号的帧内编码块，按从低频向高频的顺序，根据帧内预测处理种类对实现适当的处理顺序的设定的频率成分，进行按该适当设定的处理顺序的并列交换处理，在上述第2并列并换操作中，对于上述帧间编码块及帧内编码块，按从低频向高频的顺序，对实现沿表示画面垂直方向的排列成分比沿水平方向排列成分优先的纵优先处理顺序的设定、由上述隔行图象信号的频率变换处理得到的频率成分，进行根据该纵优先顺序设定的处理顺序的并列交换处理。
本发明(方案29)的图象处理装置是把输入的数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理的图象处理装置，具有分块器，在作为频率变换处理单位的每个帧或场集中上述数字图象信号，在进行对应上述各块的块化的同时，输出上述块化的图象信号以及表示上述频率变换的处理单位的频率变换类型信息；帧间预测部件，对上述块化的图象信号进行帧间预测处理，在每个块输出该图象信号和其帧间预测值的画面间差分值对应的帧间预测处理数据，同时输出与上述帧间预测值的生成处理有关的帧间预测信息；帧内预测部件，根据位于被编码块周边的已编码块对应的帧间预测处理数据，生成上述被编码块对应的帧间预测处理数据的帧内预测值，在输出该帧间预测处理数据和其帧内预测值的画面内差分值的同时，输出上述帧为预测值的生成处理种类有关的帧内预测信息；多个扫描器，进行上述画面内差分值的并列交换，根据选择信号选择并使并列交换处理时顺序不同，扫描部件，根据上述帧间预测信息以及在系统外部或系统内部生成的扫描转换信号，选择用于上述差分值并列交换的扫描器；可变长编码器，对上述并列交换后的差分值进行可变长编码，根据上述扫描转换信号，交替进行包含限据上述两预测处理种类的顺序适当设定上述被编码块对应的画面内差分值的编码处理顺序的处理的第1顺序设定操作，以及不局限于上述两预测处理的种类，把上述处理顺序设定为特定顺序的第2顺序设定操作。
本发明(方案30)是在方案29记载的图象处理装置中，由从上述块化的图象信号减去上述块化图象信号的帧间预测值，输出差分信号的第1加法器，在上述每个块对上述差分信号进行频率变换，输出各块的差分信号对应的频率成分的频率变换器；对该频率成分进行量化，把各块的差分信对应的量化值作为上述帧间预测处理数据输出的量化器，对上述量化值进行逆量化，输出各块的差分信号对应的频率成分的逆量化器；对上述逆量化器的输出进行逆频率变换，输出各块的差分信号的逆频率变换器；把上述逆频率变换器的输出和上述帧间预测值相加，作为构成已编码表示画面的已编码块的图象信号存储在帧存储器的第2加法器；根据上述帧存储器存储的已编码块的图象信号及上述块化的图象信号，生成上述帧间预测值，输出该帧间预测值以及上述帧间预测值生成处理有关的帧间预测信息的帧间预测器，构成上述帧间预测部件，由根据位于被编码块周边的已编码块对应的量化值，生成上述被编码块对应的量化值的帧内预测值，输出该帧内预测值以，及上述帧内预测值的生成处理种类有关的帧内预测信息的帧内预测器，从上述被编码块对应的量化值减去上述帧内预测值，输出画面内差分值的第3加法器，上述差分值和上述帧内预测值相加，把该相加值作为上述已编码块对应的量化值予以输出的第4加法器构成上述帧内预测部件。
本发明(方案31)的图象处理装置是在构成1表示画面的各个块中，通过包含频率变换处理的编码处理，对使数字图象信号编码得到的编码图象信号，在每个块进行解码处理的图象处理装置，具有可变长解码器，对各块对应的图象信号进行帧间预测处理、帧内预测处理、频率变换处理、量化处理、并列交换处理以及可变长编码处理，将得到的编码列进行可变长解码；逆扫描部件，具有对上述并列交换后的量化值进行使该配列顺序返回并列并换前的配列顺序的并列交换处理且并列交换处理时顺序不同的多个逆扫描器，根据在系统外部或系统内部生成的扫描转换信号以及表示上述帧间预测处理种类的帧间预测信息和表示上述帧内预测处理种类的帧内预测信息，选择用于上述量化值并列交换的逆扫描器，帧内预测部件，按照上述帧内预测信息，根据位于被解码块周边的已解码块对应的量化值，生成上述被解码块对应的量化值的帧内预测值，输出上述逆扫描部件的输出和该帧内预测值的相加值；帧间预测部件，对该帧内预测部件的输出，根据上述帧间预测信息进行帧间预测处理，生成块化图象信号；逆分块器，根据表示上述频率变换处理单位的频率变换类型信息，对上述块化图象信号进行逆块化。输出数字图象信号，根据表示与上述输入信号一起输入的并列交换的转换的标志信息，交替进行包含按照上述两预测处理种类的顺序，对以规定顺序对实施了帧间预测处理的各种频率成分进行编码得到的被解码块输入信号作并列交换处理的第1并列交换操作，以及不局限于上述两预测处理的种类，按照特定顺序对该被解码块输入信号作并列交换的第2并列交换操作。
本发明(方案32)是在方案31记载的图象处理装置中，由按照上述帧内预测信息，根据位于被解码块周边的已解码块对应的量化值，生成上述被解码块对应的量化值的帧内预测值的帧内预测器以及在上述选择的逆扫描器输出上相加上述帧内预测值的第1加法器构或上述帧内预测部件；由使该第1加法器的输出逆量化，输出上述各块对应的差分信号的频率成分的逆量化器，对上述频率成分进行逆频率变换，输出上述各块对应的差分信号的逆频率变换器，把上述差分信号与上述各块对应的图象信号的帧间预测值相加，输出上述块化图象信号的第2加法器，把上述第2加法器的输出作为构成已编码表示画面的已编码块的图象信号存储的帧存储器；根据上述帧间预测信息和已编码块的图象信号，生成上述帧间预测值的帧间预测器构成上述帧间预测部件。
本发明(方案33)的数据存储媒体是存储图象处理程序的数据存储媒体，是根据方案1至8、方案13至18、或方案25或27中任一个记载的图象处理方法，由计算机进行图象处理构成上述图象处理程序。
图1是本发明实施例1的图象处理装置的图象编码装置结构方框图。
图2是上述实施例1及3使用的扫描控制器结构图例。
图3是实施例1及2适用的扫描转换方法的流程图例。
图4是实施例1及2适用的扫描转换方法的流程图例。
图5是本发明实施例1变形例的图象处理装置的图象编码装置结构方框图。
图6是本发明实施例2的图象处理装置的图象解码装置结构方框图。
图7是本发明实施例2变形例的图象处理装置的图象解码装置结构方框图。
图8是本发明实施例3的图象处理装置的图象编码装置结构方框图。
图9是实施例3及4适用的扫描转换方法的流程图例。
图10是实施例3及4适用的扫描转换方法的流程图例。
图11是本发明实施例3变形例的图象处理装置的图象编码装置结构方框图。
图12是本发明实施例4的图象处理装置的图象解码装置结构方框图。
图13是本发明实施例4变形例的图象处理装置的图象解码装置结构方框图。
图14是本发明实施例5的图象处理装置的图象编码装置结构方框图。
图15是上述实施例5及使用的特性解析器结构图例。
图16是实施例5及6适用的扫描转换方法的流程图例。
图17是本发明实施例5变形例的图象处理装置的图象编码装置结构方框图。
图18是本发明实施例6的图象处理装置的图象解码装置结构方框图。
图19是本发明实施例6变形例的图象处理装置的图象解码装置结构方框图。
图20是本发明实施例7的图象处理装置的图象编码装置结构方框图。
图21是本发明实施例8的图象处理装置的图象解码装置结构方框图。
图22是本发明实施例9的图象处理装置的图象编码装置结构方框图。
图23是实施例9及10适用的扫描转换方法的流程图例。
图24是本发明实施例10的图象处理装置的图象解码装置结构方框图。
图25是本发明实施例13的数据记录媒体结构图。
图26是现有图象处理装置的图象编码装置结构方框图。
图27是在每个DCT处理单位对图象信号进行块化处理的说明图。
图28是现有图象处理装置的图象解码装置结构方框图。
图29是现有图象处理装置的其它图象编码装置结构方框图。
图30是从概念上对帧内预测方法的说明图。
图31是在现有扫描转换方法中选择的扫描处理的扫描顺序图。
图32是其出现有图象处理装置的图象解码装置结构方框图。
图33是其他现有图象处理装置的图象编码装置结构方框图。
图34是其他现有图象处理装置的图象解码装置结构方框图。
图35是本发明实施例11的图象处理装置的图象编码装置结构方框图。
图36是上述实施例11的扫描转换方法的流程图例。
图37是本发明实施例12的图象处理装置的图象解码装置结构方框图。
图38是上述实施例12的扫描转换方法的流程图例。
下面参照
本发明的实施例。实施例1图1是表示本发明实施例1的图象编码装置构成的方框图。图中，100a是本实施例1的图象处理装置，该图象处理装置100a附加在图26的现有图象处理装置200a中，具有根据被编码块的DCT类型，进行转换扫描的适当的扫描转换处理的电路结构。这里，DCT类型是表示被编码块是帧DCT处理还是场DCT处理的信号。
也就是说，本实施例1的图象处理装置100a代替现有的图象处理装置200a的扫描器109，具有进行上述适当的扫描转换处理的扫描部100a1，其他的结构与上述图象处理装置200a是一样的。
该扫描部100a1具有设定扫描方法不同即量化值不同的处理顺序的n个扫描器10s1～109sn；第1开关108a根据控制信号116选择上述n个个扫描器之一，把量化器106的输出107供给该选择的扫描器；第二开关110a,根据控制信号116选择上述n个扫描器之一的输出，把选择的扫描器输出111供给上述可变长编码器112；扫描控制器115，根据从分块器102输出的DCT类型信息114，产生上述控制信号116。
以下说明其操作。
输入到本图象处理装置100a的隔行图象信号101在分块器102中对每个帧或每个场进行分块，从该分块器102输出各块对应的图象信号103。还从分块器102输出表示图象信号103的块化单位的DCT类型信号114。通过DCT器104的离散余弦变换，图象信号103被变换为DCT系数105，从该DCT器104输出各块对应的DCT系数，再通过量化器106的量化处理，DCT系数105变换为量化值107。
这时，扫描控制器115根据DCT类型信号114，输出用于控制开关108a及110a的控制信号116。根据该控制信号116，上述扫描部100a1选择上述扫描器109s1～109sn其中之一,由选择的扫描器对上述量化值107扫描。在上述量化值107中设定编码处理的顺序，该顺序设定的量化值111输出到可变长编码器112。按照设定顺序，量化值111由VLC器112进行可变长编码，被编码的量化值由VLC器112作为位流113输出。
图2(a)表示上述图象处理装置100a的扫描控制器115的电路结构。
构成上述扫描控制器115判定器501把DCT类型信号114作为输入，将控制信号116输出到各开关，由开关108及110a选择进行与被编码块的DCT类型适合的扫描处理的扫描器。
下面用图3的流程图说明判定器501的处理方法。该判定器501在步骤601根据DCT类型信号114判定被编码块DCT类型。当该判定结果是被编码块为帧DCT块的情况时，则上述判定器501在步骤602输出选择扫描器(1)109s1的控制信号116。另外，当上述判定结果是被编码块为场DCT块的情况时，判定器501在步骤603输出选择扫描器(2)109s2的控制信号116。
这里的扫描器(1)进行适合帧DCT块的扫描(对量化值的编码处理顺序的设定)。具体地说，可认为是按图31(a)所示顺序的扫描等。上述扫描器(2)进行适合场DCT块的扫描(对量化值的编码处理顺序的设定)。具体地说，可认为是按图31(c)所示顺序的扫描等。
在这种结构的实施例1中，由于根据被编码块的DCT类型选择适合的扫描，因此即使对于帧DCT块和场DCT块混杂的隔行图象编码，也可以使扫描宽度变长，提高编码效率。
上述实施例1扫描控制器采用了图2(a)所示的电路，也可以采用图2(b)所示的电路结构。
图2(b)所示的扫描控制器115a除了上述判定器502外还具有保持已编码块的DCT类型信号的存储器503。
在该扫描控制器115a中，判定器502根据被编码块的DCT类型信号114及已编码块的DCT类型信号504，对被编码块选择适合的扫描，对于该被编码块的量化值进行选择的扫描处理，为此要把控制信号116输出到开关108a和110a。
下面用图4的流程图说明判定器502的又一种处理方法。该扫描控制器115a的判定器502在步骤701根据DCT类型信号114判定被编码块的DCT类型。
当该判定结果是被编码块为帧DCT块的情况时，判定器502在步骤702根据已编码块的DCT类型信号504进行与已编码块相邻块的DCT类型的判定。另一方面，当被编码块是场DCT块的情况时，判定器502在步骤703根据已编码块的DCT类型信号504进行与已编码块相邻块的DCT类型的判定。
当在步骤702的判定结果是已编码块为帧DCT块的情况时，上述判定器502在步骤704输出选择扫描器(1)109s1的控制信号116。另一方面，当在上述步骤702的判定结果是已编码块为场DCT块的情况时，判定器502在步骤705输出选择扫描器(2)109s2的控制信号116。
当在步骤703的判定结果是已编码块为帧DCT块的情况时，上述判定器502在步骤706输出选择扫描器(3)109s3的控制信号116。另一方面，当上述步骤703的判定结果是已编码块为场DCT块的情况时，判定器502在步骤707输出选择扫描器(4)109s4的控制信号116。
这样，根据被编码块及相邻块的DCT类型的组合，在步骤704、705、706及707选择4种扫描。
具体地说，当被编码块及相邻块都是场DCT处理的情况时，认为被编码块图象信号的高频成分多，因此在步骤704选择高频成分对应的量化值优先的扫描处理。当被编码块或相邻块仅其中之一是场DCT处理的情况时，认为被编码块图象信号的高频成分稍多，因此在步骤705及706选择高频成分对应的量化值稍加优先的扫描处理。
当被编码块及相邻块都是帧DCT处理的情况时，认为被编码块图象信号的高频成分少，因此在步骤707选择低频成分对应的量化值优先的扫描处理。
采用这样的结构，在判定时不仅可用被编码块的DCT类型，也可用相邻块的DCT类型，与图3所示实施例1的方法(参照图2(a))相比。可更精细控制扫描，选择更适合的扫描。因此，可使扫描宽度更长，进一步提高编码的效率。
在上述实施例1中，示出了在编码处理时通常进行的适当的扫描操作的情况，但是也可以根据规定的控制信号，交替进行该适当的扫描的编码处理操作以及未进行上述适当扫描的编码处理操作。
图5表示这种结构实施例1的变形例的图象编码装置。图中，100a’是上述实施例1的变形例的图象编码装置，该图象编码装置100a’具有在上述实施例1的图象编码装置100a中代替通常进行相应的扫描操作的扫描部100a1的扫描部100a’，扫描即100a’根据扫描方式转换信号1201，转换进行该适当扫描的扫描方式以及不进行上述适当扫描的扫描方式。
该图象编码装置100a’的扫描部100a1’除了上述实施例1的扫描部100a1的电路外，还具有方式开关1203a,根据扫描方式转换信号1201，选择扫描控制器115的控制信号116，以及为了选择多个扫描器中特定一个的予设定扫描选择信号1202其中之一,把该选择的信号作为上述各开关108a、110a的控制信号1204并输出。
这里，扫描方式转换信号1201是从系统(图象编码装置)外部通过手动操作供给的信号。上述扫描选择信号1202选择适合隔行图象的特定扫描(例如图31(c)的扫描)。上述扫描方式转换信号1201也可以根据VLC器112的输出113，根据监控编码效率得到的监控结果输出，以代替由上述手动操作供给的方式。
在这种结构的实施例1的变形例中，必要时可断开适当的扫描，实施特定的扫描，使编码处理高效简化在上述实施例1及其变形例中，对在进行隔行图象信号编码处理时转换帧DCT处理和场DCT处理的图象编码装置进行了说明，然而，上述图象编码装置在进行逐行图象编码处理时也可以根据图象内容转换帧DCT处理和场DCT处理。
这时，根据图象内容，转换帧DCT处理和场DCT处理，对于特定的逐行图象编码处理，可提高VLC的效率。实施例2图6是说明本发明实施例2的图象处理装置的方框图，图中，100b是本实施例2的图象处理装置，该图象处理装置100b附加在图28所示的已有图象处理装置200b上，具有根据被解码块DCT类型，进行转换逆扫描的逆扫描转换处理的电路结构。这里，DCT类型是表示信号，表示被解码块对于与其对应的编码块是否进行了帧DCT处理和场DCT处理的其中任一项处理。
也就是说，本实施例2的图象处理装置100b具有进行上述适宜的逆扫描转换处理的逆扫描部100b1，代替已有图象处理装置200b的逆扫描器202，其他结构与上述图象处理装置200b一样。
逆扫描部100b1具有逆扫描方法不同，即把进行了顺序并列交换的量化值返回到原来顺序，分别进行不同并列交换处理的n个逆扫描器202s1～202sn；根据控制信号116选择上述n个逆扫描器其中之一，把可变长解码器201的输出111供给该选择的逆扫描器的第1开关108b；根据控制信号116选择上述n个逆扫描器其中之一的输出，把选择的逆扫描器的输出107供给逆量化器203的第2开关110b；根据图象编码装置100a的分块器102输出的DCT类型信息114，产生上述控制信号116的逆扫描控制器115b。
下面说明其操作。
图象处理装置100a输出的位流113通过VLD器201的可变长解码处理变换为量化值111，从VLD器201输出该量化值111。这时，逆扫描控制器115b根据图象处理装置100a的DCT类型信号114，把选择逆扫描器的控制信号输出到上述各开关108b及110b。
由上述控制信号选择的逆扫描器对上述量化值111进行逆扫描，输出在编码处理中并列交换前的配列顺序的量化值107。该量化值107在逆量化器203进行逆量化，从该逆量化器203输出被解码块对应的DCT系数105。该DCT系数105通过在逆DCT器204的逆离散余弦变换，变换为被解码块对应的图象信号103，图象信号103在逆分块器205中根据DCT类型信号114被逆块化，作为与1个表示画面对应的图象信号101被输出。
在这种结构的本实施例2的图象处理装置100b中，由于进行使用适宜的逆扫描转换方法的解码，即使在逐行图象及隔行图象中任一个的DCT系数的可变长解码处理中，使用实施例1的适宜的扫描转换方法，对于已编码的位流113，也可有效和正确地解码图象信号。
在上述实施例2中，是根据被解码块DCT标志信号114来选择逆扫描器的，但是如上述实施例1中已经说明的一样，也可以不仅根据被解码块的DCT类型信号，而且根据与该被解码块相邻的已解码块的DCT类型信号，选择逆扫描器。
在上述实施例2中表示了解码处理时通常进行的适宜逆扫描操作的情况，但是也可以根据规定的控制信号，交替进行实施该适宜的逆扫描的解码处理操作和未实施上述适宜的逆扫描的解码处理操作。
图7表示这种结构的实施例2变形例的图象解码装置。图中，100b’是上述实施例2变形例的图象解码装置，该图象解码装置10b’具有在解码处理时根据扫描方式转换信号1201转换进行该适宜的逆扫描的扫描方式以及不进行上述适宜的逆扫描的扫描方式的逆扫描部100b’，以代替在上述实施例2的图象解码装置100b解码处理时通常进行适宜的逆扫描操作的逆扫描部100b1。
该图象解码装置100b’的逆扫描部100b1’除了实施例2的逆扫描部100b1的电路外，根据扫描方式转换信号1201还具有方式开关1203b，选择逆扫描控制器115b的控制信号116和为了选择多个逆扫描器中特定的一个而予先设定的逆扫描选择信号1202b两个信号中之一，把该选择的信号作为上述各开关108b、110b的控制信号1204输出。
上述逆扫描选择信号1202b与上述图象编码装置10a’的扫描选择信号1202一样，也可用于选择适合隔行图象的特定扫描(例如图31(c)的扫描对应的逆扫描)。
这种结构的实施例2的变形例，在解码处理时，可以根据需要停止逆扫描操作，实施特定的逆扫描，即使图象编码装置停止了扫描操作而实施特定扫描时，也可以正确地对图象编码信号进行解码。
在上述实施例2及其变形例中，已经对进行隔行图象信号编码处理时，转换帧DCT处理和场DCT处理的图象编码装置对应的图象解码装置进行了说明，该图象解码装置也可以是在进行逐行图象编码处理时，根据图象内容转换帧DCT处理和场DCT处理的图象编码装置对应的图象解码装置。
这时，根据图象内容转换帧DCT处理和场DCT处理，也可以对由特定逐行图象的编码处理得到的图象编码信号正确解码。实施例3图8是表示本发明实施例3的图象处理装置结构的方框图。图中，100c是本实施例3的图象处理装置，该图象处理装置100c具有根据不仅是第1预测信息(有关帧内预测的第1参数)309a还有被编码块的DCT类型信息114，产生控制信号116的扫描控制器310c，以代替图29所示已有图象处理装置200c的扫描控制器1401c。这里。有关帧内预测的第1参数309a与已有图象编码装置200c一样，包含AC预测的ON/OFF信息和预测方向信息，第2预测信息309b仅包含AC预测的ON/OFF信息。这样，由于传送到解码侧的第2预测信息309b不包含与用于图象编码装置扫描控制的第1预测信息309a不同的预测方向信息，因此即使在预测方法变更等情况下，也不必变更输出到解码侧的第2预测信息309b的内容，可容易地实现预测方法的变更。但是，第2预测信息309b与第1预测信息309a一样,当然也可以包含不仅是AC预测的ON/OFF信息还有预测方向信息。
也就是说，本实施例3的图象编码装置100c与实施例1的图象编码装置100a的不同处是增加了进行帧内预测的预测部100c2，以及在扫描控制中使用有关帧内预测的第1参数309a,把第2参数309b输出到解码侧。
在上述图象处理装置100c的扫描部100c1中的开关108c、110c以及n个扫描器109sl～109sn都与图1所示实施例1的对应部分的结构一样。
下面说明其操作。但是与实施例1图象处理装置100a相同的操作，省略说明。
上述预测器305根据已编码块的量化值306生成被编码块的量化值107的预测值，输出该预测值303。预测器305还输出有关预测值303生成的第1、第2参数309a、309b。量化值107在加法器301中与预测值303进行减法处理，其结果作为差分值302被输出。扫描控制器310c根据DCT类型114及第1参数309a，对开关108c及110c输出控制信号116。差分值302由开关108c及110c选择，由扫描器109sl～109sn中任何一个扫描器扫描，作为差分值307被输出。该差分值307在VLC器112中进行可变长编码，作为位流308被输出。上述差分值302在加法器304中与预测值303进行加法处理，该相加结果作为上述已编码块的量化值306被输出。
图2(c)表示扫描控制器310c的一个例子。
图2(c)中，扫描控制器310c由判定器505构成，该判定器505把DCT类型信号114及有关帧内预测的第1参数309a作为输入，选择适合被编码块的DCT类型的扫描器，该选择的扫描器的扫描处理在上述已量化的DCT系数上进行，把控制信号116输出到开关108c及110c。
用图9的流程图说明判定器505的处理方法的一个例子。判定器505在步骤801，根据DCT类型信号114判定被编码块的DCT类型。当其判定结果是被编码块为场DCT块时，在步骤807输出选择扫描器(4)的控制信号。
当上述判定结果是被编码块为帧DCT块时，在步骤802进行AC预测的ON、OFF的判定。当该判定结果是AC预测为OFF时，在步骤806判定器505输出选择扫描器(3)的控制信号。
在AC预测是ON的情况下，在步骤803进行预测参照方向的判定。当该判定结果是参照方向为横方向时，在步骤805判定器505输出选择扫描器(2)的控制信号。当在步骤803的判定结果是参照方向为纵方向时，在步骤804判定器505输出选择扫描器(1)的控制信号。
这里，扫描器(1)的扫描处理是适合纵方向预测情况的帧DCT块的扫描，具体地说，相当于图31(b)所示顺序的扫描处理等。扫描器(2)的扫描处理是适合横方向预测情况的帧DCT块的扫描，具体地说，相当于图31(c)所示顺序的扫描处理等。扫描器(3)的扫描处理是适合未进行AC预测情况的帧DCT块的扫描，具体地说，相当于图31(a)所示顺序的扫描处理等。扫描器(4)的扫描处理是适合场DCT块的扫描，具体电说，相当于图31(c)所示顺序的扫描处理等。
这种结构的本实施例3，根据有关帧内预测的第1参数309a即不仅是AC预测的ON/OFF信息及AC预测的参照方向信息还有被编码块的DCT类型114，选择适合的扫描处理，即使对于帧DCT块和场DCT块混杂的隔行图象编码，也可以使扫描宽度变长，提高编码的效率。
上述实施例3的扫描控制器结构如图2(c)所示，扫描控制器采用图2(d)所示的电路图2(d)所示的扫描控制器310a除了判定器506外，还具有保持已编码块的DCT类型信号的存储器503。
在该扫描控制器301a中，已编码块的DCT类型信号504由存储器503保持。判定器506根据被编码块的DCT类型信号114、已编码块的DCT类型信号504以及有关帧内预测的第1参数309a，选择适合被编码块的扫描器，在上述预测部的输出进行选定扫描器的扫描处理，把控制信号116输出到开关108c及110c。下面用图10的流程图说明判定器506处理方法的一个例子。该处理方法是图4及图9方法的组合。
扫描控制器310a的判定器506在步骤901根据DCT类型信号114判定被编码块的DCT类型。当该判定结果是被编码块为场DCT块时，判定器506在步骤903，根据已编码块相邻块的DCT类型信号504进行已编码块相邻块的DCT类型的判定。当相邻块为场DCT块时，判定器506在步骤911输出选择扫描器(6)的扫描处理的控制信号。另一方面，当相邻块为帧DCT块时，判定器506在步骤910输出选择扫描器(5)的扫描处理的控制信号。
当上述步骤901的判定结果是被编码块为帧DCT块时，判定器506在步骤902根据已编码块相邻块的DCT类型信号504进行已编码块相邻块的DCT类型的判定。
当该判定结果是已编码块为场DCT块时，上述判定器506在步骤909输出选择扫描器(4)的控制信号116。另一方面，当上述步骤902的判定结果是已编码块为帧DCT块时，判定器506在步骤904进行AC预测的ON、OFF的判定。当该判定结果是AC预测为OFF时，在步骤908判定器506输出选择扫描器(3)的控制信号。
当AC预测为ON时，在步骤905进行预测参照方向的判定。当该判定结果是参照方向为横方向时，在步骤907判定器506输出选择扫描器(2)的控制信号。当上述步骤905的判定结果是参照方向为纵方向时，在步骤906，判定器506输出选择扫描器(1)的控制信号。
采用这种结构，根据不仅是有关帧内预测的第1参数309a及被编码块的DCT类型114还有相邻块的DCT类型504，选择适合的扫描，与图2(c)所示扫描控制器310c的扫描控制方法相比，可更精细地控制扫描，可选择更适合的扫描。因此，可使扫描宽度更长，进一步提高了编码的效率。
上述实施例3中示出了编码处理时进行扫描操作的情况，但是按照规定的控制信号，也可使进行上述适宜的扫描的编码处理操作和未进行适宜的扫描的编码处理操作交替进行。
图11表示这种结构的实施例3变形例的图象编码装置。图中，100c’是上述实施例3变形例的图象编码装置，该图象编码装置100c’具有根据扫描方式转换信号1201转换进行该适宜扫描的扫描方式和不进行上述适宜扫描的扫描方式的扫描部100c1’，以代替上述实施例3图象编码装置100c的进行扫描操作的扫描部100c1。
该图象编码装置100c'的扫描部100c1’附加在上述实施例3的扫描部100c1的电路上，具有方式开关1203，根据扫描方式转换信号1201，选择扫描控制器310c的控制信号116和为了选择多个扫描器中特定的一个而予先设定的扫描选择信号1202其中之一，作为控制各开关108c、110c的控制信号1204，输出该选择的信号。
这里，扫描方式转换信号1201是从系统(图象编码装置)外部通过手动操作提供的信号。上述扫描选择信号1202用于选择适合隔行图象的特定扫描(例如图31(c)的扫描)。上述扫描方式转换信号1201可由上述手动操作提供，也可以根据VLC器112的输出308监控编码效率，而根据该监控结果予以输出。
这种结构的实施例3的变形例，必要时可以停止扫描，而实施特定的扫描，可有效地简化编码处理。
在上述实施例3及其变形例中，对进行隔行图象信号的编码处理时转换帧DCT处理和场DCT处理的图象编码装置作了说明，但是上述图象编码装置在进行逐行图象的编码处理时，也可以根据图象内容转换帧DCT处理和场DCT处理。
这时，根据图象内容转换帧DCT处理和场DCT处理，对于特定的逐行图像的编码处理，可提高VLC的效率。实施例4图12是说明本发明实施例4的图象处理装置的方框图，图中，100d是本实施例4的图象处理装置，该图象处理装置100d具有逆扫描控制器310d,不仅根据相当于第1预测信息(有关帧内预测的第1参数)309a的控制用预测信息309a’而且还根据被解码块的DCT类型信息114来产生控制信号116，以代替图32所示已有图象处理装200d的逆扫描控制器1401d。
也就是说。该图象解码装置100d与实施例2的图象解码装置100b的差别是增加了进行帧内预测的预测部100d2，以及在逆扫描控制中使用了相当于帧内预测的第1参数309a的控制用预测信息309a'。
上述图象处理装置100d的逆扫描部100d1中的开关108d、110d以及n个逆扫描器202sl～202sn与图6所示实施例2的对应部分相同。
下面说明其操作。
当由实施例3的图象编码装置100c输出的位流308输入到本图象处理装置100d时，该位流308在VLD器201中进行可变长解码，作为差分值307被输出。这时，逆扫描控制器310d根据图象编码装置100c的DCT类型信号114以及上述预测部100d2的控制用预测信息309a1，把选择逆扫描器的控制信号116输出到上述各开关108d及110d。
在上述控制信号116选择的逆扫描器中，该差分值307进行逆扫描处理，并作为进行了并列交换处理的差分值302被输出，再在预测部100d2变换为对应的量化值107。该量化值107在逆量化器203被逆量化，并作为DCT系数105被输出。该DCT系数105在逆DCT器204进行逆离散余弦变换，作为图象信号103被输出。该图象信号103在逆分块器205根据DCT类型信号114进行逆块化，并作为1个表示画面对应的隔行图象信号101被输出。
在这种结构的本实施例4的图象解码装置100d中，预测部100d2不仅根据图象编码装置100c的第2预测信息309b生成的控制用预测信息309a,还用与被解码块的DCT类型信息114相适应的逆扫描转换方法进行解码处理，因此在对逐行图象或隔行图象进行DCT系数的可变长解码处理时，也可以用实施例3使用的扫描转换方法对编码的位流进行有效和正确的解码，再生出图象信号。
上述实施例4中，根据被解码块的DCT类型信号114选择逆扫描器，但是如上述实施例3的说明一样，不仅根据被解码块的DCT类型信号，也可根据与该被解码块相邻的已解码块的DCT类型信号选择逆扫描器。
在上述实施例4中示出了在解码处理时进行逆扫描操作的情况，但是按照规定的控制信号，也可使进行逆扫描的解码处理操作和未进行上述逆扫描的解码处理操作交替进行。
图13表示这种结构的实施例4的变形例的图象解码装置。图中，100d’是上述实施例4的变形例的图象解码装置，该图象解码装置100d’具有逆扫描部100d1’，在解码处理时根据扫描方式转换信号1201，转换进行该逆扫描的扫描方式和不进行上述逆扫描的扫描方式，以代替上述实施例4的图象解码装置100d中在解码处理时进行逆扫描操作的逆扫描部100d1。
该图象解码装置100d’的逆扫描部100d1’在实施例4的逆扫描部100d1的电路上，还设有方式开关1203d，根据扫描方式转换信号1201，选择逆扫描控制器310d的控制信号116和为了选择多个逆扫描器中特定的一个而预先设定的逆扫描选择信号1202d的其中之一，作为上述各开关108d、110d的控制信号1204，输出该选择信号。
这里，上述逆扫描选择信号1202d与上述图象编码装置100c’的扫描选择信号1202一样，可用于选择适合隔行图象的特定逆扫描(例如相当于图31(c)的扫描的逆扫描)。
这种结构的实施例4的变形例，在解码处理时，可根据需要停止逆扫描操作而实施特定的逆扫描，在图象编码装置停止扫描操作而实施特定扫描时，也可以对图象编码信号进行正确解码。
在上述实施例4及其变形例中已经对进行隔行图象信号编码处理时转换帧DCT处理和场DCT处理的图象编码装置所列应的图象解码装置进行了说明，但是该图象解码装置也可以是在进行逐行图象编码处理时，根据图象内容转换帧DCT处理和场DCT处理的图象编码装置所对应的图象解码装置。
这时，根据图象内容转换帧DCT处理和场DCT处理，即可正确地对由特定逐行图象编码处理得到的图象编码信号进行解码。实施例5图14是表示本发明实施例5的图象处理装置结构的方框图。图中，100e是本实施例5的图象处理装置(图象编码装置)，该图象编码装置100e附加在图26所示已有图象处理装置200a上，具有根据位于被编码块周边的一个以上已编码块的最适合的扫描方法.进行转换对被编码块的扫描方法的扫描转换处理的电路结构。具体地说，本实施例5的图象编码装置100e具有进行上述扫描转换处理的扫描部100e1，以代替已有图象处理装置200a的扫描器109，其他的结构与上述已有图象处理装置200a一样。
该扫描部100e1具有扫描方法不同也就是设定量化值不同的处理顺序的n个扫描器109s1～109sn；根据控制信号1306选择上述n个扫描器中的任一个，把量化器106的输出107供给该选择的扫描器的第1开关108e；根据控制信号1306选择上述n个扫描器中任一个的输出，把选择的扫描器的输出111供给上述可变长编码器112的第2开关110e。
上述扫描部100e1还具有对于上述量化器106的输出107，判定最适当扫描(用于编码的处理顺序)的特性解析器1301；把该判定结果作为表示上述最适当扫描的信息1302存储的存储器1303；根据该存储器1303存储的信息，也就是有关已编码块的最适当扫描的信息1304，对被编码块的量化值进行最适当扫描，由上述控制信号1306控制上述各开关108e、110e的扫描控制器1305。
下面说明其操作。
输入到本图象编码装置100e的隔行图象信号101对每帧或每场由分块器102进行分块，从该分块器102输出各块对应的图象信号103。从分块器102还输出表示图象信号103的块化单位的DCT类型信号114。上述图象信号103通过DCT器104的离散余弦变换，变换为DCT系数105，从该DCT器104输出与各块对应的DCT系数。DCT系数105再通过量化器106的量化处理，变换为量化值107。
这时，特性解析器1301判定被编码块量化值107的最适当扫描，把表示最适当扫描的信息1302存储到存储器1303。扫描控制器1305根据存储器1303存储的已编码块的最适当扫描的信息1304，输出控制开关108e及110e的控制信号1306。根据该控制信号1306选择上述扫描器中的任一个，上述量化值107通过选择的扫描器进行扫描。
在上述量化值107中设定编码处理的顺序，该顺序设定的量化值111输出到可变长编码器112。在VLC器112，量化值111根据设定顺序进行可变长编码，并作为该VLC器112的位流113被输出。
图15表示上述图象编码装置100e的特性解析器1301的详细电路结构。
如该图所示，上述特性解析器1301具有有与各上述扫描器109s1～109sn的扫描顺序对应的n个评价函数，在由该扫描器109s1～109sn对量化值107进行扫描时，输出评价值的n个评价函数电路1801f1～1801fn；根据该输出进行判定的判定器1803。这里，上述判定器1803比较评价值1801f1～1801fn，判定评价最高的扫描作为对量化值107的最适合扫描，并输出表示最适合扫描的信息1302。也就是说，上述判定器1803根据从上述各评价函数电路1801fl～1801fn输出的评价值，判定由上述信息源编码部200a1得到的各块对应的DCT系数(频率变换)的分布，根据该判定结果输出表示最适合扫描的信息1302。
上述评价函数可以认为是把按对应的扫描器的扫描顺序选择的多个(例如10个)DCT系数之和作为评价值的函数，若可变长编码效率越高的扫描，评价值越高，则也可不考虑其他函数。
用图16所示的流程图，说明扫描控制器1305的处理方法之一例。
该扫描控制器1305在步骤1601，根据表示在存储器1303存储的已编码块的最适合扫描的信息1304，判定位于被编码块正上面的上侧宏块和位于其左边的左侧宏块的最适合扫描是否一样。当该判定结果是上述2个宏块的最适合扫描不同时，在步骤1605输出选择扫描器(3)109s3的控制信号1306。另一方面,当上述2个宏块的最适合扫描相同时，在步骤1602判定上侧及左侧宏块的最适合扫描是否是上述扫描(1)～扫描(n)其中之一。当上侧及左侧宏块的最适合扫描是扫描(1)时，在步骤1603输出选择扫描器(1)109s1的控制信号1306。当上侧及左侧宏块的最适合扫描是扫描(2)时，在步骤1604输出选择扫描器(2)109s2的控制信号1306。
这种结构的实施例5根据位于被编码块周边的已编码块的最适合扫描选择恰当的扫描，因此即使对于帧DCT块和场DCT块混杂的隔行图象编码，也可以使扫描宽度加长，提高编码的效率。
上述实施例5中示出了编码处理时进行扫描操作的情况。但是也可以根据规定的控制信号，使进行该扫描的编码处理操作和不进行上述扫描的编码处理操作交替进行。
图17表示这种结构实施例5的变形例的图象编码装置。图中，100e’是上述实施例5的变形例的图象编码装置，该图象编码装置100e’具有根据扫描方式转换信号1201转换进行该扫描的扫描方式和不进行上述扫描的扫描方式的扫描部100e1’，以代替上述实施例5图象编码装置100e中进行扫描操作的扫描部100e1。
该图像编码装置100e’的扫描部100e1’附加在上述实施例5的扫描部100e1的电路上，具有方式开关203e，根据扫描方式转换信号1201，选择扫描控制器1305的控制信号116和为了选择多个扫描器中特定的一个而预先设定的扫描选择信号1202其中之一，并把该选择的信号作为控制各开关108e、110e的控制信号1204输出。
这里，扫描方式转换信号1201是通过系统(图象编码装置)的外部手动操作提供的信号。上述扫描选择信号1202选择适合隔行图象的特定扫描(例如图31(c)的扫描)。上述扫描方式转换信号1201，代替如上所述由手动操作提供，可根据VLC器112的输出113监控编码效率，并根据该监控结果进行输出。
这种结构实施例5的变形例，必要时可停止扫描而进行特定的扫描，可更简化编码处理。
在上述实施例5及其变形例中，已经对进行隔行图象信号编码处理时转换帧DCT处理和场DCT处理的图象编码装置进行了说明，但是上述图象编码装置也可以在进行逐行图象编码处理时，根据图象内容转换帧DCT处理和场DCT处理。
这时，根据图象内容进行了帧DCT处理和场DCT处理的转换，对于特定的逐行图象编码处理，可以提高VLC的效率。实施例6图18是说明本发明实施例6的图象处理装置的方框图，该图象处理装置附加在图28所示已有图象处理装置200b上，具有根据位于被解码块周边的一个以上已解码块的最适合逆扫描进行转换被解码块逆扫描的逆扫描转换处理的电路。
具体地说，本实施例6的图象处理装置100f具有进行上述逆扫描转换处理的逆扫描部100f1，以代替已有图象处理装置200b的逆扫描器202，其他结构与上述已有图象处理装置200b相同。
该逆扫描部100f1具有逆扫描方法不同也就是使已按顺序并列交换的量化值返回到原来顺序的并列交换，进行各个不同并列交换处理的n个逆扫描器202s1～202sn；根据控制信号1306选择上述n个逆扫描器其中之一，把可变长解码器201的输出111供给该选择的逆扫描器的第1开关108f，根据控制信号1306选择上述n个逆扫描器其中之一的输出，把选择的逆扫描器的输出107供给逆量化器203的第2开关110f。
上述逆扫描部100f1还具有对上述逆扫描器的输出107，判定最适合逆扫描的特性解析器1301；把该判定结果作为表示上述最适合逆扫描的信息1302并予以存储的存储器1303；根据存储器1303存储的信息。也就是有关已解码块的最适合逆扫描的信息，产生为了选择对被解码块最适合逆扫描的上述控制信号1306的逆扫描控制器1305f。这里的特性解析器1301与上述实施例5的特性解析器是相同结构。
下面说明其操作。
从上述图象编码装置100e输出的位流113，通过VLD器201的可变长解码处理，变换为量化值111’再从VLD器201输出该量化值111。这时，特性解析器1301判定对被解码块的量化值107的最适合逆扫描，把表示最适合逆扫描的信息1302存储到存储器1303。逆扫描控制器1305f根据表示存储在该存储器1303的已解码块的最适合逆扫的信息1304，把选择上述多个逆扫描器202s1～202sn其中之一的控制信号1306，输出到上述各开关108f及110f。
在由上述控制信号1306选择的逆扫描器中，对上述量化值111进行逆扫描，输出编码处理的并列交换前配列顺序的量化值107。该量化值107在逆量化器203进行逆量化，从该逆量化器203输出被解码块对应的DCT系数105。该DCT系数105通过逆DCT器204的逆离散余弦变换，变换为被解码块对应的图象信号103，图像信号103根据逆分块器205的DCT类型信号114被逆块化，并作为1表示画面对应的图象信号101输出。
这种结构的本实施例6的图象解码装置100f，由于进行了采用适宜的逆扫描转换方法的解码处理，因此对于逐行图象及隔行图象任何一种的DCT系数的可变长解码处理，都可以采用实施例5的扫描转换方法，从编码位流113有效且正确地再生出图象信号。
上述实施例6中示出了在解码处理时通常进行适宜的逆扫描操作的情况，但是按照规定的控制信号，也可使进行适宜的逆扫描的解码处理操作和未进行上述适宜的逆扫描的解码处理操作交替进行。
图19表示这种结构的实施例6的变形例的图象解码装置。图中，100f’是上述实施例6的变形例的图象解码装置，该图象解码装置100f’具有在解码处理时通过扫描方式转换信号1201转换进行该逆适宜扫描的扫描方式和不进行该适宜逆扫描的扫描方式的逆扫描部100f1’，以代替上述实施例6图象解码装置100f在解码处理时，进行逆扫描操作的逆扫描部100f1。
该图象解码装置100f’的逆扫描部100f1’在实施例6的逆扫描部100f1的电路上，还设有方式开关1203f，根据扫描方式转换信号1201选择逆扫描控制器1305f的控制信号1306和为了选择多个逆扫描器中特定的一个而预先设定的逆扫描选择信号1202e其中之一，并作为上述各开关108f、110f的控制信号1204输出该选择的信号。
这种结构的实施例6的变形例，在解码处理时，可根据需要停止逆扫描操作而实施特定的逆扫描，在图象编码装置停止扫描操作而实施特定扫描时，也可以对图象编码信号进行正确解码。
在上述实施例6及其变形例中，已经对进行隔行图象信号编码处理时转换帧DCT处理和场DCT处理的图象编码装置所对应的图象解码装置进行了说明，但是该图象解码装置也可以是在进行逐行图象编码处理时，根据图象内容转换帧DCT处理和场DCT处理的图象编码装置所对应的图象解码装置。
这时，根据图象内容转换帧DCT处理和场DCT处理，即可正确地对由特定逐行图象编码处理得到的图象编码信号进行解码。实施例7图20是表示本发明实施例7的图象处理装置结构的方框图。图中，100g是本实施例7的图象处理装置(图象编码装置)，该图象编码装置100g具有根据编码处理时的需要，转换进行适宜扫描的扫描方式和不进行上述适宜扫描的扫描方式的扫描部100g1，以代替图29所示已有图象处理装置200c进行编码处理时进行扫描的扫描部200c1。
也就是说，该图象编码装置100g的扫描部100g1在已有图象编码装置200c的扫描部200c1的电路上，还设有方式开关1203g，根据扫描方式转换信号1201，选择扫描控制器1401c的控制信号116和为了选择多个扫描器中特定的一个而予先设定的扫描选择信号1202其中之一，并把该选择的信号作为控制各开关108c、110c的控制信号1204g输出。其他结构与上述现有图象编码装置200c是一样的。
在这种结构的图象编码装置100g中，方式开关1203g根据由系统(图象编码装置)100g外部的手动操作提供的扫描方式转换信号1201，适宜地选择用于选择多个扫描中的1个的控制信号116和选择适合隔行图象的特定扫描的扫描选择信号1202其中之一，并把选择的信号供给开关108c及110c。
这时，在通过上述方式开关1203g选择了上述扫描选择信号1202的情况下，上述各开关108c、110c根据该扫描选择信号1202，选择实施图31(c)所示扫描的扫描器109s3，上述量化值107不局限于上述第1预测信息309a如何，可通过该选择的扫描器109s3进行扫描处理。
另一方面，当通过上述方式开关1203g选择了上述控制信号116时，则在上述扫描部100g1进行与图29所示已有图象编码装置200c中扫描部200c1完全相同的扫描处理。
其他操作与图29的所示已有图象编码装置200c完全一样。
采用这种结构的本实施例7，必要时可停止扫描而实施适合隔行图象的特定扫描，因此可使隔行图象信号的编码处理更加简化。
上述扫描方式转换信号1201可不由上述手动操作提供，根据VLC器112的输出308监控编码效率，并根据该监控结果输出。
在上述实施例7中已经对隔行图象信号的编码处理进行了说明，但作为编码处理对象的图象信号不限于这些，例如，与横格状等的隔行图象同样，即使对于奇数列或偶数列扫描线间的象素值相关高的逐行图象等也是可以的，这时也可以得到与上述实施7同样的效果。实施例8图21是说明本发明实施例8图象处理装置的方框图。图中，100h是上述实施例8的图象处理装置(图象解码装置)，该图象解码装置100h具有根据解码处理时的需要，转换进行适宜逆扫描的逆扫描方式和不进行上述适宜逆扫描的逆扫描方式的逆扫描部100h1，以代替图32所示已有图象处理装置200d在解码处理时进行逆扫描的逆扫描部200d1。
该图象解码装置100h的逆扫描部100h1在已有图象解码装置200d的逆扫描部200d1的电路上，还设有方式开关1203h，根据扫描方式转换信号1201，选择逆扫描控制器1401的控制信号116和为了选择多个逆扫描器中特定的1个而预先设定的逆扫描选择信号1202其中之一，并把该选择的信号作为控制各开关108d、110d的控制信号1204h输出。其他结构与上述已有图象解码装置200d相同。
在这种结构的图象解码装置100h中，方式开关1203h根据由系统(图象解码装置)100h外部的手动操作提供的扫描方式转换信号1201，选择用于选择多个逆扫描中的1个的控制信号116和选择适合隔行图象的特定逆扫描的逆扫描选择信号1202其中之一,并把选择的信号供给开关108d及110d。
这时，当通过上述方式开关1203h选择了上述逆扫描选择信号1202时，上述各开关108d、110d根据该逆扫描选择信号1202选择实施相当于图31(c)所示扫描的逆扫描的逆扫描器202s3，上述量化值307不局限于上述控制用预测信息309a通常通过该选择的逆扫描器202s3进行逆扫描处理。
另一方面，当上述方式关1203h选择了上述控制信号116时，上述逆扫描部100h1将进行与图32所示已有图象解码装置200d的逆扫描部200d1完全一样的逆扫描处理。
其他操作与图32所示已有图象解码装置200d完全相同。
采用这种结构的本实施例8，必要时可停止逆扫描而实施适合隔行图象的特定逆扫描，因此可对隔行图象信号的编码信号，进行更简化的解码处理。
在上述实施例8中已经对隔行图象信号的解码处理进行了说明，但作为上述解码处理对象的图象不限于这些，例如，与横格状等的隔行图象同样，即使对于奇数列或偶数列扫描线间的象素值相关性高的逐行图象等也是可以的，这时也可以得到与上述实施例8同样的效果。实施例9图22是表示本发明实施例9的图象处理装置结构的方框图。图中，100i是本实施例9的图象处理装置(图象编码装置)，该图象编码装置100i具有根据不仅是预测信息(参数)1015，还有通过系统(图象编码装置)外部的手动操作提供的扫描方式转换信号1201，适宜地转换扫描的扫描部100i1，以代替图33所示已有图象处理装置的扫描部200e1。
本实施例9的图象编码装置100i的扫描部100i1具有扫描方法不同也就是设定量化值不同的处理顺序的n个扫描器199s1～199sn；根据控制信号116i选择上述n个扫描器其中之一并把量化器106的输出107供给该选择的扫描器的第1开关108a；根据控制信号116i选择上述n个扫描器其中任一个的输出并把选择的扫描器的输出1005供给上述可变长编码器112的第2开关110a；根据有关来自上述预测部200e2的预测的参数1015以及来自上述外部的扫描方式转换信号1201产生上述控制信号116i的扫描控制器1501i。
具体地说，扫描器(1)199s1由图29所示预测部200c2的各构成要素301、304、305以及图29所示扫描部200c1的各构成要素108c、110c、109s1～109s3、1401c构成，也就是上述扫描器199s1在编码处理时，对未进行帧间预测的块(帧内编码块)进行帧内预测处理，与此同时，根据有关该预测值生成的预测信息，选择构成该扫描器199s1的扫描器109s1～109s3其中任一个。构成上述扫描器199s1的扫描器109s1～109s3的其中之一，按图31(a)所示顺序进行量化值的扫描。
上述扫描器(2)199s2按图31(a)所示顺序进行扫描，扫描器(3)199s3按图31(c)所示顺序进行扫描，扫描器(4)199s4按图31(a)或图31(c)所示顺序进行扫描。
本实施例9的图象编码装置100i的其他结构与图33所示已有图象编码装置200e相同。
下面说明其操作。但是，与图33所示已有图象编码装置200e相同的操作，省略说明。
用图23的流程图说明扫描控制器1501i的处理方法这一例。
在步骤1701，通过该扫描控制器1501i，进行表示与被编码块的编码有关信息的帧间预测参数1015的判定，当该判定结果是被编码块为帧内编码时，在步骤1702进行扫描方式转换信号1201的判定，其结果是扫描方式转换信号1201为OFF时，在步骤1704输出选择扫描器(1)199s1的控制信号116i。另一面，当扫描方式转换信号1201为ON时，在步骤1705输出选择扫描器(3)199s3的控制信号116i。当上述步骤1701的判定结果是被编码块为帧间编码时，在步骤1703进行扫描方式转换信号1201的判定。其结果是扫描方式转换信号1201为OFF时，在步骤1706输出选择扫描器(2)199s2的控制信号116i。另一方面，当扫描方式转换信号1201为ON时，在步骤1707输出选择扫描器(4)199s4的控制信号116i。
采用这种结构的本实施例9，对各个帧内编码宏块和帧间编码宏块，根据有关预测的参数1015及扫描方式转换信号1201进行多个扫描的转换，因此可实施适合各编码方法的扫描，即使对于频率成分的分布不同的帧间编码宏块和帧内编码宏块混杂的隔行图象信号的帧间编码处理，也可以加长扫描宽度，提高编码的效率。
在上述实施例9中，已经说明了进行隔行图象信号编码处理时转换帧DCT处理和场DCT处理的图象编码装置，但是上述图象编码装置也可以在进行逐行图象编码处理时，根据图象内容转换帧DCT处理和场DCT处理。
这时，根据图象内容，进行帧DCT处理和场DCT处理的转换，对于特定的逐行图象编码处理，也可提高VLC的效率。实施例10图24是表示本发明实施例10的图象处理装置结构的方框图。图中，100i是本实施例10的图象处理装置(图象解码装置)，该图象解码装置100j具有根据不仅是预测值1015还有上述扫描方式转换信号1201，转换逆扫描的逆扫描部100j1，以代替图34所示已有图象解码装置200f的逆扫描部200f1。
本实施例10图象解码装置100j的逆扫描部100j1具有逆扫描方法不同也就是为了使已经顺序并列交换的量化值返回到原来的顺序，分别进行不同并列交换处理的n个逆扫描器292s1～292sn；根据控制信号116i选择上述n个逆扫描器其中任一个,把可变长解码器201的输出1005供给该选择的逆扫描器的第1开关108b；根据控制信号116i选择上述n个逆扫描器中任一个的输出，把选择的逆扫描器的输出1004供给逆量化器203的第2开关110b；根据有关来自上述预测部200e2的预测的参数1015以及来自上述外部的扫描方式转换信号1201，产生上述控制信号116i的逆扫描控制器1501j。这里，上述逆扫描器292s1～292sn与上述图象编码装置100i的扫描器199s1～199sn对应。
该实施例10的图象解码装置100j的其他结构与图34所示已有图象解码装置200f相同。
该图象解码装置100j中，上述逆扫描控制器1501j使用了与实施例9的扫描控制器1501i同样的方法，仅仅是根据有关上述预测的参数1015以及上述扫描方式转换信号1201输出控制信号116i这一点，与已有的图象解码装置200f不同。采用这种结构的本实施例10，由于根据有关预测的参数1015以及上述扫描方式转换信号1201转换扫描进行解码，因此在逐行图象及隔行图象任一个的DCT系数可变长解码处理时，也可采用实施例9的扫描转换方法，对已编码的位流1006进行有效和正确的解码，再生与该位流对应的图象信导。
在上述实施例10中，已经对与在进行隔行图象信号编码处理时转换帧DCT处理和场DCT处理的图象编码装置所对应的图象解码装置进行了说明，但是该图象解码装置也可以是在进行逐行图象编码处理时，根据图象内容转换帧DCT处理和场DCT处理的图象编码装置所对应的图象解码装置。
这时，根据图象内容，进行了帧DCT处理和场DCT处理的转换，对于由特定的逐行图象编码处理得到的图象编码信号，可以正确地解码。实施例11图35是表示本发明实施例11的图象处理装置结构的方框图。图中，100k是本实施例11的图象处理装置(图象编码装置)，该图象编码装置100k具有分块器102，把输入的图象信号101分割成分别对应于构成1表示画面的多个块，生成分块图象信号103；信息源编码部100k1，对分块的图象信号103和其帧间预测值1008的差分值(画面间差分值)1002进行信息源编码处理；预测部100k2，对该信息源编码部100k1的输出(量化值)1004进行帧内预测处理生成预测值(帧内预测值)303，在输出该量化值1004和其帧内预测值303的差分值(画面内差分值)302的同时，输出第1、第2预测信息309a、309b。这里，上述第1预测信息309a包含表示AC预测的ON或OFF的信息(ON/OFF信息)以及表示进行AC预测时的预测参照方向的信息(预测方向信息)，上述第2预测信息309仅包含表示AC预测的ON或OFF的信息(ON/OFF信息)。
上述图象处理装置100k还具有扫描部100k3，根据有关该预测部100k2的预测值生成的第1参数(第1帧内预测信息)309a、有关信息源编码部100k1的预测值生成的参数(帧间预测信息)1015、以及通过系统(图象编码装置)外部的手动操作提供的扫描方式转换信号1201，对上述画面内差分值302转换扫描处理；可变长编码器(VLC处理器)112，根据在该扫描部100k3设定的处理顺序，对该扫描部100k3的输出1005进行可变长编码，对各块图象信号生成编码列(位流)1006。
本实施例11中，上述信息源编码部100k1与图33所示已有图象处理装置200e的信息源编码部200e2具有完全相同的结构，而且上述预测部100k2也与图29所示已有图象处理装置200c的预测部200c2具有完全相同的结构。
本实施例11的扫描部100k3根据上述扫描方式转换信号1201，进行以下操作的转换对帧内编码块由上述扫描器199k1进行适宜扫描处理，对帧间编码块由上述扫描器199k2进行锯齿形扫描处理的第1扫描操作；对帧内编码块由上述扫描器199k3进行纵方向优先的扫描处理，对帧间编码块由上述扫描器199k4进行与上述纵方向优先的扫描处理有不同顺序的纵方向优先的扫描处理的第2扫描操作。
换言之，上述扫描部100k3具有扫描方法不同也就是设定量化值不同的处理顺序的n个扫描器199k1～199kn；根据控制信号116k选择上述n个扫描器其中任一个，把上述预测部100k2的输出302供给该选择的扫描器的第1开关108a；根据控制信号116k选择上述n个扫描器其中任一个的输出，把选择的扫描器的输出1005供给上述可变长编码器112的第2开关110a；根据有关来自上述信息源编码部100k1的预测器1012的预测的参数(帧间预测信息)1015以及来自外部的扫描方式转换信号1201，产生上述控制信号116k的扫描控制器1501k。
具体地说，扫描器(1)199k1由图29所示的扫描部200c1的各构成元件108c、110c、109s1～109s3、1401c构成，也就是上述扫描器199k1根据有关帧内编码块的预测值生成的第1帧内预测信息309a，选择构成该扫描器199k1的扫描器109s1～109s3其中任一个。构成上述扫描器199k1的扫描器109s1～109s3中的一个，按图31(a)所示的顺序进行量化值的扫描(锯齿形扫描)。上述扫描器(2)199k2按图31(a)所示顺序进行锯齿形扫描，上述扫描器(3)199k3按图31(c)所示顺序进行纵方向优先的扫描，扫描器(4)199k4按与图31(c)所示顺序不同的顺序进行纵方向优先的扫描。
所谓纵方向优先的扫描，对于由块化图象信号的信息源编码得到的按8×8个矩阵状配列的量化值，是进行顺序设定的处理，以便在纵方向(对应于表示画面的垂直方向)排列成为进行规定个数的连续处理顺序。
下面说明其操作。
输入到本图象处理装置100k的隔行图象信号101，在分块器102的每帧或每场被块化，把与该分块器102的各块对应的图象信号103输出到信息源编码部100k1。这时，还从分块器102输出表示图象信号103的块化单位的DCT类型信号114。
在上述信息源编码部100k1进行分块的图象信号103的帧间预测编码处理。也就是说，分块图象信号103及其帧间预测值1008的差分值1002通过DCT器104的离散余弦变换，被变换DCT系数1003，再从该DCT器104输出各块对应的DCT系数1003。该DCT系数1003经量化器106的量化处理，变换为量化值1004，输出到上述预测部100k2。
这时，在上述信息源编码部100k1，上述量化值1004通过逆量化器203变换为相当于DCT系数1003的DCT系数1007，该DCT系数1007再经逆DCT器204变换为相当于上述差分值1002的差分信号1009。该差分信号1009在加法器1010与上述帧间预测值1008相加，该相加值1011作为参照图象信号存储在上述帧存储器1014。在上述预测器1012，根据该帧存储器1014存储的参照图象信号1013和上述块化图象信号103，生成上述帧间预测值1008。
在该图象编码装置100k中，当作为对被编码块的编码处理而进行帧内编码处理时，上述信息源编码部100k1的预测器1012将输出作为帧间预测值1008的0电平值；当作为对被编码块的编码处理而进行帧间编码处理时，上述预测器1012将输出各块对应电平的预测值1008。
上述预测部100k2对信息源编码部100k1输出的量化值1004进行帧内预测处理。也就是在预测部100k2首先由加法器301进行上述量比值1004与其帧内预测值303的减法处理，再把经减法处理的差分值302输出到上述扫描部100k3。这时，在上述预测部100k2，上述差分值302在加法器304与上述帧内预测值303相加，其相加值306输出到预测器305。在预测器305，用图30说明的方法，在根据该相加值306生成上述帧内预测值303的同时，输出有关预测值生成的第1、第2参数(第1、第2帧内预测信息)309a、309b。
上述预测部100k2的输出302在上述扫描部100k3，根据上述帧内预测信息309a、帧间预测信息1015以及扫描方式转换信号1201进行规定的扫描处理。
下面用图36所示的流程图说明由上述扫描部100k3的扫描控制器1501k处理的例子。
在步骤1801，由该扫描控制器1501k根据有关被编码块帧间预测编码处理的预测值生成的信息(帧间预测参数)1015，进行是否实施被编码块的帧内编码和帧间编码其中一种处理的判定。当该判定结果是被编码块为帧内编码时，在步骤1802进行扫描方式转换信号1201的判定。当该判定结果是扫描方式转换信号1201为OFF时，在步骤1804输出选择扫描器(1)199k1的控制信号116k。对帧内编码块对应的量化值1004进行帧内预测处理得到的差分值302，在扫描器(1)199k1中根据第1帧内预测信息309a,进行适当的扫描处理。
另一方面，当在上述步骤1802的判定结果是扫描方式转换信号1201为0N时，在步骤1805输出选择扫描器(3)199k3的控制信号116k。对帧内编码块对应的量化值1004进行帧内预测处理得到的差分值302，由扫描器(3)199k3进行纵方向优先的扫描处理。
当在上述步骤1801的判定结果是被编码块为帧间编码时，在步骤1803进行扫描方式转换信号1201的判定。当其结果是扫描方式转换信号1201为OFF时，在步骤1806输出选择扫描器(2)199k2的控制信号116k。对帧间编码块对应的量化值1004进行帧内预测处理得到的差分值302，由扫描器(2)199k2进行锯齿形扫描处理。
另一方面，当在上述步骤1803的判定结果是扫描方式转换信号1201为ON时，在步骤1807输出选择扫描器(4)199k4的控制信号116k。对帧间编码块对应的量化值1004进行帧内预测处理得到的差分值302，由扫描器(4)199k4进行与扫描器(3)199k3不同的纵方向优先的扫描处理。
由上述扫描部100k3设定了规定的处理顺序的被编码块的量化值由可变长编码器112编码，并作为位流(图象编码信号)1006被输出。
在这种结构的本实施例11中，由于在对隔行图象信号编码时，可根据扫描方式转换信号1201进行以下转换，即对帧内编码块的量化值进行适当扫描处理，而对帧间编码块量化值进行锯齿形扫描处理的第1编码方式；对帧内编码块的量化值进行第1纵方向优先的扫描处理，而对帧间编码块量化值进行第2纵方向优先的扫描处理的第2编码方式的转换，因此，对于频率成分的分布不同的帧间编码块和帧内编码块混杂的隔行图象信号的编码处理，可进一步提高编码效率。
在上述实施例11中，第1帧内预测信息309a与图象编码装置200c同样，包含AC预测的ON/OFF信息预测方向信息，而第2帧内预测信息309b仅包含AC预测的ON/OFF信息，也就是说由于传送到解码侧的第2帧内预测信息309b不包含与用于图象编码装置的扫描控制的第1帧内预测信息309不同的预测方向信息，因此在预测方法变更等的情况下，也不必变更输出到解码侧的第2帧内预测信息309b的内容，可容易适应预测方法的变更等。当然第2帧内预测信息309b与第1帧内预测信息309a一样,也可以包含不仅是AC预测的ON/OFF信息还有预测方向信息，在上述实施例11中，已经对隔行图象信号的编码处理进行了说明，但作为编码处理对象的数字图象信号不限于隔行图象信号。例如，在进行逐行图象编码处理时，根据图象内容，转换帧DCT处理和场DCT处理的图象编码装置，采用与上述实施例11同样的结构，对于逐行图象的编码处理，也可以提高VLC的效率。
在上述实施例11中，扫描器(3)199k3和扫描器(4)199k4进行不同纵方向优先的扫描处理，但是扫描器(3)199k3和扫描器(4)19k4都可以进行图31(c)所示纵方向优先的扫描处理。实施例12图37是本发明实施例12的图象处理装置的方框图。图中，100m是本实施例12的图象处理装置(图象解码装置)，是对由上述图象编码装置100k编码的图象编码信号1006进行解码的图象处理装置(图象解码装置)。
该图象解码装置100m具有可变长解码器(VLD)201’对上述图象编码信号1006进行可变长解码处理；逆扫描部100m1，对由该解码处理得到的量化值1005，进行逆扫描处理，以使该配列顺序返回到进行编码处理的并列交换处理前的配列顺序；预测部100m2，在实施了该逆扫描处理的被解码块所对应的量化值上，相加根据位于该被解码部周边的已解码块量化值预测的被解码块量化值(帧内预测值)303并输出；信息源解码部100m3，对作为该预测部100m2输出的量化值1004，进行信息源解码处理；逆分块器205，对作为该信息源解码部100m3输出的图象信号103，根据图象编码装置100k的DCT处理信息114进行逆分块，再生与1帧画面对应的图象信号101。
在本实施例12中，上述信息源解码部100m3具有与图34所示已有图象处理装置200f的信息源解码部200f1完全相同的结构，上述预测部100m2具有与图32所示已有图象解码装置200d的预测部200d2完全相同的结构。
本实施例12的逆扫描部100m1在上述实施例11的图象编码装置100k的扫描部100k3，根据第1帧内预测信息309a、帧间预测信息1015以及扫描方式转换信号1201，使已并列交换的量化值返回到原来的顺序。也就是说，具有n个逆扫描器292m1～292mn，使由上述扫描部100k3的各扫描器199k1～199kn进行扫描处理的量化值返回到原来的配列。上述逆扫描部100m1具有根据控制信号116m选择上述n个逆扫描器中的任一个并把可变长解码器器201的输出1005供给该选择的逆扫描器的第1开关108b；根据控制信号116m选择上述n个逆扫描器中任一个的输出并把该选择的逆扫描器输出302供给上述预测部100m2的第2开关110b；根据有关上述图象编码装置100k的预测的参数1015以及上述外部的扫描方式转换信号1201，产生上述控制信号116m的逆扫描控制器1501m。
这里，上述各逆扫描器292m1～292mn具有与上述图象编码装置100k的各扫描器199k1～199kn对应的结构。具体地说，逆扫描器(1)292m1由图32所示逆扫描部200d1的各构成要素108d、110d、202s1～202s3、1401d构成，也就是说，上述逆扫描器292m1根据相当于对帧内编码块的帧内预测值生成有关的第1帧内预测信息309a的控制用预测信息309a'，选择构成该逆扫描器92m1的逆扫描器202s1～202s3其中的任一个。构成上述逆扫描器292m1的逆扫描器202s1～202s3中的一个，进行与按图31(a)所示顺序的量化值的锯齿形扫描对应的逆扫描。上述逆扫描器(2)292m2进行按图31(a)所示顺序的锯齿形扫描对应的逆扫描，上述逆扫描器(3)292m3进行按图31(c)所示顺序的纵方向优先扫描对应的逆扫描，逆扫描器(4)292m4进行与按图31(c)所示顺序不同的顺序的纵方向优先扫描对应的逆扫描下面说明其操作。
该图象解码装置100m对上述图象编码信号1006，按与编码处理时的逆顺序，进行与图35所示图象编码装置100k的各变换处理对应的逆变换处理，即可正确进行图象编码信号1006的解码处理。
如下所述，上述图象编码信号1006首先由可变长解码器201进行可变长解码处理，变换为量化值1005，该量化值1005由上述逆扫描部100ml进行逆扫描处理。
下面用图38所示流程图说明由上述逆扫描部100ml的逆扫描控制器1501m进行的逆扫描处理。
首先，在步骤1901，根据有关被解码块的帧间预测解码处理的预测值生成的信息(帧间预测参数)1015，进行被解码块是否实施了帧内编码和帧间编码之中任一种编码处理的判定。当该判定结果是被解码块为帧内编码时，在步骤1902，进行扫描方式转换信号1201的判定。当该结果是扫描方式转换信号1201为OFF时，在步骤1904，输出选择逆扫描器(1)292m1的控制信号116m。帧内编码块对应的量化值1005，通过逆扫描器(1)292m1，根据按照图象编码装置100k的第2帧内预测信息309b在预测器401生成的控制用预测信息39a'，进行与适宜扫描处理对应的逆扫描处理。
另一方面，当上述步骤1902的判定结果是扫描方式转换信号1201为ON时，在步骤1905输出选择逆扫描器(3)292m3的控制信号116m。帧内编码块对应的量化值1015，由逆扫描器(3)292m3进行与纵方向优先的扫描处理对应的逆扫描处理。
当上述步骤1901的判定结果是被解码块为帧间编码时，在步骤1903进行扫描方式转换信号1201的判定。当该结果是扫描方式转换信号1201为OFF时，在步骤1906输出选择逆扫描器(2)292m2的控制信号116m。帧间编码块对应的量化值1015由逆扫描器(2)292m2进行与锯齿形扫描处理对应的逆扫描处理。
另一方面，当上述步骤1903的判定结果是扫描方式转换信号1201为ON时，在步骤1907输出选择逆扫描器(4)292m4的控制信号116m。帧间编码块对应的量化值1015，由逆扫描器(4)292m4进行与上述逆扫描器(3)292m3不同的纵方向优先的扫描处理对应的逆扫描处理。
作为上述逆扫描部100m1输出的量化值302，在预测部100m2与其帧内预测值303相加，该相加值1004输出到上述信息源解码器100m3。这时，在上述预测部100m2根据上述相加值1004和图象编码装置100k的第2帧内预测信息309b,用图30所示的方法生成上述帧内预测值303。
作为上述预测部100m2输出的量化值1004由信息源解码部100m3解码。上述量化值1004通过逆量化器203的逆量化处理，变换为DCT系数1003，该DCT系数1003再通过逆DCT器204的逆DCT处理，变换为差分信号1002。该差分信号1002在加法器1101与该帧间预测值1008相加，变换为图象信号103。这时，该图象信号103存储在帧存储器1014，在上述预测器1102，根据存储在帧存储器1014的图象信号1013和图象编码装置100k的预测参数1015，生成上述帧间预测值1008。
最后，上述图象信号103由上述逆分块器205根据图象编码装置100k的DCT类型信息114进行逆块化处理。再生1帧画面对应的图象信号101。
在这种结构的本实施例12中，当对由隔行图象信号编码得到的图象编码信号进行解码时，可根据扫描方式转换信号1201进行以下转换，即对帧内编码块的量化值进行适应扫描处理对应的逆扫描处理，对帧间编码块的量化值进行锯齿形扫描处理对应的逆扫描处理的第1解码方式；以及对帧内编码块的量化值进行第1纵方向优先的扫描处理对应的逆扫描处理，对帧间编码块的量化值进行第2纵方向优先的扫描处理对应的逆扫描处理的第2解码方式的转换，通过扫描处理的转换，可以更高的编码效率进行频率成分的分布不同的帧间编码块和帧内编码块混杂的隔行图象信号的编码处理，并对得到的图象编码信号正确解码。
在上述实施例12中，已经对隔行图象信号的解码处理进行了说明，是作为解码处理对象的数字图象信号不限于隔行图象信号。例如，在进行逐行图象编码处理时，根据图象内容，可转换帧DCT处理和场DCT处理的图象编码装置所对应的图象解码装置，与上述实施例12有同样的结构，能以高编码效率对逐行图象信号进行编码，并对得到的图象编码信号正确解码。
在上述实施例12中，第1帧内预测信息309a对应的控制用预测信息309a’，与已有图象解码装置200d同样,包含AC预测的ON/OFF信息和预测方向信息，而图象编码装置100k的第2帧内预测信息309b，仅包含AC预测的ON/OFF信息，也就是说，传送到解码侧的第2帧内预测信息309b与用于图象解码装置扫描控制的控制用帧内预测信息309a’不同，不包含预测方向信息，因此在预测方法变更的情况下，也不必变更输入到解码侧的第2帧内预测信息309b的内容，即可容易地与预测方法的变更等相对应。当然，第2帧内预测信息309b与控制用预测信息309a’同样，还可包含不仅是AC预测的ON/OFF还有预测方向信息。
上述实施例12中，逆扫描器(3)292m3和逆扫描器(4)292m4进行不同的纵方向优先扫描处理对应的逆扫描处理，然而，逆扫描器(3)292m3和逆扫描器(4)292m4中的任一个也可以进行图31(c)所示纵方向优先扫描处理对应的逆扫描处理。实施例13通过在软盘等数据存储媒体上记录为实现上述各实施例所示图象处理装置的图象处理的编码或解码程序，用独立的计算机系统可简单实施上述各实施例所示的处理。
图25是用存储上述编码或解码程序的软盘，由计算机系统实施上述实施例1到实施例12的图象编码或图象解码处理。
图25表示从软盘FD正面看到的外观以及园盘状磁存储媒体软盘本体D。软盘FD内装于外壳内，在该盘本体D的表面上从外周向内周形成同心园状多条磁道，各磁道在角度方向被分割为例如16个扇形面。这样，用存储了上述程序的软盘。在上述软盘本体D上分配的领域，记录着作为上述程序的数据。
如上所述，按照本发明(方案1、9、33)，根据该被编码块图象信号是否进行了帧频率变换处理、是否进行了场频率变换处理，设定被编码块图象信号对应的频率成分的编码处理顺序，即使对于帧DCT块和场DCT块混杂的隔行图象编码，也可使扫描宽度加长，因此，对于隔行图象编码也可以达到提高编码效率的效果。而且，对于帧DCT块和场DCT块混杂的特定逐行图象的编码处理，也可得到同样的效果。
按照本发明(方案2、10、33)，根据由该被解码块对应的图象信号进行的频率变换处理是以帧为1单位进行的帧变换处理还是以场为1单位进行的场变换处理而决定的配列顺序，对按规定顺序使各种频率成分编码得到的输入信号进行并列交换，生成作为解码处理对象的被解码块对应的频率成分，因此，对于逐行图象及隔行图象中任一种的DCT系数的可变长解码处理，采用适当的扫描转换方法，也就是适当转换编码处理顺序的方法，对已编码的位流，有效和正确地解码图象信号。
按照本发明(方案3、33)，根据对该被编码块图象信号实施的频率变换处理种类和对位于该被编码块周边的已编码块图象信号实施的频率变换处理种类的组合类型，设定被编码块图象信号对应的频率成分的编码处理顺序，因此可精细地控制上述编码顺序设定的扫描，选择更适当的扫描。由于更加长了扫描宽度，具有进一步提高编码效率的效果。
按照本发明(方案4、33)，根据由对该被解码块对应的数字图象信号实施的频率变换处理和位于该被解码块周边的已解码块对应的图象信号实施的频率变换处理的组合类型而决定的配列顺序，对按规定顺序使各种频率成分编码得到的输入信号进行并列交换，生成作为解码处理对象的被解码块对应的频率成分，因此，对于逐行图象及隔行图象中任一种的DCT系数的可变长解码处理，采用适当的扫描转换方法，也就是适当地转换编码处理顺序的方法，对已编码的位流，有效和正确地解码图象信号。
按照本发明(方案5、11、33)，根据对该被编码块图象信号实施的频率变换处理种类和预测处理种类的组合类型，设定被编码块频率成分和其预测值的差分值的编码处理顺序，因此，对于帧DCT块和场DCT块混杂的隔行图象编码，也可加长扫描宽度，提高编码效率。
按照本发明(方案6、12、33)，根据由对该被解码块对应的数字图象信号实施的频率变换处理种类和上述预测处理种类的组合类型决定的配列顺序，对按规定顺序使实施了预测处理的各种频率成分编码得到的输入信号进行并列交换，根据上述预测处理的种类，由位于作为解码处理对象的被解码块周边的已解码块对应的频率成分，生成该被解码块对应的频率成分预测值，因此，对于逐行图象及隔行图象中任一种的DCT系数的可变长解码处理，采用细致的适当扫描转换方法，也就是细致适当地转换编码处理顺序的方法，从已编码的位流，能有效和正确地解码图象信号。
按照本发明(方案7、33)，根据对该被编码块图象信号实施的频率变换处理种类、对位于该被编码块周边的已编码块图象信号实施的频率变换处理种类以及预测处理种类的组合类型，设定被编码块频率成分和其预测值的差分值的编码处理顺序，因此，可精细地控制上述编顺序设定的扫描，选择更适当的扫描。这样，可更加长扫描宽度，进一步提高编码的效率。
按照本发明(方案8、33)，根据由对该被解码块对应的图象信号实施的频率变换处理种类、对位于该被解码块周边的已解码块实施的频率变换处理种类以及上述预测处理种类的组合类型决定的配列顺序，对按规定顺序使实施了预测处理的各种频率成分编码得到的输入信号进行并列交换，根据上述预测处理种类，由位于作为解码处理对象的被解码块周边的已解码块对应的频率成分，生成该被解码块对应的频率成分的预测值，因此，采用细致的扫描转换方法，也就是细致适当地转换编码处理顺序的方法，从已编码的位流，能有效和正确地解码图象信号。
按照本发明(方案13、19、33)，根据适合已编码块的频率成分的编码处理顺序，设定被编码块频率成分的编码处理顺序，因此，对于帧DCT块和场DCT块混杂的隔行图象编码，可加长扫描宽度，提高编码效率。而且，对于帧DCT块和场DCT块混杂的特定逐行图象的编码处理，也可得到与上述同样的效果。
按照本发明(方案14、20、33)，根据由适合已解码块频率成分的编码处理次序决定的配列顺序，对按规定顺序使实施了预测处理的各种频率成分编码得到的输入信号进行并列交换，因此，对于逐行图象及隔行图象中任一种的DCT系数的可变长解码处理，采用细致适当的扫描转换方法，也就是细致适当地转换编码处理顺序的方法，从已编码的位流，能有效和正确地解码图象信号。
按照本发明(方案15、21、33)，在编码处理时，可根据需要停止扫描，而实施适合隔行图象和特定逐行图象的特定扫描，因此可有效简化隔行图象和特定逐行图象的编码处理。
按照本发明(方案16、22、33)，在解码处理时，可根据需要停止逆扫描，而实施适合隔行图象和特定逐行图象的特定扫描，因此可对在编码时停止扫描而实施了特定逆扫描的隔行图象和特定逐行图象正确解码。
按照本发明(方案17、23、33)，在编码处理时，可对各帧内编码宏块和帧间编码宏块，根据关于预测的参数及扫描转换信号转换多个扫描，能实施适于各种编码方法的扫描，即使对于频率成分分布不同的帧间编码宏块和帧内编码宏块混杂的隔行图象的帧间编码，也可以加长扫描宽度，提高编码效率。而且，对于频率成分分布不同的帧间编码宏块和帧内编码宏块混杂的特定逐行图象的帧间编码，也可以得到与上述同样的效果。
按照本发明(方案18、24、33)，在解码处理时，可对各帧内编码宏块和帧间编码宏块，根据关于预测的参数及扫描转换信号转换多个逆扫描，所以对各帧内编码宏块和帧间编码宏块，根据关于预测的参数及扫描转换信号转换多个扫描，从已编码的位流，能有效和正确地解码图象信号。
按照本发明(方案25、26、29、30、33)，在编码处理时，根据表示顺序设定转换的标志信息，进行以下转换，即包含对被编码块频率成分和其帧内预测值的画面内差分值，根据预测处理种类的顺序，适当设定编码处理顺序的处理的第1顺序设定操作；不局限于上述预测处理种类，把上述处理顺序设定为特定顺序的第2顺序设定操作的转换，对于频率成分分布不同的帧间编码宏块和帧内编码宏块混杂的隔行图象帧间编码，可进一步加长扫描宽度，提高编码效率。而且，对于频率成分分布不同的帧间编码宏块和帧内编码宏块混杂的特定逐行图象的帧间编码，也可得到与上述同样的效果。
具体地说，根据扫描方式转换信号1201，进行以下两种编码方式的转换在对隔行图象信号编码时，对帧内编码块的量化值进行扫描处理，而且对帧间编码块的量化值进行锯齿形扫描处理的第1编码方式转换；以及对帧内编码块的量化值进行第1纵方向优先的扫描处理，而且对帧间编码块的量化值进行第2纵方向优先的扫找处理的第2编码方式的转换，对于频率成分分布不同的帧间编码块和帧内编码块混杂的隔行图象信号的编码处理，可进一步提高编码效率。
按照本发明(方案27、28、31、32、33)，根据表示与上述输入信号一起输入的并列交换的转换的标志信息，交替地进行包含根据帧内预测处理种类的顺序适当地对解码处理时按规定顺序使实施了帧间预测处理的各种频率成分编码得到的作为解码处理对象的被解码块输入信号，进行并列交换处理的第1并列交换操作和不局限于上述预测处理种类按特定顺序并列交换该输入信号的第2并列交换操作，对各帧内编码宏块和帧间编码宏块，根据有关预测的参数及扫描转换信号转换多个扫描，从已编码的位流，能有效和正确地解码图象信号。
权利要求
1.一种图象处理方法，把数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理，其特征在于根据把帧作为1单位的帧频率变换处理以及把场作为1单位的场频率变换处理中的任一个频率变换处理，把作为该编码处理对象的被编码块的图象信号变换为频率成分，根据该被编码块图象信号是进行帧频率变换处理还是进行场频率变换处理，设定对于与上述被编码块的图象信号对应的频率成分的编码处理顺序，按照设定的处理顺序，顺次对与上述被编码块图象信号对应的频率成分进行编码。
2.一种图象处理方法，在构成1表示画面的各个块中，通过包含频率变换处理的编码处理，对使数字图象信号编码得到的图象编码信号，在每个块进行解码处理，其特征在于对按规定顺序使各频率成分进行编码得到的输入信号根据对作为上述解码处理对象的被解码块对应的图象信号进行的频率变换处理，是把帧作为1单位进行帧单位处理还是以场作为1单位进行场单位处理而决定的配列顺序进行并列交换，生成对应于上述被解码块的频率成分，将对应于该被解码块的频率成分进行逆频率变换处理，再生与该被解码块对应的图象信号。
3.一种图象处理方法，把数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理，其特征在于根据把帧作为1单位的帧频率变换处理以及把场作为1单位的场频率变换处理中的任一类频率变换处理，把作为该编码处理对象的被编码块的图象信号变换为频率成分，根据对该被编码块的图象信号实施的频率变换处理的种类以及对位于该被编码块周边的已编码块的图象信号实施的频率变换处理的种类之组合类型，设定对与上述被编码块的图象信号对应的频率成分的编码处理顺序，按照设定的处理顺序，顺次对与上述被编码块图象信号对应的频率成分进行编码。
4.一种图象处理方法，在构成1表示画面的各个块中，通过包含频率变换处理的编码处理，对使数字图象信号编码得到的图象编码信号，在每个块进行解码处理，其特征在于对按规定顺序使各频率成分进行编码得到的输入信号，根据对作为上述解码处理对象的被解码块对应的图象信号进行的频率变换处理以及在位于该被解码块周边的已编码块对应的图象信号进行的频率变换处理的组合类型决定的配列顺序进行并列交换，生成对应于上述被解码块的频率成分，将对应于该被解码块的频率成分进行逆频率变换处理，再生对应于该被解码块的图象信号。
5.一种图象处理方法，把数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理，其特征在于根据把帧作为1单位的帧频率变换处理以及把场作为1单位的场频率变换处理中的任一个频率变换处理，把作为该编码处理对象的被编码块的图象信号变换为频率成分，根据对应于上述被编码块周边的已编码块的频率成分，通过规定的预测处理生成被编码块的频率成分的预测值，根据对该被编码块的图象信号进行的频率变换处理种类和上述预测处理种类的组合类型，设定对上述被编码块的频率成分和其预测值的差分值的编码处理顺序，按设定的处理顺序，顺次使对应于该被编码块的差分值编码。
6.一种图象处理方法，在构成1表示画面的各个块中，通过包含频率变换处理的编码处理，对使数字图象信号编码得到的图象编码信号，在每个块进行解码处理，其特征在于根据对作为上述解码处理对象的被解码块对应的图象信号实施的频率变换处理的种类和上述预测处理的种类之组合类型决定的配列顺序，并列交换按规定顺序使经预测处理的各种频率成分编码得到的输入信号，根据对应于在上述被解码块周边的已解码块的频率成分，按照上述预测处理的种类生成对应于该被解码块的频率成分的预测值，根据上述并列交换后的输入信号和上述预测值，生成对应于被解码块的频率成分，对上述被解码块对应的频率成分进行逆频率变换处理，再生上述被解码块对应的图象信号。
7.一种图象处理方法，把数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理，其特征在于根据把帧作为1单位的帧频率变换处理以及把场作为1单位的场频率变换处理中的任一个频率变换处理，把作为该编码处理对象的被编码块的图象信号变换为频率成分，根据对应于在上述被编码块周边的已编码块的频率成分，按照规定的预测处理生成对应于被编码块的频率成分的预测值，根据对该被编码块的图象信号进行的频率变换处理的种类，对在该被编码块周边的已编码块的图象信号进行的频率变换处理的种类以及上述预测处理的种类之组合类型，设定对上述被编码块的频率成分和其预测值的差分值的编码处理顺序，按照设定的处理顺序，顺次对该被编码块对应的差分值进行编码。
8.一种图象处理方法，在构成1表示画面的各个块中，通过包含频率变换处理的编码处理，在上述每个块进行使数字图象信号编码得到的图象编码信号的解码处理，其特征在于根据对作为上述解码处理对象的被解码块对应的图象信号进行频率变换处理的种类、对在该被解码块周边的已解码块所对应的图象信号进行频率变换的种类以及上述预测处理的种类之组合类型决定的配列顺序，并列交换按规定顺序使已实施了预测处理的各种频率成分编码而得到的输入信号。根据在上述被解码块周边的已解码块所对应的频率成分，按照上述预测处理的种类，生成该被解码块对应的频率成分的预测期，根据上述并列交换后的输入信号和上述预测值，生成被解码块对应的频率成分，对上述被解码块对应的频率成分进行逆频率变换处理，再生上述被解码块对应的图象信号。
9.一种图象处理装置，把输入的数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理，其特征在于包括分块器，在作为频率变换处理单位的每个帧或场集中上述数字图象信号，在对上述各块进行块化的同时，输出上述块化的图象信号以及表示上述频率变换处理单位的频率变换类型信息；频率变换器，在各块对上述块化的图象信号进行频率变换，输出各块的图象信号对应的频率成分；量化器，使上述频率成分量化。输出各块图象信号对应的量化值；多个扫描器，按照该配列顺序的并列交换，在上述量化值中设定规定的处理顺序，并列交换处理时顺序不同；扫描控制器，根据上述频率变换类型信息，输出选择用于上述量化值并列交换的扫描器的控制信号；对上述并列交换后的量化值进行可变长编码的可变长编码器。
10.一种图象处理装置，在构成1表示画面的各个块中，通过包含以帧单位或场单位的频率变换处理的编码处理，对数字图象信号进行编码得到的图象编码信号，在上述每个块进行解码处理，其特征在于包括可变长解码器，对各块对应的图象信号频率成分的量化值进行并列交换处理及可变长编码处理得到的编码列，再进行可变长解码；多个逆扫描器，对上述并列交换后的量化值，进行使该配列顺序返回并列交换前的配列顺序的并列交换处理，输出上述量化值，并列交换处理时顺序不同；逆扫描控制器，根据表示上述频率变换处理的种类的频率变换类型信号，输出选择用于上述量化值并列交换的逆扫描器的控制信号；逆量化器，使上述量化值逆量化。输出上述各块对应的块化图象信号的频率成分；逆频率变换器，对该频率成分进行逆频率变换，输出上述块化图象信号；逆分块器，根据表示上述编码处理中的频率变换处理是以帧单位还是以场单位进行处理的频率变换类型信息。使上述块化图象信号逆块化。输出数字图象信号。
11.一种图象处理装置，把输入的数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理，其特征在于包括分块器，在作为频率变换处理单位的每个帧或场集中上述数字图象信号，在对应上述各块进行块化的同时，输出上述块化的图象信号以及表示上述频率变换处理单位的频率变换类型信息；频率变换器，在上述每个块对上述块化的图象信号进行频率变换，输出与各块的图象信号对应的频率成分；量化器，使该频率成分量化。输出与各块的图象信号对应的量化值；预测器，根据位于作为上述编码处理对象的被编码块周边的已编码块对应的量化值，生成对应于上述被编码块的量化值的预测值，输出该预测值和有关上述预测值生成处理的种类的预测信息；第1加法器，输出从对应于上述被编码块的量化值减去上述预测值的差分值；第2加法器，将上述差分值和上述预测值相加，把该相加值作为与已编码块对应的量化值并输出；多个扫描器，进行上述差分值的并列交换，并列交换顺序不同；扫描控制器，根据上述预测信息及上述频率变换类型信息。输出选择用于上述差分值并列交换的扫描器的控制信号器；可变长编码器，对上述并列交换后的差分值进行可变长编码。
12.一种图象处理装置，在构成1表示画面的各个块中，通过包含频率变换处理的编码处理，对于使数字图象信号编码得到的图象编码信号，在每个块进行解码处理，其特征在于包括可变长解码器，对各块对应的图象信号频率成分的量化值，进行预测处理、并列交换处理以及可变长编码处理得到的编码列，再进行可变长解码；多个逆扫描器，对上述并列交换后的量化值，进行使该配列顺序返回到并列交换前的配列顺序的并列交换处理，并列交换处理时顺序不同；逆扫描控制器，根据表示上述频率变换处理种类的频率变换类型信息以及表示上述预测处理种类的预测信息，输出选择用于上述量化值并列交换的逆扫描器的控制信号；逆量化器，使上述量化值逆量化，输出与上述各块对应的块化图象信号的频率成分；逆频率变换器，对上述频率成分进行逆频率变换，输出上述块化图象信号；逆分块器，根据上述频率变换类型信息使上述块化图象信号逆块化。输出数字图象信号。
13.一种图象处理方法，把数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理，其特征在于根据把帧作为1单位的帧频率变换处理以及把场作为1单位的场频率变换处理中的任一个频率变换处理，把作为该编码处理对象的被编码块的图象信号变换为频率成分，根据已编码块的图象信号对应的频率成分的分布，设定对上述被编码块的图象信号对应的频率成分的编码处理顺序，按照设定的处理顺序，顺次对上述被编码块的图象信号对应的频率成分进行编码。
14.一种图象处理方法，在构成1表示画面的各个块中，通过包含频率变换处理的编码处理，对使数字图象信号编码得到的图象编码信号，在每个块进行解码处理，其特征在于根据由对应于已解码块的图象信号频率成分的分布决定的配列顺序，并列交换按规定顺序使各个频率成分编码得到的输入信号，生成作为解码处理对象的被解码块对应的频率成分，对上述被解码块对应的频率成分进行逆频率变换处理，再生该被解码块对应的图象信号。
15.一种图象处理方法，把数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理，其特征在于根据把帧作为1单位的帧频率变换处理以及把场作为1单位的场频率变换处理中的任一个频率变换处理，把作为该编码处理对象的被编码块的图象信号变换为频率成分，根据位于上述被编码块周边的已编码块对应的频率成分，按照规定的预测处理，生成被编码块的频率成分的预测值，根据表示是否进行适当的顺序设定的标志信息，交替进行根据上述预测处理的种类适当设定对上述被编码块频率成分和其预测值的差分值的编码处理顺序的第1顺序设定操作，以及不管上述预测处理的种类，把上述处理顺序设定为特定顺序的第2顺序设定操作，根据设定的处理顺序，顺次对该被编码块对应的差分值进行编码，与上述标志信息一起发送或接收。
16.一种图象处理方法，在构成1表示画面的各个块中，通过包含频率变换处理的编码处理，对使数字图象信号编码得到的编码图象信号，在每个块进行解码处理，其特征在于根据表示是否进行与上述输入信号一起输入的适当的并列交换的标志信息，交替进行以下操作对按规定顺序实施了预测处理的各种频率成分进行编码得到的输入信号，根据上述预测处理的种类适当并列交换的第1并列交换操作；不局限于上述预测处理的种类，按特定顺序并列交换该输入信号的第2并列交换操作，根据位于作为解码处理对象的被解码块周边的已解码块对应的频率成分，按照上述预测处理种类，生成对应于该被解码块频率成分的预测值，根据上述并列交换后的输入信号和上述预测值，生成被解码块对应的频率成分，对上述被解码块对应的频率成分，进行逆频率变换处理，再生上述被解码块对应的图象信号。
17.一种图象处理方法，把数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块图象信号的编码处理，其特征在于从与包含该被编码块的表示画面不同的已编码表示画面对应的图象信号根据规定的预测处理，生成作为该编码处理对象的被编码块图象信号的预测值，根据把帧作为1单位的帧频率变换处理及把场作为1单位的场频率变换处理中任一种频率变换处理，将上述被编码块的图象信号及其预测值的差分值变换为频率成分，根据表示是否进行适当的顺序设定的标志信息，交替进行根据上述预测处理种类设定上述被编码块频率成分的编码处理顺序的第1顺序设定操作，以及不局限于上述预测处理种类把上述处理顺序设定为特定顺序的第2顺序设定操作，根据设定的处理顺序对该被编码块对应的频率成分顺次进行编码，并与上述标志一起发送或存储。
18.一种图象处理方法，在构成1表示画面的各个块中，通过包含频率变换的处理，对使数字图象信号编码得到的图象编码信号，在每个块进行解码处理，其特征在于根据表示是否进行与上述输入信号一起输入的适当的并列交换的标志信息，交替进行根据上述预测处理种类的顺序适当并列交换以规定顺序使经预测处理的频率成分进行编码得到的输入信号的第1并列交换操作，以及不局限于上述预测处理的种类以特定顺序并列交换该输入信号的第2并列交换操作，对上述并列交换后的输入信号进行逆频率变换处理，生成作为解码处理对象的被解码块对应的差分信号，根据与包含该被解码块的表示画面不同的已编码表示画面的图象信号，按上述预测处理种类生成该被解码块的图象信号预测值，根据上述差分信号和上述预测值，再生被解码块对应的图象信号。
19.一种图象处理装置，把输入的数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上每个块进行各块的图象信号的编码处理，其特征在于具有分块器，在作为频率变换处理单位的每个帧或场集中上述数字图象信号，在对应上述各块进行块化的同时，输出上述块化的图象信号以及表示上述频率变换的处理单位的频率变换类型信息；频率变换器，把上述块化的图象信号在上述每个块进行频率变换，输出各块图象信号对应的频率成分；量化器，对该频率成分进行量化，输出各块图象信号对应的量化值；多个扫描器，对上述量化值按其配列顺序的并列交换设定规定的处理顺序，并列交换处理时顺序不同；特性解析器，根据对上述量化器输出的特性解析，输出指定进行适合各块量化值的并列交换的扫描器的扫描指定信号；存储器，一次存储上述特性解析器的扫描指定信号；扫描控制器，根据上述存储器存储的扫描指定信号，输出选择用于作为编码处理对象的被编码块量化值的并列交换的扫描器的控制信号；可变长编码器，对上述并列交换后的量化值进行可变长编码。
20.一种图象处理装置，在构成1表示画面的各个块中，通过包含以帧单位或场单位的频率变换处理的编码处理，对使数字图象信号编码得到的图象编码信号，在每个块进行解码处理，其特征在于具有可变长解码器，对各块对应的图象信号频率成分的量化值，进行并列交换处理以及可变长编码处理，将得到的编码列进行可变长解码；多个逆扫描器，对上述并列交换后的量化值，进行使该配列顺序返回到并列交换前的配列顺序的并列交换处理，并列交换处理时顺序不同；特性解析器，根据上述逆扫描器的输出的特性解析，输出指定进行适合各块量化值的并列交换的逆扫描器的扫描指定信号；存储器，一次存储上述特性解析器的扫描指定信号；扫描控制器，根据上述存储器存储的扫描指定信号，输出选择用于作为上述解码处理对象的被解码块量化值的并列交换的逆扫描器控制信号；逆量化器，对上述选择的逆扫描器输出的量化值进行逆量化，输出上述各块对应的图象信号频率成分；逆频率变换器，对上述频率成分进行逆频率变换，输出上述块化图象信号；逆分块器，根据表示上述编码处理中的频率变换处理是否以帧单位或场单位的其中一个单位的处理的频率变换标志信息。对上述块化图象信号进行逆块化，输出数字图象信号。
21.一种图象处理装置，把输入的数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理，其特征在于具有分块器，在每个作为频率变换处理单位的帧或场集中上述数字图象信号，并对上述各块进行块化的同时，输出上述块化的图象信号以及表示上述频率变换处理单位的频率变换类型信息；频率变换器，在每个上述块对上述块化图象信号进行频率变换，输出各块的图象信号对应的频率成分；量化器，对该频率成分进行量化，输出各块图象信号对应的量化值；预测器，根据位于被编码块周边的已编码块对应的量化值，生成上述被编码块对应的量化值的预测值，输出该预测值及有关上述预测值的生成处理种类的预测信息；第1加法器，从上述被编码块对应的量化值减去上述预测值，输出差分值；第2加法器，将上述差分值与上述预测值相加，把上述相加值作为已编码块对应的量化值并输出；多个扫描器，进行上述差分值的并列交换，由选择信号选择，并且交换处理时顺序不同；扫描控制器，根据上述预测信息，输出选择用于上述差分值的并列交换的扫描器的第1控制信号；开关，根据在系统外部或系统内部生成的扫描转换信号，选择上述第1控制信号或选择特定扫描的第2控制信号其中之一，把该选择的控制信号作为上述扫描器的选择信号并输出；可变长编码器，对上述并列交换后的差分值进行可变长编码。
22.一种图象处理装置，在构成1表示画面的各个块中，通过包含以频单位或场单位的频率变换处理的编码处理，对使数字图象信号编码得到的图象编码信号，在每个块进行解码处理，其特征在于包括可变长解码器，对各块对应的图象信号频率成分的量化值，进行其预预处理、并列交换处理以及可变长编码处理，将得到的编码列进行可变长解码；多个逆扫描器，对上述并列交换后的量化值，进行使该配列顺序返回到并列交换前的配列顺序的并列交换处理，由选择信号选择，并列交换处理时顺序不同；逆扫描控制器，根据表示预测处理种类的预测信息，输出选择用于述量化值的并列交换的逆扫描器的第1控制信号；开关，根据扫描转换信号，选择上述第1控制信号或选择特定扫描的第2控制信号其中之一，把该选择的控制信号作为上述选择信号并输出；预测器，按照上述预测信息，根据位于被解码块周边的已解码块对应的量化值，生成上述被解码块对应的量化值的预测值；加法器，把上述预测值加到上述逆扫描器的输出；逆量化器，对上述加法器的输出进行逆量化。输出上述各块对应的图象信号的频率成分；逆频率变换器，对上述频率成分进行逆频率变换，输出上述块化图象信号；逆分块器，根据表示上述编码处理中的频率变换处理是否以帧单位或场单位其中之一的处理的频率变换类型信息，对上述块化图象信号进行逆块化，输出数字图象信号。
23.一种图象处理装置，把输入的数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理，其特征在于包括分块器，在每个作为频率变换处理单位的帧或场集中上述数字图象信号，在对应上述各块进行块化的同时，输出上述块化的图象信号以及表示上述频率变换处理单位的频率变换类型信息；第1加法器，从上述块化的图象信号，减去上述块化图象信号的预测值，输出差分信号；频率变换器，在上述每个块对上述差分信号进行频率变换，输出各块的差分信号对应的频率成分；量化器，对该频率成分进行量化，输出各块图象信号对应的量化值；逆量化器，使上述量化值逆量化，输出各块的差分信号对应的频率成分；逆频率变换器，对上述逆量化器的输出进行逆频率变换，输出各块的差分信号；第2加法器，将上述逆频率变换器的输出和上述预测值相加，作为构成已编码表示画面的已编码块的图象信号，存储在帧存储器；预测器，根据上述帧存储器存储的已编码块的图象信号以及上述块化的图象信号，生成上述预测值，输出该预测值和有关上述预测值生成处理的预测信息；多个扫描器，进行上述量化值的并列交换，并列交换时顺序不同；扫描控制器，根据在系统外部或系统内部生成的扫描转换信号以及上述预测信息，输出选择用于上述量化值的并列交换的扫描器的控制信号；可变长编码器，对上述并列交换后的量化值进行可变长编码。
24.一种图象处理装置，在构成1表示画面的各个块中，通过包含以帧单位或场单位的频率变换处理的编码处理，对使数字图象信号编码得到的编码图象信号，在每个块进行解码处理，其特征在于包括可变长解码器，对各块应的图象信号，进行其预测处理、频率变换处理、量化处理、并列交换处理以及可变长编码处理、将得到的编码列进行可变长解码；多个逆扫描器，对上述并列交换后的量化值，进行使该配列顺序返回到并列交换前的配列顺序的并列交换处理，并列交换处理时顺序不同；逆扫描控制器，根据扫描转换信号及表示预测处理种类的预测信号，输出选择用于上述量化值并列交换的逆扫描器的控制信号；逆量化器，对上述逆扫描器的输出进行逆量化，输出上述各块对应的差分信号频率成分；逆频率变换器，对上述频率成分进行逆频率变换，输出上述各块对应的差分信号；加法器，将上述差分信号和上述各块对应的图象信号预测值相加，输出上述块化图象信号；帧存储器，将上述加法器的输出作为构成已解码表示画面的已解码块的图象信号存储；预测器，根据上述预测信息及已解码块的图象信号生成上述预测值；逆分块器，根据表示上述编码处理中的频率变换处理是否以帧单位或场单位的其中一个单位的处理的频率变换标志信息，对上述块化图像信号进行逆块化，输出数字图象信号。
25.一种图象处理方法，把输入的数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理，其特征在于根据与包含该被编码块的表示画面不同的已编码表示画面对应的图象信号，通过规定的帧间预测处理，生成作为该编码处理对象的被编码块图象信号的帧间预测值，根据以帧为1单位的帧频率变换处理及以场为1单位的场频率变换处理的其中一个频率变换处理，把上述被编码块图象信号和其帧间预测值的画面间差分值或作为上述编码处理对象的被编码块图象信号变换为频率成分，根据位于上述被编码块周边的已编码块对应的频率成分，通过规定帧内预测处理，生成被编码块的频率成分帧内预测值，根据表示顺序设定的转换的标志信息，交替进行包含根据上述两预测处理种类的顺序，适当设定对上述被编码块的频率成分和其帧内预测值的画面内差分值编码处理顺序的处理的第1顺序设定操作，以及不局限于上述两预测处理种类，把上述处理顺序设定为特定顺序的第2顺序设定操作，根据设定的处理顺序，对该被编码块对应的画面内差分值进行顺次编码，与上述标志信息一起发送或存储。
26.如权利要求25记载的图象处理方法，其特征在于接收作为上述数字图象信号的隔行图象信号，在上述第1顺序设定操作中，对于由上述频率变换处理得到的频率成分对应于被编码块画面间差分值的帧间编码块，对该频率成分，按照沿表示画面水平方向排列成分和沿垂直方向排列成分间均等的优先顺位，从低频向高频进行处理顺序的设定，对于由上述频率变换处理得到的频率成分对应于被编码块图象信号的帧内编码块，对该频率成分，根据帧内预测处理的种类，适当进行从低频向高频的处理顺序的设定，在上述第2顺序设定操作，无论是上述帧间编码块及帧内编码块，对由上述频率变换处理得到的频率成分，沿表示画面垂直方向排列成分比沿水平方向排列成分优先进行从低频向高频的处理顺序的设定。
27.一种图象处理方法，在构成1表示画面的各个块中，通过包含频率变换处理的编码处理，对使数字图象信号编码得到的编码图象信号，在上述每个块进行解码处理，其特征在于根据表示与上述输出信号一起输入的并列交换的转换的标志信息，交替进行包含对按规定顺序实施了帧间预测处理及帧内预测处理的各频率成分进行编码得到的作为解码处理对象的被解码块的输入信号，根据该两预测处理种类的顺序适当并列交换处理的第1并列交换操作，以及不局限于上述两预测处理种类按特定顺序并列交换的第2并列交换操作，根据在作为解码处理对象的被解码块周边的已解码块对应的频率成分，通过帧内预测处理，生成该被解码块对应的频率成分的帧内预测值，根据上述并列交换后的输入信号和上述帧内预测值，生成被解码块对应的频率成分，对上述被解码块对应的频率成分进行逆频率变换处理，生成上述被解码块对应的图象信号或差分信号，对于该被解码块对应的差分信号，对根据与包含该被解码块的表示画面不同的已编码表示画面的图象信号，通过上述帧间预测处理生成的该被解码块图象信号的帧间预测值，进行与上述差分信号的相加处理，生成被解码块的图象信号。
28.如权利要求27记载的图象处理方法，其特征在于将上述解码处理对象作为编码图象信号，接收在上述各块对隔行图象信号进行编码得到的隔行图象编码信号，在上述第1并列交换操作中，对于由上述隔行图象信号的频率变换处理得到的频率成分对应于被解码块画面间差分值的帧间编码块，按从低频向高频的顺序，对在沿表示画面水平方向排列成分和沿垂直方向排列成分之间，实现按均等的优先顺位的处理顺序的均等设定的频率成分，根据该均等设定的处理顺序进行并列交换处理，对于由上述隔行图象信号的频率变换处理得到的频率成分对应于被编码块的图象信号的帧内编码块，按从低频向高频的顺序，根据帧内预测处理种类对实现适当处理顺序的设定形成的频率成分，进行按该适当设定处理顺序的并列交换处理，在第2并列交换操作，对于上述帧间编码块及帧内编码块，按从低频向高频的顺序，实现沿表示画面垂直方向的排列成分比沿水平方向排列成分优先的纵优先处理顺序的设定，对由上述隔行图象信号的频率变换处理得到的频率成分，进行按该纵优先顺序设定的处理顺序的并列交换处理。
29.一种图象处理装置，把输入的数字图象信号分割为分别对应于构成1表示画面的多个块的多个图象信号，在上述每个块进行各块的图象信号的编码处理，其特征在于包括分块器，在作为频率变换处理单位的每个帧或场集中上述数字图象信号，在对上述各块进行块化的同时，输出上述块化的图象信号以及表示上述频率变换的处理单位的频率变换类型信息的；帧间预测部件，对上述块化的图象信号进行帧间预测处理，在每个块输出该图象信号和其帧间预测值的画面间差分值对应的帧间预测处理数据，同时输出与上述帧间预测值的生成处理有关的帧间预测信息；帧内预测部件，根据位于被编码块周边的已编码块对应的帧间预测处理数据，生成上述被编码块对应的帧间预测处理数据的帧内预测值，在输出该帧间预测处理数据和其帧内预测值的画面内差分值的同时，输出上述帧内预测值的生成处理种类有关的帧内预测信息；扫描部件，具有进行上述画面内差分值的并列交换、具有根据选择信号选择的并列交换处理时顺序不同的多个扫描器，根据上述帧间预测信息以及在系统外部或系统内部生成的扫描转换信号，选择用于上述差分值并列交换的扫描器，可变长编码器，对上述并列交换后的差分值进行可变长编码，上述扫描部件根据上述扫描转换信号，交替进行包含根据上述两预测处理种类的顺序，适当设定上述被编码块对应的画面内差分值的编码处理顺序的处理的第1顺序设定操作，以及不局限于上述两预测处理的种类，把上述处理顺序设定为特定顺序的第2顺序设定操作。
30.如权利要求29记载的图象处理装置，其特征在于上述帧间预测部件构成如下第1加法器，从上述块化图象信号减去上述块化图象信号的帧间预测值，输出差分信号；频率变换器，在上述每个块对上述差分信号进行频率变换，输出各块的差分信号对应的频率成分；量化器，对该频率成分进行量化，把各块的差分信号对应的量化值作为上述帧间预测处理数据输出；逆量化器，对上述量化值进行逆量化，输出各块的差分信号对应的频率成分，逆频率变换器，对上述逆量化器的输出进行逆频率变换，输出各块的差分信号，第2加法器，把上述逆频率变换器的输出和上述帧间预测值相加，作为构成已编码表示画面的已编码块的图象信号存储在帧存储器；帧间预测器，根据上述帧存储器存储的已编码块的图象信号及上述块化的图象信号，生成上述帧间预测值，输出该帧间预测值以及上述帧间预测值生成处理有关的帧间预测信息，上述帧内预测部件构成如下帧内预测器，根据位于被编码块周边的已编码块对应的量化值，生成上述被编码块对应的量化值的帧内预测值，输出该帧内预测值以及上述帧内预测值的生成处理种类有关的帧内预测信息；第3加法器，从上述被编码块对应的量化值减去上述帧内预测值，输出画面内差分值；第4加法器，使上述差分值和上述帧内预测值相加，把该相加值作为上述已编码块对应的量化值预以输出。
31.一种图象处理装置，在构成1表示画面的各个块中，通过包含频率变换处理的编码处理，对使数字图象信号编码得到的编码图象信号，在每个块进行解码处理，其特征在于包括可变长解码器，对各块对应的图象信号进行帧间预测处理、帧内预测处理、频率变换处理、量化处理、并列交换处理以及可变长编码处理、将得到的编码列进行可变长解码；逆扫描部件，具有对上述并列交换后的量化值进行使该配列顺序返回并列交换前的配列顺序的并列交换处理，且并列交换处理时顺序不同的多个逆扫描器，根据在系统外部或系统内部生成的扫描转换信号，以及表示上述帧间预测处理种类的帧间预测信息和表示上述帧内预测处理种类的帧内预测信息，选择用于上述量化值并列交换的逆扫描器；帧内预测部件，按照上述帧内预测信息，根据位于被解码块周边的已解码块对应的量化值，生成上述被解码块对应的量化值的帧内预测值，输出上述逆扫描部件的输出和该帧内预测值的相加值；帧间预测部件，对该帧内预测部件的输出，根据上述帧间预测信息进行帧间预测处理，生成块化图象信号；逆分块器，根据表示上述频率变换处理单位的频率变换类型信息，对上述块化图象信号进行逆块化，输出数字图象信号，上述逆扫描部件根据表示与上述输入信号一起输入并列交换的转换的标志信息，交替进行包含按照上述两预测处理种类的顺序，对以规定顺序实施了帧间预测处理的各种频率成分进行编码得到的被解码块输入信号作并列并换处理的第1并列交换操作，以及不局限于上述两预测处理的种类，按照特定顺序对该被解码块输入信号作并列交换的第2并列交换操作。
32.如权利要求31记载的图象处理装置，其特征在于上述帧内预测部件的构成包括帧内预测器，根据上述帧内预测信息，由位于被解码块周边的已解码块对应的量化值，生成上述被解码块对应的量化值的帧内预测值；第1加法器，在上述选择的逆扫描器输出上相加上述帧内预测值，上述帧间预测部件的构成包括逆量化器，使该第1加法器的输出逆量化，输出上述各块对应的差分信号的频率成分；逆频率变换器，对上述频率成分进行逆频率变换，输出上述各块对应的差分信号；第2加法器，把上述差分信号与上述各块对应的图象信号的帧间预测值相加，输出上述块化图象信号；帧存储器，把上述第2加法器的输出作为构成已编码表示画面的已编码块的图象信号存储；帧间预测器，根据上述帧间预测信息和已编码块的图象信号，生成上述帧间预测值。
33.一种存储图象处理程序的数据存储媒体，其特征在于上述图象处理程序是按照权利要求1至8、权利要求13至18、权利要求25或27中任一项记载的图象处理方法，由计算机进行图象处理。
全文摘要
本发明旨在隔行图象编码中实现高效率的DCT系数的可变长编码。本发明的装置具有:在每个作为DCT处理单位的帧或场集中隔行图象信号并使其块化,输出该块化图象信号以及表示上述DCT处理单位的DCT类型信息的分块器102;以及对上述块化图象信号经过DCT处理及量化处理得到的量化值,通过该配列顺序的并列交换设定一定的处理顺序,并列交换顺序不同的多个扫描器109s1～109sn,根据上述DCT类型信息选择用于上述量化值并列交换的扫描器。
文档编号H04N7/30GK1215959SQ98119920
公开日1999年5月5日 申请日期1998年7月24日 优先权日1997年7月25日
发明者西孝启, 高桥俊也, 文仲丞, 角野真也 申请人:松下电器产业株式会社