专利名称：图象处理方法、图象处理装置、和数据存储媒体的制作方法
技术领域：
本发明涉及图象处理方法、图象处理装置、和数据存储媒体，特别是涉及对交错图象信号的频率成分借助作适当的画面内的预测处理来提高图象信号编码处理中的编码效率的措施。
利用其冗余性来对对应于运动图象的图象数据进行压缩的预测编码，有采用被编码帧内的图象数据进行图象数据的预测的画面内预测编码和采用被编码帧以外的其他帧的图象数据进行图象数据预测的画面间预测编码等方法。
具体地说，上述画面内预测编码是，由其帧内的图象数据生成被编码帧的图象数据的预测值，借助将被编码帧与其预测值的差分值加以编码除去或减少作为图象本来特性而在图象数据中包含在大量的空间上的冗余信息来压缩图象数据的方法。
另一方面，所述画面间预测编码则是，由其他帧的图象数据生成被编码帧的图象数据的预测值，借助对被编码帧的图象数据与其预测值的差分值的编码除去或减少在图象运动很小时图象数据中包含大量的时间上的冗余信息来压缩图象的方法。
近来的图象编码中广泛利用离散余弦变换(DCT)，在作为其典型的图象编码方式的MPEG(Moving Picture Expcrt Group)方式中，将由数字图象信号形成的图象空间(帧)分割成作为DCT处理的单位的多个矩形区域(块)，对对应于各块的图象信号按块作DCT处理。
有关MPEG方式中所采用的DCT系数、亦即对DCT区域(频率区域)中的图象数据的画面内预测方法记载在作为MPEG4的相关文献的ISO/IEC JTC1/SC29/WG11 MPEG97/N1642 MPEG-4 VideoVerification Model Version 7.0(以下称MPEG-4 VM7.0)中的“IntraDC and AC Prediction for I-VOP and P-VOP”项中。
按此文献的记载，利用对应于上述图象空间中位于邻接被编码块的左上、上和左侧的三个相邻块的DCT系数来预测对应于成为编码处理对象的被编码块的DCT系数的DC成分和AC成分。
图15中说明常规图象编码方式中的采用的上述文献中所描述那样的画面内DCT系数预测方法。
图15中，表示由成为DCT处理单位的8×8象素构成的四个块(亦称为DCT块)R0-R2、X，各块在由图象信号形成的图象空间(空间区域)上位于相互邻接的位号。这里，块X是成为编码处理的对象的被编码块，块R0、R1、R2为在上述空间区域上位于与上述被编码块的左上侧、上侧和左侧相邻接的已结束编码的编码完成块。
在常规的画面内DCT系数预测方法中，在生成块X的DCT预测值时，参照块R1或块R2的DCT系数。
具体说，在参照编码完成块R1的DCT系数时，该编码完成块R1中的左上角的DC成分和最上列的AC成分用作为被编码块X中位于与这些成分同位置的DCT系数的预测值。而在参照编码完成块R2的DCT系数时，该编码完成块R2的左上角的DC成分和最左列的AC成分用作为所述被编码块X上位于与这些成分相同位置的DCT系统的预测值。
应将哪一个编码完成块DCT系数作为上述被编码块X的DCT系数的预测值进行参照，则利用编码完成块R0、R1和R2的DC成分进行确定。
亦即，在块R0与块R2之间的DC成分的差的绝对值小于块R0与块R1间的DC成分的差的绝对值时，因为纵向排列的块间的DCT系数的相关性强，所以生成被编码块X的DCT系数的预测值时参照块R1的DCT系数。另一方面，在块R0与块R1之间的DC成分的差的绝对值小于块R0与块R2间的DC的差的绝对值时，因为横方向排列的块间的DCT系数的相关性强，所以生成被编码块X的DCT系统的预测值时参照块R2的DCT系数。
但是，如上述文献(MPEG-4 VM7.0)中的“AdaptiveFrame/Field DCT”项所记录的那样，在交错图象的编码所用的DCT处理(频率变换处理)中具有帧DCT处理和场DCT处理二种型式的DCT处理。这些DCT处理其处理单位不同，帧DCT处理以帧为单位进行图象数据变换，而场DCT处理则以场为单位进行图象数据的变换。在MPEG方式中，每一由四个块构成的所谓的宏块中适当地切换帧DCT处理和场DCT处理。
这里，对宏块的帧DCT处理和场DCT处理的切换，如图16中所示，由是否进行扫描线的交替排列来进行，在场DCT处理中即要对被进行扫描线交替排列的宏块中的各块的图象处理执行DCT处理。
具体说，作帧DCT处理时，偶数和奇数号扫描线交互排列的宏块中各块的图象数据按其原样作DCT处理，而在作场DCT处理时，由扫描线交替排列，宏块成为由仅以偶数号扫描线构成的第一场的块和仅以奇数号扫描线构成的第二场的块组成，然后再对这样的宏块中各块的图象数据进行DCT处理。
这样，在交错图象信号的编码处理中，作为位于图象空间上的宏块混合存在有被作帧DCT处理的宏块和作场DCT处理的宏块。
而在第一场与第二场之间的象素值的相关性高于第一场内与第二场内的象素值的相关性时，执行帧DCT处理、在此外的情况执行场DCT处理的方法中，帧DCT处理和场DCT处理被交换。
因而，图象空间上相邻的宏块和邻接的块(即构成宏块的子块)，也存在DCT处理的型式不同的情况，这时，在相邻宏块之间或相邻块之间，比起宏块或块DCT处理型式相同的情况，DCT系数的相关性就要低。
而且在相邻块间存在有属于它们的场不相同的情况，在这样的情况下，在接近的块之间，与属于块的场相同的情况相比，DCT系数的相关性也较低。
因此，在被作场DCT处理的宏块(场DCT型式的宏块)中，因为混合存在有第一场的块和第二场的块，在生成被编码块的DCT系数的预测值时即难以指定应参照的编码完成块，所以对上述这样的场DCT型式的宏块不能简单地应用常规的画面内预测处理。结果就在混合有场DCT型式的宏块的交错图象的编码处理或特定的顺序图象的编码处理中，不能应用画面内预测处理，而存在不能进行充分地削减图象信号中所包含的空间上冗余的图象信息，实现高效率的编码处理的问题。
本发明为解决以上这样的问题而作出的，目的在于能取得即使在混合有不同的DCT型式的宏块的交错图象的编码处理或特定的顺序图象的编码处理中也能充分地减少图象信号中所含的空间上的冗余图象信息并能高效率地进行编码处理和与之对应的译码处理的图象处理装置，图象处理方法，和存放为由计算机实现上述编码处理或译码处理的程序的数据存储媒体。
有关本发明(方案1)的图象处理方法是将图象信号对应于各个区分由该图象信号所形成的图象空间的多个块那样地进行分割，再按每一块顺序对对应于各块的图象信号进行编码的图象处理方法，其中，将成为编码处理的对象的被编码块的图象信号通过帧单位或场单位的频率变换变换成频率成分，参照已结束编码处理的编码完成块的频率成分生成上述被编码块的频率成分的预测值，在生成此预测值时，按照对上述被编码块的图象信号所执行的频率变换是以帧为单位的频率变换还是以场为单位的频率变换来确定上述参照的编码完成块，对上述编码块的频率成分与其预测值的差分值进行编码。
有关本发明(方案2)的图象处理方法是对将图象信号在每一个区分由该图象信号形成的图象空间的各个块中通过包含频率变换的编码处理进行编码所得到的图象编码信号按每一上述块顺序进行译码的图象处理方法，其中，参照已结束译码处理的译码完成块的频率成分生成成为译码处理对象的被译码块的频率成分的预测值，在生成此预测值时按照对上述被译码块编码时执行的频率变换是以帧为单位的频率变换还是以场为单位的频率变换确定上述参照的译码完成块，将上述预测值加到由对应于上述被译码块的图象编码信号的数据解析所得的信号上，生成上述被译码块的频率成分，对上述被译码块的频率成分作逆频率变换，再现对应于被译码块的图象信号。
有关本发明(方案3)的图象处理方法是将图象信号作对应于各个区分由该图象信号形成的图象空间的多个块那样地加以分割，按每一块顺序对对应于各块的图象信号进行编码的图象处理方法，其中，将成为编码处理的对象的被编码块的图象信号由以帧为单位和以场为单位作频率变换中的一种类型的频率变换变换成频率成分，参照已结束编码处理的编码完成块的频率成分生成上述被编码块的频率成分的预测值，在生成此预测值时按照对上述被编码块执行的频率变换的类型与对编码完成块执行的频率变换类型的组合结果确定上述参照的编码完成块，对上述被编码块的频率成分与其预测的差分值进行编码。
本发明(方案4)在方案3所述的图象所述的图象处理方法中，在对上述图象空间上位于被编码块的左侧或上侧任一方的编码完成块执行的频率变换的类型为与对上述被编码块执行的频率变换的类型相同时，参照位于上述左侧或上侧的编码完成块中与上述被编码块频率变换类型相同的编码完成块的频率成分，生成上述被编码块的频率成分的预测值。
本发明(方案5)在上述方案3所述图象处理方法中，在对上述图象空间上位于被编码块左侧和上侧双方的编码完成块施行的频率变换的类型与对上述被编码块施行的频率变换的类型不同时，参照位于上述被编码块上侧的编码完成块的频率成分，生成被编码块的频率成分的预测值。
有关本发明(方案6)的图象处理方法是对将图象信号在每一区分由该图象信号形成的图象空间的各个块由包含以帧单位或场为单位的一种类型的频率变换的编码处理进行编码得到的图象编码信号按每一上述块顺次进行译码，其中，参照已结束译码处理的译码完成块的频率成分生成成为译码处理的对象的被译码块的频率成分的预测值，在生成此预测时按照对上述被译码块执行编码时的频率变换的类型与对译码完成块执行编码时执行的频率变换的类型的组合结果，确定上述参照的译码完成块，将上述预测值加到由对应于上述被译码块的图象编码信号的数据解析所得的信号上生成上述被译码块的频率成分，对上述被译码块的频率成分进行逆频率变换再现对应于被译码块的图象信号。
本发明(方案7)在上述方案6所述图象处理方法中，在对上述图象空间上位于被译码块的左侧或上侧中任一方的译码完成块编码时执行的频率变换类型与对上述被译码块编码时执行的频率变换类型相同时，参照位于上述左侧或上侧的译码完成块中的与上述被译码块编码时频率变换类型相同的译码完成块的频率成分，生成上述被译码块的频率成分的预测值。
本发明(方案8)在上述方案6所述图象处理方法中，在对位于上述图象空间上被译码块的左侧和上侧双方的译码完成块编码时执行的频率变换类型与对上被译码块编码时所执行的频率变换的类型不同时，参照位于上述被译码块上侧的译码完成块的频率成分，生成上述被译码块的频率成分的预测值。
本发明(方案9)的图象处理方法是将图象信号作对应于各个区分由该图象信号形成的图象空间的多个块那样地分割、按照一块地顺序对对应于各块的图象信号进行编码的图象处理方法，其中，将成为编码处理的对象的被编码块的图象信号由以帧为单位和场为单位的频率变换中一种类型的频率变换变换成频率成分，参照已结束编码处理的编码完成块的频率成分，生成上述被编码块的频率成分的预测值，在生成此预测值时，在对上述被编码块的频率变换的类型与对编码完成块的频率变换的类型不同时，即由多个编码完成块的频率成分生成上述应参照的频率成分，对上述被编码块的频率成分与其预测值的差分值进行编码。
有关本发明(方案10)的图象处理方法是对将图象信号在每一区分由该图象信号形成的图象空间的各个块由包含以帧为单位或场为单位中任一类型的频率变换的编码处理进行编码所得的图象编码信号按每一上述块顺次进行译码的图象处理方法，其中，参照已经结束译码处理的译码完成块的频率成分，生成成为译码处理对象的被译码块的频率成分的预测值，在生成此预测值时，在对上被译码块的频率变换的类型与对译码完成块的频率变换的类型不同时，即由多个译码完成块的频率成分生成上述应参照的频率成分，将上述预测值加到由对应于上述被译码块的图象编码信号的数据解析所得的信号上，生成上述被译码块的频率成分，对上述被译码块的频率成分作逆频率变换再现对应于被译码块的图象信号。
有关本发明(方案11)的图象处理装置是将所输入的图象信号作对应于各个区分由该图象信号形成的图象空间的多个块那样地分割并对对应于各块的图象信号在每一所述块进行编码的图象处理装置，其中设置有在每一成为频率变换的处理单位的帧或场上进行将上述图象信号作对应于上述图象空间上的各块那样分割的分块化的同时输出上述被作分块化的图象信息和表明上述频率变换的处理单位的频率变换类型信息的分块器；将上述作分块化的图象信号每一块地进行频率变换，输出对应于各块的图象信号频率成分的频率变换器；将上述频率成分加以量化并输出对应于各块的量化值的量化器；存储已结束编码处理的多个编码完成块的量化值的存储装置；由上述多个编码完成块中按照上述频率变换类型信息选择编码完成块，参照上述存储装置中的该选择的编码完成块的量化值，生成成为编码处理对象的被编码块的量化值的预测值的预测器；由上述被编码块的量化值减除其预测值，输出对应于被编码块的差分值的第一加法器；对上述差分值作可变长编码后输出编码序列的可变长编码器；和将对应于该编码块的预测值加到对应于上述被编码块的差分值后将这些加法值作为编码完成块的量化值供给上述存储装置的第二加法器。
有关本发明(方案12)的图象处理装置是与将图象信号在每一区分由该图象信号所形成的图象空间的各个块由包含以帧为单位或场为单位的频率变换和量化的编码处理进行编码所得的图象编码信号同时还接收表示对上述各块的频率变换的类型为以帧为单位还是以场为单位中哪一个的频率变换型式信息并对上述图象编码信号在每一上述块顺序加以译码的图象处理装置，其中设置有对对应于上述各块的图象编码信号由其数据解析作可变长译码的可变长译码器；由已经结束译码处理的译码完成块中按照上述频率变换型式信息选择译码完成块，参照对应于该选择的译码完成块的量化值生成对应于成为译码处理对象的被译码块的量化值的预测值的预测器，将由上述可变长编码器对被译码块的输出与对上述被译码块量化值的预测值相加，将这些加法值作为对应于上述被译码块的量化值输出的加法器，将由该加法器输出的量化值作为译码完成块的量化值存储的存储装置；对对应于上述被译码块的量化值作逆量化作为对上述被译码块的频率成分的逆量化路；对上述被译码块的频率成分作逆频率变换并再现对应于上被译码块的图象信号的逆频率变换器；和根据上述频率变换型式信息将对应于上述被再现的各块的图象信号变换成扫描线结构的图象信号的逆分块器。
有关本发明(方案13)的图象处理方法是将形成由沿水平和垂直方向配置成矩阵状的多个象素组成的图象空间的图象信号作对应于各自区分该图象空间的矩形状的多个宏块那样地分割并对对应于构成该各宏块的子块的图象信号在每一子块顺序进行编码处理的图象处理方法，其中，对规定的宏块的图象信号，使由对应于奇数号的水平象素序列的图象信号所形成的第一场的图象位于该宏块的上侧、而由对应于偶数号的水平象数序列的图象信号的形成的第二场的图象位于该宏块的下侧这样地进行水平象素序列交替排列处理，将被作过交替排列处理的宏块或未作交替排列处理的宏块的图象信号在构成该宏块的位于左上、右上、左下、右下的四个子块每一个通过频率变换变换成频率成分，参照已结束编码处理的编码完成子块中的在上述图象空间上位于该编码子块的上侧附近、左侧附近、和左上附近的编码完成子块的至少一个生成成为编码处理对象的被编码子块的频率成分的预测值，对上述被编码子块的频率成分与其预测值的差分值进行编码。
本发明(方案14)在方案13所述的图象处理方法中，在生成上述被编码子块的频率成分的预测值时，根据位于该被编码块的上侧附近、左侧附近、和左上附近的编码完成了块的频率成分的直流成分，确定参照位于上述被编码子块的上侧附近的编码完成子块还是位于上述被编码子块的左侧附近的编码完成子块中哪一个的频率成分。
本发明(方案15)在方案14所述图象处理方法中，采用位于邻接上述被编码子块的上侧的编码完成子块作为位于上述被编码子块的上侧附近的编码完成子块，采用位于邻接该被编码子块的左侧的左侧编码完成子块作为位于上述被编码子块左侧附近的编码完成子块，采用位于邻接该被编码子块的左上侧的左上侧编码完成子块作为位于上述被编码子块的左上附近的编码完成子块，在上述上侧编码完成子块的频率成分的直流成分与左上侧编码完成子块的频率成分的直流成分的差绝对值小于上述上侧编码完成子块的频率成分的直流成分与左上侧编码完成子块的频率成分的直流差分的差分绝对值时，参照上述左侧编码完成子块的频率成分生成被编码子块的频率成分的预测值，而在上述左侧编码完成子块的频率成分的直流成分与左上侧编码完成子块的频率成分的直流成分的差分绝对值小于上述左侧编码完成子块的频率成分的直流成分与左上侧编码完成子块的频率成分的直流成分的差分绝对值时，参照上述上侧编码完成子块的频率成分生成被编码子块的频率成分的预测值。
本发明(方案16)在方案13所述图象处理方法中，生成上述被编码子块的频率成分的预测值时，将上述被编码子块的上方侧作垂直方向排列位置中的第一组的多个编码完成子块之间的频率成分的第一加权平均值或上述被编码子块的左侧作垂直方向排列位置上的第二组的多个编码完成子块之间的频率成分的第二加权平均值用作为上述被编码子块的频率成分的预测值。
本发明(方案17)在方案16所述图象处理方法中，上述第一加权平均值是将对上述第一组的多个编码完成子块中特定的编码完成子块加权的比例作为1而进行上述频率成分的加权平均所得的值，而上述第二加权平均值是将对上述第二组的多个编码完成子块中特定的编码完成子块加权的比例作为1而进行上述频率成分的加权平均所得的值。
本发明(方案8)在方案17所图象处理方法中，上述第一组的多个编码完成子块中的特定的编码完成块是该第一组的编码完成子块中位于最接近上述被编码子块的一个，上述第二组的多个编码完成子块中特定的编码完成子块是该第二组的编码完成子块中位于最接近上述被编码子块的一个。
有关本发明(方案19)的图象处理方法是对将形成由沿水平和垂直方向配置成矩阵状的多个象素组成的图象空间的图象信号在每一构成区分该图象空间的矩形状的各个块的子块上通过包含水平象素序列交替排列和频率变换的编码处理进行编码所得的图象编码信号按上述每一子块顺次进行译码处理的图象处理方法，其中，在已经结束译码处理的译码完成子块中参照上述图象空间上位于该译码子块的上侧附近、左侧附近、和左上附近的译码完成子块的至少一个，生成成为译码对象的被译码子块的频率成分的预测值，将上述预测值加到由对应于上述被译码子块的图象编码信号的数据解析所得到的信号上生成上述被译码子块的频率成分，将该所生成的子块的频率成分由逆频率变换变换成对应的图象信号，将在上述图象空间上属于同一宏块的子块的图象信号作对应该宏块的子块的位置组合，生成对应于宏块的图象形号，使由对应于奇数号的水平象素序列的图象信号形成的第一场的图象位于上述宏块的上侧、而由对应于偶数号的水平象素序列的图象信号形成的第二场的图象位于该宏块的下侧这样对编码时执行过水平象素序列的交替排列处理的宏块的图象信号进行形成由上述第一场与第二场构成的帧的图象那样水平象素序列的逆交替排列处理，另一方面，对在编码时未作上述水平象素序列交替排列处理的宏块的图象信号则不进行上述水平象素序列的逆交替排列处理，再现由多个宏块构成的上述图象空间的图象信号。
本发明(方案20)在方案19所述的图象处理方法中，在生成上述被译码子块的频率成分的预测值时，根据位于该被译码块的上侧附近、左侧附近、和左上附近的译码完成子块的频率成分的直流成分，确定是参照位于上述被译码子块的上侧附近的译码完成子块的还是位于上述被译码子块的左侧附近的译码完成子块的频率成分。
本发明(方案21)在方案20所述的图象处理方法中，作为位于上述被译码子块的上侧附近的译码完成子块采用位于邻接该被译码子块的上侧的上侧译码完成子块，作为位于上述被译码子块的左侧附近的译码完成子块采用位于邻接该被译码子块的左侧的左侧译码完成子块，作为位于上述被译码子块的左上附近的译码完成子块采用位于邻接该被译码子块的左上侧的左上侧译码完成子块，当上述上侧译码完成子块的频率成分的直流成分与左上侧译码完成子块的频率成分的直流成分的差分绝对值小于上述左侧译码完成子块的频率成分的直流成分与左上侧译码完成子块的频率成分的差分绝对值时，参照左侧译码完成子块的频率成分生成被译码子块的频率成分的预测值，而当上述左侧译码完成子块的频率成分的直流成分与左上侧译码完成子块的频率成分的直流成分的差分绝对值小于上述上侧译码完成子块的频率成分的直流成分与左上侧译码完成子块的频率成分的直流成分的差分绝对值时，参照上侧译码完成子块的频率成分生成被译码子块的频率成分的预测值。
本发明(方案22)在方案19所述图象处理方法中，在生成上述被译码子块的频率成分的预测值时，采用位于在上述被译码子块的上方侧作垂直方向排列的第一组的多个译码完成子块之间的频率成分的第一加权平均值或位于在上述被译码子块的左侧作垂直方向排列的第二组的多个译码完成子块之间的频率成分的第二加权平均值作为上述被译码子块的频率成分的预测值。
本发明(方案23)在方案22所述图象处理方法中，上述第一加权平均值是以对上述第一组的多个译码完成子块中的特定的完成子块加权的比例作为1进行上述频率成分的加权平均所得的值，而上述第二加权平均值是以对上述第二组的多个译码完成子块中的特定译码完成子块加权的比例作为1进行上述频率成分的加权平均所得的值。
本发明(方案24)在方案23中所述图象处理方法中，将上述第一组的多个译码完成子块中的特定译码完成子块作为是该第一组的译码完成子块中位于最接近上述被译码子块的一个，将上述第二组的多个译码完成子块中的特定译码完成子块作为是该第二组的译码完成子块中位于最接近上述被译码子块的一个。
有关本发明(方案25)的图象处理装置是将形成由沿水平和垂直方向配置成矩阵状的多个象素构成的图象空间的图象信号作对应于各个区分该图象空间的矩形状的多个宏块那样的分割并将对应于构成该各个宏块的子块的图象信号在每一子块地顺序进行编码处理的图象处理装置，其中设置有分块器，在将上述图象信号作对应于各个区分上述图象空间的多个宏块那样分割的同时，对规定的宏块的图象信号进行使由对应于奇数号的水平象素序列的图象信号形成的第一场的图象位于该宏块的上侧而使由对应于偶数的水平象素序列的图象信号形成的第二场的图象位于该宏块的下侧那样的水平象素序列交替排列处理，将执行过该交替排列处理的宏块或未执行交替排列处理的宏块的图象信号作对应于构成该宏块的位于左上、右上、左下、右下的四个子块的分割；频率变换器，对上述经分块化的图象信号在每一子块进行频率变换，输出对应于各子块的图象信号的频率成分；对该频率成分进行量化并输出对应于各子块的量化值的量化器；存储已结束上述编码处理的多个编码完成子块的量化值的存储装置；预测器，由上述多个编码完成子块中选择上述图象空间上位于该被编码子块的上侧附近、左侧附近、和左上附近的编码完成子块的至少一个，参照上述存储装置中的该选择的编码完成子块的量化值生成上述被编码子块的量化值的预测值；由上述被编码子块的量化值减除其预测值并输出对应于该被编码子块的差分值的第一加法器；对上述差分值作可变长编码后输出编码序列的可变长编码器；和将对应于该被编码子块的预测值加到对应于上述被编码子块的差分值后将这些差分值作为编码完成子块的量化值供给上述存储器的第二加法器。
有关本发明(方案26)的图象处理装置是对将形成由沿水平和垂直方向配置成矩阵状的多个象素构成的图象空间的图象信号在每一构成区分该图象空间的矩形状的各个宏块的子块由包含水平象素系列交替排列和频率变换的编码处理进行编码所得的图象编码信号按上述每一子块进行译码处理的图象处理装置，其中设置有对对应于上述各子块的图象编码信号由其数据解析进行可变长译码的可变长译码器；预测器，由已结束译码处理的译码完成子块中选择上述图象空间上位于成为译码处理的对象的被译码子块的上侧附近、左侧附近、和左上附近的译码完成子块的至少一个，参照对应于该选择的译码完成子块的量化值生成对应于上述被译码子块的量化值的预测值；加法器，将由上述可变长译码器来的对应于被译码子块的输出与对应于上述被译码子块的量化值的预测法相加，并将这些加法值作为对应于上述被译码子块的量化值而输出；将由该加法器输出的量化值作为上述译码完成子块的量化值存储的存储装置；将对应于上述被译码子块的量化值进行逆量化并输出对上述被译码子块的频率成分的逆量化器；对上述被译码子块的频率成分作逆频率变换并再现对应于上述被译码子块的图象信号的逆频率变换器；和逆分块器，将上述图象空间上属于同一宏块的子块的图象信号进行对应该宏块内的子块位置地组合生成对应于宏块的图象信号的同时，对使得由对应于奇数号的水平象素序列的图象信号形成的第一场的图象位于上述宏块的上侧、而使由对应于偶数号的水平象素序列的图象信号形成的第二场的图象位于该宏块的下侧那样编码时执行过水平象素序列交替排列处理的宏块的图象信号进行形成由上述第一场与第二场所构成帧的图象那样的水平象素序列逆交替排列处理，而对编码时来执行上述水平象素序列的交替排列处理的宏块的图象信号不进行上述水平象素的逆交替排列处理，生成由多个宏块构成的上述图象空间的图象信号。
有关本发明(方案27)的数据存储媒体是存储图象处理程序的数据存储媒体，上述图象处理程序被构成为由计算机进行按照上述方案1-10或13-24中任一个所述的图象处理方法。
图1为表示按本发明实施例1的图象处理装置(图象编码装置)的结构的方框图。
图2为表示按本发明实施例2的图象处理装置(图象译码装置)的结构的方框图。
图3是说明采用上述实施1的图象编码装置的画面内预测编码处理的图，表示DCT区域的宏块中的DCT块的配置。
图4是说明采用本实施例1的图象编码装置的画面内预测编码处理的图，表示帧预测和场预测中的参照块对被编码块的位置关系。
图5为由流程图表明采用上述实施例1的图象编码装置和实施例2的图象译码装置的适当的画面内DCT系数预测处理的图。
图6为由流程图表示采用上述实施例1的图象编码装置和实施例2的图象译码装置的预测处理中的帧预测方法的图。
图7为由流程图表示采用上述实施例1的图象编码装置和实施例2的图象译码装置的预测处理中的场预测方法的图。
图8为由流程图表示上述帧预测中的预测值生成方法的一例的示意图。
图9为由流程图表示上述场预测中的预测值生成方法的一例的示意图。
图10是说明采用上述实施例1的图象编码装置和实施例2的图象译码装置的预测处理中的虚拟缓存器的DCT系数生成方法的一例的示意图。
图11是由流程图表示采用上述实施例1的图象编码装置和实施例2的图象译码装置的预测处理中的虚拟缓存器的DCT系数生成方法的一例的示意图。
图12为由流程图表示按本发明实施例3的图象编码装置和按实施例4的图象译码装置中的帧预测方法的图。
图13为由流程图表示按上述实施例3的图象编码装置和按实施例4的图象译码装置中的场预测方法的图。
图14(a)、(b)说明存储由计算机系统进行本发明各实施例的画面内预测编码处理和画面内预测译码处理的程序的数据存储媒体，图14(c)表示上述计算机系统；图15是说明采用常规的图象处理装置的画面内DCT系数预测方法的图。
图16为说明帧/场DCT转换时扫描线的交替处理的模式图。
图17为说明按本发明实施例5的图象编码装置的方框图。
图18为说明按本发明实施例6的图象译码装置的方框图。
图19是说明上述实施例5中预测处理时用的参照块的图；和图20是表示上述实施例5中预测值生成方法的流程图的一例的示意图。
下面参照
本发明的实施例。
实施例1按照本发明实施例1的图象处理装置(图象编码装置)和图象处理方法(图象编码方法)的特征在于采用适当的画面内DCT系统预测方法，亦即按照被编码块的DCT型式信号(频率变换型信号)从编码完成的子块的DCT系统生成被编码块的DCT系统的预测值的方法来进行图象信号的画面内预测编码。这里所谓DCT型式信号是表明表示被编码块被作帧DCT处理还是被作场DCT处理的信号的信号。
图1为表示按本实施例1的图象编码装置的构成的方框图。
图中，1000为本实施例1的图象编码装置，由下述这样构成，即将被输入的数字图象信号(输入图象信号)110a进行对应于各个划分由其形成的图象空间(帧)的多个块那样分割，使对应于各块的图象信号在每一上述块地进行编码。
亦即，此图象编码装置1000具有分块器100，能将上述输入图象信号110按成为频率变换的处理单位的每一帧或场作对应于上述各块那样的分块化的同时输出上述被加以分块的图象信号101和表示上述频率变换(DCT处理)的处理单位的DCT型式信号102。此分块器100这样构成，在接收输入图象信号110a，且场间的象素值的相关性比帧内的高时，执行场DCT处理那样预先进行将由16×16象素构成的宏块作为单位的扫描线的交替排列，每一由构成被进行扫描线的交替排列的宏块的8×8象素组成的块都输出图象信号。
在上述分块器100中，当场间的象素值的相关性比帧内的小时，不进行以上述那样的宏块为单位的扫描线的交替排列，即每一上述块都输出输入图象信号。
上述图象编码装置1000具有对上述被作分块化的图象信号(下面也称分块化图象信号)101执行离散余弦变换(DCT处理)并将上述分块化图象信号变换成频率成分(DCT系数)104的DCT器103，将此DCT系数104量化后生成对应于各块的量化值(DCT系数量化值)106的量化器105，由根据上述DCT型式信号102的画面预测处理生成对应于被编码块的预测值111的画面内预测处理单元110，和由上述DCT系数量化值106减除上述预测值111后输出DCT系数差分值108的加法器107。此DCT系数差分值108被VLC器109作可变长编码，作为位流(图象编码信号)110b输出。
这里，上述画面内预测处理单元110由将上述DCT系数差分值108与画面内预测值111相加的加法器112，将该加法器112的输出作为编码完成块的DCT系数量化值116存储的块存储器115，和按照DCT型式信号102利用适当的画面内DCT系数预测方法由编码完成块的DCT系统量化值114生成被编码块的DCT系统量化值的预测值111的DCT系数预测器113构成。
下面说明其操作。
首先说明利用适当的DCT预测处理的编码处理中的全部操作。
当数字图象信号(输入图象信)110a被输入到该图象编码装置1000中，在分块器100中，上述输入图象信号110a在每个成为频率变换处理单位的帧或场上对应述各块那样地被分块化，同时输出上述被作分块化的图象信号101和表示上述频率变换(DCT处理)的处理单位的DCT型式信号102。
此时在此分块器100中，当场间的象素值的相关性比帧内的要高时，执行场DCT处理那样预先将由16×16象素构成的宏块作为单位，对图象信号进行扫描线的交替排列处理，将被作扫描线交替排列处理的图象信号输出到每一由构成该宏块的8×8象素组成的块。
而在上述分块器100中，当场间的象素值的相关性比帧内的小时，不进行上述那样的以宏块为单位的扫描线交替排列处理，而将输入图象信号输出到每一上述块。
然后，成为编码处理的对象的被编码块的的图象信号101在DCT器103中由离散余弦变换(DCT处理)变换成对应于上述被编码块的频率成分(DCT系数)104，再对此DCT系数104由量化器105进行量化后作为对被编码块的量化值(DCT系数量化值)106输出。
在上述被编码块的DCT系数量化值106被送至加法器107后，求得此量化值106与其预测值111的差分，作为DCT系数差分值108输出。此DCT系数差分值108由VLC器109进行可变长编码，作为位流(图象编码信号)110b输出。
由上述加法器107输出的DCT系数差分值108被提供给画面内预测处理单元110，在此生成对上述DCT系数量化值106的预测值。
亦就是说，在上述画面内预测处理单元110中，由加法器112将上述DCT系数差分值108与画面内预测值111相加，这些加法值被作为编码完成块的DCT系数量化值116存储进块存储器115。然后，在DCT系统预测器113中按照上述DCT型式信号102采用适当的画面内DCT系数预测方法，由编码完成块的DCT系数量化值114生成被编码块的DCT系数量化值的预测值111。
下面详细说明上述编码处理中适当的画面由DCT系统预测方法。
本实施例1的适当的画面内DCT系数预测方法为按照编码块的DCT型式改变生成对应于被编码块的DCT系数的预测值时参照块的方法。
在本实施例1中DCT区域的定义如下。
亦即，DCT区域(频率区域)作为通过对形成图象空间(空间区域)的图象信号作DCT处理(频率变换)所得到的频率成分而形成的区域，如图象信号空间区域(图象空间)中的宏块的配置那样，在DCT区域(频率区域)中各宏块被加以配置。
在此实施例1中，如图3所示，在宏块被作帧DCT处理时，不进行块中扫描线的交替排列地对各块的图象信号执行DCT处理，将对应于空间区域上的宏块中左上、右上、左下、右下各块的DCT系数分别配置到DCT区域上的宏块中块位(0)、(1)、(2)、(3)的块内；另一方面，在宏块被作场DCT处理时，在空间区域上的宏块中扫描线交替排列之后对各块的图象信号执行DCT处理，将第一场左、第一场右、第二场左、第二场后的各块的DCT数据分别配置到DCT区域内宏块中块位置(0)、(1)、(2)、(3)的块内。
下面将详细说明参照编码完成块的DCT系统预测对应于被编码块的DCT系数(DCT区域中的被编码块的数据)，此时按照被编码块的DCT型式改变参照的编码完成块的适当画面内DCT系数预测方法。
首先，在被编码块作帧DCT处理情况下的预测(下面称为帧预测)中，如图4(a)所示那样，将位于被编码块X(i)的左上的块作为参照块r0(i)、位于邻接被编码块X(i)上侧的块作为参照块r1(i)、位于被编码块X(i)左邻的作为参照块r2(i)参照。在图4(a)中所示的被编码X(i)被作帧DCT处理时的参照块r0(i)、r1(i)和r2(i)为空间上最接近被编码块X(i)的块，通常，这些参照块的DCT系数被认为与被译码块X(i)的DCT系数相关性很高。
另一方面，在被编码块被作场DCT处理情况下的预测(下面称场预测)中，如图4(b)所示那样，将位于被编码块X(i)的上二块的块的左邻的块作为参照块r0(i)、位于被编码块X(i)的上二块的块作为参照块r1(i)、位于被编码块X(i)的左邻的块作为参照块r2(i)参照。图4(b)中所示的被编码块X(i)被作场DCT处理情况下的参照块r0(i)、r1(i)和r2(i)为最接近与被译码块X(i)属于相同场的空间的块，通常，这些参照块的DCT系数被认为与被编码块X(i)的DCT系数相关性很高。
下面利用图5-11说明本发明实施例1中所用的适当的画面内DCT系数预测方法的处理顺序。
图5表示本实施例的适当的画面内DCT系数预测方法的处理程序流程图。
步骤S51中，判定被编码块X(i)的DCT型式，根据此判定结果此后的处理将不同。
亦即，在被编码块X(i)被作帧DCT处理时，步骤S52中如图4(a)所示，通过参照对被编码块X(i)的参照块r0(i)、r1(i)和r2(i)的帧预测，生成被编码块X(i)的DCT系数的预测值。
另一方面，在被编码块X(i)被作场DCT处理时，步骤S53中如图4(b)所示，通过参照对被编码块X(i)的参照块r0(i)、r1(i)和r2(i)的场预测，生成被编码块X(i)的DCT系数的预测值。
按上述这样，根据被编码块X(i)的DCT型式，由转换预测中所用的参照块，能将与被编码块X(i)之间的DCT系数的相关性高的块的DCT系数用于预测，从而就能高效进行预测。
下面利用图6的流程图说明图5中所示步骤S52的帧预测方法的处理程序。图6中，r0(i)、r1(i)、r2(i)和X(i)各自表示图4(a)的参照块和被编码块。在图6的帧预测方法的处理程序中，将被作帧DCT处理的参照块、亦即与被编码块X(i)同一DCT型式的参照块优先用于预测。
首先，在步骤S611a中，判定被编码块X(i)的左邻的参照块r2(i)的DCT型式。随此判定结果其后的处理将不同。接着在步骤S612a和613a中，判定位于邻接被编码块X(i)的上侧的参照块r1(i)的DCT型式。随此判定结果其后的处理会不同。这样，按参照块r1(i)和r2(i)的DCT型式，图6中所示的帧预测处理被分成为下面的四个处理(A1)-(A4)。
(A1)在参照块r1(i)和r2(i)被同时作帧DCT处理的情况下，步骤S614a中，利用参照块r0(i)、r1(i)和r2(i)的DCT系数，由后述的“规定方法1”生成被编码块X(i)的DCT系数的预测值。
(A2)在参照块r1(i)被作场DCT处理，参照块r2(i)被作帧DCT处理的情况下，与常规的方法同样地，亦即从图15中所示的块R2的DCT系数生成块X的DCT系数的预测值，同样地，在步骤S615a中利用参照块r2(i)的DCT系数生成被编码块X(i)的DCT系数的预测值。
(A3)在参照块r1(i)被作帧DCT处理、参照块r2(i)被作场DCT处理的情况下，与常规的方法同样地、亦即从图15中所示的由块R1的DCT系数生成块X的DCT系数预测值，同样地，在步骤S616a中利用参照块r1(i)的DCT系数生成被编码块x(i)的DCT系数的预测值。
(A4)在参照块r1(i)和r2(i)同时被作场DCT处理的情况下，在步骤S617a中利用参照块r0(i)、r1(i)和r2(i)的DCT系数，由后述的“规定方法2”生成被编码块x(i)的预测值。
而在步骤S617a中，不参照参照块r0(i)、r1(i)和r2(i)的DCT系数，而可以采用0等的规定的值作为预测值。在省略步骤S613a和S617a而不对参照块r2(i)进行帧DCT处理的情况下，通常在步骤S616a中可以利用参照块r1(i)的DCT系数来生成被编码块x(i)的DCT系数的预测值。
下面按图7的流程图说明图5中所示步骤53的场预测方法中的处理程序。
图7中所示场预测方法的处理程序是在图6所示的帧预测方法的处理程序中交替输入帧或场。
但在按图7的场预测方法的说明中，参照块r0(i)、r1(i)、r2(i)、和被编码块x(i)分别表示如图4(h)中所示的参照块和被编码块。
亦即，在图7的场预测方法的处理程序中也在预测中优先应用与被编码块x(i)相同的DCT型式的参照块(被执行场DCT处理的参照块)。
首先，在步骤S711b中判定被编码块x(i)的左邻的参照块r2(i)的DCT型式。随此判定结果其后的处理各异。然后，在步骤S712b和S713b中判定位于被编码块x(i)的上侧的参照块r1(i)的DCT型式。随此判定结其后处理各异。这样，按照参照块r1(i)和r2(i)的DCT型式，图7中所示的场预测的处理被分为下面的四个处理(B1)～(B4)。
(B1)在参照块r1(i)和r2(i)同时被作场DCT处理的情况下，在步骤S714b中参照参照块r0(i)、r1(i)和r2(i)的DCT系数，由后述的“规定方法1”生成被编码块x(i)的DCT系数的预测值。
(B2)在参照块r1(i)被作帧DCT处理、参照块r2(i)被作场DCT处理的情况下，与常规的方法同样地，亦即与图15中所示的由块R2的DCT系数生成块X的DCT系数的预测值同样地，在步骤S715b中利用参照块r2(i)的DCT系数生成被编码块x(i)的DCT系数的预测值。
(B3)在参照块r1(i)被作场DCT处理，参照块r2(i)被作帧处理的情况下，与常规的方法相同、即与图15中所示的由块R1的DCT系数生成块X的DCT系数的预测值同样地，在步骤S716b中利用参照块r1(i)的DCT系数生成被编码块x(i)的DCT系数预测值。
(B4)在参照块r1(i)和r2(i)同时被作帧DCT处理的情况下，在步骤S717b中参照参照块r0(i)、r1(i)和r2(i)的DCT系数，由后述的“规定方法2”生成被编码块x(i)的预测值。
在步骤S717b中，可以不参照参照块r0(i)、r1(i)和r2(i)而利用0等的规定值来作为预测值。而在省略步骤S713b和S717b、参照块r2(i)不作场DCT处理的情况下，通常在步骤S716b中可以利用参照块r1(i)的DCT系数来生成被编码块x(i)的DCT系数的预测值。
如上面图6和图7的处理程序中所示的预测方法那样，通过使与被编码块同样DCT型式的块、亦即与被编码块之间DCT系数相关性高的参照块优先，并用于被编码块的预测，就能高效率地进行预测。
下面利用图8中所示的流程图说明基于上述图6所示步骤S614a的“规定方法1”或步骤S617a的“规定方法2”的预测值生成方法的处理程序。
在图8的方法中，为进行与常规的DCT系数预测方法同样的处理，在步骤S821a～S829a的处理中，设想用于存放对应于图15中所示的四个块的该各块的DCT系数的虚拟的存储器空间(虚拟缓存器)，对该虚拟缓存器上的各块应用常规的DCT系数预测方法。
图8中，R0、R1和R2表示虚拟缓存器上的参照块，DC0、DC1和DC2各自表示上述虚拟缓存器上参照块R0、R1和R2的DCT系数的DC成分。在图8的预测值生成方法的说明中，r0(i)、r1(i)、r2(i)、x(i)表示具有图4(a)所示位置关系的的参照块和被编码块。
图8所示处理中，首先，在步骤S821a、S822a和S823a，生成参照块R0的DCT系数，但根据上述步骤S821a中的参照块r0(i)的DCT型式的判定结果，其后的生成参照块R0的DCT系数的处理将不同。
亦即，在参照块r0(i)被作场DCT处理的情况下，在步骤S822a中由参照块r0(i)的附近的块按规定的方法生成DCT系数，将生成的DCT系数作为参照块R0的DCT系数存放进上述虚拟缓存器。另一方面，在参照块r0(i)被作帧DCT处理的情况下，在步骤S823a中参照块r0(i)的DCT系数被作为参照块R0的DCT系数存进虚拟缓存器。与上述同样，在步骤S824a、S825a和S826a中，生成参照块R1的DCT系数，在步骤S827a、S828a和S829a中生成参照块R2的DCT系数，存储进上述虚拟缓存器。
以后的处理与常规的DCT系数预测方法相同，在步骤S830a中将参照块R0和R1的DCT系数的DC成分的差的绝对值(︱DC0-DC1︱)与参照块R0和R2的DCT系数的DC成分的差的绝对值(︱DC0-DC2︱)的大小加以比较。在参照块R0和R2的DCT系数的DC成分的差的绝对值(︱DC0-DC2︱)小于参照块R0和R1的DCT系数的DC成分的差的绝对值(︱DC0-DC1︱)时，在步骤S832a中利用参照块R1的DCT系数生成被编码块x(i)的DCT系数的预测值。
在此以外的情况下，在步骤S831a中利用参照块R2的DCT系数生成被编码块x(i)的DCT系数的预测值。
在图6的步骤S814a的“规定的方法1”中，因为知道参照块r1(i)和r2(i)的DCT型式为帧，所以能省略图8的步骤S824a、S827a、S825a和S828a那样的处理。
下面利用图9所示流程图说明图7中所示步骤S714b的“规定方法1”或步骤S717b的“规定方法2”中的处理过程。
图9的流程图中所示的处理程序是在图8的流程图中所示处理程序中，将判定各块是否被作帧DCT的处理置换为判定各块是否作场DCT的处理，处理大体上与上述图7中所示的处理相同。图9中，参照块r0(i)、r1(i)、r2(i)和x(i)分别表示具有图4(b)所示位置关系的参照块和被编码块。
图9所示的处理中，首先在步骤S921b、S922b和S923b中生成参照块R0的DCT系数，但随着上述步骤S921b中的参照块r0(i)的DCT型式的判定结果，其后的生成参照块R0的DCT系数的处理将不同。
亦即，在参照块r0(i)被作帧DCT处理的情况下，在步骤S922b中由参照块r0(i)附近的块按规定的方法生成DCT系数，所生成的DCT系数被作为参照块R0的DCT系数存入上述虚拟缓存器。另一方面，在参照块r0(i)被作场DCT处理的情况下，在步骤S923b中参照块r0(i)的DCT系数被作为参照块R0的DCT系数存储进虚拟缓存器。与上述同样，在步骤S924b、925b和926b中生成参照块R1的DCT系数，在步骤S927b、S928b和S929b中生成参照块R2的DCT系数，存储进上述虚拟缓存器。
以后的处理与常规的DCT系数预测方法相同，在步骤S930b中比较参照块R0和R1的DCT系数的DC成分的差的绝对值(︱DC0-DC1︱)与参照块R0和R2的DCT系数的DC成分的差的绝对值(︱DC0-DC2︱)的大小。在参照块R0和R2的DCT系数的DC成分的差的绝对值(︱DC0-DC2︱)小于参照块R0和R1的DCT系数的DC成分的差的DC成分的差的绝对值(︱DC0-DC1︱)时，在步骤S932b利用参照块R1的DCT系数生成被编码块x(i)的DCT系数的预测值。
在此外的情况下，则在步骤S931b利用参照块R2的DCT系数生成被编码块x(i)的DCT系数的预测值。
在图7步骤S714b的“规定方法1”中，因为知道参照块r1(i)和r2(i)的DCT型式为场，所以能省略按图9的步骤S924b、S927b、S925b和S928b的处理。
这样，在被编码块的DCT系数的预测处理中，当必须参照与被编码块不同的DCT型式的块的DCT系数时，因为不是照原样参照与被编码块不同的DCT型式的DCT系数，而是由参照块附近旁的块生成接近与被编码块相同的DCT型式的DCT系数的特性的DCT系数，依靠参照生成的DCT系数预测被编码块的DCT系数，所以就可能高效率地进行预测。
图10为用于说明图8步骤S822a、S825a、S828a、图9步骤S922b、S925b、S928b中的由参照块r附近的块生成DCT系数的方法的概念图。
在图10和图11的说明中，r表示频率区域上的参照块r0(i)、r1(i)和r2(i)中任一个，R表示虚拟缓存器上的参照块R0、R1和R2中的任一个。
在图8的步骤S822a、S825a、S828a图9的步骤S922b、S925b、S928b中的由参照块r的附近的块生成DCT系数的处理中，如图10所示那样，由参照块r附近的二个块的DCT系数利用规定函数生成DCT系数，将生成的DCT系数作为虚拟缓存器上的参照块R的DCT系数。
图11表示虚拟缓存器上的参照块R的DCT系数的生成程序。这里，按DCT区域上的宏块内的参照块r的位置进行不同的处理。
例如，在参照块r位于DCT区域的宏块中的块位置(0)或(2)、亦即DCT区域的宏块的左侧的情况下，在步骤S1142L中由位于包含参照块r的DCT区域的宏块的块位置(0)和(2)的块的DCT系数，如图10中所示那样，利用规定的函数生成虚拟缓存器上的参照块R的DCT系数。在参照块r位于DCT区域的宏块的块位置(1)或(3)、亦即DCT区域的宏块的右侧位置上的情况下，在步骤S1142 R中由位于包含参照块r的DCT区域的宏块的块位置(1)和(3)的块的DCT系数，如图10中所示那样，利用规定的函数生成虚拟缓存器上的参照块R的DCT系数。
作为这里用的规定函数可以是将位于频率区域上的参照块r的附近的二个块的DCT系数的平均或加权平均作为虚拟缓存器上的参照块R的DCT系数的函数等，能由参照块r附近的二个块的DCT系数唯一地计算虚拟缓存器上的参照块R的DCT系数的值的函数。
而后，参照频率区域上的二个块生成的DCT系数在步骤S1143中被认为是虚拟缓存器上的参照块R的DCT系数。
这样，依靠由空间区域中持有与参照块r相同区域的信息的二个块的DCT系数生成用于预测的虚拟区域上的参照块R的DCT系数，就能生成接近于与被编码块相同DCT型式的DCT系数的频率特性的DCT系数。
这样，在本实施例1中用的适当的画面内DCT系数预测方法中，按照被编码块的DCT型式转换用于预测的参照块，将与被编码块同样DCT型式的参照块的DCT系数优先利用于预测，而在参照块与被编码块为不同DCT型式的情况下，由参照块附近的块的DCT系数生成接近于参照块的DCT型为与被编码块的DCT型式同一时的参照块的DCT系数的频率特性的块的DCT系数用于预测，因而能在DCT区域(频率成分)中高效率地进行对交错图象信号和特殊的连续图象的画面内预测。
此结果是，按照本实施例1，作为成为处理对象的宏块在对混合有不同DCT型式的宏块的交错图象和特殊的连续图象等的MPEG4方式的编码处理中，依靠利用画面内的信息提高被编码块的DCT系数的预测值效率，而有可能高效率地进行以除去或减少空间上冗余的图象信息的图象信号的压缩编码。
而在本实施例1中采用的适当的画面内DCT系数预测方法中，在将图4(a)和(b)的参照块r2(i)的DCT系数用作为被编码块x(i)的DCT系数的预测值的情况下，当参照块r2(i)与被编码块x(i)的DCT型式不同时，也可以仅利用参照块r2(i)的DCT系数的DC成分作为被编码块x(i)的DCT系数的预测值。并根据情况，对块r1(i)也可以仅利用其DCT系数的DC成分作为被编码块x(i)的DCT系数的预测值。
在上述实施例1中，在上述步骤S923b、S926、S926b中虽然是分别由参照块r(具体说为参照块r0(i)、r1(i)、r2(i))的DCT系数生成用于被编码块的DCT系数的预测的虚拟缓存器上的参照块R(具体说为参照块R0、R1、R2)的DCT系数，但也可以在上述步骤S923b、S926、S929b中分别与上述步骤S922b、S925、S928b同样地由在空间区域上位于参照块r(具体说为参照块r0(i)、r1(i)、r2(i))的附近的二个块的DCT系数利用规定的函数生成DCT系数，将生成的DCT系数作为虚拟缓存器上的参照块R的DCT系数。
在此情况下，图7所示的场预测处理中，虽然是按照被编码块x(i)的左邻的参照块r2(i)和位于邻接被编码块x(i)的上侧的参照块r1(i)的DCT型式进行上述的四个处理B1～B4中的一个，但也可以将这些处理B1～B4中的处理B1、处理B3、和处理B4置换为下面表明的处理B1’、处理B3’、和处理B4’。
关于上述处理B3’，是将邻接被编码块的上侧的编码完成块(亦即位于图4(b)中所示的被编码块x(i)与编码完成块r1(i)之间的编码完成块)作为参照块，而利用此参照块的DCT系数作为被编码块的DCT系数的预测值。
关于上述处理B1’和B4’，是在步骤S922b、S923b中对参照块r0(i)和位于该参照块r0(i)与参照块r2(i)之间的编码完成块以0对1的加权比例作加权平均，生成虚拟缓存器上的参照块R0的DCT系数，在步骤S925b、S926b中对参照块r1(i)和位于该参照块r1(i)与被编码块x(i)之间的编码完成块以0对1的加权比例作加权平均，生成虚拟缓存器上的参照块R1的DCT系数，在步骤S928b、S929b中对参照块r2(i)和位于该参照块r2(i)与参照块r0(i)之间的编码完成块以1对0的加权比例作加权平均，生成虚拟缓存器上的参照块R1的DCT系数。在上述处理B1’和B4’的处理中，各块r0(i)～r2(i)被看作是对被编码块x(i)位于图4(b)中所示的位置上。
换句话说，上述处理B1’和B4’进行参照块r0(i)和位于邻接其下侧的编码完成块之间的加权平均是以该二块中接近被编码块x(i)的一方的加权比例作为1，进行参照块r1(i)和位于邻接其下侧的编码完成块之间的加权平均是以该二块中接近被编码块x(i)的一方的比例作为1，而进行参照块r2(i)和位于邻接其上侧的编码完成块之间的加权平均是以该二块中接近被编码块x(i)的一方的比例作为1。
这种情况使得用于加权平均的运算处理简单，并由于是参照对被编码子块在空间上为最近位置的编码完成子块的频率成分来生成被编码子块的频率成分的预测值，利用由简单的运算处理的适当的画面内DCT系数预测方法，就能提高对交错的或特定的连续图象的编码处理整体的预测效率。
实施例2按照本发明实施例2的图象处理装置(图象译码装置)和译码方法(图象译码方法)的特征是采用上述实施例1中所示的图象编码装置和图象编码方法中应用的适当的画面内DCT系数预测方法来进行图象编码信号的译码。
图2表示按本实施例2的图象译码装置的方框图，与图1相同的符号表示相同的或相当的部分。
此图象译码装置2000接收由按照上述实施例1的图象编码装置1000对图象信号进行编码所得的图象编码信号(位流)110b，对其进行采用适当的画面内DCT系数预测方法的译码处理。
亦即，此图象译码装置2000具有可变长译码器(VLD器)203，接收由图象编码装置1000输出的位流110b，对其由该数据解析作可变长译码，使对应于被译码块的DCT系数差分值108(被编码块的DCT系数量化值107与其画面内预测值111的差分值)复原的可变长译码器(VLD器)203；画面内预测单元210，生成对被译码块的画面内预测值111；和加法器112，将该画面内预测值111与上述DCT系数差分值108相加使对应于被译码块的DCT系数量化值106复原112。
这里，上述画面内预测处理单元210由将上述加法器112的输出106作为译码完成块的DCT系数量化值存储的块存储器115；和按照来自图象编码装置1000的DCT型式信号102，利用适当的画面内DCT系数预测方法，由上述块存储器115中存储的译码完成块的DCT系数量化值114生成对被译码块的DCT系数量化值的预测值111的DCT系数预测器113构成。
上述图象译码装置2000具有对上述加法器112的输出106进行逆量化处理使对应于被译码块的DCT系数104复原的逆量化器207；对该逆量化器207的输出作逆DCT处理，使对应于被译码块的图象信号101复原的逆DCT器209；和接收该逆DCT209的输出，根据来自图象编码装置1000的DCT型式信号102使扫描线结构的图象信号110a复原的逆分块器200。
下面说明其操作。
此图象译码装置2000在由图象编码装置1000输入图象编码信号110b时，该图象编码信号110b即在VLD器203中由该数据解析被作可变长译码，作为对被译码块的DCT系数差分值108加以输出。
对此被译码块的DCT系数差分值108在加法器112中与其预测值111相加，使对应于被译码块的DCT系数量化值106复原。
此时，对上述被译码块的DCT系数量化值106被供给上述画面预测处理单元210，作为译码完成块的DCT系数量化值被存储进其块存储器115。而在DCT系数预测器113中，由上述块存储器115中读出对应于译码完成块的DCT系数量化值114，在此，根据来自图象编码装置1000的DCT型式信号102参照来自块存储器115的DCT系数量化值114，生成对上述被译码块的下一被处理的被译码块的DCT系数差分值108的预测值的适当的DCT系数预测处理，与图象编码装置1000的画面内预测处理单元110中的预测值生成处理同样地进行。
上述DCT系数量化值106在逆量化器207中由逆量化处理被变换成对被译码块的DCT系数104，此DCT系数104再在逆DCT器209中由逆离散余弦变换被变换成对被译码块的图象信号101。
此后在将该对被译码块的图象信号101供给逆分块器200时，即在该逆分块器200中根据来自图象编码装置1000的DCT型式信号102再现扫描线结构的图象信号110a。
这样在本实施例2中，因为利用适当的画面内DCT系数预测方法进行图象编码信号的译码，所以借助DCT区域中画面内预测处理，能对利用适当的画面内DCT系数预测处理将对应于交错图象或特殊的连续图象的图象信号作画面内预测编码所得的图象编码信号(位流)，高效率并且正确地进行译码。
实施例3下面说明按照本发明实施例3的图象处理装置(图象编码装置)。
按照本实施例3的图象编码装置是构成为，将上述实施例1中的图5中所示预测值生成程序的步骤S52中的由帧预测生成被编码块的DCT系数的预测值的处理按图12中所示处理过程进行，而将实施例1中的步骤S53的由场预测生成被编码块的DCT系数的预测值的处理按图13中所示处理过程进行。
除有关帧预测方法和场预测方法之外，按照本实施例3的图象编码装置的适当的画面内DCT系数预测处理均与上述实施例1的适当的画面内DCT系数预测处理相同，所以这里仅利用图12和图13对本实施例3中的帧预测方法和场预测方法加以说明。
图12用流程图表示实现图5中所示步骤52中的帧预测方法的本实施例3的处理程序。图12中，r0(i)、r1(i)、r2(i)和x(i)分别代表图4(a)中所示参照块和被编码块。
在此实施例3中，首先步骤S1221a判定参照块r2(i)的DCT型式。随此判结果其后的处理各异。
亦即，在参照块r2(i)被作帧DCT处理的情况下，作为“规定方法”采用图8中所示预测值生成方法来生成被编码块x(i)的DCT系数的预测值。关于图8的预测值生成方法因与实施例1中说明的相同，故这里省略其说明。而在图12的步骤S1222a的“规定方法”中，因已知r2(i)的DCT型式为帧DCT，所以能省略图8的步骤S827a和S828a。
另一方面，在参照块r2(i)被作场DCT处理的情况下，与图15中所示的常规的方法同样地进行，亦即与如图15中所示那样由参照块R1的DCT系数生成被编码块X的DCT系数的预测值同样地，利用参照块r1(i)的DCT系数生成被编码块x(i)的DCT系数预测值。
图13用流程图表示实现图5中所示步骤S53中的场预测方法的本实施例3中的处理程序。图13中所示处理是在图12的处理中更换帧和场，关于处理大致相同所以这里不对之作详细说明。但在图13的场预测方法的说明中，r0(i)、r1(i)、r2(i)和x(i)分别作为代表图4(b)的参照块和被编码块。
这样，在本实施例3的图象编码装置中的适当的画面内DCT系数预测方法中，比起上述实施例1使得图5的步骤S52的帧预测方法和步骤S53的场预测方法简化，因而在编码时能简便和高速地进行DCT区域中的画面内预测处理。
实施例4下面说明按照本发明实施例4的图象处理装置(图象译码装置)。
按照本实施例4的图象译码装置构成为，将上述实施例2中的由图5所示预测值生成过程的步骤S52中的帧预测生成被译码块的DCT系数的预测值的处理按图12中所示处理程序进行，而将实施例1中的由步骤S53中的场预测生成被译码块的DCT系数的预测值的处理按图13中所示处理程序进行。
在这样构成的本实施例4的图象译码装置中，在进行适当的DCT系数预测方法时，图5步骤S52的帧预测方法和步骤S53的场预测方法与上述实施例2相比更简化，这样在译码时就能简单和高速地进行DCT区域中的画面内预测处理。
实施例5按照本发明实施例5的图象处理装置(图象编码装置)和图象处理方法(图象编码方法)的特征是，不管被编码块的DCT型式信号(亦即被编码块执行帧DCT处理还是执行场DCT处理)如何，均采用由对被编码块具有规定的位置关系的编码完成块DCT系数生成被编码块的DCT系数的预测值的方法来进行图象信号的画面内预测编码。这里，作为DCT型式信号是作为表明被编码块被作帧DCT处理还是被作场DCT处理的信号。而块是认为代表构成由16×16象素组成的宏块的四个由8×8象素组成的子块。这四个子块位于宏块内的左上(图3的块位置(0))、右上(图3的块位置(1))、左下(图3的块位置(2))、右下(图3的块位置(3))。
图17为表示按本实施例5的图象编码装置的结构的方框图。
图中，3000为本实施例5的图象编码装置，其构成是，将被输入的数字图象信号(输入图象信号)110a进行对应于各个区分由它们所形成的图象空间(帧)的多个的宏块地分割，按上述每一块地对对应于构成各宏块的块的图象信号进行编码。
亦即，此图象编码装置3000与实施例1的图象编码装置1000同样具有分块器100，能将上述输入图象信号110a在每一成为频率变换的处理单位的帧或场作对应于上述各块那样分块化的同时，输出上述被作分块化的图象信号101和表示上述频率变换(DCT处理)的处理单位的DCT型式信号102。此分块器100是这样构成，接收输入图象信号110a，在场间的象素值的相关性比帧内的高时，执行场DCT处理，予先以由16×16象素组成的宏块作为单位进行扫描线的交替排列，将图象信号输出到每一由构成作扫描线的交替排列的宏块的8×8象素组成的块。而在上述分块器100中，当场间的象素值的相关性比帧内的小时，则不进行上述那样的以宏块为单位的扫描线的交替排列，输入图象信号输出到每一上述块。
具体说，在上述分块器100中，使得由对应于奇数号的水平象素序列(水平扫描线)的图象信号所形成的第一场的图象位于该宏块的上侧、即块位置(0)和(1)上，而由对应于偶数号的水平象素序列(水平扫描线)的图象信号形成的第二场的图象位于该宏块的下侧、即块位置(2)和(3)上这样地进行上述扫描线的交替排列处理。
上述分块器100就能将对应于宏块的图象信号作对应于上述块位置(0)～(3)的块那样地分割输出。
上述图象编码装置3000与上述实施例1的图象编码装置1000同样具有，对对应于成为编码处理的对象的被编码块的图象信号101作离散余弦变换(DCT处理)的DCT器103，将此DCT器103的输出104加以量化的量化器105，生成对应于上述被编码块的预测值111的画面内预测处理单元310，和由上述量化器105的输出(DCT系数量化值)106减除上述预测值111后输出DCT系数差分值108的加法器107,而将此DCT系数差分值108由VLC器109进行可变长编码，作为位流(图象编码信号)110b输出。
上述画面内预测处理单元310包括将上述DCT系数差分值108与画面内预测值11相加的加法器112，将该加法器112的输出作为编码完成块DCT系数量化值116而存储的块存储器115，和由在图象空间上邻接被编码块的编码完成块的DCT系数量化值114生成被编码块的DCT系数量化值的预测值111的DCT系数预测器313。
本实施例5中，上述DCT系数预测器313组成这样结构，即不管被编码块的DCT型式如何，均如图19中所示那样，将位于邻接被编码块x(i)的左上的块r0(i)、位于邻接被编码块x(i)的上侧的块r1(i)、和位于被编码块x(i)的左邻的块r2(i)作为参照块，生成上述被编码块x(i)的DCT系数量化值的预测值111。
此实施例5中的DCT器103、量化器105、加法器107、112、VLC器109、和块存储器115均为与实施例1的为同一结构。
下面说明其操作。
首先，简单说明本实施例5的图象编码装置的整体的操作。
在数字图象信号(输入图象信号)110a被输入到此图象编码装置3000时，在分块器100中，上述输入图象信号110a在每一成为频率变换的处理单位帧或场作对应于上述各块那样地被分块化，同时输出上述被作分块化的图象信号101和表示上述频率变换(DCT处理)的处理单位的DCT型式信号102。
这时在此分块器100中，当场间的象素值的相关性比帧内的高时，为执行场DCT处理，预先将由16×16象素组成的宏块作为单位，对图象信号进行扫描线的交替排列处理，将进行扫描线交替排列处理的图象信号输出到每一构成该宏块的由8×8象素组成的块。在此情况下，在进行过扫描线交替排列处理的宏块中，由对应于奇数号的水平象素序列(水平扫描线)的图象信号形成的第一场的图象位于该宏块的上侧、即块位置(0)和(1)上，而由对应于偶数号的水平象素序列(水平扫描线)的图象信号形成的第二场的图象位于宏块的下侧、即块位置(2)和(3)上。
而在上述分块器100上，当场间的象素值的相关性比帧内的小时，即不进行上述那样的以宏块为单位的扫描线交替排列处理，将输入图象信号输出到每一上述块。
然后，成为编码处理的对象的被编码块的图象信号101在DCT器103中，由离散余弦变换(DCT处理)变换成对应于上述被编码块的频率成分(DCT系数)104，此DCT系数104再在量化器105中被量化，作为对被编码块的量化值(DCT系数量化值)106输出。
在将上述被编码块的DCT系数量化值106加给加法器107时，即求取此量化值106与其预测值111的差分，作为DCT系数差分值108输出。此DCT系数差分值108由VLC器109作可变长编码，作为位流(图象编码信号)110b输出。
由上述加法器107输出的DCT系数差分值108被提供给画面内预测处理单元310，在此生成对上述DCT系数量化值106的预测值。
亦即，在上述画面内预测处理单元310中由加法器112将上述DCT系数差分值108和画面内预测值111相加，将这些相加值作为编码完成块DCT系数量化值116存储进块存储器115中。而在DCT系数预测器313中由编码完成块DCT系数量化值114生成被编码块的DCT系数量化值的预测值111。
下面详细说明上述编码处理中的画面内DCT系数预测方法。
本实施例5的画面内DCT系数预测方法在生成对应于被编码块的DCT系数的预测值时与实施例1不同，不管被编码块的DCT型式如何，总是参照对被编码块具有规定的位置关系的编码完成块。
本实施例5中还与实施例1同样，DCT区域(频率区域)是，作为由将形成图象空间(空间区域)的图象信号作DCT处理(频率变换)所得的频率成分形成的区域，如在空间区域(图象空间)中的宏块的配置那样，在DCT区域(频率区域)中配置各宏块。
在此实施例5中也与实施例1相同，如图3中那样，在宏块被作帧DCT处理的情况下不进行宏块中扫描线的交替排列地对各块的图象信号进行DCT处理，将对应于空间区域上的宏块中左上、右上、左下、右下的各块的DCT系数分别配置在DCT区域上的宏块中的块位置(0)、(1)、(2)、(3)的块内；另一方面，在宏块被作场DCT处理的情况下，在空间区域上的宏块中扫描线作交替处理之后对各块的图象信号进行DCT处理，将第一场左、第一场右、第二场左、第二场右的各块的DCT系数分别配置在DCT区域的宏块中的位置(0)、(1)、(2)、(3)的块内。
下面详细说明参照编码完成块的DCT系数预测对应于被编码块的DCT系数(DCT区域中的被编码块的数据)的本实施例5的画面内DCT系数预测方法。
首先，不管被编码块被作帧DCT处理还是作场DCT处理，均如图19中所示那样，将位于被编码块x(i)的左上的块作为参照块r0(i)、位于邻接被编码块x(i)的上方的块作为参照块r1(i)、位于被编码块x(i)的左邻的块作为参照块r2(i)参照。
如图20中流程图所示那样，与常规的DCT系数预测方法相同，在步骤S2130a中比较参照块r0(i)和r1(i)的DCT系数的DC成分的差的绝对值(︱DC0-DC1︱)与参照块r0(i)和r2(i)的DCT系数DC成分的差的绝对值(︱DC0-DC2︱)的大小。在参照块r0(i)和r2(i)的DCT系数的DC成分的差的绝对值(︱DC0-DC2︱)小于参照块r0(i)和r1(i)的DCT系数的DC成分的差的绝对值(︱DC0-DC1︱)时，在步骤S2132a中利用参照块r1(i)的DCT系数生成被编码块x(i)的DCT系数的预测值。
在除此以外的情况下，在步骤S2131a中利用参照块r2(i)的DCT系数生成被编码块x(i)的DCT系数的预测值。
这样在本实施例5中，被编码块的DCT系数的预测处理中利用对被编码块具有规定的位置关系的编码完成块作为参照块，比较邻接被编码块附近纵方向排列的参照块间的DCT系数的相关性与邻接被编码块附近横方向排列的参照块间的DCT系数的相关性的大小，求得DCT系数相关性强的方向，选择位于对被编码块DCT系数的相关性强的方向的参照块，由选择的参照块的DCT系数求取被编码块的DCT系数的预测值，所以能在DCT区域(频率成分)中通过效率高且简单的处理程序进行对交错图象信号和特殊的连续图象的画面内预测。
结果是按照本实施例5，在对作为成为处理对象的宏块的混合有不同DCT型式的宏块的交错图象和特殊的连续图象等作MPEG 4方式的编码处理中，就能利用画面内的信息提高被编码块的DCT系数的预测效率，高效简单地进行依靠削减空间冗余的图象信息的图象信号压缩编码。
而在本实施例5中所用的画面内DCT系数预测方法中，当采用图19的参照块r1(i)或参照块r2(i)的DCT系数作为被编码块x(i)的DCT系数的预测值时，也可以仅利用参照块r1(i)或参照块r2(i)的DCT系数的DC成分作为被编码块x(i)的DCT系数的预测值。
实施例6本实施例6的图象处理装置(图象译码装置)和译码方法(图象译码方法)的特征是利用上述实施例5中所示的图象编码装置和图象编码方法中用的画面内DCT系数预测方法进行图象编码信号的译码。
图18表示本实施例6的图象译码装置的方框图，与图17相同的符号表示相同或相当部分。
此图象译码装置4000接收由上述实施例5的图象编码装置3000对图象信号进行编码所得到的图象编码信号(位流)110b、对之应用画面内DCT系数预测方法进行译码处理。
亦即，此图象译码装置4000包括可变长译码器(VLD器)203，接收由图象编码装置3000输出的位流110b，由其数据解析对之进行可变长译码、恢复对应于被译码块的DCT系数差分值108(被译码块DCT系数量化值107与该画面内预测值111的差分值)复原；生成对被译码块的画面内预测值111的画面内预测值111的画面内预测处理单元410；和将该画面内预测值111和上述DCT系数差分值108相加、使对被译码块的DCT系数量化值复原的加法器112。
这里，上述画面内预测处理单元410包括将上述加法器112的输出116作为译码完成块的DCT系数量化作存储的块存储器115，和利用实施例5的图象编码装置3000中的画面内DCT系数预测方法由上述块存储器115中存储的译码完成块的DCT系数量化值114生成对被译码块的DCT系数量化值的预测值111的DCT系数预测器313。
上述图象译码装置4000具有对上述加法器112的输出116作逆量化处理并使对被译码块的DCT系数104复原的逆量化器207，对该逆量化器207的输出作逆DCT处理并使对被译码块的图象信号101复原的逆DCT器209，和接收该逆DCT器209的输出并根据来自图象编码装置4000的DCT型式信号102使扫描线构选的图象信号110a复原的逆分块器200。
在此逆分块器200中组成这样的结构，将在图象空间上属于同一宏块的块的图象信号作对应于该宏块内的块的位置的组合并生成对应于宏块的图象信号的同时，使由对应于奇数号的水平象素序列的图象信号形成的第一场的图象位于上述宏块的上侧而由对应于偶数号的水平象素序列的图象信号形成的第二场的图象位于该宏块的下侧那样对在编码时执行水平象素序列交替排列处理的宏块的图象信号进行形成由上述第一场和第二场构成的帧的图象那样水平象素序列的逆交替排列处理，另一方面，对在编码时未执行上述水平象素序列交替排列处理的宏块的图象信号则不进行上述水平象素序列的交替排列处理，生成由多个宏块构成的上述图象空间的图象信号。
下面说明其操作。
在此图象译码装置4000中当由图象编码装置3000输入图象编码信号110b时，该图象编码信号110b在VLD器203中按其数据作可变长译码，作为对被译码块的DCT系数差分值108输出。
对此被译码块的DCT系数差分值108在加法器112中与其预测值111相加，恢复对被译码块的DCT系数量化值116。
此时，对上述被译码块的DCT系数量化值116被供给上述画面内预测处理单元410，在其块存储器115中作为译码完成块的DCT系数量化值加以存储。并在DCT系数预测器313中，由上述块存储器115读出对应于译码完成块的DCT系数量化值114，在此，参照来自块存储器115的DCT系数量化值114，与图象编码装置3000的画面内预测处理单元110中的预测值生成处理同样地进行生成对上述被译码块的下一被处理的被译码块的DCT系数差分值108的预测值的DCT系数预测处理。
而上述DCT系数量化值116在逆量化器207中由逆量化处理变换为对被译码块的DCT系数104，此DCT系数104再在逆DCT器209中通过逆离散余弦变换被变换成对被译码块的图象信号101。
在对此被编码块的图象信号101被供给逆分块器200时，在该逆分块器200中根据来自图象编码装置3000的DCT型式信号102再现扫描线构选的图象信号110a。
这样，在本实施例6中，利用画面内DCT系数预测方法进行图象编码信号的译码，所以能通过DCT区域中简单的画面内预测处理高效正确地对利用画面内DCT系数预测处理进行对应于交错图象或特殊的连续图象的图象信号的画面内预测编码所得的图象编码信号(位流)进行译码。
通过将为实现按照上述各实施例中所示的图象编码装置或图象译码装置的图象处理的编码或译码程序记录进软盘等的数据存储媒体，就可能在独立的计算机系统中方便地实施上述各实施例中所示的处理。
图14用于说明采用存储上述编码或译码程序的软盘由计算机实施上述实施例1～6的图象编码处理或译码处理的情况。
图14(a)表示由软盘正面看的外观、断面结构、和软盘主体，图14(b)表示该软盘主体的物理格式。
上述软盘FD作成为将上述软盘主体D收容在软盘盒FC内的结构，在该软盘主体D的表面上同心园地由外周向内周形成有多个磁道Tr，各磁道Tr呈角度方向地被分割成16个扇区Se。从而，在存储上述程序的软盘FD上，上述软盘主体D就在其上分配的区域(扇区)Se上记录作为上述程序的数据。
图14(c)表示对软盘FD的上述程序的记录和为进行采用软盘FD中存储的程序的图象处理的结构。
在将上述程序记录在软盘FD上的情况下，通过软盘驱动器FDD由计算机系统CS将作为上述程序的数据写入软盘FD。通过软盘FD中所记录的程序将上述任意形状编码装置或任意形状译码装置构筑于计算机系统中时，利用软盘驱动器FDD将程序由软盘FD中读出，装载进计算机系统CS。
而在上述说明中虽然作为数据记录媒体是利用软盘进行说明的，但也可利用光盘与上述软盘情况下同样地进行依靠软件的编码处理或译码处理。记录媒体也不限于上述光盘和软盘，也可以是IC卡、ROM盒等的能记录程序的媒体，在采用这些记录媒体时也能与上述采用软盘等时同样地执行软件编码处理或实施处理。
如按照有关本发明(方案1)的图象处理方法，在将成为编码处理的对象的被编码块的图象信号由帧单位或场单位的频率变换变换成频率成分并对上述被编码块的频率成分与其预测值的差分值进行编码的画面内预测编码处理中，在参照已结束编码处理的编码完成块的频率成分生成上述被编码块的频率成分的预测值时，按照对上述编码块的图象信号执行的频率变换为帧单位的频率变换还是场单位的频率变换，确定上述参照的编码完成块，所以在对混合有不同的DCT处理的型式的宏块的交替图象信号和特殊的连续图象信号的编码处理中，在生成被编码块的DCT系数的预测值时，应该参照被编码块间的DCT系数的相关性高的编码完成块的DCT系数。结果由画面内预测处理能高效率消除交错图象和特殊的连续图象中的空间冗余信息从而能实现提高编码效率。
如按照有关本发明(方案2)的图象处理方法，在将成为编码处理对象的被编码块的图象信号由帧单位或场单位的频率变换变换成频率成分，对应于对上述被编码块的频率成分与其预测值的差分值进行编码的画面内预测编码处理的画面内预测译码处理中，在参照已结束译码处理的译码完成块的频率成分生成上述被译码块的频率成分的预测值时，由于按照对上述被译码块的图象信号作编码时的频率变换为帧单位的频率变换还是场单位的频率变换确定上参照的译码完成块，所以能对通过编码时参照与被编码块之间的DCT系数的相关性高的编码完成块的DCT系数生成被编码块的DCT系数的预测值的画面内预测编码处理所得编码的图象编码信号正确地进行译码。
如按照本发明方案3的图象处理方法，在将成为编码处理的对象的被编码块的图象信号由帧单位和场单位的频率变换中一种类型的频率变换变换成频率成分并对上述被编码块的频率成分与其预测值的差分值进行编码的画面内预测编码处理中，在参照已结束编码处理的编码完成块的频率成分生成上述被编码块的频率成分的预测值时，由于按照对上述被编码块执行的频率变换的类型和对编码完成块执行的频率变换类型的组合结果确定上述参照的编码完成块，所以在对混合存在不同DCT处理型式的宏块的交错图象信号和特殊的连续图象信号的编码处理中，在生成被编码块的DCT系数的预测值时，参照与被编码块之间DCT系数的相关性较高的编码完成块的DCT系数，因而能效率更高地削减交错图象和特殊的连续图象中的空间冗余信息，而能进一步提高编码效率。
如按照本发明(方案4)，在方案3所述图象处理方法中，当对上述图象空间上位于被编码块的左侧或上侧中任一方的编码完成块执行频率变换的类型与对上述被编码块执行的频率变换的种类相同时，参照位于上述左侧或上侧的编码完成块中与上述被编码块频率变换类型相同的编码完成块的频率成分生成上述被编码块的频率成分的预测值，所以在生成被编码块的DCT系数的预测值时能可靠地参照与被编码块之间DCT系数的相关性高的编码完成块的DCT系数。
如按照本发明(方案5)，在上述方案3所述的图象处理方法中，当对在上述图象空间上位于被编码块的左侧和上侧两方的编码完成块执行的频率变换的类型与对上述被编码块执行的频率变换的类型不同时，参照位于上述被编码块的上侧的编码完成块的频率成分生成上述被编码块的频率成分的预测值，通常由于在运动图象中横向的变化比纵向变化的情况多，所以参照与被编码之间的DCT系数的相关性高的编码完成块的DCT系数的情况变多。
如按照有关本发明(方案6)的图象处理方法，在将成为编码处理对象的被编码块的图象信号由帧单位和场单位频率变换中一种类型的频率变换变换成频率成分并作对应于将上述被编码块的频率成分与其预测值的差分值加以编码的画面内预测编码处理的画面内预测译码处理中，在参照已结束译码处理的译码完成块的频率成分生成上述被译码块的频率成分的预测值时，按照对上述被译码块编码时执行的频率变换类型与对译码完成块进行编码时执行的频率变换类型的组合结果决定上述参照的译码完成块，从而能正确地对由在编码时参照与被编码块之间的DCT系数的相关性更高的编码完成块的DCT系数生成被编码块的DCT系数的预测值的画面内预测编码处理所编码的图象编码信号进行译码。
如按照本发明(方案7)，在上述方案6所述的图象处理方法中，当对在上述图象空间上位于被译码块的左侧或上侧中一方的译码完成块编码时进行的频率变换的类型为与对上述被译码块编码时执行的频率变换的类型相同时，参照位于上述左侧或上侧的译码完成块中与上述被译码块编码时的频率变换的类型相同的译码完成块的频率成分生成上述被译码块的频率成分的预测值，所以在生成被编码块的DCT系数的预测值时，能可靠地对由参照与被编码块之间的DCT系数的相关性高的编码完成块的DCT系数的画面内预测编码处理所得的图象编码信号进行正确的译码。
如按照本发明(方案8)，在上述方案6所述的图象处理方法中，当对上述图象空间上位于被译码块的左侧和上侧二方的译码完成块编码时进行的频率变换的类型与对上述被译码块编码时执行的频率变换的类型不同时，参照上述被译码块上侧的译码完成块的频率成分生成上述被译码块的频率成分的预测值，所以能对由参照与被编码块之间的DCT系数的相关性高的编码完成块的DCT系数的准确率高的画面内预测编码处理所得的图象编码信号进行正确的译码。
如按照有关本发明(方案9)的图象处理方法，在将成为编码处理的对象的被编码块的图象信号由帧单位和场单位的频率变换中一种类型的频率变换变换成频率成分并对上述编码块的频率成分与其预测值的差分值进行编码的画面内预测编码处理中，在参照已结束编码处理的编码完成块的频率成分生成上述被编码块的频率成分的预测值时，当对上述被编码块的频率变换的类型与对编码完成块的频率变换类型不同时，由多个编码完成块的频率成分生成上述应参照的频率成分并对上述被编码块的频率成分与其预测值的差分值进行编码，所以在参照块的频率变换的类型与被编码块的不同时也参照在参照块的频率变换类型与被编码块相同时接近参照块的频率成分的频率特性的频率成分，所参照的频率成分就成为与被编码块的频率成分之间的相关性高的频率成分。结果就能通过画面内预测处理高效率地削减交错图象和特殊的连续图象中的空间冗余信息，从而能提高编码效率。
如按照有关本发明(方案10)的图象处理方法，在将成为编码处理对象的被编码块的图象信号由帧单位和场单位的频率变换中任一类型的频率变换变换成频率成分并对应于将上述编码块的频率成分与其预测值的差分值加以编码的画面内预测编码处理的画面内预测译码处理中，在参照已结束译码处理的译码完成块的频率成分生成上述被译码块的频率成分的预测值时，在对上述被译码块的频率变换类型与对译码完成块的频率变换类型不同的情况下，由多个译码完成块的频率成分生成上述应参照的频率成分，对上述被译码块的频率成分与其预测值的差分值进行编码，所以在参照块的频率变换类型与被编码块的不同时，也能对由参照与被编码块间的频率成分的相关性高的频率成分的图面内预测编码处理得到的图象编码信号进行正确的译码。
如按照有关本发明(方案11)的图象处理装置，设置有分块器，在每一成为频率变换的处理单位的帧或场进行将图象信号作对应于由其形成的图象空间上的各块那样分割的分块化的同时输出上述经分块化的图象信号和表示上述频率变换的处理单位的频率变化型式信息；和预测器，由上述多个编码块中按照上述频率变换型式信息选择编码完成块，并参照存储装置中存储的该选择的编码完成块的量化值生成成为编码处理对象的被编码块的量化值的预测值，并对上述被编码块的量化值与其预测值的差分值进行编码，因而在对混合存在有不同DCT处理型式的宏块的交错图象和特殊的连续图象信号的编码处理中，在生成被编码块的量化值的预测值时也参照被编码块之间的重化值的相关性高的编码完成块的量化值。结果就能通过画面内预测处理而高效率地削减交错图象和特殊的连续图象中的空间冗余信息，提高编码效率。
按照有关本发明(方案12)的图象处理装置，设置预测器，由已结果译码处理的译码完成块中按照成为译码处理的对象的译码块的频率变换型式信息选择译码完成块，参照对应于该选择的译码完成块的量化值生成对应于成为译码处理的对象的被译码块的量化值的预测值；和加法器，对被译码块作量化求取对上述被编码块的图象编码信号作可变长译码所得的信号值与对该被译码块的量化值的预测值的相加值，根据上述频率变换型式信息将对应于上述被译码块的量化值进行逆量化和逆频率变换所得到的对应于被译码块的图象信号变换成扫描线结构的图象信号，所以能依靠在编码时参照与被编码块之间的量化值的相关性高的编码完成块的量化值生成被编码块的量化值的预测值的画面内预测编码处理对被编码的图象编码信号正确地进行译码。
按照有关本发明(方案13)的图象处理方法，在进行图象信号的画面内预测编码处理时，对规定的宏块的图象信号进行使得由对应于奇数号的水平象素序列的图象信号所形成的第一场的图象位于该宏块的上侧而由对应于偶数号的水平象素序列的图象信号所形成的第二场的图象位于该宏块的下侧那样作水平象素的交替排列处理，将执行过该交替排列处理的宏块或未执行交替排列处理的宏块的图象信号在每一构成该宏块的子块由频率变换变换成频率成分，所以在被加以场DCT处理的宏块中，在第一场的块的与第二场的块的位置被规定并生成被编码块的DCT系数的预测值时有可能指定应参照的编码完成块。这样，对于上述这样的场DCT型式的宏块能应用常规的画面内预测处理，在混合有场DCT型式的宏块的交错图象的编码处理或特定的连续图象的编码处理中能利用画面内预测处理充分削减图象信号中所含的空间冗余图象信息，进行高效率编码处理。
如按照本发明(方案14)，在方案13所述的图象处理方法中生成上述被编码子块的频率成分的预测值时，因为根据位于该被编码块的上侧附近、左侧附近、和左上附近的编码完成子块的频率成分的直流成分确定参照位于上述被编码子块的上侧附近的编码完成子块和位于上述被编码子块的左侧附近的编码完成子块中哪一个的频率成分，所以能简便地指定与被编码块之间的DCT系数相关性高的编码完成块。
如按照本发明(方案15)，在方案14所述的图象处理方法中，作为位于上述被编码子块的上侧附近的编码完成子块采用位于邻接该被编码子块的上侧的上侧编码完成子块，作为位于上述被编码子块的左侧附近的编码完成子块采用位于邻接该被编码子块的左侧的左侧编码完成子块，和作为位于上述被编码子块的左上附近的编码完成子块采用位于邻接该被编码子块的左上侧的左上侧编码完成子块，因而在生成被编码子块的频率成分的预测值时对被编码子块就能参照空间上接近的编码完成子块的频率成分，而能提高预测效率。
如按照本发明(方案16)，在方案13所述的图象处理方法中，在生成上述被编码子块的频率成分的预测值时，利用位于在上述被编码子块的上方侧作垂直方向排列的第一组的多个编码完成子块之间的频率成分的第一加权平均值或位于在上述被编码子块的左侧作垂直方向排列的第二组的多个编码完成子块之间的频率成分的第二加权平均值作为上述被编码子块的频率成分的预测值，因而在位于邻接被编码子块的编码完成子块的频率变换的类别与被编码子块不同时，与在被编码子块与邻接它的编码完成子块之间频率变换类型同样时相比，也能避免预测效率很大的恶化。
如按照本发明(方案17)，在方案16所述图象处理方法中，以对上述第一组的多个编码完成子块中的特定的编码完成子块的加权比例作为1进行上述周波成分的加权平均来求得上述第一加权平均值，而以对上述第二组的多个编码完成子块中的特定编码完成完成子块的加权的比例作为1进行上述频率成分的加权平均求得上述第二加权平均值，因此由简单的运算处理即可求取上述第一或第二加权平均值。
如按照本发明(方案18)，在方案17所述的图象处理方法中，因为作为上述第一组的多个编码完成子块中的特定编码完成块采用该第一组的编码完成子块中位于最接近上述被编码子块的一个，而作为上述第二组的多个编码完成子块中的特定编码完成块采用该第二组的编码完成子块中位于最接近上述被编码子块的一个，所以对被编码子块空间上能参照位于最接近的编码完成子块的频率成分生成被编码子块的频率成分的预测值，而提高预测效率。
如按照有关发明(方案19)的图象处理方法，在进行图象编码信号的画面内预测译码处理时，针对规定的宏块的图象信号，对于使由对应于奇数号的水平象素序列的图象信号所形成的第一场的图象位于该宏块的上侧而由对应于偶数号的水平象素序列的图象信号所形成的第二场的图象位于该宏块的下侧那样在编码时作水平象素序列的交替排列处理的宏块，进行使得形成由第一场和第二场构成的帧的图象那样的水平象素的逆交替排列处理，从而能在被执行过场DCT处理的宏块内规定第一场的子块和第二场的子块的位置、对由可能指定预测处理时应参照的编码完成块的画面内预测编码处理所得到的图象编码信号进行正确译码。
如按照本发明(方案20)，在方案19所述的图象处理方法中，在生成上述被译码子块的频率成分的预测值时，根据位于该被译码块的上侧附近、左侧附近、和左上附近的译码完成子块频率成分的直流成分确定参照位于上述被译码子块的上侧附近的译码完成子块和位于上述被译码子块的左侧附近的译码完成子块中哪一个的频率成分，所以能简单地指定与被编码块之间的频率成分的相关性高的编码完成块。
如按照本发明(方案21)，在方案20所述的图象处理方法中，作为位于上述被译码子块的上侧附近的译码完成子块采用位于邻接该被译码子块的上侧的上侧译码完成子块，作为位于上述被译码子块的左侧附近的译码完成子块采用位于邻接该被译码子块的左侧的左侧译码完成子块，作为位于上述被译码子块的左上附近的译码完成子块采用位于邻接该被译码子块的左上侧的左上侧译码完成子块，所以在生成被译码子块的DCT系数的预测值时参照对被译码子块空间上接近的译码完成子块的频率成分，而能实现对应于预测效率高的画面内预测编码处理的画面内预测译码处理。
如按照本发明(方案22)，在方案19所述的图象处理方法中生成上述被译码子块的频率成分的预测值时，将位于上述被编码子块的上方侧作垂直方向排列的第一组的多个译码完成子块之间的频率成分的第一加权平均值或位于上述被译码子块的左侧作垂直方向排列的第二组的多个译码完成子块之间的频率成分的第二加权平均值用作为上述被译码子块的频率成分的预测值，所以在位于邻接被译码子块的译码完成子块的频率变换的类型与被译码子块不同时，与被译码子块和邻接它的译码完成子块之间频率变换的类型相同的情况相比能避免预测效率极大地恶化，从而能实现对应于预测效率高的画面内预测编码处理的画面内预测译码处理。
如按照本发明(方案23)，在方案22所述图象处理方法中，以对上述第一组的多个译码完成子块中的特定的译码完成子块的加权比例作为1进行上述频率成分的加权平均来求取上述第一加权平均值，以对上述第二组的多个译码完成子块中的特定的译码完成子块的加权比例作为1进行上述频率成分的加权平均来求取上述第二加权平均值，所以能由简单的运算处理求得上述第一或第二加权平均值。
如按照本发明(方案24)，在方案23所述图象处理方法中，作为上述第一组的多个译码完成子块中的特定译码完成块采用该第一组的译码完成子块中位置最接近上述被译码子块的一个，作为上述第二组的多个译码完成子块中的特定译码完成块采用该第二组的译码完成子块中位置最接近上述被译码子块的一个，从而能参照对被译码子块空间上最接近位置的译码完成子块的频率成分生成被译码子块的频率成分的预测值，而能实现对应于预测效率高的画面内预测编码处理的画面内预测译码处理。
如按照有关本发明(方案25)的图象处理装置，设置有分块器，将图象信号进行对应于各个区分由其形成的图象空间的多个宏块的分割，同时对规定的宏块的图象信号进行使由对应于奇数号的水平象素序列的图象信号所形成的第一场的图象位于该宏块的上侧、而使由对应于偶数号的水平象素序列的图象信号所形成的第二场的图象位于该宏块的下侧那样的水平象素序列的交替排列处理，将被进行过该交替排列处理的宏块或未进行交替排列处理的宏块的图象信号作对应于构成的该宏块的子块那样地分割，对各子块的图象信号进行画面内预测编码处理，所以在被执行场DCT处理的宏块中规定第一场的块与第二场的块的位置，当生成被编码块的DCT系数的预测值时可指定应参照的编码完成块。因此，对上述那样的场DCT型式的宏块能应用常规的画面内预测处理，而在混合有场DCT型式的宏块的交错图象的编码处理或特定的连续图象的编码处理中，通过画面内预测处理能充分地削减图象信号中所含的空间冗余的图象信号而能高效率进行编码处理。
如按照有关本发明(方案26)的图象处理装置，设置有逆分块器，使由对应于奇数号的水平象素序列的图象信号所形成的第一场的图象位于上述宏块的上侧而使由对应于偶数号水平象素序列所形成的第二场的图象位于该宏块的下侧那样，对编码时进行水平象素序列交替排列处理的宏块图像信号如形成由上述第一场和上述第二场组成的帧图象信号那样执行水平象素序列的逆交替排列处理，生成由多个宏块构成的上述图象空间的图象信号，将该逆分块器的输出作为对图象编码信号的译码信号输出，因而在被施加场DCT处理的宏块内规定第一场的子块和第二场的子块的位置，而能对由可指定预测处理时应参照的编码完成块的画面内预测编码处理所得到的图象编码信号正确地进行译码。
如按照有关本发明(方案27)的数据记录媒体，因为是使计算机进行采用上述方案1～10中的一个或方案13～24中的一个所述的图象处理方法的图象处理那样构成图象处理程序，所以能由软件实现对应于上述各权利要求的高预测效率的画面内预测编码处理或画面内预测译码处理。
权利要求
1．一种图像处理方法，该方法将图象信号对应于各个区分由该图象信号所形成的图象空间的多个块那样地进行分割，按每块顺序进行对应于各块的图象信号的编码，其特征在于依靠帧单位或场单位的频率变换将成为编码处理对象的被编码块的图象信号变换成频率成分；参照已结束编码处理的编码完成块的频率成分生成所述被编码块的频率成分的预测值，在生成此预测值时，按照对所述编码块的图象形号所执行的频率变换是帧单位的频率变换还是场单位的帧率变换，确定所述参照的编码实成块；和将所述被编码块的频率成分与其预测值的差分值加以编码。
2．一种图象处理方法，该方法将对图象信号在每一区分由该图象信号所形成的图象空间的各个块中依靠包含频率变换的编码处理编码所得的图象编码处理信号，按所述每一块顺次进行译码，其特征在于参照已结束译码处理的译码完成的块的频率成分生成成为译码处理对象的被译码块的频率成分的预测值，在生成此预测值时，按照对所述被译码块执行编码时的频率变换是帧单位的频率变换还是场单位的频率变换，确定所述参照的译码完成块；将所述预测值加到由对应于所述译码块的图象编码信号的数据分析所得的信号上，生成所述被译码块的频率成分；和对所述被译码块的频率成分执行逆频率变换，再现对应于被译码块的图象信号。
3．一种图象处理方法，该方法将图象信号对应于各个区分由该图象信号形成的图象空间的多个块那样地进行分割，按每块顺序进行对应于各块的图象信号的编码，其特征在于借助帧单位和场单位的频率变换中一种频率变换将成为编码处理对象的被编码块的图象信号变换成频率成分；参照已结束编码处理的完成编码的块的频率成分生成所述被编码块的频率成分的预测值，在生成此预测值时，按照对上述被编码块所执行的频率变换的种类和对编码完成块执行的频率变换的种类的组合结果，确定所述参照的编码完成块；和对所述被编码块的频率成分与其预测值的差分值进行编码。
4．如权利要求3所述的图象处理方法，其特征在于在所述图象空间上对位于被编码块的左侧或上侧任一方编码完成块执行的频率变换种类与对所述被编码块所执行的频率变换的种类相同时，参照位于所述左侧或上侧的编码完成块中的与所述被编码块的频率变换种类相同的编码完成块的频率成分，生成所述被编码块的频率成分的预测值。
5．如权利要求3所述的图象处理方法，其特征在于在所述图象空间上对位于被编码块的左侧和上侧的双方的编码完成块执行的频率变换的种类与对所述被编码块执行的频率变换的种类不同时，参照位于所述被编码块的上侧的编码完成块的频率成分，生成所述被编码块的频率成分的预测值。
6．一种图象处理方法，该方法将图象信号在每个区分由该图象信号形成的图象空间的各个块中，由包含帧单位或场单位中一种频率变换的编码处理进行编码得到的图象编码信号，按所述每一块顺序进行译码，其特征在于参照已结束译码的译码完成块的频率成分生成成为译码处理的对象的被译码块的频率成分的预测值，在生成此预测值时，按照对所述被译码块编码时执行的频率变换种类与对译码完成块编码时所执行的频率变换种类的组合结果，确定所述参照的译码完成块；将所述预测值加到由对应于所述被译码块的图象编码信号的数据解析所得的位信号上，生成所述被译码块的频率成分；和对所述被译码块的频率成分执行逆频率变换，再现对应于被译码块的图象信号。
7．如权利要求6所述的图象处理方法，其特征在于在所述图象空间中对位于被译码块的左侧或上侧一方的译码完成块编码时所执行的频率变换种类与对所述被译码块编码时所执行的频率变换种类相同时，参照位于所述左侧或上侧的译码完成块中的与所述被译码块编码时的频率变换种类的相同的译码完成块的频率成分，生成所述被译码块的频率成分的预测值。
8．如权利要求6所述的图象处理方法，其特征在于在所述图象空间中对位于被译码块的左侧和上侧双方的译码完成块编码时所执行的频率变换种类与对所述被译码块编码时所执行频率变换种类不同时，参照位于所述被译码块的上侧的译码完成块的频率成分，生成所述被译码块的频率成分的预测值。
9．一种图象处理方法，该方法将图象信号对应于各个区分由该图象信号所形成的图象空间的多个块那样地进行分割，按每块顺序地进行对应于各块的图象信号的编码，其特征在于将成为编码对象的被编码块的图象信号由帧单位和场单位的频率变换中的一种频率变换变换成频率成分；参照已结束编码处理的编码完成块的频率成分生成所述被编码块的频率成分的预测值，在生成此预测值时，如对所述被编码块的频率变换种类与对编码完成块的频率换种类不同时，由多个编码完成块的频率成分生成所述应参照的频率成分；和对所述被编码块的频率成分与其预测值的差分值进行编码。
10．一种图象处理方法，该方法对图象信号在每一区分由该图象信号形成的图象空间的各个块中依靠包含帧单位或场单位的任一种频率变换的编编处理进行编码所得的图象编码信号，按每一所述块顺次进行译码，其特征在于参照已结束译码处理的译码完成块的频率成分生成成为译码处理对象的被译码块的频率成分的预测值，在生成此预测值时，当对所述被译码块的频率变换种类与对译码完成块的频率变换种类不同时，由多个译码完成的频率成分生成所述应参照的频率成分；将所述预测值加到由对应于所述被译码块的图象编码信号的数据解释所得的信号上，生成所述被译码块的频率成分；和对所述被译码块的频率成分执行逆频率变换，再现对应于被译码块的图象信号。
11．一种图象处理装置，该装置将被输入的图象信号对应于各个区分由该图象形号所形成的图象空间的多个块那样地进行分割，按每一所述块对与各块对应的图象信号进行编码，其特征在于设置有分块器，在按每一成为频率变换的处理单位的帧或场进行将所述图象信号作对应于所述图象空间上的各块那样地分割的分块化的同时，输出被作所述分块化的图象信号和表示所述频率变换的处理单位的频率变换型式信息；频率变换器，按每一块对所述经分块的图象信号作频率变换、输出对应于各块的图象信号的频率成分；量化器，将所述频率加以量化，输出对应于各块的量化值；存储装置，存储已结束编码处理的多个完成编码块的量化值；预测器，由所述多个完成编码块中按所述频率变换型式信息选择完成编码块、参照所述存储装置中的该选择的完成编码块的量化值，生成成为编码处理的对象的被编码化的量化值的预测值；第一加法器，由所述被编码块的量化值减除其预测值，输出对应于被编码块的差分值；可变长编码器，对所述差分值作可变长编码，输出编码序列；和第二加法器，将对应于所述被编码块的预测值加到对应于该被编码块的差分值上，将这些相加值作为完成编码块的量化值，提供给所述存储装置。
12．一种图象处理装置，该装置将图象信号在每个区分由该图象信号形成的图象空间的各个块中由包含帧单位或场单位的频率变换和量化的编码处理进行编码所得的图象编码信号的同时，还接收表示所述各块的频率变换的种类是以帧为单位或以场为单位中哪一种的频率变换型式信息，对所述图象编码信号按所述每一块顺序进行译码，其特征在于设置有可变长译码器，对对应所述各块的图象编码信号由其数据解析作可变称译码；预测器，由已结束译码处理的完成译码块中按所述频率变换型式信息选择完成译码块，参照对应于该选择的译码完成块的量化值，生成对应于成为译码处理的对象的被译码块的量化值的预测值；加法器，将对来自所述可变长编码器的被译码块的输出与对所述被译码块的量化值的预测值相加，将这些相加值作为对应于所述被译码快的量化值输出；存储装置，将由该加法器输出的量化值作为完成译码的块的量化值存贮；逆量化器，将对应于所述被译码块的量化值时行逆量化，作为对所述被译码块的频率成分输出；逆频率变换器，对所述被译码块的频率成分进行逆频率变换，再现对应于所述被译码块的图象信号；逆分块器，根据所述频率变换型式信息，将对应于所述被再现的各块的图象信号变换成扫描线结构的图象信号。
13．一种图象处理方法，该方法将形成由沿水平和垂直方向配置成矩形状的多个象素构成的图象空间的图象信号作对应于各个区分该图象空间的矩形状的多个宏块那样分割，对对应于构成该各宏块的子块的图象形号按每一子块顺序进行编码处理，其特征在于对规定的宏块的图象信号，进行由对应于奇数号的水平象素序列的图象信号所形成的第一场的图象位于该宏块的上侧而由对应于偶数号的水平象素序列的图象信号形成的第二场的图象位于该宏块的下侧那样的水平象素系列交替排列处理；将该被作交替排列处理的宏块或未作交替排列处理的宏块的图形信号在构成该宏块的位于左上、右上、左下、右下方的四个子宏的每一个由频率变换变换成频率成分；参照已结束编码处理的编码完成子块中位于在所述图象空间上该被编码子块的上侧附近、左侧附近、和左上附近的编码完成子块的至少一个生成成为编码处理的对象的被编码子块的频率成分的预测值；对所述被编码子块的频率成分与其预测值的差分值进行编码。
14．如权利要求13所述的图象处理方法，其特征在于在生成所述被编码子块的频率成分的预测值时，根据位于所述被编码块的上侧附近、左侧附近、和左上附近的编码完成子块的频率成分的直流成分，确定是参照位于所述该被编码子块的上侧附近的编码完成子块的频率成分还是参照位于所述该被编码子块的左侧附近的编码完成子块的频率成分。
15．如权利要求14所述的图象处理方法，其特征在于作为位于所述被编码子块的上侧附近的编码完成子块，采用位于邻接该被编码子块的上侧的上侧编码完成子块；作为位于所述被编码子块的左侧附近的编码完成子块，采用位于邻接该被编码了块的左侧的编码完成子块；作为位于所述被编码子块的左上附近的编码完成子块，采用位于邻接该被编码子块的左上侧的左上侧编码完成子块；在所述上侧编码完成子块的频率成分的直流成分与左上侧编码完成子块的频率成分的直流成分的差分绝对值小于所述左侧编码完成子块的频率成分的直流成分与左上侧编码完成子块的频率成分的直流成分的差分绝对值时，参照所述左侧编码完成子块的频率成分，生成被编码子块的频率成分的预测值；和而在所述左侧编码完成子块的频率成分的直流成分与左上侧编码完成子块的频率成分的直流成分的差分绝对值小于所述上侧编码完成子块的频率成分的直流成分与左上侧编码完成子块的频率成分的直流成分的差分绝对值时，参照所述上侧编码完成子块的频率成分生成被编码子块的频率成分的预测值。
16．如权利要求13所述的图象处理方法，其特征在于在生成所述被编码子块的频率成分的预测值时，利用在所述被编码子块的上方侧作垂直方向排列的位置上的第一组的多个编码完成子块之间的频率成分的第一加权平均值或者在所述被编码子块的左侧作垂直方向排列的位置上的第二组的多个编码完成子块之间的频率成分的第二加权平均值作为所述被编码子块的频率成分的预测值。
17．如权利要求1所述的图象处理方法，其特征在于所述第一加权平均值为将对所述第一组的多个编码完成子块中的特定编码完成子块加权的比例作为1时进行所述频率成分的加权平均所得的值；和所述第二加权平均值为将对所述第二组的多个编码完成子块中的特定编码完成子块加权的比例作为1时进行所述频率成分的加权平均所得的值。
18．如权利要求17所述的图象处理方法，其特征在于所述第一组的多个编码完成子块中的特定编码完成块为该第一组的编码完成子块中的位于最接近所述被编码子块的一个；和所述第二组的多个编码完成子块中的特定编码完成块为该第二组的编码完成子块中的位于最接近被编码子块的一个。
19．一种图象处理方法，该方法对将形成由沿水平和垂直方向配置成矩阵状的多个象素所组成的图象空间的图象信号按每一构成区分该图象空间的矩形状的各个宏块的子块由包含水平象素的交替排列和频率变换的编码处理进行编码所得图象编码信号，顺次按每一所述子块进行译码处理，其特征在于参照已结束译码处理的译码完成子块中的在所述图象空间中位于该被译码子块的上侧附近、左侧附近、和左上附近的译码完成子块的至少一个生成成为译码处理对象的译码子块的频率成分预测值；将所述预测值加到由对应于所述被译码子块的图象编码信号的数据解析所得的信号上生成所述被译码子块的频率成分；将该被生成的子块的频率成分由逆频率变换变换成对应的图象信号；在所述图象空间上将属于同一宏块的子块的图象信号进行对应于该宏块内的子块的位置的组合，生成对应于宏块的图象信号；和使由对应于奇数号的水平象素序列的图象信号形成的第一场的图象位于所述宏块的上侧，而由对应于偶数号的水平象素素序列的图像信号形成的第二场的图象位于该宏块的下侧那样对在作编码时执行过水平象素序列的交替排列处理的宏块的图象信号，形成由所述第一场与第二场构成的帧的图象那样进行水平象素的逆交替排列处理，另一方面，对在作编码时未执行所述水平象素系列的交替排列处理的宏块的图象信号不进行所述水平象素序列的逆交替排列处理，再现由多个宏块构成的所述图象空间的图象信号。
20．如权利要求19所述的图象处理方法，其特征在于在生成所述被译码子块的频率成分预测值时，根据位于该被译码块的上侧附近、左侧附近、和左上附近的译码完成子块的频率成分的直流成分，确定是参照位于所述被译码子块的上侧附近的译码完成子块的频率成分还是参照位于所述被译码子块的左侧附近的译码完成子块的频率成分。
21．如权利要求20所述的图象处理方法，其特征在于作为位于所述被译码子块的上侧附近旁的译码完成子块采用位于邻接该被译码子块的上侧的上侧译码完成子块；作为位于所述被译码子块的左侧附近的译码完成子块采用位于邻接该被译码子块的左侧的左侧译码完成子块；作为位于所述被译码子块的左上附近的译码完成子块采用位于邻接被译码子块的左上侧的左上侧译码完成子块；在所述上侧译码完成子块的频率成分的直流成分与左上侧译码完成子块的频率成分的直流成分的差分绝对值小于所述左侧译码完成子块的频率成分的直流成分与左上侧译码完成子块的频率成分的直流成分的差分绝对值时，参照左侧译码完成子块的频率成分生成被译码子块的频率成分的预测值；和另一方面在所述左侧译码完成子块的频率成分的直流成分与上侧译码完成子块的频率成分的直流成分的差分绝对值小于所述上侧译码完成子块的频率成分的直流成分与左上侧译码完成子块的频率成分的直流成分的差分绝对值时，参照上侧译码完成子块的频率成分生成被译码子块的频率成分的预测值。
22．如权利要求19所述图象处理方法，其特征在于在生成所述被译码子块的频率成分的预测值时，利用在所述被译码子块的上方侧位置作垂直方向排列的第一组的多个译码完成子块之间的频率成分的第一加权平均值或在所述被译码子块的左侧位置作垂直方向排列的第二组的多个译码完成子块之间的频率成分的第二加权平均值作为所述被译码子块的频率成分的预测值。
23．如权利要求22所述的图象处理方法，其特征在于所述第一加权平均值是将对所述第一组的多个译码完成子块中的特定的译码完成子块加权的比例作为1进行所述频率成分的加权平均的得到的值；和所述第二权平均值是将对所述第二组的多个译码完成子块中的特定译码完成子块的加权比例作为1进行所述频率成分的加权均所得的值。
24．如权利要求23中所述的图象处理方法，其特征在于所述第一组的多个译码完成子块中的特定译码完成块为该第一组的译码完成子块中位于最接近所述被译码子块的一个；和所述第二组的多个译码完成子块中的特定的译码完成块为在该第二组的译码完成子块中的位于最接近所述被译码子块的一个。
25．一种图象处理装置，该装置将形成由沿水平和垂直方向配置成矩阵状的多个象素构成的图象空间的图象信号作对应于各个区分该图象空间的矩形状的多个宏块那样分割，对对应于构成该各宏块的子块的图象信号按各子块顺序进行编码处理，其特征在于设置有分块器，将所述图象信号作对应于各个区分所述图象信号的多个宏块那样地分割，同时对规定的宏块的图象信号进行使由对应于奇数号的水平象素序列的图象信号形成的第一场的图象位于该宏块的上侧而由对应于偶数号的水平象素序列的图象信号形成的第二场的图象位于该宏块的下侧那样的水平象素序列交替排列处理、将该执行过交替排列处理的宏块或未执行过交替排列处理的宏块的图象信号进行对应于构成该宏块的位于左上、右上、左下、右下方的四个子块那样地分割；频率变换器，对所述经分块化的图象信号按各子块进行频率变换、输出对应于各子块的图象信号的频率成分；量化器，将所述频率成分进行量化、输出对应于各子块的量化值；存储装置，存储已结束编码处理的多个编码完成子块的量化值；预测器，由所述多个编码完成子块中选择所述图象空间上位于该被编码子块的上侧附近、左侧附近、和左下附近的编码完成子块的至少一个，参照所存储装置中的该选择的编码完成子块的量化值，生成所述被编码子块的量化值的预测值；第一加法器，由所述被编码子块的量化值减去其预测值输出对应于该编码子块的差分值；可变长编码器，将所述差分值作可变长编码输出编码序列；和第二加法器，将对应于所述被编子块的预测值加到对应于该被编码子块的差分值，将这些加法值作为编码完成子块的量化值供给所述存储装置。
26．一种图象处理装置，该装置对将形成由沿水平和垂直方向配置成矩阵状的多个象素构成的图象空间的图象信号，按每一构成各个区分该图象空间的矩形状的宏块的子块由包含水平象素序列的交替排列和频率变换的编码处理进行编码所得的图象编码信号，在每一所述子块顺序进行译码处理，其特征在于设置有可变长译码器，将对应于所述各子块的图象编码信号由其数据解析来进行可变长译码；预测器，由已经结束译码处理的译码完成子块中选择所述图象空间中位于成为译码处理对象的被译码子块的上侧附近、左侧附近、和左上附近的译码完成子块的至少一个，参照对应于该选择的译码完成子块的量化值生成对应于所述被译码子块的量化值的预测值；加法器，将对应于来自所述可变长译码的被译码子块的输出与对应于所述频率译码子块的量化值的预测值相加，将这些加法器作为对应于所述被译码子块的量化值输出；存储装置，将由加法器输出量化值作为所述译码完成子块的量化值存储；逆量化器，将对应于所述被译码子块的量化值作逆量化并输出对应于所述被译码子块的频率成分；逆频率变换器，对所述被译码子块的频率成分进行逆频率变换，再现对应于所述被译码子块的图象信号；和逆分块器，将所述图象空间上属于同一宏块的子块的图象形号对应于在该宏块内的子块的位量进行组合生成对应于宏块的图象信号，同时对使得由对应于奇数号的水平象素序列的图象信号形成的第一场的图象位于所述宏块的上侧而由对应于偶数号的水平象素序列的图象信号形成的第二场的图象位于该宏块的下侧那样在编码时执行过水平象数的交替排列的宏块的图象信号进行形成由所述第一场和第二场组合的帧的图象那样的水平象素序列的逆交替排列处理，而对编码时未施加过所述水平象素序列交替排列处理宏块的图象信号不执行所述水平象素的逆交替排列处理，生成由多个宏块构成的所述图象空间的图象信号。
27．一种数据存储媒体，该数据存储媒体存储着图象处理程序，其特征在于，所述图象处理程序构成为能由计算机进行由所述权利要求1-10中任一个或权利要求13-24中任一个中所述的图象处理方法所作的图象处理。
全文摘要
本发明旨在图象编码时削减交错图像的DCT数的数据量的同时实现提高DCT系数的预测效率的编码。在将被作帧或场DCT的宏块与原来的空间同样地配置的DCT区域中,当经编码块X(i)被作帧DCT时,由邻接左上侧、上侧和左侧的块生成X(i)的DCT系数预测值,而当X(i)被作场DCT处理时,由位于上2块的左侧的块、位于上2块的块、和邻接左侧的块生成X(i)的DCT系数的预测值。
文档编号H04N7/34GK1212561SQ98117220
公开日1999年3月31日 申请日期1998年6月19日 优先权日1997年6月20日
发明者西孝启 申请人:松下电器产业株式会社