专利名称：图像编码装置、图像解码装置及它们的方法
技术领域：
本发明涉及一种动态图像的编码装置及解码装置，特别涉及到采用加权系数来进行运动预测的编码装置、图像解码装置及它们的方法。
背景技术：
近些年，正在迎来对声音、图像及其它内容等进行统一处理的多媒体时代，以通过单一的终端可以得到或传送出自以往的信息媒体也就是报纸、杂志、电视、广播及电话等的信息。一般而言，所谓多媒体指的是不仅是字符还有图形、声音特别是图像等相关联表达的设备，而为了将上述以往的信息媒体作为多媒体的对象，其必要条件是使该信息变成数据形式加以表现。
可是，将上述各信息媒体具有的信息量作为数字信息量得知，在字符的场合下每1字符的信息量是1～2字节，与此相对在声音的场合下每1秒需要64Kbits(电话质量)，并且对于动态图像来说每1秒需要100Mbits(目前电视接收质量)以上的信息量，因此通过上述信息媒体以数字形式对该庞大的信息按原状态进行处理是不现实的。例如，虽然电视电话通过具有64Kbits/s～1.5Mbits/s传送速度的综合业务数字网(ISDNIntegreted Services Digital Network)业已实用化，但是按原状态通过ISDN传送电视或摄像机的影像是不可能的。
因此，一直需要的是信息压缩技术，例如在电视电话的场合下动态图像压缩技术已被使用，该压缩技术是由ITU-T(国际电信联盟电信标准化部门)进行国际标准化后的H.261和H.263标准。另外，根据MPEG-1标准的信息压缩技术，也可以与声音信息一起向一般的音乐用CD(小型光盘)装入图像信息。
在此，所谓MPEG(Moving Picture Experts Group)是动态图像信号压缩的国际标准，MPEG-1是将动态图像信号压缩至1.5Mbps也就是将电视信号的信息直至压缩到约百分之一的标准。另外，因为以MPEG-1标准为对象的传送速度主要限制为约1.5Mbps，所以按照为满足新的高画面质量化要求并且已被标准化的MPEG-2，动态图像信号被压缩到2～15Mbps。再者，就现实状况而言，凭借MPEG-1、MPEG-2和不断推进标准化的工作组(ISO/IEC JTC1/SC29/WG11)MPEG-4已被标准化(例如，参照ISO(国际标准化组织)的MPEG-1、MPEG-2及MPEG-4的标准协议)，该MPEG-4可达到超过MPEG-1、MPEG-2的压缩率并进一步以物体为单位进行编码、解码和操作，实现多媒体时代所需要的新功能。根据MPEG-4，不仅可以用低比特率实现高效率的编码，还引入即使产生传送路径误差也可以减小画面质量恶化的强大的容错技术。另外，根据ISO/IEC和ITU，作为下一代图像编码方式正在共同推进MPEG-4 AVC/ITU H.264的标准化。
一般情况下，就动态图像编码而言是通过减少时间方向及空间方向的冗余度来进行信息量压缩的。因此，关于以减少时间上的冗余度为目的的画面间预测编码，参照前方或后方的画面(picture)以块(block)为单位来进行运动检测及预测图像制作，对所得到的预测图像和编码对象画面之间的差分值进行编码。在此，所谓画面是表现1幅画面的专用语，在顺序图像中意味着帧，在交错图像中意味着场(field)。在此，所谓交错(interlace)图像是1个帧由时刻不同的2个场构成的图像。在交错图像的编码和解码处理过程中，可以以帧的原状态对1个帧进行处理，或作为2个场进行处理，或者在帧内的每个块中作为帧结构或场结构进行处理。
图1表示的是画面种类和参照关系的一个示例。在图1中，画出斜阴影线的画面表示，为了被其它画面参照而保存于存储器中的画面。图1中的箭头表示，从被参照画面到参照画面的方向。另外，画面的排列按照显示顺序予以表示。
I0(Picture 0)是图片内编码画面(I画面)，与其它画面相独立(也就是无需参照其它画面)进行编码。P4(Picture 4)及P7(Picture7)是前方预测编码画面(P画面)，通过参照在时间上位于过去的I画面或其它P画面来进行预测编码。B1～B3(Picture1～Picture3)、B5(Picture5)及B6(Picture6)是双方向预测编码画面(B画面)，通过参照在时间上位于前后的其它画面来进行预测编码。
图2表示的是画面种类和参照关系的其它示例。图2与图1的不同之处是，B画面所参照画面的时间位置不一定限定于在时间上位于前后的画面。例如，如果是B5(Picture5)的场合，则可以参照I0(Picture0)、P3(Picture3)及P6(Picture6)之中任意的2幅画面。也就是说，可以参照在时间上位于过去的I0及P3。有关这种参照方法，在2001年9月时的MPEG-4 AVC/H.264标准议案中已被认定。据此同以往相比，选择更为恰当的预测图像所需的范围有所扩大，可以谋求压缩率的提高。
图3表示的是图像数据流结构的一个示例。如图3所示，数据流由标题等通用信息区域和GOP(Group Of Picture)区域构成。GOP区域由标题等通用信息区域和多幅画面(picture)区域构成。画面区域由标题等通用信息区域和多个切片(slice)数据区域构成。切片数据区域由标题等通用信息区域和多个宏块(macro block)数据区域构成。
另外，在画面通用信息区域中，进行下述的加权预测所用的加权系数按照参照画面被分别描述。
另外，数据流不是连续的比特流，在采用作为细小数据单位的数据包等进行传送的场合下也可以使标题部分和标题以外的数据部分相分离加以分别传送。那种场合下如同图3那样，将不出现标题部分和数据部分成为1个比特流的情况。但是，在数据包的场合下即使标题部分和数据部分所传送的顺序不连续，也只是采用另外的数据包来传送与对应的数据部分相应的标题部分，并且即使不成为1个比特流在概念上也与图3所说明的比特流的情况相同。
下面，对有关以往图像编码方法中的加权预测处理，予以说明。
图4是以帧为单位进行加权预测处理时的模式图。
如图4(a)所示，在参照1个帧的场合下，与当前编码对象块对应的预测图像像素值Q可以将所参照的第i个帧(Framei)中的参照对象块像素值设为P0，通过下述公式(1)所示的那种加权预测式来计算。另外，如图4(b)所示在参照2个帧的场合下，预测图像的像素值Q可以将所参照的第i个及第j个帧(Frame i及Frame j)中的参照对象块像素值设为P0、P1，通过下述公式(2)所示的那种加权预测式来计算。
Q＝(P0×W0+D)/W2 (1) Q＝(P0×W0+P1×W1+D)/W2(2) 在此，W0及W1是加权系数，D是偏差成分(DC成分)，W2是规格化系数。
图5是以场为单位进行加权预测处理时的模式图。
如图5(a)所示，在参照1个帧(也就是2个场)的场合下，与当前编码对象块对应的预测图像像素值Qa、Qb可以将所参照的构成第i个帧(Frame i)的场2×i+1、2×i各自中的参照对象块像素值设为P0a、P0b，通过下述公式(3)及下述公式(4)所示的那种加权预测式来计算。另外，如图5(b)所示在参照2个帧的场合下，预测图像的像素值Qa、Qb可以将所参照的构成第i个及第j个帧(Frame i及Frame j)的场2×i+1、2×i、2×j+1及2×j各自中的参照对象块像素值设为P0a、P0b、P1a及P1b，通过下述公式(5)及下述公式(6)所示的那种加权预测式来计算。
Qa＝(P0a×W0a+Da)/W2a (3) Qb＝(P0b×W0b+Db)/W2b (4) Qa＝(P0a×W0a+P1a×W1a+Da)/W2a(5) Qb＝(P0b×W0b+P1b×W1b+Db)/W2b(6) 在此，W0a、W0b、W1a及W1b是加权系数，Da、Db是偏差成分，W2a、W2b是规格化系数。
图6是表示以往图像编码装置100功能结构的框图。该图像编码装置100用来进行所输入图像信号Vin的压缩编码(例如可变长度编码)并对通过该压缩编码所变换的作为比特流的图像编码信号Str进行输出，该装置具备运动检测单元ME、运动补偿单元MC、减法单元Sub、正交变换单元T、量化单元Q、逆量化单元IQ、逆正交变换单元IT、加法单元Add、画面存储器PicMem、开关SW及可变长度编码单元VLC。
图像信号Vin被输入到减法单元Sub及运动检测单元ME中。减法单元Sub对所输入的图象信号Vin和预测图像的差分值进行计算，输出给正交变换单元T。正交变换单元T将差分值变换成频率系数，输出给量化单元Q。量化单元Q对所输入的频率系数进行量化，将量化值输出给可变长度编码单元VLC。
逆量化单元IQ对量化值进行逆量化还原成频率系数，输出给逆正交变换单元IT。逆正交变换单元IT从频率系数逆频率变换成像素差分值，输出给加法单元Add。加法单元Add对像素差分值和从运动补偿单元MC所输出的预测图像进行加法运算而作为解码画面。开关SW在发出该解码画面保存指令的场合下变成「ON」，使解码画面保存到画面存储器PicMem中。
另一方面，图像信号Vin以宏块为单位被输入运动检测单元ME，将画面存储器PicMem中所存储的解码画面作为搜索对象，通过检测出与输入图像信号最接近的图像区域来对指示其位置的运动矢量MV加以决定。运动矢量的检测是以进一步分割宏块后的块为单位进行的。此时，为了能够将多幅画面作为参照画面加以使用，而对每个块需要识别号码(画面号码Index)，该识别号码用来指定所参照的画面。采用画面号码Index，可以通过取得存储器PicMem中各画面所具有画面号码之间的相关性来指定参照画面。
运动补偿单元MC采用由上述处理所检测出的运动矢量及画面号码Index，从存储于画面存储器PicMem中的解码画面取出预测图像生成所需要的图像区域。针对所得到的图像区域像素值，运动补偿单元MC通过实施由加权预测而产生的内插处理等像素值变换处理来确定最终的预测图像，该加权预测采用与画面号码Index相关联的加权系数。
图7是表示上述图6的以往图像编码装置100中可变长度编码单元VLC功能结构概略的框图。可变长度编码单元VLC具备MV编码部101、量化值编码部102、加权系数编码部103、索引编码部104、AFF识别信息编码部105及多路化部106。
MV编码部101用来对运动矢量进行编码，量化值编码部102用来对量化值Qcoef进行编码。另外，加权系数编码部103用来对加权系数Weight进行编码，索引编码部104用来对画面号码Index进行编码。AFF识别信息编码部105用来对AFF识别信号AFF进行编码(有关AFF识别信号AFF将在下面予以说明)。多路化部106用来对从MV编码部101、量化值编码部102、加权系数编码部103、索引编码部104及AFF识别信息编码部105所输出的各编码信号进行多路化，输出图像编码信号Str。
图8是表示以往图像解码装置200功能结构的框图。
图像解码装置200可以对上述图像编码装置100所编码的图像编码信号Str进行解码，该装置具备可变长度解码单元VLD、运动补偿单元MC、加法单元Add、画面存储器PicMem、逆量化单元IQ及逆正交变换单元IT。
若输入图像编码信号Str，则可变长度解码单元VLD从所输入的图像编码信号Str分离出已编码的运动差分矢量MV、表示画面号码的索引及加权系数Weight，输出给运动补偿单元MC。再者，可变长度解码单元VLD对所输入的图像编码信号Str中含有的已编码量化值Qcoef进行解码，输出给逆量化单元IQ。
运动补偿单元MC采用从可变长度解码单元VLD所输出的运动矢量及画面号码Index，由存储于画面存储器PicMem中的解码画面取出预测图像的生成所需的图像区域。采用与该所得到的图像对应的加权系数Weight，实施由加权预测而产生的内插处理等像素值变换处理，以此生成预测图像。
逆量化单元IQ对量化值进行逆量化还原成频率系数，输出给逆正交变换单元IT。逆正交变换单元IT从频率系数逆频率变换成像素差分值，输出给加法单元Add。加法单元Add对像素差分值和从运动补偿单元MC所输出的预测图像进行加法运算而作为解码画面。该解码画面在此后画面间预测中用于参照的场合下，存储到画面存储器PicMem中。另外，该解码画面作为解码画面信号Vout被输出到外部。
图9是表示上述图8以往图像解码装置200中可变长度解码单元VLD功能结构概略的框图。
可变长度解码单元VLD具备分离部201、MV解码部202、量化值解码部203、加权系数解码部204、索引解码部205及AFF识别信号解码部206。
若图像编码信号Str被输入到可变长度解码单元VLD中，则分离部201分离出所输入的图像编码信号Str，将已编码的量化值Qcoef、已编码的加权系数Weight、已编码的画面号码Index及已编码的AFF识别信号AFF(在下面的说明中简称为「AFF」)分别输出给量化值解码部203、加权系数解码部204、索引解码部205及AFF识别信号解码部206。
MV解码部202用来对已编码的差分矢量进行解码，输出运动矢量MV。
同样，量化值解码部203、加权系数解码部204、索引解码部205及AFF识别信号解码部206分别用来对量化值、加权系数Weight、画面号码Index及AFF进行解码加以输出。
可是，就以往的加权预测编码而言虽然以画面为单位进行编码，但是只是假设出块总是对于相同的画面(帧或场的一方)进行编码或解码。因而，加权系数按照画面只有1组被编码/解码。
为此，虽然通过以块为单位来转换场和帧而有可能提高运动预测的效率，但是由于以往以画面为单位只发送1个加权系数，因而即使以块为单位转换场和帧，预测效率也不佳而不能使压缩率得到提高。
发明内容
因此，有关本发明是鉴于上述问题而做出的，本发明目的在于提供一种图像解码装置，以块为单位对编码信号进行解码，该编码信号是对由帧或场构成的画面以块为单位进行编码得到的，本发明具备 块解码装置，对编码差分信号进行解码，生成块的差分值，该编码差分信号是对包含在上述编码信号中的输入图像和预测图像的差分值进行编码得到的； 预测图像生成装置，在上述块被帧编码的情况下，用参考帧的像素值和帧加权系数生成预测图像，在上述块被场编码的情况下，用参考场的像素值和场加权系数生成预测图像； 再现图像生成装置，根据生成的上述块的差分值和生成的上述预测图像，生成上述块的再现图像； 上述预测图像生成装置， (1)在上述画面由帧构成，并且构成上述画面的所有的块被帧编码的情况下，将从上述编码信号提取到的加权系数作为帧加权系数，生成上述预测图像； (2)在上述画面由场构成，并且构成上述画面的所有的块被场编码的情况下，将从上述编码信号提取到的加权系数作为场加权系数，生成上述预测图像； (3)在上述画面由帧构成，并且可自适应转换对构成上述画面的块进行帧编码或是场编码而编码的情况下，当上述块被帧编码时，将从上述编码信号提取到的加权系数作为帧加权系数，生成上述预测图像； (4)在上述画面由帧构成，并且可自适应转换对构成上述画面的块进行帧编码或是场编码而编码的情况下，当上述块被场编码时，用从上述编码信号提取到的加权系数生成场加权系数，用生成的场加权系数生成上述预测图像。
另外，为了达到上述目的，本发明提供一种图像解码方法，以块为单位对编码信号进行解码，该编码信号是对由帧或场构成的画面以块为单位进行编码得到的，本发明的方法具备 解码步骤，对编码差分信号进行解码，生成块的差分值，该编码差分信号是对包含在上述编码信号中的输入图像和预测图像的差分值进行编码得到的； 预测图像生成步骤，在上述块被帧编码的情况下，用参考帧的像素值和帧加权系数生成预测图像，在上述块被场编码的情况下，用参考场的像素值和场加权系数生成预测图像； 再现图像生成步骤，根据生成的上述块的差分值和生成的上述预测图像，生成上述块的再现图像； 上述预测图像生成步骤， (1)在上述画面由帧构成，并且构成上述画面的所有的块被帧编码的情况下，将从上述编码信号提取到的加权系数作为帧加权系数，生成上述预测图像； (2)在上述画面由场构成，并且构成上述画面的所有的块被场编码的情况下，将从上述编码信号提取到的加权系数作为场加权系数，生成上述预测图像； (3)在上述画面由帧构成，并且可自适应转换对构成上述画面的块进行帧编码或是场编码而编码的情况下，当上述块被帧编码时，将从上述编码信号提取到的加权系数作为帧加权系数，生成上述预测图像； (4)在上述画面由帧构成，并且可自适应转换对构成上述画面的块进行帧编码或是场编码而编码的情况下，当上述块被场编码时，用从上述编码信号提取到的加权系数生成场加权系数，用生成的场加权系数生成上述预测图像。
图1表示的是画面种类和参照关系的一个示例。
图2表示的是画面种类和参照关系的其它示例。
图3表示的是图像数据流结构的一个示例。
图4(a)是参照1幅帧来进行加权预测处理时的模式图。
图4(b)是参照2幅帧来进行加权预测处理时的模式图。
图5(a)是参照与各自对应的第1或第2场来进行加权预测处理时的模式图。
图5(b)是参照2幅与各自对应的第1或第2场来进行加权预测处理时的模式图。
图6是表示以往图像编码装置功能结构的框图。
图7是表示以往图像编码装置中的可变长度编码单元功能结构概略的框图。
图8是表示以往图像解码装置功能结构的框图。
图9是表示以往图像解码装置中的可变长度解码单元功能结构概略的框图。
图10是表示实施方式1中的可变长度编码单元功能结构概略的框图。
图11是表示实施方式1中的可变长度解码单元功能结构概略的框图。
图12(a)是实施方式1中画面区域的通用信息区域内「header」的详细数据结构一个示例。
图12(b)是没有「AFF」而作为「画面加权系数」只发送「场加权系数」时的示例。
图12(c)是因「画面帧编码信息」为「1」并且「AFF」为「0」而不能以块为单位转换场和帧时的示例。
图13是表示在实施方式1中「画面帧编码信息」为「1」且画面以帧为单位被编码时可变长度解码单元中与加权系数有关的编码处理过程的流程图。
图14(a)是实施方式1变形例中画面区域的通用信息区域内「header」的详细数据结构一个示例。
图14(b)是因「画面帧编码信息」为「0」并且总是场编码而没有「AFF」作为「画面加权系数」只发送「场加权系数」时的示例。
图14(c)是因「画面帧编码信息」为「1」且「AFF」为「0」而不能以块为单位转换场和帧时的示例。
图15是表示在实施方式1变形例中「画面帧编码信息」为「1」且画面以帧为单位被编码时可变长度解码单元中与加权系数有关的编码处理过程的流程图。
图16是表示在图11的可变长度解码单元中「画面帧编码信息」为「1」且画面以帧为单位被编码时与加权系数有关的解码处理过程的流程图。
图17(a)是实施方式2中画面区域的通用信息区域内「header」的详细数据结构一个示例，是对「AFF」设定「1」并对「Field系数有无信息」设定「1」的示例。
图17(b)与(a)相同，是对「AFF」设定「1」并对「Field系数有无信息」设定「0」的示例。
图17(c)是因对「AFF」设定「0」而不以块为单位进行场和帧转换的示例。
图18是表示在实施方式2中可变长度编码单元与加权系数有关的编码处理过程的流程图。
图19是表示在实施方式2中可变长度解码单元与加权系数有关的解码处理过程的流程图。
图20(a)表示的是在实施方式3中画面区域的数据结构示例，是对「AFF」设定「1」并对「Frame系数有无信息」设定「1」的示例。
图20(b)与(a)相同，是对「AFF」设定「1」并对「Frame系数有无信息」设定「0」的示例。
图20(c)是因对「AFF」设定「0」而不以块为单位进行场和帧转换的示例。
图21是表示在实施方式3中可变长度编码单元与加权系数有关的编码处理过程的流程图。
图22是表示在实施方式3中可变长度解码单元与加权系数有关的解码处理过程的流程图。
图23是采用软盘等记录媒体中所记录的程序并通过计算机系统来实施上述实施方式1、2及3的图像编码方法及图像解码方法时的说明图。
(a)是表示作为记录媒体主体的软盘物理格式示例的说明图。
(b)是表示出从软盘正面所看到的外观、剖面结构及软盘的说明图。
(c)是表示出在软盘FD中进行上述程序的记录再生所需的结构的说明图。
图24表示的是实现内容传输服务的内容提供系统整体结构的框图。
图25表示的是携带电话的一个示例。
图26是表示携带电话内部结构的框图。
图27是表示数字广播用系统整体结构的框图。
具体实施例方式 下面，有关本发明所涉及的实施方式，通过参照附图予以详细说明。
(实施方式1) 实现本实施方式所涉及图像编码方法的图像编码装置功能结构除去可变长度编码单元VLC之外，与上述以往的图像编码装置100相同。另外，实现本实施方式所涉及图像解码方法的图像解码装置功能结构除去可变长度解码单元VLD之外，与上述以往的图像解码装置200相同。
为此，下面将有关与以往不同的可变长度编码单元VLC及可变长度解码单元VLD，加以重点说明。
图10是表示在本实施方式中可变长度编码单元VLC功能结构概略的框图。如图10所示，可变长度编码单元VLC具备MV编码部101、量化值编码部102、场加权系数编码部11、帧加权系数编码部12、索引编码部104、加权系数模式判定部13、AFF识别信息编码部105、开关14、15及多路化部106。还有，下面有关与上述以往可变长度编码单元VLC相同的功能结构，将附加同一符号以省略其说明。
开关14、15用于根据加权系数模式判定部13的判定结果，对于使所输入的加权系数Weight发送目标为场加权系数编码部11还是为帧加权系数编码部12，进行ON/OFF的控制。
场加权系数编码部11用来以所输入的加权系数Weight作为场加权系数进行编码。帧加权系数编码部1 2用来以所输入的加权系数Weight作为帧加权系数进行编码。
加权系数模式判定部13用于根据AFF的值及加权系数Weight的值，进行场/帧的判定并将其判定结果通知给开关14、15及多路化部106。
图11是表示本实施方式中可变长度解码单元VLD功能结构概要的框图。如图11所示，可变长度解码单元VLD具备分离部21、MV解码部202、量化值解码部203、场加权系数解码部22、帧加权系数解码部23、加权系数生成部24、索引解码部205、AFF识别信息解码部206及开关26～28。还有，下面有关与上述以往可变长度解码单元VLD相同的功能结构，将附加同一符号以省略其说明。
分离部21用来分离所输入的图像编码信号Str，并将已编码的运动矢量MV、已编码的量化值Qcoef、已编码的加权系数Weight、已编码的画面号码Index以及已编码的AFF分别输出给MV解码部202、量化值解码部203、场加权系数解码部22或帧加权系数解码部23和加权系数生成部24、索引解码部205以及AFF识别信息解码部206。
场加权系数解码部22用来以所输入的加权系数Weight作为场加权系数进行解码。帧加权系数解码部23用来以所输入的加权系数Weight作为帧加权系数进行解码。
加权系数生成部24按照需要根据帧加权系数生成场加权系数。例如，以块为单位进行帧/场转换的场合，以及因场加权系数未被编码而有必要根据帧加权系数生成场加权系数的场合。
图12表示的是本实施方式中画面区域的数据结构示例。图12(a)是画面区域中通用信息区域内「header」的详细数据结构一个示例。在图12(a)的示例中，「header」具有「画面帧编码信息」，表示画面是帧单位还是场单位。在「画面帧编码信息」为「1」的场合下，进一步具有「AFF」这种表示是否以块为单位转换场和帧的标志。例如，在「AFF」为「1」的场合下，表示以块为单位转换场和帧。如图12(a)所示，在「AFF」为「1」的场合下，发送「场加权系数」和「帧加权系数」的全部。还有，在「场加权系数」中包含有「第1场加权系数」和「第2场加权系数」。
在「画面帧编码信息」为「0」的场合下，画面以场为单位被编码，不能以块为单位转换场和帧。因而，如图12(b)所示，没有「AFF」，而作为「画面加权系数」只发送「场加权系数」。图12(c)是「画面帧编码信息」为「1」并且「AFF」为「0」的情形，不能以块为单位转换场和帧。因而，作为「画面加权系数」只发送「帧加权系数」。
图13是表示在本实施方式中「画面帧编码信息」为「1」且画面以帧为单位被编码时可变长度解码单元VLD中与加权系数有关的编码处理过程的流程图。
首先，在「AFF」的值为「1」且以块为单位进行帧/场转换的场合下(S10是)，对表示“有块单位的转换”的AFF进行编码(S13)，并对帧加权系数及场加权系数进行编码(S14、S15)。
另一方面，在「AFF」的值为「0」且不以块为单位进行帧/场转换的场合下(S10否)，对表示“没有块单位的转换”的「AFF 」的值「0」进行编码(S11)，并对画面的加权系数进行编码(S12)。
(变形例) 图14表示的是本实施方式变形例中画面区域的数据结构示例。图14(a)是在画面区域中的通用信息区域内「header」的详细数据结构一个示例。在图14(a)的示例中，「header」具有「画面帧编码信息」，表示画面是帧单位还是场单位。例如，在「画面帧编码信息」为「1」(也就是，画面是帧单位)的场合下，进一步具有「AFF」这种表示是否以块为单位转换场和帧的标志。例如，在「AFF」为「1」的场合下，表示出以块为单位转换场和帧。如图14(a)所示，在「AFF」为「1」的场合下，发送「帧加权系数」并且「场加权系数」改用「帧加权系数」。
在「画面帧编码信息」为「0」的场合下，表示画面以场为单位被编码。这种场合下，不以块为单位进行帧/场的转换。因而，如图14(b)所示，在没有「AFF」的场合下，意味着作为「画面加权系数」只发送「场加权系数」。图14(c)是「画面帧编码信息」为「1」且「AFF」为「0」的情形，不以块为单位进行帧/场的转换而总是采用帧进行编码。因而，作为「画面加权系数」只发送「帧加权系数」。
图15是表示在本实施方式变形例中「画面帧编码信息」为「1」且画面以帧为单位被编码时可变长度编码单元VLC中与加权系数有关的编码处理过程的流程图。
首先，在「AFF」的值为「1」且以块为单位进行帧/场转换的场合下(S10是)，对表示“有块单位的转换”的AFF进行编码(S13)，并对帧加权系数进行编码(S15)。
另一方面，在「AFF」的值为「0」且不以块为单位进行帧/场转换的场合下(S10否)，对表示“没有块单位的转换”的「AFF」值「0」进行编码(S11)，根据画面帧编码信息将在「场加权系数」或「帧加权系数」的任一方中与块编码单位相一致的作为「画面加权系数」进行编码(S12)。
图16是表示在图11的可变长度解码单元VLD中「画面帧编码信息」为「1」且画面以帧为单位被编码时与加权系数有关的解码处理过程的流程图。另外，图16是与上述图15编码处理对应的解码处理所涉及的流程图。
首先，可变长度解码单元VLD对「AFF」进行解码(S20)。据此，在表示「AFF」的值为「1」且以块为单位进行帧/场转换的场合下(S21是)，对帧加权系数进行解码(S23)，根据帧加权系数(例如，改用帧加权系数)生成场加权系数(S24)。
另一方面，在「AFF」的值为「0」且未以块为单位进行帧/场转换的场合下(S21否)，对作为「画面加权系数」的「场加权系数」或「帧加权系数」的任一个进行解码(S22)。
如上所述，通过采用本实施方式所涉及的图像编码方法及图像解码方法，而能够以块为单位实现场/帧转换并改善预测效率，最终使压缩率得以提高。再者，即使在「场加权系数」未被编码的场合下，也在可变长度解码单元VLD中根据「帧加权系数」生成「场加权系数」，因此可以在没有阻碍的状况下进行上述块单位的场/帧转换。
(实施方式2) 在本实施方式中，将有关在上述实施方式1中画面区域数据结构不同时的示例，予以说明。
图17表示的是在本实施方式中画面区域数据结构的示例。该图17表示的是画面区域中的通用信息区域内「header」的详细数据结构。在本实施方式中，作为「画面帧编码信息」为「1」且画面以帧为单位被编码的情形，将有关可省略场加权系数时的「header」结构示例予以说明。
如图17(a)及图17(b)所示，「header」除「AFF」之外还具有「Field系数有无信息」。该「Field系数有无信息」是表示有没有场加权系数的标志。例如，在有场加权系数的场合下设定为「1」，在省略场加权系数的场合下设定为「0」。
图17(a)是对「AFF」设定「1」并对上述「Field系数有无信息」设定「0」的示例，表示对于场加权系数也进行发送的情形。还有，在「场加权系数中」与上述实施方式1的情形相同，包含有「第1场加权系数」和「第2场加权系数」。
图17(b)是对「AFF」设定「1」并对上述「Field系数有无信息」设定「0」的示例。
图17(c)是因对「AFF」设定「0」而不以块为单位进行场和帧转换的示例。
图18是表示在本实施方式中可变长度编码单元VLC与加权系数有关的编码处理过程的流程图。
首先，在「AFF」的值为「1」且以块为单位进行帧/场转换的场合下(S10是)，对表示有块单位转换的「AFF」进行编码(S31)。
再者，对场加权系数可否根据帧加权系数生成进行判定(S32)，在可能的场合下，对下述信息及帧加权系数进行编码(S36、S37)，该信息表示生成场加权系数。还有，在场加权系数不根据帧加权系数生成的场合下，对表示有没有场加权系数的信息、帧加权系数及场加权系数进行编码(S33～S35)。
另一方面，在「AFF」的值为「0」且不以块为单位进行帧/场转换的场合下(S10否)，与上述图15的流程图相同(S11、S12)。
图19是表示在图11的可变长度解码单元VLD中与加权系数有关的解码处理过程的流程图。另外，图19是与上述图18编码处理对应的解码处理所涉及的流程图。
首先，可变长度解码单元VLD对「AFF」进行解码(S20)，在表示「AFF」的值为「1」且以块为单位进行帧/场转换的场合下(S21是)，对表示场加权系数有无的信息进行解码(S41)。
接着，判定有没有场加权系数(S42)，在没有场加权系数的场合下对帧加权系数进行解码(S45)，根据帧加权系数生成场加权系数(S46)。还有，在有场加权系数的场合下，对帧加权系数及场加权系数进行解码(S43、S44)。
另一方面，在表示「AFF」的值为「0」且未以块为单位进行帧/场转换的场合下(S21否)，对画面加权系数进行解码(S22)。
如上所述，通过采用本实施方式所涉及的图像编码方法及图像解码方法，而以块为单位实现场/帧转换。再者，即使在「场加权系数」被省略的场合下，也可以通过帧加权系数予以生成。
(实施方式3) 在本实施方式中，将有关上述实施方式1中画面区域数据结构不同时的示例，予以说明。
图20表示的是在本实施方式中画面区域数据结构的示例。该图20作为画面区域中的通用信息区域内「画面帧编码信息」为「1」且画面以帧为单位被编码的情形，表示「header」的详细数据结构。在本实施方式中，将有关可省略帧加权系数时的「header」结构示例，予以说明。
如图20(a)及图20(b)所示，「header」除「AFF」之外还具有「Frame系数有无信息」。该「Frame系数有无信息」是表示有没有帧加权系数的标志。例如，在有帧加权系数的场合下设定为「1」，在省略帧加权系数的场合下设定为「0」。
图20(a)是对「AFF」设定「1」并对上述「Frame系数有无信息」设定「1」的示例，表示对于帧加权系数也进行发送的情形。图20(b)是对「AFF」设定「1」并对上述「Frame系数有无信息」设定「0」的示例。图20(c)是因对「AFF」设定「0」而不以块为单位进行场和帧转换的示例。
图21是表示在本实施方式中可变长度编码单元VLC与加权系数有关的编码处理过程的流程图。
首先，在「AFF」的值为「1」且以块为单位进行帧/场转换的场合下(S10是)，对表示有块单位转换的「AFF」进行编码(S51)。
再者，对是否根据场加权系数生成帧加权系数进行判定(S52)，在生成的场合下，对下述信息及场加权系数进行编码(S56、S57)，该信息表示生成帧加权系数。还有，在不根据场加权系数生成帧加权系数的场合下(S52否)，对表示有没有帧加权系数的信息、场加权系数及帧加权系数进行编码(S53～S55)。
另一方面，在「AFF」的值为「0」且不以块为单位进行帧/场转换的场合下(S10否)，与上述图15的流程图相同进行编码(S11、S12)。
图22是表示在上述图11的可变长度解码单元VLD中与加权系数有关的解码处理过程的流程图。另外，图22是与上述图21编码处理过程对应的解码处理所涉及的流程图。
首先，可变长度解码单元VLD对「AFF」进行解码(S20)，在表示「AFF」的值为「1」且以块为单位进行帧/场转换的场合下(S21是)，对表示帧加权系数有无的信息进行解码(S61)。
接着，判定有没有帧加权系数(S62)，在没有帧加权系数的场合下(S62是)，对场加权系数进行解码(S65)，根据场加权系数生成帧加权系数(S66)。还有，在有帧加权系数的场合下(S62否)，对场加权系数及帧加权系数进行解码(S63、S64)。
另一方面，在表示「AFF」的值为「0」且未以块为单位进行帧/场转换的场合下(S21否)，对画面加权系数进行解码(S22)。
如上所述，通过采用本实施方式所涉及的图像编码方法及图像解码方法，而以块为单位实现场/帧的转换。再者，即使在帧加权系数被省略的场合下，也可以通过场加权系数予以生成。
(实施方式4) 再者，通过将实现上述各实施方式所示的图像编码方法及图像解码方法所需的程序记录到软盘等存储媒体中，可以在独立的计算机系统中简单地实施上述各实施方式所示的处理。
图23是采用软盘等记录媒体中所记录的程序通过计算机系统来实施上述各实施方式的图像编码方法及图像解码方法时的说明图。
图23(b)表示从软盘的正面所看到的外观、剖面结构及软盘，图23(a)表示出作为记录媒体主体的软盘物理格式示例。软盘FD内置于卡盒F内，在该磁盘的表面上按同心圆状从外圆向内圆形成多个磁道Tr，并且各磁道按角度方向被分割成16个扇区Se。因而，对于存储有上述程序的软盘而言，在上述软盘FD上所分配的区域内记录有上述程序。
另外，图23(c)表示在软盘FD上进行上述程序记录再现所需的结构。在将实现图像编码方法及图像解码方法的上述程序记录到软盘FD中的场合下，通过软盘驱动器从计算机系统Cs写入上述程序。另外，在将由软盘内的程序来实现图像编码方法及图像解码方法的上述图像编码方法及图像解码方法建立到计算机系统中的场合下，通过软盘驱动器从软盘读出程序，传送到计算机系统中。
还有，在上述说明中虽然作为记录媒体采用软盘已做出说明，但是采用光盘也可以同样进行。另外，记录媒体不限于此，IC卡、ROM盒等只要是能记录程序的装置，都可以同样地加以实施。
(实施方式5) 再者此处，将说明上述实施方式所示的图像编码方法和图像解码方法的应用示例以及对其使用的系统。
图24是表示实现内容传输服务的内容提供系统ex100整体结构的框图。将通信服务的提供区域分割成所希望的大小，在各单元内设置有各自作为固定无线电台的基站ex107～ex110。
该内容提供系统ex100例如在因特网ex101上通过因特网业务提供设备ex102、电话网ex104及基站ex107～ex110，来连接计算机ex111、PDA(personal digital assistant)ex112、摄像机ex113、携带电话ex114及带摄像机的携带电话ex115等的各种设备。
但是，内容提供系统ex100并不限定于图24的那种组合，而也可以组合连接任一个。另外，不用通过作为固定无线电台的基站ex107～ex110，各设备也可以与电话网ex104直接连接。
摄像机ex113是数字视频摄像机等的可进行动态图像摄影的设备。另外，携带电话是下述方式的携带电话机或是PHS(PersonalHandyphone System)等全都可以，上述方式包括PDC(Personal DigitalCommunications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或者GSM(Global System for Mobile Communications)方式。
另外，流(stream)服务器ex103通过基站ex109及电话网ex104被摄像机ex113所连接，采用摄像机ex113可以进行用户所发送并根据编码处理后数据的实况传输等。所拍摄到数据的编码处理既可以通过摄像机ex113来进行，也可以通过进行数据发送处理的服务器等来进行。另外，由摄像机ex116所拍摄到的动态图像数据也可以通过计算机ex111发送给流服务器ex103。摄像机ex116是数字摄像机等的可拍摄静止图像、动态图像的设备。这种场合下，动态图像数据的编码通过摄像机ex116或通过计算机ex111都可以进行。另外，编码处理是在计算机ex111和摄像机ex116所具有的LSIex117中进行的。还有，也可以将图像编码或解码用的软件装入某些储存媒体(CD-ROM、软盘、硬盘等)中，该存储媒体是通过计算机ex111等可读取的记录媒体。再者，也可以通过带摄像机的携带电话ex115来发送动态图像数据。此时的动态图像数据是通过携带电话ex115所具有的LSI加以编码处理后的数据。
关于该内容提供系统ex100，与上述实施方式相同对用户使用摄像机ex113、摄像机ex116等所拍摄到的内容(例如，拍摄音乐实况的影像等)进行编码处理并发送给流服务器ex103，而另一方面流服务器ex103对发出请求的客户机利用数据流传输上述内容数据。作为客户机，有可以对上述编码处理后的数据进行解码的计算机ex111、PDAex112、摄像机ex113及携带电话ex114等。这样一来，内容提供系统ex100就可以在客户机中对编码后的数据进行接收及再现，并进一步通过在客户机中对其进行实时接收、解码及再现，还能够实现个人广播。
在构成该系统的各设备编码、解码过程中，可以采用上述各实施方式所示的图像编码装置或图像解码装置。
作为其一个示例，将有关携带电话予以说明。
图25表示的是采用由上述实施方式所说明的图像编码方法及图像解码方法的携带电话ex115。携带电话ex115具有天线ex201，用来在与基站ex110之间发送并接收电波；摄像部ex203，是CCD摄像机等可拍摄影像、静止图像的摄像机；显示部ex202，是对由摄像部ex203所拍摄到的影像以及由天线ex201所接收到的影像等被解码后的数据进行显示的液晶显示器等；主体部，由操作键ex204群构成；声音输出部ex208，是进行声音输出所用的扬声器等；声音输入部ex205，是进行声音输入所用的传声器等；存储媒体ex207，用来保存所拍摄到的动态图像或静止图像数据、所接收到的邮件数据及动态图像数据或静止图像数据等编码后的数据或者解码后的数据；插槽部ex206，用于将存储媒体ex207安装到携带电话ex115。存储媒体ex207是在SD卡等塑料盒内装入闪存元件后的部件，该闪存元件是电可擦除的非易失性存储器并且是EEPROM(Electrically Erasable andProgrammable Read Only Mernory)的一种。
再者，有关携带电话ex115将采用图26予以说明。携带电话ex115对于下述的主控制部ex311通过同步总线ex313相互连接有电源电路部ex310、操作输入控制部ex304、图像编码部ex312、摄像机接口部ex303、LCD(Liquid Crystal Display)控制部ex302、图像解码部ex309、多路分离部ex308、记录再现部ex307、调制解调电路部ex306及声音处理部ex305，上述主控制部ex311用来对具备有显示部ex202及操作键ex204的主体部各部进行总括控制。
电源电路部ex310用于，若因用户的操作而使会话结束及电源键变成开启状态，则通过从电池组对各部提供电源，而使带摄像机的数字携带电话ex115起动，成为可工作的状态。
携带电话ex115根据由CPU、ROM及RAM等构成的主控制部ex311的控制，通过声音处理部ex305将在声音通话方式时由声音输入部ex205所采集的声音信号变换成数字声音数据，由调制解调电路部ex306对其进行扩频处理，在通过收发电路部ex301施以数字模拟变换处理及频率变换处理之后，通过天线ex201进行发送。另外，携带电话机ex115对在声音通话方式时由天线ex201所接收到的接收信号进行放大并施以频率变换处理及模拟数字变换处理，通过调制解调电路部ex306进行逆扩频处理，在采用声音处理部ex305变换成模拟声音数据之后通过声音输出部ex208将其输出。
再者，在数据通信方式时发送电子邮件的场合下，由主体部操作键ex204操作所输入的电子邮件正文数据，通过操作输入控制部ex304发到主控制部ex311。主控制部ex311通过调制解调电路部ex306对正文数据进行扩频处理，在采用收发电路部ex301施以数字模拟变换处理及频率变换处理之后，通过天线ex201发送到基站ex110。
在数据通信方式时发送图像数据的场合下，通过摄像机接口部ex303将由摄像部ex203所拍摄到的图像数据提供到图像编码部ex312。另外，在不发送图像数据的场合下，也可以通过摄像机接口部ex303及LCD控制部ex302将由摄像部ex203所拍摄到的图像数据直接显示在显示部ex202上。
图像编码部ex312的结构具备有本申请发明所说明的图像编码装置，采用上述实施方式所示的用于图像编码装置的编码方法进行压缩编码，以此将通过摄像部ex203所提供的图像数据变换成编码图像数据，将其发到多路分离部ex308。另外，与此同时携带电话机ex115通过声音处理部ex305，将在采用摄像部ex203进行拍摄过程中由声音输入部ex205所采集的声音作为数字的声音数据，发到多路分离部ex308。
多路分离部ex308以指定方式对由图像编码部ex312所提供的编码图像数据和由声音处理部ex305所提供的声音数据进行多路化，通过调制解调电路部ex306对其结果所得到的多路化数据进行扩频处理，在采用收发电路部ex301施以数字模拟变换处理及频率变换处理之后，通过天线ex201进行发送。
在数据通信方式时接收与主页等所连接的动态图像文件数据的场合下，由调制解调电路部ex306对通过天线ex201从基站ex110所接收到的接收信号进行逆扩频处理，并将其结果所得到的多路化数据发到多路分离部ex308。
另外，为了对通过天线ex201所接收到的多路化数据进行解码，多路分离部ex308通过分离多路化数据，而分成编码图像数据和声音数据，并通过同步总线ex313将该编码图像数据提供到图像解码部ex309，与此同时将该声音数据提供到声音处理部ex305。
再者，图像解码部ex309的结构具备有本申请发明所说明的图像解码装置，采用与上述实施方式所示的与编码方法对应的解码方法对编码图像数据进行解码，以此生成再现动态图像，通过LCD控制部ex302将其提供到显示部ex202，据此显示如与主页所连接的动态图像文件中包含的动态图像数据。与此同时，声音处理部ex305在将声音数据变换成模拟声音数据之后，将其提供到声音输出部ex208，据此再现如与主页所连接的动态图像文件中包含的声音数据。
还有，不局限于上述系统的示例，最近人们正在探讨采用卫星、地面波的数字广播，并且如图27所示在数字广播用的系统中也可以至少安装上述实施方式的图像编码装置或图像解码装置的任一个。具体而言，在发射台ex409上影像信息的编码比特流通过电波传送给通信或广播卫星ex410。收到该电波的广播卫星ex410发出广播用的电波，并通过具有卫星广播接收设备的家庭天线ex406来接收该电波，采用电视(接收机)ex401或者机顶盒(STB)ex407等的装置对编码比特流进行解码将其再现。另外，在读取下述编码比特流并进行解码的再现装置ex403中也可以安装上述实施方式所示的图像解码装置，上述编码比特流记录于作为记录媒体的存储媒体ex402中。这种场合下，所再现的影像信号显示于监视器ex404上。另外，还考虑到这样的结构，即将图像解码装置安装在与有线电视用的电缆ex405或者卫星/地面波广播的天线ex406相连接的机顶盒ex407内，通过电视的监视器ex408对其进行再现。此时，也可以不是机顶盒，而在电视内装入图像编码装置。另外，也可以通过具有天线ex411的汽车ex412从卫星ex410或者从基站ex107等接收信号，并在汽车ex412所具有的汽车导航ex413等显示装置上对动态图像进行再现。
再者，也可以通过上述实施方式所示的图像编码装置对图像信号进行编码，记录到记录媒体中。作为具体示例，有将图像信号记录到DVD光盘ex421中的DVD记录器和记录于硬盘中的磁盘记录器等记录器ex420。再者，也可以记录到SD卡ex422中。记录器ex420如果具备上述实施方式所示的图像解码装置，则可以对记录于DVD光盘ex421和SD卡ex422中的图像信号进行再现，通过监视器ex408加以显示。
再者，可以考虑汽车导航ex413的结构例如为在图26所示的结构中除去摄像部ex203及摄像机接口部ex303，并且就计算机ex111和电视(接收机)ex401等来说也可以做出同样的考虑。
另外，考虑到上述携带电话ex114等的终端除具有编码器和解码器双方的收发型终端之外，还有只有编码器的发送终端、只有解码器的接收终端的3种组装形式。
这样，可以将上述实施方式所示的图像编码方法或图像解码方法使用于上述的任一设备或系统中，据此能够获得上述实施方式所说明的效果。
再者，本发明并不限定于上述这种实施方式，而在不脱离本发明的范围内可以进行各种的变形或者修改。
如上所述，根据本发明所涉及的图象编码方法及图像解码方法，能够以块为单位实现场/帧转换并改善预测效率使压缩率得到提高。
另外，根据本发明所涉及的图像编码方法及图像解码方法，由于根据帧加权系数生成场加权系数，因而可以省略场加权系数进行发送，能够使传送效率得到改善。因此，其实用价值较高。
产业上的可利用性 本发明可以应用于以块为单位转换帧/场来进行运动预测的图像编码装置、图像解码装置及其方法，尤其是在采用加权系数进行运动预测的上述图像编码装置中等是有用的。
权利要求
1.一种图像解码装置，以块为单位对编码信号进行解码，该编码信号是对由帧或场构成的画面以块为单位进行编码得到的，其特征在于具备
块解码装置，对编码差分信号进行解码，生成块的差分值，该编码差分信号是对包含在上述编码信号中的输入图像和预测图像的差分值进行编码得到的；
预测图像生成装置，在上述块被帧编码的情况下，用参考帧的像素值和帧加权系数生成预测图像，在上述块被场编码的情况下，用参考场的像素值和场加权系数生成预测图像；
再现图像生成装置，根据生成的上述块的差分值和生成的上述预测图像，生成上述块的再现图像；
上述预测图像生成装置，
(1)在上述画面由帧构成，并且构成上述画面的所有的块被帧编码的情况下，将从上述编码信号提取到的加权系数作为帧加权系数，生成上述预测图像；
(2)在上述画面由场构成，并且构成上述画面的所有的块被场编码的情况下，将从上述编码信号提取到的加权系数作为场加权系数，生成上述预测图像；
(3)在上述画面由帧构成，并且可自适应转换对构成上述画面的块进行帧编码或是场编码而编码的情况下，当上述块被帧编码时，将从上述编码信号提取到的加权系数作为帧加权系数，生成上述预测图像；
(4)在上述画面由帧构成，并且可自适应转换对构成上述画面的块进行帧编码或是场编码而编码的情况下，当上述块被场编码时，用从上述编码信号提取到的加权系数生成场加权系数，用生成的场加权系数生成上述预测图像。
2.一种图像解码方法，以块为单位对编码信号进行解码，该编码信号是对由帧或场构成的画面以块为单位进行编码得到的，其特征在于具备
解码步骤，对编码差分信号进行解码，生成块的差分值，该编码差分信号是对包含在上述编码信号中的输入图像和预测图像的差分值进行编码得到的；
预测图像生成步骤，在上述块被帧编码的情况下，用参考帧的像素值和帧加权系数生成预测图像，在上述块被场编码的情况下，用参考场的像素值和场加权系数生成预测图像；
再现图像生成步骤，根据生成的上述块的差分值和生成的上述预测图像，生成上述块的再现图像；
上述预测图像生成步骤，
(1)在上述画面由帧构成，并且构成上述画面的所有的块被帧编码的情况下，将从上述编码信号提取到的加权系数作为帧加权系数，生成上述预测图像；
(2)在上述画面由场构成，并且构成上述画面的所有的块被场编码的情况下，将从上述编码信号提取到的加权系数作为场加权系数，生成上述预测图像；
(3)在上述画面由帧构成，并且可自适应转换对构成上述画面的块进行帧编码或是场编码而编码的情况下，当上述块被帧编码时，将从上述编码信号提取到的加权系数作为帧加权系数，生成上述预测图像；
(4)在上述画面由帧构成，并且可自适应转换对构成上述画面的块进行帧编码或是场编码而编码的情况下，当上述块被场编码时，用从上述编码信号提取到的加权系数生成场加权系数，用生成的场加权系数生成上述预测图像。
全文摘要
本发明提供一种动态图像的编码装置及解码装置，特别涉及到采用加权系数来进行运动预测的编码装置、图像解码装置及它们的方法。加权系数模式判定部13根据表示是否以块为单位转换场和帧的标志「AFF」的值，来判别是场模式还是帧模式，并通知给开关14、15及多路化部106。开关14、15按照所通知的模式进行场/帧的选择。场加权系数编码部11或帧加权系数编码部12在选择出的场合下，进行各自的加权系数编码。
文档编号G06T9/00GK101188762SQ20071018094
公开日2008年5月28日 申请日期2003年9月22日 优先权日2002年10月1日
发明者角野真也, 近藤敏志, 安倍清史 申请人:松下电器产业株式会社