图象信号数据结构、图象编码方法及译码方法

专利名称：图象信号数据结构、图象编码方法及译码方法
技术领域：
本发明涉及图象信号数据结构、图象编码方法以及图象译码方法，尤其涉及，包含与包括对应于图象的各帧的译码处理以及图象显示处理在内的再生处理的定时有关的再生定时数据的图象信号结构；包含该再生定时数据的图象编码信号的生成(编码处理)；以及该图象编码信号的译码处理。
进而，本发明涉及，生成上述图象编码信号的图象编码装置以及进行上述译码处理的图象译码装置；存储上述数据结构的图象编码信号的数据存储载体；以及为了用计算机实现进行上述编码处理以及译码处理的装置而存储有图象处理程序的数据存储载体。
背景技术：
近年来，我们迎来了综合使用声音、图象及其它数据的多媒体时代，可以将以往的通过信息媒体即报纸、杂志、电视、收音机、电话等传递信息的方法，作为多媒体的对象进行处理。一般来说，所谓多媒体，是不只是表现文字，而且要同时表现与之建立关联的图形、声音、特别是图象等，但为了把上述以往的信息载体作为多媒体的对象，必须将其信息以数字形式表示。
可是，如果将上述各信息载体所具有的信息量作为数字信息量估算的话，相对于在文字的情况下每1字的信息量是1~2字节，在声音的情况下每1秒是64kb(电话通话质量)，而对于活动图象就得需要每1秒钟100Mb(现行电视播放质量)以上的信息量，因而，在上述电视等的信息载体中直接以数字形式使用该巨大的信息是不现实的。例如，电视电话已经由具有64kb~1.5Mb传输速率的综合服务数字网(ISDNIntegratedServices Digital Network)实现，但直接用ISDN传送电视摄象机的图象是不可能的。
其中，所需要的是信息的压缩技术，例如，对于电视电话来说，可以采用以ITU-T(国际电信联合·电信标准化部门)国际标准化后的H.261标准的活动图象压缩技术。另外，如果采用MPEG1标准的信息压缩技术，则可以在普通的音乐CD(激光盘)中将图象信息与音乐信号一同记录。
在此，所谓MPEG(Moving Picture Experts Group)，是涉及与活动图象相对应的图象信号的压缩、解压缩技术的国际标准，MPEG1是将活动图象数据压缩至1.5Mb，亦即将电视信号的信息压缩至约100分之1的标准。另外，由于以MPEG1标准为对象的传输速率主要被限制在约1.5Mb，因此在为了完成更高画质的要求而被标准化的MPEG2中，活动图象数据被压缩到2~15Mb。
在与这种目前已经实用化的MPEG1、2的标准对应的图象信号压缩解压缩技术中，由于作为基本上与各帧对应的图象显示定时的间隔(也就是帧速率)只采用固定帧速率，所以帧速率只有几种，因此在MPEG2中，根据和编码数据一同传送来的标志(frame rate code，帧速率编码)，参照图13所示的表，从多种帧速率(frame rate value)中选择由上述标志指定的帧速率。
可是，现在，用ISO(国际标准化机构)具体地说是推进MPEG1、MPEG2和标准化的工作小组(ISO/IEC JTC1/SC29/WG11)正在进行作为最新的图象编码方式的MPEG4的标准化工作。这种MPEG4使采用物体单位的编码处理和信号操作成为可能，从而实现为多媒体时代所必需的新功能。MPEG4最初是以低位速率的图象处理的标准化为目的，但现在其标准化的对象还包含与隔行图象对应的高位速率的图象处理，并扩充到更通用的图象处理。
如果在MPEG4中，在视频目标层(相当于MPEG2的视频顺序)的开头也追加和MPEG2的表(参照图13)同样的表，则可以用该表表现帧速率。但是，在MPEG4中，因为可以将从低位速率的图象信号到高位速率的高画质的图象信号的很宽范围的图象信号作为处理对象，所以所需要的帧速率无数，因此，在MPEG4中的实际问题是，用表进行帧速率的判断是困难的。
其中，在MPEG4中，为了和也可以说是无数的固定帧速率对应，并且为了和对于各帧来说图象显示定时和译码处理的定时的间隔是可变的图象对应，采用了其中包含被插入每帧中的各帧的显示时刻数据的数据结构。
图14展示常规的图象编码信号200的数据结构的一个例子。
具有以往的数据结构的图象信号200是与1个图象(在MPEG4中构造与1个目标对应的图象的帧系列)对应的信号，为跟着开头的着标H、使对应于各帧F(0)、F(1)、F(2)、…、F(n)的符号列Sa0、Sa1、Sa2、…、San按照传送顺序排列的结构。在此，n是在构成1个图象的帧系列中与各帧的数据的传送顺序对应的编号，设初始帧的号码n为0。
在此例中，在帧的符号列Sa0、Sa1、Sa2、…、San的开头配置了表示该帧的显示时刻的显示时刻数据Dt0、Dt1、Dt2、…、Dtn，各显示时刻数据之后配置有图象编码数据Cg0、Cg1、Cg2、…、Cgn。
由于这些显示时刻数据表示对于基准时刻的相对的时刻，因此随着构成图象的帧的数(帧数)的增多，表示该显示时刻所需要的信息量也就是显示时刻数据的位数将增多。
另外，在上述图象信号的译码一侧，根据被插入在与上述各帧对应的符号列Sa0~San中的上述显示时刻数据Dt0~Dtn，在该显示时刻数据指示的时刻进行相应帧的图象显示。
图15展示了在构成1个图象的帧系列中的与各帧对应的图象编码数据的传送顺序和显示顺序。这里，n如上所述是表示传送顺序的号码，n’是表示显示顺序的号码(将初始帧的号码n’设置为0)。另外，帧F(n)(F(0)～F(18))是根据图14所示的数据结构中的帧顺序(也就是传送顺序)排列的，帧F’(n)(F’(0)～F’(18))是将与上述传送顺序并列的各帧F(n)替换排列如图15中箭头所示其排列顺序变为显示顺序。因而，用箭头对应标出的帧F(n)和帧F’(n)是相同的帧，例如，帧F(0)、F(1)、F(2)、F(3)，分别是和帧F’(0)、F’(3)、F’(1)、F’(2)相同的帧。
在此，在被排列成传送顺序的F(n)(F(0)～F(18))中，帧F(0)、F(13)是I帧(Intra-Picture帧，即图象内的帧，以下还称为I-VOP)，帧F(1)、F(4)、F(7)、F(10)、F(16)，是P帧，(Predictive-Picture，预测图象帧，以下还称为P-VOP)，帧F(2)、F(3)、F(5)、F(6)、F(8)、F(9)、F(11)、F(12)、F(14)、F(15)、F(17)、F(18)，是B帧，(Bidirrectionallypredictive Picture，双向预测帧，以下还称为B-VOP)。
另外，如上所述，在将排列成传送顺序(IPBBPB BPBBPBBIBBPBB)的帧F(n)(F(0)～F(18))排列替换为显示顺序(IBBPBBPBBPBBPBBIBBP)时的顺序号n’，用与各帧F(n)对应的帧号码B(n)(B(0)～B(18))表示。即，该帧号码B(n)的值表示表示显示顺序的号码n’，具体地说，如图15所示，变为B(0)＝0、B(1)＝3、…、B(17)＝16、B(18)＝17。因而，在此，图象显示中的I-VOP的周期L变为L＝15，图象显示中包含I-VOP和P-VOP的VOP的周期M变为M＝3。
而后，上述帧号码B(n)＝n’，用n通过下式(1)～(3)表示。
B(n)＝n＝0(n＝0时) …(1)B(n)＝n+M-1 (n＝M×i+1时)…(2)其中，i、M是0以上的整数(0，1，2，…)。
B(n)＝n-1(n是其它值时) …(3)这里，上述条件(n＝0)是与最初的I-VOP对应的条件，条件(n＝M×i+1)是与最初的I-VOP以外的I-VOP和P-VOP两VOP对应的条件，条件(n是其它值时)是与B-VOP对应的条件。
上述式(1)～(3)是在周期性地传输与各I-VOP、P-VOP、B-VOP相当的帧符号列情况下定义上述显示顺序n’和传送顺序n的关系B(n)＝n’的式子，在与各I-VOP、P-VOP、B-VOP相当的帧符号列被以一定的周期传输以外的情况下，显示顺序n’和传送顺序n，变为用和上述式子(1)～(3)不同的关系式或方法一一对应地标出。
图16是用于说明与各帧对应的图象显示定时的间隔是可变的图象显示方法的一例的图。
图中，t’(n’)(t’(1)，t’(2)，t’(3)，t’(4)…)，表示进行帧F’(n’-1)的图象显示的时刻和进行帧F’(n’)的图象显示的时刻的时间间隔，h’(1)、h’(2)、h’(3)表示以进行帧F’(0)的图象显示的时刻h’(0)为基准进行帧F’(1)、F’(2)、F’(3)的图象显示的时刻。另外，h(n)(h(1)、h(2)、h(3)、h(4)、…)表示以进行帧F(0)＝F’(0)的图象显示的时刻h’(0)为基准进行帧F(n)(F(1)、F(2)、F(3)、F(4)、…)的图象显示的时刻。因而，在此，被排列成显示顺序的帧F’(n’)的显示顺序h’(n’)是h’(n’)＝h’(n’-1)+t’(n’)。进而h’(0)设置成h’(0)＝0。
接着，用图16简单地说明具有图14所示的图象数据结构的图象编码信号被译码并进行图象显示的状况。
在译码一侧，如果输入如图14所示的该图象编码信号200，则在对构成该图象编码信号200的各帧F(0)、F(1)、F(2)、…的图象编码数据Cg0、Cg1、Cg2、…实施译码处理的同时，在基于各帧的显示时刻数据Dt0、Dt1、Dt2、…的图象显示时刻h(0)、h(1)、h(2)、…进行与各帧F(0)、F(1)、F(2)、…对应的图象显示。
这样一来，不仅对于被编码后的图象信号(图象编码信号)相对各帧的图象显示定时的间隔(图象显示周期)为固定的信号，而且对于间隔可变的信号，也可以在译码一侧进行图象编码信号的译码并在规定的定时进行图象显示。
进而，当被编码后的图象信号是对于各帧的图象显示的间隔为固定的信号情况下，母容置疑，和上述图象显示周期可变的情况相同，与上述各帧F(0)、F(1)、F(2)、…对应的图象显示在基于各帧的显示时刻数据Dt0、Dt1、Dt2、…的图象显示时刻h(0)、h(1)、h(2)、…进行。
可是，帧速率(在1秒钟期间显示的帧的数量)如要单纯用k位(k为自然数)表示的话，就不能表现在电视广播中所使用的频率数(例如，29.97…Hz)正确地应为30000/1001Hz那样的值。
因此，这样的帧速率可以象如下那样表现。即，将规定的时间间隔(1 modulo time)例如设置为1秒，以将其N(N是自然数)等分后的微小单位时间(1/N)作为1单位时间(1 time tick)，无论对于帧速率是可变的图象，还是对于帧速率是固定的图象，都表示各帧的显示时刻。
具体地说，如图17(a)所示，排列为显示顺序的各帧F’(0)、F’(1)、F’(2)、F’(3)的图象VOP0、VOP1、VOP2、VOP3的显示时刻可以(比方说)以时刻X为基准由收集y(VOP rate increment)个微小单位时间(1/N)后的时间(y/N)来表示。例如，对于图象VOP0、VOP1、VOP2、VOP3，上述值y分别变为y＝y’0、y＝y’1、y＝y’2、y＝y’3。
图17(c)是具有用上述微小单位时间(1/N)和上述值y表示各帧的图象显示定时的数据结构的图象编码信号200a。
在该图象编码信号200a中，紧接着表示与微小单位时间相当的N(自然数)的、包含微小单位时间数据Dk的首标H之后，排列与各帧F(n)(F(0)、F(1)、F(2)、…)对应的符号列Sbn(Sb0、Sb1、Sb2、…)。在各符号列Sbn中，包含有以基准时刻x为基准，用上述微小单位时间(1/N)和其个数y测定的表示显示时刻h(n)(h(0)、h(1)、h(2)、…)的显示周期乘数数据Dyn(Dy0、Dy1、Dy2、…)。
进而，在图17(c)中，Cgn(Cg0、Cg1、Cg2、…)是与上述各帧F(n)(F(0)、F(1)、F(2)、…)对应的图象编码数据。
但是，如图17(b)所示，当图象VOPO是I-VOP(I帧)，VOP1、2是B-VOP(B帧)，VOP3是P-VOP(P帧)时，在作为图象编码信号200a的位流中，如图17(c)所示，作为接着与I-VOP(VOP0)相当的帧F(0)的符号列的帧F(1)、F(2)的符号列被排列成与P-VOP(VOP3)、B-VOP(VOP1)相当的符号。
以下，首先说明在用图14～图16说明的图象信号数据结构中的问题。
如上所述，当图象编码信号是在编码帧的显示间隔一定值T的图象信号之后的信号时，与各帧对应的图象显示定时h(n)变为h(n)＝n’×T。在此n’是表示显示顺序的号码，变为n’＝B(n)。
换言之，这种帧的显示间隔为一定值T的图象编码信号(即与帧速率是固定的图象对应的编码信号)，如果在译码一侧知道是上述一定的显示间隔的时间T，则传送顺序中的n号的帧F(n)的显示时刻h(n)虽然可以通过使上述的一定的显示间隔T增加n’(n＝B(n’))唯一确定，但存在在译码时，使用被插入到与帧F(n)(F(0)、F(1)、F(2)、…)对应的图象编码信号中的图14所示的显示时刻数据Dtn(Dt0、Dt1、Dt2、…)时，必须进行复杂的显示处理的问题。
以下，说明用图17说明过的图象信号数据结构的问题。
如上所述，在现在的MPEG4中所提出的图象信号的数据结构中，即使帧速率是固定的，帧速率的值(大小)也是不译码多帧不知其大小的结构，因此，存在难以简化实现实际的译码处理的电路结构的问题。
简单地说，如图17(b)所示，当VOP0是I-VOP(I帧)，VOP1、2是B-VOP(B帧)，VOP3是P-VOP(P帧)时，在作为图象编码信号200a的位流中，如图17(c)所示，由于紧接着与I-VOP(I帧)相当的帧F(0)排列着与P-VOP(P帧)相当的帧F(1)以及与B-VOP(B帧)相当的帧F(2)，因此存在直至与该B-VOP(B帧)对应的帧F(2)被传送来之前不知道帧显示周期(1 fixed VOP increment)的问题，也就是这种情况下存在着不知道I-VOP的显示定时和接着显示的B-VOP(B帧)的显示定时的间隔的问题。
技术内容本发明就是为了解决上述问题而提出的，其目的在于提供一种图象信号数据结构，其对于相对在帧(对于各帧的图象显示的周期)等的译码一侧的各帧再生处理的周期是固定的图象编码信号，可以通过简单的硬件构成实施包含译码处理和显示处理的再生处理，而且，还可以对上述帧速率等是可变的图象编码信号进行再生处理。
本发明的目的还在于得到一种图象译码方法以及图象译码装置，其在译码一侧，对于相对帧速率(对于各帧的图象显示的周期)等的各帧再生处理的周期是固定的图象编码信号，可以用简单的硬件构成实施包含译码处理和显示处理的再生处理，而且，对于帧速率等是可变的图象编码信号也可以简单地进行再生处理，对于进行这样的图象编码处理的图象编码方法和图象编码装置以及图象编码信号，可以对应各帧的再生处理的周期是否可变，正确地进行包含译码处理以及图象显示处理的再生处理。
进而，本发明的目的在于得到可以使各种硬件构成做得简单的图象信号数据结构，这些硬件可以在进行各帧的数字处理之前，预先检测帧速率等是固定的图象编码信号的帧速率等的值(大小)，实现包含译码处理以及显示处理的再生处理。
再有，本发明的目的在于得到一种图象译码方法以及图象译码装置，其可以在进行各帧的译码处理之前预先检测帧速率等是固定的图象编码信号的帧速率等的值(大小)，对于该图象编码信号可以用简单的硬件构成实施包含译码处理以及显示处理的再生处理，可以正确地译码通过进行上述的编码处理的图象编码方法和图象编码装置，以及上述编码处理得到的图象编码信号。
另外，本发明的目的在于得到一种存储了上述数据结构的图象编码信号的数据存储载体以及存储了用于通过计算机实现上述图象编码方法以及图象译码方法的处理的图象处理程序的数据存储载体。
本发明(方案1)的图象信号数据的结构，是用于如此输出图象信号使得在规定周期进行对应各帧的图象再生处理的图象信号数据结构，其包含表示对应于上述各帧的图象再生处理的周期是否可变的再生周期识别符。
本发明(方案2)在本发明的方案1所述的图象信号数据结构中，将上述再生周期识别符设置为，表示与上述各帧对应的图象显示的周期是否可变的显示周期识别符。
本发明(方案3)在本发明的方案2所述的图象信号数据结构中，作为上述显示周期识别符，在包含表示与上述各帧对应的图象显示周期是固定的显示周期固定识别符的同时，加上该显示周期固定识别符，还包含表示与上述各帧对应的图象显示的周期的显示周期数据，和与上述各帧对应的，表示帧的前后关系的帧位置数据。
本发明(方案4)在本发明的方案2所述的图象信号数据结构中，作为上述显示周期识别符，在包含表示与上述各帧对应的图象显示周期是固定的显示周期固定识别符的同时，加上该显示周期固定识别符，还包含响应各帧对于1个或多个基准时刻所需要的时刻被相对地设置的，表示对应各帧进行图象显示的定时的显示定时数据。
本发明(方案5)在本发明的方案1所述的图象信号数据结构中，将上述再生周期识别符设置成，与上述各帧的对应的、表示译码被编码的图象信号的译码处理的周期是否可变的译码周期识别符。
本发明(方案6)在本发明的方案5所述的图象信号数据结构中，作为上述显示周期识别符，在包含表示与上述各帧对应的译码处理的周期是固定的译码周期固定识别符的同时，加上该译码周期固定识别符，还包含表示与上述各帧对应的译码处理的周期的译码周期数据，和与上述各帧对应的，表示帧的前后关系的帧位置数据。
本发明(方案7)在本发明的方案5所述的图象信号数据结构中，作为上述译码周期识别符，在包含表示与上述各帧对应的译码处理的周期是固定的译码周期固定识别符的同时，加上该译码周期固定识别符，还包含响应各帧对于1个或多个基准时刻所需要的时刻被相对地设置的，表示对应与各帧进行译码处理的定时的译码定时数据。
本发明的(方案8)的图象编码方法是在输出通过编码对应于规定的图象的图象信号、由该编码得到的图象编码数据的同时，输出表示对应于上述图象的各帧的图象再生处理的周期是否可变的再生周期识别符的图象编码方法，作为上述图象信号，在输入了与上述各帧对应的图象再生处理的周期是固定的图象信号时，与上述再生周期识别符同时输出对应于上述各帧表示图象再生处理的周期的再生周期数据，和与上述各帧对应的，表示帧的前后关系的帧位置数据；作为上述图象信号，在输入了与上述各帧对应的图象再生处理的周期是可变的图象信号时，与上述再生周期识别符同时输出响应上述各帧对于1个或者多个基准时刻所需要的时刻被相对地设置的，表示对应各帧进行图象再生处理的定时的再生定时数据。
本发明(方案9)在本发明方案8所述的图象编码方法中，将上述再生周期识别符设置成，表示对应上述图象的各帧的图象显示的周期是否可变的显示周期识别符；将上述再生周期数据设置成，对应上述各帧表示图象显示的周期的显示周期数据；将上述再生定时数据设置成，响应上述各帧对于1个或者多个基准时刻所需要的时刻被相对地设置的，表示对应各帧进行图象显示的定时的显示定时数据。
本发明(方案10)在本发明方案8所述的图象编码方法中，将上述再生周期识别符设置成，与上述图象的各帧对应的，表示图象编码数据的译码处理的周期是否可变的译码周期识别符；将上述再生周期数据设置成，表示对应于上述各帧的译码处理的周期的译码周期数据；将上述再生定时数据设置成，响应上述各帧对于1个或多个基准时刻所需要的时刻被相对地设置的，表示对应各帧进行译码处理的定时的译码定时数据本发明(方案11)的图象译码方法，是译码包含对应于图象的各帧的图象编码数据和表示对应于各帧的图象再生处理的周期是否可变的再生周期识别符的图象编码信号的图象译码方法，当上述再生周期识别符表示与上述各帧对应的图象再生处理的周期是固定的时，将译码对应于各帧的图象编码数据得到的图象译码数据设置成，被包含在上述图象编码信号中的，表示对应于上述各帧的图象再生处理的周期的再生周期数据，和与上述各帧对应的，根据表示帧的前后关系的帧位置数据确定的再生定时图象数据；当上述再生周期识别符表示对应于上述各帧的图象再生处理的周期是可变的时，将译码对应于各帧的图象编码数据得到的图象译码数据设置成，根据被包含在上述图象编码信号中的，响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设置的，表示对应各帧进行图象再生处理的定时的再生定时数据确定的再生定时的图象数据。
本发明(方案12)在本发明方案11所述的图象译码方法中，将上述再生周期识别符设置成，表示对应上述各帧的图象显示周期是否可变的显示周期识别符；将上述再生周期数据设置成表示对应上述各帧的图象显示的周期的显示周期数据；将上述再生定时数据设置成，表示对应于上述各帧进行图象显示的显示定时的显示定时数据。
本发明(方案13)在本发明方案11所述的图象译码方法中，根据包含成为译码处理的对象的对象帧的多个帧的显示定时数据，设定对应于上述各帧进行译码处理的译码定时。
本发明(方案14)在本发明方案13所述的图象译码方法中，将上述对象帧的译码定时，根据该对象帧的显示定时数据以及接着传送来的下一帧的显示定时数据，设定为比该两帧中早的一方的显示定时只早规定的偏差时间的定时。
本发明(方案15)在本发明方案14所述的图象译码方法中，当上述对象帧的显示定时比上述下一个帧的显示定时早时，将上述偏差时间设定为大于对于上述对象帧的译码处理所需要的时间；当上述下一个帧的显示定时比上述对象帧的显示时间早时，将上述偏差时间设定为大于对于对象帧的译码处理所需要的时间，和对于下一个帧的译码处理所需要的时间的合计时间。
本发明(方案16)在本发明方案11所述的图象译码方法中，将上述再生周期识别符设置成，对应于各帧的，表示图象编码数据的译码处理的周期是否可变的译码周期识别符，将上述再生周期数据设置成，表示对应上述各帧的译码处理的周期的译码周期数据；将上述再生定时数据设置成，表示对应上述各帧进行译码处理的译码定时的译码定时数据。
本发明(方案17)在本发明方案1所述的图象信号数据结构中，加上表示对应上述各帧的图象再生处理的周期是否可变的再生周期识别符，包含用自然数N表示N等分规定的时间间隔后得到的微小单位时间的大小的微小单位时间数据，和用乘数M(自然数)表示对应上述各帧的图象再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据。
本发明(方案18)在本发明方案17所述的图象信号数据结构中，将上述再生周期识别符设置成，表示对应于上述各帧的图象显示的周期是否可变的显示周期识别符；将上述再生周期乘数数据设置成，用乘数M(自然数)表示对应上述各帧的图象显示的周期是上述微小单位时间的M倍的显示周期乘数数据。
本发明(方案19)在本发明方案17所述的图象信号数据结构中，将上述再生周期识别符设置成，与上述各帧对应的，译码被编码后图象信号的译码处理的周期是否可变的译码周期识别符，将上述再生周期乘数数据设置成，用乘数M(自然数)表示对应上述各帧的译码处理的周期是上述微小单位时间的M倍的译码周期乘数数据。
本发明(方案20)的图象编码方法，是在输出通过编码对应于规定的图象的图象信号由该编码得到的图象编码数据的同时，输出表示对应于上述图象的各帧的图象再生处理的周期是否可变的再生周期识别符的图象编码方法，作为上述图象信号，在输入了与上述各帧对应的图象再生处理的周期是固定的图象信号时，与上述再生周期识别符同时输出用自然数N表示N等分规定的时间间隔后得到的微小单位时间的大小的微小单位时间数据，和用乘数M(自然数)表示对应于上述各帧的图象再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据。
本发明(方案21)在本发明方案20所述的图象编码中，将上述再生周期识别符设置成，表示对应于上述各帧的图象显示的周期是否可变的显示周期识别符；将上述再生周期乘数数据设置成，作为表示对应上述各帧的图象显示的周期相当于上述微小单位时间的几倍的倍数M(自然数)的显示周期乘数数据。
本发明(方案22)在本发明方案20所述的图象编码方法中，将上述再生周期识别符设置成，表示对应于各帧的图象编码数据的译码处理的周期是否可变的译码周期识别符，将上述再生周期乘数数据设置成，用乘数M(自然数)表示对应于上述各帧的译码处理的周期是上述微小单位时间M倍的译码周期乘数数据。
本发明(方案23)的图象译码方法，是译码包含以下数据的图象编码信号的图象译码方法，其中包含，对应于图象的各帧的图象编码数据；表示对应于该各帧的图象再生处理的周期是否可变的再生周期识别符；用自然数N表示N等分规定的时间间隔后得到的微小单位时间的大小的微小单位时间数据；用乘数M(自然数)表示对应上述各帧的图象再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据，当上述再生周期识别符表示对应上述各帧的图象再生处理的周期是固定的时，将译码对应各帧的图象编码数据得到的图象译码数据，设置成表示上述微小单位时间的大小的微小单位时间数据，和根据表示对应上述各帧的图象再生处理的周期的再生周期乘数数据确定的再生定时的图象数据。
本发明(方案24)在本发明方案23所述的图象译码方法中，将上述再生周期识别符设置成，表示对应于上述图象显示的各帧的图象显示周期是否是可变的显示周期识别符；将上述再生周期乘数数据设置成，用乘数M(自然数)表示对应上述各帧的图象显示的周期是上述微小单位时间的M倍的显示周期乘数数据。
本发明(方案25)在本发明方案23所述的图象编码方法中，将上述再生周期识别符设置成，对应于上述图象的各帧的，表示图象编码数据的译码处理的周期是否可变的译码周期识别符；将上述再生周期乘数数据设置成，用乘数M(自然数)表示对应于上述各帧的译码处理的周期是上述微小单位时间的M倍的译码周期乘数数据。
本发明(方案26)的图象编码装置是编码对应规定的图象的图象信号的图象编码装置，其构成是包括编码器，编码被输入的图象信号输出图象编码数据；周期判断装置，其根据上述图象信号，判断对应上述图象的各帧的图象再生处理的周期是否是可变的，并输出表示其判断结果的再生周期识别符；第1数据生成器，其根据上述图象信号，生成表示对应上述各帧的图象再生处理的周期的再生周期数据；第2数据生成器，其根据上述图象信号，生成与上述各帧对应的，表示帧的前后关系的帧位置数据；第3数据生成器，其根据上述图象信号，生成表示对应上述各帧进行图象再生处理的定时的再生定时数据；开闭开关，其根据上述再生周期识别符，在使上述再生周期数据导通的导通状态和切断该再生周期数据的切断状态之间切换；选择开关，其根据上述再生周期识别符，选择上述帧位置数据和上述再生定时数据的一方；多路复合器，其按照规定的顺序多路复合上述编码器、周期判断装置以及各开关的输出，将通过上述多路复合得到的位流作为图象编码信号输出。
本发明(方案27)的图象译码装置是译码并再生从本发明的技术特征26所述的图象编码装置输出的图象编码信号的图象译码装置，包括数据分离装置，其接收上述图象编码信号，分离被包含在该图象编码信号中的图象编码数据、再生周期识别符、再生周期数据、帧位置数据以及再生定时数据；译码器，对每一帧译码上述图象编码数据生成图象译码数据；开闭开关，其根据上述再生周期识别符，在使上述再生周期数据导通的导通状态和切断该再生周期数据的切断状态之间切换；选择开关，其根据上述再生周期识别符，选择上述帧位置数据和再生定时数据的一方；显示装置，其根据上述图象译码数据，进行对应上述各帧的图象显示处理，图象译码装置的构成是，对应上述再生周期识别符，用在由上述再生周期数据以及帧位置数据确定的再生定时，或者由上述再生定时数据确定的再生定时，进行由上述译码器进行的译码处理以及由显示装置进行的图象显示处理中至少一方的处理。
本发明(方案28)的图象编码装置是编码对应规定的图象的图象信号的图象编码装置，包括编码器，译码被输入的图象信号输出图象编码数据；周期判断装置，其根据上述图象信号，判断对应上述图象的各帧的图象再生处理的周期是否是可变的，并输出表示其判断结果的再生周期识别符；第1数据生成器，生成用自然数N表示N等分规定的时间间隔得到的微小单位时间的大小的微小单位时间数据；第2数据生成器，其根据上述图象信号，生成用M(自然数)表示对应上述各帧的图象再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据；第3数据生成器，其根据上述图象信号，生成表示对应上述各帧进行图象再生处理的定时的再生定时数据；第1开闭开关，其根据上述再生周期识别符，在导通上述微小单位时间数据的导通状态和切断该微小单位时间数据的切断状态之间切换；第2开闭开关，其根据上述再生周期识别符，在导通上述再生周期乘数数据的导通状态和切断该再生周期乘数数据的切断状态之间切换；多路复合器，其按照规定的顺序多路复合上述编码器、周期判断器、第3数据生成器以及各开关的输出，图象编码装置的构成是，将通过上述多路复合得到的位流作为图象编码信号的输出。
本发明(方案29)的图象译码装置，是译码并再生从本发明的方案28所述的图象编码装置输出的图象编码信号的图象译码装置，包括数据分离装置，其接收上述图象编码信号，分离被包含在该图象编码信号中的图象编码数据、再生周期识别符、微小单位时间数据、再生周期乘数数据以及再生定时数据；译码器，对上述每一帧译码上述图象编码数据生成图象译码数据；第1开闭开关，其根据上述再生周期识别符，在使上述再生周期乘数导通的导通状态和切断该数据的切断状态之间切换；第2开闭开关，其根据上述再生周期识别符，在使上述上述再生定时数据导通的导通状态和切断该数据的切断状态之间切换；显示装置，其根据上述图象译码数据，对应各帧进行图象显示处理，图象译码装置的构成是，对应上述再生周期识别符，由上述微小单位时间数据以及再生周期数据确定的再生定时，或者由上述再生定时数据确定的再生定时，进行上述由译码器进行的译码处理以及由显示装置进行的图象显示处理中至少一方的处理。
本发明(方案30)的数据存储载体是存储有以规定周期进行对应各帧的图象再生处理的图象信号的数据存储载体，其中使上述图象信号的构成包含，表示对应上述各帧的图象再生处理的周期是否可变的再生周期识别符。
本发明(方案31)的数据存储载体是存储有以规定周期进行对应各帧的图象再生处理的图象信号的数据存储载体，其中将上述图象信号设置成包含，表示对应上述各帧的图象再生处理的周期是否可变的再生周期识别符；用自然数N表示等分规定的时间间隔后得到的微小单位时间的大小的微小单位时间数据；用乘数M(自然数)表示对应上述各帧的图象再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据。
本发明(方案32)的数据存储载体是存储有图象处理程序的数据存储载体，其中将上述图象处理程序设置成，使采用本发明技术特征8所述的图象编码方法的图象信号的译码处理可以在计算机中进行的编码处理程序。
本发明(方案33)的数据存储载体是存储有图象处理程序的数据存储载体，其中将上述图象处理程序设置成，使采用本发明技术特征11所述的图象译码方法的图象信号的译码处理可以在计算机中进行的译码处理程序。
本发明(方案34)的数据存储载体是存储有图象处理程序的数据存储载体，其中将上述图象处理程序设置成，使采用本发明技术特征20所述的图象编码方法的图象信号的译码处理可以在计算机中进行的译码处理程序。
本发明(方案35)的数据存储载体是存储有图象处理程序的数据存储载体，其中将上述图象处理程序设置成，使采用本发明技术特征23所述的图象译码方法的图象编码信号的译码处理可以在计算机中进行的译码处理程序。


图1是展示对比帧显示周期是固定的情况(图(a))和帧显示周期是可变的情况(图(b))的本发明的实施例1的图象编码信号的数据结构的示意图。
图2是展示上述实施例1的根据帧显示周期是固定的图象编码信号的图象显示状况的示意图。
图3是展示生成上述实施例1的数据结构的图象编码信号的编码处理的流程的图。
图4是展示进行上述实施例1及其变形例的编码处理的图象编码装置的构成(图(a)、图(b))的方框图。
图5是展示译码上述实施例1的数据结构的图象编码信号的译码处理的流程图。
图6是展示进行上述实施例1及其变形例的译码处理的图象译码装置的构成(图(a)、图(b))的方框图。
图7是展示对比帧显示周期是固定的情况(图(a))和帧显示周期是可变的情况(图(b))的本发明的实施例2的与MPEG4对应的图象编码信号的数据结构的示意图。
图8是展示生成上述实施例2的数据结构的图象编码信号的编码处理的流程图。
图9是展示进行上述实施例2及其变形例的编码处理的图象编码装置的构成(图(a)、图(b))的方框图。
图10是展示译码上述实施例2的数据结构的图象编码信号的译码处理的流程图。
图11是展示进行上述实施例2及其变形例的译码处理的图象译码装置的构成(图(a)、图(b))的方框图。
图12是用于说明存储有为了用计算机进行上述各实施例的编码处理以及译码处理的程序的数据存储载体(图(a)、(b))以及上述计算机系统(图(c))的示意图。
图13是展示以往的MPEG2中的固定帧速率的表的示意图。
图14是用于说明具有以往的图象数据结构的图象编码信号的概念图。
图15是展示对比构成1个图象的帧系列中的数据传送顺序和数据显示顺序的示意图。
图16是展示常规的根据帧显示周期是可变的图象编码信号的图象显示状况的示意图。
图17是说明与现有的MPEG4对应的各帧(VOP)的显示时刻的表现方法(图(a)、(b))，以及对应MPEG4的图象编码信号的目前使用的数据结构(图(c))的示意图。
具体实施例方式
以下，说明本发明的实施例。
实施例1图1(a)是展示采用本发明的实施例1的帧显示周期是固定(一定)的图象编码信号100a的数据结构，图1(b)是展示采用本发明的实施例1的帧显示周期是可变的图象编码信号100b的数据结构。
上述图象编码信号100a(参照图1(a))是与1个图象(在MPEG4中与1个目标对应的图象)对应的、通过对帧显示周期是固定的图象信号进行译码得到的信号，其结构是，紧接着开头首标H按照传送顺序排列着对应各帧F(0)、F(1)、F(2)、…、F(n)的符号列Sa0、Sa1、Sa2、…、San。在此，n是在构成1个图象的帧系列中与各帧的数据传送对应的号码在该图象编码信号100a中，在首标H内插入表示帧显示周期是固定的显示周期识别符(显示周期固定识别符)Df以及表示帧显示周期的显示周期数据Dp，在对应各帧的符号列Sa0、Sa1、Sa2、…、San的开头插入表示与该帧的显示顺序n’相当的帧号码B(n)的帧号码数据B0、B1、B2、…、Bn。另外，在对应上述各帧的符号列Sa0、Sa1、Sa2、…、San中，包含编码各帧的图象信号得到的图象编码数据Cg0、Cg1、Cg2、…、Cgn。
图2是说明对应各帧的图象显示定时的间隔是固定的图象显示方法的一个例子的示意图，图中，和图16同样的符号表示同一部分，T是各帧的显示定时的间隔是固定的图象的帧显示周期。
在该图象编码信号100a中，如图2所示，如果将帧F(0)的显示时刻h(0)(＝h’(0))设置为h(0)＝0，与传送顺序并列的帧F(n)(n＝0，1，2，…)的显示时刻h(n)则可以用h(n)＝B(n)×T表示。具体地说，帧F(2)的显示时刻h(2)变为h＝B(2)×T，帧F(3)的显示时刻h(3)变为h(3)＝B(3)×T，帧F(1)的显示时刻h(1)变为h(1)＝B(1)×T，帧F(4)的显示时刻h(4)变为h(4)＝B(4)×T。
因而，在该图象编码信号100a的再生处理中，与各帧对应的通过图象编码数据的译码得到图象译码数据可以按照显示时刻h(n)顺序显示。进而在此，代表表示显示序号的号码n’的帧号码B(n)，作为表示传送序号的号码n的函数由在背景技术中说明的上述式子(1)~(3)确定。
另一方面，图象编码信号100b(参照图1(b))，是译码对应1个图象(在MPEG4中对应1个目标的图象)的，译码帧显示周期是可变的图象信号得到的信号，其结构是，接着开头的标记H，按照传送顺序排列与各帧F(0)、F(1)、F(2)、…、F(n)对应的符号列Sb0、Sb1、Sb2、…、Sbn。
在图象编码信号100b中，在首标H内插入表示帧显示周期是可变的显示周期识别符(显示周期可变识别符)Df，在对应各帧F(0)、F(1)、F(2)、…、F(n)的符号列Sb0、Sb1、Sb2、…、Sbn的开头插入表示显示该帧被的显示时刻h(0)、h(1)、h(2)、…、h(n)的显示时刻数据(显示时刻数据)Dt0、Dt1、Dt2、…、Dtn。另外，在图象编码信号100b中对应各帧的符号列Sb0、Sb1、Sb2、…、Sbn中包含通过对各帧的图象信号译码得到的图象译码数据Cg0、Cg1、Cg2、…、Cgn。
图象编码信号100b的再生处理的图象显示和具有图14所示的常规的数据结构的图象编码信号200的图象显示一样。
以下，说明其作用和效果。
在本发明的实施例1中，如图1(a)所示，帧显示周期是固定的图象编码信号100a其数据结构为，在该图象数据全部的首标部分上插入表示帧显示周期是固定的显示周期固定识别符Df和表示帧显示周期的显示周期数据Dp。与此同时，在每一帧中插入表示各帧号码B(0)、B(1)、B(2)、…、B(n)的帧号码数据B0、B1、B2、…、Bn。
在具有这种数据结构的图象编码信号100a中，由于从上述显示周期Dp中可以得到帧显示周期T，从帧号码数据Bn中可以得到在1个图象中的各帧在显示顺序上数是相当于哪个序号的帧，因此，可以用这些数据Dp及Bn唯一地确定各帧F(n)的显示时刻h(n)。
另一方面，如图1(b)所示，作为帧显示周期是可变的图象编码信号100b其数据结构变为，在其图象数据全部的首标部分上插入表示显示间隔是可变的显示周期可变识别符Df；进而和以往的图象编码信号200的数据结构相同，在每一帧中插入表示各帧的显示时刻h(0)、h(1)、h(2)、…、h(n)的显示时刻数据Dt0、Dt1、Dt2、…、Dtn。
因此，在再生上述图象编码信号100 b时，可以在该显示时刻数据Dt0~Dtn所表示的显示时刻h(0)~h(n)进行对应各帧F(0)~F(n)的图象显示。
如上所述，通过在图象编码信号的首标部分插入表示帧显示周期是固定还是可变的显示周期识别符Df，还可以与帧显示周期是可变的图象相对应。进而，对于帧显示周期是固定的图象来说，可以不参照信息量多的各帧的显示时刻数据Dt0~Dtn，而根据显示周期数据Dp和信息量少的帧号码数据Bn进行各帧的图象显示，并可以将在译码一侧的图象处理电路设置成简单的电路结构。
以下，说明生成如上述那样的图象编码信号100a、100b的图象信号的编码处理及其译码处理。
图3是表示上述编码处理的流程图。
首先，在上述编码处理中，判断对应输入的规定的图象的图象信号的帧显示周期是否固定(步骤S11)。在其判断结果为帧显示周期是固定的情况下，将表示上述帧显示周期是固定的显示周期固定识别符Df附加在对应上述图象信号的位流的标记H中(步骤S11a)，进而将表示各帧的传送顺序的号码作为计数值使用，该计数值n被置于n＝0(步骤S12a)。接着，表示上述固定的帧显示周期T的显示周期数据Dp被附加在与上述图象信号对应的位流的首标H中(步骤S13a)。
接着，作为上述规定的图象的与传送顺序中的最初的帧F(0)对应的符号列Sa0，顺序在上述首标H上附加上对应的帧号码数据Bn(＝B0)以及图象编码数据Cgn(＝Cg0)(步骤S14a、S15a)。其后，判断在上述图象信号的编码处理中的处理对象帧是否是上述规定的图象的。在传送顺序中的最后的帧(步骤S16a)，如果该处理对象帧不是最后帧，则上述计数值n增加1(步骤S17a)，对于紧接着的帧F(1)进行在上述步骤S14a~S17a中的处理。
上述步骤S14a~S17a中的处理反复进行，直至在S16a中判断为处理对象帧是最后帧为止。
另一方面，在上述步骤S11中的判断结果为帧显示周期是可变的情况下，表示上述帧显示周期是可变的显示周期可变识别符Df被附加在与上述图象信号对应的位流的标记H上(步骤S11b)，进而将表示各帧的传送顺序的号码n作为计数值使用，该计数值n被置于n＝0(S12b)。接着，作为上述规定的图象的在传送顺序中与最初的F(0)对应的符号列，将对应的显示时刻数据Dtn(Dt＝0)以及图象编码数据Cgn(＝Cg0)顺序附加在上述标记上(步骤S13b、S14b)。其后，判断上述图象信号的编码处理中的处理对象帧在上述规定的图象中是否是最后的帧(步骤S15b)，如果该处理对象帧不是最后帧，则将上述计数值增加1(步骤S16b)，对于接着帧F(1)，进行上述步骤S13b~S16b中的处理。
在上述步骤S13b~S16b中的处理，直至在步骤S15b中判断为处理对象帧是最后帧之前反复进行。
图4(a)是表示作为进行在上述实施例1中的编码处理的硬件的图象编码装置1000的构成的方框图。
该编码装置1000包括编码器1110，其对输入的图象信号Sg进行编码，生成图象编码数据Cgn；判断器1131，其根据上述被输入的图象信号Sg，判断帧显示周期是否一定(即，显示周期是固定还是可变)，输出表示显示周期是否一定的显示周期识别符Df；显示周期数据生成器(第1数据生成器)1132，其根据上述被输入的图象信号Sg，生成表示一定的帧显示周期T的显示周期数据Df。
另外，上述图象编码装置1000包括号码数据生成器(第2数据生成器)1133，其根据上述被输入的图象信号Sg，生成在传送顺序中表示各帧的序号(帧号码B(n))的帧号码数据Bn；显示时刻数据生成器(第3数据生成器)1134，其根据上述被输入的图象信号Sg，生成表示各帧F(n)的显示时刻h(n)的显示时刻数据Dtn。
进而，上述图象编码装置1000包括开闭开关1141，其根据来自上述判断器1131的显示周期识别符Df，在使来自上述数据生成器1132的显示周期数据Dp导通的导通状态和切断该显示周期数据Dp的切断状态之间切换；选择开关1142，其根据来自上述判断器1131的显示周期识别符Df，选择输出来自上述数据发生器1133的帧号码数据Bn和来自上述数据发生器1134的显示时刻数据Dtn的一方。
上述图象编码装置1000包括使来自上述判断器1131的显示周期识别符Df、来自上述编码器1110的编码数据Cgn、来自上述开闭开关1141的显示周期数据Dp及上述选择开关1142的输出多路复合，生成多重位流M1的多路复合器(MUX)1120，其构成是，将该多重位流M1作为帧显示周期是固定的图象编码信号100a，或者帧显示周期是可变的图象编码信号100b输出。
以下简单地说明上述图象编码装置1000的动作。
首先，如果在上述图象编码装置1000中输入与规定的图象对应的图象信号Sg，则在上述判断器1131中，进行该图象信号Sg的帧显示周期是否可变的判断，并输出表示判断结果的显示周期识别符Df。另外，此时，根据上述图象信号Sg，在第1~第3数据生成器1132~1134中，分别生成上述显示周期数据Dp、帧号码数据Bn以及显示时刻数据Dtn，在上述译码器1110中，上述图象信号Sg被译码后作为图象编码数据Cgn输出。
而后，上述显示周期识别符Df以及图象编码数据Cgn被输出到多路复合器1120。这时，上述显示周期数据Dp通过根据显示周期识别符Df开闭的开关1141被输出到多路复合器1120，帧号码数据Bn以及显示时刻数据Dtn通过根据显示周期识别符Df选择这两个数据中的一个的选择开关1142输出到上述多路复合器1120。
即，当作为图象信号Sg输入了对应上述各帧F(n)的图象显示的周期是固定的图象信号时，在输出上述显示周期固定识别符Df的同时，将表示对应上述各帧的图象显示的周期的显示周期数据Dp和对应上述各帧的、表示帧的前后关系的帧号码数据Bn输出到多路复合器1120。于是，在该多路复合器1120中，上述图象编码数据Cgn、显示周期固定识别符Df、显示周期数据Dp以及帧号码数据Bn被多路复合后作为图象编码信号100a输出。
另一方面，当作为上述图象信号Sg输入了对应上述各帧F(n)的图象显示的周期是可变的图象信号时，在输出上述显示周期可变识别符Df的同时，向上述多路复合器1120输出响应上述各帧对于1个或者多个基准时刻的需要被相对设定的、表示对应各帧进行图象显示的定时(显示时刻)h(n)的显示时刻数据Dtn。于是，在该多路复合器1120中，上述图象编码数据Cgn、显示周期固定识别符Df以及帧显示时刻数据Btn被多路复合后作为图象编码信号100b输出。
以下，用图5说明译码具有本实施例的数据结构的图象编码信号100a、100b的译码处理。
首先，在上述译码处理中，通过检测从编码一侧传送来的多重位流M1(图象编码信号100a或100b)中的显示周期识别符Df，判断该图象编码信号的显示周期是否固定(步骤S21)。其判断结果如果判断为显示周期是固定的，则将在传送顺序上相当于各帧F(n)的顺序号的计数值n置于0(步骤S21a)，其后，从图象编码信号的首标部分H读入表示显示周期T的显示周期数据Dp(步骤S22a)。
接着，从各帧的首标部分读入表示帧号码B(n)的帧号码数据Bn(步骤S23a)，各帧的显示时刻h(n)由算式h(n)＝B(n)×T求得(步骤S24a)。
而后，进行对应帧F(n)的图象编码数据Cgn的译码处理，对应帧F(n)的图象译码数据被设置成在显示时刻h(n)显示的图象数据(步骤S25a)。其后，判断处理对象帧F(n)是否是上述规定的图象传送顺序中的最后的帧(步骤S26a)，如果处理对象帧是上述规定的图象在传送顺序中的最后的帧，则译码处理结束，如果不是最后的帧，则上述计数值n被增加1(步骤S27a)，其后，上述步骤S23a~S26a的处理反复进行，直到在上述步骤S26a中判断为处理对象是最后的帧为止。
另一方面，在上述步骤S21中，如果判断为显示周期是可变的，则在传送顺序上与各帧F(n)的顺序相当的计数值n被置于0(步骤S21b)，其后，从各帧的标记部分读入表示帧F(n)的显示时刻h(n)的显示时刻数据Dtn(步骤S22b)，根据该显示时刻数据Dtn确定帧F(n)的显示时刻h(n)(步骤S23b)。接着，对应帧F(n)进行图象编码数据Cgn的译码处理，经过译码处理的帧F(n)的图象译码数据被设置成在显示时刻h(n)显示的图象数据(步骤S24b)。
其后，判断处理对象帧F(n)是否是上述规定的图象在传送顺序中的最后的帧(步骤S25b)，如果该处理对象帧是最后的帧，则译码处理结束。另一方面，如果上述处理对象帧不是最后的帧，则上述计数值n被加1(步骤S26b)，其后，上述步骤S22b~步骤S26b的处理反复进行，直到在步骤S25b中判断处理对象帧是最后的帧为止。
如上所述，用图5所示的处理顺序，对具有图1(a)、(b)所示的数据结构的图象编码信号进行译码。
图6(a)是展示作为在上述实施例1中进行译码处理的硬件的图象译码装置的构成的方框图。
该图象译码装置2000的构成是，对于从上述图象编码装置1000输出的作为图象编码信号100a或者100b的多重位流M1，进行包含译码处理以及显示处理的再生处理。
即，该图象译码装置2000包括数据分离器(DEMUX)2110，其从上述多重位流M1中取出并分离图象编码数据Cgn、显示周期识别符Df、显示周期数据Dp以及帧号码数据Bn或者显示时刻数据Dtn；译码器2120，其对上述图象编码数据Cgn进行译码后输出图象译码数据Rg。
另外，上述图象译码装置2000包括开闭开关2140，其根据上述显示周期识别符Df，在使上述显示周期数据Dp导通的导通状态和切断该显示周期数据Dp的切断状态之间切换；选择开关2150，其根据上述显示周期识别符Df，选择输出上述帧号码数据Bn以及上述显示时刻数据Dtn中的一个。
进而，上述图象译码装置2000包括根据显示周期识别符Df以及各开关2140、2150的输出在规定的显示定时显示上述图象译码数据Rg的显示装置2130。
以下，简单地说明上述图象译码装置2000的工作情况。
首先，如果在上述图象译码装置2000中输入来自上述图象编码装置1000的多重位流M1，则在数据分离器2110中，从上述多重位流M1中分离显示周期识别符Df以及显示周期数据Dp，进而，对于每一帧从上述多重位流M1中分离出图象编码数据Cgn以及帧号码数据Bn或者显示时间数据Dtn。
而后，各帧的图象编码数据Cgn在译码器2120中被译码后作为图象译码数据Rg输出到显示装置2130。另外，上述显示周期数据Dp，通过依靠显示周期识别符Df开关的开闭开关2140输出到显示装置2130，各帧的帧号码数据Bn或者显示时间数据Dtn通过依靠显示周期识别符Df选择这些数据中的一个数据的选择开关2150输出到上述显示装置2130。
而在上述显示装置2130中，对应于显示周期是固定的图象译码数据Rg的各帧的图象，根据显示周期数据Dp以及帧号码数据Bn在规定的显示时刻显示，另一方面，对应显示周期是可变的图象译码数据Rg的帧的图象，根据显示时刻数据Dtn在规定的显示时刻显示。
这样，在本实施例1的图象信号数据结构中，因为将对图象信号译码可得到的图象编码信号的结构设置成包含表示对应各帧的图象显示处理的周期是否可变的显示周期识别符Df，所以当对于各帧的图象显示的周期是固定的时，就可以用简单的电路结构，也就是不参照在每一帧中信息量(位数)很大的显示时刻数据(显示定时数据)Dtn，而是根据显示周期数据Dp和信息量(位数)少的帧号码数据Bn，就可以进行图象译码数据Rg的显示处理。
另外，在显示周期是固定的图象编码信号100a中，由于包含表示图象显示周期T的显示周期数据Dp和表示帧的前后关系的帧号码Bn的数据(帧位置数据)Bn，因此可以用T×B(n)这样的简单运算确定对应各帧的图象显示的定时。
还有，在显示周期是固定的图象编码信号100b中，由于包含响应各帧对于1个或者多个基准时刻所需要的h’(0)(参照图2)被相对设置的、表示对应于各帧进行图象显示的显示时刻(显示定时)h(n)的显示时刻数据(显示定时数据)Dtn，因此当对应各帧的图象显示的周期是可变的时，可以和常规的数据结构同样地根据显示时刻数据Dtn，确定对应各帧F(n)的图象显示定时h(n)。
还有，在本实施例1的图象编码装置1000中包括根据输入的图象信号生成表示图象的显示周期是否可变的显示周期识别符Df的判断器1131，当输入了显示周期是固定的图象信号时，将上述显示周期识别符Df、表示图象显示的周期是否可变的显示周期数据Dp、表示帧的前后关系的帧号码数据Bn和图象编码数据Cgn多路复合后输出，当图象显示周期是可变的图象信号被输入时，由于将显示周期识别符Df以及表示各帧F(n)的显示时刻h(n)的显示时刻数据Dtn和图象编码数据Cgn多路复合后输出，因此无论对于各帧的图象显示的周期上可变的还是固定的，用于确定各帧的显示定时的数据都和图象编码数据Cgn一同输出。因而，可以削减在帧的显示周期是固定的情况下规定显示时刻所需要的位数，而且，也可以和常规一样地进行帧的显示周期是可变的图象的显示。
进而，在本实施例1的图象译码装置2000中具备数据分离器2110，其分离被包含在从上述图象编码装置1000传送来的多重位流M1中的、显示周期识别符Df、表示图象显示的周期的显示周期数据Dp、表示帧的前后关系的帧号码数据Bn、表示各帧的显示时刻h(n)的显示时刻数据Dtn以及图象编码数据Cgn；译码器2120，对上述图象编码数据Cgn进行译码后输出图象译码数据Rg，由于根据显示周期数据Dp以及帧号码数据Bn，可在规定的显示定时显示显示周期是固定的图象译码数据Rg，并根据显示时刻数据Dtn可在规定的显示定时显示显示周期是可变的图象译码数据Rg，因此不管帧显示周期是否可变都可以在正确的显示定时显示。
进而，在用上述实施例1说明的图象信号数据结构中，在图象数据(多重位流)的开头插入显示周期识别符Df，在帧数据(各帧的符号列)的开头插入帧号码数据Bn和显示时刻数据Dtn等，但上述显示周期识别符、帧号码数据、显示时刻数据等不是必须插入到对应的标记的开头，如果将显示周期识别符以及显示周期数据插入图象数据(图象编码信号)的首标部分，将帧号码数据、显示时刻数据等插入对应帧的数据(符号列)的首标部分，则也可以插入到同步信号等的后面。
另外，在上述实施例1中，显示周期数据Dp被插入在紧跟着显示周期识别符Df之后，但显示周期数据Dp不是必须和显示周期识别符连续地插入其后显示周期数据也可以插入图象数据的标记部分中显示周期识别符的后面。
进而，在上述实施例1中，在图2中表示显示顺序号的号码n’(＝B(n))是从图象数据的显示顺序的开头开始分配序列号，但也不是必须从开头开始分配系列号，也可以周期性地将从预先规定的开头号码至结尾号码的多个号码作为帧号码分配。
例如，当用4位表示帧号码时，周期性地将从0至15的号码分配给各帧。这种情况下，对于显示时刻，可以用h’(n’)＝hp’(15)+(n’+1)×T表示。在此，hp’(n’)设置成表示在此前的周期中对应帧号码B(n)(＝n’)的显示时刻的数，因而，这种情况下，h’(n’)就表示在hp’(n’)的下个周期中与帧号码B(n)(＝n’)对应的显示时刻。进而，hp’(15)表示在此前的周期中对应最后的帧的显示时刻。
再有，在上述实施例1中，帧的确定由帧号码数据进行，但并不限于此，如果规定帧的前后关系的数据，则也可以使用规定的规则表示帧的前后关系的数据、参照规定的表规定帧的前后关系的数据等。
另外，在上述实施例1中的显示时刻数据是对于多个基准时间表示相对的时刻的数据，例如，基准时刻对于多个帧可以设定1个，还可以以前面的帧的显示时刻作为基准时刻。进而，还可以预先设定1个或者多个基准时刻，根据某个规则或信号，参照某个基准时刻决定是否表示帧的显示时刻。
再有，在上述实施例1中，作为对于在译码一侧的各帧用于确定再生处理的定时的附加数据，展示了包含用于设定各帧的显示定时的显示周期识别符、显示周期数据以及帧号码数据或者显示时刻数据的图象编码信号的数据结构，但图象编码信号的数据结构替代上述各帧的显示定时，也可以是确定各帧的译码处理的定时的附加数据，也就是包含译码周期识别符、译码周期数据，以及帧号码数据或者译码时刻数据的数据，以下将这样的数据结构作为实施例1的变形例进行说明。
(实施例1的变形例)此实施例1的变形例的数据结构是将在实施例1中的图象编码信号100a中的显示周期识别符Df以及显示周期数据Dp置换为译码周期识别符以及译码周期数据，将在实施例1的图象编码信号100b中的显示时刻数据Dtn置换为译码时刻数据。
在此，上述译码周期识别符是与各帧对应的，表示译码图象编码信号的译码处理的周期是否可变的数据，在译码处理的周期是固定的图象编码信号中，作为译码周期固定识别符被插入；在译码处理的周期是可变的图象译码信号中，作为译码周期可变识别符被插入。
另外，上述译码周期数据是对应各帧表示译码处理的周期DT的数据，上述译码时刻数据是响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设置的、表示对应各帧进行译码处理的定时(译码时刻D(tn))的数据。
还有，生成具有实施例1的变形例的数据结构的图象编码信号的编码处理，可以通过如下那样地置换在图3所示流程图中步骤S11、S11a、S11b、S13a、S13b的处理实现。
即，将步骤S11中的显示周期的判断处理置换为判断译码周期是否固定的处理，将步骤S11a中的附加显示周期固定识别符Df的处理置换为附加上述译码周期固定识别符的处理，将步骤S11b中的附加显示周期可变识别符Df的处理置换为附加上述译码周期可变识别符的处理。进而，将步骤S13a中的附加显示周期数据Dp的处理置换为附加上述译码周期数据的处理，将步骤S13b中的显示时刻数据Dtn的处理置换为附加上述译码时刻数据的处理。
图4(b)展示了作为进行上述实施例1的变形例的编码处理的硬件的图象编码装置1000a的构成。
该图象编码装置1000a具有判断器1131a，其代替上述实施例1中的图象编码装置1000的判断器1131，根据上述被输入的图象信号Sg，判断对应帧的译码处理的周期是否一定(即，译码周期是固定还是可变)，输出表示译码周期DT是否是一定的译码周期识别符DEf。
上述图象编码装置1000a还具备译码数据生成器(第1数据生成器)1132a，其代替在上述实施例1中的图象编码装置1000中的显示周期数据发生器1132以及显示时刻生成器1134，根据上述被输入的图象信号Sg，生成表示帧的译码处理周期(固定周期)DT的译码周期数据DEp；以及译码时刻数据生成器(第3数据生成器)1134a，其根据上述被输入的图象信号Sg，生成表示各帧的译码时刻的译码时刻数据DEtn其它的构成和上述实施例1的图象编码装置1000相同。
在这样构成的图象编码装置1000a中，在多路复合器(MUX)1120中，将来自上述判断器1132的译码周期识别符DEf、来自上述编码器1110的图象编码数据Cgn、来自上述开闭开关1141的译码周期数据DEp以及上述选择开关1142的输出进行多路复合，多重位流M1a被作为译码周期是固定的图象编码信号或者译码周期是可变的图象编码信号输出。
另一方面，对具有实施例1的变形例的数据结构的图象编码信号进行译码的译码处理可以如下述那样通过置换在图5所示的流程图中的步骤S21、S22a、S22b、S23a、S23b、S24a、S24b、S25a的处理实现。
具体地说，将步骤S21中的显示周期的判断处理置换为判断译码周期是否固定的处理，将步骤S22a中的读入表示显示周期T的显示周期数据Dp的处理置换为读入表示显示周期DT的译码周期数据DEp的处理，将步骤S22b中读入表示显示时刻h(n)的显示时刻数据Dtn的处理置换为读入表示上述译码时刻Dh(n)的译码时刻数据DEtn的处理另外，将在步骤S23a以及S24a中的读入帧号码数据Bn确定显示时刻h(n)的处理置换为根据译码周期数据DEp确定与顺序输入的各帧的图象编码数据对应的译码时刻Dh(n)，与此同时，根据上述帧号码数据Bn确定对于各帧的显示时刻h(n)的处理。
将在步骤S23b中的根据显示时刻数据Dtn确定显示时刻h(n)的处理置换为，在根据译码时刻数据DEtn确定译码时刻Dh(n)的同时根据该数据DEtn确定显示时刻h(n)的处理。
进而，将在步骤S25a中的、译码帧F(n)的图象编码数据Cgn后在显示时刻h(n)显示的处理置换为，在译码为译码时刻Dh(n)译码上述帧F(n)的图象编码数据Cgn，并在显示时刻h(n)显示的处理。将在步骤S24b中的、译码帧F(n)的图象编码数据Cgn后在显示时刻h(n)显示的处理置换为，在译码时刻Dh(n)译码上述帧F(n)的图象编码数据Cgn，并在显示时刻h(n)显示的处理。
另外，图6(b)展示了作为进行上述实施例1的变形例的译码处理的硬件的图象译码装置2000a的构成。
该图象译码装置2000a的构成是，对于从上述图象编码装置1000a输出的多重位流M1a，进行包含译码处理以及显示处理的再生处理。
即，该图象译码装置2000a具备有数据分离器(DEMUX)2110a，其代替在上述实施例1中的图象译码装置2000的数据分离器2110，从上述多重位流M1a中取得并输出图象译码数据Cgn、译码周期识别符DEf、译码周期数据DEp、以及帧号码数据Bn或者译码数据数据DEtn。
该图象译码装置2000a还包含第1开闭开关2140a，其根据上述译码周期识别符DEf，在使译码周期数据DEp导通的导通状态和切断该译码周期数据DEp的切断状态之间转换；第开闭开关2150a，其根据上述译码周期识别符DEf，在导通上述帧号码数据Bn的导通状态和切断帧号码数据Bn的切断状态之间转换；第3开闭开关2160a，其根据上述译码周期识别符DEf，在导通上述译码时刻数DEtn的状态和切断该译码时刻数DEtn的切断状态之间转换。
而后，在该图象译码装置2000a中，将作为第1开闭开关2140a的输出的译码周期数据DEp，以及作为第3开闭开关2160a的输出的译码时刻数据DEtn提供给译码器2120a以及显示装置2130a，将作为上述第2开闭开关2150a的输出的帧号码数据Bn只提供给显示装置2130a。
而后，译码器2120a中的构成是，在根据上述译码周期数据DEp确定的定时(译码时刻Dh(n))将译码周期是固定的图象编码数据Cgn在每一帧中进行译码，另一方面，在根据上述译码周期数据DEp确定的定时(译码时刻Dh(n))将译码周期是可变的图象编码数据Cgn在每一个帧中进行译码。
进而，上述显示装置2130a中的构成是，在根据上述译码周期数据DEp和帧号码数据Bn确定的定时(显示时刻h(n))，将译码周期是固定的图象译码数据Rg对于每一帧进行显示，另一方面，在根据上述译码时刻数据DEtn确定的定时(显示时刻h(n))，将译码周期是可变的图象译码数据Rg对于每一帧进行显示。
其它的构成和上述实施例1的图象译码装置2000相同。
以下，简单地说明在上述实施例1的变形例中的图象译码装置2000a的动作。
在这样构成的图象译码装置2000a中，如果输入上述多重位流M1a，则在数据分离器2110a中，分离图象编码数据Cgn、译码周期识别符DEf、译码周期数据DEp以及帧号码数据Bn或者译码时间数据DEtn。
而后，在译码器2120a中，当被输入的图象译码信号的译码周期是固定的时，图象编码数据Cgn在根据上述译码周期数据DEp确定的定时(译码时刻Dh(n))在每一帧中被译码，从该译码器2120a输出的图象译码数据Rg，在根据上述译码周期数据DEp和帧号码数据Bn确定的定时(显示时刻h(n))在每一帧中被译码。
另一方面，当被输入的图象译码信号的译码周期是可变的时，图象编码数据Cgn在根据上述译码时刻数据DEtn确定的定时(译码时刻Dh(n))在每一帧中被译码，从该译码器2120a输出的图象译码数据Rg在根据上述译码时刻数据DEtn确定的定时(显示时刻h(n))在每一帧中被显示。
在这样的实施例1的变形例中，由于其构成和上述实施例1一样，是将编码图象信号得到的图象编码信号设置成包含表示对应各帧的图象译码处理的周期是否可变的译码周期识别符DEf，因此具有这样的效果，即，当对于各帧的图象译码处理的周期是固定的情况下，可以用简单的电路结构，也就是可以不参照在每一个帧中信息量(位数)很大的译码时刻数据DEtn，而只根据译码周期数据DEp进行图象编码数据的译码处理。
进而，在上述实施例1的变形例的图象译码装置中，展示了根据对于被包含在图象编码信号中的各帧来说用于确定译码处理的的定时的数据，在进行各帧的译码处理的同时，进行各帧的图象显示的情况，但上述图象译码装置，也可以根据对于被包含在图象编码信号中的各帧来说用于确定显示处理的定时的数据，在进行各帧的显示处理的同时，进行各帧的译码处理。
这种情况下，对应上述各帧进行译码处理的译码定时，根据包含成为译码处理的对象的对象帧的多个帧的显示定时数据设定。即，根据该对象帧的显示定时数据以及接着传送来的下一个帧的显示定时，将上述对象帧的译码定时设定为比该两个帧中早的一方的显示定时只提早规定的偏差时间的定时。
具体地说，成为译码处理对象的对象帧的显示定时在比该对象帧之后传送来的下一个帧的显示定时早时，将上述偏移设定为大于针对对象帧的译码处理所需要的时间。另一方面，当与成为译码处理对象的对象帧(例如P-VOP)的显示定时相比，接着该对象帧传送来的下一个帧(例如B-VOP)的显示定时的一方早时，将上述偏差时间设定为大于针对对象帧的译码处理所需要的时间和针对下一个帧的译码处理所需要的时间之和。
实施例2图7(a)展示了在本发明的实施例2中的、帧显示周期是一定的图象编码信号120a的数据结构。
上述图象编码信号120a是对应1个图象(在MPEG4中与1个目标对应的图象)的、编码帧显示周期是固定的图象信号得到的信号，其结构是接着开头的首标H按照传送顺序排列对应的各帧F(0)、F(1)、F(2)、…、F(n)的符号列Sc0、Sc1、Sc2、…、Scn。在该图象编码信号120a中，在首标H内插入表示帧显示周期是否固定的显示周期识别符Df、用乘数M(自然数)表示帧显示周期是微小单位时间(1/N)M倍的显示周期乘数数据Dm以及表示用于求上述微小单位时间(1/N)的值N(自然数)的微小单位时间数据Dk；在各帧的符号列Sc0、Sc1、Sc2、…、Scn的前头插入表示该帧的显示时刻y’0、y’3、y’1、…、y’n’(参照图17(a))的显示时刻数据Dy0、Dy1、Dy2、…、Dyn。再有，在上述图象编码信号120a的首标H内，排列微小单位时间数据Dk、显示周期识别符Df以及显示周期乘数数据Dm，使其按照该顺序传送。
另外，在各帧的符号列Sc0、Sc1、Sc2、…、Scn上，紧接着上述显示时刻数据Dy0、Dy1、Dy2、…、Dyn插入有图象编码数据Cg0、Cg1、Cg2、…、Cgn。
在该图象编码信号120a中，如果将基准时刻设置为x(参照图17(a))，则对应于VOP0、VOP3、VOP1、…的各帧F(0)、F(1)、F(2)、…的显示时刻h(0)、h(1)、h(2)、…，可以根据显示时刻数据Dy0、Dy1、Dy2，作为x+y/N(y＝y’0、y’3、y’1、…)求得。
可是，在该图象编码信号120a中，由于包含微小单位时间数据Dk和显示周期乘数数据Dm，因此即使不使用上述显示时刻数据Dy0、Dy1、Dy2…，也可以从由微小单位时间数据Dk中得到的微小单位时间(1/N)和由显示周期乘数数据Dm中得到M(自然数)的值中求帧的显示周期T(＝M×1/N)，可以在由基准时刻x确定的原本各帧F(n)的显示时刻h(n)(＝x+y×M×1/N)显示各帧的图象。
图7(b)展示了在本发明的实施例2中的、帧显示周期是可变的图象编码信号120b的数据结构。
该图象编码信号120b的数据结构是，在上述图象编码信号120a中去除标记部分H的显示周期乘数数据Dm。
以下，说明生成上述那样的图象编码信号120a或者120b的图象信号的编码处理及其译码处理。
图8是展示上述编码处理的流程图。
首先，在上述编码处理中，在与被输入的规定的图象对应的图象信号的位流的标记部分上附加上上述微小单位时间数据Dk(步骤S30)，进而，判断与该规定的图象对应的图象信号的显示周期是否固定(步骤S31)。当其判断结果为显示周期是固定的情况下，表示上述图象信号的显示周期是固定的显示周期固定识别符Df被附加在上述位流的标记上，使其接着上述微小单位时间数据Dk(步骤S32)，进而将上述显示周期乘数数据Dm附加在上述标记上，使其紧接着上述显示周期固定识别符Df(步骤S33)。
其后，与表示构成上述规定的图象的各帧F(n)的传送顺序的号码n相当的计数值n被置于n＝0(步骤S35)。
接着，作为在上述传送顺序中与最初的帧F(0)对应的符号列，顺序在上述标记H上附加上对应的帧的显示时刻数据Dyn(＝Dy0)和图象编码数据Dgn(＝Cg0)(步骤S36、S37)。其后，判断在上述图象信号中的处理对象帧是否是上述传送顺序上的最后的帧(步骤S38)，如果处理对象帧不是最后的帧，则与上述传送顺序是n号的帧F(n)(＝F(0))对应的计数值n被加1(步骤S39)，对于接着的帧F(n+1)(＝F(1))，进行在上述步骤S36～S39中的处理。
在上述步骤S36～S39中的处理，在步骤S38中判断为处理对象帧是最后帧之前反复进行。由此生成上述图象编码信号120a。
另一方面，在上述步骤S31中的判断结果为显示周期是可变的时，将表示上述图象信号的显示周期时可变的显示周期可变识别符Df附加在对应上述图象信号的位流的标记上，使其紧接着上述微小单位时间数据Dk(步骤S34)。其后，进行上述步骤S35~S39的处理，生成上述图象编码信号120b。
图9(a)是展示作为进行上述实施例2的编码处理的硬件的图象编码装置1200的构成的方框图。
上述实施例2的图象编码装置1200，和上述实施例1的图象编码装置1000一样，包含有编码器1110，其对输入的图象信号Sg进行编码生成编码数据Cgn；判断器1131，其根据上述被输入的图象信号Sg，判断帧的显示周期是否一定(即，显示周期是固定的还是可变的)，而后输出表示显示周期是否一定的显示周期识别符Df。
上述图象处理装置1200还包含微小单位时间数据生成器(第1数据生成器)1232，其根据上述被输入的图象信号Sg，生成微小单位时间数据Dk；显示周期乘数数据生成器(第2数据生成器)1233，其根据上述被输入的图象信号Sg，生成表示用于以微小单位时间为单位表现帧显示周期的数值M的显示周期乘数数据Dm；显示时刻数据生成器(第3数据生成器)1234，其根据上述被输入的图象信号Sg生成表示各帧的显示时刻h(n)的显示时刻数据(显示定时数据)Dyn。
进而，上述图象处理装置1200还包含开闭开关1241，其根据来自上述判断器1131的显示周期识别符Df，在使上述显示周期乘数数据Dm导通的导通状态和切断该显示周期乘数数据Dm的切断状态之间切换上述图象处理装置1200包含多路复合器(MUX)1220，它将来自上述第1数据生成器1232的微小单位时间数据Dk、来自上述判断器1131的显示周期识别符Df、来自上述开闭开关1241的显示周期乘数数据Dm、来自第3数据生成器1234的显示时刻数据Dyn以及来自上述编码器1110的图象编码数据Cgn进行多路复合，生成多重位流M2，其构成是，将该多重位流M2作为上述图象编码信号120a或者图象编码信号120b输出。
以下简单地说明上述图象编码装置1200的工作情况。
首先，如果向上述图象编码装置1200输入与规定的图象对应的图象信号Sg，则在上述判断器1131中进行该图象信号Sg的显示周期是否是可变的判断，并输出表示判断结果的显示周期识别符Df。这时，根据上述图象信号Sg，在第1~第3数据生成1232~1234中分别生成上述微小单位时间数据Dk、显示周期乘数数据Dm以及显示时刻数据Dyn；在上述编码器1110中，上述图象信号Sg被编码后作为图象编码数据Cgn输出。
这时，上述微小单位时间数据Dk、显示周期识别符Df、显示时刻数据Dyn以及图象编码数据Cgn直接被输出到多路复合器1220，上述显示周期乘数数据Dm通过依靠显示周期识别符Df变为导通状态的开闭开关1241输出到多路复合器1220。
即，当作为图象信号输入了对应上述各帧的图象显示的周期是固定的图象信号时，上述微小单位时间数据Dk、显示周期识别符Df、显示周期乘数数据Dm以及对应各帧的显示时刻数据Dtn和图象编码数据Cgn被输出到上述多路复合器1220。于是，在该多路复合器1220中，上述微小单位时间数据Dk、显示周期识别符Df、显示周期乘数数据Dm、图象编码数据Cgn以及显示时刻数据Dyn被多路复合，作为多路复合位流M2输出图象编码信号120a。
另一方面，当对应上述各帧的图象显示的周期是可变的图象信号被作为上述图象信号输入时，上述开闭开关1241在显示周期识别符Df的作用下变为切断状态，将上述各帧的显示时刻数据Dyn以及图象编码数据Cgn和上述微小单位时间数据Dk以及显示周期识别符Df一同输出到上述多路复合器1220。于是在该多路复合器1220中，和上述微小单位时间数据Dk以及显示周期识别符Df一同，多路复合各帧的显示时刻数据Dyn以及图象编码数据Cgn作为多重位流M2输出图象编码信号120b。
以下，用图10说明译码具有实施例2的图象信号数据结构的图象编码信号的译码处理。
图10是展示在上述实施例2中的译码处理的流程图。
首先，在译码处理中，读入从编码一侧传送来的多路复合位流M2(图象编码信号120a或者120b)中的微小单位时间数据Dk(步骤S40)，进而，通过显示周期识别符Df的检测，判断图象编码信号的显示周期是否是固定的(步骤S41)。该判断结果如果判断为显示周期是固定的，则从图象编码信号的标记H中，读入用该乘数M(自然数)表示显示周期T是微小单位时间(1/N)的M倍的显示周期乘数数据Dm(步骤S42a)，接着，根据上述被读入的微小单位时间数据Dk以及显示周期乘数数据Dm，通过演算T＝(1/N)×M求帧显示周期T(步骤S43a)。其后，在显示顺序上表示各帧F’(n’)的、与从开头帧开始的序号n’相当的计数值n’被置0(步骤S44a)，各帧F’(n’)的显示时刻h’(n’)由算式h’(n ‘)＝n’×T求出(步骤S45a)。这时，进行在传送顺序上与各帧F(n)对应的图象编码数据Cgn的译码处理，生成对应帧F(n)的图象译码数据Rg。
其后，判断在显示顺序上所计数的显示顺序上的处理对象帧F’(n’)是否是上述规定的图象中的最后的帧(步骤S46a)，如果处理对象帧是最后的帧，则译码处理结束，如果不是最后的帧，则上述计数器值n’增加1(步骤S47a)，上述步骤S45a～47a的处理反复进行，直至在上述步骤S46a中至判断为处理对象帧是最后帧为止。
进而，在上述译码处理中，与上述被译码后的各帧F’(n’)对应的图象译码数据Rg以规定的显示顺序n’在对应的显示时刻h’(n‘)上显示另一方面，在上述步骤S41中，如果判断为显示周期是是可变的，则在传送顺序上相当于各帧F(n)的顺序号n的计数值n被置于0(步骤S42b)。接着，从各帧F(n)的标记部分H中读入表示该帧F(n)的显示时刻数据h(n)的显示时刻数据Dyn(步骤S43b)，进而根据该显示时刻数据Dyn求各帧F(n)的显示时刻h(n)(步骤S44b)。这时，在传送顺序上对应各帧F(n)进行图象编码数据Cgn的译码处理。
其后，判断在传送顺序上被计数的处理对象帧F(n)是否是在上述规定的图象中的最后的帧(步骤S44b)，如果该处理对象帧是最后的帧，则译码处理结束。另一方面，如果上述处理对象帧不是最后的帧，则在该译码处理中的计数值n被加1(步骤S46b)，其后，上述步骤S42b～步骤S46b的处理反复执行，直到在步骤S45b中判断为处理对象帧是最后的帧为止。
进而，在上述译码处理中，对应于被译码后的各帧F(n)的图象译码数据Rg以规定的显示顺序n’在对应该各帧F(n)的显示时刻h(n)显示。
图11(a)是表示作为进行上述实施例2的译码处理的硬件的图象译码装置的构成的方框图。
该图象译码装置2200的构成是，对从上述图象编码装置2000输出的作为图象编码信号120a或者120b的多重位流M2进行译码并再生。
即，该图象译码装置2200包含有数据分离器(DEMUX)2210，其从上述多重位流M2取得微小单时间位数据Dk、显示周期识别符Df、显示周期乘数数据Dm、显示时刻数据Dyn以及图象编码数据Cgn；译码器2220，其对上述图象编码数据Cgn译码后输出图象译码数据Rg上述图象译码装置2200还具有第1开闭开关2240，其根据上述显示周期识别符Df，在使上述显示周期乘数数据Dm导通的导通状态和切断该数据Dm的切断状态之间转换；第2开闭开关2250，其根据上述显示周期识别符Df，在使上述显示时刻数据Dyn导通的导通状态和切断该数据Dyn的切断状态之间转换。
进而，上述图象译码装置2200还具有显示装置2230，其和上述微小单位时间数据Dk以及图象编码数据Rg的同时，通过各开关2240以及2250接收显示周期乘数数据Dm以及显示时刻Dty，根据这些数据在规定的显示定时显示图象。
以下简单地说明上述图象译码装置2200的动作。
首先，在上述图象译码装置2200中，如果输入来自上述图象编码装置1200的多重位流M2，则在数据分离器2210中，从上述多重位流M2中分离微小单位时间数据Dk、显示周期识别符Df以及显示周期乘数数据Dm，进而对于每一帧从上述多重位流M2中分离显示时刻数据Dyn以及图象编码数据Cgn。
而后，各帧的图象编码数据Cgn在译码器2220中被译码，并作为图象译码数据Rg输出到显示装置2230。这时，上述微小单位时间数据Dk被直接输出到上述显示装置2230，上述显示周期乘数数据Dm通过由显示周期识别符Df开闭的第1开闭开关2240输出到显示装置2230，各帧的显示时刻数据Dyn通过由显示周期识别符Df开闭的第2开闭开关2250输出到上述显示装置2230。在此，当上述多重位流M2是显示周期为固定的图象编码信号120a时，上述第1、第2开闭开关2240、2250变为导通状态，当上述多重位流M2是显示周期为可变的图象编码信号120b时，上述第1、第2开闭开关2240、2250变为断开状态。
由此，在上述显示装置2230中，与显示周期是固定的图象译码数据Rg对应的各帧的图象根据微小单位时间数据Dk以及显示周期乘数数据Dm在规定的显示定时显示。这种情况下，各帧的显示定时为由算式T×n’(T＝(1/N)×M)确定的显示时刻h’(n’)。另一方面，与显示周期是可变的图象译码数据Rg对应的帧图象，根据显示时刻数据Dty在规定的显示定时显示。这种情况下，规定的显示时刻为由显示时刻数据Dty确定的显示时刻h(n)。
这样，在本实施例2中，由于将图象编码信号的结构设置成，除了表示对应于各帧的显示周期是否可变的显示周期识别符Df外，还包含用自然数N表示N等分规定的时间间隔得到的微小单位时间(1/N)的大小的微小单位时间数据Dk和由显示周期相当于微小单位时间(1/N)的几倍(M)来表示上述固定帧显示周期T的显示周期乘数数据Dm，因此可以在进行各帧的译码处理之前预先检测帧速率是固定的图象编码信号的帧速率的值(大小)，具有可以将用于实现显示处理的各种硬件结构做得简单的效果。
进而，在上述实施例2中，作为对于在译码一侧的各帧来说用于确定再生处理的定时的附加数据，展示了包含用于设定各帧的显示定时的微小单位时间数据Dn、显示周期识别符Df、显示周期乘数数据Dm以及显示时刻数据Dyn的图象编码信号的数据结构，但图象编码信号的数据结构也可以包含确定各帧的译码处理的定时的附加数据(也就是微小单位时间数据、译码周期识别符、译码周期乘数数据以及译码时刻数据)，来可以代替上述各帧的显示定时。以下，将这样的数据结构作为实施例2的变形例加以说明。
实施例2的变形例此实施例2的变形例的数据结构是，将实施例2的图象编码信号120a中的显示周期识别符Df以及显示周期乘数数据Dp置换为译码周期识别符DEf以及译码周期乘数数据DEp；将实施例2的图象编码信号120b中的显示时刻数据Dyn置换为译码时刻数据DEyn。
在此，上述译码周期识别符DEf是与各帧对应的、表示译码图象编码信号的译码处理的周期是否可变的数据，在译码处理的周期DT是固定的图象编码信号中，被作为译码周期固定识别符插入，在译码处理的周期DT是可变的图象编码信号中，被作为译码周期可变识别符插入。
另外，上述译码周期乘数数据DEm是用上述微小单位时间(1/N)的乘数值M也就是该周期相当于微小单位时间的几倍(M)来表示与各帧对应的译码处理的周期DT的数据，上述译码时刻数据DEyn是表示对应各帧进行译码处理的定时的数据。
还有，生成具有实施例2的变形例的数据结构的图象编码信号的编码处理可以通过如下那样地置换图8所示流程中的步骤S31、S32、S33、S34、S36的处理实现。
即，将步骤S31中的显示周期的判断处理置换为判断译码周期是否可变的处理，将步骤S32、S34中的附加显示周期固定识别符Df、显示周期可变识别符Df的处理分别置换为附加译码周期固定识别符DEf、译码周期可变识别符DEf的处理。进而，将步骤S33中的附加显示周期乘数数据Dm的处理置换为附加上述译码周期乘数数据DEm的处理，将步骤S36中的附加显示时刻数据Dyn的处理置换为附加上述译码时刻数据DEyn的处理。
另外，图9(b)展示了作为进行上述实施例2的变形例的译码处理的硬件的图象编码装置1200a的结构。
在该图象编码装置1200a中，代替上述实施例2中的图象编码装置1200的判断器1131具备有判断器1131a，该判断器1131a根据上述被输入的图象信号Sg，判断对应帧的译码处理的周期是否一定(也就是译码周期是固定还是可变)，输出表示译码周期是否是一定的译码周期识别符DEf。
另外，上述图象编码装置1200a，代替上述实施例2的图象编码装置1200中的显示周期乘数数据生成器1233和显示时刻数据生成器1234，分别具备有译码周期乘数数据生成器(第2数据生成器)1233a，其根据上述被输入的图象信号Sg，生成将帧的译码处理的周期作为表示其相当于上述微小单位时间(1/N)的几倍的乘数值M的译码周期乘数数据DEm；译码时刻数据生成器(第3数据生成器)1234a，其根据上述被输入的图象信号Sg，生成表示各帧F(n)的译码时刻Dh(n)的译码时刻数据DEyn。
另外，在该图象编码装置1200a中，其多重器1220a的构成是，将上述微小单位时间数据Dk、译码周期乘数数据DEm以及译码时刻数据DEty和各帧F(n)的图象编码数据Cng多路复合，将作译码处理的周期是固定的图象编码信号或者译码周期是可变的图象编码信号作为多重位流M2a输出。
其它的构成和上述实施例2的图象编码装置1200相同。
以下，简单地说明本实施例2的变形例中的图象编码装置1200a的工作情况。
在这样构成的图象编码装置1200a中，如果有图象信号Sg输入时，则在上述判断器1131a中，进行该图象信号Sg的译码周期是否可变的判断，并输出表示判断结果的译码周期识别符DEf，另外，在第1数据生成器1232a中生成上述微小单位时间数据Dk，在第2、第3数据生成器1233a、1234a中生成译码周期乘数数据DEm、译码时刻数据DEyn，在上述译码器1110中对上述图象信号Sg译码后作为图象编码数据Cgn输出。
而后，在多路复合器(MUX)1220a中，输入来自上述判断器1231的译码周期识别符DEf、来自上述编码器1110的编码数据Cgn、以及来自第1和第3数据生成器1232、1234a的数据Dk、DEyn，与此同时，通过开闭开关1241a输入来自第2数据生成器1233a的译码周期乘数数据DEm。于是，从该多路复合器1220a中，将这些数据多路复合后的译码周期是固定的图象编码信号或者译码周期是可变的图象编码信号作为上述多重位流M2a输出。
另一方面，对具有实施例2的变形例的数据结构的图象编码信号进行译码的译码处理可以通过如以下那样置换图10所示流程中的规定的步骤S41、S42a、S43b、S44a、S44b、S45a、S47a的处理实现。
具体地说，将步骤S41中的显示周期的判断处理置换为判断译码周期是否固定的处理，将步骤S42a中的读入显示周期乘数数据Dm的处理置换为读入上述译码周期乘数数据DEm的处理，将步骤S43b中的读入表示显示时刻h(n)的数据Dyn的处理置换为读入表示上述译码时刻Dh(n)的数据DEyn的处理。
另外，将根据步骤S44b中的数据Dyn求显示时刻h(n)的处理置换为根据数据DEyn求译码时刻Dh(n)的处理，将在步骤S44a中的，与被计数在显示顺序上的各帧F’(n’)的从开头帧开始的顺序号n’相当的计数值n’被置0的处理置换为与被计数在显示顺序上的各帧F(n)的从开头帧开始的顺序号n相当的计数值n被置0的处理。
进而，将在步骤S45a中的通过算式h’(n’)＝n’×T求各帧F’(n’)的显示时刻h’(n’)的处理置换为用译码周期DT和表示该帧的传送位置的号码n通过Dh(n)＝n×DT求各帧F(n)的译码时刻D(h)的处理，将在步骤S47a中的增加计数值n’的处理置换为增加计数值n的处理。
另外，图11(b)表示了作为进行上述实施例2的变形例的译码处理的硬件的图象译码装置2200a的构成。
该图象译码装置2200a的构成变为，对于从上述图象编码装置1200a输出的多重位流M2a进行包含译码处理以及显示处理的再生处理。
即，该图象译码装置2200a，代替上述实施例2中的图象译码装置2200的数据分离器2210，具备数据分离器(DEMUX)2210a，其从上述多重位流M2a中取得并输出微小单位时间数据Dk、译码周期识别符DEf、译码周期乘数识别符DEm、译码时刻数据DEyn以及图象编码数据Cgn另外，该图象译码装置2200a，代替上述实施例2中的图象译码装置2200中的第1、第2开闭开关2240、2250，具备有第1开闭开关2240a，其根据译码周期识别符DEg控制译码周期乘数数据DEm的导通、非导通；和第2开闭开关2250a，其根据译码周期识别符DEg控制译码时刻数据DEyn的导通、非导通。
而后，在该图象译码装置2200a中，将来自数据分离器2210a的微小单位时间数据Df、作为第1和第2开关2240a和2250a的输出的译码周期乘数数据Dem和译码时刻数据DEyn，提供给译码器2220a以及显示装置2230a。
译码器2220a的构成变为，在根据上述微小单位时间数据Dk以及译码周期乘数数据DEm确定的定时(译码时刻Dh(n)＝DT×n)，将译码周期是固定的各帧F(n)的图象编码数据Cgn在每一帧中译码，在根据上述译码数据DEyn确定的定时(译码时刻Dh(n))，将译码周期是可变的各帧F(n)的图象编码数据Cgn在每一帧中译码。
另外，上述显示装置2230a的构成变为，在根据上述微小单位时间数据Dk以及译码周期乘数数据DEm确定的定时(显示时刻h(n))显示译码周期是固定的各帧F(n)的图象译码数据Rg，在根据上述译码时刻数据DEyn确定的定时(显示时刻h(n))显示译码周期是可变的各帧F(n)的图象译码数据Rg。
其它的构成和上述实施例2的图象译码装置2200相同。
以下，简单地说明上述实施例2中的图象译码装置2200a的工作情况。
在这样构成的图象译码装置2200a中，如果输入上述多重位流M2a，则在数据分离器2210a中，分离微小单位时间数据Dk、译码周期乘数数据DEm、译码周期识别符DEf、译码时刻数据DEyn以及图象编码数据Cgn而后，在上述译码器2220a中，当被输入的图象编码信号的译码周期是固定的时，在根据上述微小单位时间数据Dk以及译码周期乘数数据DEm确定的定时，将图象编码数据Cgn在每一帧中译码，当被输入的图象译码信号的译码周期是可变的时，图象编码数据Cgn，在根据上述译码时刻数据DEyn确定的定时(译码时刻Dh(n))，在每一帧中译码。在此，译码周期是固定的图象编码信号的译码时刻由表示传送顺序的号码n和译码周期DT＝(1/N×M)的积确定，译码周期是可变的图象编码信号的译码时刻由译码周期数据DEyn确定。
进而，在上述显示装置2230a中，与译码周期是固定的图象译码数据Rg对应的各帧F(n)的图象根据微小单位时间数据Dk以及译码周期乘数数据DEm在规定的显示定时显示，另一方面，与译码周期是可变的图象译码数据Rg对应的各帧F(n)的图象根据译码时刻数据DEtk在规定的显示定时显示。
在这样的实施例2的变形例中，因为和上述实施例2一样将编码图象信号得到的图象编码数据Cgn，设置成包含对应各帧表示图象译码处理的周期是否可变的译码周期识别符DEf、表示固定的译码周期的微小单位时间数据Dk及译码周期乘数数据DEm、表示译码时刻的译码时刻数据DEyn，所以，当对于各帧的图象译码处理的周期是固定的时，可以用简单的电路结构，也就是不参照在每一帧中信息量(位数)众多的译码时刻数据DEyn，而只根据对应1个图象的微小单位时间数据Dk以及信息量(位数)少的译码周期乘数数据DEm，可以简单地进行图象编码信号的译码处理。
另外，当对于各帧的图象译码处理的周期是可变的时，和以往一样，具有对每一帧参照译码时刻数据Deyn进行图象编码信号的译码处理的效果。
进而， 在上述实施例2的变形例的图象译码装置2200a中，展示了根据被包含在图象编码信号中的对于各帧来说用于确定译码处理的定时的数据，在进行各帧的译码处理的同时，进行各帧的图象显示的情况。但此图象译码装置还可以根据被包含在图象编码信号中的对于各帧来说用于确定显示处理的定时的数据，在进行各帧的显示处理同时，进行各帧的译码处理。
这种情况下，对应上述各帧进行译码处理的译码定时根据包含成为译码处理对象的对象帧的多个帧显示定时数据设定。也就是，根据该对象帧的显示定时数据以及其后传送来的下一个帧的显示定时数据，将上述对象帧的译码定时设定为只比这两个帧中的早的一方的显示定时早规定的偏差时间的定时。
具体地说，当成为译码处理的对象的对象帧的显示定时，比接着该对象帧的数据传送来的下一个帧的显示定时早时，将上述偏差时间设定为大于针对对象帧进行的译码处理所需要的时间。另一方面，当与成为处理对象的对象帧(例如P-VOP)的显示定时相比，紧接着该对象帧的数据传送来的下一个帧(例如B-VOP)的显示定时早时，将上述偏差时间设定为大于针对对象帧进行译码处理所需要的时间和针对下一个帧进行译码处理所需要的时间的和。
进而，通过在软盘等的数据存储载体上存储编码处理程序或者译码处理程序，而这些程序是为了通过软件完成在上述各实施例及其变形例所示的图象编码处理装置或者图象译码处理装置中的图象处理用的，由此就可以在独立的计算机中简单地实现在上述各实施例中所示的处理图12是示出了使用存储有上述编码处理程序或者译码处理程序的软盘通过计算机实施上述各实施例及其变形例的编码处理或者译码处理的示意图。
图12(a)展示了从软盘的正面看的外观、断面构造以及软盘主体，图12(b)是展示该软盘主体的物理样式的例子。
上述软盘FD为将上述软盘主体D装在软盘壳FC内的结构，在该软盘主体D的表面上，多条磁道Tr形成从外周向内周的同心圆，各磁道Tr在圆心角方向上被分成16个扇区Se。因而，在存储有上述程序的软盘FD中，上述软盘主体D其上被分配的区域(扇区)Se上存储有作为上述程序的数据。
另外，图12(c)展示了对软盘FD存储上述程序以及使用存储在软盘FD上的程序完成由软件进行的图象处理的构成。
当在软盘FD上存储上述程序时，从计算机系统Cs将作为上述程序的数据，通过软盘驱动器FDD写入软盘FD中。另外，当用存储在软盘FD中的程序，在计算机系统Cs中构筑上述图象编码装置或者图象译码装置时，用软盘驱动器FDD从软盘FD中读出程序，加载于计算机系统Cs中。
进而，在上述说明中，对使用软盘作为数据存储载体进行了说明，但在使用光盘时也可以和使用上述软盘一样完成由软件进行的编码处理或者译码处理。另外，数据存储载体不仅限于上述光盘和软盘，IC卡、ROM盒等可以存储程序的载体都可以使用，在使用这些数据存储载体的情况下，也和使用上述软盘等的情况一样，可以由软件实施编码处理或者译码处理。
进而，通过将存储在软盘等的数据存储载体上的图象编码信号，设置成本实施例1、2或者这些变形例的图象信号数据，就可以在译码来自上述软盘的图象编码信号进行图象显示时，当帧显示周期或者译码处理的周期是固定的情况下，用简单的电路结构进行包含图象编码信号的译码处理以及显示处理的再生处理。
如上所述，如果采用本发明(方案1)的图象信号数据结构，则因为包含表示对应图象的各帧的图象再生处理的周期是否可变的再生周期识别符，所以在对于各帧的再生处理的周期是固定的情况下，可以用简单的电路结构进行被称为图象编码信号的译码处理和显示处理的图象信号的再生处理。
如果采用本发明(方案2)，则在本发明的方案1所述的图象信号数据结构中，因为，将上述再生周期识别符设置成，表示对应上述各帧的图象显示的周期是否可变的显示周期识别符，所以，当对于各帧的图象显示的周期是固定的情况下，可以用简单的电路结构，进行用图象编码信号的译码得到的译码数据的显示处理。
如果采用本发明(方案3)，则在本发明的方案2所述的图象信号数据结构中，因为，作为上述显示周期识别符，在包含表示对应上述各帧的图象显示的周期是固定的的显示周期固定识别符的同时，加上该显示周期固定识别符，包含表示对应上述各帧的图象显示的周期的显示周期数据，和与上述各帧对应的，表示帧的前后关系的帧位置数据，所以，当对应各帧的图象显示的周期是固定的情况下，可以根据显示周期数据和帧位置数据确定对应帧的图象显示的定时。
如果采用本发明(方案4)，则在本发明的方案2所述的图象信号数据结构中，因为，作为上述显示周期识别符，在包含表示对应上述各帧的图象显示的周期是可变的的显示周期可变识别符的同时，加上该显示周期可变识别符，包含响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设定的，表示对应各帧进行图象显示的定时的显示定时数据，所以，当对应各帧的图象显示的周期是可变的情况下，可以根据显示定时数据确定对应帧的图象显示的定时。
如果采用本发明(方案5)，则在本发明的方案1所述的图象信号数据结构中，因为，将上述再生周期识别符设定为，与上述各帧对应的，表示译码经编码后的图象信号的译码处理的周期是否可变的译码周期识别符，所以，当对于各帧的译码处理的周期是固定的情况下，可以用简单的电路结构进行图象编码信号的译码处理。
如果采用本发明(方案6)，则在本发明的方案5所述的图象信号数据结构中，因为，作为上述译码周期识别符，在包含表示对应上述各帧的译码处理的周期是固定的的译码周期固定识别符的同时，加上该译码周期固定识别符，包含表示对应上述各帧的译码处理的周期的译码周期数据，和与上述各帧对应的，表示帧的前后关系的帧位置数据，所以，当对应各帧的译码处理的周期是固定的情况下，可以根据译码周期数据和帧位置数据确定对应帧的译码处理的定时。
如果采用本发明(方案7)，则在本发明的方案5所述的图象信号数据结构中，因为，作为上述译码周期识别符，在包含表示对应上述各帧的译码处理的周期是可变的的译码周期可变识别符的同时，加上该译码周期可变识别符，包含响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设定的，表示对应各帧进行译码处理的定时的译码定时数据，所以，当对应各帧的译码处理的周期是可变的情况下，可以根据译码定时数据确定对应帧的译码处理的定时。
如果采用本发明(方案8)，则因为，当作为图象信号输入了对应各帧的图象再生处理的周期是固定的图象信号时，与再生周期识别符同时输出表示对应各帧的图象再生处理的周期的再生周期数据，和对应各帧的，表示帧的前后关系的帧位置数据；作为上述图象信号，当输入了对应各帧的图象再生处理的周期是可变的图象信号时，和再生周期识别符同时输出响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设定的，表示对应各帧进行图象再生处理的定时再生定时数据，所以，可以附加并编码对应各帧的图象再生处理的周期是可变的图象信号，和帧的图象再生处理的周期是固定的图象信号的数据，使其与各自的图象信号相应地表示各帧的再生定时。因此当帧的再生处理周期是固定的情况下，可以削减规定再生处理时刻所需要的位数，而且，可以和以往一样地进行帧的再生处理周期是可变的图象再生处理。
如果采用本发明(方案9)，则在本发明的方案8所述的图象编码方法中，因为，将上述再生周期识别符设定为，表示与上述图象的各帧对应的图象显示的周期是否可变的显示周期识别符，将上述再生周期数据设置为，表示对应上述各帧的图象显示的周期的显示周期数据，将上述再生定时数据设置为，响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设定的，表示对应各帧进行图象显示的定时的显示定时数据，所以，当帧的显示周期是固定的情况下，可以削减规定显示时刻所需要的位数，而且，可以和以往一样地进行帧的显示周期是可变的图象显示处理。
如果采用本发明(方案10)，则在本发明的方案8所述的图象编码方法中，因为，将上述再生周期识别符设定为，与上述图象的各帧对应的，表示图象编码数据译码处理的周期是否可变的译码周期识别符，将上述再生周期数据设置为，表示对应上述各帧的译码处理的周期的译码周期数据，将上述再生定时数据设置为，响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设定的，表示对应各帧进行译码处理的定时的译码定时数据，所以，当帧的译码处理的周期是固定的情况下，可以削减规定各帧的译码处理的时刻所需要的位数，而且，可以简单地进行帧的译码处理周期是可变的图象译码处理。
如果采用本发明(方案11)的图象译码方法，则因为，当再生周期识别符表示与各帧对应的图象再生处理的周期是固定的时，将译码对应各帧译码图象编码数据得到的图象译码数据设置为，被包含在图象编码信号中的，根据对应各帧表示图象再生处理的周期的再生周期数据，和与各帧对应的，表示帧的前后关系的帧位置数据确定的再生定时的图象数据；当再生周期识别符表示对应各帧的图象再生处理的周期是可变的时，将译码对应各帧的图象编码数据得到的图象译码数据设置成，被包含在图象编码信号中的，根据响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设定的，表示对应各帧进行图象再生处理的定时的再生定时数据确定的再生定时的图象数据，所以，对于图象编码信号，可以根据各帧的再生处理的定时是否可变的结果，正确地进行包含译码处理以及显示处理的再生处理。
如果采用本发明(方案12)，则在本发明的方案11所述的图象译码方法中，因为，将上述再生周期识别符设定为，表示与该各帧对应的图象显示的周期是否可变的显示周期识别符，将上述再生周期数据设置为，表示对应上述各帧的图象显示的周期的显示周期数据，将上述再生定时数据设置为，表示对应上述各帧进行图象显示的显示定时的显示定时数据，所以，对于图象编码信号，可以根据各帧的显示定时是否可变，正确地进行显示处理。
如果采用本发明(方案13)，则在本发明的方案11所述的图象译码方法中，因为，根据包含成为译码处理对象的对象帧的多个帧的显示定时数据，设定对应上述各帧进行译码处理的译码定时，所以，可以根据显示定时数据，对于各帧不只进行显示处理而且进行译码处理。
如果采用本发明(方案14)，则在本发明的方案13所述的图象译码方法中，因为，根据该对象帧的显示定时数据以及接着传送来的下一个帧的显示定时数据，将上述对象帧的译码定时设定为，比该两帧中早的一方的显示定时只早规定的偏差时间的定时，所以，可以根据显示定时数据，在不妨害显示出来的过程的情况下进行针对各帧的译码出来。
如果采用本发明(方案15)，则在本发明的方案14所述的图象译码方法中，因为，当上述对象帧的显示定时比上述下一个帧的显示定时早时，将上述偏差时间设定为大于针对上述对象帧进行译码处理所需要的时间，当上述下一个帧的显示定时比上述对象帧的显示定时早时，将上述偏差时间设定为大于针对对象帧的译码处理所需要的时间，和针对下一个帧的译码处理所需要的时间的和，所以，例如，可以根据上述显示定时数据，对加上I-VOP包含P-VOP和B-VOP的与帧系列对应的图象编码数据进行译码处理。
如果采用本发明(方案16)，则在本发明的方案11所述的图象译码方法中，因为，将上述再生周期识别符设定为，与该各帧对应的，表示图象编码数据的译码处理的周期是否是可变的译码周期识别符，将上述再生周期数据设置为，表示对应上述各帧的译码处理的周期的译码周期数据，将上述再生定时数据设置为，表示与上述各帧对应的进行译码处理的译码定时的译码定时数据，所以，对于图象编码信号，可以根据各帧的译码处理的定时是否可变，正确地进行译码处理。
如果采用本发明(方案17)，则在本发明的方案11所述的图象信号数据结构中，因为，加上表示对应上述各帧的图象再生处理的周期是否是可变的再生周期识别符，包含用自然数N表示N等分规定的时间间隔得到的微小单位时间的大小的微小单位时间数据，和用乘数M(自然数)表示对应上述各帧的图象再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据，所以，可以在进行各帧的译码处理之前预先检测帧速率是固定的图象编码信号的帧速率的值(大小)，得到可以将用于实现包含译码处理以及显示处理的再生处理的各种硬件构成设置为简单的构成的图象信号数据结构。
如果采用本发明(方案18)，则在本发明的方案17所述的图象信号数据结构中，因为，将上述再生周期识别符设置为，表示与上述各帧对应的图象显示的周期是否是可变的显示周期识别符，将上述再生周期乘数数据设置为，用乘数M(自然数)表示对应上述各帧的图象显示的周期是上述微小单位时间的M倍的显示周期乘数数据，所以，可以将用于实现显示处理的各种的硬件构成设置成简单的构成。
如果采用本发明(方案19)，则在本发明的方案17所述的图象信号数据结构中，因为，将上述再生周期识别符设定为，与该各帧对应的，表示被编码后的图象信号的译码处理的周期是否是可变的译码周期识别符，将上述再生周期乘数数据设置为，用乘数M(自然数)表示对应上述各帧的译码处理的周期是上述微小单位时间的M倍的译码周期乘数数据，所以，可以将用于实现译码处理的各种硬件的构成设置成简单的构成。
如果采用本发明(方案20)的图象编码方法，则因为，当作为图象信号输入了对应各帧的图象再生处理的周期是固定的图象信号时，在输出表示对应图象的各帧的图象再生处理的周期是否是可变的再生周期识别符的同时，输出用自然数N表示N等分规定的时间间隔得到的微小单位时间的大小的微小单位时间数据，和用乘数M(自然数)表示对应上述各帧的图象再生处理的周期是上述微小单位时间的M倍的作为倍数值M的再生周期乘数数据，所以，对于帧速率是固定的图象编码信号，可以在进行各帧的译码处理之前预先检测其帧速率的值(大小)，可以用简单的硬件构成进行包含译码处理以及显示处理的再生处理。
如果采用本发明(方案21)，则在本发明的方案20所述的图象编码方法中，因为，将上述再生周期识别符设定为，表示与上述图象的各帧对应的图象显示的周期是否可变显示周期识别符，将上述再生周期乘数数据设置为，用乘数M(自然数)表示对应上述各帧的图象显示的周期是上述微小单位时间的M倍的作为倍数值M的再生周期乘数数据，所以，可以将用于实现在译码一侧的显示处理的各种硬件设置成简单的构成如果采用本发明(方案22)，则在本发明的方案20所述的图象编码方法中，因为，将上述再生周期识别符设定为，与该各帧对应的，表示图象编码数据的译码处理的周期是否可变的译码周期识别符，将上述再生周期乘数数据设置为，用乘数M(自然数)表示对应上述各帧的译码处理的周期是上述微小单位时间的M倍的译码周期乘数数据，所以，可以将用于实现译码处理的各种硬件设置成简单的结构。
如果采用本发明(方案23)的图象译码方法，则因为，当再生周期识别符表示与各帧对应的图象再生处理的周期是固定的时，将译码对应各帧的图象编码数据得到的图象译码数据设置为，被包含在图象编码信号中的，根据用自然数N表示N等分规定的时间间隔得到的微小单位时间的大小的微小单位时间数据，和用乘数M(自然数)表示对应上述各帧的图象再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据确定的再生定时的图象数据，所以，可以在进行各帧的译码处理之前，检测帧速率是固定的图象编码信号的帧速率的值(大小)，可以将译码一侧的硬件设置成简单的构成。
如果采用本发明(方案24)，则在本发明的方案23所述的图象译码方法中，因为，将上述再生周期识别符设定为，表示与上述图象的各帧对应的图象显示的周期是否可变显示周期识别符，将上述再生周期乘数数据设置为，用乘数M(自然数)表示对应上述各帧的图象显示的周期是上述微小单位时间的M倍的显示周期数据，所以，可以将在译码一侧用于显示处理的硬件设置成简单的构成。
如果采用本发明(方案25)，则在本发明的方案23所述的图象编码方法中，因为，将上述再生周期识别符设定为，与该各帧对应的，表示图象编码数据的译码处理的周期是否可变的译码周期识别符，将上述再生周期乘数数据设置为，用乘数M(自然数)表示对应上述各帧的译码处理的周期是上述微小单位时间的M倍的译码周期乘数数据，所以，可以将在译码一侧用于译码处理的硬件设置成简单的构成。
如果采用本发明(方案26)的图象编码装置，则具备根据图象信号，判断对应图象的各帧的图象再生处理的周期是否可变，并输出表示其判断结果的再生周期识别符的周期判断装置，因为该编码装置的构成是，根据上述再生周期识别符，切换表示图象再生处理的周期的再生周期数据以及表示帧的前后关系的帧位置数据，和表示进行图象再生处理的定时的再生定时数据，并和图象编码数据及再生周期识别符一同输出，所以，对于各帧的图象再生处理的周期是可变的图象信号，和帧的图象再生处理的周期是固定的图象信号，附加对应各个图象信号的，表示各帧的再生处理的定时的数据后被编码。因此，当帧的再生处理周期是固定的情况下，可以削减规定再生处理时刻所需要的位数，而且，可以简单地进行帧的再生处理周期是可变的图象的再生处理。
如果采用本发明(方案27)的图象译码装置，则在译码再生从本发明的方案26所述的图象编码装置输出的图象编码信号后再生的图象译码装置中，具备分离被包含在上述图象编码信号中的图象编码数据、再生周期识别符、再生周期数据、帧位置数据以及再生定时数据并输出的数据分离装置，因为，该图象译码装置的构成是，与上述再生周期识别符相应地，在由上述再生周期数据以及帧位置数据确定的再生定时，或者由上述再生定时数据确定的再生定时，进行在译码器中进行的图象编码数据的译码处理以及在显示装置中的图象显示处理这两者中至少一方的处理，所以，对于图象编码信号，可以与各帧的再生处理定时是否可变的相应地，正确地进行包含译码处理以及显示处理的再生处理。
如果采用本发明(方案28)的图象编码装置，则具备，根据图象信号，判断对应图象的各帧的图象再生处理的周期是否可变，并输出表示其判断结果的再生周期识别符的周期判断装置，因为，该图象编码装置的构成是，根据上述再生周期识别符，切换用自然数N表示N等分规定的时间间隔得到的微小单位时间的大小的微小单位时间数据以及用乘数M(自然数)表示对应上述各帧的图象再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据，和表示对应各帧进行图象再生处理的定时的再生定时数据，并和图象编码数据以及再生周期识别符一同输出，所以，在译码一侧，对于帧速率是固定的图象编码信号，可以在进行各帧的译码处理之前预先检测其帧速率的值(大小)，可以以简单的硬件构成进行包含译码处理以及显示处理的再生处理。
如果采用本发明(方案29)的图象译码装置，则在译码再生从本发明的方案28所述的图象编码装置输出的图象编码信号的图象译码装置中，具备分离并输出被包含在上述图象编码信号中的图象编码数据、再生周期识别符、微小单位时间数据、再生周期数据以及再生定时数据的数据分离装置，因为该图象译码装置的构成是，与上述再生周期识别符相应地，在由上述微小单位时间数据以及再生周期乘数数据确定的再生定时，或者由上述再生定时数据确定的再生定时，进行在译码器中进行的译码处理以及在显示装置中的图象显示处理这两者中至少一方的处理，所以，可以在进行各帧的译码处理之前预先检测帧速率是固定的图象编码信号的帧速率的值(大小)，可以使译码一侧的硬件构成简单化。
如果采用本发明(方案30)的数据存储载体，则是存储有以规定的周期进行对应各帧的图象再生处理的图象信号的数据存储载体，因为，其数据结构是，将上述图象信号设置成，包含表示对应上述各帧的图象再生处理的周期是否可变的再生周期识别符，所以，通过使用该数据存储载体，在各帧的再生处理的周期是固定的情况下，可以用简单的电路结构进行被称为图象编码信号的译码处理和显示处理的图象信号的再生处理。
如果采用本发明(方案31)的数据存储载体，则是存储有以规定的周期进行对应各帧的图象再生处理的图象信号的数据存储载体，因为，将上述图象信号的数据结构设置成，包含表示对应上述各帧的图象再生处理的周期是否可变的再生周期识别符，和用自然数N表示N等分规定的时间间隔得到的微小单位时间的大小的微小单位时间数据，和用乘数M(自然数)表示对应上述各帧的图象再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据，所以，通过使用该数据存储载体，就可以在进行各帧的译码处理之前预先检测帧速率是固定的图象编码信号的帧速率的值(大小)，可以将用于实现包含译码处理和显示处理的再生处理的各种的硬件设置成简单的构成。
如果采用本发明(方案32)的数据存储载体，则因为，存储有用于在计算机中进行本发明的方案8所述的图象编码方法中的图象信号的编码处理的编码处理程序，所以，通过将该程序加载到计算机中，在帧的再生处理周期是固定的情况下，就可以削减规定再生处理时刻所需要的位数，而且，可以实现简单地进行帧的再生处理周期是可变的图象再生处理的装置。
如果采用本发明(方案33)的数据存储载体，则因为，存储有用于在计算机中进行本发明的方案11所述的图象译码方法中的图象信号的译码处理的译码处理程序，所以，通过将该程序加载到计算机中，就可以实现对于图象编码信号，与各帧的再生处理的定时是否可变相应地，正确地进行包含译码处理以及显示处理的再生处理的装置。
如果采用本发明(方案34)的数据存储载体，则因为，存储有用于在计算机中进行本发明的方案20所述的图象编码方法中的图象信号的编码处理的编码处理程序，所以，通过将该程序加载到计算机中，就可以在进行各帧的译码处理之前预先检测帧速率是固定的图象编码信号的帧速率的值(大小)，可以实现以简单的硬件结构进行包含译码处理和显示处理的再生处理的装置。
如果采用本发明(方案35)的数据存储载体，则因为，存储有用于在计算机中进行本发明的方案23所述的图象译码方法中的图象编码信号的译码处理的译码处理程序，所以，通过将该程序加载到计算机中，就可以在进行各帧的译码处理之前预先检测帧速率是固定的图象编码信号的帧速率的值(大小)，可以实现使译码一侧的硬件构成简单化的装置
权利要求
1.一种图象编码方法，用于将一个图象信号编码并输出，包括步骤输出一个由编码所述图象信号获得的编码图象信号及一个可以标识包括在所述图象信号中的所有帧的图象再生周期是固定的再生周期标识符，及当所述再生周期标识符标识所述图象再生周期是固定的时，输出标识所述图象再生周期的再生周期数据及所述再生周期标识符。
2.权利要求1所述的图象编码方法，其中，所述再生周期标识符标识包括在所述图象信号中的所有帧的所述图象再生周期是固定的还是可变的；当所述再生周期标识符标识所述图象再生周期是可变的时，标识执行图象再生的定时的再生定时数据和所述再生周期标识符一同被输出。
3.权利要求1的图象编码方法，其中，所述再生周期标识符是一个显示周期标识符，可以标识包括在所述图象信号中的所有帧的图象显示周期是固定的，及所述再生周期数据是标识所述图象显示的周期的显示周期数据。
4.权利要求1的图象编码方法，其中所述再生周期标识符是一个译码周期标识符，可以标识包括在所述图象信号中的所有帧的编码的图象数据的译码周期是固定的，及所述再生再期数据是标识所述译码周期的译码周期数据。
5.一种图象编码方法，用于将一个图象信号编码并输出，包括步骤输出一个由编码所述图象信号获得的编码图象信号及一个可以标识包括在所述图象信号中的所有帧的图象再生周期是固定的再生周期标识符，及当所述再生周期标识符标识所述图象再生周期是固定的时，输出一个子单元时间数据，再生周期乘数数据及所述再生周期标识符，其中，所述子单元时间数据标识自然数N，用于示出子单元时间的长度，通过用所述自然数N除一个预定的时间间隔得到，再生周期乘数数据标识自然数M，用于示出所述帧的图象再生周期是所述子单元时间的M倍(子单元时间×M)。
6.权利要求5的图象编码方法，其中，所述再生周期标识符是一个显示周期标识符，可以标识包括在所述图象信号中的所有帧的图象显示周期是固定的，及所述再生周期乘数数据是显示周期乘数数据，用于标识自然数M，用于示出所述帧的图象显示周期是所述子单元时间的M倍(子单元时间×M)。
7.权利要求5的图象编码方法，其中，所述再生周期标识符是一个译码周期标识符，可以标识包括在所述图象信号中的所有帧的图象显示周期是固定的，及所述再生周期乘数数据是一个译码周期乘法数据，可以标识自然数M，示出所述编图象的译码周期是所述子单元时间的M倍(子单元时间×M)。
8.一种图象译码装置，用于将一个图象信号译码并输出，包括编码装置，用于将所述图象信号编码，并输出图象编码数据；周期确定装置，用于根据所述图象信号确定包括在所述图象信号中的所有帧的图象再生周期是固定的还是可以改变的，并输出一个标识一个确定结果的再生周期标识符；第一数据生成装置，用于生成和输出标识所述图象再生周期的再生周期数据；第二数据生成装置，用于生成和输出标识所述图象信号中的所述帧之间的位置关系的帧位置数据；第三数据生成装置，用于生成和输出标识用于执行所述帧的图象再生的定时的再生定时数据；一个ON/OFF开关装置，用于根据所述显示周期标识符，在可以发送所述重放周期数据的ON状态和不能发送所述重放周期数据的OFF状态之间切换；选择装置，用于根据所述显示周期标识符选择所述帧位置数据和所述重放定时数据的一个；及多路化装置，为了生成一个图象编码信号，根据一个预定的顺序，将所述编码装置，周期确定装置，ON/OFF切换装置和选择装置的输出多路化。
9.权利要求8的图象译码装置，其中，所述第一数据生成装置生成子单元时间数据，用于标识在示出一个子单元时间时使用的自然数N，它是由用所述自然数N去除一个预定的时间间隔得到的，及再生周期乘数数据，用于标识自然数M，用于示出所述帧的图象重放周期是所述子单元时间的M倍(子单元时间×M)。
10.一种数据存储介质，包含使得计算机执行权利要求1的编码方法的编码处理程序。
11.一种数据存储介质，包含使得计算机执行权利要求5的编码方法的编码处理程序。
全文摘要
本发明提供图象信号数据结构、图象编码方法及译码方法。与以往的图象数据结构相比,本发明的数据结构可以削减当帧的显示周期是固定的情况下的规定显示时刻所需要的位数,而且还可以与帧的显示周期是可变的图象相对应。本发明中,在图象编码信号的标记部分上插入帧的显示周期是否可变的显示周期识别符,当显示周期识别符表示显示周期是固定的情况下,在图象数据的标记的部分上插入显示周期数据的同时,在每一帧中插入表示帧号码的数据,另一方面,当显示周期识别符表示显示周期是可变的情况下,在每一帧中插入显示时刻数据。
文档编号H04N7/24GK1354602SQ01137469
公开日2002年6月19日 申请日期1998年10月30日 优先权日1997年10月31日
发明者西孝启, 角野真也, 文仲丞 申请人:松下电器产业株式会社