专利名称：数据多路化法和多路数据重放法与使用该法的多路数据重放装置及该法的记录媒体的制作方法
技术领域：
本发明涉及对数字图像、音频、数字数据等进行多路传送时的数据多路化方法和对多路化的数据进行重放用的解码方法及装置。
特别是涉及将图像作为多个对象(object)的集合体，在各对象单元处理图像数据，进行多路转换的数据多路转换方法，以及其重放方法、重放装置中数据量的削减及提高数据处理效率。
背景技术：
近年来，随着压缩技术的进步，广播、CATV等中数字图像、音频服务已经实用化。在传送数字图像、音频或其他数据之际，和压缩技术一样，这些数据的多路传输方法也是重要的课题。
下面参考附图对作为上述数据的多路转换方法的国际标准的MPEG2(ISO/IECJTCI/SC29 N8o1,ISO/IEC CD 13818-1:Information technologe-Generic coding ofmoving pictures and associated audio:Systems,1994.11)中的数据多路转换方法及重放多路化的数据的多路数据重放装置加以说明。
图20、21是已有的MPEG2数据多路转换方法的说明图。图22是以MPEG2数据多路转换方法对多路转换数据进行解码的多路数据重放装置的方框图。在图22中161是分离部，由1611的缓存器和1612的CPU构成。而162是同步控制部，163是图像解码器，164是音频解码器。图23是分离部161的CPU1612的动作的流程图。
下面对具有如上所述结构的已有的MPEG2数据多路转换方法及多路数据重放装置的动作加以说明。
图像数据、音频数据，如果是图像的话，对每一帧，如果是音频数据的话，对1024等每一定的取样数目(在MPEG音频的情况下也把这叫做“帧”)进行压缩，将一帧或几帧汇总，做成称为PES信息包的信息包(packet)图21是PES信息包的格式化概略图。在PES信息包上附加标题(header)，在标题中包含有表示后续的数据区是图像数据、音频数据还是其他数据的数据流ID，或图像与声音同步重放用的时间信息、DTS(解码时间标记，解码时间信息)、PTS(演播时间标记(presentation time stamp)，提示时间信息)等。PES信息包被分割为下述多个长度为188位的TS信息包传送。
图20是TS信息包的格式化的大概情况。TS信息包上付有分别称为PID(信息包识别编号)的信息包固有的编号(所谓信息包编号)。PID并非因各TS信息包而不同，相同的PES信息包具有相同的PID。TS信息包如图20(b)所示接着标题传送数据。TS信息包的PID如图20(c)所示作为标题的一部分传送。
除了图20所示的PES信息包外，向TS信息包的数据区还可以传送称为PSI(节目指定信息)的节目选择信息。图20(d)是作为PSI之一的节目相关表(下面记作PAT)，图20(e)同样表示节目映射表(下面记作PMT)的结构。
PAT分配PID=0，记述着记述节目编号与该节目编号的内容的PMT的PID。将表示向PMT传送的节目的编号的节目编号及图像数据PES、音频数据PES、数据PES的信息包各自的PID多路转换后进行传送。
图22如上所述是接收多路转换的数据对数据进行重放的已有的多路数据重放装置的一个例子。
接收的多路数据收信首先用缓存器1611存储。CPU1612根据图23所示的流程图动作，根据最初传送的数据首先探寻PID=0的PAT(步骤171)。然后，从PAT这探寻从外部设定的所希望的节目编号的PMT的PID(步骤172)。接着从多路数据中提取出具有从PAT取得的有PMT的PID的信息包(步骤173)。
如果提取出PMT，就根据该PMT存储图像数据PES、音频数据PES、数据PES信息包的PID(步骤174)。最后，在接收数据中看TS信息包的PID，提取节目重放所需要的TS信息包(步骤175、176)。
以对PID的记述作为PAT的一种，在该表中不记述节目编号和PES的PID，使用PAT与PMT两种表的理由有，为了避免在对多个节目实行多路转换的情况下表太长，还有在程序的内容部分改变的情况下只要改变PMT的内容就能够方便对应等。
在TS信息包中图像、音频的信息包分别传送到解码器163、164。同步控制部162提取PES信息包中多路转换的PTS、DTS等时间信息，控制解码器的同步重放的时机。解码器163、164使图像、声音与同步控制部162显示的时间同步地进行重放、显示。
但是上述结构中产生下述各种问题。
在图像编码中，对构成图像的成份、即背景、人物、移动着的物体等所谓对象分别进行编码的对象编码方法受到人们的注意。在对象编码时为了对各物体进行编码，可以简单地进行置换、去除特定物体等的编辑和只对某一物体进行检索。
但是已有的多路转换方法中只有帧的概念，因此对象单元存在不能处理的问题。与此相对，将已有的技术加以扩展，将图像领会为不是帧，而是对象的集合，将PES信息包构成对象单元。亦即考虑将别的PID分配于对象单元的方法。但是在上述方法中在构成图像的对象单元数量多的情况下，信息包的种类增加，存在着多路转换装置变得复杂的缺点。而且对象单元的编码必须将对象重叠显示，而已有的方法中有时间轴同步化的机制，但是存在不能指定显示位置的问题。
发明内容
为了解决上述问题，本发明的数据多路转换方法具有在对象单元处理数字数据，同时对对象设定阶层结构的方法，具体地说，本发明的特征在于，将数字数据p1和数字数据d1多路转换作为第1对象数据o1，将数字数据p2作为第2对象数据o2，以所述第1对象数据o1和第2对象数据o2作为单元构成，同时再进行多路转换得到高位的第3对象数据o3。借助于此，也可以在高位的第3对象进行数据处理，又可以在低位的第1、第2对象单元进行处理。
又，作为另一种结构，其特征在于，将数字数据p1和数字数据d1多路转换作为第1对象数据o1，将该对象数据o1信息包化，做成第1信息包数据op1，将数字数据p2作为第2对象数据o2，将该第2对象数据o2信息包化，做成第2信息包数据op2，再将所述第1信息包数据op1和第2信息包数据op2多路转换，得到第3信息包数据op3，将识别信息包的信息包编号提供给各信息包数据op1、信息包数据op2。借助于此，对每一对象赋予信息包编号，每一对象的数据处理变得容易了，同时，作为高位的阶层，第1、第2对象合成的第3信息包数据op3也能够处理。
也就是说本发明是将图像作为多个对象的集合体，在该各对象单元处理图像数据、进行多路转换，形成多路数据的数据多路转换方法，其特征在于，具有将图像数据分解为多个主对象，指定各主对象的步骤、根据需要将所指定的主对象分解为更细小的副对象，以此将主对象分解为多个阶层、进行指定的步骤、使该每一个指定的主对象及/或副对象信息包化并给予信息包编号的步骤，以及将分为阶层的内容作为阶层化信息附加于所述多路数据的步骤。又，本发明是重放以这种数据多路转换方法多路转换过的多路数据的多路数据重放方法以及使用该多路数据重放方法的多路数据重放装置。
由于借助于此对每一对象提供信息包编号，每一对象的数据处理变得容易，只提取出作为目的的对象进行重放、编辑也就变得容易了。同时具有能够利用阶层化削减数据量，并且能够根据需要将作为高位阶层的主体对象和作为低位阶层的副对象分离处理的特征。
而且将开始重放时间数据、重放位置数据多重放置于数据中，根据时间数据及重放位置数据进行重放，以此可以提高处理效率。
附图概述
图1是本发明第1实施形态的数据多路转换装置的方框图。
图2是本发明第1实施形态的数据多路转换方法的说明图。
图3是表示本发明第1实施形态的多路转换数据的结构的说明图，(a)是信息包结构，(b)是PAT结构，(c)是PMT结构。
图4是表示本发明第1实施形态的多路转换器4的CPU46的动作的流程图。
图5是表示本发明第1实施形态的多路转换器1的CPU14的动作的流程图。
图6是表示本发明第1实施形态的多路转换器6的CPU38的动作的流程图。
图7是表示本发明第2实施形态的多路转换数据的说明图，(a)是多路转换器的输出，(b)是集合相同的PID的信息包结构，(c)是PAT结构，(d)是PMT结构例，(e)是更细小的对象的PMT例。
图8是表示本发明第2实施形态的多路转换器1的CPU14的动作的流程图。
图9是表示本发明第2实施形态的多路转换器6的CPU38的动作的流程图。
图10是表示本发明第3实施形态的数据重放装置的方框图。
图11是表示本发明第3实施形态的数据逆多路转换部101的CPU1012的动作的流程图。
图12(a)是表示本发明第3实施形态的控制部104的CPU1041的动作的流程图，(b)是出错处理部分的流程图。
图13是表示本发明第4实施形态的控制部104的CPU1041的动作的流程图。
图14是本发明第5实施形态的数据多路转换装置的方框图。
图15是表示本发明第5实施形态的多路转换数据结构的说明图，(a)是数据多路转换器的输出，(b)是信息包的结构。
图16是表示本发明第5实施形态的数据多路转换器2的CPU26的动作的流程图。
图17是表示本发明第5实施形态的数据多路转换器3的CPU38的动作的流程图。
图18是本发明第5实施形态的阶层表的说明图。
图19是表示本发明第5实施形态的数据重放装置101的CPU1012的动作的流程图。
图20是已有的MPEG2数据多路转换方法的说明图，(a)是多路数据结构，(b)是TS信息包结构，(c)是标题的结构，(d)是PAT结构，(e)是PMT结构。
图21是已有的MPEG2数据多路转换方法的说明图，(a)是PES信息包的结构，(b)是标题的结构。
图22是已有的多路数据解码装置的方框图。
图23是表示已有的多路数据解码装置的CPU1312的动作的流程图。
本发明的最佳实施方式下面参照附图对本发明第1实施形态的数据多路转换方法加以说明。
图1是本发明第1实施形态的数据多路转换装置的方框图。在图1中，1是第1数据多路转换器，由缓存器11、12、选择器13、CPU14构成。2是第2数据多路转换器，3是第3数据多路转换器，4是第4多路转换器，2、3、4均与第1数据多路转换部1结构相同。图2是数据多路转换方法的说明图。图3是表示多路转换后的数据的结构的说明图。图4是表示数据多路转换器4的CPU48的动作的流程图。图5是表示多路转换器1的CPU14的动作的流程图。图6是表示多路转换器3的CPU38的动作的流程图。
下面用图1、图2、图3、图4、图5、图6对具有如上所述结构的数据多路转换装置的数据多路传输方法加以说明。
在对象编码方法中，如图2所示，对对象单元分别进行编码。图2中表示出带有音频数据的一连串的映像数据中的1幅图像225。
一幅图像225可以看作由作为背景的226、在背景中移动的物体227、背景伴音228多个对象构成。而对象227可以认为是由构成对象227的车轮2271、2272、车身2273、移动物体的伴音2274构成。而在背景226中还有大山，虽然图2中没有记载，在人物也同时进入图像225的情况下，即使山和人物等不移动也可以作为1个对象指定。也就是说可以理解为，对象单元怎样取因图像处理目的而不同。
将在这样进行对象分解的情况下的图像压缩编码时，分别将分割的对象的最小单元、即226、2271、2272、2273、2274、228分别加以压缩。接着用图1的数据多路转换装置使压缩的各对象多路转换。
首先将构成移动物体227的对象2271、2272、2273加以压缩处理，将压缩的对象2271、2272、2273分别作为视频41、视频42、视频43(所谓PES梯级)处理，按照图4的流程图用多路转换器4进行多路转换。也就是说，将图像数据分别读入缓存器，在各图像的标题上附加id以便能够区别，对对象进行多路转换后输出。
接着，用多路转换器1根据图5的流程图对多路转换器4的输出和音频1(相当于对象2274)进行多路转换处理。在对图像数据与声音数据进行多路转换处理的情况下，有必要进行同步重放，因此首先在各数据上附加同步重放所需要的时间信息PTS、DTS等。再附加用于识别音频、视频的标题，进行多路转换处理。在这种情况下，以更小的对象构成的多路转换器4的多路转换图像输出作为1个图像数据处理。
接着，用多路转换器2与多路转换器1一样对图2中没有记载的上述人物等对象进行多路转换处理。多路转换器3对多路转换器1的输出、用与多路转换器1相同的方法多路转换的多路转换器2的输出，以及相当于背景(对象226)的视频31、相当于作为背景伴音的对象228的音频32进行多路转换处理，构成信息包输出。
表示多路转换器3中CPU38的动作的是图6。在图6中首先在步骤61、64输入多路转换器1、2的输出，与信息包化同时，在步骤63、66分别附加不相同的PID。即对有关移动物体227的对象和有关人物的对象提供不同的PID。
又，相当于有关背景的对象和有关背景伴音的对象的视频31、音频32用与图4相同的方法附加PTS、DTS之后进行多路转换，而后做成信息包，附加与多路转换器1和2的输出不同的PID。
接着，生成表示信息包的内容和PID的关系的PAT、PMT，对PAT和PMT及多路转换器1输出的信息包、多路转换器2输出的信息包、将视频31和音频32多路转换的信息包，在例如每一定时间进行多路转换，得到多路转换器3的输出。
图3(a)是多路转换器3的信息包输出例，(b)是PAT的例子，(c)是PMT的例子。由图3(a)可知，PID分别与对象对应。在该图中所谓对象3的TS信息包是将视频31、音频32多路转换过的信息包。
如上所述，对背景、移动物体、人物这样的物理上的物体的每一个对象附加PID时，即使在一个物体中存在多个对象，也不需要多个PID。也就是说，对每一主要物体(主要对象)提供PID，根据需要作为下层对象向构成该物体的构件(副对象)提供PID。又如图3(c)所示，以PAT、PMT管理1幅图像当中的对象单元，从而能够根据PAT、PMT指定对象的PID，指定一个对象的PID，使得能够容易地提取多路转换信息包中的特定对象、进行置换。
实施形态2下面参照附图对本发明第2实施形态的数据多路转换方法加以说明。
图7是表示本发明第2实施形态的多路转换数据的说明图，图8是表示图1的多路转换器1的CPU14的动作的流程图。图9是表示图1的多路转换器3的CPU38的动作的流程图。
在第2实施形态中，使用图1的多路转换装置的多路转换方法与第1实施形态不同。多路转换器4的动作与第1实施形态相同。与第1实施形态的不同点是以信息包对声音数据和图像数据进行多路转换。在第1实施形态中不是用信息包，而是用PES层(音频32等)进行多路转换，而在本实施形态中，两者都是用信息包处理。
如图8所示，多路转换器1首先对多路转换器4的输出(对象2271、2272、2273与其相当)附加同步时间信息PTS、DTS，进行信息包化，附加PID。该情况下的PID不是最后的多路转换输出的PID，而是用于指定对象的副PID。音频1也以相同的方法形成信息包。而且，多路转换器1根据授予图像和声音信息包的副PID做成PAT、PMT，进行信息包多路转换后输出。
接着，多路转换器3按照图9的流程图，首先将多路转换器1和2的输出信息包输入缓存器，然后为了指定各对象，在多路转换器1和2的输出附加不同的PID(步骤91～913)。另一方面，属于背景的图像对象视频31、音频32以与多路转换器1相同的方法进行信息包化，而由于对象的阶层升高1层，所以不是附加副PID，而是附加PID(从步骤92～步骤934)。接着，在必要时将多路转换器1、2的输出中的多路转换后的各PAT的副PAT改写，使其在多路转换器1、2没有重叠。又使用这些PAT做成多路转换器3输出的PAT、PMT，与数据一起进行信息包多路传输输出。
又在信息包多路传输之前在图9的步骤97给予各信息包以优先顺序。优先顺序因对象单元而改变。例如重要对象1优先顺序高，而像背景那样的丢失也没有关系的信息优先顺序低。在本例中，将多路转换器1的输出信息包的优先顺序定为最高，接着依序是多路转换器2、视频31、音频32。这样附加优先顺序，可以使在传输线路中出错时应该保护哪一个对象变得明确。
图7(a)是多路转换器3的输出例。而图7(b)是相同PID的信息包集中时的信息包的例子，符合多路转换器3的输出中除了视频31和音频32的信息包的状态。图7(c)是多路转换器3的输出PAT的例子。
和已有技术的例子不同的是，除了图像、声音的PESPID外，还包含对象1的PMT的PID。图7(d)是对象1的PMT的例子，在对象1以更细小的对象构成的情况下，如图7(d)所示再写对象1的PMT的PID。在本实施形态中，如果对对象3的PAT和各对象的PMT进行解析，则由于了解PID、副PID，在多路转换器1和2中附加的PAT在多路转换器3已经不需要，所以将其删除。
采用本实施形态，可望得到与第1实施形态相同的效果，而且即使是细小的对象也能够构成信息包，因此容易向传输通路传送。而且由于是以PMT的多路指针的形式构成PID，所以对于1个对象可用1个PID处理，因此对象单元的操作更加简单。
上面用两个阶层对PID和副PID以及对象的阶层进行了说明。但是不仅如此，即使以PID、副PID、副副PID、…和更多的阶层构成，也能够以与第2实施形态相同的操作进行多路转换。
又，在本实施形态PAT中记述了PMT的PID，在PMT中再记述了其他对象的PMT的PID，但是这些表信息包的结构不限于此。例如即使在PAT中直接记述各对象的PMT的PID，在对象的个数少的情况下也可望得到与第2实施形态相同的效果。
实施形态3下面参照附图对本发明第3实施形态的数据重放方法进行说明。
图10是本发明第3实施形态的重放多路传输数据的数据重放装置的方框图，由数据逆向多路转换部101、控制部104、图像解码器105、音频解码器106构成。
图11是表示数据逆向多路转换部101的CPU1012的动作的流程图，图12是表示控制部104的CPU1042的动作的流程图。在这里，将在实施形态2多路转换的多路传输数据输入存储媒体102，又通过传输线路103输入逆向多路转换部101。
逆向多路转换部101首先检测出PAT、PMT，根据PMT决定所希望的节目的PID。如果在PMT中包含其他对象的PMT的PID，则再检测出其PMT，根据检测出的PMT决定必要的PID。反复进行以上过程(从步骤111到步骤114)，决定一个节目的重放中所必要的图像、伴音数据的PID。
在PMT中包含其他对象的PMT的PID的情况下，由于有必要从信息包中检测出其PMT，决定重放时需要的信息包的PID需要时间。为了将该时间限制于最低限度，例如在多路转换装置一方要考虑连续传送出相关的对象的PMT等方法。用以上步骤(步骤115～116)在决定PID之后从数据流中提取出这些信息包，将数据传送到控制部104，图像。伴音传送到各解码器105、106(步骤117)。
控制部104接着进行如下动作(图12(a))。首先输入各对象的标题。与此同时，也同时输入传输或存储中产生的出错标志。看了出错标志，如果该对象有出错，则从出错处理(步骤123)进入图12(b)。
图12(b)的出错处理基本上是，如果对象存在出错，就在解码器用预先决定的其他对象置换。例如在某一图像对象因出错不能够重放的情况下，考虑以与背景相同的图案置换，或是以透明的物体置换。又，在伴音的情况下，则以预定的背景音乐置换。
又，作为出错处理，除了置换以外，又可以进行插补。对于背景那样的相同的画面，在作为相同的对象的背景内部进行插补，可以使错误不显眼，将错误隐藏起来。
在没有出错的情况下，在图12(a)的步骤124那样的没有新对象的情况下，返回输入，使动作继续下去。有新的对象的情况下，读取对象标题中记载的显示位置、显示或重放开始时刻信息，设定于图10的图像解码器105、声音解码器106。
背景那样的最高位层的对象，为了成为显示、重放的基准，设定基准显示位置、基准重放时间。低位层的对象利用高位层的显示、重放信息，例如图像尺寸、取样频率、帧速率、色空间等进行解码、重放、显示。这样使低位层承接高位层的信息重放，即使对象不同，也能够进行在相同的画面上得到统一的重放。
又，作为重放开始时间的传输方法，由于各对象具有以各对象为基准的PTS、DTS，所以只要传送对于基准时间的开始重放时刻或是从基准图像重放开始的偏离量即可。
以上提到关于重放开始时间，在图像由多个对象构成的情况下，也有必要传送该对象的显示位置。这显示位置也可以用相对于高位层的偏离量或是相对于背景的绝对位置等传送。
采用上述实施形态，可以对利用第2实施形态进行多路转换的数据流正确地进行解码、重放、显示。
又，在第3实施形态中，说明了对利用第2实施形态进行多路转换的数据流进行解码的情况，而第1实施形态的数据流也只要对图11、图12的流程图进行若干变更就能够解码。
还有，在第3实施形态中，将高位层的显示开始时间、显示位置作为基准进行重放、显示，而如第2实施形态所说明，高位层有降低优先顺序进行传送的情况，因此有在传输线路中丢失数据的情况。在那样的情况下，以无误接收到的数据中位于最高位层的对象的显示开始时间、显示位置为基准进行重放、显示。
实施形态4下面参照附图对本发明第4实施形态的数据重放方法进行说明。
图13是表示图10的控制部104的CPU1041的动作的流程图。和第3实施形态不同的是，将记述在一连串的图像中在什么位置、什么时间对对象进行重放的脚本(scenario)数据和图像、声音数据一起预先进行多路转换、传输，重放装置根据传送来的脚本数据进行重放。
采用本实施形态也可以期待能够得到和第3实施形态相同的效果，此外还可以使各种对象、例如电脑作图生成的图像与自然图画等的组合显示简单化。但是必须用多路转换装置预先掌握所有图像的内容。
实施形态5
下面参照附图对本发明第5实施形态的数据多路转换方法及重放方法进行说明。
图14是本发明第5实施形态的数据多路转换装置的方框图。在图14中，2是与第1实施形态的、图1的第2数据多路转换器相同的方框，3是与第1实施形态的、图1的第3数据多路转换器大致相同的方框。图15是表示多路转换数据的结构的说明图，图16是表示数据多路转换器2的CPU26的动作的流程图。图17是表示数据多路转换器3的CPU38的动作的流程图。图18是表示对象的阶层关系的阶层表的说明图。
下面用图14、图15、图16、图17对具有上面所述结构的数据多路转换装置的的数据多路转换方法加以说明。
如图14所示，多路转换的基本动作与第1实施形态相同。不同点在于，在多路转换装置2不是视频和音频，而是加下标对视频21、视频22进行多路转换，还在于将视频31、视频32输入数据多路转换器3。
在本实施形态中，多路转换器2是附属于编码装置的多路转换器，设想用多路转换器3生成的多路转换数据用网络适配器(adapter)等送出。在互联网络规约连接的情况下数字数据通过以太网原封不动地将多路转换过的数据及不需要多路转换的数据映射到互联网络规约信息包。
图15(a)是数据多路转换器3的输出的说明图，ID=k的信息包与ID=m的信息包并不一定要连接着，又，信息包不一定存在于两信息包之间，而且被相同的传送线路、例如以太网输出。在使用互联网络规约ip的情况下，有用相同的端口或是打开别的端口进行传送的情况，而与信息包的连续、不连续、端口的数目无关，由于是相对于相同的传送线路进行传送，因此可以认为是多路传输。
图15(b)表示图15(a)的信息包的内容。在本实施形态中，如图16所示，对视频21、视频22附加下标k1、k2、进行多路转换。接着用数据多路转换器3将ID=k附加于信息包，将多路转换数据向传送线路送出。
另一方面，视频31、视频32如图17所示，不进行多路转换，而附加下标，进行信息包化后向传送线路输出。采用本实施形态，即使不构成实施形态1那样的TS信息包，也能够使用以太网等网络传送由多个对象构成的数据。
又，在对象的数据量非常小的情况下，由于用数据多路转换器2在传送到网络之前进行多路转换后传输，可以避免标题等的超额(overhead)，能够有效地进行传输。
下面使用图2的图像对对象的阶层化进行说明。图18是表示多路转换的数字数据的阶层关系的阶层表，表示用第3多路转换器3与信息包同时传送的表的例子。图18的表的内容与表示第2实施形态的PAT、PMT的内容大致相同，但是内容的表示不同。在使用TS信息包传送的情况下可使用PAT、PMT，而在本实施形态中由于PAT、PMT不存在，不传送表示对象的阶层的信息，就不能用解码装置提取特定的对象进行有选择的解码。
在图18中，对各数字数据附加流id，构成将这些流使用哪一个信息包传送映射于流与下标、信息包的阶层关系的表。图中所示是为了传送图2所示的图像、声音对象，首先提供流id的例子。流id=1对应于相当于图2的背景的226,id=2对应于相当于移动物体的227,id=3对应于相当于背景伴音的228,id=4对应于相当于移动物体的零件之一的2271,id=5也对应于相当于移动物体的零件之一的2272,id=6也对应于相当于移动物体的零件之一的2273,id=7对应于相当于移动物体附带的伴音的2274。
用多路转换器2将相当于移动物体主体及其部件的流id=2、4、5、6多路转换(在图14没有作为输入记载)，用多路转换器3将相当于部件和伴音的流id=1、3、7及用多路转换器2多路转换过的信息包再次多路转换。
下标通常是对每一信息包给予从1开始的系列号，因此用不同的信息包传送的流id=1、3及用多路转换器2多路转换过的信息包具有相同的下标(在图18中流1、2、3得到不同的信息包编号1、2、3，而得到相同的下标1)。流id=7是移动物体附带的伴音，属于对象227，因此下标取流id=2、4、5、6的系列号(在图18中为相同的信息包编号2，下标编号为系列号1、2、3、4)。
又，信息包id对用多路转换器3多路转换过的多路转换信息包提供。因此，流id=1、2、3独立地多路转换(被独立地赋予信息包编号1、2、3)，而流id=4、5、6被多路转换为与流id=2相同的信息包，因此取相同的信息包id(2)。
又，在同一个图18也记载着母下标和子下标以及信息包id。所谓母下标表示对象的阶层关系中处于上层，子下标表示处于下层。在图18中被赋予信息包编号2的移动物体作为母信息包，流id=2被赋予信息包编号2，该移动物体的部件及伴音作为子信息包，流id=4、5、6、7分别被赋予信息包编号2、2、2、4。为了表示其母子关系，在母信息包id和子信息包id的栏中记载各信息包编号的关系。
图19是表示以本实施形态多路转换的数据重放用的图10的数据重放装置的CPU1012的动作的流程图。图18所示的阶层表也是与图像、声音数据一起送来。
在图19中首先根据图18的阶层表再现对象的阶层关系及信息包ID，根据用户的指示判定与必要的对象符合的信息包ID，从流中提取。根据图18，以图17的对象阶层表为依据，可以了解到，要重放某一对象需要提取出哪一个信息包。例如在重放流id=2的对象(相当于移动物体主体)的情况下，可以根据信息包id=2及子信息包id判别id=2和4，从流中提取id=2、4的信息包，传送到解码器。也就是说，可以进行对象的选择解码。
在图18中，为了进行说明，是以表传送流id、母、子下标、信息包ID，但是并不限于此，只要是根据传送容量、必要性，了解阶层关系的最低限度的项目即可，这些中的某几个、例如可以省略母、子下标或母、子信息包ID。
又，阶层表的传送形态也是采取多路转换为信息包的形态，但是可以考虑只将作为数字数据的标题的一部分传送的、阶层表作为单独的数字数据，以别的信息包或传送手段传送等各种传输形态。
还有，在第5实施形态中，在将数字数据多路转换时，是赋予下标的，而在使用其他手段，例如以其他数据传送数据量的、或是在必定不同的数据之间插入标记等信息包的疆界、种类可以判别的其他手法时是可以省略的。
还有，在上述实施形态中，赋予用于与数字数据同步重放的显示时间、重放时间，而在不需要同步重放的情况下，或是信息包单元取同步等情况下，不需要赋予什么。
还有，在上述实施形态中将视频与音频多路转换，但是并不限于此，如果是视频与视频、或是视频与其他数据等，只要是数字数据什么都可以使用。
工业应用性上面所述发明是保持对象的阶层结构，同时赋予每一对象以信息包编号多路转换，因此使数据量不太大，每一对象的置换、编辑等容易进行的数据多路转换方法、多路转换数据重放方法，使用该方法的多路转换数据重放装置及记录该方法的记录媒体。
又，在信息包多路转换时，在各对象附加不太大优先顺序，因此可以减少重要对象脱落的频度。而且即使在重放时对象的关系也明白表示出，因此可以在对象内进行插补操作。又，图像和声音的同步中，保持对各对象不同的时间信息进行多路转换，因此即使取出1个对象也能够进行同步重放，同时重放装置使对象之间的时间一致地进行重放，因此即使图像是多个对象构成的也能够进行同步重放。
权利要求
1．一种数据多路转换方法，其特征在于，将数字数据p1和数字数据d1多路转换作为第1对象数据o1，将数字数据p2作为第2对象数据o2，以所述第1对象数据o1和第2对象数据o2作为单元，再进行多路转换得到第3对象数据o3。
2．根据权利要求1所述的数据多路转换方法，其特征在于，所述对象数据o1或对象数据o2包含图像数据，所述图像数据是一种物理上的物体。
3．根据权利要求1所述的数据多路转换方法，其特征在于，所述数字数据p2是图像数据，将所述图像数据作为图像的背景，将所述对象数据o1作为所述背景上显示的对象。
4．根据权利要求1所述的数据多路转换方法，其特征在于，在得到所述第3对象数据o3之际，将表示所述对象数据o1与对象数据o2的关系的信息同时进行多路转换。
5．一种数据多路转换方法，其特征在于，将数字数据p1和数字数据d1多路转换作为第1对象数据o1，将数字数据p2与数字数据d2多路转换作为第2对象数据o2，将所述第1对象数据o1和第2对象数据o2作为单元再进行多路转换，得到第3对象数据o3。
6．一数据多路转换方法，将数字数据p1和数字数据d1多路转换作为第1对象数据o1，将所述对象数据o1信息包化，做成信息包数据op1，将数字数据p2信息包化，作为信息包数据op2，再将所述第1信息包数据op1和第2信息包数据op2多路转换，得到第3信息包数据op3，其特征在于，将识别信息包的信息包编号提供给各所述信息包数据op1、信息包数据op2。
7．一数据多路转换方法，将数字数据p1和数字数据d1多路转换作为第1对象数据o1，将所述对象数据o1信息包化，做成信息包数据op1，将数字数据p2和数字数据d2多路转换作为第2对象数据o2，将所述对象数据o2信息包化，作成信息包数据op2，再将所述第1信息包数据op1和第2信息包数据op2多路转换，得到第3信息包数据op3，其特征在于，将识别信息包的信息包编号提供给各所述信息包数据op1、信息包数据op2。
8．一种数据多路转换方法，将数字数据p1和数字数据d1多路转换作为第1对象数据o1，将所述对象数据o1信息包化，做成信息包数据op1，将数字数据p2和数字数据d2多路转换作为第2对象数据o2，将所述对象数据o2信息包化，作成信息包数据op2，再将所述第1信息包数据op1和第2信息包数据op2多路转换，得到第3信息包数据op3，其特征在于，将第1信息包编号提供给第3信息包数据，将与所述第1信息包编号不同的第2及第3信息包编号提供给信息包数据op1、信息包数据op2。
9．一种数据多路转换方法，将数字数据p1和数字数据d1多路转换作为第1对象数据o1，将所述对象数据o1信息包化，做成信息包数据op1，将表示所述信息包数据op1的内容及所述信息包数据op1的信息包编号的第1表信息包多路转换为所述信息包数据op1，将数字数据p2和数字数据d2多路转换作为第2对象数据o2，将所述对象数据o2信息包化，作成信息包数据op2，将表示所述信息包数据op2的内容及所述信息包数据op2的信息包编号的第2表信息包多路转换为所述信息包数据op2，再将所述第1信息包数据op1和第2信息包数据op2多路转换，得到第3信息包数据op3，其特征在于，再将表示第3信息包数据的内容及第3信息包数据的信息包编号的第3表信息包多路转换为第3信息包数据op3，在所述第3表信息包记述所述第1及第2表信息包的信息包编号。
10．一种数据多路转换方法，将数字数据p1和数字数据d1多路转换作为第1对象数据o1，将数字数据p2作为第2对象数据o2，再将所述第1对象数据o1和第2对象数据o2多路转换，得到第3对象数据o3，其特征在于，包括数字数据p1和数字数据d1同步重放所需要的第1时间信息，多路转换为第1对象数据o1，将第3对象数据o3的同步重放所需要的第2时间信息包含于第3对象数据o3中进行多路转换。
11．一种数据多路转换方法，其特征在于，将数字数据p1和数字数据d1多路转换作为第1对象数据o1，将所述对象数据o1信息包化，作成信息包数据op1，将数字数据p2作为第2对象数据o2，将所述对象数据o2信息包化，作成信息包数据op2，再将所述第1信息包数据op1和第2信息包数据op2多路转换作为第3信息包数据op3，对所述第1信息包数据op1、第2信息包数据op2、第3信息包数据op3付与各不相同的优先顺序。
12．根据权利要求1所述的数据多路转换方法，其特征在于，将在权利要求1所述的第3对象数据o3记述所述对象数据o1、对象数据o2、对象数据o3的某一个的重放开始时间、重放位置的脚本数据同时进行多路转换。
13．一种数据多路转换方法，其特征在于，在对以权利要求12所述的数据多路转换方法多路转换的数据进行重放时，根据记述重放开始时间、重放位置的脚本数据进行重放。
14．一种数据多路转换方法，将图像作为多个对象的集合体，在所述各对象单元处理所述图像的数据，多路转换为多路数据，其特征在于，包括将所述图像分解为多个主对象，指定各主对象的步骤、根据需要将所指定的主对象分解为更细小的副对象，以此将主对象进一步分解为多个阶层、指定所述副对象的步骤、使该每一个指定的主对象及/或副对象信息包化，并给予信息包编号的步骤，以及将分为阶层的内容作为阶层化信息附加于所述多路数据的步骤。
15．根据权利要求14所述的数据多路转换方法，其特征在于，对象的特别指定是至少按图像的背景、移动物体分开进行特别指定。
16．根据权利要求14所述的数据多路转换方法，其特征在于，对象的特别指定借助于指定引人注目的物体进行。
17．根据权利要求14所述的数据多路转换方法，其特征在于，对象的特别指定是至少按图像数据、声音数据及附加信息分开进行特别指定。
18．根据权利要求14所述的数据多路转换方法，其特征在于，阶层化是以对象的主体为高位阶层，以所述主体的结构要素为低位阶层。
19．一种多路数据重放方法，用于对根据权利要求14多路转换的多路数据进行重放，其特征在于，具有在将阶层化信息附加于所述多路数据上的情况下，根据所述阶层化信息将所述数据按照阶层分离的步骤、对所述按照阶层分离的每一阶层提取多路转换为所述多路数据的副对象的信息包编号的第1信息包编号提取步骤、提取多路转换为所述多路数据的主对象的信息包编号的第2信息包编号提取步骤，以及根据所述第1、第2信息包编号提取步骤提取出的信息包编号重放多路数据的步骤。
20．一种多路数据重放装置，用于对根据权利要求14多路转换的多路数据进行重放，其特征在于，具有在将阶层化信息附加于所述多路数据上的情况下，根据所述阶层化信息按照阶层分离的阶层分离手段、对所述阶层化分离手段分离的每一阶层提取多路转换为所述多路数据的副对象的信息包编号的第1信息包编号提取手段、提取多路转换为所述多路数据的主对象的信息包编号的第2信息包编号提取手段，以及根据所述第1、第2信息包编号提取手段提取出的信息包编号重放多路数据的数据重放手段。
21．一种多路数据重放方法，重放以权利要求1所述的数据多路转换方法多路转换的数据，其特征在于，将数据中重放开始时间数据、重放位置数据预先进行多路转换，根据所述时间数据及所述重放位置数据进行重放。
22．一种多路数据重放方法，重放以权利要求1所述的数据多路转换方法多路转换的数据，其特征在于，重放时以时间轴不同的多个时间信息中的某一个作为一个时间基准进行重放。
23．一种多路数据重放方法，重放以权利要求4所述的多路转换方法多路转换的数据，其特征在于，重放时从对象数据o3提取表示对象的关系的信息，用所述信息选择所述对象数据o1、所述对象数据o2、所述对象数据o3中的某一个进行重放。
24．一种多路数据重放方法，重放以权利要求1所述的多路转换方法多路转换的多路转换数据，其特征在于，使用符合该图像的背景的对象数据o2的数据，重放对象数据o1。
25．一种多路数据重放装置，其特征在于，接收以权利要求1～14中的任一项所述的数据多路转换方法多路转换的数据，对图像或声音或其他数字数据进行重放。
26．一种多路数据重放装置，重放以权利要求1～14中的任一项所述的数据多路转换方法多路转换的数据，其特征在于，在图像、声音、数据中的任一项不能进行重放的情况下，以预先在重放装置决定的图像、声音、数据分别进行置换、重放。
27．一种多路数据重放装置，其特征在于，在对以权利要求1～14中的任一项所述的数据多路转换方法多路转换的数据进行解码时，在图像对象、声音对象、数据对象中的任一项不能进行重放的情况下，图像对象根据解码装置具有的图像对象，声音对象根据解码装置具有的声音对象，数据对象根据解码装置具有的数据对象分别进行插补、生成、重放。
28．一种记录媒体，其特征在于，记录以权利要求1～14中的任一项所述的数据多路转换方法多路转换的多路数据。
29．一种传输媒体，其特征在于，传输以权利要求1～14中的任一项所述的数据多路转换方法多路转换的多路数据。
全文摘要
本发明揭示一种将图像作为多个对象的集合体,在该各对象单元处对图像数据进行处理、使其多路转换,形成多路数据的多路转换方法,其特征在于具有将图像分解为多个主对象,指定各主对象的对象指定步骤、根据需要将所指定的主对象分解为更细小的副对象,以此将主对象分解为多个阶层、进行指定的步骤、使每一个指定的主对象及/或副对象信息包化并给予信息包编号的步骤,以及将分为阶层的内容作为阶层化信息附加于多路数据的步骤,还揭示重放以这种数据多路转换方法多路转换过的多路数据的多路数据重放方法以及使用该多路数据重放方法的多路数据重放装置。
文档编号H04N7/24GK1218599SQ97194669
公开日1999年6月2日 申请日期1997年4月28日 优先权日1996年5月17日
发明者高桥俊也 申请人:松下电器产业株式会社