专利名称：图像信号复用装置和方法、分解装置和方法及传输媒体的制作方法
技术领域：
本发明涉及一种图像信号复用装置和方法、图像信号分解装置和方法及传输媒体，尤其涉及这样一种图像信号复用装置和方法、图像信号分解装置和方法及传输媒体，该图像信号复用装置和方法、图像信号分解装置和方法及传输媒体能够将数据记录在如磁光盘和磁带这样的记录介质上并从这样的记录介质中再现该数据以在显示器上显示；能够将数据经一传输路径从发送侧传输到接收侧以在如电话会议系统、电视电话系统、广播设备、多媒体数据库查询系统等这样的接收侧进行显示、编辑和记录操作。
背景技术：
在将运动图像信号传输到远距离地点的系统中，例如电话会议系统。电视电话系统或类似系统中，利用图像信号的线性相关和帧间相关对图像信号进行压缩编码以有效地利用传输路径。
另外，近些年来，随着计算机处理性能的提高，使用计算机的运动图像信息终端变得越来越普遍。在这样的系统中，信息通过网络这样的传输路径传送到远距离地点。类似地，在这种情况下，将要被传输的如图像信号、音频信号这样的信号和数据被压缩编码以进行传输，从而有效地利用传输路径。
在终端侧，发送到该侧的压缩信号按照预定的方法进行解码以恢复成原始的图像信号、音频信号、和数据等，恢复的原始的图像信号、音频信号、和数据等输出到终端所提供的显示器、扬声器等装置。在现有技术中，传送的图像信号等原样仅输出到显示装置，而在基于计算机的信息终端中，多个这样的图像信号、音频信号和数据在它们被转换后可以在二维或三维空间中显示。通过在发送侧以预定的方法描述关于二维和三维空间的信息和对例如图像信号执行预定转换处理以在一个终端处按照该描述进行显示，从而可以实现上述处理过程。
描述上述空间信息的代表性方案比如是VRML(虚拟现实模块化语言)。该方案已在ISO-IEC_JTC1/SC24中被标准化，在ISI4772中描述了它的最近版本VRML2.0。VRML是描述三维空间的一种语言，其中定义了一个数据集来描述三维空间的属性、形状等。这个数据集称作一个节点。对三维空间的描述涉及到描述这些预定义的节点是如何合成的。对于一个节点，定义了表示如颜色、纹理等属性的数据和表示多边形形状的数据。
在基于计算机的信息终端，按照如上所述的如VRML的描述，使用多边形等由CG(计算机图形学)生成一个预定的目标。利用VRML，可以将纹理映射到由这样生成的多边形所构成的三维目标上。当一个纹理映射为一个静止图像时，定义一个称作纹理(Texture)的节点；而当一个纹理映射为一个运动画面时，定义一个称作影片纹理(Movie Texture)的节点，其中在该节点中描述了关于要被映射的纹理的信息(文件名、播放开始时间和结束时间等)。
这里，将参照
图14描述纹理的映射(下文中称作纹理映射)。要被映射的纹理(图像信号)和代表它的透明度的信号(键信号)以及三维目标信息从外部输入，并存储在一组存储器151的预定存储区域中。该纹理存储在纹理存储器152中；代表透明度的信号存储在灰度级存储器153中；三维目标信息存储在三维信息存储器154中。此处，三维目标信息涉及多边形形状的信息、亮度信息等。
再生电路155利用记录在存储器组151中的基于预定三维目标信息的多边形形成三维目标。再生电路155根据三维目标信息从存储器152和存储器153中读取预定的纹理和表示其透明度的信号，并将纹理映射到三维目标。代表透明度的信号表示在相应位置处的纹理的透明度，从而表示在相应位置处的纹理映射到的位置上的目标的透明度。再生电路155向二维变换电路156提供表示映射有纹理的目标的信号。该二维变换电路156根据从外部输入的视点信息，通过将三维目标映射到二维平面上，依次将三维目标变换为二维图像信号。被变换为二维图像信号的三维目标还输出到外部。该纹理可以是静止图像或运动画面。在运动画面的情况下，每次改变要被映射的运动画面的图像帧，都要执行上述的操作。
VRML也支持压缩图像格式，如对于静止图像的高效编码方案JPEG(联合摄影专家组)，和作为要被映射的纹理的格式的运动画面编码方案的MPEG(运动画面专家组)。在这种情况下，根据预定的压缩方案，通过解码处理操作解码纹理(图像)，并且该解码的图像信号记录在存储器组151的存储器152中。
在再生电路155中，记录在存储器152中的纹理的映射不考虑图像是何种格式，不论是运动画面还是静止图像或其内容。在任意时刻，只有存储在存储器中的一个纹理能够映射到某一多边形，从而多个纹理不能够映射到一个多边形上。
当这样的三维信息和纹理信息经传输路径传送时，该信息在传送前必须被压缩从而有效地利用传送路径。特别是，当运动画面被映射到三维目标和在其它类似情况下时，在传送之前压缩运动画面是必不可少的。
例如，在ISO-IEC/JTC1SC2/WG11中讨论过并被作为标准议案提出的上述MPEG方案，和已经采用的作为运动补偿差分脉冲编码调制和DCT(离散余弦变换)编码组合的混合方案。MPEG定义了支持多种应用和功能的多个框架(profile)和级别。最基本的一个是主要框架主要级别(MP@ML)。
参照图15描述一个MPEG方案的MP@ML的编码器的示意性结构。首先，一输入的图像信号输入到帧存储器组1，并以一预定顺序存储。要被编码的图像数据输入到以宏数据块为单元的运动矢量检测器电路2。该运动矢量检测器电路2按照预先设定的预定顺序将每帧的图像数据处理成I画面、P画面或B画面。已经预先确定了顺序输入的各帧的图像是否应被处理成I-、P-还是B-画面(例如以I、B、P、B、P、…B、P的顺序处理)。
运动矢量检测器电路2参照预先定义的预定的参考帧执行运动补偿以检测其运动矢量。运动补偿(帧间预测)有三种模式前向预测、后向预测和双向预测。P-画面的预测模式只是前向预测，而B画面的预测模式有三种类型，即前向预测、后向预测和双向预测。运动矢量检测器电路2选择使预定误差最小化的预定模式，并用选择的预测模式产生预定矢量。
在这种情况下，例如将预测误差与要被编码的宏数据块的变化进行比较，从而当宏数据块的变化是小的时候，不对该宏数据块执行预测，而是执行帧内编码。在这种情况下，预测模式是图像内编码(帧内)。该运动矢量和预测模式输入到可变长度编码器电路6和运动补偿电路12。
运动补偿电路12根据输入的运动矢量产生预测图像数据，并将预测的图像数据输入到计算电路3。该计算电路3计算要被编码的宏数据块的值与预测图像的值之间的差值数据，并输出该差值数据到DCT电路4。在宏数据块内，计算电路3输出要被编码的宏数据块的信号本身到DCT电路4。
该DCT电路4时输入信号执行DCT(离散余弦变换)操作，该输入信号被变换为DCT系数。该DCT系数输入到量化电路5，该量化电路5用与传输缓冲器7中存储的数据量(缓冲器存储量)相对应的量化步长对DCT系数进行量化操作，然后，将量化数据输入到可变长度编码器电路6。
可变长度编码器电路6按照从量化电路5输入的量化步长(尺度)，将从量化电路5提供的量化数据变换为可变长度代码，如霍夫曼码，并将可变长度代码输出到传输缓冲器7。可变长度编码器电路6还输入由量化电路5馈送的量化步长(尺度)，和由预定矢量检测器电路2馈送的预测模式(已经设定了表示图像内预测、前向预测、后向预测和双向预测的模式)以及运动矢量，其中该量化步长、预测模式和运动矢量都是可变尺度编码的。
该传输缓冲器7临时存储输入到传输缓冲器7的编码的数据，并将对应于存储量的数据输出到量化电路5。当保留的数据量增加到可以允许的上限值时，传输缓冲器7通过量化控制信号增加量化电路5的量化尺度以降低量化数据的数据量。反之，当保留的数据量降低到可以允许的下限值时，传输缓冲器7通过量化控制信号减小量化电路5的量化尺度以增加量化数据的数据量。以这种方式，传输缓冲器7防止上溢和下溢。然后，按照预定时序读出传输缓冲器7中存储的编码的数据，并以位流的形式输出到传输路径。另一方面，从量化电路5输出的量化数据输入到去量化电路8，并按照由量化电路5输送的量化步长进行去量化操作。去量化电路8的输出数据(由去量化得到的DCT系数)输入到IDCT(逆DCT)电路9。该IDCT电路9对输入的DCT系数进行逆DCT操作，并将得到的输出数据(差值数据)输送到计算电路10。计算电路10将该差值数据与来自运动补偿电路12的预测图像数据相加，并将产生的输出图像数据存储到帧存储器(FM)11中。在宏块内，该计算电路10将来自IDCT电路9的输出数据本身输送到帧存储器11。
下面，参照图16描述MPEG的MP&ML的解码器的示意性结构。经由传输路径传送的编码的图像数据(位流)由接收电路(未示出)接收，由再生单元再生该编码的图像数据，并暂时存储在接收缓冲器21中，然后作为编码的数据输送到可变长度解码器电路22。该可变长度解码器电路22对由接收缓冲器21输送的编码的数据进行可变长度解码操作，并分别将运动矢量和预测模式输出到运动补偿电路27，将量化步长输出到去量化电路23，然后将解码的量化的数据输出到去量化电路23。
去量化电路23按照由从可变长度解码器电路22输送的量化步长对由可变长度解码器电路22输送的量化数据进行去量化操作，并将输出数据(由去量化得到的DCT系数)输出到IDCT电路24。从去量化电路23输出的该输出数据(DCT系数)在IDCT电路24中经过逆DCT处理，并将输出数据输送到计算电路25。
当从IDCT电路24输出的输出数据是关于I画面的数据时，其输出数据是作为图像数据从计算电路25输出，并输送到和存储在帧存储器组26中以生成后面将要输入到计算电路25的图像数据的预测图像数据(关于P画面或B画面的数据)。该图像数据自身还作为再现图像输出到外部。另一方面，当从IDCT电路24输出的数据是P画面或B画面时，运动补偿电路27按照从可变长度解码器电路22输送的运动矢量和预测模式从存储在帧存储器中的图像数据产生预测图像数据，并输出该预测图像数据到计算电路25。该计算电路25将从IDCT电路24输入的输出数据(差值数据)与从运动补偿电路27输送的预测图像数据相加以导出输出图像数据。另一方面，计算电路25的输出数据作为预测图像数据与P画面一起存储在帧存储器组26中，并用作下一步解码的图像信号的参考图像。
除了MP&ML外，在MPEG中定义了多种框架和级别，并为其提供了多种工具。可量测性(scalability)就是其中一种这样的工具。另外，可量测编码方案已经引入到用于实现对应不同图像尺寸和帧速率的可量测性的MPEG中。例如，利用空间可量测性，当只解码下层的位流时，解码图像尺寸小的图像信号，而当解码下层和上层的数据流时，解码图像尺寸大的图像信号。
按照图17描述空间可量测性的编码器。在空间可量测性的情况下，下层对应图像尺寸小的图像信号，而上层对应图像尺寸大的图像信号。
下层的图像信号首先输入到帧存储器组1，并以与MP&ML类似的方式编码。然而，计算电路10的输出数据输送到帧存储器组11，并且不仅用作下层的预测图像数据而且在其由图像放大电路31放大到与上层图像尺寸一样大小后还用作上层的预测图像数据。
上层的图像信号首先输入到帧存储器组51。运动矢量检测器电路52以与MP&ML类似的方式确定运动矢量和预测模式。运动补偿电路62按照由运动矢量检测器电路52确定的运动矢量和预测模式产生预测图像数据，并输出预测的图像数据到加权电路34。该加权电路34将预测图像数据乘以权重系数W，并输出加权的预测图像数据到计算电路33。
该计算电路10的输出数据(图像数据)输入到帧存储器组11和图像放大电路31，如上所述。图像放大电路31放大由计算电路10生成的图像数据以产生与上层的图像尺寸相同大小的图像数据，并输出放大的图像数据到加权电路32。该加权电路32将来自图像放大电路31的输出数据乘以权重系数(1-W)，并将产生数据作为加权预测图像数据输出到计算电路33。
计算电路33将加权电路32的输出数据与加权电路34的输出数据相加，并将产生的数据作为预测图像数据输出到计算电路53。计算电路33的输出数据还输入到计算电路60，与逆DCT电路59的输出数据相加，然后输入到帧存储器组61。其后，该输出数据用作要被编码的图像数据的预测参考数据帧。计算电路53计算要被编码的图像数据与计算电路33的输出数据(预测图像数据)之间的差值，并将结果作为差值数据输出。然而，在帧内编码的宏块中，计算电路53将要被编码的图像数据自身输出到DCT电路54。
DCT电路54对计算电路53的输出数据进行DCT(离散余弦变换)处理以产生DCT系数，并将DCT系数输出到量化电路55。量化电路55，如在MP&ML的情况下一样，按照由存储在传输缓冲器57中的数据量或类似数据量确定的量化尺度对DCT系数进行量化，并输出量化的数据到可变长度编码器电路56。该可变长度编码器电路56对量化的数据(量化的DCT系数)进行可变长度编码，然后作为上层位流经传输缓冲器57输出。
利用量化电路55中使用的量化尺度，由去量化电路58对量化电路55的输出数据进行去量化。去量化电路8的输出数据(去量化得到的DCT系数)输送到IDCT电路59，经过IDCT电路59的逆DCT处理，然后被输入到计算电路60。该计算电路60将计算电路33的输出数据与逆DCT电路59的输出数据(差值数据)相加，并将输出数据输入到帧存储器组61。
另外，由运动矢量检测器电路52检测的运动矢量和预测模式、量化电路55中使用的量化尺度、加权电路34和32中使用的权重系数W都馈送到可变长度编码器电路56，其中运动矢量和预测模式、量化尺度和权重系数W中的每一个都被进行了编码并以编码数据的形式输送到缓冲器57。编码的数据以位流的形式经缓冲器57传输。
下面，参照图18描述空间可量测性的解码器的例子。在输入到接收缓冲器21后，下层的位流以与MP&ML类似的方式解码。计算电路25的输出数据输出到外部，并且还存储在帧存储器组26中，不仅用作后续解码的图像数据的预测图像数据，而且在经由图像信号放大电路81放大到与上层图像信号的图像尺寸同样大小后用作上层的预测图像数据。
上层的数据流经接收缓冲器71输送到可变长度解码器电路72，并且解码可变长度代码。此时，量化长度、运动矢量、预测模式和加权系数与DCT系数一起被解码。利用解码的量化尺度，在去量化电路73中对可变长度解码器电路72解码的量化数据进行去量化操作，然后该DCT系数(由去量化得到的DCT系数)输送到IDCT电路74。然后，该DCT系数经IDCT电路74的逆DCT处理，并且输出数据输送到计算电路75。
运动补偿电路77按照解码的运动矢量和预测模式产生预测的图像数据，并且输入该预测的图像数据到加权电路84。该加权电路84将运动补偿电路77的输出数据乘以解码的权重系数W，并将加权后的输出数据输出到计算电路83。
计算电路25的输出数据作为下层的再现图像数据输出，并输出到帧存储器组26，同时通过图像信号放大电路81放大到与上层的图像尺寸同样的大小，并输出到加权电路28。该加权电路82使用解码的权重系数W，将图像信号放大电路81的输出数据乘以(1-W)，并输出加权的输出数据到计算电路83。
该计算电路83将加权电路84的输出数据与加权电路82的输出数据相加，将相加结果输出到计算电路75。计算电路75将IDCT电路74的输出数据与计算电路83的输出数据相加，将相加结果作为上层的再现图像输出，并且将其输送到帧存储器组76以作为后面要被解码的图像数据的预测图像数据。
到目前为止，已经描述了亮度信号的处理，色差信号的处理与其类似。然而，在此情况下使用的运动矢量是将亮度信号的运动矢量分为垂直和水平方向得到的运动矢量。以上描述了MPEG方案，对运动画面而言，多种其它高效编码方案已经被标准化。例如，ITU-T定义的称为H.261和H262的主要用于面向通信的编码方案。H.261和H263中的每一个都是基本类似于MPEG方案的运动补偿差分脉冲编码调制和DCT变换编码的组合，因此，虽然像标题信息这样的细节不同，但是类似的编码器和解码器还可以使用。
另外，在上述的MPEG方案中，一个称作MPEG4的针对运动画面信号的新的系数编码方案已经被标准化。MPEG4的主要特征在于一个图像可以以目标(一个图像被分为多个子图像以进行编码)为单元进行编码和处理。在解码侧，各目标的图像信号，即多个图像信号被合成以重新构成单幅图像。
将多个图像合成单幅图像的图像合成系统采用，例如称作色键的方法。这种方法在如蓝色这样的特别均匀的颜色的背景前捕获一预定对象，提取除了蓝色背景以外的区域，将所提取的区域合成到另一图像中。表示这种情况下所提取的区域的信号称作键(Key)信号。
下面，参照图19描述对一合成的图像进行编码的方法。图像F1代表背景，而图像F2代表前景。前景F2是通过捕获背景之前特殊颜色的图像并提取除了该颜色的背景以外的区域得到的图像。在这种情况下，表示所提取的区域的信号是键信号K1。合成的图像F3是通过将F1、F2、K1合成得到的。为了编码这幅图像，F3自身一般按照如MPEG这样的编码方案进行编码。在这种情况下，丢失了如键信号这样的信息，因此再编辑和再合成这些图像，比如只改变背景F1而前景F2维持不变，是困难的。
另一方面，通过对图像F1、F2和键信号K1分别进行编码并复用各位流，可以构成图像F3的位流，如图20所示。
图21所示为一种通过以与图20类似的方式解码一构成的位数据流而生成一合成图像F3的方法。该位流分解成各分离的位流F1、F2和K1，解码各位流以生成解码的图像F1’、F2’和解码的键信号K1’。在此情况下，F1’、F2’可以按照键信号进行合成以生成解码的合成图像F3’。在这种情况下，可以实现再编辑和再合成这些图像比如只改变背景F1而前景F2维持同样的位流不变。
在MPEG4中，各图像序列如构成合成图像的图像F1、F2如上所述称作VO(视频对象)。此外，在某一特定时间上的一个VO的视频帧称作VOP(视频对象平面)。该VOP由亮度和色差信号及键信号构成。一图像帧涉及在预定时间处的图像，图像序列涉及在不同时间处的图像帧集。换句话说，每个VO是不同时间处的图像帧集。各VO具有与时间相关的不同尺寸和位置。即，即便属于同一VO的各VOP也可能在尺寸和位置上有所不同。
图22和图23示出如上所述的以目标为单元编码和解码图像的编码器和解码器的结构图。图22是编码器的例子。一输入图像信号首先输入到VO构成电路101。该VO构成电路101将输入图像划分为各目标，并输出代表各目标(VO)的图像信号。每个代表VO的图像信号由图像信号和键信号构成。从VO构成电路101输出的该图像信号以逐个VO为单位分别输出到VOP构成电路102-0到102-n。例如，VO0的图像信号和键信号输入到VOP构成电路102-0；VO1的图像信号和键信号输入到VOP构成电路102-1；接着，类似地VOn的图像信号和键信号输入到VOP构成电路102-n。
在VO构成电路101中，例如，当图像信号从色键生成时，如图20所示，其VO由各图像信号和一键信号原样构成。对于失去键信号或已丢失键信号的图像，该图像被划分为多个区域，一预定区域被提取，并且产生一键信号以构成VO。VOP构成电路102-0到102-n的每一个从相关图像帧提取一包括有图像内的一目标的最小矩形部分。然而，在这种情况下，矩形部分内的象素数应在水平和垂直方向上是16的倍数。VOP构成电路102-0到102-n的每一个从上述矩形中提取图像信号(亮度和色差信号)和键信号，并将其输出。此外，输出绝对坐标系中表示每个VOP大小(VOP Size)的标志和表示VOP位置(VOP POS)的标志。VOP构成电路102-0到102-n的输出信号分别输入到VOP编码器电路103-0到103-n，并被编码。VOP编码器电路103-0到103-n的输出输入到复用电路104，并被汇编成作为位流输出到外部的单个位流。
图23示出解码器的例子。一个复用的位流通过分解电路111分解成分开的各VO的位流。各VO的位流分别输入到VOP解码器电路112-0到112-n，并在VOP解码器电路112-0到112-n中解码。VOP解码器电路112-0到112-n的每一个对图像信号和键信号、表示大小(VOP大小)的标志、表示有关VOP的在绝对坐标系中的位置(VOP POS)的标志进行解码，并将它们输入到图像重建电路113。图像重建电路113利用图像信号、键信号、表示大小(VOP大小)的标志、表示各VOP的在绝对坐标系中的位置(VOP POS)的标志合成图像，并输出一再现的图像。下面，参照图24描述VOP编码器电路103-0(其余VOP编码器电路103-1到103-n的结构与其类似)的例子。组成每个VOP的图像信号和键信号分别输入到一图像信号编码器电路121和一键信号编码器电路122。图像信号编码器电路121按照如MPEG方案和H.263执行编码处理。键信号编码器电路122按照如DPCM等执行编码处理。另外，为了编码该键信号，提供了一种方法，借助该方法使用由图像信号编码器电路121检测的运动矢量执行运动补偿以编码一差值信号。由键信号编码生成的位量输入到图像信号编码器电路121从而达到预定的比特率。
编码的图像信号的位流(运动矢量和纹理信息)和键信号的位流输入到复用电路123，该复用电路123将这些位流复用为单个位流，并将复用的位流经传输缓冲器124输出。
图25示出VOP解码器电路112-0(其余VOP解码器电路112-1到112-n的结构与其类似)的结构。位流首先输入到分解电路131并被分解为图像信号的位流(运动矢量和纹理信息)和键信号的位流，该图像信号的位流和键信号的位流是分别由图像信号解码器电路132和键信号解码器电路133解码的。在这种情况下，当由运动补偿编码的键信号被编码时，由图像信号解码器电路132解码的运动矢量输入到键信号解码器电路133以用于解码。
以上描述了以逐个VOP为单位的图像编码的方法，这样的一种方案在标准化过程中成为ISO-IEC/JTC1/SC29/WG11的MPEG4。如上所述的一种有效地编码各VOP的方法目前还没有完善建立，并且如可量测性这样的功能目前还没有完善。
以下部分，将描述上述的以目标为单位对图像进行可量测编码的方法。如上所述，再生电路155将存储在存储器152中的纹理(不论其是何种格式)映射为运动画面或静止图像及其内容。在任何时候，存储在存储器中的纹理只有一个能够被映射为多边形，从而多个纹理不能映射为一个象素。在许多情况下，一幅图像以压缩形式传输，从而在终端侧解码压缩的位流，然后存储在预定的存储器中以进行纹理映射。
在现有技术中，在任何时刻通过解码位流只有一个如下信号生成。例如，当在MPEG中符合MP&ML的位流被解码时，单个图像序列被解码。另外，在MPEG2中的可量测性的情况下，当下层位流被解码时生成低图像质量的图像，而当下层和上层的位流被解码时生成高图像质量的图像信号。在任何情况下，一个图像序列作为一个序列解码。
然而，在如以目标为单位对图像进行编码的MPEG4这样的方案中，会发生不同的情况。尤其是，单个目标可以是由多个位流构成的，在这种情况下，多个图像可以是每个位流生成的。因此，纹理不能映射到VRML等描述的三维目标上。为了解决这个问题，设想一个VRML节点(多边形)分配一个图像目标(VO)。例如，可以这样考虑，在图21的情况下，背景F1’分配一个节点，前景F2’和键信号K1’分配一个节点。然而，当一个图像目标由多个位流构成时，解码时从多个位流生成多个图像，接着又产生问题。参照图26到31描述该问题。采用三层可量测编码作为例子。在三层可量测编码中，除了下层(基层)外，存在两个上层，即第一上层(增强层1，后文中称作上层1)和第二上层(增强层2，后文中称作上层2)。与解码到第一上层生成的图像相比，解码到第二上层生成的图像提高了图像质量。这里，在空间可量测编码的情况下，提高图像质量涉及到空间分辨率；在临时可量测编码的情况下，提高图像质量涉及到帧速率；在SNR(信噪比)可量测编码的情况下，提高图像质量涉及到图像的SNR。
在对以目标为单元对图像进行编码的MPEG4中，第一上层与第二上层之间的关系定义如下(1)第二上层包括第一上层的整个区域；(2)第二上层与第一上层的部分区域对应；(3)第二上层与比第一上层宽的区域对应。当执行三或更多层的可量测性编码时存在关系(3)。这是在第一上层与下层部分区域对应和第二上层包括下层的整个区域的情况，或是第一上层与下层部分区域对应和第二上层与比第一上层宽的区域对应，并对应于下层的部分区域的情况。在关系(3)中，当解码解到第一上层时，只有在下层的部分图像中的图像质量得到提高；而当解码解到第二上层时，在下层的图像的整个区域或更宽区域中的图像质量得到提高。在关系(3)中，VOP具有矩形或任何任意形状。
图26到31示出了三层空间可量测性编码的例子。图26示出关系(1)中空间可量测性的例子，其中VOP均是矩形。图27示出关系(2)中空间可量测性的例子，其中VOP是矩形。图28示出关系(3)中空间可量测性的例子，其中所有层的VOP都是矩形。图29示出关系(3)中空间可量测性的例子，其中第一上层的VOP是任意形状，下层和第二上层的VOP都是矩形。图30和31都是关系(1)中空间可量测性的例子，其中VOP分别是任意形状和矩形。
如图26所示，当提高整个图像的图像质量时，具有最高图像质量的图像只需在如常规的MPEG2这样的可量测性编码的情况下显示。然而，在以目标为单位对图像进行编码的MPEG4中存在如图27、28、29所示的情况。例如，在图27所示的情况，当下层和上层1、2的位流被解码时，下层和上层1的图像的分辨率被转换，并且分辨率转换后的两个图像序列与解码后的上层2的图像序列进行合成以重建一整幅图像。另外，在图29的情况下，只有上层1和下层被解码，而只有上层1的图像被合成以与从另外的位流解码的另外图像序列合成。
如上所述，以目标为单位对图像进行编码潜在地存在一个问题，即如果对于一个目标生成多个图像，则只是简单地将一个节点分配给一个目标的方法不能做到将一个图像映射到一个作为纹理的目标上。
本发明总述本发明的目的在于解决上述问题，即即便当对于一个目标生成多个图像时，也能做到将一个图像映射到一个作为纹理的目标上。
本发明中的图像信号复用装置及方法和用于复用要经传输媒体传输的图像信号的程序，适于选择用于描述预定的目标的空间结构信息并从具有不同质量的多层位流中选择构成该预定目标的数据流，产生涉及由选择单元选择的位流构成的目标的信息，并复用所选择的空间结构信息、所选择的位流和所生成的关于该目标的信息，从而输出复用的信息。
本发明中的图像信号复用装置及方法和传输一程序的传输媒体，其中该程序用于复用经传输媒体传输的图像信号，适于输出用于描述一预定目标的空间结构信息、具有不同质量并构成该预定目标的多层位流，和涉及该目标的信息，其中涉及该目标的该信息至少包括表示不同位流之间的相互关系的相关信息，并复用该输出的空间结构信息、多层位流和涉及该目标的信息，以输出所复用的信息。
此外，将复用的图像信号分离为各自信号的图像信号分解装置及方法和将经传输媒体传输的复用信号分离为各自信号的程序，适于从复用的位流中分别分离出描述一个目标的空间结构信息、构成该目标的多层位流和涉及该目标的信息，其中描述该目标的空间结构信息、具有不同质量并构成该目标的多层位流和涉及该目标的信息在该复用的位流中复用，分析该空间结构信息，解码该多层位流、将解码的输出信号中的对应同一目标的输出信号混合，并根据涉及该目标的信息，从所分析的输出数据和所混合后的输出数据重建一图像信号。
此外，本发明的将复用的图像信号分离为各信号的图像信号分解装置及方法和将经传输媒体传输的复用的图像信号分离为各图像信号的程序，适于从被传输的复用的位流中分离出描述一个目标的空间结构信息、构成该目标的多层位流和涉及该目标的信息，其中描述该目标的空间结构信息、具有不同质量并构成该目标的多层位流和表示不同位流之间信息的相互关系的相关信息在该复用的位流中复用，根据选择信号和相关信息来控制所选择的用于描述一预定目标的空间结构信息和构成该目标的多层位流，分析该选择的空间结构信息，解码该多层位流，将解码的输出信号中的对应同一目标的输出信号混合，并根据涉及该目标的信息，从所分析的输出数据和所混合后的输出数据重建一图像信号。
附图的简要描述图1是本发明的图像信号复用装置和图像信号分解装置的结构的示意性框图；图2是图1中复用电路203的结构的示意性框图；图3是图1中分解电路205的结构的示意性框图；图4示出了用于重建一幅图像的各信号之间的对应关系和图1中重建电路209；图5示出了用于重建一幅图像的各信号之间的对应关系和图1中重建电路209；图6是图5中合成器电路252的结构的示意图；图7示出了一个目标描述符的结构；图8示出了ES_Descriptor(ES_描述符)的结构；图9示出了ESConFigParams的结构；图10示出了一个运动画面的场景描述符的结构；图11示出了一个静止图像的场景描述符的结构；图12示出了本发明的另一个图像信号复用装置和图像信号分解装置的结构的示意性框图；图13示出了ES_Descriptor(ES_描述符)的结构；图14示出了传统的目标合成电路的示意性框图；图15示出了传统的图像信号编码器的结构框图；图16示出了传统的图像信号解码器的结构框图；图17示出了另一个传统的图像信号编码器的结构框图；图18示出了另一个传统的图像信号解码器的结构框图；图19是传统的图像合成的图；
图20是解释这些图像是怎样合成的图；图21是解释这些图像是怎样合成的图；图22示出了另一个传统的图像信号编码器的结构框图；图23示出了另一个传统的图像信号解码器的结构框图；图24是图22中的一个VOP编码器电路103-0的结构框图；图25是图23中的一个VOP解码器电路112-0的结构框图；图26是解释图像目标的图；图27是解释图像目标的图；图28是解释图像目标的图；图29是解释图像目标的图；图30是解释图像目标的图；图31是解释图像目标的图；实施本发明的最佳模式在下文中将参照附图详细描述本发明的一个实施例。
首先，参照图1描述第一实施例的位流复用装置和分解装置。在下文描述中，假设编码的音频和视频数据流(基本数据流(ES))已经预先存储在预定的存储装置202中。当然，该位流也可以不通过存储装置202而直接从视频和音频编码器输入到复用电路203。另外，以下描述假设是采用MPEG4方案进行编码和解码，同时，本发明以类似方式还适用于任意方案，只要该方案是将图像划分为多个子图像进行编码。
存储装置202中预先记录有对应各AV(音频和视频)目标的位流ES(基本数据流)；解码各位流所需的目标数据流信息OI；以及用于描述二维和三维场景(由要被传输的图像定义的虚拟空间)的场景描述符(SceneDescriptor)。此处，该目标数据流信息OI包括例如解码所需的缓冲器容量，每个存取单元(帧或VOP)的时间标记等。下文将详细描述。
目标信息OI描述关于对应每个AV(音频和视频)目标的位流ES所有信息。目标描述产生器电路204产生与存储装置202提供的OI对应的目标描述符OD(Object Descriptor)。
复用电路203以预定顺序复用存储装置202中记录的位流ES和场景描述符SD以及从目标描述符产生器电路204提供的目标描述符OD，从而发送复用的位流FS。
此处，描述构成每个目标的位流的结构。例如，如图21所示的场景是由两个目标构成的，这两个目标是背景F1’和前景F2’。键信号K1’和前景F2’形成单个位流ES。因此，图21的场景是由两个视频目标VO组成，并且当不采用可量测编码时，每个VO是由单个位流ES形成的。
另外，在图26-29的情况下，一帧是由单个视频目标VO形成的。然而，在这些情况下，由于执行了可量测编码，一个VO是由三个位流ES形成的。图26到29显示三层可量测编码的例子，当然层数可以是任意的。
此外，在图30和31中，一个场景是由两个视频目标VO构成的，这两个目标是背景(图30)和前景(图31)，每个VO是由三个位流ES形成的。
用户可以从终端发送请求信号以任意设置被显示的视频目标，或在可量测编码的情况下哪一层被显示。
在图1所示的实施例中，用户向发送侧发送一请求信号REQ，以指定所需的来自外部终端(未示出)的视频目标和位流。该请求信号REQ输送到数据流控制电路201。关于每个视频目标的位流的目标数据流信息OI记录在存储装置202中。如上所述，该目标数据流信息OI包括这样一些信息，例如，表示一个预定目标是由多少个位流形成的这样的信息；解码每个位流所需的信息；缓冲器容量；进行解码时还需要哪个位流等。
数据流控制电路201按照请求信号REQ，参照从存储装置202输送的目标数据流信息OI，确定发送哪个位流，并且将数据流请求信号SREQ输送到复用电路203、存储装置202和目标描述符产生器电路204。另外，存储装置202根据数据流请求信号SREQ，读取预定的位流ES和场景描述符SD，并将其输出到复用电路203。
目标描述符产生器电路204，按照数据流请求信号SREQ，读取与存储装置202中记录的每个目标(VO)的位流有关的目标数据流信息OI，并只提取关于数据流请求信号SREQ请求的位流的信息，作为目标描述符OD。目标描述符产生器电路204还产生表示位流与哪个目标对应的ID numberOD_ID(ID数字OD-ID)，并将ID number OD_ID写到目标描述符OD中。例如，在图26的情况下，当只有下层和上层1被预定目标请求时，目标描述符产生器电路204只从目标数据流信息OI提取关于下层和上层1的信息，将所提取的信息指定为目标描述符OD，生成表示其目标的ID numberOD_ID，并将ID number OD_ID写到目标描述符OD中。然后，以这种方式生成的目标描述符OD被存储在复用电路203中。目标描述符OD和目标数据流信息OI以及场景描述符SD的语法将在后文中更详细地描述。
下面，参照图2描述复用电路203的操作。按照数据流请求信号SREQ将位流ES1-ESn输送到复用电路203。各位流ES1-ESn输送到开关231。另外，场景描述符SD和目标描述符OD也被输送到开关231。复用电路203还具有开始代码产生器电路232提供的开始代码，并且开始代码产生器电路232中产生的开始代码还输送到开关231。该开关231以预定顺序进行切换以产生输出到外部的复用的位流FS。
作为复用的位流FS，首先输出的是开始代码产生器电路232产生的开始代码。然后，开关231的连接切换到输出场景描述符SD。在场景描述符SD输出后，开关231的连接又切换到输出目标描述符OD。由于目标描述符OD的数等于目标数，所以输出数字与有关的目标的数字相等的目标描述符。(图2所示的情况中，目标数是3)。在目标描述符OD输出后，开关231的连接再次切换。为了分别输出位流ES1-ESn，针对每个预定的数据长度，切换开关的连接以输出各位流。该复用的位流ES经传输路径被输送到分解电路5，如图1所示。
以下参照图3描述分解电路205。首先，复用的位流FS输送到开关241。该开关241首先检测一开始代码以识别其后的各数据。在检测该开始代码时，该开关读取和输出一场景描述符SD。接着，该开关241的连接改变成读取和输出目标描述符OD。目标描述符OD的数字等于目标数，并按顺序读出。在所有的目标描述符OD输出后，该开关241的连接按照预定的连接又变成读取和输出各位流ES1-ESn。读取的场景描述符SD输送到语法分析电路(语法分析器)208以进行分析，如图1所示。经语法分析后的场景描述作为三维目标信息输送到重建电路209。虽然三维目标信息实际包括关于节点、多边形等的信息，但是在以下描述中将三维目标信息指定为一个节点。另外，所读取的目标描述符OD输送到语法分析电路(语法分析器)206以进行分析，如图1所示。该语法分析电路206识别所需的解码器的类型和数目，从而将各位流ES1-ESn输送到所需的解码器207-1至207n。此外，从目标描述符OD读取解码各位流所需的缓冲器数量等，并将其从语法分析电路206输出到各解码器207-1到207-n。每个解码器207-1到207-n根据从语法分析电路206输送的如缓冲器容量这样的初始化信息(即经目标描述符OD传输的)进行初始化。该语法分析电路206还读取各目标描述符OD的IDnumbers OD_ID以识别每个位流ES1-ESn属于哪个目标。然后，各目标描述符OD的ID numbers OD_ID从语法分析电路206输出到解码器207-1到207-n，该解码器207-1到207-n被指定用来解码该目标描述符OD中描述的位流。
解码器207-1到207-n中的每一个根据预定的对应编码方法的解码方法对涉及的位流进行解码，并将视频或音频信号输出到重建电路209。解码器207-1到207-n中的每一个还将信号ID number OD_ID输出到重建电路209以表示其图像属于哪个目标。当一个图像信号被输出时，解码器207-1到207-n中的每一个从位流解码表示其位置和大小的信号(PS,SZ)，并将该信号输出到重建电路209。另外，当一个图像信号被输出时，解码器207-1到207-n中的每一个还从位流解码表示位流透明度的信号(Key信号)，并将该信号输出到重建电路209。
接着，参照图4和5描述重建一图像的各信号和重建电路209之间的对应关系。图4示出不执行可量测编码情况下的例子，图5示出执行可量测编码情况下的例子。
在图4中，重建电路209包括一合成器电路252，从而由合成器电路252生成的图像信号输送到显示器251以进行显示。在图4中，合成器电路252和显示器251作为重建电路209示出，以示出合成器电路252中建立的图像是如何显示在显示器251上。实际上，该显示器不包括在重建电路209中。
在图4中，由矩形图像序列和CG生成的三角锥形显示在显示器251的屏幕上。解码的纹理映射到三角锥形的目标上。这里，纹理可以是运动画面或静止图像。
图4中示出一场景描述符SD对应于一输出屏幕。对于场景描述符SD，使用例如VRML这样的描述符。场景描述符SD由称作节点的描述组构成。提供父(路由)节点SD0来描述各目标是如何分布在整个图像上。作为其子节点，提供节点SD1来描述关于三角锥形的信息。另外，关于图像映射到其上的矩形的平面的信息在节点SD2中描述，设置节点SD2作为路由节点SD0的子节点。在图4中，图像信号由三个视频目标VO构成。关于作为第一VO的背景的信息在节点SD2中描述。另外，关于将太阳映射到其上的平面的信息作为第二VO在节点SD3中描述。此外，关于将人物映射到其上的平面信号信息作为第三VO在节点SD4中描述。SD3和SD4都是SD2的子节点。
因此，一个场景描述符SD是由节点SD0-SD4构成的。节点SD0-SD4中的每个都对应一个三维或二维目标。在图4中，节点SD0对应整个场景的目标；节点SD1对应三角锥形的目标；节点SD2对应背景的目标；节点SD3对应太阳的目标；SD4对应人物的目标。当纹理映射到每个节点时，需要一个标志来表示哪个位流与每个节点对应。为了识别这种对应关系，每个节点都在其内描述了一目标描述符的ID number OD_ID，此处的该目标描述符的ID number OD_ID是从相应位流的解码器输送的。这使得一个节点对应于一个目标描述符OD。以这种方式，一个视频目标VO映射到一个二维或三维目标。包括该场景描述符SD的节点SD0-SD4中的每个都由语法分析电路208进行分析，并作为三维目标信息输送到重建电路209的合成器电路252。来自分解电路205的位流ES1-ES4输送到各解码器207-1到207-4，并且来自语法分析电路206的对应目标描述符OD的ID numberOD-ID也输送到各解码器207-1到207-4。在解码一涉及的位流后，解码器207-1到207-4中的每个向重建电路209的合成电路252提供ID numberOD_ID和解码的信号(图像或音频)，并且另外对于图像信号，还提供Key信号和表示图像的位置和大小(POS,SZ)的信号作为解码的信号。这里，图像的位置涉及节点对于父节点的相对位置，该父节点在比该节点属于的级别更高的级别上。
以下图6中示出合成器电路252的结构。图6中，与图14对应的部分用相同的参考标号。输入的三维目标信息(包括节点SD0-SD4和每个多边形信息)、图像信号(纹理)、键信号(Key Signal)、ID numbers OD_ID(ID数OD_ID)和表示位置和大小的信号(POS,PZ)分别输送到目标合成器电路271-1到271-n。一个节点SDi对应一个目标合成器电路271-i。该目标合成器电路271-i接收一解码的信号，该解码的信号具有从解码器207-i的节点SDi中表示的ID number OD_ID，并当重建图像信号时，将解码的信号映射到要产生的二维或三维目标上。如上所述，当ID number OD_ID和解码的信号输送到相应目标合成器电路271-i时，需要找到每个解码的信号对应于哪个节点。因此，通过将由重建电路209输送的ID number OD_ID与包括在节点中的ID number OD_ID进行对比来辨认对应关系。然后，根据辨认结果，解码的信号输送到具有该相应节点的目标合成器电路271-i。
从解码器207-i输送的要被映射的纹理(图像信号)、代表其透明度的信号(键信号)、和表示其位置和大小的信号(VOP,SZ)存储在存储器组151-i的预定区域中。类似地，从语法分析电路208输送的节点(二维或三维目标信息)存储在存储器组151-i的预定区域中。纹理(图像信号)存储在纹理存储器152-i中；表示透明度的信号(Key信号)和ID number OD_ID存储在灰度级存储器153-i中；节点存储在三维信息存储器154-i中。输送并使用该ID numberOD_ID来识别目标。表示位置和大小的信号(POS,SZ)可以存储在任意存储器中，例如在此情况下，存储在灰度级存储器153-i中。此处，三维目标信息涉及多边形形成信息、亮度信息等。该表示位置和大小的信号此处在存储器组151-i的预定位置。
再生电路155-i利用多边形根据记录在存储器154-i中的节点形成二维或三维目标。该再生电路155-i从存储器152-i中读取预定的纹理和表示透明度的信号，并将纹理映射到生成的三维目标上。代表透明度的信号表示相应位置处纹理的透明度，因此它表示位于在该相应位置的纹理被映射的位置处的目标的透明度。再生电路155-i将代表目标的信号输送到二维变换电路156，其中该纹理已经映射到该目标上。类似地，表示图像的位置和大小的信号(与父节点的相对位置)从存储器组151-i(在此情况下，灰度级存储器153-i)的预定b位置读出并输出到二维变换电路156。
从目标合成器电路271-1到271-n向二维变换电路156输送二维或三维目标，其中纹理已经映射到该二维或三维目标上，该二维或三维目标数等于节点数。二维变换电路156根据从外部输送的视点信息和表示图像位置和大小的信号(POS,SZ)将三维目标映射到二维平面上从而将三维目标变换为二维图像信号。该变换为二维图像信号的三维目标然后输出并显示在显示器251上。当所有目标都是二维目标时，来自各再生电路155-1到155-n的输出数据按照表示透明度(Key信号)、图像位置和大小的信号进行合成并输出。在这种情况下，不执行按照视点的变换。
接着，参照图5描述执行可量测编码的例子。在此情况下，重建电路209包括混合器电路261和合成器电路252，这样由混合器电路261和合成器电路252生成的图像信号输送并显示在显示器251上。类似图4，混合器电路261、合成器电路252和显示器251都显示在图5的重建电路209中，这是为了表示由混合器电路261和合成器电路252建立的图像如何显示在显示器251上。实际上，显示器不包括在重建电路209中。另外，在图5的例子中，由CG生成的矩形图像序列三角锥形显示在显示器251上。三角锥形的目标还与解码的纹理映射。此处，纹理可以是运动画面或静止图像。
图5示出一场景描述符SD对应一输出屏幕。在图5中，提供父节点SD0来描述各目标是如何分布在整个图像上。作为其子节点，节点SD1描述关于三角锥形的信息，节点SD2描述图像映射到其上的矩形的平面的信息。图5中的代码SD2对应的图像信号不同于图4中的代码SD2，它是由单个视频目标VO构成的。然而，在图5中，由节点SD2对应的图像经过三层可量测编码，因此该VO假定是由三个视频目标层形成的。图5是三层可量测编码的例子，当然层数可以是任意的。
构成该场景描述符SD的各节点SD0到SD2通过语法分析电路208进行解释，并且分析的结果输送到合成器电路252。从分解电路205向各解码器207-1到207-n输送位流ES1-ESn和来自语法分析电路206的相应目标描述符OD的ID number OD_ID。在解码一涉及的位流后，解码器207-1到207-4中的每个向混合器电路201提供解码的信号，并且另外对于图像信号，还提供Key信号和表示图像的位置和大小(POS,SZ)的信号和表示比例改变系数的信号RF。这里，图像的位置涉及在相同视频目标VO中每层的相对位置，解码器207-1到207-4中的每个向合成器电路252还输送ID numberOD_ID。由于合成器电路252的结构与图6所示结构类似，因此这里省略了对其的描述。如上所述，当ID number OD_ID和解码的信号输送到相应目标合成器电路271-i时，需要找到每个解码的信号对应于哪个节点。因此，通过将由重建电路209输送的ID number OD_ID与包括在节点中的ID numberOD_ID进行对比来辨认对应关系。然后，根据辨认结果，解码的信号输送到供有该相应节点的目标合成器电路271-i。
在可量测编码中，由于各层(VOL)的位流属于相同视频目标VO，因此它们具有相同的ID number OD_ID。一个VO对应一个节点，相应地，一个纹理存储器152-i对应于合成器电路252中的一个VO。因此，在可量测编码中，各层的输出(解码器207-2到207-4的输出)被一次输送到混合器电路261，并合成为单个图像序列。
混合器电路261根据从各解码器207-2到207-4输送的图像信号、Key信号、表示比例变换系数的信号和表示涉及图像的位置和大小的信号预先合成各层的图像，并将合成的图像输出到合成器电路252。所以，合成器电路252可以将一个图像序列对应一个目标。
例如，当执行如图29所示的可量测编码以传输下层和上层1并对其进行解码时，下层图像信号的分辨率根据表示比例改变系数的信号RF来转换。接着，上层1的解码的图像按照键信号与在对应位置处的这个图像进行合成。
由混合器电路261合成的图像序列输送到合成器电路252。合成器电路252包括与图4中类似的图像，并输出最终图像到显示器251上。
在这个例子中，以这种方式将一个目标分配给一个节点。在用于存储在再生电路155中的纹理和三维信息的存储器组151之前阶段设置该混合器电路261。在混合器电路261按照预定的键信号将多个图像混合后，混合的图像记录在纹理存储器中。以这种方式，由具有不同分辨率的多个图像构成的图像信号能够映射成一个纹理。
此外，如上所述，在图1中的例子中，针对一个目标生成一个用于记录关于形成该目标的位流的系统信息的描述符。在这种情况下，只有关于解码所必需的位流的信息被存储，并且描述符中描述的位流都被解码。以这种方式，识别可解码的位流的组合，并且预定的信号能够被解码。在这种情况下，按照发送侧和接收侧之间一对一的关系生成并传输该描述符。
接着，图7到图9示出目标描述符OD的结构。图7中示出目标描述符OD的一般结构(语法)。
Node ID是一个10位的标志，该标志表示与目标描述符有关的ID数。其对应于前述的OD_ID。streamCount(数据流计数)是一个8位的标志，该标志表示目标描述符中包括的位流ES的数目。传输解码位流ES所需的信息，即ES_Descriptor，其数目等于streamCount的值。另外，extentionFlag(扩展标志)是一个标志，该标志表示另外的描述符是否被传输。当该值为1时，另外的描述符被传输。
ES_Descriptor(ES_描述符)是一个表示涉及每个位流的信息的描述符。图8是ES_Descriptor的结构(语法)。ES_Number(ES_数)是一个5位的标志，其表示用于识别位流的ID数。另外，streamType(数据流类型)是一个8位的标志，其表示位流的格式，例如MPEG2视频等。此外，QoS_Descriptor(QoS_描述符)是一个8位的标志，其表示传输时对网络的请求。
ESConFigParams是一个描述符，在该描述符中，解码涉及的位流所需的信息被解码。其结构(语法)如图9所示。ESConFigParams的详细情况在MPEG4系统VM中描述。
图10是映射运动画面的场景描述符。SFobjectID(SF目标标识)是一个标志，其表示一个ID number OD_ID，该ID number OD_ID是要被映射的纹理的目标描述符的ID。图11是映射静止图像的场景描述符。SFobjectID(SF目标标识)是一个标志，其表示要被映射的纹理的目标描述符的一个IDnumber OD_ID。图10和11的格式符合VRML的节点描述。
接着，参照图12描述按照本发明第二实施例的位流复用装置和分解装置。在这个实施例中，属于一个目标的所有位流被复用和传输。在第一实施例中，只有由接收侧请求的位流被复用和传输。在这种情况下，按照要被传输的位流产生目标描述符OD。由于在接收侧所有目标描述符中描述的位流都被解码，因此不需要特别地传送位流之间的信息的相互(dependency)关系。
在第二实施例中，目标描述符OD预先存储在存储装置202中，从而在发送侧目标描述符OD中描述的位流都被复用和传输。在这种情况下，第二实施例中的目标描述符OD不同于第一实施例，在第一实施例中描述了位流之间的信息的相互关系。在其它方面，第二实施例类似于第一实施例。
复用电路203读取记录在存储装置202中的场景描述符SD、目标描述符OD和位流ES组，并以预定的顺序复用该场景描述符SD、目标描述符OD和位流ES组以进行传输。传输的顺序和复用电路203的结构类似于第一实施例。复用的位流FS经传输路径输送到分解电路205。
用户从终端输入一请求信号REQ以表示哪个目标要被显示。该请求信号REQ输送到分解电路205、语法分析电路206和重建电路209。该语法分析电路206对每个传输到该语法分析电路206的目标描述符OD进行分析，并产生信号SREQ，该信号SREQ用于请求所需的位流并被输送到分解电路205。当用户请求一预定的位流时，目标描述符OD记录解码位流所需的另一个位流是否存在或需要哪个位流。
分解电路205按照来自用户的请求信号REQ和用于请求所需的位流的信号SREQ，只将所需的位流输送到解码器207-1到207-n，并将所需的目标描述符OD输送到语法分析电路206。该语法分析电路206对目标描述符OD进行分析，并根据目标描述符OD和来自用户的请求信号REQ，将涉及解码器207-1到207-n的初始化信息和ID numbers OD_ID传输到各解码器207-1到207-n。接着，以与第一实施例类似的方式进行解码、合成和显示。
因此，在这个实施例中，针对一特定目标产生一描述符(目标描述符)从而将系统信息记录在构成该目标的位流中。在这个情况下，表示解码每个位流所需的位流的标志记录在描述符中，并且按照描述符中描述的标志解码一预定的位流以识别可解码的位流的组合，从而能够解码一预定信号。在此情况下，在发送侧一旦产生描述符，则该描述符通常传输到所有接收者。
在第二实施例中，目标描述符OD不同于第一实施例中的目标描述符OD，第二实施例中的目标描述符OD描述的是用于识别解码一预定的位流所需的另一位流的信息。现在已描述了第二实施例中的目标描述符OD。目标描述符OD的一般结构与图7中所示的第一实施例的目标描述符类似。
图13显示的是用于描述涉及每个位流的信息的ES_Descriptor(ES_描述符)。isOtherStream是一个一位标志，该标志表示是否需要另外的位流进行解码一相关的位流。如果该值为零，相关的位流能够单独解码。如果该值为1，相关的位流不能够单独解码。
streamCount(数据流计数)是一个5位的标志，该标志表示还需要多少个位流。根据stremaCount传输所需的ES_Number(ES_数)数。ES_Number是一个ID(标识)，用于表示解码所需的位流。ES_Descriptor的剩余结构与第一实施例类似。此外，代表解码每个位流所需的信息的ESConFigParams的结构类似图9中第一实施例的描述的结构。
上述处理(复用和分解)可以以软件程序的形式来执行，并且这样的程序可以发送(提供)给用户，其中除了磁盘、CD-ROM和固态存储器等记录媒体外，还可以使用如网络、卫星这样的通信媒体作为传输媒体。另外，除了用程序实现以外，不用说也可以用硬件来执行上述处理。
在不脱离本发明的要点的情况下，可以作出各种改进和实施各种应用。因此，本发明的要点不局限于这些实施例。
本发明中的图像信号复用装置及方法和使经传输媒体要被传输的图像信号复用的程序，适于选择用于描述预定的目标的空间结构信息并从具有不同质量的多层位流中选择构成该预定目标的数据流，产生涉及由选择单元选择的位流构成的目标的信息，并复用所选择的空间结构信息、所选择的位流和所生成的关于该目标的信息，从而输出复用的信息，因此可以输送用以目标为单位的具有多层的可量测位流映射的纹理。
本发明中的图像信号复用装置及方法和传输一程序的传输媒体，其中该程序使经传输媒体要被传输的图像信号复用，适于输出用于描述一预定目标的空间结构信息、具有不同质量并构成该预定目标的多层位流，和输出涉及该目标的信息，其中涉及该目标的信息至少包括表示不同位流之间的相互关系的相关信息，并复用该输出的空间结构信息、多层位流和涉及该目标的信息，从而即便在复用侧不与分解侧连接的环境中，也能够独立地恢复和使用分解侧的位流。
此外，将复用的图像信号分离为各自信号的图像信号分解装置及方法和将经传输媒体传输的复用信号分离为各自信号的程序，适于从复用的位流中分别分离出描述一个目标的空间结构信息、构成该目标的多层位流和涉及该目标的信息，其中描述该目标的空间结构信息、具有不同质量并构成该目标的多层位流和涉及该目标的信息在该复用的位流中复用，分析该空间结构信息，解码该多层位流，将解码的输出信号中的对应同一目标的输出信号混合，并根据涉及该目标的信息，从所分析的输出数据和所混合后的输出数据重建一图像信号，因此可以确使具有以目标为单位的多层的可量测位流进行纹理映射。
此外，本发明的将复用的图像信号分离为各信号的图像信号分解装置及方法和将经传输媒体传输的复用的图像信号分离为各图像信号的程序，适于从被传输的复用的位流中分离出描述一个目标的空间结构信息、构成该目标的多层位流和涉及该目标的信息，其中描述该目标的空间结构信息、具有不同质量并构成该目标的多层位流和表示不同位流之间信息的相互关系的相关信息在该复用的位流中复用，根据选择信号和相关信息来控制所选择的用于描述一预定目标的空间结构信息和构成该目标的多层位流，分析该选择的空间结构信息，解码该多层位流，将解码的输出信号中的对应同一目标的输出信号混合，并根据涉及该目标的信息，从所分析的输出数据和所混合后的输出数据重建一图像信号，因此即便在复用侧不与分解侧连接的环境中，也能够独立地恢复和使用分解侧的位流。
工业应用性本发明可以应用于，例如向磁光盘、磁盘这样的记录媒体中记录数据和从磁光盘、磁盘这样的记录媒体中再现数据的信息记录装置，信息再现装置，信息记录/再现装置，以及如向远地发送音频数据和视频数据的电视电话系统、广播设备、多媒体数据库检索系统等这样的系统。
权利要求
1.一种图像信号复用设备，其特征在于，该复用设备包括选择装置，用于选择描述一预定目标的空间结构信息和用于从具有不同质量的多层位流中选择构成所述预定目标的数据流；生成装置，用于生成涉及所述目标的信息，所述目标是由所述选择装置选择的位流构成的；复用装置，用于将所述选择的空间结构信息、所述选择的位流和所述生成的关于所述目标的信息复用，以输出复用的信息。
2.如权利要求1所述的图像信号复用设备，其特征在于涉及所述目标的所述信息包括至少一个表示空间结构信息的标志，该空间结构信息用于描述所述目标；一个表示位流数目的标志；和解码该位流所需的信息。
3.一种图像信号复用方法，其特征在于，该复用方法包括选择步骤，用于选择描述一预定目标的空间结构信息和用于从具有不同质量的多层位流中选择构成所述预定目标的数据流；生成步骤，用于生成涉及所述目标的信息，所述目标是由所述选择装置选择的位流构成的；复用步骤，用于将所述选择的空间结构信息、所述选择的位流和所述生成的关于所述目标的信息复用，以输出复用的信息。
4.如权利要求3所述的图像信号复用方法，其特征在于涉及所述目标的所述信息包括至少一个表示空间结构信息的标志，该空间结构信息用于描述所述目标；一个表示位流数目的标志；和解码该位流所需的信息。
5.一种传输媒体，用于传输复用图像信号用的程序，其特征在于传输该程序包括选择步骤，用于选择描述一预定目标的空间结构信息和用于从具有不同质量的多层位流中选择构成所述预定目标的数据流；生成步骤，用于生成涉及所述目标的信息，所述目标是由所述选择装置选择的位流构成的；复用步骤，用于将所述选择的空间结构信息、所述选择的位流和所述生成的关于所述目标的信息复用，以输出复用的信息。
6.一种图像信号复用设备，其特征在于，该复用设备包括输出装置，用于输出描述一预定目标的空间结构信息、具有不同质量的多层位流、和涉及所述目标的信息，其中，所述位流构成所述预定目标，该涉及所述目标的信息至少包括代表不同位流之间的相互关系的相关信息；和复用装置，用于将所述输出的空间结构信息、多层位流和涉及所述目标的信息复用以输出该复用的信息。
7.如权利要求6所述的图像信号复用设备，其特征在于涉及所述目标的所述信息包括至少一个表示空间结构信息的标志，该空间结构信息用于描述所述目标；一个表示位流数目的标志；解码该位流所需的信息，并且所述相关信息至少是一个用于识别所述位流的标志和代表为了恢复所述目标是否需要另外的位流的标志。
8.一种图像信号复用方法，其特征在于，该复用方法包括输出步骤，用于输出描述一预定目标的空间结构信息、具有不同质量的多层位流、和涉及所述目标的信息，其中，所述位流构成所述预定目标，该涉及所述目标的信息至少包括代表不同位流之间的相互关系的相关信息；和复用步骤，用于将所述输出的空间结构信息、多层位流和涉及所述目标的信息复用以输出该复用的信息。
9.如权利要求8所述的图像信号复用方法，其特征在于涉及所述目标的所述信息包括至少一个表示空间结构信息的标志，该空间结构信息用于描述所述目标；一个表示位流数目的标志；解码该位流所需的信息，并且所述相关信息至少是一个用于识别所述位流的标志和代表为了恢复所述目标是否需要另外的位流的标志。
10.一种传输媒体，用于传输复用图像信号用的程序，其特征在于传输该程序包括输出步骤，用于输出描述一预定目标的空间结构信息、具有不同质量的多层位流、和涉及所述目标的信息，其中，所述位流构成所述预定目标，该涉及所述目标的信息至少包括代表不同位流之间的相互关系的相关信息；和复用步骤，用于将所述输出的空间结构信息、多层位流和涉及所述目标的信息复用以输出该复用的信息。
11.一种图像信号分解设备，用于将复用的图像信号分离为各信号，其特征在于，所述分解设备包括分离装置，用于从复用的位流中分别分离出描述一个目标的空间结构信息、构成所述目标的多层位流和涉及所述目标的信息，其中描述该目标的所述空间结构信息、具有不同质量的多层位流和涉及所述目标的所述信息在该复用的位流中复用，并且所述位流构成所述目标；分析装置，用于分析所述空间结构信息；和解码装置，用于解码所述多层位流；混合装置，用于将所述解码的输出信号中的对应同一所述目标的输出信号混合；和重建装置，用于根据涉及所述目标的所述信息，从所述分析的输出数据和所述混合后的输出数据重建一图像信号。
12.如权利11所述的图像信号分解设备，其特征在于涉及所述目标的所述信息包括至少一个表示空间结构信息的标志，该空间结构信息用于描述所述目标；一个表示位流数目的标志；和解码该位流所需的信息。
13.一种图像信号分解方法，用于将复用的图像信号分离为各信号，其特征在于，该分解方法包括步骤分离步骤，用于从复用的位流中分别分离出描述一个目标的空间结构信息、构成所述目标的多层位流和涉及所述目标的信息，其中描述该目标的所述空间结构信息、具有不同质量的多层位流和涉及所述目标的所述信息在该复用的位流中复用，并且所述位流构成所述目标；分析步骤，用于分析所述空间结构信息；和解码步骤，用于解码所述多层位流；混合步骤，用于将所述解码的输出信号中的对应同一所述目标的输出信号混合；和重建步骤，用于根据涉及所述目标的所述信息，从所述分析的输出数据和所述混合后的输出数据重建一图像信号。
14.如权利13所述的图像信号分解方法，其特征在于涉及所述目标的所述信息包括至少一个表示空间结构信息的标志，该空间结构信息用于描述所述目标；一个表示位流数目的标志；和解码该位流所需的信息。
15.一种传输程序用的传输媒体，该程序用于将复用的图像信号分离为各信号，其特征在于，传输该程序包括分离步骤，用于从复用的位流中分别分离出描述一个目标的空间结构信息、构成所述目标的多层位流和涉及所述目标的信息，其中描述该目标的所述空间结构信息、具有不同质量的多层位流和涉及所述目标的所述信息在该复用的位流中复用，并且所述位流构成所述目标；分析步骤，用于分析所述空间结构信息；和解码步骤，用于解码所述多层位流；混合步骤，用于将所述解码的输出信号中的对应同一所述目标的输出信号混合；和重建步骤，用于根据涉及所述目标的所述信息，从所述分析的输出数据和所述混合后的输出数据重建一图像信号。
16.一种图像信号分解设备，用于将复用的图像信号分离为各信号，该设备包括分离装置，用于从被传输的复用的位流中分离出描述一个目标的空间结构信息、构成所述目标的多层位流和涉及所述目标的信息，其中描述所述目标的空间结构信息、具有不同质量的多层位流和表示不同位流之间信息的相互关系的相关信息在该复用的位流中复用，并且所述位流构成所述目标；控制装置，用于根据选择信号和所述相关信息来控制所述分离装置以选择描述一预定目标的空间结构信息和构成该目标的所述多层位流；分析装置，用于分析所述选择的空间结构信息；和解码装置，用于解码所述多层位流；混合装置，用于将所述解码的输出信号中的对应同一目标的输出信号混合；重建装置，用于根据涉及所述目标的信息，从所述分析的输出数据和所述混合后的输出数据重建一图像信号。
17.如权利要求16所述的图像信号分解设备，其特征在于，该分解设备包括涉及所述目标的所述信息包括至少一个表示空间结构信息的标志，该空间结构信息用于描述所述目标；一个表示位流数目的标志；解码该位流所需的信息，并且所述相关信息至少是一个用于识别所述位流的标志和代表为了恢复所述目标是否需要另外的位流的标志。
18.一种图像信号分解方法，用于将复用的图像信号分离为各信号，其特征在于，该方法包括分离步骤，用于从被传输的复用的位流中分离出描述一个目标的空间结构信息、构成所述目标的多层位流和涉及所述目标的信息，其中描述所述目标的空间结构信息、具有不同质量的多层位流和表示不同位流之间信息的相互关系的相关信息在该复用的位流中复用，并且所述位流构成所述目标；控制步骤，用于根据所述相关信息来控制所述分离装置以选择描述一预定目标的空间结构信息和构成该目标的所述多层位流；分析步骤，用于分析所述选择的空间结构信息；和解码步骤，用于解码所述多层位流；混合步骤，用于将所述解码的输出信号中的对应同一目标的输出信号混合；重建步骤，用于根据涉及所述目标的信息，从所述分析的输出数据和所述混合后的输出数据重建一图像信号。
19.如权利要求18所述的图像信号分解方法，其特征在于涉及所述目标的所述信息包括至少一个表示空间结构信息的标志，该空间结构信息用于描述所述目标；一个表示位流数目的标志；解码该位流所需的信息，并且所述相关信息至少是一个用于识别所述位流的标志和代表为了恢复所述目标是否需要另外的位流的标志。
20.一种传输程序用的传输媒体，该程序用于将复用的图像信号分离为各信号，其特征在于，传输该程序包括分离步骤，用于从被传输的复用的位流中分离出描述一个目标的空间结构信息、构成所述目标的多层位流和涉及所述目标的信息，其中描述所述目标的空间结构信息、具有不同质量的多层位流和表示不同位流之间信息的相互关系的相关信息在该复用的位流中复用，并且所述位流构成所述目标；控制步骤，用于根据所述相关信息来控制所述分离装置以选择描述一预定目标的空间结构信息和构成该目标的所述多层位流；分析步骤，用于分析所述选择的空间结构信息；和解码步骤，用于解码所述多层位流；混合步骤，用于将解码的输出信号中的对应同一目标的输出信号混合；重建步骤，用于根据涉及所述目标的信息，从所述分析的输出数据和所述混合后的输出数据重建一图像信号。
全文摘要
一种分解电路,用于分离场景描述符(SD)、目标描述符(OD)和各位流(ES),且各位流(ES)由解码器(207—1到207－n)解码。在从解码器输出的数据中,同一目标描述符(OD)(构成同一目标的输出数据)的输出数据由混合电路(261)混合,混合后的输出数据输送到具有相应节点的合成电路(252)的目标合成电路(271－i),目标合成电路(271－i)与具有一个图像的一个目标相关并执行纹理映射。
文档编号H04N7/26GK1234941SQ98800996
公开日1999年11月10日 申请日期1998年7月17日 优先权日1997年7月18日
发明者铃木辉彦, 矢ク崎阳一 申请人:索尼公司