专利名称：内容提供装置和方法以及记录介质的制作方法
技术领域：
本发明涉及内容提供装置和方法以及记录介质。更具体地说，本发明涉及内容提供装置和方法以及记录介质，其适于在如磁光盘或磁带的记录介质上记录运动图像信号、读取信号并在显示装置上显示信号；适于通过传输信道从传输侧向接收侧传输运动图像信号，其中接收侧以与电话会议系统、电视电话系统、广播系统、多媒体数据库搜索系统以及类似系统相同的方式接收并显示信号；并适于编辑和记录运动图像信号。
在用于向远程地点传输运动图像信号的系统中，如电话会议系统或电视电话系统，为了有效地利用传输信道，通过视频信号间的行相关和帧间相关对图像信号压缩和解码。
运动图像专家组(MPEG)系统是一个存储运动图像编码系统，是一个典型的高效运动图像编码系统。该系统已经在ISO-IEC/JTC1/SC2/WG11标准下讨论过，并已经作为该标准的草案提出。该系统使用一种混合系统，该系统结合运动补偿预测编码和离散余弦变换(DCT)编码。
在MPEG中，为了适应于各种应用和功能，定义了一些轮廓(profile)和级别(level)。最基本的轮廓/级别是在主级别的主轮廓(MP@ML)。
参考
图1，描述使用MPEG系统、符合主级别上的主轮廓(MP@ML)的编码器结构的一个例子。
输入图像信号被输入到帧存储器组1并以预定顺序被编码。
被编码的图像数据被输入到宏块单元内的运动矢量检测电路2。运动矢量检测电路2根据事先设定的预定次序处理每一帧中的图象数据，如任一个I画面、P画面、或B画面。在每一帧中顺序地输入图象的次序如I、P或B画面被事先确定(例如，按I、B、P、B、P…B、P的次序处理图象)。
运动矢量检测电路2参照事先确定的预定基准帧并执行运动位移补偿以检测运动矢量。运动位移补偿(帧间预测)包括三种模式，即，正向预测、反向预测、和双向预测。P图画仅适应正向预测模式。对于B图画，有三种预测模式，即，正向预测、反向预测、和双向预测。运动矢量检测电路2选择最小化预测误差的预测模式并产生预测模式。
同时，预测误差与例如要被编码的宏块偏差进行比较。当宏块偏差小于预测误差时，不使用宏块执行预测。而是执行帧内编码。在这种情况下，使用图象内编码预测模式(内部)。运动矢量和预测模式被输入到一个可变长度编码电路6和一个运动位移补偿电路12。
运动位移补偿电路12基于预定运动矢量产生一个预测图象，并将该预测图象输入到运算电路3。运算电路3把要被编码的宏块的值和预测图象之间的差分信号输出到DCT电路4。在一个内部宏块的情况下，运算电路3直接把要被编码的宏块信号输出到DCT电路4。
DCT电路4执行输入数据的离散余弦变换(DCT)并将其转换成DCT系数。DCT系数被输入到一个量化电路5，并通过对应于发送缓冲器7的数据存储量(缓冲器存储量)的量化步骤被量化。量化的数据被输入到可变长度编码电路6。
根据量化电路5提供的量化步骤(比例)，可变长度编码电路6把量化电路5提供的图象数据(在该例中，是I-图画数据)转换成可变长度的编码如霍夫曼码等，并且可变长度编码电路6把可变长度的编码输出到发送缓冲器7。
量化步骤(比例)被从量化电路5输入到可变长度编码电路6。预测模式(表示图象内部预测、正向预测、反向预测和双向预测模式中已经被设置的一种模式)和运动矢量也被从运动矢量检测电路2输入到可变长度编码电路6。这些数据也是被变长度编码的。
发送缓冲器7临时存储输入的数据并把对应于存储量的数据输出到量化电路5。
当数据余量增加到一个上限时，发送缓冲器7通过量化控制信号放大量化电路5的量化比例，从而减小量化数据的量。相反，当数据的余量降低到下限时，发送缓冲器7通过量化控制信号减小量化电路5的量化比例，从而增加量化数据的量。以此方式，防止了发送缓冲器7上溢或下溢。
存储在发送缓冲器7内的数据在预定时间被读取并输出到发送信道。
从量化电路5输出的数据被输入到去量化电路8并根据量化电路5提供的量化步骤被去量化。去量化电路8的输出被输入到反离散变换(IDCT)电路9并被反-DCT处理，并通过运算装置10依次被存储在帧存储器组11。
参考图2，描述MPEG内MP@ML解码器结构的一个例子。通过发送信道发送的编码图象数据被接收电路(未图示)接收或被读取装置读取。该数据被临时存储在接收缓冲器31内，然后被提供到可变长度解码电路32。可变长度解码电路32执行对接收缓冲器31提供的数据的可变长度解码，并把运动矢量和预测模式输出到运动位移补偿电路37，把量化步长输出到去量化电路33。此外，可变长度解码电路32把解码的图象数据输出到去量化电路33。
去量化电路33根据可变长度解码电路32提供的量化步长对可变长度解码电路32提供的数据去量化，并把数据输出到IDCT电路34。去量化电路33输出的数据(DCT系数)通过IDCT电路34被反-DCT处理并被提供到运算装置35。
当自IDCT电路34提供的图象数据是I-图画数据时，该数据被从运算装置35输出。为了产生稍后输入到运算装置35的图象数据(P或B图画数据)的预测-图象数据，该图象数据被提供到帧存储器组36并被存储在帧存储器组36。该数据被直接作为读取图象输出。
当输入位流是P或B图画时，运动位移补偿电路37根据可变长度解码电路32提供的运动矢量和预测模式产生预测图象，并把预测图象输出到运算装置35。运算装置35添加从IDCT电路34输入的图象数据和运动位移补偿电路37提供的预测图象数据，并输出生成的图象。当输入位流是P图画时，运算装置35的输出被输入到帧存储器组36并被存储在帧存储器组36内，从而该数据能够被用做要被解码的随后图象信号的基准图象。
在MPEG中，定义了了各种轮廓(profile)和级别(level)，而不是MP@ML。还准备了各种工具。可缩放性(scalability)是MPEG中的工具之一。
在MPEG中，引入一种可缩放编码系统，用于实现对应于不同图象大小和帧速率的可缩放性。例如，在空间可缩放性(space scalability)的情况下，当只解码下层的一个位流时，小图象尺寸的一个图象信号被解码。当解码下层和上层的一个位流时，大图象尺寸的一个图象信号被解码。
参考图3，描述用于空间可缩放性的一个解码器。在空间可缩放性的情况下，下层对应于小图象尺寸的图象信号，上层对应于大图象尺寸的图象信号。
下层的图象信号被输入到帧存储器组1并像在MP@ML中一样被编码。运算装置10的输出被提供到帧存储器组11。该输出不仅被用做下层的预测基准图象，而且在该图象被图象放大电路41放大到上层图象尺寸之后被用做上层预测基准图象。
上层图象信号被输入到帧存储器组51。运动矢量检测电路52测定预定矢量和预测模式，象在MP@ML中一样。
运动位移补偿电路62根据运动矢量检测电路52确定的预定矢量和预测模式产生一个预测图象，并把预测图象输出到加权电路44。加权电路44用加权(系数)W乘以预测图象并把结果输出到运算装置43。
如上所述，运算装置10的输出被输入到帧存储器组11和图象放大电路41。图象放大电路41把运算装置10产生图象信号放大到上层图象大小的尺寸，并把该图象信号输出到加权电路42。加权电路42用加权系数(1-W)乘以图象放大电路41的输出，并把结果输出到运算装置43。
运算装置43加上从加权电路42和44的输出并把总和作为预测图象输出到运算装置53。运算装置43的输出也被输入到运算装置60并被加到IDCT电路59的输出。然后，该总和被输入到帧存储器组61并被用做被编码的最后的图象信号的预测基准帧。
运算装置53计算被编码图象信号和运算装置43的输出之间差值并输出该差值。在帧内编码的宏块的情况下，运算装置53直接输出被编码的图象信号到DCT电路54。
DCT电路54对运算装置53的输出执行离散余玄变换，产生DCT系数，并把DCT系数输出到量化电路55。象在MP@ML中一样，量化电路55根据基于发送缓冲器57的数据存储量等确定的量化比例量化DCT系数，并把量化的DCT系数输出到可变长度编码电路56。可变长度编码电路56对量化的DCT系数执行可变长度编码并经发送缓冲器57把结果作为上层位流输出。
量化电路58根据量化电路55使用的量化比例对量化电路55的输出进行量化。IDCT电路59执行量化结果的反离散余玄变换，并依次输入到运算装置60。运算装置60把运算装置43的输出和IDCT电路59的输出相加，并把总和输入到帧存储器组61。
运动矢量检测电路52确定运动矢量和预测模式、量化电路55使用的量化比例、和加权电路42和44使用的加权系数被输入到可变长度编码电路56，并且都被编码并发送。
在常规运动图象编码器和解码器中，假定这些装置是一一对应的。例如，在电话会议系统中，发送方和接收方总是一一对应的。发送端和接收端的处理容量和规范预先确定。在如DVD或类似介质的存储介质中，解码器的规范和处理容量被事先严格确定，在假定只使用符合规范的解码器的基础上，编码器对运动-图象信号编码。当编码器编码图象信号从而解码器根据预定规范能够实现最佳图象品质时，总是能够发送具有光学图象品质的图象。
然而，当发送运动图象到发送信道如根据时间或路径改变可变发送容量的互联网时，或，当发送运动图象到没有事先确定规范并具有各种处理容量的未规定数量的接收端时，难以知道什么是最佳图象品质。因此，难以有效地发送运动图象。
由于终端的规范不统一，端子之间的用于编码器和解码器的编码系统可以不同。在这种情况下，需要把编码的位流转换成预定的格式。但是，目前还没有建立最佳转换方法。
从上述观点来看，本发明的一个目的是通过具有各种发送容量的发送信道有效地发送图象信号，并把最佳运动图像发送到具有各种处理容量的接收端。
根据本发明的一个方面，提供一种内容提供装置，用于根据其他装置的请求向其他装置提供内容，该装置包括第一获取装置，用于获取与其他装置的功能有关的第一信息。第二获取装置获取与内容有关的第二信息，第二信息对应于第一获取装置获得的第一信息。第三获取装置获取内容。转换装置根据第二获取装置获取的第二信息转换第三获取装置获取的内容。提供装置把转换装置转换的内容提供到其他装置。
第二信息可以包括用于转换内容的一个转换参数和内容的编码难度。第二获取装置可以从描述符获取第二信息，描述符是从内容单独发送的。
转换装置可以包括一个用于解码编码内容的解码装置，和用于根据解码装置执行解码时所使用的解码参数和描述符内描述的第二信息编码被解码装置解码的内容的编码装置。
根据本发明的另一方面，提供一种用于内容提供装置的内容提供方法，该内容提供装置用于根据其他装置的请求向其他装置提供内容，该方法包括，获取关于其他装置功能的第一信息的第一获取步骤。在第二获取步骤中，获取与内容有关的第二信息，第二信息对应于在第一获取步骤中获取的第一信息。在第三获取步骤中，获取内容。在转换步骤中，根据第二获取步骤中获取的第二信息转换在第三获取步骤中获取的内容。提供步骤将在转换步骤中转换的内容提供到其他装置。
根据本发明的另一方面，提供一种其上记录有程序的记录介质，该程序用于内容提供装置，内容提供装置根据其他装置的请求向其他装置提供内容。该程序包括，获取关于其他装置功能的第一信息的第一获取步骤。在第二获取步骤中，获取与内容有关的第二信息，第二信息对应于在第一获取步骤中获取的第一信息。在第三获取步骤中，获取内容。在转换步骤中，根据第二获取步骤中获取的第二信息转换在第三获取步骤中获取的内容。提供步骤将在转换步骤中转换的内容提供到其他装置。
根据本发明的另一方面，提供一种信号产生装置，用于根据内容产生与内容有关的内容-信息信号。该信号产生装置包括一个编码难度分析电路，用于分析内容的编码难度并把结果作为内容-信息信号输出。一个存储器，存储内容和内容-信息信号。
编码难度分析电路可以包括用于分析内容的运动位移补偿难度的第一分析电路。
编码难度分析电路可以包括用于分析空间域中内容的压缩难度的第二分析电路。
根据本发明的另一方面，提供一种转换装置，用于把内容转换成预定格式的内容。该装置包括，用于存储内容和与内容有关的内容-信息信号的存储器。第一获取装置，获取用于读取内容的终端上的信息。转换装置，根据内容-信息信号把内容转换成适合于终端的格式。该内容-信息信号包括编码难度信息，编码难度信息表示内容的编码难度。转换装置，根据编码难度信息转换内容。
根据本发明的另一方面，提供一种读取终端，用于把内容转换成预定格式并读取该内容，该读取终端包括，一个用于存储内容和与内容有关的内容-信息信号的存储器。一个转换装置，根据内容-信息信号把内容转换成适合于该读取终端的格式。一个读取装置，读取该内容。该内容-信息信号包括编码难度信息，编码难度信息表示内容的编码难度。转换装置，根据编码难度信息转换内容。
根据本发明，获取的内容根据第二信息被转换并提供到其他装置。因此能够执行内容的高效发送，发送到具有各种发送容量的发送信道和具有各种处理容量的装置。此外，能够响应其他装置的请求来发送内容和关于该内容的信息，因此实现能够根据其他装置的容量提供内容的系统。
图1是常规MPEG编辑码器的结构方框图；图2是常规MPEG解码器的结构方框图；图3是另一个常规MPEG编码器的结构方框图；图4是根据本发明一个实施例的系统的结构方框图；图5是图4所示多媒体内容服务器的结构方框图；图6是图4所示数据访问服务器的结构方框图7是图6所示代码转换装置的结构方框图；图8A和8B是描述代码转换的曲线图；图9A到9D是描述代码转换的曲线图；图10示出了在图4所示多媒体内容服务器中进行的记录；图11A和11B是图10所示编码难度分析电路的结构方框图；图12A到12D示出了内容-信息信号的结构；图13示出了TranscodingHint描述符的结构；图14示出了MediaInformation的结构；图15示出了Segment的结构；图16示出了全部MPEG-7数据结构；图17示出了图10所示编码难度分析电路的结构的另一个例子的方框图；图18是一个流程图，示出了图17所示内容-信息信号产生电路执行的处理；图19A到19C示出了Media TranscodingHint Ds的结构；图20是描述DifficultyType的表；图21示出了Media TranscodingHint描述符的结构；图22示出了MediaInformation的结构；图23示出了视频数据和Segment之间的关系；和图24是个人计算机结构的一个例子的方框图。
第一实施例图4示出了根据本发明第一实施例的系统的结构。
多媒体内容服务器101在诸如硬盘等(例如图5所示内容存储装置112，将在后面对其描述)的存储介质中记录并存储诸如移动图像等多媒体内容。多媒体内容被解压缩或以压缩位流格式被记录，压缩位流格式如MPEG-1、MPEG-2或MPEG-4(以下缩写为MPEG-1/2/4或类似形式)。
接收端(客户)103请求接收并显示多媒体内容。用户使用接收端103获取内容。接收端103发送请求预定内容的内容请求信号1和客户信息信号，客户信息信号表示其拥有的处理容量，如存储器大小、图象显示装置分别率、计算容量、缓冲器大小、可解码位流格式等。
内容请求信号1是包括请求的内容的语义内容，如电影标题。内容请求信号1被MPEG-7编码系统编码。
数据访问存储器102通过网络或预定发送信道从接收端103接收内容请求信号1和客户信息信号。数据访问存储器102通过网络或预定发送信道向多媒体服务器101发送内容-信息请求信号，用于请求关于根据内容请求信号1请求的内容的信息。
多媒体内容服务器101记录多媒体内容和在内置存储介质内记录的有关多媒体内容的信息。当多媒体服务器101接收内容-信息请求信号时，多媒体服务器101基于接收的内容-信息请求信号向数据访问存储器102发送预定的内容-信息信号。
内容-信息信号包括关于记录在多媒体服务器101内的多媒体内容的信息。内容-信息信号包括信息如文件名、内容标题、作者、演员表、以及类似内容。内容-信息信号包括语义信息和物理信息，并通过MPEG-7被编码。物理信息包括，例如，记录在存储介质内的文件名和表明位流内预定位置的指针。语义信息包括，例如，内容的标题和演员表。
数据访问存储器102基于内容-信息信号、内容请求信号1、和客户信息信号定义预定的内容，并向多媒体服务器101发送一个用于请求内容的内容请求信号2。
内容请求信号2包括，例如，文件名。内容请求信号2包括物理信息，如文件名或表明位流内的预定位置的指针。内容请求信号2通过例如MPEG-7被编码。
多媒体服务器101向数据访问存储器102发送内容请求信号2请求的多媒体(MM)内容。
数据访问存储器102从多媒体服务器101接收内容-信息信号和多媒体内容。数据访问存储器102根据客户信息信号和内容-信息信号把多媒体内容转换成最佳格式(通过被称为“代码转换”的处理)。数据访问存储器102把转换的多媒体内容发送到接收端103。
继续参考图4，数据访问存储器102和接收端103通过发送信道隔开，数据访问存储器102和多媒体服务器101通过发送信道隔开。多媒体服务器101、数据访问存储器102、和接收端103标明为独立的装置。或者，这些装置可以安装在单个的终端中。例如，多媒体服务器101、数据访问存储器102、和接收端103可以设置在一个单个的终端内。多媒体服务器101和数据访问存储器102可以设置在一单个的终端内，接收端103可以设置为被网络隔离的单独终端。类似地，多媒体服务器101可以被设置为一个被网络隔离的单独终端，数据访问存储器102和接收端103可以设置在一单个的终端内。在下面的描述中，为了简化描述，这些装置被描述为独立的装置。但是，下面的描述应用于所有装置被设置在单个终端内的情况。
参考图5，示出了图4所示多媒体服务器101的结构的一个例子。中间数据存储装置111记录描述内容信息的内容-信息信号和其他中间数据。内容存储装置112记录包括移动图像的多媒体内容。
涉及内容的内容-信息信号和其他中间数据包括语义和物理信息。语义信息包括，例如，电影标题和导演姓名。物理信息包括，例如，文件名、URL和表明位流中预定位置的指针。内容-信息信号和中间数据通过例如MPEG-7被编码并被记录。
多媒体内容本身通过各种格式如MPEG-1/2/4被编码，并被记录在内容存储装置112内。
数据访问存储器102输入的内容-信息请求信号被输入到中间数据管理器113。中间数据管理器113管理记录在中间数据存储装置111内的中间数据和内容-信息信号。中间数据管理器113向中间数据存储装置111提供内容-信息请求信号。
中间数据存储装置111根据提供的内容-信息请求信号搜索预定的中间数据或内容-信息信号，并向中间数据管理器113提供搜索结果。中间数据管理器113把内容-信息信号输出到图4所示数据访问存储器102。
从数据访问存储器102输入的内容请求信号2被输入到多媒体内容管理器114。多媒体内容管理器114管理记录在内容存储装置112内的多媒体内容。多媒体内容管理器114向内容存储装置112提供内容请求信号2。
内容存储装置112根据提供的内容请求信号2搜索预定的多媒体(MM)内容，并把搜索结果输出到多媒体内容管理器114。多媒体内容管理器114把多媒体内容输出到图4所示的数据访问存储器102。
图6示出了图4所示数据访问存储器102的结构的一个例子。数据访问存储器102包括代码转换管理器121、代码转换装置122、和代码转换资料库123。
从图4所示接收端103输入的客户信息信号被输入到代码转换管理器121。从图4所示多媒体服务器101输入的内容-信息信号被输入到代码转换管理器121。
代码转换管理器121根据客户信息信号和内容-信息信号确定多媒体内容的输出格式。代码转换管理器121把代码转换类型信息输出到代码转换装置122。代码转换类型信息表示多媒体内容的输出格式和代码转换装置122的代码转换方法。
代码转换管理器121把内容有效性信息和内容-信息信号输出到图4所示接收端103。当在多媒体服务器101内没有检测到请求的内容时，代码转换管理器121把内容有效性信息设置为“0”。当在多媒体服务器101内检测到请求的内容时，代码转换管理器121把内容有效性信息设置为“1”。
代码转换装置122根据代码转换类型信息转换输入的内容。
代码转换装置122可以以在中央处理器(CPU)或数字信号处理器(DSP)上运行的软件模块来实现。在这种情况下，代码转换装置122根据代码转换类型信息使用记录在代码转换资料库123内予置的代码转换工具，并执行代码转换(内容的转换)。根据代码转换类型信息，代码转换装置122把工具请求信号输出到代码转换资料库123。代码转换资料库123把请求的软件模块(代码转换工具)输出到代码转换装置122。代码转换装置122预备必须的存储器或类似装置用于执行软件模块，并使用该软件模块执行代码转换。
参考图7，描述代码转换装置122的结构的一个例子。实现代码转换装置122最简单的方法是解码该内容(位流)然后通过在预定格式使用下一个编码器再次编码该内容。
在图7所示的代码转换装置122中，多媒体服务器101提供的位流被输入到解码器131并被解码。解码的图象信号被提供到一格式下的编码器132，在该格式下接收端103能够接收数据，并且该信号被编码。
当位流被解码器131解码时，如运动矢量、量化系数、和编码模式之类的编码参数被解码，被提供到编码器132，并且当编码器132编码一个图象信号时该编码参数被使用。编码器132根据解码器131提供的编码参数和代码转换管理器121提供代码转换类型信息对解码的图象进行编码，产生预定格式下的位流，并输出该位流。
参考图8A和8B，描述代码转换装置122通过内容-信息信号执行的代码转换方法的一个例子。
当编码预定的内容时，即使在相同的比特率下进行，图象品质也会根据帧大小、帧速率等而不同。图8B中示出了这样的一个例子。当使用三个不同的帧大小和帧速率对相同图象编码时，该曲线示出了比特率(图8B中的横坐标)和图象品质(图8B中的纵坐标)之间的关系。当比特率足够高时，当图象为高帧速率(30HZ)时的大帧(ITU-R建议601)时图象品质最佳。在低比特率时，图象品质开始突然恶化。
在预定的比特率RB2或更低处，当图象尺寸Rec.601纵向和横向缩短到一半时以及当帧速率被降低(降低到10Hz)时，被编码的图象的图象品质提高。在预定的比特率RB1或更低，当图象尺寸SIF纵向和横向进一步缩短到一半时(QSIF)，被编码的图象的图象品质提高。在每个比特率获得最佳图象质量的图象尺寸和帧速率取决于图象参数。图8B所示关系对每一内容是不同的。
本实施例中的内容-信息信号例如是在每个比特率对内容进行编码的最佳编码参数。图8A示出了这样的一个例子。对于在比特率RA1或更低时的内容-信息信号，使用1/4-大小帧和10Hz帧速率进行编码。在比特率范围RA1到RA2，使用1/2-大小帧进行编码。在比特率RA2或更高时，使用Rec601-大小和30Hz帧速率进行编码。
下面详细描述在这种情况下内容-信息信号的方法。
参考图9A到9D，描述代码转换装置122通过内容-信息信号执行的代码转换方法的改进。发送预定的多媒体内容的发送信道包括两种类型，即，具有允许比特率随时间变化的可变比特率的发送信道和具有固定比特率的发送信道。编码系统包括两种类型，即，适于以可变比特率编码的编码系统和以固定比特率编码的编码系统。
例如，在电话会议系统中，当通过无线发送联接进行广播时，以固定比特率编码位流。相反，在DVD或类似装置中，以可变比特率编码位流。在编码系统如MPEG-1和H.263中，只能以固定比特率进行编码。在MPRG-2和MPEG-4中，能够以可变比特率进行编码。
当对内容进行编码时，当以与固定比特率相反的可变比特率对内容进行编码时，图象质量通常更好。内容的编码效率取决于图象的参数。如果内容不同，编码效率也会不同。单条内容具有随时间不同的编码效率。图9A示出了时间-变化的编码难度的一个例子。时间为横坐标，编码难度为纵坐标。在低编码难度的情况下，能够在低比特率实现好的图象质量。相反，在高编码难度的情况下，难以在高比特率实现足够的图象质量。
图9B示出了当以固定比特率对运动图像编码时的时间-变化的图象质量曲线。对比图9A和图9B，显然，当以固定比特率进行编码时，在低编码难度情况下图象质量提高，而在高编码难度情况下图象质量下降。因此，图象随时间较大地变化。
图9C示出了当以可变比特率对图9A所示情况下使用的运动图像进行编码时的时间-变化的比特率曲线。在高编码难度的情况下，分配更高的比特率。在低编码难度的情况下，分配相对小量的比特。结果，图象质量改变，如图9D所示。通过比较，当以固定比特率进行编码时(图9B)，即使内容产生的比特数相同，可变比特率情况下的平均图象质量更好。在可变比特-率编码中，图象质量随时间的变化很小。
为了有效地执行可变比特-率编码，需要分析全部运动图像的编码难度并事先确定特性，如图9A所示。可以准备一个较大容量的缓冲器并在缓冲器可允许的范围内测量编码难度。在该方法中，在容量范围内进行最优化。不意味着进行全部内容的最优化。
为了解决上述问题，在多媒体内容服务器101输出的内容-信息信号中描述如图9A所示内容编码难度信息。代码转换装置122通过编码难度信息以可变比特率对以固定比特率编码的位流进行编码。
具体地，在图7所示例子的代码转换装置122中，编码器132根据多媒体内容服务器101提供的内容-信息信号对位流进行编码并输出该位流。
相反，参考图10，当在图4所示媒体内容服务器101内记录预定的多媒体内容时，从外面提供位流到媒体内容服务器101。该位流被输入到编码难度分析电路141。虽然在该例中位流被输入，能够直接输入一个未压缩的运动图像。
编码难度分析电路141分析内容的编码难度，获得一个如图9A所示的编码难度特性。编码难度分析电路141把该特性作为内容-信息信号输出到中间数据存储装置111，并把输入的内容位流输出到内容存储装置112。
图11A和11B示出了编码难度分析电路141的结构的一个例子。参考图11A，一个输入位流首先被输入到分析电路(分析程序)151，并从位流提取编码参数(如量化系数和比特数)。提示发生器152获得每一帧中的量化系数平均数Q和在该帧中产生的比特B的数量。此外，提示发生器152计算Q×B以获得该帧的编码难度，并把该编码难度作为内容-信息信号提供到中间数据存储装置111。中间数据存储装置111记录该内容-信息信号。
图11B示出了编码难度分析电路141的改进。在该例中，通过解码器161解码输入的位流。解码的图象被输入到编码器162。编码器162在固定的量化比如Q=1对图象编码。在Q=1时编码的每一个帧内产生的比特数就是该帧的编码难度，编码难度被作为内容信息提供到中间数据存储装置111。中间数据存储装置111记录该内容信息。
参考图12A到12D，示出了描述内容-信息信号的格式的一个例子。在图12A到12D所示的例子中，在图12A所示的TranscodingHint内描述了内容-信息信号，TranscodingHint是包含可以给出关于代码转换的提示的信息的描述符。在图12A所示的例子中，TranscodingHint包括一个ID、一个TranscodingParameterSet描述符、和一个TranscodingComplexityHint描述符。该ID是一个用于标识描述符的标识号。
参考图12B，当以每一个比特率进行编码和代码转换时，TranscodingParameterSet是用于描述最佳编码参数的描述符。TranscodingParameterSet包括一个ID、MinBitRate、MaxBitRate、FrameRate、和FrameSize。
MinBitRate是一个表示最小比特率的标记，在该比特率时描述符内的信息有效。
MaxBitRate是一个表示最大比特率的标记，在该比特率时描述符内的信息有效。
FrameRate是表示当在从MinBitRate到MaxBitRate的比特率范围内编码特殊图象时获得最佳图象质量的帧速率。
FrameSize是表示当在从MinBitRate到MaxBitRate的比特率范围内编码特殊图象时获得最佳图象质量的帧大小。
TranscodingComplexityHint是描述对内容编码和代码转换的复杂性的描述符。图12C示出了TranscodingComplexityHint的结构。StartMediaLocator是指示位流的标题的指针，在该位流中，描述符内的信息是有效的。
EndMediaLocator是指示位流的末端的指针，在该位流中，描述符内的信息是有效的。Complexity是表示位流的StartMediaLocator和EndMediaLocator之间部分的编码难度的标记。
图12D示出了TranscodingComplexityHint的结构的另一个例子。StartFrameNumber是指示标题帧的帧号的指针，在该标题帧中，描述符内的信息是有效的。
EndFrameNumber是指示最后帧的帧号的指针，在该最后帧中，描述符内的信息是有效的。
Complexity是表示位流的StartFrameNumber和EndFrameNumber之间部分的编码难度的标记。
图13示出了图12A所示以常规模型化语言(UML)写成的TranscodingHint描述符的数据结构。TranscodingHint包括至少一个TranscodingParameterSet和至少一个TranscodingComplexityHint。TranscodingParameterSet的副本数为零或更多。而且，TranscodingComplexityHint的副本数为零或更多。
MPEG-7是用于描述内容信息的中间数据的一个标志。MPEG-7包括多个描述符。ISO/IEC SC29/WG11 N3112、N3113和N3114中描述了MPEG-7的详细规范。TranscodingHint描述符可以构造为MPEG-7中的中间数据的一种类型。
图14示出了MPEG-7中MediaInformation(包括MediaIdentification、MediaFormat、MediaCoding、MediaTranscodingHint和MediaInstance)的数据结构的一个例子，上述TranscodingHint描述符被添加到MediaInformation。MediaInformation是用于描述内容的介质的描述符，如编码系统等。在MediaInformation中描述了零或一个TranscodingHint。
MediaInformation被添加到全部内容或部分内容。在该例中，TranscodingHint也被添加到全部内容或部分内容。
图15示出了描述MPEG-7内Segment中的TranscodingHint的数据结构的一个例子。Segment是用于描述当内容被分成多个分区(division)或场景(scene)时每一个分区上的信息的描述符。在该例中，在VisualSegment和AudioSegment中描述了零或一个TranscodingHint。
Segment被添加到部分内容。在该例中，TranscodingHint也被添加到部分内容。
图16示出了当TranscodingHint被添加到图14所示MPEG-7中MediaInformation时整个MPEG-7数据结构。
第二实施例下面描述根据本发明的第二实施例的系统。根据第二实施例，形成内容-信息信号的编码难度包括表示运动位移补偿难度的信息和表示内部编码难度的信息。基于这两条信息，难以获得第一实施例的内容中的预定场景的编码难度，如图9A所示。图17示出了在这种情况下图10所示编码难度分析电路141的结构的一个例子。
如果需要，通过解码器201对输入的位流解码，并且解码的位流被提供到编码器202到205。编码器202使用量化比例如Q=1对从解码器201输入的图象数据执行内部编码。当以Q=1进行编码时每一帧中产生的比特数是编码该帧的内部编码难度，并被一次输入到内容-信息信号产生电路208。
编码器203使用固定的量化比例例如Q=1执行编码(Ⅰ和P图画的编码)。编码器204使用固定的量化比例例如Q=1和m=2(在相邻两个P图画之间插入一个单帧B图画)执行编码。编码器205使用固定的量化比例例如Q=1和m=3(在相邻两个P图画之间的两帧中插入B图画)执行编码。
平均值电路206计算编码器203到205的输出平均值。该平均值被作为运动位移补偿编码难度提供到差分电路207。
差分电路207从编码器202的输出减去平均值电路206的输出，并把该差分值提供到内容-信息信号产生电路208。该段(segment)的开始时间和结束时间被从外部装置(未图示)提供到内容-信息信号产生电路208。内容-信息信号产生电路208根据编码器202的输出和差分电路207的输出产生由该开始时间和结束时间规定的段的内容-信息信号。该内容-信息信号被提供到中间数据存储装置111。
在操作中，如果需要，对输入位流解码并把解码的位流提供到编码器202到205。编码器202仅使用Q=1执行内部编码。每一帧中产生的比特数表示编码该帧的内部编码难度。内部编码难度被提供到内容-信息信号产生电路208和差分电路207。
在TextureHint(图19C)中描述了内部编码难度，这将在后面进行描述。
编码器203使用Q=1和m=1对解码器201提供的图象数据进行编码。编码器204使用使用Q=1和m=2对从解码器201输出的图象数据进行编码。编码器205使用Q=1和m=3对解码器201提供的图象数据进行编码。编码器203到205输出每一帧中产生的比特数到平均值电路206。
平均值电路206计算编码器203和205提供的每一帧中产生的比特数的平均值。该平均值被作为运动位移补偿难度提供到差分电路207。
差分电路207从编码器202提供的表示内部编码难度的内部编码难度减去平均值电路206提供的运动位移补偿难度。余数被作为运动位移补偿难度提供到内容-信息信号产生电路208。
在MotionHint(图19B)中描述了运动位移补偿难度，这将在后面描述。
内容-信息信号产生电路208根据编码器202提供的内部编码难度和差分电路207提供的运动位移补偿难度产生内容-信息信号，并把内容-信息信号提供到中间数据存储装置111。中间数据存储装置111记录提供的内容-信息信号。
图18是一个流程图，示出了内容-信息信号产生电路208执行的内容-信息信号产生过程。
在步骤S1，内容-信息信号产生电路208计算由开始时间和结束时间规定的段中所有帧内的内部编码难度的总数。
段代表时间域内视频信号的预定间隔。视频内容包括单个或多个段。下面参考图22描述段的一个具体例子。
在步骤S2，内容-信息信号产生电路208计算全部序列中所有帧的内部编码难度的总数。
在步骤S3，内容-信息信号产生电路208使用下面的等式执行标准化，计算TextureHint中的Difficulty(难度)，如下述Difficulty(难度)=(段中内部编码难度的和÷段中的帧数)÷(全部序列中内部编码难度的和÷全部序列中帧数)获得每一段的Difficulty(难度)。
在步骤S4，内容-信息信号产生电路208计算段中内部编码难度的总数。在步骤S5，计算全部序列的编码难度。在步骤S6，内容-信息信号产生电路208使用下面的等式执行每一段的标准化，计算MotionHint的MotionHint_uncompensability，如下述MotionHint_uncompensability=(段中运动位移补偿难度的和÷段中的帧数)÷(全部序列中内部编码难度的和÷全部序列中帧数)获得每一段的MotionHint_uncompensability。
在步骤S7，内容-信息信号产生电路208根据步骤S3和S6中的计算结果产生MediaTranscodingHint，作为内容-信息信号。
MediaTranscodingHint是用于描述执行代码转换的最佳编码参数的描述符。图19A示出了本发明第二实施例中的MediaTranscodingHint描述符。
参考图19A,MediaTranscoding包括一个ID、UtilityScaling()、MotionHint()、和TextureHint()。
UtilityScaling是用于描述每一比特率时内容的图象质量的描述符。
参考图19B,MotionHint是用于描述内容的运动位移补偿难度的描述符。MotionHint包括一个ID、Motion_uncompensability、Motion_rang_x_left、Motion_rang_x_right、Motion_rang_y_left、和Motion_rang_y_right。
当帧间相关为低时，能够通过运动位移补偿提高的编码效率不是很高。因此需要向帧间相关为低的部分分配更多的比特。Motion_uncompensability是从0到1取值的参数。值0表示帧相同，值1表示在帧间检测到不相关。从差分电路207输出的运动位移补偿难度在Motion_uncompensability中被描述。
Motion_rang_x_left和Motion_rang_x_right表示运动位移补偿造成的在水平方向上运动变化最大量。类似地，Motion_rang_y_left、和Motion_rang_y_right表示运动位移补偿造成的在竖直方向上运动变化最大量。这表示运动矢量检测在水平和竖直方向上最大搜索范围。通过事先规定运动矢量最大值，在维持图象质量的同时代码转换要求的计算量降低。
TextureHint是描述空间域中内容的压缩难度的描述符。在TextureHint中描述图17所示的编码器202输出的内部编码难度。参考图19C,TextureHint包括一个ID、Difficulty、和DifficultyType。
Difficulty是表示内容的内部编码难度的标记，即，表示不执行运动位移补偿的编码难度。
DifficultyType是表示难度处理的标志，即，表示如何测量描述符中描述的Difficulty。参考图20,DifficultyType中的值“0”表示Encoding Difficulty。
图21示出了UML表示的图19A中的MediaTranscodingHint的数据结构。
MediaTranscodingHint描述符包括零和一个UtilityScaling描述符、零或一个MotionHint描述符、和零或一个TextureHint描述符。
参考图22，图21所示MediaTranscoding包括MediaIdentification、MediaFormat、MediaInstance、和MediaInformation,MediaInformation描述内容的介质，如编码系统等。
MediaInformation被添加到整个内容或部分内容。因此，MediaTranscodingHint也被添加到整个内容或部分内容。
图23简单示出了MediaTranscodingHint与视频数据的关系。视频内容211包括至少一个序列。场景(段)212是部分序列，由开始时间和结束时间来定义。在Segment描述符213中描述与段212有关的信息(开始时间、结束时间等)。单个MediaInformation描述符214可以针对单个内容或单个Segment描述符来定义。当定义MediaInformation描述符214为Segment描述符213的子描述符时，由于MediaTranscodingHint描述符215是MediaInformation描述符214的子描述符，MediaTranscodingHint描述符215被针对每一个段(场景)定义。MediaTranscodingHint描述符215包括子描述符，即，UtilityScaling描述符216、MotionHint描述符217、TextureHint描述符218。
MediaInformation描述符214及其子描述符成为Segment描述符213的子描述符。该描述符的内容仅在从开始时间到结束时间的时间段内有效，由母描述符Segment描述符213来定义。
可以通过硬件或软件来执行上述处理。当通过软件执行处理系列时，程序从网络或记录介质装入通过安装各种程序能够执行各种功能的个人计算机内或专用硬件中的计算机内。
图24示出了执行上述处理的个人计算机结构的一个例子。中央处理器(CPU)221根据存储在只读存储器(ROM)222内的程序或从存储装置228装入到随机存取存储器(RAM)223的程序执行各种处理。随着需要，RAM223存储CPU221需要的数据以执行各种处理。
CPU221、ROM222、RAM223通过总线224互联。输入/输出接口225被连接到总线224。
输入装置226包括一个键盘和鼠标；输入装置227包括一个显示装置，例如阴极射线管(CRT)或液晶显示器(LCD)，和一个扬声器；存储装置228包括一个硬盘；包括一个调制解调器和终端适配器的通信装置229被连接到输入/输出接口225。通信装置229通过网络执行通信处理。
如果需要，驱动器230可以连接到输入/输出接口225。可以正确地插入磁盘241、光盘242、磁光盘243、和/或半导体存储器244。可以从这些记录介质读取计算机程序并能够根据环境需要安装在存储装置228内。
为了向用户提供程序，记录有程序的记录介质与计算机分离配置。记录介质包括封装的介质如磁盘241(包括软盘)、光盘242(包括密致盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘243(包括迷你盘(MD))、和半导体存储器244。此外，记录介质包括记录有程序的ROM222或包括在存储装置228内的硬盘，它们被预先装在计算机内然后分配给用户。
在当前描述中，写入记录在记录介质上的程序的步骤不仅包括根据描述的次序执行的时间序列处理，还包括不是必须按时间序列执行的并行或单独处理。
在当前的描述中，该系统代表由多个装置形成的整个装置。此外，虽然以图象信号为例简明地描述了内容，但内容并不局限于图象信号。内容包括声频信号、程序、文本信号等。
权利要求
1．一种内容提供装置，用于根据其他装置的请求向另一个装置提供内容，该装置包括第一获取装置，用于获取与所述其他装置的功能的有关第一信息；第二获取装置，用于获取与内容有关的第二信息，第二信息对应于由所述第一获取装置获得的第一信息；第三获取装置，用于获取内容；转换装置，用于根据所述第二获取装置获取的第二信息转换所述第三获取装置获取的内容；和提供装置，用于把所述转换装置转换的内容提供到所述其他装置。
2．根据权利要求1的内容提供装置，其中第二信息包括用于转换内容的一个转换参数和该内容的编码难度。
3．根据权利要求1的内容提供装置，其中第二获取装置从描述符获取第二信息，描述符是从内容单独发送的。
4．根据权利要求3的内容提供装置，其中所述转换装置包括解码装置，用于解码编码的内容；和编码装置，用于根据所述解码装置执行解码时所使用的解码参数和描述符内描述的第二信息对被解码装置解码的内容进行编码。
5．一种用于内容提供装置的内容提供方法，该内容提供装置用于根据其他装置的请求向另一个装置提供内容，该方法包括第一获取步骤，用于获取与所述其他装置的功能有关的第一信息；第二获取步骤，用于获取与内容有关的第二信息，第二信息对应于在所述第一获取步骤中获取的第一信息；第三获取步骤，用于获取内容；转换步骤，用于根据在所述第二获取步骤中获取的第二信息转换在所述第三获取步骤中获取的内容；提供步骤，用于将在所述转换步骤中转换的内容提供到所述其他装置。
6．一种其上记录有程序的记录介质，该程序用于内容提供装置，内容提供装置根据所述其他装置的请求向另一个装置提供内容，该程序包括第一获取步骤，用于获取与所述其他装置的功能有关的第一信息；第二获取步骤，用于获取与内容有关的第二信息，第二信息对应于在所述第一获取步骤中获取的第一信息；第三获取步骤，用于获取内容；转换步骤，用于根据在所述第二获取步骤中获取的第二信息转换在所述第三获取步骤中获取的内容；提供步骤，用于把在转换步骤中转换的内容提供到其他装置。
7．一种信号产生装置，用于根据内容产生与内容有关的内容-信息信号，该信号产生装置包括一编码难度分析电路，用于分析内容的编码难度并把结果作为内容-信息信号输出；和一存储器，用于存储内容和内容-信息信号。
8．根据权利要求7的信号产生装置，其中所述编码难度分析电路包括用于分析内容的运动位移补偿难度的第一分析电路。
9．根据权利要求8的信号产生装置，其中所述第一分析电路输出一个表示内容的帧间相关的参数。
10．根据权利要求8的信号产生装置，其中所述第一分析电路输出一个关于内容的运动位移补偿的运动搜索范围。
11．根据权利要求7的信号产生装置，其中所述编码难度分析电路包括用于分析空间域中内容的压缩难度的第二分析电路。
12．根据权利要求11的信号产生装置，其中所述第二分析电路在内容的每一个帧被内部编码时输出一个内部编码难度。
13．根据权利要求7的信号产生装置，其中所述编码难度分析电路分析段装置内的编码难度，通过分隔内容获得段。
14．根据权利要求7的信号产生装置，其中所述编码难度分析电路分析编码难度、标准化编码难度、并将标准化后的编码难度作为内容-信息信号输出。
15．根据权利要求7的信号产生装置，其中内容和内容-信息信号被分别存储在单独的存储器中。
16．一种信号产生方法，用于根据内容产生与内容有关的内容-信息信号，该方法包括一个编码难度分析步骤，用于分析内容的编码难度并把结果作为内容-信息信号输出；和一个存储步骤，在存储器中存储内容和内容-信息信号。
17．一种转换装置，用于把内容转换成预定格式的内容，该装置包括存储器，用于存储内容和与内容有关的内容-信息信号；第一获取装置，获取用于读取内容的终端上的信息；转换装置，根据内容-信息信号把内容转换成适合于所述终端的格式；其中该内容-信息信号包括编码难度信息，编码难度信息表示内容的编码难度；和所述转换装置根据编码难度信息转换内容。
18．根据权利要求17的转换装置，其中编码难度信息包括表示内容的运动位移补偿难度的信息。
19．根据权利要求17的转换装置，其中编码难度信息包括表示内容的帧间相关的参数。
20．根据权利要求17的转换装置，其中编码难度信息包括表示关于内容的运动位移补偿的运动搜索范围。
21．根据权利要求17的转换装置，其中编码难度信息包括表示空间域内的内容压缩难度的信息。
22．根据权利要求17的转换装置，其中编码难度信息包括表示当内容的每一个帧被内部编码时的内部编码难度。
23．根据权利要求17的转换装置，其中编码难度信息包括段装置中的编码难度信息，通过分隔内容获得段。
24．根据权利要求17的转换装置，其中编码难度信息包括标准化的编码难度信息。
25．一种转换方法，用于把内容转换成预定格式的内容，该方法包括存储步骤，用于把内容和与内容有关的内容-信息信号存储在存储器内；获取步骤，获取用于读取内容的终端上的信息；转换步骤，根据内容-信息信号把内容转换成适合于所述终端的格式；其中该内容-信息信号包括编码难度信息，编码难度信息表示内容的编码难度；和在所述转换步骤中，根据编码难度信息转换内容。
26．一种读取终端，用于把内容转换成预定格式并读取该内容，该读取终端包括一个存储器，用于存储内容和与内容有关的内容-信息信号；一个转换装置，根据内容-信息信号把内容转换成适合于所述读取终端的格式；一个读取装置，读转换的内容；其中内容-信息信号包括编码难度信息，编码难度信息表示内容的编码难度；以及所述转换装置根据编码难度信息转换内容。
27．一种用于读取终端的读取方法，该读取终端把内容转换成预定格式并读取该内容，该读取方法包括一个存储步骤，用于把内容和与内容有关的内容-信息信号存储在存储器内；一个转换步骤，根据内容-信息信号把内容转换成适合于所述读取终端的格式；一个读取步骤，读转换的内容；其中内容-信息信号包括编码难度信息，编码难度信息表示内容的编码难度；以及在所述转换步骤中，根据编码难度信息转换内容。
全文摘要
一种内容提供装置,包括多媒体内容服务器,多媒体内容服务器以预定比特率保持编码参数的列表。根据基于编码参数列表的发送容量确定用于发送位流的编码参数。根据获得的编码参数,位流被转换并被发送到发送信道。
文档编号H04N7/26GK1321945SQ0111730
公开日2001年11月14日 申请日期2001年3月13日 优先权日2000年3月13日
发明者铃木辉彦, 彼得·库恩 申请人:索尼公司