专利名称：媒体数据传送系统与媒体数据传送方法
技术领域：
本发明涉及传送媒体数据分组的数据流的媒体数据传送系统与媒体数据传送方法。
5是将存于缓冲器2的图像信号与存于缓冲器4的声音信号复用而构成数据流、并将该数据流输出到传输线路6的复用装置；6是传输线路；7是分离装置，它接收数据流并作分离处理，将经编码的图像信号存入缓冲器8，并将经编码的声音信号存入缓冲器10；8是存放经编码的图像信号的缓冲器；9是将存于缓冲器8的图像信号解码的图像解码器；10存放经编码的声音信号的缓冲器；11是将存于缓冲器10的声音信号解码的声音解码器。
接着，就动作进行说明。首先，图像编码器1按规定的编码方式将图像信号编码后存入缓冲器2，声音编码器3按规定的编码方式将声音信号编码后存入缓冲器4。再有，经编码的图像信号与声音信号成为被称为ES(elementary stream基本流)数据的串行的比特列数据格式。
复用装置5将存于缓冲器2的图像信号和存于缓冲器4的声音信号复用而构成数据流，并将该数据流输出至传输线路6。
再有，复用装置5在将图像信号与声音信号复用时，ES数据作为PES(分组的基本流)数据被分组输出至传输线路6。另外，也有将PES数据作为TS(传输流)数据或PS(节目流)数据构成进行传送的场合。
图2是表示数据流的分级结构的说明图。ES、PES、TS、PS格式具有分级结构，以图2所示的各种组合传送。
分离装置7接收来自传输线路6的数据流后即实施分离处理，然后将经编码的图像信号存入缓冲器8，将编码的声音信号存入缓冲器10。
图像解码器9对存入缓冲器8的图像信号进行解码，声音解码11对存入缓冲器10的声音信号进行解码，这里，就各种格式的定时安装进行说明。
在BS格式的图像数据中，安装称为VBV_delay的定时定义。VBV_delay用以对存在于图像解码器9的VBV缓冲器中的编码数据的存储量进行调整，采用两种方法。
第一种方法是，在以固定速率传送编码数据时使用的方法，以VBV_delay定义的时间额将编码数据存储在VBV缓冲器中，其后进行解码。通过使用VBV_delay，可以防止VBV缓冲器的上溢与下溢。
第二种方法是，在将存于DVD播放器等的存储媒体中的编码数据输入图像解码器9时使用的方法，将VBV_delay设定于16进制的FFFF值上，将编码数据装入VBV缓冲器直至装满，在装满的时刻开始进行解码。编码数据的供给，如果VBV缓冲器没满就将数据输入VBV缓冲器；如果满了就进行调整，在从VBV缓冲器中消除若干数据之前不对VBV缓冲器进行数据输入。
在PES格式中，可以附加称为PTS(演示时间戳)的时间戳和称为DTS(解码时间戳)的时间戳。PTS表示声音与图像的显示时刻，DTS表示声音与图像的解码时刻，这样可以独立设定对已编码的图像与声音数据的解码时刻和显示时刻。
如设显示单元k的显示时刻为tpn(k)，PTS可以如下表示PTS(k)＝((SCF×tpn(k)DIV300))％233式中，SCF表示系统时钟频率(system clock frequency)，在劝告书中SCF定义为27MHz。
并且，如设存取单元j的解码时刻为tdn(j)，DTS可如下表示DTS(j)＝((SCF×tdn(j)DIV300))％233现用图3说明DTS、PTS的使用实例。
DTS、PTS在编码图像中，用于转移B图像(双向预测编码图像)。B图像，从作为显示时刻中前、后的I图像(帧内编码图像)或P图像(帧间顺向预测编码图像)预测解码图像并进行再现。因此，如果在显示时刻中后面的I或P图像帧不预先解码，就不能进行B图像的解码。
以进行这种帧转移为目的，将显示时刻PTS和解码时刻DTS作为PES包的信息来附加。PTS与DTS，以PES包中存在的图像标头开始的图像作为对象。PES包中存入了ES数据，但是PES包中的ES数据不必一定限于从图像标头开始。
TS格式中，装有称为PCR(节目时钟基准)的定时。PCR以两部分编码，该两部分是PCR_base(program_clock_reference_base)和PCR_ext(program_clock_reference_ext)。
具体说，PCR由下式表达PCR(i)＝PCR_base(i)×300+PCR_ext(i)PCR_base(i)和PCR_ext(i)由下式表达PCR_base(i)＝((SCF×t(i)DIV300)％233PCR_ext(i)＝((SCF×t(i)DIV1)％300这里，t(i)指从传输线路6输入的第i个TS数据的时刻。前提是，TS数据片断地以一定的速率被传送。第i个到达的字节的时刻为t(i)，用在该TS前后传送的TS的PCR和传送速率进行计算。PCR的目的是为了进行系统时钟频率的传送，能够根据比特率与多个TS包的PCR来再现时钟信号。
PS格式中，也装有跟TS格式相同的SCR(系统时钟基准)的定时。SCR跟PCR相同，用SCR_base、SCR_ext表现。其定义式和PCR的相同。
接着，就数据流的传送状态进行说明。图4是传送速率固定时的数据流传送状态。图中，F00～F20为系统编码/复用后的数据流，例如，F00在时刻T00被发送。被发送的数据流经过一定的传输延迟，在时刻T01到达接收侧。被接收的数据流为F01～F21。然后，对被接收的数据流进行解码。F02～F22表示被解码的数据。如被解码的数据为图像数据，被显示的就是F02～F22，例如，F02在时刻T02被显示。
传统的媒体数据传送系统具有如上所述的结构，但是该结构存在这样的问题传输线路6的比特率一经改变，就不能进行对媒体数据的解码。
具体表述如下上述各种数据流中被复用的定时的前提条件是，传输线路6以一定速率传送，从编码侧的输入到解码后的输出的延迟为固定值，并且，边参照缓冲器中的数据量边调整向解码器的数据输入。因此，传输线路6为可变比特率时便不能适应。
由传输线路6传送数据，且比特率可变，在从编码侧的输入到解码后的输出的延迟可变的场合，即使根据在ES中复用的VBV_delay调整了解码开始时间，还是存在VBV缓冲器发生下溢与上溢的可能性；即使将VBV_delay设定在16进制的FFFF值上，来自传输线路6的数据也不能按照缓冲器中的数据量进行调整，因此，还是可能发生下溢与上溢。
并且，在利用PES中复用的PTS、DTS的解码中，存在以后应被显示的编码图像的传送被延迟，赶不上显示时刻的情况。另外，TS中复用的PCR和PS中复用的SCR，由于基于传输速率再现系统时钟信号，因此，不能再现正确的系统时钟信号，结果就不能进行解码。
图5表示了传送速率变化时的传送状态。被发送的第二个数据流F10，由于跟第一个数据流F00的传输延迟不同，原本应在时刻T11’到达、在T12’显示，却变成在时刻T11到达、在T12显示，这样就赶不上原本应显示的时刻。并且，即使从PCR和SCR进行系统时钟信号再现，由于数据流的到达时刻相异，周期不能指定，也不可能再现时钟信号。
本发明是为解决上述问题而构思的，其目的在于实现可以与传输线路的比特率无关地对媒体数据进行可靠解码的媒体数据传送系统以及媒体数据传送方法。
由此具有这样的效果可以获得与传输线路的比特率无关地对图像信号进行可靠解码的媒体数据传送系统。
本发明的媒体数据传送系统按如下方式构成传送装置将表示存储对象数据之前头的信息包含在存储指示信息中。
由此具有这样的效果由于不需要存储前头以前的数据，从而获得可削减存储容量的媒体数据传送系统。
本发明的媒体数据传送系统按如下方式构成传送装置将表示存储对象数据之后尾的信息包含在存储指示信息中。
由此具有这样的效果由于不需要存储后尾以后的数据，从而获得可削减存储容量的媒体数据传送系统。
本发明的媒体数据传送系统按如下方式构成传送装置将表示存储对象数据的平均比特率的信息包含在存储指示信息中。
由此具有这样的效果由于不需要存储存储对象以外的数据，从而获得可削减存储容量的媒体数据传送系统。
本发明的媒体数据传送系统按如下方式构成传送装置将表示存储对象数据的转移时间的信息包含在存储指示信息中。
由此具有这样的效果由于不需要存储存储对象以外的数据，从而获得可削减存储容量的媒体数据传送系统。
本发明的媒体数据传送系统按如下方式构成传送装置将表示存储对象数据的数据长度的信息包含在存储指示信息中。
由此具有这样的效果由于不需要存储存储对象以外的数据，从而获得可削减存储容量的媒体数据传送系统。
本发明的媒体数据传送系统按如下方式构成传送装置将表示存储对象数据的位置的信息包含在存储指示信息中。
由此具有这样的效果由于不需要存储存储对象以外的数据，从而获得可削减存储容量的媒体数据传送系统。
本发明的媒体数据传送方法按如下方式构成在媒体数据为存储对象数据的场合，将指示存储的存储指示信息插入数据流进行传送；而另一方面在存储指示信息已插入该数据流时，一旦该媒体数据存入缓冲器后就进行解码。
由此具有这样的效果从而获得可以与传输线路的比特率无关地可靠地对图像信号解码的媒体数据传送方法。
本发明的媒体数据传送方法按如下方式构成将表示存储对象数据之前头的信息包含在存储指示信息中。
由此具有这样的效果由于不需要存储前头以前的数据，从而获得可削减存储容量的媒体数据传送方法。
本发明的媒体数据传送方法按如下方式构成将表示存储对象数据之后尾的信息包含在存储指示信息中。
由此具有这样的效果由于不需要存储后尾以后的数据，从而获得可削减存储容量的媒体数据传送方法。
本发明的媒体数据传送方法按如下方式构成将表示存储对象数据的平均比特率的信息包含在存储指示信息中。
由此具有这样的效果由于不需要存储存储对象以外的数据，从而获得可削减存储容量的媒体数据传送方法。
本发明的媒体数据传送方法按如下方式构成将表示存储对象数据的转移时间的信息包含在存储指示信息中。
由此具有这样的效果由于不需要存储存储对象以外的数据，从而获得可削减存储容量的媒体数据传送方法。
本发明的媒体数据传送方法按如下方式构成将表示存储对象数据的数据长度的信息包含在存储指示信息中。
由此具有这样的效果由于不需要存储存储对象以外的数据，从而获得可削减存储容量的媒体数据传送方法。
本发明的媒体数据传送方法按如下方式构成将表示存储对象数据的数据位置的信息包含在存储指示信息中。
由此具有这样的效果由于不需要存储存储对象以外的数据，从而获得可削减存储容量的媒体数据传送方法。
图2是数据流分级结构的说明图。
图3是PES包中安装的DTS、PTS使用例的说明图。
图4是传输速率固定的场合数据流的传送状态的说明图。
图5是传输状态可变的场合数据流的传送状态的说明图。
图6是本发明实施例1的媒体数据传送系统的结构图。
图7是本发明实施例1的媒体数据传送方法的流程图。
图8是关于具有本实施例1特征的传送状态的说明图。
本发明的最佳实施例以下，参照附图
就本发明的最佳实施例进行说明，以详细描述本发明。
15是复用装置，它将存入缓冲器12的图像信号和存入缓冲器14的声音信号复合成数据流，并将该数据流输出至传输线路16；16是传输线路；17是分离装置，它接收数据流并作分离处理，然后将经编码的图像信号存入缓冲器18，将经编码的声音信号存入缓冲器20。
再有，传送装置的构成部分包括图像编码器22，声音编码器13，缓冲器12、14，复用装置15，以及传输线路16。
18是存放经编码的图像信号的缓冲器，19是将存放于缓冲器18中的图像信号解码的图像解码器；20是存放经编码的声音信号的缓冲器，21是将存放于缓冲器20中的声音信号解码的声音解码器。
再有，解码装置的构成部分包括分离装置17，图像解码器19，以及声音解码器21。
图7是表示本发明实施例1的媒体数据传送方法的流程图。
以下，就其动作进行说明。
首先，图像编码器22以规定的编码方法将图像信号编码后存入缓冲器12(步骤ST1)。
但是，在该图像信号为存储对象数据的场合，图像编码器22执行将指示存储的存储指示信息插入例如ES数据的“user_data”区域的处理(步骤ST2)。
另一方面，声音编码器13用规定的编码方式将声音信号编码存入缓冲器14(步骤ST3)。
复用装置15将存入缓冲器12的图像信号和存入缓冲器14的声音信号复合构成数据流，并将该数据流输出至传输线路16(步骤ST4)。
再有，复用装置15在将图像信号和声音信号复合时，将ES数据作为PES(分组的基本流)数据分组输出至传输线路16。另外，也有将PES数据构成TS(传输流)数据或PS(节目流)数据进行传送的情况。
分离装置17从传输线路16接收数据流并进行分离处理，并将编码的图像信号存入缓冲器18，将编码的声音信号存入缓冲器20(步骤ST5)。图像解码器19，对存入缓冲器18的图像信号进行解码。但是，在存储指示信息被插入了ES数据的“user_data”区域时(步骤ST6)，一旦该图像信号存入图像解码器19中的VBV缓冲器后，就进行解码(步骤ST7、ST8)。
另一方面，声音解码器21对存入缓冲器20的声音信号进行解码(步骤ST9)。
图8是关于具有本实施例1特征的传送状态的说明图。
设想被传送的媒体数据为存储对象数据，传输线路16的比特率为可变的情况。
由于被传送的数据流F00～F20的传输线路延迟不是固定的，造成接收时和发送时的时间间隔不同。
在本实施例1中，由于数据流中叠加了表示被传送的数据为存储对象的数据的存储指示信息，因此接收后数据流被存储。F01～F21表示被存储的数据流。
具体而言，按下述的顺序进行数据存储。
接收了数据流F01后，在接收侧对数据流F01进行解码，并捡出指示数据存储的存储指示信息。在捡出了指示数据存储的存储指示信息后，并进一步从该存储指示信息中捡出了指示应存储数据流的前头的信息时，接收侧开始数据的存储。并且，在从该存储指示信息中捡出了表示应存储数据流的位置的信息时，按照表示该位置的信息开始数据存储。
按照相同的顺序，继续存储数据流F11、F21。如此，依次对数据流进行存储。存储一直继续，直到从该存储指示信息中捡出表示应存储数据流的后尾的信息。
终止存储的方法，除了通过捡出表示应存储数据流的后尾的信息以外，还可以有如下两种方法。
第一种方法是，在存储指示信息中插入表示应存储数据流的长度的信息。在接收侧，该信息如被捡出，就测定从存储开始的数据流的长度，当所示的长度到达时终止存储。
另一种方法是，在存储指示信息中插入表示应存储数据流的平均比特率(或转移时间)的信息。在接收侧，该信息如被捡出，就通过换算从存储开始的平均比特率来确定存储终止时间，在规定的时间终止存储。
所有应存储数据一旦被存储，就开始数据的解码。被存储的数据流F01，经解码后成为F02，之后被再现。
接着，对被存储的数据F11进行解码。这时，解码/再现以固定的显示/再现时间间隔进行。例如，如为图形数据，就每隔1/30秒进行显示。如此，从F02到F22，被存储的所有数据均被解码/再现。
上述处理中所需的信息，一旦可以依据表示应存储数据流的存储指示信息，或一旦可以依据表示应存储数据流的存储指示信息和其他信息(表示应存储数据流前头的信息、表示应存储数据流后尾的信息、表示应存储数据流的平均比特率的信息、表示应存储数据流位置的信息、表示应存储数据流长度的信息)的组合，就无须认为所有的信息为需要的信息。
由以上所述显见，依据本实施例1，由于具有这样的结构图像信号为存储对象数据时，将指示存储的存储指示信息插入数据流来传送，而存储指示信息被插入该数据流后，该图像信号一旦被存储在VBV缓冲器后就进行解码；从而可取得与传输线路16的比特率无关地，可靠进行图像信号解码的效果。
并且，上述实施例1中，就存储指示信息被插入ES数据的“user_data”区域中作了说明，但并不以此为限，例如，也可将存储指示信息插入PES数据、TS数据或PS数据中。
工业上的利用可能性综上所述，本发明的媒体数据传送系统与媒体数据传送方法，适用于与传输线路的比特率无关地进行可靠的媒体数据的解码。
权利要求
1.一种媒体数据传送系统，设有传送媒体数据被分组的数据流的传送装置，从经所述传送装置传送的数据流中取出媒体数据并进行解码的解码装置；其特征在于所述传送装置在该媒体数据为存储对象数据时，将指示存储的存储指示信息插入该数据流中进行传送，所述解码装置在存储指示信息已插入该数据流时，在该媒体数据一旦被存入缓冲器后就进行解码。
2.如权利要求1所述的媒体数据传送系统，其特征在于传送装置将表示存储对象数据的前头的信息包含在存储指示信息中。
3.如权利要求1所述的媒体数据传送系统，其特征在于传送装置将表示存储对象数据的后尾的信息包含在存储指示信息中。
4.如权利要求1所述的媒体数据传送系统，其特征在于传送装置将表示存储对象数据的平均比特率的信息包含在存储指示信息中。
5.如权利要求1所述的媒体数据传送系统，其特征在于传送装置将表示存储对象数据的转移时间的信息包含在存储指示信息中。
6.如权利要求1所述的媒体数据传送系统，其特征在于传送装置将表示存储对象数据的数据长度的信息包含在存储指示信息中。
7.如权利要求1所述的媒体数据传送系统，其特征在于传送装置将表示存储对象数据的位置的信息包含在存储指示信息中。
8.一种媒体数据传送方法，该方法传送媒体数据被分组的数据流，从该数据流中取出媒体数据并进行解码；其特征在于该媒体数据为存储对象数据时，将指示存储的存储指示信息插入该数据流中进行传送，而在存储指示信息已插入该数据流时，在该媒体数据一旦被存入缓冲器后就开始解码。
9.如权利要求8所述的媒体数据传送方法，其特征在于将表示存储对象数据的前头的信息包含在存储指示信息中。
10.如权利要求8所述的媒体数据传送方法，其特征在于将表示存储对象数据的后尾的信息包含在存储指示信息中。
11.如权利要求8所述的媒体数据传送方法，其特征在于将表示存储对象数据的平均比特率的信息包含在存储指示信息中。
12.如权利要求8所述的媒体数据传送方法，其特征在于将表示存储对象数据的转移时间的信息包含在存储指示信息中。
13.如权利要求8所述的媒体数据传送方法，其特征在于将表示存储对象数据的数据长度的信息包含在存储指示信息中。
14.如权利要求8所述的媒体数据传送方法，其特征在于将表示存储对象数据的位置的信息包含在存储指示信息中。
全文摘要
在媒体数据为存储对象数据的场合，传送装置将指示存储的存储指示信息插入数据流进行传送，在存储指示信息已插入该数据流时，解码装置一旦将该媒体数据存入缓冲器后就进行解码。
文档编号H04N7/08GK1462547SQ02801371
公开日2003年12月17日 申请日期2002年4月30日 优先权日2001年5月1日
发明者峰岸孝行, 浅野研一 申请人:三菱电机株式会社