刻信息的时刻偏移信息，而是保存第2集合的访问单元的时刻信息的绝对值本身。
[0080]另外，基准时钟在按照MMT方式发送编码流的情况下为NTP (网络时间协议，Network Time Protocol)，在按照MPEG2-TS发送编码流的情况下为PCR(节目时钟参照，Program Clock Reference)。在此，NTP为发送装置所设定的基准时钟即可，也可以不一定与互联网中通常使用的NTP服务器中的NTP值一致。
[0081]MMT包13为MP4数据被打包而成的数据。在实施方式中，I个MMT包13中包含I个MP4数据(MPU)。如图6所示，MMT包13包括头13a(MTT包头。在MPEG2-TS的情况下为TS包头)、以及有效载荷13b。
[0082]在有效载荷13b中，保存有MP4数据。另外，有时在有效载荷13b中保存有分割MP4而得的数据。
[0083]头13a为与有效载荷13b有关的附随信息。例如，在头13a中，包含包ID与时刻信息。这里的时刻信息为MP4数据的显示时刻(PTS)或者解码时刻(DTS)的相对值。
[0084]包ID为表示MMT包13 (有效载荷13b)所包含的数据的资源的识别号。包ID为按构成MMT封装的每个资源固有的识别号。
[0085]这样，编码流包括表示进行编码数据的解码或显示的处理的时刻的时刻信息(DTS或 PTS)、以及编码数据(图 6 中的 ID1_#0、ID2_#0、ID1_#1、ID1_#2、ID2_#1、ID2_#2、…)。该时刻信息包括上述的第I时刻信息以及第2时刻信息。
[0086]图7为表示实施方式所涉及的发送装置的构成的模块图。图8是实施方式所涉及的发送方法的流程图。
[0087]如图7所示，发送装置15具备编码部16以及发送部17。另外，发送装置15的构成要素具体而言通过微型计算机、处理器或者专用电路等来实现。
[0088]在实施方式所涉及的编码流10的发送方法中，首先，生成编码流10，该编码流10包括表示进行由多个访问单元构成的集合的解码或显示的时刻的时刻信息、以及构成该集合的多个访问单元(Sll:生成步骤)。
[0089]生成的编码流10由发送部17使用传送路径传送(S12:发送步骤)。
[0090](实施例1)
[0091]接着，具体说明通过基于MP4的复用格式发送扩展阶层的编码数据时的发送方法以及接收方法。
[0092]在此，基于MP4的复用格式例如也可以为MMT、DASH、或MP4的文件数据本身。在MMT中，MPU(媒体处理单元，Media Processing Unit)与MP4文件相当，在DASH中，段(segment)与 MP4 的视频片段(Movie Fragment)相当。
[0093]如图3所示，只要是通过多个访问单元的DTS(或PTS)的相对时间(样本间的差分等)表现进行每个样本的解码(显示)的时刻信息、而在集合中的多个访问单元全部中不表示进行该解码(显示)的时刻信息的绝对值的复用格式，则也能够适用于MP4以外的格式。另外，这里所说的样本为在MP4中处理数据的单位，与访问单元相当。
[0094](解码时刻以及显示时刻〕
[0095]首先，以MP4文件为例说明扩展阶层中的访问单元的解码时刻(DTS)。图9是表示包含基本阶层的编码数据的MP4文件(MP4b)与包含扩展阶层的编码数据的MP4文件(MP4e)的图。
[0096]如图9所示，设为存在包含基本阶层的编码数据的MP4文件(MP4b)、以及包含扩展阶层的编码数据的MP4文件(MP4e)。在此，若设MP4b与MP4e之间的解码时刻偏移为dec_offset，则MP4e中的扩展阶层的每个样本的DTS由下式表示。
[0097]sample_e (i)_dec = sample_e (i)_dec_base+dec_offset (式 I)
[0098]sample_e (i)_dec:扩展阶层中的第i个样本的DTS
[0099]sample_e (i)_dec_base:根据扩展阶层中的第O个到第i个样本的解码时刻的差分总和(MP4 的 ‘stts’ 中的 sample_delta、或者 MovieFragment 中的 sample_durat1n 的总和)算出的样本的修正前DTS (设开头样本的DTS为O时的各样本的DTS)。
[0100]在上述(式I)中，解码时刻偏移(dec_0ffSet)为假设按照基本阶层的解码顺序处于开头的样本的DTS为O时的偏移值。
[0101]在此，若设基本阶层的开头样本的DTS为delta，则MP4e中的扩展阶层的每个样本的DTS由下式表示。
[0102]sample_e (i)_dec = sample_e (i)_dec_base+dec_offset+delta (式 2)
[0103]具体而言，在计算图3中的扩展阶层中第3个样本即图片b5的DTS23的情况下，sample_e (i)_dec_base为将相对时间21以及相对时间22相加而得的值，delta为DTSlI，据此使用(式2)如下求得。
[0104]DTS23 =相对时间 21+ 相对时间 22+dec_offset+DTSll (式 3)
[0105]此外，MP4b中的基本阶层的每个样本的DTS由下式表示。
[0106]sample_b (i)_dec = sample_b (i)_dec_base+dec_offset (式 4)
[0107]sample_b (i)_dec:基本阶层中的第i个样本的DTS
[0108]sample_b (i)_dec_base:根据基本阶层中的第O个到第i个样本的解码时刻的差分总和(MP4 的 ‘stts’ 中的 sample_delta、或者 MovieFragment 中的 sample_durat1n 的总和)算出的样本的修正前DTS(设开头样本的TS为O时的各样本的DTS)。
[0109]在此，若设基本阶层的开头样本的DTS为delta，则MP4b中的基本阶层的每个样本的DTS由下式表示。
[0110]sample_b (i)_dec = sample_b (i)_dec_base+dec_offset+delta (式 5)
[0111]S卩、第I集合的第I访问单元以外的多个访问单元中的各个访问单元与以第I时刻信息(例如DTS11)所示的时刻为基准的第I相对时间(相对时间11?18)建立了对应。此外，针对第I集合的多个访问单元中的各个访问单元进行的显示的时刻(PTS11?19)通过以该访问单元的解码的时刻为基准的第2相对时间来确定。S卩、例如，图3中的进行图片B8的显示的时刻PTS15如下求出:与进行图片B8的解码的时刻DTS13的差分即第2相对时间和图片B8建立了对应，在DTS13上加上与图片B8建立了对应的第2相对时间，由此求出进行图片B8的显示的时刻PTS15。
[0112]此外，第2集合的第2访问单元以外的多个访问单元中的各个访问单元与以第2时刻信息(例如DTS21)所示的时刻为基准的第3相对时间(相对时间21?27)建立了对应。此外，针对第2集合的多个访问单元中的各个访问单元进行的显示的时刻(PTS21?28)通过以该访问单元的解码的时刻为基准的第4相对时间来确定。S卩、例如，图3中的进行图片bll的显示的时刻PTS26如下求出:与进行图片bll的解码的时刻DTS26的差分即第4相对时间和图片bll建立了对应，在DTS26上加上与图片bll建立了对应的第4相对时间，由此求出进行图片bll的显示的时刻PTS26。
[0113](解码时刻偏移的保存)
[0114]另外，表示解码时刻偏移的信息(解码时刻偏移信息)的保存目的地可以考虑下面的三种情形。
[0115](I)在包含扩展阶层的轨道的MP4文件中保存解码偏移信息的情形
[0116]解码时刻偏移信息至少包括解码时刻偏移、以及基本阶层的轨道的识别信息。基本阶层的轨道的识别信息包括基本阶层的轨道的轨道ID、以及包含基本阶层的轨道在内的MP4文件的识别信息(MP4文件的文件名等)等。S卩、扩展阶层的第2集合也可以还包括第2头信息，该第2头信息保存着用于识别与该第2集合建立了对应的第I集合的识别信息、以及第2时刻信息。
[0117](2)在包含基本阶层的轨道的MP4文件中保存解码偏移信息的情形
[0118]解码时刻偏移信息至少包括解码时刻偏移、以及扩展阶层的轨道的识别信息。即、基本阶层的第I集合也可以还包括第I头信息，该第I头信息保存着用于识别与该第I集合建立了对应的第2集合的识别信息、以及第2时刻信息。
[0119](3)在将包含基本阶层的轨道的MP4文件与包含扩展阶层的轨道的MP4文件建立对应的信息中保存解码偏移信息的情形
[0120]解码时刻偏移信息至少包括解码时刻偏移、基本阶层的轨道的识别信息以及扩展阶层的轨道的识别信息。即、编码流也可以还包括将用于识别第I集合的第I识别信息和用于识别与该第I集合一对一地建立了对应的第2集合的第2识别信息建立对应而得的对应信息，第2时刻信息被保存在对应信息中。
[0121]另外，在上述的(I)或(2)的情况下，能够定义用于保存解码时刻偏移信息的框(Box)，配置在轨道层(track level)的框的紧下、或者与轨道层相同或上级的层中。此外，也可以不定义新的框，而通过扩展已有的框等来包含解码时刻偏移信息。
[0122]此外，也可以使用‘moov’的‘elst’或‘moof’的‘traf’中的无再现区间(emptydurat1n)的功能来实现解码时刻偏移。该情况下，也需要扩展阶层的轨道与基本阶层的轨道被建立对应。
[0123]此外，在上述的(3)情况下，解码时刻偏移信息既可以保存在与基本阶层和扩展阶层不同的相互独立的MP4文件的轨道中，也可以保存在同一 MP4文件内的不同轨道中。
[0124]在保存在同一 MP4文件内的不同轨道中的情况下，解码时刻偏移信息能够保存在‘moov’或‘moof’紧下等、与轨道单位的框相比更上级的框中。此时，作为解码时刻偏移信息无需MP4文件的识别信息。
[0125]在MP4中DTS与PTS不同的情况下，在MP4的头信息中，包含其差分信息(第2相对时间或第4相对时间)，而该差分信息适用于反映了解码时刻偏移之后的DTS。
[0126]优选的是，在基本阶层与扩展阶层中轨道中的时间尺度的值一致。在时间尺度不同的情况下，在上述(3)的情形中，也可以另行表示解码时刻偏移信息的时间尺度，或者事先规定使用某一方的阶层的轨道中的时间尺度等。
[0127]另外，解码时刻偏移仅适用于扩展阶层的DTS。
[0128]另外，保存基本阶层或扩展阶层的MP4文件既可以仅由这些各阶层的轨道构成，也可以包含其他轨道。