发送方法以及接收方法_5

文档序号:8947771阅读:来源:国知局
外,在扩展阶层的RAU中,该RAU中按照解码顺序处于开头的访问单元也可以并非I图片或者IDR图片等能够单独解码的访问单元(MP4中的同步样本(sync sample))。此外,也可以不设定用于表示是同步样本的信息。
[0173]此外,在接收装置的再现时,在接收装置中,在检索与基本阶层中开始解码的访问单元对应的扩展阶层的访问单元时,参照扩展阶层的RAU信息。例如,检索每个RAU的开头访问单元的DTS。
[0174]在接收装置中,在检索扩展阶层的RAU时,也可以看作视频片段或MPU与RAU相当地进行动作。也可以将表示扩展阶层中的RAU的单位的信息,保存在扩展阶层的轨道或包含扩展阶层的轨道的MP4文件等中。在检索扩展阶层的RAU时,设为忽略RAU的开头访问单元是否为同步样本。或者,也可以如下动作:针对扩展阶层不保存用于随机访问的信息,在决定基本阶层的随机访问点之后,从具有与成为基本阶层的随机访问点的MPU相同的序列号的扩展阶层的MPU开始解码。
[0175]或者,在扩展阶层中,也可以看作扩展阶层中的RAP与同步样本相当。此时,也可以在‘stss’或‘mfra’等、MP4数据中的能够随机访问的访问单元(样本)的表中,表示扩展阶层中的RAP。在接收装置中,能够基于这些表检索RAP。此外,也可以在视频片段中设定表示‘traf’中开头样本是否为同步样本的标志信息,在接收装置中根据是否为同步样本来检索RAP。’
[0176]上述内容在MPEG-2TS中定义RAU的情况下也同样。
[0177](其他)
[0178]MP4的数据包含扩展阶层的访问单元这一情况,也可以在MP4内的数据、或者MPEG-2TS的PMT或内容的管理信息等与MP4数据相比更上级的层中进行信令。作为MP4内的数据,例如可以是MP4文件的品牌(brand)、或者若是MMT的MPU则可以是‘mmpu’等。
[0179]在并用广播以及通信的内容分发中,也可以将基本阶层通过广播并将扩展阶层通过通信网络分别发送等。即、在发送方法的生成步骤中,也可以按照MPEG-2TS生成包含基本阶层(第I集合)的第I编码流,按照MMT生成包含扩展阶层(第2集合)的第2编码流。并且,在发送步骤中,也可以使用在广播中使用的传送路径发送第I编码流,使用在通信中使用的传送路径发送第2编码流。另外,第I编码流以及第2编码流也可以按照与上述相反的方式来生成。此外,该情况下,在发送步骤中使用的传送路径也使用相反的传送路径来发送。
[0180]此外,例如在广播中的PMT(Program Map Table)中,也可以保存扩展阶层的编码数据的发送源服务器的URL、访问目的地的文件名、或者访问方法(若是下载则为HTTPGET,若是流则为RTSP(实时流协议,Real Time Streaming Protocol)的指令等)等、取得扩展阶层的编码数据所需的信息。在PMT中,保存表示作为同一内容的构成数据且从不同于广播的传送路径发送的数据的访问目的地或访问方法等的信息的方法,不限于基本阶层以及扩展阶层的例子,能够一般性地广泛适用例如视频数据以及音频数据的组合等。
[0181](以基本阶层以及扩展阶层的编码数据成为解码顺序的方式发送的方法)
[0182]在将基本阶层以及扩展阶层的编码数据作为一条编码流发送时,能够以两阶层的编码数据成为解码顺序的方式发送。另外,不仅在发送时,而且在蓄积时等也能够适用。
[0183]图14是表示利用MMT复用图1中的编码数据的例子的图。基本阶层保存于资源1,扩展阶层保存于资源2,资源I由MPU_b构成,资源2由MPU_e构成。
[0184]在MMT 中,各资源的 MPU 通过 MMT 包或 RTP (Real-time Transport Protocol)包等被打包并发送。此时,保存在包的有效载荷中的基本阶层以及扩展阶层的编码数据以成为解码顺序的方式打包。图14的中央的线表示在打包MPU_b与MPU_e并发送时保存在包的有效载荷中的数据的顺序,与编码数据的解码顺序一致。
[0185]这样,在将基本阶层以及扩展阶层的编码数据作为一条编码流发送时,通过使得两阶层的编码数据成为解码顺序,由此在接收装置中,通过从基本阶层的RAP起依次解码,能够取得所对应的扩展阶层的访问单元的数据。因此,无需按照解码顺序重排基本阶层以及扩展阶层的编码数据的动作,能够降低接收装置的处理负担。
[0186]在MPEG-4AVC或HEVC等编码方式中,解码顺序以及显示顺序能够从编码数据中得至IJ,因此在固定帧率的情况下,扩展阶层的访问单元的DTS与PTS能够根据基本阶层的访问单元的DTS、PTS以及帧率决定。该情况下,也可以不对扩展阶层中的解码时刻偏移信息进行信令。
[0187](基本阶层与扩展阶层的编码数据为解码顺序的数据的接收方法)
[0188]说明通过在图14中说明的发送方法发送的流的接收方法。
[0189]图15是表示设基本阶层以及扩展阶层的编码数据为一条编码流(包序列)时的发送包序列的一例的图。如图15所示,作为发送的编码流(由接收装置接收的编码流),基本阶层以及扩展阶层的MPU被打包为发送包序列。保存基本阶层的编码数据的包与保存扩展阶层的编码数据的包通过保存在包的头等中的识别信息来区别。作为识别信息,例如若是MMT包则能够使用packet_id、若是TS包则能够使用PID、若是RTP包则能够使用SSID等。在通过MMT包以外的方式打包时,例如也能够将TS包序列定义为MPU,在TS有效载荷中保存MPU等。此外,有效载荷也可以不是MPU,若为TS包,则也可以将对编码数据进行PES打包而得的数据保存在TS有效载荷中。
[0190]此外,两阶层不一定必须按照相同的包格式发送,例如也可以将基本阶层打包为TS包、将扩展阶层打包为MMT包等,分别按照不同的格式打包。
[0191]此外,在DASH中,也可以区分基本阶层以及扩展阶层的段,两段的访问单元的数据按照解码顺序保存。
[0192]阶层数量也可以为3以上(例如,基本阶层与两个扩展阶层),该情况下,全部阶层的编码数据以成为解码顺序的方式被发送。
[0193]图16是表示接收装置的构成的另一例的模块图。图17是表示接收基本阶层以及扩展阶层的编码数据的接收方法的流程图。
[0194]如图16所示,接收装置30具备解码开始位置决定部31、解码模式选择部32、数据取得部33以及解码部34。另外,接收装置30的构成要素具体而言,通过微型计算机、处理器或者专用电路等来实现。
[0195]首先,接收装置30的解码开始位置决定部31取得保存基本阶层的编码数据的包,并决定在基本阶层中开始解码的访问单元(S31)。此时,基于另行取得的包的识别信息,至少取得基本阶层的包,基于基本阶层的随机访问点来决定开始解码的访问单元。
[0196]接着,接收装置30的解码模式选择部32判定是否解码扩展阶层的编码数据(S32)ο
[0197]在通过解码模式选择部32判定为解码扩展阶层的编码数据的情况下(S32为是),数据取得部33 —起取得保存基本阶层的编码数据的包与保存扩展阶层的编码数据的包(S33:模式2)。在此,例如在基本阶层的包ID为I且扩展阶层的包ID为2的情况下,也可以一起取得包ID为I和2的包。或者,也可以另行设置以下步骤:在分别按每个包ID进行过滤之后,在包ID为2的情况下,看作ID为1,与ID为I的情况同样地处理。即、在该情况下,仅取得ID为I的包。
[0198]另外,也可以在MMT中的控制信息(PA表或MP表)、或者MPEG-2TS的PMT等控制信息中,设定解码顺序是否为升序的识别信息。在接收装置30中,也可以解析该识别信息,若为升序则不执行将基本阶层以及扩展阶层的编码数据按照解码顺序重排的处理,若不是升序则进行重排的处理。
[0199]在通过解码模式选择部32判定为不解码扩展阶层的编码数据的情况下(S32为否),数据取得部33仅取得保存基本阶层的编码数据的包(S34:模式I)。
[0200]并且,接收装置30的解码部34根据模式I以及模式2,依次解码所取得的访问单元(S35)。另外,在模式2的情况下,基本阶层以及扩展阶层这两阶层的编码数据也按照解码顺序排列,因此无需编码数据的重排。此外,解码后的数据例如若是模式I则为60fps、若是模式2则为120fps的数据等,根据扩展阶层的可适性被显示(再现)。
[0201](变形例I)
[0202]另外,说明最简单的接收装置以及接收方法。
[0203]图18是表示接收装置的构成的另一例的模块图。图19是表示接收方法的流程的图。
[0204]如图18所示,接收装置40具备接收部41以及解码部42。另外,接收装置15的构成要素具体而言,通过微型计算机、处理器或者专用电路等来实现。
[0205]首先,接收装置40的接收部41接收包含表示进行编码数据的解码的处理的时刻的时刻信息以及编码数据的编码流(S41)。
[0206]接着,接收装置40的解码部42在由时刻信息表示的时刻,进行针对所接收的编码流的编码数据的解码(S42)。
[0207]另外,时刻信息也可以为进行显示的处理的时刻。该情况下,未图示的显示部在由时刻信息表示的时刻,进行显示由解码部42解码而得的数据的处理。
[0208](变形例2)
[0209]此外,在上述中,以时间方向的可适性为例来说明,但关于空间方向的可适性,在构成同一帧的基本阶层与扩展阶层的DTS不同等情况下,也能够适用同样的方法。
[0210](变形例3)
[0211]此外,在上述实施方式中,表示了基本阶层的开头样本的DTS的绝对值,但不限于此,即使通过表示基本阶层中按照显示顺序处于开头的样本的PTS的绝对值,也可以从MP4的头信息中取得PTS与DTS的差分,据此决定DTS的绝对值。此外,DTS以及PTS的差分(即、第2相对时间以及第4相对时间)保存在MP4的头信息中。因此,即便不表示DTS的绝对值,也可以表示PTS的绝对值。
[0212]S卩、该情况下,第I时刻信息为表示进行针对第I集合的第I访问单元进行的显示的、以基准时钟为基准的时刻的信息。此外,第2时刻信息为用于确定进行针对第2集合的第2访问单元进行的显示的、以基准时钟为基准的时刻的信息。此外,第I集合的第I访问单元以外的多个访问单元中的各个访问信息与以由第I时刻信息表示的时刻为基准的第5相对时间建立了对应。针对第I集合的多个访问单元中的各个访问单元进行的解码的时刻通过以该访问单元的显示的时刻为基准的第6相对时间来确定。再有,第2集合的第2访问单元以外的多个访问单元中的各个访问单元与以由第2时刻信息表示的时刻为基准的第7相对时间建立了对应。并且,针对第2集合的多个访问单元中的各个访问单元进行的解码的时刻通过以该访问单元的显示的时刻为基准的第8相对时间来确定。
[0213]另外,在上述各实施方式中,各构成要素也可以由
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1