发送方法以及接收方法

发送方法以及接收方法
【技术领域】
[0001 ] 本申请涉及数据的发送方法以及接收方法。
【背景技术】
[0002]以往，已知以规定的传送格式传送编码数据的技术。编码数据通过基于HEVC(高效率视频编码，High Efficiency Video Coding)等运动图像编码标准对包含影像数据及声音数据的内容进行编码来生成。
[0003]在规定的传送格式中，例如有MPEG-2TS(运动图像专家组-2传送流，MovingPicture Experts Group-2Transport Stream)或 MMT (运动图像专家组媒体传送，MPEGMedia Transport)等(参照非专利文献I)。例如，在专利文献I中，公开了按照MMT按每个包发送被编码的媒体数据的技术。
[0004]为了实现编码数据的解码以及显示中的可适性，探讨了将影像阶层化地编码，但尚未考虑被阶层化的编码数据的发送方法。
[0005]现有技术文献
[0006]非专利文献
[0007]非专利文南犬 I:Informat1n techno1gy-High efficiency coding and mediadelivery in heterogeneous environment-Partl:MPEG media transport (MMT)、IS0/IECDIS 23008-1

【发明内容】

[0008]本申请的一方式所涉及的发送方法，发送将影像以基本阶层和扩展阶层进行阶层编码而得的编码数据，包括:生成步骤，生成包含表示进行所述编码数据的解码或显示的处理的时刻的时刻信息以及所述编码数据的编码流；以及发送步骤，发送所生成的所述编码流；所述编码数据具有各自由多个访问单元构成的多个集合，构成所述多个集合中的所述基本阶层的所述集合即第I集合的所述多个访问单元中的各个访问单元能够独立地解码，或者能够通过参照所述基本阶层的其他访问单元解码后的数据来解码，构成所述多个集合中的所述扩展阶层的所述集合即第2集合的所述多个访问单元中的各个访问单元能够通过参照所述基本阶层的所述访问单元的解码后的数据来解码，所述时刻信息包括第I时刻信息和第2时刻信息，该第I时刻信息表示进行针对所述第I集合的第I访问单元进行的所述处理的、以基准时钟为基准的时刻，该第2时刻信息用于确定进行针对所述第2集合的第2访问单元进行的所述处理的、以所述基准时钟为基准的时刻。
[0009]另外，这些整体或具体的方式也可以通过数据接收方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现，也可以通过数据发送方法、数据接收方法、集成电路、计算机程序以及记录介质的任意组合来实现。
【附图说明】
[0010]图1是表示为了实现时间可适性而阶层编码的每个阶层中的图片的预测构造的一例的图。
[0011]图2是表示图1的各图片的解码时刻(解码时间戳，DTS =Decode Time Stamp)与显示时刻(显示时间戳，PTS-Presentat1n Time Stamp)的关系的图。
[0012]图3是表示基本阶层与扩展阶层中的开头的图片的DTS的差分的图。
[0013]图4是表示基本阶层的编码数据与扩展阶层的编码数据的图。
[0014]图5是用于说明MMT中的编码流的数据结构的图。
[0015]图6是用于说明MMT中的编码流的数据结构的图。
[0016]图7是表示实施方式所涉及的发送装置的构成的模块图。
[0017]图8是实施方式所涉及的发送方法的流程图。
[0018]图9是表示包含基本阶层的编码数据的MP4文件、以及包含扩展阶层的编码数据的MP4文件的图。
[0019]图10是表示基本阶层以及扩展阶层的RAU的构成例的图。
[0020]图11是表示使用MMT来发送基本阶层与扩展阶层的数据的例子的图。
[0021]图12是表示接收装置的构成的一例的模块图。
[0022]图13是示出了表示决定扩展阶层所包含的访问单元的DTS的动作的流程的图。
[0023]图14是表示通过MMT复用图1中的编码数据的例子的图。
[0024]图15是表示在设基本阶层以及扩展阶层的编码数据为一条编码流(包序列)时的发送包序列的一例的图。
[0025]图16是表示接收装置的构成的另一例的模块图。
[0026]图17是表示接收基本阶层以及扩展阶层的编码数据的接收方法的流程图。
[0027]图18是表示接收装置的构成的另一例的模块图。
[0028]图19是表示接收方法的流程的图。
【具体实施方式】
[0029](成为本申请的基础的知识)
[0030]编码数据的解码或显示的可适性(可缩放性)能够通过对编码数据的访问单元进行阶层编码来实现。例如，在如果仅解码以多阶层编码而得的多个编码数据之中的低阶层的编码数据则帧率为60fps的情况下，如果解码到高阶层的编码数据则帧率变为120fps等。
[0031]在此，考虑独立发送低阶层的编码数据与高阶层的编码数据的情况。接收低阶层的编码数据与高阶层的编码数据的接收装置在希望通过解码两阶层的编码数据来得到例如帧率120fps的影像的情况下，需要在按照解码顺序重排所接收的各阶层的编码数据之后解码。可是，存在如下课题:需要基于访问单元的DTS(Decoding Time Stamp:解码时刻)或PTS (Presentat1n Time Stamp:显示时刻)等按照解码顺序重排所接收的数据，并且扩展阶层中的访问单元的DTS或PTS无法唯一确定。
[0032]在MPEG-4AVC 或 HEVC (High Efficiency Video Coding)等编码方式中，通过使用能够从其他图片参照的B图片(双向参照预测图片)，能够实现时间方向的可适性(时间可适性)。
[0033]图1为表示为了实现时间可适性而阶层编码的每个阶层中的图片的预测构造的一例的图。
[0034]图1中的TemporalId(时间ID)为编码结构的阶层的识别符，TemporalId的数字越大表示越是深的阶层。多个方形的块表示图片，多个块内的Ix表示I图片(帧内预测图片)、Px表示P图片(前方参照预测图片)、Bx或bx表示B图片(双向参照预测图片)。此夕卜，Ix、Px以及Bx中的X表示显示次序。S卩、X表现显示图片的顺序。
[0035]此外，多个图片间的箭头表示参照关系，例如B4的图片表示以1及B8为参照图像而生成的预测图像。
[0036]在此，禁止使用具有大于自身的TemporalId的TemporalId的图片作为参照图像。具体而言，TemporalId为3的B2的图片不能使用TemporalId为4的bl的图片作为参照图像。
[0037]如图1所示，通过多个阶层规定编码数据的数据结构，是为了具有时间可适性。例如，在解码图1中TemporalId从O到4的全部图片的情况下，能够得到120fps(帧每秒，frame per second)的影像，在仅解码TemporalId从O到3的阶层的情况下，能够得到60fps的影像。在图1中，TemporalId为O?3表示的阶层为基本阶层，TemporalID为4表示的阶层为扩展阶层。即、在仅解码基本阶层的编码数据的情况下能够得到60fps的影像，如果解码到扩展阶层则能够得到120fps的影像。另外，这只是一例，基本阶层或扩展阶层与TemporalId的关联也可以是其他组合。此外，也可以在基本阶层以及扩展阶层这两种类阶层以外还有阶层。即、阶层也可以为3种以上。
[0038]图2为表示图1的各图片的解码时刻(DTS:Decode Time Stamp)与显示时刻(PTS-Presentat1n Time Stamp)的关系的图。如图2所示，多个图片存在解码顺序与显示顺序不同的情况。该情况下，为了在显示的处理中不产生间隙(gap)，图片1在图片B4解码完成后显示。具体而言，为了在显示中不产生间隙，在显示顺序中图片1紧后的图片bl必须解码完，因此通过使图片1在图片B4的解码完成后显示，能够成为在显示图片1紧后能够显示图片bl的状态。S卩、该情况下，作为解码图片1的时刻与显示图片1的时刻之间的时间即显示时刻偏移，设定为显示图片1紧后能够显示图片bl的时间。
[0039]在此，考虑以下情况:在能够解码到扩展阶层的编码数据的接收装置中，再现120fps的影像，在根据处理能力等的状况而仅能解码到基本阶层的接收装置中以60fps再现等，根据接收装置的能力切换所解码的阶层。此时，只要基本阶层中的编码数据与扩展阶层中的编码数据以能够识别的方式传送，则接收装置能够通过根据接收装置的能力等对接收数据进行过滤来进行解码。即、在能够解码到扩展阶层的编码数据的接收装置中，能够解码基本阶层的编码数据以及扩展阶层的编码数据双方，在仅能解码到基本阶层的接收装置中，能够通过仅对基本阶层的编码数据进行过滤来进行解码。
[0040]此外，阶层化的编码数据通过MPEG-2TS (Transport Stream)、MMT (MPEG MediaTransport)、MPEG-DASH(HTTP 上的动态自适应流，Dynamic Adaptive Streaming overHTTP)、RTP (实时传送协议，Real-time Transport Protocol)等多种多样的复用格式来复用并发送。在此，在MMT或MPEG-DASH中，使用MP4 (以MPEG的ISO基本媒体文件格式(ISOBase Media File Format)为基础的文件格式)的复用是基础。特别是，在MP4中，DTS或PTS的信息表现为连续的两个访问单元(若为视频则与图片相当)之间的DTS或PTS的差分信息。
[0041]图3是表示基本阶层与扩展阶层的开头的图片的DTS的差分的图。具体而言，图3是将按照图2的解码顺序排列的图片划分为属于基本阶层的图片与属于扩展阶层的图片来记述的图。图4是表示基本阶层的编码数据与扩展阶层的编码数据的图。
[0042]如图3所示，在基本阶层的开头的图片1的DTSll与扩展阶层的开头的图片bl的DTS21之间产生差分(以下称为“解码时刻偏移”)。但是，在基于MP4的复用方法中存在以下课题:仅能表示基本阶层或扩展阶层中的相对的时刻信息，而无法表现解码时刻偏移。即、存在以下课题:在解码基本阶层之后无法确定解码扩展阶层的图片的时刻。
[0043]因此，若独立地发送基本阶层的编码数据与扩展阶层的编码数据，则接收装置分别接收如图4所示的基本阶层的编码数据与扩展阶层的编码数据。此时，在解码两阶层的编码数据的情况下，需要将两阶层的编码数据按照图3所示的解码顺序重排后输入到解码器(decoder)中。因此，还存在以下课题:发生取得每个访问单元的DTS并基于DTS将访问单元按照解码顺序重排的处理，解码前的处理量增加。