发送装置、发送方法、接收装置、接收方法、编码装置以及编码方法
【技术领域】
[0001]本技术涉及一种发送装置、一种发送方法、一种接收装置、一种接收方法、一种编码装置以及一种编码方法。尤其地，本技术涉及一种发送装置，其执行构成动态图像数据的每个图片的分层编码图像数据并且传输该数据。
【背景技术】
[0002]在通过广播、网络等提供压缩动态图像的服务时，根据接收器的解码能力，限定可再现帧频率的上限。因此，考虑分布式接收器的再现能力，服务提供侧需要限制仅仅提供低帧频率的服务，或者需要同时提供多个高帧频率和低帧频率的服务。
[0003]与高帧频率的服务兼容的接收器导致高成本，这是阻碍其分布的一个因素。由于一开始只分布有专用于低帧频率的服务的廉价接收器，所以如果服务提供商在未来开始高帧频率的服务，那么在没有新接收器的情况下，也不能查看服务，这是阻碍服务的分布的另一个因素。
[0004]例如，在高效率视频编码(HEVC)中，提出了时间方向可扩展性，其中，构成动态图像数据的相应图片的图像数据经受分层编码(参照非专利文献1)。接收侧可以根据插入网络抽象层(NAL)单元的报头内的时间ID(temporal_id)，识别每个图片的层，并且可以执行选择性解码，直到与解码能力相当的层。
[0005]引用列表
[0006]非专利文献
[0007]非专利文献1:作者为 Gary J.Sullivan、Jens-Rainer Ohm、ffoo-Jin Han 以及Thomas Wiegand 的“Overview of the High Efficiency Video Coding (HEVC) Standard，，，IEEE TRANSACT1NS ON CIRCUITS AND SYSTEMS FOR VIDEO TECN0R0GY，2012 年 12 月、第22 卷、第 12 号、第 1649-1668 页。
【发明内容】
[0008]技术问题
[0009]本技术的一个目标在于，使接收侧能够执行与其解码能力相当的有利解码处理。
[0010]问题的解决方案
[0011 ] 本技术的一个概念是一种发送装置，包括:图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分类成多个层，对每个所述分类后的层的图片的图像数据进行编码，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流；以及发送单元，配置为发送包括所生成的视频流的具有预定格式的容器。所述图像编码单元将解码时间信息加入每个所述层的所述图片的所述编码图像数据中，其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式，设置所述解码时间信息。
[0012]在本技术中，所述图像编码单元通过编码构成动态图像数据的每个图片的图像数据来生成视频流(编码流)。在这种情况下，将构成动态图像数据的每个图片的图像数据分类成多个层并且编码，并且生成具有每层的图片的图像数据的视频流。在这种情况下，将解码时间信息加入每层的图片的编码图像数据中，所述解码时间信息设置为促使更高层具有每个图片的编码图像数据的更短解码时间间隔，例如，解码时间戳。
[0013]发送单元发送包括上述视频流的具有预定格式的容器。例如，容器可以是用于数字广播标准内的传输流(MPEG-2 TS)。此外，例如，容器可以是用于在互联网等上分布的MP4或者是具有除了该格式以外的格式的容器。
[0014]例如，所述图像编码单元可以生成具有每个所述层的所述图片的所述编码图像数据的单个视频流，并且将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将用于识别附属层组的识别信息加入每个所述层组的图片的编码图像数据中。在这种情况下，例如，所述识别信息是位流的等级指定值，并且可以给在更高层侧上的层组设置其更高值。
[0015]此外，例如，所述图像编码单元可以将所述多个层分成预定数量的层组，所述数量等于或大于2，并且生成预定数量的视频流，每个视频流具有层组的图片的编码图像数据。在这种情况下，例如，所述图像编码单元可以将用于识别附属层组的识别信息加入每个层组的图片的编码图像数据中。此外，在这种情况下，例如，所述识别信息可以是位流的等级指定值，并且可以给在更高层侧上的层组设置其更高值。
[0016]如上所述，在本技术中，将解码时间信息加入每层的图片的编码图像数据中，所述解码时间信息设置为促使更高层具有每个图片的编码图像数据的更短解码时间间隔。为此，接收侧可以根据解码性能执行有利的解码处理。甚至在解码能力较低时，例如，低层的图片的编码图像数据可以选择性解码，而不造成缓冲故障。
[0017]在本技术中，例如，所述图像编码单元可以生成具有每层的图片的编码图像数据的单个视频流，或者将所述多个层分成预定数量的层组，所述数量等于或大于2，并且生成具有每个层组的图片的编码图像数据的预定数量的视频流，并且进一步包括信息插入单元，其被配置为将包含在所述容器内的视频流的配置信息插入所述容器的层内。在这种情况下，例如，接收侧可以根据包含在容器内的视频流的配置信息，容易确定视频流的配置，从而可以执行适当的解码处理。
[0018]在本技术中，例如，所述发送单元可以将所述多个层分成预定数量的层组，所述数量等于或大于2，并且设置包含在更低层侧上的层组的图片的编码图像数据的数据包具有更高优先级。在这种情况下，例如，接收侧可以根据数据包的优先级，仅仅将与其自身的解码能力相当的层组的图片的编码图像数据放入缓冲器内。
[0019]本技术的另一个概念是一种接收装置，包括:接收单元，配置为接收具有预定格式的容器，所述容器包括具有每个层的图片的编码图像数据的视频流，其中，所述视频流是通过将构成动态图像数据的每个所述图片的图像数据分类成多个层并且编码所述图像数据而获得的。将解码时间信息加入到每个所述层的所述图片的所述编码图像数据中，其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式，设置所述解码时间信息。所述接收装置进一步包括:处理单元，配置为通过在由所述解码时间信息指示的解码时间，将等于或低于预定层的层的图片的编码图像数据解码，获得等于或低于所述预定层的所述层的所述图片的图像数据，其中所述预定层是从包含在所接收的容器内的所述视频流中选择的。
[0020]在本技术中，接收单元接收具有预定格式的容器。这个容器包括具有每层的图片的图像数据的视频流，通过将构成动态图像数据的每个图片的图像数据分成多个层并且编码所述数据，来获得所述视频流。将解码时间信息(例如，时间戳)加入每层的图片的编码图像数据中，所述解码时间信息设置为促使更高层具有每个图片的编码图像数据的更短解码时间间隔。
[0021]处理单元通过将等于或低于从包含在所接收的容器内的视频流中选择的预定层的层的图片的编码图像数据解码，获得等于或低于预定层的所述层的图片的图像数据。在这种情况下，在由最近加入其中的解码时间信息指示的解码时间，执行每个图片的编码图像数据的解码。
[0022]例如，所述接收的容器可以包括具有每层的图片的编码图像数据的单个视频流。可以将所述多个层分成预定数量的层组，所述数量等于或大于2，并且可以设置包含在更低层侧上的层组的图片的编码图像数据的数据包具有更高优先级。所述处理单元可以将包含在具有根据解码能力选择的优先级的数据包内的预定层组的图片的编码图像数据放入缓冲器内，以解码所述编码图像数据。
[0023]例如，所述接收的容器可以包括预定数量的视频流，所述数量等于或大于2，所述视频流具有通过分割多个层所获得的预定数量的层组的图片的编码图像数据。所述处理单元可以将包含在根据解码能力选择的视频流内的预定层组的图片的编码图像数据放入缓冲器内，以解码所述编码图像数据。
[0024]如上所述，在本技术中，将解码时间戳加入每层的图片的编码图像数据中，所述解码时间戳设置为促使更高层具有每个图片的编码图像数据的更短解码时间间隔，并且在由其中的解码时间信息指示的解码时间，执行等于或低于所选择的预定层的所述层的图片的编码图像数据的解码。为此，能够根据解码性能执行有利的解码处理。甚至在解码能力较低时，例如，低层的图片的编码图像数据可以选择性解码，而不造成缓冲故障。
[0025]应注意的是，在本技术中，例如，可以进一步包括后处理单元，其促使由所述处理单元获得的每个图片的图像数据的帧速率与显示能力匹配。在这种情况下，甚至在解码能力较低时，可以获得与高显示能力相当的帧速率的图像数据。
[0026]本技术的另一个概念是一种编码装置，包括:图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分类成多个层，编码每个所述分类后的层的图片的图像数据，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流。所述图像编码单元将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将位流的等级指定值插入对应于每个所述层组的子流内。插入到对应于每个所述层组的所述子流内的所述位流的等级指定值设置为等级的值，所述等级包括包含在等于或低于相应层组的层组内的所有层的图片。
[0027]在本技术中，由图像编码单元将构成动态图像数据的每个图片的图像数据分成多个层，编码每个分类的层的图片的图像数据，并且生成具有每层的图片的编码图像数据的视频流。
[0028]在这种情况下，将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将位流的等级指定值插入对应于每个层组的子流内。此外，在这种情况下，插入对应于每个层组的子流内的位流的等级指定值设置为等级的值，所述等级包括包含在等于或低于相应层组的层组内的所有层的图片。
[0029]例如，所述图像编码单元可以生成包括对应于每个层组的子流的预定数量的视频流。此外，例如，所述图像编码单元可以生成包括对应于每个层组的所有子流的单个视频流。
[0030]如上所述，在本技术中，将位流的等级指定值插入对应于每个层组的子流内，并且该值设置为等级的值，所述等级包括包含在等于或低于相应层组的层组内的所有层的图片。为此，视频流的接收侧可以根据位流的插入的等级指定值，容易确定每个子流是否能够解码。
[0031]本技术的另一个概念是一种发送装置，包括:图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分成多个层，编码每个所述分类后的层的图片的图像数据，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流。所述图像编码单元将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将位流的等级指定值插入到对应于每个所述层组的子流内。插入到对应于每个所述层组的所述子流内的所述位流的等级指定值设置为等级的值，所述等级包括包含在等于或低于所述层组的层组内的所有层的图片。所述发送装置进一步包括:发送单元，配置为传输包括所生成的视频流的具有预定格式的容器，以及信息插入单元，配置为在所述容器的层内插入标志信息，所述标志信息表示插入到每个所述层组的所述子流内的所述位流的等级指定值是等级的值，所述等级包括包含在等于或低于所述层组的层组内的所有层的所述图片。
[0032]在本技术中，图像编码单元将构成动态图像数据的每个图片的图像数据分类成多个层，编码每个分类的层的图片的图像数据，并且生成具有每层的图片的编码图像数据的视频流。
[0033]在这种情况下，将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将位流的等级指定值插入对应于每个层组的子流内。此外，在这种情况下，插入对应于每个层组的子流内的位流的等级指定值设置为等级的值，所述等级包括包含在等于或低于所述层组的层组内的所有层的图片。
[0034]发送单元传输包括所生成的视频流的具有预定格式的容器。信息插入单元在所述容器的层内插入标志信息，所述标志信息表示插入每个层组的子流内的位流的等级指定值是等级的值，所述等级包括包含在等于或低于所述层组的层组内的所有层的图片。
[0035]如上所述，在本技术中，接收侧可以了解插入每个层组的子流内的位流的等级指定值是包括包含在等于或低于所述层组的层组内的所有层的图片的等级的值，标志信息插入所述容器的层内。为此，接收侧可以实现解码处理的效率，无需使用每层的等级指定值等检查包括包含在等于或低于预定层组的每个子流内的所有层的图片的等级的值的处理。
[0036]本发明的有利效应
[0037]根据本技术，根据解码能力，能够具有有利的解码处理。应注意的是，在本文中描述的效应不必具有限制性，并且可以显示在本公开中描述的任何效应。
【附图说明】
[0038]图1是示出一个实施方式的传输和接收系统的一个配置实例的方框图；
[0039]图2是示出发送装置的一个配置实例的方框图；
[0040]图3是示出由编码器执行的分层编码的一个实例的示图；
[0041]图4是示出NAL单元报头的结构实例(语法)以及在结构实例中的主要参数的内容(语义)的示图；
[0042]图5是用于描述基于HEVC的每个图片的编码图像数据的配置的示图；
[0043]图6是示出在分层编码时的编码、解码、显示顺序以及延迟的一个实例的示图；
[0044]图7是示出在指定层次内的分层编码和显示期望(显示顺序)的编码流的示图；
[0045]图8是示出在指定层次内的编码器输入顺序以及解码器输出的显示顺序的示图；
[0046]图9是示出在分层编码时(在解码时的解码时间)的图片的编码时间的一个实例的示图；
[0047]图10是示出编码器的单个视频流(编码流)的一个输出实例的示图；
[0048]图11是示出编码器的包括基础流(B流)和扩展流(E流)的两个视频流(编码流)的一个输出实例的示图；
[0049]图12是示出编码器的一个配置实例的方框图；
[0050]图13是示出编码器的处理流程的一个实例的示图；
[0051]图14是示出HEVC描述符(HEVC_descriptor)的一个结构实例(语法)的示图；
[0052]图15是示出HEVC描述符的结构实例的主要信息的内容(语义)的示图；
[0053]图16是不出可伸缩性扩展描述符(scalability_extens1n_descriptor)的一个结构实例(语法)的示图；
[0054]图17是示出在可伸缩性扩展描述符的结构实例中的主要信息的内容(语义)的示图；
[0055]图18是示出TS数据包的一个结构实例(语法)的示图；
[0056]图19是示出在包含在VPS内的位速率的等级指定值(general_level_idc)与TS数据包报头的“transport_pr1;rity”的设定值之间的关系的示图；
[0057]图20是示出多路复用器的一个配置实例的方框图；
[0058]图21是示出多路复用器的处理流程的一个实例的示图；
[0059]图22是示出在使用单个流执行分布时传输流TS的一个配置实例的示图；
[0060]图23是示出在使用单个流执行分布时传输流TS的一个特定配置实例的示图；
[0061]图24是示出在使用多个流(两个流)执行分布时传输流的一个配置实例的示图；
[0062]图25是示出在使用两个流执行分布时传输流TS的一个特定配置实例的示图；
[0063]图26是示出在使用两个流执行分布时传输流TS的另一个特定配置实例的示图；
[0064]图27是示出接收装置的一个配置实例的方框图；
[0065]图28是示出多路分用器的一个配置实例的方框图；
[0066]图29是示出在传输流TS内包括单个视频流(编码流)的情况的示图；
[0067]图30是示出在传输流TS内包括包含基础流(B流)和扩展流(E流)的两个视频流(编码流)的情况的示图；
[0068]图31是示出多路分用器的处理流程(用于一个帧)的一个实例的示图；
[0069]图32是示出多路分用器的处理流程(用于两个帧)的一个实例的示图；
[0070]图33是示出解码器的一个配置实例的方框图；
[0071]图34是示出考虑到接收装置的解码器处理能力的用于每个视频流的解码处理程序的一个实例的流程图；
[0072]图35是示出后处理单元的一个配置实例的示图；
[0073]图36是示出解码器和后处理单元的处理流程的一个实例的示图。
【具体实施方式】
[0074]在后文中，描述用于实现本技术的实施方式(在后文中称为“实施方式”)。要注意的是，按照以下顺序提供描述。
[0075]1、实施方式
[0076]2、修改实例
[0077]〈1、实施方式〉
[0078]【传输和接收系统】
[0079]图1示出一个实施方式的发送和接收系统10的一个配置实例，作为一个实施方式。这个发送和接收系统10被配置为具有发送装置100和接收装置200。
[0080]发送装置100通过促使在广播波上传送流，来发送作为容器的传输流TS。传输流TS包括视频流，其具有每层的图片的图像数据的编码数据，其中所述层是通过将构成动态图像数据的每个图片的图像数据分成多个层而获得的。在这种情况下，例如，在H.264/AVC、H.265/HEVC等内部进行编码，并且对参考源图片进行编码，以附属于其自身的层和/或比其自身的层更低的层。
[0081]将用于识别每个图片的附属层的层识别信息加入每层的图片的编码图像数据中。在每个图片的NAL单元(nal_unit)的报头部分内设置层识别信息(“nuh_temporal_id_plusl”，其表示temporal_id)。通过以这种方式加入的层识别信息，接收侧可以选择性取出等于或低于预定层的层的编码图像数据，并且在其上执行解码处理。
[0082]传输流TS包括具有每层的图片的编码图像数据的单个视频流或者具有每个层组的图片的编码图像数据的预定数量的视频流，其中所述层组是通过将多个层分成预定数量的层组所获得的，所述数量等于或大于2。此外，将分层编码的层信息和视频流的配置信息插入传输流TS内。该信息插入传输层内。通过该信息，接收侧可以容易确定层配置或流配置，从而可以执行适当的解码处理。
[0083]此外，如上所述，将多个层分成预定数量的层组，并且TS数据包(传输流数据包)的优先级被设置为较高，所述TS数据包包含低层侧上的层组的图片的编码图像数据。根据这个优先级，接收侧可以仅仅