编码设备、编码方法、发送设备以及接收设备的制造方法
【技术领域】
[0001]本技术涉及编码设备、编码方法、发送设备以及接收设备。具体而言，本技术涉及分层编码构成运动图像数据的每个图片的图像数据的编码设备等。
【背景技术】
[0002]如果由广播或者通过互联网提供用于提供压缩运动图像的服务，例如，根据接收器的解码能力，限制可以再现的帧频率的上限。因此，服务提供商需要考虑广泛使用的接收器的再现能力，或者需要同时提供具有多个帧频率的服务，即，高帧频率和低帧频率。
[0003]接收器需要很大的成本来支持具有高帧频率的服务，这成为早期广泛使用接收器的抑制因素。如果仅仅专用于具有低帧频率的服务的廉价服务器在早期广泛使用，并且服务提供商在未来开始具有高帧频率的服务，那么在没有新接收器的情况下完全不能看到，这是广泛使用新服务的抑制因素。
[0004]例如，提出了时间方向可扩展性，其中，构成运动图像数据的每个图片的图像数据在h.265/HEVC(高效率视频编码)内分层编码(参照非专利文档I)。在接收侧上，可以根据插入NAL(网络抽象层)单元的报头内的时间ID(temporal_id)，识别每个图片的层，因此，对与解码能力对应的层执行选择性解码。
[0005]非专利文献l:GaryJ.Sullivan、Jens-Rainer 0hm、Woo_Jin Han以及ThomasWiegand，“Overview of the High Efficiency Video Coding(HEVC)StandarcT，IEEETRANSACT1NS ON CIRCUITS AND SYSTEMS FOR VIDEO TECN0R0GY,V0L.22,N0.12,pp.1649-1668,2012.12。
【发明内容】
[0006]本发明要解决的问题
[0007]本技术的一个目标在于，在接收侧上执行有利的解码处理。
[0008]解决问题的手段
[0009]本技术的概念是一种发送设备，包括:图像编码单元，被配置为:将构成运动图像数据的每个图片的图像数据分成多个层、编码每个分类的层中的图片的图像数据、将多个层划分成预定数量的层组、并且生成具有在每个划分的层组内的图片的编码图像数据的预定数量的视频流；以及发送单元，被配置为发送具有预定格式的包括生成的预定数量的视频流的内容;所述图像编码单元执行编码，以便在至少最低层组内的图片的编码图像数据的解码间隔是规则间隔。
[0010]在本技术中，图像编码单元将构成运动图像数据的每个图片的图像数据编码，从而生成预定数量的视频流。在这种情况下，将构成运动图像数据的每个图片的图像数据分成多个层并且编码。然后，将所述多个层分成预定数量的层组，并且生成预定数量的视频流，每个视频流具有在划分的层组内的图片的编码图像数据。
[0011]在图像编码单元中执行编码，以便在至少最低层组内的图片的编码图像数据的解码间隔是规则间隔。例如，图像编码单元执行编码，以便在高于最低层组的层组内的图片的编码图像数据的解码定时是在低于所述层组的所有层组内的图片的编码图像数据的解码定时的平均定时。因此，例如，在接收器具有不仅解码在最低层组内的而且解码在比该最低层组更高的层组内的图片的编码图像数据的解码能力的情况下，允许接收器对每个图片依次并且平稳地执行解码处理。
[0012]而且，例如，所述图像编码单元可将所述多个层分成预定数量的层组，以便所述最低层组包括多个层并且高于所述最低层组的层组包括一个层。因此，例如，在接收器具有解码能力以对在最低层组的多个层内的图片的编码图像数据执行处理情况下，仅需要仅选择具有在最低层组内的图片的编码图像数据的视频流、将该视频流收入在缓冲器内并且对该视频流执行解码处理的配置，并且例如不需要对多个视频流执行组合处理的复杂配置。
[0013]通过发送单元，发送包括预定数量的视频数据的具有预定格式的内容。例如，内容可以是由数字广播标准采用的传输流(MPEG-2TS)。进一步，例如，内容可以是具有用于在互联网上传送的MP4等格式的内容。
[0014]如上所述，在本技术中，执行解码，以便至少在最低层组内的图片的编码图像数据的解码间隔是规则间隔。因此，在接收器具有对最低层组内的多个层内在图片的编码图像数据执行处理的解码能力的情况下，可以对每个图片的编码图像数据连续地并且轻松地执行解码处理。
[0015]此外，本技术的另一个概念是一种发送设备，包括:图像编码单元，被配置为将构成运动图像数据的每个图片的图像数据分成多个层、编码在每个分类的层中的所述图片的图像数据、将所述多个层分成预定数量的层组、并且生成具有在每个划分的层组内的图片的编码图像数据的预定数量的视频流;发送单元，配置为发送具有预定格式的包括所生成的预定数量的视频流的内容；以及识别信息插入单元，配置为将识别信息插入所述内容的层内，所述识别信息用于识别预定数量的视频流中的每个是具有在最低层组内的图片的编码图像数据的基础流还是具有在高于所述最低层组的层组内的图片的编码图像数据的增强流。
[0016]在本技术中，图像编码单元将构成运动图像数据的每个图片的图像数据编码，以生成预定数量的视频流。在这种情况下，将构成运动图像数据的每个图片的图像数据分成多个层并且编码。然后，将所述多个层分成预定数量的层组，并且生成预定数量的视频流，每个视频流具有在划分的层组内的图片的编码图像数据。
[0017]例如，所述图像编码单元可执行编码，以便至少在最低层组内的图片的编码图像数据的解码间隔是规则间隔。在这种情况下，例如，所述图像编码单元可执行编码，以便在高于最低层组的层组内的图片的编码图像数据的解码定时是在低于该层组的所有层组内的图片的编码图像数据的解码定时的平均定时。
[0018]通过发送单元，发送包括预定数量的视频流的具有预定格式的内容。例如，内容可以是由数字广播标准采用的传输流(MPEG-2TS)。而且，例如，内容可以是具有用于在互联网上传送的MP4等格式的内容。
[0019]通过识别信息插入单元，将识别信息插入所述内容的层内。该识别信息是用于识别预定数量的视频流中的每个是具有在最低层组内的图片的编码图像数据的基础流还是具有在高于所述最低层组的层组内的图片的编码图像数据的增强流的识别信息。
[0020]例如，具有多个增强流，识别信息能够识别每个增强流。而且，例如，内容可能是传输流，并且识别信息插入单元可将识别信息作为流类型插入视频基本流回路内，所述视频基本流回路设置为在节目映射表之下对应于预定数量的视频流。
[0021]如上所述，在本技术中，用于识别预定数量的视频流中的每个是基础流还是增强流的识别信息插入所述内容的层内。因此，在接收器侧上，可以例如通过使用识别信息仅仅选择基础流，并且容易和选择性解码在更低层组内的图片的编码图像数据。
[0022]此外，本技术的另一个概念是一种发送设备，包括:图像编码单元，配置为将构成运动图像数据的每个图片的图像数据分成多个层、编码在每个分类的层中的所述图片的图像数据、将所述多个层分成预定数量的层组、并且生成具有在每个划分的层组内的图片的编码图像数据的预定数量的视频流;发送单元，配置为发送具有预定格式的包括所生成的预定数量的视频流的内容；以及配置信息插入单元，配置为将对应于包含在所述内容内的预定数量视频流中的每个的视频流的配置信息插入所述内容的层内。
[0023]在本技术中，通过图像编码单元，将构成运动图像数据的每个图片的图像数据编码，并且生成预定数量的视频流。在这种情况下，将构成运动图像数据的每个图片的图像数据分成多个层并且编码。然后，将所述多个层分成预定数量的层组，并且生成预定数量的视频流，每个视频流具有在划分的层组内的图片的编码图像数据。然后，通过发送单元，发送具有预定格式的包括预定数量的视频流的内容。
[0024]通过配置信息插入单元，视频流的配置信息插入在与包含在内容内的所述预定数量的视频流中的每个对应的内容的层内。例如，内容可以是传输流，并且配置信息插入单元可将配置信息作为描述符插入视频基本流回路内，所述视频基本流回路设置为在节目映射表之下对应于所述预定数量的视频流中的每个。
[0025]例如，所述配置信息可包括表示所述视频流所属的服务组的信息。而且，所述配置信息可包括表示在流之间的依赖关系的信息，所述流从具有在最低层组内的图片的编码图像数据的基础流开始。而且，例如，所述配置信息可包括表示由所述图像编码单元分类的多个层的层数量的信息。
[0026]如上所述，在本技术中，视频流的配置信息插入在与包含在内容内的所述预定数量的视频流中的每个对应的内容的层内。因此，例如，在接收器侧上，可以容易知道包含在内容内的视频流属于哪组、具有什么流相关关系、在分层编码中具有多少层等。
[0027]此外，本技术的另一个概念是一种接收设备，包括:接收单元，配置为接收具有在预定数量的层组的一个层组内的图片的编码图像数据的预定数量的视频流，通过将构成运动图像数据的图片的图像数据分成多个层并且编码所述图像数据来获得所述编码图像数据，将所述多个层分成预定数量的层组；以及处理单元，配置为处理所述接收的预定数量的视频流，其中，至少编码预定数量的视频流中的具有最低层组内的图片的编码图像数据的视频流，以便每个图片的解码间隔是规则间隔。
[0028]在本技术中，通过接收器将构成运动图像数据的每个图片的图像数据分成多个层并编码并且接收预定数量的视频流，每个视频流具有通过将多个层分成预定数量的层组获得的层组内的图片的编码图像数据。然后，由处理单元处理接收的预定数量的视频流。
[0029]在这种情况下，至少编码预定数量的视频流中的具有在最低层组内图片的编码图像数据的视频流，以便每个图片的解码间隔是规则间隔。因此，例如，通过处理在最低层组内的多个层内的图片的编码图像数据的解码能力，可以对每个图片的编码图像数据连续地并且轻松地执行解码处理。
[0030]应注意的是，在本技术中，例如，可编码预定数量的视频流，以便在高于最低层组的层组内的图片的编码图像数据的解码定时是在低于该层组的所有层组内的图片的编码图像数据的解码定时的平均定时。因此，例如，通过不仅解码在最低层组内的且解码在比该最低层组更高的层组内的图片的编码图像数据的解码能力，可以对每个图片平稳地并且依次执行解码处理。
[0031 ]此外，本技术的另一个概念是一种接收设备，包括:接收单元，配置为接收具有在预定数量的层组的一个层组内的图片的编码图像数据的预定数量的视频流，编码图像数据通过将构成运动图像数据的图片的图像数据分成多个层并且编码图像数据来获得所述，将所述多个层分成预定数量的层组；以及图像解码单元，配置为:根据解码能力从包含在所接收的内容内的预定数量的视频流中，将在等于或低于的预定层的层内的图片的编码图像数据选择性收入在缓冲器内；解码收入在缓冲器内的图片的编码图像数据;并且获取在等于或低于预定层的层内的图片的图像数据，其中，至少编码预定数量的视频流中具有在最低层组内的图片的编码图像数据的视频流，以便每个图片的解码间隔是规则间隔。
[0032]在本技术中，通过接收器接收具有预定格式的内容。该内容包括具有在一个或多个层内的图片的编码图像数据的预定数量的视频流，通过将构成运动图像数据的每个图片的图像数据分成多个层、编码图像数据、并且将多个层分成预定数量的层组来获得编码图像数据。
[0033]通过图像解码单元，根据解码能力从包含在所接收的内容内的预定数量的视频流中，将在等于或低于的预定层组的层内的图片的编码图像数据选择性收入在缓冲器内，并且解码收入在所述缓冲器内的图片的编码图像数据，以获取在等于或低于预定层的层内的图片的图像数据。例如，在预定的层组内的图片的编码图像数据包含在多个视频流内的情况下，图像解码单元可基于解码定时信息，将每个图片的编码图像数据解码为一个流。
[0034]在这种情况下，至少编码预定数量的视频流中具有在最低层组内的图片的编码图像数据的视频流，以便每个图片的解码间隔是规则间隔。因此，例如，通过处理最低层组内的多个层内的图片的编码图像数据的解码能力，可以对每个图片的编码图像数据连续地并且轻松地执行解码处理。
[0035]应注意的是，在本技术中，例如，可将识别信息插入所述内容的层内，所述识别信息用于识别预定数量的视频流中的每个是包括在最低层组内的图片的编码图像数据的基础流还是包括在高于所述最低层组的层组内的图片的编码图像数据的增强流，并且所述图像解码单元可基于所述识别信息根据解码能力，从包括所述基础流的预定数量的视频流中，将预定层组内的图片的编码图像数据选择性收入在缓冲器内，并且解码所述编码图像数据。在这种情况下，可以例如通过使用识别信息仅仅选择基础流，并且容易和选择性解码在更低层组内的图片的编码图像数据。
[0036]此外，在本技术中，例如，可进一步提供后处理单元，其被配置为使在所述图像解码单元内获取的每个图片的图像数据的帧速率与显示能力匹配。在这种情况下，即使在解码能力低的情况下，可以通过与高显示能力匹配的帧速率获取图像数据。
[0037]本发明的效果
[0038]根据本技术，能够在接收侧上执行有利的解码处理。不必限制在本文中描述的效果，而是可以是在本文中描述的任何效果。
【附图说明】
[0039][图1]是示出根据实施方式的发送/接收系统的配置实例的方框图；
[0040][图2]是示出发送设备的配置实例的方框图；
[0041 ][图3]是示出在编码器内执行的分层编码的实例的示图；
[0042][图4]是示出NAL单元报头的结构实例以及在结构实例中的主要参数的内容的示图；
[0043][图5]是用于解释在HEVC中的每个图片的编码图像数据的配置的示图；
[0044][图6]是示出在分层编码时的编码、解码、显示顺序以及延迟的实例的示图；
[0045][图7]是示出在指定层内的分层编码和显示期望(显示顺序)内的编码流的示图；
[0046][图8]是用于解释预定数量的视频流(2个流)的图片的编码定时(解码定时)的示图；
[0047][图9]是示出在生成基础流和增强流这两个视频流的情况下的每个图片的编码定时(解码定时)的一个实例的示图；
[0048][图10]是示出在生成基础流和增强流这两个视频流的情况下的每个图片的编码定时(解码定时)的另一个实例的示图；
[0049][图11]是用于解释预定数量的视频流(3个流)的图片的编码定时(解码定时)的示图；
[0050][图12]是示出在生成基础流和两个增强流这三个视频流的情况下的每个图片的编码定时(解码定时)的一个实例的示图；
[0051][图13]是示出在生成基础流和两个增强流这三个视频流的情况下的每个图片的编码定时(解码定时)的另一个实例的示图；
[0052][图14]是示出编码器的HRD(假设参考解码器)控制的实例的示图；
[0053][图15]是示出编码器的配置实例的方框图；
[0054][图16]是示出编码器的处理流程的实例的示图；
[0055][图17]是示出HEVC描述符(HEVC_descriptor)的结构实例的示图；
[0056][图18]是示出多流描述符(multistream_descriptor)的结构实例的示图；
[°°57][图19]是示出在多流描述符(multistream_descriptor)的结构实例中的主要信息的内谷的不图；
[0058][图20]是示出在传输流TS包括(例如)服务I和2的视频流组的情况下“Stream_type，，、“Group_id，，、“max/min layer，，、“max_layer_in_group，，VX Jk.uStream_dependency_ordering”的一个实例的示图；
[0059][图21]是示出多路复用器的一个配置实例的方框图；
[0060][图22]是示出多路复用器的处理流程的一个实例的示图；
[0061][图23]是示出在2流传送中的传输流TS的一个配置实例的示图；
[0062][图24]是示出在3流传送中的传输流TS的一个配置实例的示图；