图像数据发送装置、图像数据发送方法、图像数据接收装置和图像数据接收方法
【专利摘要】本发明的目的是要使得能够在解码前，在接收端能够进行子流配置构成单个视频流的情况和子流配置构成多个视频流的情况的容易和可靠的识别。在规定格式的、具有包括第一图像数据和与此第一数据有关的预定数量的第二图像数据的基本视频流的容纳器的发送期间，特定信息被插入在对于与此容纳器层的基本视频流有关的信息的安置位置。在规定格式的、包含包括第一图像数据的基本视频流和分别包括与此第一数据有关的预定数量的第二图像数据的预定数量扩展视频流的容纳器的发送期间，特定信息被插入在对于分别与此容纳器层的预定数量的扩展视频流有关的信息的安置位置。
【专利说明】图像数据发送装置、图像数据发送方法、图像数据接收装置和图像数据接收方法
【技术领域】
[0001]本技术涉及图像数据发送装置、图像数据发送方法、图像数据接收装置和图像数据接收方法，更具体地，涉及用于发送用以进行三维图像显示的图像数据、可伸缩编码的图像数据等的图像数据发送装置等。
【背景技术】
[0002]迄今为止，作为用于运动画面的编码方法，已知H.264/AVC(Advanced VideoCoding,高级视频编码)(参见NPL1)。另外，作为这种H.264/AVC的扩展，已知H.264/MVC(Mult1-view Video Coding,多视图视频编码)(参见 NPL2)。
[0003]在MVC中，采用多视图图像数据的各项一起被编码的机制。在MVC中，多视图图像数据被编码为一项基本视图图像数据和超过一项的非基本视图图像数据。
[0004]另外，作为H.264/AVC 的扩展，已知H.264/SVC(Scalable Video Coding,可伸缩视频编码)(参见NPL3)。SVC是用于分层地对图像编码的技术。在SVC中，分层级被分为基级(最底级)和被添加至此基级的扩展级(更闻的级)，所述基级包括对于以最小质量对运动画面解码所需要的图像数据，所述扩展级包括用于改善运动画面的质量的图像数据。
[0005]引用列表
[0006]非专利文献
[0007]NPL 1:" Draft Errata List withRevision-Marked Corrections for H.264/AVC" , JVT-1050, Thomas Wiegand et al., Joint Video Team(JVT)of IS0/IEC MPEG &ITU-T VCEG, 2003
[0008]NPL 2: Joint Draft4.0on MultiviewVideo Coding, Joint Video Team of ISO/IEC MPEG & ITU-T VCEG, JVT-X209, 2007 年 7 月
[0009]NPL 3:Heiko Schwarz, Detlev Marpe, andThomas ffiegand, " Overview of theScalable Video CodingExtension of the H.264/AVC Standard" , IEEETRANSACTIONSON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL.17，N0.9，2007 年 9 月，页数1103-1120.
【发明内容】
[0010]在MVC的情况下，已知的是，在传输流中发送通过对作为一个画面的基本视图的图像数据编码所获得的基本视频流、以及每一个均通过对作为一个画面的非基本视图的一项图像数据编码所获得的预定数量的扩展视频流。而且，在MVC的情况下，还已知的是，在用作容纳器的传输流中发送通过对作为一个流的基本视图的图像数据和非基本视图的预定项数的图像数据编码所获得的基本视频流。
[0011]当传输流中存在多个视频流时，即，当子流配置为使得它们由多个流构成时，需要彼此同步地处理各流。此外，在这种情况下，尽管比特速率由于速率的改变彼此独立而在各视频流之间是不同的，但是要求根据系统需要，诸如以恒定的比特速率或者可变的比特速率、在整个传输流中进行速率控制。此外，在这种情况下，在随机访问期间，需要平滑地定位多个流(主要是I画面)的开始，由此，对于多路复用多个视频流而言，需要先进的技术。
[0012]另一方面，当在传输流中仅存在一个视频流时，即，当多个子流被配置为使得它们由一个视频流构成时，各个视图的图像数据的各项编码数据被互连作为例如访问单元的每个组，并且可以通过用访问单元表示的每个组来解码和显示编码数据。于是，对同步处理和随机访问给予更少的考虑。
[0013]另外，可以进行简单的多路复用，如通过将多个画面的组看作单个大画面来进行速率控制，从而实现在整体上方便从编码到多路复用的控制的优点。因此，如果在传输流中仅存在一个视频流，那么尤其是发送方可确定更易于应对。
[0014]本技术的目标是通过使得接收方能够在进行解码前可靠和容易地识别子流配置为使得它们由单个视频流还是多个视频流构成来方便接收方的处理。
[0015]对于问题的解决方案
[0016]本技术的构思是一种图像数据发送装置，包括:发送单元，其发送具有预定格式的、容纳包括第一图像数据和与第一图像数据有关的预定项数的第二图像数据的基本视频流的容纳器；以及信息插入单元，其将特定信息插入至所述容纳器的层中有关基本视频流的信息所位于的位置。
[0017]在本技术中，具有预定格式的、容纳包括第一图像数据和有关此第一图像数据的预定项数的第二图像数据的基本视频流的容纳器由发送单元发送。例如，容纳器可以是数字广播标准中采用的传输流(MPEG-2TS)。进一步，例如，容纳器可以是因特网分发中使用的MP4的容纳器或者具有MP4以外的格式的容纳器。特定信息通过信息插入单元插入至容纳器的层中有关基本视频流的信息所位于的位置。
[0018]注意，在本技术中，例如，特定信息可以是具有关于第一图像数据和预定项数的第二图像数据的信息的描述符。而且，在本技术中，例如，所述容纳器可以是传输流，并且所述信息插入单元可以将所述描述符插入至节目映射表下对应于基本视频流的视频基本环路的描述符部分。
[0019]而且，在本技术中，例如，所述第一图像数据可以是用于进行三维图像显示的基本视图的图像数据，所述第二图像数据可以是用于进行三维图像显示的基本视图以外的视图的图像数据，并且所述描述符可以是具有关于每个视图的信息的MVC扩展描述符。
[0020]而且，在本技术中，例如，所述第一图像数据可以是形成可伸缩编码的图像数据的最底分层级的图像数据，所述第二图像数据可以是形成可伸缩编码的图像数据的最底分层级以外的分层级的图像数据，并且所述描述符可以是具有关于每个分层级的图像数据的信息的SVC扩展描述符。
[0021]以此方式，在本技术中，当发送具有预定格式的、容纳包括第一图像数据和与此第一图像数据有关的预定项数的第二图像数据的容纳器时，特定信息被插入至容纳器的层中有关基本视频流的信息所位于的位置。
[0022]于是，接收方可以可靠和容易地识别此容纳器容纳包括第一图像数据和与此第一图像数据有关的预定项数的第二图像数据的基本视频流。然后，这使得接收方能够在进行解码前精确地确定进行解码时缓冲存储器的配置以及解码模式和显示模式。[0023]进一步，本技术的另一构思是一种图像数据发送装置，包括:发送单元，其发送具有预定格式的、容纳包括第一图像数据的基本视频流和预定项数的扩展视频流的容纳器，所述扩展视频流包括与第一图像数据有关的预定数量的第二图像数据的各个项；以及信息插入单元，其将特定信息插入至所述容纳器的层中有关预定数量的扩展视频流中每一个的信息所位于的位置。
[0024]在本技术中，发送具有预定格式的容纳器，该容纳器容纳包括第一图像数据的基本视频流和包括关于第一图像数据的预定项数的第二图像数据的预定数量的扩展视频流。例如，容纳器可以是数字广播标准中采用的传输流(MPEG-2 TS)。进一步，例如，容纳器可以是因特网分发中使用的MP4的容纳器或者具有MP4以外的格式的容纳器。特定信息通过信息插入单元插入至容纳器的层中有关基本视频流的信息所位于的位置。
[0025]在本技术中，例如，所述特定信息可以是具有关于第一图像数据和预定项数的第二图像数据的信息的描述符。而且，在本技术中，所述容纳器可以是传输流，并且所述信息插入单元可以将所述描述符插入至节目映射表下对应于预定数量的基本视频流的视频基本环路的描述符部分。
[0026]注意，在本技术中，例如，所述第一图像数可以是用于进行三维图像显示的基本视图的图像数据，所述第二图像数据可以是用于进行三维图像显示的基本视图以外的视图的图像数据，并且所述描述符可以是具有关于每个视图的信息的MVC扩展描述符。
[0027]而且，在本技术中，例如，所述第一图像数据可以是形成可伸缩编码的图像数据的最底分层级的图像数据，所述第二图像数据可以是形成可伸缩编码的图像数据的最底分层级以外的分层级的图像数据，并且所述描述符可以是具有关于每个分层级的图像数据的信息的SVC扩展描述符。
[0028]以此方式，在本技术中，当发送具有预定格式的、容纳包括第一图像数据的基本视频流和包括与此第一图像数据有关的预定项数的第二图像数据的预定数量的扩展视频流的容纳器时，特定信息被插入至容纳器的层中有关预定数量的扩展视频流中每一个的信息所位于的位置。
[0029]于是，接收方可以可靠和容易地识别此容纳器容纳包括第一图像数据的基本视频流和包括与此第一图像数据有关的预定数量的各项第二图像数据的预定数量的扩展视频流。然后，这使得接收方能够在进行解码前精确地确定进行解码时缓冲存储器的配置以及解码模式和显示模式。
[0030]进一步，本技术的另一构思是一种图像数据接收装置，包括:接收单元，其接收具有预定格式的容纳器；以及处理单元，其基于所述容纳器的层中特定信息的存在和插入位置，处理所述容纳器中容纳的视频流，以便获得彼此有关的预定项数的图像数据。
[0031]在本技术中，具有预定格式的容纳器由接收单元接收。然后，基于容纳器的层中特定信息的存在和插入位置，处理单元处理此容纳器中容纳的视频流，并且处理单元获得彼此有关的预定项数的图像数据。例如，预定项数的图像数据可以形成用于进行三维图像显示的图像数据或者可伸缩编码的数据的图像数据。
[0032]注意，在本技术中，例如，当所述特定信息插入至所述容纳器的层中与所述容纳器中容纳的基本视频流有关的信息所位于的位置时，所述处理单元可以处理此基本视频流，以便获得预定项数的图像数据。而且，在本技术中，例如，当所述特定信息插入至所述容纳器的层中与所述容纳器中容纳的扩展视频流有关的信息所位于的位置时，所述处理单元可以处理该容纳器中容纳的该扩展视频流和基本视频流，以便获得预定项数的图像数据。
[0033]以此方式，在本技术中，基于容纳器的层中特定信息的存在和插入位置，处理此容纳器中容纳的视频流，并且获得彼此有关的预定项数的图像数据。在这种情况下，可以在进行解码前精确地确定进行解码时缓冲存储器的配置以及解码模式和显示模式，从而使得可以平滑地获得图像数据。
[0034]发明的有益效果
[0035]根据本技术，接收方可以在进行解码前可靠和容易地识别子流配置为由单个视频流还是多个视频流构成。
【专利附图】
【附图说明】
[0036]图1是图示用作本发明的实施例的图像发送/接收系统的配置的示例的框图。
[0037]图2是图示MVC扩展描述符的结构(Syntax，句法)的示例的图。
[0038]图3是图示布置在广播站中的形成图像发送/接收系统的传输数据产生器的配置的示例的框图。
[0039]图4示出示意性图示与基本视频流和扩展视频流相关联地插入MVC扩展描述符的图。
[0040]图 5 是图不 NAL 单兀首标(NAL unit header MVC extension, NAL 单兀首标 MVC扩展)的配置(Syntax)的示例的图。
[0041]图6是图示发送二维(2D)图像时传输流TS的配置的示例的图。
[0042]图7是图示发送三维(3D)图像时传输流TS的配置的示例的图。
[0043]图8是图示发送三维(3D)图像时传输流TS的配置的示例的图。
[0044]图9是图示形成图像发送/接收系统的接收器的配置的示例的框图。
[0045]图10是图示CPU基于MVC扩展描述符的存在和插入位置执行的控制处理的示例的流程图。
[0046]图11示出示意性图示接收器在接收到各种信号时执行的处理的流程的图。
[0047]图12是图示SVC扩展描述符的结构(Syntax)的示例的图。
[0048]图13是图示NAL单元首标(NAL单元首标SVC扩展)的配置(Syntax)的示例的图。
[0049]图14是图示应对SVC流的接收器的配置的示例的框图。
【具体实施方式】
[0050]以下描述用于实施本技术的方式(下文称为“实施例”)。将按下列顺序给出描述。
[0051]1.实施例
[0052]2.修改的示例
[0053]〈1.实施例 >
[0054][图像发送/接收系统]
[0055]图1图示用作实施例的图像发送/接收系统10的配置的示例。此图像发送/接收系统10包括广播站100和接收器200。广播站100通过广播波发送用作容纳器(container)的传输流TS。
[0056]当发送二维(2D)图像时，包括二维图像数据的视频流容纳在传输流TS中。在这种情况下，视频流被发送为AVC(2D)视频基本流。
[0057]当发送三维(3D)图像时，传输流TS中可容纳包括用于进行三维图像显示的基本视图的图像数据和基本视图以外的预定数量视图的各项图像数据的一个视频流。即，这是将子流配置为使得它们由单个视频流构成的情况。在这种情况下，通过对作为一个画面的基本视图的图像数据和预定数量非基本视图的各项图像数据进行编码所获得的视频流被发送为MVC视频基本流(基本视频流)。
[0058]在这种情况下，在传输流TS的层中有关上述基本视频流的信息所位于的位置处，插入特定的信息(例如，具有关于各个视图的各项图像数据的信息的描述符)。在此实施例中，将MVC扩展描述符(MVC_extension_descriptor)插入节目映射表下对应于基本视频流的视频基本环路的描述符部分。
[0059]通过以此方式插入MVC扩展描述符，接收方能够识别出正在进行三维(3D)传输并且子流配置为使得它们由单个视频流构成。即，接收方能够识别出传输流TS容纳包括用于进行三维图像显示的基本视图的图像数据和基本视图以外的预定数量视图的各项图像数据的基本视频流。
[0060]另一方面，当发送三维(3D)图像时，传输流TS中可容纳包括用于进行三维图像显示的基本视图的图像数据的基本视频流和包括基本视图以外的预定数量视图的各项图像数据的预定数量扩展视频流。即，这是将子流配置为使得它们由多个流构成的情况。
[0061]在这种情况下，通过对作为一个画面的基本视图的图像数据编码而获得的视频流被发送为MVC基本视图视频基本流(基本视频流)。而且，每个均通过对作为一个画面的非基本视图的一项图像数据编码而获得的预定项数的视频流被发送为MVC非基本视图视频基本流(扩展视频流)。
[0062]在这种情况下，在传输流TS的层中有关每一个上述预定数量扩展视频流的一项信息所位于的位置处，插入特定的信息(例如，具有关于每个视图的图像数据的一项信息的描述符)。在此实施例中，将MVC扩展描述符(MVC_extension_descriptor)插入节目映射表下对应于扩展视频流的视频基本环路的描述符部分。
[0063]通过以此方式插入MVC扩展描述符，接收方能够识别出正在进行三维(3D)传输并且子流配置为使得它们由多个流构成。即，接收方能够识别出传输流TS容纳包括用于进行三维图像显示的基本视图的图像数据的基本视频流和包括具有基本视图以外的预定数量视图的各项图像数据的预定数量扩展视频流。
[0064]图2图示此MVC扩展描述符的结构(Syntax)的示例，尽管整个描述符的详细描述将予以省略。字段"view order index_start"表不第一视图编号，"view order index_end"表示最终视图编号。通过这些信息项，可以识别所有视图的编号。字段"View_id"表示与此描述符对应的视图(非基本视图)的序数编号。此字段"View_id"指定与稍后描述的"NAL unit header"中的"view_id"的内容类似的内容,并且可以省略为保留位。
[0065]接收器200接收通过广播波从广播站100发送的传输流TS。在此传输流TS中，当发送二维(2D)图像时，容纳包括二维数据的AVC(2D)视频基本流。而且，在此传输流TS中，当发送三维(3D)图像时，仅容纳MVC基本视频流，或者连同此MVC基本视频流一起的预定数量扩展视频流。
[0066]基于传输流TS的层中特定信息的存在和插入位置，接收器200处理此传输流TS中容纳的视频流。即，确定进行解码时缓冲存储器的配置以及解码模式和显示模式。接收器200获得用于进行二维(2D)图像显示的图像数据或者用于进行三维(3D)图像显示的预定数量视图的各项图像数据，然后显示二维(2D)图像或(3D)图像。
[0067]在此实施例中，接收器200确定节目映射表下对应于基本视频流的视频基本环路(第一 ES环路)的描述符部分中是否存在MVC扩展描述符。然后，当在第一 ES环路中存在描述符时，接收器200识别出正在进行三维(3D)传输，并且此视频流包括用于进行三维图像显示的基本视图的图像数据和除了基本视图以外的预定数量视图的图像数据。在这种情况下，接收器200对传输流TS中容纳的对应视频流解码，以便获得用于进行三维图像显示的多项图像数据，然后显示三维图像。
[0068]另一方面，当在第一 ES环路中不存在描述符时，接收器200确定在传输流TS中是否容纳扩展视频流。然后，当容纳扩展视频流时，接收器200确定节目映射表下对应于扩展视频流的视频基本环路(第二 ES环路)的描述符部分中是否存在MVC扩展描述符。
[0069]然后，当在第二 ES环路中存在描述符时，接收器200识别出正在进行三维(3D)传输，并且此扩展视频流和基本视频流包括用于进行三维图像显示的基本视图的图像数据和除了基本视图之外的预定数量视图的图像数据。在这种情况下，接收器200对传输流TS中容纳的多个视频流解码，以便获得用于进行三维图像显示的多项图像数据，然后显示三维图像。
[0070]进一步，当传输流TS中没有容纳扩展视频流时或者在第二 ES环路中不存在描述符时，接收器200识别出正在进行二维(2D)传输。在这种情况下，接收器200对传输流TS中容纳的视频流解码，以便获得二维图像数据，然后进行已知的基本的二维图像显示。
[0071]"传输数据产生器的配置的示例"
[0072]图3图示广播站100中产生上述传输流的传输数据产生器110的配置的示例。此传输数据产生器110包括数据提取单元(档案单元)111、视频编码器112、视差编码器113和音频编码器114。此传输数据产生器110还包括图形产生单元115、图形编码器116和多路复用器117。
[0073]数据记录介质Illa固定至数据提取单元111，以使得例如其与数据提取单元111可附连和分离。在此数据记录介质Illa中，连同要发送的节目的图像数据一起，记录与此图像数据相关联的声音数据。例如，根据节目，将图像数据切换到用于进行三维(3D)图像显示的图像数据或者用于进行二维(2D)图像显示的图像数据。而且，例如，根据节目的内容，如广告的节目自身，将图像数据切换到用于进行三维(3D)图像显示的图像数据或者用于进行二维(2D)图像显示的图像数据。如上面说明的，用于进行三维图像显示的多项图像数据由基本视图的图像数据和预定数量的非基本视图的图像数据构成。
[0074]当图像数据是用于进行三维图像显示的图像数据时，视差信息也可以记录在数据记录介质Illa上。此视差信息是指示基本视图和每个非基本视图之间视差、深度数据等的视差信息(视差矢量)。深度数据可以通过进行预定转换而处理为视差信息。视差信息例如是关于每个像素(画面要素)的视差信息或者是关于通过将视图(图像)分割预定数量所获得的每个分割区域的视差信息。[0075]通过调整要在接收方中基本视图的图像和每个非基本视图的图像上叠加的相同叠加信息(如图形信息)的位置，此视差信息例如用于提供视差。通过对接收方中基本视图的图像数据和每个非基本视图的图像数据进行内插处理(后处理)，此视差信息例如还用于获得预定数量的视图的显示图像数据。数据记录介质Illa是盘形记录介质、半导体存储器等。数据提取单元111从数据记录介质Illa提取图像数据、声音数据、视差信息等，并且输出它们。
[0076]视频编码器112对从数据提取单元111输出的图像数据进行编码(例如，MPEG2视频，MPEG4-AVC (MVC)，HEVC等)，从而获得编码的视频数据。而且，通过使用布置在后级的流格式器(未示出)，此视频编码器112产生视频基本流。
[0077]S卩，当图像数据是二维(2D)图像数据时，此视频编码器112产生包括此二维图像数据的AVC(2D)视频基本流。另一方面，当图像数据是用于进行三维(3D)图像显示的多个视图的图像数据时，此视频编码器112产生包括这多个视图的图像数据的一个或多个视频基本流。例如，如果子流配置为使得它们由单个视频流构成，则视频编码器112对作为一个画面的基本视图的图像数据和预定数量的非基本视图的图像数据编码，从而产生MVC视频基本流(基本视频流)。
[0078]另一方面，例如，如果子流配置为使得它们由多个视频流构成，则视频编码器112对作为一个视频基本流的基本视图的图像数据编码，从而产生MVC基本视图视频基本流(基本视频流)。另外，在这种情况下，视频编码器112还对作为独立视频基本流的预定数量的非基本视图的各项图像数据编码，从而产生预定数量的MVC非基本视图视频基本流(扩展视频流)。
[0079]音频编码器114对从数据提取单元111输出的声音数据进行编码(如MPEG2 AudioAAC等),从而广生首频基本流。
[0080]视差编码器113对从数据提取单元111输出的视差信息进行预定的编码，从而产生视差信息的基本流。注意，如上面说明的，如果视差信息是关于每个像素(画面要素)的视差信息，则可以将此视差信息处理为像素数据。在这种情况下，通过使用与用于上述图像数据的编码方法类似的编码方法，视差编码器113可以对视差信息编码，从而产生视差信息基本流。注意，在此情况下，从数据提取单元111输出的视差信息的编码可以由视频编码器112进行，在此情况下，视差信息编码器113不是必要的。
[0081]图形产生单元115产生指示要在图像上叠加的图形信息(还包括字幕信息)的数据(图形数据)。图形编码器116产生图形基本流，所述图形基本流包括通过图形产生单元115产生的图形数据。
[0082]图形信息例如指示标志(logo)。字幕信息例如指示字幕。此图形数据是位图数据。指示图像上的叠加位置的偏移信息被添加至此图形数据。此偏移信息例如指示从图像的左上部的原点到叠加位置处图形信息的左上部的像素的距离的垂直方向上和水平方向上的偏移值。注意，用于发送作为位图数据的字幕数据的标准通过DVB标准化为作为欧洲数字广播标准的"DVB_Subtitling"，并加以利用。
[0083]多路复用器117对视频编码器112、视差编码器113、音频编码器114和图形编码器116产生的基本流进行分组和多路复用，从而产生传输流TS。当发送二维(2D)图像时，该传输流TS容纳包括二维图像数据的AVC (2D)视频基本流。另一方面，当发送三维(3D)图像时，此传输流TS容纳MVC基本子流和与此MVC基本子流一起的预定数量的扩展子流。
[0084]当发送三维(3D)图像时，多路复用器117将特定信息插入至传输流TS的层的特定位置。在这种情况下，该特定位置依据子流配置为使得它们由单个流还是多个流构成而改变。
[0085]如果子流配置为使得它们由单个视频流构成，则在传输流TS的层中有关上述基本视频流的信息位于的位置处，插入特定的信息(例如，具有关于各个视图的图像数据的信息的描述符)。在此实施例中，多路复用器117将MVC扩展描述符(参见图2)插入至节目映射表下对应于基本视频流的视频基本环路的描述符部分。
[0086]图4(a)示意性图示与基本视频流相关联地以此方式插入MVC扩展描述符(MVC_extension_descriptor)。在此不例中，具有流类型(Stream type) " OxlB"的基本视频流包括基本视图图像数据的编码数据和一项非基本视图图像数据的编码数据。基本视图图像数据的编码数据由"SPS-Coded Slice"构成，而非基本视图图像数据的编码数据由"Subset SPS-Coded Slice"构成。
[0087]而且，如果子流配置为使得它们由多个流构成，则在传输流TS的层中有关每个上述预定数量的扩展视频流的一项信息所位于的位置处，插入特定的信息(例如，具有关于每个视图的图像数据的一项信息的描述符)。在此实施例中，将MVC扩展描述符(参见图2)插入至节目映射表下对应于扩展视频流的视频基本环路的描述符部分。
[0088]图4(b)示意性图示与扩展视频流相关联地以此方式插入MVC扩展描述符(MVC_extension_descriptor)。在此不例中，具有流类型(Stream type) " OxlB"的基本视频流只包括基本视图图像数据的编码数据。此基本视图图像数据的编码数据由"SPS-CodedSlice"构成。另外，在此示例中，具有流类型(Stream type)" 0x20"的扩展视频流只包括非基本视图图像数据的编码数据。此非基本视图图像数据的编码数据由"SubsetSPS-Coded Slice"构成。
[0089]图5图示NAL单元首标(NAL单元首标MVC扩展)的配置(Syntax,句法)的示例。字段"View_id"指示对应视图的序数编号。即，当进行解码时，接收方能够基于关于此字段"View_id"的字段信息，识别出每一项编码数据对应于分组中的哪一项视图图像数据。
[0090]将简要地描述图3中所示的传输数据产生器111的操作。将数据提取单元111输出的图像数据(用于进行二维图像显示的一项图像数据或者用于进行三维图像显示的多个视图的图像数据)提供给视频编码器112。在此视频编码器112中，对此图像数据进行编码处理(例如，MPEG2video, MPEG4-AVC (MVC)，HEVC等)，并且产生包括编码的视频数据的视频基本流，然后将其输出至多路复用器117。
[0091]S卩，在视频编码器112中，在用于进行二维图像显示的图像数据的情况下，例如产生包括此图像数据的AVC(2D)视频基本流。另一方面，在用于进行三维图像显示的多个视图的图像数据的情况下，产生包括这多个视图的图像数据的一个或多个视频基本流。
[0092]例如，当将子流配置为使得它们由单个视频流构成时，产生包括基本视图的图像数据和预定数量的非基本视图的图像数据的MVC视频基本流(基本视频流)。而且，例如，当将子流配置为使得它们由多个流构成时，产生包括基本视图的图像数据的MVC基本视图视频基本流(基本视频流)。而且，在这种情况下还产生包括预定数量的非基本视图的每一项图像数据的MVC非基本视图视频基本流(扩展视频流)。[0093]而且，当从数据提取单元111输出用于进行三维图像显示的多个视图的各项图像数据时，还从此数据提取单元111输出与各个视图的每一项图像数据对应的视差信息。将此视差信息提供给视差编码器113。在视差编码器113中，对视差信息进行预定的编码处理，从而产生包括编码数据的视差基本流。将此视差基本流提供给多路复用器117。
[0094]而且，当从数据提取单元111输出图像数据时，还从此数据提取单元111输出与该图像数据相关联的声音数据。将此声音数据提供给音频编码器114。在此音频编码器114中，对声音数据进行诸如MPEG2Audio AAC之类的编码处理，从而产生包括编码的音频数据的音频基本流。将此音频基本流提供给多路复用器117。
[0095]根据从数据提取单元111输出的图像数据，在图形产生单元115中，产生要在图像(视图)上叠加的图形信息(包括字幕信息)的数据(图形数据)。将此图形数据提供给图形编码器116。在图形编码器116中，对此图形数据进行预定的编码处理，从而产生包括编码数据的图形基本流。将此图形基本流提供给多路复用器117。
[0096]在多路复用器117中，从各个编码器提供的基本流被分组和多路复用，从而产生传输流TS。当发送二维(2D)图像时，此传输流TS中容纳包括二维图像数据的AVC(2D)视频基本流。另一方面，当发送三维(3D)图像时，此传输流TS中容纳MVC基本子流和连同此MVC基本子流一起的预定数量的扩展子流。
[0097]进一步，在多路复用器117中，当发送三维(3D)图像并且如果将子流配置为使得它们由单个视频流构成时，将MVC扩展描述符(参见图2)插入至节目映射表下与基本视频流对应的视频基本环路的描述符部分。另一方面，在多路复用器117中，当发送三维(3D)图像并且如果将子流配置为使得它们由多个流构成时，将MVC扩展描述符(参见图2)插入至节目映射表下与扩展视频流对应的视频基本环路的描述符部分。
[0098]图6图示当发送二维(2D)图像时传输流TS的配置的示例。在配置的此示例中，在传输流TS中，容纳包括用于进行二维(2D)图像显示的图像数据的视频基本流的PES分组"Video PESl "。注意，在配置的此示例中，为了绘图的简单表示，未示出其他的PES分组。
[0099]而且，在传输流TS中，PMT (Program Map Table,节目映射表)被容纳作为PSI (Program Specific Information,节目特定信息)。此PSI是指示传输流TS中容纳的每个基本流属于哪个节目的信息。另外，在传输流TS中，用于进行事件的管理的EIT(EventInformation Table,事件信息表)被容纳作为 SI (Serviced Information,服务信息)。
[0100]在PMT中，存在用于描述有关整个节目的信息的节目描述符(ProgramDescriptor)。此外，在此PMT中，存在具有有关每个基本流的信息的基本环路。在配置的此示例中，存在与PES分组"Video PES1"对应的视频基本环路。在此视频基本环路中，布置诸如分组标识符(PID)和视频基本流的流类型(Stream_Type)之类的信息，并且还布置了用于描述有关此视频基本流的信息的描述符，尽管其没有示出。
[0101]图7图示当发送三维(3D)图像时传输流TS的配置的示例。此配置示例示出将子流配置为使得它们由单个视频流构成的情况(1-PID情况)。在此配置示例中，在传输流TS中，容纳包括基本视图的图像数据和预定数量的非基本视图的图像数据的MVC视频基本流(基本视频流)的PES分组"Video PESl "。注意，在此配置示例中，为了绘图的简单表示，未示出其他的PES分组。[0102]在PMT中，存在与PES分组"Video PESl "对应的视频基本环路。在此视频基本环路中，布置诸如分组标识符(PID)和视频基本流的流类型(StreamJYpe)之类的信息。然后作为用于描述有关此视频基本流的信息的描述符之一，将MVC扩展描述符(MVC_extension_descriptor)(如图2中示出的)插入至此视频基本环路。
[0103]图8图示当发送三维(3D)图像时传输流TS的配置的示例。此配置示例示出将子流配置为使得它们由多个流构成的情况，这里为它们由两个流构成的情况(2-PID情况)。在此配置示例中，在传输流TS中，容纳包括基本视图的图像数据的MVC视频基本流(基本子流)的PES分组"Video PES1"。此外，在此配置示例中，在传输流TS中，容纳包括非基本视图的图像数据的MVC视频基本流(扩展子流)的PES分组"Video PES2"。注意，在此配置示例中，为了绘图的简单表示，未示出其他的PES分组。
[0104]在PMT中，存在与PES分组"Video PESl "对应的视频基本环路。在此视频基本环路中，布置诸如分组标识符(PID)和视频基本流的流类型(StreamJYpe)之类的信息，并且还布置了用于描述有关此视频基本流的信息的描述符，尽管其没有示出。
[0105]在PMT中，还存在与PES分组"Video PES2"对应的视频基本环路。在此视频基本环路中，布置诸如分组标识符(PID)和视频基本流的流类型(StreamJYpe)之类的信息。然后，作为描述有关此视频基本流的信息的描述符之一，将MVC扩展描述符(MVC_extenSion_descriptor)(如图2中示出的)插入至此视频基本环路。
[0106]"接收器的配置的示例"
[0107]图9示出接收器200的配置的示例。此接收器200包括CPU 201、闪存ROM 202、DRAM 203、内部总线204、遥控器接收单元205和遥控器发送器206。此接收器200还包括容纳器缓冲器213、解多路 复用器214、编码缓冲器215、视频解码器216、子流视频缓冲器
217-1，? ? ?，217-N,伸缩器 218-1，? ? ?，218-N 和 3D 视图显示处理单元 219。
[0108]接收器200还包括编码缓冲器221、视差解码器222、视差缓冲器223和视差信息转换单元224。接收器200还包括编码缓冲器225、图形解码器226、像素缓冲器227、伸缩器228和图形平移器229。接收器200还包括编码缓冲器230、音频解码器231和声道混合单元232。
[0109]CPU 201控制接收器200的各个元件的操作。闪存ROM 202在其之中存储控制软件并保留数据。DRAM 203形成CPU 201的工作区。CPU 201加载从闪存ROM 202读取至DRAM 203的软件和数据，并且启动软件，从而控制接收器200的各个元件。遥控接收单元205接收从遥控发送器206发送的遥控信号(遥控代码)，并且将遥控信号提供给CPU 201。CPU 201基于此遥控代码控制接收器200的各个元件。CPU 201、闪存ROM 202和DRAM 203连接至内部总线204。
[0110]容纳器缓冲器213临时存储由数字调谐器等接收到的传输流TS。当发送二维(2D)图像时，此传输流TS例如包含AVC(2D)视频基本流。在此流中，容纳用于进行二维图像显示的图像数据。
[0111]当发送三维(3D)图像时，此传输流TS例如容纳MVC基本子流和连同此MVC基本子流一起的预定数量的扩展子流。如果将子流配置为使得它们由单个视频流构成，则在单个MVC视频流中容纳基本视图的图像数据和预定数量的非基本视图的图像数据。另一方面，当将子流配置为使得它们由多个流构成时，在此MVC基本子流中容纳基本视图的图像数据，并且在预定数量的扩展子流的每个中容纳非基本视图的图像数据。
[0112]而且，当发送三维(3D)图像时，将特定的消息插入至此传输流TS的层中有关基本视频流或扩展视频流的信息所位于的位置。在此实施例中，当将子流配置为使得它们由单个视频流构成时，将MVC扩展描述符插入至PMT下对应于基本视频流的视频基本环路的描述符部分。当将子流配置为使得它们由多个流构成时，将MVC扩展描述符插入至PMT下对应于扩展视频流的视频基本环路的描述符部分。
[0113]解多路复用器214从容纳器缓冲器213中临时存储的传输流TS提取视频、视差和音频流。当发送三维(3D)图像时，解多路复用器214还从此传输流TS提取上述MVC扩展描述符，并且将此MVC扩展描述符发送至CPU 201。
[0114]CPU 201能够依据此MVC扩展描述符的存在或不存在，确定进行三维(3D)图像传输还是二维(2D)图像传输。另外，当将MVC扩展描述符插入至对应于MVC基本视频流的视频基本环路时，CPU 201能够确定子流被配置为使得它们由单个视频流构成。另一方面，当将MVC扩展描述符插入至对应于MVC扩展视频流的视频基本环路时，CPU 201能够确定子流被配置为使得它们由多个流构成。
[0115]CPU 201基于上述MVC扩展描述符的存在和插入位置进行控制，使得编码缓冲器215的管理、视频解码器216的操作等可以匹配接收到的图像数据。
[0116]编码缓冲器215临时存储解多路复用器214提取出的一个或多个视频流。在编码缓冲器215中，依据进行二维(2D)图像传输还是三维(3D)图像传输，缓冲器的管理配置的系统不同。而且，在编码缓冲器215中，即使当进行三维(3D)图像传输时，依据子流被配置为使得它们由单个流还是多个流构成，缓冲器的管理配置的系统不同。
[0117]S卩，当从解多路复用器214提供编码数据(子流)作为具有单个PID值的一个基本流时，总共只进行一次写/读地址管理。相比之下，当从解多路复用器214提供编码数据(子流)作为具有不同PID值的多个基本流时，针对具有各个PID的每一项编码数据，独立地进行写/读地址管理。
[0118]视频解码器216对编码缓冲器215中存储的视频基本流进行解码处理，从而获得图像数据。在这种情况下，当发送二维(2D)图像时，通过解码器对AVC(2D)视频基本流进行解码处理，从而获得用于进行二维(2D)图像显示的图像数据。
[0119]相比之下，当发送三维(3D)图像并且如果将子流配置为使得它们由单个视频流构成时，按照如下那样进行解码处理。即，对于包括多个视图的各项图像数据的编码数据的一个MVC视频流，解码器216基于"NAL unit header"的” view_id”，切换从缓冲器215提供给解码器216的待处理分组，然后对每一项图像数据进行解码处理。作为其结果，获得用于进行三维(3D)图像显示的多个视图的多项图像数据。
[0120]另一方面，当将子流配置为使得它们由多个流构成时，按照如下那样进行解码处理。即，视频解码器216基于从解多路复用器214接收到的NAL分组的"NAL unit header"的"View_id"，切换要存储在缓冲器215中的数据。此后，与单个视图(视图)的解码类似地进行来自缓冲器215的压缩数据的读取和解码器216的处理。通过使用相关联的解码器，对包括基本视图的图像数据的编码数据的MVC基本子流和包括非基本视图的图像数据的编码数据的预定数量的MVC扩展子流进行解码处理。作为其结果，获得用于进行三维(3D)图像显示的多个视图的多项图像数据。[0121]子流视频缓冲器217-1，217-N每一个均临时存储视频解码器216获得的、用于进行二维(2D)图像显示的图像数据或者用于进行三维(3D)图像显示的多个视图的多项图像数据。这里，在3D的情况下，N的最小值为2。伸缩器218-1，218-N每一个均将从子流视频缓冲器217-1，217-N输出的各个视图的多项图像数据的输出分辨率的级别调整至预定级别的分辨率。
[0122]编码缓冲器221临时存储解多路复用器214提取出的视差流。视差解码器222进行与上述传输数据产生器110的视差编码器113 (参见图3)进行的处理相反的处理。SP，视差解码器222对编码缓冲器221中存储的视差流进行解码处理，从而获得与各个视图的图像数据的每一项对应的视差信息。视差缓冲器223临时存储视差解码器222获得的视差信息。
[0123]视差信息转换单元224基于视差缓冲器223中存储的视差信息，产生关于每个像素匹配伸缩的图像数据的尺寸的视差信息。例如，如果发送的视差信息是关于每个块的信息，则其被转换为关于每个像素的视差信息。可替换地，例如，如果发送的视差信息是关于每个像素的信息但是不匹配伸缩的图像数据的尺寸，则其以适当的方式伸缩。或者，当在接收器中进行图形的叠加等时，利用关于叠加位置处的块的视差信息。
[0124]编码缓冲器225临时存储解多路复用器214提取出的图形流。图形解码器226进行与上述传输数据产生器110的图形编码器116 (参见图3)进行的处理相反的处理。SP，图形解码器226对编码缓冲器225中存储的图形流进行解码处理，从而获得图形数据(包括字幕数据)。图形解码器226基于此图形数据产生要叠加在视图(图像)上的图形位图数据。
[0125]像素缓冲器227临时存储图形解码器226产生的图形位图数据。伸缩器228将像素缓冲器227中存储的位图数据图形的尺寸调整为伸缩的图像数据的尺寸。
[0126]图形平移器229基于视差信息转换单元224获得的视差信息，对经历尺寸调整的图形位图数据进行平移处理。然后，图形平移器229产生要在从3D视图显示处理单元219输出的各个视图的每一项图像数据上叠加的图形位图数据。
[0127]当发送二维(2D)图像并且如果进行二维(2D)图像显示时，3D视图显示处理单元219将从图形平移器229输出的图形位图数据叠加在例如通过伸缩器218-1输入的用于进行二维(2D)图像显示的伸缩的图像数据上，并且将图像数据输出至显示器。
[0128]另一方面，当发送三维(3D)图像并且如果进行立体三维图像显示时，3D视图显示处理单元219将从图形平移器229输出的经历平移处理的图形位图数据分别叠加在例如通过伸缩器218-1和218-2输入的伸缩的左眼图像数据和缩放的右眼图像数据的每一个上，并且将图像数据输出至显示器。
[0129]另一方面，当发送三维(3D)图像并且如果进行多视图三维图像显示时，基于视差数据转换单元224获得的视图间视差数据，从例如分别通过伸缩器218-1到218-N输入的各个视图的伸缩的图像数据的各项当中，3D视图显示处理单元219进行视图间内插和预定数量视图的图像数据的各项的合成，并且将图像数据输出至显示器。然后，在这种情况下，3D视图显示处理单元219进一步将从图形平移器229输出的经历平移处理的图形位图数据叠加在各个视图的图像数据的内插和合成项的每一个上，并且将图像数据输出至显示器。
[0130]编码缓冲器230临时存储解多路复用器214提取出的音频流。音频解码器231进行与上述传输数据产生器110的音频编码器114 (参见图3)进行的处理相反的处理。SP，音频解码器231对编码缓冲器230中存储的音频流进行解码处理，从而获得声音数据。声道混合单元232针对音频解码器231获得的声音数据，生成用于例如实现5.1声道环绕的每个声道的声音数据，并且输出声音数据。
[0131]将简要描述图9中所示的接收器200的操作。将数字调谐器等接收到的传输流TS临时存储在容纳器缓冲器213中。当发送二维(2D)图像时，在此传输流TS中，例如容纳AVC(2D)视频基本流。另一方面，当发送三维(3D)图像时，在此传输流TS中，例如仅容纳MVC基本视频流，或者连同此MVC基本视频流一起的预定数量的扩展视频流。
[0132]在解多路复用器214中，从容纳器缓冲器213中临时存储的传输流TS提取视频、视差和音频流。而且，在解多路复用器214中，当发送三维(3D)图像时，从此传输流TS提取MVC扩展描述符，并将其发送至CPU 201。
[0133]在CPU 201中，基于此MVC扩展描述符的存在和插入位置，控制编码缓冲器215的管理、视频解码器216的操作等，使得它们可匹配二维(2D)图像传输或三维(3D)图像传输。
[0134]将解多路复用器214提取出的一个或多个视频基本流提供给编码缓冲器215，并且临时存储在其中。在视频解码器216中，对编码缓冲器215中存储的视频基本流进行解码处理，从而获得图像数据。
[0135]在这种情况下，在视频解码器216中，当发送二维(2D)图像时，通过使用一个解码器对AVC(2D)视频基本流进行解码处理，从而获得用于进行二维(2D)图像显示的图像数据。
[0136]此外，在这种情况下，当发送三维(3D)图像并且如果子流配置为使得它们由单个视频流构成时，通过按照如下那样进行解码处理，获得用于进行三维(3D)图像显示的多个视图的多项图像数据。即，针对包括多个视图的多项图像数据的编码数据的MVC基本视频流，解码器216基于"NAL unit header"的"viewjd"，切换从缓冲器215提供给解码器216的待处理分组，然后对每一项图像数据进行解码处理。
[0137]此外，在这种情况下，当发送三维(3D)图像并且如果将子流配置为使得它们由多个流构成时，通过按照如下那样进行解码处理，获得用于进行三维(3D)图像显示的多个视图的多项图像数据。即，基于从解多路复用器214接收到的NAL分组的"NAL unitheader"的"View_id"切换要存储在缓冲器215中的数据。此后，与单个视图(视图)的解码的类似地进行来自缓冲器215的压缩数据的读取和解码器216的处理。通过使用相关联的解码器，对包括基本视图的图像数据的编码数据的MVC基本子流和包括非基本视图的图像数据的编码数据的预定数量MVC扩展子流进行解码处理。
[0138]将视频解码器216获得的用于进行二维(2D)图像显示的图像数据或用于进行三维(3D)图像显示的多个视图的多项图像数据提供至子流视频缓冲器217-1，...，217-N，并且临时存储在其中。然后，图像数据经伸缩器218-1，218-N调整为具有预定级别的分辨率，并提供给3D视图显示处理单元219。
[0139]进一步，将解多路复用器214提取出的视差数据流提供给编码缓冲器221，并且临时存储在其中。在视差解码器222中，进行关于视差数据流的解码处理，从而获得与每个视图的图像数据对应的视差信息。将此视差信息提供至视差缓冲器223，并临时存储在其中。
[0140]在视差信息转换单元224中，基于视差缓冲器223中存储的视差信息，产生关于匹配伸缩的图像数据的尺寸的每个像素的视差信息。在这种情况下，如果视差解码器222获得的视差信息是关于每个块的信息，则其被转换为关于每个像素的视差信息。或者，当在接收器中进行图形的叠加等时，利用关于叠加位置处的块的视差信息。可替换地，在这种情况下，如果视差解码器222获得的视差信息是关于每个像素但是不匹配伸缩的图像数据的尺寸的信息，则其以适当的方式伸缩。将此视差信息提供给3D视图显示处理单元219和图形平移器229。
[0141]而且，将解多路复用器214提取出的图形流提供给编码缓冲器225，并且临时存储在其中。在图形解码器226中，对编码缓冲器225中存储的图形流进行解码处理，从而获得图形数据(包括字幕数据)。在图形解码器226中，基于此图形数据，还产生要在视图(图像)上叠加的图形位图数据。
[0142]将此图形位图数据提供给像素缓冲器227，并且临时存储在其中。在伸缩器228中，将像素缓冲器227中存储的图形位图数据的尺寸调整为伸缩的图像数据的尺寸。
[0143]在图形平移器229中，基于视差信息转换单元224获得的视差信息，对经历尺寸调整的图形位图数据进行平移处理。然后，在此图形平移器229中，产生要在从3D视图显示处理单元219输出的各个视图的每项图像数据上叠加的图形位图数据。将此位图数据提供给3D视图显示处理单元219。
[0144]在3D视图显示单元219中，当发送二维(2D)图像并且如果进行二维(2D)图像显示时，进行如下的处理。即，将从图形平移器229输出的图形位图数据叠加在例如通过伸缩器218-1输入的用于进行二维(2D)图像显示的伸缩的图像数据上，并且将图像数据输出至显示器。
[0145]另一方面，在3D视图显示处理单元219中，当发送三维(3D)图像并且如果进行立体三维图像显示时，进行如下的处理。即，将从图形平移器229输出的经历平移处理的图形位图数据叠加在例如分别通过伸缩器218-1和218-2输入的伸缩的左眼图像数据和伸缩的右眼图像数据的每一个上，并且将图像数据输出至显示器。
[0146]另一方面，在3D视图显示处理单元219中，当发送三维(3D)图像并且如果进行多视图三维图像显示时，进行如下的处理。即，基于视差信息转换单元224获得的视图间视差数据，从例如分别通过伸缩器218-1到218-N输入的伸缩的视图图像数据的各项当中，进行预定数量视图的各项图像数据的视图间内插和合成，并且将图像数据输出至显示器。然后，在这种情况下，将从图形平移器229输出的经历平移处理的图形位图数据叠加在各个视图的图像数据的内插和合成项的每一个上，并且将图像数据输出至显示器。
[0147]而且，将解多路复用器214提取出的音频流提供至编码缓冲器230，并且临时存储在其中。在音频解码器231中，对编码缓冲器230中存储的音频流进行解码处理，从而获得解码的声音数据。将此声音数据提供给声道混合单元232。在声道混合单元232中，针对声音数据，产生例如用于实现5.1声道环绕的每个声道的声音数据。将此声音数据例如提供给扬声器，并且声音根据图像显示而输出。
[0148]如上面说明的，在CPU 201中，基于MVC扩展描述符的存在和内插位置，进行控制使得编码缓冲器215的管理以及还有视频解码器216的操作等可以匹配二维(2D)图像传输或三维(3D)图像传输。
[0149]图10的流程图图示CPU 201执行的控制处理的示例。CPU 201在诸如声道切换之类的服务改变的时刻，执行由此流程图指示的控制处理。
[0150]CPU 201在步骤STl开始处理，并且前往步骤ST2的处理。在步骤ST2，CPU 201确定PMT下对应于基本视频流(Stream_type=OxlB)的视频基本环路(第一 ES环路)的描述符部分中是否存在MVC扩展描述符。
[0151]如果在第一 ES环路中存在MVC扩展描述符，则在步骤ST3，CPU 201识别出正在进行三维(3D)图像传输，并且子流被配置为使得它们由单个视频流构成。即，CPU 201识别出正在提供使用一个基本流(基本流)的服务。然后，CPU 201进行控制，使得所有子流的各项编码数据将经由公共缓冲器经历解码处理。
[0152]图11(b)示意性图示这种情况下接收器200中的流程的示例。注意，此示例是具有"OxlB"的流类型(Stream type)的基本视频流中容纳基本视图的图像数据的编码数据和非基本视图的图像数据的编码数据的示例。此示例也是通过使用不同解码器对各个视图的各项编码数据进行解码处理的示例。实线a表示基本视图的图像数据的处理的流程，而虚线b指示非基本视图的图像数据的处理的流程。术语“渲染”是指伸缩器和3D视图显示处理单元219中的处理。
[0153]进一步，在步骤ST2，如果第一 ES环路中不存在MVC扩展描述符，则CPU 201在步骤ST4确定是否存在扩展视频流(Stream_type=0X20)。如果存在扩展视频流，则CPU 201在步骤ST5确定PMT下对应于扩展视频流的视频基本环路(第二 ES环路)的描述符部分中是否存在MVC扩展描述符。
[0154]如果在第二 ES环路中存在MVC扩展描述符，则在步骤ST6，CPU 201识别出正在进行三维(3D)图像传输，并且子流被配置为使得它们由多个流构成。即，CPU 201识别出正在提供使用多个基本流(基本流)的服务。然后，CPU 201进行控制，使得针对每个子流(Substream)进行用于编码数据的缓冲器的管理，并且子流将经历解码处理。
[0155]图11(c)示意性图示这种情况下接收器200中的流程的示例。注意，此示例是存在两个视频流的示例:一个基本视频流，其包括具有"OxlB"的流类型(Stream type)的基本视图的图像数据的编码数据；以及扩展视频流，其包括具有"0x20"的流类型(Streamtype)的非基本视图的图像数据的编码数据。实线a指示基本视图的图像数据的处理的流程，而虚线b指示非基本视图的图像数据的处理的流程。术语“渲染”是指伸缩器和3D视图显示处理单元219中的处理。
[0156]另一方面，如果在步骤ST4不存在扩展视频流或者在步骤ST5在第二 ES环路中不存在MVC扩展描述符，则CPU 201在步骤SI7进行控制，使得进行已知的、基本的处理。图11 (a)示意性图示这种情况下接收器200中的流程的示例。注意，此示例是仅存在包括具有"OxlB"的流类型(Stream type)的二维(2D)图像数据的编码数据的基本视频流的示例。实线a指示二维图像数据的处理的流程。术语“渲染”是指伸缩器和3D视图显示处理单元219中的处理。
[0157]如上面讨论的，在图1中所示的图像发送/接收系统10中，当将子流配置为使得它们由单个视频流构成时，将MVC扩展描述符插入至PMT下对应于基本视频流的视频基本环路的描述符部分。另一方面，当将子流配置为使得它们由多个流构成时，将MVC扩展描述符插入至PMT下对应于扩展视频流的视频基本环路的描述符部分。
[0158]于是，接收方可以在进行解码前可靠地并且容易地识别出是将子流配置为使得它们由单个视频流还是多个视频流构成。这使得接收方可以在进行解码前精确地确定进行解码时缓冲存储器的配置以及解码模式和显示模式，从而使得可以平滑地获得图像数据。
[0159]〈2.修正的示例〉
[0160]注意，在上述实施例中，已经描述了将本技术应用于MVC流的示例。S卩，第一图像数据是用于进行三维(3D)图像显示的基本视图的图像数据并且第二图像数据是用于进行三维(3D)图像显示的非基本视图的图像数据的示例。
[0161]然而，本技术可按相似的方式应用于SVC流。SVC流包括最底层的图像数据的视频基本流，其形成可伸缩编码的图像数据。此SVC流还包括除了最底层之外的预定数量的高层的各项图像数据的视频基本流，其形成可伸缩编码的图像数据。
[0162]在此SVC流的情况下，第一图像数据是形成可伸缩编码的图像数据的最底层的图像数据，第二图像数据是形成可伸缩编码的图像数据的最底层以外的层的图像数据。如在上述MVC流中那样，同样在此SVC流中，也可以考虑子流被配置为使得它们由单个流构成的情况(参见图4(a))和子流被配置为使得它们由多个流构成的情况(参见图4(b))。
[0163]当子流被配置为使得它们由单个流构成时，通过对作为一个画面的最底层的图像数据和最底层以外的层的图像数据编码而获得的视频流被发送为SVC基本视频流。在这种情况下，将SVC扩展描述符插入至PMT下对应于基本视频流的视频基本环路的描述符部分。
[0164]通过以此方式插入SVC扩展描述符，接收方能够识别出正在发送SVC流并且子流被配置为使得它们由单个视频流构成。即，接收方能够识别出传输流TS容纳通过对作为一个画面的最底层的图像数据和最底层以外的层的图像数据编码所获得的基本视频流。
[0165]另一方面，当将子流配置为使得它们由多个流构成时，通过对作为一个画面的最底层的图像数据编码所获得的基本视频流被发送为SVC基本视频流。而且，通过对作为一个画面的最底层以外的层的图像数据编码所获得的基本视频流被发送为扩展视频流。在这种情况下，将SVC扩展描述符插入至PMT下对应于扩展视频流的视频基本环路的描述符部分。
[0166]通过以此方式插入SVC扩展描述符，接收方能够识别出正在发送SVC流并且子流被配置为使得它们由多个流构成。即，接收方能够识别出传输流TS容纳包括最底层的图像数据的基本视频流和每一个均包括最底层以外的层的图像数据的扩展视频流。
[0167]图12图示SVC扩展描述符的结构(Syntax)的示例，尽管整体描述符的详细描述予以省略。字段"view order index_start"指示最底层编号，而"view order index_end"指示最顶层编号。通过这些信息项，可以识别所有层的编号。字段"cbpendencyjd"指示对应于此描述符的层的序数编号。
[0168]图 13 图不 NAL 单兀首标(NAL unit header SVC extension)的配置(Syntax)的示例。字段"dependency_id"指示对应层的序数编号。S卩，当进行解码时,接收方能够基于关于该字段"cbpendencyjd"的字段信息，识别每项编码数据对应于图像数据的哪个层。
[0169]图14图示应对上述SVC流的接收器200A的配置的示例。在图14中，与图9中所示的元件对应的元件用类似的附图标记指定，并且其详细说明将适当地予以省略。
[0170]接收器200A通过广播波从广播站100接收传输流TS。在此传输流TS中，当发送普通图像时，容纳AVC (2D)视频基本流。另一方面，当发送SVC流时，此传输流TS中仅容纳SVC基本视频流或者与此SVC基本视频流一起的预定数量的扩展视频流。
[0171]基于传输流TS的层中特定信息的存在和插入位置，接收器200A处理此传输流TS中容纳的视频流。即，确定进行解码时缓冲存储器的配置以及解码模式和显示模式。接收器200A获得用于进行普通图像显示的图像数据或者最底层的图像数据和更高层的图像数据，然后显示普通图像或高质量图像。
[0172]接收器200A确定PMT下对应于基本视频流的视频基本环路(第一 ES环路)的描述符部分中是否存在SVC扩展描述符。然后，当第一 ES环路中存在描述符时，接收器200A识别出正在发送SVC流并且此基本视频流包括最底层的图像数据和更高层的图像数据。在这种情况下，接收器200A对传输流TS中容纳的基本视频流解码，以便获得用于进行高质量的图像显示的各个层的各项图像数据，然后显示高质量的图像。
[0173]另一方面，当第一 ES环路中不存在SVC扩展描述符时，接收器200A确定传输流TS中是否包括扩展视频流。然后，当容纳扩展视频流时，接收器200A确定在PMT下对应于扩展视频流的视频基本环路(第二 ES环路)的描述符部分中是否存在SVC扩展描述符。
[0174]然后，当第二 ES环路中存在描述符时，接收器200A识别出正在发送SVC流并且此扩展视频流和基本视频流包括最底层的图像数据和更高层的图像数据。在这种情况下，接收器200A对传输流TS中容纳的多个视频流解码，以便获得用于进行高质量图像显示的各个层的各项图像数据，然后显示高质量图像。
[0175]另一方面，当传输流TS中未容纳扩展视频流时或者当第二 ES环路中不存在SVC扩展描述符时，接收器200A识别出正在发送普通图像。在这种情况下，接收器200A对传输流TS中容纳的视频流解码，以便获得普通图像数据，然后显示普通图像。
[0176]在解多路复用器214中，当发送SVC流时，从传输流TS提取SVC扩展描述符，并且将其发送至CPU 201。在CPU 201中，基于此SVC扩展描述符的存在和插入位置，控制编码缓冲器215的管理并且还有视频解码器216的操作，使得它们可以与普通图像传输或SVC流传输匹配。
[0177]将解多路复用器214提取出的一个或多个视频基本流提供给编码缓冲器215，并且临时存储在其中。在视频解码器216中，对编码缓冲器215中存储的视频基本流进行解码处理，从而获得图像数据。
[0178]在这种情况下，在视频解码器216中，当发送普通图像时，通过使用一个解码器对AVC视频基本流进行解码处理，从而获得用于进行普通图像显示的图像数据。
[0179]此外，在这种情况下，当发送SVC帧并且如果子流被配置为使得它们由单个视频流构成时，通过按照如下那样进行解码处理，获得用于进行高质量图像显示的多个层的各项图像数据。即，针对包括多个层的各项图像数据的编码数据的SVC基本视频流，解码器216基于NAL单元首标的dependency_id,切换从缓冲器215提供至解码器216的待处理分组，然后对每项图像数据进行解码处理。
[0180]此外，在这种情况下，当发送SVC帧并且如果子流被配置为使得它们由多个流构成时，通过按照如下那样进行解码处理，获得用于进行高质量图像显示的多个层的各项图像数据。S卩，基于从解多路复用器214接收到的NAL分组的NAL单元首标的dependency_id，切换要在缓冲器215中存储的数据。此后，与单个流的解码的类似地进行来自缓冲器215的压缩数据的读取和解码器216的处理。以此方式，通过使用相关联的解码器，对包括最底层的图像数据的编码数据的SVC基本视频流和包括更高层的各项图像数据的编码数据的预定数量的SVC扩展视频流进行解码处理。
[0181]在质量增强处理单元233中，当发送普通图像并且如果进行正常的图像显示时，进行下列的处理。即，将从图形平移器229输出的图形位图数据叠加在例如通过伸缩器
218-1输入的伸缩的图像数据上，并且将图像数据输出至显示器。
[0182]另一方面，在质量增强处理单元233中，当发送SVC流并且如果进行高质量图像显示时，进行下列的处理。即，从例如通过伸缩器218-1到218-N输入的各个级的伸缩图像数据的各项产生用于进行高质量图像显示的图像数据，并且将从图形平移器229输出的经历平移处理的图形位图数据叠加在图像数据上，并且将图像数据输出至显示器。
[0183]以此方式，即使当将本技术应用于SVC流时，接收方也可以在进行解码前可靠地并且容易地识别出子流被配置为使得它们由单个视频流还是多个视频流构成。这使得接收方可以在进行解码前精确地确定进行解码时缓冲存储器的配置以及解码模式和显示模式，从而使得可以平滑地获得图像数据。
[0184]另外，在上述实施例中，描述了通过广播波分发传输流TS的示例。然而，当经由诸如因特网之类的网络分发此传输流TS时，本技术可按类似的方式适用。另一方面，无需而言的是，本技术可适用于除了传输流TS之外的容纳器文件格式的因特网分发的情况。
[0185]注意，本技术也可以通过下列配置实现。
[0186](I) 一种图像数据发送装置，包括:
[0187]发送单元，其发送具有预定格式的、容纳包括第一图像数据和与第一图像数据有关的预定项数的第二图像数据的基本视频流的容纳器；
[0188]信息插入单元，其将特定信息插入至所述容纳器的层中有关基本视频流的信息所位于的位置。
[0189](2)根据(I)所述图像数据发送装置，其中，所述特定信息是具有关于第一图像数据和预定项数的第二图像数据的信息的描述符。
[0190](3)根据(2)所述的图像数据发送装置，其中:
[0191]所述容纳器是传输流；以及
[0192]所述信息插入单元将所述描述符插入至节目映射表下对应于基本视频流的视频基本环路的描述符部分。
[0193](4)根据⑵或(3)所述的图像数据发送装置，其中:
[0194]所述第一图像数是用于进行三维图像显示的基本视图的图像数据；
[0195]所述第二图像数据是用于进行三维图像显示的基本视图以外的视图的图像数据；以及
[0196]所述描述符是具有关于每个视图的信息的MVC扩展描述符。
[0197](5)根据⑵或(3)所述的图像数据发送装置，其中:
[0198]所述第一图像数据是形成可伸缩编码的图像数据的最底分层级的图像数据；
[0199]所述第二图像数据是形成可伸缩编码的图像数据的最底分层级以外的分层级的图像数据；
[0200]所述描述符是具有关于每个分层级的图像数据的信息的SVC扩展描述符。
[0201](6) 一种图像数据发送方法，包括:[0202]当发送具有预定格式的、容纳包括第一图像数据和与第一图像数据有关的预定项数的第二图像数据的基本视频流的容纳器时，将特定信息插入至所述容纳器的层中有关基本视频流的信息所位于的位置。
[0203](7) 一种图像数据发送装置，包括:
[0204]发送单元，其发送具有预定格式的、容纳包括第一图像数据的基本视频流和预定数量的扩展视频流的容纳器，所述扩展视频流包括与第一图像数据有关的预定数量的各项第二图像数据；
[0205]信息插入单元，其将特定信息插入至所述容纳器的层中有关预定数量的扩展视频流中每一个的信息所位于的位置。
[0206](8)根据(7)所述图像数据发送装置，其中，所述特定信息是具有关于第一图像数据和预定项数的第二图像数据的信息的描述符。
[0207](9)根据⑶所述的图像数据发送装置，其中:
[0208]所述容纳器是传输流；以及
[0209]所述信息插入单元将所述描述符插入至节目映射表下对应于预定数量的扩展视频流中每一个的视频基本环路的描述符部分。
[0210](10)根据⑶或(9)所述的图像数据发送装置，其中:
[0211]所述第一图像数是用于进行三维图像显示的基本视图的图像数据；
[0212]所述第二图像数据是用于进行三维图像显示的基本视图以外的视图的图像数据；以及
[0213]所述特定信息是具有关于每个视图的信息的MVC扩展描述符。
[0214](11)根据⑶或(9)所述的图像数据发送装置，其中:
[0215]所述第一图像数据是形成可伸缩编码的图像数据的最底分层级的图像数据；
[0216]所述第二图像数据是形成可伸缩编码的图像数据的最底分层级以外的分层级的图像数据；
[0217]所述特定信息是具有关于每个分层级的图像数据的信息的SVC扩展描述符。
[0218](12) 一种图像数据发送方法，包括:
[0219]当发送具有预定格式的、容纳包括第一图像数据的基本视频流和预定数量的扩展视频流时，将特定信息插入至所述容纳器的层中有关预定数量的扩展视频流中每一个的信息所位于的位置，其中所述扩展视频流包括与第一图像数据有关的预定数量的各项第二图像数据。
[0220](13) 一种图像数据接收装置，包括:
[0221]接收单元，其接收具有预定格式的容纳器；以及
[0222]处理单元，其基于所述容纳器的层中特定信息的存在和插入位置，处理所述容纳器中容纳的视频流，以便获得与彼此有关的预定项数的图像数据。
[0223](14)根据(13)所述的图像数据接收装置，其中，当所述特定信息插入至所述容纳器的层中与所述容纳器中容纳的基本视频流有关的信息所位于的位置时，所述处理单元处理基本视频流，以便获得预定项数的图像数据。
[0224](15)根据(13)或(14)所述图像数据接收装置，其中，当所述特定信息插入至所述容纳器的层中与所述容纳器中容纳的扩展视频流有关的信息所位于的位置时，所述处理单元处理所述容纳器中容纳的扩展视频流和基本视频流，以便获得预定项数的图像数据。
[0225](16)根据(13)到(15)中任何一个所述的图像数据接收装置，其中，图像数据的预定数量的条目形成用于进行三维显示的图像数据或者可伸缩编码的数据的图像数据。
[0226](17) 一种图像数据接收方法，包含:
[0227]接收具有预定格式的容纳器的步骤；以及
[0228]通过基于容纳器的层中特定信息的存在和插入位置处理容纳器中容纳的视频流来获得彼此有关的预定项数的图像数据的步骤。
[0229]本技术的主要特点在于，通过将MVC扩展描述符插入至PMT下与MVC基本视频流或扩展视频流对应的视频基本环路的描述符部分，接收方能够可靠地和容易地在进行解码前识别出子流被配置为使得它们由单个视频流还是多个视频流构成(参见图5、7和8)。
[0230]附图标记列表
[0231]10 图像发送/接收系统
[0232]100广播站
[0233]110传输数据产生器
[0234]111数据提取单元
[0235]Illa数据记录介质
[0236]112视频编码器
[0237]113视差编码器
[0238]114音频编码器
[0239]115图形产生单元
[0240]116图形编码器
[0241]117多路复用器
[0242]200, 200A 接收器
[0243]201 CPU
[0244]213容纳器缓冲器
[0245]214解多路复用器
[0246]215编码缓冲器
[0247]216视频解码器
[0248]217-1到217-N子流缓冲器
[0249]218-1 到 218-N 伸缩器
[0250]219 3D视图显示处理单元
[0251]221编码缓冲器
[0252]222视差解码器
[0253]223视频解码器
[0254]224视差信息转换单元
[0255]225编码缓冲器
[0256]226图形解码器
[0257]227像素缓冲器
[0258]228伸缩器[0259]229图形平移器
[0260]230编码缓冲器
[0261]231音频解码器
[0262]232声道混合单元
[0263]233质量增强处理单元`
【权利要求】
1.一种图像数据发送装置，包括: 发送单元，其发送具有预定格式的、容纳包括第一图像数据和与第一图像数据有关的预定项数的第二图像数据的基本视频流的容纳器；以及 信息插入单元，其将特定信息插入至所述容纳器的层中有关基本视频流的信息所位于的位置。
2.如权利要求1所述的图像数据发送装置，其中，所述特定信息是具有关于第一图像数据和预定项数的第二图像数据的信息的描述符。
3.如权利要求2所述的图像数据发送装置，其中: 所述容纳器是传输流；以及 所述信息插入单元将所述描述符插入至节目映射表下对应于基本视频流的视频基本环路的描述符部分。
4.如权利要求2所述的图像数据发送装置，其中: 所述第一图像数据是用于进行三维图像显示的基本视图的图像数据； 所述第二图像数据是用于进行三维图像显示的基本视图以外的视图的图像数据；以及 所述描述符是具有关于每个视图的信息的MVC扩展描述符。
5.如权利要求2所述的图像数据发送装置，其中: 所述第一图像 数据是形成可伸缩编码的图像数据的最底分层级的图像数据； 所述第二图像数据是形成可伸缩编码的图像数据的最底分层级以外的分层级的图像数据；以及 所述描述符是具有关于每个分层级的图像数据的信息的SVC扩展描述符。
6.一种图像数据发送方法，包括: 当发送具有预定格式的、容纳包括第一图像数据和与第一图像数据有关的预定项数的第二图像数据的基本视频流的容纳器时，将特定信息插入至所述容纳器的层中有关基本视频流的信息所位于的位置。
7.一种图像数据发送装置，包括: 发送单元，其发送具有预定格式的、容纳包括第一图像数据的基本视频流和预定数量的扩展视频流的容纳器，所述扩展视频流包括与第一图像数据有关的预定数量的各项第二图像数据；以及 信息插入单元，其将特定信息插入至所述容纳器的层中有关预定数量的扩展视频流中的每一个的信息所位于的位置。
8.如权利要求7所述图像数据发送装置，其中，所述特定信息是具有关于第一图像数据和预定项数的第二图像数据的信息的描述符。
9.如权利要求8所述的图像数据发送装置，其中: 所述容纳器是传输流；以及 所述信息插入单元将所述描述符插入至节目映射表下对应于预定数量的扩展视频流中的每一个的视频基本环路的描述符部分。
10.如权利要求8所述的图像数据发送装置，其中: 所述第一图像数据是用于进行三维图像显示的基本视图的图像数据； 所述第二图像数据是用于进行三维图像显示的基本视图以外的视图的图像数据；以及所述特定信息是具有关于每个视图的信息的MVC扩展描述符。
11.如权利要求8所述的图像数据发送装置，其中: 所述第一图像数据是形成可伸缩编码的图像数据的最底分层级的图像数据； 所述第二图像数据是形成可伸缩编码的图像数据的最底分层级以外的分层级的图像数据；以及 所述特定信息是具有关于每个分层级的图像数据的信息的SVC扩展描述符。
12.—种图像数据发送方法，包括: 当发送具有预定格式的、容纳包括第一图像数据的基本视频流和预定数量的扩展视频流的容纳器时，将特定信息插入至所述容纳器的层中有关预定数量的扩展视频流中的每一个的信息所位于的位置，其中所述扩展视频流包括与第一图像数据有关的预定数量的各项第二图像数据。
13.一种图像数据接收装置，包括: 接收单元，其接收具有预定格式的容纳器；以及 处理单元，其基于所述容纳器的层中特定信息的存在和插入位置，处理所述容纳器中容纳的视频流，以便获得彼此有关的预定项数的图像数据。
14.如权利要求13所述的图像数据接收装置，其中，当所述特定信息插入至所述容纳器的层中与所述容纳器中容纳的基本视频流有关的信息所位于的位置时，所述处理单元处理基本视频流，以便获得预定项数的图像数据。
15.如权利要求13所述的图`像数据接收装置，其中，当所述特定信息插入至所述容纳器的层中与所述容纳器中容纳的扩展视频流有关的信息所位于的位置时，所述处理单元处理所述容纳器中容纳的扩展视频流和基本视频流，以便获得预定项数的图像数据。
16.如权利要求13所述的图像数据接收装置，其中，预定项数的图像数据形成用于进行三维图像显示的图像数据或者可伸缩编码的数据的图像数据。
17.一种图像数据接收方法，包含: 接收具有预定格式的容纳器的步骤；以及 通过基于容纳器的层中特定信息的存在和插入位置处理容纳器中容纳的视频流来获得彼此有关的预定项数的图像数据的步骤。
【文档编号】H04N19/597GK103621075SQ201380001729
【公开日】2014年3月5日 申请日期:2013年3月15日 优先权日:2012年4月24日
【发明者】塚越郁夫 申请人:索尼公司