专利名称：图像信息解码设备和方法、图像信号编码设备和方法及程序的制作方法
技术领域：
本发明涉及图像信息解码设备和方法、图像信号编码设备和方法及程序，更具体地，涉及能够容易地检测比特流上的依存流(dependent stream)的图片边界的图像信息解码设备和方法、图像信号编码设备和方法及程序。
背景技术：
近年来，为了实现信息的高效传送和积累，通过利用图像信息所特有的冗余性，遵守基于离散余弦变换等正交变换和运动补偿的压缩方案(如MPEG)的装置已越来越普遍地用于从广播站等分发信息以及在一般消费者家中接收信息两者。特别地，MPEG2 (IS0/IEC13818-2)被定义为通用图像编码方案，并且是涵盖了隔行扫描图像和逐行扫描图像二者以及标清图像和高清图像二者的标准，该标准目前被广泛用于包括专业应用和消费者应用在内的各种应用。利用MPEG2，图像的高质量实现和高压缩比例如可以通过将4至8Mbps的码率(t匕特率)指派给具有720X480像素的标清隔行扫描图像而变得可能。另外，图像的高质量实现和高压缩比例如可以通过将18至22Mbps的码率指派给具有1920X 1088像素的高清隔行扫描图像而变得可能。MPEG2主要是针对适于广播的高质量编码而设计的，而不支持比MPEGl低的码率(即比MPEGl高的压缩比)的编码方案。随着移动终端的普及，对这种编码方案的需要未来将增加。为了满足该需要，MPEG4编码方案被标准化。对于图像编码方案，IS0/IEC14496-2标准在1998年12月被批准为国际标准。此外，被称为H.264/AVC (MPEG-4 第 10 部分，IS0/IEC14496-10 | ITU-T H.264)的标准也被标准化。该标准是由被称为JVT (联合视频小组)的、由ITU-T和IS0/IEC联合建立的组织开发的，以促进视频编码的标准化。众所周知，尽管H.264/AVC由于其编码和解码比诸如MPEG2和MPEG4之类的传统编码方案要求更大量的计算，但使得更高的编码效率成为可能。[H.264/AVC]图1是例示了基于诸如离散余弦变换或Karhunen-Lc^v0变换之类的正交变换和运动补偿来实现图像压缩的图像信息编码装置的示例配置的框图。I指示Α/D转换单元,2指示画面重排缓冲器,3指示加法器单元,4指示正交变换单元，5指示量化单元，6指示无损编码单元,7指示累积缓冲器,8指示解量化(dequantization)单元,9 指示逆正交变换单元，10指示巾贞存储器，11指示运动预测/补偿单元，并且12指示速率控制单元。输入的图像信号首先被Α/D转换单元I转换成数字信号。然后，根据输出的图像压缩信息的GOP (图片群)结构，帧被画面重排缓冲器2重排。对于将被进行帧内编码的图像，关于全部帧的图像信息被输入到正交变换单元4，在那里，诸如离散余弦变换或Karhunen-Lc^v0变换之类的正交变换被执行。作为正交变换单元4的输出的变换系数被量化单元5进行量化处理。作为量化单元5的输出的量化后的变换系数被输入到无损编码单元6，在那里，诸如变长编码或算数编码之类的无损编码被执行。之后，得出的变换系数在累积缓冲器7中被累积，并作为图像压缩信息被输出。量化单元5的操作行为受速率控制单元12的控制。同时，作为量化单元5的输出的量化后的变换系数被输入到解量化单元8，并且另外地被逆正交变换单元9进行逆正交变换处理成为解码后的图像信息。该信息在帧存储器10中被累积。将被进行帧间编码的图像首先从画面重排缓冲器2被输入到运动预测/补偿单元11。同时，将被参考的图像信息被从帧存储器10取得，并被进行运动预测/补偿处理。参考图像信息被生成。参考图像信息被发送到加法器单元3，并在这里被转换成参考图像信息和图像信息之间的差别 目号。运动补偿/预测单元1 1同时将运动向量信息输出到无损编码单元6。运动向量信息被进行诸如变长编码或算数编码之类的无损编码处理，并被插入到图像压缩信息的首部(header portion)中。其他处理与对被进行帧内编码的图像压缩信息的处理类似。图2是例示了图像信息解码装置的示例配置的框图。21指示累积缓冲器，22指示无损编码/解码单元，23指示解量化单元，24指示逆正交变换单元，25指示加法器单元,26指示画面重排缓冲器,27指示D/Α转换单元,28指示帧存储器，并且29指示运动预测/补偿单元。被输入的图像压缩信息(比特流)首先被存储在累积缓冲器21中，然后被转移到无损编码/解码单元22。在无损编码/解码单元22中，诸如变长解码或算数解码之类的处理根据所确定的图像压缩信息格式被执行。同时，如果帧是帧间编码帧，则无损编码/解码单元22还对图像压缩信息的首部中存储的运动向量信息进行解码，并将信息输出到运动预测/补偿单元29。作为无损编码/解码单元22的输出的经量化的变换系数被输入到解量化单元23，并在这里作为变换系数被输出。根据所确定的图像压缩信息格式，变换系数被逆正交变换单元24进行诸如离散余弦变换或Karhunen-Lc^vo变换之类的逆正交变换。在帧是帧内编码帧的情况下，被进行了逆正交变换处理的图像信息被存储在画面重排缓冲器26中，并在D/Α处理之后被输出。在帧是帧间编码帧的情况下，参考图像基于被进行了无损解码处理的运动向量信息和帧存储器28中存储的图像信息而被生成。参考图像和逆正交变换单元24的输出被加法器单元25合并。其他处理与用于帧内编码帧的处理相似。由前述JVT开发的AVC标准是由运动补偿和离散余弦变换形成的混合编码方案，如 MPEG2 或 MPEG4。离散余弦变换可以是与实数离散余弦变换近似的整数变换。虽然详细方案不同(例如离散余弦变换的变换方法是使用块尺寸为4X4的整数系数或者运动补偿的块尺寸可变的方法)，但是基本方案与利用图1的配置实现的编码方案的基本方案相似。同时，近年来，随着立体感图像捕获和显示技术的发展，有关将H.264/AVC扩展到立体感图像信号的编码的研究已取得了进展。实现对使用多个图像捕获装置所捕获的多视点图像进行编码的MVC (多视角视频编码)标准已被开发。
被认为是从两个视点捕获并显示的图像被称为立体图像。裸眼立体图像能够支持多视点显示。虽然以下将通过示例方式主要对两视点立体图像进行描述，但是可以通过类似方式应用到从三个或更多个视点获得的多视点图像。[MVC]图3是例示了多视点编码设备的示图。在多视点编码设备41中，从两个图像捕获设备即图像捕获设备31和32提供的视频信号被编码，并且通过编码生成的比特流被输出。由两视点图像的数据组成的比特流可被复用成被输出的单个流，或者可作为两个或更多个比特流来输出。图4是例示了图3中的多视点编码设备41的示例配置的框图。在多视点编码设备41中，多视点图像中的一个视点图像被编码为基本流，并且其他图像被编码为依存流。在立体图像的情况下，L图像(左视点图像)和R图像(右视点图像)中的一个图像被编码为基本流，另一个图像被编码为依存流。基本流是与利用H.264AVC/高级规范(high profile)等来编码的现有AVC比特流类似的比特流。因此，基本流变成可利用支持H.264AVC/高级规范的现有AVC解码器来解码的流。将被编码为基本流的图像被输入到重排缓冲器51，并被按照适合于编码为I图片、P图片和B图片的次序重排。重排后的图像被输出到视频编码单元52。视频编码单元52具有与图1中的图像信息编码设备类似的配置。在视频编码单元52中，例如，编码是按照H.264AVC/高级规范来执行的，并且产生的比特流被输出到复用单元57。另外，本地解码图像被保存在帧存储器53中，并被用作用于对下一图片或依存流中的图片进行编码的参考图像。同时，将被编码为依存流的图像被输入到重排缓冲器54，并被按照适合于编码为I图片、P图片和B图片的次序重排。重排后的图像被输出到依存流编码单元55。在依存流编码单元55中，除了通常的AVC编码，使用帧存储器53中存储的基本流中的本地解码图像作为参考图像的编码被执行，并且比特流被输出到复用单元57。另外，本地解码图像被保存在帧存储器56中，并被用作用于对下一图片进行编码的参考图像。
在复用单元57中，基本流和依存流被复用成被输出的单个比特流。基本流和依存流可作为分离的比特流被输出。图5是例示了 MVC参考图像的示例的示图。以和通常的AVC中相似的方式，通过仅在时间方向上执行预测来对基本流进行编码。通过除了执行在同一视点图像内在时间方向上的预测(与通常的AVC中的类似)之夕卜、还使用在同一时刻作为参考图像而获得的基本流中的图像来执行预测，来对依存流进行编码。即使在时间方向上的预测不能被恰当执行的情况下，参考在同一时刻获得的其他视点图像的能力也可以提闻编码效率。图6是例示了生成基本流的图4中的视频编码单元52的配置和帧存储器53的框图。除了帧存储器53中保存的图像被依存流编码单元55参考这一点之外，图6中例示的配置与图1中的图像信息编码设备的配置相似。图7是例示了生成依存流的图4中的依存流编码单元55的配置和帧存储器56的框图。除了帧存储器53中保存的图像可以被参考这一点之外，图7中例示的配置与图1中的图像信息编码设备的配置相似。从帧存储器53读取的参考图像被输入到运动预测/补偿单元90，并被用于运动预测和运动补偿。
图8是例示了多视点解码设备101的示例配置的框图。经由记录介质或网络从多视点编码设备41提供的基本流被输入到缓冲器111，并且依存流被输入到缓冲器114。在单个复用流被提供的情况下，该流被分离成分别被输入到缓冲器111和缓冲器114的基本流和依存流。在缓冲器111中被延迟预定时段的基本流被输出到视频解码单元112。在视频解码单元112中，基本流被根据AVC来解码，并且产生的解码图像被保存在帧存储器113中。帧存储器113中保存的解码图像被用作用于对下一图片或依存流中的图片进行解码的参考图像。通过视频解码单元112获得的解码图像作为视频信号在预定时刻被输出到3D显示器102。同时，在缓冲器114中被延迟预定时段的依存流被输出到依存流解码单元115。在依存流解码单元115中，依存流被解码，并且产生的解码图像被保存在帧存储器116中。帧存储器116中保存的解码图像被用作用于对下一图片进行解码的参考图像。在依存流解码单元115中，适当时，帧存储器113中保存的图像根据比特流中的信息(如标记)被用作参考图像。通过依存流解码单元115获得的解码图像作为视频信号在预定时刻被输出到3D显示器102。在3D显示器102中，立体图像根据从视频解码单元112提供的视频信号和从依存流解码单元115提供的视频信号被显示。图9是例示了对基本流进行解码的图8中的视频解码单元112的配置和帧存储器113的示图。
除了帧存储器113中保存的图像可以被依存流解码单元115参考这一点之外，图9中例示的配置与图2中的图像信息解码设备的配置相似。图10是例示了对依存流进行解码的图8的依存流解码单元115的配置以及帧存储器116的框图。除了帧存储器113中保存的图像可以被参考这一点之外，图10中例示的配置与图2中的图像信息解码设备的配置相似。从帧存储器113读取的参考图像被输入到运动预测/补偿单元148，并被用于运动预测和运动补偿。引用列表专利文献专利文献1:日文未审专利申请公报N0.2007-20891
发明内容
[技术问题]在AVC和MVC中，模拟解码设备侧的缓冲器的操作的虚拟缓冲器模型被定义，以便防止缓冲器上溢或下溢。在编码设备侧，编码被执行以防止虚拟缓冲器上溢或下溢。解码设备可以对以这种方式编码的比特流进行解码而不中断缓冲器。虚拟缓冲器模型将被描述。图11是例示了虚拟缓冲器模型的示例的示图。
·
输入比特流首先被提供到缓冲器151。该比特流立即以被称为AU (访问单位)的单位从缓冲器151被读取，并被提供到视频解码单元152。在视频解码单元152中，从缓冲器151读取的数据立即被解码并且解码图像被生成。上述假设是在虚拟缓冲器模型中作出的。注意，图11中的缓冲器151对应于图8中的多视点解码设备101中的缓冲器111和缓冲器114。另外，图11中的视频解码单元152对应于图8中的多视点解码设备101中视频解码单元112和依存流解码单元115。在AVC的情况中，一个AU存储一个图片的数据。在MVC的情况中，一个AU存储在同一时刻获得的所有视图(view)(基本流和依存流)的数据。这里，术语视图指代从每个视点获得的图像。这种虚拟缓冲器模型中的缓冲器151的行为被例示于图12。在图12中，纵轴表示缓冲器占用量，横轴表示时间。如图12所例示，比特流以预定的比特率被提供给缓冲器151。另外，在每个AU的读取时刻，相应AU中存储的比特流从缓冲器151被提取。时刻tpt2、t3……是从缓冲器151读取的时刻。图13是例示了使用MVC被编码的比特流的AU的配置的示图。在图13的上部，AU#1，#2和#3被例示。AU#1由基本流中的图片P1和依存流中的图片P2组成，图片P1和图片P2是同一时刻的图片(这些图片的数据被存储)。AU#2由基本流中的图片P3和依存流中的图片P4组成，图片P3和图片P4是同一时刻的图片。
AU#3由基本流中的图片P5和依存流中的图片P6组成，图片P5和图片P6是同一时刻的图片。在图13下部，比特流的配置被例示。图13中的比特流是通过复用基本流和依存流而构成的单个流。每个AU具有被插入在其开头处的被称为AD (AU定界符)的NAL单元。AD是某种唯一的数据串。AD表示位于同一时刻的基本流中的图片和依存流中的图片的数据的起始位置。如图13所例示的，在该比特流中，AU#I由AD#1、图片P1和图片P2组成。AU#2由AD#2、图片P3和图片P4组成。AU#3由AD#3、图片P5和图片P6组成。对AD的搜索使得可以找到AU的起点并容易地访问预定的图片。图14包括例示了比特流结构的示例的示图。图14的部分A例示了基 本流和依存流被复用成单个比特流的情况中的结构。图14的部分A中比特流的结构与图13中比特流的结构相同。图14的部分B例示了基本流和依存流被分开地包含在总共两个比特流中的情况中的结构。与图14的部分A例示的部分相对应的部分被分配了相同的符号。如图14的部分B所例示的，通过按照AD#1、图片P1、AD#2、图片P3、AD#3和图片P5的次序进行布置来构成基本流。同时，通过按照图片P2、图片P4和图片P6的次序进行布置来构成依存流。对图14中的比特流的解码处理将利用图11中的配置来描述。例如，在图14的部分A中的比特流被提供的情况中，在检测AD#1之后，图11中的视频解码单元152依次读取基本流中的图片P1和依存流中的图片P2,并分别对图片进行解码。此外，在图14的部分B中的比特流被提供的情况中，对于基本流中的第一AU，视频解码单元152检测AD#1，读取图片P1并对其进行解码。此外，对于第二 AU，视频解码单元152检测AD#2，读取图片P3并对其进行解码。由于依存流不包含AD，因此有必要分析比特流中的语法并确定图片P2、P4和P6的边界以便读取每个图片。因此，处理非常复杂。这里，考虑通过与基本流中类似的方式简单地将AD添加到依存流中每个图片的开头以便图片的开头可以被容易地检测到的情况。这种情况下，例如，如果基本流和依存流被复用成单个比特流，则视频解码单元152可将基本流的AU和依存流的AU识别为不同的AU。这使得无法正确地再现虚拟缓冲器模型的操作。本发明是鉴于这种情况而做出的，并旨在使得可以容易地在比特流上检测到依存流中的图片边界。[解决问题的方案]根据本发明一个方面的图像信号解码设备是对如下比特流进行解码的图像信号解码设备，所述比特流是通过对包含从多个视点获得的图像信号的立体感图像信号进行编码而产生的，所述图像信号解码设备包括解码装置，所述解码装置用于对第一唯一数据串进行解码，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点，所述第一唯一数据串被编码在从一个视点获得的图像中，该解码装置用于识别在所述预定时刻获得的编码数据的起点，该解码装置用于对第二唯一数据串进行解码，所述第二唯一数据串指示在所述预定时刻从另一视点获得的图像编码比特流的起点，所述第二唯一数据串被分别编码在从所述另一视点获得的图像的编码比特流的开头处，该解码装置用于识别从所述另一视点获得的图像信号的编码数据的起点，并且用于对所述比特流进行解码。从多个视点获得的图像信号可以是从两个视点获得的图像信号，并且被配置为单个比特流。从所述多个视点获得的图像信号是从两个视点获得的图像信号，并且被配置为两个比特流。解码装置可以被配置成对第一唯一数据串进行解码，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点，所述第一唯一数据串被编码在从多个视点之一获得的图像中，解码装置被配置成识别在所述预定时刻获得的编码数据的起点，解码装置被配置成对第二唯一数据串进行解码，所述第二唯一数据串指示在所述预定时刻从另一视点获得的图像编码比特流的起点，所述第二唯一数据串被编码在从所述另一视点获得的图像的编码比特流的开头处，解码装置被配置成识别从所述另一视点获得的图像信号的编码数据的起点，并且被配置成对所述比特流进行解码。在对解码可以被正确地开始的位置进行访问的情况下，解码装置可以被配置成对第一唯一数据串进行解码，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点，所述第一唯一数据串被编码在从一个视点获得的图像中，解码装置被配置成识别在所述预定时刻从所述一个视点获得的编码数据的起点，解码装置被配置成对第二唯一数据串进行解码，所述第二唯一数据串指示在所述预定时刻从另一视点获得的图像编码比特流的起点，所述第二唯一数据串被分别编码在从所述另一视点获得的图像的编码比特流的开头处，解码装置被配置成识别从所述另一视点获得的图像信号的编码数据的起点，并且被配置成从所识别的起始位置对所述比特流进行解码。根据本发明一个方面的图像信号解码方法是对如下比特流进行解码的图像信号解码方法，所述比特流是通过对包含从多个视点获得的图像信号的立体感图像信号进行编码而产生的，所述图像信号解码方法包括以下步骤:对第一唯一数据串进行解码，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点，所述第一唯一数据串被编码在从一个视点获得的图像中；识别在所述预定时刻获得的编码数据的起点；对第二唯一数据串进行解码，所述第二唯一数据串指示在所述预定时刻从另一视点获得的图像编码比特流的起点，所述第二唯一数据串被分别编码在从所述另一视点获得的图像的编码比特流的开头处；识别从所述另一视点获得的图像信号的编码数据的起点；以及对所述比特流进行解码。根据本发明一个方面的程序是使得计算机运行用于对如下比特流进行解码的处理的程序，所述比特流是通过对包含从多个视点获得的图像信号的立体感图像信号进行编码而产生的，所述程序使得所述计算机运行包含以下步骤的处理:对第一唯一数据串进行解码，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点，所述第一唯一数据串被编码在从一 个视点获得的图像中；识别在所述预定时刻获得的编码数据的起点；对第二唯一数据串进行解码，所述第二唯一数据串指示在所述预定时刻从另一视点获得的图像编码比特流的起点，所述第二唯一数据串被分别编码在从所述另一视点获得的图像的编码比特流的开头处；识别从所述另一视点获得的图像信号的编码数据的起点；以及对所述比特流进行解码。
根据本发明另一方面的图像信号编码设备是对包含从多个视点获得的图像信号的立体感图像信号进行编码的图像信号编码设备，所述图像信号编码设备包括编码装置，所述编码装置用于将第一唯一数据串编码在从一个视点获得的图像中，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点，并用于将第二唯一数据串分别编码在从另一视点获得的图像的编码比特流的开头处，所述第二唯一数据串指示在所述预定时刻从所述另一视点获得的图像编码比特流的起点。该编码装置可被配置成将从所有视点获得的编码数据复用成单个比特流。该编码装置可被配置成使得从所有视点获得的编码数据被包含在两个比特流中。从多个视点获得的图像信号可以是从两个视点获得的图像信号。根据本发明另一方面的图像信号编码方法是对包含从多个视点获得的图像信号的立体感图像信号进行编码的图像信号编码方法，包括以下步骤:将第一唯一数据串编码在从一个视点获得的图像中，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点；以及将第二唯一数据串分别编码在从另一视点获得的图像的编码比特流的开头处，所述第二唯一数据串指示在所述预定时刻从所述另一视点获得的图像编码比特流的起点。根据本发明另一方面的程序是使得计算机运行用于对包含从多个视点获得的图像信号的立体感图像信号进行编码的处理的程序，所述程序使得所述计算机运行包含以下步骤的处理:将第一唯一数据串编码在从一个视点获得的图像中，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点；以及将第二唯一数据串分别编码在从另一视点获得的图像的编码比特流的开头处，所述第二唯一数据串指示在所述预定时刻从所述另一视点获得的图像编码比特流的起点。根据本发明的一个方面，指示在预定时刻从所有视点获得的图像编码比特流的起点、并被编码在从一个视点获得的图像中的第一唯一数据串被解码，并且在预定时刻获得的编码数据的起点被识别。另外，指示在所述预定时刻从所述另一视点获得的图像编码比特流的起点、并被分别编码在从另一视点获得的图像的编码比特流的开头处的第二唯一数据串被解码，从所述另一视点获得的图像信号的编码数据的起点被识别，并且比特流被解码。根据本发明的另一方面，指示在预定时刻从所有视点获得的图像编码比特流的起点的第一唯一数据串被编码在从一个视点获得的图像中，并且指示在所述预定时刻从另一视点获得的图像编码比特流的起点的第二唯一数据串被分别编码在从所述另一视点获得的图像的编码比特流的开头处。[本发明的有利效果]根据本发明的一个方面，可以容易地在比特流上检测依存流的图片边界。
图1是例示了图像信息编码设备的示例配置的框图。图2是例示了图像信息解码设备的示例配置的框图。图3是例不了多视点编码设备的不图。图4是例示了图3中的多视点编码设备的示例配置的框图。图5是例示了 MVC参考图像的示例的示图。图6是例示了图4中的视频编码单元的配置和帧存储器的框图。图7是例示了图4中的依存流编码单元的配置和帧存储器的框图。图8是例示了多视点解码设备的示例配置的框图。图9是例示了图8中的视频解码单元的配置和帧存储器的框图。图10是例示了图8中的依存流解码单元的配置和帧存储器的框图。图11是例示了虚拟缓冲器模型的示例的示图。图12是例示 了图11中的缓冲器的行为的示图。图13是例示了使用MVC来编码的比特流的AU的配置的示图。图14是例示了比特流的结构的示例的示图。图15是例示了作为根据本发明实施例的多视点编码设备的一部分的依存流编码单元的示例配置的框图。图16包括例示了比特流的结构的示例的示图。图17是例示了 NAL单元的示例配置的示图。图18是例示了 NAL单元的语法的示图。图19是例示了 nal_unit_type (NAL单元类型)的定义的示图。图20是例示了 nal_unit_type (NAL单元类型)的定义的示图。图21是例示了 NAL单元的简化语法的示图。图22是例示了包含NAL单元的语法的示图。图23是例示了图22中的语法的简化的示图。图24是例示了作为根据本发明实施例的多视点解码设备的一部分的依存流解码单元的示例配置的框图。图25是例示了虚拟缓冲器模型的示例的示图。图26是例示了用于访问AU的开头的方法的示例的示图。图27是描述语法分析单元的操作的流程图。图28是描述传统分析处理的流程图。图29是例示了通过使用MVC对三视点视频进行编码而获得的比特流的AU的配置的示图。图30包括例示了比特流的结构的示例的示图。图31包括例示了比特流的结构的示例的示图。图32是例示了计算机的示例配置的框图。
具体实施例方式[多视点编码装置的配置]图15是例示了作为根据本发明实施例的多视点编码设备的一部分的依存流编码单元的示例配置的框图。在根据本发明实施例的多视点编码设备中，基本流中编码有指示AU边界的信息，并且依存流中编码有指示依存流中的图片之间的边界的信息。这使得多视点解码设备在对立体感图像的比特流进行解码的场合能够利用简单的处理确定AU边界等，并基于虚拟缓冲器模型执行解码操作。多视点编码设备具有与图4中的配置相同的配置。图15例示了图4中的依存流编码单元55的示例配置。根据本发明实施例的多视点编码设备41的视频编码单元52具有与图6的配置相同的配置。相同的配置元素被分配了相同的标号。除了 DD编码单元201被提供这一点以及DD编码单元201的输出被提供到无损编码单元86这一点之外，图15所例示的依存流编码单元55的配置是与图7中的配置相同的配置。DD编码单元201在依存流中的每个图片的开头插入被称为DD (依存定界符)的NAL单元(视图和依存性表示定界符NAL单元, view and dependency representationdelimiter NAL unit)。DD是类似于AD的唯一数据串，但具有与AD不同的值。无损编码单元86将由DD编码单元201生成的DD的NAL单元插入到每个图片的开头，执行编码，并输出其中已插入DD的依存流。图16包括例示了由包含图15中的依存流编码单元55的多视点编码设备41生成的比特流的结构示例的示图。图16的部分A例示了基本流和依存流被复用成单个比特流的情况中的结构的示例。图16的部分B例示了基本流和依存流被分开地包含在总共两个比特流中的情况中的结构的示例。与图16的部 分A所例示的部分相对应的部分被分配了相同的符号。在生成图16的部分A中的比特流的情况中，在对AD#1进行编码后，多视点编码设备41对基本流中的图片P1进行编码。接着，多视点编码设备41在对依存流中的图片进行编码之前对DD#1进行编码，之后对依存流中的图片P2进行编码。 当处理对象被切换到下一 AU时，多视点编码设备41对AD#2进行编码并对基本流中的图片匕进行编码。接着，多视点编码设备41在对依存流中的图片进行编码之前对DD#2进行编码，之后对依存流中的图片P4进行编码。通过类似的方式，多视点编码设备41在对依存流中的图片进行编码之前对DD进行编码，并在DD之后立刻布置依存流中的图片。同样，在该示例中，AD被置于AU的开头。第一 AU由AD#1、图片PpDDiIl和图片P2组成，并且第二 AU由AD#2、图片P3、DD#2和图片P4组成。第三AU由AD#3、图片P5、DD#4和图片P6组成。在生成图16的部分B中的比特流的情况中，对于基本流，在对AD#1进行编码后，多视点编码设备41对基本流中的图片P1进行编码。当处理对象被切换到下一 AU时，多视点编码设备41对AD#2进行编码并对基本流中的图片P3进行编码。另外，对于依存流，在对DD#1进行编码后，多视点编码设备41对依存流中的图片P2进行编码。当处理对象被切换到下一 AU时，多视点编码设备41对DD#2进行编码并对依存流中的图片P4进行编码。
通过类似的方式，多视点编码设备41在对依存流中的图片进行编码之前对DD进行编码，并在DD之后立刻布置依存流中的图片。如图16的部分B所例示的，基本流是通过按照AD#1、图片PpAD#2、图片P3、AD#3和图片P5的次序进行布置而构成的。同时，依存流是通过按照DD#1、图片P2、DD#2、图片P4、DD#3和图片P6的次序进行
布置而构成的。同样，在图16的部分B的示例中，第一 AU由AD#1、图片P1' DD#1和图片P2组成，并且第二 AU由AD#2、图片P3、DD#2和图片P4组成。第三AU由AD#3、图片P5、DD#4和图片
P6组成。AD表示在同一时刻获得的基本流中的图片和依存流中的图片的数据的起始位置，即，表示在预定时刻从所有视点获得的图像编码比特流的起始位置。另外，DD表示依存流中的图片的数据的边界位置，即，表示依存流中的图像编码比特流的起始位置。[关于语法]DD的语法将被描述。包括AD和图片在内的所有经编码的数据项被存储在称为NAL单元的单元中，并且按照预定次序被重排以构成比特流。细节在IS0/IEC14496-10| ITU-T H.264中进行了描述。DD也被存储在NAL单元中。图17是例示了 NAL单元的示例配置的示图。
经编码的数目项和首部被逐字节地处理。NAL_BytesInNALunit是指示以字节为单位的NAL单元的大小的参数,该参数对于识别NAL单元的边界是必要的。一种用于识别NAL单元边界的方法是搜索起始代码。在其他情况下，有必要使用某种方法将NAL单元大小发送到解码器。rbsp_byte[]表示存储在NAL单元中的经编码数据项或首部。图18是例示了 NAL单元的语法的示图。forbidden_zero_bit是总是为O的I比特数据。nal_ref_idc是2比特数据,它指示了如果nal_ref_idc值是非零的值,则NAL单元中的数据项被其他NAL单元参考。如果nal_ref_idc值为零，则数据项不被其他NAL单元参考。nal_unit_type是指示NAL单元的内容的5比特数据。forbidden_zero_bit> nal_ref_idc 和 nal_unit_type 构成图 17 中的首部。图19和图20是例不了 nal_unit_type的定义的不图。如图19所例示的，nal_unit_type=9指示了 NAL单元的内容为AD。如图20所例示的，nal_unit_type=18指示了 NAL单元的内容为DD。图18中NAL单元的简化语法如图21所示。根据图22所示的语法，NAL单元中添加有起始代码，并构成被称为字节流的流。字节流对应于上述比特流。图 22 中 3 个字节的 startcode_prefix (start_code_prefix_one_3bytes)(0x000001)是将要被添加到NAL单元开头的起始代码。startcode_prefix是不得在字节流中其他位置出现的唯一代码。
在字节流中搜索startcode_prefix产生了对NAL单元的开头的检测。另外,在已检测到其开头的NAL单元首部中检查nal_unit_type使得可以访问所希望的NAL单元。图22中语法的简化如图23所示。通过这种方式，DD被置于依存流中图片的边界处，无论依存流是与基本流一起被复用成单个比特流还是被包含在另一个比特流中都是如此。起始代码被添加到存储DD的NAL单元的开头,并且NAL单元的nal_unit_type被设置为指示内容为DD的18。多视点解码设备可以通过检测起始代码来检测NAL单元的开头。另外，检查到已检测到其开头的NAL单元的nal_unit_type值是18使得可以检测到DD,即依存流中的图片边界(开头)。[多视点解码设备]图24是例示了作为根据本发明实施例的多视点解码设备的一部分的依存流解码单元的示例配置的框图。根据本发明实施例的多视点解码设备具有与图8的配置相同的配置。图24例示了图8中的依存流解码单元115的示例配置。根据本发明实施例的多视点解码设备101的视频解码单元112具有与图9中的配置相同的配置。除了 DD从无损编码/解码单元142被输出这一点之外，图24所例示的依存流解码单元115的配置是与图10中的配置相同的配置。无损编码/解码单元142对依存流中包含的DD进行解码并输出DD。基于输出的DD，随机访问时解码的起始·位置等被上层应用等指定。MVC虚拟缓冲器模型将被描述。图25是例示了在MVC比特流是由两个流即基本流和依存流组成的情况下的虚拟缓冲器模型的示例的示图。输入的基本流被存储在缓冲器151A中，并且依存流被存储在缓冲器151B中。比特流被逐AU地从缓冲器151A和151B即时读取，并被视频解码设备152即时解码。注意，图25中的缓冲器15IA对应于图8中的多视点解码设备101中的缓冲器111，并且图25中的缓冲器151B对应于图8中的多视点解码设备101中的缓冲器114。另外，图25中的视频解码单元152对应于图8中的多视点解码设备101中的视频解码单元112和依存流解码单元115。例如，在图16的部分B中的基本流被存储在缓冲器151A中并且依存流被存储在缓冲器151B中的情况下，在某一定时，图片P1根据Ami被从缓冲器151A读取，并且图片P2根据DD#1被从缓冲器151B读取。读取的图片被视频解码单元152解码。另外，在下一定时，图片P3根据AD#2被从缓冲器151A读取，并且图片P4根据DD#2被从缓冲器151B读取。MVC比特流由具有基本流和依存流的单个流组成的情况中的虚拟缓冲器模型与图11所例示的相同。例如，在图16的部分A中的比特流被存储在图11中的缓冲器151中的情况下，在某一定时，图片P1和P2根据AD#1被从缓冲器151读取。另外，在下一定时，图片P3和P4根据AD#2被从缓冲器151读取。
接着，用于在随机访问时、发生差错时等等访问预定AU的开头的方法的示例将参考图26来描述。输入的比特流首先被提供到缓冲器211并被暂时存储。之后，比特流被提供给起始代码检测单元212和解码器214。起始代码检测单元212检测具有唯一数据串的起始代码。检测到起始代码后，起始代码检测单元212将后续数据输出到语法分析单元213。语法分析单元213分析从起始代码检测单元212提供来的数据。由于数据在起始代码后面，因此从起始代码检测单元212提供来的数据是NAL单元的数据。当通过分析NAL单元的首部等而识别了 AU的起始位置后，语法分析单元213将指示AU起始位置的信号输出到解码器214和缓冲器211。在AD存在的情况下(在NAL单元的数据被提供的情况下)，语法分析单元213检查是否满足nal_unit_type=9。在满足nal_unit_type=9的情况下,如上所述，NAL单元的内容为AD。因此，AU的开头被检测到。类似地,在AD存在的情况下,语法分析单元213检查是否满足nal_unit_type=18。在满足nal_unit_type=18的情况下,如上所述,NAL单元的内容为DD。因此,依存流中图片的开头被检测到。解码器214和缓冲器211接下来根据来自语法分析单元213的信号以通常的方式逐AU地对图片执行解码。检测依存流中图片的开头的操作将参考图27中的流程图来描述。这里，如图16的部分B所例示的，假设基本流和依存流构成不同的比特流并且依存流具有经编码的DD。在步骤SI，起始代码检测单元212搜索起始代码。在起始代码被检测到之后,在步骤S2,语法分析单元213检查是否满足nal_unit_type=18。在步骤S2中确定满足nal—unit—type=18的情况下，在步骤S3，语法分析单元213检测出具有检测到的起始代码的NAL单元是存储DD的单元并且位于依存流中图片的开头。在如图14的部分B中所例示的那样，流由两个比特流组成并且如传统MVC中那样依存流不含有DD的情况下的操作被例示于图28中。如图28所例示的，在依存流不含有DD的情况中，片段首部也被解码，并且多个条件判定被执行。最后，在步骤S23中，可以检测到AU的开头(图片的开头)。在图28中，直到步骤S23的各个判定中使用的值是写在NAL单元的RBSP (图17)中存储的片段首部中的信息段。与上述nal_unit_type=18不同，上述信息段未被写在NAL单元的首部中，因此，复杂的分析处理被执行。[三视点比特流]三视点比特流将被描述。图29是例示了通过使用MVC对三视点视频进行编码而获得的比特流的AU的配置的示图。如上所述，在MVC的情况下，一个AU存储在同一时刻获得的所有视图的数据。这甚至在视点的个数为三的情况 下也适用。
在图29中，AU#11由基本流中的图片Pn、依存流I中的图片P12和依存流2中的图片P13组成。AU#12由基本流中的图片P14、依存流I中的图片P15和依存流2中的图片P16组成。AU#13由基本流中的图片P17、依存流I中的图片P18和依存流2中的图片P19组成。
图30包括例示了比特流的结构的示例的示图。图30的部分A例示了在基本流、依存流I和依存流2被复用成单个比特流的情况下的结构的示例。图30的部分B例示了在基本流、依存流I和依存流2被包含在总共三个不同的比特流中的情况下的结构的示例。与图30的部分A中例示的部分相对应的部分被分配了相同的符号。例如，在图30的部分A中的比特流被提供的情况下，在检测到AD#11之后，视频解码单元152依次读取基本流中的图片Pn、依存流I中的图片P12和依存流2中的图片P13,并分别对图片进行解码。此外，在图30的部分B中的比特流被提供的情况下，对于基本流中的第一AU，视频解码单元152检测AD#11、读取图片P11并对其进行解码。另外，对于第二 AU，视频解码单元152检测AD#12、读取图片P14并对其进行解码。依存流I和2不含有DD。因此，为了读取各个图片P12、P13、P15、P16、P18和P19，需要根据图28中的处理来分析比特流中的语法并检测图片的边界。图31包括例示了由多视点编码设备101根据本发明的实施例生成的比特流的结构的示例的示图。图31的部分A例示了在基本流、依存流I和依存流2被复用成单个比特流的情况下的结构的示例。图31的部分B例示了在基本流、依存流I和依存流2被包含在总共三个不同的比特流中的情况下的结构的示例。在图31的部分A中的比特流被提供的情况下，在检测到AD#11后，视频解码单元152依次读取基本流中的图片Pn、依存流I中的图片P12和依存流2中的图片P13,并分别对图片进行解码。在图31的部分B中的比特流被提供的情况下，对于基本流中的第一 AU，在检测到AD#11之后，视频解码单元152对图片P11进行解码。对于第二 AU，在检测到AD#12之后，视频解码单元152对图片P14进行解码。此外，对于依存流1，在检测到DD#11之后，视频解码单元152对图片P12进行解码。另外，在检测到DD#12之后，视频解码单元152对图片P15进行解码。此外，对于依存流2，在检测到DD#21之后，视频解码单元152对图片P13进行解码。此外，在检测到DD#22之后，视频解码单元152对图片P16进行解码。通过这种方式，在多视点解码设备101中，操作被执行以使得所希望的AU根据作为例示了 AU边界的信息段的AD和作为例示了依存流中图片之间的边界的信息段的DD而被检测到并被解码并且使得立体感图像被显示。由于在检测到依存流中某 个图片的起始位置的情况下不需要分析片段首部，因此高速的随机访问变得可行。
上述处理系列可通过硬件或软件来执行。在该处理系列通过软件来执行的情况下，构成软件的程序被从程序记录介质安装到包括在专用硬件中的计算机、通用个人计算机等中。图32是例示了根据程序运行上述处理系列的计算机的硬件配置的示例的框图。CPU (中央处理单元)30KROM (只读存储器)302和RAM (随机存取存储器)303经由总线304被彼此连接。输入/输出接口 305还连接到总线304。具有键盘、鼠标等的输入单元306和具有显示器、扬声器等的输出单元307被连接到输入/输出接口 305。此外，具有硬盘、非易失性存储器等的存储单元308、具有网络接口等的通信单元309和驱动可移除介质311的驱动器310被连接到总线304。在如上所述那样配置的计算机中，例如，CPU301经由输入/输出接口 305和总线304将存储 单元308中存储的程序加载到RAM303中，并运行该程序。因而，上述处理系列被执行。由CPU301运行的程序例如被记录在可移除介质311上，或经由诸如局域网、因特网或数字广播之类的有线或无线传输介质被提供，并且被安装到存储单元308中。注意，计算机运行的程序可以是这样的程序，根据该程序，处理以本文描述的次序按时间顺序被执行，或者可以是这样的程序，根据该程序，处理被并列执行或在例如被调用时的所需时刻被执行。本发明的实施例不限于上述实施例，并且在不脱离本发明的范围的情况下可以进行各种改变。参考符号列表41多视点编码设备，51重排缓冲器，52视频编码单元，53帧存储器，54重排缓冲器，55依存流编码单元，56帧存储器，57复用单元，101多视点解码设备，1023D显示器，111缓冲器，112视频解码单元，113帧存储器，114缓冲器，115依存流解码单元，116帧存储器，201DD编码单元
权利要求
1.一种对第一视点的第一图像信号和第二视点的第二图像信号进行编码的编码方法，所述方法包括以下步骤: 对第一图像信号进行编码以生成基本流；和 对第二图像信号进行编码以生成依存流，并在依存流中的图片的开头处插入指示依存流中的图片之间的图片边界的依存定界符。
2.根据权利要求1所述的编码方法，所述方法包括以下步骤: 对第一图像信号进行编码以生成基本流，并在基本流中的图片的开头处插入指示基本流中的访问单元之间的边界的访问单元定界符。
3.根据权利要求2所述的编码方法，所述方法包括以下步骤: 对第一图像信号进行编码以生成基本流，并在基本流中的图片的开头处插入指示基本流中的访问单元之间的边界的访问单元定界符，作为包括nal_unit_type的NAL单元；和 对第二图像信号进行编码以生成依存流，并在依存流中的图片的开头处插入指示依存流中的图片之间的图片边界的依存定界符，作为包括具有与访问单元定界符的nal_unit_type不同的值的nal_unit_type的NAL单元。
4.一种用于对第一视点的第一图像信号和第二视点的第二图像信号进行编码的编码设备，所述编码设备包括: 第一编码单元，用于对第一图像信号进行编码以生成基本流；和 第二编码单元，用于对第二图像信号进行编码以生成依存流，并在依存流中的图片的开头处插入指示依存流中的图片之间的图片边界的依存定界符。
5.根据权利要求4所述的编码设备，其中 所述第一编码单元适于在基本流中的图片的开头处插入指示基本流中的访问单元之间的边界的访问单元定界符。
6.根据权利要求5所述的编码设备，其中 所述第一编码单元适于在基本流中的图片的开头处插入指示基本流中的访问单元之间的边界的访问单元定界符，作为包括nal_unit_type的NAL单元；并且 所述第二编码单元适于在依存流中的图片的开头处插入指示依存流中的图片之间的图片边界的依存定界符，作为包括具有与访问单元定界符的nal_unit_type不同的值的nal_unit_type 的 NAL 单兀。
全文摘要
本发明涉及允许容易地在比特流上检测依存流的图片边界的图像信息解码设备和方法、图像信号编码设备和方法及程序。在比特流上，AD(AU定界符)被置于每个AU(访问单元)的起始位置，并且DD(依存定界符)被置于依存流的图片边界处。NAL单元的开头通过检测起始代码而被检测到，并且作为依存流的图片边界(开头)的DD通过检查已检测到其开头的nal_unit_type值是否为18而被检测到。本发明可被应用于处理立体感图像信号的设备。
文档编号H04N7/26GK103237218SQ20131014438
公开日2013年8月7日 申请日期2010年3月25日 优先权日2009年4月3日
发明者铃木辉彦, 服部忍 申请人:索尼公司