编码方法、解码方法、编码装置、解码装置、程序及集成电路的制作方法

专利名称：编码方法、解码方法、编码装置、解码装置、程序及集成电路的制作方法
技术领域：
本发明能够用于所有多媒体数据的编码方法及解码方法，尤其能够用于H. 264/ MPEG-4 AVC多视点影像的编码方法及解码方法。
背景技术：
三维影像早已问世。有各种方法对视听者提供三维的视觉效果。这些方法之一是 对视听者的左右眼分别显示两个影像。这称为利用两个摄像机拍摄两个影像的立体摄影。 作为用于显示立体影像的以前使用的技术之一，有对颜色成分施加过滤以便能够通过单眼 分别观察的方法。在这种技术中，对单眼分别提供的图像的析像度变低。通过近年来显示技术的进步，现在视听者能够通过单眼分别视听最大析像度的影 像。在H. 264/MPEG-4 AVC多视点影像编码(MVC)的影像规格中，将这种各视点以最大析像 度显示的情况下的三维图像压缩作为对象进行了规定。H. 264/MPEG-4 AVC多视点影像编码(MVC)的影像规格提供了一种压缩工具的设 置，能够有效地压缩以多个视点的设置为对象的运动图像。根据MVC的影像规格，能够利用 根据重构图像的预测编码来压缩图像，该重构图像属于不同视点的设置。该“视点间”预测 利用几乎同时由不同摄像机拍摄的图像的相关关系，有效地压缩图像。在MVC的影像规格中，“视点间”预测仅对具有同一图像顺序计数(picture order count)信息的不同视点的图像进行。图像顺序计数信息用于表示同一视点的重构图像的顺 序。在MVC的影像规格中，具有同一图像顺序技术信息的不同视点的图像(即定义为MVC 规格的视图成分)被汇总为叫做访问单元的容器。此时，这些访问单元的尺寸受到由其影 像规格规定的缓冲器模型所定义的限制的制约。这种制约对于保证压缩影像的正确解码是 必要的。MVC规格以及本说明书中定义的视图成分对单一的访问单元内的一个视点进行编 码并显示。作为视点的一个例子，可以举出图像。H. 264/MPEG-4 AVC高规格(high profile)广泛用于高析像度的存储媒体和高清 数字广播等各种用途。定义为MVC影像规格的多视点高规格通过扩展H.264/MPEG-4 AVC 高规格来规定，已经实现的H. 264/MPEG-4AVC高规格解码器通过简单的修正，就能够对应 于利用多视点高规格的压缩影像流的解码。在已安装的MVC规格中，能够利用已安装的 H. 264/MPEG-4 AVC解码器来独立实现各视点的解码。影像内容能够通过逐行扫描的摄像机或隔行扫描的摄像机来拍摄。在通过隔行扫 描的摄像机拍摄影像的情况下，H. 264/MPEG-4 AVC高规格特别提供了一种以通过隔行扫描 拍摄的运动图像的处理为对象的编码工具组。如图IA以及图IB所示，各图像能够作为帧或 多个场(field)来编码。图IA表示具有隔行扫描的两个场的帧图像的像素采样位置。图 IB表示逐行扫描的场各自作为一个场图像编码的场图像的像素采样位置。在两个补充的场 如图IA所示作为1个帧编码的情况下，该帧具有表示各场的顺序的两个图像顺序计数。现有技术(多视点影像编码规格)的问题之一是不同视点的图像(即、定义为 MVC规格的视图成分)利用帧编码或场编码的某一种各自独立进行编码时的容器即访问单元的定义附加。图2表示具备用于各视点的不同图像编码构造的访问单元的例子。如图2 所示，模块200所示的访问单元容器A具有视点2的一个帧图像和视点1的一个场图像，另 一方面，组件202所示的访问单元容器B仅具有视点1的一个场图像。由此，访问单元A内 的视点2的帧图像无法充分利用从视点1的视点间预测，因此压缩效率降低。与此相伴的问题是各访问单元容器并不总是具有不同视点的所有的图像(即视 图成分)。因此，通过为了保证压缩影像的适当编码而由影像规格规定的缓冲器模型所定义 的限制，无法制约各访问单元的尺寸。现有技术(多视点影像编码规格)的其他问题是存在用于对访问单元容器的尺 寸进行限制而设定的制约，该访问单元容器包括具有多个视点的图像(即，定义为MVC规 格的视图成分)。虽然限制了访问单元的最大尺寸，但访问单元容器内的各视点的各图像 (即，定义为MVC规格的视图成分)的最大尺寸不受制约。因此，在通过不同的H. 264/MPEG-4 AVC解码器对各视点进行解码的情况下，有时在MVC解码器的安装中发生问题。为了限制访问单元的最大尺寸而定义的制约在各视点通过独立的解码器分别解 码时，无法保证访问单元内的各视图成分被适当地解码。在这种制约中，包括最大片数、以 及访问单元内的各图像(即，定义为MVC规格的视图成分)的尺寸。

发明内容
本发明鉴于上述情况而做成，其目的在于，提供使视点不同的多个图像组的编码 效率提高的编码方法、解码方法、以及将其实现的编码装置、解码装置、程序及集成电路。本发明的一个方式涉及的编码方法对通过不同视点拍摄的隔行方式的第一及第 二图像组进行编码。具体而言，包括访问单元定义步骤，对由上述第一及第二图像组中的 相互对应的图像构成的访问单元进行定义；以及编码步骤，对于在上述访问单元定义步骤 中定义的每个上述访问单元，将构成该访问单元的各图像编码。上述访问单元定义步骤包 括编码单位决定步骤，决定将上述访问单元所包括的各图像统一为以场为单位或以帧为 单位中的哪一种来进行编码；以及场种类决定步骤，在上述访问单元所包括的各图像决定 为以场为单位的情况下，决定将该各图像统一为顶场(top field)或底场(bottom field) 中的哪一种来进行编码。另外，在上述编码步骤中，对于每个上述访问单元，将上述编码单 位决定步骤及上述场种类决定步骤中决定的形式的各图像编码。根据上述方法，相同的访问单元所包括的全部图像的形式(场/帧、顶/底)被统 一，因此在视点间编码的情况下提高了编码效率。另外，也可以在上述编码单位决定步骤中，将表示是以场为单位的图像还是以帧 为单位的图像的值，设定在参照field_piC_flag中。也可以在上述场种类决定步骤中，将 表示是顶场还是底场的值，设定在参照b0tt0m_field_flag中。另外，也可以在上述编码步 骤中，根据上述参照field_piC_flag以及上述参照b0tt0m_field_flag中设定的值，来取 得上述第一及第二图像组中的相互对应的图像，并在取得的各图像的片头所包括的field_ pic_flag中设定上述参照field_piC_flag的值，在上述参照field_pic_flag中设定了表 示是以场为单位的图像的值时，在上述片头所包括的b0tt0m_field_flag中设定上述参照 bottom_field_flag 的值。另外，也可以上述编码步骤包括第一编码步骤，利用根据上述第一图像组中的图像生成的预测图像，对属于上述第一图像组的图像进行编码；以及第二编码步骤，利用根据 上述第二图像组中的图像生成的预测图像、或根据属于相同的访问单元所包括的上述第一 图像组的图像生成的预测图像，对属于上述第二图像组的图像进行编码。由于相同访问单 元所包括的全部图像的形式被统一，因此在第二编码步骤中进行视点间预测编码的情况下 提高了编码效率。进而，也可以该编码方法包括适合性确认步骤，确认上述编码步骤中的编码处理 的适合性。另外，也可以上述适合性确认步骤包括最大片数计算步骤，计算上述访问单元 所包括的各图像的最大片数；最大字节数计算步骤，计算上述访问单元所包括的各图像的 最大字节数；以及比较步骤，将上述编码步骤中编码的各图像的片数及字节数与对应的上 述最大片数及上述最大字节数进行比较，将该比较结果向上述编码步骤反馈。由此，能够防 止输出无法解码的比特流。另外，也可以在上述编码步骤中，根据从上述比较步骤反馈的比较结果，来增减量 子化步骤。通过增减量子化步骤，能够调整编码量。本发明的一个方式涉及的解码方法对于以下编码流进行解码，该编码流是对视点 不同的第一及第二图像组按照由相互对应的图像构成的每个访问单元进行编码而得到的。 具体而言，包括判断步骤，判断在上述访问单元中属于上述第一图像组的图像与属于上述 第二图像组的图像之间是否取得同步；以及解码步骤，在上述判断步骤中判断为取得同步 的情况下与判断为未取得同步的情况下，执行不同的解码处理。根据上述方法，在确认有无同步之后进行解码处理，因此能够有效地防止例如根 据与本来的预测图像不同的预测图像来进行视点间预测解码处理的情况。另外，在上述访问单元所包括的各图像的片头中，包括上述记载的field_pic_ flag及b0tt0m_field_flag。另外，也可以在上述判断步骤中，在属于上述第一图像组的图 像及属于上述第二图像组的图像的片头所包括的上述field_piC_flag的值一致、而且在 上述field_piC_flag中设定了表示是以场为单位的图像的值时，根据属于上述第一图像 组的图像及属于上述第二图像组的图像的片头所包括的上述b0tt0m_field_flag的值一 致，判断为取得同步。另外，也可以上述解码步骤包括第一解码步骤，利用根据上述第一图像组中的图 像生成的预测图像，对属于上述第一图像组的图像进行解码；以及第二解码步骤，利用根据 上述第二图像组中的图像生成的预测图像、或根据属于相同的访问单元所包括的上述第一 图像组的图像生成的预测图像，对属于上述第二图像组的图像进行解码。另外，也可以在上 述第二解码步骤中，在上述判断步骤中判断为未取得同步的情况下，输出相同的上述访问 单元所包括的上述第一图像组中包括的图像。在未取得相同访问单元所包括的图像的同步的情况下，无法执行视点间预测解码 处理，因此放弃解码处理，而将正常解码的对应图像输出。由此，虽然暂时成为二维图像，但 能够消除显示不自然的图像等不佳情况。本发明的一个方式涉及的编码装置对通过不同视点拍摄的隔行方式的第一及第 二图像组进行编码。具体而言，包括访问单元定义部，对由上述第一及第二图像组中的相 互对应的图像构成的访问单元进行定义；以及编码部，对于由上述访问单元定义部定义的 每个上述访问单元，将构成该访问单元的各图像编码。上述访问单元定义部包括编码单位决定部，决定将上述访问单元所包括的各图像统一为以场为单位或以帧为单位中的哪一种 来进行编码；以及场种类决定部，在上述访问单元所包括的各图像被决定为以场为单位的 情况下，决定将该各图像统一为顶场或底场中的哪一种来进行编码。另外，上述编码部对于 每个上述访问单元，将上述编码单位决定步骤及上述场种类决定步骤中决定的形式的各图 像编码。本发明的一个方式涉及的解码装置对于以下编码流进行解码，该编码流是对视点 不同的第一及第二图像组按照由相互对应的图像构成的每个访问单元进行编码而得到的。 具体而言，包括判断部，判断在上述访问单元中属于上述第一图像组的图像与属于上述第 二图像组的图像之间是否取得同步；以及解码部，在上述判断部中判断为取得了同步的情 况下与判断为未取得同步的情况下，执行不同的解码处理。本发明的一个方式涉及的程序使计算机对通过不同视点拍摄的隔行方式的第一 及第二图像组进行编码。具体而言，包括访问单元定义步骤，对由上述第一及第二图像组 中的相互对应的图像构成的访问单元进行定义；以及编码步骤，对于在上述访问单元定义 步骤中定义的每个上述访问单元，将构成该访问单元的各图像编码。上述访问单元定义步 骤包括编码单位决定步骤，决定将上述访问单元所包括的各图像统一为以场为单位或以 帧为单位中的哪一种来进行编码；以及场种类决定步骤，在上述访问单元所包括的各图像 决定为以场为单位的情况下，决定将该各图像统一为顶场或底场中的哪一种来进行编码。 另外，在上述编码步骤中，对于每个上述访问单元，将上述编码单位决定步骤及上述场种类 决定步骤中决定的形式的各图像编码。本发明的其他方式涉及的程序使计算机对于以下编码流进行解码，该编码流是对 视点不同的第一及第二图像组按照由相互对应的图像构成的每个访问单元进行编码而得 到的。具体而言，包括判断步骤，判断在上述访问单元中属于上述第一图像组的图像与属 于上述第二图像组的图像之间是否取得同步；以及解码步骤，在上述判断步骤中判断为取 得同步的情况下与判断为未取得同步的情况下，执行不同的解码处理。本发明的一个方式涉及的集成电路对通过不同视点拍摄的隔行方式的第一及第 二图像组进行编码。具体而言，包括访问单元定义部，对由上述第一及第二图像组中的相 互对应的图像构成的访问单元进行定义；以及编码部，对于由上述访问单元定义部定义的 每个上述访问单元，将构成该访问单元的各图像编码。上述访问单元定义部包括编码单位 决定部，决定将上述访问单元所包括的各图像统一为以场为单位或以帧为单位中的哪一种 来进行编码；以及场种类决定部，在上述访问单元所包括的各图像被决定为以场为单位的 情况下，决定将该各图像统一为顶场或底场中的哪一种来进行编码。另外，上述编码部对于 每个上述访问单元，将上述编码单位决定步骤及上述场种类决定步骤中决定的形式的各图 像编码。本发明的其他方式涉及的集成电路对于以下编码流进行解码，该编码流是对视点 不同的第一及第二图像组按照由相互对应的图像构成的每个访问单元进行编码而得到的。 具体而言，包括判断部，判断在上述访问单元中属于上述第一图像组的图像与属于上述第 二图像组的图像之间是否取得同步；以及解码部，在上述判断部中判断为取得同步的情况 下与判断为未取得同步的情况下，执行不同的解码处理。发明效果
9
根据上述方法，相同访问单元所包括的全部图像的形式(帧/场、顶/底)被统一， 因此在进行视点间编码的情况下提高了编码效率。


图IA表示帧图像的例子。图IB表示场图像的例子。图2表示具备用于各视点的不同图像编码构造的访问单元的例子。图3是表示访问单元的数据结构的例子。图4是本发明的实施方式1涉及的编码装置的功能模块图。图5是视图成分编码部的功能模块图。图6是适合性确认部的功能模块图。图7是表示对MVC访问单元进行编码的整体处理的流程图。图8是表示MVC访问单元的视图成分的编码处理的流程图。
图9是表示决定MVC访问单元的适合性的处理的流程图。图10是本发明的实施方式1涉及的解码装置的功能模块图。图11是表示图10所示的解码装置的变形例的图。图12是表示MVC访问单元的视图成分的解码处理的流程图。图13是表示实现内容分发服务的内容供给系统的整体结构的一个例子的示意 图。图14是表示便携式电话的外观的图。图15是表示便携式电话的结构例的模块图。图16是表示数字广播用系统的整体结构的一个例子的示意图。图17是表示电视机的结构例的模块图。图18是表示对作为光盘的记录介质进行信息的读写的信息再生记录部的结构例 的模块图。图19是表示作为光盘的记录介质的构造例的图。图20是表示实现各实施方式涉及的图像编码方法及图像解码方法的集成电路的 结构例的模块图。
具体实施例方式为了解决上述问题，引入了一种新的方法，对图像编码构造(帧/场图像编码)、以 及访问单元内的各图像(即。定义为MVC规格的视图成分)的数据尺寸进行制约。本发明 的新颖性特征在于，通过利用现有的H. 264/MPEG-4 AVC解码器分别对各视点进行解码的方 法，来可靠地成功进行利用MVC规格压缩的影像流的解码。该新发明对数据尺寸、以及访问 单元内的各图像(即，定义为MVC规格的视图成分)的指定的语法的值可靠地加以制约。本发明的效果在于以低成本安装MVC规格的编码器及解码器。本发明还由于能够 在各视点的场图像间利用“视点间”预测，因此在提高编码效率上作出了贡献。本发明包括访问单元的视图成分的编码处理以及访问单元的视图成分的解码 处理这两个主要的处理。本发明为了解决上述问题，将图3所示的作为片头内的语法的field_pic_flag以及bottom_field_flag的值限制为在相同访问单元内的全部视图成分 间相同。图3的field_piC_flag用于决定将与视图成分相关联的片作为场编码还是作为 帧编码。例如，如果field_piC_flag的值为“1”，则表示该片属于作为1个场编码的视图成 分，如果其值为“0”，则表示该片属于作为帧编码的视图成分。另外，利用图3的b0tt0m_field_flag，决定与作为场编码的视图成分相关联的片 是顶场还是底场。在片头内是否存在b0tt0m_field_flag，由field_piC_flag的值决定。例 如，如果b0tt0m_field_flag的值是“1”，则表示属于作为场编码的视图成分的片是底场， 如果b0tt0m_field_flag的值是“0”，则表示属于作为场编码的视图成分的片是顶场。其 中，在从编码装置输出的片头的field_piC_flag中设定为“0”的情况下，该片头的bottom_ field_flag 省略。本发明还限制访问单元内的各视图成分的片总数以及字节总数。(实施方式1)图4是本发明的实施方式1涉及的编码装置10的功能模块图。编码装置10是对 视点1的图像以及视点2的图像进行编码的装置，如图4所示，具备访问单元定义部20和 视图成分编码部800。视点1的图像是从第一视点拍摄对象物的隔行方式的运动图像(第 一图像组)。视点2的图像是从与第一视点不同的第二视点拍摄相同对象物的隔行方式的 运动图像(第二图像组)。访问单元定义部20具备编码单位决定部30和场种类决定部40，定义由视点1及 视点2的相互对应的图像构成的访问单元。在此的“对应的图像”指的是例如同时刻拍摄 的图像，附加有相同的PTS(Presentation TimeStamp 呈现时间戳)。或者，在对应的图像 中分别附加相同的图像顺序计数。编码单位决定部30决定将访问单元所包括的各图像统一以场为单元或以帧为单 元中的哪一种进行编码。更加具体而言，编码单位决定部30在将访问单元所包括的各图像 统一以帧为单元的情况下，在作为内部变量的参照field_piC_flag中设定“0”。另一方面， 在统一以场为单位的情况下，在参照field_piC_flag中设定“1”。场种类决定部40在访问单元所包括的各图像被决定以场为单元的情况下，决定 将该各图像统一为顶场或底场中的哪一个进行编码。更加具体而言，场种类决定部40在 访问单元所包括的各图像被统一为顶场的情况下，在作为内部变数的参照b0tt0m_field_ flag中设定“0”。另一方面，在统一为底场的情况下，在参照b0tt0m_field_flag中设定 “1”。其中，该处理仅在参照field_piC_flag中设定为“1”的情况下存在，在参照field_ pic_flag中设定为“0”的情况下，在参照b0tt0m_field_flag中自动设定“0”。视图成分编码部800对于由访问单元定义部20定义的每个访问单元，将由编码单 位决定部30及场种类决定部40决定的形式的各图像编码。图5是视图成分编码部800的功能模块图。视图成分编码部800具备第一及第二 视图成分编码部900、904以及存储部902。其中，作为视图成分编码部800的变形例，也可 以将第一及第二视图成分编码部800、900统一。第一视图成分编码部900读出视点1的图像DOO1。此时读出的图像DOOl的形式 根据符号单位决定部30及场种类决定部40的决定内容，被决定为以场为单位或以帧为单位中的哪一个，进而(在以场为单位的情况下)为顶场或底场中的哪一个。接着，第一视图成分编码部900以片为单位对读出的图像DOOl进行编码。例如， 第一视图成分编码部900将从图像DOOl中减去图像DOOl的预测图像、进行正交变换(DCT 变换)、进行量子化并进行熵编码而得到的视点1的编码视图成分D005输出至Vout。此 时，图像DOOl的预测图像利用视点1的图像之中的已经编码的图像来生成(画面内预测或 画面间预测)。即，实施方式1中的视点1是不依赖于其他视点(在本例子中为视点2)的 "Base view(基本视图)，，。另外，第一视图成分编码部900将对量子化得到的量子化系数进行逆量子化、进 行逆正交变换再加上预测图像而得到的重构图像D003输出至存储部902。进而，第一视图 成分编码部900将编码视图成分D005的编码所用的b0tt0m_field_flag的值以及field_ pic_flag的值输出至第二视图成分编码部904。第二视图成分编码部904读出与视点1的图像DOOl相同的访问单元所包括的视 点2的图像D002。此时读出的图像D002的形式根据从第一视图成分编码部900取得的 bottom_field_flag的值以及field_pic_flag的值，被决定为以场为单位或以帧为单位中 的哪一个，进而(在以场为单位的情况下)决定为顶场或底场中的哪一个。即，图像DOOl 与图像D002为相同形式。接着，第二视图成分编码部904对读出的图像D002以片为单位进行编码，将编码 视图成分D007输出至Vout。具体的编码处理与第一视图成分编码部900相同，但既可以利 用视点2的图像之中的已经编码的图像来生成(画面内预测或画面间预测)图像D002的 预测图像，也可以利用相同的访问单元所包括的视点1的图像(即，图像DOOl的重构图像 D003)来生成图像D002的预测图像，在这一点上与第一视图成分编码部900不同。另外，实施方式1涉及的编码装置10也可以还具备适合性确认部815。图6是适 合性确认部815的功能模块图。适合性确认部815具备片数计算部804、字节数计算部802、 最大片数计算部806、比较部808、812、最大字节数计算部810和切换部814。该适合性确认 部815对由视图成分编码部800执行的编码处理的结果进行解析，将该解析结果反馈至视 图成分编码部800。首先，视图成分编码部800将视点1的编码视图成分D005输出至片数计算部804、 字节数计算部802以及切换部814。另外，对视点2的编码视图成分D007的处理也同样，因 此在以后的说明中，以对视点1的编码视图成分D005的处理作为中心来进行说明。片数计算部804将取得的编码视图成分D005内的片总数DOll输出至比较部808。 字节数计算部802将取得的编码视图成分D005内的字节总数D012输出至比较部812。最大片数计算部806根据取得的规格信息以及等级信息输入D013，将每个视图成 分的最大片数D014输出至比较部808。每个视图成分的最大片数D014的决定方法不特别 限定，但例如也可以相对增多属于作为“基本视图”的视点1的图像的最大片数，并相对减 少属于作为“依附视图(D印endentview)，，的视点2的图像的最大片数。最大字节数计算部810根据取得的规格信息以及等级信息输入D013，将每个视图 成分的最大字节数D015输出至比较部808。每个视图成分的最大字节数D015的决定方法 不特别限定，但例如也可以相对增多属于作为“基本视图”的视点1的图像的最大字节数， 并相对减少属于作为“依附视图(D印endent view) ”的视点2的图像的最大字节数。
比较部808对片总数DOll与最大片数D014进行比较。接着，如果片总数DOll为 最大片数D014以下，则判断为编码处理适合规定的条件，将有效信号D016输出至切换部 814。另一方面，如果片总数DOll比最大片数D014大，则比较部808判断为编码处理不适 合规定的条件，将控制信号D017输出至视图成分编码部800。比较部812将字节总数D012与最大字节数D015进行比较。接着，如果字节总数 D012为最大字节数D015以下，则判断为编码处理适合规定的条件，将有效信号D018输出至 切换部814。另一方面，如果字节总数D012比最大字节数D015大，则比较部812判断为编 码处理不适合规定的条件，将控制信号D019输出至视图成分编码部800。视图成分编码部800在接收到了控制信号D017、D019中的任一个时，都对相同的 输入图像进行重编码。在重编码处理中，为了符合规定的条件，例如利用比上次编码处理中 使用的量子化步长更大的量子化步长来执行编码处理。切换部814从比较部808、812接收到有效化信号D016、D018的双方时成为有效， 将编码视图成分D005输出至Vout。在没有接受到时，切换部814不将编码视图成分D005 输出至Vout。另外，视图成分编码部800也可以在图像DOOl的编码全部完成的定时，输出以图 像为单位的编码视图成分D005。但是，在图像DOOl的编码全部完成之后得知不符合规定的 条件的情况下，需要以不同的条件(改变量子化步长等)对相同的图像DOOl进行重编码， 视图成分编码部800的处理负担变大。因此，视图成分编码部800也可以在构成图像DOOl的各片的编码完成的定时，输 出以片为单位的编码视图成分D005。另外，字节数计算部802也可以将迄今为止编码的编 码视图成分D005的字节总数D012逐一输出至比较部812。此时，比较部812能够事先预测字节总数D012超过最大字节数D015的可能性，并 对视图成分编码部800发送控制信号D019。这样，视图成分编码部800能够根据该控制信 号D019，在图像DOOl的编码过程中增大量子化步长等，来使该编码处理符合规定的条件。图7是表示利用MVC规格对访问单元进行编码的处理整体的流程图。如图7所示， 视图成分编码部800首先对访问单元内的全部视图成分进行编码(S700)。接着，适合性确 认部815通过决定作为参数的ConformanceFlag的值，来确认访问单元的适合性(S702)。 ConformanceFlag用于表示全部的视图成分内的片总数以及全部的访问单元内的字节总数 是否为MVC规格的典型解码器对访问单元内的视图成分的通常解码所允许的最大值以下。接着，如果ConformanceFlag的值为“0” (即，编码处理不适合规定的条件)(S704 中为是)，则适合性确认部815使视图成分编码部800对访问单元的视图成分进行重编码， 减少视图成分内的片总数或字节总数的某一个，以使全部的视图成分内的片总数以及全部 的访问单元内的字节总数成为MVC规格的通常的解码器对访问单元内的视图成分的通常 解码所允许的最大值以下(S706)。另外，在S706中，也可以替代视图成分的重编码处理，而执行其他处理。例如，可 以置换为适当编码的(即，ConformanceFlag为“1”的)编码视图成分。具体而言，在属于“基本视图”的视图成分的ComformanceFlag为“0”的情况下，视 图成分编码部800也可以输出属于“基本视图”的其他视图成分之中的、已经编码的编码视 图成分。此时选择的编码视图成分优选在编码失败(违反ConformanceFlag)的视图成分的紧前(再生时间顺序)。另一方面，在属于“依附视图”的视图成分的ConformanceFlag 为“0”的情况下，视图成分编码部800也可以输出属于相同访问单元所包括的“基本视图” 的编码视图成分。上述各处理(S700、S702、S704、S706)不仅对访问单元，而且对单一的视图成分也
适用。在适用于单一的视图成分的情况下，对访问单元的各视图成分依次进行编码处理、适 合性确认处理以及重编码处理。图8是表示访问单元的视图成分的编码处理的流程图。首先，编码单位决定部30 决定参照field_piC_flag的值(S502)。其中，参照field_pic_flag的决定方法不特别限 定，可以使用以往的任何方法。接着，场种类决定部40将参照field_piC_flag的值与“0”进行比较(S504)。如 果field_pic_flag的值等于“0”(S504中为是)，则场种类决定部40将参照bottom_field_ flag设定为“0” (S506)。另一方面，如果field_pic_flag的值不等于“0” (S504中为否)， 则场种类决定部40决定参照b0tt0m_field_flag的值(S508)。其中，参照bottom_field_ flag的决定方法不特别限定，可以采用以往的任何方法。另外，参照field_piC_flag之后用于设定相同访问单元内的片的全部的field_ pic_flag的值。另外，参照b0tt0m_field_flag之后用于设定相同访问单元内的片的全部 的 bottom_field_flag 的值。接着，访问单元定义部20对于相同访问单元的全部的视图成分(S510 S530) 内的全部的片(S512 S528)，将全部的片的片头内的field_piC_flag的值设定为与参照 field_pic_flag 的值相等的值(S514)。接着，如果field_piC_flag的值等于“1” (S516中为是)，则访问单元定义部20 将相同访问单元内的全部的片的片头内的b0tt0m_field_flag的值设定为参照bottom_ field_flag的值(S520)。另一方面，如果field_pic_flag的值不等于“ 1 ”(S516中为否)， 则访问单元定义部20将相同访问单元内的全部的片的片头内的b0tt0m_field_flag的值 设定为“0”(S518)。其中，也可以省略S516以及S518，而将相同访问单元内的全部的片的 片头内的bottom_field_flag的值设定为参照bottom_field_flag的值。然后，视图成分编码部800根据field_piC_flag的值以及bottom_f ield_f lag的 值来执行相同访问单元内的全部片的编码(S526)。视图成分编码部800的编码处理的详情 如参照图5所说明的那样，因此省略重复的说明。图9是表示访问单元的适合性确认处理的流程图。该处理也适用于访问单元内的 视图成分的适合性确认。首先，最大片数计算部806决定一个访问单元内的各视图成分所允许的最大片数 D014(S600)。该允许的最大片数D014根据与该访问单元相关联的压缩流所传递的语法要 素表示的规格信息以及等级信息D013所定义的限制来计算。这种语法要素指的是例如MVC 编码流的序列参数之中的profilejdc语法以及leveljdc语法。接着，最大字节计算部810决定一个访问单元内的各视图成分所允许的最大字节 数D015 (S602)。该允许的最大字节数D015根据与该访问单元相关联的编码影像流所传递 的语法要素表示的规格信息以及等级信息D013所定义的限制来计算。接着，适合性确认部815决定一个访问单元内的视图成分的数量(S604)。然后，适合性确认部815将参数ConformanceFlag设定为“1” (S608)。该参数ConformanceFlag用 于决定访问单元内的视图成分是否满足与比该编码影像流内的指定规格值以及等级值更 高的规格值以及等级值相关联并通过影像解码器正确解码的要件。接着，对于访问单元内的各视图成分，执行以下处理(S610 S632)。首先，字节 数计算部802将参照NumBytesInViewComponent初始化为“O” (S612)。另外，片数计算部 804 将参数 NumOfSlices 初始化为 “O”(S614)。参照 NumByteslnViewComponent 是对视图 成分内的字节总数D012计数的计数器。参数NumOfSlices是对视图成分内的片总数DOll 计数的计数器。接着，对于与视图成分相关联的各NAL单元，执行以下处理(S616 S620)。 首先，字节数计算部802将参数NumBytesInNALUnit所表示的字节总数追加至参数 NumByteslnViewComponent (S618)。SP，参数 NumByteslnViewComponent 具有等于与该视图 成分相关联的参数NumBytesInNalUnit的合计的值。NAL单元定义为由H. 264/MPEG-4 AVC 规格规定的网络抽象化层，具有编码影像数据。接着，对于与视图成分相关联的各片，执行以下处理(S622 S626)。首先，片数计 算部804逐一增加参数NumOfSlices (S624)。即，参数NumOFSlices具有等于与相同视图成 分相关联的片的总数的值。接着，比较部808、812 将参数 NumByteslnViewComponent 以及参数 NumOfSlices 的值与一个视图成分内所允许的最大字节数D015以及最大片数D014进行比较(S628、 S630)。如果NumByteslnViewComponent的值大于允许的最大字节数D015 (S628中为是)， 则比较部812将参数ConformanceFlag设定为“O” (S634)。另外，如果NumOfSlices的 值大于允许的最大片数D014(S630中为是)，比较部808将参数ConformanceFlag设定为 “O” (S634)。参数ConformanceFlag被设定为“0”，表示访问单元内的视图成分有可能无法与 比其编码影像流内的指定规格值以及等级值更高的规格值以及等级值相关联并由影像解 码器正确解码。图10是本发明的实施方式1涉及的解码装置50的功能模块图。解码装置50如 图10所示，具备视图成分分配部1000、第一及第二片头解析部1002、1004、比较部1006、切 换部1010、第一及第二 A型视图成分解码部1008、1014、B型视图成分解码部1016和存储 部 1012。视图成分分配部1000读出编码访问单元D021，分配为第一及第二这两个视图成 分D023、D022。第一视图成分D023是属于在正确重构该图像时不依赖于第二视图成分D022 的视点1(基本视图)的图像。另一方面，第二视图成分D022是属于在正确重构该图像时 依赖于第一视图成分D023的视点2 (依附视图)的图像。第一片头解析部1002读出第一视图成分D023，将b0tt0m_field_flag以及 field_pic_flag的信息D025输出至比较部1006。第二片头解析部1004读出第二视图成 分 D022，将 bottom_field_flag 以及 field_pic_flag 的信息 D026 输出至比较部 1006。比较部1006将来自第一片头解析部1002的bottom_f ield_f lag以及field_pic_ flag的信息D025值与来自第二片头解析部1004的bottom_field_flag以及field_pic_
15flag的信息D026进行比较，将包括比较结果的控制信号D027输出至切换部1010。该比较部1006作为以下判断部工作，该判断部判断在相同访问单元内是否取得 属于视点1的第一视图成分D023与属于视点2的第二视图成分D022的同步。S卩，如果第 一及第二视图成分 D023、D022 的 bottom_field_flag 以及 field_pic_flag 的值一致，则 比较部1006判断为取得两者的同步。另一方面，如果这些值的至少一方不一致，则比较部 1006判断为未取得同步。其中判断是否取得了同步的参数不限定于上述例子。例如，也可以在第一及第二 视图成分D023、D022所保持的PTS (呈现时间戳)或DTS (解码时间戳)一致的情况下判断 为取得同步，在不一致的情况下判断为未取得同步。第一 A型视图成分解码部1008读出第一视图成分D023，并输出视点1的图像 D031。另外，第一 A型视图成分解码部1008将视点1的重构的图像D031输出至存储部 1012。具体而言，第一 A型视图成分解码部1008输出对第一视图成分D023进行墒解码、逆 量子化、逆正交变换并加上预测图像而重构的图像D031。在此，第一视图成分D023由于属 于“基本视图”，因此预测图像利用视点1的图像之中已经解码的图像来生成(画面内预测 或画面间预测)。切换部1010根据从比较部1006取得的控制信号D027，将第二视图成分D022输出 至第二 A型视图成分解码部1014或B型视图成分解码部1016的某一个。具体而言，在取 得第一及第二视图成分D023、D022的同步的情况下，切换部1010将第二视图成分D022输 出至第二A型视图成分解码部1014。另一方面，在未取得两者的同步的情况下，将第二视图 成分D022输出至B型视图成分解码部1016。第二 A型视图成分解码器1014如果接收到第二视图成分D022，则利用从存储部 1012读出的视点1的重构的图像D031，对第二视图成分D022进行解码，并输出视点2的图 像D034。具体的编码处理与第一 A型视图成分解码部1008相同，但既可以利用视点2的图 像之中已经解码的图像来生成(画面内预测或画面间预测)预测图像，也可以利用相同访 问单元所包括的视点1的图像(即，图像D031)来生成预测图像(视点间预测)，在这一点 上与第一 A型视图成分解码部1008不同。B型视图成分解码部1016如果接收到第二视图成分D022，则输出视点2的图像 D035。由B型视图成分解码部1016执行解码处理的情况，是未取得第一及第二视图成分 D023、D022的同步的情况，因此考虑为至少无法进行使用“视点间预测”的解码处理。因此， B型视图成分解码部1016也可以在第二视图成分D022是利用“视点间预测”来编码的情况 下，放弃解码处理，将存储在存储部1012中的图像D031作为视点2的图像D035输出，在利 用“图像内预测”或“图像间预测”来编码的情况下，执行通常的解码处理。或者，也可以无 论预测的种类如何，都将存储部1012中存储的图像D031作为视点2的图像D035输出。另外，本发明的一个方式涉及的解码装置之中也可以不具有B型视图成分解码部 1016。图11是解码装置50的变形例即解码装置60的功能模块图。解码装置60具备场 视图成分分配部1100、第一及第二场视图成分解码部1102、1104和存储部1106。场视图成分分配部1100读出编码访问单元D041，分配为第一及第二视图成分 D044、D042。然后，场视图成分分配部1100将第一视图成分D044输出至第一场视图成分解码部1102，将第二视图成分D042输出至第二场视图成分解码部1104。其中，第一视图成分D044是属于在正确重构其图像时不依赖于第二视图成分 D042的视点1(基本视图)的图像。另一方面，第二视图成分D046是属于在正确重构其图 像时依赖于第一视图成分D044的视点2 (依附视图)的图像。另外，视图成分D042、D044 也可以是单一的场图像。第一场视图成分解码部1102对取得的属于视点1的以场为单位的第一视图成分 D044进行解码，输出视点1的图像D051。另外，视点1的重构的图像D051也存放在存储部 1106中。存储部1106具备存放从第一场视图成分解码部1102输出的视点1的重构的图像 D051的存储缓冲器。第二场视图成分解码部1104利用从存储部1106取得的视点1的重构的图像 D051，对取得的属于视点2的以场为单位的第二视图成分D042进行解码，输出视点2的重 构的图像D054。图12是表示访问单元的视图成分的解码处理的流程图。首先，比较部1006将参数 SpecialDecodingFlag 设定为 “0” (S400)。该 SpecialDecodingFlag 用于决定在访问单元 内的全部的第二视图成分D022的解码处理中，是使用由MVC规格规定的通常的解码处理， 还是使用与访问单元内的某些视图成分的解码不同的解码处理。即，相当于图10所示的控 制信号D027。如图12所示，第一片头解析部1002根据属于“基本视图”的第一视图成分D023的 一个片的片头，决定参照field_piC_flag的值(S402)。该参照field_pic_flag的值之后 用于与其他视图成分的片头内的field_piC_flag的值进行比较。接着，如果field_piC_flag的值不等于“0” (S404中为否)，则第一片头解析部 1002根据第一视图成分D023的一个片的片头，决定参照b0tt0m_piC_flag的值(S408)。另 一方面，如果field_piC_flag的值等于“0” (S404中为是)，则第一片头解析部1002将参 照b0tt0m_piC_flag的值设定为“0” (S406)。该参照b0tt0m_piC_flag的值之后用于与其 他视图成分的片头内的b0tt0m_piC_flag的值进行比较。接着，对于属于相同访问单元内的“依附视点”的各视图成分(S410 S436)的各 片(S412 S434)，执行以下处理。首先，第二片头解析部1004根据该片的片头决定field_ pic_flag的值(S414)。如果field_pic_flag的值不等于“0” (S416中为否)，则第二片头 解析部1004根据该片的片头决定b0tt0m_pic_f lag的值(S420)。另一方面，如果field_ pic_flag的值等于“0” (S416中为是)，则第二片头解析部1004将bottom_field_flag的 值设定为“0”(S418)。接着，比较部1006将从第二片头解析部1004取得的field_pic_flag以及 bottom_field_flag的值与从第一片头解析部1002取得的参照field_pic_flag以及参照 bottom_field_flag 的值进行比较(S422、S426)。如果f ield_pic_f lag的值与参照f ield_pic_f lag的值不相等(S424中为否)，则 比较部 1006 在参数 SpecialDecodingFlag 中设定 “1”(S432)。同样，如果 bottom_field_ flag的值与参照b0tt0m_field_flag的值不相等(S428中为否)，则比较部1006在参数 SpecialDecodingFlag 中设定“1”(S432)。然后，比较部 1006 将参数 SpecialDecodingFlag 的值(即，控制信号D027)输出至切换部1010。
最后，切换部1010将参数SpecialDecodingFlag与“1”进行比较(S438)。如果该 参数SpecialDecodingFlag不等于“1” (S438中为否)，则访问单元内的全部视图成分通过 由MVC规格规定的解码处理进行解码(S440)。另一方面，如果SpecialDecodingFlag等于 “1”(S438中为是)，则访问单元内的属于“依附视图”的视图成分通过与上述不同的解码处 理进行解码(S442)。作为不同的解码处理的一个例子，由影像解码器仅对访问单元内的一个视图成分 正确重构。另外，在实施方式1中，示出了对由2个不同的视点1、2拍摄的运动图像进行编码 的例子，但视点的数量不限于2个。S卩，本发明也能够在对由2个以上的不同视点拍摄的运 动图像进行编码时得以利用。(实施方式2)通过将用于实现上述实施方式所示的图像编码方法或图像解码方法的结构的程 序记录在存储媒体上，能够在独立的计算机系统中简单地实施上述实施方式所示的处理。 存储媒体可以是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要能够记录程序即可。进而，在此说明上述实施方式所示的图像编码方法以及图像解码方法的应用例及 使用其的系统。图13是表示实现内容分发服务的内容供给系统exlOO的整体结构的图。将通信服 务的提供区域分割为期望的大小，在各小区内分别设置了作为固定无线站的基站exl06 exllO。该内容供给系统exlOO为在互联网exlOl上，经由互联网服务提供者exl02及 电话网exl04、以及基站exl06 exllO，连接着计算机exlll、PDA (Personal Digital Assistant 个人数码助理)exll2、摄像机exll3、便携式电话exll4、游戏机exll5等各设备。但是，内容供给系统exlOO不限于图13那样的结构，也可以对某些要素进行组合 连接。另外，也可以不经由作为固定无线站的基站exl06 exllO，而各设备直接与电话网 exl04连接。另外，也可以各设备经由近距离无线等直接相互连接。摄像机exll3是数字视频摄像机等能够进行运动画面摄影的设备，照相机 exll6是数码相机等能够进行静止画面摄影和运动画面摄影的设备。另外，便携式电 话 exl 14 是 GSM(Global System for Mobile Communication 全球移动通信系统)方 式、CDMA (Code Division Multiple Access 码分多址)方式、W-CDMA (Wideband-Code Division Multiple Access 宽带石马分多址)方式或 LTE (Long Term Evolution 长 期演进)方式、HSPA(Highspeed Packet Access 高速包访问)的便携式电话机，或者 PHS(PersonalHandyphone System 个人手持电话系统)等，是哪一种都可以。在内容供给系统exlOO中，摄像机exll3等通过基站exl09、电话网exl04与流服 务器exl03连接，由此能够进行现场分发等。在现场分发中，用户对于利用摄像机exll3拍 摄的内容(例如，音乐现场的影像等)，进行由上述实施方式说明的编码处理，并发送至流 服务器exl03。另一方面，流服务器exl03对于有请求的客户端，将发送的内容进行流分发。 作为客户端，有能够对上述编码处理的数据进行解码的、计算机exlll、PDAeX112、摄像机 exll3、便携式电话exll4、游戏机exll5等。在接收了被分发的数据的各设备中，对接收的数据进行解码处理并再生。另外，拍摄的数据的编码处理可以由摄像机exll3进行，也可以由进行数据的发 送处理的流服务器exl03进行，也可以相互分担进行。同样，分发的数据的解码处理可以 由客户端进行，也可以由流服务器exl03进行，也可以相互分担进行。另外，不限于摄像机 exll3，也可以将照相机exll6拍摄的静止图像及/或运动图像数据经由计算机exlll发送 至流服务器exl03。此时的编码处理可以由照相机exll6、计算机exlll、流服务器exl03的 任一个进行，也可以相互分担进行。另外，这些编码处理以及解码处理一般在计算机exlll以及各设备所具有的 LSI (大规模集成电路)ex500中进行处理。LSIex500可以构成为包括单芯片或多芯片。另 外，也可以将图像编码用以及图像解码用的软件装入能够由计算机exlll等读取的某种记 录媒体(CD-ROM、软盘、硬盘等)，利用该软件来进行编码处理以及解码处理。进而，在便携 式电话exll4带照相机的情况下，也可以发送由该照相机取得的运动图像数据。此时的运 动图像数据是由便携式电话exll4所具有的LSIex500进行了编码处理的数据。另外，流服务器exl03也可以是多个服务器或多个计算机，对数据分散进行处理 或记录并分发。如上所述，在内容供给系统exlOO中，客户端能够接收被编码的数据并进行再生。 在像这样的内容供给系统exlOO中，客户端能够实时接收由用户发送的信息并进行解码、 再生，即使是没有特别的权利或设备的用户，也能够实现个人广播。在构成该内容供给系统的各设备的编码、解码中，使用上述实施方式所示的图像 编码方法或图像解码方法即可。作为其中的一个例子，说明便携式电话exll4。图14是表示使用了上述实施方式所说明的图像编码方法和图像解码方法的便携 式电话exll4的图。便携式电话exll4具有用于在与基站exllO之间收发电波的天线 ex601 ；CXD照相机等能够拍摄影像和静止图像的照相机部ex603 ；对于将照相机部ex603 所拍摄的影像和天线ex601所接收的影像等解码的数据进行显示的液晶显示器等显示部 ex602 ；由操作键ex604组构成的主体部；用于输出声音的扬声器等声音输出部ex608 ；用 于输入声音的麦克风等声音输入部ex605 ；用于保存所拍摄的运动图像或静止图像的数 据、所接收的邮件的数据、运动图像的数据或静止图像的数据等，被编码的数据或被解码 的数据的记录媒体ex607 ；用于在便携式电话exll4上能够安装记录媒体ex607的卡槽部 ex606。记录媒体ex607是SD卡等在塑料壳体内存放了作为能够电改写及删除的非易失性 存储器的EEPROM的一种即闪存元件的结构。进而，利用图15说明便携式电话exll4。便携式电话exll4为在对具备显示部 ex602及操作键ex604的主体部的各部进行统一控制的主控制部ex711上，经由同步总线 ex713，相互连接着电源电路部ex710、操作输入控制部ex704、图像编码部ex712、照相机接 口部ex703、LCD (液晶显示器)控制部ex702、图像解码部ex709、复用分离部ex708、记录 再生部ex707、调制解调电路部ex706以及声音处理部ex705。电源电路部ex710在结束通话以及电源键通过用户的操作被设为接通状态时，从 电池组对各部供给电力，由此使带照相机的数字便携式电话exll4启动为能够动作的状 态。
便携式电话exl 14根据由CPU、ROM及RAM等构成的主控制部ex711的控制，在声 音通话模式时将声音输入部ex605所收集的声音信号通过声音处理部ex705变换为数字声 音数据，并通过调制解调电路部ex706对其进行频谱扩散处理，通过收发电路部ex701施加 数字模拟变换处理以及频率变换处理，之后经由天线ex601发送。另外，便携式电话exll4 在声音通话模式时将天线ex601所接收的接收数据放大并施加频率变换处理以及模拟数 字变换处理，通过调制解调电路部ex706进行频谱逆扩散处理，通过声音处理部ex705变换 为模拟声音数据，之后经由声音输出部ex608将其输出。进而，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键ex604的 操作而输入的电子邮件的文本数据经由操作输入控制部ex704被发送至主控制部ex711。 主控制部ex711通过调制解调电路部ex706对文本数据进行频谱扩散处理，并通过收发电 路部ex701施加数字模拟变换处理以及频率变换处理，之后经由天线ex601发送至基站 exllO。在数字通信模式时发送图像数据的情况下，将照相机部ex603所拍摄的图像数据 经由照相机接口部ex703提供给图像编码部ex712。另外，在不发送图像数据的情况下，也 可以将照相机部ex603所拍摄的图像数据经由照相机接口部ex703及IXD控制部ex702直 接显示在显示部ex602上。图像编码部ex712构成为具备本发明所说明的图像编码装置，通过上述实施方式 所示的图像编码装置中使用的编码方法，对从照相机部ex603提供的图像数据进行压缩编 码，由此变换为编码图像数据，并将其发送至复用分离部ex708。另外，与此同时，便携式电 话exll4将照相机部ex603拍摄过程中由声音输入部ex605收集的声音，经由声音处理部 ex705作为数字的声音数据发送至复用分离部ex708。复用分离部ex708以规定的方式对从图像编码部ex712供给的编码图像数据和从 声音处理部ex705供给的声音数据进行复用，将作为该结果得到的复用数据通过调制解调 电路部ex706进行频谱扩散处理，并通过收发电路部ex701施加数字模拟变换处理以及频 率变换处理，之后经由天线ex601发送。在数据通信模式时接收与主页等进行了链接的运动图像文件的数据的情况下，通 过调制解调电路部ex706对经由天线ex601从基站exllO接收的接收数据进行频谱逆扩散 处理，将作为其结果得到的复用数据发送至复用分离部ex708。另外，在对经由天线ex601接收的复用数据进行解码之中，复用分离部ex708将复 用数据通过分离而分为图像数据的比特流和声音数据的比特流，经由同步总线ex713，将该 编码图像数据提供给图像解码部ex709，并且将该声音数据提供给声音处理部ex705。接着，图像解码部ex709是具有本申请说明的图像解码装置的结构，按照上述实 施方式所示的与编码方法对应的解码方法，对图像数据的比特流进行解码，由此生成再生 运动图像数据，将其经由IXD控制部ex702提供给显示部ex602，由此，显示例如与主页进行 了链接的运动图像文件所包括的运动图像数据。与此同时，声音处理部ex705将声音数据 变换为模拟声音数据之后，将其提供给声音输出部ex608，由此，再生例如与主页进行了链 接的运动图像文件所包括的声音数据。另外，不限于上述系统的例子，最近，通过卫星、地面波的数字广播受到瞩目，在图 16所示的数字广播用系统中，也可以装入上述实施方式中的至少图像编码装置或图像解码装置。具体而言，在广播站ex201中，对声音数据、影像数据或对这些数据进行了复用的比 特流被通过电波进行通信或传送至广播卫星ex202。接收了上述数据的广播卫星ex202发 送广播用的电波，具有卫星广播接收设备的家庭的天线ex204接收该电波，电视机(接收 机)ex300或机顶盒(STB) ex217等装置对比特流进行解码并将其再生。另外，在将作为记 录媒体的⑶及DVD等记录媒体ex215、ex216中记录的对图像数据和声音数据进行了复用 的比特流进行读取并解码的读出器/记录器ex218中，也可以安装上述实施方式所示的图 像解码装置。此时，再生的影像信号显示在监视器ex219上。另外，还可以想到以下结构， 即在与有线电视用的线缆ex203或卫星/地面波广播的天线ex204连接的机顶盒ex217 内安装图像解码装置，通过电视机的监视器ex219对其进行再生。此时也可以不在机顶盒 内，而在电视机内装入图像解码装置。另外，也可以通过具有天线ex205的车辆ex210，从卫 星ex202或基站等接收信号，在车辆ex210所具有的导航设备ex211等的显示装置上再生 运动图像。另外，对于将DVD、BD等记录媒体ex215中记录的声音数据、影像数据或对这些数 据进行了复用的编码比特流读取并解码的、或者在记录媒体ex215中将声音数据、影像数 据或将这些数据编码并作为复用数据记录的读出器/记录器ex218中，也可以安装上述实 施方式所示的图像解码装置或图像编码装置。此时，再生的影像信号显示在监视器ex219 上。另外，通过记录了编码比特流的记录媒体ex215，其他装置及系统等能够再生影像信号。 例如，其他再生装置ex212能够利用复制了编码比特流的记录媒体ex214，在监视器ex213 上再生影像信号。另外，也可以在与有线电视用的线缆ex203或卫星/地面波广播的天线ex204连 接的机顶盒ex217内安装图像解码装置，对其通过电视机的监视器ex219进行显示。此时 也可以不在机顶盒内，而在电视机内装入图像解码装置。图17是表示利用了上述实施方式说明的图像解码方法及图像编码方法的电视机 (接收机)ex300的图。电视机ex300具备调谐器ex301，经由接收上述广播的天线ex204 或线缆ex203等，取得或输出影像信息的比特流；调制/解调部ex302，对接收的编码数据 进行解调，或者，进行调制以便将生成的编码数据发送至外部；以及复用/分离部ex303，将 解调的影像数据和声音数据分离，或者，对编码的影像数据和声音数据进行复用。另外，电 视机eX300具有信号处理部ex306，具有对声音数据、影像数据分别进行解码或者对各自 的信息进行编码的声音信号处理部ex304和影像信号处理部ex305 ；以及输出部ex309，具 有对解码的声音信号进行输出的扬声器ex307和对解码的影像信号进行显示的显示器等 显示部ex308。进而，电视机eX300具有接口部ex317，该接口部ex317具有接受用户操作的 输入的操作输入部ex312。进而，电视机ex300具有对各部统一进行控制的控制部ex310、 对各部供给电力的电源电路部ex311。接口部ex317除了操作输入部ex312以外，还可以具 有与读出器/记录器ex218等外部设备连接的桥式机构ex313、用于能够安装SD卡等记录 媒体ex216的卡槽部ex314、用于与硬盘等外部记录媒体连接的驱动器ex315、与电话网连 接的调制解调器ex316等。其中，记录媒体ex216能够通过存放的非易失性/易失性的半 导体存储器元件来电记录信息。电视机ex300的各部通过同步总线相互连接。首先，说明电视机ex300对于通过天线ex204等从外部取得的数据进行解码并再 生的结构。电视机ex300接受来自遥控器ex220等的用户操作，根据具有CPU等的控制部ex310的控制，对于通过调制/解调器ex302进行了解调的影像数据、声音数据，通过复用/ 分离部ex303进行分离。进而，电视机ex300将分离的声音数据通过声音信号处理部ex304 进行解码，并将分离的影像数据通过影像信号处理部ex305利用上述实施方式说明的解码 方法进行解码。解码的声音信号、影像信号分别从输出部ex309向外部输出。在输出时，为 了使声音信号与影像信号同步再生，在缓冲器ex318、ex319等中暂时蓄积这些信号即可。 另外，电视机ex300也可以不从广播等，而从磁/光盘、SD卡等记录媒体ex215、ex216中读 出被编码的编码比特流。接着，说明电视机ex300对声音信号及影像信号进行编码、并发送 至外部或写入记录媒体等的结构。电视机ex300接受来自遥控器ex220等的用户操作，根 据控制部ex310的控制，通过声音信号处理部ex304对声音信号进行编码，通过影像信号处 理部ex305对影像信号利用上述实施方式说明的编码方法进行编码。编码的声音信号、影 像信号由复用/分离部ex303进行复用，并输出至外部。在复用时，为了使声音信号与影像 信号同步，在在缓冲器ex320、ex321等中暂时蓄积这些信号即可。另外，缓冲器ex318 ex321可以如图所示具有多个，也可以构成为共用一个以上的缓冲器。进而，除了图示以外， 例如也可以在调制/解调部ex302与复用/分离部ex303之间等，作为防止系统的溢出以 及下溢的缓冲部件，而在缓冲器内蓄积数据。另外，电视机ex300除了从广播以及记录媒体等取得声音数据以及影像数据以 外，还可以具备接收麦克风以及摄像机的AV输入的结构，对于从这些取得的数据进行编码 处理。另外，在此，电视机ex300说明了能够进行上述编码处理、复用以及外部输出的结构， 但也可以构成为不能进行上述全部的处理，而只能进行上述接收、解码处理以及外部输出 之中的某一种。另外，在通过读出器/记录器ex218从记录媒体中将编码比特流读出或将其写入 的情况下，上述解码处理或编码处理既可以由电视机ex300以及读出器/记录器ex218之 中的某一个进行，也可以由电视机ex300和读出器/记录器ex218相互分担进行。作为一个例子，图18表示在从光盘进行数据的读入或写入时的信息再生/记录部 ex400的结构。信息再生/记录部ex400具有以上说明的要素ex401 ex407。光头ex401 对作为光盘的记录媒体ex215的记录面照射激光点来写入信息，检测来自记录媒体ex215 的记录面的反射光来读入信息。调制记录部ex402对光头ex401中内置的半导体激光器 进行电驱动，按照记录数据来进行激光的调制。再生解调部ex403对于通过光头401中内 置的光检测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对记录媒体 ex215中记录的信号成分进行分离并解调，来再生必要的信息。缓冲器ex404暂时保持用于 在记录媒体ex215中进行记录的信号以及从记录媒体ex215中再生的信息。盘马达ex405 使记录媒体ex215旋转。伺服控制部ex406 —边控制盘马达ex405的旋转驱动，一边使光 头ex401移动至规定的信息轨，进行激光点的追随处理。系统控制部ex407进行信息再生 /记录部ex400整体的控制。系统控制部ex407利用保持在缓冲器ex404中的各种信息或 根据需要进行新的信息的生成及追加，并且一边使调制记录部ex402、再生解调部ex403及 伺服控制部ex406协调动作，一边通过光头ex401进行信息的记录再生，由此实现上述读出 以及写入的处理。系统控制部407例如由微处理器构成，执行读出写入的程序，由此执行这 些处理。以上说明了光头ex401照射激光点，但也可以构成为利用接近场光来进行密度更高的记录。图19表示作为光盘的记录媒体ex215的示意图。在记录媒体ex215的记录面 上，引导槽(凹槽)形成为螺旋状，在信息轨ex230中，预先通过凹槽的形状变化，记录了 表示盘上的绝对位置的地址信息。该地址信息包括用于确定作为记录数据的单位的记录块 ex231的位置的信息，进行记录及再生的装置对信息轨ex230进行再生，读取地址信息，由 此能够确定记录块。另外，记录媒体ex215包括数据记录区域ex233、内周区域ex232、外周 区域ex234。用于记录用户数据的区域是数据记录区域ex233，配置在数据记录区域ex233 的内周或外周的内周区域ex232和外周区域ex234用于除了用户数据的记录以外的指定用 途。信息再生/记录部ex400对于这种记录媒体ex215的数据记录区域ex233，进行编码的 声音数据、影像数据、或对这些数据进行了复用的编码数据的写入。以上，以1层的DVD、BD等光盘为例进行了说明，但不限于此，也可以是多层构造， 或者是能够在表面以外进行记录的光盘。另外，也可以是在盘的相同位置利用各种波长不 同的颜色的光来记录信息、或从各种角度记录不同信息的层等，进行多维的记录/再生的 构造的光盘。另外，在数字广播用系统ex200中，也可以通过具有天线ex205的车辆ex210从卫 星ex202等接收数据，在车辆ex210所具有的导航设备ex211等的显示装置上再生运动图 像。另外，导航设备ex211的结构例如可以想到构成为在图17所示的结构之中追加GPS接 收部，在计算机exlll以及便携式电话exll4等中也可以想到相同的情况。另外，上述便携 式电话exll4等终端与电视机ex300相同，除了具有编码器及解码器双方的收发型终端之 外，还可以考虑仅具有编码器的发送终端、仅具有解码器的接收终端这三种安装形式。像这样，能够将上述实施方式所示的图像编码方法或图像解码方法用于上述任何 设备以及系统，由此，能够得到上述实施方式说明的效果。另外，本发明不限定于上述实施方式，在不脱离本发明的范围的条件下能够进行 各种变形或改进。(实施方式3)上述各实施方式所示的图像编码方法以及装置、图像解码方法以及装置一般通 过作为集成电路的LSI来实现。作为一个例子，图20表示单芯片化的LSIex500的结构。 LSIex500具备以下说明的要素ex501 ex509，各要素经由总线ex510连接。电源电路部 ex505在电源为接通的状态下对各部供给电力，由此启动为能够动作的状态。例如在进行编码处理的情况下，LSIex500根据具有CPUex502、存储器控制器 ex503以及流控制器ex504等的控制器ex501的控制，通过AVI/0ex509从麦克风exll7以 及摄像机exll3等接受AV信号的输入。输入的AV信号暂时蓄积在SDRAM等外部的存储器 ex511中。根据控制部ex501的控制，蓄积的数据按照处理量以及处理速度适当分为多次 等，被发送给信号处理部ex507。信号处理部ex507进行声音信号的编码以及/或影像信 号的编码。在此，影像信号的编码处理是上述实施方式所说明的编码处理。在信号处理部 ex507中，根据情况进一步进行对编码的声音数据和编码的影像数据进行复用等的处理，从 流I/0ex506向外部输出。该输出的比特流向基站exl07发送，或写入记录媒体ex215。另 外，在复用时为了同步，暂时在缓冲器ex508中蓄积数据即可。另外，例如在进行解码处理的情况下，LSIeX500根据控制部ex501的控制，将通过流I/0ex506经由基站exl07得到的编码数据或从记录媒体ex215读出而得到的编码数据 暂时蓄积在存储器ex511等中。根据控制部ex501的控制，蓄积的数据按照处理量以及处 理速度被适当分为多次等，发送至信号处理部ex507。信号处理部ex507进行声音数据的解 码以及/或影像数据的解码。在此，影像信号的解码处理是上述实施方式说明的解码处理。 进而，根据情况，为了能够对解码的声音信号和解码的影像信号进行同步再生，将各自的信 号暂时蓄积在缓冲器ex508中即可。解码的输出信号适当经由存储器ex511等，并且从便 携式电话exll4、游戏机exll5以及电视机ex300等的各输出部输出。另外，上述说明了存储器ex511作为LSIex500的外部的结构的情况，单也可以构 成为包括在LSIex500的内部。缓冲器ex508也不限于一个，也可以具备多个缓冲器。另外， LSIex500既可以单芯片化，也可以多芯片化。另外，在此设为LSI，但根据集成度的不同，也有时成为IC、系统LSI、超大规模集 成电路、特大规模集成电路。另外，集成电路化的方法不限于LSI，也可以通过专用电路或通用处理器来实现。 也可以在LSI制造后，利用能够编程的FPGA、或能够重构LSI内部的电路单元的连接以及设 定的可重构处理器。进而，如果根据半导体技术的进步或衍生的其他技术，出现了替换LSI的集成电 路化的技术，当然也可以使用该技术来进行功能模块的集成化。存在生物技术的应用等的 可能性。以上，根据实施方式说明了本发明涉及的编码方法、编码装置、解码方法以及解码 装置，但本发明不限定于这些实施方式。在不脱离本发明的主旨的范围内，本领域技术人员 想到的对该实施方式施加的各种变形而成的实施方式、以及组合不同的实施方式中的构成 要素以及步骤等而架构的其他方式，都包括在本发明的范围内。
0177]工业可利用性0178]本发明有效地利用于编码方法以及解码方法。0179]符号说明0180]10编码装置0181]20访问单元定义部0182]30编码单位决定部0183]40场种类决定部0184]50、60解码装置0185]200、202 模块0186]800视图成分编码部0187]802字节数计算部0188]804片数计算部0189]806最大片数计算部0190]808、812、1006 比较部0191]810最大字节数计算部0192]814、1010切换部0193]900第一视图成分编码部
24
ex233数据记录区域
ex234外周区域
ex300电视机
ex301调谐器
ex302调制/解调部
ex303复用/分离部
ex304声音信号处理部
ex305影像信号处理部
ex306、.ex507信号处理部
ex307扬声器
ex308、.ex602显示部
ex309输出部
ex310、.ex501控制部
ex311、.ex505、ex710电源电路部
ex312操作输入部
x313桥式机构
ex314、.ex606卡槽部
ex315驱动器
ex316调制解调器
ex317接口部
ex318、.ex319、ex320、ex321、ex404、ex508 缓冲器
ex400信息再生/记录部
ex401光头
ex402调制记录部
ex403再生解调部
ex405盘马达
ex406伺服控制部
ex407系统控制部
ex500LSI
ex502CPU
ex503存储器控制部
ex504流控制部
ex506流I/O
ex509AV I/O
ex510总线
ex603照相机部
ex604操作键
ex605声音输入部
ex608声音输出部
ex701收发电路部
ex702LCD控制部
ex703照相机接口部(照相机L/F部)
ex704操作输入控制部
ex705声音处理部
ex706调制解调电路部
ex707记录再生部
ex708复用分离部
ex709图像解码部
ex711主控制部
ex712图像编码部
ex713同步总线
权利要求
一种编码方法，对通过不同视点拍摄的隔行方式的第一及第二图像组进行编码，包括访问单元定义步骤，对由上述第一及第二图像组中的相互对应的图像构成的访问单元进行定义；以及编码步骤，对于在上述访问单元定义步骤中定义的每个上述访问单元，将构成该访问单元的各图像编码；上述访问单元定义步骤包括编码单位决定步骤，决定将上述访问单元所包括的各图像统一为以场为单位或以帧为单位中的哪一种来进行编码；以及场种类决定步骤，在上述访问单元所包括的各图像被决定为以场为单位的情况下，决定将该各图像统一为顶场或底场中的哪一种来进行编码；在上述编码步骤中，对于每个上述访问单元，将上述编码单位决定步骤及上述场种类决定步骤中决定的形式的各图像编码。
2.如权利要求1记载的编码方法，其中，在上述编码单位决定步骤中，将表示是以场为单位的图像还是以帧为单位的图像的 值，设定在参照field_piC_flag中；在上述场种类决定步骤中，将表示是顶场还是底场的值，设定在参照b0tt0m_field_ flag 中；在上述编码步骤中，根据上述参照f ield_pic_f lag以及上述参照bottom_f ield_f lag中设定的值，来取得 上述第一及第二图像组中的相互对应的图像，在取得的各图像的片头所包括的field_piC_flag中设定上述参照field_piC_flag的值，在上述参照field_piC_flag中设定了表示是以场为单位的图像的值时，在上述片头 所包括的bottom_field_flag中设定上述参照bottom_field_flag的值。
3.如权利要求1记载的编码方法，其中， 上述编码步骤包括第一编码步骤，利用根据上述第一图像组中的图像生成的预测图像，对属于上述第一 图像组的图像进行编码；以及第二编码步骤，利用根据上述第二图像组中的图像生成的预测图像、或根据属于相同 的访问单元所包括的上述第一图像组的图像生成的预测图像，对属于上述第二图像组的图 像进行编码。
4.如权利要求1记载的编码方法，其中，该编码方法还包括适合性确认步骤，确认上述编码步骤中的编码处理的适合性； 上述适合性确认步骤包括最大片数计算步骤，计算上述访问单元所包括的各图像的最大片数； 最大字节数计算步骤，计算上述访问单元所包括的各图像的最大字节数；以及 比较步骤，将上述编码步骤中编码的各图像的片数及字节数与对应的上述最大片数及 上述最大字节数进行比较，将该比较结果向上述编码步骤反馈。
5.如权利要求4记载的编码方法，其中，在上述编码步骤中，根据从上述比较步骤反馈的比较结果，增减量子化步骤。
6.一种解码方法，对于以下编码流进行解码，该编码流是对视点不同的第一及第二图 像组按照由相互对应的图像构成的每个访问单元进行编码而得到的，该解码方法包括判断步骤，判断在上述访问单元中属于上述第一图像组的图像与属于上述第二图像组 的图像之间是否取得同步；以及解码步骤，在上述判断步骤中判断为取得同步的情况下与判断为未取得同步的情况 下，执行不同的解码处理。
7.如权利要求6记载的解码方法，其中，在上述访问单元所包括的各图像的片头中，包括权利要求2记载的field_piC_flag及 bottom—field—flag ； 在上述判断步骤中，在属于上述第一图像组的图像及属于上述第二图像组的图像的片头所包括的上述 field_pic_flag的值一致，而且在上述field_piC_flag中设定了表示是以场为单位的图 像的值时，根据属于上述第一图像组的图像及属于上述第二图像组的图像的片头所包括的上述 bottom_field_flag的值一致，判断为取得了同步。
8.如权利要求6记载的解码方法，其中， 上述解码步骤包括第一解码步骤，利用根据上述第一图像组中的图像生成的预测图像，对属于上述第一 图像组的图像进行解码；以及第二解码步骤，利用根据上述第二图像组中的图像生成的预测图像、或根据属于相同 的访问单元所包括的上述第一图像组的图像生成的预测图像，对属于上述第二图像组的图 像进行解码；在上述第二解码步骤中，在上述判断步骤中判断为未取得同步的情况下，输出相同的 上述访问单元所包括的上述第一图像组中包括的图像。
9.一种编码装置，对通过不同视点拍摄的隔行方式的第一及第二图像组进行编码，包括访问单元定义部，对由上述第一及第二图像组中的相互对应的图像构成的访问单元进 行定义；以及编码部，对于由上述访问单元定义部定义的每个上述访问单元，将构成该访问单元的 各图像编码；上述访问单元定义部包括编码单位决定部，决定将上述访问单元所包括的各图像统一为以场为单位或以帧为单 位中的哪一种来进行编码；以及场种类决定部，在上述访问单元所包括的各图像被决定为以场为单位的情况下，决定 将该各图像统一为顶场或底场中的哪一种来进行编码；上述编码部对于每个上述访问单元，将上述编码单位决定步骤及上述场种类决定步骤 中决定的形式的各图像编码。
10.一种解码装置，对于以下编码流进行解码，该编码流是对视点不同的第一及第二图 像组按照由相互对应的图像构成的每个访问单元进行编码而得到的，该解码装置包括判断部，判断在上述访问单元中属于上述第一图像组的图像与属于上述第二图像组的 图像之间是否取得同步；以及解码部，在上述判断部中判断为取得同步的情况下与判断为未取得同步的情况下，执 行不同的解码处理。
11.一种程序，使计算机对通过不同视点拍摄的隔行方式的第一及第二图像组进行编 码，包括访问单元定义步骤，对由上述第一及第二图像组中的相互对应的图像构成的访问单元 进行定义；以及编码步骤，对于在上述访问单元定义步骤中定义的每个上述访问单元，将构成该访问 单元的各图像编码；上述访问单元定义步骤包括编码单位决定步骤，决定将上述访问单元所包括的各图像统一为以场为单位或以帧为 单位中的哪一种来进行编码；以及场种类决定步骤，在上述访问单元所包括的各图像被决定为以场为单位的情况下，决 定将该各图像统一为顶场或底场中的哪一种来进行编码；在上述编码步骤中，对于每个上述访问单元，将上述编码单位决定步骤及上述场种类 决定步骤中决定的形式的各图像编码。
12.—种程序，使计算机对于以下编码流进行解码，该编码流是对视点不同的第一及第 二图像组按照由相互对应的图像构成的每个访问单元进行编码而得到的，该程序包括判断步骤，判断在上述访问单元中属于上述第一图像组的图像与属于上述第二图像组 的图像之间是否取得同步；以及解码步骤，在上述判断步骤中判断为取得同步的情况下与判断为未取得同步的情况 下，执行不同的解码处理。
13.一种集成电路，对通过不同视点拍摄的隔行方式的第一及第二图像组进行编码，包括访问单元定义部，对由上述第一及第二图像组中的相互对应的图像构成的访问单元进 行定义；以及编码部，对于由上述访问单元定义部定义的每个上述访问单元，将构成该访问单元的 各图像编码；上述访问单元定义部包括编码单位决定部，决定将上述访问单元所包括的各图像统一为以场为单位或以帧为单 位中的哪一种来进行编码；以及场种类决定部，在上述访问单元所包括的各图像被决定为以场为单位的情况下，决定 将该各图像统一为顶场或底场中的哪一种来进行编码；上述编码部对于每个上述访问单元，将上述编码单位决定步骤及上述场种类决定步骤 中决定的形式的各图像编码。
14.一种集成电路，对于以下编码流进行解码，该编码流是对视点不同的第一及第二图像组按照由相互对应的图像构成的每个访问单元进行编码而得到的，该集成电路包括判断部，判断在上述访问单元中属于上述第一图像组的图像与属于上述第二图像组的 图像之间是否取得同步；以及解码部，在上述判断部中判断为取得同步的情况下与判断为未取得同步的情况下，执 行不同的解码处理。
全文摘要
一种编码方法，包括定义访问单元的访问单元定义步骤(S502～S508)、以及对于每个上述访问单元将构成该访问单元的各图像编码的编码步骤(S526)。访问单元定义步骤(S502～S508)包括编码单位决定步骤(S502)，决定将访问单元所包括的各图像统一为以场为单位或以帧为单位中的哪一种来进行编码；以及场种类决定步骤(S504～S508)，在访问单元所包括的各图像决定为以场为单位的情况下，决定将该各图像统一为顶场或底场中的哪一种来进行编码。另外，在编码步骤(S526)中，对于每个访问单元，将编码单位决定步骤(S526)及场种类决定步骤(S502～S508)中决定的形式的各图像编码。
文档编号H04N7/32GK101884220SQ20108000084
公开日2010年11月10日 申请日期2010年1月19日 优先权日2009年1月19日
发明者林宗顺, 柴原阳司, 西孝启 申请人:松下电器产业株式会社