图像处理装置、方法和程序的制作方法

专利名称：图像处理装置、方法和程序的制作方法
技术领域：
本发明涉及图像处理装置、方法和程序，并且更具体地涉及可以提高编码效率的图像处理装置、方法和程序。
背景技术：
近来，可以响应于所谓的3D (三维)的立体可视图像(下文中被称为3D图像)日益普遍。例如，利用立体可视的3D图像的电影的制作非常活跃。3D图像与只能提供平面视角的传统的所谓2D (二维)图像有很大区别。因此，将这种3D图像用于电影制作是非常有用的。此外，利用3D图像的视频内容(例如电影等)根据MVC (多视角视频编码)标准被进行高效压缩，然后被记录在例如蓝光光盘等中或者通过网络被分发，所述MVC标准是类似2D图像的视频内容的MPEG-4AVC的扩展格式。此外，可以响应于3D图像再现的家用设备的开发已经开始。就是说，即使在家里也可以享受3D图像的环境已经正在被建立。当前最普遍的立体视图是利用人眼的双目视差的立体图像。这种系统具有如下机制，其中用户在分别看针对左眼的视频内容和针对右眼的视频内容的同时感觉到视差，从而立体地感知图像内的物体。然而，关于利用双目视差的立体视图，视差的量通常提前被设置以实现从任意方向看的立体视图。为了实现从任意方向看的立体视图，在图像内的每个物体的深度方向上的数据信息(Depth_Map )需要从图像数据中被提取。利用处理或分析图像数据的技术自动提取粗糙深度信息的研究在积极的进行中(例如，非专利文献I和2)。不仅从双眼而且从多个自由视角看的立体图像已能够利用这样的技术或者利用提取用多个照相机拍摄的图像内的物体的深度信息的技术被生成，后一种技术被认为相对简单。引用文献列表非专利文献非专利文献 I ,Fast Approximate Energy Minimization via Graph Cuts^IEEETransactions on Pattern Analysis and Machine Intelligence, vol. 23，No. 11，2001 年11月，非专利文献2:"Stereo Matching Using Belief Propagation^IEEETransactions on Pattern Analysis and Machine Intelligence, vol. 25，No. 7，2003年7月。

发明内容
本发明要解决的问题然而，虽然由双眼立体图像所生成的原始数据量是有限的，但是问题是多眼(三个或更多个)的图像数据及其深度数据的总和会形成巨大的数据量。当数据量增加时，用于诸如传输、记录或再现之类的处理的负荷和时间也可能增加。本发明被提供用于解决这样的问题，并且意图对图像数据和深度数据进行编码以更高效地提供立体视觉效果。问题的解决方案本发明的一个方面是一种图像处理装置，包括编码单元，所述编码单元根据预定的编码系统对图像数据和深度数据进行编码，所述深度数据指示在所述图像数据的图像内的整个区域上的深度方向上的位置并用于从所述图像数据的图像中生成具有视差且可立体观看的图像；以及速率控制单元，所述速率控制单元利用所述编码单元对所述图像数据的编码结果以及所述编码单元对所述深度数据的编码结果，执行对在利用所述编码单元对所述图像数据进行编码过程中的码生成量的速率控制以及对利用所述编码单元对所述深度数据进行编码过程中的码生成量的速率控制。图像处理装置还可以包括检测单元，所述检测单元检测所述图像数据的位深度；以及偏移改变单元，所述偏移改变单元将所述深度数据进行如下偏移量的偏移改变，所述 偏移量对应于所述检测单元所检测到的所述图像数据的位深度与所述深度数据的位深度之间的差异。偏移改变单元可将所述深度数据上移所述差异的量并执行零填充，所述零填充将比被上移的所述深度数据更低位置的位中填充值为“0”的系数。偏移改变单元可从所述深度数据的最低位中删除与所述差异的量相对应的数据，并将未被删除的所述深度数据的较高位下移所述差异的量。图像处理装置还可以包括复用单元，所述复用单元将所述图像数据的编码后数据与指示所述偏移改变单元执行的所述偏移改变的偏移量的偏移改变信息进行复用。编码单元可以包括正交变换单元,所述正交变换单元针对具有预定大小的每个宏块对所述图像数据和所述深度数据执行正交变换；以及熵编码单元，所述熵编码单元对通过所述正交变换单元对所述图像数据和所述深度数据的正交变换得到的系数数据执行熵编码。编码单元可以包括小波变换单元，所述小波变换单元对所述图像数据和所述深度数据执行小波变换；划分单元，所述划分单元以具有预定大小的码块为单位划分通过所述小波变换单元对所述图像数据和所述深度数据的小波变换得到的系数数据；展开单元，所述展开单元在位平面中展开通过所述划分单元的划分得到的每个码块的系数数据；以及熵编码单元，所述熵编码单元对所述图像数据和所述深度数据的所述系数数据的位平面执行熵编码，所述位平面由所述展开单元展开并按照重要性的顺序被重排。编码单元还可以包括偏移改变单元，所述偏移改变单元将所述深度数据进行如下偏移量的偏移改变，所述偏移量与所述图像数据的系数数据的位深度与通过所述小波变换单元执行的小波变换得到的所述深度数据的系数数据的位深度之间的差异相对应。图像处理装置还可以包括复用单元，所述复用单元将所述图像数据的编码后数据与指示所述偏移改变单元执行的所述偏移改变的偏移量的偏移改变信息进行复用。图像数据可以是包括亮度Y、色差Cb和色差Cr的组分图像数据，并且深度数据是灰度级的位图数据。本发明的一个方面是用于图像处理装置的图像处理方法，所述方法包括所述图像处理装置的编码单元根据预定的编码系统对图像数据和深度数据进行编码，所述深度数据指示在所述图像数据的图像内的整个区域上的深度方向上的位置并用于从所述图像数据的图像中生成具有视差且可立体观看的图像；以及所述图像处理装置的速率控制单元利用所述图像数据的编码结果以及所述深度数据的编码结果，执行对在对所述图像数据进行编码过程中的码生成量的速率控制以及对在对所述深度数据进行编码过程中的码生成量的速率控制。本发明的一个方面是一种程序，该程序使得计算机用作编码单元，所述编码单元根据预定的编码系统对图像数据和深度数据进行编码，所述深度数据指示在所述图像数据的图像内的整个区域上的深度方向上的位置并用于从所述图像数据的图像中生成具有视差且可立体观看的图像；以及速率控制单元，所述速率控制单元利用所述编码单元对所述图像数据的编码结果以及所述编码单元对所述深度数据的编码结果，执行对在利用所述编码单元对所述图像数据进行编码过程中的码生成量的速率控制以及对利用所述编码单元对所述深度数据进行编码过程中的码生成量的速率控制。本发明的一个方面是一种图像处理装置，包括分离单元，所述分离单元从复用数据中分离出偏移改变信息，所述复用数据通过复用以下数据被得到通过对图像数据编码 得到的编码后数据；通过将深度数据偏移改变预定的偏移量并对所述经过偏移改变后的深度数据进行编码而得到的编码后数据，所述深度数据指示在所述图像数据的图像内的整个区域上的深度方向上的位置并用于从所述图像数据的图像中生成具有视差且可立体观看的图像；以及指示所述偏移量的偏移改变信息；解码单元，所述解码单元根据预定的解码系统对所述编码后数据进行解码；以及偏移改变单元，所述偏移改变单元将在被所述解码单元解码之后经过偏移改变的深度数据在与所述偏移改变的方向相反的方向上偏移改变由所述分离单元分离出的所述偏移改变信息指示的偏移量。偏移改变单元可从所述深度数据的最低位中删除与所述偏移量相对应的数据，并将未被删除的所述深度数据的较高位下移所述偏移量。偏移改变单元可将所述深度数据上移所述偏移量并执行零填充，所述零填充将值为“0”的系数插入作为比被上移的所述深度数据更低位置的位。解码单元可以包括熵解码单元，所述熵解码单元对通过对图像数据进行编码得到的编码后数据和通过对深度数据进行偏移改变并对经偏移改变后的深度数据进行编码而得到的编码后数据执行熵解码；以及逆正交变换单元，所述逆正交变换单元对通过对所述图像数据的正交变换得到的系数数据和通过对所述深度数据的正交变换得到的系数数据执行逆正交变换，所述系数数据通过所述熵解码单元的熵解码而被得到。解码单元可以包括熵解码单元，所述熵解码单元对通过对图像数据进行编码得到的编码后数据和通过对深度数据进行偏移改变并对经偏移改变后的深度数据进行编码而得到的编码后数据执行熵解码；位平面合成单元，所述位平面合成单元合成所述系数数据的位平面，所述系数数据是通过所述熵解码单元执行的熵解码得到的并且是在所述位平面中被展开的；码块合成单元，所述码块合成单元针对具有预定大小的每个码块合成所述系数数据，所述系数数据是通过所述位平面合成单元的合成得到的；以及小波逆变换单元，所述小波逆变换单元针对通过所述码块合成单元的合成得到的每个子频带对所述系数数据执行小波逆变换，并得到所述图像数据和所述深度数据。
本发明的另一方面是一种用于图像处理装置的图像处理方法，所述方法包括利用所述图像处理装置的分离单元从复用数据中分离出偏移改变信息，所述复用数据通过复用以下数据被得到通过对图像数据编码得到的编码后数据；通过将深度数据偏移改变预定的偏移量并对所述经过偏移改变后的深度数据进行编码而得到的编码后数据，所述深度数据指示在所述图像数据的图像内的整个区域上的深度方向上的位置并用于从所述图像数据的图像中生成具有视差且可立体观看的图像；以及指示所述偏移量的偏移改变信息；利用所述图像处理装置的解码单元根据预定的解码系统对所述编码后数据进行解码；以及利用所述图像处理装置的偏移改变单元将在被所述解码单元解码之后经过偏移改变的深度数据在与所述偏移改变的方向相反的方向上偏移改变由所述分离单元分离出的所述偏移改变信息指示的偏移量。本发明的另一方面是一种程序，使得计算机用作分离单元，所述分离单元从复用数据中分离出偏移改变信息，所述复用数据通过复用以下数据被得到通过对图像数据编码得到的编码后数据；通过将深度数据偏移改变预定的偏移量并对所述经过偏移改变后的 深度数据进行编码而得到的编码后数据，所述深度数据指示在所述图像数据的图像内的整个区域上的深度方向上的位置并用于从所述图像数据的图像中生成具有视差且可立体观看的图像；以及指示所述偏移量的偏移改变信息；解码单元，所述解码单元根据预定的解码系统对所述编码后数据进行解码；以及偏移改变单元，所述偏移改变单元将在被所述解码单元解码之后经过偏移改变的深度数据在与所述偏移改变的方向相反的方向上偏移改变由所述分离单元分离出的所述偏移改变信息指示的偏移量。根据本发明的一个方面，图像数据和深度数据根据预定的编码系统被编码，所述深度数据所述深度数据指示在所述图像数据的图像内的整个区域上的深度方向上的位置并用于从所述图像数据的图像中生成具有视差且可立体观看的图像。在这个方面中，速率控制被执行以利用图像数据的编码结果以及深度数据的编码结果，控制在对图像数据进行编码过程中的码生成量的速率以及在对所述深度数据进行编码过程中的码生成量的速率。根据另一方面，偏移改变信息从复用数据中被分离出，编码后数据根据预定的解码系统被解码，在解码后经过偏移改变的深度数据在与偏移改变的方向相反的方向上被偏移改变由从编码后数据中分离出的偏移改变信息指示的偏移量，所述复用数据通过复用以下数据而得到通过对图像数据编码得到的编码后数据；通过将深度数据偏移改变预定的偏移量并对所述经过偏移改变后的深度数据进行编码而得到的编码后数据，所述深度数据指示在所述图像数据的图像内的整个区域上的深度方向上的位置并用于从所述图像数据的图像中生成具有视差且可立体观看的图像；以及指示所述偏移量的偏移改变信息。本发明的效果根据本发明，数据传送可以被执行。具体而言，数据可以被传送以在抑制不必要的延迟的增大的同时抑制向后续数据的错误传播。


图I图示了本发明被应用于的图像编码装置的主要配置的示例的框图。图2是图示了 3D图像的配置的示例的框图。图3是描述上移(shift-up)操作的示例的图。
图4是图示了本发明被应用于的图像解码装置的主要配置的示例的框图。图5是描述下移(shift-down)操作的示例的图。图6是描述图像编码过程的流程的示例的流程图。图7是描述图像解码过程的流程的示例的流程图。图8是描述图I的编码单元的主要配置的示例的框图。图9是图示了宏块的示例的图。图10是描述图4的解码单元的主要配置的示例的框图。
图11是描述编码过程的流程的示例的流程图。图12是描述解码过程的流程的示例的流程图。图13是图示了图I的编码单元的配置的另一示例的框图。图14是图示了子频带的配置的示例的图。图15是图示了子频带的配置的示例的图。图16是图示了每个子频带内的码块的示例的图。图17是描述位平面(bit plane)的示例的图。图18是描述编码通道的示例的图。图19是描述扫描系数的示例的图。图20是描述分组的配置的示例的图。图21是描述位平面展开(bit-plane development)的形态的图。图22是图示了图4的解码单元的配置的另一示例的框图。图23是描述编码过程的流程的另一示例的流程图。图24是描述熵编码过程的流程的示例的流程图。图25是描述解码过程的流程的示例的流程图。图26是图示了子频带的选择顺序的图。图27是描述对子频带进行加权的示例的图。图28是图示了本发明被应用于的图像编码装置的配置的另一示例的框图。图29是描述图28的编码单元的主要配置的示例的框图。图30是描述上移操作的示例的图。图31是图示了本发明被应用于的图像解码装置的配置的另一示例的框图。图32是描述图31的解码单元的主要配置的示例的框图。图33是描述下移操作的示例的图。图34是描述编码过程的流程的另一示例的流程图。图35是描述解码过程的流程的另一示例的流程图。图36是图示了本发明被应用于的图像编码装置的配置的另一示例的框图。图37是图示了本发明被应用于的图像解码装置的配置的另一示例的框图。图38是图示了本发明被应用于的个人计算机的主要配置的示例的框图。
具体实施例方式下文中，按以下顺序描述实施本发明的方式(下文中被称为实施例)。I.第一实施例(图像编码装置和图像解码装置)
2.第二实施例(图像编码装置和图像解码装置)3.第三实施例(图像编码装置和图像解码装置)4.第四实施例(个人计算机)〈I.第一实施例〉[图像编码装置的配置]图I是图示了本发明被应用于的图像编码装置的主要配置的示例的框图。图I中所示的图像编码装置100是根据预定的编码系统对平面图像的图像数据和深度数据进行编码的装置，所述深度数据指示平面图像的全部像素在该平面图像的深度方向(该平面图像的前后方向)上的位置。
平面图像可以利用深度数据被转换为与所谓的具有视差的3D (维度(三维))相对应的图像(下文中被称为3D图像)。由于平面图像中的所有部分在深度方向上的位置都用深度数据来表示，从平面图像生成3D图像的3D图像生成装置可以很容易地生成这样的3D图像，该3D图像只要在平面图像被观看的范围内被观看，就可以从任意方向被立体地观看。如图I中所示，图像编码装置100包括位深度检测单元111、位偏移(bit shift)改变单元112、编码单元113-1到113-4、速率控制单元114和复用单元115。图像数据按照包括三个组分的组分图像数据的形式被提供给图像编码装置100，所述三个组分是亮度数据Y (箭头121-1)、色差数据Cb (箭头121-2)和色差数据Cr (箭头121-3)。位深度检测单元111检测亮度数据Y、色差数据Cb和色差数据Cr中的每一个的位深度。每个任意数据单元的位深度都可以被检测。位深度检测单元111将检测到的亮度数据Y、色差数据Cb和色差数据Cr提供给编码单元113-1到113-3。此外，位深度检测单元111将检测结果提供给位偏移改变单元112 (箭头123)。此外，深度数据D被提供给图像编码装置100(箭头124)。位偏移改变单元112对深度数据D的位进行偏移改变，以使得深度数据D的位深度与组分图像数据的位深度相匹配。例如，当位深度检测单元111所检测到的组分图像数据的位深度为M位时，并且当深度数据D的位深度为N位(M>N)时，位偏移改变单元112将深度数据D上移(M-N)位。此时，位偏移改变单元112例如将值为“0”的位插入到深度数据D的低(M-N)位中。此外，在以下的描述中，偏移改变可以包括零位的偏移改变(即不移位的操作)以及沿增加位的方向的上移和沿删除位的方法的下移。当偏移改变被执行时，位偏移改变单元112将经偏移改变后的深度数据D’提供给编码单元113-4 (箭头125)。编码单元113-1根据预定方法对亮度数据Y进行编码，并将所生成的编码后的数据提供给速率控制单元114 (箭头126-1)。类似地，编码单元113-2根据预定方法对色差数据Cb进行编码，并将所生成的编码后的数据提供给速率控制单元114 (箭头126-2)。类似地，编码单元113-3根据预定方法对色差数据Cr进行编码，并将所生成的编码后的数据提供给速率控制单元114 (箭头126-3)。此外，编码单元113-4根据预定方法对深度数据D’进行编码，并将所生成的编码后的数据提供给速率控制单元114 (箭头126-4)。编码单元113-1到113-4所执行的编码过程的方法是任意的。速率控制单元114基于亮度数据Y的编码后数据、色差数据Cb的编码后数据、色差数据Cr的编码后数据以及深度数据D’的编码后数据的数据量中的每个数据量分别针对每个编码过程执行速率控制。速率控制单元114将用于控制亮度数据Y的编码后数据的速率的速率控制信息提供给编码单元113-1 (箭头128-1)。类似地，速率控制单元114将用于控制色差数据Cb的编码后数据的速率的速率控制信息提供给编码单元113-2 (箭头128-2)。类似地，速率控制单元114将用于控制色差数据Cr的编码后数据的速率的速率控制信息提供给编码单元113-3 (箭头128-3)。此外，速率控制单元114将用于控制深度数据D’的编码后数据的速率的速率控制信息提供给编码单元113-4 (箭头128-4)。编码单元113-1到113-4分别参考来自速率控制单元114的速率控制信息执行对编码过程的速率控制。此外，速率控制单元114将已被用于速率控制的亮度数据Y的编码后数据提供给复用单元115(箭头127-1)。类似地，速率控制单元114将已被用于速率控制的色差数据Cb的编码后数据提供给复用单元115(箭头127-2)。此外，速率控制单元114将已被用于速率 控制的色差数据Cr的编码后数据提供给复用单元115 (箭头127-3)。此外，速率控制单元114将已被用于速率控制的深度数据D’的编码后数据提供给复用单元115 (箭头127-4)。另外，位偏移改变单元112将指示深度数据的偏移量的位偏移改变信息提供给复用单元115 (箭头129)。复用单元115将来自速率控制单元114的每个编码后数据与来自位偏移改变单元112的位偏移改变信息进行复用，并将结果作为一个码流(复用数据)输出到输出到图像编码装置100的外部(箭头130)。此外，复用方法可以是任意方法，只要其允许每个数据被下面将描述的图像解码装置正确地分开。从图像编码装置100输出的复用数据被记录在记录介质中并且例如通过网络被传送。此外，在上文中，虽然针对其中亮度数据Y被编码单元113-1编码、色差数据Cb被编码单元113-2编码、色差数据Cr被编码单元113-3编码并且深度数据D’被编码单元113-4编码的实例进行了描述，但是情况不限于此，编码单元113-1到113-4可以被配置为一个编码单元113。换言之，亮度数据Y、色差数据Cb、色差数据Cr和深度数据D’可以用一个编码单元113来编码。在这种情况下，编码单元113可以分时段地对每个数据进行编码，或者可以一起对每个数据进行编码。[3D图像的配置]图2是图示了 3D图像配置的示例的框图。图2(A)中所示的图像数据141是例如包括YCbCr的组分图像数据，并且如上所述作为三个系统被提供给图像编码装置100。图2(B)中所示的深度数据142是图像数据141的深度数据。如图2B中所示，深度数据142是以针对每个预定区域(例如针对每个像素或者针对每个块)的预定位数的形式指示在图像数据141的整个范围上沿深度方向的位置的信息。因此，深度数据142可以总地被表示为灰度级的位图(bitmap)数据。位图数据的级数成为深度数据142的位深度。深度数据142被假设为实质上被附着于图像数据141的，所述图像数据141被输入到图像编码装置100。
[上移的示例]图3是描述作为位偏移改变单元112所执行过程的示例的上移操作的示例的图。如图3中所示，亮度数据Y、色差数据Cb和色差数据Cr的位深度分别为M位，且深度数据D的位深度为N位。此外，假设M>N。位偏移改变单元112通过对深度数据D进行偏移改变来将每个数据的最高有效位的位置(位深度)对齐。即，位偏移改变单元112将整个深度数据上移(M-N)位(深度数据D’)。此时，位偏移改变单元112将值全为“0”的(M-N)位的位串作为深度数据D’的较低位插入到比深度数据D低的位位置处(零值填充)。就是说，在深度数据D’的配置中，全部的低(M-N)位具有值“0”，而高N位被配置为深度数据D。深度数据D’是位深度为M位的数据。此外，对于M=N的情况，位偏移改变单元112输出深度数据D，而不执行偏移改变。 即，在这种情况下，变为深度数据D’ =深度数据D。此外，对于M〈N，位偏移改变单元112下移深度数据D。即，在这种情况下，深度数据D的位深度变浅。位偏移改变单元112例如删除深度数据D的较低位置的(N-M)位，并将余下的在较高位置的M位下移。当然，位偏移改变单元112可以上移图像数据。然而，深度数据的变化所引起的视觉影响比图像数据的变化所引起的视觉影响更小。此外，有很多深度数据为低精度的情况。另外，当图像数据被上移时，以下的情况可能要被考虑图像不能在处理的较后面的阶段中被处理。或者即使可以进行图像处理，在较后面的阶段中的工作量也会增大。因此，对于M〈N，位偏移改变单元112将没有图像数据重要的深度数据D下移。实际上，由于这个原因，深度数据D的位深度和分辨率一般比图像数据的位深度和分辨率要低。[图像解码装置的配置]图4是图示了本发明被应用于的图像解码装置的主要配置的示例的框图。图4中所示的图像解码装置150是利用与在图像编码装置100中所采用的编码系统相对应的预定的解码系统对由图I中所示的图像编码装置100编码的编码后数据进行解码的装置。图像解码装置150获取从图I中所示的图像编码装置100输出的复用数据(码流)(箭头161)。复用数据的传送路径可以是任意的，并且可以例如经由记录介质、网络或其它设备从图像编码装置100被传送到图像解码装置150。此外，例如，图像编码装置100和图像解码装置150被集成为一个装置，并经由内部总线彼此连接。在这种配置中，复用数据可以通过内部总线从图像编码装置100被传送到图像解码装置150。此外，复用数据可以通过无线通信从图像编码装置100被传送到图像解码装置150。如图4中所示，图像解码装置150可以包括分离单元151、解码单元152-1到152-4以及位偏移改变单元153。分离单元151将所获取的复用数据分成亮度数据Y的编码后数据、色差数据Cb的编码后数据、色差数据Cr的编码后数据、深度数据D’的编码后数据和位偏移改变信息。分离单元151将亮度数据Y的编码后数据提供给解码单元152-1 (箭头162-1)，将色差数据Cb的编码后数据提供给解码单元152-2 (箭头162-2)，将色差数据Cr的编码后数据提供给解码单元152-3 (箭头162-3)，并且将深度数据D’的编码后数据提供给解码单元 152-4 (箭头 162-4)。解码单元152-1对亮度数据Y的编码后数据解码，并将所得到的亮度数据Y输出到图像解码装置150的外部(箭头163-1)。解码单元152-2对色差数据Cb的编码后数据解码，并将所得到的色差数据Cb输出到图像解码装置150的外部(箭头163-2)。解码单元152-3对色差数据Cr的编码后数据解码，并将所得到的色差数据Cr输出到图像解码装置150的外部(箭头163-3)。解码单元152-4对深度数据D’的编码后数据解码，并将所得到的深度数据D’提供给位偏移改变单元153 (箭头163-4)。此外，分离单元151将位偏移改变信息提供给位偏移改变单元153 (箭头164)。位偏移改变单元153将来自解码单元152-4的深度数据在与图像编码装置100中所执行的偏移方向相反的方向上偏移与位偏移改变信息所指示的位数相对应的量。即，位偏移改变单元153对深度数据D’执行由位偏移改变信息所指示的偏移量的位偏移改变，并生成深度数据D。 例如，当深度数据D在图像编码装置100中被上移了(M-N)位时，位偏移改变单元153将深度数据D’下移(M-N)位，生成深度数据D。位偏移改变单元153将所生成的深度数据D输出到图像解码装置150的外部(箭头 165)。从图像解码装置150输出的图像数据和深度数据例如被提供给其它设备以便被处理。例如，这些数据在图像处理装置等中被转换成3D图像，或者在图像编辑设备等中被编辑。以上描述是针对亮度数据Y的编码后数据被解码单元152-1解码、色差数据Cb的编码后数据被解码单元152-2解码、色差数据Cr的编码后数据被解码单元152-3解码且深度数据D’的编码后数据被解码单元152-4解码的情况进行的。但是情况不限于此，解码单元152可以被用来代替解码单元152-1到152-4。换言之，亮度数据Y的编码后数据、色差数据Cb的编码后数据、色差数据Cr的编码后数据和深度数据D’的编码后数据可以被一个解码单元152解码。在这种情况下，解码单元152可以分时段地对每个编码后数据进行解码，或者可以一起对每个编码后数据进行解码。[下移的示例]图5是描述作为位偏移改变单元153所执行过程的示例的下移操作的示例的图。如图5中所示，亮度数据Y、色差数据Cb和色差数据Cr的位深度分别为M位，且深度数据D的位深度为N位。此外，假设M>N。另外，深度数据D被假设为在图像编码装置100 (位偏移改变单元112)中被上移到M位(深度数据D’)。 位偏移改变单元153基于位偏移改变信息对深度数据D’进行偏移改变，并将其恢复为具有原始位深度(N位)的深度数据D。位偏移改变单元112所执行的偏移改变的偏移量((M-N)位)在位偏移改变信息中被指示。位偏移改变单元153基于位偏移改变信息删除在深度数据D’内的低位位置的全部(M-N)位，并将深度数据D’的高N位下移与(M-N)位相对应的量。按照这种方式，位深度为N位的深度数据D被恢复。此外，对于M=N，位偏移改变单元153不执行偏移改变。换言之，因为位偏移改变信息中所指示的偏移量为0位，所以位偏移改变单元153输出深度数据D’，而不执行偏移改变。换言之，在这种情况下，就变成了深度数据D =深度数据D’。此外，对于M〈N，位偏移改变单元153将深度数据D下移与(N-M)位相对应的量。因此，位偏移改变信息中所指示的偏移量为(N-M)位。在这种情况下，由于改变是下移，所以这种意图在位偏移改变信息中被描述。指示这种偏移改变的方向的方法是任意的。例如，下移可以用如表述“-(N-M)位”中的符号来指示。或者，指示下移被执行的事实的信息与偏移量分开被指示，如表述“下移”和“(N-M)位”。例如，位偏移改变单元153将深度数据D’上移(N-M)位。此时，位偏移改变单元153将已被上移的深度数据D’的低位填充O。换言之，在这种情况下，被恢复的深度数据D准确地来说与未经位偏移改变单元112进行偏移改变的深度数据D的值是不同的。但是，由于深度数据D的重要程度较低并且实际上深度数据只造成很小的视觉影响，所以位偏移改变单元153将被恢复的深度数据D输出作为偏移改变的结果。以上描述是针对其中图像数据是YCbCr的组分图像数据的情况进行的，但是图像 数据不局限于此。图像数据可以是任意数据，例如可以是RGB的组分图像数据，或者除组分图像数据以外的数据。此外，深度数据D的形式也可以是任意的，并且可以不是位图数据。这在以下的描述中也是一样。[图像编码过程的流程]接下来，描述上述每个装置所执行的过程的流程。首先，参考图6的流程图描述图像编码装置100所执行的图像编码过程的流程的示例。当图像编码过程开始时，在步骤SlOl中，图像编码装置100获取图像数据(亮度数据Y、色差数据Cb和色差数据Cr)。在步骤S102中，位深度检测单元111检测在步骤SlOl中获取的获取图像数据(亮度数据Y、色差数据Cb和色差数据Cr)的位深度。在步骤S103中，图像编码装置100获取与被获取的图像数据相对应的深度数据D。在步骤S104中，位偏移改变单元112利用在步骤S 102中检测到的图像数据的位深度对在步骤S103中所获取的深度数据D进行偏移改变，并且使深度数据D的位深度与图像数据的位深度匹配。在步骤S105中，编码单元113 (或者，编码单元113-1到113-4)对图像数据和深度数据D进行编码。在步骤S106中，速率控制单元114基于在步骤S105中执行的图像数据和深度数据的编码结果控制在步骤S105中执行的每个编码的速率。例如，当某个组分图像的数据生成量比目标值大时，控制数据被输出以抑制生成量。另一方面，当图像的数据生成量小于目标值时，控制数据被输出以提升数据生成量。因此，组分图像和深度数据的总码量可以被稳定地保持。在步骤S107中，复用单元115将指示步骤S104中的偏移改变的偏移量的位偏移改变信息与作为步骤S105的处理的结果所得到的每个编码后数据进行复用，并生成复用数据(码流)。在步骤S108中，复用单元115将在步骤S107中生成的复用数据输出到图像编码装置100的外部。在步骤S109中，图像编码装置100确定是否结束图像编码过程，并且当其确定不结束图像编码过程时将该过程返回到步骤SlOl并重复接下来的步骤。
此外，当例如因为作为编码目标的图像数据的提供被停止而在步骤S109中图像编码装置确定结束图像编码过程时，图像编码装置100结束图像编码过程。[图像解码过程的流程]接下来，参考图7的流程图描述图像解码装置150所执行的图像解码过程的流程的示例。当图像解码过程开始时，在步骤S121中，图像解码装置150获取复用数据(码流)。在步骤S 122中，分离单元151利用与复用单元115的复用相对应的方法将在步骤S121中已获取的复用数据分成亮度数据Y的编码后数据、色差数据Cb的编码后数据、色差数据Cr的编码后数据、深度数据D的编码后数据和位偏移改变信息。在步骤S123中，解码单元152 (解码单元152_1到152_4)对亮度数据Y的编码后数据、色差数据Cb的编码后数据、色差数据Cr的编码后数据和深度数据D的编码后数据中的每一个进行解码。
·
在步骤S124中，位偏移改变单元153基于位偏移改变信息对深度数据执行位偏移改变。在步骤S125中，图像解码装置150输出图像数据和深度数据。在步骤S126中，图像解码装置150确定是否结束图像解码过程，并且当其确定不结束图像解码过程时将该过程返回到步骤S121并重复接下来的步骤。此外，当例如因为复用数据的提供被停止而在步骤S 126中图像解码装置确定结束图像解码过程时，图像解码装置150结束图像解码过程。如上所述，图像编码装置100在使深度数据的位深度与图像数据的位深度匹配之后对图像数据的编码后数据和深度数据的编码后数据一起执行速率控制，这与分开对图像数据和深度数据进行编码的传统技术不同。速率控制单元114通过全面地执行对图像数据的编码后数据和深度数据的编码后数据的速率控制，提高了在选择每个编码的速率之间的比率方面的灵活性，并且可以为每个编码分配合适的速率。例如，分配给比较不重要的深度数据的速率可以被降低，且分配给更加重要的图像数据的速率可以被增大。当然，反过来也是可能的。此外，速率比可以根据情况变化。另外，由于深度数据的位深度被调节为与图像数据的位深度匹配，所以速率控制的数学运算变得简单。因此，速率控制单元114可以以更高的速度执行速率控制。此外，由于用于速率控制的数学操作变得简单，所以速率控制单元114可以适当地执行速率控制并提高编码效率。由于编码效率提高了，所以通过对编码后数据进行解码而得到的解码后图像的图像质量也提高了。即，图像编码装置100可以对图像进行编码以使得可以得到具有更高图像质量的解码后图像。此外，图像解码装置150可以通过以上述方式执行解码过程来快速且更适当地对复用数据进行解码，所述复用数据已被图像编码装置100编码并被复用。此外，图像解码装置150可以快速且适当地对深度数据进行解码和偏移改变。[编码单元的配置]接下来，描述图I的图像编码装置100中所包括的编码单元的具体示例。图I的图像编码装置100的编码单元113 (或者，编码单元113-1到113-4)的编码系统是任意的。例如，编码系统可以是MPEG (运动图像专家组)-2、MPEG-4、AVC (闻级视频编码)等，或者可以是JPEG (联合图像专家组)、JPEG2000等。作为示例，将针对编码单元113-1到113-4的编码系统为AVC的情况进行描述。图8是描述图I的编码单元113-1的主要配置的示例的框图。例如，图8中所示的编码单元113-1根据H. 264和MPEG-4第10部分(下文中被称为H. 264/AVC)系统对图像进行编码。在图8的示例中，编码单元113-1包括A/D (模/数)转换单元201、画面重排缓冲器202、运算单元203、正交变换单元204、量化单元205、无损编码单元206和存储缓冲器207。另外，编码单元113-1包括逆量化单元208、逆正交变换单元209和运算单元210。另外，编码单元113-1还包括去块滤波器211和帧存储器212。此外，编码单元113-1包括选择单元213、帧内预测单元214、运动预测补偿单元215和选择单元216。另外，编码单元 113-1包括速率控制单元217。A/D转换单元201对输入图像数据执行A/D转换，并将结果输出到画面重排缓冲器202并将其存储起来。画面重排缓冲器202根据GOP (图像组)结构对按显示顺序被存储的图像的帧的顺序进行重排以使得图像的帧按照用于编码的顺序被重排。画面重排缓冲器202将帧经过重排的图像提供给运算单元203、帧内预测单元214和运动预测补偿单元215。运算单元203将从画面重排缓冲器202读取的图像减去来自选择单元216的预测图像，并将差异信息输出到正交变换单元204。例如，对于要经历帧内编码的图像，运算单元203将来自帧内预测单元214的预测图像与从画面重排缓冲器202读取的图像相加。此夕卜，例如对于要经历帧间编码的图像，运算单元203将来自运动预测补偿单元115的预测图像与从画面重排缓冲器202读取的图像相加。正交变换单元204对来自运算单元203的差异信息执行正交变换，例如离散余弦变换和Karhunen-Loeve变换，并将变换系数提供给量化单元205。量化单元205对从正交变换单元204输出的变换系数进行量化。量化单元205将量化后的变换系数提供给无损编码单元206。无损编码单元206对量化后的变换系数执行无损编码，例如可变长度编码和算术编码。无损编码单元206从帧内预测单元214获取指示帧内预测的信息，并从运动预测补偿单元215获取指示帧间预测模式的信息等。下文中，指示帧内预测的信息被称为帧内预测模式信息。此外，下文中，指示帧间预测的信息模式的信息被称为帧间预测模式信息。无损编码单元206对量化后的变换系数进行编码，并将滤波器系数、帧内预测模式信息、帧间预测模式信息和量化参数等设置为编码后数据的头部信息的一部分(复用)。无损编码单元206将通过编码得到的编码后数据提供给存储缓冲器207并允许该数据被存储。例如，诸如可变长度编码和算术编码之类的无损编码过程在无损编码单元206中被执行。H. 264/AVC系统中所规定的可变长度编码的示例包括CAVLC (内容自适应可变长度编码)。算术编码的示例包括CABAC (内容自适应二进制算术编码)。存储缓冲器207暂时存储来自无损编码单元206的编码后数据，将其作为根据H. 264/AVC编码的编码后图像在预定的定时处输出给未示出的记录装置或传输路径。此外，在量化单元205中被量化的变换系数被提供给逆量化单元208。逆量化单元208利用与量化单元205的量化方法相对应的方法对量化后的变换系数进行逆量化，并将所得到的变换系数提供给逆正交变换单元209。逆正交变换单元209利用与正交变换单元204所执行的正交变换过程相对应的方法对所提供的变换系数执行逆正交变换。经过逆正交变换的输出被提供给运算单元210。运算单元210将来自选择单元216的预测图像与来自逆正交变换单元209的逆正交变换结果(即，被恢复的差异信息)相加，得到部分被解码的图像(解码后图像)。例如，当差异信息对应于要经历帧内编码的图像时，运算单元210将来自帧内预测单元214的预测图像与差异信息相加。此外，例如当差异信息对应于要经历帧间编码的图像时，运算单元 210将来自运动预测补偿单元215的预测图像与差异信息相加。相加的结果被提供给去块滤波器211或帧存储器212。去块滤波器211通过执行适当的去块滤波过程去除解码后图像的块失真，并通过利用维纳(Wiener)滤波器执行适当的环路滤波过程提高图像质量。去块滤波器211将每个像素分类，并且针对每一类执行适当的滤波过程。去块滤波器211将滤波过程的结果提供给帧存储器212。在预定的定时处，帧存储器212将已存储的参考图像通过选择单元213输出到帧内预测单元214或运动预测补偿单元215。例如，对于要经历帧内编码的图像，帧存储器212将参考图像通过选择单元213提供给帧内预测单元214。此外，例如对于要经历帧间编码的图像，帧存储器212将参考图像通过选择单元213提供给运动预测补偿单元215。在编码单元113-1中，例如从画面重排缓冲器202输出的I图像、B图像和P图像被提供给帧内预测单元214作为用于帧内预测(被称为帧内过程)的图像。此外，从画面重排缓冲器202读取的B图像和P图像被提供给运动预测补偿单元215作为用于帧间预测(被称为帧间过程)的图像。对于要经历帧内编码的图像，选择单元213将来自帧存储器212的参考图像提供给帧内预测单元214，并且对于要经历帧间编码的图像，选择单元213将参考图像提供给运动预测补偿单元215。帧内预测单元214执行帧内预测(画面内预测)以利用画面内的像素值生成预测图像。帧内预测单元214以多种模式(帧内预测模式)执行帧内预测。帧内预测模式包括基于通过选择单元213从帧存储器212提供的参考图像生成预测图像的模式。此外，帧内预测模式是利用用于帧内预测的从画面重排缓冲器202读取的图像本身(过程目标块的像素值)生成预测图像的模式。帧内预测单元214生成所有帧内预测模式下的预测图像，评估每个预测图像并选择最佳模式。当最佳帧内预测模式被选择时，帧内预测单元214将在最佳模式下生成的预测图像通过选择单元216提供给运算单元203。此外，如上所述，帧内预测单元214适当地将指示所采用的帧内预测模式的帧内预测模式信息提供给无损编码单元206。运动预测补偿单元215利用从画面重排缓冲器202提供的输入图像和通过选择单元213从帧存储器212提供的解码后图像(该图像变为参考帧)为要经历帧内编码的图像计算运动向量。运动预测补偿单元215根据所计算出的运动向量执行补偿过程，并生成预测图像(帧间预测图像信息)。运动预测补偿单元215针对所有候选帧间预测模式执行帧间预测过程，并生成预测图像。运动预测补偿单元215将所生成的预测图像通过选择单元216提供给运算单元203。运动预测补偿单元215将指示所计算出的运动向量的运动向量信息或者指示所采用的帧间预测模式的帧间预测模式信息提供给无损编码单元206。对于要经历帧内编码的图像，选择单元216将帧内预测单元214的输出提供给运算单元203。对于要经历帧间编码的图像，选择单元216将运动预测补偿单元215的输出提供给运算单元203。 速率控制单元217基于存储在存储缓冲器207中的被压缩图像控制量化单元205的量化操作的速率以避免导致流量过高或流量多低。[宏块]图9是图示了宏块的示例的图。如图9中所示，例如，当Y:Cb:Cr=2:l:l时，深度数据D的宏块被设置为具有与亮度数据Y的宏块相同的大小(16X 16)。按照这种方式，深度数据被添加到组分图像数据，以使得四个组分图像可以被生成。宏块的大小是任意的。由于编码单元113-2到113-4分别具有与编码单元113_1相同的配置，所以关于它们的描述不再重复。参考图8所描述的编码单元113-1的配置可被应用于编码单元113的配置。[解码单元的配置]图10是描述图4的解码单元的主要配置的示例的框图。如图10中所示,解码单元152-1包括存储缓冲器251、无损解码单元252、逆量化单元253、逆正交变换单元254、运算单元255、去块滤波器256、画面重排缓冲器257、D/A转换单元258、帧存储器259、选择单元260、帧内预测单元261、运动预测补偿单元262和选择单元263。存储缓冲器251存储已被传送的编码后数据。编码后数据是作为编码单元113-1编码的结果得到的数据。无损解码单元252利用与图8的无损编码单元206的编码系统相对应的方法在预定的定时处对从存储缓冲器251读取的编码后数据进行解码。逆量化单元253利用与图8的量化单元205的量化系统相对应的方法对作为无损解码单元252所执行的解码的结果而得到的系数数据进行逆量化。逆量化单元253将经逆量化的系数数据提供给逆正交变换单元254。逆正交变换单元254通过利用与图8的正交变换单元204的正交变换方法相对应的系统对系数数据执行逆正交变换，得到与在正交变换在编码单元113-1中被执行之前存在的剩余数据相对应的解码剩余数据。通过逆正交变换得到的解码剩余数据被提供给运算单元255。此外，预测图像从帧内预测单元261或运动预测补偿单元262通过选择单元263被提供给运算单元255。运算单元255将解码剩余数据与预测图像相加，以得到与在预测图像被编码单元113-1的运算单元203减去之前已存在的图像数据相对应的解码后图像数据。运算单元255将解码后图像数据提供给去块滤波器256。
去块滤波器256从解码后图像中去除块失真，然后将结果提供给帧存储器259，存储该结果并将其提供给画面重排缓冲器257。画面重排缓冲器257对图像进行重排。即，作为图8的画面重排缓冲器202的排列结果的以编码顺序排列的帧的顺序被排列回原来显示的顺序。D/A转换单元258对从画面重排缓冲器257提供的图像执行D/A转换，将结果输出给显示器(未示出)并允许其被显
/Jn ο选择单元260从帧存储器259读取要经历帧间处理的图像和被用作参考的图像，并将这些图像提供给运动预测补偿单元262。此外，选择单元260从帧存储器259读取帧内预测中要使用的图像，并将该图像提供给帧内预测单元261。通过对头部信息解码而得到的指示帧内预测模式的信息等被适 当地从无损解码单元252提供给帧内预测单元261。帧内预测单元261基于该信息生成预测图像，并将所生成的预测图像提供给选择单元213。运动预测补偿单元262从无损解码单元252获取通过对头部信息解码而得到的信息(预测模式信息、运动向量信息和参考帧信息)。当指示帧间预测模式的信息被提供时，运动预测补偿单元262基于从无损解码单元252输出的帧间运动向量信息生成预测图像，并将所生成的预测图像提供给选择单元263。选择单元263选择运动预测补偿单元262或帧内预测单元261生成的预测图像，将所选择的预测图像提供给运算单元255。由于解码单元152-2到152-4可具有与解码单元152_1相同的配置，所以关于它们的描述将不再重复。参考图10描述的解码单元152-1的配置可以被应用作为解码单元152的配置。[编码过程的流程]接下来，参考图11的流程图描述编码单元113-1执行的编码过程的流程的示例。该编码过程对应于图6中的步骤S105和步骤S106。当编码过程开始时，在步骤S201中，A/D转换单元201对被输入的图像执行A/D转换。在步骤S202中，画面重排缓冲器202存储来自A/D转换单元201的图像，并排列图像以使得按显示顺序排列的图像被重排为用于编码的顺序。在步骤S203中，运算单元203计算步骤S202中所排列的图像与通过以下将描述的预测过程得到的预测图像之间的差异。预测图像从用于帧间预测的运动预测补偿单元215和用于帧内预测的帧内预测单元214通过选择单元216被提供给运算单元203。差异数据与原始图像数据相比有较少的数据量。因此，与按原样对图像编码的情况相比，数据量可以被压缩。在步骤S204中，正交变换单元204对来自运算单元203的差异信息执行正交变换。具体而言，诸如离散余弦变换和Karhunen-Loeve变换之类的正交变换被执行，使得变换系数被输出。在步骤S205中，量化单元205对变换系数进行量化。所述经量化的差异信息按照如下方式在本地被解码。S卩，在步骤S206中，逆量化单元208利用与量化单元205的特性相对应的特性对已通过量化单元205被量化的变换系数进行逆量化。在步骤S207中，逆正交变换单元209利用与正交变换单元204的特性相对应的特性对已通过逆量化单元208被逆量化的变换系数执行逆正交变换。
在步骤S208中，运算单元210将通过选择单元216输入的预测图像与在本地被解码的差异信息相加，生成本地被解码的图像(与运算单元203的输入相对应的图像)。在步骤S209中，去块滤波器211对从运算单元210输出的图像进行滤波。因此，块失真被去除。在步骤S210中，帧存储器212存储滤波后的图像。另外，即使未经去块滤波器211滤波的图像也从运算单元210被提供给帧存储器212并被存储于其中。在步骤S211中，帧内预测单元214按照帧内预测模式执行帧内预测过程。在步骤S212中，运动预测补偿单元215按照帧间预测模式执行运动预测补偿过程。在步骤S213中，选择单元216基于从帧内预测单元214和运动预测补偿单元215输出的每个成本函数值确定最佳预测模式。换言之，选择单元216选择由帧内预测单元214生成的预测图像或者由运动预测补偿单元215生成的预测图像。此外，关于该预测图像的选择信息被提供给帧内预测单元214或运动预测补偿单元215。当最佳帧内预测模式的预测图像被选择时，帧内预测单元214将指示最佳帧内预测模式的信息(即，帧内预测模式信息)提供给无损编码单元206。 当最佳帧间预测模式的预测图像被选择时，运动预测补偿单元215将指示最佳帧间预测模式的信息以及(必要的话)还将与最佳帧间预测模式相对应的信息输出给无损编码单元206。与最佳帧间预测模式相对应的信息的示例包括运动向量信息、标记信息以及参考帧信息等。在步骤S214中，无损编码单元206对从量化单元205输出的量化后的变换系数进行编码。即，对差异图像(在帧间预测的情况下对第二个差异图像)执行诸如可变长度编码和算术编码之类的无损编码。无损编码单元206对关于步骤S213的过程所选择的预测图像的预测模式的信息进行编码，并将差异信息加到通过对差异图像进行编码而得到的编码后数据的头部信息上。换言之，无损编码单元206对与从运动预测补偿单元215提供的最佳帧间预测模式或从帧内预测单元214提供的帧内预测模式相对应的信息等进行编码，并将编码后的信息加到头部信息上。在步骤S215中，存储缓冲器207存储从无损编码单元206输出的编码后数据。存储在存储缓冲器207中的编码后数据被适当地读取并通过传送路径被传送给解码侧。在步骤S216中，速率控制单元217基于存储在存储缓冲器207中的压缩图像和来自速率控制单元114的速率控制信息，对量化单元205的量化操作的速率进行控制，以避免发生流量过高或流量过低。当步骤S216的过程结束时，编码过程结束。编码单元113-1对编码过程的每个处理单元重复这样的编码过程。编码单元113-2到113-4也执行类似的过程。此外，即使编码单元113被使用，也执行类似的编码过程。[解码过程的流程]接下来，参考图12的流程图描述图10的解码单元152-1执行的解码过程的流程的示例。该解码过程与图7中的步骤S123相对应。当解码过程开始时，在步骤S231中，存储缓冲器251存储被传送来的编码后数据。在步骤S232中，无损解码单元252对从存储缓冲器251提供的编码后数据进行解码。即，被图8的无损编码单元206编码的I图像、P图像和B图像被解码。在此处，运动向量信息、参考帧信息、预测模式信息(帧内预测模式或帧间预测模式)、标记信息等被解码。S卩，当预测模式信息为帧内预测模式信息时，预测模式信息被提供给帧内预测单元261。当预测模式信息为帧间预测模式信息时，与预测模式信息相对应的运动向量信息被提供给运动预测补偿单元262。在步骤S233中，逆量化单元253利用与图8的量化单元205的特性相对应的特性对被无损解码单元252解码的变换系数进行逆量化。在步骤S234中，逆正交变换单元254利用与图8的正交变换单元204的特性相对应的特性对已通过逆量化单元253被逆量化的变换系数执行逆正交变换。因此，与图8的正交变换单元204的输入(即，运算单元203的 输出)相对应的差异信息变为被解码的信息。在步骤S235中，运算单元255将预测图像与通过步骤S234的过程得到的差异信息相加。因此，原始图像数据通过解码被得到。在步骤S236中，去块滤波器256对从运算单元255提供的解码后图像数据进行滤波。因此，块失真被去除。在步骤S237中，帧存储器259存储经过滤波的解码后图像数据。在步骤S238中，帧内预测单元261执行帧内预测过程。此外，运动预测补偿单元262执行帧间预测过程。在步骤S239中，选择单元263选择被生成的两个预测图像中的任一个。在步骤S240中，画面重排缓冲器257改变解码后图像数据的帧的顺序。S卩，被图8的画面重排缓冲器202重排以用于编码的解码后的帧的顺序被重新排列，以按照原始显示的顺序被排列。在步骤S241中，D/A转换单元258对经画面重排缓冲器257进行帧排列的解码后图像数据执行D/A转换。该解码后图像数据例如被输出到显示器(在图中未示出)以使得图像被显示。当步骤S241的过程结束时，解码过程结束。解码单元152-1对解码过程的每个处理单元重复这样的解码过程。解码单元152-2到152_4执行类似的过程。此外，即使在使用解码单元152的情况下，类似的解码过程也被执行。如上所述，AVC系统的编码装置/解码装置可以被用作编码单元113 (或编码单元113-1到113-4)和解码单元152 (或解码单元152-1到152-4)。在这种情况下，图像编码装置100可以更高效地对可以提供立体视觉效果的深度数据和图像数据进行编码。此外，图像解码装置150可以快速且更适当地对提供立体视觉效果的编码后深度数据和编码后图像数据进行解码。[编码单元的配置]图13图示了在根据JPEG2000系统进行编码的编码器被用作图I的编码单元113的情况下的示例。参考图13，所描述的是其中亮度数据Y、色差数据Cb、色差数据Cr和深度数据D’被一起编码以产生一个码流系统(编码后数据)的情况，即，其中编码单元用一个编码单元113来配置。如图13中所示，编码单元113包括DC电平偏移单元301、小波(wavelet)变换单元302、量化单元303、码分块(code blocking)单元304和位平面展开单元305。DC电平偏移单元301对输入到编码单元113的图像数据的DC组分执行电平偏移(如箭头331)以在后面的处理级中高效地执行小波变换。例如，RGB信号具有正值(无符号的整数)。然后，DC电平偏移单元301尝试通过执行利用其将原始信号的动态范围减至一半的电平偏移来实现压缩效率的提高。因此，当有符号(正和负)的整数值的信号(如YCbCr信号的色差数据Cb和色差数据Cr)被用作原始信号时，电平偏移不被执行。小波变换单元302由通常利用低通滤波器和高通滤波器配置的滤波器组来实现。此外，由于数字滤波通常呈现具有多个抽头长度(滤波器系数)的冲击响应，所以小波变换单元302具有缓冲仅通过预先滤波的输入图像的缓冲器。当小波变换单元302获取了数据量等于或大于最低要求的如箭头332所指示的从 DC电平偏移单元301输出的图像数据时，小波变换单元302利用预定的小波变换滤波器对经过DC电平偏移的图像数据进行滤波，并生成小波系数。此外，小波变换单元302执行这样的滤波过程，该滤波过程针对图像的垂直方向和水平方向中的每一个方向将图像数据分成低频带组分和高频带组分。接下来，小波变换单元302对针对垂直方法和水平方向中的每一个方向被分类为低频带组分的子频带递归地重复预定次数这样的滤波过程。这是因为图像的大部分能量集中在低频带组分上，例如图14中所示的。图14是图示了子频带的配置的示例。如图14中所示，图像的大部分能量集中在低频带组分上，即使在划分级数为I的状态下和划分级数为3的状态下也是如此。图15是图示了在划分数为4的情况下通过小波变换过程生成的子频带的配置的示例的图。在这种情况下，小波变换单元302首先对整个图像滤波，并生成子频带ILL (未示出)和1HL、1LH和1HH。接下来，小波变换单元302再次对所生成的子频带ILL滤波，并生成2LL (未示出)和2HL、2LH和2HH。此外，小波变换单元302再次对所生成的子频带2LL滤波，并生成3LL、3HL、3LH和3HH。此外，小波变换单元302再次对所生成的子频带3LL滤波,并生成 4LL、4HL、4LH 和 4HH。因而，当分析滤波被执行到划分级数4时，十三个子频带被生成。如图15中所示，当划分级数提高到更高的一级时，子频带的大小在垂直方向和水平方向上都变为1/2。S卩，当在水平方向上有1920个像素的图像的基带图像数据被进行一次分析滤波时，在水平方向上分别具有960个像素的4个子频带(ILL、IHL, 1LH、1HH)被生成。此外，当子频带ILL被进行一次分析滤波时，在水平方向上分别具有480个像素的4个子频带(2LL、2HL、2LH、2HH)被生成。此外，当子频带2LL被进行一次分析滤波时，在水平方向上分别具有240个像素的4个子频带(31^、31、31^、3冊)被生成。此外，当子频带3LL被进行一次分析滤波时，在水平方向上分别具有120个像素的4个子频带(4LL、4HL、4LH、4HH)被生成。小波变换的划分级数是任意的。对于每个子频带，小波变换单元302将通过滤波得到的小波系数提供给量化单元303，如箭头333所示。量化单元303对被提供的小波系数进行量化。量化方法是任意的，但是除以量化步长大小的标量量化是常用的方法。量化单元303将通过量化得到的量化后系数提供给码分块单元304，如箭头334所示。在后续处理级中，量化系数代替小波系数被提供。然而，量化系数基本上按与小波系数相同的方式被对待。因此，下文中，只要不是必要的，关于这一点的描述将被省略，并且系数被简单地称为系数或系数数据。当编码单元113根据允许原始数据通过解码过程被完全恢复的无损编码系统对图像数据进行编码时，量化单元303的处理被省略，并且小波变换单元302的输出被提供给码分块单元304，如箭头335所示。在码分块单元304中，小波系数以用于熵编码的处理单元为单位被分成具有预定大小的码块。图16图示了每个子频带中的码块之间的位置关系。例如，在划分后的每个子频带中分别具有大约64X64个像素的大小的码块被生成。后面的处理级中的每个处理单元对每个码块执行处理。
码分块单元304将每个码块提供给位平面展开单元305，如箭头336所示。位平面展开单元305展开在各个位位置处的位平面中的系数数据。位平面是通过将由预定数目的小波系数组成的一组系数以位为单位(B卩，针对每个位位置)划分(或分割)而得到的。即，位平面是在同一系数组内的相同位位置处的一组位(系数位)。图17图示了具体示例。图17中的左示了在水平方向上的4个系数组中的4个系数，即总共16个系数。在这16个系数中，具有最大绝对值的系数是13，被表示为二进制数1101。位平面展开单元305将这样的系数组展开在指示绝对值的四个位平面(绝对值位平面)和指示符号的一个位平面(符号位平面)中。即，图17的左图中的系数组是在四个绝对值的位平面和一个符号的位平面中被展开的，如图17的右图中所示。这里，绝对值的位平面的每个元素取值O或I。此外，指示符号的位平面的每个元素取指示系数的值为正的值、指示系数的值为O的值或者指示系数的值为负的值。此外,编码单元113还包括位建模单元306、算术编码单元307、码量相加单元308、速率控制单元309、头部生成单元310和分组生成单元311。位平面展开单元305将所展开的位平面提供给位建模单元306，如箭头337所示。位建模单元306和算术编码单元307用作EBCOT (具有最佳截断的嵌入式编码)单元321，并对输入的系数数据执行由JPEG2000标准所规定的被称为EBCOT的熵编码。EBCOT是一种针对具有预定大小的块测量块中的系数的统计量的同时进行编码的技术。位建模单元306根据JPEG2000标准所规定的过程对系数数据执行位建模，并将关于控制信息、标志和上下文等的信息提供给算术编码单元307，如箭头338所示。算术编码单元307对系数的位平面执行算术编码。以长宽表示的码块的大小被表示为从4到256的2的幂数，并且通常32X32、64X64U28X32等被使用。系数值用有符号的η位二进制数来表示，其中位O到位(η_2)分别表示LSB到MSB。余下的一位表示符号。对码块的编码根据以下三种编码通道按照从MSB位平面开始的位位置降低顺序被执行。(I)重要性传播通道(Significance Propagation Pass)(2)幅度精炼通道(Magnitude Refinement Pass)(3)清理通道(Cleanup Pass)
使用这三个编码通道的顺序在图18中被示出。首先，位平面(n-1) (MSB)通过清理通道被编码。连续地依次到LSB侧，对每个位平面的编码通过按照重要性传播通道、幅度精炼通道和清理通道的顺序利用三个编码通道被执行。但是，关于从MSB侧开始计数的位平面的编号的信息(其中值“I”实际上首先出现)被写在头部中，并且从MSB侧开始连续全O的位平面(被称为零位平面)不被编码。通过以这样的顺序利用三种编码通道重复编码以及在任意位平面的任意通道处中断编码(速率控制)，在码量和图像质量之间进行了权衡考虑。接下来，参考图19描述对系数的扫描。码块在高度方向上以四个系数为单位被划分成条带(stripe)。条带的宽度等于码块的宽度。一个码块内的扫描顺序是所有系数可以被读取的顺序。即，系数按照一个码块内从顶部条带到底部条带的方向、一个条带内从最左边一列到最右边一列的方向以及一个列中从上到下的方向被获取。一个码块内的全部系数按照这个扫描顺序被每个编码通道处理。
下文中，将描述三个编码通道。以下描述的全部都是在JPEG-2000的书面标准中所描述的(参考IS0/IEC 15444-1，信息技术-JPEG2000，第一部分核心编码系统)。( I)重要性传播通道(SP通道)在对某个位平面进行编码的重要性传播通道中，不重要的系数(其中至少一个接近8的系数是重要的)的位平面的值通过算术编码被编码。当已被进行编码的位平面的值为I时，指示符号为加号(+)还是减号(一)的MQ编码继续被执行。这里，JPEG2000专用的术语“重要性”被描述。术语“重要性”表示针对每个系数的编码器状态。重要性的值最初被设置为0，指示不重要，当I被系数编码时变为1，指示重要，并且之后保持为I。因此，重要性可以被看作是指示有效位的信息是否已被编码的标记。如果在某个位平面处其值变为重要的，则该状态(重要)被保持用于全部的后续位平面。(2)幅度精炼通道(MR通道)在对位平面进行编码的幅度精炼通道中，尚未被对位平面进行编码的重要性传播通道编码的重要系数的位平面的值被进行MQ编码。 (3)清理通道(⑶通道)在对位平面进行编码的清理通道中，尚未被对位平面进行编码的重要性传播通道编码的不重要系数的位平面的值被进行MQ编码。当已被编码的位平面的值为I时，位平面被继续进行MQ编码，以指示符号为+还是一(符号信息)。此外，在这三个编码通道的MQ编码中，ZC (零编码)、RLC (游程长度编码)、SC (符号编码)和MR (幅度精炼)根据情况被适当地使用。被称为MQ编码的算术编码在这里被使用。MQ编码是一种在JBIG2中规范的学习类型的二进制算术编码(参考IS0/IEC FDIS14492，“Lossy/Lossless Coding of Bi-level Images", 2000 年 3 月)。再参考图13，算术编码单元307将所生成的码流提供给码量相加单元308，如箭头339所示。码量相加单元308对码流的码量进行计数并累加。接下来，码量相加单元308提供头部生成单元310和分组生成单元311的码流，如箭头342和343所示，并且还将码量的累计值提供给速率控制单元309，如箭头340所示。速率控制单元309将从速率控制单元114 (如图I)提供的目标码量和所提供的码量的累计值进行比较，并且当累计值小于目标码量时，控制EBCOT单元321允许下面的位平面被编码，如箭头341所示。EBCOT单元321根据控制对下一个重要的位平面进行编码，并将所生成的码流提供给码量相加单元308。码量相加单元308对码流的码量进行计数，累加并将累计值提供给速率控制单元309。上述过程被重复，直到累计值达到目标码量为止。并且，当累计值达到目标码量时，速率控制单元309控制EBCOT单元321，并结束编码过程。分组生成单元311将被提供来的编码后的码流封装成分组。头部生成单元310生成分组的头部信息，并将头部信息提供给分组生成单元311，如箭头344所示。分组生成单元311利用头部信息生成分组。图20图示了分组的概念。在图20中所示的示例中，显示小波变换被执行了三次。因此，包括从最低频带分组Packet-I到最高频带分组Packet-4的四个分组被生成。因此，存在于每个分组的每个子频带内的所有码块的编码后的码流被封装成一个个的分组。 所生成的分组被输出到编码单元113的外部，如箭头345所示，并被提供给速率控制单元114 (图I)。此外，编码单元可以被配置为包括编码单元113-1到113-4的四个编码单元。在这种情况下，由于编码单元113-1到113-4分别具有与上述编码单元113相同的配置，所以相关的描述不再重复。[位平面展开]根据JPEG2000系统的编码的最显著特征是对逐个位平面进行编码。系数数据在JPEG和MPEG中被表示为二维数据，但是在JPEG2000中可以被表示为多个二维二进制数据的平面。当组分图像数据和深度数据像传统技术那样被分开编码时，每个目标速率被提前确定，然后被编码。因此，在很多情况下难以实现对组分图像数据和深度数据的编码速率的最高效率的组合，并且难以提高编码效率。另一方面，编码单元113通过对组分图像数据和深度数据进行组合来在同时控制组分图像数据和深度数据的编码速率的同时执行编码。图21图示了在深度数据的位深度被调节为与组分图像数据的位深度相匹配之后的速率控制的表现。编码单元113基本按照重要性的递减顺序执行编码，即，从最高重要性(MSB侧的位)到最低重要性(LSB侧的位)，与利用现有RD (速率失真)特性的速率控制方法有很大不同。编码单元113通过将组分图像数据和深度数据看作一个组分来执行其处理。SP，编码单元113对作为具有包括亮度数据Y、色差数据Cb、色差数据Cr和深度数据D’的四个组分的组分数据的组分图像数据和深度数据进行编码。在图21中所示的示例中，EBCOT单元321首先对在亮度数据Y内的最高位位置处的位平面执行EBC0T。由于不对其中只有不等于O的系数存在的零位平面执行EBC0T，所以EBCOT实际的第一个目标是在编号为“I”的位位置处的位平面，所述位位置是最高位位置(接近MSB的位置)。此外，在图21中，被划圈的编号是表示位位置的编号。在图21中所示的示例中，不存在这样的位平面，其中只有亮度数据的码块CBl在标号为“I”的位位置处具有值为“I”的系数。因此，EBCOT单元321只对亮度数据的码块CBl的位平面执行EBC0T。
对于同一位位置，EBCOT按照亮度数据Y的位平面、色差数据Cb的位平面、色差数据Cr的位平面和深度数据D’的位平面的顺序被执行。当针对编号为“I”的位位置的处理结束时，处理目标移到后面的位位置(比编号为“I”的位位置低一位的位位置)处。即，在编码为“2”的位位置处的位平面变为EBCOT的目标。在图21中所示的示例中，对于编号为“2”的位位置，EBCOT按照亮度数据Y内的码块CBtl的位位置和码块CB1的位位置的顺序被执行。接下来，由于色差数据Cb和色差数据Cr没有具有值为“I”的系数的位平面，所以深度数据D’的码块CB1的位平面成为EBCOT的下一个目标。当针对编号为“2”的位位置的处理结束时，处理目标移到编号为“3”的位位置处。在图21中所示的示例中，对于编号为“3”的位位置，EBCOT的目标按照亮度数据Y的码块CB0, CB1和CBn，色差数据Cb的码块CB1，色差数据Cr的码块CB1和深度数据的码块CB1、CBn 的位平面的顺序移动。按照这种方式，EBCOT向前进行，顺着从编号为“ I ”的位位置到编号为“X”的位位置和从最高位到最低位的方向逐位地改变处理目标。此外，在EBCOT按照这种方式被重复的同时，码量相加单元308将所生成的码量累加起来，如上所述。此外，在图21中，为了描述的方便，没有针对亮度数据Y、色差数据Cb、色差数据Cr和深度数据D’中的任一个进行关于子频带的描述。但是，如图16中所示，码块实际上存在于在小波变换之后生成的全部子频带中。因此，只有子频带内的码块成为图21中所示的速率控制的目标。如上所述，对于JPEG2000系统，编码单元113按照位位置的降低顺序搜索针对除零位平面以外的位平面的全部亮度数据Y、色差数据Cb、色差数据Cr和深度数据D’。因此，尤其是当深度数据的位深度与图像数据相比更浅时，深度数据的优先级可被大幅度地降低。如上所述，由于位偏移改变被执行以使得深度数据的位深度与图像数据的位深度相匹配，所以图像编码装置100可以减少当EBCOT的目标被选择时组分之间的过度优先级偏差。因此，例如，可以减少深度数据几乎未被包括在编码后数据中的问题的出现。[解码单元的配置]接下来，描述与编码单元113对应的解码单元152 (如图4)。图22是图示了解码单元152的主要配置的示例的框图。如图22中所示，解码单元152可以对根据JPEG2000系统编码的编码后数据进行解码。即，解码单元152可以对被图13中所示的编码单元113编码的编码后数据进行解码。在图22中，解码单元152包括分组解码单元361、算术解码单元362、位建模单元363、位平面合成单元364、码块合成单元365、小波逆变换单元366和DC电平反向偏移单元367。分组解码单元361对来自图像编码装置100的分组进行解码，如箭头381所示，并将码流提供给算术解码单元362，如箭头382所示。算术解码单元362和位建模单元363用作EBCOT单元371，并且对输入码流执行在JPEG2000标准中规定的被称为EBCOT的熵解码。算术解码单元362利用与算术编码单元307相对应的方法对码流进行解码，并将内容提供给位建模单元363，如箭头383所示。位建模单元363利用与位建模单元306相对应的方法生成在位平面中被展开的小波系数。位建模单元363针对每个被生成的位平面将系数数据提供给位平面合成单元364，如箭头384所示。位平面合成单元364对在位平面中展开的小波系数进行合成。位平面合成单元364将被用于合成位平面的小波系数提供给码块合成单元365，如箭头385所示。码块合成单元365利用被提供的位平面生成每个码块的系数数据，对它们进行合成并生成针对每个子频带的系数数据。码块合成单元365将其提供给小波逆变换单元366，如箭头386所示。
小波逆变换单元366对被提供的小波系数执行小波逆变换，并生成基带图像数据。小波逆变换单元366将所生成的基带图像数据提供给DC电平反向偏移单元367，如箭头387所示。DC电平反向偏移单元367根据需要对图像的DC组分执行DC电平反向偏移过程，以将DC组分返回到原始状态，偏移量与在DC电平偏移单元301中执行的偏移相对应。DC电平反向偏移单元367将通过DC电平反向偏移过程得到的图像数据输出到解码单元152的外部，如箭头388所示。更具体而言，组分图像数据被输出到图像解码装置150的外部，并且深度数据被提供给位偏移改变单元153。另外，解码单元可以被配置为包括解码单元152-1到152-4的四个解码单元。在这种情况下，由于解码单元152-1到152-4中的每一个具有与上述解码单元152类似的配置，所以相关的描述不再重复。[编码过程的流程]接下来，描述编码过程的流程的示例。首先，参考图23的流程图描述编码单元113执行的编码过程的流程的示例。该编码过程对应于图6中的步骤S105和步骤S106。当编码过程开始时，在步骤S301中，编码单元113从输入系统331获取图像数据和深度数据。在步骤S302中，DC电平偏移单元301对在步骤S301中输入的图像数据和深度数据的DC电平进行偏移。在步骤S303中，小波变换单元302对已在步骤S302中进行了 DC电平偏移的图像数据和深度数据执行小波变换。在步骤S304中，对于有损编码系统，量化单元303对在步骤S303中从图像数据和深度数据生成的小波系数进行量化。对于无损编码系统，该过程不被执行。在步骤S305中，码分块单元304以码块为单位对图像数据和深度数据的系数数据进行划分。在步骤S306中，位平面展开单元305针对在步骤S305中划分的每个码块在位图中展开系数。在步骤S307中，EBCOT单元221对已在步骤S306中在位图中展开的图像数据和深度数据的系数执行熵编码。在步骤S308中，速率控制单元309利用在码量相加单元308中被相加的码量与从速率控制单元114提供的目标码量来控制所生成的码量的速率。在步骤S309中，头部生成单元310生成分组头部。在步骤S310中，分组生成单元311生成分组。在步骤S311中，编码单元113将分组输出到外部。当步骤S311的处理结束时，编码过程结束。此外，编码过程针对每个预定的数据单元被重复执行，直到图像数据和深度数据的供应被停止或者停止供应的指令被接收到为止。当编码单元被配置为编码单元113-1到113-4时，编码单元113_1到113_4中的每一个单元执行与编码单元113类似的过程。[熵编码过程的流程]接下来，参考图24的流程图描述在图23的步骤S307中执行的熵编码过程的流程。当熵编码过程开始时，在步骤S331中，EBCOT单元321设置初始状态。更具·体而言，EBCOT单元321将编码目标的组分设置为Ne= {1，2，…，Lc}，将子频带设置为Ns={l, 2，· · ·，Ls}，假设码块(B)的位平面(C)的信息量为T(B, C，Ne, Ns)，并假设累积相加码量为Y。在步骤S332中，在图13的位平面展开单元305中的操作结束时的时间点处，EBCOT单元321将关于小波变换系数或量化后的系数的位平面信息(包括零位平面信息)保持在预定的存储器中。在步骤S333中，EBCOT单元321将Y=O设置为初始值。在步骤S334中，EBCOT单元321在包括零位平面的子频带内选择在最高位位置处的第一码块的位平面。在步骤S335中，EBCOT单元321对所选择的位平面执行EBCOT。在步骤S336中，码量相加单元308利用以下表达式将作为步骤S335的处理结果所生成的码的量相加。Y=Y+T (B, C，Ne, Ns)... (I)在步骤S337中，速率控制单元309确定利用表达式(I)的加法得到的相加码量Y是否在从速率控制单元114获取的目标码量以下。当确定相加码量Y在目标码量以下时，速率控制单元309进行到步骤S338。在步骤S338中，EBCOT单元321确定在相同位位置处是否有任何其它位平面。当确定有任何其它位平面时，EBCOT单元321进行到步骤S339。在步骤S339中，EBCOT单元321选择在相同位位置处的下一个位平面。EBCOT单元321将过程返回到步骤S335，并对所选择的位平面执行EBCOT。此外，在步骤S338中，当确定在相同位位置处没有其它位平面时，EBCOT单元321使过程进行到步骤S340。在步骤S340中，EBCOT单元321确定在比当前位位置低一位的位位置处是否还有未处理的位平面。当确定有未处理的位平面时，EBCOT单元321的处理目标移到在低一位的位位置处的位平面，并EBCOT单元321选择第一码块的位平面。EBCOT单元321将过程返回到步骤S335，并对所选择的位平面执行EBC0T。此外，在步骤S340中，当不存在未处理的位平面时，EBCOT单元321结束熵编码过程，将该过程返回到图23中的步骤S307，并且执行步骤S308和后续步骤的过程。此外，在步骤S337中，当确定相加码量Y超过目标码量时，速率控制单元309结束熵编码过程，将过程返回到图23中的步骤S307，并执行步骤S308和后续步骤的过程。[解码过程的流程]
图25是描述解码过程的流程的示例的流程图。该解码过程与图7中的步骤S123相对应。当解码过程开始时，在步骤S361中，解码单元152从输入系统381获取编码后数据的分组。在步骤S362中，分组解码单元361从在步骤S361中获取的分组中提取编码后数据。在步骤S363中，EBCOT单元371对在步骤S362中提取的编码后数据进行解码。在步骤S364中，位平面合成单元364对通过步骤S363的过程得到的系数数据的位平面进行合成,并生成针对每个码块的系数数据。在步骤S365中，码块合成单元365对通过步骤S364的过程生成的系数数据的码块进行合成，并生成每个子频带的系数数据。在步骤S366中，小波逆变换单元366对通过步骤S365的过程生成的每个子频带的系数数据执行小波逆变换，并生成基带图像数据。在步骤S367中，DC电平反向偏移单元 367对通过步骤S366的过程生成的基带图像数据的DC电平进行反向偏移。在步骤S368中，解码单元152从输出系统388输出经过了步骤S367中的DC电平反向偏移过程的图像数据作为解码后图像数据。例如，解码后图像数据被输出到显示器(未示出)，并且图像被显示。当步骤S368的处理结束时，解码单元152结束解码过程。解码单元152针对每个处理单元重复这样的解码过程。当解码单元被配置为解码单元152-1到152-4时，解码单元152-1到152-4中的每一个单元执行与解码单元152类似的过程。如上所述，JPEG2000系统的编码装置/解码装置可被用作编码单元113 (编码单元113-1到113-4)和解码单元152 (解码单元152-1到152-4)。在这种情况下，图像编码装置100可以更高效地对可以提供立体视图的深度数据和图像数据进行编码。此外，图像解码装置150可以快速且更适当地对已按上述方式被编码的可以提供立体视图的图像数据和深度数据进行解码。[子频带的选择顺序]顺便提及，以上描述是针对其中组分图像数据的每个数据按照优先级的降序被选择作为处理目标并执行EBCOT的情况进行的，即按照亮度数据Y、色差数据Cb、色差数据Cr和深度数据D’的顺序(图21)。处理目标的选择在每个组分内按照类似的顺序被执行。例如，具有较高优先级的子频带的码块被优先选择。图26是图示了针对每个子频带的选择优先级的顺序的图。如上所述，更多的能量一般集中在具有较低频带组分的子频带上。因此，具有较低频带组分的子频带更加重要且具有更高的优先级。因此，例如在某个位位置处的位平面在一个组分内被选择的情况下，每个子频带的码块的位平面可以按照从低频带组分到高频带组分的顺序被选择。图26中所示的被划圈的编号表示每个子位置温度的优先顺序。换言之，当除零位平面以外的位平面存在于某个位位置处时，具有较低编号的子频带的码块的位位置最优先被选择。当然，由于为每个子频带设置优先级的方式是任意的，所以每个子频带的选择的优先顺序也是任意的。例如，当利用图26中所示的编号进行描述时，每个子频带可按I — 3 — 2 — 4 — 5 —…或I — 2 — 4 — 3 — 5 —…或I — 3 — 4 — 2 — 5 —…的顺序被选择。当然，也可以是与以上顺序不同的顺序。这种顺序的选择在每个组分内被进行。在此，子频带的优先顺序可以因组分而异。此外，反映每个子频带的重要程度的加权因子可以被定义，并且量化后的系数可以乘以加权因子来对值进行纠正。图27是图示了针对各个子频带定义的加权因子的示例的图。就图27的示例而言，由于最低频带的子频带(在该图的左上方的子频带)的系数为“1.0”，所以即使量化后的系数与加权因子相乘，针对该子频带的值也不改变。另一方面，对于其它子频带，频带越高，加权因子具有越低的值。因此，对于这些子频带，当量化后的系数乘以加权因子时，值被降低。即，非零的位平面的数目减少。频带越高，程度越高。如上所述，由于处理目标的选择是按照从高位到低位的顺序(即，沿从高位到 低位的方向)进行的，所以子频带具有越高的频带组分，被选择作为处理目标的顺序越低。因而，被选择作为EBCOT的处理目标的顺序可以通过利用加权因子矫正量化后系数的值来控制。顺便提及，如上所述，当存在多个组分时，每个组分的优先级按照亮度数据Y、色差数据Cb、色差数据Cr和深度数据D’的顺序。关于原因的研究报道来自于不同机构。即，原因在于为组分图像数据分配比深度数据更大的码量的码量设置有益于图像质量的整体改善。在深度数据中，编码效率可能会根据子频带的频带而改变。此外，对解码后图像的视觉影响增大的情况也被考虑。因此，即使对于具有低优先级的深度数据，也希望根据装置、图像的内容或图像的使用来适当地控制每个子频带的优先级。一般来说，当重视深度数据的子频带的较低频带时，在边界部分可能会出现振铃效应，因为不同主题之间(例如人和背景之间等)的边界线变得暗淡。反之，当重视高频带时，由于深度图像的平面部分(即，其中波动不存在的部分)被生成，所以可能在解码后图像中产生波动。[2.第二实施例][图像编码装置的配置]当JPEG2000系统的编码器被用作上述编码单元时，深度数据的位偏移改变可以在编码单元中被执行。图28是图示了本发明被应用于的图像编码装置的配置的另一示例的框图。图28中所示的图像编码装置400是与图I的图像编码装置100类似的装置，并且具有与图像编码装置100基本类似的配置。但是，图像编码装置400可以不包括位深度检测单元111和位偏移改变单元112，但是可以包括编码单元413来代替编码单元113。编码单元413在其内部执行对图像数据和深度数据D的位深度的检测和对深度数据D的位偏移改变。因此，已被输入到图像编码装置400的组分图像数据(亮度数据Y(箭头121-1))、色差数据Cb (箭头121-2)和色差数据Cr (箭头121-3)被提供给编码单元413。此外，从外部输入的深度数据D也被提供给编码单元413 (箭头124)。编码单元413根据JPEG2000系统对被提供的组分图像数据和深度数据D进行编码，并将作为编码结果的编码后数据提供给速率控制单元114 (箭头326)，并从速率控制单元114获取指定目标码量的速率控制信息(箭头328)。此外，编码单元413检测图像数据和深度数据D的位深度，根据检测结果对深度数据D的位进行偏移，并将指示偏移量的位偏移改变信息提供给复用单元115 (箭头329)。[编码单元的配置]接下来，描述编码单元413的细节。图29是描述图28的编码单元413的主要配置的示例的框图。编码单元413具有与参考图13的编码单元113基本类似的配置，并执行与编码单元113类似的过程。然而，编码单元413包括在位平面展开单元305与EBCOT单元321之间的位深度检测单元420和位偏移改变单元430。位深度检测单元420具有与位深度检测单元111基本类似的配置，并且执行与其类似的过程。然而，在位平面中被展开的图像数据和深度数据D的系数数据从位平面展开单元305被提供给位深度检测单元420 (箭头337)。位深度检测单元420检测系数数据的每个项的位深度。位深度检测单元420将在位平面中被展开的系数数据的每个数据和对其的检测结果(指示图像数据和深度数据D的位深度的信息)提供给位偏移改变单元430 (箭头 421)。位偏移改变单元430对从位深度检测单元420提供的在位平面中被展开的系数数据的每个系数中的深度数据D的系数数据的位进行偏移改变。该偏移改变方法与位偏移改变单元112的方法是相同的，只是处理目标不是基带数据而是经过小波变换的系数数据。但是，在这种情况下，由于系数数据的位被偏移，所以偏移量可能与第一实施例的情况不同。位偏移改变单元430对深度数据D的系数数据的位进行偏移改变，以使得深度数据D的系数数据的位深度与组分图像数据的系数数据的位深度相匹配。位偏移改变单元430将组分图像数据的系数数据在不对位进行偏移改变的情况下提供给EBCOT单元321 (箭头431)。此外，位偏移改变单元430将作为偏移改变的结果得到的深度数据D’的系数数据提供给EBCOT单元321 (箭头431)。此外，位偏移改变单元430将指示深度数据D的系数数据的偏移量的位偏移改变信息提供给复用单元115 (箭头432)。在这种情况下，偏移改变包括上移、下移和无偏移改变(O位偏移)。其它处理都与图13中所示的编码单元113的情况相同。[上移的示例]图30是描述这种情况的上移的示例的图。如图30中所示，当组分图像数据的系数数据441 (这里，为了描述的方便，只有亮度数据Y被示出)为M位并且深度数据D的系数数据为N位(M>N)时，位偏移改变单元430将深度数据D的系数数据上移(M-N)位的偏移量，并将在低位位置的(M-N)位填充O (深度数据D’)。位偏移改变单元430将该深度数据D’的系数数据443提供给EBCOT单元321。当按照这种方式在编码单元内执行偏移改变时，例如在读取存储在缓冲器等中的系数数据时，系数数据可以在假设其已经被偏移改变的情况下被处理，并且其实际上可以在不增加数据量的情况下被存储。因此，通过在编码单元内执行偏移改变，至少在EBCOT被执行之前存储系数数据的存储器容量可以被压缩。此外，由于允许省略位偏移改变单元112，所以可以抑制电路大小和成本的增加。[图像解码装置的配置]图31图示了与图像编码装置相对应的图像解码装置的配置的示例。在图31中，虽然图像解码装置450具有与图4的图像解码装置150基本类似的配置，但是位偏移改变单元153被省略了，并且解码单元452被包括来代替解码单元152。在该示例中，分离单元151从图像数据和深度数据中分离出位偏移改变信息。分离单元151将图像数据、深度数据和位偏移改变信息提供给解码单元452 (箭头162和箭头163)。S卩，解码单元452在其内部对深度数据D’的位进行偏移改变。解码单元452不仅输出组分图像数据(箭头163-1到箭头163-3)，而且输出经过偏移改变的深度数据D’(箭头 165)。[解码单元的配置]
图32是描述图31的解码单元452的主要配置的示例的框图。图32中所示的解码单元452具有与图22中所示的解码单元152基本类似的配置。但是，解码单元452包括在EBCOT单元371与位平面合成单元364之间的位偏移改变单元460。该位偏移改变单元460执行与位偏移改变单元153基本类似的处理，只是处理目标是深度数据D’的系数数据。位偏移改变单元460将深度数据D’的系数数据在与位偏移改变单元430执行的偏移改变相反的方向上偏移改变在从分解单元151提供的位偏移改变信息中指示的偏移量(箭头461 =箭头164)。位偏移改变单元460将被偏移改变后的深度数据D提供给位平面合成单元364(箭头 462)。[下移的示例]例如，当深度数据D的系数数据被上移(M-N)位时，位偏移改变单元460删除被填充O的作为深度数据D’的系数数据的低位的(M-N)位，并将高N位下移。当偏移改变在解码单元内被执行时，已在编码单元内被偏移改变的深度数据可以被恢复为原来的位深度。[编码过程的流程]接下来，描述每个过程的流程的示例。首先，参考图34的流程图描述编码单元413执行的编码过程的流程的示例。因为除了步骤S104的处理被省略以外，图像编码装置400执行的图像编码过程与参考图6描述的图像编码过程相同，所以相关的描述不再重复。此外，编码单元413的编码过程也基本与参考图23描述的编码过程相类似。但是，在步骤S407中，位深度检测单元420检测在步骤S406中已在位平面中被展开的图像数据的系数数据和深度数据的系数数据的位深度中的每一个。在步骤S408中，位偏移改变单元430基于在步骤S407中检测到的每个系数数据的位深度对深度数据D的系数数据的位进行偏移改变，以使得深度数据D的系数数据的位深度与图像数据的系数数据的位深度相匹配。在步骤S408中，EBCOT单元321对图像数据和已经过偏移改变的深度数据D’执行熵编码。步骤S401到S406和步骤S409到S413中的每个处理按照与图23的步骤S301到S311中的每个处理类似的方式被执行。[解码过程的流程]接下来，参考图35的流程图描述解码单元452执行的解码过程的流程图的示例。因为除了步骤S124的处理被省略以外，图像解码装置450执行的图像解码过程与参考图7描述的图像解码过程相类似，所以相关的描述不再重复。此外，解码单元452的解码过程也基本与参考图25描述的解码过程相类似。但是在步骤S464中，位偏移改变单元460将已在步骤S463中被解码的深度数据D的系数数据的位进行偏移改变。在步骤S465中，位平面合成单元364针对图像数据和深度数据D中的每一个的位平面进行合成。
步骤S461到S463和步骤S465到S469中的每个处理按照与图25的步骤S361到S368中的每个处理类似的方式被执行。如上所述，系数数据的位偏移可以在编码单元413和解码单元452中被执行。在这种情况下，图像编码装置400可以对图像数据和深度数据进行编码，可以更高效地提供立体视图。此外，图像解码装置450可以对图像数据和深度数据进行解码，这可以快速且更适当地提供按上述方式被编码的立体视图。[3.第三实施例][图像编码装置的配置]图36是图示了本发明被应用于的图像编码装置的配置的另一示例的框图。如图36中所示，上述编码器可以被应用于实际3D图像输入/编码系统。图36的图像编码装置500是接收3D图像并对其进行编码的装置。图像编码装置500的深度数据生成单元511接收X个相机图像和X个输出图像(521-1，521-2，…和521-X)，以像素为单位将这些图像内的相同时间点的图片进行对比，并生成该时间点的图片的深度数据522。所生成的深度数据例如可以用灰度级的位图数据来表示，如以上参考图2B所描述的。关于深度数据生成单元511用来生成深度数据的方法，来自多个机构的很多研究结果已被报道。例如，在 SPIE 会议中〃Algorithm for dynamic3D object generationfrom multi-viewpoint image" (5599，2004，153，161)作者K. Tomiyama, Y. Orihira, M.Katayama和Y. Iwadate)，如下技术被报道，其中目标物体的图像的3D形状根据具有多个视差的图像被自动预测并生成。深度数据生成单元511例如利用这种技术来生成深度数据。接下来，深度数据522被提供给深度数据编码单元512。深度数据编码单元512按照上述其它实施例中所描述的方式对深度数据522进行编码，并生成码流523。此外，X个输出图像(521-1，521-2，. ·.和521-X)被提供给相机图像选择单元513。相机图像选择单元513从X个输出图像中选择Y个图像。Y个相机图像(524-1，524-2，...和524-Y)被提供给相机图像编码单元514。相机图像编码单元514按照上述其它实施例中所描述的方式对Y个相机图像进行编码，并生成码流525-1到525-Y。此时，深度数据编码单元512和相机图像编码单元514可以交换关于它们的码生成量的信息，并联合执行对图像数据和深度数据的速率控制。码流523被提供给复用单元515。此外，码流525_1到525-Y被提供给复用单元515。此外，复用单元515还从深度数据编码单元512获取位偏移改变信息。复用单元515将码流523和码流525-1到525-Y进行复用，并生成复用数据526。复用数据526被输出到图像编码装置500的外部。此外，以上描述是关于从X个图像中选择Y个图像的技术。但是，只从X个图像中选择关键图像是一种有效的方式，因为例如当X的值很大时，信息量也很大。作为选择图像的方法，选择每隔一个图像或优先选择其中包括目标物体(例如，人、车等)的图像的图像是一种有效的方式。通过以这种方式缩减目标图像的数目，不仅可以减少编码器的处理负荷，而且可以减少后面要描述的解码器的处理负荷，并且因此可以减少整个码流的数据量。例如，会有这样的效果，即当数据在网上被传输时，可以实现快速传输。 根据来自多个机构的研究结果，在估计和生成高精度图像的深度数据时，一般来说，当具有不同视差的图像的数目增加时，精度变高。因此，图36的X的数据量越大越好。然而，如上所述，对全部X个图像进行编码和传输不是高效的。缩减数据是有效的方法。对图像中被缩减掉的部分的补充可以通过下述解码器来实现。此外，除了图36的配置以外，利用以下配置，深度数据和相机图像可以用相同的编码装置被编码相机图像的位深度被检测；检测到的位深度与深度数据的位深度进行比较；位偏移被执行以使得深度数据的位深度与相机图像的位深度相匹配；总共(Y+1)个项的图像数据，其中Y个图像数据项和已被进行了偏移改变的深度数据被组合然后被编码；位偏移值从复用单元被发送。[图像解码装置的配置]图37是图示了本发明被应用于的图像解码装置的配置的另一示例的框图。图37中所示的图像解码装置600是与图36的图像编码装置500相对应的装置，并且是对通过对三维图像数据的编码得到的编码后数据进行解码的装置。图像解码装置600包括分离单元611、深度数据解码单元612、相机图像解码单元613和图像呈现单元614。当经复用的码流621被提供时，分离单元611将其分成深度数据的码流622和Y个相机图像的码流(624-1，624-2，…，624-Y)。这Y个相机图像的码流(624-1，624-2，...，624-Y)被提供给相机图像解码单元613，并且深度数据的码流622被提供给深度数据解码单元612。相机图像解码单元613利用与相机图像编码单元514的编码方法对应的解码方法对Y个相机图像的码流(624-1，624-2，…，624-Y)进行解码，并生成Y个相机图像(625-1，625-2，...，625-Y)。Y 个相机图像(625-1，625-2，· · ·，625-Y)被提供给图像呈现单元 614。此外，深度数据的码流622被提供给深度数据解码单元612。深度数据解码单元612利用与深度数据编码单元512的编码方法对应的解码方法对深度数据的码流622进行解码。深度数据解码单元612将通过解码得到的深度数据623提供给图像呈现单元614。图像呈现单元614利用Y个相机图像(625-1，625-2，…，625-Y)和深度数据623合成出X个相机图像(Χ>γ)。合成X个相机图像的方法是任意的，但是例如在Christoph Fehn(HHI)的 SPIE-IS&T/Vol. 5291:"Depth-Image-Based Rendering (DIBR), Compression andTransmission for a New Approach on 3D_TV〃 中有报道已知的技术。虽然传统技术对组分图像数据和深度数据分开进行编码，但是根据以上描述，深度数据的位深度被调节以与组分图像数据的位深度匹配，然后对它们的编码用相同的编码装置来执行，并且同时控制它们的编码速率。因此，与传统的分开编码技术相比，编码可以被快速且高效地执行(具有更高的质量)。此外，在根据利用位平面的JPEG2000的编码中，在经过小波变换的系数在位平面中被展开之后，位偏移以码块为单位被执行，并且对MSB的位置的对齐被执行。因此，深度数据的位平面的编码速率和组分图像数据的位平面的编码速率被同时执行。〈4.第四实施例〉[个人计算机]
上述一系列过程可以利用硬件或者利用软件来执行。在该示例中，例如其可以利用图38中所示的个人计算机来配置。在图38中，个人计算机700的CPU 701根据存储在ROM (只读存储器)702中的程序或者从存储单元713被载入RAM (随机访问存储器)703的程序执行各种过程。CPU 701执行各种过程所需要的数据等也被适当地存储在RAM 703中。CPU 701、ROM 702和RAM 703经由总线704被连接到彼此。输入/输出接口 710也被连接到总线704。包括键盘、鼠标等的输入单元711 ;包括CRT (阴极射线管)、IXD (液晶显示器)等的显示器；包括扬声器等的输出单元712 ;利用硬盘等配置的存储单元713 ;以及利用调制解调器等配置的通信单元714被连接到输入/输出接口 710。通信单元714执行包括互联网的网络上的通信过程。驱动器715也被根据需要连接到输入/输出接口 710，诸如磁盘、光盘、磁光盘和半导体存储器之类的可移除介质721被适当地安装在其中，并且从可移除介质中读取的计算机程序根据需要被安装在存储单元713中。当上述一系列过程用软件来执行时，构成该软件的程序从网络或记录介质中被安装。记录介质例如可以利用其中记录有程序的、被分配为与如图38中所示的装置的主体相独立地将程序传送给用户的可移除介质721来配置，所述可移除介质例如磁盘(包括柔性盘)、光盘(包括⑶-ROM (紧致性只读存储器)和DVD (数字通用盘))或半导体存储器。或者，记录介质可以利用其中记录有程序的ROM 702或者包括在存储单元713中的硬盘来配置，所述记录介质以被提前嵌入到装置的主体中的嵌入形式被分配给用户。计算机所执行的程序可以是依照本申请说明书中所描述的过程以时间顺序的方式执行过程的程序，或者可以是并行地或者在必要的定时处(例如当发生调用时)执行过程的程序。此外，被记录在记录介质中的程序中所描述的步骤不仅可以包括按上述过程以时间顺序的方式被执行的步骤，还可以包括并行或者独立地被执行的步骤，而不需要以时间顺序的方式被执行。此外，在本申请的说明书中，术语“系统”表示通过包括多个设备(装置)来配置的装置的整体。此外，在以上描述中作为一个装置描述的配置(或一个处理单元)可以被分割以变成其中包括多个设备(处理单元)的配置。反之，被描述为包括多个装置(处理单元)的配置可以被集成以变成其中包括一个装置(处理单元)的配置。此外，除上述配置以外的配置可以被添加到每个装置(或处理单元)中。此外，如果作为整个系统的配置和操作是基本相同的，则某个装置(或某个处理单元)的配置的一部分可以被包括在另一装置(另一处理单元)的配置中。就是说，本发明的实施例不局限于上述实施例，并且在不脱离本发明主旨的范围内对这些实施例的各种修改都是可以的。本发明可以被应用于例如数字影院编辑装置、档案系统、用于广播电台的图像传送装置、图像数据库、医学图像记录系统、网络服务器、基于互联网的图像传送装置、无线传送装置、来自电影院的二级视频分配装置、非线性编辑装置、游戏机、电视系统、HDD记录器、基于PC的授权工具、软件模块等。 标号列表100 图像编码装置111 位深度检测单元112 位偏移改变单元113 编码单元114 速率控制单元115 复用单元150 图像解码装置151 分离单元152 解码单元153 位偏移改变单元400 图像处理装置413 编码单元430 位偏移改变单元450 图像解码装置452 解码单元460 位偏移改变单元
权利要求
1.一种图像处理装置，包括 编码单元，所述编码单元根据预定的编码系统对图像数据和深度数据进行编码，所述深度数据指示在所述图像数据的图像内的整个区域上的深度方向上的位置，并用于从所述图像数据的图像中生成具有视差且可立体观看的图像；以及 速率控制单元，所述速率控制单元利用所述编码单元对所述图像数据的编码结果以及所述编码单元对所述深度数据的编码结果，执行对在利用所述编码单元对所述图像数据进行编码过程中的码生成量的速率控制以及对利用所述编码单元对所述深度数据进行编码过程中的码生成量的速率控制。
2.根据权利要求I所述的图像处理装置，还包括 检测单元，所述检测单元检测所述图像数据的位深度；以及 偏移改变单元，所述偏移改变单元将所述深度数据进行如下偏移量的偏移改变，所述偏移量对应于所述检测单元所检测到的所述图像数据的位深度与所述深度数据的位深度·之间的差异。
3.根据权利要求2所述的图像处理装置，其中 所述偏移改变单元将所述深度数据上移所述差异的量并执行零填充，所述零填充将比被上移的所述深度数据更低位置的位中填充值为“0”的系数。
4.根据权利要求2所述的图像处理装置，其中 所述偏移改变单元从所述深度数据的最低位中删除与所述差异的量相对应的数据，并将未被删除的所述深度数据的较高位下移所述差异的量。
5.根据权利要求2所述的图像处理装置，还包括 复用单元，所述复用单元将所述图像数据的编码后数据与指示所述偏移改变单元执行的所述偏移改变的偏移量的偏移改变信息进行复用。
6.根据权利要求I所述的图像处理装置，其中 所述编码单元包括 正交变换单元，所述正交变换单元针对具有预定大小的每个宏块对所述图像数据和所述深度数据执行正交变换；以及 熵编码单元，所述熵编码单元对通过所述正交变换单元对所述图像数据和所述深度数据的正交变换得到的系数数据执行熵编码。
7.根据权利要求I所述的图像处理装置，其中 所述编码单元包括 小波变换单元，所述小波变换单元对所述图像数据和所述深度数据执行小波变换； 划分单元，所述划分单元以具有预定大小的码块为单位划分通过所述小波变换单元对所述图像数据和所述深度数据的小波变换得到的系数数据； 展开单元，所述展开单元在位平面中展开通过所述划分单元的划分得到的每个码块的系数数据；以及 熵编码单元，所述熵编码单元对所述图像数据和所述深度数据的所述系数数据的位平面执行熵编码，所述位平面由所述展开单元展开并按照重要性的顺序被重排。
8.根据权利要求7所述的图像处理装置，其中 所述编码单元还包括偏移改变单元，所述偏移改变单元将所述深度数据进行如下偏移量的偏移改变，所述偏移量与所述图像数据的系数数据的位深度与通过所述小波变换单元执行的小波变换得到的所述深度数据的系数数据的位深度之间的差异相对应。
9.根据权利要求8所述的图像处理装置，还包括 复用单元，所述复用单元将所述图像数据的编码后数据与指示所述偏移改变单元执行的所述偏移改变的偏移量的偏移改变信息进行复用。
10.根据权利要求I所述的图像处理装置，其中 所述图像数据是包括亮度Y、色差Cb和色差Cr的组分图像数据，并且 所述深度数据是灰度级的位图数据。
11.一种用于图像处理装置的图像处理方法，所述方法包括 所述图像处理装置的编码单元根据预定的编码系统对图像数据和深度数据进行编码，所述深度数据指示在所述图像数据的图像内的整个区域上的深度方向上的位置并用于从所述图像数据的图像中生成具有视差且可立体观看的图像；以及 所述图像处理装置的速率控制单元利用所述图像数据的编码结果以及所述深度数据的编码结果，执行对在对所述图像数据进行编码过程中的码生成量的速率控制以及对在对所述深度数据进行编码过程中的码生成量的速率控制。
12.—种程序，该程序使得计算机用作 编码单元，所述编码单元根据预定的编码系统对图像数据和深度数据进行编码，所述深度数据指示在所述图像数据的图像内的整个区域上的深度方向上的位置并用于从所述图像数据的图像中生成具有视差且可立体观看的图像；以及 速率控制单元，所述速率控制单元利用所述编码单元对所述图像数据的编码结果以及所述编码单元对所述深度数据的编码结果，执行对在利用所述编码单元对所述图像数据进行编码过程中的码生成量的速率控制以及对利用所述编码单元对所述深度数据进行编码过程中的码生成量的速率控制。
13.一种图像处理装置，包括 分离单元，所述分离单元从复用数据中分离出偏移改变信息，所述复用数据通过复用以下数据被得到通过对图像数据编码得到的编码后数据；通过将深度数据偏移改变预定的偏移量并对所述经过偏移改变后的深度数据进行编码而得到的编码后数据，所述深度数据指示在所述图像数据的图像内的整个区域上的深度方向上的位置并用于从所述图像数据的图像中生成具有视差且可立体观看的图像；以及指示所述偏移量的偏移改变信息； 解码单元，所述解码单元根据预定的解码系统对所述编码后数据进行解码；以及 偏移改变单元，所述偏移改变单元将在被所述解码单元解码之后经过偏移改变的深度数据在与所述偏移改变的方向相反的方向上偏移改变由所述分离单元分离出的所述偏移改变信息指示的偏移量。
14.根据权利要求13所述的图像处理装置，其中 所述偏移改变单元从所述深度数据的最低位中删除与所述偏移量相对应的数据，并将未被删除的所述深度数据的较高位下移所述偏移量。
15.根据权利要求13所述的图像处理装置，其中 所述偏移改变单元将所述深度数据上移所述偏移量并执行零填充，所述零填充将值为“0”的系数插入作为比被上移的所述深度数据更低位置的位。
16.根据权利要求13所述的图像处理装置，其中 所述解码单元包括 熵解码单元，所述熵解码单元对通过对图像数据进行编码得到的编码后数据和通过对深度数据进行偏移改变并对经偏移改变后的深度数据进行编码而得到的编码后数据执行熵解码；以及 逆正交变换单元，所述逆正交变换单元对通过对所述图像数据的正交变换得到的系数数据和通过对所述深度数据的正交变换得到的系数数据执行逆正交变换，所述系数数据通过所述熵解码单元的熵解码而被得到。
17.根据权利要求13所述的图像处理装置，其中 所述解码单元包括 熵解码单元，所述熵解码单元对通过对图像数据进行编码得到的编码后数据和通过对深度数据进行偏移改变并对经偏移改变后的深度数据进行编码而得到的编码后数据执行熵解码； 位平面合成单元，所述位平面合成单元合成所述系数数据的位平面，所述系数数据是通过所述熵解码单元执行的熵解码得到的并且是在所述位平面中被展开的； 码块合成单元，所述码块合成单元针对具有预定大小的每个码块合成所述系数数据，所述系数数据是通过所述位平面合成单元的合成得到的；以及 小波逆变换单元，所述小波逆变换单元针对通过所述码块合成单元的合成得到的每个子频带对所述系数数据执行小波逆变换，并得到所述图像数据和所述深度数据。
18.一种用于图像处理装置的图像处理方法，所述方法包括 所述图像处理装置的分离单元从复用数据中分离出偏移改变信息，所述复用数据通过复用以下数据被得到通过对图像数据编码得到的编码后数据；通过将深度数据偏移改变预定的偏移量并对所述经过偏移改变后的深度数据进行编码而得到的编码后数据，所述深度数据指示在所述图像数据的图像内的整个区域上的深度方向上的位置并用于从所述图像数据的图像中生成具有视差且可立体观看的图像；以及指示所述偏移量的偏移改变信息； 利用所述图像处理装置的解码单元根据预定的解码系统对所述编码后数据进行解码；以及 利用所述图像处理装置的偏移改变单元将在被所述解码单元解码之后经过偏移改变的深度数据在与所述偏移改变的方向相反的方向上偏移改变由所述分离单元分离出的所述偏移改变信息指示的偏移量。
19.一种程序，使得计算机用作 分离单元，所述分离单元从复用数据中分离出偏移改变信息，所述复用数据通过复用以下数据被得到通过对图像数据编码得到的编码后数据；通过将深度数据偏移改变预定的偏移量并对所述经过偏移改变后的深度数据进行编码而得到的编码后数据，所述深度数据指示在所述图像数据的图像内的整个区域上的深度方向上的位置并用于从所述图像数据的图像中生成具有视差且可立体观看的图像；以及指示所述偏移量的偏移改变信息； 解码单元，所述解码单元根据预定的解码系统对所述编码后数据进行解码；以及偏移改变单元，所述偏移改变单元将在被所述解码单元解码之后经过偏移改变的深度数据在与所述偏移改变的方向相反的方向上偏移改变由所述分离单元分离出的所述偏移 改变信息指示的偏移量。
全文摘要
本发明涉及可以进一步提高编码效率的图像处理装置、方法和程序。在步骤S104中，位偏移改变单元(112)利用检测到的图像数据的位深度对在步骤S103中所获取的深度数据(D)进行偏移改变，并且调节深度数据(D)的位深度以与图像数据的位深度匹配。在步骤S105中，编码单元(113)对图像数据和深度数据(D)进行编码。在步骤S106中，速率控制单元(114)基于在步骤S105中执行的对图像数据编码的结果和对深度数据编码的结果控制在步骤S105中执行的每个编码的速率。该弯曲的面部被设置为预测图像。本发明例如可被应用于图像处理装置。
文档编号H04N7/26GK102812716SQ20118001482
公开日2012年12月5日 申请日期2011年3月14日 优先权日2010年3月26日
发明者福原隆浩 申请人:索尼公司