图像处理设备和图像处理方法

图像处理设备和图像处理方法
【专利摘要】本发明涉及一种使得具有不同分辨率的彩图图像和深度图像能够被一起编码的图像处理设备和图像处理方法。图像帧转换单元将深度图像的分辨率转换为与彩色图像相同的分辨率。附加信息生成单元生成附加信息，该附加信息包括：标识彩色图像的信息或者标识深度图像的信息；表示在经过分辨率转换的深度图像中包含的黑色区域的图像帧转换信息；以及标识彩色图像与深度图像的分辨率是否不同的分辨率信息。本发明例如可以应用到用于多视点图像的图像处理设备。
【专利说明】图像处理设备和图像处理方法
【技术领域】
[0001]本技术涉及一种图像处理设备和图像处理方法，并且特别地涉及一种能够对具有不同分辨率的彩色图像和深度图像共同进行编码或解码的图像处理设备和图像处理方法。
【背景技术】
[0002]最近，3D图像受到关注。通常是通过戴眼镜观看两个视点的交替显示的图像的方法来观看3D图像，在该眼镜中，当显示两个视点的图像之一时，用于左眼的快门打开，并且当显示另一图像时，用于右眼的快门打开(在下文中，称为戴眼镜的方法)。
[0003]然而，在这种戴眼镜的方法中，观看者除了购买3D图像显示设备外还要购买眼镜，使得观看者的购买动机降低。在观看时，观看者应当戴眼镜，使得观看变得繁琐。因此，对能够在不戴眼镜的情况下观看3D图像的观看方法(在下文中，称为不戴眼镜的方法)的需求增加。
[0004]在不戴眼镜的方法中，三个或者更多个视点的图像被显示，使得对每个视点的可视角度不同，并且通过由右眼和左眼观看任选的两个视点的每个图像，观看者可以不戴眼镜观看3D图像。
[0005]获得预定视点的彩色图像和深度图像并且使用该彩色图像和该深度图像生成包括不同于预定视点的视点的多个视点的彩色图像来进行显示的方法被研究，作为通过不戴眼镜的方法来显示3D图像的方法。同时，术语“多视点”想要表达的是三个或者更多个视点。
[0006]对彩色图像和深度图像单独地进行编码的方法被提出作为对具有多视点的彩色图像和深度图像进行编码的方法(例如，参考专利文献I)。
[0007]引f列表
[0008]非专利文献
[0009]非专利文献INTERNATIONAL ORGANIZATION FOR STANDARDISATION ORGANISATIONINTERNATIONALE DE NORMALISATION IS0/IEC JTC1/SC29/WG11C0DING OF MOVING PICTURESAND AUDIO，广州，中国，2010年10月。

【发明内容】

[0010]发明要解决的问题
[0011 ] 在传统的MVC (多视点视频编码)标准中，假定要编码的图像的分辨率相同。因此，如图1A所示，当符合MVC标准的编码设备对相同分辨率的彩色图像(彩色)和深度图像(深度)进行编码时，编码设备可以对彩色图像和深度图像共同进行编码。
[0012]然而，如图1B所示，当符合MVC标准的编码设备对分辨率不同的彩色图像(彩色)和深度图像(深度)进行编码时，不可以对深度图像和彩色图像共同进行编码。因此，需要设置对彩色图像进行编码的编码器和对深度图像进行编码的编码器。类似地，解码设备应当设置有对彩色图像进行解码的解码器和对深度图像进行解码的解码器。[0013]因此，期望编码设备对分辨率不同的彩色图像和深度图像共同进行编码，并且期望解码设备对编码结果进行解码。
[0014]本技术是在考虑到该情况的情形下实现的，从而使得可以对分辨率不同的彩色图像和深度图像共同进行编码或者解码。
[0015]问题的解决方案
[0016]根据本技术第一方面的图像处理设备是一种图像处理设备，包括:分辨率转换单元，其将深度图像的分辨率转换为与彩色图像的分辨率相同的分辨率；生成单元，其生成附加信息，该附加信息包括指定彩色图像或者深度图像的信息，指示在分辨率经过分辨率转换单元转换的深度图像中包括的图像的区域的转换信息，以及辨别彩色图像的分辨率与深度图像的分辨率是否彼此不同的分辨率信息；以及发送单元，其发送彩色图像、深度图像以及由生成单元生成的附加信息。
[0017]根据本技术第一方面的图像处理方法对应于根据本技术第一方面的图像处理设备。
[0018]在本技术的第一方面中，将深度图像的分辨率转换为与彩色图像的分辨率相同的分辨率；生成附加信息，该附加信息包括:指定彩色图像或者深度图像的信息，指示在分辨率被转换的深度图像中包括的图像的区域的转换信息，以及辨别彩色图像的分辨率与深度图像的分辨率是否彼此不同的分辨率信息；以及发送彩色图像、深度图像以及附加信息。
[0019]根据本技术第二方面的图像处理设备是一种图像处理设备，包括:接收单元，其接收彩色图像，分辨率被转换为与彩色图像的分辨率相同的分辨率的深度图像，以及附加信息，该附加信息包括指定彩色图像或者深度图像的信息，指示在深度图像中包括的图像的区域的转换信息以及辨别彩色图像的分辨率与深度图像的分辨率是否彼此不同的分辨率信息；提取单元，其基于由接收单元接收的附加信息来从深度图像提取分辨率转换前的深度图像；以及生成单元，其使用彩色图像和由提取单元提取的深度图像来生成新的彩色图像。
[0020]根据本技术第二方面的图像处理方法对应于根据本技术第二方面的图像处理设备。
[0021]在本技术的第二方面中，接收彩色图像、分辨率被转换为与彩色图像的分辨率相同的分辨率的深度图像、以及附加信息，该附加信息包括指定彩色图像或者深度图像的信息，指示在深度图像中包括的图像的区域的转换信息，以及辨别彩色图像的分辨率与深度图像的分辨率是否彼此不同的分辨率信息；基于接收的附加信息来从深度图像中提取分辨率转换前的深度图像；以及使用彩色图像和提取的深度图像生成新的彩色图像。
[0022]同时，可以通过使计算机执行程序来实现根据第一方面和第二方面的图像处理设备。
[0023]用于实现根据第一方面和第二方面的图像处理设备的由计算机执行的程序可以经由传输介质被传输或者记录在记录介质上从而被提供。
[0024]发明的效果
[0025]根据本技术的第一方面，可以对分辨率不同的彩色图像和深度图像共同进行编码。
[0026]根据本技术的第二方面，可以对经共同编码的、分辨率不同的彩色图像和深度图像进行解码。
【专利附图】

【附图说明】
[0027]图1是例示在MVC标准下进行编码的视图。
[0028]图2是例示作为本技术应用于的图像处理设备的编码设备的第一实施方式的结构示例的框图。
[0029]图3是例示由图2中的图像帧转换单元执行的图像帧转换处理的视图。
[0030]图4是例示图像帧转换信息的结构示例的视图。
[0031]图5是例示编码比特流的访问单元的结构示例的视图。
[0032]图6是例示图5中的SEI的一部分的描述示例的视图。
[0033]图7是例示图2中的编码设备的编码处理的流程图。
[0034]图8是详细例示图7中的附加信息生成处理的流程图。
[0035]图9是详细例不图7中的多视点编码处理的流程图。
[0036]图10是例示作为本技术应用于的图像处理设备的解码设备的第一实施例的结构示例的框图。
[0037]图11是例示图10中的解码设备的解码处理的流程图。
[0038]图12是详细例示图11中的多视点解码处理的流程图。
[0039]图13是详细例示图11中的提取处理的流程图。
[0040]图14是例示作为本技术应用于的图像处理设备的编码设备的第二实施例的结构示例的框图。
[0041]图15是例示编码比特流的访问单元的另一结构示例的视图。
[0042]图16是例示图15中的SPS的一部分的描述示例的视图。
[0043]图17是例示由图14中编码设备生成的SPS的一部分的描述示例的视图。
[0044]图18是例示图15中的子集(Subset) SPS的一部分的描述示例的视图。
[0045]图19是例示由图14中编码设备生成的子集SPS的一部分的描述示例的视图。
[0046]图20是例示图15中的SEI的一部分的描述示例的视图。
[0047]图21是详细例示图14中的编码设备的多视点编码处理的流程图。
[0048]图22是例示作为本技术应用于的图像处理设备的解码设备的第二实施例的结构示例的框图。
[0049]图23是详细例示图22中的解码设备的多视点解码处理的流程图。
[0050]图24是例示视差和深度的视图。
[0051 ] 图25是例示计算机的一个实施例的结构示例的视图。
[0052]图26是例示本技术应用于的电视设备的示意性结构示例的视图。
[0053]图27是例示本技术应用于的移动电话的示意性结构示例的视图。
[0054]图28是例示本技术应用于的记录/再现设备的示意性结构示例的视图。
[0055]图29是例示本技术应用于的图像拍摄设备的示意性结构示例的视图。
【具体实施方式】
[0056]〈本说明书中的深度图像的描述〉[0057]图24是例不视差和深度的视图。
[0058]如图24所示，当被摄体M的彩色图像通过布置在位置Cl的照相机cl和布置在位置C2照相机c2进行拍摄时，作为在深度方向上从照相机Cl (照相机c2)到被摄体M的距离的深度Z由如下的式子(a)定义:
[0059]Z = (L/d) Xf...(a)
[0060]同时，L表示在水平方向上位置Cl和位置C2之间的距离(在下文中，称为照相机间距离)。此外，d表示通过从距离Ul中减去距离u2所获得的值，Ul为被摄体M在由照相机Cl拍摄的图像上的位置与所拍摄的图像的中心之间在水平方向上的距离，u2为被摄体M在由照相机c2拍摄的图像上的位置与所拍摄的图像的中心之间在水平方向上的距离，也就是说，d表示视差。此外f表示照相机Cl的焦距，并且假定在式子(a)中照相机Cl的焦距与照相机c2的焦距相同。
[0061]如式子(a)所示，视差d和深度Z可以进行唯一转换。因此，在本说明书中，指示由照相机Cl和c2拍摄的两个视点的彩色图像的视差d的图像与指示深度Z的图像共同称作为深度图像。
[0062]同时，指示视差d或者深度Z的图像可以用作为深度图像，不是视差d或者深度Z本身，而是通过对视差d进行正规化所获得的值、通过对深度Z的倒数1/Z进行正规化所获得的值等可以被采用作为深度图像的像素值。
[0063]通过将视差d正规化为8比特(O到255)所获得的值I可以由如下式子(b)获得。同时，视差d未必要正规化为8比特，视差d也可以正规化为10比特、12比特等。
[0064][式3]
【权利要求】
1.一种图像处理设备，包括:分辨率转换单元，其将深度图像的分辨率转换为与彩色图像的分辨率相同的分辨率；生成单元，其生成附加信息，所述附加信息包括:指定所述彩色图像或者所述深度图像的信息，指示在分辨率经过所述分辨率转换单元转换的所述深度图像中包括的图像的区域的转换信息，以及辨别所述彩色图像的分辨率与所述深度图像的分辨率是否彼此不同的分辨率信息；以及 发送单元，其发送所述彩色图像、所述深度图像以及由所述生成单元生成的所述附加信息。
2.根据权利要求1所述的图像处理设备，还包括: 编码单元，其对所述彩色图像和所述深度图像进行编码以生成比特流，其中， 所述发送单元发送由所述编码单元编码的所述比特流以及由所述生成单元生成的所述附加信息。
3.根据权利要求2所述的图像处理设备，其中， 所述编码单元使用MVC (多视点视频编码)方案对所述彩色图像和所述深度图像进行编码，并且生成所述附加信息，以作为SEI (补充增强信息)，所述SEI是所述比特流的补充信息。
4.根据权利要求2所述的图像处理设备，其中， 所述编码单元使用MVC (多视点视频编码)方案对所述彩色图像和所述深度图像进行编码，生成指定所述彩色图像或者所述深度图像的信息以作为SEI (补充增强信息)，所述SEI是所述比特流的补充信息，并且生成所述转换信息和所述分辨率信息以作为所述比特流的子集SPS (序列参数集)。
5.根据权利要求1所述的图像处理设备，其中， 所述分辨率转换单元通过将所述图像添加到分辨率比所述彩色图像的分辨率低的所述深度图像来将所述深度图像的分辨率转换为与所述彩色图像的分辨率相同的分辨率。
6.—种图像处理方法,包括:分辨率转换步骤，将深度图像的分辨率转换为与彩色图像的分辨率相同的分辨率；生成步骤，生成附加信息，所述附加信息包括:指定所述彩色图像或者所述深度图像的信息，指示在分辨率通过所述分辨率转换步骤的处理而被转换的所述深度图像中包括的图像的区域的转换信息，以及辨别所述彩色图像的分辨率与所述深度图像的分辨率是否彼此不同的分辨率信息；以及 发送步骤，发送所述彩色图像、所述深度图像以及通过图像处理设备的所述生成步骤的处理而生成的所述附加信息。
7.一种图像处理设备，包括: 接收单元，其接收彩色图像，分辨率被转换为与所述彩色图像的分辨率相同的分辨率的深度图像，以及附加信息，所述附加信息包括:指定所述彩色图像或者所述深度图像的信息，指示在所述深度图像中包括的图像的区域的转换信息，以及辨别所述彩色图像的分辨率与所述深度图像的分辨率是否彼此不同的分辨率信息； 提取单元，其基于由所述接收单元接收的所述附加信息来从所述深度图像中提取分辨率转换前的深度图像；以及生成单元，其使用所述彩色图像和由所述提取单元提取的所述深度图像来生成新的彩色图像。
8.根据权利要求7所述的图像处理设备，还包括: 解码单元，其对通过编码所述彩色图像和所述深度图像而获得的比特流进行解码，其中， 所述接收单元接收所述比特流和所述附加信息， 所述解码单元对由所述接收单元接收的所述比特流进行解码以生成所述彩色图像和所述深度图像，并且 所述提取单元基于所述附加信息从由所述解码单元生成的所述深度图像中提取所述分辨率转换前的深度图像。
9.根据权利要求8所述的图像处理设备，其中， 所述接收单元接收通过使用MVC (多视点视频编码)方案对所述彩色图像和所述深度图像进行编码而获得的所述比特流，以及被生成为SEI (补充增强信息)的所述附加信息，所述SEI是所述比特流的补充信息。
10.根据权利要求8所述的图像处理设备，其中， 所述接收单元接收通过使用MVC (多视点视频编码)方案对所述彩色图像和所述深度图像进行编码而获得的所述比特流，被生成为作为所述比特流的补充信息的SEI (补充增强信息)、指定所述彩色图像或者所述深度图像的信息，以及被生成为所述比特流的子集SPS (序列参数集)的所述分辨率信息和所述转换信息。
11.根据权利要求7所述的图像处理设备，其中， 通过将所述图像添加到分辨率比所述彩色图像的分辨率低的所述深度图像来将所述深度图像的分辨率转换为与所述彩色图像的分辨率相同的分辨率。
12.—种图像处理方法，包括: 接收步骤，接收彩色图像、分辨率被转换为与所述彩色图像的分辨率相同的分辨率的深度图像、以及附加信息，所述附加信息包括:指定所述彩色图像或者所述深度图像的信息，指示在所述深度图像中包括的图像的区域的转换信息，以及辨别所述彩色图像的分辨率与所述深度图像的分辨率是否彼此不同的分辨率信息； 提取步骤，基于通过所述接收步骤的处理而接收的所述附加信息来从所述深度图像中提取分辨率转换前的深度图像；以及 生成步骤，使用所述彩色图像和通过图像处理设备的所述提取步骤的处理而提取的所述深度图像来生成新的彩色图像。
【文档编号】H04N15/00GK103430557SQ201280012936
【公开日】2013年12月4日 申请日期:2012年3月9日 优先权日:2011年3月18日
【发明者】高桥良知, 服部忍 申请人:索尼公司