图像处理设备和图像处理方法
【专利摘要】本技术涉及一种能够借其提高视差预测的预测效率的图像处理设备和图像处理方法。分辨率转换设备通过根据对要被编码的待编码图像进行编码时的预定编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像。编码设备通过利用打包图像作为待编码图像或者参考图像进行视差补偿，来生成待编码图像的预测图像，并且使用该预测图像，以该预定编码模式对待编码图像进行编码。本技术可以应用于例如对具有多个视点的图像进行编码和解码。
【专利说明】图像处理设备和图像处理方法
【技术领域】
[0001]本发明涉及一种图像处理设备和图像处理方法，并且涉及一种能够提高在对具有多个视点的图像进行编码和解码时进行的视差预测的预测效率的图像处理设备和图像处
理方法。
【背景技术】
[0002]对诸如3D (三维)图像等具有多个视点的图像进行编码的编码格式的示例包括作为AVC (高级视频编码)(H.264/AVC)的扩展的MVC (多视点视频编码)等。
[0003]根据MVC，待编码图像是以与来自被摄对象的光相对应的值作为像素值的彩色图像，通过参考具有那些需要的视点的彩色图像以及具有其它视点的彩色图像，对具有多个视点的每个彩色图像进行编码。
[0004]也就是说，根据MVC，在具有多视点的彩色图像中，一个视点的彩色图像被用作基本视图(Base View)图像,而其它视点的彩色图像被用作非基本视图(Non Base View)图像。
[0005]然后，只参考基本视图彩色图像本身来对该基本视图彩色图像进行编码，而除了参考非基本视图的彩色图像之外还按需要参考其它视图的图像来对非基本视图彩色图像进行编码。
[0006]也就是说，对于非基本视图彩色图像，按照需要进行视差预测，在该视差预测中，参考另一视图(视点)的彩色图像来生成预测图像，并且使用该预测图像来进行编码。
[0007]目前，最近，针对具有多视点的图像提出了这样的方法:该方法除了采用每个视点的彩色图像之外，还采用将与各视点的彩色图像的每个像素的视差相关的视差信息(深度信息)作为其像素值的视差信息图像(深度图像)，并且分别地对各视点的彩色图像和各视点的视差信息图像进行编码(例如，参见NPLl)。
[0008]引用列表_9] 非专利文献
[0010]NPLl:iiDraft CalI for Proposals on3D Video Coding Technology，，，INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALEDE NORMALISATION IS0/IEC JTC1/SC29/WG11C0DING OF MOVING PICTURES ANDAUDIO, MPEG2010/N11679Guangzhou, China, 0ctober2010
【发明内容】
[0011]抟术问是页
[0012]如上所述，对于具有多个视点的图像，在对其进行编码(和解码)时可以参考另一个视点的图像而对某个视点的图像进行视差预测，所以视差预测的预测效率(预测精度)影响编码效率。
[0013]鉴于此情况形成了本技术，本技术致力于能够提高视差预测的预测效率。[0014]问题的解决方案[0015]根据本技术的第一方面的图像处理设备包括:转换单元，被配置为通过根据对要 被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相 当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个 或更多视点的图像转换为打包图像；补偿单元，被配置为通过利用由转换单元转换的打包 图像作为待编码图像或者参考图像进行视差补偿，来生成待编码图像的预测图像；以及编 码单元，被配置为使用由补偿单元生成的预测图像，以编码模式对待编码图像进行编码。[0016]根据本技术的第一方面的图像处理方法包括步骤:通过根据对要被编码的待编码 图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的 图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图 像转换为打包图像；通过利用打包图像作为待编码图像或者参考图像进行视差补偿，来生 成待编码图像的预测图像；以及使用预测图像，以编码模式对待编码图像进行编码。[0017]通过上述的第一方面，通过根据对要被编码的待编码图像进行编码时的编码模 式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打 包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；通 过利用打包图像作为待编码图像或者参考图像进行视差补偿，来生成待编码图像的预测图 像；以及使用预测图像，以编码模式对待编码图像进行编码。[0018]根据本技术的第二方面的图像处理设备，包括:补偿单元，被配置为通过进行视差 补偿来生成要被解码的待解码图像的预测图像，预测图像用于对通过以下步骤获得的编码 流进行解码:通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个 或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更 多视点的图像中的具有两个或更多视点的图像转换为打包图像；通过利用打包图像作为待 编码图像或者参考图像进行视差补偿，来生成待编码图像的预测图像；以及使用预测图像， 以编码模式对待编码图像进行编码；解码单元，被配置为使用由补偿单元生成的预测图像， 以编码模式对编码流进行解码；以及逆转换单元，被配置为在通过由解码单元对编码流进 行解码而获得的待解码图像是打包图像的情况下，通过遵循打包模式进行分离，将打包图 像逆转换为原始的具有两个或更多视点的图像。[0019]根据本技术的第二方面的图像处理方法包括步骤:通过进行视差补偿来生成要被 解码的待解码图像的预测图像，预测图像用于对通过以下步骤获得的编码流进行解码:通 过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图 像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中 的具有两个或更多视点的图像转换为打包图像；通过利用打包图像作为待编码图像或者参 考图像进行视差补偿，来生成待编码图像的预测图像；以及使用预测图像，以编码模式对待 编码图像进行编码；使用预测图像，以编码模式对编码流进行解码；以及在通过对编码流 进行解码而获得的待解码图像是打包图像的情况下，通过遵循打包模式进行分离，将打包 图像逆转换为原始的具有两个或更多视点的图像。[0020]通过上述的第二方面，通过进行视差补偿来生成要被解码的待解码图像的预测图 像，预测图像用于对通过以下步骤获得的编码流进行解码:通过根据对要被编码的待编码 图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；通过利用打包图像作为待编码图像或者参考图像进行视差补偿，来生成待编码图像的预测图像；以及使用预测图像，以编码模式对待编码图像进行编码；使用预测图像，以编码模式对编码流进行解码；以及在通过对编码流进行解码而获得的待解码图像是打包图像的情况下，通过遵循打包模式进行分离，将打包图像逆转换为原始的具有两个或更多视点的图像。
[0021]请注意:该图像处理设备可以是独立设备，或者可以是配置一个设备的内部模块。
[0022]此外，可以通过使计算机执行程序来实现该图像处理设备，并且可以通过经由传输介质的传输来提供该程序或者可以将该程序记录在记录介质中。
[0023]发明的有益.效果
[0024]根据本发明，可以提高视差预测的预测效率。
【专利附图】
【附图说明】
[0025]图1是例示应用本技术的传输系统的实施例的配置示例的框图。
[0026]图2是例示传输设备11的配置示例的框图。
[0027]图3是例示接收设备12的配置示例的框图。
[0028]图4是用于描述分辨率转换设备21C进行的分辨率转换的图。
[0029]图5是例示编码设备22C的配置示例的框图。
[0030]图6是用于描述当使用MVC预测编码生成预测图像(参考图像)时的图片引用的图。
[0031]图7是用于描述通过MVC对图片进行编码(和解码)的顺序的图。
[0032]图8是用于描述编码器41和42处的时间预测和视差预测的图。
[0033]图9是例示编码器42的配置示例的框图。
[0034]图10用于描述MVC (AVC)中的宏块类型的图。
[0035]图11是用于描述MVC (AVC)中的预测矢量(PMV)的图。
[0036]图12是例示帧间预测单元123的配置示例的框图。
[0037]图13是例示视差预测单元131的配置示例的框图。
[0038]图14是例示解码设备32C的配置示例的框图。
[0039]图15是例示解码器212的配置示例的框图。
[0040]图16是例示帧间预测单元250的配置示例的框图。
[0041]图17是例示视差预测单元261的配置示例的框图。
[0042]图18是例示传输设备11的另一配置示例的框图。
[0043]图19是例示接收设备12的另一配置示例的框图。
[0044]图20是用于描述分辨率转换设备321C进行的分辨率转换以及逆分辨率转换设备333C进行的逆分辨率转换的图。
[0045]图21是用于描述传输设备11的处理的流程图。
[0046]图22是用于描述接收设备12的处理的流程图。
[0047]图23是例示编码设备322C的配置示例的框图。
[0048]图24是例示编码器342的配置示例的框图。[0049]图25是用于描述在SEI生成单元351处生成的分辨率转换SEI的图。[0050]图 26 是描述给参数 num_views_minus_l、view_id[i]、fame_packing_info[i]、 frame_field_coding 和 view_id_in_frame[i]设定的值的图。[0051]图27是用于描述由视差预测单元131对打包彩色图像的图片(场)进行的视差预 测的图。[0052]图28是用于描述编码器342对打包彩色图像进行编码的编码处理的流程图。[0053]图29是用于描述视差预测单元131进行的视差预测处理的流程图。[0054]图30是例示解码设备332C的配置示例的框图。[0055]图31是例示解码器412的配置示例的框图。[0056]图32是用于描述解码器412对打包彩色图像的编码数据进行解码的解码处理的 流程图。[0057]图33是用于描述视差预测单元261进行的视差预测的流程图。[0058]图34是例示编码设备322C的另一个配置示例的框图。[0059]图35例示编码器542的配置示例的框图。[0060]图36是用于描述由视差预测单元131对中间视点彩色图像的图片(场)进行的视 差预测的图。[0061]图37是用于描述编码器542对打包彩色图像进行编码的编码处理的流程图。[0062]图38是用于描述视差预测单元131进行的视差预测处理的流程图。[0063]图39是例示解码设备332C的配置示例的框图。[0064]图40是例示解码器612的配置示例的框图。[0065]图41是用于描述解码器612对中间视点彩色图像的编码数据进行解码的解码处 理的流程图。[0066]图42是用于描述视差预测单元261进行的视差预测处理的流程图。[0067]图43例示传输设备11的又一个配置示例的框图。[0068]图44是例示编码设备722C的配置示例的框图。[0069]图45是例示编码器842的配置示例的框图。[0070]图46是用于描述透视和深度的图。[0071]图47是例示应用本技术的计算机的实施例的配置示例的框图。[0072]图48是例示应用本技术的电视的示意性配置示例的图。[0073]图49是例示应用本技术的移动电话的示意性配置示例的图。[0074]图50是例示应用本技术的记录/再现设备的示意性配置示例的图。[0075]图51是例示应用本技术的成像设备的示意性配置示例的图。【具体实施方式】[0076][深度图像(本说明书中的视差信息图像)的描述][0077]图46是用于描述视差和深度的图。[0078]如图46中所示，在由位于位置Cl处的照相机Cl和位于位置C2处的照相机c2来 拍摄被摄对象M的彩色图像的情况下，作为在由照相机Cl (照相机c2)的深度方向上距被 摄对象M的距离的深度Z由下面的表达式(a)定义。[0079]Z= (L/d) X f...(a)
[0080]请注意:L是位置Cl与位置C2在水平方向上的距离(下文中称为照相机间距离)。此外，d是通过从距离Ul减去距离u2而获得的值，即视差，其中，距离Ul是由照相机Cl拍摄的彩色图像上的被摄对象M的位置在水平方向上距彩色图像的中心的距离，距离u2是由照相机c2拍摄的彩色图像上的被摄对象M的位置在水平方向上距彩色图像的中心的距离。此外，f是照相机Cl的焦距，表达式(a)假设照相机Cl和照相机c2的焦距相同。
[0081]如表达式(a)所示，视差d和深度Z可唯一地变化。因此，根据本说明书，表示由照相机Cl和照相机c2拍摄的双视点彩色图像的视差d的图像以及表示深度Z的图像将被统称为深度图像(视差息图像)。
[0082]请注意:深度图像(视差信息图像)足以成为表示视差d或者深度Z的图像，并且视差d被归一化的值、深度Z的倒数1/Z被归一化的值等可以用于深度图像(视差信息图像)的像素值，而不是视差d或者深度Z本身用于深度图像(视差信息图像)的像素值。
[0083]可以通过下述表达式(b)获得视差d以8位(O到255)归一化的值I。请注意:用于归一化视差d的位数并不限于8位，可以是其它位数，诸如10位、12位等。
[0084][数学式4]
【权利要求】
1.一种图像处理设备，包括: 转换单元，被配置为通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像； 补偿单元，被配置为通过利用由所述转换单元转换的所述打包图像作为所述待编码图像或者参考图像进行视差补偿，来生成所述待编码图像的预测图像；以及 编码单元，被配置为使用由所述补偿单元生成的所述预测图像，以所述编码模式对所述待编码图像进行编码。
2.根据权利要求1所述 的图像处理设备，其中，在所述编码模式是场编码模式的情况下，所述转换单元将所述具有两个视点的图像转换为这样的打包图像:在所述打包图像中，垂直方向上的分辨率被变为1/2的所述具有两个视点的图像的各行被交替地排列。
3.根据权利要求2所述的图像处理设备，还包括: 决定单元，被配置为根据所述编码模式来决定所述打包模式。
4.根据权利要求2所述的图像处理设备，还包括: 传输单元，被配置为传输表示所述打包模式的信息和由所述编码单元编码的编码流。
5.一种图像处理方法，包括步骤: 通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像； 通过利用所述打包图像作为所述待编码图像或者参考图像进行视差补偿，来生成所述待编码图像的预测图像；以及 使用所述预测图像，以所述编码模式对所述待编码图像进行编码。
6.一种图像处理设备，包括: 补偿单元，被配置为通过进行视差补偿来生成要被解码的待解码图像的预测图像，所述预测图像用于对通过以下步骤获得的编码流进行解码: 通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像； 通过利用所述打包图像作为所述待编码图像或者参考图像进行视差补偿，来生成所述待编码图像的预测图像；以及 使用所述预测图像，以所述编码模式对所述待编码图像进行编码； 解码单元，被配置为使用由所述补偿单元生成的所述预测图像，以所述编码模式对所述编码流进行解码；以及 逆转换单元，被配置为在通过由所述解码单元对所述编码流进行解码而获得的所述待解码图像是打包图像的情况下，通过遵循所述打包模式进行分离，将所述打包图像逆转换为原始的具有两个或更多视点的图像。
7.根据权利要求6所述的图像处理设备，其中，在所述编码模式是场编码模式的情况下: 所述打包图像是这样的相当于一个视点的图像:在所述相当于一个视点的图像中，垂直方向上的分辨率被变为1/2的所述具有两个视点的图像的各行被交替地排列；并且其中，所述逆转换单元将所述打包图像逆转换为原始的具有两个视点的图像。
8.根据权利要求7所述的图像处理设备，还包括:接收单元，被配置为接收表示所述打包模式的信息和由所述编码单元编码的所述编码流。
9.一种图像处理方法，包括步骤:通过进行视差补偿来生成要被解码的待解码图像的预测图像，所述预测图像用于对通过以下步骤获得的编码流进行解码:通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；通过利用所述打包图像作为所述待编码图像或者参考图像进行视差补偿，来生成所述待编码图像的预测图像；以及使用所述预测图像，以所述编码模式对所述待编码图像进行编码；使用所述预测图像，以所述编码模式对所述编码流进行解码；以及在通过对所述编码流进行解码而获得的所述待解码图像是打包图像的情况下，通过遵循所述打包模式进行分离，将所述打包图像逆转换为原始的具有两个或更多视点的图像。
【文档编号】H04N19/597GK103563387SQ201280025508
【公开日】2014年2月5日 申请日期:2012年5月1日 优先权日:2011年5月16日
【发明者】高桥良知, 服部忍 申请人:索尼公司