前述的说明中，说明了图像编码装置和图像解码装置的结构和处理工作，但是，能够通过与这些图像编码装置和图像解码装置的各部分的工作对应的处理工作来实现本发明的图像编码方法和图像解码方法。
[0165]此外，在前述的说明中，设为参考深度图为针对用与编码对象摄像机或解码对象摄像机不同的摄像机拍摄的图像的深度图来进行了说明，但是，也可以将针对由编码对象摄像机或解码对象摄像机拍摄的图像的深度图用作参考深度图。
[0166]图25是示出通过计算机和软件程序构成前述的图像编码装置100a~100d的情况下的硬件结构的框图。图25所示的系统为以总线连接有以下各部的结构:执行程序的CPU(Central Processing Unit,中央处理单元)50、存储有CPU50所访问的程序、数据的RAM(Random Access Memory，随机存取存储器)等存储器51、输入来自摄像机等的编码对象的图像信号的编码对象图像输入部52 (也可以是利用磁盘装置等的存储图像信号的存储部)、输入来自摄像机等的参考对象的图像信号的参考图像输入部53(也可以是利用磁盘装置等的存储图像信号的存储部)、输入来自深度摄像机等的针对与拍摄编码对象图像的摄像机不同的位置、方向的摄像机的深度图的参考深度图输入部54 (也可以是利用磁盘装置等的存储深度图的存储部)、储存有使CPU50执行图像编码处理的软件程序即图像编码程序551的程序存储装置55、以及例如经由网络输出通过CPU50执行被加载到存储器51中的图像编码程序551而生成的位流的位流输出部56(也可以是利用磁盘装置等的存储位流的存储部)。
[0167]图26是示出通过计算机和软件程序构成前述的图像解码装置200a~200d的情况下的硬件结构的框图。图26所示的系统为以总线连接有以下各部的结构:执行程序的CPU60、CPU60访问的储存程序、数据的RAM等存储器61、输入图像编码装置利用本方法来进行编码后的位流的位流输入部62 (也可以是利用磁盘装置等的存储位流的存储部)、输入来自摄像机等的参考对象的图像信号的参考图像输入部63(也可以是利用磁盘装置等的存储图像信号的存储部)、输入来自深度摄像机等的针对与拍摄解码对象的摄像机不同的位置、方向的摄像机的深度图的参考深度图输入部64(也可以是利用磁盘装置等的存储深度信息的存储部)、储存有使CPU60执行图像解码处理的软件程序即图像解码程序651的程序存储装置65、以及将通过CPU60执行被加载到存储器61中的图像解码程序651来对位流进行解码而得到的解码对象图像输出到再生装置等中的解码对象图像输出部66(也可以是利用磁盘装置等的存储图像信号的存储部)。
[0168]也可以通过计算机实现前述的实施方式中的图像编码装置100a~100d和图像解码装置200a~200d。在该情况下，将用于实现该功能的程序记录在计算机可读取的记录介质中，使计算机系统读入记录在该记录介质中的程序并执行，由此，也可以实现。再有，在此所说的“计算机系统”包含OS (Operating System，操作系统)、周围设备等硬件。此外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM (Read Only Memory，只读存储器)、⑶(Compact Disc，紧致盘)-R0M等可移动介质、内置于计算机系统的硬盘等存储装置。进而，“计算机可读取的记录介质”也可以还包含像在经由因特网等网络或电话线路等通信线路来发送程序的情况下的通信线那样在短时间的期间动态地保持程序的记录介质、像在该情况下的成为服务器或客户端的计算机系统内部的易失性存储器那样将程序保持固定时间的记录介质。此外，上述程序也可以是用于实现前述的功能的一部分的程序，进而，还可以是能通过与已经记录在计算机系统中的程序的组合来实现前述的功能的程序，也可以是使用 PLD (Programmable Logic Device，可编程逻辑器件)、FPGA (Field Programmable GateArray，现场可编程门阵列)等硬件来实现的程序。
[0169]以上，参考【附图说明】了本发明的实施方式，但是，上述实施方式只不过是本发明的例示，显然本发明并不限定于上述实施方式。因此，也可以在不偏离本发明的技术思想和范围的范围内进行结构要素的追加、省略、替换、其它变更。
[0170]产业上的可利用性
本发明能够应用于在使用针对从与拍摄编码(解码)对象图像的摄像机不同的位置拍摄的图像的深度图来对编码(解码)对象图像进行视差补偿预测时以较少的运算量达成高的编码效率的用途。
[0171]附图标记的说明
101…编码对象图像输入部、102…编码对象图像存储器、103...参考图像输入部、104…参考深度图输入部、105…视点合成图像生成部、106…视点合成图像存储器、107…视点合成可否判定部、108…图像编码部、110…视点合成部、111…遮挡图存储器、112…编码信息生成部、113…视点合成可能区域决定部、114…视点合成可能区域数目编码部、201…位流输入部、202…位流存储器、203…参考图像输入部、204...参考深度图输入部、205…视点合成性图像生成部、206…视点合成图像存储器、207…视点合成可否判定部、208…图像解码部、209…视点合成部、210…遮挡图存储器、211…编码信息生成部、212…视点合成可能区域数目解码部、213…视点合成可能区域决定部。
【主权项】
1.一种图像编码装置，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行编码，所述图像编码装置具备: 视点合成图像生成部，使用所述参考图像和所述参考深度图，生成针对所述编码对象图像的视点合成图像； 利用可否判定部，按照分割了所述编码对象图像的编码对象区域的每个来判定是否能够利用所述视点合成图像；以及 图像编码部，按照每个所述编码对象区域，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边选择预测图像生成方法一边对所述编码对象图像进行预测编码。2.根据权利要求1所述的图像编码装置，其中，所述图像编码部按照每个所述编码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，对针对所述编码对象区域的所述编码对象图像与所述视点合成图像的差分进行编码，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边选择预测图像生成方法一边对所述编码对象图像进行预测编码。3.根据权利要求1或权利要求2所述的图像编码装置，其中，所述图像编码部按照每个所述编码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，生成编码信息。4.根据权利要求3所述的图像编码装置，其中，所述图像编码部决定预测块尺寸来作为所述编码信息。5.根据权利要求3所述的图像编码装置，其中，所述图像编码部决定预测方法并且生成针对所述预测方法的编码信息。6.根据权利要求1至权利要求5的任一项所述的图像编码装置，其中，所述利用可否判定部基于所述编码对象区域中的所述视点合成图像的品质来判定所述视点合成图像的利用可否。7.根据权利要求1至权利要求5的任一项所述的图像编码装置，其中， 所述图像编码装置进一步具备遮挡图生成部，所述遮挡图生成部使用所述参考深度图来在所述编码对象图像上的像素中生成表示所述参考图像的遮盖像素的遮挡图， 所述利用可否判定部使用所述遮挡图，基于在所述编码对象区域内存在的所述遮盖像素的数目来判定所述视点合成图像的利用可否。8.一种图像解码装置，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像不同的视点的解码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行解码，其中，所述图像解码装置具备: 视点合成图像生成部，使用所述参考图像和所述参考深度图，生成针对所述解码对象图像的视点合成图像； 利用可否判定部，按照分割了所述解码对象图像的解码对象区域的每个来判定是否能够利用所述视点合成图像；以及 图像解码部，按照每个所述解码对象区域，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边生成预测图像一边根据所述码数据对所述解码对象图像进行解码。9.根据权利要求8所述的图像解码装置，其中，所述图像解码部按照每个所述解码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，一边根据所述码数据对所述解码对象图像与所述视点合成图像的差分进行解码一边生成所述解码对象图像，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边生成预测图像一边根据所述码数据对所述解码对象图像进行解码。10.根据权利要求8或权利要求9所述的图像解码装置，其中，所述图像解码部按照每个所述解码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，生成编码信息。11.根据权利要求10所述的图像解码装置，其中，所述图像解码部决定预测块尺寸来作为所述编码信息。12.根据权利要求10所述的图像解码装置，其中，所述图像解码部决定预测方法并且生成针对所述预测方法的编码信息。13.根据权利要求8至权利要求12的任一项所述的图像解码装置，其中，所述利用可否判定部基于所述解码对象区域中的所述视点合成图像的品质来判定所述视点合成图像的利用可否。14.根据权利要求8至权利要求12的任一项所述的图像解码装置，其中， 所述图像解码装置进一步具备遮挡图生成部，所述遮挡图生成部使用所述参考深度图来在所述解码对象图像上的像素中生成表示所述参考图像的遮盖像素的遮挡图， 所述利用可否判定部使用所述遮挡图，基于在所述解码对象区域内存在的所述遮盖像素的数目来判定所述视点合成图像的利用可否。15.一种图像编码方法，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行编码，其中，所述图像编码方法具有: 视点合成图像生成步骤，使用所述参考图像和所述参考深度图，生成针对所述编码对象图像的视点合成图像； 利用可否判定步骤，按照分割了所述编码对象图像的编码对象区域的每个来判定是否能够利用所述视点合成图像；以及 图像编码步骤，按照每个所述编码对象区域，在所述利用可否判定步骤中判定为不能够利用所述视点合成图像的情况下，一边选择预测图像生成方法一边对所述编码对象图像进行预测编码。16.一种图像解码方法，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像不同的视点的解码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行解码，其中，所述图像解码方法具有: 视点合成图像生成步骤，使用所述参考图像和所述参考深度图，生成针对所述解码对象图像的视点合成图像； 利用可否判定步骤，按照分割了所述解码对象图像的解码对象区域的每个来判定是否能够利用所述视点合成图像；以及 图像解码步骤，按照每个所述解码对象区域，在所述利用可否判定步骤中判定为不能够利用所述视点合成图像的情况下，一边生成预测图像一边根据所述码数据对所述解码对象图像进行解码。17.一种图像编码程序，用于使计算机执行根据权利要求15所述的图像编码方法。18.一种图像解码程序，用于使计算机执行根据权利要求16所述的图像解码方法。
【专利摘要】提供一种能够一边防止遮挡区域中的编码效率的降低一边作为整体实现用少的码量的编码的图像编码/图像解码装置。图像编码装置在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的参照图像和针对参照图像中的被摄物的参照深度图，一边在不同的视点间预测图像一边进行编码，所述图像编码装置具备：视点合成图像生成部，使用参照图像和参照深度图，生成针对编码对象图像的视点合成图像；利用可否判定部，按照分割了编码对象图像的编码对象区域的每个来判定是否能够利用视点合成图像；以及图像编码部，按照每个编码对象区域，在利用可否判定部中判定为不能够利用视点合成图像的情况下，一边选择预测图像生成方法一边对编码对象图像进行预测编码。
【IPC分类】H04N13/00, H04N19/597
【公开号】CN105075268
【申请号】CN201480020083
【发明人】志水信哉, 杉本志织, 木全英明, 小岛明
【申请人】日本电信电话株式会社
【公开日】2015年11月18日
【申请日】2014年4月4日
【公告号】WO2014168082A1