利用深度信息的视频编码方法及装置与流程

本发明涉及利用深度信息的视频编码，涉及利用深度信息诱导个体信息，有效地编码图像的方法及装置。

背景技术：

深度信息图像被广泛地活用在三维视频编码中，如xbox游戏机的体感(kinect)摄像机、英特尔senz3d网络摄像头、ipad的isense3d扫描器、谷歌tango智能手机等，配置在新的输入装置的深度信息射线机，可活用在多样的三维及二维应用程序。

一方面，由深度信息摄像机的大众化及普及，二维/三维应用程序通过更多样的二维/三维应用服务器成为大众化过程中，由此，在往后多媒体摄像机系统包括深度信息摄像机，可进行多样的信息活用。

技术实现要素：

技术课题

本发明的目的是编码二维视频时，利用深度信息，提供没有性能热化且可进行有效编码的图像编码方法及装置。

技术方案

根据一个实施例，利用深度信息的图像编码方法，其步骤包括：提取当前最大编码单元lcu(largestcodingunit)的深度值分部信息；基于所述深度值分部信息，预测所述lcu的分割结构后补；及基于编码效率及画质信息中至少任何一个，决定所述lcu的分割结构后补中的最佳分割结构。

根据其他一个实施例，利用深度信息的图像编码方法，其步骤包括：提取当前最大编码单元lcu(largestcodingunit)的深度值分部信息；基于包括在所述lcu的编码单元cu(codingunit)的深度值分部信息，预测所述编码单元的个体结构；及基于所述cu的个体结构预测，省略率失真费用计算中一部分，决定所述最大编码单元分割结构后补中的最佳分割结构。

又根据其他一个实施例，利用深度信息的图像编码方法，其步骤包括：从深度图像提取当前编码单元cu(codingunit)的深度值分部信息；及基于所述深度值分部信息，确认所述当前cu是否由单一个体形成，且根据所述当前cu由单一个体形成与否，预测所述当前cu的分割结构。

根据一个实施例，利用深度信息的图像编码装置，其包括：深度值提取单元，从深度图像提取当前最大编码单元lcu(largestcodingunit)的深度值分部信息；分割结构预测单元，基于所述深度值分部信息，预测所述lcu的分割结构后补；及最佳分割结构决定单元，基于编码效率及画质信息中至少任何一个，决定所述lcu的分割结构后补中的最佳分割结构。

根据其他实施例，利用深度信息的图像编码装置，其包括：深度值提取单元，从深度图像提取当前最大编码单元lcu(largestcodingunit)的深度值分部信息；个体结构预测单元，基于包括在所述lcu的cu的深度值分部信息，预测所述cu的个体结构；及最佳分割结构决定单元，基于所述cu的个体结构预测，省略率失真费用计算中一部分，决定所述lcu的分割结构后补中的最佳分割结构。

又根据其他一个实施例，利用深度信息的图像编码装置，其包括：深度值提取单元，从深度图像提取当前最大编码单元lcu(largestcodingunit)的深度值分部信息；及分割结构预测单元，基于所述深度值分部信息，确认所述当前cu是否由单一个体形成，且根据所述当前cu由单一个体形成与否，预测所述当前cu的分割结构。

技术效果

根据本发明的实施例，利用从深度信息摄像机获得的深度信息图像，编码二维普通图像，可执行对二维图像的有效地编码。

附图说明

图1是示出对普通图像及普通图像深度信息图的示例图。

图2是示出体感输入装置的示例图。

图3是示出网络摄像头产品。

图4是示出isense3d扫描器装置。

图5是示出谷歌tango智能手机。

图6是示出说明高效视频编程hevc编码装置。

图7是示出在智能手机适用hevc编码器的图像编码的示例。

图8是示出在智能手机包括深度图像的hevc的示例。

图9是示出图像由多个单元分割的示例。

图10是示出由lcu单位决定cu分割结构的示例。

图11是示出将图像分割为多个预测单元的示例。

图12是示出普通图像的示例。

图13是示出对图12的普通图像的深度信息图的示例。

图14是示出根据本发明的一个实施例的图像编码方法。

图15是示出根据本发明的其他一个实施例的图像编码方法。

图16是示出根据本发明的其他另一个实施例的图像编码方法。

图17是示出根据本发明的实施例的lcu单位最佳cu分割结构决定方法的流程。

图18是示出根据本发明的一个实施例的cu分割早期结束过程的流程。

图19是示出cu的深度值分布示例。

图20是示出根据本发明的一个实施例的cu分割早期结束过程的其他示例的流程。

图21是示出cu的个体构成的多样示例。

图22及图23是示出根据本发明的实施例的图像编码方法。

图24是示出根据本发明的一个实施例的分割结构决定简化过程。

图25是示出根据本发明的一个实施例的分割结构决定简化过程的其他示例。

图26是示出根据本发明的一个实施例的图像编码装置的构成。

具体实施方式

以下内容只预示本发明的原理。因此，虽然在本说明书没有明确地说明或示出，但从业者可发明体现本发明的原理，包括在本发明的概念和范围的多样的装置。此外，在本说明书列举的所有条件用语及实施例原则上被理解为，本发明的概念仅被理解的目的的明确的意图，且不受限于如此特别列举的实施例及状态。

例如，本说明书的框图被理解为，显示具体化本发明原理的示例性回路的概念性观点。与此类似的，所有的流程、状态变换图、助记码等被理解为，可实质性的显示在计算机可判读的媒体，且无论计算机或处理器明确地示出与否，显示由计算机或处理器被执行的多样过程。

以下，参照附图对本发明的实施例进行详细地说明。

图1是示出对普通图像及普通图像深度信息图的示例图。图2是示出手感输入装置的示例图。

参照图1，图1的a通过摄像机实际拍摄的图像，且b是对实际图像的深度图像，即显示深度信息图像(或深度信息图)。深度信息(depthinformation)意味着显示摄像机和实际事物间距离的信息。

这些深度信息图像主要被活用在用于生成三维虚拟视点图像，且作为实际与此有关的研究，在国际标准化组织iso(internationalstandardizationorganization)/国际电工技术委员会iec(internationalelectrotechnicalcommission)的运动图像专家组mpeg(movingpictureexpertsgroup)和国际电信联盟电信标准化部itu-t(internationaltelecommunicationuniontelecommunicationstandardizationsector)视频编码专家组vceg(videocodingexpertsgroup)共同标准化组的三维视频编码扩展开发联合协作组jct-3v(thejointcollaborativeteamon3dvideocodingextensiondevelopment)正在进行三维视频标准化。

三维视频标准包括普通图像和利用其深度信息图像的立体图像，及可支持自由立体图像播放等的，进步的数据形式和有关此技术的标准。

2010年11月微软发布了由xbox-360游戏设备的新输入装置的体感(kinect)传感器，但是，此装置是认知人的动作，连接在计算机系统的装置，包括在图2示出的分量配置rgb摄像机及三维深度传感器。此外，体感由图像装置也生成rgb图像及最大640x480深度信息图(depthmap)，可提供到连接的计算机。此外，2014年英特尔发表了以笔记本电脑用的安装320x240深度传感器的720pcreativesenz3d网络摄像头，且苹果由利用rgb摄像机和深度传感器的ipad用三维扫描器发布了isense，且谷歌发表了安装深度传感器的tango智能手机。

图3是示出网络摄像头产品。

参照图3，显示creativesenz3d网络摄像头，且图3的a显示senz3d网络摄像头产品，b显示senz3d网络摄像头原型。

图4是示出isense3d扫描器装置，且图5是示出谷歌tango智能手机。

图4的a显示isense产品，b显示通过isense的扫描处理的示例。图5的a显示谷歌tango智能手机产品，b显示谷歌tango智能手机原型。

如体感、isense3d扫描器、英特尔senz3d网络摄像头的图像装备及谷歌tango智能手机出现，可成为如高价的二维及三维游戏，或图像服务的多样应用程序被大众所爱的契机，且显示安装深度信息摄像机或传感器的视频装置被成为大众化。

由此，将来的视频系统的发展被预见成用于二维普通图像的服务及在普通图像摄像机结合深度摄像机，二维和三维应用图像服务基本被提供的形态或手持(handheld)系统的输入辅助装置的形态。

普通摄像机和深度摄像机基本结合的视频系统，可称为不仅在三维视频编解码器利用深度信息，而且在二维视频编解码器也利用深度信息的新的方法。

此外，在包括深度信息摄像机的摄像机系统，普通图像的编码可照实使用现有视频编解码器被编码。其中，作为现有的视频编解码器的一个示例，可由mpeg-1、mpeg-2、mpeg-4、h.261、h.262、h.263、h.264/avc、mvc、svc、hevc、shvc、3d-avc、3d-hevc、vc-1、vc-2、vc-3等编码，且可由其外的多样编解码器编码。

图6是示出说明hevc编码装置。

作为编码实际图像和其深度信息图的方法的一个示例，到现在为止被开发的视频编码标准中，在具有最高编码效率的运动图像专家组mpeg(movingpictureexpertsgroup)和视频编码专家组vceg(videocodingexpertsgroup)共同利用完成标准化的高效视频编码hevc(highefficiencyvideocoding)可执行编码。hevc的编码结构图的一个示例如图6。如图6所示，在hevc包括编码单位及结构、画面间(inter)预测、画面内(intra)预测、内插(interpolation)、过滤(filtering)、(变换(transform)方法等多样的新的算法。图6是示出对图像编码装置构成一个示例的框图，显示根据hevc编解码器的编码装置的构成。

在这种情况下，在图6的过滤单元和参照图像缓冲之间，可具备采样点自适应偏移sao(sampleadaptiveoffset)。sao为了补偿编码错误，可在像素值加上适当偏移(offset)值。

hevc执行间预测编码，即画面见预测编码，所以，当前被编码的图像为了被用于参照图像，有必要被解码进行存储。因此，被量子化的系数在逆量子化单元被逆量子化，且在逆变换单元被逆变换。逆量子化、逆变换系数通过加法器175加在预测块，且生成复原块。经过过滤单元的复原块被存储在参照图像缓冲。

图7是示出在智能手机适用hevc编码器的图像编码的示例。图8是示出在智能手机包括深度图像的hevc的示例。

参照图7，hevc编码器被适用的智能手机中的一般形态，可以是利用hevc解码器，编码通过智能手机被拍摄的图像，且具有被编码的图像得到提供服务的形态。

但是，通过包括深度摄像机的智能手机拍摄图像时，如图8所示，独立地生成普通图像(texture)和深度图像(depth)，利用深度信息、与普通图像的相关性，通过优化的hevc编码器和复杂性减少，可获得更提高的编码图像。

现有技术专利文献1，美国公开专利第20140085416号公开了从深度图(depthmap)确认当前框的个体信息，合并(merge)框的构成，但是，完全没能公开如何分割编码单元进行编码。

此外，现有技术专利文献2，韩国公开专利第2012-0137305号及专利文献3，韩国公开专利第2014-0048784号没有公开利用深度信息的内容，或者没有明确的提示预测cu的分割结构。

图9是示出图像由多个单元分割的示例。

高效视频编码方式执行编码时，将图像分为编码单元cu(codingunit，以下‘cu’)基本单位的大编码单元lcu(largestcodingunit)单位执行编码。

其中，cu做与现有视频编解码器h.2064/avc基本快的宏块mb(macroblock，以下‘mb’)类似的作用，但是，与具有16x16固定大小的mb不同，cu可变性的定大小。此外，为了编码分割的lcu为了图像有效的编码，可重新分为比lcu小的多个cu。

参照图9，64x64大小的lcu可由多样的方式分割为多个cu。

图9的a显示将分割深度值为0的64x64大小的lcu分割成分割深度1的32x32大小cu的示例。

图9的b显示将32x32大小的cu中一个分割成分割深度2的示例，c显示将32x32大小的cu中两个分割成分割深度2的示例。

图9的d显示包括由分割深度3分割的cu。

因此，lcu或cu的分割结构后补，可由多样的方式存在。

lcu分割结构是编码单位的分割信息。如上述，生成多样的lcu分割结构，存储在lcu分割结构后补之后，在决定最佳的lcu分割结构的步骤，由lcu单位将lcu分割结构后补中一个分割结构，选择为最佳lcu分割结构。使用这些方法，优点在于以lcu单位适于图像特性，将适应性的lcu分割结构为基础执行编码，可在编码效率及画质侧面执行有效的编码。

图10是示出由lcu单位决定cu分割结构的示例。

在hevc的编码器中，根据图像的特性可不同的决定lcu内的编码单位的分割方法。即，为了决定最佳的lcu分割结构，可编码多样情况的分割结构，且作为决定最佳的lcu分割结构，每个各个的分割深度使用所有编码单位的预测模式(intra、inter模式等)，执行编码之后，可根据编码的比特量，使用决定相应编码单位的预测模式的方法。

例如如图9，由深度为0的64x64编码单位执行内部模式和间模式等的各个编码之后，存储最佳的模式，且将64x64大小的编码单位分割成四个，以各个的32x32大小的编码单位，可由回归式的执行内部模式和间模式等的各个编码。这时被分割的四个32x32大小的编码单位，可由分别独立的选择预测模式。此外，在32x32大小的编码单位内，也分割成16x16大小的四个编码单位，执行编码。由这些回归式方式分割相应编码单位，执行编码之后，从比特量和画质侧面决定最有效的编码单位的分割结构。

例如，编码的四个32x32大小编码单位的比特量和画质比由64x64大小编码单元的编码有效时，决定相应编码单位被分割成32x32大小的四个编码单位。在编码器(图像编码器)编码图像时，对于lcu可被分割的所有情况的个数，寻找最佳的编码单位分布，但是，这作用为提高编码器的计算复杂性的因素。

为了有效的压缩性能，越对多种情况的个数判断编码效率，发生计算复杂性增加的现象。

图11是示出将图像分割为多个预测单元的示例。

参照图11，cu的基本结构可由正方形大小的2nx2n被显示。

由在cu内分割的预测结构，显示预测单元pu(predictionunit，以下‘pu’)。

在图11参照符号1110显示对称性分割结构的对称运动划分smp(symmetricmotionpartitioning)示例，参照符号1120显示由上下或左右的对称性分割结构的2nxn和nx2n结构示例。

并且，参照符号1130是非对称分割结构的非对称运动划分amp(asymmetricmotionpartitioning)示例，显示2nxnu、2nxnd、nlx2n、nrx2n的示例。在这种情况下，n是正数，u、d、l、r可分别是正数或有理数。

pu是由cu单位执行内部或间模式的编码时，用于更有效编码被决定的结构。这是为了在以cu单位执行编码，不可正确地预测时，在cu内有pu单位区分，独立性的预测各个pu，进行编码。

图9至图11的分割结构决定及pu分割结构决定，没有考虑对周边块的个体信息。当然，这是因为二维图像的情况下没有深度摄像机时，通过二维图像分析，提取图像内的个体信息，所以，现有的二维视频编码方法完全没有搭载利用个体信息的方法。

由相同的理由，hevc的情况下在分割结构决定方法也完全没有搭载利用个体信息的编码方法。但是，可利用深度摄像机考虑个体信息时，分割结构决定方法可知道根据相应cu的个体构成信息的相关性，以有效的预测决定分割结构时，有效地减少编码复杂性。

对此，将深度信息利用在分割结构决定方法时，判断相应cu的个体信息或个体领域的构成，预测对相应领域的有效分割结构时，可有效地减少编码复杂性。

图12是示出普通图像的示例。图13是示出对图12的普通图像的深度信息图的示例。

如图12和图13示出，属于个体边界领域的部分，具有复杂cu分割结构的概率高，被判断为个体内部或背景领域的地方，具有比较单纯的分割结构的概率高。

因此，利用深度信息得到对当前编码领域的个体信息时，当前编码领域被决定成由多数cu构成的复杂分割结构，或者可进行决定由少数cu构成的单纯的分割结构的高概率的预测。通过此，限制概率低的分割结构决定可减少计算量。在本发明提出的方法，在分割结构决定利用深度信息，预测概率高的分割结构，可编码。

根据现有技术的二维视频编解码器被设计成完全没有反映利用深度信息的算法。但是，实际图像和其深度信息图像具有大的相关性，所以，着眼于可将深度信息活用在编码二维图像，由考虑深度信息的算法开发，可考虑在二维视频编码的深度信息利用方法。

本发明的基本原理是为了在二维视频编解码器的有效编码，利用在深度信息摄像机获得的深度信息编码实际图像，但是，为了活用利用在移动预测方法的深度信息。

例如，活用深度信息图像区分普通图像的个体编码时，可大大减少对普通图像的编码复杂性。

其中，个体意味着多个个体，可包括背景图像，在块基板编码编解码器的块内，可存在多个个体，且由深度信息图像为基础，每个相应个体可适用分别不同的编码方法。

图14是示出根据本发明的一个实施例的图像编码方法。

参照图14，在步骤1410，图像编码装置从深度图像提取当前最大编码单元lcu(largestcodingunit)的深度值分部信息。

在这种情况下，例如，如图19的a或b，深度值分部信息可以是cu的深度信息图，可由正规的值显示。例如，在图19的b，m1的正规的深度值是9，m2的正规的深度值是7，m3的正规的深度值可以是1。

在步骤1420，图像编码装置基于深度值分部信息，预测所述lcu的分割结构后补。

在这种情况下，预测lcu的分割结构后补的步骤1420可包括确认包括在当前lcu的cu深度值分部信息的过程，及基于cu的深度值分部信息，确认所述cu由单一个体形成与否，且所述cu由单一个体形成时，结束所述cu的分割结构后补预测的过程。

在步骤1430，图像编码装置基于编码效率及画质信息中至少任何一个，决定所述lcu的分割结构后补中最佳分割结构。

在这种情况下，在决定最佳分割结构的步骤1430，图像编码装置基于深度值分部信息，预测所述cu的个体结构，基于所述cu的个体结构预测，省略率失真费用计算中一部分，可决定最佳分割结构。

图15是示出根据本发明的其他一个实施例的图像编码方法。

参照图15，在步骤1510，图像编码装置提取当前最大编码单元lcu(largestcodingunit)的深度值分部信息。

在步骤1520，图像编码装置基于包括在lcu的cu深度值分部信息，预测所述cu的个体结构。

在这种情况下，个体结构的预测可从cu的深度值分布信息推测cu内的个体结构是单一结构，还是由上下区分的构成，还是由左右区分的结构。例如，图21的深度值分布如同c时，以cu的中心为基准，分别相同的深度值以已设定的数字以上分布在左侧和右侧时，个体结构可被预测为向左右区分的结构。在这种情况下，已设定的数字可根据系统允许的精确度被设定。

在这种情况下，cu的中心被判断为上下个体结构时，是横轴中心，被判断为左右个体结构时，可以是纵轴中心。

又作为其他示例，以cu的横轴中心为基准，左侧及右侧的深度值的最大值及最小值比特定值小的情况为基准，也可判断个体结构。

在步骤1530，图像编码装置基于cu的个体结构预测，省略率失真费用计算中一部分，决定所述lcu的分割结构后补中最佳分割结构。

率失真费用计算中被省略计算的具体示例，通过在图21示出的示例进行说明。

图16是示出根据本发明的其他另一个实施例的图像编码方法。

参照图16，在步骤1610，图像编码装置从深度图像提取当前编码单元cu(codingunit)的深度值分部信息。

在这种情况下，预测当前cu的分割结构步骤1610包括当前cu由单一个体形成时，决定不分割所述当前cu的过程。

因此，根据在图16示出的实施例，通过深度信息判断某个cu具有单一个体时，以不在分割此cu来决定分割结构后补，可减少编码复杂性。

在步骤1620，图像编码装置基于深度值分布信息，决定所述当前cu是否由单一个体形成，且根据所述当前cu由单一个体形成与否，预测所述当前cu的分割结构。

在这种情况下，预测当前cu的分割结构的步骤1620可包括当前cu的大小为已设定的值以上，预测所述当前cu由单一个体形成，且所述cu的编码模式是跳跃模式时，决定不分割所述当前cu的过程。

在这种情况下，预测当前cu的分割结构的步骤1620可包括当前cu的大小比已设定的值小，预测所述当前cu由单一个体形成，且所述cu的参照cu的大小为所述已设定的值以上，所述参照cu由跳跃模式被编码时，决定不分割所述cu的过程。

在这种情况下，当前cu由单一个体形成与否，可经所述cu的四角深度值被决定，且以深度值分布为基础，判断单一个体与否的多样示例，通过图18至图20进行详细地说明。

图17是示出根据本发明的实施例的lcu单位最佳cu分割结构决定方法的流程。

图17是更详细地显示在图14示出的lcu单位分割结构决定过程的流程。

例如，图14的步骤1410可包括图17的步骤1701及步骤1703。此外，图14的步骤1420可包括图17的步骤1705至步骤1710，步骤1750及步骤1760。

在步骤1705，图像编码装置开始cu单位回归程序，在步骤1707，提取当前cu的参照cu的深度信息或编码模式等的lcu信息，且可编码当前分割深度的cu，并存储在最佳的cu后补。

在步骤1710，图像编码装置可执行利用深度信息的cu分割早期结束过程。在这种情况下，cu分割早期结束过程可以是在图14、图18及图20示出的分割结构后补预测过程。

通过步骤1710的分割早期结束过程执行，可决定分割cu，这时，在步骤1750，将如图9的b也可将cu分割成分割深度增加1的4个cu。

如果，经过cu单位回归程序，cu分割结构后补被决定为图9的a、b、c时，图像编码装置考虑对各个的分割结构后补的编码效率等，在步骤1730可决定最佳的cu分割结构。

决定最佳的cu分割结构，在步骤1740可结束cu单位回归程序。

图18是示出根据本发明的一个实施例的cu分割早期结束过程的流程。

参照图18，提取当前lcu的深度信息的步骤1810，可以是与图14的步骤1410或图17的步骤1701相同的步骤。

在步骤1810，选择当前编码单元cu(codingunit)判断当前cu的大小是否为32x32，例如，当前cu的大小是64x64或32x32。

当前cu的大小是32x32以上时，执行步骤1811，否则执行步骤1820。

在步骤1811，当前cu由单一个体形成，且判断当前cu的编码模式是否为跳跃模式。如果，当前cu由单一个体形成，且cu的编码模式是跳跃模式时，在步骤1813存储不分割当前cu的信息，且可结束执行cu分割早期结束过程。

在步骤1811，当前cu被判断为没有由单一个体形成，或当前cu的编码模式不是跳跃模式时，存储分割当前cu的信息，且可结束执行cu分割早期结束过程。

在步骤1820，图像编码装置判断当前lcu及当前cu是否由单一个体构成。如果，判断当前lcu或当前cu没有由单一个体形成时，在步骤1830存储分割当前cu的信息，且可结束执行cu分割早期结束过程。

步骤1820的判断结果，当前lcu或当前cu被判断为没有由单一个体构成时，在步骤1840提取参照cu的深度信息，执行步骤1841。

在步骤1841，图像编码装置判断参照cu的大小是32x32以上(例如，参照cu的大小是64x64或32x32的情况)，且参照cu的编码模式是否为跳跃模式。

在步骤1841，参照cu的大小是32x32以上，参照cu的编码模式是跳跃模式时，在步骤1843存储不分割当前cu的信息，且可结束执行cu分割早期结束过程。

例如，当前cu的大小是比32x32小的大小cu时，当前cu通过深度信息被判断为由单一个体构成，且参照lcu也是通过深度信息被判断为由单一个体构成，参照cu(位于l0)的大小是64x64或32x32，且由跳跃模式被编码时，当前cu也是由大的大小构成的cu，即预测为单纯的分割结构的概率大，可使不在分割当前cu。

步骤1841的判断结果，参照cu的大小不是32x32以上，或参照cu的编码模式不是跳跃模式时，执行步骤1830。

在这种情况下，跳跃模式可以是对原本图像不编码预测图像或参照图像间的差分信号(或差分图像)，或不传送到解码端的编码模式。

在这种情况下，cu由单一个体形成与否是包括在cu的深度值分部信息的最大值及最小值的差是已设定的值以下时，所述cu由单一个体形成来判断。

因此，参照在图18示出的步骤1810至步骤1843，根据一个实施例的预测lcu的分割结构后补的步骤，可包括考虑包含在当前lcu的cu的大小、包含在所述cu的深度值分部信息的最大值及最小值的差、所述cu的编码模式是跳跃模式与否中至少一个，决定所述cu的分割与否的过程。

图19是示出cu的深度值分布示例。

根据一个实施例，图像编码方法是判断cu或块由相同的单一个体形成与否方法的示例，可利用cu或块四角位置的深度值。

参照图19，图像编码装置可将如a的cu深度值分布，判断为深度值变化不大且均衡。

相反，因深度值的变化大，图像编码装置可将如图19的b的cu深度值分布判断为没有由单一个体形成。

参照图19的b，可观察到在cu内的中间部分和角部分的深度值变化很大，在这种情况下可知四角的深度值中最大值和最小值的差大。因此，这些cu由单一个体形成的概率低，所以，可执行cu分割。

cu的四角深度值中最大值及最小值差为已设定的基准值以下时，图像编码装置可判断所述cu由单一个体形成。

在这种情况下，例如，在图19的a，m1的正规的深度值是9，m2及m3的正规的深度值是7，且m4的正规的深度值可以是7。

此外，在图19的b，m1的正规的深度值是9，m2及m4的正规的深度值是7，且m3的正规的深度值可以是1。

在这种情况下，在图19的a，cu四角的深度值的最大值及最小值的差是2，在图19的b，cu四角的深度值的最大值及最小值的差是8。

因此，已设定的基准值为5时，图18的a被决定为由单一个体形成，图19的b可被决定为没有由单一个体形成。

图20是示出根据本发明的一个实施例的cu分割早期结束过程的其他示例的流程。

参照图20，在步骤2010，图像编码装置判断当前cu是否是32x32以上。满足步骤2010的条件时执行步骤2020，否则执行步骤2050。

在步骤2020，图像编码装置判断cu的大小是已设定的值以上，所述cu的四角深度值中最大值及最小值的差是已设定的基准值以下，且所述cu是否由跳跃模式被编码。

在这种情况下，已设定的基准值可以是5。

满足步骤2020的条件时，存储不分割当前cu的信息，且可结束cu分割早期结束过程。

因此，根据一个实施例，预测lcu的分割结构后补的步骤，可包括cu的大小是已设定的值以上，所述cu的四角深度值中最大值及最小值的差是已设定的基准值以下，且所述cu由跳跃模式被编码时，决定不分割所述cu的过程。

不满足步骤2020的条件时，存储分割当前cu的信息，且可结束cu分割早期结束过程。

在步骤2050，图像编码装置判断cu的大小比已设定的值小，且所述lcu及所述cu各个的四角深度值都是相同的值。

满足步骤2050的条件时，执行步骤2060，否则执行步骤2080。

在步骤2060及步骤2070，图像编码装置提取参照cu的深度信息，且判断参照cu的大小是否是32x32以上和参照cu的编码模式是否是跳跃模式。

满足步骤2070的条件时，执行步骤2090，否则执行步骤2080。

因此，根据一个实施例，预测lcu的分割结构后补的步骤，可包括cu的大小比已设定的值小，所述lcu及所述cu各个的四角深度值都是相同的值，且所述cu的参照cu的大小是所述已设定的值以上，所述参照cu由跳跃模式被编码时，决定不分割所述cu的过程。

图21是示出cu的个体构成的多样示例。

根据本发明的一个实施例，通过深度信息判断cu的个体构成，可简化在分割结构决定中的分割结构模式预测所需的率失真(rd-cost，以下rd-cost)的计算。

利用cu的深度值分部信息，可预测cu的个体构成信息，所以，对于满足任何条件的情况，不执行非对称运动划分amp(asymmetricmotionpartitioning)的rd-cost计算，可简化模式预测决定。

例如，如图21的a，cu由单一个体形成时，相应cu的分割结构模式被选择为amp中一个的概率低。因此，在这种情况下，可不执行对2nxnu、2nxnd、nlx2n、nrx2n的rd-cost计算。

因此，根据本发明的一个实施例，在最佳分割结构预测步骤或分割结构决定简化过程中，cu的个体结构被预测为由单一个体形成时，可省略对非对称运动划分amp(asymmetricmotionpartitioning)的率失真计算。

此外，如图21的b，cu的构成由上下区分被构成为个体时，cu的上侧和下侧由其他个体形成的概率高，所以，可不执行对nlx2n、nrx2n的rd-cost计算。

因此，根据本发明的一个实施例，在最佳分割结构预测步骤或分割结构决定简化过程中，cu的个体结构被预测为由上下区分的结构时，可省略对cu的非对称运动划分amp(asymmetricmotionpartitioning)的率失真计算中，与左右分割有关的计算。

此外，如图21的c，cu的构成由左右区分被构成为个体时，cu的左侧和右侧由其他个体形成的概率高，所以，可不执行对2nxnu、2nxnd的rd-cost计算。

因此，根据本发明的一个实施例，在最佳分割结构预测步骤或分割结构决定简化过程中，cu的个体结构被预测为由左右区分的结构时，可省略对cu的非对称运动划分amp(asymmetricmotionpartitioning)的率失真计算中，与上下分割有关的计算。

图22及图23是示出根据本发明的实施例的图像编码方法。

参照图22，步骤2201、步骤2203及步骤2205分别可与图17的步骤1701、步骤1703及步骤1705相同。

此外，除去利用深度信息的分割结构决定简化过程执行步骤2210，可知其他步骤2220值步骤2270与图17的步骤1709至步骤1760相同。

在这种情况下，利用深度信息的分割结构决定简化过程执行步骤2210，可包括在图24示出的过程或在图25示出的过程。

参照图23，在lcu单位整个分割结构决定过程中，执行利用深度信息的分割结构决定简化过程之后，可知经过步骤2320，可在步骤2330执行利用深度信息的cu分割早期结束过程。

在这种情况下，在步骤2310，图像编码装置只存储根据cu的个体结构省略的计算之后，可执行步骤2320至步骤2260。

例如，根据cu的个体结构省略的率失真计算是“非对称运动划分amp(asymmetricmotionpartitioning)的率失真计算中，与左右分割有关的计算”时，图像编码装置考虑在步骤2350省略的计算，可决定cu分割结构后补中，最佳的cu分割结构。

图24是示出根据本发明的一个实施例的分割结构决定简化过程。

参照图24，在步骤2510，图像编码装置可判断当前cu由单一个体构成。满足步骤2410的条件时执行2420，否则执行步骤2430。

满足步骤2410的条件时，在步骤2420将决定跳跃amprdcost计算，且可完成分割结构所有决定。

在步骤2430，图像编码装置判断当前cu个体构成是否由上下区分，且满足条件时，在步骤2440可决定跳跃nlx2n、nrx2n的率失真计算。

在步骤2450，图像编码装置判断cu个体构成是否由左右区分，且满足此时，在步骤2460可决定跳跃2nxnu、2nxnd的率失真计算。

图25是示出根据本发明的一个实施例的分割结构决定简化过程的其他示例。

图25显示通过cu的深度值分布，预测cu的个体构成的一个示例。

例如，在步骤2510，cu的四角深度值都相同时，图像编码装置判断cu由单一个体构成，执行与步骤2420相同的步骤2520。

此外，在步骤2530，cu的四角深度值不是都相同，但是cu的上侧两角的深度值相同，下侧两角的深度值相同时，图像编码装置判断cu的个体构成由上下区分，执行与步骤2440相同的步骤2540。

此外，在步骤2550，图像编码装置不满足步骤2510及步骤2530的条件，但是，cu的左侧角的深度值相同，且右侧两角的深度值相同时，判断cu的个体构成由左右区分，可执行步骤2560。

图26是示出根据本发明的一个实施例的图像编码装置的构成。

在图26示出的图像编码装置，可根据本发明的实施例执行图像编码方法。

参照图26，图像编码装置2600可包括深度值提取单元2610、分割结构预测单元2620及最佳分割结构决定单元2630。此外，图像编码装置2600还可包括个体结构预测单元2640。

深度值提取单元2610从深度图像提取当前最大编码单元lcu(largestcodingunit)的深度值分部信息。

分割结构预测单元2620基于深度值分部信息，预测所述lcu的分割结构后补。在这种情况下，lcu的后补结构后补的预测可以是利用图17的深度信息的cu分割早期结束过程执行步骤1710。

此外，分割结构预测单元2620基于深度值分部信息，确认所述当前cu是否由单一个体形成，且根据所述当前cu由单一个体形成与否，预测所述当前cu的分割结构。

最佳分割结构决定单元2630基于编码效率及画质信息中至少任何一个，决定所述lcu的分割结构后补中的最佳分割结构。

个体结构预测单元2640，基于包括在lcu的cu深度值分部信息，预测所述cu的个体结构。在这种情况下，最佳分割结构决定单元2630基于cu的个体结构预测，省略率失真费用计算中的一部分，决定所述lcu的分割结构后补中的最佳分割结构。

【表1】显示将在图25示出的实施例适用在hevc的实验结果。

通过实验结果，可确认由主观的画质的相同品质，图像品质没有大的热化并减少编码复杂性。

【表1】

根据本发明的实施例，对象范围或适用范围可根据块大小或cu的分割深度等可变。

在这种情况下，决定适用范围的变数(即，大小或深度信息)可设定成使用编码器及解码器预先定的值，也可使用根据轮框或等级定的值，也可使用编码器将变数值记载在比特流时，解码器从比特流求的此值。根据cu分割深度，改变适用范围时如【表2】的预示。方式a是只适用在预先设定的深度值以上深度的方式，方式b是只适用在预先设定的深度值以下的方式，方式c可以是只适用在预先设定的深度值的方式。

【表2】

具备的cu分割深度是2时，【表2】显示适用本发明方法的适用范围决定方式的示例(o：适用在相应深度，x：不适用在相应深度)

对所有深度不适用本发明的方法时，使用任何的标志(flag)显示在比特流，也可由显示比cu深度的最大值大一个值适用范围的cu深度值信令。

此外，上述的各方法可根据亮度块的大小，不同的适用在色差块，也可不同的适用在亮度信号图像及色差图像。

组合各方法时，【表3】显示根据亮度块的大小及色差块，不同适用的示例【表3】

在【表3】的变形的方法中，观察方法g1，亮度块的大小是8(8x8、8x4、8x2等)，色差块的大小是4(4x4、4x2、2x4)时，根据本发明的实施例，可将合并清单构成方法适用在亮度信号及色差信号。

在上述变更的方法中，观察方法l2，亮度块的大小是16(16x16、8x16、4x16等)，色差块的大小是4(4x4、4x2、2x4)时，根据本发明的实施例，可将合并清单构成方法适用在亮度信号，且不能适用在色差信号。

另外，由其他变形的方法，只可在亮度信号适用根据本发明的实施例的合并请打构成方法，在色差信号不适用。相反地，只可在色差信号适用根据本发明的实施例的合并请打构成方法，在亮度信号不适用。

上述说明的装置可由硬件构成要素、软件构成要素、和/或硬件构成要素及软件构成要素的组合被体现。例如，说明的装置及构成要素，可利用类似处理器、控制器、算术逻辑单元alu(arithmeticlogicunit)、数字信号处理器(digitalsignalprocessor)、微型计算机、现场可编程阵列fpa(fieldprogrammablearray)、可编程逻辑单元plu(programmablelogicunit)、微处理器、或实行指令(instruction)的其他任何装置、一个以上的范用计算机或特殊目的计算机被体现。处理装置可实行操作系统(os)及该操作系统中所实行的一个以上的软件应用程序。此外，处理装置可应答软件的实行，来存取、存储、操作、处理、生成数据。为了便于理解，处理装置被说明是使用一个，但在相关技术领域中，具有通常知识的技术人员应理解，处理装置可包括多个处理元件(processingelement)和/或多个类型的处理元件。例如，处理装置可包括多个处理器或一个处理器，以及一个控制器。此外，也可以是类似并行处理器(parallelprocessor)的其他处理配置(processingconfiguration)。

软件可包括计算机程序(computerprogram)，码(code)，命令(instruction)，或者这些中一个以上的组合，为了如愿的操作，可命令处理装置的构成，或单独的或者结合的(collectively)处理装置。软件及/或数据可以是，按处理装置分析或为了在处理装置提供命令或者数据、某些类型的机械、构成要素(component)、物理装置、虚拟装置(virtualequipment)、计算机存储媒体或装置，或者被传输的信号波(signalwave)永久的或者暂时的体现(embody)。软件分散在连接网络的计算机系统上，可以用分散的方法存储或实行。软件及数据可存储在一个以上的可分析计算机的记录媒体。

根据实施例的方法可通过多种计算机手段以可实行的程序指令形态被记录在计算机可读媒体中。计算机可读媒体可包括独立的或结合的程序指令、数据文件、数据结构等。媒体和程序指令可为了本发明被专门设计和创建，或为计算机软件技术人员熟知而应用。计算机可读媒体的例子包括：磁媒体(magneticmedia)，如硬盘、软盘和磁带；光学媒体(opticalmedia)，如cd-rom、dvd；磁光媒体(magneto-opticalmedia)，如光盘(flopticaldisk)；和专门配置为存储和实行程序指令的硬件装置，如只读存储器(rom)、随机存取存储器(ram)等。程序指令的例子，既包括由编译器产生的机器代码，也包括使用解释程序并可通过计算机被实行的高级语言代码。为实行实施例的运作，所述硬件装置可被配置为以一个以上的软件模来运作，反之亦然。

如上所示，本发明虽然已参照有限的实施例和附图进行了说明，但是本发明并不局限于所述实施例，在本发明所属领域中具备通常知识的人均可以从此记载中进行各种修改和变形。例如，可通过与说明的方法不同的顺序来实行所说明的技术，和/或是通过与说明的方法不同的形态来结合或组合所说明的系统、结构、装置、电路等的构成要素，或是通过其他构成要素或同等事物来代替或置换也可获得适当结果。

所以，其他实现、其他实施例及与专利请求范围均等的，也属于后述的专利申请范围的范围。