利用深度信息的视频编码装置及其方法与流程

本发明涉及利用深度信息的视频编码，涉及利用深度信息诱导个体信息，且有效地将图像编码的方法及装置。

背景技术：

深度信息图像被广泛地活用在三维视频编码中，如Xbox游戏机的体感(Kinect)摄像机、英特尔SENZ3D网络摄像头、IPad的iSense 3D扫描器、谷歌Tango智能手机等，配置在新的输入装置的深度信息射线机，可活用在多样的三维及二维应用程序。

一方面，由深度信息摄像机的大众化及普及，二维/三维应用程序通过更多样的二维/三维应用服务器成为大众化过程中，由此，在往后多媒体摄像机系统包括深度信息摄像机，可进行多样的信息活用。

技术实现要素：

技术课题

本发明的目的是编码二维视频时利用深度信息，提供没有性能热化且可进行有效编码的图像编码方法及装置。

技术方案

根据一个实施例，利用深度信息的图像编码方法，其步骤包括：基于当前编码单元CU(Coding Unit)的个体信息，在整个移动搜索领域决定用于计算所述当前CU的移动向量计算的移动搜索范围；及基于所述移动搜索范围内的移动信息，决定所述当前CU的最佳移动向量。

根据其他一个实施例，利用深度信息的图像编码方法，其步骤包括：确认用于当前编码单元CU(Coding Unit)的移动向量计算的整个移动搜索领域；根据从深度图像提取的所述当前CU的深度信息，决定在当前移动搜索位置的移动搜索与否；及考虑被决定的移动搜索与否，决定所述当前CU的最佳移动向量。

根据一个实施例，利用深度信息的图像编码装置，其包括：移动搜索范围决定单元，基于当前编码单元CU(Coding Unit)的个体信息，在整个移动搜索领域决定用于计算所述当前CU的移动向量计算的移动搜索范围；移动向量决定单元，基于所述移动搜索范围内的移动信息，决定所述当前CU的最佳移动向量。

根据其他一个实施例，利用深度信息的图形编码装置，其包括：移动搜索与否决定单元，确认用于当前编码单元CU(Coding Unit)的移动向量计算的整个移动搜索领域，且根据从深度图像提取的所述当前编码单元CU的深度信息，决定在当前移动搜索位置的移动搜索与否；及移动向量单元，决定当前CU的最佳移动向量。

技术效果

根据本发明的实施例，利用从深度信息摄像机获得的深度信息图像，编码二维普通图像，可对二维图像执行有效的编码。

附图说明

图1是示出对普通图像及普通图像深度信息图的示例图。

图2是示出体感输入装置的示例图。

图3是示出网络摄像头产品。

图4是示出iSense 3D扫描器装置。

图5是示出谷歌Tango智能手机。

图6是示出说明高效视频编程HEVC编码装置。

图7是示出在智能手机适用HEVC编码器的图像编码的示例。

图8是示出在智能手机包括深度图像的HEVC的示例。

图9是示出图像由多个单元分割的示例。

图10是示出根据现有技术，求从参照块到当前块移动信息的方法。

图11是示出根据现有技术，求移动向量的方法。

图12是示出深度图像的示例。

图13是示出根据本发明的一个实施例的移动向量决定方法的流程。

图14是示出根据本发明的另一个实施例的移动向量决定方法的流程。

图15是示出根据本发明的一个实施例的移动搜索方法的示例。

图16是示出根据本发明的另一个实施例，利用深度信息的移动搜索方法的示例。

图17是示出根据本发明的一个实施例的图像编码装置的构成。

图18是示出CU的深度值分布示例。

具体实施方式

以下内容只预示本发明的原理。因此，虽然在本说明书没有明确地说明或示出，但从业者可发明体现本发明的原理，包括在本发明的概念和范围的多样的装置。此外，在本说明书列举的所有条件用语及实施例原则上被理解为，本发明的概念仅被理解的目的的明确的意图，且不受限于如此特别列举的实施例及状态。

例如，本说明书的框图被理解为，显示具体化本发明原理的示例性回路的概念性观点。与此类似的，所有的流程、状态变换图、助记码等被理解为，可实质性的显示在计算机可判读的媒体，且无论计算机或处理器明确地示出与否，显示由计算机或处理器被执行的多样过程。

以下，参照附图对本发明的实施例进行详细地说明。

图1是示出对普通图像及普通图像深度信息图的示例图。图2是示出Kinect输入装置的示例图。

参照图1，图1的A通过摄像机实际拍摄的图像，且B是对实际图像的深度图像，即显示深度信息图像(或深度信息图)。深度信息(Depth Information)意味着显示摄像机和实际事物间距离的信息。

这些深度信息图像主要被活用在用于生成三维虚拟视点图像，且作为实际与此有关的研究，在国际标准化组织ISO(International Standardization Organization)/国际电工技术委员会IEC(International Electrotechnical Commission)的运动图像专家组MPEG(Moving Picture Experts Group)和国际电信联盟电信标准化部ITU-T(International Telecommunication Union Telecommunication Standardization Sector)视频编码专家组VCEG(Video Coding Experts Group)共同标准化组的三维视频编码扩展开发联合协作组JCT-3V(The Joint Collaborative Team on 3D Video Coding Extension Development)进行当前的三维视频标准化。

三维视频标准包括普通图像和利用此深度信息图像的立体图像，及可支援自由立体图像播放等的，进步的数据形式和有关此技术的标准。

2010年11月微软发布了由XBOX-360游戏设备的新输入装置的体感(Kinect)传感器，但是，此装置是认知人的动作连接在计算机系统的装置，包括在图2示出的分量配置RGB摄像机及三维深度传感器。此外，体感由图像装置也生成RGB图像及最大640x480深度信息图(Depth Map)，可提供到连接的计算机。此外，2014年英特尔发表了以笔记本电脑用的安装320x240深度传感器的720p CREATIVE SENZ3D网络摄像头，且苹果由利用RGB摄像机和深度传感器的iPad用三维扫描器发布了iSense，且谷歌发表了安装深度传感器的Tango智能手机。

图3是示出网络摄像头产品。

参照图3，显示CREATIVE SENZ3D网络摄像头，且图3的A显示SENZ3D网络摄像头产品，B显示SENZ3D网络摄像头原型。

图4是示出iSense 3D扫描器装置，且图5是示出谷歌Tango智能手机。

图4的A显示iSense产品，B显示通过iSense的扫描处理的示例。图5的A显示谷歌Tango智能手机产品，B显示谷歌Tango智能手机原型。

如体感、iSense 3D扫描器、英特尔SENZ3D网络摄像头的图像装备及谷歌Tango智能手机出现，可成为如高价的二维及三维游戏，或图像服务的多样应用程序被大众所爱的契机，且显示安装深度信息摄像机或传感器的视频装置被成为大众化。

由此，将来的视频系统的发展被预见成用于二维普通图像的服务及在普通图像摄像机结合深度摄像机，二维和三维应用图像服务基本被提供的形态或手持(handheld)系统的输入辅助装置的形态。

普通摄像机和深度摄像机基本结合的视频系统，可称为不仅在三维视频编解码器利用深度信息，而且在二维视频编解码器也利用深度信息的新的方法。

此外，在包括深度信息摄像机的摄像机系统，普通图像的编码可照实使用现有视频编解码器被编码。其中，作为现有的视频编解码器的一个示例，可由MPEG-1、MPEG-2、MPEG-4、H.261、H.262、H.263、H.264/AVC、MVC、SVC、HEVC、SHVC、3D-AVC、3D-HEVC、VC-1、VC-2、VC-3等编码，且可由其外的多样编解码器编码。

图6是示出说明HEVC编码装置。

作为编码实际图像和其深度信息图的方法的一个示例，到现在为止被开发的视频编码标准中，在具有最高编码效率的运动图像专家组MPEG(Moving Picture Experts Group)和视频编码专家组VCEG(Video Coding Experts Group)共同利用完成标准化的高效视频编码HEVC(High Efficiency Video Coding)，可执行编码。HEVC的编码结构图的一个示例如图6。如图6所示，在HEVC包括编码单位及结构、画面间(Inter)预测、画面内(Intra)预测、内插(Interpolation)、过滤(filtering)、变换(Transform)方法等多样的新的算法。图6是示出对图像编码装置构成一个示例的框图，显示根据HEVC编解码器的编码装置的构成。

在这种情况下，在图6的过滤单元和参照图像缓冲之间，可具备采样点自适应偏移SAO(Sample Adaptive Offset)。SAO为了补偿编码错误，可在像素值加上适当偏移(offset)值。

HEVC执行间预测编码，即画面见预测编码，所以，当前被编码的图像为了被用于参照图像，有必要被解码进行存储。因此，被量子化的系数在逆量子化单元被逆量子化，且在逆变换单元被逆变换。逆量子化、逆变换系数通过加法器175加在预测块，且生成复原块。经过过滤单元的复原块被存储在参照图像缓冲。

图7是示出在智能手机适用HEVC编码器的图像编码的示例。图8是示出在智能手机包括深度图像的HEVC的示例。

参照图7，HEVC编码器被适用的智能手机中的一般形态，可以是利用HEVC解码器，编码通过智能手机被拍摄的图像，且具有被编码的图像得到提供服务的形态。

但是，通过包括深度摄像机的智能手机拍摄图像时，如图8所示，独立地生成普通图像(Texture)和深度图像(Depth)，利用深度信息、与普通图像的相关性，通过优化的HEVC编码器和复杂性减少，可获得更提高的编码图像。

现有技术专利文献1，美国公开专利第20140085416号公开了从深度图(Depth map)确认当前框的个体信息，合并(merge)框的构成，但是，完全没能公开如何利用深度信息求当前CU的移动向量。

此外，现有技术专利文献2，韩国公开专利第2012-0137305号及专利文献3，韩国公开专利第2014-0048784号没有公开利用深度信息的内容，或者没有明确的提示预测CU的分割结构时，用于求移动向量的减少计算量的构成。

图9是示出图像由多个单元分割的示例。

高效视频编码方式执行编码时，将图像分为编码单元CU(Coding Unit，以下‘CU’)基本单位的大编码单元LCU(Largest Coding Unit)单位执行编码。

其中，CU做与现有视频编解码器H.2064/AVC基本快的宏块MB(Macro Block，以下‘MB’)类似的作用，但是，与具有16x16固定大小的MB不同，CU可变性的定大小。此外，为了编码分割的LCU为了图像有效的编码，可重新分为比LCU小的多个CU。

参照图9，64x64大小的LCU可由多样的方式分割为多个CU。

图9的A显示将分割深度值为0的64x64大小的LCU分割成分割深度1的32x32大小CU的示例。

图9的B显示将32x32大小的CU中一个分割成分割深度2的示例，C显示将32x32大小的CU中两个分割成分割深度2的示例。

图9的D显示包括由分割深度3分割的CU。

因此，LCU或CU的分割结构后补，可由多样的方式存在。

LCU分割结构是编码单位的分割信息。如上述，生成多样的LCU分割结构，存储在LCU分割结构后补之后，在决定最佳的LCU分割结构的步骤，由LCU单位将LCU分割结构后补中一个分割结构，选择为最佳LCU分割结构。使用这些方法，优点在于以LCU单位适于图像特性，将适应性的LCU分割结构为基础执行编码，可在编码效率及画质侧面执行有效的编码。

根据现有技术的二维视频编解码器被设计成完全没有反映利用深度信息的算法。但是，实际图像和其深度信息图像具有大的相关性，所以，着眼于可将深度信息活用在编码二维图像，由考虑深度信息的算法开发，可考虑在二维视频编码的深度信息利用方法。

本发明的基本原理是为了在二维视频编解码器的有效编码，利用在深度信息摄像机获得的深度信息编码实际图像，但是，为了活用利用在移动预测方法的深度信息。

例如，活用深度信息图像区分普通图像的个体编码时，可大大减少对普通图像的编码复杂性。

其中，个体意味着多个个体，可包括背景图像，在块基板编码编解码器的块内，可存在多个个体，且由深度信息图像为基础，每个相应个体可适用分别不同的编码方法。

图10是示出根据现有技术，求从参照块到当前块移动信息的方法。

参照图10，移动信息的移动向量MV(Motion Vector)如图10的A示出，在当前将预测的“Current block”和参照图像，可求与最接近块的距离获得。

在这种情况下，参照图10的B，移动信息的移动向量预测MVP(Motion Vector Predictor)可通过当前块的周边块A、B、C、D被决定，且移动向量差值MVD(Motion Vector Difference)可通过MVP被求。

在这种情况下，被求的MVD可利用在视频编码过程。

图11是示出根据现有技术，求移动向量方法的示例。

图11示出在HEVC编码过程中，在对当前编码单元CU(Coding Unit，以下CU)的画面间预测的移动信息的编码，求MV的方法。

图11的A是在HEVC求MV的流程，B是预示移动搜索方法。

参照图11，从参照框利用移动搜索领域内位置的菱形搜索方法，一次的寻找与当前CU最接近的框存在的位置，且二次的利用两点搜索方法，以相应位置为中心缜密的与周边位置进行比较，可求最佳的MV。

在图11的B，将当前CU的搜索开始位置作为一号，由菱形搜索方法寻找四号的最佳位置，以相应地点利用两点搜索方法，利用五号位置可求最佳的MV。

在HEVC移动搜索方法的情况，对于移动搜索领域内的位置，一律的经搜索算法的方法，求所有从相应位置的MV，从中选自最佳的MV。这些方法不知道求MV的块和搜索领域内位置的相关性，所以，利用对所有位置求MV的方法。此外，对于求MV的CU和在搜索领域没有相关性的位置，增加不必要的计算，成为增加编码的复杂性的原因。

所述的求MV的这些过程对周边块不考虑个体信息。当然，二维图像的情况，如果没有深度摄像机，通过二维图像分析提取图像内的个体信息，所以，在现有的二维视频编码方法完全没有搭载利用个体信息的方法。

以相同的理由，HEVC的情况，求在画面内移动预测MV的方法中，也完全没有搭载利用个体信息的编码方法。但是，如果可利用深度摄像机考虑个体信息，对于移动预测可知在相应CU和搜索领域的相关性，可设定搜索的领域，有效地减少编码复杂性。

因此，将深度信息利用在移动搜索时，判断与相应CU相同的个体领域，对相应领域限制移动搜索范围时，可有效地减少编码复杂性。

图12是示出深度图像的示例。

图12的A是举例从深度摄像机获得的第84次图像框的深度图像，B可以是举例从深度摄像机获得的第83次图像框的深度图像。

将图12的A作为当前图像，当前CU具有单一个体时，从如图12的B参照框进行移动搜索，可利用深度信息判断在移动搜索领域的相同个体领域。

当前CU和相同个体领域的情况，具有最佳MV的概率高，否则不具有最佳MV的概率高。因此，判断当前CU的相同个体领域时，移动搜索领域中对于当前CU和不是相同个体领域的领域，不执行移动搜索，可减少移动搜索必要的计算量。

在本发明公开的方法是在块移动预测的搜索范围决定，利用深度信息判断相同个体领域，编码移动信息。

图13是示出根据本发明的一个实施例的移动向量决定方法的流程。

参照图13，在步骤1310，图像编码装置基于当前编码单元CU(Coding Unit)的个体信息，在用于所述当前CU移动向量计算的整个移动搜索领域，决定移动搜索范围。

例如，用于所述当前CU移动向量计算的整个移动搜索领域，可以是在图12的B示出的“搜索领域”。

在这种情况下，移动搜索范围可以是与构成当前CU个体相同个体领域。因此，例如，移动搜索范围在图12的B可以是除“搜索X”部分的“搜索O”部分。

决定移动搜索范围的步骤1310，可包括从深度图像确认当前编码单元CU(Coding Unit)深度信息的过程。

此外，决定移动搜索范围的步骤1310，可包括基于深度信息决定所述当前CU的个体信息，基于CU的个体信息判断所述当前CU是否由单一个体形成，且当前CU由单一个体形成时，将所述整个移动搜索领域中，与所述CU的单一个体不同的领域，从所述移动搜索范围除去的过程。

在这种情况下，个体信息可以是深度图像经标记算法标记的个体图像信息的标记值，或从所述深度图像获得的深度值分布信息。例如，标记算法可以是分水岭(Watersherd)标记算法。

在这种情况下，深度值分布CU如图18所示的获得。

例如，包括在当前CU的深度值分部信息的最大值及最小值的差未满已设定值时，可判断所述当前CU由单一个体形成。

决定移动搜索范围的步骤1310，可包括基于包括在当前CU的大小及所述当前CU的深度值分布信息的最大值及最小值，判断所述当前CU由单一个体形成与否的过程。例如，步骤1310可包括图16的步骤1610及步骤1620。

在步骤1320，图像编码装置基于移动搜索范围内的移动信息，决定所述当前CU的最佳移动向量。

在这种情况下，决定当前CU的最佳移动向量的方法，可以是在图12的B对除去“搜索X”部分的“搜索O”部分，在图10至图11说明的方法。

图14是示出根据本发明的另一个实施例的移动向量决定方法的流程。

参照图14，在步骤1410，图像编码装置确认用于当前编码单元CU(Coding Unit)移动向量计算的整个移动搜索领域。

在步骤1420，根据从深度图像提取的所述当前CU的深度信息，决定在当前移动搜索位置的移动搜索与否。

在这种情况下，决定移动搜索与否的步骤1420，可包括基于包括在当前CU的大小及所述当前CU的深度值分部信息的最大值及最小值，判断所述当前CU由单一个体形成与否的过程。

此外，在决定移动搜索与否的步骤1420的图像编码装置，当前CU的大小是已设定值以上，且所述当前CU的四角深度值中，最大值及最小值的差为已设定基准值以下时，存储所述当前CU的四角深度值中任何一个之后，当前移动搜索位置的深度值与所述存储的值相同时，决定为搜索当前位置，且所述当前移动搜索位置的深度值与所述存储的值不同时，可决定为不搜索当前位置。

此外，在决定移动搜索与否的步骤1420的图像编码装置，当前CU的大小比已设定值小，且所述当前CU的四角深度值都是相同值时，存储所述当前CU的四角深度值中任何一个之后，所述当前移动搜索位置的深度值与所述存储的值相同时，决定为搜索当前位置，且所述当前移动搜索位置的深度值与所述存储的值不同时，可决定为不搜索当前位置。

在步骤1430，考虑被决定的移动搜索与否，决定所述当前CU的最佳移动向量。

图15是示出根据本发明的一个实施例的移动搜索方法的示例。

在步骤1510，图像编码装置从移动搜索领域开始搜索，在步骤1520，判断所述CU由单一个体领域构成与否，且由单一构成个体领域被构成时执行步骤1530，否则在步骤1550可适用根据现有技术的现有移动搜索方法，计算移动向量。

在步骤1530，图像编码装置判断在参照框位置的个体和当前CU的个体是相同个体领域时，或相同个体时，在步骤1550，在相应位置计算移动向量，否则在步骤1540，存储在当前位置不求移动向量的信息，可结束移动搜索过程。

图16是示出根据本发明的另一个实施例，利用深度信息的移动搜索方法的示例。

在图16示出的方法，显示相同个体与否判断及决定在当前位置的移动搜索与否的示例。

在步骤1610，图像编码装置确认当前CU的大小是64x64或32x32，且是32x32以上时执行步骤1620，否则执行步骤1640。

在步骤1620，从深度值分布信息判断当前CU的四角深度值中最大值和最小值的差是否未满5。在这种情况下，最大值和最小值的差未满5时，执行步骤1630，否则执行步骤1680。

在步骤1630，图像编码装置存储当前CU的四角中左上端深度值，且执行步骤1670。

在步骤1640，图像编码装置确认当前CU的大小是16x16与否，且是16x16时执行步骤1650，否则执行步骤1680。

在步骤1650，确认当前CU的四角的深度值是否都相同，且都相同时，执行步骤1660，否则执行步骤1680。

在步骤1660，图像编码装置存储当前CU的四角中任何一个值，且执行步骤1670。

在步骤1670，图像编码装置确认点钱移动搜索位置的深度值是否与之前(步骤1630或步骤1660)存储的值相同。

在这种情况下，当前移动搜索位置，即在当前移动搜索点的深度值与之前存储的值相同时，在步骤1680搜索当前位置的移动信息，否则在步骤1690决定不搜索当前位置的移动信息，可结束移动搜索过程。

图17是示出根据本发明的一个实施例的图像编码装置的构成。

参照图17，图像编码装置1700可执行图13值图16的方法。

图像编码装置1700可包括移动搜索范围决定单元1710、移动搜索与否决定单元1720及移动向量决定单元1730。

例如，图像编码装置1700可由移动搜索范围决定单元1710及移动搜索与否决定单元1720构成。此外，图像编码装置1700也可由移动搜索与否决定单元1720及移动向量决定单元1730构成。

移动搜索范围决定单元1710基于当前编码单元CU(Coding Unit)的个体信息，决定在整个移动搜索领域中用于所述当前CU的移动向量计算的移动搜索范围。

在这种情况下，移动搜索范围可以是与构成所述当前CU的个体相同的个体领域。

当前CU由单一个体形成时，移动搜索范围决定单元1710可从所述移动搜索范围除去所述整个移动搜索领域中，与所述CU的单一个体不同的领域。

移动搜索范围决定单元1710基于包括在当前CU的大小及所述当前CU的深度值分布信息的最大值及最小值，可判断所述当前CU是否由单一个体形成。

移动搜索与否决定单元1720确认用于当前编码单元CU(Coding Unit)移动向量计算的整个移动搜索领域，且根据从深度图像提取的所述当前CU的深度信息，决定在移动搜索位置的移动搜索与否。

当前CU的大小是已设定值以上，且所述当前CU的四角深度值中，最大值及最小值的差是已设定的基准值以下时，移动搜索与否决定单元1720存储所述当前CU的四角深度值中任何一个。

此外，当前CU的大小比已设定值小，且所述当前CU的四角深度值都是相同值时，移动搜索与否决定单元1720存储所述当前CU的四角深度值中任何一个。

当前移动搜索位置的深度值与所述存储的值相同时，移动搜索与否决定单元1720决定为搜索当前位置，且所述当前移动搜索位置的深度值与所述存储的值不同时，可决定为不搜索当前位置。

移动向量决定单元1730基于移动向量范围内的移动信息，决定所述当前CU的最佳移动向量。

图18是示出CU的深度值分布示例。

根据一个实施例，图像编码方法是判断CU或块由相同的单一个体形成与否方法的示例，可利用CU或块四角位置的深度值。

参照图18，图像编码装置可将如A的CU深度值分布，判断为深度值变化不大且均衡。

相反，因深度值的变化大，图像编码装置可将如图18的B的CU深度值分布判断为没有由单一个体形成。

参照图18的B，可观察到在CU内的中间部分和角部分的深度值变化很大，在这种情况下可知四角的深度值中最大值和最小值的差大。因此，这些CU由单一个体形成的概率低，所以，可执行CU分割。

CU的四角深度值中最大值及最小值差为已设定的基准值以下时，图像编码装置可判断所述CU由单一个体形成。

在这种情况下，例如，在图18的A，M1的正规的深度值是9，M2及M3的正规的深度值是7，且M4的正规的深度值可以是7。

此外，在图18的B，M1的正规的深度值是9，M2及M4的正规的深度值是7，且M3的正规的深度值可以是1。

在这种情况下，在图18的A，CU四角的深度值的最大值及最小值的差是2，在图18的B，CU四角的深度值的最大值及最小值的差是8。

因此，已设定的基准值为5时，图18的A被决定为由单一个体形成，图18的B可被决定为没有由单一个体形成。

【表1】显示将在图16示出的实施例适用在HEVC的实验结果。

通过实验结果，可确认由主观的画质的相同品质，图像品质没有大的热化并减少编码复杂性。

【表1】

根据本发明的实施例，对象范围或适用范围可根据块大小或CU的分割深度等可变。

在这种情况下，决定适用范围的变数(即，大小或深度信息)可设定成使用编码器及解码器预先定的值，也可使用根据轮框或等级定的值，也可使用编码器将变数值记载在比特流时，解码器从比特流求的此值。根据CU分割深度，改变适用范围时如【表2】的预示。方式A是只适用在预先设定的深度值以上深度的方式，方式B是只适用在预先设定的深度值以下的方式，方式C可以是只适用在预先设定的深度值的方式。

【表2】

具备的CU分割深度是2时，【表2】显示适用本发明方法的适用范围决定方式的示例(O：适用在相应深度，X：不适用在相应深度)

对所有深度不适用本发明的方法时，使用任何的标志(flag)显示在比特流，也可由显示比CU深度的最大值大一个值适用范围的CU深度值信令。

此外，上述的各方法可根据亮度块的大小，不同的适用在色差块，也可不同的适用在亮度信号图像及色差图像。

组合各方法时，【表3】显示根据亮度块的大小及色差块，不同适用的示例

【表3】

在【表3】的变形的方法中，观察方法G1，亮度块的大小是8(8x8、8x4、8x2等)，色差块的大小是4(4x4、4x2、2x4)时，根据本发明的实施例，可将合并清单构成方法适用在亮度信号及色差信号。

在上述变更的方法中，观察方法L2，亮度块的大小是16(16x16、8x16、4x16等)，色差块的大小是4(4x4、4x2、2x4)时，根据本发明的实施例，可将合并清单构成方法适用在亮度信号，且不能适用在色差信号。

另外，由其他变形的方法，只可在亮度信号适用根据本发明的实施例的合并请打构成方法，在色差信号不适用。相反地，只可在色差信号适用根据本发明的实施例的合并请打构成方法，在亮度信号不适用。

上述说明的装置可由硬件构成要素、软件构成要素、和/或硬件构成要素及软件构成要素的组合被体现。例如，说明的装置及构成要素，可利用类似处理器、控制器、算术逻辑单元ALU(arithmetic logic unit)、数字信号处理器(digital signal processor)、微型计算机、现场可编程阵列FPA(field programmable array)、可编程逻辑单元PLU(programmable logic unit)、微处理器、或实行指令(instruction)的其他任何装置、一个以上的范用计算机或特殊目的计算机被体现。处理装置可实行操作系统(OS)及该操作系统中所实行的一个以上的软件应用程序。此外，处理装置可应答软件的实行，来存取、存储、操作、处理、生成数据。为了便于理解，处理装置被说明是使用一个，但在相关技术领域中，具有通常知识的技术人员应理解，处理装置可包括多个处理元件(processing element)和/或多个类型的处理元件。例如，处理装置可包括多个处理器或一个处理器，以及一个控制器。此外，也可以是类似并行处理器(parallel processor)的其他处理配置(processing configuration)。

软件可包括计算机程序(computer program)，码(code)，命令(instruction)，或者这些中一个以上的组合，为了如愿的操作，可命令处理装置的构成，或单独的或者结合的(collectively)处理装置。软件及/或数据可以是，按处理装置分析或为了在处理装置提供命令或者数据、某些类型的机械、构成要素(component)、物理装置、虚拟装置(virtual equipment)、计算机存储媒体或装置，或者被传输的信号波(signal wave)永久的或者暂时的体现(embody)。软件分散在连接网络的计算机系统上，可以用分散的方法存储或实行。软件及数据可存储在一个以上的可分析计算机的记录媒体。

根据实施例的方法可通过多种计算机手段以可实行的程序指令形态被记录在计算机可读媒体中。计算机可读媒体可包括独立的或结合的程序指令、数据文件、数据结构等。媒体和程序指令可为了本发明被专门设计和创建，或为计算机软件技术人员熟知而应用。计算机可读媒体的例子包括：磁媒体(magnetic media)，如硬盘、软盘和磁带；光学媒体(optical media)，如CD-ROM、DVD；磁光媒体(magneto-optical media)，如光盘(floptical disk)；和专门配置为存储和实行程序指令的硬件装置，如只读存储器(ROM)、随机存取存储器(RAM)等。程序指令的例子，既包括由编译器产生的机器代码，也包括使用解释程序并可通过计算机被实行的高级语言代码。为实行实施例的运作，所述硬件装置可被配置为以一个以上的软件模来运作，反之亦然。

如上所示，本发明虽然已参照有限的实施例和附图进行了说明，但是本发明并不局限于所述实施例，在本发明所属领域中具备通常知识的人均可以从此记载中进行各种修改和变形。例如，可通过与说明的方法不同的顺序来实行所说明的技术，和/或是通过与说明的方法不同的形态来结合或组合所说明的系统、结构、装置、电路等的构成要素，或是通过其他构成要素或同等事物来代替或置换也可获得适当结果。

所以，其他实现、其他实施例及与专利请求范围均等的，也属于后述的专利申请范围的范围。