根据实施例的方法和设备能够通过使用包括在图像中的各种类型的数据单元来对图像进行编码或解码。
背景技术：
根据数据压缩标准，例如，根据运动图片专家组(movingpictureexpertgroup,mpeg)标准的编解码器对图像数据进行编码，并且以比特流的形式将其记录在记录介质上或者经由通信信道发送。
随着用于再现和存储高分辨率或高质量图像内容的硬件的开发和供应，越来越需要用于对高分辨率或高质量图像内容进行高效地编码或解码的编解码器。被编码的图像内容可以通过对其进行解码来再现。近来，已经实现了高效地压缩这种高分辨率或高质量图像内容的方法。例如，通过以某种方式处理要被编码的图像来执行高效的图像压缩方法。此外，已经使用各种类型的数据单元来分割图像从而自适应地对图像进行编码或解码。
实施例的描述
技术问题
先前确定的数据单元的大小的比率应当在图像编码或解码期间相对于图像自适应地改变。
问题的解决方案
根据实施例的对图像进行解码的方法包括：从比特流获得图像的残差信号；基于从所述比特流获得的块比率信息，改变包括所述残差信号的多个第一块中的相邻的第一块的大小的比率，以及基于改变后的比率对所述残差信号进行解码，其中，所述块比率信息指示所述相邻的第一块的大小的比率可改变到的预定比率之一。
根据实施例的对图像进行编码的方法包括：确定所述图像的残差信号；改变包括所述残差信号的多个第一块中的相邻的第一块的大小的比率；以及基于改变后的比率，通过生成包括所述残差信号和块比率信息的比特流，对所述图像进行编码，其中，所述块比率信息指示所述改变后的比率，其中，所述块比率信息指示所述相邻的第一块的大小的比率可改变到的预定比率之一。
根据实施例的对图像进行解码的设备包括：信号获得器，其被配置为从所述比特流获得所述图像的残差信号；以及解码器，其被配置为基于从所述比特流获得的块比率信息，改变包括所述残差信号的多个第一块中的相邻的第一块的大小的比率，并且基于改变后的比率，对所述残差信号进行解码，其中，所述块比率信息指示所述相邻的第一块的大小的比率可改变到的预定比率之一。
根据实施例的对图像进行编码的设备包括：编码器，其被配置为确定所述图像的残差信号并且改变包括残差信号的多个第一块中的相邻的第一块的大小的比率；以及比特流生成器，其被配置为基于改变后的比率，生成包括所述残差信号和块比率信息的比特流，其中，块比率信息指示相邻的第一块的大小的变化比率，其中，所述块比率信息指示所述相邻的第一块的大小的比率可改变到的预定比率之一。
本公开的有益效果
在一个实施例中，可以通过在对图像进行编码或解码时使用的变换域中将高频分量改变为低频分量来对图像自适应地执行编码或解码处理/过程。
附图说明
图1a是能够通过改变图像中包括的块的大小的比率来对图像进行解码的图像解码设备的框图。
图1b是能够通过改变图像中包括的块的大小的比率来对图像进行编码的图像编码设备的框图。
图2是根据实施例的通过改变第一块的大小的比率来对图像进行解码的处理的流程图。
图3a示出了根据实施例的改变图像中包括的第一块的大小的比率的过程。
图3b示出了根据一个实施例的其中第一块的大小的比率是可改变的各种情况。
图4是根据实施例的通过使用指示是否要改变第一块的大小的比率的大小改变信息来对图像进行解码的方法的流程图，该方法由图像解码设备执行。
图5是根据实施例的在解码过程中从比特流获得大小改变信息和块比率信息并使用大小改变信息和块比率信息的方法的流程图，该方法由图像解码设备执行。
图6a示出了根据实施例的其大小要被改变的第一块与包括第一块的第二块之间的关系。
图6b是示出了根据实施例的包括在第三块中的第一块的大小可改变的过程的图。
图7是根据实施例的通过改变第一块的大小的比率来对图像进行编码的过程的流程图。
图8是根据实施例的通过确定是否要改变第一块的大小的比率并通过使用改变后的第一块对图像进行编码的方法的流程图，该方法由图像编码设备执行。
图9是确定是否要改变第一块的大小的比率并且生成包括指示改变后的第一块的大小的比率的块比率信息和指示在对图像进行编码期间是否要改变第一块的大小的比率的大小改变信息的比特流的过程的流程图，该过程由图像编码设备执行。
图10示出了根据实施例的通过分割当前编码单元来确定一个或多个编码单元的操作。
图11示出了根据实施例的通过分割非正方形编码单元来确定一个或多个编码单元的操作。
图12示出了根据实施例的基于块形状信息和分割形状信息中的至少一个来分割编码单元的操作。
图13示出了根据实施例的从奇数个编码单元中确定预定编码单元的方法。
图14示出了根据实施例的通过分割当前编码单元确定的多个编码单元的处理顺序。
图15示出了根据实施例的当编码单元不能按预定顺序处理时确定当前编码单元被分割为奇数个编码单元的操作。
图16示出了根据实施例的通过分割第一编码单元来确定一个或多个编码单元的操作。
图17示出了根据实施例的当第二编码单元满足预定条件时通过分割第一编码单元来确定非正方形第二编码单元的分割方法受到限制。
图18示出了根据实施例的当分割形状信息指示不将正方形编码单元分割为四个正方形编码单元时分割正方形编码单元的操作。
图19示出了根据实施例的多个编码单元的处理顺序可根据分割编码单元的操作而改变。
图20示出了根据实施例的当通过递归地分割编码单元来确定多个编码单元时随着编码单元的形状和大小变化而确定编码单元的深度的操作。
图21示出了根据实施例的用于区分基于编码单元的形状和大小可确定的编码单元的深度和部分索引(pid)。
图22示出了根据实施例的基于图片中包括的多个预定数据单元来确定多个编码单元。
图23示出了根据实施例的作为用于确定图片中包括的参考编码单元的确定顺序的单元的处理块。
最佳模式
根据实施例的图像解码方法包括：从比特流获得图像的残差信号，基于从比特流获得的块比率信息，改变包括残差信号的多个第一块中的相邻的第一块的大小的比率，以及基于改变后的比率对残差信号进行解码，其中，块比率信息指示相邻的第一块的大小的比率可改变到的预定比率之一。
在一个实施例中，改变相邻的第一块的大小的比率可以包括：从比特流获得指示是否要改变相邻的第一块的大小的比率的大小改变信息；并且当大小改变信息指示相邻的第一块的大小的比率要改变时，基于块比率信息，改变相邻的第一块的大小的比率。
在一个实施例中，当大小改变信息指示要改变相邻的第一块的大小的比率时，可以从比特流获得块比率信息。
在一个实施例中，改变相邻的第一块的大小的比率可以包括：以第二块为单位，从比特流获得块比率信息，每个第二块都包括相邻的第一块；并且当块比率信息指示要改变每个第二块中包括的相邻的第一块的大小的比率时，基于该块比率信息，改变每个第二块中包括的相邻的第一块的大小的比率。
在一个实施例中，多个第一块可以是变换单元，其是用于对残差信号进行逆变换的单元。
在一个实施例中，在图像解码方法中使用的第二块可以是均包括相邻的第一块的最大编码单元、编码单元或预测单元，或包括至少一个最大编码单元的处理块。
根据实施例的图像编码方法包括：确定图像的残差信号；改变包括残差信号的多个第一块中的相邻的第一块的大小的比率；以及基于改变后的比率，通过生成包括残差信号和块比率信息的比特流对所述图像进行编码，其中，所述块比率信息指示所述改变后的比率，其中，所述块比率信息指示所述相邻的第一块的大小的比率可改变到的预定比率之一。
在一个实施例中，改变相邻的第一块的大小的比率可以包括：确定是否要改变相邻的第一块的大小的比率；并且当确定要改变相邻的第一块的大小的比率时，改变相邻的第一块的大小的比率。
在一个实施例中，通过生成比特流对图像进行编码可以包括：生成包括大小改变信息的比特流，该大小改变信息指示是否要改变相邻的第一块的大小的比率；并且当确定要改变相邻的第一块的大小的比率时，通过生成包括块比率信息的比特流，对图像进行编码。
在一个实施例中，改变相邻的第一块的大小的比率可以包括：当确定要改变包括在每个第二块中的相邻的第一块的大小的比率时，基于该块比率信息，改变包括在每个第二块中的相邻的第一块的大小的比率；并且以包括相邻的第一块的第二块为单位，生成包括块比率信息的比特流。
在一个实施例中，多个第一块可以是变换单元，其是用于对残差信号进行变换或逆变换的单元。
在一个实施例中，第二块可以是包括相邻的第一块的最大编码单元、编码单元或预测单元，或者是包括至少一个最大编码单元的处理块。
根据实施例的图像解码设备包括：信号获得器，其被配置为从比特流获得图像的残差信号；以及解码器，其被配置为基于从所述比特流获得的块比率信息，改变包括所述残差信号的多个第一块中的相邻的第一块的大小的比率，并且基于改变后的比率对所述残差信号进行解码，其中，所述块比率信息指示相邻的第一块的大小的比率可改变到的预定比率之一。
根据实施例的图像编码设备包括：编码器，其被配置为确定图像的残差信号，并且改变包括所述残差信号的多个第一块中的相邻的第一块的大小的比率；以及比特流生成器，其被配置为基于改变后的比率，生成包括残差信号和块比率信息的比特流，其中，该块比率信息指示相邻的第一块的大小的改变后的比率，其中，该块比率信息指示相邻的第一块的大小的比率可改变到的预定比率之一。
在一个实施例中，可以提供在其上记录有用于执行图像解码方法的计算机程序的非暂时性计算机可读记录介质。
本公开的模式
本公开的优点和特征以及实现它们的方法将从本文结合附图阐述的实施例中显而易见。然而，本公开不限于这些实施例，并且可以以许多不同的形式来体现。仅提供这些实施例是为了使得本公开将是彻底和完整的，并且将本公开的范围充分地传达给本领域的普通技术人员。
将简要描述在此使用的术语，然后将详细描述本公开。
在本公开中，考虑到本公开的功能，如果可能的话，选择现在已经广泛使用的通用术语，但是可以根据本领域的技术人员的意图、先例或新技术等来选择非通用术语。一些术语可由本申请人任意选择。在这种情况下，这些术语的含义将在本公开的相应部分中详细解释。因此，这里使用的术语应当不是基于其名称而是基于其含义和本说明书的整个上下文来定义。
如本文所使用的，除非上下文另外清楚地指出，否则单数形式“一”、“一个”和“该”也旨在包括复数形式。
应当理解的是，当元件被称为包括另一元件时，除非另有说明，否则该元件可以进一步包括其他元件。此处使用的术语“单元”应当被理解为执行某些功能的软件或硬件组件，例如fpga或asic。但是，术语“单元”不限于软件或硬件。术语“单元”可以被配置为包括在可寻址存储介质中，或者被配置为再现一个或多个处理器。因此，例如，术语“单元”可以包括诸如软件组件、面向对象的软件组件、类组件和任务组件的组件、过程、功能、属性、进程、子程序、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表格、阵列和变量。在组件和“单元”中提供的功能可以组合以获得少量的组件和“单元”，或者可以分成子组件和“子单元”。
在下文中，术语“图像”应当被理解为包括静态图像(例如，视频的静止图像)，以及运动图像(例如，视频的动态图像)。
术语“样本”应当被理解为分配给图像样本位置的数据，即，要处理的数据。例如，空间域中的图像的像素值和变换域中的变换系数可以是样本。包括这样的至少一个样本的单元可以被定义为块。
下面将详细描述本公开的实施例，使得本领域的普通技术人员可以容易地实现它们。在附图中，省略了与清楚地描述本公开不相关的部分。
图1a是能够通过改变图像中包括的块的大小的比率来对图像进行解码的图像解码设备100的框图。
在一个实施例中，图像解码设备100可以包括：信号获得器110，其被配置为从比特流获得残差信号；以及解码器120，其被配置为通过改变包括残差信号的第一块的大小的比率来对图像进行解码。详细地讲，图像解码设备100的解码器120可以从比特流获得块比率信息，并且通过使用块比率信息来改变包括残差信号的第一块中的相邻的第一块的大小的比率。此外，解码器120可以通过基于该第一块对残差信息进行解码来重建图像。将在下面关于各种实施例详细地描述图像解码设备100的特征。
图2是根据实施例的通过改变第一块的大小的比率来对图像进行解码的处理的流程图。
在一个实施例中，在操作s200中，信号获得器110可以从比特流获得图像的残差信号。由图像解码设备100获得的残差信号可以包括通过对包括在比特流中的信息进行逆变换和逆量化而重建的空间域中的样本的值。
在操作s202中，解码器120可以基于从比特流获得的块比率信息来改变包括残差信号的多个第一块中的相邻的第一块的大小的比率。从比特流获得的块比率信息可以是将要用于解码器120以改变用于分割图像的多个第一块中的相邻的第一块的大小的比率的信息。在一个实施例中，块比率信息可以包括用于确定第一块的大小的比率要被改变到的比率的信息，并且可以预先确定第一块的大小的比率要被改变到的比率。在一个实施例中，解码器120可以通过从比特流获得残差信号并且改变包括残差信号的第一块的大小的比率来比现有技术更自适应地对图像的特征进行图像解码处理。将通过下面的各种实施例来描述通过改变第一块的大小的比率来改变包括在第一块中的残差信号的过程。
在操作s204中，图像解码设备100的解码器20可以根据改变第一块的大小的比率的结果来改变残差信号的样本的值，并且通过使用改变后的样本的值来对图像进行解码。在一个实施例中，解码器120可以使用通过改变第一块的大小的比率而改变的残差信号的样本的值来进行图像解码处理。在通过使用作为进行逆变换和逆量化的结果的残差信号来对图像进行解码的过程中，可以使用各种解码技术，包括确定各种类型的数据单元的处理、根据帧内或帧间预测模式执行的预测处理、为了减少噪声而执行的滤波等。在一个实施例中，当通过改变第一块的大小的比率来改变包括在第一块中的样本的值时，解码器120可以使用如上所述的在各种解码过程中改变的第一块。
图3a示出了根据实施例的改变图像中包括的第一块的大小的比率的过程。
在一个实施例中，图像解码设备100可以从比特流获得残差信号。解码器120可以改变包括残差信号的第一块的大小的比率。解码器120可以使用从比特流获得的块比率信息来改变第一块的大小的比率。这里，块比率信息可以是指示第一块中的相邻的第一块的大小的比率可改变到的预定比率之一的信息。因此，解码器120可以通过使用从比特流获得的块比率信息来改变当前要解码的第一块的大小。也就是说，为了重建图像，解码器120可以根据在改变第一块的大小时使用的块比率信息，以相反的顺序执行改变由编码侧执行的第一块的处理，如将在下面关于实施例详细描述的那样。
参考图3a，解码器120可以确定包括残差信号的第一块300和302。解码器120可以基于第一块300和302对图像进行解码。或者，在一个实施例中，解码器120可以通过使用第一块310和312对图像进行解码，第一块310和312的大小是通过改变第一块300和302的大小的比率而获得的比率。也就是说，当要改变包括残差信号的第一块300和302的大小的比率时，可以改变包括在第一块300和302中并且与包括在第一块300和302中的残差信号有关的对象307、308和309的大小的比率或形状。在包括在第一块310和312中的对象317、318和319的大小处于改变的比率的情况下，其形状可以与第一块300和302中包括的对象307、308和309的形状不同。
根据图像的特征对具有较多高频分量的图像的部分和具有较少高频分量的图像的部分进行相同的压缩处理可能是低效的。在一个实施例中，通过调整具有较多高频分量的部分的比率，可以通过将高频分量转换为低频分量来对图像进行高效地解码。在一个实施例中，解码器120可以减小第一块300和302中具有较多高频分量的第一块302的大小(如附图标记303所示)。因此，可以增加与具有较多高频分量的第一块302相邻的第一块300的大小(如附图标记301所示)。随着具有较多高频分量的第一块302的大小减小(如附图标记303所示)，可以减小(如附图标记303所示)增加以对其中包括的高频分量(如附图标记313所示)进行高效地编码的第一块302的大小。因此，包括在与从比特流获得的残差信号有关的第一块302中的对象308和309可以再次改变为包括在第一块302被改变到的第一块312中的对象318和319。也就是说，解码器120可以通过执行增加第一块302的大小的处理来改变第一块302的大小的比率，该处理以相反的顺序执行从而对高频分量进行编码(如附图标记313所示)。
在一个实施例中，解码器120可以改变包括在数据块中的第一块300和302的大小的比率。参考图3a，图像解码设备100可以通过使用各种类型的数据块来对图像进行解码。解码器120可以使用其他各种类型的数据块以及用于处理残差信号的第一块300和302。一些数据块可以彼此包含在一起。在一个实施例中，解码器120可以通过使用包括第一块300和302的第二块320来对图像进行解码。
在一个实施例中，解码器120可以改变包括在第二块320中的第一块300和302的大小的比率。也就是说，解码器120可以基于从比特流获得的块比率信息确定包括在第二块320中第一块300和302的大小的比率。在一个实施例中，块比率信息可以是指示包括在第二块320中的第一块300的大小增加到的比率(如附图标记301所示)或者包括在第二块320中的第一块302的大小减小到的比率(如附图标记303所示)的信息。
图3b示出了根据实施例的第一块的大小的比率是可改变的各种情况。
如图3b所示，在一个实施例中，解码器120可以基于从比特流获得的块比率信息来改变第一块的大小的比率。考虑到包括在第一块中的第二块的大小，可以改变第一块的大小的比率。例如，解码器120可以通过使用包括两个垂直长的第一块的第二块350、包括两个水平长的第一块的第二块360、包括三个垂直长的第一块的第二块370以及包括三个水平长的第一块的第二块380来对图像进行解码。在一个实施例中，基于包括在第二块350、360、370和380中的第一块的形状，从比特流获得的块形状信息可以指示第一块的大小的比率要改变到的大小的比率。例如，解码器120可以确定当前第二块中包括的第一块的形状，并且基于块比率信息来确定与当前第二块有关的要改变的第一块的形状之一。
参考图3b，解码器120可以确定当前第二块中包括的第一块的形状。例如，解码器120可以确定当前第二块350、352或354包括两个垂直长的第一块。解码器120可以基于从比特流获得的块形状信息来改变包括在当前第二块350、352或354中的第一块的大小的比率。例如，当当前第二块352包括两个垂直长的第一块并且右侧第一块的宽度大于两个第一块中的另一第一块的宽度时，解码器120可以减小右侧第一块的宽度以基于块比率信息将具有两个不对称第一块的当前第二块352改变为包括具有相同宽度的两个对称第一块的第二块350。作为另一示例，当当前第二块362包括两个水平长的第一块并且较低的第一块的高度大于两个第一块中的另一第一块的高度时，解码器120可以减小较高的第一块的高度，以基于块比率信息将具有两个不对称的第一块的当前第二块362改变为包括具有相同高度的两个对称的第一块的第二块360。类似地，包括在具有对应于上述实施例的各种形状(例如，具有比右侧第一块更宽的左侧第一块的第二块354、具有比下部第一块更长的上部第一块的第二块364等)的每个第二块的第一块的大小的比率可以如上所述地改变。
在一个实施例中，第二块可以包括奇数个第一块。参考图3b，解码器120可以通过使用包括奇数个垂直长的第一块的第二块370、372或374或者包括奇数个水平长的第一块的第二块380、382或384来对图像进行解码。
参考图3b，解码器120可以确定当前第二块370、372或374包括奇数个垂直长的第一块(例如，三个第一块)。解码器120可以基于从比特流获得的块形状信息来改变当前第二块370、372或374中包括的第一块的大小的比率。例如，当当前第二块372包括三个垂直长的第一块并且中心第一块的宽度大于三个第一块中的其他第一块的宽度时，解码器120可以基于块比率信息减小中心第一块的宽度并且使用具有相同宽度的三个第一块的第二块370来对图像进行解码。作为另一示例，当当前第二块382包括三个水平长的第一块并且中心第一块的高度大于三个第一块中的其它第一块的高度时，解码器120可以基于块比率信息减小较高的中心第一块的高度并且使用具有相同高度的三个第一块的第二块380来对图像进行解码。类似地，包括在具有对应于上述实施例的各种形状(例如，具有比其他第一块更窄的中心第一块的第二块374、具有比其他第一块更短的中心第一块的第二块384等)的每个第二块中包括的第一块的比率可以如上所述地改变。
为了便于解释，上面已经关于图3b所示的第一块描述了改变可以由图像解码设备100确定的第一块的大小的比率的过程。但是，第一块的形状要被改变到的形状不应当被解释为限于上面参考图3b描述的形状，并且解码器120可以执行改变包括在具有各种形状的第二块(例如，正方形或矩形块)中的第一块的大小的比率的过程。
在一个实施例中，解码器120可以基于第二块的分区信息和从比特流获得的块比率信息中的至少一个改变包括在第二块中的第一块的大小的比率。
在一个实施例中，解码器120可以从比特流获得分区信息，该分区信息是关于第二块包括的至少一个块的形状的信息。例如，解码器120可以从比特流获得指示包括在2n×2n的第二块中的至少一个块的各种类型(例如，2n×2n、2n×n、n×2n、n×n、nl×2n、nr×2n、2n×nu和2n×nd)的分区信息。解码器120可以基于从比特流获得的分区信息确定包括在当前第二块中的第一块的大小，并且通过使用确定的第一块的形状和块比率信息来改变当前第二块中包括的第一块的大小的比率。例如，当解码器120从比特流获得指示2n×2n或n×n的分区信息时，可以跳过改变第一块的大小的比率的过程。当从比特流获得指示2n×2n或n×n的分区信息时，解码器120可以增大或减小第二块中包括的第一块中的第一块的高度或宽度，从而将第一块的大小的比率改变为nl×2n、nr×2n、2n×nu或2n×nd。当从比特流获得指示nl×2n、nr×2n、2n×nu和2n×nd的分区信息时，解码器120可以通过增大或减小包括在第二块中的第一块中的第一块的高度或宽度来执行将第一块改变为2n×n或者n×2n的过程。但是，为了便于解释，由上述分区信息指示的分区的形状仅仅是示例，并且可以基于分区信息来确定包括在第二块中的第一块的各种形状。
在一个实施例中，当通过增大或减小第一块的大小来改变包括在第一块中的样本的值时，可以对样本的值进行插值或抽样。例如，当第一块的大小增加时，解码器120可以通过对样本的值进行插值来改变包括在第一块中的样本的值和数量。此外，当第一块的大小减小时，解码器120可以通过对样本的值进行抽样来改变包括在第一块中的样本的值和数量。
在一个实施例中，解码器120可以通过从比特流获得块比率信息来确定包括在第二块中的第一块的形状，并且确定是否要改变第一块的大小。例如，由图像解码设备100从比特流获得的块比率信息可以指示在下面的表1中示出的信息。
表1
获得块比率信息的解码器120可以根据上面的表1确定当前第二块中包括的第一块的形状，并且确定是否要改变确定的第一块的形状的大小。也就是说，解码器120可以基于已经编码和解码器120从比特流中获得的残差信号来确定块的形状，确定是否要改变确定的第一块的形状的大小，并且基于该块比率信息确定要改变的第一块的大小的比率。
图4是根据实施例的通过使用指示是否要改变第一块的大小的比率的大小改变信息来对图像进行解码的方法的流程图，该方法由图像解码设备100执行。在一个实施例中，大小改变信息可以被定义为指示是否要改变相邻的第一块的大小的比率的信息。
在一个实施例中，在操作s400中，解码器120可以从比特流获得图像的残差信号，并且在操作s402中，确定包括残差信号的第一块。
在一个实施例中，在操作s404中，解码器120可以从比特流获得指示是否要改变第一块的大小的比率的大小改变信息。在一个实施例中，可以以数据单元为单位从比特流获得大小改变信息，每个数据单元都包括第一块。例如，解码器120可以以第二块为单位从比特流获得大小改变信息，每个第二块都包括至少一个第一块，并且确定是否要改变包括在每个第二块中的至少一个第一块的大小的比率。也就是说，在一个实施例中，解码器120可以基于大小改变信息确定第一块的大小是否将以第二块为单位而改变，并且因此可以确定是否要对图像的特征自适应地执行附加的数据处理过程。在一个实施例中，在操作s406中，解码器120可基于块比率信息来改变其大小被确定要改变的第一块的大小。
在一个实施例中，在操作s408中，解码器120可以基于其大小被改变的第一块中的至少一个来对图像进行解码。解码器120可以以相反的顺序通过执行由编码侧执行的大小改变处理来改变第一块的大小，并且使用改变后的第一块执行图像重建处理。解码器120可以使用包括在改变后的第一块中的样本的值来执行预测处理和图像重建处理。
图5是根据实施例的从比特流获得大小改变信息和块比率信息并在解码过程中使用大小改变信息和块比率信息的方法的流程图，该方法由图像解码设备100执行。在一个实施例中，解码器120可以执行图5的操作s500至s504，该操作与图4的操作s400至s404相同。
在一个实施例中，在操作s506中，解码器120可以确定大小改变信息指示是否要改变第一块的大小的比率。在一个实施例中，解码器120可以以数据单元为单位从比特流获得大小改变信息，每个数据单元都包括至少一个第一块。为了便于解释，下面将假定数据单元是在上述各种实施例中使用的第二块。
在一个实施例中，解码器120可以以第二块为单位从比特流获得大小改变信息，每个第二块都包括至少一个第一块。解码器120可以基于以第二块为单位获得的大小改变信息来确定是否要改变包括在每个第二块中的至少一个第一块的大小。
在一个实施例中，在操作s512中，当大小改变信息指示不要改变包括在每个第二块中的至少一个第一块时，解码器120可以基于至少一个一个第一块对图像进行解码。也就是说，在一个实施例中，当从与当前第二块有关的比特流获得的大小改变信息指示不要改变包括在当前第二块中的至少一个第一块时，可以跳过从比特流获得块比率信息的过程。解码器120可以以数据单元(例如，第二块)为单位获得块比率信息，每个数据单元(例如，第二块)都包括至少一个第一块。然而，当不要改变包括在每个数据单元中的至少一个第一块的大小时，块比率信息可以不被用在解码处理中。因此，在从比特流获得块比率信息之前，解码器120可以基于大小改变信息通过确定是否要改变至少一个第一块的大小来确定是否要从比特流获得块比率信息。
在一个实施例中，在操作s508中，当大小改变信息指示要改变包括在每个第二块中的至少一个第一块的大小时，解码器120可以从比特流获得指示第一块的大小的比率将被改变到的预定比率之一的块比率信息。在操作s510中，解码器120可以基于块比率信息来改变包括在每个第二块中的相邻的第一块的大小的比率。根据这里阐述的各种实施例，第一块的大小的比率要被改变到的预定比率将变得明显。
在一个实施例中，在操作s510中，解码器120可以改变第一块的大小，并且在操作s512中，基于改变后的第一块来对图像进行解码。
图6a示出根据实施例的其大小要被改变的第一块和包括第一块的第二块之间的关系。
在一个实施例中，解码器120可以确定是否要改变包括在第二块中的至少一个第一块的大小，并且基于可以包括至少一个第二块的数据单元来改变至少一个第一块的大小。例如，解码器120可以基于可以包括至少一个第二块的数据块(例如，切片、切片片段等)来改变包括在至少一个第二块中的第一块的大小。为了便于解释，包括至少一个第二块的数据单元在下文中将被定义为第三块。
在一个实施例中，解码器120可以使用彼此为包含关系的第一块、第二块和第三块作为图像解码的过程中可用的数据块。在一个实施例中，当第一块是变换单元时，第二块可以包括最大编码单元、编码单元或者可以包括该变换单元的预测单元，并且第三块可以被定义为图片、最大编码单元或者可以包括第二块的编码单元。为了便于解释，假设在与图6a和6b相关的实施例中，第一块是变换单元、第二块是编码单元并且第三块是最大编码单元。在一个实施例中，以下将参考图10-23描述使用如上所述的各种数据单元中包括的最大编码单元、编码单元、变换单元等的图像解码方法。
参考图6a，解码器120可以通过使用第二块602、604、606和608来改变第一块的大小，第二块602、604、606和608均可以包括至少一个第一块。此外，解码器120可以基于包括第二块602、604、606和608的至少一个第三块600来改变包括在第二块602、604、606和608中的第一块的大小。详细地，解码器120可以以第三块为单位从比特流获得指示是否要改变第一块的大小的大小改变信息。当大小改变信息指示要改变第一块的大小时，可以基于包括第一块的第二块602、604、606和608来改变第一块的大小。参考图6a，在一个实施例中，可以以第三块为单位从比特流获得大小改变信息，并且解码器120可以基于大小改变信息确定包括在至少一个第三块600中包括的第二块602、604、606和608中的第一块的大小。参考图6a，为了改变包括在至少一个第三块600中的第一块的大小，在第二块602、604、606和608中，可以增加包括在左侧第二块602和606中的第一块的宽度，并且减小右侧第二块604和608的宽度。也就是说，解码器120可以确定是否要改变包括在一个第二块中的第一块的大小、确定第一块的大小要改变到的大小并且以第三块为单位确定第一块的大小，每个第三块都包括第二块。
在一个实施例中，解码器120可以从比特流获得每个不同的数据单元的大小改变信息和块比率信息。例如，解码器120可以通过从比特流获得至少一个第三块600中的每一个的大小改变信息来确定是否要改变至少一个第三块600中的每一个包括的至少一个第一块的大小。此外，当关于至少一个第三块600中的每一个获得的大小改变信息指示要改变至少一个第一块的大小时，可以针对包括在至少一个第三块600中的第二块602、604、606和608中的每一个从比特流获得指示第一块的大小的比率要改变到的预定比率之一的块比率信息。解码器120可以确定是否要改变第一块，并且基于针对第二块602、604、606和608中的每一个所获得的块比率信息来确定第一块的大小要改变到的大小。也就是说，针对至少一个第三块600的每一个获得大小改变信息。因此，当至少一个第三块600中包括的所有第一块的大小都不要改变时，不要针对第二块602、604、606和608中的每一个从比特流获得块比率信息。因此，可以高效地使用比特流。
在一个实施例中，可以使用第一块、第二块612、614、616和618以及第三块610，并且可以在图像编码的过程中执行改变第一块的大小的过程。在图像编码的过程中，为了基于第一块、第二块602、604、606和608以及第三块600来改变第一块的大小，改变第一块的大小的过程可以以与上述图像解码设备100的操作类似或相反的方式来执行。也就是说，图像解码设备100可以执行与编码侧执行的压缩过程相反的改变第一块的大小的过程，并且可以使用具有已经改变过大小的第一块生成与在图像已经被编码之前使用的信号有关的重建信号。
图6b是示出了根据实施例的包括在第三块中的第一块的大小可改变的过程的图。
在一个实施例中，解码器120可以确定改变包括在第二块652、654、656和658中的每一个中的第一块的大小的方法是相同的。也就是说，解码器120可以从比特流获得每个第三块650的大小改变信息，每个第三块包括第二块652、654、656和658。此外，解码器120可以从比特流获得每个第三块650的块比率信息，并且基于块比率信息来改变包括在第二块652、654、656和658中的第一块的大小。在一个实施例中，解码器120可以基于针对每个第三块650获得的大小改变信息和块比率信息来改变包括在每个第二块652、654、656和658中的第一块的大小，并确定改变包括在每个第二块652、654、656和658中的第一块的大小的方法相同。
在一个实施例中，解码器120可以确定改变包括在每个第二块662、664、666和668中的第一块的大小的方法不同于改变包括在其他第二块中的第一块的大小的方法。在一个实施例中，解码器120可以基于针对每个第三块660获得的大小改变信息和块比率信息来改变包括在每个第二块662、664、666和668中的第一块的大小。在这种情况下，改变包括在每个第二块662、664、666和668中的第一块的大小的过程可以与改变包括在其他第二块中的第一块的大小的过程不同。参考图6b，每个第三块660中包括的每个第二块662、664、666和668包括第一块。解码器120可以从比特流获得每个第三块660的块比率信息，并且因此可以确定包括在每个第三块660中并且将被改变的第一块的大小(或者可以确定改变第一块的大小的过程)。也就是说，可以定义针对每个第三块660获得的块比率信息，使得对每个第三块660中包括的第二块662、664、666和668执行改变第一块的大小的各种过程。
在一个实施例中，如上所述的信号获得器110和解码器120的操作可以由一个解码器120或处理器(cpu)执行。
在另一个实施例中，图像解码设备100可以改变其大小的第一块可以包括残差信息或重建信号，该重建信号是使用残差信息执行重建过程的结果。也就是说，第一块中包括的其大小被改变的残差信号可以对应于重建信号的值与预测信号的值之间的差，并且可以包括重建信号，该重建信号是使用残差信号执行重建过程的结果。在上述各种实施例中，图像解码设备100可以通过改变第一块来改变包括在第一块中的重建信号从而来执行图像解码处理。也就是说，在一个实施例中，第一块可以是包括重建信号的数据单元(例如，编码单元)，并且图像解码设备100可以根据上述各种实施例改变包括重建信号的数据单元的大小。因此，当包括在第一块中的信号是重建信号时，解码器120可以通过使用用于重建残差信号的数据单元(例如，变换单元)确定重建信号并改变包括重建信号的第一块的大小以改变包括在第一块中的残差信号的值来重建图像。在一个实施例中，改变第一块的重建信号的过程可以对应于改变包括在第一块中的残差信号的过程，因此在此不再详细描述。
上述各种实施例包括可以用于图像解码设备100来对图像进行解码的特征。下面将描述根据与由图像解码设备100执行的解码处理有关的各种实施例的可以用于图像编码设备150对图像进行编码的特征。
图1b是能够通过改变图像中包括的块的大小的比率来对图像进行编码的图像编码设备150的框图。
在一个实施例中，图像编码设备150可以包括：比特流生成器160，其被配置为生成包括残差信号的比特流；以及编码器170，其被配置为通过改变包括残差信号的第一块的大小的比率来对图像进行编码。详细地，图像编码设备150的编码器170可以改变包括残差信号的第一块中的相邻的第一块的大小的比率。此外，编码器170可以基于其大小被改变的第一块，通过使用残差信号对图像进行编码。图像编码设备150的特征将在下面关于各种实施例进行详细描述。
图7是根据实施例的通过改变第一块的大小的比率来对图像进行编码的处理的流程图。
在一个实施例中，在操作s700中，编码器170可以确定图像的残差信号。在一个实施例中，残差信号可以对应于原始信号的值和预测信号的值之间的差，编码器170可以变换和量化残差信号，并且比特流生成器160可以生成与逆量化剩余信号的结果有关的比特流。
在操作s702中，编码器170可以改变包括残差信号的第一块中的相邻的第一块的大小的比率。在一个实施例中，编码器170可以通过改变第一块的大小的比率比现有技术更自适应于图像的特征来执行对图像进行编码的处理。将通过下面的各种实施例来描述通过改变第一块的大小的比率来改变包括在第一块中的残差信号的处理。
在操作s704中，编码器170可以基于改变第一块的大小的比率的结果来对残差信号进行编码。编码器170可以通过使用通过改变第一块的大小的比率而改变的残差信号来对图像进行编码。在通过使用残差信号对图像进行编码时，可以使用各种编码技术，包括确定各种类型的数据单元的处理、根据帧内或帧间预测模式执行的预测处理、在变换域中执行的变换和量化处理、为了减少噪声所执行的过滤等。在一个实施例中，比特流生成器160可以生成包括指示作为预定比率之一的第一块的大小的比率的块比率信息和残差信号的比特流。
图3a示出了根据实施例的改变图像中包括的第一块的大小的比率的过程。
在一个实施例中，编码器170可以改变包括残差信号的第一块的大小的比率，并且比特流生成器160可以生成包括指示第一块的大小的改变的比率的块比率信息的比特流。这里，块比率信息可以是指示第一块中的相邻的第一块的大小的比率可以改变到的预定比率之一的信息。因此，编码器170可以通过使用从比特流获得的块比率信息来改变要被当前编码的图像中包括的至少一个第一块的大小。也就是说，编码器170改变第一块的大小，并且比特流生成器160生成包括指示关于第一块的改变后的大小的信息的块比率信息的比特流。因此，在解码过程中，解码器120可以以相反的顺序执行改变由编码器170执行的改变第一块的大小的处理从而重建图像。上面已经关于各种实施例描述了解码器120的特征，因此在此不再详细描述。
参考图3a，编码器170可以确定用于分割图像的第一块310和312。编码器170可以基于第一块310和312对图像进行编码。或者，在一个实施例中，编码器170可以通过使用第一块300和302对图像进行编码，第一块300和302的大小处于通过改变第一块310和312的大小的比率获得的比率。也就是说，当改变包括残差信号的第一块310和312的大小的比率时，可以改变与包括在第一块310和312中和包括在第一块310和312中的残差信号有关的对象317、318和319的大小的比率或形状。包括在处于改变的大小的比率的第一块300和302中的对象307、308和309的形状可以不同于包括在大小的比率不变的第一块310和312中的对象317、318和319的形状。也就是说，编码器170可以在压缩图像期间考虑比率失真成本等来确定是否要改变第一块310和312的大小。当通过增加具有较多高频分量的图像的一部分来执行改变第一块310和312的大小的过程时，比特流生成器160可以生成包括指示关于改变第一块310和312等的大小的信息的块比率信息的比特流。
与图3a和3b有关的图像编码设备150的操作可以与图3a和3b有关的图像解码设备100的操作基本相同或相反。因此在此不再详细描述。
图8是根据实施例的通过确定是否要改变第一块的大小的比率对图像进行编码以及通过使用改变后的第一块来对图像进行编码的方法的流程图，该方法由图像编码设备150执行。在一个实施例中，编码器170可以在操作s800中确定图像的残差信号，并且在操作s802中确定是否要改变包括残差信号的第一块中的相邻的第一块的大小的比率。
在一个实施例中，当确定要改变相邻的第一块的大小的比率时，编码器170在操作s804中可以改变第一块的大小的比率要改变到的比率。
在一个实施例中，在操作s806中，编码器170可以基于至少一个第一块的大小被改变来对图像进行编码。在一个实施例中，编码器170可以基于至少一个第一块处于改变的大小的比率，通过生成包括残差信号、块比率信息和大小改变信息中的至少一个的比特流来对图像进行编码。
图9是根据实施例的确定是否要改变第一块的大小的比率并且生成包括指示第一块的大小的改变后的比率的块比率信息和指示在对图像进行编码期间是否要改变第一块的大小的比率的大小改变信息的比特流的过程的流程图，该过程由图像编码设备150执行。在一个实施例中，编码器170可以以与图8的操作s800和s802类似的方式执行图9的操作s900和s902。
在操作s904中，编码器170可以确定是否要改变用于分割图像的第一块的大小的比率。可以通过考虑比率失真成本等来确定是否要改变第一块的大小。
在一个实施例中，在操作s910中，当确定不要改变第一块的大小的比率时，编码器170可以基于第一块的大小的比率通过生成包括残差信号和指示是否要改变第一块的大小的比率的大小改变信息的比特流来对图像进行编码。
在一个实施例中，在操作s906中，当确定要改变第一块的大小的比率时，编码器170可以改变相邻的第一块的大小的比率。第一块的大小的比率要被改变到的比率可以是预定比率之一。可以根据考虑比率失真成本等执行的编码方法来确定第一块的大小的比率要改变到的比率，从而实现最佳效率。
在一个实施例中，在操作s906中，编码器170可以根据确定的比率来改变第一块的大小。上面已经关于各种实施例描述了改变第一块的大小的处理，因此这里不对其进行详细描述。
在操作s908中，图像编码设备150的比特流生成器160可以生成包括指示在操作s906中改变的第一块的大小的比率的块比率信息的比特流。也就是说，图像编码设备150可以在操作s904中确定是否要改变第一块的大小，并且在操作s908中生成包括块比率信息的比特流。图像编码设备150可以确定是否要改变第一块的大小，并且仅在有限的情况下生成包括块比率信息的比特流，由此高效地管理比特流。
在操作s910中，图像编码设备150可以基于改变后的第一块的大小的比率，通过生成包括残差信号和大小改变信息的比特流来对图像进行编码。
在一个实施例中，比特流生成器160可以以数据单元为单位生成包括大小改变信息的比特流，每个数据单元都包括至少一个第一块(例如，上述实施例中使用的第二块)。
在一个实施例中，比特流生成器160可以以第二块为单位生成包括大小改变信息的比特流，每个第二块都包括至少一个第一块。
在一个实施例中，可以确定不要改变包括在第二块中的第一块中的至少一个第一块的大小。在这种情况下，可以跳过包括关于至少一个其大小不要被改变成比特流的第一块的块比率信息的过程。比特流产生器160可以以数据单元(例如，第二块)为单位生成包括块比率信息的比特流，每个数据单元都包括至少一个第一块。在另一个实施例中，当不要改变包括在每个数据单元中的至少一个第一块的大小时，不要生成包括关于至少一个第一块的块比率信息的比特流。也就是说，图像编码设备150可以基于第二块来确定是否要改变包括在第二块中的第一块的大小，并且生成包括块比率信息的比特流，该块比率信息指示以第一块为单位第一块的大小的比率要改变到的比率。
在一个实施例中，上述比特流生成器160和编码器170的操作可以由一个编码器170或处理器(cpu)来执行。
在另一个实施例中，要由图像编码设备150改变大小的第一块可以包括残差信息或在生成残差信息之前使用的图像的原始信号。也就是说，第一块中包括的其大小被改变的残差信号可以对应于原始信号的值和预测信号的值之间的差，并且包括图像的原始信号。在上述各种实施例中，图像编码设备150可以根据改变第一块的大小的过程来改变包括在第一块中的原始信号，并且使用改变后的原始信号来对图像进行编码。也就是说，在一个实施例中，第一块可以是包括原始信号的数据单元(例如，编码单元)，并且图像编码设备150可以根据上述各种实施例改变包括原始信号的数据单元的大小。
将参考以下图10至图23描述根据实施例的确定用于图像解码设备100对图像进行解码的数据单元的方法。图像编码设备150的操作可以与将在以下描述的图像解码设备100的操作基本相同或相反。
图10示出了根据实施例的由图像解码设备100执行的通过分割当前编码单元来确定一个或多个编码单元的操作。
根据实施例，图像解码设备100可以通过使用块形状信息来确定编码单元的形状，并且通过使用分割形状信息来确定分割编码单元的方法。也就是说，可以基于由图像解码设备100使用的块形状信息所指示的块形状来确定由分割形状信息指示的分割编码单元的方法。
根据实施例，图像解码设备100可以使用指示当前编码单元具有正方形形状的块形状信息。例如，图像解码设备100可以基于分割形状信息确定是否分割正方形编码单元、是否垂直分割正方形编码单元、是否水平分割正方形编码单元、或者是否将正方形编码单元分割为四个编码单元。参考图10，当当前编码单元1000的块形状信息指示正方形形状时，解码器120可以基于指示不进行分割的分割形状信息确定不分割具有与当前编码单元1000相同的大小的编码单元1010a，或者可以基于指示预定的分割方法的分割形状信息确定分割的编码单元1010b、1010c或者1010d。
参考图10，根据实施例，图像解码设备100可以基于指示在垂直方向上进行分割的分割形状信息来确定通过在垂直方向上分割当前编码单元1000而获得的两个编码单元1010b。图像解码设备100可以基于指示在水平方向上进行分割的分割形状信息来确定通过在水平方向上分割当前编码单元1000而获得的两个编码单元1010c。图像解码设备100可以基于指示在垂直和水平方向上进行分割的分割形状信息来确定通过在垂直和水平方向上分割当前编码单元1000而获得的四个编码单元1010d。然而，分割正方形编码单元的方法不限于上述方法，并且分割形状信息可以指示各种方法。将在以下通过各种实施例详细描述分割正方形编码单元的预定分割方法。
图11示出了根据实施例的由图像解码设备100执行的通过分割非正方形编码单元来确定一个或多个编码单元的操作。
根据实施例，图像解码设备100可以使用指示当前编码单元具有非正方形形状的块形状信息。图像解码设备100可以基于分割形状信息来确定是否分割当前非正方形编码单元或者是否使用预定分割方法分割当前非正方形编码单元。参考图11，当当前编码单元1100或1150的块形状信息指示非正方形形状时，图像解码设备100可以基于指示不进行分割的分割形状信息来确定不分割具有与当前编码单元1100或1150相同大小的编码单元1110或1160，或基于指示预定分割方法的分割形状信息确定编码单元1120a和1120b、1130a至1130c、1170a和1170b或1180a至1180c。将在以下通过各种实施例详细描述分割非正方形编码单元的预定分割方法。
根据实施例，图像解码设备100可以通过使用分割形状信息来确定分割编码单元的方法，并且在这种情况下，分割形状信息可以指示通过分割编码单元生成的一个或多个编码单元的数量。参考图11，当分割形状信息指示将当前编码单元1100或1150分割为两个编码单元时，图像解码设备100可以通过基于分割形状信息分割当前编码单元1100或1150，从而确定当前编码单元1100或1150中包括的两个编码单元1120a和1120b或1170a和1170b。
根据实施例，当图像解码设备100基于分割形状信息分割当前非正方形编码单元1100或1150时，可以考虑当前非正方形编码单元1100或1150的长边的位置。例如，图像解码设备100可以通过考虑当前编码单元1100或1150的形状来分割当前编码单元1100或1150的长边从而确定多个编码单元。
根据实施例，当分割形状信息指示将编码单元分割为奇数个块时，图像解码设备100可以确定当前编码单元1100或1150中包括的奇数个编码单元。例如，当分割形状信息指示将当前编码单元1100或1150分割为三个编码单元时，图像解码设备100可以将当前编码单元1100或1150分割为三个编码单元1130a、1130b和1130c或1180a、1180b和1180c。根据实施例，图像解码设备100可以确定当前编码单元1100或1150中包括的奇数个编码单元，并且并非所有确定的编码单元具有相同的大小。例如，确定的奇数个编码单元1130a、1130b和1130c或1180a、1180b和1180c中的预定编码单元1130b或1180b可以具有与其他编码单元1130a和1130c或1180a和1180c的大小不同的大小。也就是说，通过分割当前编码单元1100或1150可以确定的编码单元可以具有多个大小，并且在一些情况下，所有奇数个的编码单元1130a、1130b和1130c或1180a、1180b和1180c可以具有不同的大小。
根据实施例，当分割形状信息指示将编码单元分割为奇数个块时，图像解码设备100可以确定当前编码单元1100或1150中包括的奇数个编码单元，并且对通过分割当前编码单元1100或1150而生成的奇数个编码单元中的至少一个编码单元进行预定的限制。参考图11，图像解码设备100可以允许编码单元1130b或1180b的解码方法与其他编码单元1130a和1130c或1180a和1180c的解码方法不同，其中编码单元1130b或1180b位于通过分割当前编码单元1100或1150而生成的三个编码单元1130a、1130b和1130c或者1180a、1180b和1180c的中心位置。例如，与其他编码单元1130a和1130c或1180a和1180c不同，图像解码设备100可以限定不要再分割位于中心位置的编码单元1130b或1180b或者只进行预定次数的分割。
图12示出了根据实施例的由图像解码设备100执行的基于块形状信息和分割形状信息中的至少一个来分割编码单元的操作。
根据实施例，图像解码设备100可以基于块形状信息和分割形状信息中的至少一个来确定是否将正方形第一编码单元1200分割为编码单元。根据实施例，当分割形状信息指示在水平方向上分割第一编码单元1200时，图像解码设备100可以通过在水平方向上分割第一编码单元1200来确定第二编码单元1210。根据实施例中使用的第一编码单元、第二编码单元和第三编码单元是用于理解在对编码单元进行分割之前和之后的关系的术语。例如，可以通过分割第一编码单元来确定第二编码单元，并且可以通过分割第二编码单元来确定第三编码单元。应当理解的是，第一编码单元、第二编码单元和第三编码单元的结构遵循以上描述。
根据实施例，图像解码设备100可以基于块形状信息和分割形状信息中的至少一个来确定是否将确定的第二编码单元1210分割为编码单元。参考图12，基于块形状信息和分割形状信息中的至少一个，图像解码设备100可以或者可以不将通过分割第一编码单元1200而确定的非正方形第二编码单元1210分割为一个或多个第三编码单元1220a、或1220b、1220c和1220d。图像解码设备100可以获得块形状信息和分割形状信息中的至少一个，并且基于获得的块形状信息和分割形状信息中的至少一个，通过分割第一编码单元1200确定多个各种形状的第二编码单元(例如，1210)，并且可以基于获得的块形状信息和分割形状信息中的至少一个，通过使用分割第一编码单元1200的方法来分割第二编码单元1210。根据实施例，当基于第一编码单元1200的块形状信息和分割形状信息中的至少一个将第一编码单元1200分割为第二编码单元1210时，第二编码单元1210也可以基于第二编码单元1210的块形状信息和分割形状信息中的至少一个被分割为第三编码单元1220a或1220b、1220c和1220d。也就是说，编码单元可以基于每个编码单元的块形状信息和分割形状信息中的至少一个被递归地分割。因此，可以通过分割非正方形编码单元来确定正方形编码单元，并且可以通过对正方形编码单元进行递归分割来确定非正方形编码单元。参考图12，可以对通过分割非正方形第二编码单元1210(例如，位于中心位置的编码单元或正方形编码单元)确定的奇数个第三编码单元1220b、1220c和1220d中的预定编码单元进行递归分割。根据实施例，奇数个第三编码单元1220b、1220c和1220d中的正方形第三编码单元1220c可以在水平方向上分割为多个第四编码单元。多个第四编码单元中的非正正方形第四编码单元可以被分割为多个编码单元。例如，非正方形第四编码单元可以被分割为奇数个编码单元。
以下将通过各种实施例描述可以用于对编码单元进行递归分割的方法。
根据实施例，图像解码设备100可以基于块形状信息和分割形状信息中的至少一个确定将第三编码单元1220a或1220b、1220c和1220d中的每一个分割为编码单元或不分割第二编码单元1210。根据实施例，图像解码设备100可以将非正方形第二编码单元1210分割为奇数个第三编码单元1220b、1220c和1220d。图像解码设备100可以对奇数个第三编码单元1220b、1220c和1220d中的预定第三编码单元进行预定的限制。例如，图像解码设备100可以限制对位于奇数个第三编码单元1220b、1220c和1220d的中心位置的第三编码单元1220c不再进行分割或者只进行预定次数的分割。参考图12，图像解码设备100可以限制对位于非正方形第二编码单元1210中包括的奇数个第三编码单元1220b、1220c和1220d的中心位置的第三编码单元1220c不再进行分割、通过使用预定的分割方法进行分割(例如，仅分割为四个编码单元或者通过使用第二编码单元1210的分割方法进行分割)，或者只进行预定次数的分割(例如，只分割n次，其中n>0)。然而，对位于中心位置的第三编码单元1220c的限制不限于上述示例，并且可以包括用于解码与其他第三编码单元1220b和1220d不同的位于中心位置的第三编码单元1220c的各种限制。
根据实施例，图像解码设备100可以从当前编码单元中的预定位置获得用于分割当前编码单元的块形状信息和分割形状信息中的至少一个。
图13示出了根据实施例的由图像解码设备100执行的从奇数个编码单元中确定预定编码单元的方法。参考图13，可以从包括在当前编码单元1300中的多个样本中的预定位置的样本(例如，中心位置的样本1340)获得当前编码单元1300的块形状信息和分割形状信息中的至少一个。然而，当前编码单元1300中的可以获得块形状信息和分割形状信息中的至少一个的预定位置不限于图13中的中心位置，并且可以包括当前编码单元1300中包括的各种位置(例如，顶部、底部、左、右、左上、左下、右上和右下位置)。图像解码设备100可以从预定位置获得块形状信息和分割形状信息中的至少一个，并且确定是否将当前编码单元分割为各种形状和各种大小的编码单元。
根据实施例，当当前编码单元被分割为预定数量的编码单元时，图像解码设备100可以选择编码单元中的一个。如以下将根据各种实施例所描述的，可以使用各种方法来选择多个编码单元中的一个。
根据实施例，图像解码设备100可以将当前编码单元分割为多个编码单元，并确定预定位置处的编码单元。
图13示出了根据实施例的由图像解码设备100执行的从奇数个编码单元中确定预定位置的编码单元的方法。
根据实施例，图像解码设备100可以使用指示奇数个编码单元的位置的信息来确定奇数个编码单元中的中心位置处的编码单元。参考图13，图像解码设备100可以通过分割当前编码单元1300来确定奇数个编码单元1320a、1320b和1320c。图像解码设备100可以通过使用关于奇数个编码单元1320a至1320c的位置的信息来确定位于中心位置的编码单元1320b。例如，图像解码设备100可以通过基于指示包括在编码单元1320a、1320b和1320c中的预定样本的位置的信息来确定编码单元1320a、1320b和1320c的位置从而确定中心位置的编码单元1320b。更详细地，图像解码设备100可以通过基于指示编码单元1320a、1320b和1330c的左上样本1330a、1330b和1330c的位置的信息来确定编码单元1320a、1320b和1320c的位置，从而确定位于中心位置的编码单元1320b。
根据实施例，指示分别包括在编码单元1320a、1320b和1320c中的左上样本1330a、1330b和1330c的位置的信息可以包括关于图片中的编码单元1320a、1320b和1320c的位置或坐标的信息。根据实施例，指示分别包括在编码单元1320a、1320b和1320c中的左上样本1330a、1330b和1330c的位置的信息可以包括指示包括在当前编码单元1300中的编码单元1320a、1320b和1320c的宽度或高度的信息，并且宽度或高度可以对应于指示图片中的编码单元1320a、1320b和1320c的坐标之间的差的信息。也就是说，图像解码设备100可以通过直接使用关于图片中的编码单元1320a、1320b和1320c的位置或坐标的信息或使用关于编码单元的宽度或高度的信息来确定中心位置处的编码单元1320b，该宽度或高度对应于坐标之间的差值。
根据实施例，指示上编码单元1320a的左上样本1330a的位置的信息可以包括坐标(xa，ya)，指示中间编码单元1320b的左上样本1330b的位置的信息可以包括坐标(xb，yb)，并且指示下编码单元1320c的左上样本1330c的位置的信息可以包括坐标(xc，yc)。图像解码设备100可以通过使用分别包括在编码单元1320a、1320b和1320c中的左上样本1330a、1330b和1330c的坐标来确定中间编码单元1320b。例如，当左上样本1330a、1330b和1330c的坐标以升序或降序排序时，包括位于中心位置的样本1330b的坐标(xb，yb)的编码单元1320b可以被确定为在通过分割当前编码单元1300而确定的编码单元1320a、1320b和1320c的中心位置处的编码单元。然而，指示左上样本1330a、1330b和1330c的位置的坐标可以包括指示图片中的绝对位置的坐标，或者参考上编码单元1320a的左上样本1330a的位置，可以使用指示中间编码单元1320b的左上样本1330b的相对位置的坐标(dxb，dyb)和指示下编码单元1320c的左上样本1330c的相对位置的坐标(dxc，dyc)。作为指示样本的位置的信息，通过使用包括在编码单元中的样本的坐标来确定预定位置处的编码单元的方法不限于上述方法，并且可以包括能够使用样本的坐标的各种算术方法。
根据实施例，图像解码设备100可以将当前编码单元1300分割为多个编码单元1320a、1320b和1320c，并且基于预定标准从编码单元1320a、1320b和1320c中选择一个编码单元。例如，图像解码设备100可以从编码单元1320a、1320b和1320c中选择与其他编码单元大小不同的编码单元1320b。
根据实施例，图像解码设备100可以通过使用指示上编码单元1320a的左上样本1330a的位置的坐标(xa，ya)、指示中间编码单元1320b的左上样本1330b的坐标(xb，yb)以及指示下编码单元1320c的左上样本1330c的位置的坐标(xc，yc)确定编码单元1320a、1320b和1320c的宽度或高度。图像解码设备100可以通过使用指示编码单元1320a、1320b和1320c的位置的坐标(xa，ya)、(xb，yb)和(xc，yc)来确定编码单元1320a、1320b和1320c的大小。
根据实施例，图像解码设备100可以将上编码单元11320a的宽度确定为xb-xa并且将其高度确定为yb-ya。根据实施例，图像解码设备100可以将中间编码单元1320b的宽度确定为xc-xb并且将其高度确定为yc-yb。根据实施例，图像解码设备100可以通过使用当前编码单元1300的宽度或高度或上编码单元1320a和中间编码单元1320b的宽度或高度来确定下编码单元1320c的宽度或高度。图像解码设备100可以基于确定的编码单元1320a至1320c的宽度和高度来确定与其他编码单元大小不同的编码单元。参考图13，图像解码设备100可以将与上编码单元1320a和下编码单元1320c大小不同的中间编码单元1320b确定为预定位置的编码单元。然而，由图像解码设备100执行的确定具有与其他编码单元大小不同的编码单元的上述方法仅仅对应于通过使用基于样本的坐标确定的编码单元的大小确定预定位置的编码单元的例子，并且因此可以使用通过比较基于预定样本的坐标确定的编码单元的大小来确定预定位置的编码单元的各种方法。
然而，被考虑用于确定编码单元的位置的样本的位置不限于上述左上位置，并且可以使用关于包括在编码单元中的样本的任意位置的信息。
根据实施例，考虑到当前编码单元的形状，图像解码设备100可以从通过分割当前编码单元而确定的奇数个编码单元中选择预定位置处的编码单元。例如，当当前编码单元具有宽度比高度更长的非正方形形状时，图像解码设备100可以在水平方向上确定预定位置处的编码单元。也就是说，图像解码设备100可以在水平方向上确定不同位置处的编码单元中的一个，并对编码单元进行限制。当当前编码单元具有高度大于宽度的非正方形形状时，图像解码设备100可以在垂直方向上确定预定位置处的编码单元。也就是说，图像解码设备100可以确定垂直方向上不同位置处的编码单元中的一个，并对编码单元进行限制。
根据实施例，图像解码设备100可以使用指示偶数个编码单元的位置的信息来确定偶数个编码单元中的预定位置处的编码单元。图像解码设备100可以通过分割当前编码单元来确定偶数个编码单元，并且通过使用关于偶数个编码单元的位置的信息来确定预定位置处的编码单元。与其相关的操作可以对应于上文已经在图13中详细描述过的从奇数个编码单元中(例如，中心位置)确定预定位置(例如，中心位置)处的编码单元的操作，因此将不再详细描述。
根据实施例，当当前非正方形编码单元被分割为多个编码单元时，可以在分割操作中使用关于预定位置处的编码单元的预定信息从而从多个编码单元中确定预定位置处的编码单元。例如，图像解码设备100可以使用存储在包括在中心位置处的编码单元中的样本中的块形状信息和分割形状信息中的至少一个，从而在分割操作中从通过分割当前编码单元确定的多个编码单元中确定中心位置处的编码单元。
参考图13，图像解码设备100可以基于块形状信息和分割形状信息中的至少一个将当前编码单元1300分割为多个编码单元1320a、1320b和1320c，并且从多个编码单元1320a、1320b和1320c中确定中心位置处的编码单元1320b。此外，考虑到获得块形状信息和分割形状信息中的至少一个的位置，图像解码设备100可以确定中心位置处的编码单元1320b。也就是说，可以从当前编码单元1300的中心位置处的样本1340获得当前编码单元1300的块形状信息和分割形状信息中的至少一个，并且当当前编码单元1300基于块形状信息和分割形状信息中的至少一个被分割为多个编码单元1320a、1320b和1320c时，包括样本1340的编码单元1320b可以被确定为中心位置处的编码单元。然而，用于确定中心位置处的编码单元的信息不限于块形状信息和分割形状信息中的至少一个，并且可以使用各种类型的信息来确定中心位置处的编码单元。
根据实施例，可以从包括在待确定的编码单元中的预定样本获得用于识别预定位置处的编码单元的预定信息。参考图13，图像解码设备100可以使用从当前编码单元1300中的预定位置处的样本(例如，位于当前编码单元1300的中心位置处的样本)获得的块形状信息和分割形状信息中的至少一个来确定通过分割当前编码单元1300(例如，多个分割编码单元中的中心位置的编码单元)确定的多个编码单元1320a、1320b和1320c中的预定位置处的编码单元。也就是说，图像解码设备100可以通过考虑当前编码单元1300的块形状来确定预定位置处的样本、确定包括样本的编码单元1320b，从通过分割当前编码单元1300确定的多个编码单元1320a、1320b和1320c中的编码单元1320b获得预定信息(例如，块形状信息和分割形状信息中的至少一个)，并且对编码单元1320b进行预定限制。参考图13，根据实施例，图像解码设备100可以将当前编码单元1300的中心位置处的样本1340确定为可以从其获得预定信息的样本，并且在解码操作中对包括样本1340的编码单元1320b进行预定限制。然而，可以从其获得预定信息的样本的位置不限于上述位置，并且可以包括编码单元1320b中包括的待确定用于限制的样本的任意位置。
根据实施例，可以基于当前编码单元1300的形状来确定可以从其获得预定信息的样本的位置。根据实施例，块形状信息可以指示当前编码单元具有正方形或非正方形形状，并且可以基于形状确定可以从其获得预定信息的样本的位置。例如，图像解码设备100可以将用于将当前编码单元的宽度和高度中的至少一个分成两半的位于边界上的样本确定为通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个可以从其获得预定信息的样本。作为另一示例，当当前编码单元的块形状信息指示非正方形形状时，图像解码设备100可以将与用于将当前编码单元的长边分成两半的边界相邻的样本中的一个确定为可以从其获得预定信息的样本。
根据实施例，当当前编码单元被分割为多个编码单元时，图像解码设备100可以使用块形状信息和分割形状信息中的至少一个来确定来自多个编码单元中的预定位置处的至少一个编码单元。根据实施例，图像解码设备100可以从编码单元中的预定位置处的样本获得块形状信息和分割形状信息中的至少一个，并且通过使用从多个编码单元中的每个编码单元中的预定位置的样本获得的分割形状信息和块形状信息中的至少一个来分割通过分割当前编码单元而生成的多个编码单元。也就是说，可以基于从每个编码单元中的预定位置的样本获得的块形状信息和分割形状信息中的至少一个递归地分割编码单元。上面已经关于图12描述了递归地分割编码单元的操作，因此这里将不再进行详细描述。
根据实施例，图像解码设备100可以通过分割当前编码单元来确定一个或多个编码单元，并且基于预定块(例如，当前编码单元)确定对一个或多个编码单元进行解码的顺序。
图14示出了根据实施例的当图像解码设备100通过分割当前编码单元来确定多个编码单元时多个编码单元的处理顺序。
根据实施例，图像解码设备100可以基于块形状信息和分割形状信息通过在垂直方向上分割第一编码单元1400来确定第二编码单元1410a和1410b、通过在水平方向上分割第一编码单元1400来确定第二编码单元1430a和1430b或者通过在垂直方向和水平方向上分割第一编码单元1400来确定第二编码单元1450a至1450d。
参考图14，图像解码设备100可以确定按照水平方向顺序1410c处理通过在垂直方向上分割第一编码单元1400而确定的第二编码单元1410a和1410b。图像解码设备100可以确定在垂直方向顺序1430c中处理通过在水平方向上分割第一编码单元1400而确定的第二编码单元1430a和1430b。图像解码设备100可以按照处理一行中的编码单元然后处理下一行中的编码单元的预定顺序确定处理通过在垂直和水平方向上分割第一编码单元1400而确定的第二编码单元1450a至1450d(例如，以光栅扫描顺序或z扫描顺序1450e)。
根据实施例，图像解码设备100可以递归地分割编码单元。参考图14，图像解码设备100可以通过分割第一编码单元1400来确定多个编码单元1410a、1410b、1430a、1430b、1450a、1450b、1450c和1450d，并且递归地分割确定的多个编码单元1410a、1410b、1430a、1430b、1450a、1450b、1450c和1450d中的每一个。分割多个编码单元1410a、1410b、1430a、1430b、1450a、1450b、1450c和1450d的方法可以对应于分割第一编码单元1400的方法。如此，多个编码单元1410a、1410b、1430a、1430b、1450a、1450b、1450c和1450d中的每一个可以被独立地分割为多个编码单元。参考图14，图像解码设备100可以通过在垂直方向上分割第一编码单元1400来确定第二编码单元1410a和1410b，并且确定独立地分割或不分割第二编码单元1410a和1410b中的每一个。
根据实施例，图像解码设备100可以通过在水平方向上分割左第二编码单元1410a来确定第三编码单元1420a和1420b，并且可以不分割右第二编码单元1410b。
根据实施例，可以基于分割编码单元的操作来确定编码单元的处理顺序。也就是说，分割编码单元的处理顺序可以基于即将被分割之前的编码单元的处理顺序来确定。图像解码设备100可以独立于右第二编码单元1410b来确定通过分割左第二编码单元1410a确定的第三编码单元1420a和1420b的处理顺序。由于第三编码单元1420a和1420b是通过在水平方向上分割左第二编码单元1410a来确定的，所以可以按照垂直方向顺序1420c来处理第三编码单元1420a和1420b。由于按照水平方向顺序1410c来处理左第二编码单元1410a和右第二编码单元1410b，可以在按照垂直方向顺序1420c处理包括在左第二编码单元1410a中的第三编码单元1420a和1420b后处理右第二编码单元1410b。基于被分割之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例，并且可以使用各种方法以预定顺序独立处理被分割并被确定为各种形状的编码单元。
图15示出了根据实施例的由图像解码设备100执行的当不能按照预定顺序处理编码单元时确定当前编码单元被分割为奇数个编码单元的操作。
根据实施例，图像解码设备100可以基于获得的块形状信息和分割形状信息来确定当前编码单元是否被分割为奇数个编码单元。参考图15，正方形第一编码单元1500可以被分割为非正方形第二编码单元1510a和1510b，并且第二编码单元1510a和1510b可以被独立地分割为第三编码单元1520a和1520b以及1520c至1520e。根据实施例，图像解码设备100可以通过在水平方向上分割左第二编码单元1510a来确定多个第三编码单元1520a和1520b，并且将右第二编码单元1510b分割为奇数个第三编码单元1520c至1520e。
根据实施例，图像解码设备100可以通过判断是否能够以预定顺序处理第三编码单元1520a和1520b以及1520c至1520e来确定是否将任意编码单元分割为奇数个编码单元。参考图15，图像解码设备100可以通过递归地分割第一编码单元1500来确定第三编码单元1520a和1520b以及1520c至1520e。图像解码设备100可以基于块形状信息和分割形状信息中的至少一个确定是否将第一编码单元1500、第二编码单元1510a和1510b、第三编码单元1520a和1520b以及1520c至1520e中的任意一个被分割为奇数个编码单元。例如，右第二编码单元1510b可以被分割为奇数个第三编码单元1520c至1520e。包括在第一编码单元1500中的多个编码单元的处理顺序可以是预定顺序(例如，z扫描顺序1530)，并且图像解码设备100可以判断通过将右第二编码单元1510b分割为奇数个编码单元确定的第三编码单元1520c至1520e是否满足按照预定顺序进行处理的条件。
根据实施例，图像解码设备100可以确定包括在第一编码单元1500中的第三编码单元1520a和1520b以及1520c至1520e是否满足按照预定顺序进行处理的条件，并且该条件涉及第二编码单元1510a和1510b的宽度和高度中的至少一个是否沿着第三编码单元1520a和1520b以及1520c至1520e的边界被分成两半。例如，通过将非正方形左第二编码单元1510a的高度分成两半而确定的第三编码单元1520a和1520b满足条件。然而，由于通过将右第二编码单元1510b分割为三个编码单元而确定的第三编码单元1520c至1520e的边界不将右第二编码单元1510b的宽度或高度分成两半，因此可以确定第三编码单元1520c至1520e不满足条件。当如上所述不满足条件时，图像解码设备100可以决定断开扫描顺序，基于判断结果确定右第二编码单元1510b被分割为奇数个编码单元。根据实施例，当编码单元被分割为奇数个编码单元时，图像解码设备100可以对分割编码单元中的预定位置的编码单元进行预定限制。以上已经对各种实施例描述了限制或预定位置，因此在此将不再进行详细描述。
图16示出了根据实施例的由图像解码设备100执行的通过分割第一编码单元1600来确定一个或多个编码单元的操作。根据实施例，图像解码设备100可以基于由接收器获得的块形状信息和分割形状信息中的至少一个来分割第一编码单元1600。正方形第一编码单元1600可以被分割为四个正方形编码单元或多个非正方形编码单元。例如，参考图16，当块形状信息指示第一编码单元1600具有正方形形状并且分割形状信息指示将第一编码单元1600分割为非正方形编码单元时，图像解码设备100可以将第一编码单元1600分割为多个非正方形编码单元。更详细地，当分割形状信息指示通过在水平方向或垂直方向上分割第一编码单元1600来确定奇数个编码单元时，图像解码设备100可以将正方形第一编码单元1600分割为奇数个编码单元，例如，通过在垂直方向上分割正方形第一编码单元1600确定的第二编码单元1610a、1610b和1610c或通过在水平方向上分割正方形第一编码单元1600确定的第二编码单元1620a、1620b和1620c。
根据实施例，图像解码设备100可以确定包括在第一编码单元1600中的第二编码单元1610a、1610b、1610c、1620a、1620b和1620c是否满足按照预定顺序处理的条件，并且该条件涉及第一编码单元1600的宽度和高度中的至少一个是否沿着第二编码单元1610a、1610b、1610c、1620a、1620b和1620c的边界被分成两半。参考图16，由于通过在垂直方向上分割正方形第一编码单元1600而确定的第二编码单元1610a、1610b和1610c的边界不将第一编码单元1600的宽度分成两半，因此可以确定第一编码单元1600不满足按照预定顺序处理的条件。另外，由于通过在水平方向上分割正方形第一编码单元1600而确定的第二编码单元1620a、1620b和1620c的边界不将第一编码单元1600的高度分成两半，因此可以确定第一编码单元1600不满足按照预定顺序处理的条件。当如上所述不满足条件时，图像解码设备100可以决定断开扫描顺序，并且基于判断结果确定第一编码单元1600被分割为奇数个编码单元。根据实施例，当编码单元被分割为奇数个编码单元时，图像解码设备100可以对分割编码单元中的预定位置处的编码单元进行预定的限制。以上已经对各种实施例描述了限制或预定位置，因此在此将不再进行详细描述。
根据实施例，图像解码设备100可以通过分割第一编码单元来确定各种形状的编码单元。
参考图16，图像解码设备100可以将正方形第一编码单元1600或非正方形第一编码单元1630或1650分割为各种形状的编码单元。
图17示出了根据实施例的当通过分割第一编码单元1700确定的具有非正方形形状的第二编码单元满足预定条件时，第二编码单元可由图像解码设备100分割成的形状被限制。
根据实施例，图像解码设备100可以基于由接收器获得的块形状信息和分割形状信息中的至少一个来确定将正方形第一编码单元1700分割为非正方形第二编码单元1710a、1710b、1720a和1720b。第二编码单元1710a、1710b、1720a和1720b可以被独立分割。这样，图像解码设备100可以基于第二编码单元1710a、1710b、1720a和1720b中的每一个的块形状信息和分割形状信息中的至少一个来确定是否将第一编码单元1700分割为多个编码单元。根据实施例，图像解码设备100可以通过在水平方向上分割通过在垂直方向上分割第一编码单元1700而确定的非正方形左第二编码单元1710a来确定第三编码单元1712a和1712b。然而，当在水平方向上分割左第二编码单元1710a时，图像解码设备100可以限制不在分割左第二编码单元1710a的水平方向上分割右第二编码单元1710b。当第三编码单元1714a和1714b还通过在水平方向分割右第二编码单元1710b而被确定时，由于左第二编码单元1710a和右第二编码单元1710b在水平方向上被独立地分割，所以第三编码单元1712a、1712b、1714a和1714b可以被确定。然而，这种情况同样适用于图像解码设备100基于块形状信息和分割形状信息中的至少一个将第一编码单元1700分割为四个正方形第二编码单元1730a、1730b、1730c和1730d的情况，并且在图像解码方面可能是低效的。
根据实施例，图像解码设备100可以通过在垂直方向上分割通过在水平方向上分割第一编码单元1700而确定的非正方形第二编码单元1720a或1720b来确定第三编码单元1722a、1722b、1724a和1724b。然而，当第二编码单元(例如，上第二编码单元1720a)在垂直方向上被分割时，由于上述原因，图像解码设备100可以限制不在上第二编码单元1720a被分割的垂直方向上分割另一个第二编码单元(例如，下第二编码单元1720b)。
图18示出了根据实施例的由图像解码设备100执行的当分割形状信息指示不将正方形编码单元分割为四个正方形编码单元时对正方形编码单元进行分割的操作。
根据实施例，图像解码设备100可以基于块形状信息和分割形状信息中的至少一个，通过分割第一编码单元1800来确定第二编码单元1810a、1810b、1820a、1820b等。分割形状信息可以包括关于分割编码单元的各种方法的信息，但是关于各种分割方法的信息可以不包括用于将编码单元分割为四个正方形编码单元的信息。根据该分割形状信息，图像解码设备100可以不将第一正方形编码单元1800分割为四个正方形第二编码单元1830a、1830b、1830c和1830d。图像解码设备100可以基于分割形状信息来确定非正方形第二编码单元1810a、1810b、1820a、1820b等。
根据实施例，图像解码设备100可以独立地分割非正方形第二编码单元1810a、1810b、1820a、1820b等。第二编码单元1810a、1810b、1820a、1820b等中的每一个可以按照预定顺序递归地分割，并且这可以对应于基于块形状信息和分割形状信息中的至少一个的第一编码单元1800的分割方法。
例如，图像解码设备100可以通过在水平方向上分割左第二编码单元1810a来确定正方形第三编码单元1812a和1812b，并且通过在水平方向上分割右第二编码单元1810b来确定正方形第三编码单元1814a和1814b。此外，图像解码设备100也可以通过在水平方向上分割左第二编码单元1810a和右第二编码单元1810b从而确定正方形第三编码单元1816a至1816d。在这种情况下，可以确定具有与从第一编码单元1800分割的四个正方形第二编码单元1830a、1830b、1830c和1830d相同形状的编码单元。
作为另一示例，图像解码设备100可以通过在垂直方向上分割上第二编码单元1820a来确定正方形第三编码单元1822a和1822b，并且通过在垂直方向上分割下第二编码单元1820b来确定正方形第三编码单元1824a和1824b。此外，图像解码设备100可以通过在垂直方向上分割上第二编码单元1820a和下第二编码单元1820b来确定正方形第三编码单元1826a、1826b、1826c和1826d。在这种情况下，可以确定具有与从第一编码单元1800分割的四个正方形第二编码单元1830a、1830b、1830c和1830d相同形状的编码单元。
图19示出了根据实施例的多个编码单元的处理顺序根据分割编码单元的操作而可变。
根据实施例，图像解码设备100可以基于块形状信息和分割形状信息来分割第一编码单元1900。当块形状信息指示正方形并且分割形状信息指示在水平和垂直方向中的至少一个方向上分割第一编码单元1900时，图像解码设备100可以通过分割第一编码单元1900确定第二编码单元1910a、1910b、1920a和1920b。参考图19，通过仅在水平方向或垂直方向上分割第一编码单元1900而确定的非正方形第二编码单元1910a、1910b、1920a和1920b可以基于每个编码单元的块形状信息和分割形状信息被独立地分割。例如，图像解码设备100可以通过将通过在垂直方向上分割第一编码单元1900而生成的第二编码单元1910a和1910b在水平方向上分割来确定第三编码单元1916a、1916b、1916c和1916d，并且通过将通过在水平方向上分割第一编码单元1900而生成的第二编码单元1920a和1920b在垂直方向上分割来确定第三编码单元1926a、1926b、1926c和1926d。上面已经参考图17描述了分割第二编码单元1910a、1910b、1920a和1920b的操作，在此将不再对其详细描述。
根据实施例，图像解码设备100可以按照预定顺序处理编码单元。上面已经参考图14描述了按照预定顺序处理编码单元的操作。因此，将不再对其详细描述。参考图19，图像解码设备100可以通过分割正方形第一编码单元1900来确定四个正方形第三编码单元1916a、1916b、1916c、1916d、1926a、1926b、1926c和1926d。根据实施例，图像解码设备100可以基于分割第一编码单元1900的方法来确定第三编码单元1916a、1916b、1916c、1916d、1926a、1926b、1926c和1926d的处理顺序。
根据实施例，图像解码设备100可以通过在水平方向上分割通过在垂直方向上分割第一编码单元1900而生成的第二编码单元1910a和1910b来确定第三编码单元1916a、1916b、1916c和1916d，并且按照处理顺序1917处理第三编码单元1916a、1916b、1916c和1916d，以用于在垂直方向上初始处理包括在左第二编码单元1910a中的第三编码单元1916a和1916c，并且然后在垂直方向上处理包括在右第二编码单元1910b中的第三编码单元1916b和1916d。
根据实施例，图像解码设备100可以通过在垂直方向上分割通过在水平方向上分割第一编码单元1900而生成的第二编码单元1920a和1920b来确定第三编码单元1926a、1926b、1926c和1926d，并且按照处理顺序1927处理第三编码单元1926a、1926b、1926c和1926d，从而在水平方向上初始处理包括在上第二编码单元1920a中的第三编码单元1926a和1926b，以及然后在水平方向上处理包括在下第二编码单元1920b中的第三编码单元1926c和1926d。
参考图19，可以通过分割第二编码单元1910a、1910b、1920a和1920b来确定正方形第三编码单元1916a、1916b、1916c、1916d、1926a、1926b、1926c和1926d。尽管，不同于通过在水平方向上分割第一编码单元1900确定的第二编码单元1920a和1920b，第二编码单元1910a和1910b是通过在垂直方向上分割第一编码单元1900来确定的，但是从其分割的第三编码单元1916a、1916b、1916c、1916d、1926a、1926b、1926c和1926d最终显示了从第一编码单元1900分割的相同形状的编码单元。这样，通过基于块形状信息和分割形状信息中的至少一个以不同方式递归地分割编码单元，即使当编码单元最终被确定为相同的形状时，图像解码设备100也可以按照不同的顺序处理多个编码单元。
图20示出了根据实施例的当通过递归地分割编码单元来确定多个编码单元时，随着编码单元的形状和大小变化，确定编码单元的深度的操作。
根据实施例，图像解码设备100可以基于预定标准来确定编码单元的深度。例如，预定标准可以是编码单元的长边的长度。当分割之前的编码单元的长边的长度是分割后的当前编码单元的长边的长度的2n倍(n>0)时，图像解码设备100可以确定当前编码单元的深度从分割前的编码单元的深度增加n。在以下描述中，具有增加后的深度的编码单元被表示为较深的深度的编码单元。
参考图20，根据实施例，图像解码设备100可以通过基于指示正方形形状的块形状信息(例如，块形状信息可以被表示为‘0：square’)分割正方形第一编码单元2000从而来确定具有较深的深度的第二编码单元2002和第三编码单元2004。假设正方形第一编码单元2000的大小是2n×2n，通过将第一编码单元2000的宽度和高度减小到1/2而确定的第二编码单元2002的大小可以是n×n。此外，通过将第二编码单元2002的宽度和高度减小到1/2而确定的第三编码单元2004的大小可以是n/2×n/2。在这种情况下，第三编码单元2004的宽度和高度是第一编码单元2000的1/2^2倍。当第一编码单元2000的深度是d时，其宽度和高度是第一编码单元2000的1/2倍的第二编码单元2002的深度可以是d+1，其宽度和高度是第一编码单元2000的1/2^2倍的第三编码单元2004的深度可以是d+2。
根据实施例，图像解码设备100可以通过基于指示非正方形形状的块形状信息(例如，块形状信息可以被表示为指示高度比宽度长的非正方形形状‘1：ns_ver’，或者指示宽度比高度长的非正方形形状‘2：ns_hor’)分割非正方形第一编码单元2010或2020来确定具有较深的深度的第二编码单元2012或2022和第三编码单元2014或2024。
图像解码设备100可以通过分割大小为n×2n的第一编码单元2010的宽度和高度中的至少一个来确定第二编码单元2002、2012或2022。也就是说，图像解码设备100可以通过在水平方向上分割第一编码单元2010来确定大小为n×n的第二编码单元2002或大小为n×n/2的第二编码单元2022，或者通过在水平方向和垂直方向上分割第一编码单元2010来确定大小为n/2×n的第二编码单元2012。
根据实施例，图像解码设备100可以通过分割大小为2n×n的第一编码单元2020的宽度和高度中的至少一个来确定第二编码单元2002、2012或2022。也就是说，图像解码设备100可以通过在垂直方向上分割第一编码单元2020来确定大小为n×n的第二编码单元2002或大小为n/2×n的第二编码单元2012，或者通过在水平和垂直方向上分割第一编码单元2020来确定大小为n×n/2的第二编码单元2022。
根据实施例，图像解码设备100可以通过分割大小为n×n的第二编码单元2002的宽度和高度中的至少一个来确定第三编码单元2004、2014或2024。也就是说，图像解码设备100可以通过在水平和垂直方向上分割第二编码单元2002确定大小为n/2×n/2的第三编码单元2004、大小为n/2^2×n/2的第三编码单元2014或者大小为n/2×n/2^2的第三编码单元2024。
根据实施例，图像解码设备100可以通过分割大小为n/2×n的第二编码单元2012的宽度和高度中的至少一个来确定第三编码单元2004、2014或2024。也就是说，图像解码设备100可以通过在水平方向上分割第二编码单元2012来确定大小为n/2×n/2的第三编码单元2004或大小为n/2×n/2^2的第三编码单元2024，或者通过在垂直方向和水平方向上分割第二编码单元2012来确定大小为n/2^2×n/2的第三编码单元2014。
根据实施例，图像解码设备100可以通过分割大小为n×n/2的第二编码单元2022的宽度和高度中的至少一个来确定第三编码单元2004、2014或2024。也就是说，图像解码设备100可以通过在垂直方向上分割第二编码单元2022来确定大小为n/2×n/2的第三编码单元2004或大小为n/2^2×n/2的第三编码单元2014单元，或者通过在垂直方向和水平方向上分割第二编码单元2022来确定大小为n/2×n/2^2的第三编码单元2024。
根据实施例，图像解码设备100可以在水平或垂直方向上分割正方形编码单元2000、2002或2004。例如，图像解码设备100可以通过在垂直方向上分割大小为2n×2n的第一编码单元2000来确定大小为n×2n的第一编码单元2010，或者通过在水平方向上分割第一编码单元2000来确定大小为2n×n的第一编码单元2020。根据实施例，当基于编码单元的最长边的长度来确定深度时，通过在水平或垂直方向上分割大小为2n×2n的第一编码单元2000、2002或2004而确定的编码单元的深度可以与第一编码单元2000、2002或2004的深度相同。
根据实施例，第三编码单元2014或2024的宽度和高度可以是第一编码单元2010或2020的1/2^2倍。当第一编码单元2010或2020的深度是d，其宽度和高度是第一编码单元2010或2020的的1/2倍的第二编码单元2012或2022的深度可以是d+1，并且其宽度和高度是第一编码单元2010或2020的1/2^2倍的第三编码单元2014或2024的深度可以是d+2。
图21示出了根据实施例的用于区分可以基于编码单元的形状和大小来确定的编码单元的深度和部分索引(pid)。
根据实施例，图像解码设备100可以通过分割正方形第一编码单元2100来确定各种形状的第二编码单元。参考图21，图像解码设备100可以基于分割形状信息，通过在垂直方向和水平方向中的至少一个方向分割第一编码单元2100来确定第二编码单元2102a、2102b、2104a、2104b、2106a、2106b、2106c和2106d。也就是说，图像解码设备100可以基于第一编码单元2100的分割形状信息来确定第二编码单元2102a、2102b、2104a、2104b、2106a、2106b、2106c和2106d。
根据实施例，基于正方形第一编码单元2100的分割形状信息确定的第二编码单元2102a、2102b、2104a、2104b、2106a、2106b、2106c和2106d的深度可以基于其长边的长度来确定。例如，由于正方形第一编码单元2100的一边的长度等于非正方形第二编码单元2102a、2102b、2104a和2104b的长边的长度，所以第一编码单元2100和非正方形第二编码单元2102a、2102b、2104a和2104b可以具有相同的深度，例如，d。然而，当图像解码设备100基于分割形状信息将第一编码单元2100分割为四个正方形第二编码单元2106a、2106b、2106c和2106d时，由于正方形第二编码单元2106a、2106b、2106c和2106d的一边的长度是第一编码单元2100的一边的长度的1/2倍，所以第二编码单元2106a、2106b、2106c和2106d的深度可以是比第一编码单元2100的深度d深1的d+1。
根据实施例，图像解码设备100可以通过基于分割形状信息在水平方向上分割其高度比宽度更长的第一编码单元2110来确定多个第二编码单元2112a、2112b、2114a、2114b和2114c。根据实施例，图像解码设备100可以通过基于分割形状信息在垂直方向上分割其宽度比高度更长的第一编码单元2120来确定多个第二编码单元2122a、2122b、2124a、2124b和2124c。
根据实施例，基于非正方形第一编码单元的2110或2120的分割形状信息确定的第二编码单元2112a、2112b、2114a、2114b、2114c、2122a、2122b、2124a、2124b和2124c的深度可以基于其长边的长度来确定。例如，由于正方形第二编码单元2112a和2112b的一边的长度是具有高度比宽度更长的非正方形形状的第一编码单元2110的长边的长度的1/2倍，正方形第二编码单元2112a和2112b的深度是比非正方形第一编码单元2110的深度d深1的d+1。
此外，图像解码设备100可以基于分割形状信息将非正方形第一编码单元2110分割为奇数个第二编码单元2114a、2114b和2114c。该奇数个第二编码单元2114a、2114b和2114c可以包括非正方形第二编码单元2114a和2114c以及正方形第二编码单元2114b。在这种情况下，由于非正方形第二编码单元2114a和2114c的长边的长度和正方形第二编码单元2114b的一边的长度是第一编码单元2110的长边的长度的1/2倍，第二编码单元2114a、2114b和2114c的深度可以是比非正方形第一编码单元2110的深度d深1的d+1。图像解码设备100可以通过使用上述确定从第一编码单元2110分割的编码单元的深度的方法，确定从具有其宽度比长度要长的非正方形形状的第一编码单元2120分割的编码单元的深度。
根据实施例，图像解码设备100可以基于当奇数个分割编码单元不具有相等大小时的编码单元之间的大小的比率来确定用于识别分割编码单元的pid。参考图21，奇数个分割编码单元2114a、2114b和2114c中的中心位置的编码单元2114b可以具有与其他编码单元2114a和2114c的宽度相等的宽度以及是其他编码单元2114a和2114c的高度的2倍的高度。也就是说，在这种情况下，中心位置处的编码单元2114b可以包括其他编码单元2114a或2114c中的两个。因此，基于扫描顺序，假设中心位置处的编码单元2114b的pid是1，则位于编码单元2114b旁边的编码单元2114c的pid可以增加2，因此可以是3。也就是说，可能会出现pid值的不连续性。根据实施例，图像解码设备100可以基于用于识别分割编码单元的pid中是否存在不连续性来确定奇数个分割编码单元是否不具有相同的大小。
根据实施例，图像解码设备100可以基于用于识别通过分割当前编码单元而确定的多个编码单元的pid值来确定是否使用特定分割方法。参考图21，图像解码设备100可以通过分割具有高度大于宽度的矩形形状的第一编码单元2110来确定偶数个编码单元2112a和2112b或奇数个编码单元2114a、2114b和2114c。图像解码设备100可以使用pid来识别多个编码单元。根据实施例，可以从每个编码单元的预定位置的样本(例如，左上样本)获得pid。
根据实施例，图像解码设备100可以通过使用用于区分编码单元的pid来确定分割编码单元中的预定位置处的编码单元。根据实施例，当具有高度大于宽度的矩形形状的第一编码单元2110的分割形状信息指示将编码单元分割为三个编码单元时，图像解码设备100可以将第一编码单元2110分割为三个编码单元2114a、2114b和2114c。图像解码设备100可以将pid分配给三个编码单元2114a、2114b和2114c中的每一个。图像解码设备100可以比较奇数个分割编码单元的pid以确定多个编码单元中的中心位置处的编码单元。图像解码设备100可以将具有对应于编码单元的pid中的中间值的pid的编码单元2114b确定为通过分割第一编码单元2110而确定的编码单元中的中心位置处的编码单元。根据实施例，图像解码设备100可以基于当分割编码单元不具有相同大小时编码单元之间的大小的比率来确定用于区分分割编码单元的pid。参考图21，通过分割第一编码单元2110而生成的编码单元2114b可以具有与其他编码单元2114a和2114c相同的宽度以及其他编码单元2114a和2114c的高度的2倍的高度。在这种情况下，假设中心位置处的编码单元2114b的pid是1，则位于编码单元2114b旁边的编码单元2114c的pid可以增加2，并且因此可以是3。当pid不是如上所述均匀地增加时，图像解码设备100可以确定编码单元被分割为包括具有与其他编码单元不同的大小的编码单元的多个编码单元。根据实施例，当分割形状信息指示将编码单元分割为奇数个编码单元时，图像解码设备100可以按照如下方式分割当前编码单元：奇数个编码单元中的预定位置处的编码单元(例如，中心位置的编码单元)具有与其他编码单元的大小不同的大小。在这种情况下，图像解码设备100可以通过使用编码单元的pid来确定大小不同的中心位置的编码单元。然而，预定位置的编码单元的pid和大小或位置不限于上述示例，并且可以使用编码单元的各种pid以及各种位置和大小。
根据实施例，图像解码设备100可以使用其中编码单元开始被递归地分割的预定数据单元。
图22示出了根据实施例的基于图片中包括的多个预定数据单元来确定多个编码单元。
根据实施例，预定数据单元可以被定义为编码单元通过使用块形状信息和分割形状信息中的至少一个开始被递归地分割的数据单元。也就是说，预定数据单元可以对应于最高深度的编码单元，其用于确定从当前图片分割出的多个编码单元。在以下描述中，为了便于解释，预定数据单元被称为参考数据单元。
根据实施例，参考数据单元可以具有预定的大小和形状。根据实施例，参考编码单元可以包括m×n个样本。这里，m和n可以是相等的值，并且可以是使用2的乘数表示的整数。也就是说，参考数据单元可以是正方形或非正方形形状，并且可以是整数个编码单元。
根据实施例，图像解码设备100可以将当前图片分割为多个参考数据单元。根据实施例，图像解码设备100可以通过使用每个参考数据单元的分割信息来分割从当前图片分割出的多个参考数据单元。分割参考数据单元的操作可以对应于使用四叉树结构的分割操作。
根据实施例，图像解码设备100可以预先确定当前图片中包括的参考数据单元所允许的最小大小。这样，图像解码设备100可以确定具有等于或大于最小大小的大小的各种参考数据单元，并且通过使用通过参考确定的参考数据单元的块形状信息和分割形状信息来确定一个或多个编码单元。
参考图22，图像解码设备100可以使用正方形参考编码单元2200或非正方形参考编码单元2202。根据实施例，参考编码单元的形状和大小可以基于能够包括一个或更多个参考编码单元(例如，序列、图片、切片、切片片段和最大编码单元)的各种数据单元确定。
根据实施例，图像解码设备100的接收器可以从比特流获得关于各种数据单元中的每一个的参考编码单元形状信息和参考编码单元大小信息中的至少一个。已经关于图10的分割当前编码单元1000的操作在上面描述了将正方形参考编码单元2200分割为一个或多个编码单元的操作，并且已经关于图11的分割当前编码单元1100或1150的操作在上面描述了将非正方形参考编码单元2202分割为一个或多个编码单元的操作。因此，将不再进行详细描述。
根据实施例，图像解码设备100可以使用用于识别参考编码单元的大小和形状的pid，从而根据基于预定条件预先确定的一些数据单元来确定参考编码单元的大小和形状。也就是说，接收器可以从比特流中获得仅用于关于作为各种数据单元(例如，序列、图片、切片、切片片段和最大编码单元)中的满足预定条件(例如，数据单元的大小等于或小于切片)的数据单元的每个切片、切片片段或最大编码单元识别参考编码单元的大小和形状的pid。图像解码设备100可以通过使用pid关于满足预定条件的每个数据单元来确定参考数据单元的大小和形状。当关于具有相对较小大小的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元大小信息时，由于使用比特流的效率可能不好，因此可能仅获得并使用pid而不是直接获得参考编码单元形状信息和参考编码单元大小信息。在这种情况下，可以预先确定与用于识别参考编码单元的大小和形状的pid对应的参考编码单元的大小和形状中的至少一个。也就是说，图像解码设备100可以通过基于pid选择预先确定的参考编码单元的大小和形状中的至少一个来确定包括在作为用于获得pid的单元的数据单元中的参考编码单元的大小和形状中的至少一个。
根据实施例，图像解码设备100可以使用包括在最大编码单元中的一个或多个参考编码单元。也就是说，从图片中分割出的最大编码单元可以包括一个或多个参考编码单元，并且可以通过递归地分割每个参考编码单元来确定编码单元。根据实施例，最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例，可以通过基于四叉树结构分割最大编码单元n次来获得参考编码单元的大小。也就是说，图像解码设备100可以通过基于四叉树结构分割最大编码单元n次来确定参考编码单元，并且基于根据各种实施例的块形状信息和分割形状信息中的至少一个来分割参考编码单元。
图23示出了根据实施例的作为用于确定图片2300中包括的参考编码单元的确定顺序的单元的处理块。
根据实施例，图像解码设备100可以确定从图片中分割出的一个或多个处理块。处理块是包括从图片中分离出的一个或多个参考编码单元的数据单元，并且可以按照特定顺序确定包括在处理块中的一个或多个参考编码单元。也就是说，在每个处理块中确定的一个或多个参考编码单元的确定顺序可以对应于用于确定参考编码单元的各种类型的顺序中的一个，并且可以根据处理块而变化。关于每个处理块确定的参考编码单元的确定顺序可以是各种顺序中的一个，例如，光栅扫描顺序、z扫描顺序、n扫描顺序、右上对角线扫描顺序、水平扫描顺序和垂直扫描顺序，但不限于上述扫描顺序。
根据实施例，图像解码设备100可以获得处理块大小信息并确定图片中包括的一个或多个处理块的大小。图像解码设备100可以从比特流获得处理块大小信息并确定包括在图片中的一个或多个处理块的大小。处理块的大小可以是由处理块大小信息指示的数据单元的预定大小。
根据实施例，图像解码设备100的接收器可以针对每个特定数据单元从比特流获得处理块大小信息。例如，可以从诸如图像、序列、图片、切片或切片片段的数据单元中的比特流获得处理块大小信息。也就是说，接收器可以针对各种数据单元中的每一个从比特流获得处理块大小信息，并且图像解码设备100可以通过使用所获得的处理块大小信息来确定从图片中分割出的一个或多个处理块的大小。处理块的大小可以是参考编码单元的大小的整数倍。
根据实施例，图像解码设备100可以确定包括在图片2300中的处理块2302和2312的大小。例如，图像解码设备100可以基于从比特流获得的处理块大小信息来确定处理块的大小。参考图23，根据实施例，图像解码设备100可以将处理块2302和2312的宽度确定为参考编码单元的宽度的四倍，并且将处理块2302和2312的高度确定为参考编码单元的高度的四倍。图像解码设备100可以确定一个或多个处理块中的一个或多个参考编码单元的确定顺序。
根据实施例，图像解码设备100可以基于处理块的大小来确定包括在图片2300中的处理块2302和2312，并且确定处理块2302和2312中的一个或多个参考编码单元的确定顺序。根据实施例，参考编码单元的确定可以包括参考编码单元的大小的确定。
根据实施例，图像解码设备100可以从比特流获得包括在一个或多个处理块中的一个或多个参考编码单元的确定顺序信息，并且基于获得的确定顺序信息确定一个或多个参考编码单元的确定顺序。确定顺序信息可以被定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说，参考编码单元的确定顺序可以相对于每个处理块被独立地确定。
根据实施例，图像解码设备100可以针对每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如，接收器可以针对每个数据单元，例如，图像、序列、图片、切片、切片片段或处理块等从比特流获得参考编码单元的确定顺序信息。由于参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序，所以可以针对包括整数个处理块的每个特定数据单元获得确定顺序信息。
根据实施例，图像解码设备100可以基于已确定的确定顺序确定一个或多个参考编码单元。
根据实施例，接收器可以从比特流获得参考编码单元的确定顺序信息作为与处理块2302和2312有关的信息，并且图像解码设备100可以确定包括在处理块2302和2312中的一个或多个参考编码单元的确定顺序，并基于确定顺序确定包括在图片2300中的一个或多个参考编码单元。参考图23，图像解码设备100可以分别确定处理块2302和2312中的一个或多个参考编码单元的确定顺序2304和2314。例如，当关于每个处理块获得参考编码单元的确定顺序信息时，可以为处理块2302和2312获得不同类型的参考编码单元的确定顺序信息。当处理块2302中的参考编码单元的确定顺序2304是光栅扫描顺序时，可以按照光栅扫描顺序确定包括在处理块2302中的参考编码单元。与此不同的是，当另一处理块2312中的参考编码单元的确定顺序2314是反向光栅扫描顺序时，可以按照反向光栅扫描顺序确定包括在处理块2312中的参考编码单元。
根据实施例，图像解码设备100可以对所确定的一个或多个参考编码单元进行解码。图像解码设备100可以基于如上所述确定的参考编码单元对图片进行解码。参考编码单元的解码方法可以包括各种图像解码方法。
根据实施例，图像解码设备100可以从比特流获得指示当前编码单元的形状的块形状信息或者指示当前编码单元的分割方法的分割形状信息，并使用所获得的信息。块形状信息或分割形状信息可以被包括在与各种数据单元相关的比特流中。例如，图像解码设备100可以使用包括在序列参数集、图片参数集、视频参数集、切片报头或切片片段报头中的块形状信息或分割形状信息。此外，图像解码设备100可以关于每个最大编码单元、参考编码单元或处理块从比特流获得对应于块形状信息或分割形状信息的语法(syntax)，并使用所获得的语法。
虽然已经参照本发明的实施例具体示出和描述了本公开，但本领域普通技术人员将会理解，在不脱离如随附权利要求所定义的本公开的范围的情况下，可以在其中进行形式和细节上的各种改变。这些实施例应当仅仅被认为是描述性的而不是为了限制的目的。因此，本公开的范围不是由本公开的详细描述而是由随附权利要求限定，并且该范围内的所有差异将被解释为包括在本公开中。
同时，本公开的前述实施例可以被编写为计算机程序，并且可以在通过使用计算机可读记录介质执行程序的通用数字计算机中实现。计算机可读记录介质的例子包括磁存储介质(例如，rom、软盘、硬盘等)、光记录介质(例如cd-rom或dvd)等。