屏幕图像编码方法及其装置和屏幕图像解码方法及其装置与流程

本发明涉及对屏幕图像编码或解码的方法。

背景技术：

随着用于再现和存储高分辨率或高品质的视频内容的硬件正在被开发和供给，增加了对用于有效地编码或解码高分辨率或高品质的视频内容的视频编解码器的需求。根据常规视频编解码器，视频基于具有预定尺寸的宏块根据有限的编码方法进行编码。

视频编解码器使用预测技术减少数据量，该预测技术使用了视频图像在时间或空间方面具有高相关性的特征。根据预测技术，为了使用周边图像来预测当前图像，使用图像之间的时间距离或空间距离、预测误差等来记录图像信息。

技术实现要素：

技术问题

有效地编码或解码屏幕图像的方法可以被提供。

技术解决方案

根据本发明的各种实施例的屏幕图像编码方法可以包括：从当前图像之前编码的图像获得并存储一个或多个候选块，其在空间上与当前块位于相同位置；确定用于对当前块进行编码的参考块是否存在于所存储的一个或多个候选块中；以及基于确定的结果对表示参考块的索引信息、用于基于参考块对当前块进行编码的预测信息和关于当前块的信息中的至少一个进行编码。

发明的有益效果

可以提供用于有效地编码或解码屏幕图像的方法和装置。

附图说明

图1a是根据一个实施例用于编码屏幕图像的图像编码装置的框图。

图1b是根据一个实施例用于编码屏幕图像的解码器的框图。

图1c是根据一个实施例编码屏幕图像的方法的流程图。

图2a是根据一个实施例用于解码屏幕图像的图像解码装置的框图。

图2b是根据一个实施例解码屏幕图像的解码器的框图。

图2c是根据一个实施例解码屏幕图像的方法的流程图。

图2d是用于说明根据一个实施例更新候选块缓冲器的方法的流程图。

图3a是用于说明根据一个实施例编码或解码屏幕图像的方法的示图。

图3b是用于说明根据一个实施例存储候选块的方法的示图。

图3c是用于说明根据一个实施例存储候选块的方法的示图。

图3d是用于说明根据一个实施例存储候选块的方法的示图。

图3e是用于说明根据一个实施例存储候选块的方法的示图。

图4a是根据一个实施例用于编码屏幕图像的图像编码装置的框图。

图4b是根据另一个实施例用于编码屏幕图像的图像编码装置的框图。

图4c是根据一个实施例编码屏幕图像的方法的流程图。

图4d是根据一个实施例用于解码屏幕图像的图像解码装置的框图。

图4e是根据另一个实施例用于解码屏幕图像的图像解码装置的框图。

图4f是根据一个实施例解码屏幕图像的方法的流程图。

图5a是用于说明根据一个实施例的屏幕图像的示图。

图5b是用于说明根据一个实施例示出正被执行的程序的图像的示图。

图5c是用于说明根据一个实施例的屏幕图像的示图。

图5d是用于说明根据一个实施例的屏幕图像的示图。

图5e是用于说明根据一个实施例的来自执行图像的所有区域中的显示在屏幕图像上的区域的提取图像的示图。

图5f是用于说明根据一个实施例的来自执行图像的所有区域中的显示在屏幕图像上的区域的提取图像的示图。

图5g是用于说明根据一个实施例的通过使用来自执行图像的所有区域中的显示在屏幕图像上的区域的提取图像形成整个屏幕图像的方法的示图。

图6a是根据一个实施例的用于编码屏幕图像的图像编码装置的框图。

图6b是根据一个实施例的编码屏幕图像的方法的流程图。

图6c是根据一个实施例的用于解码屏幕图像的图像解码装置的框图。

图6d是根据一个实施例的解码屏幕图像的方法的流程图。

图7a是根据一个实施例的编码屏幕图像的方法的流程图。

图7b是根据一个实施例的解码屏幕图像的方法的流程图。

图7c是用于说明根据一个实施例的确定用于编码屏幕图像的方法的方法的示意图。

图7d是用于说明根据一个实施例的编码屏幕图像的方法的示意图。

图8是根据一个实施例基于根据树结构的编码单元的视频编码装置的框图。

图9是根据一个实施例基于根据树结构的编码单元的视频解码装置的框图。

图10是用于说明根据本发明的一个实施例的编码单元的概念的示意图。

图11是根据本发明的一个实施例的基于编码单元的图像编码器的框图。

图12是根据本发明的一个实施例的基于编码单元的图像解码器的框图。

图13是示出根据本发明的一个实施例的根据深度和分区的更深的编码单元的示意图。

图14是用于说明根据本发明的一个实施例的编码单元和变换单元之间的关系的示意图。

图15是用于说明根据本发明的一个实施例的对应于深度的编码单元的编码信息的示意图。

图16是根据本发明的一个实施例的根据深度的更深的编码单元的示意图。

图17、18和19是用于说明根据本发明的一个实施例的编码单元、预测单元和变换单元之间的关系的示意图。

图20是用于说明根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系的示意图。

图21是根据一个实施例在其中存储程序的光盘的物理结构的示意图。

图22是用于通过使用光盘记录和读取程序的光盘驱动器的示意图。

图23是用于提供内容分配服务的内容供给系统的整体结构的示意图。

图24和25分别是根据本发明的一个实施例应用了本发明的视频编码方法和视频解码方法的移动电话的外部结构和内部结构的示意图。

图26是根据本发明应用了通信系统的数字广播系统的示意图。

图27是表示根据本发明的一个实施例的使用视频编码装置和视频解码装置的云计算系统的网络结构的示意图。

具体实施方式

本发明提供了对屏幕图像进行编码或解码的方法。

根据本发明的各种实施例的屏幕图像编码方法可以包括：从在当前图像之前编码的图像获得并存储一个或多个候选块，其在空间上与当前块位于同一位置；确定用于编码当前块的参考块是否存在于所存储的一个或多个候选块中；以及基于确定的结果对表示参考块的索引信息、用于根据参考块编码当前块的预测信息以及关于当前块的信息中的至少一个进行编码。

另外，编码可以包括，当与当前块相同的替代的候选块存在于所存储的一个或多个候选块中时，省略关于当前块的信息的编码并对表示替代的候选块的索引信息进行编码。

另外，编码可以包括：当用于编码当前块的参考块存在于所存储的一个或多个候选块中时，对表示参考块的索引信息进行编码；以及对用于根据参考块解码当前块的预测信息进行编码。

另外，编码可以包括：当用于对当前块进行编码的参考块没有存在于所存储的一个或多个候选块中时，对关于当前块的信息进行编码。

另外，确定参考块是否存在可以包括：基于包括在候选块中的像素值确定一个或多个候选块中的每个候选块的候选块代表值；基于包括在当前块中的像素值确定当前块的当前块代表值；当候选块代表值和当前块代表值之间的差等于或小于预设临界值时，确定候选块作为参考块。

另外，确定参考块是否存在可以包括：获得一个或多个候选块中的每个候选块、候选块和当前块之间的绝对差值和(SAD)；以及确定具有等于或小于预设临界值的SAD的候选块作为参考块。

另外，一个或多个候选块的获得和存储可以包括在候选块缓冲器中存储所获得的一个或多个候选块，其中，屏幕图像编码方法还包括当存储在候选块缓冲器中的候选块的数目等于或大于预设数目时，从候选块缓冲器中删除通过使用预设的方法确定的候选块。

从候选块缓冲器中删除通过使用预设的方法确定的候选块可以包括：当存储在候选块缓冲器中的候选块的数目等于或大于预设数目时，从候选块缓冲器中删除对应于预定索引的候选块。

根据本发明的各种实施例的屏幕图像解码方法可以包括：从在当前图像之前编码的图像获得和存储一个或多个候选块，其在空间上与当前块位于同一位置；接收关于用于解码当前块的参考块是否在所存储的一个或多个候选块中存在的信息；以及基于所接收的信息通过使用表示参考块的索引信息、用于根据参考块解码当前块的预测信息以及关于当前块的信息中的至少一个来解码当前块。

另外，该解码可以包括：当能够用当前块替换的替代的候选块在所存储的一个或多个候选块中存在时，省略关于当前块的信息的解码并且对表示替代的候选块的索引信息进行解码；以及通过使用索引信息对当前块进行解码。

另外，该解码可以包括：当用于解码当前块的参考块在所存储的一个或多个候选块中存在时，对表示参考块的索引信息进行解码；对用于基于参考块解码当前块的预测信息进行解码；以及通过使用索引信息和预测信息对当前块进行解码。

另外，该解码可以包括，当用于解码当前块的参考块在所存储的一个或多个候选块中不存在时，通过解码关于当前块的信息获得当前块。

另外，一个或多个候选块的获得和存储可以包括在候选块缓冲器中存储所获得的一个或多个候选块，其中，屏幕图像解码方法包括当存储在候选块缓冲器中的候选块的数目等于或大于预设数目时，从候选块缓冲器中删除通过使用预设的方法确定的候选块。

另外，从候选块缓冲器中删除通过使用预设的方法确定的候选块可以包括当存储在候选块缓冲器中的候选块的数目等于或大于预设数目时，从候选块缓冲器中删除对应于预定索引的候选块。

根据本发明的各种实施例的图像编码装置可以包括：候选块缓冲器，被配置为基于在当前图像之前编码的图像存储一个或多个候选块，其在空间上与当前块位于同一位置；编码器，被配置为确定用于编码当前块的参考块是否在一个或多个候选块中存在以及基于确定的结果对表示参考块的索引信息、用于根据参考块编码当前块的预测信息以及关于当前块的信息中的至少一个进行编码。

根据本发明的各种实施例的图像解码装置可以包括：候选块缓冲器，被配置为基于在当前图像之前解码的图像存储一个或多个候选块，其在空间上与当前块位于同一位置；以及解码器，被配置为接收关于用于解码当前块的参考块是否在一个或多个候选块中存在的信息；以及基于所接收的信息通过使用表示参考块的索引信息、用于根据参考块解码当前块的预测信息以及关于当前块的信息中的至少一个来解码当前块。

根据本发明的各种实施例的屏幕图像编码方法可以包括：获得示出正在执行的程序的图像的执行图像；从执行图像的所有区域中获得在屏幕图像上显示的区域的提取图像；并且通过使用对应于提取图像的编码方法对该提取图像进行编码。

另外，提取图像的获得可以进一步包括：获得非提取图像，非提取图像是提取图像的外部区域的图像并且具有使用预设的方法确定的像素值，并且编码可以包括通过使用预设的方法对非提取图像进行编码。

另外，通过使用预设的方法对非提取图像进行编码可以包括通过使用对应于提取图像的编码方法对所述非提取图像进行编码。

另外，获得提取图像可以包括：获得用于将在屏幕图像上的对应于提取图像的区域与对应于非提取图像的区域相区别的指令信息；以及基于该指令信息从屏幕图像中获得提取图像和非提取图像。

另外，指令信息可以是针对每个像素获得的信息。

另外，指令信息可以是为具有预设尺寸的每个块获得的信息。

另外，编码可包括：确定执行图像是否用于静态图像；并且通过使用基于确定的结果来确定的编码方法对提取图像进行编码。

根据本发明的各种实施例的屏幕图像解码方法可以包括：从执行图像的所有区域中获得关于在屏幕图像上显示的区域的提取图像的信息，执行图像是示出正在被执行的程序的图像；以及通过使用对应于提取图像的解码方法对提取图像进行解码。

另外，关于提取图像的信息的获得可以进一步包括获得关于非提取图像的信息，非提取图像是提取图像的外部区域的图像并且具有使用预设的方法确定的像素值，并且解码可以包括通过使用预设的方法对关于非提取图像的信息进行解码。

另外，通过使用预设的方法对关于非提取图像的信息进行解码可以包括通过使用对应于提取图像的解码方法对非提取图像进行解码。

另外，关于提取图像的信息的获得可以包括：获得用于将屏幕图像上的对应于提取图像的区域与对应于非提取图像的区域相区别的指令信息；以及基于该指令信息获得提取图像和非提取图像。

另外，指令信息可以是针对每个像素获得的信息。

另外，指令信息可以是为具有预设尺寸的每个块获得的信息。

另外，解码可以包括：确定执行图像是否用于静态图像；并且通过使用基于确定的结果来确定的解码方法对提取图像进行解码。

根据本发明的各种实施例的屏幕图像编码装置可以包括：图像获取器，被配置为获得示出正在被执行的程序的图像的执行图像；以及编码器，被配置为从执行图像的所有区域中获得在屏幕图像上显示的区域的提取图像，以及通过使用对应于提取图像的编码方法对提取图像进行编码。

根据本发明的各种实施例的屏幕图像解码装置可以包括：图像信息获取器，被配置为从执行图像的所有区域中获得关于在屏幕图像上显示的区域的提取信息的信息，该执行图像是示出正在被执行的程序的图像；以及通过使用对应于提取图像的解码方法对提取图像进行解码。

根据本发明的各种实施例的屏幕图像编码方法可包括：从包括在当前块中的像素获得包括用于显示像素的多个像素值的像素值组合；获得索引表，在其中不同的索引对应像素值组合；以及获得索引映射，其中表示用于显示像素的像素值组合的索引对应于像素。

另外，屏幕图像编码方法还可以包括从包括在当前块之前编码的参考块中的参考像素的每个中获得参考像素值组合，其包括用于显示参考像素的多个参考像素值，并且可以通过使用像素值组合和参考像素值组合来获得索引表。

另外，屏幕图像编码方法还可以包括对索引表和索引映射进行编码。

另外，当通过使用预设的编码方法执行编码时，可以执行屏幕图像编码方法。

另外，预设的方法可以包括脉冲编码调制(PCM)方法和无损编码方法中的至少一个。

另外，多个像素值可以包括每个像素的红色采样值、绿色采样值和蓝色采样值中的至少一个。

另外，多个像素值可以包括每个像素的亮度值和色度值中的至少一个。

根据本发明的各种实施例的屏幕图像解码方法可以包括：从包括在当前块的像素中获得用于显示像素的包括多个像素值的像素值组合；获得索引表，在其中不同的索引对应像素值组合；以及获得索引映射，在其中表示用于显示像素的像素值组合的索引对应于像素。

另外，屏幕图像解码方法还可以包括从在当前块之前解码的参考块中包括的参考像素中的每个参考像素中获得参考像素值组合，其包括用于显示参考像素的多个参考像素值，并且索引表可以通过使用像素值组合和参考像素值组合来获得。

另外，屏幕图像解码方法还可以包括对索引表和索引映射进行解码。

另外，当通过使用预设的解码方法进行解码时，可以执行屏幕图像解码方法。

另外，预设的方法可以包括脉冲编码调制(PCM)方法和无损解码方法。

另外，多个像素值可以包括每个像素的红色采样值、绿色采样值和蓝色采样值中的至少一个。

另外，多个像素值可以包括每个像素的亮度值和色度值中的至少一个。

根据本发明的各种实施例的屏幕图像编码装置可以包括：像素值组合获取器，被配置为从当前块中包括的像素中获得包括用于显示像素的多个像素值的像素值组合；索引表获取器，被配置为获得索引表，在其中不同的索引对应于像素值组合；以及索引映射获取器，被配置为获得索引映射，在其中表示用于显示像素的像素值组合的索引对应于像素。

根据本发明的各种实施例的屏幕图像解码装置可以包括：像素值组合获取器，被配置为从当前块中包括的像素中获得包括用于显示像素的多个像素值的像素值组合；索引表获取器，被配置为获得索引表，在其中不同的索引对应于像素值组合；以及索引映射获取器，被配置为获得索引映射，在其中表示用于显示像素的像素值组合的索引对应于像素。

提供了计算机可读记录介质，其具有在其上包含的用于执行根据本发明的各种实施例的屏幕图像编码和解码方法的程序。

提供了存储在记录介质中的计算机程序，用于执行根据本发明的各种实施例的屏幕图像编码和解码方法。

本发明的方式

在本文中使用的术语仅用于描述实施例的目的并且不意图限制实施例。如本文中所使用的，单数形式的“一个”和“这个”也意图包括复数形式，除非上下文另有清楚的表示。还将理解的是在本文中使用的术语“包括”和/ 或“正包括”规定了所述元素或步骤的存在，但不排除一个或多个其他元素或步骤的存在或添加。

在下文中，在下面描述的各种实施例中，术语“图像”可以不仅仅全面表示静态图像，还表示诸如视频的运动画面(moving picture)。

在下文中，术语“样本”指分配给要处理的图像的采样位置的数据。例如，空间域的图像中的像素可以是样本。可选地，对应于空间域的图像中的像素的剩余部分可以是样本。

在下文中，块可以是方形或矩形，或者可以具有任意的几何形状。块不限于具有预定尺寸的数据单元。例如，块可以具有8×8的尺寸。

在下文中，信令可以指传送或接收信号。例如，当图像数据被编码时，信令可以指传送编码的信号。可选地，当图像数据被解码时，信令可以指接收解码的信号。

在下文中，现在将参照图1a到7d来描述根据各种实施例的用于编码屏幕图像的方法和装置和用于解码屏幕图像的方法和装置。

另外，将参照图8至20描述根据各种实施例的基于树结构的编码单元的视频编码方法和视频解码方法，其可被应用到上述屏幕图像的编码和解码方法。此外，将参照图21至27描述可以被应用视频编码方法和图像解码方法的各种实施例。

图1a是根据一个实施例的用于编码屏幕图像的图像编码装置10的框图。

如图1a所示，图像编码装置10可以包括编码器11和候选块缓冲器12。然而，图像编码装置10可以包括比图1a中所示的那些更多的元件，或者可以包括比图1a中所示的那些更少的元件。

根据一个实施例的编码器11可接收输入图像。例如，编码器11可接收当前块。根据一个实施例的当前块可以指当前被编码的块的图像。

根据一个实施例的编码器11可以从在当前图像之前编码的图像中获得并存储一个或多个候选块，其在空间上与当前块位于同一位置。

例如，对于尺寸3×3的位于之前图像的中心的块可以是尺寸3×3的位于当前图像的中心的当前块的候选块。

可选地，图像编码装置10可以选择性地从在当前图像之前编码的图像中获得并存储一个或多个候选块，其在空间上与当前块位于同一位置。根据一个实施例的图像编码装置10可以从在当前图像之前编码的多个图像中的一些图像中获得一个或多个候选块，其在空间上与当前块位于同一位置。根据一个实施例的图像编码装置10可以从在当前图像之前编码的图像中获得相同定位的块，其在空间上与当前块位于同一位置，可以根据预定标准从相同定位的块中选择一些块，且可以将所选的块确定为候选块。

根据一个实施例的编码器11可确定用于编码当前块的参考块是否存在于在候选块缓冲器12中存储的一个或多个候选块中。例如，编码器11可以通过搜索候选块缓冲器12获得与当前块相同或相似的参考块。

根据一个实施例的参考块可以指用于对当前块进行编码的块。例如，来自候选块中的与当前块相同的块可以是参考块。可选地，来自候选块中的以预定程度或者高于预定程度相似于当前块的块可以是参考块。

可以通过使用预设的方法来确定候选块是否以预定程度或者高于预定程度相似于当前块。例如，当候选块和当前块之间的绝对差值和(SAD)被计算并且是等于或小于特定临界值时，编码器11可以确定候选块作为参考块。根据一个实施例的SAD可以指通过针对每个块的所有像素的每个像素获得包括在两个块中的两个对应像素值之间的差的绝对值并且对绝对值求和而获得的值。当前块可能是原始输入图像。可选地，编码器11可以获得候选块和当前块的代表值，并且可以基于该代表值之间的差是否等于或小于预设值来确定候选块是否是参考块。可通过使用预设的方法来确定代表值。例如，当前块的代表值可以是包括在当前块中的像素值的平均。

根据一个实施例的编码器11可以基于包括在候选块中的像素值确定候选块代表值，可以基于包括在当前块中的像素值确定当前块的当前块代表值，并且可以在候选块代表值和当前块代表值之间的差等于或小于预设的临界值时将候选块确定为参考块。

根据一个实施例的编码器11可以获得各候选块和当前块之间的SAD并且可以将具有等于或小于预设的临界值的SAD的候选块确定为参考块。

根据一个实施例的编码器11可以基于参考块是否存在于候选块缓冲器 12中，对索引信息、用于根据参考块将当前块解码的预测信息，以及关于当前块的信息中的至少一个进行编码。

根据一个实施例的编码器11可以在用于当前块的参考块被存储在候选块缓冲器12中时确定是否对预测信息进行编码。

例如，当与当前块相同的替代的候选块存在于被存储在候选块缓冲器12 中的一个或多个候选块中时，编码器11可以省略对关于当前块的信息进行编码并且可以对表示替代的候选块的索引信息进行编码。可能存在对索引信息进行编码的各种方法。根据一个实施例的编码器11可以使用可变长度编码或者算术编码来对索引信息进行编码。根据另一实施例的编码器11可以使用固定长度编码来对索引信息进行编码。

可选地，当参考块存储在候选块缓冲器12中并且与当前块不同时，编码器11可以对表示参考块的索引信息和用于根据参考块解码当前块的预测信息进行编码。在这种情况下，编码器11可以省略对关于当前块的信息进行编码。

当预测信息被编码时，编码器11可以编码预测信息的所有分量，或者可以仅编码预测信息的某些分量。例如，编码器11可以编码预测信息的一些 RGB分量。可选地，编码器11可以编码预测信息的一些YUV分量。

当参考块没有被存储在候选块缓冲器12中时，根据一个实施例的编码器 11可对关于当前块的信息进行编码。在这种情况下，编码器11可以省略对索引信息和预测信息的编码。例如，编码器11可以对当前块执行帧内编码或帧间编码。编码器11可以将编码的数据输出到外部。例如，编码器11可以编码当前块的信息，并且可以输出编码的数据作为比特流。

根据一个实施例的编码器11可以对关于当前块图像的信息进行编码，并且可以基于编码的信息更新候选块缓冲器12。可以存在更新候选块缓冲器12 的各种方法。

例如，当参考块没有存在于候选块缓冲器12中时，编码器11可以将关于通过使用帧内编码或帧间编码而被编码的当前块的信息加入候选块缓冲器 12。

当存储在候选块缓冲器12中的候选块的数目等于或大于预设的数目时，候选块缓冲器12可以删除通过使用预设的方法确定的候选块。例如，当存储在候选块缓冲器12中的候选块的数目等于或大于预设的数目时，候选块缓冲器12可以从候选块缓冲器12中删除对应于预定的索引的候选块。

现在将解释由候选块缓冲器12执行的删除候选块的处理。

根据一个实施例可以存储在候选块缓冲器12中的候选块的数目可以是 32，并且索引0到31可以被分配给存储在候选块缓冲器12中的候选块。在这种情况下，存储32个候选块的候选块缓冲器12可以从存储在候选块缓冲器12中的候选块中删除具有索引31的候选块以便另外存储候选块。

当一个候选块已经被删除时，根据另一实施例的候选块缓冲器12可以从存储在候选块缓冲器12中的候选块中删除具有最低使用频率的候选块。例如，由于对应于背景图像的候选块具有高使用频率，该候选块可以不从候选块缓冲器12中删除。

当向存储在候选块缓冲器12中的候选块分配索引时，根据一个实施例的候选块缓冲器12可以考虑各候选块的使用频率。例如，候选块缓冲器12可以分配较低索引给具有更高访问频率的候选块。

根据一个实施例的候选块缓冲器12可重新设置在候选块缓冲器12中存储候选块的存储顺序。例如，候选块缓冲器12可以通过考虑候选块的使用频率重新设置候选块的存储顺序。可选地，候选块缓冲器12可以基于候选块最近被访问的顺序确定候选块的存储顺序。可选地，候选块缓冲器12可以基于用户输入确定候选块的存储顺序。

当向存储在候选块缓冲器12中的候选块分配索引时，根据一个实施例的候选块缓冲器12可以将对应于当前块的候选块的索引设置为0。

当对应于当前块的候选块的数据被更新时，根据一个实施例的候选块缓冲器12可以通过反映更新的内容来更新对应于当前块的候选块的数据。

候选块缓冲器12可以从在当前图像之前编码的图像中获得并存储一个或多个候选块，其在空间上与当前块位于同一位置。例如，尺寸3×3的位于之前图像的中心的块可以是用于尺寸3×3的位于当前图像的中心的当前块的候选块。

图1b是用于根据一个实施例的对屏幕图像进行编码的编码器11的框图。

如图1b所示，编码器11可以包括块图像匹配器13，块图像编码器14，和更新器15。

根据一个实施例的块图像匹配器13可确定用于编码当前块的参考块是否存在于存储在候选块缓冲器12中的一个或多个候选块中，其已参考图1a 详细描述。

根据一个实施例的块图像编码器14可以基于参考块是否存在于候选块缓冲器12中来对表示参考块的索引信息、用于根据参考块将当前块进行解码的预测信息以及关于当前块的信息中的至少一个进行编码，其已参考图1a详细描述。

根据一个实施例的更新器15可以编码关于当前块图像的信息，并且可以基于所编码的信息更新候选块缓冲器12，其已参考图1a详细描述。

图1c是根据一个实施例的对屏幕图像及进行编码的方法的流程图。

在操作S11中，图像编码装置10可以从在当前图像之前编码的图像中获取并存储一个或多个候选块，其在空间上与当前块位于同一位置。例如，尺寸3×3的位于之前图像的中心的块可以是用于尺寸3×3的位于当前图像的中心的当前块的候选块。可选地，图像编码装置10可以从在当前图像之前编码的图像中选择性地获取并存储一个或多个候选块，其在空间上与当前块位于同一位置。

在操作S12中，图像编码装置10可以确定用于编码当前块的参考块是否存在于在操作S11中存储的一个或多个候选块中。例如，编码器11可以通过搜索候选块缓冲器12获得与当前块相同或相似的参考块。

在操作S13中，图像编码装置10可基于在操作S12中确定的结果对表示参考块的索引信息、用于根据参考块将当前块进行解码的预测信息以及关于当前块的信息中的至少一个进行编码。

当用于当前块的参考块被存储在候选块缓冲器12中时，根据一个实施例的编码器11可以确定是否对预测信息进行编码。

例如，当与当前块相同的替代的候选块存在于存储于候选块缓冲器12中的一个或多个候选块中时，编码器11可以省略对关于当前块的信息进行编码并可以对表示替代的候选块的索引信息进行编码。可能存在对索引信息进行编码的各种方法。根据一个实施例的编码器11可以使用可变长度编码或者算术编码来对索引信息进行编码。根据另一实施例的编码器11可以使用固定长度编码来对索引信息进行编码。

可选地，当参考块存储在候选块缓冲器12中并且与当前块不同时，编码器11可以对表示参考块的索引信息和用于根据参考块解码当前块的预测信息进行编码。在这种情况下，编码器11可以省略对关于当前块的信息进行编码。

当预测信息被编码时，编码器11可以编码预测信息的所有分量，或者可以仅编码预测信息的某些分量。例如，编码器11可以仅编码预测信息的一些 RGB分量。可选地，编码器11可以仅编码预测信息的一些YUV分量。

当参考块没有被存储在候选块缓冲器12中时，根据一个实施例的编码器 11可对关于当前块的信息进行编码。在这种情况下，编码器11可以省略对索引信息和预测信息进行编码。例如，编码器11可以对当前块执行帧内编码或帧间编码。编码器11可以将编码的数据输出到外部。例如，编码器11可以编码当前块的信息，并且可以输出编码的数据作为比特流。

图2a是根据一个实施例的用于解码屏幕图像的图像解码装置16的框图。该图像解码装置16可包括解码器17和候选块缓冲器18。但是，该图像解码装置16可以包括比图2a中所示的那些更多的元件，或者可以包括比图2a中所示的那些更少的元件。

根据一个实施例的解码器17可以接收比特流。例如，解码器17可以接收作为关于当前块的比特流的信息，其中当前块是当前被解码的块。根据一个实施例的当前块可以指当前被解码的块的图像。

根据一个实施例的解码器17可以接收关于用于解码当前块的参考块是否在存储于候选块缓冲器18中的一个或多个候选块中存在的信息。例如，解码器17可以基于关于候选块是否在候选块缓冲器18中存在的信息获取来自候选缓冲器189的参考块。

根据一个实施例的参考块可以指用于编码当前块的块。例如，来自候选块中的与当前块相同的块可以是参考块。可选地，来自候选块中的以预定程度或者高于预定程度相似于当前块的块可以是参考块。

可以通过使用预设的方法来确定候选块是否以预定程度或者高于预定程度相似于当前块。例如，当候选块和当前块之间的SAD被计算并且是等于或小于特定临界值时，编码器11可以确定候选块作为参考块。根据一个实施例的SAD可以指通过针对每个块的所有像素的每个像素获得包括在两个块中的两个对应像素值之间的差的绝对值并且对绝对值求和而获得的值。当前块可以是原始输入图像。可选地，解码器17可以获得候选块和当前块的代表值，并且可以基于该代表值之间的差是否等于或小于预设值来确定候选块是否是参考块。可通过使用预设的方法来确定代表值。例如，当前块的代表值可以是包括在当前块中的像素值的平均值。

根据一个实施例的解码器17可以基于包括在候选块中的像素值来确定候选块代表值，可以基于包括在当前块中的像素值确定当前块的当前块代表值，并且可以在候选块代表值和当前块代表值之间的差等于或小于预设的临界值时将候选块确定为参考块。

根据一个实施例的解码器17可以基于接收的信息通过使用表示参考块的索引信息、用于根据参考块将当前块解码的预测信息，以及关于当前块的信息中的至少一个对当前块进行解码。

根据一个实施例的解码器17可以接收和解析由图像编码装置10生成的比特流并且可以解码当前块。

例如，当执行信令来表示参考块存在于候选块缓冲器18中并且不需要被更新时，解码器17可输出存储在候选块缓冲器18中的参考块作为解码的图像。

可选地，当执行信令来表示参考块存在于候选块缓冲器18中并且需要被更新时，解码器17可以解码接收到的更新信息，并且可以更新存储在候选块缓冲器18中的参考块。

可选地，当执行信令来表示参考块不存在于候选块缓冲器18中时，解码器17可以执行帧内解码或帧间解码，并且可以输出解码的图像。

当用于当前块的参考块被存储在候选块缓冲器18中时，根据一个实施例的解码器17可以确定是否进行预测信息的解码。

例如，当与当前块相同的替代的候选块在存储于候选块缓冲器18中的一个或多个候选块中存在时，解码器17可以省略关于当前块的信息的解码，并且可以解码表示替代的候选块的索引信息。可以存在解码索引信息的各种方法。根据一个实施例的解码器17可以使用可变长度解码或算术解码来解码索引信息。根据另一实施例的解码器17可以使用固定长度解码来解码索引信息。

可选地，当参考块存储在候选块缓冲器18中并且不同于当前块时，解码器17可解码表示当前块的索引信息和用于根据参考块解码当前块的预测信息。在这种情况下，解码器17可以省略对关于当前块的信息的解码。

当预测信息被解码时，解码器17可以解码预测信息的所有分量，或者可以仅解码预测信息的某些分量。例如，解码器17可以仅解码预测信息的一些 RGB分量。可选地，解码器17可以仅解码预测信息的一些YUV分量。

当参考块没有被存储在候选块缓冲器18中时，根据一个实施例的解码器 17可以对关于当前块的信息进行解码。在这种情况下，解码器17可省略对索引信息和预测信息的解码。例如，解码器17可以对当前块执行帧内解码或帧间解码。解码器17可以将解码的数据输出到外部。例如，解码器17可以解码当前块的信息，并且可以输出重建图像。

根据一个实施例的解码器17可以对关于当前块图像的信息进行解码，并且可以基于解码的信息更新候选块缓冲器18。可能存在更新候选块缓冲器18 的各种方法。

例如，当参考块没有存在于候选块缓冲器18中时，解码器17可以将关于通过使用帧间解码或帧内解码而解码出的当前块的信息加入候选块缓冲器 12。

当存储在候选块缓冲器18中的候选块的数目等于或大于预设的数目时，根据一个实施例的候选块缓冲器18可以删除通过使用预设的方法确定的候选块。例如，当存储在候选块缓冲器18中的候选块的数目等于或大于预设的数目时，对应于预定的索引的候选块可以被从候选块缓冲器18中删除。

现在将解释由候选块缓冲器18执行以删除候选块的处理。

根据一个实施例可以存储在候选块缓冲器18中的候选块的数目可以是 32，并且索引0到31可以被分配给存储在候选块缓冲器18中的候选块。在这种情况下，存储32个候选块的候选块缓冲器18可以从存储在候选块缓冲器18中的候选块中删除具有索引31的候选块以便另外存储候选块。

当一个候选块已经被删除时，根据另一实施例的候选块缓冲器18可以从存储在候选块缓冲器18中的候选块中删除具有最低使用频率的候选块。例如，由于对应于背景图像的候选块具有高使用频率，该候选块可以不从候选块缓冲器18中删除。

当向存储在候选块缓冲器18中的候选块分配索引时，根据一个实施例的候选块缓冲器18可以考虑各候选块的使用频率。例如，候选块缓冲器18可以分配较低索引给具有更高访问频率的候选块。

根据一个实施例的候选块缓冲器18可重新设置在候选块缓冲器18中存储候选块的存储顺序。例如，候选块缓冲器18可以通过考虑候选块的使用频率重新设置候选块的存储顺序。可选地，候选块缓冲器18可以基于候选块最近被访问的顺序来确定候选块的存储顺序。可选地，候选块缓冲器18可以基于用户输入确定候选块的存储顺序。

当向存储在候选块缓冲器18中的候选块分配索引时，根据一个实施例的候选块缓冲器18可以将对应于当前块的候选块的索引设置为0。

当对应于当前块的候选块的数据被更新时，根据一实施例的候选块缓冲器18可以通过反映更新的内容来更新对应于当前块的候选块的数据。

此外，解码器17可处理数据丢失。

根据一个实施例的候选块缓冲器18可以从在当前图像之前解码的图像获取并存储一个或多个候选块，其在空间上与当前块位于同一位置。

根据一个实施例的图像解码装置16可以执行与数据丢失相关的操作。

例如，当参考块的索引比存储在候选块服务器中的候选块的数量 NumOfRefBlock大时，图像解码装置16可以存储从索引0到参考块的索引的候选块。图像解码装置16可以将数目NumOfRefBlock增加一个值，这个值是通过从参考块的索引中减去数目NumOfRefBlock获得的。当数据丢失发生且得到具有比数目NumOfRefBlock大的索引的参考块时，根据一个实施例的图像解码装置16可以增加数目NumOfRefBlock并且可以存储从索引0到参考块的索引的候选块。

图2b是根据一个实施例的用于解码屏幕图像的解码器17的框图。

如图2b所示，解码器17可以包括块图像解码器19和更新器20。然而，解码器17可以包括比图2b中所示的那些更多的元件或者可以包括比图2b中所示的那些更少的元件。

根据一个实施例的块图像解码器19可接收和解析由图像编码装置10生成的比特流并且可以解码当前块。

例如，当执行信令以表示参考块存在于候选块缓冲器18中并且不需要进行更新时，块图像解码器19可输出存储在候选块缓冲器18中的参考块作为解码的图像。

可选地，当执行信令来表示参考块存在于候选块缓冲器18中并且需要被更新时，块图像解码器19可以解码接收到的更新信息，并且可以更新存储在候选块缓冲器18中的参考块。

可选地，当执行信令来表示参考块不存在于候选块缓冲器18中时，块图像解码器19可以执行帧内解码或帧间解码，并且可以输出解码的图像。

块图像解码器19的操作已经参考图2a被详细描述。

根据一个实施例的更新器20可以解码有关当前块图像的信息，并且可以基于解码的信息更新候选块缓冲器18。

更新器20的操作已经参考图2a被详细描述。

图2c是根据一个实施例的解码屏幕图像的方法的流程图。

在操作S21中，图像解码装置16可以从在当前图像之前解码的图像中获得并存储一个或多个候选块，其在空间上与当前块位于同一位置。例如，尺寸3×3的位于之前图像的中心的块可以是用于尺寸3×3的位于当前图像的中心的当前块的候选块。

在操作S22中，图像解码装置16可以接收关于用于解码当前块的参考块是否在操作S21中存储的一个或多个候选块中存在的信息。

在操作S23中，图像解码装置16可以基于在操作S22接收的信息通过使用表示参考块的索引信息、用于根据参考块将当前块解码的预测信息，以及关于当前块的信息中的至少一个对当前块进行解码。

图2d是用于说明根据一个实施例的更新候选块缓冲器的方法的流程图。

在操作S24中，图像解码装置16可确定当前屏幕图像是否是第一图像或随机接入点。例如，在当前屏幕图像是I图像时，图像解码装置16可以执行操作S25。I图像可以指通过使用帧内预测而编码的图像。

在操作S25中，索引0可以被分配给编码或解码的当前块，并且具有索引0的编码或解码的块可以被存储在候选块缓冲器中。存储在候选块缓冲器中的候选块的数目可以被设置为1。

在操作S26中，图像解码装置16可确定对应于当前块的参考块是否在候选块缓冲器中存在。

当对应于当前块的参考块在候选块缓冲器中存在时，在操作S27中，图像解码装置16可以将比对应于当前块的参考块的索引小的候选块的索引增加1，并且可以将对应于当前块的参考块的索引设置为0。

在操作S28中，图像解码装置16可确定对应于当前块的参考块是否被更新。

当对应于当前块的参考块被更新时，在操作S29中，图像解码装置16可以更新对应于当前块的参考块。更新参考块的方法已参考图2a被详细描述。

当对应于当前块的参考块不存在于候选块缓冲器中时，在操作S30中，图像解码装置16可以将存储在候选块缓冲器中的候选块的索引增加1，可以将索引0分配给编码或解码的当前块，并且可以在候选块缓冲器中存储具有索引0的编码或解码的当前块。

在操作S31中，当可以存储在候选块缓冲器中的候选块的数目达到最大值时，图像解码装置16可以从候选块缓冲器中删除具有最高索引的候选块。

虽然由图像解码装置16执行的各种操作已经参照图2a到2d被进行了描述，本领域普通技术人员将理解图2a到3e的方法可以由图像编码装置10来执行。

图3a是用于说明根据一个实施例的编码或解码屏幕图像的方法的示图。

例如，图3a可以显示当切换窗口的用户输入(诸如alt+tab)被连续输入时的屏幕图像。

随着时间的推移，第一图像31、第二图像32、第三图像33和第四图像 34可被顺序地显示。

另外，第一块35、第二块36、第三块37和第四块38可以在空间上彼此位于同一位置。

当第四图像34上所显示的第四块38要被处理时，图像编码装置10可以使用第二块36的数据，第二块36与第二图像32的第四块38位于同一位置。

当第四块38要被解码时，无需压缩或编码关于第四块38的信息并传送编码的数据，有关第二块36的信息可被用作预测信息，从而提高编码效率。

图3b是用于说明根据一个实施例当显示第一图像31时存储候选块的方法的示图。

当接收到第一图像31时，由于在候选块缓冲器中没有数据，图像编码装置10可编码通过使用帧内编码输入的第一块35，可以将索引0分配给作为编码的块图像的第一块35，并且可以在候选块缓冲器中存储第一块35。图像编码装置10可以将存储在候选块缓冲器中的候选块的数目设置为1。

图3c是用于说明根据一个实施例当显示第二图像32时存储候选块的方法的示图。

当屏幕图像由于用户的输入改变为第二图像32时，图像编码装置10可确定存储在候选块缓冲器中的第一块35是否用于对第二块36进行编码。由于第一块35与第二块36不相同或不类似，图像编码装置10可以确定第一块不用于编码第二块36。图像编码装置10可对第二块36执行帧内编码，可以将在候选块缓冲器中的以索引0存储的第一块35的索引改变为索引1，可以将索引0分配给第二块36，并且可以在候选块缓冲器中存储每个候选块。图像编码装置10可以将存储在候选块缓冲器中候选块的数目设置为2。

图3d是用于说明根据一个实施例在显示第三图像33时存储候选块的方法的示图。

第三图像33可以通过用户的输入被显示在屏幕图像上。在这种情况下，由于对应于所接收的第三块的候选块不存储在候选块缓冲器中，可对第三块执行帧内编码，在候选块缓冲器中以索引1存储的第一块35的索引可以被改变为索引2，以索引0存储的第二块36的索引可以被改变为索引1，索引0 可以被分配给被编码的第三块37，从而每个候选块可被存储在候选块缓冲器中。图像编码装置10可以将存储在候选块缓冲器中的候选块的数目设置为3。

图3e是用于说明根据一个实施例当显示第四图像34时存储候选块的方法的示图。

第四图像34由于用户的输入可被显示的屏幕图像上。在这种情况下，第二块36被存储在候选块缓冲器中，第二块36是对应于接收的第四块38的候选块。由于第二块36和第四块38是彼此相同的，图像编码装置10可对第二块36的索引进行编码。同样，为了增加最近访问的块的优先级，图像编码装置10可以改变候选块缓冲器中的索引1和索引0。例如，图像编码装置10 可以将索引0分配给第二块36，并且可以将索引1分配给第三块37。在此情况下，图像编码装置10可将存储在候选块缓冲器中的候选块的数目保持为3。

虽然由图像编码装置10执行的各种操作已经参照图3a至3e进行了说明，本领域普通技术人员将理解图3a至3e的方法可以由图像解码装置16来执行。

图4a是根据一个实施例的用于编码屏幕图像的图像编码装置40的框图。

如图4a所示，图像编码装置40可以包括图像获取器41和编码器42。然而，图像编码装置40可以包括比图4a中所示的那些更多的元件或者可以包括比图4a中所示的那些更少的元件。

根据一个实施例的图像获取器41可以获得执行图像，其是示出正在执行的程序的图像。

执行图像可以是示出正在执行的程序的图像。例如，当正在执行视频节目且从而视频正被再现时，再现的图像可以是执行图像。可选地，当正在执行网页浏览器时，网页浏览器的执行窗口可以是执行图像。

在屏幕区域可以仅显示执行图像的所有区域的某些区域。例如，第一执行图像是视频再现程序的执行图像，第二执行图像是网页浏览器的执行图像，它们可以相互重叠。在这种情况下，当第一执行图像和第二执行图像相互重叠时，可以仅显示位于更前面的执行图像。

提取图像可以指来自执行图像的所有区域中的实际被显示在屏幕图像上的区域的图像。通过提取来自执行图像的实际上被显示的区域的数据，可以获得提取图像。例如，当第一执行图像与第二执行图像重叠使得第一执行图像位于第二执行图像之上时，可以仅显示第一执行图像。在这种情况下，当第一执行图像被部分重叠于第二执行图像上时，第二执行图像的提取图像可以指来自第二执行图像的所有区域的不重叠于第一执行图像且被实际显示在屏幕图像上的区域的图像。

可以从每个执行图像获得提取图像。例如，一个屏幕图像可以包括多个提取图像的组合。

例如，从第一执行图像获得的第一提取图像，从第二执行图像获得的第二提取图像和从第三执行图像获得的第三提取图像可以显示在一个屏幕上。

此外，本文中所用的提取图像可被称为显示图像。

将在下面将参考图5g详细描述提取图像。

非提取图像可以指除了屏幕图像上的提取图像之外的区域的图像。例如，在具有屏幕图像尺寸的图像上不显示提取图像的区域的图像可以是非提取图像。非提取图像可以指在层状图像中没有被提取的区域的图像。可选地，非提取图像可以指屏幕图像的内部区域和提取图像的外部区域的图像。

此外，本文所用非提取图像可以被称为外部图像。

将在下面参考图5g详细描述非提取图像。

层状图像可以指通过组合提取图像和非提取图像生成的图像。例如，层状图像可以指具有与屏幕图像的尺寸相同的尺寸且包括提取图像和非提取图像两者的图像。将在下面参考图5g详细描述层状图像。

根据一个实施例的图像获取器41可以从每个执行图像获得提取图像。例如，当三个执行窗口被显示在屏幕图像上时，图像获取器41可以将其中三个执行窗口被实际显示在屏幕上的区域与其中三个执行窗口没有被实际显示的区域区分开。根据一个实施例的图像获取器41可以获得第一提取图像、第二提取图像和第三提取图像，其中第一提取图像是来自第一执行窗口的实际上显示在屏幕上的区域的图像，第二提取图像是来自第二执行窗口的实际上显示在屏幕上的区域的图像，第三提取图像是来自第三执行窗口的实际上显示在屏幕上的区域的图像。

根据一个实施例的编码器42可以从执行图像的所有区域中获得显示在屏幕图像上的区域的提取图像，并且可以通过使用对应于提取图像的编码方法对提取图像进行编码。

根据一个实施例的编码器42可以基于提取图像的类型对提取图像进行编码。相应地，编码器42可以对构成一个屏幕图像的多个提取图像的每个提取图像应用自适应编码方法。

例如，当用于视频再现的第一提取图像、用于JPEG图像的第二提取图像以及用于word文档的第三提取图像被包括在屏幕图像中时，编码器42可以通过使用适合于编码视频的编码方法对第一提取图像进行编码，可以通过使用适合于编码静态图像的编码方法对第二提取图像进行编码，并且可以通过使用适合于编码文本的编码方法对第三提取图像进行编码。可以由本领域的普通技术人员容易地选择编码每个提取图像的方法。

根据一个实施例的编码器42可以得到非提取图像。非提取图像可以具有由使用预设的方法确定的像素值。根据一个实施例的编码器42可以获得作为屏幕图像的内部区域并且还作为提取图像的外部区域的这样一个区域的非提取图像。在这种情况下，编码器42可以通过使用预设的方法对非提取图像进行编码。例如，编码器42可以通过使用对应于提取图像的编码方法对非提取图像进行编码。

非提取图像可以是与提取图像相反的概念。例如，非提取图像可以指其中在屏幕图像上不显示提取图像的区域的图像。多个提取图像可以显示在屏幕上。

根据一个实施例的屏幕可以显示用于第一执行窗口的第一提取图像，用于第二执行窗口的第二提取图像，以及用于第三执行窗口的第三提取图像。在这种情况下，除了由第一提取图像在屏幕上占据的区域以外的区域的图像可被称为第一提取图像的非提取图像。用于编码第一提取图像的图像可以是第一图像，其具有通过将第一提取图像和第一提取图像的非提取图像进行组合而获得的屏幕图像尺寸。以这种方式，可以得到第二图像和第三图像。

通过组合提取图像和非提取图像而获得的图像可以被称为层状图像。例如，在上述实施例中，第一图像可以是第一提取图像的层状图像。根据一个实施例，作为具有屏幕图像尺寸的图像的层状图像可以指通过组合提取图像和提取图像的非提取图像而获得的图像。

可基于提取图像来确定非提取图像。例如，当第一提取图像是JPEG图像时，第一提取图像的非提取图像可具有128的像素值。可选地，当第一提取图像是JPEG图像时，可以通过使用最接近每个非提取图像像素的第一提取图像的像素值，来确定包括在第一提取图像的非提取图像中的非提取图像像素的像素值。

可以基于第二提取图像的类型确定第二提取图像的非提取图像。因为非提取图像不显示给用户，可以简单地选择和使用编码或解码。对于简单的编码或解码，可以根据第二提取图像的类型确定第二提取图像的非提取图像。例如，当第二提取图像是视频时，可以考虑图像质量的水平，是否通过使用特定的方法对第二提取图像进行编码，包括在第二提取图像中的文本的比率是否等于或大于预定比率，和/或包括在第二提取图像中的图像的比率是否等于或大于预定比率，来确定编码和解码第二提取图像的非提取图像的方法。

根据一个实施例的编码器42可以获得用于将对应于屏幕图像上的提取图像的区域与对应于屏幕图像上的非提取图像的区域相区别的指令信息。在这种情况下，编码器42可以基于指令信息从屏幕图像中获得提取图像和非提取图像。

根据一个实施例的指令信息可以针对每个像素被获得，或者可以为具有预设的尺寸的每个块来获得。

例如，关于层状图像的每个像素是否是在屏幕上显示的像素的信息可以被编码或解码为指令信息。

可选地，关于层状图像的每个块是否是在屏幕上显示的块的信息可以被编码或解码为指令信息。

根据一个实施例的指令信息可以是用于将在层状图像上显示的区域与未显示的区域相区别的遮罩(mask)信息。

此外，根据一个实施例的图像获取器41可基于指令信息从层状图像获得提取图像。例如，图像获取器41可以基于指令信息将层状图像划分为提取图像和非提取图像。

根据一个实施例的图像编码装置40可以生成表示层状图像的区域是否被显示的指令信息。

根据一个实施例的编码器42可以确定执行图像是否用于静态图像，并且可以通过使用基于确定的结果而确定的编码方法对提取图像进行编码。

根据一个实施例的编码器42可以基于提取图像的类型对提取图像进行编码。相应地，编码器42可以对构成一个屏幕图像的多个提取图像的每个提取图像应用自适应编码方法。

在这种情况下，编码器42可以基于提取图像是否是静态图像确定编码方法。静态图像可以指除文字等类似物以外的静止图像。即使当用于视频的提取图像是在暂停点的图像，提取图像也可被视为静态图像。

根据一个实施例的编码器42可确定执行图像是否用于视频，并且可以通过使用基于确定的结果而确定的编码方法对提取图像进行编码。

根据一个实施例的编码器42可以基于提取图像是否是视频来对提取图像进行编码。相应地，编码器42可以对构成一个屏幕图像的多个提取图像的每个提取图像应用自适应编码方法。

根据一个实施例的编码器42可以将针对视频的编解码器和针对其他图像的编解码器分开，并且可以不同的方式使用编解码器来编码提取图像。因为视频编解码器比用于视频之外的图像的编解码器更复杂，根据一个实施例的编码器42可以通过使用为视频编解码器开发的硬件加速器对用于视频的提取图像进行编码。根据一个实施例的编码器42可以通过使用视频编解码器对用于视频的提取图像进行编码，并且可以通过使用用于静态图像的编解码器对于用于静态图像的提取图像进行编码。

由编码器42使用的编解码器可以包括用于编码或解码视频区域的编解码器、用于编码图形数据以对静态图像进行编码或解码的现有的便携式网络图形(PNG)编解码器，现有的基于运行长度编码的编解码器，以及用于编码或解码除图像之外的区域的非标准编解码器中的至少一个。

图4b是根据另一实施例用于编码屏幕图像的图像编码装置40的框图。

如图4b所示，图像编码装置40可以包括区域分析器43、区域分割器44、层数据补偿器45、区域层遮罩发生器46、区域编码器47以及多路复用器48。然而，图像编码装置40可以包括比图4b中所示的那些更多的元件，或者可以包括比图4b中所示的那些更少的元件。

根据一个实施例的区域分析器43可分析输入屏幕图像的每个区域，并且可以输出区域分析结果。例如，该区域分析器43可以获得多个执行图像。可选地，区域分析器43可以获得多个提取图像。

根据一个实施例的区域分析器43可以基于执行窗口区分在多个屏幕图像上显示的多个提取图像。区分的多个提取图像可以被包括在视频区域、静态图像区域、文本区域和图形数据区域中的至少一个中。

根据一个实施例的区域分析器43可以把屏幕图像划分成两个区域。例如，该区域分析器43可以将多个提取图像分组为视频区域和非视频区域。

区域分析器43所使用的来分析图像的方法可以是使用在系统中所用的应用程序编程接口(API)信息的方法或使用低层图像处理(low-level image processing)的图像分析方法。另外，区域分析器43可以使用以下方法的组合来分析图像，即使用在系统中所用的API信息的方法和使用低层图像处理的图像分析方法。

根据一个实施例的区域分割器44可以通过在分析屏幕图像之后使用由区域分析器43获得的结果来获得多层图像。

例如，屏幕图像可以包括来自视频程序的图像的区域中的实际显示的区域的第一提取图像和来自word程序的图像的区域的实际显示的第二提取图像。

根据一个实施例的区域分割器44可以获得包括第一提取图像且具有与屏幕图像的尺寸相同的尺寸的第一个层状图像，以及包括第二提取图像且具有与屏幕图像的尺寸相同的尺寸的第二个层状图像。可通过使用预设的方法来处理在每层图像上不显示提取图像的区域。有效地编码或解码层状图像的方法可以被预先确定为预设的方法。

根据一个实施例的层数据补偿器45可以产生非提取图像，该非提取图像是在区域分割器44产生的层状图像上不显示提取图像的区域的图像。例如，层数据补偿器45可以通过使用预设的方法确定对应于非提取图像的像素值。根据一个实施例的层数据补偿器45可以使用具有小计算量的方法以确定对应于非提取图像的像素值。例如，当包括在层状图像的提取图像不是文本而是静态图像时(诸如照片或视频)，由于层状图像可以通过使用MPEG-2、 MPEG-4、H.264或JPEG被编码或者解码，层数据补偿器45可以将对应于非提取图像的像素值设置为128。可选地，当包括在层状图像中的提取图像是文本或图形图像时，由于层状图像可以通过使用基于运行长度编码的编解码器被编码或解码，根据一个实施例的层数据补偿器45可以考虑位于非提取图像的像素周围的像素的像素值来确定非提取图像的像素值。例如，当要确定作为包括在非提取图像中的像素的第一像素的像素值时，最接近正好位于第一像素上的第二像素的像素值的值可以确定被作为第一像素的像素值。

根据一个实施例的层数据补偿器45可以确定包括在层状图像的非提取图像中的像素值，以改善编码层状图像的方法的编码效率。

例如，当层状图像通过使用H.264以帧内预测模式被编码时，层数据补偿器45可以将帧内预测模式设置为16×16块的DC模式，并且将编码比特模式(coded bit pattern(CBP))设置为0以用于非提取图像。在这种情况下，对于非提取图像，变换和量化可以省略。

可选地，当层状图像通过使用H.264以帧间预测模式被编码时，层数据补偿器45可以将用于编码非提取模式的模式设置为跳过模式(skip mode)。在这种情况下，编码非提取图像的处理可以被最小化。

可选地，当通过使用第一种方法编码层状图像时，层数据补偿器45可以生成标志信息，使得不通过使用第一种方法来编码外部区域。在这种情况下，对非提取图像进行解码的处理可以被最小化。例如，对非提取图像的每个块可以不执行编码处理，因而编码器的复杂性可以降低。此外，用于编码和解码的运算量可以减少，并且因此解码器的复杂性也可以降低。

根据一个实施例的层数据补偿器45可排除用于包括在层状图像中的外部区域的信令。在这种情况下，由于不对外部区域执行信令，外部区域的编码可被省略。因此，在编码和解码处理中的计算量可以减少。

在编码第一个层状图像的第一非提取图像时，根据一个实施例的层数据补偿器45可以包括第二个层状图像的提取图像的数据。在这种情况下，组合多个层状图像的所传送的组合信息的量可以降低。

根据一个实施例的区域层遮罩发生器46可以获得指令信息，用于基于区域分割器44产生的层状图像将层状图像上显示提取图像的区域与不显示提取图像的区域相区分。根据一个实施例的指令信息可以对应于每个层状图像而被获得。根据一个实施例的指令信息可以包括提取图像的位置信息。

根据一个实施例的指令信息可以针对用于编码每个层状图像的每个编码单元而生成。例如，指令图像可以针对尺寸16×16或8×8的每个块生成。可选地，可以为每个像素生成指令信息。

根据一个实施例的区域编码器47可以通过使用适于每个层状图像的编码方法编码一个或多个层状图像，并且可以将编码的各层状图像传送到多路复用器48。

例如，当包括在第一个层状图像的提取图像是视频时，区域编码器47可通过使用视频编码方法编码第一个层状图像。在这种情况下，包括在第一个层状图像中的非提取图像也可以通过使用视频编码方法被编码。

在这种情况下，因为只有那些实际显示在屏幕图像上的图像被编码，用于编码的计算量可以小于用于编码所有执行图像的计算量。

此外，在这种情况下，因为只有那些实际显示在屏幕图像上的图像被编码，传输的数据量可以小于当对所有执行图像进行编码的数据量。

此外，这种情况下，因为只有那些实际显示在屏幕图像上的图像被编码，编码可以基于实际显示的图像质量执行。因此，用于编码的计算量和传输的数据量可以小于当所有执行图像进行编码的计算量和数据量。

由于提取图像的位置信息被包括在指令信息中，区域编码器47可省略对指示提取图像的位置的信息的编码。

根据一个实施例的多路复用器48可以接收对应于从区域层遮罩发生器输入的每个层状图像的指令信息。此外，根据一个实施例的多路复用器48可以从区域编码器47接收关于层状图像的编码信息。根据一个实施例的多路复用器48可以包括一个比特串，其包括接收到的信息。另外，由根据一个实施例的多路复用器48产生的比特串可以包括关于编码方法的信息。

图4c是根据一个实施例的编码屏幕图像的方法的流程图。

在操作S41中，根据一个实施例的图像编码装置40可以获得执行图像，其是显示正在执行的程序的图像。

在操作S42中，根据一个实施例的图像编码装置40可以从执行图像的所有区域中获得显示在屏幕图像上的区域的执行图像。

在操作S43中，根据一个实施例的图像编码装置40可以通过使用对应于提取图像的编码方法对提取图像进行编码。

图4d是根据一个实施例的用于解码屏幕图像的图像解码装置21的框图。

如图4d所示，图像解码装置21可以包括图像信息获取器22和解码器 23。图像解码装置21可包括比图4d中所示的那些更多的元件，或者可以包括比图4d中所示的那些更少的元件。

根据一个实施例的图像信息获取器22可以从执行图像的所有区域获取关于在屏幕图像上显示的区域的提取图像的信息，执行图像是显示正在被执行的程序的图像。

执行图像可以指显示正在被执行的程序的图像。例如，当视频程序正在被执行和视频正被再现时，再现的图像可以是执行图像。可选地，当正在执行网页浏览器时，正在执行的网页浏览器执行窗口可以是执行图像。

只有执行图像的所有区域中的一些区域可以在屏幕区域上显示。例如，第一执行图像是视频再现程序的执行图像，第二执行图像是网页浏览器的执行图像，它们可以相互重叠。在这种情况下，当第一执行图像和第二执行图像相互重叠，仅位于更前面的执行图像可以被显示。

提取图像可以指来自执行图像的所有区域的实际在屏幕图像上显示的区域的图像。例如，当第一执行图像重叠于第二执行图像使得第一执行图像位于第二执行图像之上时，可以仅显示第一执行图像。在这种情况下，当第一执行图像部分重叠于第二执行图像时，第二执行图像的提取图像可以指不重叠于第一执行图像的区域的图像，并且来自第二执行图像的所有区域实际被显示在屏幕图像上。

根据一个实施例的图像信息获取器22可以获得每个执行图像的提取图像。例如，当三个执行窗口被显示的屏幕图像上时，图像信息获取器22可区别被实际显示在屏幕上的三个执行窗口的区域，并且可以获得第一执行窗口的第一提取图像，第二执行窗口的第二提取图像，以及第三执行窗口的第三提取图像。

根据一个实施例的图像信息获取器22可以获得关于非提取图像的信息，非提取图像是提取图像的外部区域的图像并且具有通过使用预设的方法确定的像素值。在这种情况下，根据一个实施例的解码器23可通过使用预设的方法解码有关非提取图像的信息。例如，解码器23可以通过使用对应于提取图像的解码方法解码非提取图像。

非提取图像可以是与提取图像相反的概念。例如，非提取图像可以指屏幕图像上没有显示提取图像的区域的图像。多个提取图像可以显示在屏幕上。

根据一个实施例的屏幕可以显示用于第一执行窗口的第一提取图像，用于第二执行窗口的第二提取图像，以及用于第三执行窗口的第三提取图像。在这种情况下，除了由第一提取图像在屏幕上占据的区域以外的区域的图像可被称为第一提取图像的非提取图像。用于解码第一提取图像的图像可以是具有将第一提取图像和第一提取图像的非提取图像进行组合而获得的屏幕图像尺寸的第一图像。以这种方式，可以得到的第二图像和第三图像。

通过组合提取图像和非提取图像而获得的图像可以被称为层状图像。例如，在上述实施例中，第一图像可以是第一提取图像的层状图像。根据一个实施例，层状图像可以指具有通过组合提取图像和提取图像的非提取图像而获得的屏幕图像尺寸的图像。

可基于提取图像来确定非提取图像。例如，当第一提取图像是JPEG图像时，第一提取图像的非提取图像可具有128的像素值。可选地，当第一提取图像是JPEG图像时，可以通过使用最接近每个非提取图像像素的第一提取图像的像素值来确定包括在第一提取图像的非提取图像中的非提取图像像素的像素值。

第二提取图像的非提取图像可以基于第二提取图像的类型确定。因为非提取图像不显示给用户，可以简单地选择和使用编码或解码。对于简单的编码或解码，可以根据第二提取图像的类型确定第二提取图像的非提取图像。例如，当第二提取图像是视频时，编码和解码第二提取图像的非提取图像的方法可以考虑图像质量的水平、是否通过使用特定的方法对第二提取图像进行编码、包括在第二提取图像中的文本的比率是否等于或大于预定比率，和/ 或包括在第二提取图像中的图像的比率是否等于或大于预定比率来确定。

根据一个实施例的图像信息获取器22可以获得用于将对应于屏幕图像上的提取图像的区域与对应于屏幕图像上的非提取图像的区域相区别的指令信息，并且可以基于指令信息从屏幕图像获得提取图像和非提取图像。

根据一个实施例的指令信息可以针对每个像素而被获得，或者可以为具有预设的尺寸的每个块来获得。

例如，关于层状图像的每个像素是否是在屏幕上显示的像素的信息可以被编码或解码为指令信息。

可选地，关于层状图像的每个块是否是在屏幕上显示的块的信息可以被编码或解码为指令信息。

根据一个实施例的指令信息可以是用于将在层状图像上显示的区域与未显示的区域相区别的遮罩(mask)信息。

此外，根据一个实施例的图像信息获取器22可基于指令信息从层状图像获得提取图像。例如，图像信息获取器22可以基于指令信息将层状图像划分为提取图像和非提取图像。

根据一个实施例的解码器23可以通过使用对应于提取图像的解码方法对提取图像进行解码。

根据一个实施例的解码器23可基于提取图像的类型解码提取图像。因此，解码器23可以对构成一个屏幕图像的多个提取图像的每个提取图像应用自适应解码方法。

例如，当用于视频再现的第一提取图像、用于JPEG图像的第二提取图像以及用于word文档的第三提取图像被包括在屏幕图像中时，解码器23可以通过使用适合于解码视频的解码方法对第一提取图像进行解码，可以通过使用适合于解码静态图像的解码方法对第二提取图像进行解码，并且可以通过使用适合于解码文本的解码方法对第三提取图像进行解码。解码每个提取图像的方法可以由本领域的普通技术人员容易地选择。

根据一个实施例的解码器23可以确定执行图像是否用于静态图像，并且可以通过使用基于确定的结果而确定的解码方法对提取图像进行解码。

根据一个实施例的解码器23可以基于提取图像的类型对提取图像进行解码。相应地，解码器23可以对构成一个屏幕图像的多个提取图像的每个提取图像应用自适应解码方法。

在这种情况下，解码器23可以基于提取图像是否是静态图像确定解码方法。静态图像可以指除文本等类似物以外的静止图像。即使当用于视频的提取图像是在暂停点的图像，该提取图像也可被视为静态图像。

根据一个实施例的解码器23可确定执行图像是否用于视频，并且可以通过使用基于确定的结果而确定的解码方法对提取图像进行解码。

根据一个实施例的解码器23可以基于提取图像是否是视频对提取图像进行解码。相应地，解码器23可以对构成一个屏幕图像的多个提取图像的每个提取图像应用自适应解码方法。

根据一个实施例的解码器23可以将针对视频的编解码器和针对其他图像的编解码器分开，并且可以不同的方式使用编解码器来解码提取图像。因为用于视频的编解码器比用于除视频之外的图像的编解码器更复杂，根据一个实施例的解码器23可以通过使用为视频编解码器开发的硬件加速器对用于视频的提取图像进行解码。根据一个实施例的解码器23可以通过使用视频编解码器对用于视频的提取图像进行解码，并且可以通过使用用于静态图像的编解码器对于用于静态图像的提取图像进行解码。

由解码器23使用的编解码器可以包括用于编码或解码视频区域的编解码器、用于编码图形数据以对静态图像进行编码或解码的现有的PNG编解码器，现有的基于运行长度编码的编解码器和用于编码或解码图像之外的区域的非标准编解码器中的至少一个。

图4e是根据另一实施例的用于解码屏幕图像的图像解码装置21的框图。

如图4e所示，图像解码装置21可以包括解复用器24、区域遮罩重建器 25、区域解码器26和重建屏幕布局单元27。然而，图像解码装置21可以包括比图4e中所示的那些更多的元件，或者可以包括比图4e中所示的那些更少的元件。

根据一个实施例的解复用器24可以接收比特流，可以解析指令信息，并且可以将指令信息传送到区域遮罩重建器25。另外，根据一个实施例的解复用器24可以解析用于解码层状图像的编解码器信息和来自所接收的比特流的层状图像的编码数据，并且可以将编解码器信息和编码数据传送到区域解码器26。

根据一个实施例的区域遮罩重建器25可以通过使用从解复用器24接收到的指令信息将每个层状图像上的提取图像的区域与非提取图像的区域相区别。

根据一个实施例的区域解码器26可以通过使用用于解码每个层状图像的编解码器信息和从解复用器24接收的用于每个层状图像的编码数据根据对应于每个层状图像的解码方法对层状图像进行解码。重建的层状图像的外部区域的像素值可以是预设值。

根据一个实施例的重建屏幕布局单元27可以通过使用重建的指令信息和重建的层状图像重建整个图像。例如，重建屏幕布局单元27可以通过仅从重建的层状图像提取通过使用指令信息显示的一部分来重建整个图像。

图4f是根据一个实施例解码屏幕图像的方法的流程图。

在操作S44中，根据一个实施例的图像解码装置21可以从执行图像的所有区域获取关于在屏幕图像上显示的区域的提取图像的信息，执行图像是显示正在被执行的程序的图像。

在操作S45中，根据一个实施例的图像解码装置21可以获得关于非提取图像的信息，非提取图像是提取图像的外部区域的图像并且具有通过使用预设的方法确定的像素值。

在操作S46中，根据一个实施例的图像解码装置21可以通过使用对应于提取图像的解码方法来解码提取图像。

在操作S47中，根据一个实施例的图像解码装置21可以通过使用预设的方法对关于非提取图像的信息进行解码。

图5a是用于根据一个实施例说明屏幕图像54的示图。

屏幕图像54可以包括图标51、视频执行窗口52、第一执行窗口53和第二执行窗口55。在这种情况下，屏幕图像54可仅显示每个执行窗口的一部分。

图5b是用于说明根据一个实施例显示正在执行的程序的图像的示图。

图5b说明执行图像。执行图像可以指显示正在执行的程序的图像。例如，第一执行图像56可以是通过网页浏览器程序显示的图像，第二执行图像57 可以是由视频再现程序显示的图像，第三执行图像58可以是由编辑程序显示的图像，并且第四执行图像59可以是由搜索程序显示的图像。

图5c是用于说明根据一个实施例的屏幕图像的示图。

屏幕图像可以包括多个执行图像。此外，当第一执行图像56和第二执行图像57相互重叠时，可以仅显示第二执行图像的一部分。

当第一执行图像56到第四执行图像59的对应区域相互重叠时，可以仅在屏幕图像上显示每个执行图像的一部分。

图5d是用于说明根据一个实施例的屏幕图像的示图。

屏幕图像可以包括多个区域。例如，屏幕图像可以包括区域A到区域F。

例如，可以基于编码或解码的方法来区别每个区域。例如，编码或解码区域A的方法和编码或解码区域B的方法可以是彼此不同的。然而，对位于左上侧的区域A和对位于右下侧的区域A的编码或解码的方法可以是相同的。

可选地，每个区域可以基于该区域是否涉及相同的执行图像而被区别。虽然有两个区域A，区域A可能涉及一个执行图像。一个执行图像可以在两个或多个分割区域中显示。

可选地，可以基于使用的程序来区别每个区域。例如，用于执行区域A 的程序和用于执行区域B的程序可以是彼此不同的。用于执行位于左上侧的区域A和位于右下侧的区域A的程序可以是相同的。可以通过相同的程序显示多个区域。虽然有两个区域A，这两个区域A可以由一个程序来控制。

每个区域可以被分割成标题栏区域和内容区域。例如，位于左下侧的块可以被分割成位于上侧的区域F和位于下侧的区域B。区域F可以是标题栏区域，区域B可以是内容区域。

根据一个实施例的执行图像可以与如参考图5d描述的区域相同。然而，执行图像不限于此。

图5e是用于说明根据一个实施例的来自执行图像的所有区域的显示在屏幕图像上的区域的提取图像的示图。

当每个区域是执行图像时，图5e示出区域A的提取图像。

阴影区域是包括被实际显示在屏幕图像上的图像的层状图像。

图5f是用于说明根据一个实施例的来自执行图像的所有区域中的显示在屏幕图像上的区域的提取图像的示图。

当每个区域是执行图像时，图5f示出了区域D的提取图像。

阴影区域是包括被实际显示在屏幕图像上的图像的层状图像。

图5g是用于说明根据一个实施例的通过使用来自执行图像的所有区域中的显示在屏幕图像上的区域的提取图像形成整个屏幕图像的方法的示图。

例如，屏幕图像可以包括三个区域。在这种情况下，屏幕图像可基于三个层状图像重建。

根据一个实施例的提取图像可以指来自执行图像的所有区域中的被显示在屏幕图像上的区域的图像。例如，第一提取图像61可以是来自由视频再现程序执行的执行图像的区域的被实际显示在屏幕图像上的区域的图像。

根据一个实施例的非提取图像可以指在屏幕图像上不显示提取图像的区域的图像。例如，第一非提取图像62可以指在屏幕图像上不显示第一提取图像61的区域的图像。

根据一个实施例的层状图像可以指具有通过组合提取图像和非提取图像而获得的屏幕图像尺寸的图像。例如，第一个层状图像60可以包括第一提取图像和第一非提取图像62。

根据一个实施例的图像解码装置21可以通过从第一个层状图像60，第二个层状图像63和第三层图像64中提取提取图像并组合提取图像来获得重建图像65。

本领域普通技术人员将理解的是参考图4a至图5g作出的编码方法的描述可以应用于对应于该编码方法的解码方法。此外，本领域普通技术人员将理解的是参考图4a至图5g作出的解码方法的描述可以应用于对应于该解码方法的编码方法。

图6a是根据一个实施例用于编码屏幕图像的图像编码装置70的框图。

如图6a所示，图像编码装置70可以包括编码模式确定器71、像素值组合获取器72、参考像素值组合获取器73、索引表获取器74和索引映射获取器75。然而，图像编码装置70可以包括比图6a中所示的那些更多的元件，或者可以包括比图6a中所示的那些更少的元件。

编码模式确定器71可以确定用于编码输入图像的编码模式。例如，编码模式确定器71可以基于编码方法的失真率确定编码方法。根据一个实施例的编码模式确定器71可确定无损方法和有损方法中的哪个方法更有效地对输入图像进行编码。无损方法可包括交织的脉冲编码调制(PCM)模式。

根据一个实施例，以下的实施例将在编码是以交织的PCM模式执行的假设下进行说明。然而，实施例是示例性的，它不应该被解释为限于此方式。

图像编码装置70可以生成指示图像编码装置70是否以交织的PCM模式操作以编码接收到的输入图像的信息。例如，当图像编码装置以交织的PCM 模式操作时，图像编码装置70可以将交织的PCM模式标志的值设置为1。

根据一个实施例的图像编码装置70可以仅以交织的PCM模式执行编码。然而，实施例是示例性的，它不应该被解释为限于此方式。

根据另一实施例的图像编码装置70可以通过使用一般的有损方法执行编码。

根据一个实施例的像素值组合获取器72可以从包括在被编码的当前块中的像素获得像素值组合，该组合包括用于显示像素的多个像素值。

可以存在用于显示像素的多个像素值。例如，为了显示的第一像素，第一像素的红色像素值、绿色像素值以及蓝色像素值可能是需要的。可选地，为了显示第二像素，可能需要第二像素的亮度值和色度值。

因此，像素值组合获取器72可获得用于显示包括在当前块中的像素的像素值组合，并且可以在第一缓冲器(未示出)中存储像素值组合。例如，像素值组合获取器72可在第一缓冲器中存储第一像素值组合和第二像素值组合，第一像素值组合包括显示第一像素所需的红色像素值、绿色像素值以及蓝色像素值，第二像素值组合包括显示第二像素所需的红色像素值、绿色像素值，以及蓝色像素值。第一像素和第二像素可以是包括在当前块中的像素。像素值组合获取器72可获得包括在当前块中的所有像素的像素值组合，并且可以将像素值组合存储在第一缓冲器中。

根据一个实施例的参考像素值组合获取器73可以从包括在当前块之前编码的参考块中的每个参考像素获得参考像素值组合，其包括用于显示参考像素的多个参考像素值。由参考像素值获取器73执行的以获得参考像素值组合的方法可以对应于像素值组合获取器72的操作。另外，参照像素值组合获取器73可将获得的参考像素值组合被存储在第二缓冲器(未示出)中。

根据一个实施例的索引表获取器74可以获得索引表，在索引表中不同的索引对应于像素值组合。根据一个实施例的索引表获取器74可以通过使用像素值组合和参考像素值组合获得索引表。

根据一个实施例的索引表可以指在其中索引对应于用于显示当前块的像素值组合的表。例如，当用于显示构成当前块的9个像素的RGB值组合包括第一组合(具有255，255和255的RGB值)、第二组合(具有0，0和0 的RGB值)，和第三组合(具有0，0和255的RGB值)时，索引0、索引 1和索引2可以分别应用到第一组合、第二组合和第三组合。

为了获得索引表，根据一个实施例的索引表获取器74可以使用存储在第一缓冲器中的像素值组合和存储在第二缓冲器中的参考像素值组合。例如，索引表获取器74可以将没有在第二缓冲器中存储而在第一缓冲器中存储的像素值组合存储在第二缓冲器中，可以从第二缓冲器中删除没有在第一缓冲器中存储而在第二缓冲器中存储的参考像素值组合，并且可以更新存储在第二缓冲器中的参考像素值组合。索引表获取器74可以通过对存储在第二缓冲器中的更新后的参考像素的组合分配不同的索引来得到索引表。

根据一个实施例的索引映射获取器75可以得到索引映射，其中表示用于显示像素的像素值组合的索引对应于包括在当前块中的像素。例如，可以得到索引映射，以便表示像素的像素值组合的索引对应于包括在当前块中的所有像素。

图6b是根据一个实施例的编码屏幕图像的方法的流程图。

在操作S61中，根据一个实施例的图像编码装置70可以从当前块中包括的像素获得像素值组合，其包括用于显示像素的多个像素值。

在操作S62中，根据一个实施例的图像编码装置70可以获得索引表，在其中不同的索引对应像素值组合。

在操作S63中，根据一个实施例的图像编码装置70可以获得索引映射，在其中表示用于显示像素的像素值组合的索引对应于当前块中包括的像素。

图6c是根据一个实施例的用于解码屏幕图像的图像解码装置80的框图。

如图6c所示，图像解码装置80可包括解码模式确定器81、像素值组合获取器82、参照像素值组合获取器83、索引表获取器84、索引映射获取器 85和解码器86。然而，图像解码装置80可以包括比图6c中所示的那些更多的元件，或者可以包括比图6c中所示的那些更少的元件。

解码模式确定器81可以接收比特流，并可以确定是否通过使用根据本发明的方法来执行解码。

例如，解码模式确定器81可以基于根据解码方法的失真率来确定解码方法。根据一个实施例的解码模式确定器81可确定无损方法和有损方法中哪个方法更有效地解码输入图像。无损方法可包括交织的PCM模式。

根据一个实施例，以下的实施例将在解码是以交织的PCM模式执行的假设下进行说明。然而，实施例是示例性的，它不应该被解释为限于此方式。

解码模式确定器81可以从接收的比特流确定图像解码装置80是否以交织的PCM模式操作。例如，当交织的PCM模式标志的值是1时，图像解码装置80可以以交织的PCM模式操作。

根据一个实施例的图像解码装置80可以仅以交织的PCM模式执行解码。然而，实施例是示例性的，它不应该被解释为限于此方式。

当交织的PCM模式标志的值是0时，解码可以通过使用一般的有损方法执行。

根据一个实施例的像素值组合获取器82可以从包括在被解码的当前块中的像素获得像素值组合，该组合包括用于显示像素的多个像素值。

可以存在用于显示像素的多个像素值。例如，为了显示的第一像素，第一像素的红色像素值、绿色像素值以及蓝色像素值可能是需要的。可选地，为了显示第二像素，可能需要第二像素的亮度值和色度值。

因此，像素值组合获取器82可获得用于显示包括在当前块中的像素的像素值组合，并且可以在第一缓冲器(未示出)中存储像素值组合。例如，像素值组合获取器82可在第一缓冲器中存储第一像素值组合和第二像素值组合，第一像素值组合包括显示第一像素所需的红色像素值、绿色像素值以及蓝色像素值，第二像素值组合包括显示第二像素所需的红色像素值、绿色像素值，以及蓝色像素值。第一像素和第二像素可以是包括在当前块中的像素。像素值组合获取器82可获得包括在当前块中的所有像素的像素值组合，并且可以将像素值组合存储在第一缓冲器中。

根据一个实施例的参考像素值组合获取器83可以从包括在当前块之前编码的参考块中的每个参考像素获得参考像素值组合，其包括用于显示参考像素的多个参考像素值。由参考像素值获取器83执行的以获得参考像素值组合的方法可以对应于像素值组合获取器82的操作。另外，参照像素值组合获取器83可将获得的参考像素值组合存储在第二缓冲器(未示出)中。

根据一个实施例的索引表获取器84可以获得索引表，在索引表中不同的索引对应于像素值组合。根据一个实施例的索引表获取器84可以通过使用像素值组合和参考像素值组合获得索引表。

根据一个实施例的索引表可以指在其中索引对应于用于显示当前块的像素值组合的表。例如，当用于显示构成当前块的9个像素的RGB值组合包括第一组合(具有255，255和255的RGB值)、第二组合(具有0，0和0的 RGB值)，和第三组合(具有0，0和255的RGB值)时，索引0、索引1 和索引2可以分别应用到第一组合、第二组合和第三组合。

为了获得索引表，根据一个实施例的索引表获取器84可以使用存储在第一缓冲器中的像素值组合和存储在第二缓冲器中的参考像素值组合。例如，索引表获取器84可以将没有在第二缓冲器中存储而在第一缓冲器中存储的像素值组合存储在第二缓冲器中，可以从第二缓冲器中删除没有在第一缓冲器中存储而在第二缓冲器中存储的参考像素值组合，并且可以更新存储在第二缓冲器中的参考像素值组合。索引表获取器84可以通过对存储在第二缓冲器中的更新后的参考像素组合分配不同的索引来得到索引表。

根据一个实施例的索引映射获取器85可以得到索引映射，其中表示用于显示像素的像素值组合的索引对应于包括在当前块中的像素。例如，可以得到索引映射，以便表示像素的像素值组合的索引对应于包括在当前块中的所有像素。

根据一个实施例的解码器86可以通过使用从索引表获取器84获得的索引表和从索引映射获取器85获得的索引映射对当前块进行解码。

根据一个实施例的解码器86可以通过使用表示添加的像素值组合的数目的计数器值以及索引表和索引映射对当前块进行解码。

像素值组合可以指用于显示像素的多个像素值组合。

当构成当前块的像素的一个像素值组合是1并且编码是以交织的PCM模式执行时，根据一个实施例的图像编码装置70可以将交织的PCM模式标志的值设置为1，并且可以在第一缓冲器中存储像素值组合。图像编码装置70 可以传送存储在第一缓冲器中的数据，交织的PCM模式标志，以及存储在第一缓冲器中的像素值组合的数目。

根据一个实施例的图像解码装置80通过解码交织的PCM模式标志检查交织的PCM模式标志的值是1，并解析该像素值组合的数目。由于像素值组合的数目是1，图像解码装置80可以从存储在第一缓冲器中的像素值组合获得多个像素值并且可以显示具有相同值的像素的当前块。

当存在构成当前块的像素的两个像素值组合并且编码是以交织的PCM 模式执行时，根据一个实施例的图像编码装置70可以将交织的PCM模式标志的值设置为1。图像编码装置70可以将在第一缓冲器中存储的像素值组合的数目以及两个像素值组合存储在第一缓冲器中。图像编码装置70根据包括在当前块中的像素的扫描顺序生成索引映射。图像编码装置70可以传送存储在第一缓冲器中的数据、交织的PCM模式标志以及存储在第一缓冲器中的像素值组合的数目。

根据一个实施例的图像解码装置80通过解码交织的PCM模式标志检查交织的PCM模式标志的值是1，并解析该像素值组合的数目。由于像素值组合的数目是2，图像解码装置80可以解码两个像素值组合。图像解码装置80 可解码索引映射，可以根据扫描顺序通过使用解码的索引映射对像素值进行解码，并且可以将当前块进行解码。

根据一个实施例的图像编码装置70可以通过使用参考像素值组合以交织的PCM模式执行编码。

当当前块的像素值组合被包括在参考像素值组合中时，根据一个实施例的图像编码装置70可以将交织的PCM模式标志的值设置为1，并且可以将表示新添加的像素值组合的数目的计数器值设置为0。图像编码装置可以通过仅使用参考像素值组合对索引映射进行编码。根据一个实施例的图像编码装置70可以编码和传送交织的PCM模式标志、计数器值和索引映射。在这种情况下，图像编码装置70可以省略对像素值组合的编码。

根据一个实施例的图像解码装置890可以通过解析交织的PCM模式检查该交织的PCM模式标志的值是1(启用)，并且可以通过解析计数器值检查计数器值为0。图像解码装置80可以通过使用参考像素值组合对当前块进行解码。

在当前块的像素值组合和参考像素值组合相同时，编码和解码可以以相同的方式执行，如在当前块的像素值组合被包括在参考像素值组合的情况下所描述的那样。

当参考像素值组合被包括在当前块的像素值组合中时，根据一个实施例的图像编码装置70可以将交织的PCM模式标志的值设置为1，并且可以将表示新添加的像素值组合的数目的计数器值设置为添加的像素值组合的数目。图像编码装置可以获得索引表和索引映射。根据一个实施例的图像编码装置70可以编码和传送交织的PCM模式标志、计数器的值、索引表和索引映射。

根据一个实施例的图像解码装置80可以通过解析交织的PCM模式标志检查出交织的PCM模式标志的值是1(启用)，并且可以通过解析计数器值检查出该计数器值不为0。图像解码装置80可以通过使用通过解码获得的索引表和索引映射对当前块进行解码。

当只有部分的参考像素值组合被包括在当前块的像素值组合中时，根据一个实施例的图像编码装置70可以将交织的PCM模式标志的值设置为1。图像编码装置70可以通过排除未包括的参考像素值组合并且加入新的添加的像素值组合来获得索引表。图像编码装置70可以通过使用索引表获得索引映射。根据一个实施例的图像编码装置70可以编码和传送交织的PCM模式标志、索引表和索引映射。

根据一个实施例的图像解码装置80可以通过解析交织的PCM模式标志来检查交织的PCM模式标志的值是1(启用)。图像解码装置80可以通过使用通过解码获得的索引表和索引映射对当前块进行解码。

在上述实施例中的交织的PCM模式标志和计数器值不是必须的元素，如果需要可以省略。

图6d是根据一个实施例的解码屏幕图像的方法的流程图。

在操作S64中，根据一个实施例的图像解码装置80可以从包括在当前块中的像素获得像素值组合，其包括用于显示像素的多个像素值。

在操作S65中，根据一个实施例的图像解码装置80可以获得索引表，其中不同的索引对应像素值组合。

在操作S66中，根据一个实施例的图像解码装置80可以获得索引映射，其中表示用于显示像素的像素值组合的索引对应于包含在当前块中的像素。

图7a是根据一个实施例的编码屏幕图像的方法的流程图。

在操作S71中，根据一个实施例的图像编码装置70可确定用于编码输入图像的编码模式。例如，图像编码装置70可以基于根据编码方法的失真率来确定编码方法。根据一个实施例的图像编码装置70可以从无损方法和有损方法中确定哪个方法更有效地编码输入图像。无损方法可包括交织的PCM模式。

在操作S72中，根据一个实施例的图像编码装置70可以从包括在被编码的当前块的像素中获得像素值组合，其包括用于显示像素的多个像素值。

在操作S73中，根据一个实施例的图像编码装置70可以将操作S72中获得的像素值组合存储在第一缓冲器中。

在操作S74中，根据一个实施例的图像编码装置70可以从包括在当前块之前被编码的参考块中的参考像素获得参考像素值组合，其包括用于显示参考像素的多个参考像素值。

此外，虽然没有在图7a中显示，根据一个实施例的图像编码装置70可以通过使用存储在操作S73中的像素值组合以及在操作S74中获得的参考像素值组合获得索引表。

在操作S75中，根据一个实施例的图像编码装置70可以获得索引映射，其中表示用于显示像素的像素值组合的索引对应于包括在当前块中的像素。可以得到根据一个实施例的索引映射，使得表示像素的像素值组合的索引对应于包括在当前块中的所有像素。

在操作S76中，根据一个实施例的图像编码装置70可以通过使用有损编码方法对当前块进行编码。

图7b是根据一个实施例的解码屏幕图像的方法的流程图。

在操作S77中，根据一个实施例的图像解码装置80可以接收比特流，并可确定是否通过使用根据本发明的方法来执行解码。

例如，图像解码装置80可以基于根据解码方法的失真率来确定解码方法。根据一个实施例的图像解码装置80可以从无损方法和有损方法中确定哪个方法更有效地解码接收的比特流。无损方法可包括交织的PCM模式。

在操作S78中，根据一个实施例的图像解码装置80从包括在被解码的当前块的像素中获得像素值组合，其包括用于显示像素的多个像素值。根据一个实施例的图像解码装置80可以解析所接收的比特流，并且可以获得用于对在第一缓冲器中存储的当前块进行解码的像素值组合。

在操作S79中，根据一个实施例的图像解码装置80可以从包括在当前块之前被编码的参考块中的参考像素获得参考像素值组合，其包括用于显示参考像素的多个参考像素值。根据一个实施例的图像解码装置80可以通过解析接收的比特流获得参考像素值组合。参考像素值组合可以被存储在第二缓冲器中。

此外，虽然没有在图7b中显示，根据一个实施例的图像解码装置80可以通过使用存储在操作S78中的像素值组合以及在操作S79中获得的参考像素值组合获得索引表。可选地，根据一个实施例的图像解码装置80可通过解析所接收的比特流获得索引表。

在操作S80中，根据一个实施例的图像解码装置80可以获得索引映射，其中表示用于显示像素的像素值组合的索引对应于包括在当前块中的像素。可以得到索引映射，使得表示像素的像素值组合的索引对应于包括在当前块中的所有像素。根据一个实施例的图像解码装置80可以通过解析所接收的比特流获得索引映射。

在操作S81中，根据一个实施例的图像解码装置80可以通过使用有损解码方法对当前块进行解码。

图7c是用于说明根据一个实施例确定编码屏幕图像的方法的方法的示意图。

如图7c所示，图像编码装置70可以根据编码方法根据失真率确定用于编码当前块的编码方法。

例如，图像编码装置70可以根据SAD通过使用具有较低率失真(RDO) 值的编码方法执行编码。根据一个实施例的图像编码装置70可以通过使用交织的PCM模式和一般有损的压缩模式中具有较低失真率的方法来执行编码。

图7d是用于说明根据一个实施例的编码屏幕图像的方法的示意图。

包括在当前图像中的当前块的尺寸可以是3×3。因此，构成当前块的像素的数目可以是9。像素值表91示出了根据像素的用于显示构成当前块的像素的RGB值。例如，如图7d所示，第一像素和第二像素均具有255，255和 255的RGB值，第三像素、第四像素、第八像素和第九像素均具有0，0和0 的RGB值，并且第五像素、第六像素和第七像素均具有0，0和255的RGB 值。

根据一个实施例的图像编码装置70可以通过从像素值表91中提取像素值组合来获得像素值组合表92。例如，图像编码装置70可以通过从像素值表91提取像素值组合获得像素值组合表92，其不具有重复的像素值组合。

例如，如图7d所示，具有255，255和255的RGB值的第一组合、具有 0，0和255的RGB值的第二组合以及具有0，0和0的RGB值的第三组合可以被包括在像素值组合表92中。第一组合、第二组合和第三组合可以标示像素值表91的所有像素而没有重复。

根据一个实施例的图像编码装置70可以在第一缓冲器(未示出)中存储像素值组合表92。

根据一个实施例的图像编码装置70可以通过参考获得像素值组合表92 的方法来获得用于在当前块之前编码的参考块的参考像素值组合表93。例如，参考像素值组合表93可以存储构成在当前块之前被编码的参考块的像素的 RGB值组合而没有重复。

例如，当前块之前编码的参考块的像素值组合可以包括具有255，255和 255的RGB值的第一组合和具有0，0和0的RGB值的第三组合。

根据一个实施例的图像编码装置70可以在第二缓冲器(未示出)中存储参考像素值组合表93。

根据一个实施例的图像编码装置70可以获得索引表94。索引表可以指在其中不同的索引对应于包括在像素值组合表92中的像素值组合的表。

例如，可以获得索引表使得索引0、1和2分别对应于包括在像素值组合表中的第一组合、第二组合以及第三组合。

根据一个实施例的图像编码装置70可以通过使用像素值组合表92和参考像素值组合表93来获得索引表94。

为了获得索引表94，根据一个实施例的图像编码装置70可以获得包括“第二组合”和“第一组合和第三组合”两者的索引表94，“第二组合”是包括在像素值组合表92中而未包括在参考像素值组合表93中的像素值组合，并且“第一组合和第三组合”是包括在像素值组合表92和参考像素值组合表 93中的像素值组合。

为了获得索引表94，根据一个实施例的图像编码装置70可以通过将“第二组合”添加到参考像素值组合表93并且通过将参考像素值组合表93中包括的而未包括在像素值组合表92中的组合排除来获得索引表94，其中“第二组合”是包括在像素值组合表92中而未包括在参考像素值组合表93中的像素值组合。

由于参考像素值组合表93被用于获得索引表94，编码比特的数目可以减少。要编码的目标可以是索引表94和索引映射95。因此，当使用用于在当前块之前被编码的参考块进行编码的参考像素组合表93时，编码比特的数目可以减少。

根据一个实施例的图像编码装置70可以通过使用索引表94获得索引映射95。索引映射可以指其中表示像素值组合的索引对应于包括在当前块中的像素的表。图像解码装置80可以通过使用对应于用于显示像素的多个像素值的索引来获得像素。

例如，索引映射95可以分配索引0给第一像素和第二像素，分配索引1 给第三像素、第四像素、第八像素和第九像素，分配索引2给第五像素至第七像素。因为索引0表示255，255和255，索引1表示0，0和0，并且索引 2表示0，0和255，可以通过仅使用索引表94和索引映射95来获得用于表示包括在当前块中的像素的RGB值。因此，当根据一个实施例的图像编码装置70编码和传送索引表94和索引映射95时，图像解码装置80可重建当前块。

本领域普通技术人员将理解的是参考图6a至图7d作出的编码方法的描述可以应用于对应于该编码方法的解码方法，并且本领域普通技术人员将理解的是参考图6a至图7d作出的解码方法的描述可以应用于对应于该解码方法的编码方法。

图8是根据一个实施例的基于根据树结构的编码单元的视频编码装置 100的框图。

基于根据树结构的编码单元的涉及视频预测的视频编码装置100包括编码单元确定器120和输出器130。在下文中，为方便描述，根据一个实施例的基于根据树结构的编码单元的涉及视频预测的视频编码装置100被称为“视频编码装置100”。

编码单元确定器120可以基于最大编码单元(LCU)划分当前画面，最大编码单元是具有图像的当前画面的最大尺寸的编码单元。如果当前图像比 LCU大，当前画面的图像数据可以被划分为至少一个LCU。根据一个实施例的LCU可以是具有尺寸为32×32、64×64、128×128、256×256等的数据单元，其中数据单元的形状是具有正方形宽度和长度为2的正方形。

根据一个实施例的编码单元可以通过最大尺寸和深度来表征。深度表示编码单元空间上从LCU划分的次数，并且随着深度加深，根据深度的更深的编码单元可以从LCU划分到最小编码单元(SCU)。LCU的深度是最上面的深度，SCU的深度是最下面的深度。由于随着LCU深度的加深，对应于各深度的编码单元的尺寸减小，对应于上部深度的编码单元可以包括多个对应于下部深度的编码单元。

如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为LCU，并且每个LCU可以包括根据深度划分的更深的编码单元。由于根据一个实施例的LCU根据深度被划分，包括在LCU中的空间域的图像数据可以根据深度被分层地分类。

编码单元的最大深度和最大尺寸可以是预定的，其限制LCU的高度和宽度被分层地划分的总次数。

编码单元确定器120对通过根据深度对LCU的区域进行划分而获得的至少一个划分区域进行编码，并根据至少一个划分区域确定深度以输出最终编码的图像数据。换言之，编码单元确定器120通过根据当前画面的LCU根据深度对更深的编码单元中的图像数据进行编码以及通过选择具有最小编码误差的深度来确定最终的深度。确定的最终深度以及根据所确定的深度的所编码的图像数据被输出给输出器130。

基于对应于等于或低于最大深度的至少一个深度的更深的编码单元将 LCU中的图像数据进行编码，并且基于更深的编码单元的每个编码单元对图像数据进行编码的结果进行对比。在对更深的编码单元的编码误差进行比较后，具有最小的编码误差的深度可以被选择。为每个LCU选择至少一个最终深度。

当编码单元根据深度被分层划分并且当编码单元的数目增加时，LCU的尺寸被划分。另外，即使多个编码单元对应于在一个LCU中的相同深度，仍然通过分别测量每个编码单元的图像数据的编码误差来确定是否将对应于相同深度的编码单元划分到更低的深度。因此，即使当图像数据被包括在一个 LCU中，编码误差可以根据一个LCU中的区域而有所不同，因此，最终的深度可以根据图像数据中的区域而不同。因此，一个或多个最终深度可在一个LCU中确定，并且LCU的图像数据可以根据至少一个最终深度的编码单元而被进行划分。

因此，根据一个实施例的编码单元确定器120可确定具有包括在LCU中的树结构的编码单元。根据一个实施例的“具有树结构的编码单元”包括来自包括在LCU中的所有更深的编码单元中的对应于要被确定为最终深度的深度的编码单元。最终深度的编码单元可以根据在LCU的相同区域的深度被分层地确定，并且可以在不同的区域被独立地确定。同样地，在当前区域中的最终深度可独立于另一个区域中的最终深度而被确定。

根据一个实施例的最大深度是与从LCU到SCU划分的次数相关的索引。根据一个实施例的第一最大深度可以表示从LCU到SCU划分的总次数。根据一个实施例的第二最大深度可以表示从LCU到SCU的深度水平的总数。例如，当LCU的深度为0时，其中LCU被划分一次的编码单元的深度可以被设置为1，以及LCU被划分两次的编码单元的深度可以被设置为2。这里，如果SCU是其中LCU被划分四次的编码单元，则存在深度0、1、2、3、4 的5个深度水平，因此第一最大深度可被设置为4，第二最大深度可被设置为5。

预测编码和变换可以根据LCU被执行。还根据该LCU，基于深度等于最大深度或者小于最大深度的更深的编码单元来执行预测编码和变换。

因为无论何时LCU根据深度被划分，更深的编码单元的数目都增加，所以对随着深度加深而产生的所有更深的编码单元来执行包括预测编码和变换的编码。为了方便描述，现在将基于在LCU中的当前深度的编码单元来描述预测编码和变换。

根据一个实施例的视频编码装置100可以不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，诸如预测编码、变换和熵编码的操作被执行，并且此时，相同的数据单元可被用于所有操作或不同的数据单元可被用于每一个操作。

例如，视频编码装置100可以不仅选择用于对图像数据进行编码的编码单元，还可以选择不同于编码单元的数据单元，以便于对编码单元中的图像数据执行预测编码。

为了在LCU执行预测编码，预测编码可以基于对应于最终深度的编码单元执行，即，基于不再被划分为对应于更低深度的编码单元的编码单元。在下文中，不再被划分并成为用于预测编码的基础单元的编码单元现在将被称为“预测单元”。通过划分预测单元获得的分区可以包括通过划分预测单元的高度和宽度中的至少一个而获得的预测单元或数据单元。分区是其中编码单元的预测单元被划分的数据单元，并且预测单元可以是具有与编码单元的尺寸相同的分区。

例如，当2N×2N(这里N是正整数)的编码单元不再被划分并变为2N ×2N的预测单元，分区的尺寸可以是2N×2N，2N×N，N×2N或N×N。分区模式的例子包括通过对称地划分预测单元的高度或宽度获得的对称分区，通过不对称地划分预测单元的高度或宽度获得的分区，诸如1:n或n:1，通过几何划分预测单元获得的分区，以及具有任意形状的分区。

预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，帧内模式或帧间模式可在2N×2N、2N×N、N×2N或N×N的分区上执行。此外，跳过模式可仅在2N×2N的分区上执行。编码在编码单元中的一个预测单元上独立地执行，从而选择具有最少编码误差的预测模式。

根据一个实施例的视频编码装置100也可以不仅基于用于对图像数据进行编码的编码单元，还可以基于不同于编码单元的数据单元对编码单元中的图像数据执行变换。为了在编码单元中进行变换，可以基于具有尺寸小于或等于编码单元的数据单元执行变换。例如，用于变换的数据单元可以包括用于帧内模式的数据单元和用于帧间模式的数据单元。

编码单元中的变换单元可以以与根据一个实施例的根据树结构的编码单元类似的方式被递归地划分成更小尺寸的区域。因此，在编码单元中的剩余图像数据可以根据具有根据变换深度的树结构的变换单元进行划分。

也可以根据一个实施例在变换单元中设置表示通过划分编码单元的高度和宽度达到变换单元的划分次数的变换深度。例如，在2N×2N的当前编码单元中，当变换单元的尺寸为2N×2N时，变换深度可以是0，当变换单元的尺寸是N×N时，变换深度可以是1，并且当变换单元的尺寸是N/2×N/2时，变换深度可以是2。换言之，可根据变换深度来设置具有树结构的变换单元。

根据对应于深度的编码单元，划分信息不仅需要关于深度的信息，而且需要与预测编码和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误差的深度，也确定预测单元的分区模式、根据预测单元的预测模式以及用于变换的变换单元的尺寸。

根据一个实施例的根据LCU中的树结构的编码单元和确定预测单元/分区的方法，以及变换单元将在下面参照图9至19详细描述。

编码单元确定器120可以通过使用基于拉格朗日乘数的率失真优化 (Rate-Distortion Optimization)根据深度来测量更深的编码单元的编码误差。

输出器130在比特流中输出LCU的图像数据和关于根据深度的划分信息的信息，其中LCU的图像数据是根据由编码单元确定器120确定的至少一个深度被编码的。

可以通过对图像的剩余图像数据进行编码来获得已编码的图像数据。

根据深度的划分信息可包括关于深度的信息，关于在预测单元中的分区模式、预测模式和变换单元的划分的信息。

可以通过使用根据深度的划分信息来限定关于最终深度的信息，其表示编码是否在更低深度而不是当前深度的编码单元上执行。如果当前编码单元的当前深度是该深度，当前编码单元中的图像数据被编码并输出，由此划分信息可以被限定以不将当前编码单元划分到更低的深度。可选地，如果当前编码单元的当前深度不是该深度，在更低深度的编码单元上执行编码，由此划分信息可被限定以划分当前编码单元来获得更低深度的编码单元。

如果当前的深度不是该深度，在被划分为更低深度的编码单元的编码单元上执行编码。因为更低深度的至少一个编码单元在当前深度的一个编码单元中存在，在更低深度的每个编码单元上反复执行编码，由此可对于具有相同的深度的编码单元递归地执行编码。

因为具有树结构的编码单元被确定用于一个LCU，并且至少一个划分信息被确定用于一个深度的编码单元，所以至少一个划分信息可以被确定用于一个LCU。此外，由于图像数据根据深度被分层划分，LCU的图像数据的深度可以根据位置而不同，由此深度和划分信息可被设置用于图像数据。

因此，根据一个实施例的输出器130可以分配关于深度和编码模式的对应编码信息到包括在LCU中的编码单元、预测单元和最小单元中的至少一个。

根据一个实施例的最小单元是通过以4划分构成最下面深度的SCU而获得的正方形数据单元。可选地，根据一个实施例的最小单元可以是最大正方形数据单元，其可以被包括在LCU所包含的编码单元、预测单元、分区单元和变换单元中的所有单元之中。

例如，由输出器130输出的编码信息可被分类为根据更深的编码单元的编码信息和根据预测单元的编码信息。根据更深的编码单元的编码信息可包括关于预测模式和关于分区的尺寸的信息。根据预测单元的编码信息可包括关于帧间模式的估算方向的信息，关于帧间模式的参考图像索引的信息，关于运动向量的信息，关于帧内模式的色度分量的信息和关于帧内模式的插值方法的信息。

关于根据画面、图片或GOP定义的编码单元的最大尺寸的信息以及关于最大深度的信息可被插入到比特流、序列参数集或画面参数集的头部中。

关于当前视频而允许的变换单元的最大尺寸的信息以及关于变换单元的最小尺寸的信息还可以通过比特流、序列参数集或画面参数集的头部被输出。输出器130可以编码和输出有关预测的参考信息、预测信息和图片类型信息。

在根据最简单的实施例的视频编码装置100中，更深的编码单元可以是通过将上部深度(上面一层)的编码单元的高度或宽度以2划分而获得的编码单元。换言之，当当前深度的编码单元的尺寸为2N×2N时，下部深度的编码单元的尺寸为N×N。此外，具有尺寸2N×2N的当前深度的编码单元可包括较低深度的最大4个编码单元。

因此，视频编码装置100可以基于LCU的尺寸和考虑当前画面的特征而确定的最大深度，通过为每个LCU确定具有最佳形状和最佳尺寸的编码单元来形成具有树结构的编码单元。另外，由于可以通过使用各种预测模式和变换中的任何一个来对每个LCU执行编码，可以考虑各种图像尺寸的编码单元的特征来确定最佳的编码模式。

因此，如果具有高的分辨率或大数据量的图像以常规的宏块被编码，每个画面的宏块的数量会过度增加。因此，对于每个宏块所产生的压缩信息的件数会增加，并且由此难以传送压缩的信息且数据压缩效率降低。然而，通过使用视频编码装置100，因为在考虑了图像的尺寸的同时考虑了图像的特征并且增加了编码单元的最大尺寸来调整编码单元，所以可以增加图像压缩效率。

视频编码装置10、40或70可包括多达层数的视频编码装置100以编码用于多层视频的每一层的单个层状图像。

当视频编码装置100对第一个层状图像进行编码时，编码单元确定器120 可为用于每个LCU的树结构的每个编码单元确定用于在图像之间预测的预测单元，并且针对每个预测单元执行图像之间的预测。

当视频编码装置100对第二个层状图像进行编码时，编码单元确定器120 可根据用于每个LCU的树结构确定预测单元和编码单元，并且针对每个预测单元执行帧间预测。

视频编码装置100可以对亮度差进行编码，以补偿在第一个层状图像和第二个层状图像之间的亮度差。然而，可以根据编码单元的编码模式来确定是否执行亮度。例如，可以仅对于具有尺寸2N×2N的预测单元执行亮度补偿。

图9是根据各种实施例的基于具有树结构的编码单元的视频解码装置 200的框图。

根据一个实施例的涉及基于具有树结构的编码单元的视频预测的视频解码装置200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。为便于说明，根据一个实施例的涉及基于具有树结构的编码单元的视频预测的视频解码装置200被称为“视频解码装置200”。

用于视频解码装置200的解码操作的各种术语(如编码单元、深度、预测单元、变换单元)的定义以及关于各条划分信息的信息与参照图8与图像编码装置100所述的那些相同。

接收器210接收并解析编码视频的比特流。图像数据和编码信息提取器 220从已解析的比特流提取用于每个编码单元的编码的图像数据(其中，编码单元具有根据每个LCU的树结构)，并且将所提取的图像数据输出到图像数据解码器230。图像数据和编码信息提取器220可以从关于当前画面、序列参数集或图像参数集的头部提取关于当前画面的编码单元的最大尺寸的信息。

另外，图像数据和编码信息提取器220从解析的比特流提取用于具有根据每个LCU的树结构的编码单元的最终深度和划分信息。所提取的最终深度和划分信息被输出到图像数据解码器230。换言之，在比特串中的图像数据被划分到LCU中使得图像数据解码器230为每个LCU的图像数据解码。

根据LCU的深度和划分信息可以被设置用于至少一个对应于深度的深度信息，并且根据深度的划分信息可以包括关于对应于深度的对应的编码单元的分区模式的信息，关于预测模式的信息，以及变换单元的划分信息。此外，根据深度的划分信息可以被提取作为关于深度的信息。

当编码器(诸如视频编码装置100)针对每个LCU的根据深度的每个更深的编码单元重复地执行编码时，由图像数据和编码信息提取器220提取的根据每个LCU的深度和划分信息是被确定以产生最小编码误差的深度和划分信息。因此，视频解码装置200可以通过根据深度和产生最小编码误差的编码模式对图像数据进行解码来重建图像。

由于根据一个实施例的深度和关于编码模式的编码信息可以分配给来自对应的编码单元、预测单元以及最小单元之中的预定的数据单元，图像数据和编码信息提取器220可以根据预定的数据单元提取深度和划分信息。如果相应的LCU的深度和划分信息是根据预定的数据单元被记录，则被分配相同的深度和划分信息的预定的数据单元可被推断为是包含在相同的LCU中的数据单元。

图像数据解码器230通过根据LCU基于划分信息和编码信息对每个LCU 中的图像数据进行解码来重建当前画面。换言之，图像数据解码器230可以基于关于用于每个编码单元的分区模式、预测模式和变换单元的提取的信息对编码的图像数据进行解码，其中该每个编码单元来自每个LCU中包括的具有树结构的编码单元。解码处理可包括包含帧内预测和运动补偿的预测以及逆变换。

图像数据解码器230可以基于关于根据深度的编码单元的分区模式的信息和编码单元的预测单元的预测模式的信息，根据每个编码单元的分区和预测模式，执行帧内预测或运动补偿。

此外，图像数据解码器230可以根据每个编码单元的树结构读取关于变换单元的信息，以便基于每个编码单元的变换单元执行逆变换，用于每个LCU 的逆变换。通过逆变换，编码单元的空间域的像素值可以被重建。

图像数据解码器230可以通过根据深度使用划分信息来确定当前的LCU 的最终深度。如果划分信息表示在当前的深度图像数据不再被划分，则当前深度是该深度。因此，图像数据解码器230可以通过使用用于对应于深度的每个编码单元的关于预测单元的分区模式的信息、关于预测模式的信息和变换单元的尺寸信息对当前LCU中的编码数据进行解码。

换言之，可以通过观察为来自编码单元、预测单元和最小单元中的预定的数据单元分配的编码信息集来收集含有包括相同划分信息的编码信息的数据单元，并且所收集的数据单元可被认为是以相同的编码模式要被图像数据解码器230解码的一种数据单元。因此，可以通过获得有关每个编码单元的编码模式的信息来解码当前的编码单元。

此外，参照图10描述的视频解码装置10可包括与第一和第二个层状图像的视图的数量一样多的视频解码装置200，该第一和第二个层状图像是通过解码接收的第一和第二个层状图像流来重建。

当接收到第一个层状图像流时，视频解码装置200的图像数据解码器230 可以通过根据LCU的树结构的编码单元划分从第一个层状图像流提取的第一个层状图像的样本。图像数据解码器230可根据第一个层状图像的样本的树结构通过对用于每个编码单元的图像之间的预测的每个预测单元执行运动补偿重建第一个层状图像。

当接收到第二个层状图像流时，视频解码装置200的图像数据解码器230 可以通过根据LCU的树结构的编码单元划分从第二个层状图像流提取的第二个层状图像的样本。图像数据解码器230可根据第二个层状图像的样本的树结构通过对用于每个编码单元的图像之间的预测的每个预测单元执行运动补偿重建第二个层状图像。

提取器220可以从比特流获得与亮度误差相关的信息，以补偿第一个层状图像和第二个层状图像之间的亮度差。然而，可以根据编码单元的编码模式来确定是否执行亮度。例如，亮度补偿可以仅对于具有2N×2N尺寸的预测单元执行。

结果，视频解码装置200可以获得关于编码单元的信息，其通过在编码处理中递归地执行对每个LCU的编码产生最小编码误差，并且视频解码装置 200可以使用该信息用于当前画面的解码。换言之，可以获得为每个LCU确定为最佳编码单元的根据树结构的编码单元的所编码的图像数据的解码。

因此，即使对于高分辨率的图像或具有过大数据量的图像，可以通过使用从编码端传送的最佳划分信息，通过根据由图像的特征自适应地确定的编码单元的编码模式和编码单元的尺寸有效地解码图像数据来对图像进行重建。

图10是用于说明根据各种实施例的编码单元的概念的示意图。

编码单元的尺寸可以通过宽×高来表示，并且可以是64×64、32×32、 16×16和8×8。64×64的编码单元可以被划分成64×64、64×32、32×64 或32×32的分区，并且32×32的编码单元可被划分成32×32、32×16、16 ×32或16×16的分区，16×16的编码单元可以被划分成16×16、16×8、8 ×16或8×8的分区，并且8×8的编码单元可被划分成8×8、8×4、4×8 或4×4的分区。

在视频数据310中，分辨率为1920×1080，编码单元的最大尺寸为64，最大深度为2。在视频数据320中，分辨率为1920×1080，编码单元的最大尺寸为64，最大深度为3。在视频数据330中，分辨率为352×288，编码单元的最大尺寸为16，最大深度为1。图10所示的最大深度表示从LCU到最小解码单元划分的总数。

如果分辨率高或者数据量大时，编码单元的最大尺寸可以是大的，以便不仅增加编码效率，而且也精确地反映图像的特征。因此，具有比视频数据 330更高的分辨率的图像数据310和320的编码单元的最大尺寸可以是64。

由于视频数据310的最大深度是2，视频数据310的编码单元315可包括具有64的长轴尺寸的LCU和具有32和16的长轴尺寸的编码单元，因为深度可以通过将LCU划分两次来加深两层。由于视频数据330的最大深度是 1，视频数据330的编码单元335可包括具有16的长轴尺寸的LCU和具有8 的长轴尺寸的编码单元，因为深度可以通过将LCU划分一次来加深一层。

由于视频数据320的最大深度是3，视频数据320的编码单元325可包括具有64的长轴尺寸的LCU和具有32、16和8的长轴尺寸的编码单元，因为深度可以通过将LCU划分三次来加深三层。随着深度的加深，详细信息可以精确表达。

图11是根据各种实施例的基于编码单元的图像编码装置400的框图。

根据一个实施例的图像编码器400执行在视频编码装置100的编码单元确定器120中编码图像数据所需的操作。换言之，帧内预测器420根据预测单元从当前帧405中以帧内模式对编码单元执行帧内预测，并且帧间预测器 415通过使用当前图像405和根据预测单元从重建画面缓冲器410获得的参考图像以帧间模式对编码单元执行帧间预测。当前图像405可被划分成LCU，然后LCU可以被顺序编码。在这方面，被划分成具有树结构的编码单元的 LCU可以被编码。

通过从关于当前图像405的已编码的编码单元的数据中除去关于从帧内预测器420或帧间预测器415输出的每个模式的编码单元的预测数据而生成余留的图像数据，并且余留的图像数据通过变换器425和量化器430根据变换单元被输出为量化的变换系数。量化的变换系数通过逆量化器445和逆变换器450被重建为在空间域中的剩余图像数据。空间域中重建的剩余图像数据被添加到从帧内预测器420或帧间预测器输出的预测数据中用于每个模式的编码单元，并且因此在空间域中重建的剩余图像数据被重建为空间域中的数据，用于当前图像405的编码单元。空间域中重建的数据通过解块器455 和SAO执行器460被生成作为重建的图像，并且重建的图像被存储在重建画面缓冲器410中。存储在重建画面缓冲器410中的重建的图像可以被用作参考图像，用于另一图像的帧间预测。由变换器425和量化器430量化的变换系数可以通过熵编码器435输出为比特流440。

为了将根据一个实施例的图像编码器400应用到视频编码装置100中，图像编码器400的所有元件，即帧间预测器415、帧内预测器420、变换器 425、量化器430、熵编码器435、逆量化器445、逆变换器450、解块器455 和SAO执行器460，根据每个LCU基于在具有树结构的编码单元中的各编码单元执行操作。

具体而言，帧内预测器420和帧间预测器415可以考虑当前LCU的最大尺寸和最大深度确定在具有树结构的编码单元中的每个编码单元的分区模式和预测模式，并且变换器425可以确定是否对在具有树结构的编码单元中的每个编码单元中的具有四叉树结构的变换单元进行划分。

图12是根据各种实施例的基于编码单元的图像解码器500的框图。

熵解码器515从比特流505中解析要被解码的已编码的图像数据以及解码所需要的关于编码的信息。已编码的图像数据是量化变换系数，基于该量化变换系数，剩余图像数据通过逆量化器520和逆变换器525被重建。

帧内预测器540根据各预测单元以帧内模式执行对编码单元的帧内预测。帧间预测器535通过使用从重建画面缓冲器530获得的参考图像，从各预测单元的当前图像405中以帧间模式对编码单元执行帧间预测。

已通过帧内预测器540或帧间预测器535的关于每个模式的编码单元的预测数据和剩余图像数据被相加，由此可以重建关于当前图像405的编码单元的空间域中的数据，并且在空间域中重建的数据可通过解块器545和SAO 执行器550输出作为重建的图像560。存储在重建画面缓冲器530中的重建的图像可以输出为参考图像。

为了在视频解码装置200的图像数据解码器230中对图像数据进行解码，根据一个实施例的图像解码器500的熵解码器515之后的操作可被执行。

为了根据一个实施例将图像解码器500应用在视频解码装置200中，图像解码器500的所有元件，即，熵解码器515、逆量化器520、逆变换器525、帧内预测器540、帧间预测器535、解块器545以及SAO执行器550可以基于用于每个LCU的每个具有树结构的编码单元执行操作。

具体地，帧内预测器540和帧间预测器535可以为每个具有树结构的编码单元确定分区模式和预测模式，并且逆变换器525可以确定是否对用于每个编码单元的具有四叉树结构的变换单元进行划分。

图10的编码操作和图11的解码操作分别是在单层中的视频流编码和解码操作的描述。因此，当图像编码装置10、40或70编码两层或更多层的视频流时，针对每层可以包括图像编码器400。同样，当图像解码装置16、21 或80解码两层或更多层的视频流时，针对每层可以包括图像解码器500。

图13是说明根据各种实施例的根据深度和分区的更深的编码单元的示意图。

根据一个实施例的视频编码装置100和根据一个实施例的视频解码装置 200使用分层的编码单元，以便考虑图像的特征。编码单元的最大高度、最大宽度以及最大深度可以根据图像的特征来适应性地确定，或者可以由用户不同地设置。根据深度的更深的编码单元的尺寸可以根据编码单元的预定最大尺寸来确定。

在根据一个实施例的编码单元的分层结构600中，编码单元的最大高度和最大宽度各自是64，最大深度为3。在这种情况下，最大深度是指从LCU 到SCU划分编码单元的总次数。由于沿着分层结构600的纵轴的深度加深，更深的编码单元的高度和宽度分别被划分。另外，作为每个更深的编码单元的预测编码的基础的预测单元和分区被沿分层结构600的横轴示出。

换言之，编码单元610是在分层结构600中的LCU，其中，深度为0且尺寸，即，高度和宽度为64×64。深度沿着纵轴加深，并且编码单元620的尺寸为32×32，深度为1，编码单元630的尺寸为16×16，深度为2，且编码单元640的尺寸为8×8，深度为3。具有尺寸8×8且深度为3的编码单元 640是SCU。

编码单元的预测单元和分区根据每一深度沿横轴排列。换言之，如果尺寸为64×64和深度为0的编码单元610是预测单元，则该预测单元可以被划分为包括在编码单元610中的分区，即，具有64×64的尺寸的分区610，具有64×32的尺寸的分区612，具有32×64的尺寸的分区614，或具有32× 32的尺寸的分区616。

类似地，具有32×32的尺寸和深度为1的编码单元620的预测单元可以被划分成包括在编码单元620中的分区，即具有32×32的尺寸的分区620，具有32×16的尺寸的分区622，具有16×32的尺寸的分区624，以及具有 16×16的尺寸的分区626。

类似地，具有16×16的尺寸和深度为2的编码单元630的预测单元可以被划分成包括在编码单元630中的分区，即具有包括在编码单元630中的16 ×16的尺寸的分区，具有16×8的尺寸的分区632，具有8×16的尺寸的分区634，以及具有8×8的尺寸的分区636。

类似地，具有8×8的尺寸和深度为3的编码单元640的预测单元可以被划分成包括在编码单元640中的分区，即具有包括在编码单元640中的8×8 的尺寸的分区，具有8×4的尺寸的分区642，具有4×8的尺寸的分区644，以及具有4×4的尺寸的分区646。

为了确定LCU 610的深度，视频编码装置100的编码单元确定器120对对应于包括在LCU 610中的每一深度的编码单元执行编码。

根据深度以相同范围和相同尺寸包括数据的更深的编码单元的数目随着深度的增加而增加。例如，需要对应于深度2的四个编码单元覆盖被包括在对应于深度1的一个编码单元中的数据。因此，为了根据深度比较相同数据的编码结果，对应于深度1的编码单元和对应于深度2的四个编码单元被分别编码。

为了对深度的当前深度执行编码，可以通过沿分层结构600的横轴对于对应于当前深度的编码单元中的每个预测单元执行编码来为当前深度选择最小编码误差。可选地，通过随着深度沿分层结构600的纵轴加深对每个深度执行编码，通过根据深度比较最小编码误差，可以来搜索最小编码误差。在编码单元610中具有最小编码误差的深度和分区可以被选择作为编码单元 610的深度和分区模式。

图14是用于说明根据各种实施例的编码单元710和变换单元720之间的关系的示意图。

根据一个实施例的视频编码装置100或根据一个实施例的视频解码装置 200根据具有小于或等于每个LCU的LCU的尺寸的编码单元对图像进行编码或解码。编码期间用于变换的变换单元的尺寸可基于不超过对应的编码单元的数据单元而被选择。

例如，在根据一个实施例的视频编码装置100或根据一个实施例的视频解码装置200中，如果编码单元710的尺寸是64×64，则可以通过使用具有尺寸32×32的变换单元720执行变换。

此外，通过对具有小于64×64的32×32、16×16、8×8和4×4的尺寸的变换单元的每个变换单元执行变换，可以对具有64×64的尺寸的编码单元 710的数据进行编码，然后具有最小编码误差的变换单元可以被选择。

图15是用于说明根据各种实施例对应于深度的编码单元的编码信息的示意图。

根据一个实施例的视频编码装置100的输出器130可以编码和传输用于对应于深度的每个编码单元的关于分区模式的信息800、关于预测模式的信息810，以及关于变换单元尺寸的信息820，作为划分信息。

信息800表示关于通过划分当前编码单元的预测单元所获得的分区的模式的信息，其中，分区是用于对当前编码单元进行预测编码的数据单元。例如，具有尺寸2N×2N的当前编码单元CU_0可划分成具有尺寸2N×2N的分区802，具有尺寸2N×N的分区804，具有尺寸N×2N的分区806，以及具有尺寸N×N的分区808中的任何一个。这里，关于分区模式的信息800 被设置为表示具有尺寸2N×N的分区804，具有尺寸N×2N的分区806，以及具有尺寸N×N的分区808中的一个。

信息810表示每一分区的预测模式。例如，信息810可表示在由信息800 表示的分区上执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。

信息820表示当在当前编码单元上执行变换时要基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换单元828。

根据一个实施例的视频解码装置200的图像数据和编码信息提取器220 可以根据每个更深的编码单元提取和使用信息800、810和820用于解码。

图16是根据各种实施例的根据深度的更深的编码单元的示意图。

划分信息可用于表示深度的变化。划分信息表示当前深度的编码单元是否被划分成更低深度的编码单元。

用于对具有深度为0和尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可以包括具有尺寸2N_0×2N_0的分区模式912的分区、具有尺寸2N_0×N_0的分区模式914的分区、具有尺寸N_0×2N_0的分区模式916的分区和具有尺寸N_0×N_0的分区模式918的分区。图16只示出了分区模式912到918，它们是通过对称地划分预测单元910而被获得，但是分区模式不限于此，并且预测单元910的分区可以包括非对称分区，具有预定形状的分区和具有几何形状的分区。

根据每个分区模式，对具有尺寸2N_0×2N_0的一个分区、具有尺寸2N_0 ×N_0的两个分区、具有尺寸N_0×2N_0的两个分区以及具有尺寸N_0×N_0 的四个分区重复执行预测编码。可以对具有尺寸2N_0×2N_0、N_0×2N_0、 2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式的预测编码。只对具有尺寸2N_0×2N_0的分区执行跳过模式的预测编码。

如果编码误差在分区模式912到916之一中最小，则预测单元910可以不被划分成更低的深度。

如果编码误差在分区模式918中最小，则在操作920中深度从0变到1 来划分分区模式918，并且对具有深度为2和尺寸为N_0×N_0的编码单元 930反复执行编码以搜索最小编码误差。

用于对具有深度为1和尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元 930进行预测编码的预测单元940可以包括具有尺寸2N_1×2N_1的分区模式 942的分区、具有尺寸2N_1×N_1的分区模式944的分区、具有尺寸N_1× 2N_1的分区模式946的分区和具有尺寸N_1×N_1的分区模式948的分区。

如果编码误差在分区模式948中最小，则在操作950中深度从1改变到 2以划分分区模式948，并且在编码单元960上重复执行以搜索最小编码误差编码，其中编码单元960深度为2且尺寸为N_2×N_2。

当最大深度为d时，可以执行根据每一深度的划分操作直到当深度为d-1 时，且划分信息可被编码直到当深度为0至d-2中的一个。换言之，在操作 970对对应于深度d-2的编码单元进行划分之后当编码被执行直到深度为d-1 时，用于对具有深度为d-1和尺寸为2N_(d-1)×2N_(d-1)的编码单元980 进行预测编码的预测单元990可以包括具有尺寸2N_(d-1)×2N_(d-1)的分区模式992的分区，具有尺寸2N_(d-1)×N_(d-1)的分区模式994的分区，具有尺寸N_(d-1)×2N_(d-1)的分区模式996的分区，以及具有尺寸N_(d-1)×N_(d-1)的分区模式998的分区。

可以对分区模式992到998中的具有尺寸2N_(d-1)×2N_(d-1)的一个分区，具有尺寸2N_(d-1)×N_(d-1)的两个分区，具有尺寸N_(d-1) ×2N_(d-1)的两个分区，具有尺寸N_(d-1)×N_(d-1)的四个分区重复执行预测编码，以搜索具有最小编码误差的分区模式。

即使当分区模式998具有最小编码误差，由于最大深度为d，具有d-1的深度的编码单元CU_(d-1)不再划分到更低的深度，并且用于构成当前LCU 900的编码单元的深度可以被确定为d-1，并且当前的LCU 900的分区模式可以被确定为N_(d-1)×N_(d-1)。另外，由于最大深度为d，并具有d-1 的最低深度的SCU 980不再划分到更低的深度，用于SCU 980的划分信息未被设置。

数据单元999可以是用于当前LCU的“最小单元”。根据一个实施例的最小单元可以是通过由4划分SCU 980获得的正方形数据单元。通过反复进行编码，根据一个实施例的视频编码装置100可以根据编码单元900的深度通过比较编码误差来选择具有最小编码误差的深度以确定深度，并设置对应的分区模式和预测模式作为该深度的编码模式。

这样，根据深度的最小编码误差在1至d的所有深度中进行比较，并且具有最小编码误差的深度可以被确定为深度。深度、预测单元的分区模式和预测模式可被编码，并作为划分信息而被传输。另外，由于编码单元从深度 0到深度进行划分，只有该深度的划分信息被设置为0，并且除了该深度之外的其它深度的划分信息被设置为1。

根据一个实施例的视频解码装置200的图像数据和编码信息提取器220 可以提取并使用有关编码单元900的深度和预测单元的信息，来解码分区 912。根据一个实施例的视频解码装置200可以通过使用根据深度的划分信息确定划分信息为0的深度作为深度，并且使用对应深度的划分信息用于解码。

图17、18和19是用于说明根据各种实施例的编码单元1010、预测单元 1060和变换单元1070之间的关系的示意图。

编码单元1010是在LCU中具有树结构的编码单元，对应于由视频编码装置100确定的深度。预测单元1060是每个编码单元1010的预测单元的分区，变换单元1070是每个编码单元1010的变换单元。

当在编码单元1010中LCU的深度为0时，编码单元1012和1054的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2，编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，并且编码单元1040、1042、1044和1046的深度是4。

在预测单元1060中，一些编码单元1014、1016、1022、1032、1048、 1050、1052和1054是通过在编码单元1010中划分编码单元而获得的。换言之，编码单元1014、1022、1050和1054中的分区模式具有2N×N的尺寸，在编码单元1016、1048和1052中的分区模式具有N×2N的尺寸，并且编码单元1032的分区模式具有N×N的尺寸。编码单元1010的预测单元和分区小于或等于每个编码单元。

对小于编码单元1052的数据单元中的变换单元1070中的编码单元1052 的图像数据执行变换或逆变换。同样，变换单元1070中的编码单元1014、 1016、1022、1032、1048、1050、1052及1054关于尺寸和形状与预测单元 1060中的那些不同。换言之，根据一个实施例的视频编码和解码装置100和 200可以在相同的编码单元中的数据单元上单独地执行帧内预测、运动估计、运动补偿、变换以及逆变换。

因此，对于在LCU的每个区域中具有分层结构的每个编码单元递归地执行编码，以确定最佳的编码单元，并且由此可以得到具有递归树结构的编码单元。编码信息可以包括关于编码单元的划分信息，关于分区模式的信息，关于预测模式的信息，和关于变换单元的尺寸的信息。表1示出了根据一个实施例的可以由视频编码和解码装置100和200设置的编码信息。

[表1]

根据一个实施例的视频编码装置100的输出器130可以输出关于具有树结构的编码单元的编码信息，并且根据一个实施例的视频解码装置200的图像数据和编码信息提取器220可以从接收的比特流提取关于具有树结构的编码单元的编码信息。

划分信息表示当前编码单元是否被划分成更低深度的编码单元。如果当前深度d的划分信息是0，当前编码单元不再被划分成更低深度的深度是深度，由此针对深度，关于分区模式、预测模式和变换单元的尺寸的信息可被限定。如果当前编码单元根据划分信息被进一步划分，对于更低深度的四分编码单元独立地执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一个。帧内模式和帧间模式可在所有分区模式中被限定，并且跳过模式仅仅被限定在具有尺寸 2N×2N的分区模式中。

关于分区模式的信息可以表示具有2N×2N、2N×N、N×2N以及N×N 的尺寸的对称分区模式，其通过对称地划分预测单元的高度或宽度而得到，不对称的分区模式具有2N×nU、2N×nD、nL×2N和nR×2N的尺寸，它们是通过不对称地划分预测单元的高度或宽度而获得。具有2N×nU和2N×nD 的尺寸的不对称分区模式可以通过以1:3和3:1划分预测单元的高度而分别获得，并且具有nL×2N和nR×2N的尺寸的不对称分区模式可以通过以1:3和 3:1划分预测单元的宽度而分别获得。

变换单元的尺寸可以被设置为帧内模式中的两种类型和帧间模式中的两种类型。换句话说，如果该变换单元的划分信息为0，则变换单元的尺寸可以是2N×2N，这是当前编码单元的尺寸。如果变换单元的划分信息为1，则可以通过划分当前编码单元来获得变换单元。此外，如果具有2N×2N尺寸的当前编码单元的分区模式是对称的分区模式，变换单元的尺寸可以是N× N，并且如果当前编码单元的分区模式是非对称的分区模式时，变换单元的尺寸可以是N/2×N/2。

关于具有树结构的编码单元的编码信息可以包括对应于深度、预测单元和最小单元中的至少一个编码单元。对应于该深度的编码单元可以包括包含相同编码信息的预测单元和最小单元中的至少一个。

因此，通过比较相邻的数据单元的编码信息确定相邻的数据单元是否包含在对应于深度的相同的编码单元中。此外，通过使用数据单元的编码信息确定对应于深度的对应的编码单元，由此可以确定在LCU中的深度分布。

因此，如果当前编码单元是基于相邻数据单元的编码信息被预测的，与当前编码单元相邻的更深的编码单元中的数据单元的编码信息可以被直接参考和使用。

可选地，如果当前编码单元是基于相邻数据单元的编码信息被预测的，则使用数据单元的编码信息搜索与当前编码单元相邻的数据单元，并且搜索到的相邻的编码单元可以被参考用于预测当前编码单元。

图20是用于解释根据表1的编码模式信息在编码单元、预测单元和变换单元之间的关系的示意图。

LCU 1300包括各深度的编码单元1302、1304、1306、1312、1314、1316 和1318。这里，由于编码单元1318是深度的编码单元，划分信息可被设置为0。关于具有尺寸2N×2N的编码单元1318的分区模式的信息可被设置为是具有尺寸2N×2N的分区模式1322、具有尺寸2N×N的分区模式1324、具有尺寸N×2N的分区模式1326、具有尺寸N×N的分区模式1328、具有尺寸2N×nU的分区模式1332、具有尺寸2N×nD的分区模式1334、具有尺寸nL×2N的分区模式1336，以及具有尺寸nR×2N的分区模式1338中的一个。

变换单元的划分信息(TU尺寸标志)是变换索引的类型。根据编码单元的预测单元类型或分区模式，对应于变换索引的变换单元的尺寸可以改变。

例如，当分区模式被设置为对称时，即分区模式1322、1324、1326或1328，如果变换单元的TU尺寸标志为0，则具有尺寸2N×2N的变换单元 1342被设置，如果TU尺寸标志为1，则具有尺寸的N×N的变换单元1344 被设置。

当分区模式被设置为不对称时，即，分区模式1332、1334、1336或1338，如果TU尺寸标志为0，则具有尺寸2N×2N的变换单元1352被设置，并且如果TU尺寸标志为1，则具有尺寸N/2×N/2的变换单元1354被设置。

虽然参照图19描述的TU尺寸标志是具有值0或1的标志，但TU尺寸标志不限于1比特，并且在TU尺寸标志从0增加时，变换单元可以被分层地划分以具有树结构。变换单元的划分信息(TU尺寸标志)可以是变换索引的一个例子。

在这种情况下，可以通过使用根据一个实施例的变换单元的TU尺寸标志以及变换单元的最大尺寸和最小尺寸一起来表示已实际使用的变换单元的尺寸。视频编码装置100能够对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标志进行编码。编码最大变换单元尺寸信息、最小变换单元尺寸信息以及最大TU尺寸标志的结果可被插入到SPS中。视频解码装置200可以通过使用最大变换单元尺寸信息、最小变换单元尺寸信息以及最大TU尺寸标志来对视频进行解码。

例如，(a)如果当前编码单元的尺寸为64×64且最大变换单元的尺寸为32×32，(a-1)则当TU尺寸标志为0时，变换单元的尺寸可以是32×32， (a-2)当TU尺寸标志为1时，变换单元的尺寸可以是16×16，和(a-3)当 TU尺寸标志为2时变换单元的尺寸可以是8×8。

作为另一个例子，(b)如果当前编码单元的尺寸为32×32且最小变换单元尺寸为32×32，(b-1)则当TU尺寸标志为0时变换单元的尺寸可以是 32×32。这里，因为变换单元的尺寸不能小于32×32，所以TU尺寸标志不能被设置为除0以外的值。

作为另一个例子，(c)如果当前编码单元的尺寸为64×64且最大TU 尺寸标志为1，则TU尺寸标志可以是0或1。在这里，TU尺寸标志不能被设置为除了0或1之外的值。

因此，如果当TU尺寸标志为0时，定义最大TU尺寸标志为“MaxTransformSizeIndex”，最小变换单元尺寸是“MinTransformSize”，且变换单元尺寸是“RootTuSize”，则可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”可以由等式(1)来定义：

CurrMinTuSize

＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))...(1)

相比可以在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”，当TU尺寸标志为0的变换单元尺寸“RootTuSize”可以表示可以在系统中选择的最大变换单元尺寸。在等式(1)中，“RootTuSize/(2^MaxTransformSizeIndex)”表示当TU尺寸标志为0时的变换单元尺寸“RootTuSize”对应于最大TU尺寸标志被划分的次数，并且“MinTransformSize”表示最小变换尺寸。因此，来自“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”之中的更小值可以是能够在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。

根据一个实施例，最大变换单元尺寸RootTuSize可以根据预测模式的类型而改变。

例如，如果当前预测模式是帧间模式，那么“RootTuSize”可以通过使用如下等式(2)被确定。在等式(2)中，“MaxTransformSize”表示最大变换单元尺寸，且“PUSize”表示当前预测单元尺寸。

RootTuSize＝min(MaxTransformSize,PUSize).........(2)

也就是说，如果当前预测模式是帧间模式，当TU尺寸标志为0的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸以及当前预测单元尺寸之中的较小的值。

如果当前分区单元的预测模式是帧内模式，“RootTuSize”可以通过使用如下等式(3)被确定。在等式(3)中，“PartitionSize”表示当前分区单元的尺寸。

RootTuSize＝min(MaxTransformSize,PartitionSize)...........(3)

也就是说，如果当前预测模式是帧内模式，当TU尺寸标志为0的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸以及当前分区单元的尺寸之中的较小的值。

然而，根据在分区单元中的预测模式的类型而变化的当前最大变换单元尺寸“RootTuSize”仅仅是一个示例，并且实施例不限于此。

根据参照图8至20描述的基于具有树结构的编码单元的图像编码方法，空间域的图像数据被编码用于树结构的每个编码单元。根据基于具有树结构的编码单元的图像解码方法，为每个LCU执行解码来重建空间域的图像数据。因此，画面和视频(其是画面序列)可以被重建。重建的视频可以由再现装置再现，被存储在存储介质中或通过网络被传送。

本发明可以通过运行来自计算机可读介质的程序在一般用途的数字计算机中实现。计算机可读介质的例子包括存储介质，如磁存储介质(例如，只读存储器(ROM)、软盘或硬盘)，光学介质(例如，光盘只读存储器(CD-ROM) 或数字通用光盘(DVD))等。

为了描述的方便起见，上述视频编码方法和/或视频编码方法将被称为“本发明的视频编码方法”。另外，上述视频解码方法和/或视频解码方法将被称为“本发明的视频解码方法”。

此外，上述视频编码装置10、40或70，视频编码装置100或包括图像编码器400的视频编码装置将被称为“本发明的视频编码装置”。另外，上述视频解码装置16、21或80，视频解码装置200，或包括图像解码器500的视频解码装置将被称为“本发明的视频解码装置”。

现在将详细描述根据一个实施例的存储程序的计算机可读记录介质，例如，盘26000。

图21是在其中根据各种实施例存储程序的盘26000的物理结构的示意图。盘26000是一种存储介质，可以是硬盘驱动器、紧凑型光盘只读存储器 (CD-ROM)盘、蓝光光盘或数字通用光盘(DVD)。盘26000包括多个同心磁道Tr，它们在盘26000的圆周方向各自被划分成特定数量的扇区Se。在盘26000的特定区域，执行如上所述的量化参数确定方法、视频编码方法以及视频解码方法的程序可以被分配和存储。

现在将参考图22进行描述使用存储用于执行如上所述的视频编码方法和视频解码方法的程序的存储介质实现的计算机系统。

图22是用于通过使用盘26000记录和读取程序的盘驱动器26800的示意图。计算机系统26700可以在盘26000中经由光盘驱动器26800存储执行本发明的视频编码方法和视频解码方法中的至少一个方法的程序。为了在计算机系统26700中运行在盘26000中存储的程序，该程序可从盘26000读取并通过使用盘驱动器26700被传输到计算机系统26700。

执行本发明的视频编码方法和视频解码方法中的至少一个方法的程序可以不仅存储在图21或22所示的盘26000中，还可以存储在存储卡、ROM盒或固态驱动器(SSD)中。

上述视频编码方法和视频解码方法所应用的系统将在下文进行描述。

图23是用于提供内容分发服务的内容供给系统11000的整体结构的示意图。通信系统的服务区域被划分成预定尺寸的小区，并且无线基站11700、 11800、11900和12000分别安装在这些小区中。

内容供给系统11000包括多个独立的设备。例如，多个独立的设备(诸如计算机12100、个人数字助理(PDA)12200、摄像机12300以及移动电话 12500)，通过因特网服务提供商11200、通信网络11400和无线基站11700、 11800、11900以及12000连接到因特网11100。

然而，内容供给系统11000并不限于如图24所示的情况，并且设备可以有选择地与其连接。多个独立的设备可以直接连接到通信网络11400而不经由无线基站11700、11800、11900以及12000。

视频摄像机12300是成像设备，例如，数字摄像机，其能够捕获视频图像。移动电话12500可以使用各种协议(例如，个人数字通信(PDC)、码分多址(CDMA)、宽带码分多址(W-CDMA)、全球移动通信系统(GSM) 和个人手持电话系统(PHS))之中的至少一种通信方法。

摄像机12300可以经由无线基站11900和通信网络11400连接到流媒体服务器11300。流媒体服务器11300允许经由摄像机12300从用户接收的内容被经由实时广播流式传输。可以用摄像机12300或流媒体服务器11300对从摄像机12300接收到的内容进行编码。由摄像机12300捕获的视频数据可以经由计算机12100被传送到流媒体服务器11300。

由照相机12600捕获的视频数据也可以经由计算机12100被传送到流媒体服务器11300。照相机12600是能够捕获静态图像和视频图像两者的成像设备，类似于数字照相机。可以使用照相机12600或计算机12100对由照相机12600捕获的视频数据进行编码。执行对视频进行编码和解码的软件可以存储在计算机可读记录介质中，例如，CD-ROM光盘、软盘、硬盘驱动器、 SSD或存储卡，它们可以由计算机12100访问。

如果视频数据是由内置于移动电话12500中的照相机捕获的，则可从移动电话12500接收视频数据。

也可以通过安装在摄像机12300、移动电话12500或照相机12600中的大规模集成电路(LSI)系统来对视频数据进行编码。

内容供给系统11000可以对通过用户使用摄像机12300、照相机12600、移动电话12500或其它成像装置记录的内容数据进行编码，例如，音乐会期间记录的内容，并且将所编码的内容数据传送到流媒体服务器11300。流媒体服务器11300可以将一种类型的流媒体内容的所编码的内容数据传送到请求内容数据的其他客户端。

客户端是能够对所编码的内容数据进行解码的设备，例如，计算机12100、 PDA 12200、摄像机12300或移动电话12500。因此，内容供给系统11000允许客户端接收并再现所编码的内容数据。此外，内容供给系统11000允许客户端接收所编码的内容数据并且解码和实时再现所编码的内容数据，由此能够进行个人广播。

包括在内容供给系统11000中的多个独立设备的编码和解码操作可以类似于本发明的视频编码装置和视频解码装置的那些操作。

现在将参照图24和25更加详细地描述根据一个实施例包括在内容供给系统11000中的移动电话12500。

图24示出移动电话12500的外部结构，根据各种实施例的视频编码方法和视频解码方法可以应用到该移动电话12500。移动电话12500可以是智能电话，其功能不受限制，并且其大量的功能可以被改变或扩展。

移动电话12500包括内部天线12510，经由内部天线12510，可与图21 的无线基站12000交换射频(RF)信号，并且移动电话12500包括用于显示由照相机12530捕获的图像或者经由天线12510接收并解码的图像的显示屏幕12520，例如，液晶显示器(LCD)或有机发光二极管(OLED)屏幕。移动电话12500包括操作面板12540，其包括控制按钮和触摸面板。如果显示屏幕12520是触摸屏幕，操作面板12540还包括显示屏幕12520的触摸感应面板。移动电话12500包括用于输出语音和声音的扬声器12580或其他类型的声音输出器，和用于输入语音和声音的麦克风12550或其他类型的声音输入器。移动电话12500还包括照相机12530，如电荷耦合器件(CCD)相机，以捕捉视频和静态图像。移动电话12500可进一步包括存储介质12570，用于存储编码/解码的数据，例如由照相机12530捕获、通过电子邮件接收到的或者根据不同的方式得到的视频或静态图像；并且移动电话12500可进一步包括将存储介质12570装入移动电话12500的插槽12560。该存储介质12570 可以是闪速存储器，例如，包括在塑料外壳中的安全数字(SD)卡或电可擦除和可编程只读存储器(EEPROM)。

图25示出了根据一个实施例的移动电话12500的内部结构。为了对称地控制包括显示屏幕12520和操作面板12540的移动电话12500的部分，电源电路12700、操作输入控制器12640、图像编码器12720、照相机接口12630、 LCD控制器12620、图像解码器12690、多路复用器/解复用器12680、记录器/读取器12670、调制器/解调器12660和声音处理器12650经由同步总线 12730连接到中央控制器12710。

如果用户操作电源按钮和设置从“电源断开”状态到“上电”状态，电源电路12700从电池组向移动电话12500的所有部分供电，从而将移动电话 12500设置在操作模式中。

中央控制器12710包括中央处理单元(CPU)、ROM和RAM。

当移动电话12500传送通信数据到外部时，在中央控制器12710的控制下由移动电话12500产生数字信号。例如，声音处理器12650可以生成数字声音信号，图像编码器12720可以生成数字图像信号，并且可通过操作面板 12540和操作输入控制器12640生成消息的文本数据。当数字信号在中央控制器12710的控制下被传输到调制器/解调器12660时，调制器/解调器12660 调制数字信号的频带，并且通信电路12610对频带调制的数字声音信号执行数字模拟转换(DAC)和频率转换。从通信电路12610输出的传送信号可以经由天线12510被传送到语音通信基站或无线基站12000。

例如，当移动电话12500是在对话模式中时，在中央控制器12710的控制下经由麦克风12550获得的声音信号通过声音处理器12650被变换成数字声音信号。数字声音信号可以经由调制器/解调器12660和通信电路12610被变换成变换信号，并且可以经由天线12510传送。

当文本消息(例如，电子邮件)在数据通信模式中被传送时，文本消息的文本数据经由操作面板12540被输入并且经由操作输入控制器12640被传送到中央控制器12710。在中央控制器12710的控制下，文本数据经由调制器/解调器12660和通信电路12610变换成传送信号，并经由天线12510被传送至无线基站12000。

为了在数据通信模式中传送图像数据，由照相机12530捕获的图像数据经照相机接口12630被提供给图像编码器12720。所捕获的图像数据可以经由照相机接口12630和LCD控制器12620直接被显示在显示屏幕12520上。

图像编码器12720的结构可以对应于本发明的上述视频编码方法的结构。图像编码器12720可以基于本发明的上述视频编码方法将从照相机12530 接收到的图像数据变换成压缩和编码的图像数据，并且随后将编码的图像数据输出到多路复用器/解复用器12680。在照相机12530的记录操作期间，由移动电话12500的麦克风12550获得的声音信号可以通过声音处理器12650 被变换成数字声音数据，并且数字声音数据可被传送到多路复用器/解复用器 12680。

多路复用器/解复用器12680将从图像编码器12720接收到的已编码的图像数据以及从声音处理器12650接收到的声音数据进行复用。复用数据的结果可以经由调制器/解调器12660和通信电路12610被变换为传输信号，并且随后可经由天线12510被传送。

当移动电话12500从外部接收通信数据时，对经由天线12510接收的信号执行频率恢复和ADC以将该信号变换成数字信号。调制器/解调器12660 调制数字信号的频带。根据数字信号的类型，频带调制的数字信号被传送到视频解码单元12690、声音处理器12650或LCD控制器12620。

在对话模式中，移动电话12500放大经由天线12510接收的信号，并且通过对放大的信号进行频率转换和ADC获得数字声音信号。在中央控制器 12710的控制下，接收的数字声音信号经由调制器/解调器12660和声音处理器12650被变换成模拟声音信号，并且模拟声音信号通过扬声器12580输出。

当在数据通信模式中时，在因特网网站上访问的视频文件的数据被接收，经由天线12510从无线基站12000接收的信号经由调制器/解调器12660输出作为多路数据，并且多路数据被传送到多路复用器/解复用器12680。

为了解码经由天线12510接收的多路数据，多路复用器/解复用器12680 将多路数据解复用成编码的视频数据流和编码的音频数据流。经由同步总线 12730，编码的视频数据流和编码的音频数据流分别提供给视频解码单元 12690和声音处理器12650。

图像解码器12690的结构可以对应于本发明的上述视频解码方法的结构。图像解码器12690可以通过使用本发明的上述视频解码方法来解码已编码的视频数据以获得重建的视频数据，并且经由LCD控制器12620将重建的视频数据提供给显示屏幕12520。

因此，在因特网网站访问的视频文件的数据可以被显示在显示屏幕12520 上。与此同时，声音处理器12650可以将音频数据变换成模拟声音信号，并将模拟声音信号提供到扬声器12580。因此，包含在因特网网站访问的视频文件中的音频数据也可以经由扬声器12580再现。

移动电话12500或另一类型的通信终端可以是包括根据一个实施例的视频编码装置和视频解码装置两者的收发终端，也可以是仅包括视频编码装置的收发终端，或者可以是仅包括视频解码装置的收发终端。

本发明的通信系统不限于参考图24所述的通信系统。例如，图26示出根据各种实施例的使用通信系统的数字广播系统。根据图26的一个实施例的数字广播系统可以通过使用本发明的视频编码装置和视频解码装置接收经由卫星或地面网络传送的数字广播。

具体地，广播站12890通过使用无线电波将视频数据流传送到通信卫星或广播卫星12900。广播卫星12900传送广播信号，并且广播信号经由家用天线12860被传送到卫星广播接收器。在每个住宅中，已编码的视频流可以由TV接收器12810、机顶盒12870或其他设备来解码和再现。

当根据一个实施例的视频解码装置在再现装置12830中实现时，再现装置12830可以解析和解码记录在存储介质12820上的已编码的视频流，如光盘或存储卡以重建数字信号。因此，重建的视频信号可以被再现，例如，被再现在监视器12840上。

在连接到用于卫星/地面广播的天线12860或用于接收有线电视(TV)广播的电缆天线12850的机顶盒12870中，根据一个实施例的视频解码装置可以被安装。从机顶盒12870输出的数据也可以在TV监视器12880上再现。

作为另一示例，本发明的视频解码装置可以被安装在TV接收器12810 而不是机顶盒12870中。

具有适当的天线12910的汽车12920可以接收来自卫星12800或图21的无线基站11700传送的信号。解码的视频可以在安装在汽车12920中的汽车导航系统12930的显示屏幕上再现。

视频信号可以由本发明的视频编码装置进行编码，并随后可以存储在存储介质中。具体地，图像信号可以通过DVD刻录机被存储在DVD光盘12960 中，或者可以通过硬盘记录器12950存储在硬盘中。作为另一示例，视频信号可以存储在SD卡12970中。如果硬盘记录器12950包括根据一个实施例的本发明的视频解码装置，记录在DVD光盘12960、SD卡12970或其他存储介质上的视频信号可以在TV监视器12880重放。

汽车导航系统12930可以不包括图25的照相机12530，以及图26的照相机接口12630和图像编码器12720。例如，计算机12100和TV接收器12810 可以不包括图26的照相机12530、照相机接口12630和图像编码器12720。 26。

图27是表示使用根据各种实施例的视频编码装置和视频解码装置的云计算系统的网络结构的示意图。

本发明的云计算系统可以包括云计算服务器14000、用户数据库(DB) 14100、多个计算资源14200以及用户终端。

云计算系统经由数据通信网络(例如，因特网)提供多个计算资源14200 的按需外包服务，以响应于来自用户终端的请求。在云计算环境下，服务提供商通过采用虚拟化技术将物理上位于不同位置的数据中心的计算资源相结合来为用户提供所需的服务。服务用户不必在他/她自己的终端中安装计算资源，例如，应用、存储器、操作系统(OS)和安全性以便使用它们，而是可以在所需时间点从通过虚拟化技术产生的虚拟空间中的服务中选择并使用所需的服务。

指定的服务用户的用户终端经由包括因特网和移动电信网络的数据通信网络连接到云计算服务器14000。用户终端可以从云计算服务器14000被提供云计算服务，特别是视频再现服务。用户终端可以是能够连接到因特网的各种类型的电子设备，例如，台式PC 14300、智能TV 14400、智能电话14500、笔记本计算机14600、便携式多媒体播放器(PMP)14700、平板PC 14800 等等。

云计算服务器14000可以结合多个分布在云网络中的计算资源14200，并向用户终端提供结合的结果。多个计算资源14200可以包括各种数据服务，并且可以包括从用户终端上载的数据。如上所述，云计算服务器14000可以根据虚拟化技术通过组合分布在不同区域中的视频数据库向用户终端提供所需服务。

关于已经订购云计算服务的用户的用户信息被存储在用户DB 14100中。用户信息可以包括用户的日志信息、地址、名称和个人信用信息。用户信息还可以包括视频索引。这里，索引可以包括已经被再现的视频的列表，正在再现的视频的列表，正在再现的视频的暂停点等等。

关于存储在用户DB 14100中的视频的信息可以在用户设备之间共享。例如，当响应于来自笔记本计算机14600的请求将视频服务提供给笔记本计算机14600时，视频服务的再现历史被存储在用户DB 14100中。当从智能电话14500接收再现该视频服务的请求时，云计算服务器14000基于用户DB 14100 搜索和再现该视频服务。当智能电话14500从云计算服务器14000接收视频数据流时，通过解码视频数据流再现视频的处理类似于参考图24如上所述的移动电话12500的操作。

云计算服务器14000可以参考所需的视频服务的再现历史，其存储在用户DB 14100中。例如，云计算服务器14000从用户终端接收再现存储在用户 DB 14100中的视频的请求。如果该视频正在再现，则由云计算服务器14000 执行的流式传输该视频的方法可以根据来自用户终端的请求而改变，即根据视频是从视频的起始被再现还是从其暂停点开始被再现。例如，如果用户终端请求从视频起始开始再现视频，云计算服务器14000从视频的第一帧开始将视频的流媒体数据传送到用户终端。如果用户终端请求从视频的暂停点开始再现视频，云计算服务器14000从对应于暂停点的帧开始将视频的流媒体数据传送到用户终端。

在这种情况下，用户终端可以包括本发明的上述视频解码装置。作为另一示例，用户终端可以包括本发明的上述视频编码装置。可选地，用户终端可以包括如上所述的本发明的视频解码装置和视频编码装置两者。

视频编码方法、视频解码方法、视频编码装置和视频解码装置的各种应用已经在上文参照图21至27进行了描述。然而，根据各种实施例，将视频编码方法和视频解码方法存储在存储介质中的方法，或在设备中实现视频编码装置和视频解码装置的方法，并不限于在上文参照图21至27所述的实施例。

虽然本发明已经参考其示例性实施例被具体示出并进行了描述，但是本领域普通技术人员将理解，可以在这里进行各种形式和细节上的改变，而不脱离由所附权利要求书定义的本公开的精神和范围。示例性实施例应当被认为是描述性的而不是为了限制的目的。因此，本发明的范围不是由本发明的详细描述而是由所附权利要求限定的，并且该范围内的所有不同方式将被解释为包括在本发明中。