专利名称：通过对图像进行分区来对图像编码/解码的方法和设备的制作方法
技术领域：
与本发明一致的设备和方法涉及对图像进行编码/解码，更具体地讲，涉 及无需使用单独的编解码器而对大屏幕图像或高像素图像进行编码/解码。
背景技术：
通常，图像数据是高容量数据，因此图像数据被高度压缩，以便被高效
地被发送或存储。图像数据压缩标准的例子是运动图像专家组l(MPEG-l)、 MPEG-2、 MPEG-4和H.264/MPEG-4先进视频编解码(AVC)。
通过使用图像的统计特性具有空间冗余和时间冗余的事实来执行图像压 缩。通过使用存在于一个图像内的空间冗余来执行帧内预测编码，或者通过 使用存在于连续图像之间的时间冗余来执行帧间预测编码。通过使用各种方 法来去除空间冗余和时间冗余，随后基于图像失真和图像的压缩率在优化的 编码模式内^丸行编码。
由于复杂的算法用于增加压缩率，因此，为了根据具有复杂的算法的图 像数据压缩技术对图像进行编码或对编码的图像进行解码，需要高速处理设
备和高容量存储器装置。
具体地讲，随着图像质量的增加，对高速存储设备和高容量存储器装置 的需求也增加。
发明内容
技术方案
本发明的示例性实施例提供一种用于对大屏幕图像或高像素图像进行编 码/解码的方法和设备。
有益效果
根据示例性实施例，通过使用对多视点图像序列进行编码的方法可对大 屏幕图像或高像素图像进行更高效地编码。用于对多视点图像序列进行编码/解码的相同的编解码器可用于对图像进行编码/解码。因此，需要为使用单独 的编解码器支付额外的使用费。
此外，用于对多视点图像进行编码/解码的处理设备和存储器装置可用于 实时处理大屏幕图像或高像素图像。因此，为了实时再现大屏幕图像或高像 素图像，不需要单独的高速处理设备和高容量存储器装置。
通过下面结合附图对本发明的示例性实施例进行的详细描述，本发明的 上述和其他方面将会变得更加清楚，其中
图1是示出根据本发明示例性实施例的图像编码设备的框图2是示出根据本发明示例性实施例的对图像进行分区的示图3A是示出根据现有技术的多视点图像序列的示图3B是示出根据本发明示例性实施例的图像序列的示图4是示出根据本发明示例性实施例的对图像进行编码的方法的流程
图5是根据本发明示例性实施例的图像解码设备；
图6是示出根据本发明示例性实施例的对图像进行解码的方法的流程
图7是示出根据本发明示例性实施例的对图像进行编码/解码的系统的框图。
最佳实施方式
根据本发明的一方面，还提供一种在其上记录有用于执行该方法的程序 的计算机可读记录介质。
根据本发明的一方面，提供一种对图像进行编码的方法，该方法包括如 下操作将图像分为多个区域；将所述多个区域分别分配到多视点图像序列 的视点；基于分配的结果，通过使用对多视点图像序列编码的方法来对所述 多个区域编码。
对所述多个区域编码的操作可包括根据使用对多视点图像序列编码的 方法通过4吏用帧内预测、区^U'司预测和时间预测中的至少一个来预测所述多 个区域；基于预测的结果，对多个区域编码。
6所述多个区域编码的操作可还包括对这样的信息进行编码，该信息指 示图像被分为所述多个区域，并且所述多个区域通过使用对多视点图像序列 编码的方法纟皮编码。
根据本发明的另一方面，提供一种图像编码设备，包括分区单元，将 图像分为多个区域，并将所述多个区域分别分配到多视点图像序列的视点； 预测单元，根据对多视点图像序列编码的方法，通过使用帧内预测、区域间 预测和时间预测中的至少一个来预测所述多个区域；编码单元，基于预测的 结果，对所述多个区域编码。
编码单元可对这样的信息进行编码，该信息指示图像被分为所述多个区 域，并且通过使用对多视点图像序列编码的方法来对所述多个区域进行编码。
根据本发明的另一方面，提供一种对图像解码的方法，该方法包括以下 操作接收图像数据，其中，所述图像已经被分为多个区域，并且所述多个 区域已经通过使用对多视点图像序列编码的方法被编码；对接收的数据进行 解码；基于解码的数据恢复所述多个区域；基于恢复的多个区域来恢复图像。
恢复所述多个区域的操作可包括通过使用帧内预测、区域间预测和时 间预测中的至少 一 个来预测所述多个区域的画面；通过使用预测的结果以及 解码的数据来恢复所述多个区域。
根据本发明的另一方面，提供一种图像解码设备，包括解码单元，接 收图像数据并对接收的数据进行解码，其中，所述图像已经被分为多个区域， 并且所述多个区域已经通过使用对多碎见点图像序列编码的方法被编码；预测 单元，通过使用帧内预测、区域间预测和时间预测中的至少一个来预测所述 多个区域；图像恢复单元，基于预测单元预测的结果和解码的数据来恢复所 述多个区域和图像。
图像数据可包括这样的信息，该信息指示图像已经被分为多个区域，并 且已经通过使用对多视点图像序列编码的方法来对所述多个区域进行编码。
根据本发明的另 一方面，提供一种在其上记录有用于执行对图像编码/ 解码的方法的程序的计算机可读记录介质。
具体实施例方式
现在，将参照显示本发明示例性实施例的附图来更加全面地描述本发明 的各方面。图1是示出根据本发明实施例的图像编码设备100的框图。
参照图1，根据本发明的图像编码设备100包括分区单元110、预测单元
120和编码单元130。
分区单元110将图像分为多个区域。如以上关于现有技术提到的，需要 高速处理设备和高容量存储器装置，以便实时处理大屏幕图像或高像素图像。 因此，根据本发明示例性实施例的图像编码设备100将输入图像分为多个区 域，并且通过使用用于对多视点图像序列进行编码的方法来对所述多个区域 进行编码。为此目的，分区单元110将输入图像分为多个区域。用于分区图 像的方法不限于任何一种方法。然而，输入图像200可如图2所示被分为相 同大小的长方形形状区域。
在对输入图像进行分区之后，分区单元110将通过对输入图像分区产生 的多个区域分配到多视点图像序列的不同视点。如上提到的，为了通过使用 对多视点图像序列进行编码的方法来对图像进行编码，分区单元110将通过 对输入图像分区产生的多个区域分配到多视点图像序列的视点。这将参照图 3A和图3B进行更加详细地描述。
图3A是示出根据现有技术的多视点图像序列的示图。
对多视点图像进行编码的方法包括同时对从多个相机输入的图像进行 编码，从而提供多碎见点图像。该方法通过利用时间相关性和多个相机之间的 空间相关性来对多视点图像进行编码和高效压缩。
在图3A中，水平轴表示时间轴，垂直轴表示视点轴。对多视点图像进 行编码的方法周期性地产生基础试点图像的1幅画面(帧内画面)。基于产生的 1幅画面，该方法通过执行时间预测或视点间预测对其他画面进行预测编码。
时间预测使用存在于相同水平线(即相同视点)上的画面之间的时间相关 性，帧间视点预测使用存在于相同垂直线(即相同时间)上的画面之间的空间相 关性。
图3A中示出的各个水平线示出根据时间的多视点图像的各个视点的图 像序列。各个水平线从上到下顺序是视点O、视点1、视点2至视点7的图像 序列。这里，视点l是基础视点，因此第一水平线的图像序列310是基础视 点的图像序列。通过执行时间预测来对包括在基础视点的图像序列中的画面 进行预测编码。
此外，各个垂直线示出相同时间的多视点图像。包括在垂直线314、 316和318中的锚画面(anchorpicture)包括I画面，并且基于帧内^L点预测被编码。
图3B是示出根据本发明示例性实施例的图像序列的示图。
图3B示出如图2所示的单视点的图像被分为多个区域0至区域7的图 像的情况，并且通过使用对多视点图像编码的方法来对图像进行编码。
参照图3B，图2中示出的多个区域被分配到图3A中示出的各个视点。 区域0被分配到视点0的图像区域，区域1被分配到视点1的图像序列等。 以这种方式，图2中示出的所有的多个区域被分配到它们的各自视点。
作为分配的结果，视点O的图像序列310变为根据时间示出区域0的画 面的区域O的图像序列320。同样，其他图像序列322示出根据时间包括在 每个区域中的画面。
参照回图1,预测单元120根据对多视点图像序列编码的方法来预测通 过分区单元IIO分区的多个区域。这将参照图3B进行详细描述。
关于图3A描述的对多视点图像序列编码的方法通过使用多视点预测或 时间预测来对包括在图像序列中的各个画面进行预测。此外，通过使用帧内 预测来预测基础视点的锚画面。
因此，通过^^用帧内预测、区域间预测和时间预测中至少一个来预测图 3B中示出的包括在图像序列中的画面，其中，分区单元IIO将多个区域分配 到图像序列。
通过使用帧内预测来预测图3B中示出的包括在区域O的图像序列中的 锚画面(即，与第一水平线上的I画面的位置相应的画面)。
测，其中，相同的水平行对应于相同的区域。然而，在根据本发明示例性实 施例的图像序列中，以上关于图3A提到的视点间预测被改变为区域间预观'J。 各个水平线是不同区域而不是不同视点的图像序列。因此，在根据本发 明示例性实施例的图 <象序列中，实时的画面间预测(即，相同垂直列上的画面 间预测)是基于区域间预测。
作为示例，描述图3B中示出的图像序列的第一垂直列324。 参照图3B,通过参照相同列324上的区域0的画面来预测第一垂直列 324上的区域2的画面。通过参照列324上的区域2的画面来预测列324上 的区域4的画面。应该注意，也可进行双向预测。例如，通过参照区域O和 2的画面来预测区域1的画面。对于3A描述的视点间预测被改变为区域间预
9测。
参照回图2,基于预测单元120预测的结果，编码单元130对由分区单元110分区的多个区域进行编码。编码单元130通过从原始值中减去各个区域的预测值来产生残余值，对产生的残余值编码，其中，通过预测单元120产生预测值。
根据本发明示例性实施例对图像编码的方法包括通过使用对多视点图像序列编码的方法来产生单视点的图像的图像序列。因此，需要信息来区别多视点图像序列和图3B中示出的图像序列。为此目的，编码单元130对信息进行编码，该信息指示通过使用对多视点图像序列编码的方法来对分区的多个区域进行编码。
编码单元130可对标志信息进行编码，该标志信息指示图像序列是多视点图像序列还是图3B中示出的图像序列。可通过使用将标志信息包括在图像序列的参数中的方法来对标志信息进行编码。
图1至图3B示出输入图像是运动画面的情况。然而，根据本发明示例性实施例的图像编码设备100也可通过使用相同的方法来对静止图像进行编码。例如，可通过仅使用图3B中示出的图像序列中的第一垂直线324来对静止图像进行编码。在这种情况下，静止图像被分区为多个区域，分区的多个区域分别被分配到第一垂直线324的画面，随后通过使用帧内预测或区域间预测来对多个区域进行编码。
图4是示出根据本发明示例性实施例的对图像编码的方法的流程图。
在操作410,图像编码设备IOO将输入图像分为多个区域。如图2所示，与 一视点对应的输入图像被分为相同大小的长方形形状的区域，从而产生多个区域。
在操作420，图像编码设备100将在操作410产生的多个区域分别分配到多视点图像序列的视点。为了通过使用对视点图像序列编码的方式来对多个区域进行编码，多个区域分别被分配到各个视点。作为分配的结果，各个视点的各个图像序列变为各个区域的各个图像序列。
在操作430,图像编码设备100基于操作420中的分配对多个区域进行编码。随后通过使用对多视点图像序列编码的方法来对多个区域进行编码。
通过使用帧内预测、区域间预测或时间预测中的至少一个来预测包括在图像序列中的画面。基于预测结果来对多个区域进行编码。在编码操作中，沿着多个区域对信息进行编码，该信息指示图像被分为多个区域(操作410)以及通过使用对多视点图像序列编码的方法来对多个区
域进行编码(操作420)。标志信息被包括在图像序列的参数中。图5示出根据本发明实施例的图像解码设备500。
参照图5，根据本发明示例性实施例的图像解码设备500包括解码单元510、预测单元520和图像恢复单元530。
编码的图像数据，并对接收的数据进行解码。接收的数据是通过将输入图像分为多个区域并且随后通过使用对多视点图像序列编码的方法来对多个区域编码而产生的数据。接收的数据包括这样的信息，该信息指示通过根据本发明示例性实施例的对图像编码的方法来对输入图像编码。该信息可以是包括在图像序列的参数中的标志信息。
预测单元520通过^吏用帧内预测、区域间预测和时间预测中的至少一个来预测解码单元解码的多个区域。与在编码处理中使用的预测单元类似，预测单元520通过使用对多视点图像序列解码的方法来预测多个区域。然而，根据现有技术的多视点图像序列的视点间预测被改变为用于图像序列的区域间预测。
解码单元510解码的图像序列是多个区域的序列，而不是多个视点的序列。因此，用于多视点图像的图像序列的视点间预测被改变为用于根据本发明示例性实施例的图像序列的区域间预测。
图像恢复单元530通过使用预测单元520预测的结果以及解码单元510解码的数据来恢复多个区域。通过将多个区域的预测值与解码单元510解码的残余值相加来恢复多个区域，其中，通过预测单元520执行预测。
当恢复了所有的多个区域时，恢复了输出图像。通过处理如图2所示的各个位置的恢复的多个区域，恢复编码的图像，并且产生输出图像。
与以上关于图像编码设备100的描述类似，输出图像可以是静止图像。在这种情况下，通过执行与对静止图像编码的方法对应的解码方法来恢复静止图像。
图6是示出根据本发明示例性实施例的对图像解码的方法的流程图。参照图6,在操作610,图像解码设备500接收通过根据本发明示例性实施例对图像数据编码的方法而编码的图像数据。接收的数据是通过将输入图像分为多个区域随后通过使用对多视点图像序列编码的方法对多个区域编码而产生的数据。接收的数据包括这样的信息，该信息指示通过根据本发明示例性实施例的对图像编码的方法对输入图像编码。
在操作620，图像解码设备500对在操作610接收的数据进行解码。作为解码的结果，产生多个区域的残余值。
在操作630，图像解码设备500基于在操作620解码的数据来恢复多个区域。通过执行帧内预测、区域间预测和时间预测中的至少一个来预测多个区域。作为预测的结果，产生多个区域的预测值，并且将预测值与通过操作620中的解码产生的残余值相加，从而恢复多个区域。
在操作640，图像解码设备500基于在操作630恢复的多个区域来恢复图像。通过如图2所示布置在操作630恢复的多个区域，恢复了编码的图像。
图7是示出根据本发明示例性实施例的对图像编码/解码的系统的框图。
在图7中示出的系统中，服务提供器710将编码的图像提供给客户机720,客户机720通过对编码的图像解码经由显示设备再现编码的图像。
参照图7，附图提供器710通过使用对多视点图像序列编码的方法对多视点图像、大屏幕图像或高像素图像进行编码。如果将被编码的图像是多视点图像，则通过使用帧内预测、视点间预测和时间预测中的至少 一个来预测包括在图像序列中的画面，并且基于预测的结果对画面进行编码。然而，如果将被编码的图像是单视点的图像，则通过使用帧内预测、区域间预测和时间预测中的至少一个来预测包括在图像序列中的画面，并且基于预测的结果来对画面进行编码，其中，将被编码的图像可以是大屏幕图像或高像素图像。
标志信息被包括在图像序列的参数中并被编码，该标志信息指示图像序列是多视点图像还是单视点图像。
通过对多视点图像序列编码的方法来对多视点图像、大屏幕图像或高像素图像进行编码，随后将编码的图像传送到客户机720。客户机720通过参照图像序列的参数的标志信息来确定图像序列是多视点图像还是单视点图像，随后恢复多视点图像、大屏幕图像或高像素图像。
尽管客户机720仅具有用于对多视点图像序列解码的方法的编解码器，但是客户机720可对所有的多视点图像、大屏幕图像或高像素图像进行解码。用于处理多视点图像的处理设备和存储器装置可按原样使用，从而大屏幕图像或高像素图像可被实时解码。
12本发明也可实现为存储在计算机可读记录介质上的计算机可读程序。计算机可读记录介质可以是可存储其后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存
储器(RAM)、 CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质也可分布在网络连接的计算机系统上，从而计算机可读代码以分布方式被存储和执行。
尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。
权利要求
1、一种对图像编码的方法，该方法包括将图像分为多个区域；将所述多个区域分配到多视点图像序列的视点；基于分配的结果通过使用对多视点图像序列编码的方法来对所述多个区域编码。
2、 如权利要求l所述的方法，其中，对所述多个区域编码的步骤包括根据对多视点图像序列编码的方法，通过使用帧内预测、区域间预测和时间预测中的至少 一个来预测所述多个区域的画面。
3、 如权利要求l所述的方法，其中，对所述多个区域编码的步骤包括对这样的信息进行编码，该信息指示图像被分为所述多个区域，并且所述多个区域通过使用对多视点图像序列编码的方法被编码。
4、 如权利要求l所述的方法，其中，所述信息是标志信息，所述标志信息指示图像被分为所述多个区域，并且所述多个区域通过使用对多视点图像序列编码的方法被编码。
5、 如权利要求l所述的方法，其中，图像是静止图像。
6、 一种图像编码设备，包括分区单元，将图像分为多个区域，并将所述多个区域分配到多视点图像序列的视点；预测单元，根据对多视点图像序列编码的方法，通过使用帧内预测、区域间预测和时间预测中的至少一个来预测所述多个区域的画面；编码单元，基于预测单元的预测结果，对所述多个区域编码。
7、 如权利要求6所述的图像编码设备，其中，编码单元对这样的信息进行编码，该信息指示图像被分为所述多个区域，并且所述多个区域通过使用对多视点图像序列编码的方法被编码。
8、 如权利要求7所述的图像编码设备，其中，所述信息是标志信息，所述标志信息指示图像被分为所述多个区域，并且所述多个区域通过使用对多视点图像序列编码的方法被编码。
9、 如权利要求6所述的图像编码设备，其中，图像是静止图像。
10、 一种对图像解码的方法，该方法包括接收图像数据，其中，所述图像已经被分为多个区域，并且所述多个区域已经通过使用对多视点图像序列编码的方法被编码；对接收的数据进行解码；基于解码的数据恢复所述多个区域；基于恢复的多个区域来恢复图像。
11、 如权利要求IO所述的方法，其中，恢复所述多个区域的步骤包括通过使用帧内预测、区域间预测和时间预测中的至少一个来预测所述多个区i或的画面；基于预测所述多个区域的结果以及解码的数据来恢复所述多个区域。
12、 如权利要求IO所述的方法，其中，图像数据包括这样的信息，该信息指示图像已经被分为多个区域，并且所述多个区域已经通过使用对多视点图#^序列编码的方法:被编码。
13、 如权利要求12所述的方法，其中，所述信息是标志信息，所述标志信息指示图像已经被分为多个区域，并且所述多个区域已经通过使用对多视点图像序列编码的方法被编码。
14、 如权利要求IO所述的方法，其中，图像是静止图像。
15、 一种图像解码设备，包括解码单元，接收图像数据并对接收的数据进行解码，其中，所述图像已经被分为多个区域，并且所述多个区域已经通过使用对多视点图像序列编码的方法一皮编石马；预测单元，通过使用帧内预测、区域间预测和时间预测中的至少一个来预测所述多个区域；图像恢复单元，基于预测单元预测的结果和解码的数据来恢复所述多个区域和图像。
16、 如权利要求15所述的图像解码设备，其中，图像数据包括这样的信息，该信息指示图像已经被分为多个区域，并且所述多个区域已经通过使用对多视点图像序列编码的方法被编码。
17、 如权利要求16所述的图像解码设备，其中，所述信息是标志信息，所述标志信息指示图像已经被分为多个区域，并且所述多个区域已经通过使用对多视点图像序列编码的方法被编码。
18、 如权利要求15所述的图像解码设备，其中，图像是静止图像。
19、 一种在其上记录有用于使得计算机能够执行对图像解码的方法的程序的计算机可读记录介质，该方法包括接收图像数据，其中，所述图像已经被分为多个区域，并且所述多个区域已经通过使用对多视点图像序列编码的方法被编码；对接收的数据进行解码；基于解码的数据恢复所述多个区域；基于恢复的多个区域来恢复图像。
全文摘要
提供一种对图像编码/解码的方法和设备。该方法包括将图像分为多个区域；将所分的多个区域分配到多视点图像序列的视点；对分配的多个区域编码。通过这样做，该方法可高效地对大屏幕图像或高像素图像进行编码，而无需使用单独的编解码器。
文档编号H04N7/24GK101682755SQ200880020572
公开日2010年3月24日 申请日期2008年4月22日 优先权日2007年6月19日
发明者宋学燮, 崔钟凡, 文荣豪, 沈优星 申请人:三星电子株式会社