用于对图像信号进行编码/解码的方法和设备与流程

文档序号:17121022发布日期:2019-03-15 23:48阅读:287来源:国知局
用于对图像信号进行编码/解码的方法和设备与流程

本发明涉及一种视频信号编码/解码方法和设备



背景技术:

近年来,互联网上对多媒体数据(诸如,运动图像)的需求正迅速增加。然而,信道的带宽发展的速率难以跟上正迅速增加的多媒体数据的量。结果,国际标准化组织(itu-t)的视频编码专家组(vceg)以及iso/iec的运动图像专家组(mpeg)于2014年2月发布了高效视频编码(hevc)版本1。

hevc定义了诸如帧内预测、帧间预测、变换、量化、熵编码和环路滤波器的技术。其中,帧间预测通过使用先前重构的画面和运动信息(诸如,运动矢量、参考画面索引、预测方向(帧间预测指示)等)被执行。

图像之间的相关性越高,可获得越高的预测效率。然而,如果图像之间的相关性因为图像之间的亮度的改变(诸如,淡入或淡出)而被降低,则帧间预测结果可能是不准确的。为了解决这样的问题,本发明提出了权重预测。这里,权重预测可指的是,当图像之间存在亮度变化时,通过亮度变化的程度来估计权重,并且将估计的权重应用于帧间预测。



技术实现要素:

技术问题

本发明的主要目的是通过在对图像进行编码/解码时使用权重执行帧间预测来提高帧间预测效率。

本发明的主要目的是提供一种设备和方法,即使当图像中存在多个光源或者仅在局部区域中存在亮度变化时,所述设备和方法也能够通过在对图像进行编码/解码时选择性地使用权重来有效地执行帧间预测。

技术方案

根据本发明的一种用于对视频信号进行解码的方法和设备确定在包括当前块的当前图像与所述当前图像的参考图像之间是否存在亮度变化;如果在所述当前图像与所述参考图像之间存在亮度变化,则确定用于所述当前块的权重预测参数候选;基于用于指定所述权重预测参数候选中的一个的索引信息,确定用于所述当前块的权重预测参数;以及基于所述权重预测参数,执行所述当前块的预测。

在根据本发明的用于对视频信号进行解码的方法和设备中,所述权重预测参数候选可包括用于所述参考图像的第一预测参数。

在根据本发明的用于对视频信号进行解码的方法和设备中,当所述当前图像包括至少一个能够导出第二权重预测参数的区域时,所述权重预测参数候选还包括至少一个第二权重预测参数。

在根据本发明的用于对视频信号进行解码的方法和设备中,所述第一权重预测参数可基于用于所述第一权重预测参数的预测值以及用于所述第一权重预测参数的残差值被导出。

在根据本发明的用于对视频信号进行解码的方法和设备中,所述用于所述第一权重预测参数的预测值可根据所述当前块的精度被确定。

在根据本发明的用于对视频信号进行解码的方法和设备中,所述权重预测参数候选的最大数量可根据所述当前块的大小被自适应地确定。

在根据本发明的用于对视频信号进行解码的方法和设备中,所述权重预测参数候选可包括具有预定权重值的初始权重预测参数。

根据本发明的一种用于对视频信号进行编码的方法和设备确定在包括当前块的当前图像与所述当前图像的参考图像之间是否存在亮度变化;如果在所述当前图像与所述参考图像之间存在亮度变化,则确定用于所述当前块的权重预测参数候选;在所述权重预测参数候选中确定用于所述当前块的权重预测参数,并且对用于指定所述确定的权重预测参数的索引信息进行编码;以及基于所述权重预测参数执行所述当前块的预测。

在根据本发明的用于对视频信号进行编码的方法和设备中,所述权重预测参数候选可包括用于所述参考图像的第一权重预测参数。

在根据本发明的用于对视频信号进行编码的方法和设备中,当所述当前图像包括至少一个能够导出第二权重预测参数的区域时,所述权重预测参数候选还包括至少一个第二权重预测参数。

根据本发明的用于对视频信号进行编码的方法和设备对指示所述第一权重预测参数与用于所述第一权重预测参数的预测值之间的差的残差值进行编码。

在根据本发明的用于对视频信号进行编码的方法和设备中,所述用于所述第一权重预测参数的预测值可根据所述当前块的精度被确定。

在根据本发明的用于对视频信号进行编码的方法和设备中,所述权重预测参数候选的最大数量可根据所述当前块的大小被自适应地确定。

在根据本发明的用于对视频信号进行编码的方法和设备中,所述权重预测参数候选可包括具有预定权重值的初始权重预测参数。

有益效果

在本发明中,通过在对图像进行编码/解码时使用权重执行帧间预测来提高帧间预测效率。

即使当图像中存在多个光源或者仅在局部区域中存在亮度变化时,本发明也可通过在对图像进行编码/解码图像时选择性地使用权重来有效地执行帧间预测。

附图说明

图1是示出根据本发明的实施例的图像编码设备的框图。

图2是根据本发明的实施例的图像解码设备的框图。

图3是示意性示出根据本发明的实施例的运动估计方法的框图。

图4是示出根据本发明的实施例的用于获得将被应用于将被编码的当前块的运动信息的相邻块的位置的示图。

图5是示出在包括当前块的当前图像与参考图像之间的亮度变化图案的示图。

图6是示出在图像编码设备中估计权重预测参数的方法的流程图。

图7是示出使用权重参数对预测块执行率失真优化(rdo)的示例的示图。

图8是示出对与用于当前块的权重预测参数相关的信息进行编码的方法的流程图。

图9是示出在解码设备中对权重预测参数进行解码的示例的示图。

图10是示出在编码设备中使用权重预测参数的方法的流程图。

图11是示出与当前块相邻的相邻块的权重预测参数的示图。

图12是用于对仅将一些像素用于当前块的权重预测参数的估计的示例进行解释的示图。

图13示出了生成组合权重预测参数的示例。

图14示出了在解码设备中对权重预测参数进行解码的示例。

具体实施方式

本发明可以以各种方式被改变和修改,并且可参照不同的示例性实施例而被示出,其中的一些实施例将在附图中被描述和示出。然而,这些实施例并不意在对本发明进行限制,而应被解释为包括属于本发明的精神和技术范围的全部修改、等同物和替代物。附图中的相同的附图标记始终指示相同的元件。

尽管术语“第一”、“第二”等可被用于描述各种元件,但是这些元件不应被这些术语限制。这些术语仅被用于将一个元件与另一元件区分开。例如,在不脱离本发明的教导的情况下,第一元件可被称为第二元件,并且第二元件同样可被称作第一元件。术语“和/或”包括多个相关所列项的任意组合和全部组合。

应理解的是,当元件被称作“连接到”或“结合到”另一元件时,该元件可直接连接或结合到另一元件或存在中间元件。相反,当元件被称作“直接连接到”或“直接结合到”另一元件时,不存在中间元件。

在此使用的术语仅为了描述特定具体实施例的目的,而并非意在限制本发明。如在此使用的,除非上下文另外清楚地指示,否则单数形式“一个”、“一种”和“所述”也意在包括复数形式。还应理解的是,当用在说明书中时,术语“包括”和/或“具有”指定所陈述的特征、整体、步骤、操作、元件和/或组件的存在,但不排除一个或更多个其它特征、整体、步骤、操作、元件、组件和/或它们的组的存在或添加。

在下文中,将参照附图详细地描述本发明的示例性实施例。附图中的相同的附图标记始终指示相同的元件,并且在此将省略对相同元件的冗余描述。

图1是示出根据本发明的实施例的图像编码设备的框图。

参照图1,图像编码设备100包括图像划分单元110、预测单元120和125、变换单元130、量化单元135、重新排序单元160、熵编码单元165、反量化单元140和反变换单元145、滤波器单元150以及存储器155。

图1中所示的元件中的每个被单独示出以表示编码设备中的不同特性功能,并不会意味着每个组件由单独的硬件或单个软件单元组成。也就是说,为了便于描述而将元件单独布置,其中,至少两个元件可被组合为单个元件,或者单个元件可被划分为多个元件以执行功能。应注意的是,在不脱离本发明的实质的情况,将一些元件集成为一个组合元件和/或将元件划分为多个单独元件的实施例被包括在本发明的范围内。

一些元件对于本发明中的实质功能而言不是必须的,并且可以是仅用于改善性能的可选组成部分。本发明可通过仅包括除了仅用于改善性能的组成部分之外的对本发明的实施例必不可少的组成部分来被实现。仅包括除了仅用于改善性能的可选组成部分之外的必不可少的组分的结构属于本发明的范围。

图像划分单元110可将输入图像划分为至少一个块。此时,块可指的是编码单元(cu)、预测单元(pu)或变换单元(tu)。所述划分可基于四叉树或二叉树中的至少一个被执行。四叉树是将上部块划分为宽度和高度都为上部块的一半的的子块的方法。二叉树是将上部块划分为宽度或高度为上部块的一半的子块的方法。块可具有非正方形形状以及基于上述四叉树或二叉树的划分的正方形形状。

在本发明的实施例中,cu可被用于不仅指的是编码的单元而且指的是解码的单元。

预测单元120和125可包括用于执行帧间预测的帧间预测单元120以及用于执行帧内预测的帧内预测单元125。预测单元120和125可确定在pu上执行帧间预测和帧内预测中的哪一个,并且可确定所确定的预测方法的特定信息(例如,帧内预测模式、运动矢量和参考画面)。这里,对其执行预测的处理单元可与对其确定预测方法及其特定信息的处理单元不同。例如,预测方法和预测模式可针对每个pu来被确定,而预测可针对每个tu来被执行。

生成的预测块与原始块之间的残差值(残差块)可被输入到变换单元130。此外,用于预测的预测模式信息、运动矢量信息等可与残差值一起被熵编码单元165编码,并且可被发送到解码设备。当使用特定编码模式时,原始块可在不通过预测单元120和125生成预测块的情况下被编码并且被发送到解码设备。

帧间预测单元120可基于关于当前图像的先前图像和当前图像的后续图像中的至少一个图像的信息来预测pu。在这些情况下,帧间预测单元120可基于当前画面中的部分编码区域的信息来预测pu。帧间预测单元120可包括参考图像插值单元、运动信息生成单元以及运动补偿单元。

可由存储器155向参考图像插值单元提供参考图像信息,并且参考图像插值单元可生成小于或等于参考图像上的整像素的像素信息。在亮度像素的情况下,具有可变滤波器系数的基于dct的8抽头插值滤波器可被用于以1/4像素为单位生成小于或等于整像素的像素信息。在色度像素的情况下,具有可变滤波器系数的基于dct的4抽头插值滤波器可被用于以1/8像素为单位生成小于或等于整像素的像素信息。

运动信息生成单元可基于由参考图像插值单元插值的参考图像来生成运动信息。这里,运动信息指的是运动矢量、参考图像索引、预测方向等。作为用于估计运动矢量的方法,可使用诸如fbma(基于全搜索的块匹配算法)、tss(三步搜索)和nts(新三步搜索算法)的各种方法。此外,运动矢量可具有基于插值像素的1/2像素单位或1/4像素单位的运动矢量值。在帧间预测中,当前预测单元可通过以不同的方式生成运动信息来被预测。作为运动信息生成方法,可使用诸如使用相邻块的运动矢量的合并方法和运动估计方法(例如,amvp(自适应运动矢量预测))的各种方法。

例如,图3是示意性示出根据本发明的实施例的运动估计方法的框图。当已经被编码和解码的参考图像中的与预测块相同或相似的参考块已被确定时,运动估计将根据所述确定来确定当前块的运动矢量、参考图像索引和帧间预测方向。

当使用amvp方法时,编码设备可通过对在当前块中估计的运动矢量进行预测来生成预测运动矢量(mvp:运动矢量预测),并且可对运动矢量与生成的预测运动矢量之间的差值(mvd:运动矢量差)进行编码。

使用相邻块的运动矢量的方法是将与当前块相邻的相邻块的运动信息应用于当前块。在这种情况下,相邻块可包括与当前块相邻的空间相邻块以及存在于与当前块相同的位置并且被包括在参考图像中的时间相邻块。编码设备可通过将图4中示出的当前块的相邻块(空间相邻块:a至e,时间相邻块:col)的运动信息应用于当前块来确定当前块的运动信息。在此,col表示具有与当先块相同或相似的位置并且存在于参考图像中的块。

帧内预测单元125可基于当前块周围的参考像素信息生成预测单元,所述参考像素信息是当前图像中的像素信息。在当前预测单元的相邻块是对其执行帧间预测的块并且参考像素是通过执行帧间预测重构的像素的情况下,包括在对其执行帧间预测的块中的参考像素可被对其执行帧内预测的块的参考像素信息代替。也就是说,当参考像素不可用时,不可用的参考像素信息可被可用的参考像素中的至少一个代替。

在帧内预测中,预测模式可具有根据预测方向来使用参考像素信息的方向预测模式以及在执行预测时不使用方向信息的非方向模式。用于预测亮度信息的模式可与用于预测色度信息的模式不同。用于预测亮度信息的帧内预测模式信息或预测的亮度信号信息可被用于预测色度信息。

在帧内预测方法中,预测块可通过根据预测模式将自适应帧内平滑(ais)滤波器应用于参考像素来被生成。可将不同类型的ais滤波器应用于参考像素。在帧内预测方法中,当前pu的帧内预测模式可通过与当前pu相邻的pu的帧内预测模式来被预测。在使用从相邻pu预测的模式信息来预测当前pu的预测模式的过程中,当当前pu和相邻pu具有相同的帧内预测模式时,指示当前pu和相邻pu具有相同预测模式的信息可使用预定的标志信息来被发送。当当前pu和相邻pu具有不同的预测模式时,关于当前块的预测模式的信息可通过熵编码来被编码。

此外,包括残差信息的残差块可被生成,所述残差信息是已经基于通过预测单元(120、125)生成的预测单元所预测的预测单元与预测单元的原始块之间的差值。生成的残差块可被输入到变换单元130。

变换单元130可使用诸如dct、dst、卡洛变换(karhunenloevetransform,klt)等的变换方法来对包括残差数据的残差块进行变换。在这种情况下,变换方法可基于用于生成残差块的预测单元的帧内预测模式来被确定。例如,根据帧内预测模式,dct可被用于水平方向,并且dst可被用于竖直方向。

量化单元135可对通过变换单元130变换到频域的值进行量化。量化系数可根据块或图像的重要性而改变。通过量化单元135计算的值可被提供给反量化单元140和重新排序单元160。

变换单元130和/或量化单元135可被选择性地包括在图像编码设备100中。也就是说,图像编码设备100可对残差块的残差数据执行变换或量化中的至少一者,或者可通过跳过变换和量化两者来对残差块进行编码。即使在图像编码设备100中不执行变换或量化或者变换和量化两者都不被执行,输入熵编码单元165的输入的块通常也被称作变换块。

重新排序单元160可相对于量化的残差值来对系数值进行重新排序。

重新排序单元160可通过系数扫描方法将二维(2d)块的系数改变为一维(1d)矢量。例如,重新排序单元160可使用预定的扫描类型将dc系数扫描为高频区域中的系数,并且将其变为一维矢量形式。

熵编码单元165可基于通过重新排序单元160获得的值执行熵编码。诸如指数哥伦布编码、上下文自适应可变长编码(cavlc)或上下文自适应二进制算术编码(cabac)的各种编码方法可被用于熵编码。

熵编码单元165可对来自重新排序单元160以及预测单元120和125的各种信息(诸如残差系数信息、块类型信息、预测模式信息、划分单元信息、预测单元信息、变换单元信息、运动矢量信息、参考图像信息、块的插值信息、滤波信息等)进行编码。在熵编码单元165中,变换块的系数可基于指示以变换块中的子块为单位系数的值是否为零的标志、指示所述系数的绝对值是否大于1的标志以及指示所述系数的绝对值是否大于2的标志来被编码。熵编码单元165仅针对非零系数对系数的符号进行编码。具有比2大的系数的绝对值的系数可通过从该绝对值中减去2来被编码。

熵编码单元165可对所述编码单元从重新排序单元160输入的系数值进行熵编码。

反量化单元140对通过量化单元135量化的值进行反量化,并且反变换单元145对通过变换单元130变换的值进行反变换。重构的块可通过将残差值加到预测的pu来被生成。残差值可由反量化单元140和反变换单元145来被生成。预测的pu可通过预测单元120和125的运动矢量预测单元、运动补偿单元和帧内预测单元来被预测。

滤波器单元150可包括去块滤波器、偏移单元和自适应回路滤波器(alf)中的至少一个。

去块滤波器可除去由重构的图像中的块之间的边界生成的块失真。是否将去块滤波器应用于当前块可基于包括在块的若干行或列中的像素来被确定。当去块滤波器被应用于块时,强滤波器或弱滤波器可根据所需的去块滤波强度而被应用。当在应用去块滤波器时执行水平滤波和竖直滤波时,可以以并行方式执行水平滤波和竖直滤波。

偏移单元可以以像素为单位将相对于原始图像的偏移应用到去块滤波后的图像。在将图像的像素划分为预定数量的区域之后,可确定应用偏移的区域。考虑到每个像素的边缘信息或者将偏移应用于所确定的区域的方法,可将偏移应用到所确定的区域。

alf可基于滤波后重构的图像与原始图像的比较结果来执行滤波。包括在图像中的像素可被划分为预定的组,将被应用于每个组的滤波器可被确定,并且差分滤波可针对每个组来被执行。关于是否应用alf的信息可由每个编码单元(cu)来传送,并且将被应用于每个块的alf的形状和滤波器系数可改变。此外,无论块的特性如何,都可将具有相同形式(固定形式)的alf应用于所述块。

存储器155可存储从滤波器单元150输出的重构的块或图像,并且当执行帧间预测时,可将存储的重构的块或图像提供给预测单元120和125。

图2是根据本发明的实施例的图像解码设备的框图。

参照图2,图像解码设备200可包括熵解码单元210、重新排序单元215、反量化单元220、反变换单元225、预测单元230和235、滤波器单元240以及存储器245。

当从图像编码设备输入图像比特流时,输入的比特流可按照与图像编码设备中的过程相反的过程来被解码。

熵解码单元210可按照与在图像编码设备的熵编码单元中执行熵编码的过程相反的过程来执行熵解码。例如,诸如指数哥伦布、上下文自适应可变长编码(cavlc)和上下文自适应二进制算术编码(cabac)的各种编码方法可根据由图像编码设备执行的方法来被应用。在熵解码单元210中,变换块的系数可基于指示以变换块中的子块为单位系数的值是否为零的标志、指示系数的绝对值是否大于1的标志以及指示系数的绝对值是否大于2的标志来被解码。然后,熵解码单元210对与非零系数有关的系数的符号进行解码。绝对值比2大的系数可通过减去2来被解码。

熵解码单元210可对与通过编码设备执行的帧内预测和帧间预测相关联的信息进行解码。

重新排序单元215可对由熵解码单元210熵解码的比特流执行重新排序。重新排序单元215可将1d矢量的系数重构并重新排序为2d块的系数。重新排序单元215可被提供有关于由编码设备执行的系数扫描的信息,并且可基于由编码设备执行的扫描顺序使用反向扫描系数的方法执行重新排序。

反量化单元220可基于量化参数和块的重新排序的系数来执行反量化。

反变换单元225可基于预定变换类型执行对反量化的变换系数的反变换。此时,变换类型可基于预测模式(帧间预测/帧内预测)、块的大小/形状、帧内预测模式中的至少一个来被确定。

预测单元230和235可基于用于生成预测块的信息以及关于提供的先前解码的块或图像的信息来生成预测块。用于生成预测块的信息可从熵解码单元210被提供。关于先前解码的块或图像的信息可从存储器245被提供。

预测单元230和235可包括pu确定单元、帧间预测单元和帧内预测单元。pu确定单元可从熵解码单元210接收各种信息(诸如pu信息、帧内预测方法的与帧内预测模式相关的信息、帧间预测方法的与运动预测相关的信息等),可确定用于当前cu的pu。pu确定单元可确定对pu执行帧间预测和帧内预测中的哪一个。帧间预测单元230可基于关于包括当前pu的当前图像的先前图像和后续图像中的至少一个图像的信息来对当前pu执行帧间预测。帧间预测单元230可使用从编码设备提供的当前pu的帧间预测所需的信息。帧间预测可基于包括当前pu的当前图像中的预重构的局部区域的信息来被执行。

为了执行帧间预测,可以以cu为单位确定用于包括在cu中的pu的运动信息生成法是合并模式法还是运动估计法。

帧内预测单元235可基于当前图像中的像素信息来生成预测块。当pu是对其执行帧内预测的pu时,帧内预测可基于从编码设备提供的关于pu的帧内预测模式信息来被执行。帧内预测单元235可包括ais(自适应帧内平滑)滤波器、参考像素插值单元和dc滤波器。ais滤波器对当前块的参考像素执行滤波。ais滤波器可根据用于当前pu的预测模式决定是否应用所述滤波器。可使用用于pu的预测模式以及从编码设备提供的关于ais滤波器的信息来对当前块的参考像素执行ais滤波。当用于当前块的预测模式是不执行ais滤波的模式时,可不应用ais滤波器。

当用于pu的预测模式指示基于通过对参考像素进行插值而获得的像素值执行帧内预测的预测模式时,参考像素插值单元可通过对参考像素进行插值来生成以比整像素(即,全像素)小的分数像素为单位的参考像素。当用于当前pu的预测模式指示在不对参考像素进行插值的情况下生成预测块的预测模式时,参考像素可不被插值。当用于当前块的预测模式是dc模式时,dc滤波器可通过滤波生成预测块。

重构的块或图像可被提供到滤波单元240。滤波单元240包括去块滤波器、偏移单元和alf。

图像编码设备可提供关于去块滤波器是否被应用于相应的块或图像的信息以及关于当去块滤波器被使用时强滤波器和弱滤波器中的哪一个被应用的信息。可通过图像编码设备向图像解码设备的去块滤波器提供关于去块滤波器的信息,并且图像解码设备的去块滤波器可对相应的块执行去块滤波。

偏移单元可基于关于在编码处理中应用于画面的偏移类型和偏移值的信息来将偏移应用于重构的画面。

alf可基于关于alf是否被应用的信息以及从编码设备提供的alf系数信息等而被应用于cu。alf信息可包括并设置在特定参数集合中。

存储器245可存储重构的图像或块以用作参考图像或参考块,并且可向输出单元提供重构的图像。

图5是示出在包括当前块的当前图像与参考图像之间的亮度变化图案的示图。

在用于当前块的帧间预测的情况下,当前图像与参考图像之间的亮度变化越大,当前块与参考图像中将被选择的预测块之间的亮度变化越大。因此,可预期当前块的残差信号的能量随着由于当前块的帧间预测导致的误差增大而增大。并且,随着残差信号的能量增大,可预期由于量化导致的误差也增大。结果,与不存在亮度变化的情况相比,当在当前图像与参考图像之间存在亮度变化时,针对残差块的误差将增大。

相应地,在本发明中,提出了一种通过估计图像之间的亮度变化来生成权重预测参数并且使用权重预测参数来执行帧间预测的方法。通过在帧间预测中使用权重预测参数,可防止残差块的能量急剧增大并且提高预测效率。

可考虑考虑当前图像与参考图像的亮度变化(诸如淡入或淡出)来生成权重预测参数。然而,当通过仅考虑以上因素来确定权重预测参数时,难以应对当前图像与参考图像的亮度通过多个光源被改变或者仅当前图像中的局部区域的亮度发生改变的情况。相应地,在本发明中,考虑到亮度通过多个光源改变的情况或者仅局部区域的亮度发生改变的情况,还提出了用于估计权重预测参数的方法。

在下文中,将参照附图详细描述使用权重预测参数的帧间预测。

图6是示出在图像编码设备中估计权重预测参数的方法的流程图。

权重预测参数可基于当前图像与参考图像之间的亮度变化来被生成。为了便于解释,在以下实施例中,基于当前图像与参考图像之间的亮度变化而生成的权重预测参数被称作“第一权重预测参数”,并且基于当前图像的一部分与参考图像的一部分之间的亮度变化而生成的权重预测参数被称作“第二权重预测参数”。权重预测参数的语言“第一”和“第二”仅为了便于描述而被应用,并非限制第一权重预测参数和第二权重预测参数应具有不同属性。

在对图像进行编码之前,编码设备可使用当前图像和参考图像来估计参考图像的第一权重预测参数(s601)。例如,编码设备可将第一权重预测参数分配给包括在参考图像列表中的多个参考图像中的每个。

第一权重预测参数是基于参考图像与当前图像之间的亮度变化而生成的值。

当在当前块的帧间预测中使用第一权重预测参数时,预测块可基于由运动矢量指示的参考块以及用于包括参考块的参考图像的第一权重参数来被生成。

第一权重预测参数可包括乘以预测像素的乘法参数或加上预测像素的加法参数中的至少一个。此时,乘法参数和加法参数可基于回归分析而被导出。例如,下面的式(1)示出了回归分析模型的示例。

[式(1)]

e2=∑[y-(wx+o)]2

在式(1)中,y表示当前图像的数据,x表示参考图像的数据,w表示回归线的斜率,o表示回归线的截距值,e表示回归线预测误差。在这种情况下,y是当前图像的像素值,并且当前图像的整体或一部分可以是范围。x可以是参考图像的像素值,并且参考图像的整体或一部分可以是范围。

第一权重预测参数可通过分别将式(1)部分地分化成w和o来被获得。例如,当式(1)被部分地分化成w和o时,使误差(e)的平方最小化的w和o可分别被设置为乘法参数和加法参数。

基于式(1)计算的第一权重预测参数值可具有实数值。第一权重预测参数可被设置为基于式(1)计算的实数值或通过对基于式(1)计算的实数值进行整数化而获得的整数值。在一个示例中,第一权重预测参数可被导出为通过将基于式(1)计算的实数值乘以2n而获得的整数值。可在逐个块、逐个区域或在上部报头中对用于对第一权重预测参数进行整数化的变量n进行编码。

当第一权重参数被确定时,编码设备可根据第一权重参数是否被应用来计算代价(s602)。例如,编码设备可计算当前图像与将第一权重参数作为整体应用的参考图像之间的绝对差的和(sad)以及未应用第一权重参数的参考图像与当前图像之间的sad。如果应用第一权重参数的参考图像的sad比未应用第一权重参数的参考图像的sad小,则可确定在当前图像和参考图像之间存在亮度变化。相反,如果应用第一权重参数的参考图像的sad比未应用第一权重参数的参考图像的sad大,则可确定不存在亮度变化(s603)。

除了以上描述的sad以外,还可使用平方差的和(ssd)或绝对变换差的和(satd)来执行代价计算。

如果确定在当前图像与参考图像之间不存在亮度变化(s603),则可确定在针对当前图像的帧间预测中不使用权重预测参数。相应地,帧间预测可在不使用权重参数的情况下被用于包括在当前图像中的当前块。

另一方面,如果确定在当前图像与参考图像之间存在亮度变化(s603),则可执行导出用于当前图像的每个预定区域的第二权重参数的处理。例如,可通过将包括在当前图像的预定区域中的块的像素值与包括在参考图像的区域中的块的像素值进行比较,来获得用于当前图像中的预定区域的第二权重参数。在此,参考图像的区域对应于与当前图像中的预定区域相同的位置。

为了计算用于当前图像中的预定区域的第二权重预测参数,可将当前图像和参考图像划分为多个区域(s604)。可将当前图像和参考图像划分为具有相同大小的多个块。可以以相同的方式对当前图像和参考图像进行划分,以使得当前图像和参考图像中的块的数量以及所述块的位置可被设置为相同。

然后,编码设备可基于当前图像和参考图像中的每个块的像素值来确定当前图像中是否包括在当前图像中出现局部亮度变化的至少一个区域(s605)。

在步骤s605,所述至少一个区域可由具有相同或近似的像素值比率的块的集合组成。例如,如果在当前图像中划分的第一块的平均像素值是100并且在参考图像中划分的第一块的平均像素值是80,则当前图像中的第一块与参考图像中的第一块之间的亮度差是1.25倍。编码设备可对相对于参考块具有1.25倍亮度差的块进行分组,或者将相对于第一块具有近似于1.25倍亮度差的块进行分组。如此,通过对具有相同或近似的亮度差的块进行分组,可识别出存在局部亮度变化的区域。

也就是说,编码设备可将包括在当前图像中的块的像素值与包括在参考图像中的像素值进行比较,并且可对具有相同或近似的像素值比率的块进行分组。分组的块可被视为单个区域。

编码设备可生成用于包括在当前图像中的至少一个区域的第二权重预测参数(s606)。如果在当前图像中存在多个区域,则可生成多个第二权重预测参数。每个区域可被生成为具有近似的像素值比率的块的集合。

可使用式(1)来获得用于每个区域的第二权重预测参数。在这种情况下,y可以是第二权重预测参数将被估计的当前图像中的预定区域的数据,并且x可以是参考图像中的区域的数据。在此,参考图像中的区域可以是与当前图像中的预定区域位置相同的区域。例如,y可以是预定区域内的像素值,并且所述区域的全部或一些可以是范围,并且x可以是相同位置区域内的像素值,并且所述区域的全部或一些可以是范围。基于式(1)计算的第二权重预测参数值可具有实数值。第二权重预测参数可被设置为基于式(1)计算的实数值或者被设置为通过对基于式(1)计算的实数值进行整数化而获得的值。在一个示例中,第二权重预测参数可被导出为整数值,所述整数值通过将基于式(1)计算的实数值乘以2n被导出。可在逐个块、逐个区域或在上部报头中对用于对第二权重预测参数进行整数化的变量n进行编码。具有与用于对第一权重预测参数进行整数化的n相同的值并且使用不同的n也是可行的。

图7是示出使用权重参数对预测块执行率失真优化(rdo)的示例的示图。

如图6所示,当在当前图像与参考图像之间存在亮度变化时,编码设备可获得第一权重预测参数,并且当存在当前图像中出现局部亮度变化的区域时,编码设备可获得第二权重预测参数(s701)。也就是说,根据当前图像与参考图像之间是否存在亮度变化或者是否存在局部亮度变化,编码设备可获得可被应用于当前块的权重预测参数候选(诸如,第一权重预测参数或第二权重预测参数)。

如果在当前块与参考图像之间存在亮度变化,则用于当前块的权重预测参数候选可包括第一权重预测参数。此外,当存在当前图像中出现局部亮度变化的区域时,针对当前块的权重预测参数候选还可包括第二权重预测参数。如果存在用于当前图像的多个第二权重预测参数,则权重预测参数候选可包括多个第二权重预测参数。

编码设备可将加权参数集合作为加权预测参数候选应用于当前块,并计算相应的代价(s702)。然后,编码设备可基于计算结果确定用于当前块的最佳权重预测参数(s703)。

对用于当前块的权重预测参数进行确定与在多个权重预测参数候选中选择表现出当前块的最佳帧间预测性能的一个相对应。例如,如果针对参考图像导出第一权重预测参数并且针对当前图像中的预定区域导出第二权重预测参数,则可在第一权重预测参数和第二权重预测参数中选择出用于当前块的最佳权重预测参数。

为了该目的,编码设备可通过对权重预测参数候选中的每个的帧间预测的结果进行比较来选择最佳权重预测参数。例如,编码设备可根据用于当前块的第一权重预测参数和多个第二权重参数的帧间预测性能结果,来确定当前块的最佳权重预测参数。

还可通过将使用权重预测参数候选执行帧间预测的结果与未使用权重预测参数候选执行帧间预测的结果进行比较,来确定是否使用权重预测参数执行帧间预测。

在上述示例中,描述了权重预测参数包括第一权重预测参数,并且在一些情况下,权重预测参数还可包括第二权重预测参数。与上述示例相反,仅当第二权重预测参数不可用时或者当第二权重预测参数的数量等于或小于预定数量时,第一权重预测参数才可被用作权重预测参数候选。

权重预测参数候选可具有固定的数量或可具有可变的数量。当权重预测参数候选的数量是可变的时,编码设备可通过比特流(例如,上部报头)对指示用于当前块的可用权重预测参数候选的数量的信息进行编码。此时,权重预测参数候选的数量可根据当前块的大小或深度被可变地设置。相应地,编码设备可通过比特流(例如,上部报头)对关于可根据块的大小信息或深度信息而被使用的权重预测参数候选的数量的信息进行编码。

作为另一示例,编码设备和解码设备可限定通过预定条件来使用相同数量的权重预测参数候选。例如,权重预测参数候选的数量可根据当前块的大小、形状或帧内预测模式来被自适应地确定。假设可用权重预测参数的数量是5。当当前块的大小是8x8或者更小时,五个权重预测参数候选可被使用。当当前块的大小是16x16时,四个权重预测参数候选可被使用。当当前块的大小是32x32时,三个权重预测参数候选可被使用。当当前块的大小是64x64时,两个权重预测参数候选可被使用。

如果没有针对当前图像获得第二权重预测参数使,则可使用第一权重预测参数对当前块进行编码。此外,如果在当前图像与参考图像之间不存在亮度变化,则可在不使用权重预测参数的情况下对当前块进行编码,或者可使用初始权重预测参数对当前块进行编码。

初始权重预测参数指的是将乘法参数和加法参数设置为初始值。这里,乘法参数的初始值和加法参数的初始值可分别为1和0。作为另一示例,乘法参数的初始值可被设置为1<<n,并且加法参数的初始值可被设置为零。

在上述示例中,当在当前图像与参考图像之间不存在亮度变化时,初始权重预测参数可被示出为被使用。即使当在当前图像与参考图像之间存在亮度变化时,也可使用初始权重预测参数对当前块进行编码。在这种情况下,为了选择初始权重预测参数,可将初始权重预测参数添加为权重预测参数候选。通过将初始权重预测参数添加为权重预测参数候选,可向初始权重预测参数分配新的索引。在这种情况下,分配给初始权重预测参数的索引可通过比特流被编码或者可具有预定值。

此外,通过使用包括第一权重预测参数、第二权重预测参数和初始权重预测参数的权重预测参数候选来执行rdo,可在第一权重预测参数、第二权重预测参数和初始预测参数中指定适合于当前块的权重预测参数。

接下来,将描述对与权重预测参数相关的信息进行编码的方法。

图8是示出对与用于当前块的权重预测参数相关的信息进行编码的方法的流程图。

参照图8,编码设备可对关于用于当前图像的每个参考图像是否存在亮度变化的信息进行编码(s801)。是否使用权重预测参数取决于是否存在亮度变化,因此所述信息可被用于指示在比特流中是否存在权重预测参数。此时,关于是否存在亮度变化的信息可以是1比特的标志,但不限于此。此外,关于是否存在亮度变化的信息可以以预测块为单位被编码,或者可在比预测块高的报头中被编码。在一个示例中,可以以序列、画面、条带、并行块(tile)为单位对信息进行编码。基于来自比特流的待解码的信息,解码设备可确定在当前图像与参考图像之间是否存在亮度变化。

当在当前图像与参考图像之间不存在亮度变化时,编码设备不执行对与用于当前块的权重预测参数相关的信息的编码。

另一方面,如果在当前图像与参考图像之间存在亮度变化(s802),则编码设备可对第一权重预测参数以及关于当前图像是否包括具有至少一个第二权重预测参数的区域的信息进行编码(s803、s804)。当当前图像包括分配了第二权重预测参数的区域时,另外对关于第二权重预测参数的信息进行编码。因此,所述信息可被用于指示是否存在除了第一权重预测参数以外的其它权重预测参数。这里,关于当前图像是否包括用于导出第二权重预测参数的至少一个区域的信息可以是1比特的标志,但不限于此。此外,可通过比预测块高的报头对关于是否存在亮度变化的信息进行编码。在一个示例中,可以以序列、画面、条带或并行块为单位对信息进行编码。

如果确定当前图像包括分配了至少一个第二权重预测参数的至少一个区域(s805),则编码设备可对用于包括在当前图像中的m个区域中的每个区域的第二权重预测参数进行编码(s806)。

关于第一权重预测参数和第二权重预测参数的信息可以以预测块为单元被编码,或者可在比预测块高的报头中被编码。例如,关于第一权重预测参数和第二权重预测参数的信息可以以序列、画面、条带单元或并行块为单位被编码。

还可在不同层中对第一权重预测参数和第二权重预测参数进行编码。例如,第一权重预测参数可基于视频被编码,并且第二权重预测参数可基于条带被编码。

第一权重预测参数和第二权重预测参数可包括乘法参数和加法参数。此时,乘法参数可被划分为基于乘法参数的精度n确定的预测值以及乘法参数与预测值之间的差值。例如,1<<n可被设置为乘法参数的预测值,并且乘法参数与预测值(1<<n)之间的差可被设置为差值。编码设备可通过对差值进行编码来对关于乘法参数的信息进行编码。当前块的精度n可以以块、条带或画面为单位被编码,并且可通过比特流被传送到解码设备。

可选地,还可以相同的方式在编码设备中和解码设备中确定当前块的精度n。例如,当前块的精度n可根据当前块的大小、类型等被自适应地确定。

如果确定当前图像不包括分配了至少一个第二权重预测参数的区域,则可省略针对第二权重预测参数的编码。

可在逐个块或在上部报头中对关于包括在当前块中的区域的数量(即,

第二权重预测参数的数量或能够导出第二权重预测参数的区域的数量)的信息“m”进行编码。可选地,基于预定条件,编码设备和解码设备可以以相同的方式来确定包括在当前块中的区域的数量。

如果确定当前图像包括至少一个用于导出第二权重预测参数的区域,则可对指示多个权重预测参数候选中的当前块的权重预测参数的索引信息进行编码(s807)。此时,索引信息可以以预测块为单位被编码。

作为另一示例,编码设备可对识别出导出权重参数和权重预测参数的区域的信息进行编码。例如,编码设备可对导出第二权重预测参数和第二权重参数的区域的位置或大小进行编码。编码设备可对分配给所述区域的索引进行编码。

假设权重预测参数候选的索引从索引0开始,则索引信息将指示0至权重预测参数候选的数量-1中的任意一个。这里,如上述示例中所述,权重预测参数候选的数量可具有固定的值,或者可具有可变的值。

多个权重预测参数候选可包括第一权重预测参数、第二权重预测参数或初始权重预测参数中的至少一个。

接下来,将详细描述在解码设备中对关于权重预测参数的信息进行解码的示例。

图9是示出在解码设备中对权重预测参数进行解码的示例的示图。参照图9,解码设备可对来自比特流的指示每个参考图像的亮度与当前图像相比是否已经发生改变的信息进行解码(s901)。

基于所述信息,解码设备可确定针对当前块是否存在第一权重预测参数(s902)。例如,如果基于所述信息确定在当前图像与参考图像之间不存在亮度变化,则解码设备可不对与权重预测参数相关的信息进行解码。

另一方面,如果确定在当前图像与参考图像之间存在亮度变化(s902),则解码设备可对第一权重预测参数以及指示当前图像是否包括至少一个能够导出第二权重预测参数的区域的信息进行解码(s903,s904)。

如果当前图像中包括至少一个能够导出第二权重预测参数的区域,则解码设备可对来自比特流的与第二权重预测参数相关的信息进行解码(s905)。基于所述信息,解码设备可确定针对当前块是否存在第二权重预测参数。

如果当前图像中存在能够导出第二权重预测参数的多个(m个)区域,则解码设备可对关于m个第二权重预测参数的信息进行解码(s906)。

此时,关于第一权重预测参数和第二权重预测参数的信息可以以预测块为单位被解码,或者在比预测块高的报头中被解码。例如,关于第一权重预测参数和第二权重预测参数的信息可以以序列、画面、条带单元或并行块为单位被解码。

第一权重预测参数和第二权重预测参数可以在不同的层中被解码。例如,第一权重预测参数可基于视频被解码,而第二权重预测参数可基于条带被解码。

第一权重预测参数和第二权重预测参数可包括乘法参数和加法参数。此时,根据关于乘法参数的精度n,解码设备可对指示乘法参数与乘法参数的预测值之间的差值的信息进行解码。如果用于乘法参数的精度是n,则可将(1<<n)设置为乘法参数的预测值。

此后,解码设备可对指定多个权重预测参数候选中的当前块的权重预测参数的索引信息进行解码(s907)。当用于当前块的权重预测参数通过索引信息被指定时,当前块的帧间预测可基于指定的权重预测参数被执行。

具体地,解码设备可通过对当前块执行帧间预测来获得第一预测像素,并且通过将权重预测参数应用到获得的第一预测像素来获得第二预测像素。在一个示例中,可通过将第一预测像素乘以乘法参数并加上加法参数来获得第二预测像素。

作为另一示例,解码设备可对权重预测参数以及识别出导出权重预测参数的区域的信息进行解码。例如,解码设备可对第二权重预测参数以及分配了第二权重预测参数的区域的位置或大小进行解码。解码设备可对分配给所述区域的索引进行解码。在这种情况下,解码设备可根据当前块是否被包括在分配了第二权重预测参数的区域中来自适应地选择权重预测参数。例如,当当前块被包括在未被分配第二权重预测参数的区域中时,解码设备可使用第一权重预测参数来选择用于当前块的权重预测参数。另一方面,当当前块包括在分配了第二权重预测参数的区域中时,解码设备可使用分配给包括当前块的所述区域的第二权重预测参数来对当前块执行帧间预测。

在上述实施例中,第一权重预测参数是否可被用作权重预测参数候选是基于指示在当前图像与参考图像之间是否存在亮度变化的信息来被确定的。已经描述了第二权重预测参数是否可被用作权重预测参数候选是根据当前块是否包括能够导出权重预测参数的区域来被确定的。也就是说,是否将第二权重预测参数添加到权重预测参数候选是根据当前图像是否包括能够导出权重预测参数的区域来被确定的。

与上述示例相反,当在当前图像与参考图像之间存在亮度变化时,编码设备将可用的权重预测参数候选的数量确定为可获得的权重预测参数候选的数量(而不是指示当前图像是否包括第二权重预测参数的信息),或者可对所述可用的权重预测参数候选的数量进行编码。

在这种情况下,解码设备可基于接收到的数量信息对至少一个或更多个权重预测参数候选进行解码。例如,当可用的权重预测参数的数量为n时,则权重预测参数候选可使用一个第一权重预测参数和(n-1)个第二权重预测参数来被配置。

在上述实施例中,权重预测参数包括第一权重预测参数和第二权重预测参数,第一权重预测参数是通过当前图像与参考图像之间的亮度差来被生成的,第二权重预测参数是通过当前图像中的部分区域与参考图像中的部分区域之间的亮度差来被生成的。然而,以上描述的第一权重预测参数和第二权重预测参数仅是生成权重预测参数的实施例的说明,并且本发明不限于此。

接下来,将详细描述使用权重预测参数集合执行帧间预测的方法。

图6和图10是示出在编码设备中使用权重预测参数的方法的流程图。

编码设备可基于在待编码的当前块之前编码的块的权重预测参数来生成用于当前块的权重预测参数集合(s6s1001)。这里,权重预测参数集合可包括在当前块之前编码的块中使用帧间预测的块的权重预测参数。

编码设备可基于在当前块之前编码的块中的与当前块相邻的相邻块中使用的权重预测参数来生成权重预测参数集合。这里,与当前块相邻的相邻块可包括空间相邻块和时间相邻块。例如,空间相邻块可包括与当前块相邻的左上部的块、上部的块、右上部的块、左部的块和左下部的块,并且当前块的时间相邻块可包括存在于与当前块的位置相同的同位块(collocatedblock)。同位块存在于参考图像中。

编码设备可基于用于在当前块之前编码的重构的块的权重预测参数以及与重构的块相对应的预测块的权重预测参数来构建权重预测参数集合。

权重预测参数可根据帧间预测方向被不同地设置。例如,前向权重预测参数可在待编码的块执行前向预测时被使用,并且后向权重预测参数可在待编码的块执行后向预测时被使用。在通过执行双向预测来对块进行编码的情况下,前向权重预测参数和后向权重预测参数两者都可被使用。在这种情况下,向前的方向指示作为当前图像的过去的参考图像(即,具有比当前图像的画面顺序计数(poc)小的poc的参考图像),并且相反的方向指示作为当前图像的未来的参考图像(即,具有比当前图像的poc大的poc的参考图像)。

基于当前块的帧间预测方向,编码设备可通过使用用于相邻块的前向权重预测参数和后向权重预测参数中的至少一个来构建当前块的权重预测参数集合。

图7和图11是示出与当前块相邻的相邻块的权重预测参数的示图。

在图7和图11所示的示例中,a至e表示当前块的空间相邻块,并且col表示当前块的时间相邻块。关于a至e和col的位置请参照图4中所示的示例。

参照图7和图11,相邻块具有前向权重预测参数(即,分配给list0的权重参数)和后向权重预测参数(即,分配给list1的权重参数)中的至少一个。

根据当前块的预测方向,编码设备可确定将被包括在权重预测参数集合中的相邻块的权重预测参数。例如,如果当前块通过前向预测被编码,则权重预测参数集合可使用相邻块的前向权重预测参数来被构建,并且如果当前块通过后向预测被编码,则权重预测参数集合可使用相邻块的后向权重预测参数来被构建。如果当前块使用双向预测被编码,则权重预测参数集合可使用相邻块的前向权重预测参数和后向权重预测参数来被构建。

例如,在图7和图11所示的示例中,如果当前块在前向预测中被编码,则可将相邻块的前向权重预测参数(65,1)、(64,2)、(66,-2)、(61,7)、(59,-2)包括在权重预测参数集合中。

这里,权重预测参数可包括乘以预测样本的乘法参数或者加上预测样本的加法参数中的至少一个。在图7和图11中,权重预测参数以(w,o)的形式来被表示。这里,w表示乘法参数,o表示加法参数。

编码设备可从包括在权重预测参数集合中的权重预测参数中为当前块选择最佳权重预测参数(s6s1002)。当用于当前块的最佳权重预测参数被选择时,编码设备可对用于指定所选择的权重预测参数的信息(例如,索引信息)进行编码。

当最佳权重预测参数被选择时,用于当前块的帧间预测可基于所选择的权重预测参数被执行(s6s1003)。例如,当前块的帧间预测可通过将经由运动补偿而获得的预测像素乘以乘法参数并随后加上加法参数来被执行。

如果预测块被生成为针对当前块的帧间预测结果,则当前块可基于在反量化和反变换之后生成的预测块和残差块来被重构(s6s1004)。

假设与当前块相邻的待编码的块基于帧间预测被编码,则相邻块的权重预测参数集合可使用当前块的权重预测参数来被生成。此时,可用于相邻块的当前块的权重预测参数可以是从当前块的权重预测参数集合中选择的任意一个。

作为另一示例,可通过当前块的重构块和预测块来估计可用于相邻块的当前块的权重预测参数。在这种情况下,编码设备可对当前块执行加权的预测参数估计,以便对当前块的相邻块的权重预测参数集合进行配置(s6s1005)。

重构块相对于原始块具有量化误差,但是重构块中的亮度变化特性具有与原始块的图案类似的图案。相应地,在解码设备中,用于当前块的权重预测参数可使用当前块的重构块和预测块来被估计,以便以与编码设备相同的方式来估计权重预测参数。

具体地,如果为当前块生成了重构块,则可通过使用基于未应用权重预测参数的重构块和预测块的回归分析,来为相邻块估计当前块的权重预测参数。回归分析的示例如式(1)所示。

在式(1)中,y表示重构块的数据,x表示预测块的数据,w表示回归线的斜率,o表示回归线的截距值,e表示回归线预测的误差。具体地,y表示重构块的像素值,并且x表示预测块的像素值。

可通过分别将式(1)部分地分化成w和o来获得当前块的权重预测参数。例如,当分别将式(1)部分地分化成w和o时,使误差e的平方最小化的w和o可分别被导出为乘法参数和加法参数。

基于式(1)计算的权重预测参数可具有实数值。当前块的权重预测参数可被设置为基于式(1)计算的实数值,或者可被设置为通过对基于式(1)计算的实数值进行整数化而获得的整数值。在一个示例中,权重预测参数可被导出为通过将基于式(1)计算的实数值乘以2n而导出的整数值。用于对权重预测参数进行整数化的变量n可通过比特流被编码。可选地,可通过在编码设备和解码设备中使用相同值的预定的n值来对权重预测参数进行整数化。

在式(1)中,重构块中的全部像素被设置为针对x的输入范围,并且预测块中的全部像素可被设置为针对y的输入范围。作为另一示例,仅通过子采样的像素中的一些(而不是使用整个块的像素)可被用于估计当前块的权重预测参数。

例如,图8和图12是用于对仅一些像素被用于针对当前块的权重预测参数估计的示例进行解释的示图。假设当前块的重构块和预测块沿水平方向和竖直方向被1/2子采样,则四个样本(2x2)中的一个可被用作x的输入或y的输入。例如,在图8和图12所示的示例中,仅黑色像素可被用于回归分析。

在图8和图12所示的示例中,尽管位于2x2样本的左上部的样本被示出为被用于回归分析,但2x2像素中的右上部的像素、左下部的像素或右下部的像素都可被设置为被用于回归分析。可选地,索引信息可通过比特流被编码。索引信息可指示以上提及的位置中的哪一个被用于回归分析。

编码设备和解码设备可根据预定义的值执行子采样,或者可根据在预定义条件下获得的值来执行子采样。可选地,编码设备可对子采样单元m进行编码,并且可通过比特流对子采样单元m进行编码,从而通知解码设备已经执行了1/m子采样。

针对当前块估计的权重预测参数可被用于构建用于相邻块的权重预测参数集合。

当前块的权重预测参数集合可包括至少一个权重预测参数。包括在当前块的权重预测参数集合中的权重预测参数的最大数量可以是固定的数量,或者可以是取决于当前块的大小或类型或通过比特流发信号的信息的可变数量。在一个示例中,权重预测参数集合可包括的最大权重预测参数的最大数量p可通过比特流被编码。

在图7和图11中,尽管用于构建当前块的权重预测参数集合的块被限制于a至e和col,但是其它位置处的块也可被用于构建当前块的权重预测参数集合。

例如,编码设备可使用预定位置的块来生成当前块的权重预测参数集合。可选地,编码设备可使用任意位置的块来生成当前块的权重预测参数集合。编码设备可通过比特流来对指定被用于生成当前块的权重预测参数集合的块的位置的信息或者被用于生成当前块的权重预测参数集合的块进行编码。此时,指定块的位置的信息或所述块可通过比特流被编码。

如果权重预测参数集合包括多个权重预测参数,则权重预测参数可按预定顺序被布置。在一个示例中,权重预测参数可按照空间相邻块和时间相邻块的顺序被排序。相应地,在图7和图11中,在将a至e的权重预测参数添加到权重预测参数集合之后,col的权重预测参数可被添加到权重预测参数集合。作为另一示例,权重预测参数可按照与当前块的运动信息(例如,运动矢量)最类似的顺序被布置。可选地,可基于此向相邻的重构块和预测块导出的权重预测参数分配更高的优先级,并且可在权重预测参数集合中添加所述权重预测参数。相反,还可向相邻块的权重预测参数分配更高的优先级,并且可在权重预测参数集合中添加所述权重预测参数。

权重预测参数集合可包括初始权重预测参数集合。初始权重预测参数指的是乘法参数和加法参数被设置为初始值。这里,乘法参数的初始值和加法参数的初始值可分别为1和0。作为另一示例,乘法参数的初始值可被设置为1<<n,并且加法参数的初始值可被设置为零。

关于初始权重预测参数的信息可通过比特流被编码并被传送到解码设备。可选地,初始权重预测参数可在权重预测参数集合中被设置为具有固定的索引。在一个示例中,初始权重预测参数可在权重预测参数集合中被设置为具有索引0。

权重预测参数集合可包括基于图像导出的权重预测参数。这里,以图像为单位导出的权重预测参数集合可基于当前图像与当前图像的参考图像之间的亮度变化而被生成。例如,在图像单元中导出的权重预测参数可通过式(1)被导出。此时,当前图像中的全部像素被设置为针对x的输入范围,并且参考图像中的全部像素可被设置为针对y的输入范围。

关于图像单元的权重预测参数的信息可通过比特流被编码并被传送到解码设备。这里,关于权重预测参数的信息可包括权重预测参数值或用于权重预测参数的残差值。例如,在解码设备中,图像单元的权重预测参数可通过将权重预测参数的预测值和残差值相加来被获得。此时,权重预测参数的预测值可由用于当前块的精度n来被确定,并且残差值可基于将从比特流解码的信息来被确定。

此时,当前块的精度n可通过比特流被编码,并且通过比特流被传送到解码设备。

可选地,还可在编码设备和解码设备中以相同的方式确定当前块的精度n。例如,当前块的精度n可根据当前块的大小、形状等来被自适应地确定。

当图像单元的权重预测参数被包括在权重预测参数集合中时,分配给图像单元的权重预测参数的索引可通过比特流被编码或者可具有预定值。例如,假设权重预测参数集合包括多达六个权重预测参数,则初始权重预测参数可被设置为具有索引0,并且图像单元的权重预测参数可被设置为具有索引1。索引2至索引5可被用于从相邻块导出的权重预测参数。

当从相邻块导出的权重预测参数的数量比可被包括在权重预测参数集合中的最大数量小时,可将初始权重预测参数或图像单元的权重预测参数添加到权重预测参数集合中。例如,可被使用的权重预测参数的数量为四,但是如果不能从相邻块导出四个权重预测参数时,则可在权重预测参数集合中包括初始权重预测参数或图像单元的权重预测参数中的至少一个。在与当前块相邻的相邻块通过帧内预测被编码或者相邻块的权重预测参数由于当前块处于图像边界而不可用的情况下,不能从相邻块导出四个权重预测参数。

权重预测参数集合可包括通过将两个或更多个权重预测参数进行组合而生成的组合的权重预测参数。例如,当可从相邻块导出的权重预测参数的数量比可用的权重预测参数的数量小时,通过将两个或更多个权重预测参数进行组合而生成的组合的权重预测参数可被添加到权重预测参数集合。

假设权重预测参数由(w,o)组成,那么可考虑相邻块的预测模式或相邻块的预测方向来生成组合的权重预测参数。

例如,图9和图13示出了生成组合的权重预测参数的示例。

在图9和图13中,a至d表示与当前块相邻的相邻块,并且list0和list1分别表示当使用前向参考图像和后向参考图像时的相邻块的权重预测参数。

在图9和图13中,a通过执行前向预测而仅具有前向权重预测参数,并且d通过执行后向预测而仅具有后向权重预测参数。由于c执行双向预测,因此c具有前向权重预测参数和后向权重预测参数两者。b被示出为既不具有前向权重预测参数也不具有后向权重预测参数。在一个示例中,如果b通过帧内预测被编码,则b将不具有权重预测参数。

相应地,在图9和图13所示的示例中,可从a块和c块仅获得前向权重预测参数(即,针对list0的权重预测参数),并且可从c块和d块仅获得后向权重预测参数(即,针对list1的权重预测参数)。

假设当前块的权重预测参数集合可包括四个前向权重预测参数,则除了从相邻块导出的两个前向权重预测参数以外的剩余的两个前向权重预测参数可通过将两个或更多个前向权重预测参数进行组合来被生成。可选地,当假设当前块的权重预测参数集合可包括四个后向权重预测参数时,则除了从相邻块导出的两个后向权重预测参数以外的剩余的两个后向权重预测参数可通过将两个或更多个后向权重预测参数进行组合来被生成。在图9和图13中,b和d的前向权重预测参数通过将a和c的前向权重预测参数进行组合来被生成。a和b的后向权重预测参数通过将c和d的后向权重预测参数进行组合来被生成。

当组合的权重预测参数被添加到权重预测参数集合时,向组合的权重预测参数赋予的索引可通过预定优先级被确定。

如果即使将相邻块中的权重预测参数进行组合也不生成权重预测参数集合,则可将剩余的权重预测参数全部设置为初始权重预测参数。

图10和图14示出了在解码设备中对权重预测参数进行解码的示例。参照图10和图14,解码设备可基于在当前块之前解码的块中的与当前块相邻的相邻块的权重预测参数来生成权重预测参数集合(s10s1401)。已经在编码设备的操作中详细描述了权重预测参数的生成,并且将省略对权重预测参数的生成的详细描述。

当用于当前块的权重预测参数集合被生成时,解码设备可基于索引信息来确定用于当前块的权重预测参数(s10s1402)。索引信息可指定用于当前块的权重预测参数。指定的权重预测参数可以是包括在权重预测参数集合中的权重预测参数中的任意一个。这里,索引信息可从比特流被解码。

当用于当前块的权重预测参数被确定时,用于当前块的帧间预测可使用确定的权重预测参数来被执行(s10s1403)。作为示例,可通过将经由运动补偿而获得的预测样本乘以乘法参数并且加上加法参数来执行当前块的帧间预测。

当预测块作为针对当前块的帧间预测结果而被生成时,当前块可基于生成的预测块和残差块而被重构(s10s1404)。

当完成当前块的重构时,可对用于当前块的权重预测参数进行估计,使得与当前块相邻的待解码的块可使用(s10s1405)。已经在编码设备的操作中详细描述了对当前块的权重预测参数集合的估计,并且将省略对所述估计的具体描述。

尽管为了清楚说明而通过一系列的动作表示本公开的示例性方法,但是它们并非意在限制执行步骤的顺序,并且如果需要,每个步骤可同时被执行或者按照不同的顺序被执行。为了实现根据本公开的方法,说明性步骤可另外包括其它步骤,可包括除了一些步骤以外的其余步骤,或者可包括除了一些步骤之外的其它步骤。

本公开的各个实施例并非意在包括所有一切,而意在示出本公开的代表性方面,在各个实施例中描述的特征可被独立地应用或者以两个或更多个的组合被应用。

此外,本公开的各个实施例可由硬件、固件、软件或它们的组合来实现。在硬件实施方式的情况下,所述硬件可由一个或更多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)、通用处理器、控制器、微控制器、微处理器等来实现。

本公开的范围包括软件或机器可执行的指令(例如,操作系统、应用、固件、程序等),所述软件或机器可执行的指令根据各个实施例的方法进行操作,所述操作在设备或计算机以及非暂时性的计算机可读介质上被执行,其中,这样的软件或指令可被存储,并且在设备或计算机是可执行的。

产业上的可应用性

本发明可被用于对图像进行编码/解码。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1