专利名称：通过前向移动期间的补偿来预测图像的制作方法
技术领域：
本发明的领域是图像处理领域。
更具体地说，本发明涉及实施前向运动补偿的预测技术。
本发明特别可应用于在下一代视频编码器(H. 265或ISO-MPEG型编码器)中对由一系列连续图像组成的视频流进行编码及解码的领域。
背景技术：
下文中，对涉及在对图像序列进行编码或解码的领域中的图像预测的现有技术进行描述。
已经存在已知的混合视频编码方案，其中在两个阶段中对图像进行编码，第一阶段是通过运动补偿进行预测的阶段，随后是对预测残余进行编码的第二阶段。
在运动补偿技术中，已知一种称为“后向运动补偿”的运动补偿方法，图IA中示意性说明其实例。后向运动补偿使得能够考虑到从当前图像指向一个或一个以上参考图像的位移向量而根据至少一个参考图像Ir来预测图像Ic。
此预测包括两个步骤 -将待预测的图像Ic再分为一组块； _对于此图像的每一块，借助于与相对于参考图像Ir的位移有关的位移向量来进行预测。
因此，此预测操作相当于使参考图像的块的每个点移位与所考虑的块相关联的位移向量的值，且使得有可能向待预测的图像的每一点提供预测值。待预测的图像的点一般对应于像素。
还已知另一种称为“前向运动补偿”的运动补偿技术，图IB中示意性说明其实例。 前向运动补偿使得能够考虑到从一个或一个以上参考图像Ir指向当前图像Ic的位移向量而根据至少一个参考图像Ir来预测图像Ic。
此预测包括两个步骤 -将参考图像Ir再分成一组参考块； -对于参考图像的每一参考块，进行移位，且对于此块的每一点，将参考图像的所述点的移位了所述位移向量的值分配给待预测的图像Ic的点。
这种称为前向运动补偿的运动补偿技术的一个缺点是，当若干个块彼此重叠时， 所述技术会导致出现重叠区，其在图IB中标示为R。此外，在前向投影的块上使用不同位移还会导致块之间出现非重叠区，其在图IB中标示为D。
在非重叠区中不分配值会限制所提出的编码方案的性能。
在这些非重叠区中重建值的问题是众所周知的称为“修描”(inpainting)的复原问题。
已针对此问题提出了若干解决方案。
举例来说，文献“使用树状结构的向量量化的快速纹理合成(Fast Texture Synth
4esis using Tree-stru ctu red Vector Quantization) ”(L · Y ·卫(L. Y. Wei)、M ·列维 (Μ. Levoy)的SIG-GRAPH 2000会议记录，第479到488页，2000年7月)介绍了称为“模板匹配”的技术。此技术利用根据待重建的区的邻域中的已知观察结果在参考图像中搜索类似图案。
此技术有三个步骤 -定义待重建的一组像素(在引用的文献中为图像中的2X2大小的块)的邻域中已知的信息的“模板”； -在搜索区中搜索类似于所述模板的区(候选邻域)； -向待重建的像素指派与搜寻到的最类似的区相关联的块的值。
文献“通过模板匹配进行的帧内预测(Intra prediction by template matching) ” (Τ · K · i罩(Τ · K · Tan)、C · S · ^JM (C · S · Boon)、Y · 令^C (Y · Suzuki)的 ICIP 2006会议记录，第1693到1696页)在帧内模式下将此技术扩展到H. 264编码器。此技术提供高质量的复原。
然而，这些现有技术的一个缺点是其要求搜索待使用的“模板”的实施方案的复杂性，此搜索是通过从大量候选物中搜索最多相关产物的技术来进行。因此，此技术的复杂性过高而为无效。
发明内容
本发明提出一种没有现有技术的所有这些缺点的新颖方法，其采用通过前向运动补偿根据至少一个参考图像来预测图像的方法的形式。
根据本发明，此方法针对参考图像的称为参考块的至少一个块实施以下步骤 -确定至少一条位移信息，其表示所述参考块与待预测图像中的对应块之间的位移； -确定至少一个放大块，其包括所述参考块及参考图像中邻近于所述参考块的块的至少一个点； -根据所述放大块及针对参考块而确定的所述条位移信息来确定待预测的像的至少一个点的预测值。
本发明因此提出一种利用低复杂性的空间/时间预测，通过前向运动补偿来进行预测的新颖技术。
为此，本发明提出定义将参考图像再分成一组任意形状的参考块。这些参考块可特别具有不同大小。也可能所有这些参考块将与参考图像完全或不完全重叠，且所述块将或将不彼此重叠。
为了简化且非限制，参考图像将与一组固定大小的正方形形状的参考块相关联， 所述参考块不重叠，且与整个参考图像重叠。
对于参考块，且例如对于所有参考块，确定一条位移信息，其表示参考块与待预测图像中的对应块之间的位移。举例来说，位移信息可表示属于包括以下各项的群组的位移 -平移运动； -仿射变形； -单应变形； -变形的参数模型； -旋转； -剪切运动。
确切地说，使用所提出的技术来确定放大块，针对所述放大块在待预测图像中进行前向运动补偿。此放大块包括至少一参考块及参考图像中邻近于所述参考块的块的至少一个点(或像素)。
因此，针对待根据放大块及相对于参考块的位移信息而预测的图像的至少一个点确定预测值。确切地说，此种预测方法使得有可能重建不重叠的点，即在典型前向运动补偿的情况下未预测的点。
本发明可特别应用于利用基于前向运动补偿(或否则借助于运动管来表示，运动管对应于在时间历程中前进的像素块)的预测技术对图像序列或场景进行编码。在此前进期间，管可能会变形，例如为了考虑明显的运动或否则在由管预测的区中存在的像素数目在像素数目方面增加或减少的情况下。此管还可(例如)通过转到块的子像素级别而获得改进。本发明使得特别能确定管所经历的变形。
确切地说，可回想到通过至少以下条信息来定义运动管 -包括参考纹理信息的参考像素块； _管开始及结束的时刻； -关于使得能够在所述序列的至少一个时刻t更新所述参考块的转变的信息。
在2007年6月25日申请的第0756007号法国专利申请案(以同一申请人的名义)中特别描述了用于表示图像序列的此技术。
根据本发明的一个特定特性，所述预测方法实施 -第一预测回合，其使用至少一个参考块，从而提交第一预测图像； -用于检测第一预测图像中的至少一个未预测点的步骤； _以及，在肯定检测的情况下，第二预测回合，其借助于至少一个放大块，使得所述第二回合确定所述未预测点中的至少一者的值。
举例来说，如果在第一回合期间未预测第一预测图像的至少一个点，那么在第一预测图像上获得黑区。通过揭露未预测点的存在(或不存在预测)的一条信息来检测此区域。接着，在参考图像中，在预测图像中对应于此未预测点的点的邻域中确定至少一个放大块。换句话说，预测图像中对应于放大块的块含有此未预测点。
根据一个特定实施例，位移信息(表示所述参考块与待预测图像中的对应块之间的位移)包括一组控制向量，其各自表示所述参考块或所述参考块的子块的特征点与所述特征点在待预测图像中的对应位置之间的位移。
举例来说，块或子块的控制向量各自与块或子块的顶点中的一者相关联。因此，对于2D图像，使四个控制向量与块相关联，每一控制向量与块的一个顶点或隅角相关联。对于3D图像，使八个向量与块相关联，其实际上对应于管，每一控制向量与块的一个隅角相关联。还可能使这些控制向量与块的其它点相关联，例如对应于轮廓。类似地，与块相关联的控制向量的数目不是固定的。
因此，在通过前向运动补偿来实施预测期间，控制向量指向待预测图像中的参考
6图像中的一者或一者以上。接着，针对属于参考图像的给定块确定多个控制向量。
根据本发明的一个特定方面，通过实施属于包括以下各项的群组的技术来确定放大块 -使所述参考块的所有隆起移位相同距离； -使所述参考块的至少一个隆起移位。
举例来说，有可能均勻地放大块，即使参考块的每一边缘相同地移位。
根据一种变型，有可能在特定方向上(例如向上)使参考块向右放大，或者甚至组合向上及向下方向，这相当于使两个隆起移位。
放大操作的应用可系统地进行及/或在非重叠区的肯定检测的情况下应用。
举例来说，如果未预测点(对应于非重叠区)位于所考虑的块“上方”，那么通过使参考块的至少一个隆起向上移位(即，将块的放大设计为涵盖未预测点)来确定放大块。 因此，可根据与所考虑的块的邻域中的非重叠区的距离来调整放大宽度。最后，当所考虑的块的邻域中不存在非重叠区时，不应用放大，且操作转到另一个块。
根据本发明的一个特定方面，至少一个隆起的移位考虑到控制向量中的至少一者。举例来说，使用一条位移信息的预测将关联向上且向左放大的块，所述位移信息表示参考块与对应块之间的位移，其中此位移表征为向上且向左的位移。因此，将根据参考块与待预测图像中的对应块之间所考虑的移位来调适块的放大。
此外，根据本发明的一个特定方面，当针对待预测图像的同一点确定至少两个预测值时，所述方法包括用于考虑某些信任值而预测所述点的步骤，每一信任值被指派给所述预测值。
本发明的另一方面涉及对针对参考图像的至少一个块实施上文所述的预测方法的编码方法。
更具体地说，对当前图像的预测提交预测图像。任选地，预测操作之后是以下步骤 -通过将当前图像与预测图像进行比较来确定至少一个预测残余； -对预测残余进行编码； -传输及/或存储包括来自编码步骤的预测残余的信号。
根据本发明的一个特定方面，所述编码方法实施将一条信息插入到所述信号中的步骤，所述信息表示至少一个放大块及/或针对给定参考块指派给所述放大块的放大的使用。
因此，此条信息可(例如)采用信令位的形式，及/或指示所执行的放大的类型的字节的形式，所述信令位的值“ 1”发信号通知所关注的块的放大，且值“0”发信号通知相反情况。
此外，任选地，所述信号包括通过将当前图像与预测图像进行比较而获得的预测残余。
在另一实施例中，本发明涉及一种用于对图像序列进行编码的装置，其通过前向运动补偿根据至少一个参考图像来实施预测，且针对参考图像的称为参考块的至少一个块而包括 -用于确定至少一条位移信息的构件，所述位移信息表示参考块与待预测图像中的对应块之间的位移； -用于确定至少一个放大块的构件，所述放大块包括参考块及参考图像中邻近于所述参考块的块的至少一个点； -用于根据所述至少一个放大块及针对所述参考块而确定的所述条位移信息来确定当前图像的至少一个点的预测值从而提交预测图像的构件。
根据一个变型，此装置还包括 _用于通过将当前图像与预测图像进行比较来确定至少一个预测残余的构件； -用于对所述至少一个预测残余进行编码的构件； -用于传输及/或存储包括来自编码步骤的预测残余的信号的构件。
例如此装置的编码装置特别适于实施上文所述的编码方法。所述装置例如为根据未来视频压缩标准(H. 265或IS0-MPEG)的MPEG或H. 264型视频编码器或装置。
本发明的另一方面涉及表示根据上文所述的编码方法而编码的图像序列的信号。 此信号包括表示至少一个放大块及/或针对给定参考块指派给所述放大块的放大的使用的一条信息。
此信号当然可包括根据本发明的编码方法的不同特性。
确切地说，此信号可携带来自编码步骤的所述预测残余。根据本发明的一个变型， 此信号还包括用于为给定块重建控制向量的至少一条信息。
本发明的另一方面涉及承载如上所述的信号的记录媒体。
在另一实施例中，本发明涉及一种用于对信号进行解码的方法，所述信号表示图像序列，所述方法包括根据待重建图像的预测来重建序列的至少一个图像的步骤，所述预测使待重建图像的块与序列的参考图像中的至少一个对应块相关联。
此解码方法实施对所述序列的至少一个图像的预测，实施如上所述的预测方法， 从而提交预测图像。
根据一个变型，此方法还实施以下步骤 -对至少一个预测残余进行解码； -将残余加到预测图像，从而提交重建的图像。
此方法特别适合于对根据上述编码方法来编码的图像序列进行解码。
以此方式，执行与编码时所执行的步骤相同的预测步骤，以便重建给定块，且任选地通过将预测残余(在信号中传输)加到预测来重建给定块。
确切地说，有可能在解码期间从信号中提取至少一条用于为给定块或运动管重建控制向量的信息，以便处理关于这些管的转变的信息，且针对每一管，在待重建的图像中重建可能变形的当前块。
根据本发明的一个方面，此解码方法实施用于提取表示至少一个放大块及/或针对给定参考块指派给放大块的放大的使用的一条信息的步骤，且所述预测步骤考虑此条信肩、ο 在另一实施例中，本发明涉及一种用于对表示图像序列的信号进行解码的装置， 其通过前向运动补偿根据至少一个参考图像来实施预测。
对于参考图像的称为参考块的至少一个块，此装置包括 -用于确定至少一条位移信息的构件，所述位移信息表示所述参考块与待预测图像中的对应块之间的位移； -用于确定至少一个放大块的构件，所述放大块包括所述参考块及所述参考图像中邻近于所述参考块的块的至少一个点； -用于根据所述至少一个放大块及针对所述参考块而确定的所述条位移信息来确定待预测图像的至少一个点的预测值从而提交预测图像的构件。
根据一个变型，此装置还包括 -用于对至少一个预测残余进行解码的构件；以及 -用于在预测图像中添加至少一个残余从而提交重建的图像的构件。
此编码装置特别适于实施如上所述的解码方法。所述装置例如为根据未来视频压缩标准(H. 265或IS0-MPEG)的MPEG或H. 264型解码器或装置。
本发明还涉及一个或一个以上计算机程序，其包括用于分别实施如上所述的预测方法及/或编码方法及/或解码方法的指令。举例来说，所述程序可从通信网络下载且/ 或存储于计算机可读载体上且/或可由处理器执行。
本发明的其它特征及优点将从以下对特定实施例的描述中更清楚地显现，所述描述是借助于指示性且非穷举的实例且通过附图提供的，附图中 已经参照现有技术论述的图IA及图IB分别说明通过前向投影及后向投影进行的运动补偿的技术； 图2A及图2B呈现根据本发明一个实施例的通过前向运动补偿进行的预测的主要步骤； 图3A及图;3B说明根据本发明一个实施例的块的投影； 图4A到图4C说明用于确定放大块的实例； 图5呈现根据本发明一个特定实施例的信号的结构； 图6呈现根据本发明一个实施例的解码方法的主要步骤； 图7及图8呈现根据本发明一个特定实施例的编码装置及解码装置的结构。
具体实施例方式一般原理 本发明的一般原理在于利用低复杂性的空间/时间预测通过前向运动补偿来进行预测。
更具体地说，本发明提出根据参考图像的放大块来确定对当前图像的预测，所述放大块即是参考图像的包括参考块及参考图像中邻近于参考块的块的至少一个像素的块。
可回想到，在前向投影的块上使用不同的位移通常导致块之间的非重叠区。根据本发明而提出的技术提供没有非重叠区或至少包括比现有技术的未预测区数目少的未预测区的预测图像。
下文中，参看图2A，提供对根据本发明一个实施例的一般经实施以用于通过前向运动补偿来进行预测的主要步骤的描述。
如图2A中所说明，根据至少一个参考图像且针对此参考图像的至少一个块(称为参考块bK)通过前向运动补偿进行的预测0 包括以下步骤 -确定(221)块、的至少一条位移信息vbK，其表示参考块与待预测图像中的对应块之间的位移； -确定(22 至少一个放大块％，其包括所述参考块及参考图像中邻近于所述参考块的块的至少一个点； -根据所述放大块及针对参考块而确定的所述条位移信息来确定(22 待预测图像的至少一个点的预测值RPOO。
更具体地说，图2B说明预测方法实施以下步骤的
具体实施例方式-第一预测回合(23)，其使用至少一个参考块，从而得出第一预测图像； -检测步骤(M)，用于检测第一预测图像中的未预测点； -以及，在肯定检测的情况下(25)，第二预测回合，其使用至少一个放大块，使得第二回合确定未预测点中的至少一者的值。
本发明的方法还可用各种方式，特别是以有线形式或以软件形式来实施。
预测方法的一个实施例的详细描述 下文中，呈现根据本发明的预测方法的特定实施例。
A)将参考图像再分成若干个块 考虑被再分成一组块的参考图像Ir，每一块包括至少两个像素。
块可具有任意形状，例如正方形或矩形形状。块的大小可变化，例如虹4、8访、 16x4、16xl6。参考图像的块可具有不同大小。所述组块可完全或不完全地与参考图像重叠， 且所述块可彼此重叠或可不彼此重叠。
为了简化，下文中考虑(非限制)一组固定大小的正方形块，其彼此不重叠且与整个参考图像重叠。
B)对参考图像的块的前向投影 在第一预测回合期间，扫描参考图像Ir的块，且针对每一块，在待预测的图像Ic 中进行前向投影。
为了实现此目的，首先确定一条信息，其表示参考图像的块(称为参考块)与待预测图像中的对应块之间的运动。
当然，可借助于不同的运动模型(例如平移、仿射变形等)来进行此前向投影。
如2008年7月1日申请的第0邪4465号法国申请案(以同一申请人的名义)中所描述，考虑(例如)通过一组控制向量来定义运动模型。
所述位移信息(表示参考块与待预测图像中的对应块之间的位移)于是包括一组控制向量，其各自表示参考块的特征点或参考块的子块的特征点与所述特征点在待预测图像中的对应位置之间的位移。
举例来说，图3A考虑由箭头表示的针对所考虑的参考块bK(有阴影线的块，包括四个子块)的一组控制向量。这些控制向量定义朝右上方的运动。
前向投影实施不同的步骤。P = Ir表示待给予前向补偿的参考图像，RI表示对应于用预测值加权的累加图像的中间图像，RW是所使用的加权因数的经加权累加图像。
首先，初始化待预测的当前图像。因此，对于图像的任一像素X，具有RI(X) =0， Rff (x) = 0。
接着，对于所考虑的任何参考块(或子块)，使所考虑的运动模型(在此情况下为所述组控制向量)相关联。因此，对于所考虑的块(或子块)的任何像素X，按照以下等式的指示更新重建图像
权利要求
1.一种用于通过前向运动补偿，根据至少一个参考图像来预测(22)图像的方法， 其特征在于，针对参考图像的称为参考块的至少一个块，所述方法包括以下步骤 确定(221)至少一条位移信息，其表示所述参考块与待预测的所述图像中的对应块之间的位移；确定(222)至少一个放大块，其包括所述参考块及所述参考图像中邻近于所述参考块的块的至少一个点；根据至少一个放大块且根据针对所述参考块而确定的所述条位移信息来确定(223) 待预测的所述图像的至少一个点的预测值。
2.根据权利要求1所述的预测方法，其特征在于其实施第一预测回合(23)，其使用至少一个参考块，从而提交第一预测图像； 用于检测(24)所述第一预测图像中的至少一个未预测点的步骤； 以及，在肯定检测(25)的情况下，第二预测回合，其借助于至少一个放大块，使得所述第二回合确定所述未预测点中的至少一者的值。
3.根据权利要求1所述的预测方法，其特征在于所述位移信息包括一组控制向量，所述控制向量各自表示所述参考块或所述参考块的子块的特征点与所述特征点在待预测的所述图像中的对应位置之间的位移。
4.根据权利要求1所述的预测方法，其特征在于通过实施属于包括以下各项的群组的技术来确定所述放大块使所述参考块的所有隆起移位相同距离； 使所述参考块的至少一个隆起移位。
5.根据权利要求3及4所述的预测方法，其特征在于所述使至少一个隆起移位考虑到所述控制向量中的至少一者。
6.根据权利要求1所述的预测方法，其特征在于当针对待预测的所述图像的同一点确定至少两个预测值时，所述方法包括用于考虑某些信任值而预测所述点的步骤，每一信任值被指派给所述预测值。
7.一种用于对图像序列进行编码的方法，其特征在于其针对所述序列中的当前图像实施根据权利要求1所述的预测方法，从而提交预测图像。
8.根据权利要求7所述的编码方法，其特征在于其实施将一条信息插入到表示所述图像序列的信号中的步骤，所述信息表示至少一个放大块及/或针对给定参考块指派给所述放大块的放大的使用。
9.一种用于对图像序列进行编码的装置，其通过前向运动补偿，根据至少一个参考图像来实施预测，所述装置的特征在于，针对参考图像的称为参考块的至少一个块，所述装置包括用于确定至少一条位移信息的构件，所述位移信息表示所述参考块与待预测的所述图像中的对应块之间的位移；用于确定至少一个放大块的构件，所述放大块包括所述参考块及所述参考图像中邻近于所述参考块的块的至少一个点；用于根据所述至少一个放大块及针对所述参考块而确定的所述条位移信息来确定所述当前图像的至少一个点的预测值从而提交预测图像的构件。
10.一种表示根据权利要求7所述的编码方法而编码的图像序列的信号，其特征在于其包括至少一条信息，所述信息表示至少一个放大块及/或针对给定参考块指派给所述放大块的放大的使用。
11.一种运载表示根据权利要求7所述的编码方法而编码的图像序列的信号的记录媒体，其特征在于其包括来自所述编码步骤的预测的所述残余。
12.一种用于对表示图像序列的信号进行解码的方法，其特征在于其实施根据权利要求1所述的预测方法，从而提交预测图像。
13.根据权利要求12所述的解码方法，其特征在于其实施用于提取一条信息的步骤， 所述信息表示至少一个放大块针对给定参考块的使用及/或放大，且在于所述预测步骤考虑此条信息。
14.一种用于对表示图像序列的信号进行解码的装置，其通过前向运动补偿，根据至少一个参考图像来实施预测，所述装置的特征在于，针对参考图像的称为参考块的至少一个块，所述装置包括用于确定至少一条位移信息的构件，所述位移信息表示所述参考块与待预测的图像中的对应块之间的位移；用于确定至少一个放大块的构件，所述放大块包括所述参考块及所述参考图像中邻近于所述参考块的块的至少一个点；用于根据所述至少一个放大块及针对所述参考块而确定的所述条位移信息来确定待预测的所述图像的至少一个点的预测值从而提交预测图像的构件。
15.一种计算机程序，其包括在此程序由处理器执行时用于实施根据权利要求1、7或 12中的任一权利要求所述的方法的指令。
全文摘要
本发明关于一种用于通过前向运动补偿，根据至少一个参考图像来预测图像的方法。根据本发明，针对参考图像的称为参考块的至少一个块，所述预测方法(22)包括以下步骤确定(221)至少一条位移信息，其表示所述参考块与待预测的所述图像中的对应块之间的位移；确定(222)至少一个放大块，其包括所述参考块及所述参考图像中邻近于所述参考块的块的至少一个点；根据至少一个放大块且根据针对所述参考块而确定的所述条位移信息来确定(223)待预测的所述图像的至少一个点的预测值。
文档编号H04N7/26GK102187670SQ200980141052
公开日2011年9月14日 申请日期2009年10月13日 优先权日2008年10月15日
发明者斯特凡·派缇, 纳瑟莉·肯莫 申请人:法国电信公司