通过继承运动向量场进行视频编码和解码的制作方法
【专利摘要】本发明涉及一种用于对当前图像(IC)进行编码的方法，该方法包括在不同于该当前图像的第一图像(IR1)中确定与该当前图像(IC)的有待编码的具有k个像素的当前像素组相对应的具有k’(k’≤k)个像素的像素组的步骤(C2)，所述编码方法的特征在于其包括以下步骤：?计算(C3)该第一图像(IR1)的该k’个像素中的每个像素与不同于该当前图像的第二图像(IR2)的相应像素之间的运动向量，在完成该计算时获得具有k’个运动向量的运动向量场，?基于所获得的具有k’个运动向量的该运动向量场来预测(C4)所述当前图像(Ic)的具有k个像素的该当前像素组的这些像素或运动。
【专利说明】
通过继承运动向量场进行视频编码和解码
技术领域
[0001]本发明总体上涉及图像处理领域，并且更确切地，涉及对数字图像以及数字图像序列的编码和解码。
[0002]对数字图像的编码/解码具体地适用于由至少一个视频序列所产生的图像，这些图像包括以下各项:
[0003]-由同一个照相机所产生的并且在时间上彼此相接的图像(2D类型的编码/解码)，
[0004]-由根据不同视图定向的不同照相机所产生的图像(3D类型的编码/解码)，
[0005]-相应的纹理分量和深度分量(3D类型的编码/解码)，
[0006]-等……。
[0007]本发明以类似的方式适用于对2D类型或3D类型的图像的编码/解码。
[0008]本发明具体但不排他地涉及3D视频应用，这些3D视频应用实现对由不同照相机所产生的图像的编码/解码。
[0009]本发明可以具体但不排他地适用于在AVC和HEVC现代视频编码器及其扩展(MVC、3D-AVC、MV-HEVC、3D-HEVC等)中所实现的视频编码，并且适用于相应的解码。
【背景技术】
[0010]HEVC标准在其可以使用对视频序列的分块表示的意义上而言类似于先前的H.264标准。
[0011]采用与H.264标准类似的方式，上述HEVC标准实现以下功能:
[0012]-帧内预测，该帧内预测在于关于当前图像的已经被编码然后被解码的多个像素来预测此当前图像内的多个像素，
[0013]-帧间预测，该帧间预测在于关于序列的已经被编码然后被解码的一个或多个图像来预测当前图像的运动或像素。这种图像常规地被称为参考图像并且在存储器中被保存在编码器处或者在解码器处。
[0014]更确切地，这些图像被切割为与H.264标准的宏块类似的称为CTU(代表“编码树块单元(Coded Treeblocks Unit)”的缩写)的像素块。这些CTU块可以随后被细分为称为CU的(代表“编码单元(Coding Unit)”的缩写)更小的块，这些⑶块中的每个⑶块或者每个CTU块均通过帧内图像预测或帧间图像预测来进行编码。
[0015]常规地，借助于对当前块的运动或像素的预测、对预测子块(predictor block)或一个或多个预测子运动向量的传递、以及预测残差(分别对应于当前块与预测子块之间的差异或当前块的运动与预测子运动之间的差异)进行对当前块的编码。此预测残差被传输至解码器，该解码器通过将此残差添加到预测上来重构该块或者这些当前运动向量。
[0016]例如，在HEVC标准中，当CTU块被切割为多个CU块时，与每个CU块相对应的数据流被传输至解码器。这种流包括:
[0017]-作为量化的残差CU块的系数的残差数据，以及可选地当以帧间模式进行编码时的运动矢量的残差数据，
[0018]-表示所使用的编码模式的编码参数，具体地:
[0019]?预测模式(帧内预测、帧间预测、执行不向解码器传输信息的预测的预测跳过(“跳过(skip)，，))；
[0020]?指定预测类型的信息(定向、参考图像、……)；
[0021 ] 籲细分类型；
[0022 ] 籲变换类型，例如，4x4DCT、8x8DCT等……
[0023]籲等……。
[0024]对当前块的帧间预测在于预测与此当前块相关联的某种编码信息，如例如:
[0025]-当前块的关于与参考像素块相关联的时间运动向量的时间运动向量，
[0026]-当前块的关于参考像素块的的像素的像素，该参考像素块位于除了当前块所属于的当前图像之外的图像内。
[0027]在2D类型视频的情况下，此另一个图像是例如位于当前图像所位于的当前时刻的前一时刻的图像。
[0028]在给定视图中考虑当前图像的3D类型视频的情况下，此另一个图像可以属于例如除了给定视图之外的视图。所述另一个视图例如位于与所述给定视图相同的时刻，并且表示与给定视图相同但是从另一个视点出发的场景。
[0029]在当前图像被认为是纹理分量并且关于在除了当前图像之外的图像中所确定的运动向量实现对当前图像的运动的预测的3D类型视频的情况下，此另一个图像是例如与所述纹理分量相关联的深度分量，当前块和参考块在纹理分量和深度分量重分别具有完全相同的位置。
[0030]因为是对如时间运动向量等的编码信息的预测，在HEVC规范中提出了AMVP(“高级运动向量预测(Advanced Mot1n Vector Predict1n)”)模式，该模式引入了候选时间运动向量列表以预测当前块的时间运动向量。仅将当前块的运动向量与该列表中从比特率失真标准意义上来说的最佳候选时间运动向量之间的差异(残差)、以及标志此较佳候选向量在该列表中的位置的索引传输到解码器，从而降低了与当前块的时间运动向量有关的信息的传输成本。
[0031]由于当前块的所有向量都是借助于单个预测子运动向量所预测的，AMVP模式的预测并不是非常精确。另外，在目的地为解码器的数据流中所获得的运动向量残差的传输的事实在比特率方面是昂贵的。由此得出，根据这种模式进行的视频编码的性能不是最优化的。
[0032]HEVC规范还提出了合并(MERGE)模式，该模式避免预测关于对当前块的编码的信息项，如例如，时间运动向量或视差运动向量。在此回想起，视差运动向量是在3D类型视频中视图间预测的框架内所使用的运动向量。其推导出描述当前从属视图的当前块与在先前被编码然后被解码的参考视图中对应于此当前块的块之间的运动的运动向量，该当前从属视图与该基准视图各自表示在同一时刻的同一场景。
[0033I更确切地，MERGE模式允许当前块直接继承运动参数，这些运动参数由参考图像的索引和时间运动向量或者当前块的从候选列表中所选择的相邻块的视差运动向量组成。在解码期间可以应用相同的原理的情况下，不需要对由此通过继承从候选向量列表中选择的当前块的运动向量进行编码。在这种情况下，仅在编码数据流中传输已经选择的候选项的索引以及可选地预测残差。
[0034]因为是2D解码或3D解码，其是逐个图像完成的，并且对于每个图像而言，是逐个CTU块完成的。对于CTU块的每个CU块，读取该流的相应元素。执行对CU块的系数的逆量化和逆变换。接下来，计算对每个CU块的预测，并且通过将预测子添加到经解码的预测残差上来重构每个CU块。
[0035]由此，通过竞争进行的帧内编码或帧间编码(如在HEVC标准中所实现的)依赖于使不同的编码参数(如上述那些编码参数)进行竞争，其目的是选择最佳的编码模式，也就是说，将根据预先确定的性能标准(例如，本领域技术人员所熟知的比特率/失真代价)来优化对所考虑的块的编码。
[0036]另外，在例如视频压缩、视频标引或者物体检测域中，光流是一种产生与当前图像相关联的密集运动向量场的运动估计技术。
[0037]在视频压缩应用中，光流使得可以在将当前图像分割为多个块时产生与有待编码的当前图像以及更具体地与有待编码的每个当前块相关联的密集运动向量场。更确切地，对于有待编码的当前块的每个像素而言，计算指向已经被编码然后被解码的参考图像的运动向量。因为参考图像的由这些运动向量所指向的像素不一定是连续的，由此所计算的这些运动向量的场被称为是密集的。这种技术不同于通常存在于大多数视频编码规范中并且针对有待编码的当前块计算描述有待编码的当前块与已经被编码然后被解码的参考块之间的运动的单个运动向量的“块匹配”的常规技术。所述参考块被描述为最小化编码性能标准，如例如本领域技术人员所熟知的失真标准。
[0038]光流技术使得可以获得对图像的块的更精确的帧间预测。然而，有必要将属于密集运动向量场的每个运动向量传输至解码器，由此大幅增加了信令成本，并且因此补偿了可能希望通过这种技术获得的所有可能增益。
【发明内容】
[0039]本发明的目的之一是补救上述现有技术的缺点。
[0040]为此目的，本发明的主题涉及一种编码方法，该方法包括在不同于当前图像的第一图像中确定与该当前图像的有待编码的具有k个像素的当前像素组相对应的具有k’(k’<k)个像素的像素组的步骤。
[0041 ]这种编码方法值得注意的是其包括以下步骤:
[0042]-计算该第一图像的该k’个像素中的每个像素与不同于该当前图像的第二图像的相应像素之间的运动向量，在完成该计算时获得具有k’个运动向量的运动向量场，
[0043]-基于所获得的具有k，个运动向量的该运动向量场来预测该当前图像的具有k个像素的该当前像素组的这些像素或运动。
[0044]第一图像和第二图像旨在意指已经被编码然后被解码的参考图像。
[0045]运动向量旨在意指时间运动向量。这种运动向量必须与视差运动向量区分开来。为此目的，在随后的描述中并且出于简化的目的:
[0046 ]-运动向量此后被解释为时间运动向量，
[0047]-视差向量此后被解释为视差运动向量。
[0048]考虑到第二图像的由第一图像所产生的运动向量所指向的像素不一定是连续的事实，由此计算的运动向量场被称为是密集的。其有利地构成了对当前图像的像素或运动的新的预测子，该新预测子易于从至少一个候选预测子列表中选出。由于将为了逆预测而在解码器处对密集运动向量场进行重新计算，这种安排由此使得可以增加在对当前图像的像素或运动进行预测期间易被置于竞争的预测子的数量，但无需使比特率恶化。
[0049]这种安排进一步使得可以在通过帧间类型的竞争进行编码期间避免在有待传输至解码器的流中包括与构成所获得的运动向量场的运动向量有关的信息。因此，在这种安排在解码器层面可再现的情况下，这导致了信令成本的不可忽略的降低。
[0050 ]最后，当前像素组中的每个像素均与所获得的运动向量场中的运动向量相关联的事实不再有必要在当前图像中将CTU块更精细地切割为CU块，该切割的目的通常是使得预测更加精确，尤其是在图像的包含若干运动中的物体的区域中。这种安排是有利的，因为它避免了将索引和子分割的大小传输至解码器，由此大幅度降低了信令成本。
[0051]根据上述编码方法的具体实施例，该预测步骤在于通过不同于该当前图像的图像的多个相应像素来预测所述当前像素组的该k个像素，该多个相应像素分别由所获得的该运动向量场的该k ’个运动向量所指向，该编码方法进一步包括以下步骤:
[0052]-通过计算具有k个像素的该当前像素组与在该预测步骤完成时所获得的预测子像素组之间的差异来获得当前残差像素组，
[0053]-用公式表示包含所获得的该当前残差像素组的数据流。
[0054]这种安排有利地使得可以通过对所计算的运动向量场进行继承而以非常精确的方式预测当前像素组的纹理。
[0055]根据上述编码方法的另一个具体实施例，该预测步骤在于通过所获得的所述运动向量场的该k’个运动向量来预测分别与所述当前像素组的该k个像素相关联的k个运动向量，该编码方法进一步包括以下步骤:
[0056]-通过计算同该当前像素组相关联的该k个当前运动向量与所获得的所述运动向量场的该k’个运动向量之间的差异来获得当前残差运动向量场，
[0057]-用公式表示包含所获得的所述当前残差运动向量场的数据流。
[0058]这种安排有利地使得可以通过继承所计算的运动向量场来以非常精确的方式预测当前像素组的运动，然后通过所计算的运动向量场中的相应运动向量来预测与当前像素相关联的每个运动向量。为此目的，在进行编码时，对于每个当前像素，计算运动向量残差，该运动向量残差旨在在目的地为解码器的流中进行传输。
[0059]根据上述编码方法的另一个具体实施例，在预测步骤的过程中，进行以下步骤:
[0060 ]-通过数学函数或统计函数从所计算的运动向量场的该k ’个运动向量中选择运动向量，
[0061 ]-借助于所选择的运动向量预测与该当前像素组相关联的运动向量，该编码方法进一步包括以下步骤:
[0062]-通过计算同该当前像素组相关联的该运动向量与在该预测步骤完成时所获得的预测子运动向量之间的差异来获得当前残差运动向量，
[0063]-用公式表示包含所获得的该当前残差运动向量的数据流。
[0064]这种安排有利地使得可以从更显著的运动预测子选择受益，因为所计算的运动向量场由若干运动向量组成;并且使得可以以当前像素组的运动的预测子为幌子仅选择单个预测子，以便在对像素组的运动进行预测期间在进行编码时减少在计算方面的资源。
[0065]根据上述编码方法的另一个具体实施例，当图像编码为3D类型时，该第一图像的该k’个像素被确定为由用于该当前图像与该第一图像之间的视差的单个视差运动向量所指向的像素组，或者被确定为分别由用于该当前图像与该第一图像之间的视差的视差运动向量场的多个向量所指向的像素组。
[0066]这种安排在3D视频编码或解码框架内是尤其有利的。在这种上下文中并且通过举例，当前图像和第一图像位于相同的当前时刻但是在两个不同的视图中，而第二图像位于与第一图像相同的视图中但是在除了当前时刻之外的时刻。从而，这种安排使得可以以更优化的方式选择第一图像的像素，基于这些像素，所计算的运动向量场的k’个运动向量将用于对当前图像Ic的具有k个像素的当前像素组进行运动补偿。实际上，由于当前图像和第一图像属于两个不同的视图，它们的运动未被对准。那么，为了提高对当前像素组的预测精确度，对当前图像与第一图像之间的视差进行补偿被证明是有必要的。可以通过单个视差向量或视差向量场来进行视差补偿。后一种备选方案尤其在当前像素组包含具有不同深度的物体时更加精确。
[0067]根据上述编码方法的另一个具体实施例，
[0068]-上述计算步骤在于计算在一方面多个第一图像的多个像素与另一方面不同于该当前图像的多个第二图像中的多个相应像素之间的多个运动向量场，
[0069]该编码方法进一步包括通过数学函数或统计函数从所计算的这些运动向量场中选择运动向量场的步骤，
[0070]-该预测步骤在于基于该选择的运动向量场预测该当前像素组的运动或这些像素。
[0071]这种安排有利地使得可以从更显著的运动向量场的选择中受益，并且使得可以选择最适用于预测当前像素组的纹理或运动的运动向量场，同时使得可以在编码时节约计算资源。
[0072]在如以上定义的编码方法的步骤中，实施例的上述各种模式或特性可以被独立地或者彼此组合地添加。
[0073]本发明还涉及一种用于对当前图像进行编码的设备，该设备包括用于在不同于当前图像的第一图像中确定与该当前图像的有待编码的具有k个像素的当前像素组相对应的具有k’(k’ <k)个像素的像素组的模块。这种编码设备适用于实现上述编码方法。
[0074]这种编码设备值得注意的是其包括:
[0075]-用于计算该第一图像的该k’个像素中的每个像素与不同于该当前图像的第二图像的相应像素之间的运动向量以便获得具有k ’个运动向量的运动向量场的模块，
[0076]-用于基于所获得的具有k’个运动向量的该运动向量场来预测该当前图像的具有k个像素的该当前像素组的这些像素或运动的模块。
[0077]本发明还涉及一种用于对表示当前编码图像的数据流进行解码的方法，该方法包括在不同于该当前图像的第一图像中确定与该当前图像的有待解码的具有k个像素的当前像素组相对应的具有k’(k’ <k)个像素的像素组的步骤。
[0078]这种解码方法值得注意的是其包括以下步骤:
[0079]-计算该第一图像的该k’个像素中的每个像素与不同于该当前图像的第二图像的相应像素之间的k’个运动向量，在完成该计算时获得具有k’个运动向量的运动向量场，
[0080]-基于所获得的具有k，个运动向量的该运动向量场来逆预测该当前图像的具有k个像素的该当前像素组的这些像素或运动。
[0081]根据上述解码方法的具体实施例，该逆预测步骤在于:
[0082]-在该数据流中确定与具有k个像素的该当前像素组相关联的当前残差像素组，
[0083]-基于不同于该当前图像的图像的相应像素并且基于所确定的当前残差像素组重构该当前像素组的该k个像素，这些相应像素分别由所获得的该运动向量场的该k ’个运动向量所指向。
[0084]根据上述解码方法的另一个具体实施例，上述逆预测步骤在于:
[0085]-在该数据流中确定与具有k个像素的该当前像素组相关联的当前残差运动向量场，
[0086]-基于所获得的运动向量场的该k，个运动向量并且基于所确定的当前残差运动向量场重构分别与该当前像素组的该k个像素相关联的k个运动向量。
[0087]根据上述解码方法的另一个具体实施例，在逆预测步骤的过程中，进行以下步骤:
[0088]-在该数据流中确定与具有k个像素的该当前像素组相关联的当前残差运动向量，
[0089 ]-通过数学函数或统计函数从所获得的所述运动向量场的该k ’个运动向量中选择运动向量，
[0090]-借助于所选择的运动向量并且借助于该确定的当前残差运动向量来重构与该当前像素组相关联的运动向量。
[0091]根据上述解码方法的另一个具体实施例，当图像解码为3D类型时，该第一图像中所包含的该k’个像素被确定为由用于该当前图像与该第一图像之间的视差的单个视差运动向量所指向的像素组，或者被确定为其像素分别由用于该当前图像与该第一图像之间的视差的视差运动向量场的多个向量所指向的像素组。
[0092]根据上述解码方法的另一个具体实施例，
[0093]-上述计算步骤在于计算在一方面多个第一图像的多个像素与另一方面不同于该当前图像的多个第二图像中的多个相应像素之间的多个运动向量场，
[0094]所述解码方法进一步包括通过数学函数或统计函数从所计算的这些运动向量场中选择运动向量场的步骤，
[0095]-该逆预测步骤在于基于该选择的运动向量场重构该当前像素组的运动或这些像素。
[0096]在如以上定义的解码方法的步骤中，实施例的上述各种模式或特性可以被独立地或者彼此组合地添加。
[0097]本发明还涉及一种用于对表示当前图像的数据流进行解码的设备，该设备包括用于在不同于当前图像的第一图像中确定与该当前图像的有待解码的具有k个像素的当前像素组相对应的具有k’(k’Sk)个像素的像素组的模块。这种解码设备适用于实现上述解码方法。
[0098]这种解码设备值得注意的是其包括:
[0099]-用于计算该第一图像的该k’个像素中的每个像素与不同于该当前图像的第二图像的相应像素之间的运动向量以便获得具有k，个运动向量的运动向量场的模块，
[0100]-用于基于所获得的具有k’个运动向量的该运动向量场来逆预测所述当前图像的具有k个像素的该当前像素组的模块。
[0101]本发明进一步涉及一种包括指令的计算机程序，当该程序在计算机上执行时，这些指令用于实现根据本发明的编码方法或解码方法。
[0102]本程序可以使用任何编程语言并且可以是源代码、目标代码或者是介于源代码与目标代码之间的代码的形式，如是部分编译形式，或是任何其他令人期望的形式。
[0103]本发明还涉及一种可由计算机读取的记录介质，在该记录介质上记录有计算机程序，这种程序包括适用于实现如上文所述的根据本发明的编码方法或解码方法的指令。
[0104]该记录介质可以是能够存储程序的任何实体或设备。例如，该介质可以包括存储装置，如ROM(例如CD ROM或微电子电路ROM)、或其他磁记录装置(例如USB密匙或硬盘)。
[0105]另外，该记录介质可以是可经由电缆或光缆、通过无线电或通过其他手段输送的可传输介质(如电信号或光信号)。根据本发明的程序可以具体地从互联网类型的网络进行下载。
[0106]可替代地，该记录介质可以是该程序所并入的集成电路，该电路适用于执行或用于执行上述编码方法或解码方法。
[0107]解码方法、编码设备、解码设备、计算机程序和相应的上述记录介质至少展现出与根据本发明的编码方法和解码方法所赋予的优点相同的优点。
【附图说明】
[0108]其他特性和优点将在阅读参照附图所描述的优选实施例后变得明显，在附图中:
[0109]-图1表示根据本发明的编码方法的步骤，
[0110]-图2表示能够实现图1中所表示的编码方法的编码设备的实施例，
[0111]-图3表示根据本发明的解码设备的实施例，
[0112]-图4表示能够在图3中所表示的解码设备中实现的解码方法的步骤，
[0113]-图5A至图5K表示根据本发明的编码方法和解码方法的实施例。
【具体实施方式】
[0114]编码部分的一般原理的详细说明
[0115]现在将对本发明的一般实施例进行描述，在该实施例中，根据本发明的编码方法用于根据二进制流对图像或图像序列进行编码，该二进制流与通过根据HEVC标准进行编码所获得的二进制流相近。在本实施例中，例如采用软件或硬件方式通过对初始符合HEVC标准的编码器的进行修改来实现根据本发明的编码方法。根据本发明的编码方法采用包括图1中所表示的步骤Cl到步骤C6的算法的形式来表示。
[0116]根据本发明的实施例，根据本发明的编码方法在图2中所表示的编码设备CO中实现。
[0117]如图2所示，这种编码设备包括包含缓冲存储器MT_C0的存储器MEM_C0、配备有例如微处理器μΡ并且由计算机程序PG_C0驱动的处理单元UT_C0，该处理单元实现根据本发明的编码方法。在初始化时，在处理单元UT_C0的处理器执行计算机程序PG_C0的代码指令之前，这些代码指令被例如加载到RAM存储器(未表示出)中。
[0118]将图1中所表示的编码方法适用于有待编码的具有L个图像的序列SI中的任何当前图像Ic(L彡I)。
[0119]为此目的，在图像序列SI中考虑当前图像Ic。
[0120]在2D类型的视频编码的情况下，当前图像Ic是二维的并且由同一个照相机所产生。
[0121 ]在3D类型的视频编码的情况下:
[0122]-当前图像Ic是从表示从在同一个时刻的同一个场景并且各自由根据不同视点定向的不同照相机所产生的若干个视图中所考虑的一个视图，
[0123]-当前图像Ic是纹理分量或深度分量，
[0124]-等……。
[0125]在图1中所表示的第一步骤Cl的过程中，将当前图像Ic分割为多个像素组GP^GP2、……、GPu、……、GPs(I彡u彡S)。这种分割是由图2中所表示的分割软件模块MP_C0执行的，该模块由处理单元UT_C0的微处理器μΡ驱动。
[0126]这种分割模块使用例如一种用于通过穷尽竞争进行选择的方案或者一种用于借助于具有先验的算法来进行选择的方案。这种方案是本领域技术人员所熟知的(参见:G.J.沙利文(G.J.Su 11 i van)和T.威甘德(T.Wi egand)的“用于视频压缩的比特率失真优化(Rate-distort1n optimizat1n for video compress1n)，，，IEEE信号处理杂志，74-90页，1998)。因此，将不对它们进行更进一步的描述。
[0127]在编码器CO的数据库(未表示出)中将各种类型的可能的分割算法分组在一起。它们使得可以实现将当前图像切割为多个像素组，这些像素组不一定具有相同的大小和/或相同的形状。这种像素组可以具有矩形或方形形状、或者其他几何形状，如例如基本上线性的形状或者完全任意形状。
[0128]这种像素组还可以与当前图像的多个区域或物体相对应。
[0129]在图2中所表示的示例中，当前图像Ic被例如分割为十六个具有k个像素的像素组GP1、GP2、……、GP16，其中例如k = 16。所获得的所述像素组都具有例如方形块的形状并且都具有相同的大小。
[0130]在图1中所表示的步骤C2的过程中，在不同于当前图像Ic的第一图像1仏中确定与当前图像Ic的有待编码的具有k个像素的当前像素组GPc相对应的具有k’(k’Sk)个像素的像素组GPr。
[0131]假设在所表示的示例中，k’=k。因此，像素组GPc和GPr是具有十六个像素的块。
[0132]在所表示的示例中，第一图像IR1是图像序列SI中的已经被编码然后解码的图像，所述第一图像属于目的在于对当前图像Ic的像素或运动进行预测的可用参考图像列表。这种列表(在图2中标记为LRc)存储于编码器⑶的缓冲存储器MT_C0中。在所表示的编码为HEVC类型的示例中，缓冲存储器MT_C0是DPB( “解码画面缓冲器”)存储器。
[0133]在图2中所表示的示例中，所述确定步骤由计算软件模块CAL1_C0实现，该计算软件模块由处理单元UT_C0的微处理器μΡ驱动。
[0134]根据第一实施例，在对当前图像1。同等进行2D类型或3D类型的视频编码情况下，确定步骤C2在于从第一图像IR1中选择尽可能地类似于具有k个像素的当前像素组GPc的具有k’个像素的像素组GPr:
[0135]-或者通过在像素域中所进行的块匹配的常规标准来进行，
[0136]-或者通过在第一图像IR1中搜索位于与当前块相同位置中的共同定位块GPr。
[0137]根据第二实施例，在对当前图像Ic仅进行3D编码的情况下，确定步骤C2在于:将该第一图像IR1的该k’个像素确定为由用于该当前图像Ic与该第一图像IR1之间的视差的单个视差运动向量所指向的像素组，或者确定为其k’个像素分别由用于该当前图像Ic与该第一图像IR1之间的视差的视差运动向量场的多个向量所指向的具有k’个像素的像素组。
[0138]在图1中所表示的步骤C3的过程中，计算该第一图像11^的像素组GPr的k’个像素中的每个像素与不同于该当前图像的至少一个第二图像IR2的n(n<k’)个像素之间的k’个运动向量的运动向量场Ce。第二图像IR2是已经被编码然后被解码并且属于例如第一图像IR1的参考图像列表的图像。这种列表(在图2中标记为LR1)存储于编码器CO的缓冲存储器MT_CO中。
[0139]然后，在计算步骤C3完成时获得如下意义上的密集运动向量场Ce:第二图像11?2的由场Ce的k’个运动向量所指向的η个像素不一定是连续的。
[0140]在具体实施例中，n= k ’，也就是说，场Ce的k’个运动向量分别指向第二图像IR2的k’个不同的像素。
[0141]作为一种变体，n〈k’，也就是说，第二图像IR2的两个或更多个像素由场Ce的k’个向量当中的同一个运动向量所指向。
[0142]这种计算步骤C3是由图2中所表示的计算软件模块CAL2_C0执行的，该模块由处理单元UT_C0的微处理器μΡ驱动。
[0143]然后，将由此计算的运动向量场Ce添加到候选预测子列表中，以便用于对具有k个像素的当前像素组GPc的像素或运动进行预测的目的。
[0144]在图1中所表示的步骤C4的过程中，如果在步骤C3中所计算出的具有k’个运动向量的运动向量场Ce已经被从列表中选择为最优预测子，基于该场来预测具有k个像素的当前像素组GPc的像素或运动。采用本身已知的方式，这种选择由根据编码性能标准(如例如本领域技术人员所熟知的比特率失真标准)来对上述列表的各个预测子进行比较而产生。这种标准在下文通过等式(I)来表示:
[0145](i)j = d+AR，其中:
[0146]-D表示具有k个像素的当前像素组GPc与具有k个像素的重构当前像素组之间的失真，
[0147]-λ表示拉格朗日乘数，
[0148]-R表示对在候选预测子列表中所考虑的预测子的索引以及可选地在运动预测已经实现的情况下k个运动向量残差进行编码的位的成本。
[0149]对具有k个像素的当前像素组GPc的像素或运动的预测是通过继承根据情况指向以下各项的具有k，个运动向量的运动向量场Ce来进行的:
[0150]-或者指向所述第一图像IR1,
[0151]-或者指向所述第二图像IR2,
[0152]-或者指向不同于当前图像Ic并且不同于所述第一图像1仏和所述第二图像IR2的图像。这另一个图像是例如已经被编码然后解码并且属于在图2中所表示的参考图像列表LRc的图像IR3。
[0153]在步骤C4中所提出的各个替代方案取决于所设想的应用并且取决于所设想的视频编码上下文。选择第一图像、第二图像或另一个图像用于预测是在编码器CO处预先确定的。
[0154]在用于对像素或运动的预测的选择依靠不同于第一图像或者不同于第二图像的参考图像的情况下，可以例如确定此参考图像为使得其符合与当前图像Ic的时间距离与分开第一图像IR1与第二图像IR2的时间距离相同。还可以确定此参考图像总是存储于如图2中所表示的编码器CO的缓冲存储器MT_C0中的参考图像列表LRc中所包含的第一图像。
[0155]在步骤C4完成时，传递当前像素组GPc的具有k个像素的预测子像素组GPpc。
[0156]这种预测步骤C4是由图2中所表示的预测软件模块PRED_C0执行的，该模块由处理单元UT_C0的微处理器μΡ驱动。
[0157]如图1所示，对具有k个像素的当前像素组GPc的像素或运动进行预测的步骤C4包括两个选项C4a)和C4b)。
[0158]在第一选项C4a)中，运动向量场Ce的k’个运动向量用来预测具有k个像素的当前像素组GPc的纹理和运动两者。
[0159]在第二选项C4b)中，从运动向量场Ce的k’个运动向量中所选择的单个运动向量用来仅预测具有k个像素的当前像素组GPc的运动。
[0160]选项C4a)(图1)
[0161]在纹理预测的情况下，在步骤C4m)的过程中，通过第一图像、第二图像或另一个参考图像的η个像素来预测所述当前像素组GPj^k个像素，所述η个像素分别由所述计算的运动向量场Ce的k’个运动向量所指向。
[0162]在n= k的情况下，所述当前像素组GPc的该k个像素分别由η个不同的像素所预测。
[0163]在n〈k的情况下，当前像素组GPc的至少两个像素借助于该η个像素当中的同一个像素来预测。
[0164]在步骤C4m)之后，获得了具有k个像素的当前预测子像素组GPpc。
[0165]在运动预测的情况下，在步骤C42a)的过程中，通过所述计算的运动向量场Ce的k’个运动向量来预测分别与所述当前像素组GPc的k个像素相关联的k个运动向量。
[0166]在k’ = k的情况下，通过所述计算的运动向量场Ce的k ’个不同的运动向量来分别预测与当前像素组GPc相关联的k个运动向量。
[0167 ]在k ’ <k的情况下，通过所述计算的运动向量场Ce的k ’个运动向量当中的同一个运动向量来预测与当前像素组GPc相关联的k个运动向量中的至少两个运动向量。
[0168]在步骤C42a)之后，获得了具有k个运动向量的预测子运动向量场Cpc。
[0169]选项C4b)(图1)
[0170]选项C4b)包括:
[0171 ]-通过数学函数或统计函数从所述计算的运动向量场Ce的该k ’个运动向量中选择运动向量、传递所选择的运动向量MVaf的步骤C4Ib),
[0172]-借助于所述选择的运动向量MVjfijf来预测当前像素组的单个运动向量MVc的步骤C42b)0
[0173]在步骤C42b)之后，获得预测子运动向量MVpc。
[0174]下文例举了数学函数或统计函数的示例:
[0175]-场Ce的k’个运动向量的均值，
[0176]-场Ce的k’个运动向量的中值，
[0177 ]-预先确定的编码性能标准，如例如上述比特率失真标准，
[0178]-等……。
[0179]在图1中表示的步骤C5的过程中，通过将在步骤C4中所获得的预测数据与当前像素组GPc的数据进行比较来计算残差数据。
[0180]这种计算步骤C5是由图2中所表示的计算软件模块CAL3_C0执行的，该模块由处理单元UT_C0的微处理器μΡ驱动。
[0181]在步骤C4m)已经实现的情况下，在步骤C5m)的过程中，通过计算具有k个像素的当前像素组GPc与具有k个像素的预测子像素组GPpc之间的差异来获得具有k个像素的当前残差像素组GPrc。
[0182]在步骤C42a)已经实现的情况下，在步骤C52a)的过程中，通过计算分别与当前像素组GPc的k个像素相关联的k个运动向量与预测子运动向量场Cpc的k个运动向量之间的差异来获得具有k个运动向量的的当前残差运动向量场Crc。
[0183]在步骤C4b)已经实现的情况下，在步骤C5b)的过程中，通过计算与当前像素组GPc相关联的单个运动向量MVc与预测子运动向量MVpc之间的差异来获得当前残差运动向量MVrc ο
[0184]在图1中所表示的步骤C6的过程中，根据所选择的预测选项，或者对具有k个像素的当前残差像素组GPrc、或者对具有k个运动向量的当前残差运动向量场Crc、或者对当前残差运动向量MVre进行编码。然后，在步骤C6完成时传递数据流F。
[0185]这种编码步骤C6是通过如图2中所表示的编码器ENC执行的，该编码器例如符合HEVC标准。编码器ENC由处理单元UT_C0的微处理器μΡ驱动。
[0186]针对像素组集合GP1 ,GP2、……、GPU、……GPs重复编码步骤Cl至C6。
[0187]根据本发明，数据流F有利地并不包含与在上述步骤C3中所计算的运动向量场Ce有关的数据，因为这些数据与已经被编码然后被解码的像素组相关联并且因此对解码器而言是可用的。因此，无需在可选地包含残差数据的数据流F中传输这些数据，该数据流可选地包含运动或像素的残差数据(如果它们存在的话)。
[0188]此后，数据流F经由通信网络通过编码器CO的传输接口(未表示)传输到远程终端。该远程终端包括如在图3中所表示的解码设备DO。
[0189]解码部分的一般原理的详细说明
[0190]现在将对本发明的一般实施例进行描述，在该实施例中，根据本发明的解码方法用于对以二进制流编码的图像或图像序列进行解码，该二进制流与通过根据HEVC标准进行解码所获得的二进制流相近。在本实施例中，例如采用软件或硬件方式通过对初始符合HEVC标准的解码器的进行修改来实现根据本发明的解码方法。根据本发明的解码方法采用包括图4中所表示的步骤Dl到步骤D6的算法的形式来表示。
[0191]根据本发明实施列，根据本发明的解码方法在图3中所表示的解码设备DO中实现。
[0192]如图3所示，这种解码设备DO包括包含缓冲存储器MT_D0的存储器MEM_D0、配备有例如微处理器μΡ并且由计算机程序PG_D0驱动的处理单元UT_D0，该处理单元实现根据本发明的解码方法。在初始化时，在处理单元UT_D0的处理器执行计算机程序PG_D0的代码指令之前，这些代码指令被例如加载到RAM存储器(未表示出)中。
[0193]将图4中所表示的解码方法适用于有待解码的具有L个图像的序列SI中的任何当前图像Ic(L彡I)。
[0194]为此目的，在图像序列SI中考虑有待解码的当前图像Ic。
[0195]所使用的解码为2D类型的情况下，当前图像Ic是二维的并且由同一个照相机所产生。
[0196]在所使用的解码为3D类型的情况下:
[0197]-当前图像Ic是从表示从在同一个时刻的同一个场景并且各自由根据不同视点定向的不同照相机所产生的若干个视图中所考虑的一个视图，
[0198]-当前图像Ic是纹理分量或深度分量，
[0199]-等……。
[0200]为此目的，常规地，在解码器DO处所接收的流F中对表示有待解码的当前图像Ic的信息进行标识。
[0201]在图4中所表示的步骤Dl的过程中，在流F中从该流F中所包含的S个有待解码的像素组GP1、GP2、……、GPu、……、GPs(I彡u彡S)当中选择有待解码的具有k个像素的当前像素组GPrcο
[0202]参照图3，所述选择步骤Dl由解码器DO的选择模块SEL_D0实现，该模块由处理单元UT_D0的微处理器μΡ驱动。
[0203]在图4中所表示的步骤D2的过程中，借助于流指针通过读取流F来对于有待解码的具有k个像素的当前像素组GPc相关联的当前编码残差数据GPrc、Ck或MVk进行熵解码。
[0204]更确切地，这些编码残差数据由如在图3中所表示的熵解码单元UDE来进行解码，所述单元由处理单元UT_D0的微处理器μΡ驱动。因此，这种单元是众所周知的，并且将不再进行进一步的描述。
[0205]在图4中所表示的步骤D3的过程中，在不同于有待解码的当前图像Ic的第一图像IRi中确定与当前图像Ic的有待解码的具有k个像素的当前像素组GPc相对应的具有k’个像素的像素组GPr。
[0206]假设在所表示的示例中，k’=k。因此，像素组GPc和GPr是具有十六个像素的块。
[0207]在所表示的示例中，第一图像IR1是图像序列SI中的已经被解码的图像，所述第一图像属于针对对当前图像Ic的像素或运动进行逆预测可用的参考图像列表。这种列表(在图3中标记为LRc)存储于解码器DO的缓冲存储器MT_D0中。在所表示的解码为HEVC类型的示例中，缓冲存储器MT_D0是DPB( “解码画面缓冲器”)存储器。
[0208]在图3中所表示的示例中，所述确定步骤由计算软件模块CAL1_D0实现，该计算软件模块由处理单元UT_D0的微处理器μΡ驱动。
[0209]这种步骤与上文结合编码方法所描述的确定步骤C2完全相同。因此，将不对确定步骤D3进行更加详细的描述。
[0210]在图4中所表示的步骤D4的过程中，计算该第一图像11^的像素组GPr的k’个像素中的每个像素分别与不同于该当前图像的至少一个第二图像IR2的n(n<k’)个像素之间的k’个运动向量的运动向量场Ce。第二图像IR2是已经被解码并且属于例如第一图像IR1的参考图像列表的图像。这种列表(在图3中标记为LR1)存储于解码器DO的缓冲存储器MT_D0中。
[0211]然后，在计算步骤D4完成时获得如下意义上的密集运动向量场Ce:第二图像11?2的由场Ce的k’个运动向量所指向的η个像素不一定是连续的。
[0212]在具体实施例中，n= k’，也就是说，场Ce的k’个运动向量分别指向第二图像IR2的k’个不同的像素。
[0213]作为一种变体，n〈k’，也就是说，第二图像IR2的两个或更多个像素由场Ce的k’个向量当中的同一个运动向量所指向。
[0214]这种计算步骤D4是由图3中所表示的计算软件模块CAL2_D0执行的，该模块由处理单元UT_D0的微处理器μΡ驱动。
[0215]然后，将由此计算的运动向量场Ce添加到候选预测子列表中，以便用于对有待解码的具有k个像素的当前像素组GPc的像素或运动进行逆预测的目的。
[0216]上述计算步骤D4在每一方面均与在编码时所执行的计算步骤C3完全相同。为此原因，将不对计算步骤D4进行更加详细的描述。
[0217]在图4中所表示的步骤D5的过程中，如果在步骤D4中所计算出的具有k’个运动向量的运动向量场Ce已经被从列表中选择为最优预测子，基于该场来预测具有k个像素的当前像素组GPc的像素或运动。采用本身已知的方式，这种选择由根据解码性能标准(如例如本领域技术人员所熟知的比特率失真标准)来对上述列表的各个预测子进行比较而产生。这种标准在下文通过等式(I)来表示:
[0218](l)j = D+AR，其中:
[0219]-D表示具有k个像素的当前像素组GPc与具有k个像素的重构当前像素组之间的失真，
[0220]-λ表示拉格朗日乘数，
[0221]-R表示对在候选预测子列表中所考虑的预测子的索引以及可选地在运动预测已经实现的情况下k个运动向量残差进行编码的位的成本。
[0222]对具有k个像素的当前像素组GPc的像素或运动的逆预测是通过继承根据情况指向以下各项的具有k’个运动向量的运动向量场Ce来进行的:
[0223]-或者指向所述第一图像IR1,
[0224]-或者指向所述第二图像IR2,
[0225]-或者指向不同于当前图像Ic并且不同于所述第一图像IRl和所述第二图像IR2的图像。这另一个图像是例如已经被解码并且属于在图3中所表示的参考图像列表LRc的图像IR3o
[0226]在步骤D5中所提出的各个替代方案取决于所设想的应用并且取决于所设想的视频解码上下文。选择第一图像、第二图像或另一个图像用于预测是在解码器DO处预先确定的。
[0227]在用于对像素或运动的逆预测的选择依靠不同于第一图像或者不同于第二图像的参考图像的情况下，可以例如确定此参考图像为使得其符合与当前图像Ic的时间距离与分开第一图像IR1与第二图像IR2的时间距离相同。还可以确定此参考图像总是存储于如图3中所表示的解码器DO的缓冲存储器MT_D0中的参考图像列表LR中所包含的第一图像。
[0228]在步骤D5完成时，传递具有k个像素的重构当前像素组GPc。
[0229]这种预测步骤D5是由图3中所表示的预测软件模块PRED_D0执行的，该模块由处理单元UT_DO的微处理器μΡ驱动。
[0230]如图4所示，对有待解码的具有k个像素的当前像素组GPc的像素或运动进行预测的步骤D5包括两个选项D5a)和D5b)。
[0231]在第一选项D5a)中，运动向量场Ce的k’个运动向量用来重构有待解码的具有k个像素的当前像素组GPc的纹理和运动两者。
[0232]在第二选项D5b)中，从运动向量场Ce的k’个运动向量中所选择的单个运动向量用来仅重构具有k个像素的当前像素组GPc的运动。
[0233]选项D5a)(图 4)
[0234]在对纹理进行逆预测的情况下，在步骤D5m)的过程中，基于以下各项进行对所述当前像素组GPc的k个像素的重构:
[0235]-基于第一图像、第二图像或另一个参考图像的η个像素，所述η个相应像素分别由所述计算的运动向量场Ce的k，个运动向量所指向，
[0236]-以及基于在步骤D2中所确定的当前残差像素组GPrc。
[0237]在n= k的情况下，所述当前像素组GPc的该k个像素分别由η个不同的像素所重构。
[0238]在n〈k的情况下，当前像素组GPc的至少两个像素借助于该η个像素当中的同一个像素来重构。
[0239]在步骤D5m)之后，重构具有k个像素的当前解码像素组GPDc。
[0240]在对运动进行逆预测的情况下，在步骤D52a)的过程中，基于所获得的所述运动向量场Ce的该k，个运动向量并且基于在步骤D2中所获得的所述确定的当前残差运动向量场Crc来重构分别与所述当前像素组的该k个像素相关联的k个运动向量。
[0241]在k’=k的情况下，分别基于所述计算的运动向量场Ce的k’个不同的运动向量来重构与当前像素组GPc相关联的k个运动向量。
[0242]在k’ <k的情况下，基于所述计算的运动向量场Ce的k ’个运动向量当中的同一个运动向量来重构与当前像素组GPc相关联的k个运动向量中的至少两个运动向量。
[0243]在步骤D52a)之后，重构具有k个运动向量的当前运动向量场Ce，由此使得可以重构具有k个像素的当前解码像素组GPDc。
[0244]选项D5b)(图4)
[0245]选项D5b)包括:
[0246]-通过数学函数或统计函数从所述计算的运动向量场Ce的该k个运动向量中选择运动向量、传递所选择的运动向量MVaf的步骤D5Ib),
[0247 ]-借助于所述选择的运动向量M Vs?来对当前像素组的运动进行逆预测的步骤D52b)0
[0248]所述逆预测步骤D52b)在于:借助于所述选择的运动向量MV藤以及在步骤D2中所确定的当前残差运动向量MVr来重构与当前像素组GPc相关联的运动向量。
[0249]所述重构运动向量从而使得可以重构具有k个像素的当前解码像素组GPDc。
[0250]上文在结合选择步骤C41b)进行的描述中例举了数学函数或统计函数的示例。
[0251 ]针对流F中所包含的有待解码的当前图像Ic的S个像素组GP1XP^……、GPU、……、GPs(KuSS)再次执行上文刚刚描述的解码步骤Dl至D5。
[0252]参照图4，在步骤D6的过程中，进行对经解码的当前图像IDc的重构。
[0253]参照图3，重构步骤D6通过重构单元URI来实现，该重构单元随着经解码的那些像素组变得可用而将这些像素组写入经解码的图像IDC。所述单元由处理单元UT_D0的处理器μΡ驱动ο
[0254]编码/解码方法的各个实施例的详细说明
[0255]参照图5Α至图5Κ，现将描述根据本发明的各个可能的实施例。这些实施例在编码时以及在解码时均可以实现。
[0256]在图5Α中所示的示例中:
[0257]-当前图像Ic是位于当前时刻^的二维图像，
[0258]-第一图像IR1是位于紧接在该当前时刻tl之前的时刻的二维图像，
[0259]-第二图像IR2是位于紧接在该时刻之前的时刻的二维图像。
[0260]在上述步骤C2或D3的过程中，常规地例如通过“块匹配”技术来确定在第一图像IRi中的与当前像素组GPc相对应的具有十六个像素的像素组GPr。
[0261]在上述步骤C3或D4的过程中，计算第一图像1仏的像素组GPr的十六个像素中的每个像素分别与属于不同于当前图像的第二图像IR2的十六个像素
P2,6、P2,7、P2,8、P2,9、P2,10、P2,11、P2,12、P2,13、P2,14、P2,15、P2,16之间的具有十六个运动向量的密集场Ce。
[0262]在上述步骤C4或D5过程中，基于在步骤C3或D4中所计算的具有十六个运动向量的场Ce来预测具有十六个像素的当前像素组GPc的像素或运动。
[0263]这种预测在于例如:分别通过构成场C。的十六个运动向量来预测分别与当前像素组GPc的十六个像素相关联的十六个运动向量(未表示出)。
[0264]在图5B中所示的示例中:
[0265]-当前图像Ic是位于当前时刻^的二维图像，
[0266]-第一图像IR1是位于紧接在该当前时刻tl之前的时刻的二维图像，
[0267]-第二图像IR2是位于紧接在该时刻之前的时刻的二维图像。
[0268]在上述步骤C2或D3的过程中，常规地例如通过“块匹配”技术来确定在第一图像IRi中的与当前组GPc相对应的具有十六个像素的像素组GPr。
[0269]在上述步骤C3或D4的过程中，计算第一图像1仏的像素组GPr的十六个像素中的每个像素分别与属于不同于当前图像的第二图像IR2的十六个像素
P2,6、P2,7、P2,8、P2,9、P2,10、P2,11、P2,12、P2,13、P2,14、P2,15、P2,16之间的具有十六个运动向量的密集场Ce。
[0270]在上述步骤C4或D5过程中，基于在步骤C3或D4中所计算的具有十六个运动向量的场Ce来预测具有十六个像素的当前像素组GPc的像素或运动。
[0271]这种预测在于例如:分别通过图像IR2的分别由场Ce的十六个运动向量所指向的十六个像素P’ 2，1、P’2，2、 P， 2,3、P，2，4、P，2，5、P，2，6、P，2，7、 P， 2，8、P’2，9、P’2，10、P’2，11、P’2，12、P’2，13、P ’ 2,14、P ’ 2,15、P ’ 2,16来预测当前像素组GPc的十六个像素。
[0272]为此目的，进行对这十六个运动向量的校准，因为当前图像Ic与第二图像IR2之间的时间距离不同于将第一图像IR1与第二图像IR2分开的时间距离。在图5C中所示的示例中，视频编码为3D类型，并且图像序列SI中的每个有待编码的图像是可能例如为MVV(“多视图视频(Multiview Video)”)格式或者为MVD( “多视图视频+深度”)格式的多视图图像。在当前时刻ti，多视图图像頂Vi包括T个视图Vll^V2+……、Vw,1、……^^，其中^^^彡^这些视图中的每个视图表示分别根据T个不同视点的同一个场景。
[0273]在图5C中:
[0274]-当前图像Ic在当前多视图图像IMVi中是位于当前时刻ti的当前视图Vw,i，
[0275]-第一图像IRi是位于时刻ti的视图Vw-1,i，所述视图在当前多视图图像IMVi中位于紧接在当前视图Vw,,上方并且已经被编码然后被解码，
[0276]-第二图像IR2是多视图图像頂位于紧接在当前时刻ti之前的时刻的视图
Vw-1，1-Ι ?
[0277]-第三图像IR3是多视图图像頂V1-J^位于紧接在当前时刻ti之前的时刻的视图
Vw, 1-1 O
[0278]在上述步骤C2或D3的过程中，常规地例如通过用于当前图像Ic与第一图像IR1之间的视差的单个视差向量DV来确定在第一图像IR1中的与当前像素组GPc相对应的具有十六个像素的像素组GPr。
[0279]在上述步骤C3或D4的过程中，计算第一图像1仏的像素组GPr的十六个像素中的每个像素分别与属于第二图像11?2的十六个像素?2,1、？2,2、？2,3、？2,4、？2,5、？2,6、？2,7、？2,8、？2,9、P2,1Q、P2,11、P2,12、P2,13、P2,14、P2,15、P2,16之间的具有十六个运动向量的密集场Ce。
[0280]在上述步骤C4或D5过程中，基于在步骤C3或D4中关于所述第三图像IR3所计算的具有十六个运动向量的场Ce来预测具有十六个像素的当前像素组GPc的像素或运动。这种预测在于例如:分别通过第三图像IR3的分别由场Ce的十六个运动向量所指向的十六个像素
P3,1、P3,2、P3,3、P3,4、P3,5、P3,6、P3,7、P3,8、P3,9、P3,10、P3,11、P3,12、P3,13、P3,14、P3,15、P3,16 来预测当前像素组GPc的十六个像素。
[0281]在图5D中所示的示例中，视频编码为3D类型，并且图像序列SI中的每个有待编码的图像是可能例如为MVV格式或MVD格式的多视图图像。在当前时刻ti，多视图图像頂Vi包括T个视图V^lV2,1、……、Vw,1、……、VT,i，其中，I彡w彡T，这些视图中的每个视图表示分别根据T个不同视点的同一个场景。
[0282]在图中:
[0283]-当前图像Ic在当前多视图图像IMVi中是位于当前时刻ti的当前视图Vw,i，
[0284]-第一图像IR1是位于时刻ti的视图Vh,i，所述视图在当前多视图图像IMVi中位于紧接在当前视图Vw,,上方并且已经被编码然后被解码，
[0285]-第二图像IR2是多视图图像頂位于紧接在当前时刻ti之前的时刻的视图
Vw-1，1-Ι ?
[0286]-第三图像IR3是多视图图像IMV1-2的位于紧接在时刻t1-1之前的时刻t1-2的视图
Vw, 1-2 ο
[0287]在上述步骤C2或D3的过程中，常规地例如通过用于当前图像Ic与第一图像IR1之间的视差的单个视差向量DV来确定在第一图像IR1中的与当前像素组GPc相对应的具有十六个像素的像素组GPr。
[0288]在上述步骤C3或D4的过程中，计算第一图像1仏的像素组GPr的十六个像素中的每个像素分别与属于第二图像11?2的十六个像素?2,1、？2,2、？2,3、？2,4、？2,5、？2,6、？2,7、？2,8、？2,9、P2,1Q、P2,11、P2,12、P2,13、P2,14、P2,15、P2,16之间的具有十六个运动向量的密集场Ce。
[0289]在上述步骤C4或D5过程中，基于在步骤C3或D4中关于所述第三图像IR3所计算的具有十六个运动向量的场Ce来预测具有十六个像素的当前像素组GPc的像素或运动。这种预测在于例如:分别通过第三图像IR3的分别由场Ce的十六个运动向量所指向的十六个像素
P3,1、P3,2、P3,3、P3,4、P3,5、P3,6、P3,7、P3,8、P3,9、P3,10、P3,11、P3,12、P3,13、P3,14、P3,15、P3,16 来预测当前像素组GPc的十六个像素。为此目的，进行对这十六个运动向量的校准，因为当前图像Ic与第三图像IR3之间的时间距离不同于将第一图像IR1与第二图像IR2分开的时间距离。
[0290]在图5E中所示的示例中，视频编码为2D类型或3D类型。图5E表示在第一图像IR1(未表示出)中的与当前图像Ic(未表示出)的当前像素组GPc(未表示出)相对应的具有十六个像素的像素组GPr。已经例如通过用于在当前图像Ic与第一图像IR1之间的视差的单个视差向量DV在上述步骤C2或D3的过程中获得了像素组GPr。
[0291]在图5E中所表示的实施例与之前的实施例的区别在于以下事实:在上述步骤C3或D4的过程中，计算各自包含十六个运动向量的两个密集场Ce,uu和Ce,u,u
[0292]分别在第一图像1仏的像素组GPr的十六个像素中的每个像素与属于第二图像IR2,1-1 的十六个像素Plo, I, 1、Plo, 1,2、Plo, 1,3、Plo, 1,4、Plo, 1,5、Plo, 1,6、Plo, 1,7、Plo, 1,8、Plo, 1,9、Plo, I, ?ο、Plq, 1,11、Plq, 1,12、Plq, 1,13、Plq, 1,14、Plq, 1,15、Plq, 1,16之间计算场 Cc,lq,i，该场例如位于紧接在对当前图像Ic进行编码的时刻^之前的时刻tH。出于简化图5E的目的，仅表示出了像素 Plo’1’1。
[0293]分别在第一图像1办的像素组GPr的十六个像素中的每个像素与属于另一个第二图像 I R2,i+i 的十六个像素Pli, I, 1、Pli, 1,2、Pli, 1,3、Pli, 1,4、Pli, 1,5、Pli, 1,6、Pli, 1,7、Pli, 1,8、Pli, 1,9、Pli, I, ?ο、Pli, 1,11、Pli, 1,12、Pli, 1,13、Pli, 1,14、Pli, 1,15、Pli, 1,16之间计算场 Ce, Li, I，该场例如位于紧接在对当前图像Ic进行编码的时刻^之后的时刻t1+1。出于简化图5E的目的，仅表示出了像素 Pli’1’1。
[0294]由此计算的两个运动向量场Ce,uu和Ce,形成了一个预测子，该预测子被添加到候选预测子列表，以便用于预测具有k个像素的当前像素组GPc。
[0295]在上述步骤C4或D5过程中，基于由此所计算的两个运动向量场Ce,LQ,i和Ce,L1,i而非之前针对其他实施例所描述的单个场来预测具有十六个像素的当前像素组GPc的像素或运动。
[0296]因此，关于以下各项对具有十六个像素的当前像素组GPc的像素或运动进行预测:
[0297]-关于场Ce,LQ,i，此场的向量指向参考图像，
[0298]-关于场Ce,L1,i，此场的向量指向另一个参考图像。
[0299]图5F中所示的示例表示对图5E中所表示的实施例的一般化。在图5E的示例中，计算第一多个(R个)密集运动向量场Ce,L0,iXc,L0,2、……、CC,L0,R以及第二多个(R个)密集运动向量场Ce, LI, 1、Ce, LI, 2、......、Ce, LI, R，每个运动向量场包含十六个运动向量。
[0300]分别在第一图像11^的像素组GPr的十六个像素中的每个像素与属于R个图像IR2,1-hlRw-2、……、IR2,1-R的十六个像素之间计算第一多个(R个)密集运动向量场Ce,L0,hCe,LQ,2、……、CC,LQ,R，该R个图像分别位于例如在对当前图像Ic进行编码的时刻ti之前的时刻
t1-l、t1-2、......、t1-R ο
[0301]分别在第一图像11^的像素组GPr的十六个像素中的每个像素与属于R个图像IR2,i+1、IR2,i+2、……、IR2,i+R的十六个像素之间计算第二多个(R个)密集运动向量场Cc.lu、Cc,Li;2,……、Cc,u,r，该R个图像分别位于例如在对当前图像Ic进行编码的时刻。之后的时刻
ti+l、ti+2、......、??+R ο
[0302]在预测步骤C4或D5之前，进行:
[0303]-在候选预测子列表中所包含的第一多个(R个)密集运动向量场Ce,LQ,1、Ce,LQ, 2、......、Cc,LQ,R中选择单个运动向量场，标记为Cc,LQ,q，其中，Kq<R，
[0304]-在候选预测子列表中所包含的第二多个(R个)密集运动向量场Ce,Li,1、Ce,LI, 2、......、Cc,Ll,R中选择单个运动向量场，标记为Cc,Ll,q，其中，Kq<R，
[0305]这种选择是例如借助于数学函数或统计函数实现的，在本说明书的上文中例举了数学函数或统计函数的一些示例。
[0306]在上述步骤C4或D5过程中，基于所选择的这两个运动向量场Ce,L0, JPCc,L1,q来预测具有十六个像素的当前像素组GPc的像素或运动。
[0307]因此，关于以下各项对具有十六个像素的当前像素组GPc进行预测:
[0308]-关于场Ce,LQ, q，此场的向量指向参考图像，
[0309]-关于场Ce,u,q，此场的向量指向另一个参考图像。
[0310]图5G中所示的示例与图5F的示例的差别在于以下事实:不再关于单个像素组GPr而是关于多个(V个)像素组GPR1、GPR2、……、GPRz、……、GPRV执行对第一多个(R个)密集运动向量场Ce, LQ, 1、Ce, LQ, 2、......、Ce, LQ, R以及第二多个(R个)密集运动向量场Ce, LI, 1、Ce, LI, 2、......、
Ce,L1,R的计算，其中l〈z<V。这些多个像素组在上述步骤C2或D3的过程中被确定为分别在V个第一图像IRi,1、IRi,2、……、IR1>Z、……IR1,冲与当前像素组GPc相对应的V个具有十六个像素的组。
[0311]在上述步骤C3或D4的过程中，进行以下计算:
[0312]-推导具有第一多个(R个)密集运动向量场Ce,LQ, 1[1]、Ce, LQ, 2[1]、......、Ce, LQ, R[I]以及第二多个(R个)密集运动向量场Cc^1⑴、Ce,L1,2[1]、……、Cc,L1,R⑴的第一图像IR1;1，每个运动向量场包含十六个运动向量，
[0313]-……，
[0314]-推导具有第一多个(R个)密集运动向量场Ce,LQ, 1U]、Ce, LQ, 2U]、......、Ce, LQ, RU]以及第二多个^个丨密集运动向量场&从叫^从犯]、……、Cc,L1,RU]的第一图像IR1,z，每个运动向量场包含十六个运动向量，
[0315]-……，
[0316]-推导具有第一多个(R个)密集运动向量场Ce,LQ, ι[ν]、Ce, LQ, 2[V]、......、Cc,L0,R[v]以及第二多个(R个)密集运动向量场Ce, LI, ι[ν]、Ce, LI, 2[v]、......、(3(^1,[^]的第一图像11?1,￥，每个运动向量场包含十六个运动向量。
[0317]在预测步骤C4或D5之前，基于所述候选预测子列表选择两个运动向量场。
[0318]根据第一选项，将上述类型的数学函数或统计函数:
[0319]-应用于该第一多个运动向量场的集合Ce,LQ, 1[ I]、Ce, LQ, 2[ I]、......、Cc’L0’R[l]、......、
Cc,L0,l[z]、Cc,L0,2[z]、......、Cc,L0,R[z]、......、Ce,LQ, 1[V]、Ce,LQ,2[V]、......、Cc,L0,R[V]，以便选择单个运动向量场，标记为Ce, LQ,麵。
[0320]-应用于该第二多个运动向量场的集合Ce,LI, 1[I]、Ce, LI, 2[I]、......、Cc’Li’R[i]、......、
Cc,Ll,l[z]、Cc,Ll,2[z]、......、Cc,Ll,R[z]、......、Ce,LI, 1[V]、Ce,LI,2[V]、......、Cc,li,r[v]，以便选择单个运动向量场，标记为Ce, LI,麵。
[0321]在上述步骤C4或D5过程中，基于所选择的这两个运动向量场Ce,L0,藤和Ce,L1,藤来预测具有十六个像素的当前像素组6氏的像素或运动。
[0322]因此，关于以下各项对具有十六个像素的当前像素组GPc的像素或运动进行预测:
[0323]-关于场Ce,LQ,麵，此场的向量指向参考图像，
[0324]-关于场Ce,LI,麵，此场的向量指向另一个参考图像。
[0325]根据第二选项:
[0326]-结合第一图像IRlll，将属于上述类型并且标记为匕的数学函数或统计函数应用于该第一多个(R个)密集运动向量场Cc,LQ,l[l]、C(；,L(),2[l]、......、Ce, LQ,R[l]并且应用于该第二多个(1?个)密集运动向量场(^,1^1,1[1]、(^,1^1,2[1]、......、Cc,Ll,R[l]，以便分别选择第一运动向量场
(标记为Ce,LQ,SMl])以及第二运动向量场(标记为Ce,LI,SMl])，
[0327]-……，
[0328]-结合第一图像IR1,z，将属于上述类型并且标记为fz的数学函数或统计函数应用于该第一多个(R个)密集运动向量场Ce, LQ, l[z]、Ce, LQ, 2U]、......、Ce, LQ,R[z]并且应用于该第二多个(R个)密集运动向量场Ce,LI, 1U]、Ce,LI, 2U]、......、Ce,LI,RU]，以便分别选择第一运动向量场
(标记为Ce,LQ,SMz])以及第二运动向量场(标记为Ce,LI,SMz])，
[0329]-……，
[0330]-结合这些第一图像中的最后一个图像IR1,V，将属于上述类型并且标记为fv的数学函数或统计函数应用于该第一多个(1?个)密集运动向量场(^,1^,1|^]、(:(^(),2|^]、......、
&,11),[^]并且应用于该第二多个(1?个)密集运动向量场(^1,1|^]、(^1,2|^]、......、Cc,Ll,R[V]，以便分别选择第一运动向量场(标记为Ce,LQ,以及第二运动向量场(标记为Ce,LI,。
[0331]此后，将属于上述类型标记为Fm的数学函数或统计函数一方面应用于所选择的运动向量场的集合Ce, LQ, I]、......、Cc,LQ,_[z]、......、Cc,LQ,_[V]并且另一方面应用于
Ce, LI,麵[I]、......、Ce, LI,麵W、......、Ce, LI,麵;V]，以便获得两个运动向量场Ce, LQ,麵和Ce,LI,麵。
[0332]在上述步骤C4或D5过程中，基于已经选择的这两个运动向量场Cc,LQ,藤和Cc,L1,藤来预测具有十六个像素的当前像素组GPc的像素或运动。
[0333]根据与此第二选项相关联的示例，函数f^fs、…、fz、"_、fv是中值函数，并且函数fM是均值函数。
[0334]另外，函数fM可以是加权均值函数。在这种情况下，对于该V个第一图像IR1,^IRi,2、……、IR1>Z、……、IR1>V中的每个第一图像，根据对该V个第一图像IR1,^IR1,2、……、IRi,z、……、IRi, V的编码/解码的分别较高或较低的可靠性将较高权重或较低权重的系统分配给所选择的运动向量场Ce,LQ,麵[I]、......、Cc’L0’_[z]、......、Cc,LQ,藤[V]和Ce,LI,藤[I]、......、
Cc,u,j?[z]、......、Cc,LI,S3HV]中的每个运动向量场。这种安排使得可以获得对具有k个像素的当前像素组GPc的精确得多的预测。
[0335]根据第三选项:
[0336]-结合位于时刻tH的第二图像IR2,η⑴、……、IR2,i—1[z]、……、IR2,i—取]的集合以及位于时刻ti+1的第二图像IR2,i+1[1]、……、IR2,i+1[z]、……、IR2,i+1[V]的集合，将属于上述类型并且标记为^工的数学函数或统计函数应用于:
[0337]?该多个(V个)密集运动向量场Ce,Ltu⑴、……、CC,L(U[Z]、……,Cc;lo;i[v],
[0338]?以及该多个(V个)密集运动向量场Ce,L1>1⑴、……、Cc’L1’1[z]、……、CC,L1,1[V]，
[0339]以便分别选择两个运动向量场，被标记为C’C,LQ,麵[I]和C’C,L1,應I]，
[0340]-结合位于时刻ti—2的第二图像IR2,i—2[1]、……、IR2,i—2[z]、……、IR2,i—_的集合以及位于时刻ti+2的第二图像IR2,i+2[l]、......、IR2,i+2[z]、......、IR2,i+2[V]的集合，将属于上述类型并且标记为f’2的数学函数或统计函数应用于:
[0341 ] ?该多个(V个)密集运动向量场 Ce, LQ, 2[1]、......、Cc’L0’2[z]、......、Cc’L0’2[V]，
[0342]籲以及该多个(V个)密集运动向量场Ce,L1,2[1]、……、Cc’L1’2[z]、……、Cc’L1’2[v]，
[0343]以便分别选择两个运动向量场，被标记为C’C,LQ,麵[2]和C’C,LI,麵[2]，
[0344]-……，
[0345]-结合位于时刻ti—R 的第二图像 IR2,1-r[i]、......、IR2’1-RU]、......、IR2,1-r[v]的集合以及位于时刻ti+R的第二图像IR2, i+R[l]、......、IR2, i+R[z]、......、IR2, i+R[V]的集合，将属于上述类型并且标记为f’R的数学函数或统计函数应用于:
[0346]?该多个(V个)密集运动向量场 Ce, LQ, R[l]、......、Cc,LQ,R[z]、......、Cc’L0’R[V]，
[0347]?以及该多个(V个)密集运动向量场Ce,LI,R[l]、......、Cc’Ll’R[z]、......、Cc,Li,R[v]，
[0348]以便分别选择两个运动向量场，被标记为C’C,LQ,麵[R]和C’C,LI,麵[R]。
[0349]此后，将属于上述类型标记为F’m的数学函数或统计函数一方面应用于所选择的运动向量场的集合C ’ C, LQ,麵[I]、C’ C,LQ,藤[2]、......、C’ C,LQ,藤[R]，并且另一方面应用于
C’C,L1,麵[1]、C’C,L1,麵[2]、...、C’C,L1,邂[R]，以便获得两个运动向量场 C ’ c, L0,麵和C ’ c, LI,麵。
[0350]在上述步骤C4或D5过程中，基于已经选择的具有十六个运动向量的运动向量场c’c,LQ,SSf和Li,SSf来预测具有十六个像素的当前像素组GPc的像素或运动。
[0351]根据与此第二选项相关联的示例，函数f’^f’2、……、f’R是中值函数，并且函数f’M是均值函数。
[0352]另外，函数f’M可以是加权均值函数。在这种情况下，对于上述R个第二图像集合中的每个集合，根据对相应的R个第二图像集合的编码/解码的分别较高或较低可靠性将较高或较低权重的系数分配给所选择的运动向量场C’C,LQ,藤[1]、C’C,LQ,麵；2]、…、C’C,LQ,_[R#PI
中的每个运动向量场。从而，对于所考虑的第一图像，例如 IRl, ζ，一方面11?1,2与11?2,:1-1[2](分别地11?24+1,2)、".、11?2,:1-[?[2](分别地11?24+[?[2])之间的时间距离增大的越多，对运动向量场的估计越不可靠。因此，最小权重的系数将被分配给指向与图像IR1,Z具有最大时间距离的图像的运动向量场。这种安排使得可以获得对具有k个像素的当前像素组GPc的像素或运动的精确得多的预测。
[0353]在图5H中所示的示例中，视频编码为3D类型，并且图像序列SI中的每个有待编码的图像是可能例如为MVV格式或MVD格式的多视图图像。在当前时刻ti，多视图图像頂Vi包括T个视图V1^V2lL……、Vw,1、……、VT, i，其中，I彡w彡T，这些视图中的每个视图表示分别根据T个不同视点的同一个场景。
[0354]在图中:
[0355]-当前图像Ic在当前多视图图像IMVi中是位于当前时刻ti的当前视图Vw,i，
[0356]-第一图像IRi是位于时刻ti的视图Vw-1,i，所述视图在当前多视图图像IMVi中位于紧接在当前视图Vw,,上方并且已经被编码然后被解码，
[0357]-未表示出的第二图像IR2与例如图5C中所表示的第二图像完全相同，也就是说，多视图图像MVh的位于紧接在当前时刻ti之前的时刻的视图Vt1, 1-1，
[0358]-未表示出的第三图像IR3与例如图5C中所表示的第三图像完全相同，也就是说，多视图图像MVh的位于紧接在当前时刻ti之前的时刻的视图Vw, η。
[0359]在上述步骤C2或D3的过程中，通过用于当前图像Ic与第一图像1仏之间的视差的视差向量场(DVF)来确定在第一图像1仏中的与当前图像Ic的当前像素组GPc的十六个像素相对应的十六个像素的组GPr ο场DVF包括在图5H中以虚线表示的十六个视差向量。分别由这十六个向量所指向的十六个像素构成所述组GPr ο这种场DVF是密集的，因为组GPr的十六个像素不一定是连续的。
[0360]上述运动向量场计算步骤C3或D4、以及上述对当前像素组GPc的像素或运动进行预测的步骤C4或D5例如是采用与图5C中所表示的实施例相同的方式执行的。
[0361]在图51中所示的示例中，视频编码为3D类型，并且图像序列SI中的每个有待编码的图像是例如MVD格式的，其中，纹理分量在深度分量之前进行编码。
[0362]在图51中:
[0363]-当前图像Ic在当前多视图图像頂V1中是例如位于当前时刻^的第一当前纹理分量 CTc’i，
[0364]-第一图像IR1包括:
[0365]?在当前多视图图像頂Vi中位于当前时刻ti的纹理分量CT14,
[0366]?在多视图图像頂Vi中在当前时刻ti与纹理分量CT14相关联的深度分量CP14，
[0367]-未表示出的第三图像IR3包括例如在紧接在多视图图像頂Vi之前的未表示的多视图图像頂V1-冲位于时刻ti—i的纹理分量CT3,i—i和深度分量CP34-U
[0368]在上述步骤C2或D3的过程中，常规地通过单个视差向量DV来确定在第一图像IR1的深度分量CP1;1中的与当前图像Ic的当前像素组GPc相对应的具有十六个像素的组GPr。
[0369]考虑到序列SI的图像的格式为MVD类型的事实，组GPr的十六个像素分别与在图51中以虚线表示并且指向第一图像IR1的纹理分量CTlll的十六个视差向量相关联。这十六个视差向量形成密集视差向量场(DVF)。
[0370]在上述步骤C3或D4的过程中，计算与由场DVF的视差向量所指向的纹理分量CTlli的十六个像素中的每个像素相关联的具有十六个运动向量的密集场Ce。该密集场Ce包含在图51中以实线箭头所表示的十六个运动向量。
[0371]在上述步骤C4或D5过程中，基于在步骤C3或D4中关于所述第三图像IR3所计算的具有十六个运动向量的场Ce来预测具有十六个像素的当前像素组GPc的像素或运动。
[0372]在图5J中所示的示例中，视频编码为3D类型，并且图像序列SI中的每个有待编码的图像是例如MVD格式的，其中，深度分量在纹理分量之前进行编码。
[0373]在图5J中:
[0374]-当前图像Ic包括
[0375]?在当前多视图图像頂Vi中位于当前时刻ti的纹理分量CTc,i，
[0376]?在多视图图像頂Vi中在当前时刻ti与纹理分量CT14相关联的深度分量CPc,i，
[0377]-第一图像1办在多视图图像頂Vi中是在当前时刻ti的纹理分量CIV。
[0378]在上述步骤C2或D3的过程中，在深度分量CPc,,中搜索具有十六个像素的共同定位MGPr0
[0379]考虑到序列SI的图像的格式为MVD类型的事实，组GPr的十六个像素分别与在图5J中以虚线表示并且指向第一图像IR1的纹理分量CTlll的十六个视差向量相关联。这十六个视差向量形成密集视差向量场(DVF)。
[0380]在上述步骤C3或D4的过程中，计算与由场DVF的视差向量所指向的图像IR1的十六个像素中的每个像素相关联的具有十六个运动向量的密集场Ce。该密集场Ce包含在图5J中以实线箭头所表示的十六个运动向量。
[0381]在上述步骤C4或D5过程中，通过继承在步骤C3或D4中关于未表示出的参考图像所计算的具有十六个运动向量的场Cc来预测具有十六个像素的当前像素组GPc的像素或运动。
[0382]在图5K中所示的示例中，视频编码为3D类型，并且图像序列SI中的每个有待编码的图像是MVD格式的多视图图像。在当前时刻ti，多视图图像IMVi包括T个视图V1，1、V2j1^……、VW>1、……、VT>1，其中，I彡w彡T，这些视图中的每个视图表示分别根据T个不同视点的同一个场景。
[0383]在图5K中:
[0384]-当前图像Ic在当前多视图图像頂Vi中是位于当前时刻ti的第一纹理分量CT1,i，
[0385]-第一图像IR1在当前多视图图像頂Vi中是位于当前时刻ti的第二纹理分量CT2,i，
[0386]-第二图像11?2是多视图图像頂V1-!的位于紧接在当前时刻ti之前的时刻ti—i的第三纹理分量CT2,1-l，
[0387]-第三图像IR3是多视图图像頂V1-!的第四纹理分量CT1,H。
[0388]在上述步骤C2或D3的过程中，常规地例如根据图51或图5J中所表示的方案之一来确定与当前图像Ic的当前像素组GPc相对应的具有十六个深度像素的组。在图5K中表示了根据这些方案之一所获得的单个视差向量DV1。在同当前图像Ic的纹理分量CIX1相关联的深度分量(未表不)与同第一图像IRi的纹理分量CT2,i相关联的深度分量(未表不)之间确定此视差向量。
[0389]考虑到序列SI的图像的格式为MVD类型的事实，所述深度分量的组的十六个像素分别与指向纹理分量CT2>1的十六个视差向量(未表示)相关联。这十六个视差向量形成密集视差向量场，该密集视差向量场指向纹理分量CT2>1的十六个像素的组GPr1，并且其原点是如图5K中所示的纹理分量CT2, i的像素组GPc。
[0390]出于简化图5K的原因，每组表示出单个像素。其为当前像素组GPc的第一像素pc>1并且为参考像素组GPr的第一像素pRi, I, i。
[0391]此后，计算运动向量MVi,i，该运动向量描述了纹理分量CT2,i的像素组GPri的第一像素Pri, I, i以及纹理分量CT2, i—丨的像素组GPr2中与像素PRHi相对应的第一像素PR2, !,i—!的运动。出于简化图5K的原因，仅表示出了包含它们中的十六个像素的像素组GPr2的第一像素。
[0392]重复此计算步骤，以计算分别与像素组GPrJ^未表示的十五个像素相关联的十五个运动向量。然后，获得指向组GPr2的运动向量场。组GPr2的十六个像素分别与形成密集运动向量场Cr2, 1-l的十六个运动向量相关联。将所述获得的运动向量场例如添加到上述候选预测子列表中。
[0393]在类似于上述步骤C2或D3的新步骤的过程中，常规地例如根据图51或图5J中所表示的方案之一来确定与纹理分量CT2,H的像素组GPr2相对应的具有十六个深度像素的组。在图5K中表示了根据这些方案之一所获得的至少一个视差向量DV1-U
[0394]考虑到序列SI的图像的格式为MVD类型的事实，所述深度分量的组的十六个像素分别与指向纹理分量CT2,1-l的十六个视差向量(未表不)相关联。这十六个视差向量形成视差向量场，该视差向量场的原点是纹理分量CT1,H的具有十六个像素的像素组GPR3。
[0395]在上述步骤C3或D4的过程中，计算纹理分量CTlli的当前像素组GPc的第一当前像素Pc, I, i与纹理分量CT1, i—丨的像素组GPr3的相应的第一像素PR3, !,i—!之间的第一运动向量MVc.1,该第一运动向量组成当前密集运动向量场Cc1。在图5K中以虚线表示运动向量MVc, i。
[0396]为此目的，这种计算是采用以下方式根据对极几何的规则进行的，其中，运动向量MVc, i的值是黑体字母所表示的未知量:
[0397]Pci)i+DVi(Pci)i)+MVi;i(Pci)i+DVi(Pci)i))=Pci)i+MVc)i(pcl,i)+DV1-1(Pci)i+MVc)i(pcl’i))。
[0398]重复步骤C3或D4，以计算分别与当前像素组GPc的未表示的其他十五个像素相关联的其他十五个运动向量。
[0399]然后，在步骤C3或D4之后，获得了由所计算出的十六个运动向量组成的密集运动向量场Cc1。将所述场Cc1例如添加到上述候选预测子列表中。
[0400]在上述步骤C4或D5过程中，通过关于纹理分量CT1,η的密集运动向量场Ca来预测具有十六个像素的当前像素组GPc的像素或运动。
[0401]应当指出，密集运动向量场Ce(如此密集运动向量场)可能包含多个孔，因为并非组GPr2的所有像素都由视差分量DVh所指向。然而，图5K的实施例在以下意义上是特别有利的:其使得可以对由因为电影摄影机的不同安排从一个电影摄影机到另一个电影摄影机所拍摄的物体的运动并不完全相同的事实所造成的图像变形进行补偿。
[0402]另外，为了提高对当前像素组的预测，图5K中所表示的实施例可以与图5J中所表示的实施例相结合。
[0403]不言而喻，仅以完全非限制性指示的方式给出了上文中已经描述的实施例，然而，并且在不脱离本发明的范围的情况下，本领域的技术人员可以容易地进行许多修改。
【主权项】
1.一种用于对当前图像(Ic)进行编码的方法，该方法包括在不同于该当前图像的第一图像(IR1)中确定与该当前图像(Ic)的有待编码的具有k个像素的当前像素组相对应的具有k’(k’ <k)个像素的像素组的步骤(C2)，所述编码方法的特征在于其包括以下步骤: -计算(C3)该第一图像(IR1)的该k’个像素中的每个像素与不同于该当前图像的第二图像(IR2)的相应像素之间的运动向量，在完成该计算时获得具有k ’个运动向量的运动向量场， -基于所获得的具有k’个运动向量的该运动向量场来预测(C4)所述当前图像(Ic)的具有k个像素的该当前像素组的这些像素或运动。2.如权利要求1所述的编码方法，其中，所述预测步骤在于通过不同于所述当前图像(Ic)的图像的多个相应像素来预测所述当前像素组的该k个像素，所述多个相应像素分别由所获得的所述运动向量场的该k ’个运动向量所指向，所述编码方法进一步包括以下步骤: -通过计算具有k个像素的该当前像素组与在该预测步骤完成时所获得的预测子像素组之间的差异来获得当前残差像素组， -用公式表示包含所获得的该当前残差像素组的数据流。3.如权利要求1所述的编码方法，其中，所述预测步骤在于通过所获得的所述运动向量场的该k’个运动向量来预测分别与所述当前像素组的该k个像素相关联的k个运动向量，所述编码方法进一步包括以下步骤: -通过计算同该当前像素组相关联的所述k个当前运动向量与所获得的所述运动向量场的所述k’个向量之间的差异来获得当前残差运动向量场， -用公式表示包含所获得的所述当前残差运动向量场的数据流。4.如权利要求1所述的编码方法，其中，在所述预测步骤过程中，进行以下步骤: -通过数学函数或统计函数从所述计算的运动向量场的该k ’个运动向量中选择(C41b))运动向量， -借助于所述选择的运动向量来预测(C42b))与该当前像素组的所述相关联的运动向量，所述编码方法进一步包括以下步骤: -通过计算同该当前像素组相关联的该运动向量与在该预测步骤完成时所获得的预测子运动向量之间的差异来获得当前残差运动向量， -用公式表示包含所获得的所述当前残差运动向量的数据流。5.如权利要求1至4中任一项所述的编码方法，其中，当图像编码为3D类型时，该第一图像(IR1)的该k’个像素被确定为由用于该当前图像与该第一图像(IR1)之间的视差的单个视差运动向量(DV)所指向的像素组，或者被确定为分别由用于该当前图像与该第一图像(IRi)之间的视差的视差运动向量场(DVF)的多个向量所指向的像素组。6.如权利要求1至5中任一项所述的编码方法，其中: -所述计算步骤在于计算在一方面多个第一图像的多个像素与另一方面不同于该当前图像的多个第二图像中的多个相应像素之间的多个运动向量场， 所述方法进一步包括通过数学函数或统计函数从所计算的这些运动向量场中选择运动向量场的步骤， -所述预测步骤在于基于该选择的运动向量场来预测该当前像素组的运动或这些像素。7.—种用于对当前图像(Ic)进行编码的设备(CO)，该设备包括用于在不同于该当前图像的第一图像(IR1)中确定与该当前图像(Ic)的有待编码的具有k个像素的当前像素组相对应的具有k’(k’<k)个像素的像素组的装置(CAL1_C0)，所述设备适用于实现如权利要求1至6中任一项所述的编码方法，其特征在于其包括: -用于计算该第一图像(IR1)的该k’个像素中的每个像素与不同于该当前图像的第二图像(12)的相应像素之间的运动向量以便获得具有k ’个运动向量的运动向量场的装置(CAL2_C0)， -用于基于所获得的具有k’个运动向量的该运动向量场来预测所述当前图像(Ic)的具有k个像素的该当前像素组的这些像素或运动的装置(PRED_C0)。8.—种包括程序代码指令的计算机程序，当所述程序在计算机上执行时，这些程序代码指令用于执行如权利要求1至6中任一项所述的编码方法的步骤。9.一种用于对表示当前编码图像(Ic)的数据流进行解码的方法，该方法包括在不同于该当前图像的第一图像(IR1)中确定与该当前图像(Ic)的有待解码的具有k个像素的当前像素组相对应的具有k’(k’ <k)个像素的像素组的步骤(D3)， 所述解码方法的特征在于其包括以下步骤: -计算(D4)该第一图像(IR1)的该k’个像素中的每个像素与不同于该当前图像的第二图像(IR2)的相应像素之间的k，个运动向量，在完成该计算时获得具有k，个运动向量的运动向量场， -基于所获得的具有k’个运动向量的该运动向量场来逆预测(D5)所述当前图像(Ic)的具有k个像素的该当前像素组的这些像素或运动。10.如权利要求9所述的解码方法，其中，所述逆预测步骤在于: -在所述数据流中确定(DI，D2)与具有k个像素的该当前像素组相关联的当前残差像素组， -基于不同于该当前图像(Ic)的图像的相应像素并且基于所述确定的当前残差像素组(GPrc)来重构(D5m))所述当前像素组的该k个像素，所述相应像素分别由所获得的所述运动向量场的该k ’个运动向量所指向。11.如权利要求9所述的解码方法，其中，所述逆预测步骤在于: -在所述数据流中确定(DI，D2)与具有k个像素的该当前像素组相关联的当前残差运动向量场(Crc)， -基于所获得的所述运动向量场的该k ’个运动向量并且基于所述确定的当前残差运动向量场来重构(D52a)分别与所述当前像素组的该k个像素相关联的k个运动向量。12.如权利要求9所述的解码方法，其中，在所述逆预测步骤(D5)过程中，进行以下步骤: -在所述数据流中确定(DI，D2)与具有k个像素的该当前像素组相关联的当前残差运动向量(MVrc)， -通过数学函数或统计函数从所获得的所述运动向量场的该k ’个运动向量中选择(D51b))运动向量(MV邂)， -借助于所述选择的运动向量并且借助于该确定的当前残差运动向量来重构(D52b))与该当前像素组相关联的运动向量。13.如权利要求9至12中任一项所述的解码方法，其中，当图像解码为3D类型时，该第一图像(IR1)中所包含的该k’个像素被确定为由用于该当前图像与该第一图像(IR1)之间的视差的单个视差运动向量(DV)所指向的像素组，或者被确定为其像素分别由用于该当前图像与该第一图像(IR1)之间的视差的视差运动向量场(DVF)的多个向量所指向的像素组。14.如权利要求9至13中任一项所述的解码方法，其中: -所述计算步骤在于计算在一方面多个第一图像的多个像素与另一方面不同于该当前图像的多个第二图像中的多个相应像素之间的多个运动向量场， 所述方法进一步包括通过数学函数或统计函数从所计算的这些运动向量场中选择运动向量场的步骤， -所述逆预测步骤在于基于该选择的运动向量场来重构该当前像素组的运动或这些像素。15.—种用于对表示当前图像(Ic)的数据流进行解码的设备(DO)，该设备包括用于在不同于该当前图像的第一图像(IR1)中确定与该当前图像(Ic)的有待解码的具有k个像素的当前像素组相对应的具有k’(k’彡k)个像素的像素组的装置(CAL1_D0)，所述设备适用于实现如权利要求9至14中任一项所述的解码方法，其特征在于其包括: -用于计算该第一图像(IR1)的该k’个像素中的每个像素与不同于该当前图像的第二图像(IR2)的相应像素之间的运动向量以便获得具有k’个运动向量的运动向量场的装置(CAL2_D0)， -用于基于所获得的具有k’个运动向量的该运动向量场来逆预测所述当前图像(Ic)的具有k个像素的该当前像素组的装置(PRED_D0)。16.一种包括程序代码指令的计算机程序，当所述程序在计算机上执行时，这些程序代码指令用于执行如权利要求9至14中任一项所述的解码方法的步骤。
【文档编号】H04N19/597GK105900423SQ201480052619
【公开日】2016年8月24日
【申请日】2014年9月23日
【发明人】E.G.莫拉, J.琼, B.佩斯奎特-波佩斯库, M.卡格纳佐
【申请人】奥兰治