专利名称：用于处理运动信息项的方法以及编码方法
技术领域：
本发明的技术领域涉及对图像进行编码和解码，尤其涉及对由一系列的连续图像组成的视频流进行编码和解码。更具体地说，本发明涉及对图像的运动信息实施编码，例如对运动向量或运动残差实施编码的预测编码技术。本发明尤其适用于在当前的视频编码器(MPEG，H. 264等)或未来的视频编码器(ITU-T/VCEG (H. 265)或 ISO/MPEG (HVC))中实施的视频编码。
背景技术：
·在下文，参看图1，描述在通过对图像块的运动向量进行编码来对图像序列进行编码或解码的领域中关于图像预测的现有技术，其中图像先是再分成宏块，宏块接着再分成块。块是由一组点或像素组成，其中块可以具有正方形、矩形、三角形或任何其他几何形状。因此，根据(例如)H. 264技术，编码器通过从当前运动向量mv减去预测子p来计算待编码的当前块的运动残余(也称作运动残差)ε mv = mv-p,其中是待编码的运动信息的值，被称作残差，mv是来自编码器所选择的运动估计(图I中的“Μ估计”)的运动向量，以及P是计算出的预测子。预测子对应于(例如)所考虑的当前块的相邻块的运动向量的经修改的中值。此残差在熵编码器(例如，“上下文自适应霍夫曼可变长度编码”或CAVLC类型的)或算术编码器(例如，“上下文自适应二进制算术编码”或CABAC类型的)中发送。虽然H. 264中提出的编码器是上下文自适应的，S卩，虽然当前残差可以根据相邻向量而以不同方式来编码(码字不同)，但是这还不能在计算运动信息时顾及到对此信息进行低成本编码的目标。为了解决并克服这个缺点，第6178265号美国专利中描述的现有技术设法通过只对根据预定准则选择的相关运动向量进行编码并且因此减少了待编码的运动信息项的数目来压缩待编码的运动信息。然而，这种技术的一个缺点是会因为选择待编码的运动向量而丢失信息。因此，需要一种新颖的技术，用于在编码任务方面优化编码，而不会降低编码性倉泛。
发明内容
本发明提出一种新颖的解决方案，所述解决方案不具有现有技术的所有这些缺点，形式为一种用于处理与图像序列中的当前图像有关的至少一个运动信息项Imv的方法根据本发明，此类方法包含-建构步骤(20)，用于建构至少一个列表L，所述列表L包含被称作预计运动信息项ImVi-a的至少一个运动信息项，所述至少一个运动信息项是通过基于至少一个参考图像进行运动补偿而预测得来并且已预先编码；以及被称作非预计运动信息项ImVi-na的至少一个运动信息项，所述至少一个运动信息项未预先编码；-第一相关联 步骤(21)，用于将至少一个预计运动信息项ImVi-a与所述列表中被称作待编码的运动信息项I’Hivi的运动信息项相关联，所述第一相关联步骤是根据优化所述待编码的运动信息项的编码成本的第一规则来实施以及递送包含至少一个关联(Irnvj-a, I’ Iiivi)的经修改的列表L ；-第二相关联步骤(22)，用于将在所述第一相关联步骤期间未相关联的每个非预计运动信息片段与待编码的运动信息项I’Hivi相关联，所述待编码的运动信息项是从在所述第一相关联步骤期间未相关联的所述非预计运动信息项以及在所述第一相关联步骤期间相关联了的所述预计运动信息项中识别出，所述第二相关联步骤是根据第二规则来实施，所述第二规则旨在确保所述列表的每个运动信息项Imvi在所述第一类或所述第二类相关联期间与待编码的单个运动信息项I’Hivi相关联，所述第二相关联步骤递送经修改的列表L,所述经修改的列表L包含与在所述建构步骤期间建构的列表L中的运动信息项一样多的关联(ImVi-a, I’ IiiviX因此，本发明依赖于一种新颖且创新的方法来改善图像编码，这种方法允许基于潜在运动信息项将待编码的信息项和与这个图像有关的运动信息项相关联。根据本发明的一个实施例，这个相关联操作首先是根据预定准则来完成的，并且达到改善编码的目标(根据第一规则来表达)以及旨在获得与待编码的单个信息项相关联的所有潜在信息项的目标。因此，在第一阶段，本发明的方法建构一个列表，所述列表包含潜在运动信息项，即，根据预定的传统编码准则可能被选来对所述图像进行编码的信息。明确地说，这个列表包括已编码的运动信息项，S卩，已由编码器根据预定准则选择的信息，例如，在当前图像之前的图像的编码期间或在当前块编码之前当前图像的块的编码期间选择的。这些运动信息项在下文表示为“预计”运动信息。这个列表还含有多个“理论”运动信息片段，S卩，可能用于对图像或块进行编码的信息但所述信息先前未经编码，因此先前未由编码器选择或在当前图像之前的图像的编码期间或在当前块的编码之前当前图像的块的编码期间选择。这些运动信息项在下文表示为“非预计”运动信息项。这些潜在运动信息项具有不同的分量值。运动信息项是在传统上允许通过基于至少一个参考图像进行运动补偿来对图像进行预测编码的信息项。因此，运动信息项是(例如)对应于运动向量与预测子(后者例如对应于与当前块相邻的已编码块的运动向量的中值运动向量)之间的差值的运动向量或运动残差。在第二阶段，一旦建构了列表，则以两个连续的相关联步骤来对其进行修改。在第一相关联步骤中，根据第一规则通过添加在列表起初所含有的一个预计运动信息项与待编码的运动信息项之间的至少一个关联来修改所述列表，其中所述待编码的运动信息项是从起始列表中的非预计运动信息项以及起始列表中已在这个第一相关联步骤的先前的反复期间相关联了的预计运动信息项中识别出。识别这个待编码的运动信息项以便可能改善图像或图像块的编码。实际上，如果选择了用于这个块的相关联了的运动信息项，那么在编码(根据预定的传统编码准则)期间，这个待编码的运动信息项是所述块的随后要进行编码的运动信息项。预计运动信息项是按照由下文详细描述的处理优先级准则定义的预定次序来处理。在第二相关联步骤期间，根据第二规则通过添加在未在第一相关联步骤期间相关联的一个非预计运动信息项与待编码的运动信息项之间的至少一个关联来修改所述列表， 所述待编码的运动信息项是从起始列表中的运动信息项中识别出，使得起始列表中的所有运动信息项都只与待编码的单个运动信息项相关联一次。根据本发明的一个实施例，针对当前图像的待编码的每个块来建构或更新所述列表。明确地说，所述第一相关联步骤包含第一选择步骤，所述第一选择步骤用于根据至少一个第一处理优先级准则来选择所述列表的所述预计运动信息项中被称作当前运动信息项的至少一个预计运动信息项，并且只要未验证所述第一规则，对于所述当前运动信息项，所述第一相关联步骤便包含以下子步骤中的至少一个反复〇第一识别子步骤，用于根据至少一个第二处理优先级准则从所述非预计运动信息项以及在先前的反复中相关联了的所述预计运动信息项中识别出待编码的运动信息项，以及〇当验证了所述第一规则时，第一相关联子步骤，用于将所述识别出的待编码的运动信息项与所述当前运动信息相关联。根据本发明的一个实施例，因此使用第一规则来在第一相关联步骤期间获得待编码的运动信息项。如上文所指示，第一规则定义了改善编码的目标，旨在在对块或图像进行编码时降低这个块或这个图像的运动信息项的编码成本。第一规则还定义了用以在预计运动信息项中确定待考虑的当前运动信息项的第一处理优先级准则或用以确定待考虑的非预计运动信息项的第二处理优先级准则。因此，首先根据所选的第一优先级准则来一个接着一个地考虑列表中的预计运动信息项。接着，对于被称作当前运动信息项的所考虑的每个预计运动信息项，根据所选的第二优先级准则(其可与针对当前运动信息项所选的优先级准则相同)来一个接着一个地考虑列表中的非预计运动信息项以及列表中已在先前的反复中相关联了的预计运动信息项。必须注意到，毫无差别地考虑非预计运动信息项以及已相关联的预计运动信息项，即，本发明不首先考虑非预计运动信息项，然后再考虑已相关联的预计运动信息项，而是只要还没达到降低编码成本的目标，便一个接着一个地考虑所有这些信息项。例如，如果编码成本可以被视为在先天上低于当前运动信息项的编码成本，那么选择非预计运动信息项。当未验证第一规则时，即，当所识别的运动信息项(非预计的或是预计的并且已在之前的反复中相关联了的)未带来对编码成本的先天改善时，那么根据所选的第二优先级准则来识别另一个运动信息项(非预计的或是预计的并且已在之前的反复中相关联了的)来施行新的测试以查看是否验证了第一规则。
最后，如果没有非预计运动信息项可以与当前运动信息项相关联，那么当前运动信息项便与自身相关联，即，其相关联的待编码的运动信息项是自身。因此，根据本发明的这个实施例，当未验证所述第一规则时，所述当前运动信息项与自身相关联。根据本发明的一个替代实施例，计算这些编码成本以便验证优化编码成本的假设。根据本发明的一个特定特征，所述第二相关联步骤包含以下步骤的至少一个反复-第二选择步骤，用于根据至少一个第三处理优先级准则来选择在所述第一相关联步骤期间未相关联的所述非预计运动信息项中被称作当前运动信息项的至少一个非预计运动信息项，以及·对于所述当前运动信息项〇第二识别子步骤，用于根据至少一个第四处理优先级准则从在所述第一相关联步骤期间未相关联的所述非预计运动信息项以及在所述第一相关联步骤期间相关联了的所述预计运动信息项中识别出待编码的运动信息项，以及〇第二相关联子步骤，用于将所述识别出的待编码的运动信息项与所述当前运动信息项相关联。因此，现在应考虑在第一相关联步骤期间未相关联的非预计运动信息项。第二规则的目标是起始列表中的所有运动信息项都将与待编码的运动信息项相关联，并且同时试图达到优化编码成本的目标，例如，获得一个编码成本，相对于待编码的运动信息的相关联的运动信息项，这个编码成本是待编码的运动信息的可能是“最优惠的编码成本”。第二相关联步骤也将处理列表中的运动信息项的优先级的准则(第三以及第四准贝U)考虑进去，如上文已参考第一以及第二准则所描述。正如在第一步骤的情况中，可能的是，当前运动信息项(未预计的)将不能与自身之外的待编码的运动信息项相关联。在这种情况下，当前运动信息项与自身相关联，即，其相关联的待编码的运动信息项是自身。例如，所述处理优先级准则对应于属于包含以下参数的群组的至少一个参数-当所述列表中的运动信息项是在每个轴线都对应于运动信息项的不同分量的参考系统中表不时，所述列表中的运动信息项的处理方向；-表示预计运动信息项已预先编码的次数，被称作出现频率，的信息项；-表示与一个运动信息片段相关联的可信度的信息项；或-前述参数的组合。因此，处理优先级可取决于不同的参数，这些参数可能会或可能不会组合起来。根据本发明的一个特定实施例，当运动信息项是在参考系统中“用图形”表示时，处理优先级对应于运动信息项的处理方向。例如，这种参考系统以两个维度(x，y)来表示一个运动信息项，当所述运动信息项表示在两个维度上的运动时，每个维度对应于所述运动信息项的一个分量。根据一个变体，这种参考以三个维度(x，y，z)来表示一个运动信息项，当所述运动信息项表示在三个维度上的运动时，每个维度对应于所述运动信息项的一个分量。因此，运动信息项可以由点或位置来表示，其中这个参考中的座标对应于运动信息项的分量的值。所述参考的中心(例如)可以表示零运动。根据另一个实施例，处理优先级将在所执行的先前编码(当前图像之前的图像的编码和/或当前块之前的块的编码)中运动信息项的出现频率考虑进去。因此，在运动信息项的列表中，预计运动信息项可以与 出现频率相关联，所述出现频率指示预计运动信息项已预先编码的次数(即，被编码器选择的次数)，或预计运动信息项已预先编码的次数的数量级。有可能(例如)考虑优先处置展示出最大出现频率的运动信息项。根据又一个实施例，处理优先级将与运动信息项相关联的可信度考虑进去，S卩，处理优先级将根据预定的传统编码准则列表中的运动信息项将实际上被选择用来对块进行编码的可能性的较大或较小值考虑进去。因此，优先处理具有最高可信度的运动信息项。这种用于将可信度与运动信息项相关联的技术尤其更详细地描述于以下专利申请案中，所述专利申请案的发明名称为“用于增补运动信息项的方法、对应的编码方法、装置以及计算机程序(Method for enriching a motion information item, correspondingencodingmethod, devices and computer program)”并且与本申请案在同一天以相同的申请人的名义申请。在其他实施例中，可以将这些参数组合起来以定义处理优先级。明确地说，所述处理方向属于包含以下各项的群组-螺旋处理方向，-钻石形处理方向，-将所述运动信息项在所述参考系统中的至少一个位置考虑进去的处理方向，并且其中所述处理方向在预定的运动信息项上或在所述列表中的所述运动信息项的重心上居中。例如，根据第一实施例，当信息项是在参考中表示时，信息项的处理方向在于根据预定的几何模板(例如螺旋或钻石形)来扫描表示运动信息项的点或位置。实际上，(例如)远离参考的中心移动来扫描螺旋，这个中心可能由预定的运动信息项或所示的运动信息项的重心表示。在第二实施例中，信息项的处理方向可以将所示的运动信息项的相应位置考虑进去。例如，本发明优先处理位置离参考的中心最远的运动信息项，即，表示最大运动的运动信息项。根据本发明的一个实施例，所述建构步骤将参考图像的数目η考虑进去。因此，有可能选择考虑更多或更少数目的参考图像，并且因此考虑已编码的运动信息项的更大或更小的样本。因此，可以将场景的时间活动性考虑进去。例如，如果连续的图像彼此非常不同，那么存在已编码的运动信息项可能不与当前图像相关的风险。在这种情况下，优选的是，不考虑大量的先前图像。本发明还涉及一种用于对图像序列中的当前图像的至少一个当前块进行编码的方法。根据本发明，此种编码方法实施例如已描述的方法的一种处理方法以及以下步骤-从所述列表的所述运动信息项中选择所述当前块的运动信息项；
-对在所述第一相关联步骤或所述第二相关联步骤期间与在所述选择步骤期间选择的所述运动信息项相关联的待编码的运动信息项进行编码，以便递送所述块的经编码的运动信息项。因此，根据这个实施例，本发明使得能够以最佳方式对运动信息项进行编码。实际上，经编码的运动信息并非直接是根据预定的传统编码准则选择的运动信息，而是与所选的运动信息相关联的根据本发明修改的运动信息项。因此，根据本发明的这个实施例，当前图像的编码得到优化，因为与现有技术相t匕，它的编码成本对于图像的所有块来说大体上降低。明确地说，编码成本的降低对应于与图像块相关联的运动信息项在编码器与解码
器之间传输的成本的降低。因此，与现有技术相比，传输比特率可以增加。本发明的另一个方面涉及一种表示图像序列中的图像的至少一个经编码块的信号。根据本发明，例如这种信号等一种信号载运根据上文所述的编码方法编码的至少一个运动信息项。此外，此种信息载运表示参考图像的数目η的信息项。本发明还涉及一种用于对图像序列中的当前图像的至少一个当前块进行解码的方法。根据本发明，此种解码方法包含以下步骤-接收并且解码根据上文所述的编码方法来编码的运动信息项，从而递送经解码的运动信息项；-实施上文所述的处理方法的各步骤；-从所述列表的所述运动信息项中选择在所述第一相关联步骤或所述第二相关联步骤期间与所述经解码的运动信息项相关联的运动信息项；-由所述选定的运动信息项来重建所述块。本发明的另一个方面涉及一种用于处理与图像序列中的当前图像有关的至少一个运动信息项的装置。根据本发明，此类处理装置包含-建构构件，用于建构至少一个列表L,所述列表L包含被称作预计运动信息项ImVi-a的至少一个运动信息项，所述至少一个运动信息项是通过基于至少一个参考图像进行运动补偿而预测得来并且已预先编码；以及被称作非预计运动信息项ImVi-na的至少一个运动信息项，所述至少一个运动信息项未预先编码；-第一相关联构件，用于将至少一个预计运动信息项ImVi-a与所述列表中被称作待编码的运动信息项I’Hivi的运动信息项相关联，所述第一相关联构件经调适以遵照优化所述待编码的运动信息项的编码成本的第一规则并且递送包含至少一个关联(ImVi-a, I’mVi)的经修改的列表L ；-第二相关联构件，用于将未通过所述第一相关联构件相关联的每个非预计运动信息项与待编码的运动信息项I’Hivi相关联，所述待编码的运动信息项是从未通过所述第一相关联构件相关联的所述非预计运动信息项以及通过所述第一相关联构件相关联了的所述预计运动信息项中识别出，所述第二相关联构件经调适以遵照第二规则，所述第二规则旨在确保所述列表中的每个运动信息项Imvi通过所述第一或第二相关联构件与待编码的单个运动信息项I’mVi相关联，所述第二相关联构件递送经修改的列表L，所述经修改的列表L包含与通过所述建构构件建构的列表L中的运动信息项一样多的关联(ImVi-a, TmviX此种处理装置尤其适合于实施上文所述的处理方法的各步骤。当然，这种装置可包括根据本发明的处理方法的不同特性。因此，这种处理装置的特性和优点与处理方法的特性和优点相同，并且不作更详细的描述。本发明的另一个方面涉及一种用于图像序列中的当前图像的至少一个当前块的编码装置，也被称作编码器。根据本发明，例如这种编码装置等一种编码装置包含上文所述的处理装置的构件，以及-选择构件，用于从所述列表的所述运动信息项中选择所述当前块的运动信息项； -编码构件，用于对通过所述处理装置的所述构件与通过所述选择构件选择的所述选定的运动信息项相关联的待编码的运动信息项进行编码。本发明还涉及一种用于对图像序列中的当前图像的至少一个当前块进行解码的装置，所述解码装置包含-接收以及解码构件，用于接收并且解码通过上文所述的编码装置的构件来编码的运动信息项，从而递送经解码的运动信息项；-实施构件，用于实施上文所述的处理装置的构件；-选择构件，用于从所述列表的所述运动信息项中选择通过所述第一或第二相关联构件与所述经解码的运动信息项相关联的运动信息项；-重建构件，用于由所述选定的运动信息项来重建所述块。最后，本发明还涉及一种计算机程序，其包含用于在处理器执行这个程序时实施如上文所述的处理方法、编码方法或解码方法的指令。
通过在下文借助于简单的例示性而非详尽的实例对特定实施例进行的描述并且通过附图，将更加清楚本发明的其他特征以及优点，在附图中-图I是已参照现有技术来谈论过的，绘示了根据现有技术的H.264技术的编码系统的实例；-图2绘示根据本发明的一个实施例的用于处理与图像有关的运动信息项的方法的主要步骤；-图3a以及图3b分别绘示用于使图2的处理方法相关联的第一步骤以及第二步骤；-图4a、图4b、图5a、图5b以及图6绘示图像的当前块的运动信息项的表示的实例；-图7绘示根据本发明的一个实施例的处理装置的简化结构的实例。
具体实施例方式5. I 一般原理本发明的一般原理依赖于处理与图像序列中的图像有关的运动信息项Imv以将经修改的运动信息项I, IW递送给用于对图像或图像块进行编码的编码器。此经修改的运动信息项Γ mv在下文被称作待编码的运动信息项。与处理之前的运动信息项相比，在先天上，此经修改的信息项的编码成本得到优化。因此，本发明可以通过不是直接对与每个图像有关的运动信息Imv进行编码而是对根据本发明进行处理的运动信息项I, mv进行编码，来在总体上降低对视频图像序列进行编码的成本。为此，本发明基于可能用于对块或图像进行编码的运动信息项集合。根据本发明，这个集合的建构接着允许处理其所含有的每个运动信息项，使得实际上被选择用来对块或图像进行编码的运动信息也得到处理。
运动信息项Imv被视为在传统上允许通过基于至少一个参考图像进行运动补偿来对图像进行预测编码的信息项。因此,运动信息项是(例如)对应于运动向量与预测子(后者例如对应于与已编码的当前块相邻的块的运动向量的中值运动向量)之间的差值的运动向量或运动残差，或此外为预测子。此外，在对块或图像进行解码时，根据本发明的原理，也实施运动信息的处理，以便对与正在重建的块或图像有关的运动信息项进行有效解码。5. 2 一个实施例的描沭现在参看图2到图6，呈现了根据本发明的一个实施例的处理方法的主要步骤。在这个实施例中，运动信息项Imv被视为对应于(例如)根据参考现有技术所描述的技术针对当前图像的块或图像序列计算出的运动残差ε mv。如图2所示，根据本发明的这个实施例，所述处理方法主要包含三个步骤20、21以及22。在用于建构列表L的第一步骤20处，列出了先前在对当前图像之前的一个或多个图像进行编码期间和/或在对当前块之前的块进行编码期间选择并编码的所有运动信息项。这些运动信息项在下文被称作预计运动信息项并且表示为ImVi-a。步骤20还将可能由编码器选择的与运动信息项ImVi-a不同的所有运动信息项并入列表L中，所述不同的运动信息项被称作理论运动信息项或非预计信息项并且表示为Imvi-Iia0如图4a以及图4b中所呈现，此列表L的实例的图形形式的图解是提供用来更好地理解这些概念。图4a首先呈现图像“Image”，其中正根据本发明的方法对当前块进行处理。这个块由散列的正方形表示。先前经编码的相邻块由具有黑点的空白正方形表示。此外,运动信息项Iiiv1到mv4通过沿着轴线x和y的箭头表示为向量形式，其中x和y轴线各自对应于运动信息项的分量。这些运动信息项对应于与当前块相邻的块的预先经编码的运动向量。例如，运动信息项Hiv2大致对应于两个块向右移动以及两个块向下移动，而运动信息Inv1大致对应于一个块向右移动以及一个块向上移动。除了这些当前运动信息项之外，运动信息项P对应于针对当前块计算出的预测子。图4b示出在预测子P上居中的特定参考，呈以虚线示出的窗的形式。这个参考用以相对于当前块的预测子P表示运动信息项Irnv。这些运动信息项Imv由点(亦称作位置)来表示，并且根据其分量而示出。这个参考系统对应于用于对当前块的运动残余进行编码的潜在运动残余的参考系统。每个运动信息项Imv1到Imv4对应于一方面每个运动向量mvi到Hiv4分别与另一方面运动信息项P (预测子运动向量)之间的差值。因此，可看出，在图4b中，某些点实际上对应于属于在当前块之前编码的块的运动信息项(Imv2以及Imv4)用于这些块的部分的其他点对应于与在当前图像之前编码的图像有关的运动信息项。所表示的所有这些点对应于所考虑的当前块的列表L的运动信息项Imvi-B0虚线窗的大小是预定的并且限定了列表L的大小。必须注意到，列表的建构要考虑进去的在当前图像之前的图像的这个数目η可以随(例如)与图像序列的时间活动性有关的某些准则而变。此外，解码器必须知道这个数目·η，并且因此可以(例如)用信号来传输这个数目η。此外，来自参考图像并且因此在时间上远离当前图像的运动信息项以传统方式来重定标度，以便控制时间距离。最后，由于这个列表可能包括在当前块之前编码的块的运动信息项，因此可针对每个块来更新这个列表。由这个列表，可实现的一个目标是将编码成本先天得到优化的单个运动信息项I' mvj与包含运动信息项ImVi-a到Imvi-Iia的每个信息项Imvi相关联。因此，当在解码时根据已知编码准则来选择当前块的运动信息项Imvi时，所述运动信息项Imvi是由编码器编码的根据本发明的这个实施例相关联了的待编码的运动信息，因此使得有可能优化对块进行编码的成本。为此，第一相关联步骤21是在可能时将一个运动信息项Γ HiVi与列表L的所有预计运动信息项ImVi-a相关联,这个运动信息项I’ mvi是选自列表L的非预计运动信息项Imvi-Ha以及在第一步骤21的先前的反复中相关联了的预计运动信息项，使得I’Iwi的编码成本先天上低于ImVi-a的编码成本。编码成本的此优化是根据第一规则来定义。下文参看图3a以及图5a更详细描述的这个第一相关联步骤可以是(例如)在列表L中创建第二列或者在列表L的不同元素之间创建链接，因此将列表L修改成了列表L’。一旦已执行这个第一相关联步骤21，便根据经修改的列表L’来实施第二相关联步骤22。在这个步骤处，处理在步骤21期间未相关联的起始列表L中的每个元素，使得在第二相关联步骤22结束时，起始列表L的每个运动信息项Imvi与待编码的运动信息项I’ Invi相关联。例如，在这个第二步骤期间处理的运动信息项是在第一步骤21期间未得到相关联操作“服务”的非预计运动信息项ImVi-na。现在将参看图3a、图3b以及图5a和图5b来更详细地描述这两个连续的相关联步骤21以及22。图5a是呈点形式的列表L的运动信息项的图示，这些点对于预计运动信息项Imvi-B来说是黑色的或对于非预计运动信息项ImVi-na来说是空白的。图3a绘示相关联步骤21的主要子步骤，即选择子步骤210、识别子步骤211以及相关联本身子步骤212。第一选择子步骤 210首先包括根据处理优先级准则来选择列表L中首先要处理的运动信息项ImVi-a。由于这个第一相关联步骤21的目标是优化编码成本，因此优选的是，优先处理被认为在编码时被选择的可能性较高的运动信息项ImVi-a。因此，在编码时实际上选择的运动信息很好地与待编码的运动信息项相关联，待编码的运动信息项的编码成本得到了优化。用图形表示，这个第一选择子步骤是从图5a所示的那些点中选择黑色点。处理优先级准则可以(例如)基于出现频率，所述出现频率与列表的每个运动信息项有关并且对应于表示运动信息项已预先编码的次数的信息项。例如，出现频率等于在当前块之前的η个先前图像以及块的编码期间运动信息项已编码的确切次数。出现频率也可以等于运动信息项已编码的这个次数的数量级，例如“大于20”或“小于5”。这个处理优先级准则因此使得能够优先处理最频繁的预计运动信息项ImVi-a并且因此将其与在编码方面为最佳的待编码运动信息项1’11^相关联。当从未预先编码运动信息项时(这是(例如)上文所述的非预计信息项Imvi-Iia的情况),它们的出现频率为零。在如图5a中用图形表示运动信息项时，优先级准则还可以基于几何扫描的方向。例如，这种处理方向在于在沿螺旋(例如将图5a中的空白点连接起来的螺旋，这些空白点是在通过双箭头指示的方向上扫描)扫描的过程中按照从参考的中心开始朝向参考外部时预计运动信息项出现的次序来取得预计运动信息项。扫描方向也可以表示成在参考系统的中心上居中的钻石的形式。上文所述的几何扫描方向的实例也可以在参考系统中远离中心的另一个点(例如表示列表L的所有信息项的重心的点)上居中。扫描方向也可以将待处理的点与被视为参考的另一个点之间的计算出的距离考虑进去。处理优先级准则还可以基于表示与列表L的运动信息项相关联的可信度的一个信息片段。因此，由于列表L的运动信息项具有高可信度，因此所述运动信息项可以优先处理，这使得能够将其与在编码成本方面为最佳的待编码运动信息项I’Hivi相关联。可以将这些不同类型的优先级准则组合起来。解码器必须知道这些优先级准则，这样解码器也可以实施这些相关联步骤。根据图5a，(例如)根据出现频率而使用的处理优先级准则相当于对黑色点编号，例如I到7，以及按照升序来处理它们。—旦在子步骤210处选择了预计运动信息项并且将其视为当前运动信息项Imv。，则实施用于识别非预计运动信息项的子步骤211。这个识别操作是基于上文已描述的第一规则，在于优化运动信息项的编码成本。因此，搜索非预计运动信息项或在先前的反复期间已与非预计运动信息项相关联的预计运动信息项(例如，点6与点2相关联，点2自身已在先前的反复期间与空白的点相关联)，所述运动信息项的编码成本将可能低于选自列表L的所有非预计运动信息项Imvi-Iia中的当前运动信息项。这个识别操作还基于如上文所述的处理优先级准则。考虑图5a的描述，因此例如在考虑沿图5a所示的螺旋而行的空白点的过程中，设法将每个黑色点I到7与验证了上述规则的空白点相关联。—旦运动信息项(非预计的或是预计的并且已在先前的反复中相关联了的)使得能够核实所述第一规则，则将所述运动信息项视为待编码的运动信息项I’IWi并且在相关联子步骤212中将其与当前运动信息项Imve相关联。这个相关联操作在图5a中由连接以下各者的虚线表示-黑色点2与螺旋的第一空白点，-黑色点3与螺旋的第二空白点，-黑色点4与螺旋的第三空白点。在第一相关联步骤21期间，可能的是，某些预计运动信息项不能与在非预计运动信息项中识别出的待编码的运动信息相关联。例如，当在图5a中表示出所述预计运动信息项时，这些运动信息项是位置处于参考系统的一个轴线上的运动信息项。因此，可以选择不
将它们与位置不位于这个轴线上的待编码的运动信息项相关联。这是(例如)由黑色点I以及5表示的运动信息项的情况。第一规则因此表达如下如果空白点的分量在绝对值方面分别小于或等于黑色点的分量，那么这个黑色点不会向这个空白点移位。这意味着，对于这种类型的预计运动信息项，相关联的待编码的运动信息项I’mVi是预计运动信息项自身。对列表的所有预计运动信息项实施这个第一相关联步骤21，并且导致相等数目的相关联操作。因此，可以认为列表L在这个第一步骤21之后已修改成列表L’。这个经修改的列表L的表示在图5b中呈现。已与空白点相关联的先前黑色点已变成具有黑点的空白点，并且相关联了的空白点已变成具有白点的黑色点。因此，在图形表示方面，对应于图5a的黑色点的位置在图5b中得到“释放”。然而，对应于图5a的黑色点的位置现在在图5b中被“占用”。步骤22也具有三个子步骤220、221以及222，这三个子步骤大体上与上文参考第一相关联步骤21描述的子步骤210、211以及212相同。实际上，子步骤220、221以及222与子步骤210、211以及212的不同之处只在于它们所处理的运动信息项。这个差异基本上与以下事实关联这个第二相关联步骤22的目标是获取列表L中将与待编码的单个运动信息项I’ mv相关联的每个运动信息项。这三个用于选择220、识别221以及相关联222的子步骤也基于如上文所述的处理优先级准则。将不会再次详细描述三个子步骤220、221以及222。然而，必须要注意以下特定特征-选择子步骤220将在第一相关联步骤21期间未相关联的所有未预计运动信息项，即，在图5a中由空白点用图形表不的运动/[目息项，都考虑进去；-识别子步骤221将在图5a中由空白点以及具有黑点的空白点用图形表示的运动信息项考虑进去，使得经识别的待编码的运动信息项I’ mv在先天上具有最佳编码成本或最优惠的编码成本；-相关联子步骤222使得能够将在子步骤221期间识别的待编码的单个运动信息项I’ mv与在子步骤220期间选择的每个运动信息项相关联。这些相关联在图5b中由虚线示出。必须注意到，在这个第二相关联步骤22中，待编码的运动信息项I’mv可能具有先天上比与这个待编码的运动信息项I’mv相关联的选定运动信息高、但可能是最优惠的编码成本。然而，由于这个第二相关联步骤不处理所有最频繁的预计运动信息项(如上文参考处理优先级准则所指示)，因此这大体上不会影响图像的编码成本。因此，在从这个第二相关联步骤22退出时，并且如图5b所示，列表L的所有运动信息项Imv已与待编码的运动信息项I’mv相关联。5. 3实施例的一个变体的描述图6绘示上文所述的实施例的变体，其中只考虑所形成的列表L中被称作子列表L’的一部分，以期实现编码质量与实施复杂性之间的折衷。因此，施加于列表L的第一类型的限制可以基于其所含有的预计运动信息项的类型。实际上，(例如)有可能优先选择当前块的图像中来自相邻块的先前编码的预计运动信息项。子列表L’ I因此对应于图6中以虚线示出的“子窗” L’ I。施加于列表L的第二类型的限制可以基于与其所含有的预计运动信息项相关联的可信度。实际上，(例如)有可能优先选择在编码期间实际上被选择的可能性最高的预计·运动信息项。子列表L’2因此对应于图6中以实线示出的“子窗”L' 2。5. 4对图像块进行编码以及解码的实施例的描述在本发明的这个实施例中，通过对图像块进行编码的方法来实施上文所述的处理步骤。因此，根据本发明的这个实施例的编码方法从列表L的运动信息项中选择对应于传统的预定编码准则(例如比特率/失真准则)的运动信息项。在这种情况下，接着从相关联的待编码的运动信息项I’ mv计算出比特率/失真准则的比特率参数。实际上，针对块有效地编码并且经传输以便随后在重建图像块时由解码器解码的运动信息项是在上文所述的处理方法的步骤期间与之相关联并且先天上具有较低编码成本的待编码的运动信息项I’mv。因此，图像块的编码成本得到优化，同时还确保最佳的编码性能。在解码时，由编码器传输的运动信息项I’ mv被视为待解码的运动信息项。在对块进行解码时，解码器实施与编码器所实施的步骤相同的步骤，即，它实施处理方法的步骤以便获得列表以及运动信息项Imv与待解码的运动信息项I’ mv之间的多个关联。接着，解码器对接收到的由编码器传输的信息进行解码，并且接着解码器在其列表中识别待解码的运动信息项I’mv中对应于解码器刚刚已解码的运动信息项的运动信息项。为了获知对应于解码器正建构的块的运动信息项，解码器搜索相关联的运动信息项Imv05. 5处理装置的结构图7绘示根据本发明的一个实施例的处理装置的简化结构。例如，处理装置包含由缓冲存储器构成的存储器71以及处理单元72，处理单元72配备有(例如)微处理器μ P且受计算机程序73驱动，用来实施根据本发明的编码方法。例如，在初始化时，计算机程序73的代码指令加载到RAM中，并随后由处理单元72的处理器执行。处理单元72输入与图像序列中的图像有关的至少一个运动信息元素。处理单元72的微处理器根据计算机程序73的指令实施上文所述的处理方法的步骤，从而递送待编码的至少一个运动信息项。为此，除了缓冲存储器71之外，编码器装置还包含-建构模块(Μ20),用于建构至少一个列表L,所述列表L包含被称作预计运动信息项ImVi-a的至少一个运动信息项，所述至少一个运动信息项是通过基于至少一个参考图像进行运动补偿而预测得来并且已预先编码；以及被称作非预计运动信息项ImVi-na的至少一个运动信息项，所述至少一个运动信息项未预先编码；-第一相关联模块(M21)，用于将至少一个预计运动信息项ImVi-a与所述列表中被称作待编码的运动信息项I’Hivi的运动信息项相关联，所述第一相关联模块M21经调适以遵照优化待编码的运动信息项的编码成本的第一规则以及递送包含至少一个关联(Irnvj-a, I’ Iiivi)的经修改的列表L ；-第二相关联模块(M22)，用于将未通过所述第一相关联模块相关联的每个非预计运动信息项与待编码的运动信息项I’Hivi相关联，所述待编码的运动信息项是从未通过所述第一相关联模块相关联的非预计运动信息项以及通过所述第一相关联模块相关联了的预计运动信息项中识别出，所述第二相关联模块经调适以遵照第二规则，所述第二规则旨在确保列表中的每个运动信息项Imvi通过第一或第二相关联模块与待编码的单个运动 信息项I’ Hivi相关联，所述第二相关联模块递送经修改的列表L，所述经修改的列表L包含与通过建构模块建构的列表L中的运动信息项一样多的关联(ImVi-a, I’IiiviX这些模块由处理单元72的微处理器驱动。
权利要求
1.一种用于处理与图像序列中的当前图像有关的至少一个运动信息项Irnv的方法，其中所述方法包含 -建构步骤，用于建构至少一个列表L,所述列表L包含被称作预计运动信息项ImVi-a的至少一个运动信息项，所述至少一个运动信息项是通过基于至少一个参考图像进行运动补偿而预测得来并且已预先编码；以及被称作非预计运动信息项ImVi-na的至少一个运动信息项，所述至少一个运动信息项未预先编码； -第一相关联步骤，用于将至少一个预计运动信息项ImVi-a与所述列表中被称作待编码的运动信息项I’HlVi的运动信息项相关联， 所述第一相关联步骤是根据优化所述待编码的运动信息项的编码成本的第一规则来实施并且递送包含至少一个关联(ImVi-a, I’mVi)的经修改的列表L ； -第二相关联步骤，用于将在所述第一相关联步骤期间未相关联的每个非预计运动信息片段与待编码的运动信息项I’Hivi相关联，所述待编码的运动信息项是从在所述第一相关联步骤期间未相关联的所述非预计运动信息项以及在所述第一相关联步骤期间相关联了的所述预计运动信息项中识别出，所述第二相关联步骤是根据第二规则来实施，所述第二规则旨在确保所述列表中的每个所述运动信息项Imvi在所述第一类或所述第二类相关联期间与待编码的单个运动信息项I’Hivi相关联，所述第二相关联步骤递送经修改的列表L，所述经修改的列表L包含与在所述建构步骤期间建构的所述列表L中的运动信息项一样多的关联(ImVi-a, I’ Iiivi)。
2.根据权利要求I所述的方法，其中所述第一相关联步骤包含第一选择步骤，用于根据至少一个第一处理优先级准则来选择所述列表的所述预计运动信息项中被称作当前运动信息项的至少一个预计运动信息项，以及 对于所述当前运动信息项，只要未验证所述第一规则，便包含以下子步骤中的至少一个反复 〇第一识别子步骤，用于根据至少一个第二处理优先级准则从所述非预计运动信息项以及在先前的反复期间相关联了的所述预计运动信息项中识别出待编码的运动信息项，以及 〇当验证了所述第一规则时，便包含第一相关联子步骤，用于将所述识别出的待编码的运动信息项与所述当前运动信息相关联。
3.根据权利要求I所述的方法，其中所述第二相关联步骤包含以下步骤的至少一个反复 -第二选择步骤，用于根据至少一个第三处理优先级准则来选择在所述第一相关联步骤期间未相关联的所述非预计运动信息项中被称作当前运动信息项的至少一个非预计运动信息项，以及对于所述当前运动信息项 〇第二识别子步骤，用于根据至少一个第四处理优先级准则从在所述第一相关联步骤期间未相关联的所述非预计运动信息项以及在所述第一相关联步骤期间相关联了的所述预计运动信息项中识别出待编码的运动信息项，以及 〇第二相关联子步骤，用于将所述识别出的待编码的运动信息项与所述当前运动信息项相关联。
4.根据权利要求2或权利要求3的方法，其中所述处理优先级准则对应于属于包含以下参数的群组的至少一个参数 -当所述列表中的所述运动信息项是在每个轴线都对应于运动信息项的不同分量的参考系统中表不时，所述列表中的所述运动信息项的处理方向； -表示预计运动信息项已预先编码的次数，被称作出现频率，的信息项； -表示与一个运动信息片段相关联的可信度的信息项；或 -前述参数的组合。
5.根据权利要求4所述的方法，其中所述处理方向属于包含以下各项的群组 -螺旋处理方向， -钻石形处理方向， -将所述运动信息项在所述参考系统中的至少一个位置考虑进去的处理方向，并且其中所述处理方向在预定的运动信息项上或在所述列表中的所述运动信息项的重心上居中。
6.根据权利要求I所述的方法，其中所述建构步骤将参考图像的数目η考虑进去。
7.一种用于对图像序列中的当前图像的至少一个当前块进行编码的方法，其中所述方法实施根据权利要求I的处理方法以及以下步骤 -从所述列表的所述运动信息项中选择所述当前块的运动信息项； -对在所述第一相关联步骤或所述第二相关联步骤期间与在所述选择步骤期间选择的所述运动信息项相关联的待编码的运动信息项进行编码，以便递送所述块的经编码的运动信息项。
8.一种表示图像序列中的图像的至少一个经编码的块的信号，其中所述信号载运根据权利要求7所述的编码方法来编码的至少一个运动信息项。
9.根据权利要求8所述的信号，其中所述信号此外还载运表示参考图像的数目η的至少一个信息项。
10.一种用于对图像序列中的当前图像的至少一个当前块进行解码的方法，其中所述方法包含以下步骤 -接收并且解码根据权利要求7所述的编码方法来编码的运动信息项，从而递送经解码的运动信息项； -实施根据权利要求I所述的处理方法的各步骤； -从所述列表的所述运动信息项中选择在所述第一相关联步骤或所述第二相关联步骤期间与所述经解码的运动信息项相关联的运动信息项； -由所述选定的运动信息项来重建所述块。
11.一种用于处理与图像序列中的当前图像有关的至少一个运动信息项的装置，其中所述装置包含 -建构构件，用于建构至少一个列表L,所述列表L包含被称作预计运动信息项ImVi-a的至少一个运动信息项，所述至少一个运动信息项是通过基于至少一个参考图像进行运动补偿而预测得来并且已预先编码；以及被称作非预计运动信息项ImVi-na的至少一个运动信息项，所述至少一个运动信息项未预先编码； -第一相关联构件，用于将至少一个预计运动信息项ImVi-a与所述列表中被称作待编码的运动信息项I’Hivi的运动信息项相关联，所述第一相关联构件经调适以遵照优化所述待编码的运动信息项的编码成本的第一规则并且递送包含至少一个关联(ImVi-a，I’mVi)的经修改的列表L ； -第二相关联构件，用于将未通过所述第一相关联构件相关联的每个非预计运动信息项与待编码的运动信息项I’Hivi相关联，所述待编码的运动信息项是从未通过所述第一相关联构件相关联的所述非预计运动信息项以及通过所述第一相关联构件相关联了的所述预计运动信息项中识别出，所述第二相关联构件经调适以遵照第二规则，所述第二规则旨在确保所述列表中的每个所述运动信息项Imvi通过所述第一或第二相关联构件与待编码的单个运动信息项I’ Hivi相关联，所述第二相关联构件递送经修改的列表L，所述经修改的列表L包含与通过所述建构构件建构的所述列表L中的所述运动信息项一样多的关联(Imvj-a, I’ Iiivi )。
12.一种用于对图像序列中的当前图像的至少一个当前块进行编码的装置，其中所述装置包含根据权利要求11所述的处理装置的构件，以及 -选择构件，用于从所述列表的所述运动信息项中选择所述当前块的运动信息项； -编码构件，用于对通过所述处理装置的所述构件与通过所述选择构件选择的所述选定的运动信息项相关联的待编码的运动信息项进行编码。
13.一种用于对图像序列中的当前图像的至少一个当前块进行解码的装置，包含 -接收以及解码构件，用于接收并且解码通过根据权利要求7所述的编码装置的构件编码的运动信息项，从而递送经解码的运动信息项； -实施构件，用于实施根据权利要求11所述的处理装置的构件； -选择构件，用于从所述列表的所述运动信息项中选择通过所述第一或第二相关联构件与所述经解码的运动信息项相关联的运动信息项； -重建构件，用于由所述选定的运动信息项来重建所述块。
14.一种计算机程序，所述计算机程序包含用于在处理器执行此程序时，实施根据权利要求1、7或10所述的方法的指令。
全文摘要
本发明涉及一种用于处理与图像序列中的规则图像有关的运动信息Imv的方法。根据本发明，此种方法包括建构步骤，用于建构一个列表，所述列表包括至少一个预计运动信息片段以及至少一个非预计运动信息片段；第一相关联步骤，用于根据第一规则将预计运动信息与运动信息相关联，所述第一规则是用于优化所述待编码的运动信息的编码成本；第二相关联步骤，用于根据第二规则将在所述第一相关联步骤期间未相关联的每个非预计运动信息片段与在列表的所述运动信息片段中识别出的待编码的运动信息相关联，所述第二规则旨在确保每个运动信息片段都与单个待编码的运动信息片段相关联。
文档编号H04N7/26GK102959954SQ201180019807
公开日2013年3月6日 申请日期2011年4月19日 优先权日2010年4月22日
发明者乔尔·琼, 朱利安·勒达诺, 让-马克·迪埃斯 申请人:法国电信