使用较准确的运动信息的帧内插的制作方法

专利名称：使用较准确的运动信息的帧内插的制作方法
技术领域：
本发明涉及数字多媒体编码和解码，且更明确地说涉及用于多媒体应用的用于内插 跳越帧的技术。
背景技术：
己经建立许多不同视频编码标准用于对数字多媒体序列进行编码。动画专家组 (MPEG)(例如)已开发出包括MPEG-1、 MPEG-2和MPEG-4的许多标准。其它实例包 括国际电信联盟(ITU) H.263标准和也在题为"Advanced Audio Coding"的MPEG-4部分 10中阐述的新兴ITU H.264标准。这些视频编码标准一般通过以压縮方式对数据进行编 码而支持多媒体序列的改进的传输效率。压縮减小需要传输的数据的总量以实现多媒体 帧的有效传输。视频编码用于有线和无线传输媒体两者上的许多情形中，包括视频流、 视频摄像机、视频电话(VT)和视频广播应用。
MPEG-4、 ITU H.263和ITU H.264标准(例如)支持利用连续多媒体帧之间的类似 处(称作时间或帧间相关)来提供帧间压縮的视频编码技术。帧间压縮技术通过将多媒 体帧的基于像素的表示形式转换为运动表示形式而利用帧上的数据冗余。使用帧间技术 编码的帧称作预测("P")帧或双向("B")帧。称作内部(T')帧的一些帧使用非预测 的空间压縮而编码。另外， 一些帧可包括帧内编码区块和帧间编码区块两者的组合。
为了满足低带宽需求，例如视频电话或视频串流的一些多媒体应用通过使用帧跳越 而以较低帧速率对视频进行编码来减小位速率。跳越帧可称作"S"帧。不幸地，低帧速率 视频可产生运动振动形式的假影。因此，例如帧速率向上转换(FRUC)的帧内插通常用 于解码器处以内插跳越帧的内容。
已开发出多种FRUC技术且可将其分为两个类别。第一 FRUC类别包括帧重复(FR) 和帧平均(FA)，其均使用视频帧的组合而不考虑运动。这些算法在无运动的情况下提供 可接受的结果。然而，当存在显著帧到帧运动时，FR易于产生运动振动，而FA产生对 象的模糊。第二FRUC类别依赖于使用运动的先进转换技术。在此类别中，内插帧的质 量视估计运动与真实对象运动之间的差异而定。

发明内容
大体来说，本发明描述促进跳越视频帧的较准确的内插的视频编码和解码技术。明 确地说，描述用于应用基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动 的运动信息来内插跳越视频帧的技术。所述运动信息可(例如)基于一基于三个或三个 以上运动参数的运动模型来指示运动，这与常规两个参数平移运动向量模型形成对比。 利用对较大数目的运动参数建模的运动信息允许视频解码器较准确地内插跳越帧，从而 导致内插视频信息中的视觉假影减少，且支持较有效的FRUC处理。
在常规视频解码器中，解码器获得仅基于平移运动而指示跳越帧的运动的运动信息， 且应用平移运动向量来内插跳越帧。然而，跳越帧的运动向量通常从邻近于跳越帧的视 频帧的运动向量获得，且因此可导致内插帧中的各种假影。此外，运动向量仅提供平移 运动信息，从而导致归因于除平移运动之外的相机运动的内插帧中的各种其它假影。
然而，执行根据本发明的技术的帧内插的视频解码器可通过应用较准确的运动信息 内插跳越视频帧来减少内插帧中的视觉假影的量。明确地说，在一些实施例中，解码器 获得基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信息且应用 运动信息来内插跳越视频帧。
在一个实施例中， 一种用于处理数字视频数据的方法包含获得基于平移运动和至少 一个其它运动参数而指示跳越视频帧的运动的运动信息，和应用所述运动信息来内插跳 越视频帧。
在另一实施例中， 一种用于处理数字视频数据的设备包含内插模块，所述内插模块 获得基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信息，且应 用所述运动信息来内插跳越视频帧。
在另一实施例中， 一种用于处理数字视频数据的处理器经配置以获得基于平移运动 和至少一个其它运动参数而指示跳越视频帧的运动的运动信息，且应用所述运动信息来
内插跳越视频帧。
在另一实施例中， 一种用于处理数字视频数据的装置包含处理器，所述处理器经配 置以获得基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信息， 且应用所述运动信息来内插跳越视频帧。
在又一实施例中， 一种用于处理数字视频数据的设备包含用于获得基于平移运动和 至少一个其它运动参数而指示跳越视频帧的运动的运动信息的装置，和用于通过应用所
述运动信息而内插跳越视频帧的装置。在另一实施例中， 一种机器可读媒体包含指令，所述指令当执行时促使机器获得基 于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信息，且应用所述 运动信息来内插跳越视频帧。
在又一实施例中， 一种视频编码方法包含产生基于平移运动和至少一个其它运动参 数而指示跳越视频帧的运动的运动信息，和在至少一个视频帧内对所述运动信息进行编 码。
在另一实施例中， 一种用于对数字视频数据进行编码的设备包含分析模块，其分 析跳越视频帧且产生基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的 运动信息；以及组装模块，其在至少一个视频帧内对所述运动信息进行编码。
在又一实施例中， 一种用于对数字视频数据进行编码的设备包含用于产生基于平移 运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信息的装置，和用于在至 少一个视频帧内对所述运动信息进行编码的装置。
在另一实施例中， 一种用于处理数字视频数据的处理器经配置以产生基于平移运动 和至少一个其它运动参数而指示跳越视频帧的运动的运动信息，且在至少一个视频帧内
对所述运动信息进行编码。
在另一实施例中， 一种机器可读媒体包含指令，所述指令当执行时促使机器产生基 于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信息，且在至少一 个视频帧内对所述运动信息进行编码。
本发明中所描述的技术可在硬件、软件、固件或其任何组合中实施。如果实施于软 件中，那么所述技术可部分通过机器可读媒体实现，所述机器可读媒体包含含有指令的 程序代码，所述指令当被执行时执行本文所描述的方法中的一者或一者以上。本发明中 所描述的技术可在处理电路中实施，所述处理电路可由适合并入于无线通信装置(WCD) 或其它装置中的芯片或芯片集来体现。在一些实施例中，本发明针对一种包含此类电路 的装置。
附图和以下描述内容中阐述一个或一个以上实施例的细节。从描述内容和附图以及 从权利要求书中将了解本发明的其它特征、目的和优势。


图1是说明经配置以应用运动信息来内插跳越视频帧的视频编码和解码系统的框 图，所述运动信息基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动。 图2是说明用于视频解码器中的示范性内插解码器模块的框图。图3是说明用于视频解码器中的另一示范性内插解码器模块的框图。 图4是说明用于视频编码器中的帧处理模块的框图。
图5是说明解码器的示范性操作的流程图，所述解码器使用基于平移运动和至少一 个其它运动参数而指示跳越帧的运动的运动信息来内插跳越视频帧。
图6是说明编码器的示范性操作的流程图，所述编码器基于仿射运动模型而产生跳 越帧的一部分的运动信息。
图7是说明解码器的示范性操作的流程图，所述解码器将基于平移运动和至少一个 其它运动参数而指示跳越帧的运动的运动信息转换为仅基于平移运动的运动信息。
图8是说明经配置以应用运动信息来内插跳越视频帧的视频编码和解码系统的框 图，所述运动信息基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动。
具体实施例方式
本发明描述促进跳越("S")视频帧的较准确内插的编码和解码技术。明确地说，描 述用于应用基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信息 来内插跳越视频帧的技术。所述运动信息可(例如)基于一基于三个或三个以上运动参 数的运动模型来指示运动，这与常规两个参数平移运动向量模型形成对比。利用对较大 数目的运动参数建模的运动信息允许解码器较准确地内插跳越帧，从而导致内插的视频 信息中的视觉假影减少。
在常规解码器中，解码器获得仅基于平移运动而指示跳越帧的运动的运动信息，且 应用平移运动向量来内插跳越帧。然而，跳越帧的运动向量通常从邻近于所述跳越帧的 视频帧的运动向量获得，且因此可导致内插帧中的各种假影。此外，运动向量仅提供平 移运动信息，从而导致归因于除平移运动之外的相机运动的内插帧中的各种其它假影。
然而，执行根据本发明的技术的帧内插的解码器可通过应用较准确的运动信息内插 跳越视频帧来减少内插帧中的视觉假影的量。明确地说，所述解码器获得基于平移运动 和至少一个其它运动参数而指示跳越视频帧的运动的运动信息，且应用所述运动信息来 内插跳越视频帧。
解码器可使用与一个或一个以上邻近视频帧相关联的运动信息而产生跳越视频帧的 较准确的运动信息。或者，所述解码器可从将运动信息嵌入一个或一个以上所传输的视 频帧中的编码器处接收跳越视频帧的较准确的运动信息。以此方式，编码器传输与跳越 视频帧相关联的运动信息以辅助解码器内插跳越视频帧。在任一情况下，解码器通过应 用基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信息而较准确地内插跳越帧。
在一个实施例中，编码器和解码器两者均可经配置以支持基于平移运动和至少一个 其它运动参数而指示跳越帧的运动的运动信息(例如基于仿射运动模型的运动信息)的 使用。在此情况下，编码器产生基于仿射运动模型的运动信息且将运动信息传输到解码 器以辅助解码器进行跳越帧的内插。编码器可在一个或一个以上经编码帧内(例如在领 先于或跟随跳越帧的P帧内)，或在专用于跳越帧运动信息且独立于经编码帧而传输的视 频帧内传输跳越帧的运动信息。
在另一实施例中，编码器经配置以产生基于平移运动和至少一个其它运动参数而指 示跳越帧的运动的运动信息。然而，解码器可能未经配置以使用此运动信息。在此情况 下，编码器产生且传输跳越帧的基于平移运动和至少一个其它运动参数的运动信息。解 码器将接收的运动信息转换为仅基于平移运动而指示运动的运动向量，且使用平移运动 向量来内插跳越视频帧。
在又一实施例中，仅解码器经配置以使用基于平移运动和至少一个其它运动参数而 指示跳越帧的运动的运动信息。因此，解码器不从编码器处接收基于平移运动和至少一 个其它运动参数而指示跳越帧的运动的运动信息。事实上，解码器从与邻近于跳越视频 帧的一个或一个以上视频帧相关联的运动信息中产生基于平移运动和至少一个其它运动 参数而指示跳越帧的运动的运动信息。
图1是说明经配置以应用运动信息来内插跳越视频帧的视频编码和解码系统10的框 图，所述运动信息基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动。如 图1所示，系统10包括由传输信道15连接的视频编码器12和视频解码器14。例如视 频序列等经编码多媒体序列可经由通信信道15从视频编码器12传输到视频解码器14。 传输信道15可为有线或无线媒体。为此，视频编码器12和视频解码器14可包括发射器 和接收器(未图示)以促进此类通信。系统10还可支持(例如)用于视频电话的双向视 频传输。可在传输信道15的相对端上提供交互编码、解码、多路复用(MUX)和多路 分解(DEMUX)组件。在一些实施例中，视频编码器12和视频解码器14可实施于例如 经装备以用于视频串流、视频电话或两者的无线通信装置等视频通信装置内。
系统IO可根据会话启始协议(SIP)， ITUH.323标准、ITUH.324标准或其它标准而 支持视频电话。视频编码器12根据例如MPEG-2、 MPEG-4、 ITU H.263或ITU H.264等 视频压缩标准(其也在题为"AdvancedAudioCoding"的MPEG-4部分10中阐述)而产生 经编码视频数据。虽然图1未展示，但视频编码器12和视频解码器14可分别与音频编码器和解码器集成，且包括适当MUX-DEMUX模块以处理数据流的音频和视频部分。 MUX-DEMUX模块可遵守ITU H.223多路复用器协议或例如使用者数据报协议(UDP) 等其它协议。或者，系统IO可使用SIP协议。
视频编码器12和视频解码器14可实施为一个或一个以上处理器、数字信号处理器、 专用集成电路(ASIC)、场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其 任何组合。视频编码器12和视频解码器14的所说明的组件可包括于一个或一个以上编 码器或解码器中，其任一者可集成为编码器/解码器(CODEC)的一部分。
编码器12使用帧跳越以减小的帧速率对视频信息进行编码。更明确地说，编码器 12对多个视频帧进行编码且将其传输到解码器14。所述多个视频帧可包括一个或一个以 上内部('T')帧、预测("P")帧或双向("B")帧。虽然视频编码器12在图1中说明为 产生且传输P帧16，但编码器12可另外产生且传输其它P帧以及一个或一个以上I帧和 B帧。P帧16是包括充分信息以允许视频解码器14解码且呈现视频信息帧的预测帧。明 确地说， 一个或一个以上运动向量和经量化预测误差经编码以用于P帧16。为了以减小 的帧速率对视频信息进行编码，编码器12可根据帧跳越函数而跳过特定帧(称作跳越帧 或S帧)，所述帧跳越函数经设计以减少经编码信息的总量来实现传输信道15上的带宽 节省。换句话说，编码器12实际上不编码且传输S帧。事实上，解码器14内插跳越帧 以产生视频信息帧。
在图1的实例中，视频编码器12包括帧处理模块20，所述帧处理模块20经配置以
处理传入的视频信息帧，例如帧F!、 F2和F3。基于对传入帧Ft、 F2和F3的分析，帧处
理模块20确定将传入帧编码为P帧还是跳过所述帧。F2表示待跳过的帧，而帧Ft和F3 分别表示先前和随后的P帧。
视频解码器14从编码器12处接收经编码视频帧且解码所述视频帧。为了处理P帧 的解码和S帧的内插，视频解码器14包括标准解码器模块22和内插解码器模块24。标 准解码器模块22应用标准解码技术来解码由编码器12发送的每一 P帧(例如P帧16)。 如上文所述，在每一 P帧中编码的信息足以允许标准解码器模块22解码且呈现视频信息 帧。标准解码器模块22还可解码其它经编码帧(例如I帧或B帧)。
内插解码器模块24通过应用基于平移运动和至少一个其它运动参数而指示跳越视 频帧的运动的运动信息来内插跳越视频帧(例如帧F2)。虽然跳越帧未传输到解码器14， 但运动信息支持跳越帧的内容的内插。通过利用基于平移运动和至少一个其它运动参数 而指示跳越帧的运动的运动信息，内插解码器模块24可减少内插帧中的视觉假影，且借此实现视频输出的改进的视觉质量。
作为一实例，内插解码器模块24可获得基于仿射运动模型而指示跳越视频帧的运动 的运动信息，且应用所述运动信息来内插跳越视频帧。仿射运动模型不仅近似平移运动， 而且还近似旋转、剪切和按比例縮放。仿射运动模型可由以下等式表示
<formula>formula see original document page 14</formula>
(1)
其中(x', y')和(x， y)分别表示位移之前和之后点的图像坐标，且al-a6表示仿射 变换的系数。基于仿射运动模型的运动信息提供跳越帧的运动的六个参数近似，这与常 规平移运动向量的两个参数近似相对。
运动信息可基于除仿射运动模型之外的运动模型来指示跳越帧的运动。运动信息可 (例如)基于说明平移运动和按比例縮放、剪切、旋转、扫视和倾斜中的至少一者的运动 模型而指示运动。举例来说，运动信息可基于刚性模型(三个参数)、刚性和比例模型(四 个参数)、双线性模型(八个参数)或基于平移运动以及至少一个其它运动参数而指示运 动的其它运动模型(例如，平面单应性)而指示运动。另外，运动信息可基于非刚性运 动模型(例如对象变形模型或基于像素的运动模型)而指示运动。
在一个实施例中，内插解码器模块24产生基于平移运动和至少一个其它运动参数而 指示跳越视频帧的运动的运动信息。如将详细描述，内插解码器模块24使用与邻近于跳 越视频帧的一个或一个以上视频帧相关联的运动信息而产生跳越帧的运动信息。作为一 实例，内插解码器模块24可使用与先前参考帧和随后参考帧相关联的平移运动向量而产 生基于平移运动和至少一个其它运动参数而指示跳越帧的运动的运动信息。或者，内插 解码器模块24可使用与先前参考帧和随后参考帧相关联的基于平移运动和至少一个其 它运动参数的运动信息而产生基于平移运动和至少一个其它运动参数而指示跳越帧的运 动的运动信息。以此方式，仅在解码器内实施内插技术。
或者，内插解码器模块24可依靠来自视频编码器12的辅助以内插跳越帧。明确地 说，编码器12可产生、编码跳越帧的运动信息(例如S帧运动信息18)且将其传输到 内插解码器模块24以辅助进行跳越帧的内插。编码器14可以专用帧或一个或一个以上 所传输的视频帧(例如P帧16)将S帧运动信息18传输到解码器14。以此方式，内插 解码器模块24在编码器12的辅助下内插跳越帧。S帧运动信息18基于平移运动和至少 一个其它运动参数而指示跳越帧的运动。视频编码器12可通过分析跳越帧与先前帧、随后帧、先前和随后帧两者或任何数目的邻近帧之间的运动而估计跳越帧的运动信息。以 此方式，视频编码器12产生且传输与跳越帧相关联的信息。或者，视频编码器12可通 过分析先前帧与随后帧之间的运动而估计跳越帧的运动信息。
编码器12可产生且传输指示整个跳越视频帧的运动的S帧运动信息18，所述S帧 运动信息18通常称为全局运动信息。然而，为了减少带宽需求，编码器12可经配置以 仅产生且传输跳越帧的一部分的S帧运动信息18，所述S帧运动信息18可称为基于对 象或局部运动信息。明确地说，编码器12可产生指示跳越帧内选定的视频区块的运动的 S帧运动信息18。在此情况下，编码器12也可产生描述跳越视频帧的与运动信息相关联 的部分(例如，视频区块)的位置信息。因此，运动信息可不仅包括仿射模型近似本身， 而且还包括对象或视频区块描述。可准确内插跳越帧的其它视频区块而不潜在需要特定 运动信息。经常称作宏区块(MB)的视频区块通常为跳越帧内像素的4x4、 8x8或16x16 区块。
此外，编码器12可产生且传输与跳越帧相关联的其它信息以辅助解码器14进行跳 越帧的内插。除了运动信息之外，编码器12可(例如)产生且传输规定待由视频解码器 14用于跳越帧的内插的特定内插等式或待用于跳越帧内选定的视频区块(例如，宏区块 (MB)或较小区块)的特定内插等式的信息。
视频解码器14可经特别配置以识别且利用由视频编码器12传输的S帧运动信息18。 然而，如果视频解码器14未经装备以识别S帧运动信息18，那么可忽略信息，且内插 可根据另外由视频解码器14应用的内插技术而进行。举例来说，视频解码器14可在视 频解码器14未经装备以识别嵌入于所接收视频帧内的跳越帧信息时产生跳越帧的较准 确的运动信息。
许多其它元件也可包括于编码和解码系统10中，但为了说明的简单和方便而未特别 说明于图1中。图1所说明的结构仅为示范性的，因为本文所描述的技术可以多种其它 结构来实施。此外，图1说明的特征可由硬件和/或软件组件的任何适合组合实现。
图2是说明用于视频解码器(例如图1的视频解码器14)中的示范性内插解码器模 块30的框图。内插解码器模块30包括操作以产生内插帧的内插模块32和运动估计模块 34。内插模块32应用基于平移运动和至少一个其它运动参数而指示跳越帧的运动的运动 信息来内插跳越视频帧。
内插模块32可从视频编码器12 (图1)处接收运动信息。如上文所描述，视频编码 器12可产生基于平移运动和至少一个其它运动参数而指示跳越帧的运动的运动信息，且在一个或一个以上视频帧中对运动信息进行编码以辅助内插解码器模块30进行跳越视 频帧的内插。在此情况下，内插模块32应用跳越帧的所接收的运动信息来内插跳越帧。
然而，内插解码器模块30可需要产生指示跳越帧的运动的运动信息。举例来说，视 频编码器12可未经配置以传输跳越帧的运动信息或仅传输跳越帧的运动信息的一部分。 或者，内插解码器模块30可未经配置以识别在经传输的视频帧内编码的跳越帧的运动信 息。在任一情况下，运动估计模块34使用与邻近于跳越视频帧的一个或一个以上视频帧 相关联的运动信息而产生跳越帧的运动信息的至少一部分。举例来说，运动估计模块34 可基于与一个或一个以上参考帧(例如先前帧、先前帧和随后帧或两个以上邻近视频帧) 相关联的一个或一个以上平移运动向量而产生跳越帧的运动信息。另外，运动估计模块 34可产生邻近于跳越视频帧的视频帧的基于平移运动和至少一个其它运动参数的运动信 息。举例来说，运动估计模块34可产生P帧16的运动信息。
作为一实例，解码器14所接收的先前和随后参考帧可再分为N个宏区块且具有与所 述宏区块中的每一者相关联的平移运动向量。运动估计模块34基于与参考帧的宏区块相 关联的平移运动向量而估计跳越视频帧的平移运动向量。运动估计模块34使用多个平移 运动向量而估计仿射模型的参数。每一平移运动向量对应于两个参数等式(即，xl=x2+a, yl=y2+c)。在一个实施例中，运动估计模块34可使用少到三个平移运动向量而产生基于 仿射运动模块的运动信息。然而，运动估计模块34通常将具有远在三个以上的平移运动 向量。可使用各种数学模型从多个平移运动向量导出仿射运动参数。运动估计模块34可 (例如)使用最小平方估计而导出仿射运动参数。运动估计模块34可(例如)基于分段 平面运动向量场近似的性能的最小降级而估计仿射模型。
或者，运动估计模块34可仅估计跳越帧的一部分(例如跳越帧内的特定对象或宏区 块)的运动。在此情况下，运动估计模块34产生跳越帧的全部宏区块的平移运动向量。 运动估计模块34如上文所描述依据平移运动向量而近似仿射运动模型参数。使用所产生 的仿射运动模型在逐个像素的基础上重建每一宏区块。另外，使用用以近似仿射运动参 数的平移运动向量来重建每一宏区块。将使用仿射运动模型参数而重建的宏区块的失真 与使用平移运动向量而重建的相应宏区块进行比较。如果失真在预定阈值以上，那么确 定仿射运动模型未准确近似与大失真相关联的宏区块且从对象处去除宏区块。换句话说， 仿射模型估计被认为未应用于特定宏区块。在分析所有重建宏区块之间的失真之后，确 定仿射运动模型参数仅应用于帧中具有在阈值以下的失真值的宏区块。
图3是说明用于视频解码器中的另一示范性内插解码器模块36的框图。内插解码器模块36大体上符合图2的内插解码器模块30，但内插解码器模块36包括运动信息转换 模块38，所述运动信息转换模块38将基于平移运动和至少一个其它运动参数的运动信 息转换为仅基于平移运动的运动信息。将基于平移运动和至少一个其它运动参数的运动 信息转换为平移运动向量允许布署仅使用平移运动向量而执行运动补偿的硬件和/或软 件配置的视频解码器中较准确运动信息的使用。
运动信息转换模块38从运动估计模块34处或从由编码器12传输的邻近于跳越视频
帧的一个或一个以上帧处获得指示跳越帧的运动的运动信息。为了将基于平移运动和至 少一个其它运动参数的运动信息转换为仅基于平移运动的运动信息，运动信息转换模块
38基于跳越帧的运动信息而产生所关注的区块内的一个或一个以上像素的平移运动向 量。运动信息转换模块38可(例如)通过将像素的坐标输入到运动的仿射模型近似中而 产生像素中的每一者的平移运动向量。换句话说，仿射模型近似的输出是与所述特定像 素相关联的运动向量。
运动信息转换模块38合并与像素相关联的平移运动向量以产生所关注的区块的单 一运动向量。运动信息转换模块38可(例如)使用平均值运算、中值运算或其它类似数 学运算而合并像素的平移运动向量。运动信息转换模块38可通过递归产生若干较小尺寸 区块的运动向量而产生较大尺寸区块的平移运动向量。运动信息转换模块38可(例如) 递归产生若干2x2区块的平移运动向量，且接着通过合并2x2区块的运动向量而产生8x8 区块的运动向量。
所描述的转换技术仅出于示范性目的。运动信息转换模块38可利用其它转换技术将 基于平移运动和至少一个其它运动参数的运动信息转换为平移运动向量。举例来说，运 动信息转换模块38可基于仿射模型运动信息产生所关注的区块内的一个或一个以上像 素的平移运动向量。运动信息转换模块38选择像素平移运动向量且使用选定的像素平移 运动向量作为运动估计模块的种子运动向量，所述运动估计模块输出所关注的区块的平 移运动向量。举例来说，所关注的宏区块的中央像素的平移运动向量可用作所述宏区块 的种子运动向量。运动估计从与宏区块的中央像素相关联的运动向量开始。因此，种子 运动向量充当某一搜索范围内的初始搜索点。可使用中央像素的运动向量以及周围运动 向量经由最小平方拟合算法而估计仿射模型。
将运动信息转换为平移运动向量允许本发明的技术在布署仅使用平移运动向量而执 行运动补偿的硬件和/或软件配置的视频解码器中的实施。虽然未使用基于平移运动和至 少一个其它运动参数而指示运动的运动信息，但所应用的平移运动向量更加准确，因为其是基于较准确的运动信息(例如，仿射运动模型近似)而产生的。
图4是说明用于视频编码器(例如图1的视频编码器12)中的帧处理模块40的框 图。帧处理模块40包括帧类型决策模块42、跳越帧分析模块44和帧组装模块46。跳越 帧分析模块44进一步包括运动估计模块48和位置估计模块50。 一般来说，跳越帧分析 模块44分析待跳越的帧且产生基于平移运动和至少一个其它运动参数而指示待跳越的 帧的运动的运动信息。所产生的运动信息在一个或一个以上视频帧内传输以辅助解码器 14以改进的准确性内插跳越帧。
帧类型决策模块42确定传入的视频信息应在例如I、 P或B帧等帧中编码还是被跳 过。帧类型决策模块42可部分基于一致或非一致帧跳越函数而决定跳过一帧，所述帧跳 越函数经设计以减少经编码信息的总量来实现传输信道15 (图1)上的带宽节省。举例 来说，帧类型决策模块42可跳过每一第n帧或基于一个或一个以上动态跳越标准而跳过 一帧。帧类型决策模块42向帧组装模块46传达帧决策。
跳越帧分析模块44产生指示跳越帧的运动的运动信息。跳越帧分析模块44可产生 运动估计信息和/或位置信息，其每一者可形成由编码器提供的跳越帧运动信息的一部分 以辅助解码器进行跳越帧的内插。明确地说，运动估计模块48产生基于平移运动和至少 一个其它运动参数而指示跳越帧的运动的运动信息，例如基于仿射运动模型的运动信息。 运动估计模块48可基于在跳越视频帧与邻近于跳越帧的一个或一个以上视频帧(例如图 1的先前帧F,和随后帧F3)之间的运动而产生运动信息。或者，运动估计模块48可基于 先前帧F,与随后帧F3之间的运动而产生运动信息。
运动估计模块48可产生指示整个跳越帧的运动的运动信息。举例来说，待跳越的帧 和先前参考帧可再分为N个宏区块。运动估计模块48可计算先前帧与待跳越的帧的宏区 块中的每一者之间的平移运动。每一平移运动向量对应于两个参数等式(即，xl=x2+a, yl=y2+c)。运动估计模块48基于使用先前帧和跳越帧而计算的平移运动向量而产生整个 跳越视频帧的仿射运动信息。运动估计模块48可使用少到三个平移运动向量产生基于仿 射运动模块的运动信息。可使用各种数学模型(例如最小平方估计)从多个平移运动向 量导出仿射运动参数。在此情况下，位置估计模块50可能不需要产生位置信息，因为所 产生的运动信息应用于整个跳越帧。
或者，运动估计模块48可产生指示跳越帧内特定对象或视频区块的运动的运动信 息。换句话说，由运动估计模块48产生的运动信息不可应用于帧中的宏区块中的每一者， 而是仅可应用于帧的一部分。在此情况下，位置估计模块50产生描述跳越视频帧的与所产生的运动信息相关联的部分(例如，视频区块或对象)的位置信息。位置估计模块50 可(例如)产生指示局部运动信息所应用于的对象或特定视频区块的边界的二元位映射。 位置估计模块50使用所产生的仿射运动模型而在逐个像素的基础上重建宏区块中的每 一者。位置估计模块50使用用以近似仿射运动参数的平移运动向量来同时重建宏区块中 的每一者。位置估计模块50将使用仿射运动模型参数而重建的宏区块或像素与使用平移 运动向量而重建的相应宏区块或像素之间的失真进行比较。如果失真在预定阈值以上， 那么确定仿射运动模型未准确近似与大失真相关联的宏区块且从对象处去除宏区块。换 句话说，仿射模型估计被认为未应用于特定宏区块或像素。在分析所有重建宏区块之间 的失真之后，确定仿射运动模型参数仅应用于帧中具有在阈值以下的失真值的宏区块。 位置估计模块50可产生指示局部运动信息所应用于的区块或像素的边界的二元位映射。 可内插未在位置信息中识别的视频区块或对象而不潜在需要特定运动信息。
在另一实施例中，运动估计模块48可能未产生指示跳越帧的运动的运动估计信息。 然而，位置估计模块50可产生识别如果运动信息由运动估计模块48产生那么所述运动 信息将已被应用于的跳越帧部分的位置信息。以此方式，解码器14产生指示跳越帧的运 动的运动信息，但编码器通过提供指示解码器应将所产生的运动信息应用于的对象或宏 区块的运动信息而辅助解码器内插跳越帧。
帧组装模块46对指定为经编码帧的视频信息进行编码，所述经编码帧具有运动信 息、区块模式、系数和足以允许视频解码器14 (图1)解码且呈现视频信息帧的其它信 息。帧组装模块46实际上未编码和传输由帧类型决策模块42指定为跳越帧的传入视频 信息。事实上，帧组装模块46对一个或一个以上视频帧中的从跳越帧分析模块44接收 的运动信息进行编码以用于向视频解码器传输，从而辅助视频解码器进行跳越帧的内插。 帧组装模块46可将跳越帧的运动信息嵌入领先于或跟随跳越帧的一个或一个以上经编 码帧内，例如在P帧16(图1)内。换句话说，帧组装模块46可将跳越帧的运动信息嵌 入非跳越视频帧内。或者，帧组装模块46可在专用于跳越帧运动信息且独立于P帧而传 输的视频帧内对跳越帧的运动信息进行编码。
图5是说明解码器(例如视频解码器14)的示范性操作的流程图，所述解码器使用 基于平移运动和至少一个其它运动参数而指示跳越帧的运动的运动信息来内插跳越视频 帧。解码器14从视频编码器处接收多个数字视频帧(52)。解码器14可(例如)从编码 器处接收一个或一个以上I帧、P帧和B帧。
解码器14分析所接收的帧以得到指示跳越视频帧的运动的运动信息(54)。解码器14可经配置以识别特定类型的帧或帧内的标头信息，所述标头信息指示所述帧包括跳越 帧的运动信息。
如果解码器14未识别所接收的帧内的跳越帧的运动信息或识别跳越帧的不完整的 运动信息，那么解码器14产生跳越帧的运动信息(56)。解码器14可能未经配置以识别 嵌入所接收的帧内的跳越帧的运动信息。或者，编码器可能未传输跳越帧的任何运动信 息，或如上所述仅传输了位置信息。解码器14使用与邻近于跳越视频帧的一个或一个以 上视频帧(例如，先前帧、先前帧和随后帧或两个以上邻近视频帧)相关联的运动信息 而产生基于平移运动和至少一个其它运动参数而指示跳越帧的运动的运动信息。举例来 说，解码器14可使用与先前参考帧的宏区块相关联的平移运动向量而近似仿射模型的系 数。
然后，解码器确定是否将基于平移运动和至少一个其它运动参数而指示运动的运动 信息转换为平移运动向量(58)。如果解码器14经配置以应用基于仿射运动模型而指示 运动的运动信息，那么解码器14不转换跳越帧的运动信息，而是改为应用基于平移运动 和至少一个其它运动参数而指示运动的运动信息来内插跳越帧(60)。
如果解码器14经配置以不应用基于仿射运动模型和至少一个其它运动参数而指示 运动的运动信息，那么解码器14将运动信息转换为平移运动向量(62)。解码器14可(例 如)经配置以仅执行平移运动补偿。在此情况下，解码器14将跳越帧的运动信息转换为 仅基于平移运动的运动信息。解码器14可(例如)基于仿射运动信息产生所关注的区块 内的一个或一个以上像素的平移运动向量且合并像素的所产生的平移运动向量以产生所 关注的区块的运动向量。解码器14应用平移运动向量来内插跳越帧或跳越帧的一个或一 个以上宏区块(64)。以此方式，本发明的技术可用于仅执行平移运动补偿的视频解码器 中，同时仍通过使用基于较准确的运动信息而产生的运动向量来改进内插准确性。
图6是说明编码器(例如编码器12)的示范性操作的流程图，所述编码器产生跳越 帧的一部分的基于仿射运动模型的运动信息。最初，编码器12将跳越帧分割为固定尺寸 的区块且对所述固定尺寸的区块执行平移运动估计(70)。平移运动估计提供与所述区块 中的每一者相关联的一个或一个以上运动向量。编码器12可(例如)将帧分割为N个宏 区块且计算运动向量，所述运动向量指示在宏区块与一个或一个以上邻近帧的宏区块之 间的平移运动。
编码器12对平移运动向量执行运动向量处理(72)。所述运动向量处理可(例如) 去除离群值(outlier)运动向量。如果N个平移运动向量中的一者指向与其它N-l个平移运动向量相反的方向，那么可去除显著不同的运动向量。编码器12合并运动向量(74)。 编码器12可通过平均化运动向量、计算中值运动向量或其它算术运算而合并运动向量。 以此方式，编码器12可产生整个宏区块的单一运动向量。举例来说，如果编码器12产 生宏区块的十六个4x4运动向量，那么编码器12可将其平均化以形成16x16宏区块的单 一运动向量。以此方式，仿射估计过程可得以简化，因为存在较少待进行最小平方拟合 的运动向量。此外，合并运动向量还通过消除宏区块内的一些不规则运动向量而使运动 向量平滑。
编码器12估计跳越帧的基于平移运动向量的仿射运动模型参数(76)。如上文所描 述，编码器12可通过寻找三个或三个以上平移运动向量的最小平方估计而从多个平移运 动向量导出仿射运动参数。
编码器12执行基于运动的对象分段以识别所估计的仿射运动模型所应用于的特定 对象、宏区块或像素(78)。如上文详细描述，编码器12使用所产生的仿射运动模型而 在逐个像素的基础上重建宏区块中的每一者，使用用以近似仿射运动参数的平移运动向 量而同时重建宏区块中的每一者，且将使用仿射运动模型参数而重建的宏区块或像素与 使用平移运动向量而重建的相应宏区块或像素之间的失真进行比较。如果失真在预定阈 值以上，那么确定仿射运动模型未准确近似宏区块或像素且从对象处去除宏区块。在去 除具有大失真的所有宏区块或像素之后，剩余对象、宏区块或像素是运动信息所应用于 的像素。编码器12可产生描述这些剩余对象、宏区块或像素的位置信息。
编码器12执行侵蚀和扩张(80)。侵蚀和扩张使对象轮廓平滑、填充小孔且消除小 突出物/对象。明确地说，扩张允许对象扩展，因此潜在地填充小孔且连接不相交对象。 另一方面，侵蚀通过蚀刻掉对象的边界而縮小对象。
编码器12基于来自属于所识别的对象的宏区块的平移运动信息而更新仿射运动模 型(82)。编码器12接着确定是否执行另一迭代以获得较准确的仿射运动估计(84)。编 码器12可(例如)执行特定数目的迭代。在此情况下，编码器可追踪迭代的数目且继续 执行迭代直到已执行指定数目的迭代为止。然而，在两个或三个迭代之后，对仿射模型 估计的改进通常不显著。
在编码器12产生基于仿射运动模型的运动信息之后，(例如，在编码器执行特定数 目的迭代之后)，编码器12产生对象描述符(86)。所述对象描述符描述识别与运动信息 相关联的帧内的对象的位置的位置信息。如上文所描述，编码器12可产生指示运动信息 所应用于的对象或特定视频区块的边界的二元位映射。解码器14将运动信息应用于在对象描述符中识别的对象或宏区块。可内插未在对象描述符中识别的视频区块或对象而不 潜在需要特定运动信息。
图7是说明解码器的示范性操作的流程图，所述解码器将基于平移运动和至少一个 其它运动参数而指示跳越帧的运动的运动信息转换为仅基于平移运动的运动信息。举例 来说，解码器可将基于仿射运动模型而指示运动的运动信息转换为平移运动向量。运动 信息转换模块(例如解码器14的运动信息转换模块38 (图2))接收基于仿射运动模型 而指示运动的运动信息(卯)。运动信息转换模块38可(例如)从运动估计模块72处或 从由编码器12传输的一个或一个以上帧处接收跳越帧的运动信息。
运动信息转换模块38基于仿射运动模型产生所关注的区块内的一个或一个以上像 素的平移运动向量(92)。运动信息转换模块38可(例如)通过将像素的坐标输入到仿 射模型近似中且使用仿射模型近似的输出作为与所述特定像素相关联的运动向量，而产 生像素中的每一者的平移运动向量。
运动信息转换模块38合并所关注的区块内的多个像素的所产生的平移运动向量以 产生整个区块的单一运动向量(94)。运动信息转换模块38可(例如)使用平均值运算、 中值运算或类似算术运算而合并像素的平移运动向量。运动信息转换模块38可对所产生 的区块运动向量执行一个或一个以上后处理操作(96)。运动信息转换模块38可执行运 动向量分类、运动向量详细分析(motion vector laboring)、离群值选择和基于窗口的运 动向量平滑化。举例来说，运动信息转换模块38可通过去除显著不同于其它平移运动向 量的运动向量而消除离群值运动向量。
运动信息转换模块38向内插模块68 (图3)输出区块运动向量以辅助进行跳越视频 帧或跳越帧的特定宏区块的内插(98)。将运动信息转换为平移运动向量允许本发明的技 术在布署仅执行平移运动补偿的硬件和/或软件配置的视频解码器中的实施。虽然未使用 基于平移运动和至少一个其它运动参数而指示运动的运动信息，但所应用的平移运动向 量更加准确，因为其是基于使用仿射运动模型所估计的运动信息而产生的。
如上文所描述，运动信息转换模块38可递归产生若干较小尺寸区块的平移运动向量 且组合那些运动向量以形成较大尺寸区块的运动向量。运动信息转换模块38可(例如) 递归产生若干2x2区块的平移运动向量，且接着通过合并2x2区块的运动向量而产生8x8 区块的运动向量。
图8是说明经配置以应用运动信息来内插跳越视频帧的视频编码和解码系统100的 框图，所述运动信息基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动。系统100包括通过传输信道106连接的用于编码的模块102和用于解码的模块104。例 如视频序列等经编码多媒体序列可经由通信信道15从用于编码的模块102传输到用于解 码的模块104。用于编码的模块102可包含编码器且可形成能够编码且传输多媒体数据 的数字视频装置的一部分。同样，用于解码的模块104可包含编码器且可形成能够接收 且解码多媒体数据的数字视频装置的一部分。
用于编码的模块102包括用于产生运动信息的模块108,其产生跳越帧的运动信 息；和用于组装帧的模块IIO，其对一个或一个以上帧中的所产生的运动信息进行编码以 用于向用于解码的模块104传输从而辅助用于解码的模块104进行跳越帧的内插。明确 地说，用于产生运动信息的模块108估计基于平移运动和至少一个其它运动参数而指示 跳越帧的运动的运动信息。另外，用于产生运动信息的模块108可产生位置信息作为运 动估计处理的一部分。所述位置信息可描述运动信息所应用于的跳越帧的特定对象或宏 区块。用于产生运动信息的模块108可包含运动估计模块和位置识别模块。
用于解码的模块104包括用于接收的模块118,所述用于接收的模块118从用于编码 的模块102处接收一个或一个以上帧。从用于编码的模块102接收的帧可包括运动信息。 以此方式，用于接收的模块118接收与一个或一个以上邻近视频帧相关联的运动信息。 用于内插的模块116应用基于平移运动和至少一个其它运动参数而指示跳越视频帧的运 动的运动信息来内插跳越视频帧。用于内插的模块116可经由用于接收的模块118从用 于编码的模块102接收跳越视频帧的运动信息。或者，用于内插的模块116可从用于产 生运动信息的模块114获得来自跳越帧的一部分或所有运动信息。以此方式，用于内插 的模块116可包含用于获得运动信息的装置。
用于产生运动信息的模块114产生基于平移运动和至少一个其它运动参数而指示跳 越视频帧的运动的运动信息。用于产生运动信息的模块114可基于与邻近于跳越视频帧 的一个或一个以上视频帧相关联的运动信息而产生跳越视频帧的运动信息。
在一个实施例中，用于内插的模块116仅执行使用平移运动向量的内插。在此情况 下，用于解码的模块104包括用于转换的模块112，所述用于转换的模块112将基于平移 运动和至少一个其它运动参数而指示跳越帧的运动的运动信息转换为仅基于平移运动而 指示运动的运动信息。换句话说，用于转换的模块112将跳越帧的运动信息转换为平移 运动向量。在一个实施例中，用于转换的模块112可从用于编码的模块102接收运动信 息且因此包含用于接收运动信息的装置。用于内插的模块116应用平移运动向量来内插 跳越视频帧。根据本发明，用于产生基于平移运动和至少一个其它运动参数而指示跳越视频帧的 运动的运动信息的装置可包含帧处理模块20 (图1)、运动估计模块34 (图2或图3)、 运动估计模块48 (图4)、位置估计模块50 (图4)、跳越帧分析模块44 (图4)、用于产 生运动信息的模块108 (图8)、用于产生运动信息的模块114 (图8)。类似地，在至少 一个视频帧内对运动信息进行编码的用于组装帧的装置可包含帧处理模块20 (图1)、帧 组装模块(图4)或用于组装帧的模块110 (图S)。用于转换的装置可包含运动信息转换 模块38 (图3)或用于转换的模块112 (图8)。用于内插的装置可包含内插解码器模块 24 (图1)、内插模块32 (图2和图3)或用于内插的模块116 (图8)。虽然以上实例出 于说明的目的而提供，但本发明可包括对应于个别装置的结构的其它实例。
由上文的等式(1)表示的仿射运动模型不仅近似平移运动，而且还近似旋转、剪切 和按比例縮放。基于仿射运动模型的运动信息提供跳越帧的运动的六个参数近似，这与 常规平移运动向量的两个参数近似相对。如上文所描述，本发明的技术可使用运动模型 而近似运动信息，所述运动模型基于比仿射近似多或少的参数来近似运动。
本文所描述的技术可在硬件、软件、固件或其任何组合中实施。如果实施于软件中， 那么所述技术可部分通过计算机可读媒体(或机器可读媒体)来实现，所述计算机可读 媒体包含含有当被执行时执行上述方法中的一者或一者以上的指令的程序代码。在此情 况下，计算机可读媒体可包含随机存取存储器(RAM)(例如同步动态随机存取存储器 (SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可 编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体和类似物。
程序代码可由一个或一个以上处理器执行，所述一个或一个以上处理器例如一个或 一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、场可编程逻 辑阵列(FPGA)或其它等效集成或离散逻辑电路。在一些实施例中，本文所描述的功能 性可提供于经配置以用于编码和解码的专用软件模块或硬件模块内，或并入于组合的视 频编码器-解码器(CODEC)中。
然而，可在不脱离所附权利要求书的范围的情况下对所描述的技术作出各种修改。 因此，上文所描述的特定实施例和其它实施例处于所附权利要求书的范围内。
权利要求
1. 一种用于处理数字视频数据的方法，所述方法包含-获得基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信 息；以及应用所述运动信息来内插所述跳越视频帧。
2. 根据权利要求l所述的方法，其中所述运动信息基于仿射运动模型而指示运动。
3. 根据权利要求l所述的方法，其中获得所述运动信息包含接收多个数字视频帧，其 中在所述接收的视频帧中的至少一者内对所述运动信息进行编码。
4. 根据权利要求l所述的方法，其中获得所述运动信息包含接收与邻近于所述跳越视频帧的一个或一个以上视频帧相关联的运动信息；以及 基于与邻近于所述跳越视频帧的所述视频帧相关联的运动信息产生所述跳越视 频帧的所述运动信息。
5. 根据权利要求l所述的方法，其中所述运动信息包含第一运动信息，所述方法进一 步包含接收与邻近于所述跳越视频帧的一个或一个以上视频帧相关联的第二运动 信息，其中应用所述运动信息包含应用所述第一和第二运动信息来内插所述跳越视 频帧。
6. 根据权利要求1所述的方法，其中所述运动信息指示所述整个跳越视频帧的运动。
7. 根据权利要求1所述的方法，其中所述运动信息指示所述跳越视频帧的一部分的运 动，所述方法进一步包含接收描述与所述运动信息相关联的所述跳越视频帧的所述部分的位置信息；以及 应用所述运动信息来内插所述位置信息所描述的所述跳越视频帧的所述部分。
8. 根据权利要求l所述的方法，其进一步包含将所述接收的运动信息转换为仅基于平 移运动而指示所述跳越视频帧的运动的运动信息。
9. 根据权利要求8所述的方法，其中将所述接收的运动信息转换为仅基于平移运动而 指示所述跳越视频帧的运动的运动信息包含基于所关注的像素区块内的一个或一个以上像素的所述运动信息产生运动向量； 以及合并所述一个或一个以上像素的所述运动向量以产生所述整个像素区块的运动 向量。
10. 根据权利要求1所述的方法，其中所述另一运动参数包含按比例縮放、剪切、旋转、 扫视和倾斜中的至少一者。
11. 一种用于处理数字视频数据的处理器，所述处理器经配置以获得基于平移运动和至 少一个其它运动参数而指示跳越视频帧的运动的运动信息，且应用所述运动信息来 内插所述跳越视频帧。
12. 根据权利要求ll所述的处理器，其中所述处理器经配置以获得基于仿射运动模型而 指示运动的运动信息。
13. 根据权利要求11所述的处理器，其中所述处理器经配置以接收在至少一个接收的视 频帧内编码的所述运动信息。
14. 根据权利要求ll所述的处理器，其中所述处理器经配置以接收与邻近于所述跳越视频帧的一个或一个以上视频帧相关联的运动信息；以及 基于与邻近于所述跳越视频帧的所述视频帧相关联的运动信息产生所述跳越视 频帧的所述运动信息。
15. 根据权利要求11所述的处理器，其中所述运动信息包含第一运动信息，且所述处理 器进一步经配置以接收与邻近于所述跳越视频帧的一个或一个以上视频帧相关联 的第二运动信息，且应用所述第一和第二运动信息来内插所述跳越视频帧。
16. 根据权利要求11所述的处理器，其中所述处理器经配置以接收指示所述跳越视频帧 的一部分的运动的运动信息，接收描述与所述运动信息相关联的所述跳越视频帧的 所述部分的位置信息，且应用所述运动信息来内插所述位置信息所描述的所述跳越 视频帧的所述部分。
17. 根据权利要求11所述的处理器，其中所述处理器经配置以将所述接收的运动信息转 换为仅基于平移运动而指示所述跳越视频帧的运动的运动信息。
18. 根据权利要求ll所述的处理器，其中所述处理器并入在无线通信装置内，所述装置 进一步包含接收器以接收数字视频帧，所述数字视频帧中的至少一者由所述处理器 使用以内插所述跳越视频帧。
19. 一种用于处理数字视频数据的设备，所述设备包含内插模块，所述内插模块获得基 于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信息，且应用 所述运动信息来内插所述跳越视频帧。
20. 根据权利要求19所述的设备，其中所述内插模块获得基于仿射运动模型而指示运 动的运动信息。
21. 根据权利要求19所述的设备，其中所述内插模块接收在至少一个接收的视频帧内 编码的所述运动信息。
22. 根据权利要求19所述的设备，其进一步包含运动估计模块，所述运动估计模块接 收与邻近于所述跳越视频帧的一个或一个以上视频帧相关联的运动信息，且基于与 邻近于所述跳越视频帧的所述视频帧相关联的运动信息产生所述跳越视频帧的所 述运动信息，其中所述内插模块从所述运动估计模块获得所述运动信息。
23. 根据权利要求19所述的设备，其进一步包含运动信息转换模块，所述运动信息转 换模块将所述运动信息转换为仅基于平移运动而指示所述跳越视频帧的运动的运 动信息。
24. —种用于处理数字视频数据的设备，所述设备包含用于获得运动信息的装置，所述运动信息基于平移运动和至少一个其它运动参数 而指示跳越视频帧的运动；以及用于通过应用所述运动信息来内插所述跳越视频帧的装置。
25. 根据权利要求24所述的设备，其中所述运动信息基于仿射运动模型而指示运动。
26. 根据权利要求24所述的设备，其进一步包含用于接收多个数字视频帧的装置，其 中在所述接收的视频帧中的至少一者内对所述运动信息进行编码。
27. 根据权利要求24所述的设备，其进一步包含用于接收与邻近于所述跳越视频帧的一个或一个以上视频帧相关联的运动信息的装置；以及用于基于与邻近于所述跳越视频帧的所述视频帧相关联的运动信息产生所述跳 越视频帧的所述运动信息的装置。
28. 根据权利要求24所述的设备，其中所述运动信息指示所述跳越视频帧的一部分的 运动，且所述设备进一步包含用于接收描述与所述运动信息相关联的所述跳越视频 帧的所述部分的位置信息的装置，且此外其中所述内插装置应用所述运动信息来内 插所述位置信息所描述的所述跳越视频帧的所述部分。
29. 根据权利要求24所述的设备，其进一步包含用于将所述接收的运动信息转换为仅 基于平移运动而指示所述跳越视频帧的运动的运动信息的装置。
30. —种机器可读媒体，其包含当执行时促使机器执行以下操作的指令获得基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信 息；且应用所述运动信息来内插所述跳越视频帧。
31. 根据权利要求30所述的机器可读媒体，其中促使所述机器获得所述运动信息的指 令包含接收多个数字视频帧的指令，其中在所述接收的视频帧中的至少一者内对所 述运动信息进行编码。
32. 根据权利要求30所述的机器可读媒体，其中促使所述机器获得所述运动信息的指 令包含以下指令接收与邻近于所述跳越视频帧的一个或一个以上视频帧相关联的运动信息；以及 基于与邻近于所述跳越视频帧的所述视频帧相关联的运动信息产生所述跳越视 频帧的所述运动信息。
33. 根据权利要求30所述的机器可读媒体，其进一步包含将所述接收的运动信息转换 为仅基于平移运动而指示所述跳越视频帧的运动的运动信息的指令。
34. —种视频编码方法，其包含产生基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信 息；以及在至少一个视频帧内对所述运动信息进行编码。
35. 根据权利要求34所述的方法，其中产生运动信息包含产生基于仿射运动模型而指 示运动的运动信息。
36. 根据权利要求34所述的方法，其中产生运动信息包含产生指示所述跳越视频帧的 一部分的运动的运动信息，所述方法进一步包含产生描述与所述运动信息相关联的所述跳越视频帧的所述部分的位置信息；以及 在所述视频帧内对所述位置信息进行编码。
37. 根据权利要求36所述的方法，其中产生位置信息包含执行运动分段以识别所述跳越帧内的具有除平移运动之外的运动的对象；以及 产生基于所述经识别的对象的平移运动和至少一个其它运动参数的所述运动信 息。
38. 根据权利要求34所述的方法，其中产生基于平移运动和至少一个其它运动参数而 指示所述跳越视频帧的运动的运动信息包含产生基于平移运动和按比例缩放、剪 切、旋转、扫视和倾斜中的至少一者而指示跳越视频帧的运动的运动信息。
39. 根据权利要求34所述的方法，其中在至少一个视频帧内对所述运动信息进行编码 包含在非跳越视频帧内对所述运动信息进行编码。
40. 根据权利要求34所述的方法，其进一步包含将所述视频帧传输到视频解码器以辅 助所述视频解码器进行所述跳越视频帧的内插。
41. 一种用于对数字视频数据进行编码的设备，所述设备包含一分析模块，其分析跳越视频帧且产生基于平移运动和至少一个其它运动参数而 指示所述跳越视频帧的运动的运动信息；以及一组装模块，其在至少一个视频帧内对所述运动信息进行编码。
42. 根据权利要求41所述的设备，其中所述分析模块产生基于仿射运动模型而指示运 动的运动信息。
43. 根据权利要求41所述的设备，其中所述分析模块产生指示所述跳越视频帧的一部 分的运动的运动信息，产生描述与所述运动信息相关联的所述跳越视频帧的所述部 分的位置信息，且在所述视频帧内对所述位置信息进行编码。
44. 根据权利要求41所述的设备，其进一步包含发射器以将所述视频帧传输到视频解 码器来辅助所述视频解码器进行所述跳越视频帧的内插。
45. 根据权利要求41所述的设备，其中所述分析模块产生基于平移运动和按比例縮放、 剪切、旋转、扫视和倾斜中的至少一者而指示跳越视频帧的运动的运动信息。
46. —种用于对数字视频数据进行编码的设备，所述设备包含用于产生基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运 动信息的装置；以及用于组装帧的装置，其在至少一个视频帧内对所述运动信息进行编码。
47. 根据权利要求46所述的设备，其中所述产生装置产生指示所述跳越视频帧的一部 分的运动的运动信息，产生描述与所述运动信息相关联的所述跳越视频帧的所述部 分的位置信息，且在所述视频帧内对所述位置信息进行编码。
48. 根据权利要求47所述的设备，其中所述产生装置产生基于平移运动的运动信息， 执行运动分段以识别所述跳越帧内的具有除平移运动之外的运动的对象，且产生基 于所述经识别的对象的平移运动和至少一个其它运动参数的所述运动信息。
49. 根据权利要求46所述的设备，其中所述产生装置产生基于平移运动和按比例縮放、 剪切、旋转、扫视和倾斜中的至少一者而指示跳越视频帧的运动的运动信息。
50. —种用于对数字视频数据进行编码的处理器，所述处理器经配置以产生基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信 息；且6在至少一个视频帧内对所述运动信息进行编码。
51. 根据权利要求50所述的处理器，其中所述处理器经配置以产生运动信息，所述运 动信息包含产生基于仿射运动模型而指示运动的运动信息。
52. 根据权利要求50所述的处理器，其中所述处理器经配置以产生描述与所述运动信息相关联的所述跳越视频帧的部分的位置信息；且 在所述视频帧内对所述位置信息进行编码。
53. 根据权利要求50所述的处理器，其中所述处理器经配置以在非跳越视频帧内对所 述运动信息进行编码。
54. —种机器可读媒体，其包含当执行时促使机器执行以下操作的指令-产生基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信 息；且在至少一个视频帧内对所述运动信息进行编码。
55. 根据权利要求54所述的机器可读媒体，其中所述运动信息基于仿射运动模型而指 示运动。
56. 根据权利要求54所述的机器可读媒体，其中促使所述机器产生运动信息的指令包 含产生指示所述跳越视频帧的一部分的运动的运动信息的指令，所述机器可读媒体 进一步包含以下指令产生描述与所述运动信息相关联的所述跳越视频帧的所述部分的位置信息；以及 在所述视频帧内对所述位置信息进行编码。
57. 根据权利要求54所述的机器可读媒体，其进一步包含促使所述机器在非跳越视频 帧内对所述运动信息进行编码的指令。
全文摘要
大体来说，本发明描述促进跳越视频帧的较准确的内插的编码和解码技术。明确地说，描述用于获得基于平移运动和至少一个其它运动参数而指示跳越视频帧的运动的运动信息且应用所述运动信息来内插所述跳越视频帧的技术。所述运动信息可(例如)基于对三个或三个以上运动参数建模的运动模型来指示运动，这与常规两个参数平移运动向量相对。所述较准确的运动信息可在执行所述内插的解码器内得以产生或由编码器在一个或一个以上帧中传输。总之，所述技术减少所述内插帧中视觉假影的量。
文档编号H04N7/46GK101313590SQ200680043373
公开日2008年11月26日 申请日期2006年9月27日 优先权日2005年9月27日
发明者方 石, 维贾雅拉克希米·R·拉韦恩德拉恩 申请人:高通股份有限公司