专利名称：小波变换多媒体编码中的内插技术的制作方法
技术领域：
本发明涉及多媒体编码和解码，且更明确地说，涉及用于小波变换编码方案的解码 技术。
技术背景已经建立了许多不同的用于对数字多媒体序列进行编码的多媒体编码技术和标准。 许多当前技术利用基于区块的编码。在基于区块的编码中，多媒体序列的帧被划分成离 散的数据区块，且基于与其它区块的差异而对所述区块进行编码。基于运动的区块编码技术基于相对于多媒体序列中其它帧的区块内的像素的运动而 利用运动向量来对多媒体帧的区块进行编码。所述运动向量识别用于对当前多媒体区块 进行编码的不同帧的区块。通过使用所述运动向量，可通过发送指示正被编码的当前区 块与由所述运动向量识别的预测性区块之间的差异的差异信息来减少传送多媒体序列所 需的信息。某些基于空间的编码技术也依靠区块编码技术。具体地说，基于空间的编码可使用 给定帧内的区块来预测正被编码的相应区块。另外，离散余弦变换(DCT)技术通常对 像素区块进行操作。DCT技术通常用于图像和视频压縮，且可单独使用或结合其它基于 区块的编码技术而使用。小波变换编码是一种对例如DCT技术的基于区块的编码技术的可行替代。小波变换 编码有时被称为离散小波变换(DWT)。使用小波变换编码的视频或图像多媒体压縮可消 除区块假像(blockiness artifact)(有时被称为平铺)，所述区块假像通常随DCT编码而 展现。此外，基于小波的多媒体压缩的工作性能通常优于基于区块的DCT压缩，特别是 在使用峰值信噪比(PSNR)或均方误差(MSE)度量进行评估时。此外，对于同一压縮 比，以基于小波的编码来压縮的多媒体帧或图像的主观质量可能看起来比以区块DCT方 法压縮的多媒体帧或图像的主观质量好。发明内容本发明描述小波变换编码方案内的帧内插技术。所述帧内插技术可用于在根据小波 变换编码方案而编码的两个连续帧或两个连续低频帧之间产生一个或一个以上内插的 帧。所述内插可用于增加经由小波变换而编码的多媒体序列的有效帧速率，从而提供所 谓的帧速率上转换(FRUC)。而且，所述技术可用于内插丢失的帧，例如，可能在无线 传输期间丢失的帧。本发明的技术可能对内插当在传输期间丢失一个或一个以上高频分量时原本会丢失 的帧非常有用。举例来说，如果使用多级小波变换编码，那么若干原始帧可表示为一个 低频分量、若干高频分量和运动场(motion field)。与所述高频分量相比，可用更多的位 来对低频分量进行编码，且可用更高的功率来传输所述低频分量以确保接收。由于在此 类高频分量在传输期间被丢失或破坏的情况下可使用丢失帧的内插，所以可用较少的保 证措施来编码或传输所述高频分量。在一些实施例中，本发明提供一种方法，其包括接收与多媒体序列的经编码的帧 相关联的小波信息；对所述多媒体序列的所述经编码的帧进行解码；以及基于所述小波 信息，在所述经解码的帧之间内插一个或一个以上额外帧。在一些实施例中，本发明提供一种设备，其包括接收器，其接收与多媒体序列的 经编码的帧相关联的小波信息；以及解码器，其对所述多媒体序列的所述经编码的帧进 行解码，并基于所述小波信息，在所述经解码的帧之间内插一个或一个以上额外帧。在一些实施例中，本发明提供一种处理器，其经配置以对多媒体序列的帧进行解 码，经由小波信息根据小波变换编码方案对所述帧进行编码；以及基于小波信息，在所 述经解码的帧之间内插一个或一个以上额外帧。在一些实施例中，本发明提供一种设备，其包括用于接收与多媒体序列的经编码 的帧相关联的小波信息的装置；用于对所述多媒体序列的所述经编码的帧进行解码的装 置；以及用于基于所述小波信息而在所述经解码的帧之间内插一个或一个以上额外帧的 装置。本文所描述的技术可在硬件、软件、固件或其任一组合中实施。如果在软件中实施， 那么所述软件可在数字信号处理器(DSP)或其它类型的处理器中执行。执行所述技术 的软件最初可存储在机器可读媒体(例如计算机可读媒体)中，且加载在处理器或其它 机器中并在其中执行，以允许具有如本文所描述的过渡效应的视频编码或解码。因此，本发明还涵盖一种机器可读媒体，其包括指令，所述指令在执行后立即致使机器接收与多媒体序列的经编码的帧相关联的小波信息；对所述多媒体序列的所述经 编码的帧进行解码；以及基于所述小波信息，在所述经解码的帧之间内插一个或一个以 上额外帧。附图和下文的描述内容中陈述一个或一个以上实施例的细节。从所述描述内容和图 式且从权利要求书中将明白其它特征、目的和优点。
图1是说明可实施根据本发明的小波变换编码技术的视频编码与解码系统的框图。图2是说明小波变换编码的概念的概念图。图3是说明根据本发明的小波变换解码技术的流程图。图4是说明在小波变换解码过程期间在两个低频帧之间内插一个帧的概念图。 图5是说明在小波变换解码过程期间在两个低频帧之间内插三个帧的概念图。 图6是说明可实施根据本发明的小波变换编码技术的视频编码与解码系统的另一框图。
具体实施方式
本发明描述小波变换编码方案内的帧内插技术。小波变换编码是对例如离散余弦变 换(DCT)技术的基于区块的编码技术的替代，且通常工作性能优于基于区块的DCT压 縮。基于小波的编码涉及对多媒体序列的连续帧进行组合以产生低频和高频小波分量(有 时称为"子频带帧")。低频分量和高频分量是低频和高频小波信息的实例，其可用于根 据小波变换编码方案对多媒体帧进行编码。具体地说，所述低频小波信息是正被编码的帧的粗略或低时间分辨率版本，且通常 表示为两个正被编码的帧的平均像素值。高频小波信息提供正被编码的帧的附加细节， 且通常表示为正被编码的帧的像素之间的差。用于两个连续帧的基于小波的编码信息包 含低频小波信息、高频小波信息和指示所述两个连续帧的像素之间的运动的运动场。通常，小波变换编码过程在多个等级上重复，且在编码过程的每个相应等级处相对 于两个连续低频子频带帧而应用。举例来说，如果使用多级小波变换编码，那么若干原 始帧可表示为一个低频分量、若干高频分量和运动场。根据本发明，在基于小波的解码过程期间使用帧内插，以便在两个连续帧或两个连 续低频帧之间产生一个或一个以上额外的内插帧。所述内插可用于增加经由小波变换而 编码的多媒体序列的有效帧速率，支持所谓的帧速率上转换(FRUC)。而且，所述技术 可用于内插丢失的帧，例如，可能在无线传输期间丢失的帧。同样，当使用多级小波变换编码时，若干原始帧可表示为一个低频分量、若干高频分量和运动场。在这种情况下， 本发明的技术可能对内插当在传输期间丢失一个或一个以上高频分量时原本会丢失的帧 非常有用。
图1是说明可实施根据本发明的小波变换编码技术的视频编码与解码系统10的框 图。如图所示，系统10包含视频编码器装置2和视频解码器装置4。经编码的多媒体序 列可从视频编码器装置2通过通信信道5传输到视频解码器装置4。为此，视频编码器 装置2和视频解码器装置4分别包含发射器12和接收器16，以促进所述通信，所述通 信可以是有线通信或无线通信。
举例来说，视频编码器装置2可形成广播网络装置的一部分，所述广播网络装置用 来将一个或一个以上视频信道广播到无线订户装置。在这种情况下，视频编码器装置2 可将经编码的数据传输到若干视频解码器装置(即，广播服务的许多订户)。然而，为简 明起见，图1说明单个视频解码器装置4。视频编码器装置2和视频解码器装置4可实 施为一个或一个以上处理器、数字信号处理器、专用集成电路(ASIC)、现场可编程门 阵列(FPGA)、离散逻辑、软件、硬件、固件或其任一组合。
视频编码器装置2的实例可包含无线基站或用于广播经编码的视频数据的任何基础 结构节点。另一方面，视频解码器装置4可包括用户装置，所述用户装置接收经编码的 视频。举例来说，视频解码器装置4可实施为数字电视、无线通信装置、便携式数字助 理(PDA)、膝上型计算机或桌上型计算机、数字音乐与视频装置(例如以"iPod"为商 标出售的那些装置)或无线电话(例如蜂窝式、卫星或基于地面的无线电话)的一部分。 在其它实例中，视频编码器装置2和视频解码器装置4两者都可包括用户装置，其经由 视频电话技术(或类似技术)在此类装置之间传送视频数据。
所说明的系统IO中的组件是那些可应用于实施本文所描述的技术的组件的实例，尽 管编码器装置2和解码器装置4可包含许多其它组件(如果需要的话)。此外，本发明的 技术不一定限于在与系统IO类似的系统中使用，也不限于在广播系统中使用。所述技术 可应用于使用小波变换编码技术来对多媒体序列进行编码的任何视频编码环境。
如图1所示，视频编码器装置2包含小波变换CODEC 14，其执行多媒体序列的小 波变换编码。所述多媒体序列可原先存储在存储器位置中，为了简明起见，图1中未说 明所述存储器位置。所述存储器可以是视频编码器装置2的一部分，或可以是向视频编 码器装置2提供多媒体序列的外部存储器。由小波变换CODEC 14编码的多媒体序列可 包括待编码且作为广播而传输的实况实时视频或视频与音频序列，或可包括待编码且作为广播传输或在要求时传输的预先记录并存储的视频或视频与音频序列。
小波变换CODEC 14可对多媒体序列的帧实施一个或一个以上等级的小波变换编 码。具体地说，小波变换CODEC 14对多媒体序列的连续帧进行组合以产生低频和高频 分量(子频带帧)。低频分量(低频子频带帧)是正被编码的帧的粗略或低时间分辨率版 本，且通常表示为两个正被编码的连续帧的平均像素值。高频分量(高频子频带帧)提 供正被编码的帧的附加细节，且通常表示为所述两个正被编码的连续帧的像素之间的差。 小波变换CODEC 14产生低频分量、高频分量和指示所述两个连续帧的像素之间的运动 的运动场。而且，在一些情况下，小波变换CODEC 14在多个等级上重复小波编码过程， 且在所述编码过程的每个相应等级处相对于两个连续低频子频带帧应用所述过程。举例 来说，如果使用多级小波变换编码，那么若干原始帧可表示为一个低频分量、若干高频 分量和运动场。
小波变换CODEC 14可用比高频分量多的位来对低频分量进行编码。而且，发射器 12可通过信道5用比高频分量多的功率来传输低频分量。本发明的技术可能在内插当在 所述传输期间丢失一个或一个以上高频分量时原本会丢失的帧方面非常有用。本发明的 技术还可能在将帧内插在原始帧之间以便在解码器处获得具有比编码器处的原始多媒体 序列高的帧速率的多媒体输出方面非常有用。
视频解码器装置4的接收器16接收小波信息，其根据小波变换编码方案对多媒体序 列的帧进行编码。接着，小波变换CODEC 18基于所述小波信息对所述多媒体序列的帧 进行解码。具体地说，小波变换CODEC 18对所述帧进行解码，以重构由小波变换CODEC 14编码的原始帧。根据本发明，小波变换CODEC 18包含内插单元15。在解码过程期间， 内插单元15基于所述小波信息在经解码的帧或经解码的低频帧之间内插一个或一个以 上额外帧。下文提供此解码与内插过程的额外细节。
图2是说明小波变换编码的概念的概念图。所述基于小波的编码可由编码侧的小波 变换CODEC 14和解码侧的基于小波的变换CODEC 18来执行。更具体地说，图2说明 三段式运动补偿时域滤波(MCTF) 20，其产生基于倍频程的四频带分解。所述过程可使 用哈尔滤波器(Haar filter)或类似物，像基于小波的编码中常见的那样。
图2的符号如下。帧t-l、 t-2、 t-3、 t-4、 t-5、 t-6、 t-7和t-8表示正被编码的视频序 列的时间上相邻的帧。图2中未针对此第一分解等级处帧之间的运动而展示运动场。帧 t-Ll和t-Hl表示与帧t-l和t-2的基于小波的编码相关联的低频分量和高频分量。帧t-L2 和t-H2表示与帧t-3和t-4的基于小波的编码相关联的低频分量和高频分量。帧t-L3和t-H3表示与帧t-5和t-6的基于小波的编码相关联的低频分量和高频分量。帧t-L4和t-H4 表示与帧t-7和t-8的基于小波的编码相关联的低频分量和高频分量。
在第二编码等级处，帧t-LLl和t-LHl表示与子频带帧t-Ll和t-L2的基于小波的编 码相关联的低频分量和高频分量。标记"mf2"是指帧t-Ll与t-L2之间的运动场。帧t-LL2 和t-LH2表示与子频带帧t-L3和t-L4的基于小波的编码相关联的低频分量和高频分量。 标记"mf3"是指帧t-L3与t-L4之间的运动场。
在第三编码等级处，帧t-LLLl和t-LLHl表示与子频带帧t-LLl和t-LL2的基于小波 的编码相关联的低频分量和高频分量。标记"mfl"是指帧t-LLl与t-LL2之间的运动场。
在图2所示的三段式MCTF 20中，在帧t-l到t-8的编码过程中产生并传输八个时域 子频带帧 一个t-LLL帧、 一个t-LLH帧、两个t-LH帧和四个t-H帧。存在七个运动场 t-LLI与t-LL2之间的运动场mfl， t-Ll与t-L2之间的运动场mf2， t-L3与t-L4之间的运 动场mf3以及在第一分解等级处的四个其它运动场(为简明起见未标记)。因此，为了以 小波编码的三个阶段来对帧t-l到t-8进行编码，小波信息包含一个低频分量和七个不同 的高频分量。
在每个等级处，对于每两个连续帧或每两个连续低频帧，可如下执行哈尔滤波
<formula>formula see original document page 10</formula>'
其中L[m， n]和H[m, n]是时域低频和高频帧，A[m, n]和B[m, n]是第一和第二帧，且 (dmdn)是运动向量。
所述分解在编码过程中是自上而下的程序，而重构在解码过程中是由下而上的程序。
<formula>formula see original document page 10</formula>运动信息在MCTF中起主要作用。沿运动轨迹执行时域滤波。解码器处需要MCTF 期间编码器所使用的运动信息。
根据本发明的内插利用越过不同等级处的运动场的冗余。举例来说，mfl还含有mf2 的信息。此类冗余为编码器辅助的帧速率上转换(EA-FRUC)提供良好的情况。具体地 说，可使用所述内插技术从其它运动场导出至少一个运动场。
图3是说明根据本发明的小波变换解码技术的流程图。如图3所示，接收器16接收 与多媒体序列的经编码的帧相关联的小波信息(31)。举例来说，所述小波信息可以是对 多媒体序列的帧进行编码的信息，且可包含低频小波信息、高频小波信息和运动信息。 如上文所描述，低频小波信息可包括一个或一个以上低频子频带帧，且与高频小波信息 相比，可使用更多的位和更高的能量来发送低频小波信息，以确保所述低频小波信息的 传输。
高频小波信息也可包括子频带帧，即， 一个或一个以上高频子频带帧。与低频小波 信息相比，可用更少的位和/或更低的能量来发送高频小波信息，因为高频信息的重要 性较小，且内插可寻址一个或一个以上缺失的高频子频带帧。运动信息可包括指示两个 连续低频帧和/或子频带帧之间的运动的运动场。
一旦接收到小波信息(31),小波变换CODEC 18就对所述多媒体序列的经编码的帧 进行解码(32)。具体地说，(参看图2)，接收器16可接收t-LLLl、 t-Hl、 t-LHl、 t-H2、 t-LLHl、 t-H3、 t-LH2、 t-H4和所述运动场。小波变换CODEC 18可基于t-LLLl和t-LLHl 而产生t-LLl禾卩t-!X2，基于t-!Xl和t-LHl而产生t-Ll和t-L2，且基于t-IX2和t-LH2 而产生t-L3和t-L4。小波变换CODEC 18还可基于t-Ll和t-Hl而产生t-l和t-2，基于 t-L2和t-H2而产生t-3和t-4，基于t-L3和t-H3而产生t-5和t-6，且基于t-L4和t-H4而 产生t-7和t-8。
接下来，小波变换CODEC 18的内插单元15基于所述小波信息而在经解码的帧之间 内插一个或一个以上额外帧(33)。可执行此内插以产生一个或一个以上缺失的帧，或引 入额外帧以增加经解码的多媒体序列的有效帧速率。举例来说，如果未接收到t-Hl、t-LHl 或t-H2中的任一者，那么可使用t-LLl与t-LL2之间的内插来重构t-2、 t-3和t-4。或者， 可使用内插来产生额外帧，例如在t-l与t-2之间、在t-2与t-3之间、在t-3与t-4之间 等等。
一般来说，内插单元15可基于两个经解码的低频帧与表示所述两个经解码的低频帧 之间的运动的运动轨迹来内插一个或一个以上低频帧。在一些情况下，将一个或一个以上额外帧内插在两个时间上相邻的经解码的帧之间。可以此方式内插任何数目个帧。在 内插过程中，基于两个时间上相邻的经解码的帧的像素之间的运动轨迹产生所述一个或 一个以上额外帧的像素值。包括在运动场中的运动信息提供两个时间上相邻的经解码的 帧的像素之间的运动轨迹。所述运动轨迹在所述两个时间上相邻的经解码的帧之间通常 是线性的，尽管本发明不一定限于线性内插，且还可延伸到非线性内插。
内插可基于时间上相邻的经解码的帧的经解码的像素相对于被内插的帧的每一像素 而进行。换句话说，内插可包含基于两个时间上相邻的经解码的帧的经解码的像素与所 述两个时间上相邻的经解码的帧的经解码的像素之间的运动轨迹内插一个或一个以上额 外帧的每一像素。
图4是说明包含在两个低频帧之间内插一个帧的小波变换解码的概念图。在此实例 中，所述低频帧是t-LLI和t-LL2,其可从t-LLLl和t-LLHl产生(如所说明)。使用包 含在运动场"mfl"中的运动信息来定义帧t-LL2的像素45与帧t-LLl的对应像素46之 间的线性运动轨迹48。在这种情况下，被内插的帧42的相应像素的内插是沿运动轨迹 48的像素44。为了简明起见，图4展示帧42的一个像素(像素44)的内插。然而，实 际上，可以类似方式基于经解码的帧t-LLl和t-LL2中的对应像素和所述帧之间的运动轨 迹内插帧42的每一像素。
在一些情况下，可沿经解码的帧(即，两个或两个以上帧)之间的运动轨迹内插若 干个帧。图5是说明包含在两个低频帧之间内插三个帧的小波变换解码的概念图。如果 需要，还可内插额外的帧。
在图5的实例中，说明低频帧为t-LLl和t-LL2，其从t-LLLl和t-LLHl产生。使用 包含在运动场"mfl"中的运动信息来定义帧t-LL2的像素55与帧t-LL1的对应像素56 之间的线性运动轨迹58。在这种情况下，被内插的帧52A、 52B和52C的相应像素的内 插分别形成被内插的像素54A、 54B和54C，所有所述内插像素都沿运动轨迹58。如同 图4，图5只展示每帧一个像素(帧52A、 52B和52C的像素54A、 54B和54C)的内插。 然而，同样可以类似方式基于经解码的帧t-LLl和t-LL2中的对应像素和由所述帧之间的 不同像素定义的运动轨迹内插帧52A、 52B和52C的每一像素。
图6是说明可实施根据本发明的小波变换编码技术的视频编码与解码系统的另一框 图。如图6所示，系统60包含视频编码器装置62和视频解码器装置64。经编码的多媒 体序列从编码器装置62通过通信信道65传输到视频解码器装置64，所述通信信道65 可以是有线的或无线的。视频编码器装置62包含用于小波变换编码的模块74，其执行多媒体序列的小波变 换编码。具体地说，用于小波变换编码的模块74可对多媒体序列的帧实施一个或一个以 上等级的小波变换编码，例如，通过对多媒体序列的连续帧进行组合以产生低频和高频 分量(子频带帧)，以及指示连续帧的像素之间的运动的运动场。此外，用于小波变换编 码的模块74可在多个等级上重复小波编码过程，并在编码过程的每个相应等级处，相对 于两个连续低频子频带帧而应用所述过程。用于发射的模块72将所述经编码的小波信息 (例如， 一个或一个以上低频分量、 一个或一个以上高频分量和一个或一个以上运动场) 发射到视频解码装置64。用于小波变换编码的模块74可包括编码器，所述编码器根据 小波变换编码方案而执行编码。用于发射的模块72可包括发送信息的发射器或既发送信 息又接收信息的收发器。
用于接收的模块76接收小波信息，使用所述小波信息来根据小波变换编码方案对多 媒体序列的帧进行编码。接着，用于小波变换解码的模块78基于所述小波信息而对所述 多媒体序列的帧进行解码。具体地说，用于小波变换解码的模块78对所述帧进行解码， 以重构由用于小波变换编码的模块74编码的原始帧。根据本发明，用于小波变换解码的 模块78包含用于内插的模块75。因此，在解码过程期间，用于内插的模块75基于所述 小波信息而在所述经解码的帧之间内插一个或一个以上额外帧。此内插可用来添加额外 帧，以增加经解码的视频的帧速率，或内插一个或一个以上可能在传输所述小波信息期 间已经丢失的帧。用于小波变换解码的模块78可包括解码器，所述解码器根据小波变换 编码方案而执行解码，但经由用于内插的模块75来实施本文中的内插技术。用于接收的 模块76可包括接收信息的接收器或既发送信息又接收信息的收发器。
根据本发明，用于发射的装置可包括发射器12 (图1)或用于发射的模块72(图6)。 类似地，用于接收的模块可包括接收器16 (图1)或用于接收的模块76 (图6)。用于小 波变换编码的装置可包括小波变换CODEC 14 (图1)或用于变换编码的模块74 (图6)。 用于小波变换解码的装置可包括小波变换CODEC 18 (图1)或用于变换解码的模块78 (图6)。用于内插的装置可包括内插单元15 (图1)或用于内插的模块75 (图6)。
已经在小波变换编码的上下文中针对内插帧描述了许多实施例。本文所描述的技术 可实施在硬件、软件、固件或其任一组合中。如果实施在软件中，那么所述技术可部分 地由包括含有指令的程序代码的计算机可读媒体(或其它机器可读媒体)来实现，所述 指令在被执行时会执行本文所描述的技术中的一者或一者以上。在这种情况下，所述计 算机可读媒体可包括随机存取存储器(RAM)(例如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可 编程只-读存储器(EEPROM)，快闪存储器、磁性或光学数据存储媒体等等。
所述指令可由一个或一个以上处理器或其它机器执行，例如一个或一个以上数字信 号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA) 或其它等效集成或离散逻辑电路。通常，执行所述指令的机器可包括设备。在一些实施 例中，本文所描述的功能性可在经配置以用于编码和解码的专用软件模块或硬件单元中 提供，或并入组合视频编解码器(CODEC)中。
尽管如此，可在不脱离所附权利要求书的范围的情况下，对所描述的技术作出各种 修改。因此，上文所描述的特定实施例以及其它实施例在所附权利要求书的范围内。
权利要求
1. 一种方法，其包括接收与多媒体序列的经编码的帧相关联的小波信息； 对所述多媒体序列的所述经编码的帧进行解码；以及 基于所述小波信息在所述经解码的帧之间内插一个或一个以上额外帧。
2. 根据权利要求l所述的方法，其中所述小波信息包含低频小波信息、高频小波信息 和运动信息。
3. 根据权利要求1所述的方法，其中内插包括基于两个经解码的低频帧和表示所述两 个经解码的低频帧之间的运动的运动轨迹而内插一个或一个以上低频帧。
4. 根据权利要求1所述的方法，其进一步包括在两个时间上相邻的经解码的帧之间内 插两个或两个以上额外帧。
5. 根据权利要求1所述的方法，其中使用所述小波信息来根据小波变换编码方案对所 述多媒体序列的所述经编码的帧进行编码。
6. 根据权利要求l所述的方法，其中内插包括基于两个时间上相邻的经解码的帧的像 素之间的运动轨迹定义所述一个或一个以上额外帧的像素值。
7. 根据权利要求6所述的方法，其中所述运动轨迹在所述两个时间上相邻的经解码的 帧之间是线性的。
8. 根据权利要求2所述的方法，其中以与所述高频小波信息不同的位速率对所述低频 小波信息进行编码。
9. 根据权利要求2所述的方法，其中以与所述高频小波信息不同的功率电平传输所述 低频小波信息。
10. 根据权利要求l所述的方法，其中内插包括基于两个时间上相邻的经解码的帧的经 解码的像素与所述两个时间上相邻的经解码的帧的所述经解码的像素之间的运动 轨迹内插所述或所述额外帧的每一像素。
11. 一种设备，其包括接收器，其接收与多媒体序列的经编码的帧相关联的小波信息；以及 解码器，其对所述多媒体序列的所述经编码的帧进行解码，并基于所述小波信息 在所述经解码的帧之间内插一个或一个以上额外帧。
12. 根据权利要求11所述的设备，其中所述小波信息包含低频小波信息、高频小波信息和运动信息。
13. 根据权利要求11所述的设备，其中所述解码器基于两个经解码的低频帧与表示所述 两个经解码的低频帧之间的运动的运动轨迹内插一个或一个以上低频帧。
14. 根据权利要求11所述的设备，其中所述解码器在两个时间上相邻的经解码的帧之间 内插两个或两个以上额外帧。 '
15. 根据权利要求11所述的设备，其中使用所述小波信息来根据小波变换编码方案对所 述多媒体序列的所述经编码的帧进行编码。
16. 根据权利要求11所述的设备，其中所述解码器通过基于两个时间上相邻的经解码的 帧的像素之间的运动轨迹定义所述一个或一个以上额外帧的像素值来内插所述一 个或一个以上额外帧。
17. 根据权利要求16所述的设备，其中所述运动轨迹在所述两个时间上相邻的经解码 的帧之间是线性的。
18. 根据权利要求12所述的设备，其中以与所述高频小波信息不同的位速率对所述低 频小波信息进行编码。
19. 根据权利要求12所述的设备，其中以与所述高频小波信息不同的功率电平来传输 所述低频小波信息。
20. 根据权利要求11所述的设备，其中所述解码器基于两个时间上相邻的经解码的帧的 经解码的像素与所述两个时间上相邻的经解码的帧的所述经解码的像素之间的运 动轨迹内插所述一个或一个以上额外帧的每一像素。
21. —种包括指令的机器可读媒体，所述指令在执行后立即致使机器接收与多媒体序列的经编码的帧相关联的小波信息； 对所述多媒体序列的所述经编码的帧进行解码；以及 基于所述小波信息在所述经解码的帧之间内插一个或一个以上额外帧。
22. 根据权利要求21所述的机器可读媒体，其中所述小波信息包含低频小波信息、高 频小波信息和运动信息。
23. 根据权利要求21所述的机器可读媒体，其中机器可读指令基于两个经解码的低频 帧与表示所述两个经解码的低频帧之间的运动的运动轨迹内插一个或一个以上低 频帧。
24. 根据权利要求21所述的机器可读媒体，其中所述机器可读指令通过基于两个时间 上相邻的经解码的帧的像素之间的运动轨迹定义所述一个或一个以上额外帧的像素值来内插所述一个或一个以上额外帧。
25. —种处理器，其经配置以对多媒体序列的帧进行解码，经由小波信息根据小波变换编码方案对所述帧进行 编码；以及基于所述小波信息在所述经解码的帧之间内插一个或一个以上额外帧。
26. 根据权利要求25所述的处理器，其中所述小波信息包含低频小波信息、高频小波 信息和运动信息。
27. 根据权利要求25所述的处理器，其中所述处理器基于两个经解码的低频帧与表示 所述两个经解码的低频帧之间的运动的运动轨迹内插一个或一个以上低频帧。
28. 根据权利要求25所述的处理器，其中所述处理器通过基于两个时间上相邻的经解 码的帧的像素之间的运动轨迹定义所述一个或一个以上额外帧的像素值来内插所 述一个或一个以上额外帧。
29. —种设备，其包括用于接收与多媒体序列的经编码的帧相关联的小波信息的装置； 用于对所述多媒体序列的所述经编码的帧进行解码的装置；以及 用于基于所述小波信息在所述经解码的帧之间内插一个或一个以上额外帧的装 置。
全文摘要
本发明描述小波变换编码方案内的帧内插技术。帧内插可用于在根据小波变换编码方案编码的两个连续低频帧之间产生一个或一个以上内插的帧。所述内插可用于增加经由小波变换编码的多媒体序列的帧速率。而且，所述技术可用于内插丢失的帧，例如，可能在无线传输期间丢失的帧。
文档编号H04N7/26GK101313586SQ200680043668
公开日2008年11月26日 申请日期2006年9月27日 优先权日2005年9月27日
发明者方 石, 维贾雅拉克希米·R·拉韦恩德拉恩, 陈培松 申请人:高通股份有限公司