专利名称：用于无线视频通信中的错误恢复算法的方法和设备的制作方法
技术领域：
本申请案是针对多媒体信号处理，且更明确地说，是针对无线视频通信。
背景技术：
多媒体处理系统(例如视频编码器)可使用基于国际标准的编码方法来对多媒体数 据进行编码，所述国际标准例如是运动图片专家组(MPEG) -1、 -2和-4标准，国际电 信联盟(ITU) -1^.263标准，和ITU-T H.264标准及其副本，ISO/IEC MPEG-4，第10 部分(即，高级视频编码(AVC))。此些编码方法通常是针对为了传输和/或存储而压縮 多媒体数据。压縮泛指从数据去除冗余的过程。
可用图片序列来描述视频信号，所述图片包含帧(整个图片)或字段(例如，交错 视频流包括图片的交替奇数或偶数线的字段)。如本文所使用，术语"帧"是指图片、帧 或字段。视频编码方法通过使用无损压缩算法或有损压缩算法压縮每个帧来压縮视频信 号。帧内编码是指在对帧进行编码时只使用所述帧。帧间编码是指基于其它"参考"帧 而对帧进行编码。举例来说，视频信号通常展示时间冗余，其中在帧的时间序列中彼此 靠近的帧至少具有彼此匹配或至少部分地匹配的部分。
多媒体处理器，例如视频编码器，可通过将帧分成(例如)16xl6像素的区块或"宏 区块"来对所述帧进行编码。编码器可进一步将每一宏区块分成子区块。每一子区块可
进一步包括额外的子区块。举例来说，宏区块的子区块可包含16x8和8xl6个子区块。8x16 个子区块的子区块可包含8x8个子区块，等等。如本文所使用，术语"区块"是指宏区 块或子区块。
编码器可使用基于帧间编码运动补偿的算法来利用此时间冗余。运动补偿算法识别 参考帧的至少部分地与区块匹配的部分。所述区块可在帧中相对于参考帧的匹配部分而 移位。此移位的特征在于运动向量。所述区块与参考帧的部分匹配部分之间的任何差异 可用残差来表征。所述编码器可将帧编码为包括所述帧的特定分割的运动向量和残差中 的一者或一者以上的数据。可通过使(例如)平衡编码大小与编码所得内容的失真的价 值函数近似地减到最小来选择用于对帧进行编码的区块的特定分割。
帧间编码与帧内编码相比实现更高压縮效率。然而，当参考数据(例如，参考帧或 参考字段)由于通道错误等缘故而丢失时，帧间编码可能产生问题。在这些情况下，对 经帧间编码的数据的解码可能是不可能的，或可能导致不当错误和错误传播。解码器可 使用隐藏方案，所述隐藏方案试图用从相邻区块或从其它帧中的数据得到的数据来隐藏 或掩饰出错的数据。隐藏算法的改进可提供出错的视频数据的隐藏部分的质量的某一改 进。然而，由于隐藏算法严重依赖时空信息，因此对于隐藏图像将展示的质量有多高存 在限制。隐藏的数据的质量可能不高，且观看体验可能被降级。此外，对信号进行解码 可能变成不可能的，且可能需要再同步。通过刷新视频的编码方法，错误传播可受到限 制，且可实现再同步(或初始获取)。无需参考其它帧或已知其它帧，可对经刷新的视频 信号进行解码。
可独立解码的经帧内编码的帧是允许刷新视频信号的帧的最常见形式。MPEG-x和 H.26x标准使用被称为图片组(GOP)的帧，其包括经帧内编码的帧(也被称为I帧)和 在时间上经预测的P帧或经双向预测的B帧，所述B帧参考GOP内的I帧和/或其它P 和/或B帧。较长的GOP是增加的压縮所需要的，但较短的GOP允许更快的获取和再同 步。增加I帧的数目将更频繁地刷新视频信号，从而进一步限制错误传播并提供更快的 获取和再同步，但以更低的压縮为代价。需要一种对视频数据进行编码的方法，其限制 视频流在解码器处的错误传播，同时保留压缩效率。
发明内容
本申请案的系统、方法和装置每一者具有若干方面，所述方面中没有单个方面单独 负责其所需属性。在不对如所附权利要求书所表达的本申请案的范围构成限制的情况下， 现将简要论述本申请案的较突出特征。在考虑本论述之后，且尤其在阅读题为"具体实
施方式"的部分之后，将理解本申请案的示例特征可如何提供一些改进，所述改进尤其 包含(例如)改进的解码视频质量、改进的错误恢复、改进的错误恢复和/或改进的无线 通信效率。
一种处理包含多个视频帧的多媒体数据的方法，其中所述方法包含初始化用于当 前帧的像素级参考计数器；参考当前帧而执行对下一帧的预测；以及重新调整当前帧的 宏区块带宽映射。
本发明描述一种用于处理包含多个视频帧的多媒体数据的处理器，其中所述处理器 经配置以初始化用于当前帧的像素级参考计数器；参考当前帧而执行对下一帧的预测； 且重新调整当前帧的宏区块带宽映射。
本发明呈现一种用于处理包含多个视频帧的多媒体数据的设备，其中所述设备包含 初始化器，其用于初始化用于当前帧的像素级参考计数器；执行器，其用于参考当前帧 而执行对下一帧的预测；以及重新调整器，其用于重新调整当前帧的宏区块带宽映射。
本发明呈现一种处理包含多个视频帧的多媒体数据的设备，其中所述设备包含用 于初始化用于当前帧的像素级参考计数器的装置；用于参考当前帧而执行对下一帧的预 测的装置；以及用于重新调整当前帧的宏区块带宽映射的装置。
本发明描述一种用于处理包含多个视频帧的多媒体数据的机器可读媒体，其中所述 机器可读媒体包含在执行之后立即致使机器初始化用于当前帧的像素级参考计数器，参 考当前帧而执行对下一帧的预测，且重新调整当前帧的宏区块带宽映射的指令。
图1是说明根据一个方面的多媒体通信系统的框图。
图2是说明可在(例如)图1中所说明的系统中使用的编码器装置的实施例的框图。 图3是说明可在(例如)图1中所说明的系统中使用的解码器装置的实施例的框图。 图4A是说明在(例如)图1所说明的系统中对视频流的一部分进行编码的方法的实 例的流程图。
图4B是更详细地说明在(例如)图1所说明的系统中对视频流的一部分进行编码的
方法的实例的流程图。
图5以图表方式说明可通过图4A和图4B的方法产生的失真映射。
图6以图表方式说明用于估计视频的一部分(例如在运动补偿预测方法中所使用)
的预测区域。
图7是说明可在(例如)图1中所说明的系统中使用的编码器装置的实施例的功能
性框图。
图8是说明可在(例如)图1中所说明的系统中使用的编码器装置的实施例的功能 性框图。
图9说明根据某些实施例的无线通信系统900。
图10展示片段和存取单元(AU)中的经编码的视频数据或视频位流的组织。 图11展示片段和AU中的视频位流的组织，以及视频位流到FLO帧的映射。 图12展示根据某些实施例的所预测的帧编码的预测层级。
图13展示根据某些实施例的用以确定预测链且更强调频繁参考宏区块的重要性的 两遍算法。
具体实施例方式
以下详细描述内容是针对本申请案的某些示例实施例。然而，本申请案可以权利要 求书所界定和涵盖的多种不同方式来实施。在本描述内容中，参考图式，在图式中相同 部分始终用相同标号表示。
可用一系列图片、帧、字段或片段来表征视频信号。如本文所使用，术语"帧"是 广义术语，其可涵盖渐进式视频信号的帧、交错视频信号的字段或任一者的片段。
实施例包含改进多媒体传输系统中的编码器中的处理的系统和方法。多媒体数据可 包含运动视频、音频、静止图像、或任何其它合适类型的视听数据中的一者或一者以上。 实施例包含数据(例如，视频)通信的设备和方法。
图1是说明根据一个方面的多媒体通信系统100的框图。系统100包含经由网络140 与解码器装置150通信的编码器装置110，网络140可以是(例如)易于出错的网络，例 如无线网络。在一个实例中，编码器装置从外部来源102接收多媒体信号，且对所述信 号进行编码以用于在网络140上进行传输。
在此实例中，编码器装置110包括耦合到存储器114和收发器116的处理器112。处 理器112可包含通用处理器和/或数字信号处理器中的一者或一者以上。存储器114可包 含固态和/或基于磁盘的存储装置中的一者或一者以上。处理器112对来自多媒体数据源 的数据进行编码，并将其提供到收发器116以用于通过网络140进行通信。
在此实例中，解码器装置150包括耦合到存储器154和收发器156的处理器152。 处理器152可包含通用处理器和/或数字信号处理器中的一者或一者以上。存储器154可 包含固态和/或基于磁盘的存储装置中的一者或一者以上。收发器156经配置以通过网络 140接收多媒体数据，并且将其提供给处理器152以进行解码。在一个实例中，收发器
156包含无线收发器。网络140可包括有线或无线通信系统中的一者或一者以上，包含 以太网、电话(例如，POTS)、电缆、电力线和光纤系统中的一者或一者以上，且/或无 线系统包括以下系统中的一者或一者以上码分多址(CDMA或CDMA2000)通信系统、 频分多址(FDMA)系统、正交频分多(OFDM)址系统、时分多址(TDMA)系统，例 如GSM/GPRS (通用分组无线电服务)/EDGE (增强型数据GSM环境)、TETRA (陆地 集群无线电)移动电话系统、宽带码分多址(WCDMA)系统、高数据速率(lxEV-DO 或lxEV-DO黄金多播)系统、正EE 802.11系统、媒体FLO (MediaFLO)系统、DMB 系统或DVB-H系统。
图2是说明可在例如图1中所说明的系统100的系统中使用的编码器装置110的实 施例的框图。在此实施例中，编码器110包括失真值估计器元件202、编码方法确定器 204和多媒体编码器元件206。失真值估计器202估计多媒体数据的正被编码的部分的失 真值。所述失真值部分地基于来自预测当前部分所根据的视频的其它部分的错误传播和 所述其它部分被错误地接收到的可能性。失真值还包含由于在隐藏视频数据的所述部分 (如果其被错误地接收到)时在解码器处引入的错误而导致的失真分量。失真值估计器可
考虑多种编码方法，且计算对于所述编码方法中的每一者的失真值。
编码方法确定器204基于所估计的失真值来确定一种将用于对视频数据的所述部分 进行编码的编码方法。编码方法确定器204和失真值估计器202可一起工作，以计算对 于多种编码方法(例如多种帧间编码方法)的多个失真值，并选择导致最少失真的编码 方法。编码方法确定器可将失真值与阈值进行比较，且基于所述比较，确定需要另一编 码方法。其它编码方法可以是与刷新视频流有关的编码方法，例如帧内编码。其它编码 方法还可以是导致较低失真值(如由失真值估计器202所估计)的另一种形式的帧间编 码。编码方法确定器还可在确定提供可接受失真且不超过某一计算复杂性等级的编码方 法的过程中考虑计算复杂性以及失真值。
多媒体编码器206执行基于失真值而确定的编码方法。多媒体编码器206所执行的 编码方法包含帧间编码，其中视频的部分是参考位于其它时间帧中的视频数据的其它部 分而在时间上预测的(例如，使用运动补偿预测)。其它编码方法包含帧内编码，其中对 视频的部分进行编码使得其可被独立解码而无需参考其它在时间上定位的视频数据。在 一些实施例中，帧内编码可使用空间预测来利用位于同一时间帧中的其它视频数据中的 冗余。
在一些实施例中，图2的编码器110的元件中的一者或一者以上可重新布置和/或组 合。所述元件可由硬件、软件、固件、中间件、微码或其任一组合来实施。编码器110 的元件所执行的动作的细节将在下文中参考图4中所说明的方法进行论述。
图3是说明可在例如图1中所说明的系统100的系统中使用的解码器装置150的实 施例的框图。在此实施例中，解码器装置150包含多媒体解码器元件302和错误隐藏元 件304。多媒体解码器302将对(例如)使用图2的编码器装置IIO进行编码的经编码多 媒体位流进行解码。多媒体解码器执行对应于用于对数据进行编码的编码操作的逆操作。 经编码的数据可以是经帧间编码的数据(例如，经时间上预测的数据)和/或经帧内编码 的数据。
错误隐藏元件304执行各种形式的错误隐藏，所述错误隐藏用于隐藏或掩饰视频的 错误地接收到或由于其它原因而不可解码(例如，由于同步损失)的部分。所述隐藏方 法可包含空间错误隐藏方法、时间错误隐藏方法和其它方法。当在图2的编码器装置110 的失真值估计器202中估计失真值时，所使用的隐藏方法可与模拟的错误隐藏方法相同 或类似。虽然本方面并不要求相同或类似的隐藏方法，但在解码器装置150中使用此些 与解码器装置中所模拟的隐藏方法相同或类似的隐藏方法可产生改进的经解码视频质
量。除执行错误隐藏之外，错误隐藏元件304还可执行错误恢复功能。可对被确定为出 错的数据区段执行错误恢复以试图分析出可用(例如，无错误)部分。这些被分析出的 部分还可在错误隐藏元件304进行的错误隐藏中使用。
在一些实施例中，图3的解码器150的元件中的一者或一者以上可重新布置和/或组 合。所述元件可由硬件、软件、固件、中间件、微码或其任一组合来实施。解码器150 的元件所执行的操作的细节超出本论述的范围。
图4A是说明在(例如)图1所说明的系统中对视频流的一部分进行编码的方法的实 例的流程图。在此实例中，所述方法估计视频的正被编码的一部分的失真值。所述失真 值基于在解码器处错误地接收到经编码部分的概率和由用于隐藏出错部分的隐藏方法所 造成的错误。通过使失真值基于解码器隐藏方法，经编码的视频位流可更不受解码器处 的错误传播效应影响，这可改进经解码视频质量。此实例中的方法还可基于所估计的失 真值而确定编码方法。可在多种编码方法中确定使失真值减到最小的编码方法。可基于 改进视频的部分在解码器处的可恢复性来确定编码方法。可确定编码方法以刷新视频部 分，以便限制解码器处的错误传播。
参看图4A，方法400开始于框402，其中编码装置估计多媒体数据的一部分的失真 值。多媒体数据的所述部分可以是像素(例如，亮度和色度，或红色、绿色和蓝色等)、
像素区块或一个或一个以上像素的任何形状和大小的区域。失真值至少部分地基于与可 用于隐藏视频部分(如果其被错误地接收到)的错误隐藏方法有关的失真分量。失真值 可包含来自多种隐藏方法的分量。举例来说， 一个分量可表示由所使用的第一隐藏方法 引入的失真(如果只有正被编码的部分被错误地接收到)。换句话说，假定解码器装置可 用来预测被隐藏部分的所有其它视频数据(被称为预测数据)将无错误地被接收到。失 真值的其它分量可包含由第二或第三隐藏方法所引入的失真，其中如果错误地接收到一 个或一个以上预测部分，那么解码器可使用这些隐藏方法。所述隐藏方法可包含空间隐 藏、时间隐藏和其它形式的隐藏。将在下文论述估计失真值的方法(包含时间隐藏)的 细节。图2中的编码器装置110的失真值估计器202可执行框402处的动作。
在一些实例中，对于数据帧中的每一区块，在框402处计算失真值。所述区块可以 是宏区块(例如，16x16像素宏区块)或任何大小的子宏区块。帧中每一区块的失真值 可存储在失真映射中。图5以图表方式说明可在框402处产生的失真映射。失真映射500 含有多个失真值变量505 (标记为dvl到dvl6), —个失真值变量针对帧中的一个区块。 先前帧的失真映射500可用于计算在新帧中的失真值。以此方式，可容易计算累计失真。 如果确定要刷新(例如帧内编码)任一区块，那么可将所述区块的失真值设置为零，或 设置为由于量化或某一其它因素而导致的失真值。
在框404处，编码器装置基于所估计的失真值而确定用于多媒体数据的部分的编码 方法。在一些实例中，在框402处计算对于多种编码方法的失真值，作为用于选择将使 用多种方法中的哪一种编码方法的速率失真计算的一部分。举例来说，可(在框404处) 确定产生最小失真值的编码方法用于对多媒体数据的部分进行编码。在其它实例中，可 基于第一编码方法(帧间编码或帧内编码)而计算失真值，且使用所述失真值来确定应 被帧内编码(例如在自适应帧内刷新(AIR)中进行)的区块。举例来说，可在基于速率 失真的决策已导致发现用以对某一部分进行编码的最佳运动向量和模式之后，计算对应 于所述部分的失真值。如果这样获得的失真值大于阈值，那么可确定使用帧内编码模式 (例如，4x4像素帧内编码或16x16像素帧内编码)中的一者来对所述部分进行帧内编码。 以此方式，刷新多媒体的所述部分。除帧内编码模式之外，在某些情况下，还可基于失 真值而确定某些假定(P8x8、 P16xl6、 P16x8、 P8xl6等)，尽管这些假定不能导致经刷 新的视频。应注意，方法400的框中的某些框可被组合、省略、重新布置或其任一组合。 下文中参看图4B论述在框404处确定编码方法的一些实施例的细节。
现将论述在框402处估计失真值的示范性算法的细节。此实例中的失真值与使用来
自两个其它帧(例如，先前帧和随后帧)的部分来隐藏多媒体的出错部分的时间隐藏方 法有关。然而，可使用类似方法来表示其它隐藏方法。
示范性算法计算视频的单向预测部分(例如在P帧中)的期望(即，统计期望)失 真值的递归失真值。其它部分，例如经帧内编码部分和经双向预测部分也可由类似算法 表示。算法可部分地基于当前MB损失的假定概率(定义为概率"P")和隐藏方法所使 用的预测因子丢失的概率(定义为概率"Q")。随着假定概率P和Q中至少一者增加， 算法更趋向于得到良好的错误恢复/隐藏，同时牺牲压缩效率。当减小概率P和Q中至少 一者时，发生相反的情况。
所述算法计算多媒体数据的一部分的期望失真值。多媒体数据的所述部分可以是任 何数目的像素和任何形状。可参考作为16x16像素宏区块(MB)的部分来论述所述实例， 但应注意，还可表示其它部分。在一个实施例中，使用所述算法来估计帧的每一 MB的 期望失真值，以形成如上文参看图5所论述的失真映射。以递归和运动自适应方式来计 算此实例中的期望失真值。尽管此期望失真映射不完全是MSE或U范数失真测量，但 期望其与这些测量合理地充分相关。
以下符号用于论述失真值算法
化'；第"t"帧中第(i,j)个宏区块的累计失真值
P-当前MB丢失的概率
Q-有关隐藏方法所使用的预测因子丢失的概率
在给定这些假定的情况下，以等于(l-P)的概率无任何错误地接收当前MB。在单 向预测中，参考另一帧(在本实例中是先前帧)的MB大小部分对当前MB进行编码。 运动向量MV给出当前MB与MB大小参考部分的相对位置或定位。参考部分将通常不 与MB的边界对准，但将重叠至多达四个MB的四个区域。图6以图表的方式说明用于 使用运动补偿预测方法来估计视频的一部分的预测区域。运动向量605指向由标记为al、 a2、 a3和a4的四个区部分组成的MB大小预测区域610。所述区部分al到a4，分别位 于四个MB615、 620、 625和630内。可从先前帧的失真映射的存储版本获得MB 615到 630的失真值。在此实例中，预测区域610中的四个区部分al到a4的累计失真值经加权 平均(例如，基于每一区部分中的像素的数目)以计算当前MB的失真值。因此，由于 累计错误传播而导致的当前宏区块的所估计的期望失真值由下式给出
n +a2Z^ +a3W
其中a!、 a2、 a3、 a4是如图6所说明的四个区部分。应注意通过使16x16像素区域的 加权平均值除以256来使公式(1)所给出的失真值规范化。
除来自先前帧的预测区域的累计失真外，如果错误地接收到当前MB，那么算法估 计由于当前MB的隐藏而导致的失真值分量。如上文所论述，假定当前MB以P的概率 被错误地接收到。由于隐藏方法的缘故而由当前宏区块引起的失真可近似为隐藏错误(由 隐藏方法引入且由术语隐藏—错误(Conceal—Error)指示的错误)与来自隐藏方法所使用 的预测区域的错误传播所导致的效应的总和。如上文所论述，假定预测因子(例如，来 自当前和/或过去帧)以概率1到Q可用。在此实例中，假定隐藏方法取决于当前帧和先 前帧中的数据的可用性。假定预测区域在先前帧中，如累计失真术语"^所指示。然而， 这只是实例，且预测区域可在当前帧中或任何其它可用的帧中。因此，由于使用来自先 前帧的预测区域的时间错误隐藏方法而引起的失真(其中被隐藏的部分出错的概率为P， 且其取决于当前帧和先前帧(都以1到Q的概率可用)中的预测数据的可用性)可被计 算为-
- G)(l _ 2)乂 Co"ceaZ 一 ￡酣+ ——2""1^-^^1^-~~ ^ ( 2 )
256
隐藏错误计算在计算上可能是复杂的。然而，在某些合理假定下，其可近似为以下
SAD (像素值中的累计差值的总和)中的差值
SAD。pt:当使用最佳MV和最佳编码模式时，在原始图像与压縮图像之间获得的 SAD。
SADest:当使用所估计(通过时间隐藏算法估计)的MV时，在原始图像与隐藏图 像之间获得的SAD
此近似可如下书写
(p)(i - 0(i - e)《-《+! "^(一_ (3)
其中a,'、 a2、 a3'、 &是先前帧中的四个区部分(如图6中所说明)，其被用作隐藏部 分预测，且用于求累计失真的加权平均值。注意，还通过使16x16像素区域的加权平均 值除以256来使公式(3)所给出的失真值规范化。
注意，当使用公式(3)时，在某些情况下可发现SADe"小于SAD。pt (例如，由于 运动补偿不准确的缘故)，但所述差值可以小到可忽略，且在那些情况下，隐藏_错误分 量可近似为零。
公式(3)表示在当前帧和先前帧都可用(其中每一者以1到Q的概率发生)时对应 于所用隐藏方法的失真值分量。然而，如果错误地接收到当前帧和/或过去帧中的一些帧 或所有帧(其中每一者以概率Q发生)，那么可能存在不同的隐藏错误。可考虑对应于四 个不同隐藏估计的失真值分量，其中所述四个隐藏估计对应于四种情形1)当前帧可用， 且先前帧可用；2)当前帧可用，但先前帧出错；3)当前帧出错，但先前帧可用；以及 4)当前帧和先前帧都出错。关于四个隐藏估计的计算的细节对于理解失真值计算并不是 关键的，且本文将不作论述。包含四个失真值分量的累计失真可计算为
<formula>formula see original document page 16</formula>
其中第一隐藏估计产生失真1^""—^41^1,且第二隐藏估计产生失真 lSAD^'_&4Z^'l，等等。此外，基于在四个隐藏估计的每一者中所使用的预测区域的区
("、fl 、"'和")而求累计失真的加权平均值。隐藏估计可基于不同类型的隐藏方法， 例如空间隐藏、双向隐藏等。举例来说，隐藏算法有时可在时间上隐藏，且有时在空间 上隐藏，视确定性/概率性标准而定。执行失真值计算且基于所述失真值而确定使用哪一 编码方法的编码器装置可模拟在解码器中使用的相同或类似隐藏方法，以便在解码器接
收到出错的数据时改进错误恢复和/或错误隐藏性能。
应注意，可基于其它预测区域不可用的概率而考虑其它隐藏估计并将其包含在等式 (4)中。可对帧中的每一MB使用等式(4)以形成如图5所说明的失真映射。因此，使 用等式(4)计算的失真值包括通过选择多个隐藏选项而引起的失真的加权总和，其中权 数是每一隐藏选项被选择的概率。
图4B是更详细地说明在(例如)图1所说明的系统中对视频流的一部分进行编码的 方法的实例的流程图。方法420包含如上文参看图4A所论述的框402和404，图4A在 框402处包含当估计失真值时可考虑的各种隐藏方法，且在框404处包含确定编码方法 的各种方法。
在框402处，可使用与在上文中参考等式(4)所论述的算法类似的算法来估计失真 值。所使用的具体失真值等式取决于正被表示的隐藏方法的类型。正被表示的隐藏方法 可包含空间隐藏方法，其中使用位于同一帧中的预测部分来隐藏错误地接收到的部分。 在帧内的空间隐藏的情况下，使用当前帧中的MB的累计失真值代替来自先前帧的失真 值。时间隐藏方法可包含如上文所论述且由等式(4)表示的单向预测，且还可包含双向 预测，在双向预测中还可考虑随后帧的可用性。
时间隐藏方法的一个实例是运动向量缩放。运动向量缩放是一种从其它帧内插和/或 外插运动向量以得到当前帧中出错多媒体数据的一部分的运动向量的方法。时间隐藏方 法的另一实例是帧速率转换。帧速率转换可类似于运动向量縮放，但涉及整个帧(通常 基于两个周围帧)的构造。时间错误隐藏方法的其它实例可基于光流方法。可由框402 处所估计的失真值表示的其它形式的隐藏包含空间和频域内插、最大平滑恢复和投影到 凸集中。所属领域的技术人员将了解在方法400的框402处估计失真值时可表示的其它
形式的错误隐藏。
如上文所论述，编码器装置(在框404处)基于框402处所估计的失真值而确定编 码方法。在一些实施例中，将所估计的失真值与阈值进行比较，且基于所述比较而确定 所述编码方法。对于多媒体数据的所有部分，所述阈值可以是单个值。然而，阈值也可 根据方法(例如方法420的框404中所列出的那些方法)而变化。将相对于基于超过阈 值而确定编码方法来论述这些方法，其中阈值被超过时所选择的编码方法通常将用于刷 新所述部分(或至少减小所述部分的所估计的失真值)。然而，应注意，还可基于失真值 小于阈值来确定编码方法。
在一些实例中，所述阈值依据正被编码的多媒体部分所位于的区的纹理而变化。纹
理变化很大的区(例如，像素之间具有较大变化)不可能与纹理变化较小的区展示一样 多的错误，且因此可被提供有较高的阈值，超过所述闳值，可确定编码方法以刷新所述 部分(例如，使用帧内编码)。然而，纹理变化较平滑或较轻微的区可能展示较多的错误， 且因此可被指配有较低的阈值。
在一些实例中，阈值可依据帧内正被编码的部分的位置或定位而变化。举例来说， 边缘上的部分可被指配有比中间部分更高的阈值。以此方式，与观看者可能不经常观看 的边缘上的区相比，观看者更频繁看的区(例如，帧的中央)可更频繁地刷新。
在一些实例中，阈值可随GOP(图片组)内正被编码的当前帧或多个帧的超帧的位 置而变。GOP通常开始于经帧内编码的帧或大体上包含帧内正被帧内编码至少一次(被 称为自适应内刷新或AIR)的所有MB的一组帧，且其中GOP (或超帧)中的其它帧并 不参考GOP之外的帧。为了确保MB在GOP开始处被帧内编码的机会较高，靠近GOP 开头的帧中的阈值与靠近GOP结尾的MB相比可具有较低的阈值。
在一些实例中，阈值可随帧内(例如)失真映射中的失真值的分布而变。举例来说， 可自适应地设置阈值，以确保MB在帧内的百分比基于失真值的分布被帧内编码。这可 用来限制经帧内编码的MB的数目，以限制传输所必需的数据速率。虽然对于一些帧来 说质量可能降级(由于失真值的高分布的缘故)，但数据速率可保持在所需等级。
在一些实例中，阈值可随帧中含有正被编码的部分的区中的运动活动性而变。在视 频的表征为较高运动活动性的区中出现的错误趋向于比在表征为较小运动的区中出现的 错误不易觉察。与在经历较低运动活动性的区中相比，可在经历较高运动活动性的区中 将阈值设置为较高的值。可以多种方式来测量运动活动性。举例来说，可将运动向量幅 值用作运动活动性指示符，其中较高幅值的运动向量指示较高的运动活动性。运动向量 方向的变化也可用作运动活动性指示符。如果区中的大部分运动向量大体上指向同一方 向，那么这可指示低运动活动性。如果区的相邻区块中的运动向量指向不同的方向，那 么这可指示高运动活动性。可使用其它运动补偿技术(例如光流)来获得类似的运动活 动性测量。
在一些实例中，阈值可随视频的正被编码的部分的编码模式而变。举例来说，视频 的一些部分通常不用作视频的其它预测部分的参考。举例来说，在许多系统中，不使用 B帧作为参考帧。因此，可允许这种类型的系统中的B帧的失真值较高，因为没有其它 视频将参考B帧。由于没有其它视频将参考B帧，所以错误将只持续一个帧持续时间(例 如，在每秒30个帧的视频序列中的第1/30秒)。因此，与对于视频的可由其它预测部分
参考的部分相比，对于视频的不被参考的部分，阈值可能较高。
在基于框402处所估计的失真值而确定编码方法(在框404处)之后，过程420在 框406处继续，在框406处，用所确定的编码方法来对多媒体数据的正被编码的部分进 行编码。框406处的编码方法可包含具有或不具有相邻像素的空间预测的帧内编码。可 选择无相邻像素的空间预测的帧内编码，以减小框402处所计算出的失真值。框406处 的编码方法可包含使用运动补偿预测的单向或双向预测。可优先选择不同形式的运动补 偿预测以减小框402处所估计的失真值。运动补偿预测可包含区块匹配，光流和如上文 所论述的计算运动向量的其它方法。应注意，方法420的框中的一些框可被组合、省略、 重新布置或其任一组合。
图7是说明可在(例如)图1中所说明的系统中使用的编码器装置110的实例的功 能性框图。本方面包含用于至少部分地基于与隐藏多媒体数据的第一部分(如果第一 部分被错误地接收到)有关的一种或一种以上隐藏方法来估计所述第一部分的失真值的 装置；以及用于至少部分地基于所估计的失真值来确定所述第一部分的编码方法的装置。 本方面的一些实例包含所述估计装置包括失真值估计器702的情况；以及所述确定装 置包括编码方法确定器704的情况。
图8是说明可在(例如)图1中所说明的系统中使用的编码器装置110的实例的功 能性框图。本方面包含用于至少部分地基于与隐藏多媒体数据的第一部分(如果第一 部分被错误地接收到)有关的一种或一种以上隐藏方法来估计所述第一部分的失真值的 装置；以及用于至少部分地基于所估计的失真值来确定所述第一部分的编码方法的装置。 在本方面的一些实例中，所述估计装置包括用于估计失真值的模块802，且确定装置包 括用于确定编码方法的模块804。
对应用于易于出错环境中的视频传输的错误恢复策略和算法进行论述。这些概念应 用于现有或未来应用程序、传送层和物理层或其它技术中的任何个别一者或组合。基础 方面通过结合通信系统所需的特性(例如低等待时间和高通过量)而整合对OSI层中的 错误易感性特性和错误保护能力的理解来具有有效抗错误算法。主要优势之一是从衰落 和多路径信道错误的可恢复性。尽管描述了视频通信系统的实例，但所描述的错误恢复 方面可扩展到易于出错的环境中的数据通信。
图9说明根据某些实施例的无线通信系统900。此示范性视频通信系统通常包含由 通过通信网路930连接的视频编码器910和视频解码器920组成的视频压缩系统(未图 示)。网络930可进一步包含RF调制器940、网络信道950和RF解调器960。无线网络
是一类易于出错的网络，其中除一般路径损失之外，信道还可在移动情形下展示对数-正 态衰落或遮蔽以及多路径衰落。为了防止信道错误并提供应用层数据的可靠通信，RF调 制器940可包含前向错误校正(FEC)，其可包含交错和信道编码，例如回旋编码或涡轮 编码。
一般来说，视频压縮可减少源视频中的冗余，且增加经编码的视频数据的每一位中 所承载的信息量。当即使经编码的视频的较小部分丢失时，这也可能增加对质量的影响。 视频压縮系统中固有的空间和时间预测可能加重损失，且可能导致错误传播，从而导致 重构视频中的可见假象。视频编码器处的错误恢复算法和视频解码器处的错误恢复算法 可增强视频压縮系统的抗错误性。
一般来说，视频压縮系统对于下面的网络来说是不可知的。然而，在易于出错的网 络中，应用层中的错误保护算法与在链路/物理层中的FEC和信道编码整合或对准是高度 合乎需要的，且可促进增强整个系统的错误性能的效率。媒体FLOTM是无线视频通信系 统的一个实例，其中此类型的整合或对准是可能的。
因此，可(例如)使用媒体FLOTM视频编码来实施本发明的某些实施例，以使用FLO
空中接口规范来传递TM3系统中的实时视频服务，所述FLO空中接口规范是"陆地移 动多媒体多播的仅前向链路(FLO)空中接口规范(Forward Link Only [FLO] Air Interface Specification for Terrestrial Mobile Multimedia Multicast)", 2006年8月作为技术标准 TIA-1099 (Technical Standard TIA-1099)而出版，其全文出于所有目的以引用的方式并 入本文中。下文所描述的方面、实施例和/或实例与算法和其之间的互通有关以提供FLO 网络中增强的错误性能。然而，这些方面、实施例和/或实例意在通用于所有易于出错的 网络。
如本文所使用，片段是可独立解码(例如，使用熵解码)的经编码视频数据块。FLO 环境中的片段可与FLO帧边界对准。如本文所使用，存取单元(AU)是经编码的视频 FLO帧。FLO帧是提供相对较高的时间分集的物理层分组(例如，被称为时分多路复用 囊(TDM capsule)) TDM区块。FLO超帧可对应于一个时间单位(例如，1秒)，且因 此含有许多个FLO帧(例如，每1秒FLO超帧4个FLO帧)。这些定义中的每一者对于 其它易于出错的网络类型且甚至在未来FLO网络配置内可且将可能发生改变(例如，FLO 超帧可能并入有固定数目的FLO帧，而不考虑持续时间)。
在当前FLO环境内，例如，在时域中使片段和AU边界与FLO帧边界对准可能导致 被破坏的数据的最有效的分离和定位。举例来说，在深度衰落期间，TDM囊中的大部分
邻近衰落数据通常受错误影响。但由于时间分集，其余TDM囊具有较高的保持完整的概 率。因此，可利用未被破坏的数据来恢复并隐藏来自受影响的TDM囊的丢失数据。
类似逻辑应用于频域多路复用(FDM)，其中通过数据符号调制的频率子载波的分离 来获得频率分集。类似逻辑还可应用于空间分集(例如，通过发射器和接收器天线中的 分离)，以及通常在无线网络(和其它易于出错的网络)中应用的其它形式的分集。
为了使片段和AU与FLO帧对准，外码(FEC)码区块形成与MAC层包封也应对 准。图IO展示片段和AU中的经编码的视频数据或视频位流的组织。经编码的视频可在 一个或一个以上位流中组成(例如，基础层位流和/或增强层位流)，其中此实例中应用 分层视频编码。图11展示片段和AU中的视频位流的组织及其与FLO帧的映射，其中 (a)展示片段边界与FLO帧的对准，且(b)展示AU边界(FI、 F2...)与FLO帧和片 段的对准(例如，其中AU与物理层分组对准)。
根据某些实施例，视频位流包含AU,且AU包含数据片段。每一片段开始由起始码 识别，且提供网络自适应。 一般来说，I帧或经帧内编码的AU较大，之后是P帧，或前 向预测的帧，之后是B帧，或双向预测的帧。将AU编码成多个片段可能引起经编码位 速率方面的开销成本，因为片段上的空间预测局限于其它帧的类似定位的片段，且多个 片段标头也造成开销。由于片段边界通常是再同步点，因此使邻近物理层分组(PLP)限 于片段可有助于控制错误，因为当PLP被破坏时，错误被限于PLP中的片段，而如果PLP 含有多个片段或多个片段的部分，那么错误将影响PLP中所有片段或片段的部分。
由于I帧通常比P或B帧大，通常约为数十个千位，所以由于多个片段而导致的开 销并不占总I帧大小或总位速率的较大比例。而且，在I-AU中具有更多的片段允许更好 且更频繁的再同步，以及更有效的空间错误隐藏。而且，I帧通常承载视频位流中最重要 的信息，因为P帧和B帧最终是从I帧预测出的。I帧还可用作信道获取的随机存取点。
因此，在某些实施例中，仔细对准I帧与FLO帧边界，以及具有I-AU的片段与FLO 帧边界，可通过(或实例)再同步和错误隐藏来实现有效的错误控制、错误保护(由于 如果属于FLO帧1的一个片段丢失，那么属于FLO帧2的片段为完整的概率较高，因为 FLO帧2与FLO帧1具有显著的时间分离)和错误恢复。
在P帧的情况下，其通常约为几个千位，由于与上文针对I帧所论述的原因类似的 原因，使P帧片段和整数个P帧与FLO帧边界对准是合乎需要的。此处，通常使用时间 错误隐藏。或者，使连续的P帧分散使得其到达不同的FLO帧也可在P帧中提供时间分 集，因为时间隐藏是基于运动向量和来自先前重构的I帧和/或P帧的数据的。
在B帧的情况下，其可极其小(例如，数百甚至数十个位)到适度大(例如，超过 几个千位)，由于与上文针对P帧所论述的原因类似的原因，使整数个B帧与FLO帧边 界对准是合乎需要的。
在某些实施例中，经编码的视频位流中的错误恢复可并入有预测层级和持久性特性。 考虑以下基于预测的混合压縮系统。在无需任何时间预测的情况下，独立编码内部帧。 然而，在片段内，空间预测是可能的(即，空间预测通常被限于片段边界上)。中间帧是 从过去且有些时候未来(在B帧的情况下)的时间预测。
在此系统中，最佳预测因子可通过参考帧(或一个以上参考帧)中的搜索过程来识 别，且例如SAD(即，待编码的区块的像素与预测因子区块的像素之间的绝对差的和) 的失真测量值可用于识别最佳匹配。当然，可使用其它失真测量值，且所述其它失真测 量值应该并入本申请案的范围内。
当前帧的经预测性编码的区域可以是大小与形状不定的像素区块(例如，16x16、 32x32、 8x4、 2x2等)或通过(例如)分段而被识别为对象的一组像素。时间预测通常 在许多帧(例如，10个到100个帧)上延伸，且在帧被编码为I帧时终止。在此实例中， I帧频率界定图像组(GOP)。对于最大编码效率，GOP为场景(即，GOP边界与场景边 界对准，且场景变化帧被编码为I帧)。
在低运动序列中，其中背景相对静止且运动限于前景对象(例如，新闻节目、天气 预报等，其中超过约30%的观看最多的内容具有此性质)，经预测帧的大部分经预测区域 (即，经帧间编码)通过中间经预测帧(即，其它P帧)返回参考I帧。图12中展示此 预测层级1200。
如图12所示，I帧1210可包含经帧内编码的区块1215，经预测帧1220的多个经帧 间编码的区块1225可最终基于所述经帧内编码的区块1215。 I帧1210中的经帧内编码 的区块1215是经预测性编码的帧(或AU) Pl-Px 1220中的经帧间编码的区块1225的预 测因子。在此实例中，这些区块的区域是背景的固定部分。因此，通过连续的时间预测， 经帧内编码的区块1215对错误的敏感性变高，因为区块1215是还暗示其"重要性"较 高的良好预测因子。此外，经帧内编码的区块1215，依靠被称为其预测链的此时间预测 链，在显示器中持续较长时间(即，潜在地持续整个场景的持续时间)。
在某些实施例中，预测层级被定义为基于此"重要性"等级或持久性测量值而形成 的区块树(tree of blocks),其中父项(parent)在顶部(例如，图12中的区块1215), 且子项(children)在底部。注意，帧P1中的经帧间编码的区块在所述层级的第二级上，
等等。树叶是终止预测链的那些区块(例如，图12中的帧Px)。
在某些实施例中，可针对视频序列创建预测层级而不考虑内容类型(例如，例如音 乐以及体育，且不仅仅是新闻)，且一般可适用于基于预测的视频(和音讯以及数据等) 压縮(即，这可应用于在本申请案中所描述的所有方面)。
一旦建立了预测层级，就可更有效地应用错误恢复算法，例如自适应帧内刷新(AIR)。
根据一方面，算法可基于区块被用作预测因子的次数来估计重要性测量值，其可被 称为持久性度量。此持久性度量还可用于通过阻止预测错误传播来改进编码效率。对于 重要性更高的区块，所述度量还可增加位分配。
通常，视频编解码器的目标是以给定的带宽实现尽可能高的质量。通常用峰值信噪 比(PSNR)来估计质量。由于每一帧的每一宏区块的编码模式(例如，所有可能的帧内 和帧间方案)和量化参数(QP)影响质量以及带宽，因此全局优化方案涉及所有这些宏 区块的模式和QP的联合决策。然而，在给定当前实际处理能力的情况下，进行此全局 优化在数学上是难以处理的。而是，对于基于经重组的先前编码帧的当前帧，实际编码 方案试图实现良好的速率失真(R-D)决策。因此，根据某些实施例，联合优化问题被縮 减为因果优化问题。
在参考帧中， 一些宏区块比预测链中的其它宏区块更重要。举例来说，前景对象可 在一些未来帧中(即，仍在多个参考帧的范围内)复制其本身。如果此对象被准确地表 示，那么所有其复制品可简单地被编码为运动向量，因此节省位。相反，消失的对象或 被覆盖的背景将不再被未来帧参考，因此其质量将不影响未来帧。
在某些实施例中，本文描述确定预测链且更强调频繁参考宏区块的重要性的两遍算 法。MB的带宽映射值可被定义为所述映射的经估计的复杂性，其接着被用于确定要在 速率控制分配的位的数目和比例以获得就R-D而言的最优质量。此过程可被说明为 (见图13):
1. 第一遍。初始化像素级参考计数器(1310)， i (!'力-O，其中0《kW， 0《六//， W 是帧的宽度，且H是帧的高度。
2. 执行对参考当前帧的下一帧的16x16运动估计(1320)。每当参考当前帧中位置(zV)
处的像素时，就使/ (~')递增一。
3. 第二遍。重新调整当前帧的宏区块带宽映射(1330)。对于位于(JC，力的宏区块，使
其带宽映射值按比例放大c + 2^:5j;;:w(!'，y)，其中C是由实验确定的常数。递增带宽
映射值导致更多的位被分配给作为良好预测因子的宏区块(即，从这些宏区块预测出未
来帧中更多的未来MB)。
4.利用经更新的宏区块带宽映射来对当前帧进行编码(1340)。
应注意，通过强调经常被参考的宏区块，所述算法使位流更抗信道错误。PSNR中的 任何增益都是由于早期中止预测链阻止预测错误传播(由于残余编码)而导致的。此外， 如果良好的预测因子受错误影响，那么趁早通过帧内编码来刷新良好的预测因子，从而 防止错误传播。
根据某些实施例，信道切换帧(CSF)被定义为插入于广播流中的各种(例如，适 当)位置处以促进较快的信道获取和因此广播多路复用中流之间的较快的信道改变的随 机存取帧。关于一个CSF的示范性详细说明可在2006年9月25日申请的第11/527,306 号和2006年9月26日申请的第11/528,303号共同转让美国专利申请案中找到，所述两 个专利申请案的全文出于所有目的以引用的方式并入本文中。I帧或渐近式I帧，例如 H.264中的渐近式解码器刷新帧，通常用作信道切换的随机存取点。然而，频繁的I帧(例 如，短GOP，至少比场景持续时间短)可导致压缩效率的显著降低。
由于错误恢复可能需要帧内编码区块，所以随机存取和错误恢复可通过预测层级而 有效地组合，以改进编码效率，同时增加对错误的抵抗性。可至少部分地基于以下观察 结果而实现此组合
A. 对于低运动序列，预测链较长，且重构超帧或场景所需的信息的重要部分包含在 场景开始时所出现的I帧中。
B. 信道错误趋向于突发，且当衰落发生，且FEC和信道编码失败时，存在较重的残 余错误，使得隐藏失败。
C. 这对于低运动(且因此低位速率)序列尤其严重，因为经编码的数据的量显著不 足以提供视频位流内良好的时间分集，且因为这些序列是使每个位都变得对于重构来说 更加重要的可高度压縮的序列。
D. 由于内容的性质，高运动序列更抗错误，每个帧中的更加新的信息增加经编码的 内部区块的数目，所述区块可被独立地解码且固有地对错误更有恢复力。
E. 基于预测层级的自适应帧内刷新(AIR)对于高运动序列实现高性能，且性能改 进对于低运动序列并不显著。
R因此，对于低运动序列，含有大部分I帧的信道切换帧是良好的分集源。当超帧 发生错误时，连续帧中的解码从CSF开始，CSF恢复由于预测而丢失的信息。因此实现 错误恢复。
G. 在高运动序列的情况下，CSF由在超帧中持续的区块(即作为良好预测因子的那 些区块)组成。CSF的所有其它区域无须被编码，因为这些区域是具有较短的预测链的 区块，其暗示这些区域以内部区块终止。因此当发生错误时，CSF仍用于从由于预测而 丢失的信息进行恢复。
H. 基于上文的(f)和(g):
H丄低运动序列的CSF符合I帧的大小，它们可通过较重的量化以较低的位速率 被编码，以及
H. 2.高运动序列的CSF比相应的I帧小得多。
I. 支持物理层技术中层级调制的可縮放性要求以特定带宽比率对视频位流进行数 据分割。这些比率并非总是最优可缩放性的理想比率(最小开销)。
j.只是举例来说，FLO需要1:1带宽比率的2层可縮放性。因此，对于低运动(位 速率)序列，将视频位流分割为大小相等的2层是低效的。含有所有标头和元数据信息 的基础层大于增强层。然而，由于用于低运动序列的CSF较大，因此它们很好地适合增 强层中的其余带宽。因此，基于预测层级的错误恢复与可縮放性合作良好，且实现高度 有效的分层编码。
K.对于高运动序列，存在足够的残余信息，使得可以最小开销实现1:1的数据分割。 此外，用于此些序列的CSF可小得多。因此，对于此情况，基于预测层级的错误恢复也 可与可縮放性合作良好。
L.基于对这些算法的描述，延伸(a)到(k)中所论述的概念以用于中等运动码片 是可能的，这使得容易看出所提出的概念一般应用于视频编码。
上述系统只是说明多媒体串流系统的实例，其中对于系统的输入是连续(仍为离散 时间事件，但永不结束)的数据流，且对于系统的输出是连续的数据流。
所属领域的技术人员将了解，可使用多种不同技术和技法中的任一者来表示信息和 信号。举例来说，可由电压、电流、电磁波、磁场或粒子、光场或粒子或其任一组合来
表示整个以上描述内容中可能参考的数据、指令、命令、信息、信号、位、符号和码片。 技术人员将进一步了解，结合本文所揭示的实例而描述的各种说明性逻辑区块、模 块、和算法步骤可实施为电子硬件、固件、计算机软件、中间件、微码或其组合。为了 清楚地说明硬件与软件的这种可互换性，上文已经大体上根据各种说明性组件、区块、 模块、电路和步骤的功能性描述了各种说明性组件、区块、模块、电路和步骤。将此功 能性实施为硬件还是软件取决于特定应用和强加于整个系统的设计限制。熟练的技术人
员可针对每一特定应用以不同的方式来实施所描述的功能性，但此些实施决策不应被解 释为导致与所揭示方法的范围偏离。
可用以下装置来实施或执行结合本文所揭示的实例而描述的各种说明性逻辑区块、 组件、模块和电路通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现 场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件 或其经设计以执行本文所述的功能的任一组合。通用处理器可以是微处理器，但在替代 方案中，处理器可以是任一常规处理器、控制器、微控制器或状态机。处理器还可实施 为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心或ASIC 核心的一个或一个以上微处理器或任何其它此配置。
结合本文所揭示的实例而描述的方法或算法的步骤可直接在硬件中、在由处理器执 行的软件模块中或在所述两者的组合中实施。软件模块可驻存在RAM存储器、快闪存储 器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM、 光学存储媒体或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到
处理器，使得处理器可从存储媒体读取信息和向存储媒体写入信息。在替代方案中，存 储媒体可与处理器成一体式。处理器和存储媒体可驻存在专用集成电路(ASIC)中。ASIC
可驻存在无线终端中。在替代方案中，处理器和存储媒体可作为离散组件驻存在无线调 制解调器中。
提供对所揭示实例的先前描述是为了使所属领域的技术人员能够制作或使用所揭示 的方法和设备。对这些实例的各种修改对所属领域的技术人员来说将是显而易见的，且 本文所定义的原理可应用于其它实例，且可添加额外元件。
因此，己经描述了用以对多媒体数据执行高效编码，从而提供有效解码质量和错误 隐藏的方法和设备。
权利要求
1.一种处理包含多个视频帧的多媒体数据的方法，所述方法包括初始化用于当前帧的像素级参考计数器；执行对参考所述当前帧的下一帧的预测；以及重新调整所述当前帧的宏区块带宽映射。
2. 根据权利要求1所述的方法，其中所述像素级参考计数器指出所述当前帧的宽度和 高度。
3. 根据权利要求2所述的方法，其中所述像素级参考计数器由第一等式R(i,j)-0提供， 其中0《kW， 0《j<H， W是所述当前帧的所述宽度，且H是所述当前帧的所述高 度。
4. 根据权利要求3所述的方法，其中对所述下一帧的所述预测包含执行对所述下一 帧的区块的运动估计。
5. 根据权利要求1所述的方法，其进一步包含对于在对所述下一帧的所述预测期间所参考的所述当前帧的每一像素，递增所述 像素级参考计数器。
6. 根据权利要求5所述的方法，其中至少部分地基于所述经递增的像素级参考计数器而重新调整所述当前帧的所述宏区块带宽映射。
7. 根据权利要求6所述的方法，其中，对于16x16宏区块(x，y),重新调整所述当前帧的所述宏区块带宽映射包含根据第二等式c+2;:55^:/ (/，j')来縮放所述宏区块带宽映射的带宽映射值，其中C是通过实验确定的常数，且R(i,j)是16xl6宏区块(x， y) 的像素级参考计数器。
8. 根据权利要求1所述的方法，其进一步包含对于参考所述当前帧的多个下一帧中的 每一下一帧，重复所述初始化、执行和重新调整步骤。
9. 根据权利要求8所述的方法，其进一步包含至少部分地基于所述当前帧的所述经重 新调整的宏区块带宽映射而对所述当前帧进行编码。
10. —种用于处理包含多个视频帧的多媒体数据的处理器，其经配置以-初始化用于当前帧的像素级参考计数器； 执行对参考所述当前帧的下一帧的预测；以及 重新调整所述当前帧的宏区块带宽映射。
11. 根据权利要求10所述的处理器，其中所述像素级参考计数器指出所述当前帧的宽 度和高度。
12. 根据权利要求11所述的处理器、其中所述像素级参考计数器由第一等式R(i, j)=0 提供，其中0《kW, 0《j<H， W是所述当前帧的所述宽度，且H是所述当前帧的 所述高度。
13. 根据权利要求12所述的处理器，其中对所述下一帧的所述预测包含对所述下一帧 的区块的运动估计预测。
14. 根据权利要求IO所述的处理器，其进一步经配置以对于在对所述下一帧的所述预测期间所参考的所述当前帧的每一像素，递增所述 像素级参考计数器。
15. 根据权利要求14所述的处理器，其进一步经配置以至少部分地基于所述经递增的 像素级参考计数器而重新调整所述当前帧的所述宏区块带宽映射。
16. 根据权利要求15所述的处理器，其进一步经配置以对于16x16宏区块(x， y)，根据第二等式〔+ 2^52=/ (!'，_/)来縮放所述宏区块带宽映射的带宽映射值，其中C是通过实验确定的常数，且R(i, j)是用于所述16x16宏区块(x， y)的像素级参考计数 器。
17. 根据权利要求10所述的处理器，其进一步经配置以对于参考所述当前帧的多个下 一帧中的每一下一帧，重复所述初始化、执行和重新调整功能。
18. 根据权利要求17所述的处理器，其进一步经配置以至少部分地基于所述当前帧的 所述经重新调整的宏区块带宽映射而对所述当前帧进行编码。
19. 一种用于处理包含多个视频帧的多媒体数据的设备，所述设备包括初始化器，其用于初始化用于当前帧的像素级参考计数器； 执行器，其用于执行对参考所述当前帧的下一帧的预测；以及重新调整器，其用于重新调整所述当前帧的宏区块带宽映射。
20. 根据权利要求19所述的设备，其中所述像素级参考计数器指出所述当前帧的宽度 和高度。
21. 根据权利要求20所述的设备，其中所述像素级参考计数器由第一等式R(i， j)=0提 供，其中0《i〈W， 0《j<H， W是所述当前帧的所述宽度，且H是所述当前帧的所 述高度。
22. 根据权利要求21所述的设备，其中所述执行器对所述下一帧的预测包含对所述下 一帧的区块的运动估计预测。
23. 根据权利要求19所述的设备，其进一步包括递增器，其用于对于在对所述下一帧的所述预测期间所参考的所述当前帧的每一 像素，递增所述像素级参考计数器。
24. 根据权利要求23所述的设备，其中所述重新调整器至少部分地基于所述经递增的 像素级参考计数器而进一步重新调整所述当前帧的所述宏区块带宽映射。
25. 根据权利要求24所述的设备，对于16x16宏区块(x， y)，所述设备进一步包含縮放器，其用于根据第二等式c+z;:z-^(,',力来缩放所述宏区块带宽映射的带宽映射值，其中C是通过实验确定的常数，且R(i，j)是用于所述16x16宏区块(x，y)的所 述像素级参考计数器。
26. 根据权利要求19所述的设备，其进一步包含重复器，以对于参考所述当前帧的多 个下一帧中的每一下一帧协调重复所述初始化器、执行器和重新调整器的所述功 能。
27. 根据权利要求26所述的设备，其进一步包含编码器，以至少部分地基于所述当前 帧的所述经重新调整的宏区块带宽映射而对所述当前帧进行编码。
28. —种用于处理包含多个视频帧的多媒体数据的设备，所述设备包括用于初始化用于当前帧的像素级参考计数器的装置； 用于执行对参考所述当前帧的下一帧的预测的装置；以及 用于重新调整所述当前帧的宏区块带宽映射的装置。
29. 根据权利要求28所述的设备，其中所述像素级参考计数器指出所述当前帧的宽度 和高度。
30. 根据权利要求29所述的设备，其中所述像素级参考计数器由第一等式R(i, j)-0提 供，其中0《kW， 0《j<H， W是所述当前帧的所述宽度，且H是所述当前帧的所 述高度。
31. 根据权利要求30所述的设备，其中所述用于预测所述下一帧的装置包含用于执 行对所述下一帧的区块的运动估计的装置。
32. 根据权利要求28所述的设备，其进一步包含用于对于在对所述下一帧的所述预测期间所参考的所述当前帧的每一像素递增 所述像素级参考计数器的装置。
33. 根据权利要求32所述的设备，其中至少部分地基于所述经递增的像素级参考计数器而重新调整所述当前帧的所述宏区块带宽映射。
34. 根据权利要求33所述的设备，其中，对于16x16宏区块(x，y)，所述用于重新调整所 述当前帧的所述宏区块带宽映射的装置包含用于根据第二等式c+2rm^:尺(!'，力来縮放所述宏区块带宽映射的带宽映射值的装置'其中C是通过实验确定的常数，且R(i， j)是用于所述16x16宏区块(x, y)的所述像素级参考计数 器。
35. 根据权利要求28所述的设备，其进一步包含用于对于参考所述当前帧的多个下一 帧中的每一下一帧重复所述用于初始化、执行和重新调整的装置的装置。
36. 根据权利要求35所述的设备，其进一步包含用于至少部分地基于所述当前帧的所 述经重新调整的宏区块带宽映射而对所述当前帧进行编码的装置。
37. —种用于处理包含多个视频帧的多媒体数据的机器可读媒体，其包括在执行之后立 即致使机器进行以下操作的指令-初始化用于当前帧的像素级参考计数器； 执行对参考所述当前帧的下一帧的预测；以及 重新调整所述当前帧的宏区块带宽映射。
38. 根据权利要求37所述的机器可读媒体，其中所述像素级参考计数器指出所述当前 帧的宽度和高度。
39. 根据权利要求38所述的机器可读媒体，其中所述像素级参考计数器由第一等式R(i， j)二0提供，其中0《kW， 0《j<H， W是所述当前帧的所述宽度，且H是所述当前 帧的所述高度。
40. 根据权利要求39所述的机器可读媒体，其进一步包括在执行之后立即致使所述机 器执行对所述下一帧的区块的运动估计预测的指令。
41. 根据权利要求37所述的机器可读媒体，其进一步包括在执行之后立即致使所述机 器执行以下操作的指令-对于在对所述下一帧的所述预测期间所参考的所述当前帧的每一像素，递增所述 像素级参考计数器。
42. 根据权利要求41所述的机器可读媒体，其进一步包括在执行之后立即致使所述机 器至少部分地基于所述经递增的像素级参考计数器而重新调整所述当前帧的所述 宏区块带宽映射的指令。
43. 根据权利要求42所述的机器可读媒体，其进一步经配置以对于16x16宏区块(x,y)，根据第二等式c+s;^2^:/ (z》')来縮放所述宏区块带宽映射的带宽映射值，其中C是通过实验确定的常数，且R(i， j)是用于所述16x16宏区块(x, y)的所述像素级参 考计数器。
44. 根据权利要求37所述的机器可读媒体，其进一步包括在执行之后立即致使所述机 器对于参考所述当前帧的多个下一帧中的每一下一帧重复所述初始化、执行和重新 调整功能的指令。
45. 根据权利要求44所述的机器可读媒体，其进一步包括在执行之后立即致使所述机 器至少部分地基于所述当前帧的所述经重新调整的宏区块带宽映射而对所述当前 帧进行编码的指令。
全文摘要
本发明描述用以对多媒体数据进行编码从而尤其实现(例如)改进的经解码视频质量、改进的错误恢复能力和/或改进的解码效率的方法和设备。根据本申请案的方法包含以下步骤中的一者或一者以上初始化用于当前帧的像素级参考计数器；执行对参考所述当前帧的下一帧的预测；对于在对所述下一帧的所述预测期间参考的所述当前帧的每一像素，递增所述像素级参考计数器；重新调整所述当前帧的宏区块带宽映射；对于参考所述当前帧的多个下一帧中的每一下一帧重复所述初始化、执行和重新调整步骤；以及至少部分地基于所述当前帧的所述经重新调整的宏区块带宽映射对所述当前帧进行编码。
文档编号H04N7/50GK101375603SQ200780003203
公开日2009年2月25日 申请日期2007年1月19日 优先权日2006年1月20日
发明者戈登·肯特·沃克, 斯特拉曼·加纳帕蒂·苏布拉玛尼亚, 维贾雅拉克希米·R·拉韦恩德拉恩 申请人:高通股份有限公司