可伸缩视频编码中的差错恢复模式判决的制作方法

专利名称：可伸缩视频编码中的差错恢复模式判决的制作方法
技术领域：
本发明 一般涉及可伸缩纟见频编码，并且具体涉及编码的可伸缩 流的差错恢复性能。
背景技术：
在最近十年中，已经开发了视频压缩标准，并且形成了针对如 今的数字电视广播系统的技术。所有当前视频压缩标准的焦点在于 比特流语法和语义、以及解码过程。还存在非规范的指导文档，通 常被称作测试模型，用于描述编码器机制。它们具体地考虑带宽要 求和数据传输速率要求。前人作为目标开发的存储和广播介质包括数字存储介质和电视广播系统，其中数字存储介质诸如为DVD (数 字多功能盘)，以及电视广播系统诸如为数字卫星(例如，DVB-S: 数字视频广播-卫星)、有线(例如，DVB-C:数字视频广播-有线)、 以及陆地(例如，DVB-T:数字视频广播-陆地)平台。研究已经集 中于优化的带宽使用，尤其是DVB-T标准，其中存在不足的可用射 频频谱。然而，这些存储和广播介质基本上保证足够的端到端服务 质量。因而，服务质量方面仅被认为是次要的。然而，在最近几年，分组交换数据通信网络(诸如因特网)对 于传送/广播多媒体内容已经变得日益重要，其中多媒体内容当然包 括数字视频序列。原则上，分组交换数据通信网络在数据通信中经 受有限的端到端服务质量，基本上包括分组擦除、分组丟失和/或位 故障，必须对其进行处理才能确保无故障的数据通信。在分组交换 网络中，数据分组可能由于网络中间节点处的緩冲器溢出而被丢弃， 可能由于传输延迟而丟失，或者可能由于接收器侧的排队未对准而 4皮拒绝。
而且，具有支持数字视频序列传输的相当大的数据传输速率的 无线分组交换数据通信网络可用，并且对该网络的访问的终端用户 的市场正在发展。可预期的是，此类无线网络在端到端服务质量方面形成额外的瓶颈。特别地，第三代公共陆地移动网络(诸如，UMTS: 通用移动通信系统)和改进的第二代公共陆地移动网络(诸如，具 有GPRS (通用分组无线服务)和/或EDGE (GSM演进的增强型数 据)能力的GSM(全球移动通信系统))被假定用于数字视频广播。 然而，在例如根据任何IEEE (电子和电气工程师协会)802.xx标准 的无线数据通信网络中也会体验到有限的端到端服务质量。此外，例如，现在以UMTS网络中的3G.324M一见频会议的形式， 视频通信服务在无线电路交换服务上也变得可用。在此环境中，视 频比特流可以出现误码和i察除。流的视频编码器。出于简化的原因，但不限于此，以下实施方式在 下文中关注于在针对分组交换擦除通信的情况中差错恢复视频编码 的应用。参考采用预测视频编码的当前视频编码标准，例如，编码的视 频分段中擦除(通过分组丢失或分组丟弃)或误码形式的压缩视频 (比特)流中的差错显著地降低了再现视频质量。由于视频的预测 性质，其中帧的解码取决于之前解码的帧，差错可能随时间传播以 及放大，并且严重地引起恼人的非自然信号(artifact)。这意味着 此类差错在再现视频序列中引起实质恶化。有时，该恶化是极具灾 难性的，以至于观察者不能识别再现视频序列中的任何结构。抑制此类差错的传播并被称作差错隐藏的仅解码器技术在某种 程度上有助于緩解该问题，但是本领域的技术人员将理解到，还需 要编码器实现的工具。因为，完整内帧(intra frame)的发送导致大 的图像尺寸，该公知的差错恢复技术不适于诸如对话视频传输的低 延迟环境。理想地，解码器将通知编码器再现图片中损坏的区域，以便允 许编码器仅修复受影响的区域。然而，这需要反馈信道，反馈信道 在很多应用中是不可用的。在其他应用中，往返延迟太长以至于不 支持良好的视频体验。由于受影响的区域(其中，与丢失相关的非 自然信号是可视的)通常由于运动补偿而随时间在空间上增长，长 的往返延迟导致对更多修复数据的需要，这进一步导致更高(平均 和峰值)带宽的需求。因此，当往返延迟变大时，基于反馈的机制变得更没有吸引力。仅前向修复算法不依靠反馈消息，而是仅基于在编码器处本地 获得的知识选择在模式判决过程期间要修复的区域。在这些算法中， 某些算法通过将非预测(内)编码的区域置于比特流中来修改模式 判决过程从而使比特流更强壮，即使从速率失真模型的观点来看这些编码区域不是最佳的。此类模式判决算法通常称作内刷新(intra refresh)。在大部分视频编解码器中，允许独立模式判决的最小单元 称作宏块。关于选择用于内编码的独立宏块而使得优先抑制可能的 传输差错的算法称作内^ 'J新算法。随机内刷新(RIR)和循环内刷新(CIR)是公知的方法并净皮广 泛使用。在随机内刷新(RIR)中，从将要编码的图片的所有宏块中， 或者从图片的有限序列中随机选择内编码的宏块。根据循环内刷新 (CIR)，每个宏块根据固定的"更新模式"以固定周期进行内更新。 算法不考虑图片内容或比特流性质。由ISO/IEC JTC1/SG29开发的用于示出MPEG-4部分2标准的 性能的测试模型包含称作自适应内刷新(AIR)的算法。自适应内刷 新(AIR)选择那些具有最大绝对差值和(SAD)的宏块，其在参考 图片緩沖器中空间上相应的、运动补偿的宏块之间计算。由联合视频组(JVT)开发的用于显示ITU-T推荐H.264的性能的测试模型包含高复杂度的宏块选择方法，该方法根据每个宏块的 速率失真特征放置内宏块，并且其称作丢失意识率失真最优化(LA-RDO) 。 LA-RDO算法在编码器处模拟多个解码器并且每个模 拟的解码器独立地以给定的分组丢失率对宏块进行解码。对于更准
确的结果，如果发现宏块丢失，则模拟的解码器还应用差错隐藏。 期望的宏块失真被平均在所有模拟的解码器上并且该平均失真用于模式选择。LA-RDO通常产生良好的性能，但是由于模拟潜在大数 量的解码器而显著增加了编码器的复杂性，所以对于很多实现来说 这是不可行的。具有高复杂性的另 一个方法称作每像素递归最佳估计(ROPE )。 认为ROPE能够非常准确地预测宏块丟失情况下的失真。然而，类 似于LA-RDO, ROPE也具有高复杂性，因为它需要在像素级别进行运算。当前，将可伸缩视频编码(SVC)开发为H.264/AVC标准的扩 展。SVC可以提供可伸缩视频比特流。可以提耳又可伸缩一见频比特流 的一部分并且将其解码为具有降低的回放可视质量。可伸缩视频比 特流包含非可伸缩基础层和一个或多个增强层。增强层可以增强时 间分辨率(即，帧速率)、空间分辨率，或仅增强由较低层或其部 分表示的视频内容的质量。在某些情况下，可以在特定位置，甚至 在任意位置之后截断增强层的数据，并且每个截断位置可以包括表 示逐渐增强的可视质量的某些附加数据。这种可伸缩性称作精细粒 度(颗粒度)可伸缩性(FGS)。对比于FGS，由不提供精细粒度 可伸缩性的质量增强层提供的可伸缩性称作粗粒度可伸缩性 (CGS)。基础层也可以设计为FGS可伸缩；然而，当前没有视频 压缩标准或草案标准实现此概念。最新的SVC规范中提供时间可伸缩性的机制不多于H.264/AVC 标准中的机制。这里使用所谓的层级B图片编码结构。该特征完全 由AVC支持，并且可以通过使用与子序列相关的补充增强信息(SEI) 消息来完成信令部分。对于提供空间和CGS可伸缩性的机制，类似于较早标准中的传 统分层编码技术与某些新的层间预测方法一起使用。例如，可以被 层间预测的数据包括内紋理、运动和残差。所谓单环路解码由受限 内紋理预测模式来实现，从而层间内紋理预测仅应用于增强层宏块， 其中基础层的对应块位于内宏块内部，而基础层中的那些内宏块使用H.264/AVC指定的受限内模式(即，constrained—intra—pred_flag是1 )。在单环路解码中，解码器仅需要针对回放期望的可伸缩层执行 运动补偿以及全图片重构，因此解码复杂度大大降低。已经推广了 空间可伸缩性用于支持将要剪切的(crop )基础层以及增强层的缩放版本。在SVC中，调整量化和熵编码模块以提供FGS能力。编码模式 称作渐进细化，其中转换系数的连续细化通过重复减少量化步长并 且应用与次位元图编码类似的"循环"熵编码来进行编码。当前草案SVC标准中的可伸缩层结构特征在于三个变量，称作 时间—》及别(temporaljevel)、依赖性—id ( dependencyjd )和质量—级 别(quality—level)。这些变量在比特流中传送或可以根据规范导出。时 间—级别变量用于指示时间可伸缩性或帧速率。包括较d 、时间_级别 值的图片的层具有比包括较大时间 一 级别的图片的层具有更小的帧 速率。依赖性—id变量用于指示层间编码依赖性层级。在任何时间位置， 较小依赖性jd值图片可以用于对具有较大依赖性一id值的图片的编码 的层间预测。质量一级别(Q)变量用于指示FGS层的层级。在任何时 间位置以及具有相同的依赖性jd值，具有等于Q的质量—级别值的FGS 图片使用具有等于用于层间预测的Q-l的质量一级别值的FGS图片或基 础质量图片(即，当Q-1二0时的非FGS图片)。图1示出了具有上述三个变量的显示值的示例性可伸缩视频流 的时间分段。应该指出，时间值是相对的，即时间=0不必然意味着 比特流的显示顺序中的第一图片的时间。图2中示出了示例的典型 预测参考关系，其中实线箭头指示水平方向的层间预测参考关系， 并且虚线框箭头指示层间预测参考关系。指向的实例使用预测参考 的其他方向的实例。层定义为分别具有相同时间—级别、依赖性一id和质量一级别值的图 片集合。为了解码和回放增强层，包括基础层的较低层通常也应该可用， 因为较低层可以直接或间接地用于增强层的解码中的层间预测。例如，在图1和图2中，具有等于(O,O，O,O)和(8,0，0，0)的(t，T，D，Q)的图 片属于基础层，其可以被独立于任何增强层而解码。具有等于(4，1,0，0) 的(t,T,D,Q)的图片属于双倍于基础层的帧速率的增强层；该层的解码 需要基础层图片的出现。具有等于(O，O，O，l)和(8,0,0,1)的(t,T，D，Q) 的图片属于以FGS方式增强基础层的比特率和质量的增强层；该层的 解码也需要基础层图片的出现。在可伸缩视频编码中，当对增强层图片中的宏块进行编码时，可以 使用单层编码中的传统宏块编码模式以及新的宏块编码模式。新的宏块 编码模式使用层间预测。类似于单层编码中的传统宏块编码模式，可伸 缩视频编码中的宏块模式选择还影响编码的比特流的差错恢复性能。当 前，不存在在可伸缩视频编码中执行宏块模式选4奪的机制，该机制可以 使编码的可伸缩视频流恢复到目标丟失率。发明内容本发明提供一种执行用于可伸缩视频编码中的增强层图片的宏 块模式选择从而在易错条件下增加再现视频质量的机制。该机制包 括用于每个宏块的失真估计器、拉格朗日乘子选择器以及用于选项 最佳模式的模式判决算法。因此，本发明的第 一方面是一种用于对包括多个基础层图片和增强层图片包括多个配置在一个或多个层中的宏块，并且其中多个 宏块编码模式配置用于对经受编码失真的增强层图片中的宏块进行 编码。该方法包括根据目标信道误码率估计影响不同宏块编码才莫式 中的重构的视频分段的编码失真；确定用于所述 一 个或多个层中的 每个层的加权因子，其中所述选择还基于估计的编码率乘以该加权 因子；并且基于该估计的编码失真来选择宏块编码模式中的一个用 于对宏块进行编码。根据本发明，该选择由估计的编码失真与估计的编码率乘以加
权因子的和确定。该失真估计还包括估计差错传播失真，以及视频 分段的分组丢失。根据本发明，该目标信道误码率包括估计的信道误码率和/或传 送的信道误码率。在用于一个可伸缩层的目标信道误码率不同于用于另一可伸缩 层时，失真估计考虑不同的目标信道误码率。还基于不同的目标信 道误码率来确定加权因子。差错传播失真的估计基于不同的目标信 道误码率。本发明的第二方面是一种用于对包括多个基础层图片和增强层 图片的视频分段进行编码的可伸缩视频编码器，其中每个增强层图 片包括多个配置在一个或多个层中的宏块，并且其中多个宏块编码 模式配置用于对经受编码失真的增强层图片中的宏块进行编码。所 述编码器包括失真估计器，用于根据目标信道误码率来估计影响不同宏块编码模式中的重构的视频分段的编码失真；加权因子选择器， 用于确定用于所述一个或多个层中的每个层的加权因子，其中所述 模式判决模块还基于估计的编码率乘以加权因子；以及模式判决模 块，用于基于所述估计的编码失真来选择宏块编码模式中的一个用 于对宏块进行编码。模式判决模块配置为基于估计的编码失真与估 计的编码率乘以加权因子的和选择编码才莫式。本发明的第三方面是一种软件应用产品，其包括具有在可伸縮 视频编码中用于对包括多个基础层图片和增强层图片的视频分段进 行编码的软件应用的计算机可读存储介质，其中每个增强层图片包 括多个配置在一个或多个层中的宏块，并且其中多个宏块编码模式 配置用于对经受编码失真的增强层图片中的宏块进行编码。该软件 应用包括用于执行上述方法的程序代码。本发明的第四方面是包括上述编码器的一种视频编码装置。 本发明的第五方面是一种具有包括上述编码器的视频编码装置 的电子设备，诸如移动终端。


图1示出了示例性可伸缩视频流的时间分段；图2示出了图1中所描述示例的典型预测参考关系； 图3示出了在具有基础层和空间增强层的当前SVC编码器结构 中的经修改的模式判决过程；图4示出了具有基础层和空间增强层的丟失意识率失真优化的宏块模式判决过程；图5是示出了根据本发明的编码失真估计的流程图；图6示出了根据本发明的具有可伸缩编码器和可伸缩解码器中的至少一个的电子设备。
具体实施方式
本发明提供了 一种执行用于可伸缩视频编码中的增强层图片的 宏块模式选择从而在易错条件下增加再现视频质量的机制。该机制 包4舌以下元素-用于每个宏块的失真估计器，其作用于信道差错，其中信道差 错诸如视频分段中的分组丢失或差错，其考虑再现的视频中的潜在 差错传播；-根据针对不同层的估计的或传送的信道丢失率的拉格朗日乘 子选择器，；以及-模式判决算法，基于编码参数(即，所有影响宏块的编码的比 特数量的宏块编码参数，包括运动补偿方法、量化参数、宏块分割 方法)、估计的由于信道差错的失真以及更新的拉格朗日乘子来选 择最佳模式。根据以下步骤，判决根据本发明的宏块模式选择1. 所有候选模式上循环，并且针对每个候选模式，估计由可能 的分组丢失以及编码率(例如，表示宏块的比特数量)导致的重构 的宏块的失真。2. 计算由等式1表示的每个模式的成本，并且选择给出最小成本的模式。C-" +义xi (1)在等式1中，C表示成本，D表示估计的失真，R表示估计的编码率， 入是拉格朗日乘子。拉格朗日乘子是用于限定成本的估计的编码率 的有效加权因子。根据本发明的用于宏块模式选择的方法可应用于单层编码以及 多层编码。单层方法 A.失真估计假设丟失率是外，具有候选编码选项o的第n个图片中的第m 个宏块的总失真由以下等式表示D(",w，o) = (1-+AAc("'附) (2)其中A("^，。)和Ap—^"，W，。)分别表示源编码失真和差错传播失真；并且 则De"",m)表示在丢失宏块情况下的差错隐藏失真。独立于宏块 编码一莫式。源编码失真A("w，。)是原始信号和无差错重构信号之间的失真。源编码失真A("，^，。)可以计算为均方误差(MSE)、绝对差和(SAD) 或平方误差和(SSE)。差错隐藏失真D"("，"0可以计算为原始信号和 差错隐藏信号之间的MSE、 SAD或SSE。针对A("，m，。)和"力vn),所 使用的范数(MSE、 SAD或SSE)应该对齐(aligned)。针对差错传播失真"印-^"，"^)的计算，定义了块基础(例如，4x 4 Luma采样)上的每个图片的失真映射"印。给定失真映射，则iV/e/",附，。)计算为 人' AT 4"印_ re/ (",附,o) = J] "we, (", m， A:, o) = X) Z ",， A:,, o) (3)其中K是一个宏块中的块的数量，并且""-^"，'"A。)表示当前宏块中 第k个块的差错传播失真。"伊-^","!,，力计算为由当前块参考的块W 的差错传播失真({"印("'，叫力，°/)})的加权平均。每个参考块的权重^与用 作参考的面积成比例。在每个参考图片的编码期间计算失真映射"印。不必具有针对非 参考图片的失真映射。对于当前图片中的每个块，具有最佳编码模式°*的^("，"^)如下 计算对于其中不使用双预测或仅使用 一个参考图片的间编码块，根据等式4计算失真映射&(",附，"=(1-/7,D^a，。"+A(D附,M"+D附,w) (4)其中，化^>，"^，°*)是差错隐藏块和重构块之间的失真，并且 a。j("，^a)是由于差错隐藏的失真和用于差错隐藏的参考图片中的 差错传播失真。假设差错隐藏方法已知，Aj("，^a)计算为用于隐藏 当前块的块的差错传播失真的加权平均，并且每个参考块的权重w 与用作差错隐藏的面积成比例。根据本发明，其中使用双预测或使用两个参考图片的间编码块的失真映射根据等式5计算"印(",m, A:) = wr。 x ((l -乃re/—r0("，附,&o*) + p, ("ec—rec(", '"，/c,o沐)+ i^一印(",柳+ wrlx((l —^ rl(",'"A,o*) + ;7,(Z)ec rec("，m ) + "ec—"","")))(5)其中w,.。和wr/分别是用于双预测的两个参考图片的权重。对于其中没有传输差错传播失真的内编码块，仅考虑差错隐藏
失真<formula>formula see original document page 15</formula> (6)B.拉格朗日乘子选择在D(n，m,o)等于Dx(n，mo)的无差错情况中，拉格朗日乘子是量化参 数Q的函数。对于H.264/AVC和SVC, Q的值等于(0'85x2Q/3-4:)。 然而，在具有传输差错的情况中，可以需要可能不同的拉格朗日乘 子。无差错拉格朗日乘子由下式表示一-尝 。可以在等式1和等式2中发现A和R之间的关系。 通过合并等式1和等式2，我们得到<formula>formula see original document page 15</formula> (8) 设C对R的导数为零，我们得到<formula>formula see original document page 15</formula> (9)因而，等式1变为<formula>formula see original document page 15</formula> (10)由于Z^(",m)独立于编码模式， 一旦将用于所有候选模式的&("，附)去除， 则可以将其从总成本中去除。在去除包含D"("，'")的项之后，也可以去
除公共系数(1-^,其最终导致<formula>formula see original document page 16</formula> (10多层方法在具有多层的可伸缩编码中，用于基础层图片的宏块模式判决 与上述单层方法完全相同。对于增强层图片中的片，如果语法元素base_id_plusl等于0， 那么不使用层间预测。在该情况中，使用单层方法，同时使用的丟 失率是当前层的丟失率。如果语法元素base—id—plusl不等于0，那么可以使用利用层间 紋理、运动或残差预测的新宏块模式。在该情况中，在下面示出失 真估计和拉格朗日乘子选择过程。设包括当前宏块的当前层为z":，包括用于当前宏块的层间预测的 排列宏块的较低层为包括用于"中排列宏块的层间预测的宏块 的其他较低层为"，…，并且包括当前宏块的层间依赖块的最低层为 ",并且设丢失率分别为风"'A"-"…^。:。对于可以使用层间预测(即， 语法元素base—id_plusl不等于0)的当前片，，支"i殳4又在当前宏块和 所有依赖较低层块被接收的情况下，将对当前层宏块进行解码，否 则隐藏该片。对于不使用层间预测(即，语法元素base—id_plusl等 于0)的片，只要一接收到当前宏块就对其进行解码。A.失真估计具有候选编码选项o的层"冲的第n个图片中的第m个宏块的总 失真由以下等式表示<formula>formula see original document page 16</formula> (12) 其中A(",w,o)和以与单层方法中相同的方式进行计算。给定相同层或较低层(对于层间紋理预测)中的参考图片的失真映射，使 用等式3计算^V^"，'"，力。导出的失真映射在下面示出。在当前层具有较高空间分辨率时， 较低层"的失真映射首先被上采样。例如，如果针对宽度和高度来 说分辨率由均为2的因子改变，那么失真映射中的每个值上采样为 同一11的2乘以2块。a) 使用层间内紋理预测的宏块模式层间内紋理预测将重构的较低层宏块用作对当前层中的当前宏 块的预测。在JSVM (联合可伸缩视频模型)中，该编码模式称作内 —基础(Intra-Base)宏块模式。在该模式中，失真可以从用于层间预 测的较低层传播。那么，当前宏块中的第k个块的失真映射是i)e;)("，m,"-(fl(l-_p,,;))U",; a,o*) +'.=0 (13)注意"K("，'"，b')是,低层"中的排列宏块中的第k个块的失真映 射，并且""，("，"a'O和印("，^a)以与单层方法中相同的方式进行计算。b) 使用层间运动预测的宏块模式在JSVM中，两个宏块模式采用层间运动预测，基础层模式和四分之一像素细化模式。如果使用基础层模式，那么将运动矢量字 段、参考指数和较低层的宏块分割用于当前层中的相应宏块。如果 对该宏块解码，则使用针对间预测的相同层中的参考图片。那么，个块的失真映射是 <formula>formula see original document page 18</formula>,当前宏块中的第k个块的失真映射是Z)"",挑，"=Wr0 x((rt(1-p,肌,《，o(",附，M承)+(i 一 fl (i—&》(Ac啦("，附,、o*)+Ac—伊(",附,"))+<formula>formula see original document page 18</formula>(15)注意化p-"/""^，。是相同号z"的参考图片中的排列宏块中的第k个块的失真映射。化C(打'附人。')和Ac—以与单层方法中相同的方式进行计算。仅当较低层表示相对于当前层具有降低的空间分辨率的层时， 使用四分之一像素细化方法。在该模式中，宏块分割以及参考指数 和运动矢量以与用于基础层模式相同的方式导出，差异仅在于额外 传输运动矢量细化并且将其添加到导出的运动矢量。因此，等式14 和15还可以用于导出该模式中的失真映射，因为运动细化包括在作 为结果的运动矢量中。c)使用层间残差预测的宏块模式在层间残差预测中，较低层的编码的残差用作对当前层的残差 的预测，并且对当前层的残差和较低层的残差之间的差异进行编码。 如果接收到较低层的残差，则将不存在由于残差预测导致的差错传
播。因此，等式14和15用于导出使用层间残差预测的宏块模式的失真映射。d)未使用层间预测的宏块模式 对于不使用双预测的间编码块，我们有<formula>formula see original document page 19</formula>(16)G一rt(i-P"))("ecc("'"a,o"+Ac一印("，"a)) 对于使用双预测的间编码块<formula>formula see original document page 19</formula>(17)<formula>formula see original document page 19</formula>对于内编码块<formula>formula see original document page 19</formula> (18)等式16到等式18中的元素以与等式4到6中相同的方式计算。B.拉格朗日乘子选择通过合并等式1和12,我们得到<formula>formula see original document page 19</formula> (19)
设C对R的导数为零，我们得到义--(rt(i-;0)^^-(ft(i,))V (20)因而，等式1变为<formula>formula see original document page 20</formula>这里，i^("，w)可以取决于编码模式，因为即使接收到宏块也可以将其 隐藏，而解码器可以利用已知的编码模式从而使用更好的差错隐藏 方法。因此，带有""("，M)的项应该保留。因而，也应该保留仅公用于第 一和第三项的系数:G(1—p")。应该注意到本发明可应用可伸缩视频编码，其中编码器配置为 根据估计的和/或传送的目标信道误码率来估计影响宏块编码模式中的重构分段的编码失真。编码器还包括拉格朗日乘子选择器，其 基于不同层的估计的或传送的信道丢失率，以及模式判决模块或算 法，其配置为基于一个或多个编码参数选择最佳模式。图3示出了 可以合并到具有基础层和空间增强层的当前SVC编码器结构中的模 式判决过程。注意，增强层可以具有与基础层相同的空间分辨率， 并且在可伸缩比特流中可以存在多于两层的层。在图4中示出了具 有基础层和空间增强层的优化的宏块模式判决过程的细节。在图4 中，C表示正如根据等式11或12计算的成本，例如，输出0*是最 佳编码选择，其导致最小成本并且允许模式判决算法从而计算失真 映射，如图5所示。图6描述了根据本发明实施方式的典型移动设备。图6中所示 的移动设备10支持蜂窝数据和语音通信。应当指出，本发明不局限
于这种特定的实施方式，这种特定的实施方式代表多种不同实施方 式中的一种。移动设备10包括控制移动设备操作的(主)微处理器或微控制器100以及与微处理器相关联的组件。这些组件包括与显 示模块135连接的显示控制器130,非易失性存储器140，例如随机 访问存储器(RAM)的易失性存储器150,与麦克风161、扬声器 162和/或耳机163连接的音频输入/输出(1/0)接口 160，与键区175 或键盘连接的小键盘控制器170，任意辅助输入/输出(I/0)接口 200, 以及短距离通信接口 180。这样的设备通常还包括其它设备子系统， 这些子系统被一l殳地示为190。移动设备IO可以在语音网络上通信，和/或同样可以在数据网络 上通信，该数据网络例如是任何公共陆地移动网络(PLMN),其形 式例如可以是数字蜂窝网络，特别是GSM (全球移动通信系统)或 UMTS (通用移动通信系统)。语音和/或数据通信通常通过空中接 口操作，空中接口即与其它组件(参见上文)协作的连接到基站(BS ) 或节点B (未示出)的蜂窝通信接口子系统，其中基站(BS)或节 点B是蜂窝网络基础设施的无线接入网络(RAN)的一部分。在图6中说明性描述的蜂窝通信接口子系统包括蜂窝接口 110、 数字信号处理器(DSP) 120、接收机(RX) 121、发射机(TX) 122、 以及一个或更多本地振荡器(LO) 123，并且蜂窝通信接口子系统支 持与一个或更多公共陆地移动网络(PLMN)的通信。数字信号处理 器(DSP) 120将通信信号124发送给发射机(TX) 122，并从接收 机(RX) 121接收通信信号125。除了处理通信信号之外，数字信 号处理器120还向接收机提供控制信号126并且向发射机提供控制 信号127。例如，除了分别对待发射的信号进行调制和对所接收的信 号进行解调之外，应用于接收机(RX) 121和发射机(TX) 122中 的通信信号上的增益水平也可以通过数字信号处理器(DSP) 120中 所实施的自动增益控制算法进行自适应控制。为了提供对收发机 121/122的更复杂的控制，也可以在数字信号处理器(DSP) 120中 实施其它收发机控制算法。
在移动设备IO通过PLMN的通信在单一频率或者一组相隔密集 的频率上发生的情况下，那么单个本地振荡器(LO) 123可以与发 射机(TX) 122和接收机(RX) 121结合使用。可选地，如果语音/ 数据通信所使用的频率不同或者发射和接收所使用的频率不同，则 可以使用多个本地振荡器以产生多个相应的频率。尽管使用的是图6中所描述的具有天线129或分集天线系统(未 示出)的移动设备10，但是也可以使用具有用于信号接收和发射的 单个天线结构的移动设备10。包括语音和数据信息两者在内的信息 通过蜂窝接口 110与数字信号处理器(DSP) 120之间的数据链路在 两者之间进行双向通信。蜂窝接口 110的详细i殳计，例如频带、组 件选择、功率水平等，将依赖于移动设备IO打算在其中操作的无线 网络。在任何所需的网络注册或激活过程已经完成之后，移动设备继 而可以在无线网络上发送和接收包括语音和数据信号两者在内的通 信信号，其中注册或激活过程可能涉及在蜂窝网络中注册所需的用户标识模块(SIM) 210。天线129从无线网络接收的信号被路由至 接收机121，接收机121提供诸如信号放大、频率下转换、滤波、信 道选择以及模数转换之类的操作。接收的信号的模数转换使得诸如 数字解调和解码之类较为复杂的通信功能使用数字信号处理器 (DSP) 120来执行。通过类似的方式，要被发射给网络的信号被数 字信号处理器(DSP) 120处理，例如包括调制和编码，并继而被提 供给发射机122以用于数模转换、频率上转换、滤波、放大以及通 过天线129发射给无线网络。也可以被指定为设备平台微处理器的微处理器/微控制器(//C) 110管理移动设备10的功能。处理器110所使用的操作系统软件149 优选地存储在例如非易失性存储器140之类的永久性存储器中，其 中非易失性存储器140例如可以被实现为闪速存储器、电池备份 RAM、任何其它非易失性存储技术或者其任意组合。除了控制移动 设备10的低级功能和(图形)基本用户接口功能的操作系统149之
外，非易失性存储器140还包括多个高级软件应用程序或者模块，例如语音通信软件应用142、数据通信软件应用141、组织器模块(未 示出)或者任何其它类型的软件模块(未示出)。这些模块由处理 器100执行并提供了移动设备10的用户与移动设备IO之间的高级 接口。该接口通常包括由显示控制器130控制的显示器135所提供 的图形组件和通过小键盘控制器170连接到处理器IOO上的小键盘 175、辅助输入/输出(I/O)接口 200和/或短距离(SR)通信接口 180所提供的输入/输出组件。辅助1/0接口 200特别地包括USB(通 用串行总线)接口、串行接口、 MMC (多媒体卡)接口以及相关的 接口技术/标准，以及任何其它标准化的或专有的数据通信总线技术， 而短距离通信接口射频(RF)低功率接口特别地包括WLAN (无线 局域网)和蓝牙通信技术或者IRDA (红外数据访问)接口 。这里所 称的RF低功率接口技术应被特别地理解为包括IEEE 801.xx标准技 术，其说明可以从电子和电气工程师协会获得。而且，辅助I/0接口 200和短距离通信接口 180可以各表示一个或多个分别支持一个或 多个输入/输出接口技术和通信接口技术的接口 。操作系统、特定设 备软件应用或模块、或者其一部分可以被临时载入例如随机访问存 储器(通常基于DRAM (直接随机访问存储器)技术实现以进行更 快的操作)的易失性存储器150中。而且，在将所接收的通信信号 永久地写入到任何海量存储器或位于非易失性存储器140中的文件 系统中之前，也可以将所接收的通信信号临时存储到易失性存储器 150中，其中海量存储器优选地通过辅助1/0接口可拆卸地连接以存 储数据。应当理解，上述组件代表在此以蜂窝电话的形式被具体化 的传统移动设备10的典型组件。本发明不局限于这些特定的组件， 并且所描述的这些组件的实现仅仅是出于说明和完整的缘故。移动设备10的一个示例性软件应用模块是提供PDA功能性的 个人信息管理器应用，PDA功能性通常包括联系人管理器、日历、 任务管理器等。这样的个人信息管理器由处理器100执行，可以访 问移动设备10的组件，并可以与其它软件应用才莫块交互。例如，与 语音通信软件应用的交互允许管理电话呼叫、语音邮件等，与数据通信软件应用的交互支持管理SMS (短消息服务)、MMS (多媒体 服务)、电子邮件通信以及其它数据传输。非易失性存储器140优 选地提供文件系统，用以实现设备上数据项的永久性存储，其中数 据项包括特定日历条目、联系人等。例如通过蜂窝接口、短距离通 信接口或者辅助I/O接口与网络进行数据通信的能力支持通过这样 网络所进行的上传、下载和同步。应用模块141到149表示设备功能或者软件应用，它们被配置 成由处理器100执行。在大多数已知的移动设备中，单个处理器管 理和控制移动设备的全部操作以及所有的设备功能和软件应用。这 种概念可应用于现在的移动设备。增强型多媒体功能性的实现例如 包括通过集成的或可拆卸连接的数字相机功能性实现的视频流应用 的再现、数字图像的操作以及视频序列的捕获。所述实现还可以包 括具有复杂图形和必要计算能力的游戏应用。处理计算能力需求的 一种方式通过实现强大且通用的处理器核来解决提高计算能力的问 题，这种方式过去一直被沿用。另一种提供计算能力的方法是实现 两个或者更多独立的处理器核，这是本领域公知的方法。本领域技 术人员可以立刻理解多个独立处理器核的优点。通用处理器被设计 用于执行多种不同任务，而没有将不同任务的预选进行专门化，而 多处理器配置可以包括一个或更多通用处理器、以及一个或更多适 于处理预定义任务集合的专用处理器。无论如何，在一个设备中， 特别是在例如移动设备10的移动设备中，实现多个处理器传统上需 要对组件进行完全且复杂的重新设计。下面，本发明将提供这样的概念，其支持将附加的处理器核简 单地集成到已有处理设备的实现中，从而实现省略昂贵的完全且复 杂的重新设计。该创造性概念将参考片上系统(SoC)设计来描述。 片上系统(SoC)的概念是至少将处理设备的众多(或所有)组件集 成到单个高集成芯片中。这样的片上系统可以包含数字、模拟、混合信号，并经常包含射频功能，所有这些功能都在一个芯片上。典 型的处理设备包括多个执行不同任务的集成电路。这些集成电路特别地可以包括微处理器、存储器、通用异步接收机/发射机(UART)、 串行/并行端口、直接存储器访问(DMA)控制器等。通用异步接收 机/发射机(UART)在数据的并行比特和串行比特之间进行转换。 半导体技术近来的发展使超大规模集成电路(VLSI)所能支持的复 杂性显著增长，这使其能够将众多系统组件集成到单个芯片中。参 考图6，其中的一个或更多组件，例如控制器130和170、存储器组 件150和140、以及一个或更多接口 200、 180和110可以与处理器 100—起集成到单个芯片中，最终形成片上系统(SoC)。而且，设备10配备有根据本发明的创造性操作用于视频数据的 可伸缩编码的模块105和可伸缩解码的模块106。通过CPU 100,可 以独立地使用所述模块105、 106。然而，设备10适于分别执4亍—见频 数据编码或解码。所述视频数据可以借助于设备的通信模块来接收， 或者它也可以存储在设备10内任何可想象的存储装置中。总而言之，本发明提供了一种用于对包括多个基础层图片和增 强层图片的视频分段进行编码的可伸缩视频编码的方法和编码器， 其中每个增强层图片包括多个配置在一个或多个层中的宏块，并且 其中多个宏块编码模式配置用于对经受编码失真的增强层图片中的 宏块进行编码。该方法包括估计影响不同宏块编码模式中的重构 的视频分段的编码失真，其中该估计的失真包括至少由很可能发生 于视频分段的信道差错引起的失真；确定用于所述一个或多个层中 的每个层的加权因子；以及基于估计的编码失真来选择宏块编码模 式中的一个用于对宏块进行编码。根据目标信道误码率来估计编码 失真。目标信道误码率包括估计的信道误码率和传送的信道误码率。 对宏块编码模式的选择通过估计的编码失真和估计的编码率乘以加 权因子的和确定。而且，失真估计还包括估计差错传播失真。因此，尽管本发明已经相对于其一个或多个实施方式而描述， 但本领域技术人员可以理解，在不背离本发明范围的前提下，本发
权利要求
1. 一种可伸缩视频编码方法，用于对包括多个基础层图片和增强层图片的视频分段进行编码，其中每个增强层图片包括多个配置在一个或多个层中的宏块，并且其中多个宏块编码模式配置用于对经受编码失真的增强层图片中的宏块进行编码，所述方法的特征在于根据目标信道误码率来估计影响不同宏块编码模式中的重构的视频分段的编码失真；以及基于估计的编码失真来选择所述宏块编码模式中的一个宏块编码模式，用以对所述宏块进行编码。
2. 根据权利要求1所述的方法，进一步的特征在于 确定用于所述一个或多个层中的每个层的加权因子，其中所述选择还基于估计的编码率乘以所述加权因子。
3. 根据权利要求2所述的方法，其特征在于所述选择由所述 估计的编码失真与所述估计的编码率乘以所述加;f又因子的和确定。
4. 根据权利要求1所述的方法，其特征在于所述估计包括估 计差错传播失真。
5. 根据权利要求1所述的方法，其特征在于所述估计包括估 计所述视频分段的分组丢失。
6. 根据权利要求1所述的方法，其特征在于所述目标信道误 码率包括估计的信道误码率。
7，根据权利要求1所述的方法，其特征在于所述目标信道误 码率包括传送的信道误码率。
8. 根据权利要求1所述的方法，其特征在于，针对可伸缩层的 目标信道误码率不同于另一可伸缩层，并且所述估计考虑不同的目 标信道误码率。
9. 根据权利要求2所述的方法，其特征在于针对可伸缩层的 目标信道误码率不同于另一可伸縮层，并且基于不同的目标信道误 码率来确定所述加;〖又因子。
10. 根据权利要求4所述的方法，其特征在于针对可伸缩层的目标信道误码率不同于另一可伸缩层，并且差错传播失真的所述估 计还基于不同的目标信道误码率。
11. 一种可伸缩视频编码器，用于对包括多个基础层图片和增强 层图片的视频分段进行编码，其中每个增强层图片包括多个配置在 一个或多个层中的宏块，并且其中多个宏块编码模式配置用于对经 受编码失真的增强层图片中的宏块进行编码，所述编码器的特征在于失真估计器，用于根据目标信道误码率来估计影响不同宏块编码 模式中的重构的视频分段的所述编码失真；以及模式判决模块，用于基于估计的编码失真来选择所述宏块编码模 式中的一个宏块编码模式，用以对所述宏块进行编码。
12. 根据权利要求11所述的编码器，进一步的特征在于 加权因子选择器，用于确定用于所述一个或多个层中的每个层的加权因子，其中所述模式判决模块还基于估计的编码率乘以加权因子。
13. 根据权利要求12所述的编码器，其特征在于所述模式判 决模块配置为基于所述估计的编码失真与所述估计的编码率乘以所 述加权因子的和选择所述编码模式。
14. 根据权利要求11所述的编码器，其特征在于所述失真估 计器还配置为估计差错传播失真。
15. 根据权利要求11所述的编码器，其特征在于所述失真估 计器还配置为估计所述视频分段的分组丢失。
16. 根据权利要求11所述的编码器，其特征在于所述失真估 计器还配置为基于估计的信道误码率来估计所述目标信道误码率。
17. 根据权利要求11所述的编码器，其特征在于所述失真估 计器还配置为基于传送的信道误码率来估计所述目标信道误码率。
18. 根据权利要求11所述的编码器，其特征在于针对可伸缩 层的目标信道误码率不同于另一可伸缩层，并且所述失真估计器配 置为考虑不同的目标信道误码率。
19. 根据权利要求12所述的编码器，其特征在于针对可伸缩 层的目标信道误码率不同于另一可伸缩层，并且所述加权因子选择 器配置为基于不同的目标信道误码率来选择所述加权因子。
20. 根据权利要求14所述的编码器，其特征在于针对可伸缩 层的目标信道误码率不同于另一可伸缩层，并且所述失真估计器配 置为基于不同的目标信道误码率来估计所述差错传播失真。
21. —种软件应用产品，其包括具有在可伸缩视频编码中用于对 包括多个基础层图片和增强层图片的视频分段进行编码的软件应用 的计算机可读存储介质，其中每个增强层图片包括多个配置在一个 或多个层中的宏块，并且其中多个宏块编码模式配置用于对经受编 码失真的增强层图片中的宏块进行编码，所述软件应用的特征在于用于根据目标信道误码率来估计影响不同宏块编码模式中的重 构的视频分段的编码失真的编程代码；用于确定用于所述一个或多个层中的每个层的加权因子的编程 代码，其中所述选择还基于估计的编码率乘以所述加权因子；以及用于基于所述估计的编码失真来选择所述宏块编码模式中的一 个宏块编码模式用以对所述宏块进行编码的编程代码。
22. 根据权利要求21所述的软件应用产品，其特征在于用于 选择编码模式的编程代码基于所述估计的编码失真与所述估计的编 码率乘以所述加;K因子的和。
23. 根据权利要求1所述的方法，其特征在于所述估计包括估 计差错传播失真。
24. —种视频编码装置，其包括根据权利要求11所述的编码器。
25. —种电子设备，其包括根据权利要求11所述的编码器。
26. 根据权利要求25所述的电子设备，包括移动终端。
全文摘要
在可伸缩视频编码中使用的编码器具有针对一种增强层图片执行宏块模式选择的机制。该机制包括用于每个宏块的失真估计器，其作用于信道差错，其中信道差错诸如受差错传播影响的视频分段中的分组丢失或差错；拉格朗日乘子选择器，用于根据估计的或传送的信道误码率来选择加权因子，以及模式判决模块或算法，用于基于编码参数来选择最佳模式。模式判决模块配置为基于估计的编码失真与估计的编码率乘以加权因子的和来选择编码模式。
文档编号H04N7/64GK101401440SQ200780008416
公开日2009年4月1日 申请日期2007年1月8日 优先权日2006年1月9日
发明者Y-K·王, 李厚强, 宜 郭 申请人:诺基亚公司