专利名称：可分级视频编码中的fgs标识的制作方法
技术领域：
本发明一般性地涉及视频编码。更具体地，本发明涉及可分级 一见频编码。
背景技术：
传统 一见频编码标准，例如运动图 <象专家组(MPEG ) -1 ， H.261/263/264标准，结合运动估计和运动补偿以便消除视频帧之间 的时间冗余。H.264/AVC (AVC表示高级一见频编码)标准的可分级 扩展目前支持精细粒度分级，据此，可以通过以10%或更小的增量 增加比特率使视频序列的质量得以改善。目前，精细粒度分级性 (FGS)信息不被视为单独的"层"，而是改为随着它相对于其被编 码的"基本层" 一起存储。然而，当形成后续增强层时，如果可以 选择该增强是基于具有FGS的基本层还是基于没有FGS的基本层， 将是有益的。传统的系统虽然是适度有用的，但其至少包括两个实质性问题。 第一，分级性并非总是沿着"线性"路径的。例如，可能期望具有 一个以某个最低可接受质量进行编码的低空间分辨率基本层，它具 有用以增强质量的FGS。此外，还可能期望具有一个相对于基本层 而被编码的空间增强(不包括FGS)。这可能被期望，其原因是例 如在传输信道上对比特率有限制，其中当只需要空间增强时，该传 输信道不允许传输额外FGS数据的"开销"。在目前计划的H.264/AVC可分级性扩展中，FGS信息不一皮:枧为 单独的层。在片头(slice header )中，语法元素base—id_plus用来指 示增强层图像的基本层图像。然后，没有这样的机制可以用于规定 后续增强层是相对于具有FGS的基本层还是没有FGS的基本层而被编码，以及如果具有FGS，是哪个FGS层。换言之，操作必须是"硬 连线的"。第二，渐进增强/细化片(即，FGS片)和相应的基本层图像目 前被设想为处于同 一 图像中，并因此被设想为在同 一 访问单元中。 这些项目针对Dependencyld还具有相同的值。对于系统层操作而言 这种体系结构不是最优的。在媒体文件格式中，例如，ISO/IEC 14496-15中规定的AVC文件格式中，典型地会为每个包含图像或访 问单元的采样存储元数据信息。因此，即使是对于非FGS可分级流 (即，当FGS片的截断无需到达期待的可分级呈现点时)，上述图像 (访问单元)的定义仍然需要一个流服务器来解析为采样。从这个 角度看，目前的设计强迫媒体文件格式存储具有更高复杂性的可分 级视频内容，这意味着流服务器操作也具有更高的复杂性。发明内容本发明涉及在与其相应的基本信息分离的层中对FGS信息编 码。根据本发明的一种实施方式，每个FGS增强层被制成其各自的 图像，并被赋予唯一的Dependencyld值。在这种意义上，FGS增强 平面或层以和诸如空间增强层之类的其它增强层相同的方式被处 理。FGS增强层的基本层图像被制成另外的图像，并具有其自己的 Dependencyld值。后续增强层将相对于该质量基本层或FGS增强层 而被编码。本发明的这种系统在可分级视频编码中提供了灵活性水 平改善，并同时使复杂性较低。根据本发明的另一种实施方式，每个FGS增强层不被制成其各 自的图像，并因此没有被赋予唯一的Dependencyld值。然而，与每 个FGS增强层相关联的QualityLevel值被用以标识后续增强层是相 对于具有FGS的基本层而被编码还是相对于没有FGS的基本层而被 编码，以及如果具有FGS,是哪个FGS层。这一点可以通过在比特 流中例如在片头中包含新的语法元素来实现，以指示相应FGS片的 QualityLevel值在后续增强层的编码中被参考。在这种情况下，片头中的base—idjlusl仍被用来指示被第一 FGS层和后续增强层所参考 的质量基本层的DependencylcH直。根据本发明的另一种实施方式，每个FGS增强层被制成其各自 的图像，并被赋予唯一的Dependencyld值。与每个FGS增强层相关 联的Dependencyld被用来标识后续增强层是相对于具有FGS的基本 层还是没有FGS的基本层而被编码，以及如果有FGS,是哪个FGS 层。这可以通过在比特流中例如在片头中包含新的语法元素来实现， 以指示在后续增强层编码中被参考的FGS片所关联的Dependencyld 值。这时，片头中的base—id_plusl仍被用来指示^f皮第一 FGS层和后 续增强层所参考的质量基本层的Dependencyld值。本发明的这些以及其它目的、优势和特征，及其纟喿作的组织和 方式，将在下文结合附图的详细说明中得以明晰，其中下文描述的 附图中，类似的元件具有类似的数字。
图1是一种在其内可以实施本发明的系统的总体框图； 图2是 一 种可在本发明的实施中使用的移动电话的剖面图； 图3是图2中移动电话的电话电路的示意性表示； 图4说明了一种使用本发明的视频编码器；以及 图5是根据本发明的一种实施方式包括基本分辨率层、FGS增 强层和空间增强层的比特流的 一 般性表示。
具体实施方式
图1示出了本发明可被应用于其中的系统10,该系统10包括多 个可以通过网络通信的通信装置。系统IO可以包括无线或有线网络 的任何组合，包括，但不限于，移动电话网络，无线局域网(LAN), 蓝牙个人区域网络，以太LAN,令牌环LAN，广域网，互联网等。 系统10可以包括有线的或无线的通信装置。例如，图1中所示的系统10包括移动电话网络11和互联网28。到互联网28的连接性可以包括但不限于长距离无线连接、短距离无 线连接、以及各种有线连接，其中有线连接包括但不限于电话线、 电缆线、电源线等。系统10的示例性通信装置可以包括但不限于移动电话12、组合 PDA和移动电话14、 PDA 16、集成消息发送装置(IMD) 18、台式 计算机20以及笔记本电脑22。通信装置可以是固定的或者当被移动 中的个人携带时也可以是移动的。通信装置也可以被置于交通工具 中，其中所述交通工具包括但不限于轿车、卡车、出租车、公共汽车、船、飞机、自行车、摩托车等。 一些或全部通信装置可以发送 和接收呼叫和消息，并可以通过与基站24的无线连接25来与服务 提供者通信。基站24可连接到网络服务器26,网络服务器26支持 移动电话网络11和互3f关网28之间的通信。系统10可以包4舌附加的 通信装置和不同类型的通信装置。通信装置可以使用各种不同的传输技术进行通信，其中所述传 输技术包括但不限于码分多址(CDMA )、全^U多动通信系统(GSM )、 通用移动通信系统(UMTS )、时分多址(TDMA )、频分多址(FDMA )、 传输控制协议/互联网协议(TCP/IP)、短消息发送服务(SMS)、 多媒体消息发送服务(MMS )、电子邮件、即时消息发送服务(IMS )、 蓝牙、IEEE 802.1 1等。通信装置可以使用各种不同的媒介进行通信， 其中所述媒介包括但不限于无线、红外、激光、电缆连接等。图2和图3示出了本发明可以实现于其中的一种具有代表性的 移动电话12。然而，应当理解，本发明并不意欲局限于一种特定类 型的移动电话12和其它电子装置。图2和图3中的移动电话12包 括外壳30、液晶显示器形式的显示器32、键区34、麦克风36、听 筒38、电池40、红外端口 42、天线44、才艮据本发明的一种实施方 式采用UICC形式的智能卡46、读卡器48、无线接口电路52、编解 码器电路54、控制器56和存储器58。单个电路和元件可以是本领 域已知的所有类型，例如在Nokia系列移动电话中已知的所有类型。本发明一个实施方式包括decodability—dependency—information中QualityLevel信息的删除。作为替代，本发明给每个FGS增强层 赋予一个不同的Dependencyld值。因此，只要一个增强层规定了它 所依赖的基本层的Dependencyld值，则基本质量层或该基本质量层 的任何FGS增强层都可以被规定，因为它们都具有唯 一 的 Dependencyld值。下面将讨论用于对可分级视频数据进行解码的本发明 一 个实施 方式并在图5中描述。在该特定实施方式中，使用了多个层。在这 个实施方式中，有至少一个基本分辨率层和至少一个附加层，附加 层相对于基本分辨率层被可选地编码。相对于基本层被编码的附加 层仅包含FGS细化/增强信息，而其它层仍然包含空间增强信息。每 个相对于基本层被编码的附加层也 一皮赋予 一 个标识符 (DependencyID ),该标识符选自普通数字序列，用以标识所有增 强层。后续增强层中的基本层指示符可以被设为指示U)仅包含 FGS增强信息的层；或(2)不含FGS增强信息的层。另外，两类 增强层可以在同一比特流中给出。不同于传统系统，用于FGS增强 层的DependencyID与用于基本分辨率层的DependencyID是不同的。 为了说明为什么这一点很重要，将一个通用中间格式(CIF) 64 kpbs 序列相对于一个准CIF( QCIF )64 kbps序列来进行编码，其中QCIF 64 kbps序列中的48 kbps是QCIF "基本层，，，16 kbps是FGS增强 层。如果CIF序列受限于64 kbps的比特率，且空间增强层相对于"基 本+FGS"层被编码，则由于"基本+FGS"已经消耗了全部64kbps， 将没有可用于空间增强的比特率。另一方面，如果空间增强层仅相 对于"基本"层被编码，则仍有16kbps可用于编码空间增强。下面是一个基本实例，说明了本发明的上述实施方式是如何被 实现的。QCIF48kbps层是基本质量层，可以具有DependencyID值 0,而不具有用来指示相应基本层的BaseDependencyID (基本依赖标 识符)，因为它并不相对于另一层。QCIF 64 kpbs层(即16 kbps FGS 层)可以具有DependencyID值1和BaseDependencyID值0,表示它 相对于QCIF48kbps层被编码。CIF 84 kbps层(空间增强层)可以具有DependencyID值2和BaseDependencyID值0,表示它也相对于 QCIF 48 kbps层被编码。另一方面，CIF 84 kbps层可以可选择地具 有BaseDependencyID值1,在这种情况下，它可以相对于QCIF64 kbps层被编码。通过使FGS增强层具有不同于基本质量层的 DependencyID值，后续增强层可以相对于基本层或FGS增强层被编 码。本发明另一实施方式包括 decodability_dependency—information 中QualityLevel信息的使用，以便标识后续增强层是相对于具有FGS 的基本层还是没有FGS的基本层而被编码，以及如果具有FGS,是 哪个FGS层。这可以通过在比特流例如片头中包含新的语法元素来 实现，以指示在后续增强层编码中被参考的FGS片所关联的 QualityLevel值。在这种情况下，片头中的base—id—plusl仍用来指示 第一 FGS层和后续增强层所参考的质量基本层的Dependencyld值。本发明另 一 实施方式包4舌 decodability—dependency—information 中QualityLevel信息的删除。作为替代，本发明给每个FGS增强层 赋予一个不同的Dependencyld值。此外，与每个FGS增强层相关联 的Dependencyld值被用来标识后续增强层是相对于具有FGS的基本 层还是没有FGS的基本层而被编码，以及如果具有FGS,是哪个FGS 层。这可以通过在比特流中例如片头中包括新的语法元素来实现， 以指示在后续增强层编码中被参考的FGS片所关联的Dependencyld 值。这时，片头中的base—id_plusl仍被用来指示第一FGS层和后续 增强层所参考的质量基本层的Depdencyld值。图4说明了根据本发明对可分级比特流进行编码的一种浮见频编 码器310。如图所示，视频编码器310包括量化器320,用以将二进 制比特发送到算术编码模块322。量化器320接收表示系数原始值的 原始信号，并提供重建的系数值给帧緩沖模块324。算术编码模块 322在比特流中将编码的视频数据提交给传输信道340。应当理解， 量化过程可以由量化器320中的硬件或软件冲丸行。例如，量化器320 可以包括用于执行量化步骤的软件程序321。此外，-现频编码器310可以包括基本层编码器330,它以可操作的方式与帧緩沖模块324 和算术编码模块322连接，用以执行基本层编码，由此提供表示基 本层编码数据的信号。这样的基本层编码器330在本领域是已知的。 对每个FGS层重复图4所描述的处理。换言之， 一个层的FGS重建 (该重建是量化器320的输出)成为下一个层中基本层编码器320 的输出。本发明可以使用任何通用的编程语言，如0/0++或汇编语言，来直接在软件中实现。本发明还可以在硬件中实现并使用于多种客户装置中。本发明在方法步骤的一般环境中被描述，这些方法步骤在一个 实施方式中可以通过程序产品来实现，该程序产品包括由网络环境 中的计算机执行的计算机可执行指令，例如程序代码。 一般地，程 序模块包括执行特定任务或实现特定抽象数据类型的例行程序、程 序、对象、组件、数据结构等。计算机可执行指令、相关数据结构 和程序模块代表了用于执行在此公开的方法步骤的程序代码的实例。这些可执行指令的特定序列或相关数据结构代表了用于实现这 些步骤中所描述功能的相应动作的实例。本发明的软件和网络实现可以通过标准编程4支术完成，这些编 程技术具有基于规则的逻辑和其它逻辑，以完成各种不同的数据库 搜索步骤、相关步骤、比较步骤和决定步骤。还应指出，这里和权 利要求中使用的名词"组件"和"模块"，意在包括使用一行或多 行软件代码的实现、和/或硬件实现、和/或用于接收手动输入的装备。前面对于本发明实施方式的描述是为了说明和描述的目的而呈 现。它并非意在详尽本发明或将本发明限于所揭示的精确形式，在 上述教导的范围内或是来自本发明实践之中的修改和变化是可能 的。选择和描述那些实施方式是为了解释本发明的原理及其实际应 用，以4吏本领域4支术人员可以在各种不同的实施方式中应用本发明， 及对本发明进行各种修改，以适应特定的预期应用。
权利要求
1.一种对具有多个层的可分级视频数据进行解码的方法，包括提供基本质量层；以及提供至少一个精细粒度分级性(FGS)增强层，至少一个FGS增强层中的每一个都直接或间接地相对于基本质量层而被编码，其中，至少一个FGS增强层仅包含FGS增强信息并与标识符相关联，其中该标识符选自预先确定的数字序列，用以标识基本质量层和相应的FGS增强层。
2. 根据权利要求l的方法，其中，所述至少一个FGS增强层 包括H.264/AVC 一见频编码标准的可分级扩展中的渐进细化片。
3. 根据权利要求1的方法，还包括提供包括识符的后续增强 层，其中所述标识符指示该后续增强层的编码是相对于仅包含FGS 增强信息的层执行的。
4. 根据权利要求1的方法，还包括提供包括基本依赖标识符的 后续增强层，其中所述基本依赖标识符指示该后续增强层的编码是 相对于不含FGS增强信息的层执行的。
5. 根据权利要求l的方法，还包括提供包括第 一基本依赖标识符的后续增强层，其中所述第 一基本 依赖标识符指示该后续增强层的编码是相对于仅包含FGS增强信息 的层执行的；以及提供包括第二基本依赖标识符的附加后续增强层，其中所述第二 基本依赖标识符指示该后续增强层的编码是相对于不含F G S增强信 息的层执行的。
6. 根据权利要求1的方法，还包括提供后续增强层，其中后续 增强层包括基本依赖标识符，指示该后续增强层的编码模式和运动信息的编码是相对于不含FGS增强信息的层执行的，以及第二基本依赖标识符，指示该后续增强层的采样和/或残差信息的编码是相对于仅包含FGS增强信息的层执行的。
7. —种对具有多个层的可分级视频数据进行解码的方法，包括提供基本质量层；以及提供至少一个精细粒度分级性(FGS)增强层，至少一个FGS 增强层中的每 一 个都直接或间接地相对于基本质量层而被编码，其中，至少一个FGS增强层仅包含FGS增强信息，并与标识符 相关联，其中该标识符选自预先确定的数字序列用以标识所有增强 层和基本质量层，且不同于基本质量层或不同FGS层的标识符。
8. 根据权利要求7的方法，其中，所述至少一个FGS增强层 包括H. 2 64/ A V C视频编码标准的可分级扩展中的渐进细化片。
9. 根据权利要求7的方法，还包括提供包括标识符的后续增强 层，其中所述标识符指示该后续增强层的编码是相对于仅包含FGS 增强信息的层执行的。
10. 根据权利要求7的方法，还包括提供基本依赖标识符的后续 增强层，其中所述基本依赖标识符指示该后续增强层的编码是相对 于不含FGS增强信息的层执行的。
11. 根据权利要求7的方法，还包括提供包括第 一基本依赖标识符的后续增强层，其中所述第 一基本 依赖标识符指示该后续增强层的编码是相对于仅包含FGS增强信息 的层执行的；以及提供包括第二基本依赖标识符的附加后续增强层，其中所述第二 基本依赖标识符指示该后续增强层的编码是相对于不含F G S增强信 息的层执行的。
12. —种计算机程序产品，用于对具有多个层的可分级视频数据 进行解码，包括用于提供基本质量层的计算机代码；以及用于提供至少一个FGS增强层的计算机代码，至少一个FGS增 强层中的每一个都相对于基本质量层而被编码，其中，至少一个FGS增强层仅包含FGS增强信息，并与标识符 相关联，其中该标识符选自预先确定的数字序列，用以标识基本质 量层和相应的FGS增强层。
13. 根据权利要求12的计算机程序产品，还包括用于提供包括 基本依赖标识符的后续增强层的计算机代码，其中所述基本依赖标 识符指示该后续增强层的编码是相对于仅包含F G S增强信息的层执 行的。
14. 根据权利要求12的计算机程序产品，还包括用于提供包括 基本依赖标识符的后续增强层的计算机代码，其中所述基本依赖标 识符指示该后续增强层的编码是相对于不含FGS增强信息的层执行的。
15. 根据权利要求12的计算机程序产品，还包括用于提供包括第 一基本依赖标识符的后续增强层的计算机代码， 其中所述第 一基本依赖标识符指示该后续增强层的编码是相对于仅 包含FGS增强信息的层执行的；以及用于提供包括第二基本依赖标识符的附加后续增强层的计算机 代码，其中所述第二基本依赖标识符指示该后续增强层的编码是相 对于不含FGS增强信息的层执行的。
16. 根据权利要求12的计算机程序产品，还包括用于提供后续 增强层的计算机代码，其中所述后续增强层包括基本依赖标识符，指示该后续增强层的编码模式和运动信息的编 码是相对于不含F G S增强信息的层执行的，以及第二基本依赖标识符，指示该后续增强层的采样和/或残差信息 的编码是相对于仅包含FGS增强信息的层执行的。
17. —种计算机程序产品，用于对具有多个层的可分级视频数据 进行解码，包括用于提供基本质量层的计算机代码；以及用于提供至少一个FGS增强层的计算机代码，至少一个FGS增 强层中的每一个都相对于基本质量层而被编码，其中，至少 一个FGS增强层仅包含FGS增强信息和依赖标识符， 该依赖标识符选自预先确定的标识符序列，用以标识所有增强层和 基本质量层。
18. 根据权利要求17的计算机程序产品，还包括用于提供包括 基本依赖标识符的后续增强层的计算机代码，其中所述基本依赖标 识符指示该后续增强层的编码是相对于仅包含FGS增强信息的层执 行的。
19. 根据权利要求17的计算机程序产品，还包括用于提供包括 基本依赖标识符的后续增强层的计算机代码，其中所述基本依赖标 识符指示该后续增强层的编码是相对于不含FGS增强信息的层执行的。
20. 根据权利要求17的计算机程序产品，还包括用于提供包括第 一基本依赖标识符的后续增强层的计算机代码， 其中所述第 一 基本依赖标识符指示该后续增强层的编码是相对于仅 包含FGS增强信息的层执行的；以及用于提供包括第二基本依赖标识符的附加后续增强层的计算机 代码，其中所述第二基本依赖标识符指示该附加后续增强层的编码 是相对于不含FGS增强信息的层执行的。
21. —种电子装置，包括 处理器；和与处理器连接的存储器单元，所述存储器单元包括用于对具有多 个层的可分级视频数据进行解码的计算机程序产品，包括用于提供基本质量层的计算机代码；以及用于提供至少 一个FGS增强层的计算机代码，至少 一个FGS 增强层中的每一个都相对于基本质量层而被编码，其中，至少一个FGS增强层仅包含FGS增强信息，并与标 识符相关联，其中该标识符选自预先确定的数字序列，用以标识基本质量层和相应的FGS增强层。
22. 根据权利要求21的电子装置，其中，该计算机程序产品还 包括用于提供包括基本依赖标识符的后续增强层的计算机代码，其 中所述基本依赖标识符指示该后续增强层的编码是相对于仅包含 FGS增强信息的层执行的。
23. 根据权利要求21的电子装置，其中，该计算机程序产品还 包括用于提供包括基本依赖标识符的后续增强层的计算机代码，其 中所述基本依赖标识符指示该后续增强层的编码是相对于不含FGS 增强信息的层执行的。
24. 根据权利要求21的电子装置，其中，该计算机程序产品还 包括用于提供包括第 一基本依赖标识符的后续增强层的计算机代码， 其中所述第 一 基本依赖标识符指示该后续增强层的编码是相对于仅 包含FGS增强信息的层执行的；以及用于提供包括第二基本依赖标识符的附加后续增强层的计算机 代码，其中所述第二基本依赖标识符指示该附加后续增强层的编码 是相对于不含FGS增强信息的层执行的。
25. 根据权利要求21的电子装置，其中，该计算机程序产品还 包括用于提供后续增强层的计算机代码，所述后续增强层包括基本依赖标识符，指示该后续增强层的编码模式和运动信息的编 码是相对于不含FGS增强信息的层执行的，以及第二基本依赖标识符，指示该后续增强层的采样和/或残差信息 的编码是相对于仅包含FGS增强信息的层执行的。
26. —种电子装置，包括 处理器；和与处理器连接的存储器单元，所述存储器单元包括用于对具有多 个层的可分级视频数据进行解码的计算机程序产品，包括 用于提供基本质量层的计算机代码；以及 用于提供至少 一个FGS增强层的计算机代码，至少 一个FGS增强层中的每一个都相对于基本质量层而被编码，其中，至少一个FGS增强层仅包含FGS增强信息和依赖标识符，其中该依赖标识符选自预先确定的:标识符l[j6]序列，用以标识所有的增强层和基本质量层。
27. 根据权利要求26的装置，其中，该计算机程序产品还包括 用于提供包括基本依赖标识符的后续增强层的计算机代码，其中所 述基本依赖标识符指示该后续增强层的编码是相对于仅包含FGS增 强信息的层执行的。
28. 根据权利要求26的装置，其中，该计算机程序产品还包括 用于提供包括基本依赖标识符的后续增强层的计算机代码，其中所 述基本依赖标识符指示该后续增强层的编码是相对于不含FGS增强 信息的层执行的。
29. 根据权利要求26的电子装置，其中，该计算机程序产品还 包括用于提供包括第 一基本依赖标识符的后续增强层的计算机代码， 其中所述第一基本依赖标识符指示该后续增强层的编码是相对于仅 包含FGS增强信息的层执行的；以及用于提供包括第二基本依赖标识符的附加后续增强层的计算机 代码，其中所述第二基本依赖标识符指示该附加后续增强层的编码 是相对于不含FGS增强信息的层执行的。
全文摘要
一种提供可分级视频编码中改进的FGS标识的系统和方法。根据本发明，每个FGS增强层被赋予唯一的依赖标识符，且仅包含FGS增强信息。对于后续增强层，基本依赖标识符将指向基本质量层或FGS增强层。可选择地，可以使用两个基本依赖标识符。一个标识符用以标识不含FGS信息的基本质量层，它用于后续增强层的编码模式和运动信息的预测。另一个标识符用以标识仅包含FGS信息的FGS增强层，它用于后续增强层的采样和/或残差数据的预测。
文档编号H04N7/26GK101223784SQ200680019819
公开日2008年7月16日 申请日期2006年4月12日 优先权日2005年4月13日
发明者J·里奇, M·卡克泽维茨, 王业奎, 王祥林, 鲍亦亮 申请人:诺基亚公司