专利名称：可分级视频编码中的帧号编码的制作方法
技术领域：
本发明涉及可分级视频编码中的帧号编码:技术。
背景技术：
本部分旨在介绍背景和上下文。这里的描述可能包括可实行的 概念，但不一定是之前已构想或已实行的概念。因此，除非在此另 外指出，本部分中描述的内容不是针对本申请中权利要求的现有技 术，并且不认为该内容是在本部分中包括的现有技术。
视频编码的标准有很多，包括1TU-T H.261、 ISO/IEC MPEG-1 Visual、 ITU-T H.262或ISO/IEC MPEG國2 Visual、 ITU-T H.263、 ISO/IEC MPEG画4 Visual以及ITU-T H.264或ISO/IEC MPEG画4 AVC。 H.264/AVC是出自ITU-T视频编码专家组(VCEG)和ISO/IEC MPEG 的联合视频工作组(JVT)的工作。
此外，还有面向新的一见频编码标准的工作。 一个工作是MPEG 中可分级视频编码(SVC)标准的发展。该标准将成为对H.264/AVC 的修改。第二个工作是由中国音视频编码标准工作组(AVS)组织 的中国视频编码标准的发展。AVS在2004年2月完成了其第一个视 频编码规范AVS 1.0,其目标是SDTV和HDTV应用。从那时起焦 点转移到了移动视频服务上。
为了获得高编码效率，许多可用的视频编码标准都使用运动补 偿，即预测编码，以消除视频信号间的时间冗余。在运动补偿中， 一个或多个预先被解码的图像被用作当前正在被编码或解码的图像 的参考图像。当编码当前图像的一个像素块(当前块)时，搜索参 考图像中的参考块，使得当前块和参考块之间的差信号需要最小的
比特数表示。搜索参考块中还可以考虑对当前块和参考块之间的位 移进行编码。此外，重建块的失真也可以在搜索参考块中考虑。
在编码视频比特流中， 一些图像可以在编码另一些图像时被用 作参考图像，而有一些图像则始终不会被用作参考图像。不会被用 作参考图像的图像被称为非参考图像。然后编码器应该将图像是否 是参考图像发信号告知解码器，使得解码器无需保存用于运动补偿 参考的图像。
在H.264/AVC中，每个预测图像可具有多个参考图像。这些参 考图像被排序在两个参考图像列表中，称为RefPicListO和 RefPicListl。每个参考图像列表具有初始顺序，并且该顺序可以被参 考图像列表重排序过程改变。例如，假设RefPicListO的初始顺序是
r0、 rl、 r2..... rm,使用变长码对它们编码。码0表示r0,码l表
示rl,等等。如果编码器知道rl比r0使用频繁，则它可以通过交换 r0和rl对列表重新排序，使得码l表示r0，码0表示rl。由于码0 的码长小于码1,从而得到改进的编码效率。参考图像列表重排序过 程必须在比特流中用信号通知，使得解码器对于每个参考图像列表 顺序都可得到正确的参考图像。用于H.264/AVC的参考图像列表重 排序过程在标准规范的子条款8.2.4.3中规定。
初始地，每个参考图像都应被保存在后解码器緩冲区或解码图 像緩冲区中，并被标记为"用于参考，，。然而，当参考图像不再用 于参考时，它应被标记为"不用于参考"。参考图像列表重排序过 程和参考图像标记过程(即将参考图像标记为"不用于参考，，)二
者都由参考图像管理过程通过使用存储器管理控制操作(MMCO ) 信令完成。用于H.264/AVC的参考图像标记过程在标准规范的子条 款8.2.5中规定。
在这两个过程中，将被映射到参考图像列表中新顺序的或被标 记为"不用于参考，，的目标参考图像由可以导出标识符PicNum的语 法元素标识。PicNum从语法元素frame—num导出，该语法元素 frame num在片头中被编码，并且用以标识用于之间预测参考的参考
图像。基本上，frame一num相对于解码顺序中前一参考图像中的 frame_num值增力口 1 。
可分级视频编码是采用具有大范围处理功率的解码器的系统的 多种多媒体应用和服务所希望的特征。已提出多种类型的视频可分 级性方案，例如时间可分级性、空间可分级性和质量可分级性。这 些所述类型包括基本层和增强层。基本层是解码视频流所需的最小 量数据，而增强层是提供增强视频信号所需的附加数据。
对H.264/AVC的可分级扩展的工作草案目前允许多个可分级层 的编码。该工作草案在2005年1月香港第14次会议的JVT-N020 "Scalable video coding - working draft 1，，中描述，它也被称为2005 年1月香港会i义的MPEG文档w6901 "Working Draft 1.0 of 14496—10:200x/AMDl Scalable Video Coding"。在i亥多个可分》及层的 编码中，在比特流中被信号发送的变量DependencyID用以指示不同 可分级层的编码依赖(dependency)。具有确定DependencyID值的 编码图像只能使用具有相同DependencyID值的参考图像用于运动补 偿的之间预测。语法元素frame num在片头中被编码,并且用以标 识用于之间预测参考的参考图像。基本上，frame—num相对于解码顺 序中前一参考图像中的frame—num值增力口 1 。
通过frame—num编码方法的例子，图l示出了在具有图像13、 15、 17、 19、 21和23的增强视频信号中图像之间的解码和依赖关系。 图像类型(即，IDR、 E-IDR、 P或E-P)之后的数字表示图像的解 码顺序。以"E-，，在前的图像类型表示图像是增强层图像。图1中 的图像13、 15和17是增强层图像。图像序号(POC)涉及图像之 间的时间关系。箭头表示图像之间的解码依赖关系。使用frame—num 编码方法，图^象13、 15、 17、. 19、 21和23的解码顺序是图像19、 图像13、图像21、图像15、图像23和图像17。
这种frame一num编码方法存在若干问题。例如，如果一个或多 个增强层不是某个可分级呈现所需的，且这些增强层包含参考图像， 则即使传输没有误差，frame num值仍会有间隔。这样，就不可能基于frame—num间隔进行参考图像丢失检测。如果图1中只需要基本 层，则后续图像中的frame一num值将是0、 2、 4、...，使得在没有丟 失发生时仍然存在frame—num间隔。
这种编码方法的另 一 个问题是，包括参考图像标记过程和参考 图像列表重排序过程的存储器管理控制操作(MMCO)可能被用以 管理编码图像緩沖区。在这些操作过程中，操作下的目标参考图像 信息被信号发送。使用目前的frame—num编码，所述信息的信号发 送是低效的。例如，在图1中，参考图像列表是IO、 8、 6、 4、 2、 0 (Pic Num )。
在图1中，即使例如图像13、 15和17的增强图像不是视频呈 现和解码所需的，但增强图像的frame—num值仍然增长。例如，图 像19的frame—num值是0,图像13 (是增强图像)的frame_num值 是l，且图像21的frame—num值是2。因此，即使图像13(增强图 像)不是所需的，图像19到图像13的frame—num仍从0增长到1。
传统的方法并未解决与〗吏用fmme_num的编石马方法相关的一些 问题。例如， 一项技术使用H.263附件W中的图像编号补充增强信 息(SEI)消息，其中每当图像被编码时，无论该图像属于基本层还 是增强层，在模操作中图像编号都增加1。图像编号的这种编码和对 H.264/AVC的可分级扩展的工作草案1.0中的frame—num编码实际 上是相同方法。另一项技术使用H.264/AVC附件D中的子序列信息 SEI消息，其中存在sub—seq—frame一num ，它对于子序列的第 一 个图 像是0,并在属于子序列的解码顺序中相对于前一参考图像在模操作 中增加1。对于属于某个子序列层(即，对H.264/AVC的可分级扩 展的工作草案1.0的上下文中的时间可分级层)的任意子序列中的参 考图像，该sub—seq_frame—num编码是独立的。
因此，当不需要包含参考图像的一个或多个增强层时，需要避 免frame—num值的间隔。进一步，需要以更有效的方式将与目标参 考图像相关的信息进行信号发送。更进一步，需要通过标记和重排 序参考图像来更好地管理编码图像緩冲区。再进一步，需要以流畅
和有效的方式解码和呈现参考图像，使得可以有效地检测到参考图 像丟失，并且解码器可以决定是继续解码还是采取适当的行动以处 理该丟失，例如请求来自编码器侧的内部更新
发明内容
,
总体上，本发明涉及可分级视频编码和确保参考图像丢失才企测
的技术。在本发明中，对于具有确定DependencyID值的所有图像， 语法元素frame—num独立于其他具有不同DependencyID值的图傳^皮 编码。在所有具有事先确定的DependencylD值的图^象中，4吏用 一种 默认的frame一num编码方法。这一技术可以改进存储器管理控制操 作(MMCO)信令的编码效率。
一种示例性实施方式涉及一种编码具有多个层的可分级视频数 据的方法，其中多个层中的每个层都与至少一个其他层相关联。该 方法可以包括使用第 一标识符标识一个或多个层，其中该第 一标识 符指示解码依赖；以及使用第二标识符标识在 一皮标识的 一 个或多个
层中的参考图像。用于第一层中的图像的第二标识符的编码独立于 第二层中的图像。
另 一种示例性实施方式涉及一种编码具有多个层的可分级视频 数据的模块，其中多个层中的每个层都与至少一个其他层相关联。 该模块包括一种装置，用于使用某第二标识符对第 一层中所有图像 的第 一标识符编码。用于第 一层中的图像的第二标识符的编码独立 于第二层中的图像。
另 一 种示例性实施方式涉及 一 种可分级视频编码中使用的计算 机程序产品。该计算机程序产品包括被配置为使用第一标识符标 识一个或多个层的计算机代码，其中该第一个标识符指示解码依赖； 以及使用第二标识符标识在被标识的 一个或多个层中的参考图像。 用于第 一层中的图像的第二标识符的编码独立于第二层中的图像。
图1是示出了根据传统技术在具有图像的增强视频信号中图像 之间的解码和依赖关系的框图。
图2是可被用于示例性实施方式中的通信装置的透视图。
图3是示出了图2中通信装置的示例性功能实施方式的框图。
图4是示出了根据示例性实施方式在具有图像的增强视频信号
中图像之间的解码和依赖关系的框图。
图5是根据示例性实施方式的可分级视频编码中帧号编码中执
行的操作的流程图。
具体实施例方式
示例性实施方式展示了用于改进可分级视频编码的方法、计算 机代码产品和装置。实施方式可被用以解决现有解决方案中固有的 一些问题。例如，这些实施方式可^皮用来以流畅和有效的方式改进 参考图像的呈现和编码，使得可以有效地检测到参考图像丟失，并 且解码器可以决定是继续解码还是采取适当的行为来处理该丟失，
例如请求来自编码器侧的内部更新。此外，这些实施方式可以在参 考图像管理过程中以更有效的方式信号发送与目标参考图像相关的 信息。
这里使用的术语"增强层"是指不同于一些较低质量重建编码 的层。增强层的目的是，当被添加到较低质量重建时，信号质量将 改进，或被"增强"。此外，术语"基本层"既用于使用现有视频 编码算法编码的非可分级基本层，也用于被重建的增强层，子序列 增强层相对于它被编码。
如上所述，实施方式包括程序产品，它包括计算机可读介质，
用于携带计算机可执行指令或数据结构或使得计算机可执行指令或 数据结构保存于其上。这样的计算机可读介质可以是任何可被通用 或专用计算机访问的可用介质。作为例子，这样的计算机可读介质
可以包括RAM、 ROM、 EPROM、 EEPROM、 CD-ROM或其他光盘 存储、磁盘存储或其他磁存储装置，或任何其他可用于以计算机可
执行指令或数据结构的形式携带或保存所需程序代码并且能够被通 用或专用计算机访问的介质。当信息通过网络或其他通信连接(硬 连线的、无线的、或硬连线的或无线的组合)被传递或提供给计算 机时，计算机可将该连接适当地视为计算机可读介质。因此，任何 这种连接都适当地被称为计算机可读介质。上述介质的组合也包括 在计算机可读介质的范围内。计算机可执行指令包括例如导致通用 计算机、专用计算机、或专用处理装置执行某个功能或一组功能的 指令和数据。例如C或0++的任何普通编程语言或汇编语言都可4皮 用以实现本发明。
图2和图3示出作为通信装置(例如类似蜂窝电话的移动通信
装置或类似于基站、路由器、中继器的网络装置等)的一部分的示 例性实施。然而，很重要地指出，本发明不限于任何类型的电子设 备，它可以^皮结合到例如个人数字助理、个人计算机、移动电话的 装置以及其他装置中。应该理解，本发明可以与多种装置结合。
图2和图3中的装置12包括外壳30、显示器32、键区34、麦 克风36、听筒38、电池40、无线接口电路52、编解码器电路54、 控制器56以及存储器58。单个电路和元件是本领域内已知的所有类 型，例如Nokia系列移动电话中的。装置12精确的体系结构无关紧 要。装置12的不同的和附加的部件可被结合到装置12中。本发明 的可分级视频编码和解码技术可以在装置12的控制器56和存储器 58中被执行。
示例性实施方式在方法步骤或操作的总体上下文中被描述，方 法的步骤或操作可由程序产品在一种实施方式中实现，其中程序产 品包括由联网环境中的计算机执行的计算机可执行指令，例如程序 代码。 一般地，程序模块包括例程、程序、对象、组件、数据结构 等，执行特定的任务或实现特定的抽象数据类型。计算机可执行指 令、相关数据结构以及程序模块代表了用于执行在此揭示的方法步 骤的程序代码的例子。这种可执行指令或相关数据结构的特定序列 代表了用于实现这些步骤中所描述功能的相应动作的例子。
软件和web实现可以通过具有基于规则的逻辑和其他逻辑的标 准编程技术完成，以完成各种数据库搜索步骤、关联步骤、比较步 骤和决定步骤。还应指出的是，在这里和权利要求中使用的名词"模 块"意在包括使用一行或多行软件代码的实现、和/或硬件实现、和/ 或用于接收手动输入的装备的实现。
图4示出了在视频信号中图像63、 65、 67、 69、 71和73之间 的解码和依赖关系。图像类型(即，IDR、 E-IDR、 P或E-P)之后 的数字表示图像的解码顺序。以"E-"在前的图像类型表示图像是 增强层图像。例如图4中的图像63、 65和67是增强层图像。图像 序号(POC)表示图像之间的时间关系。箭头表示图像之间的解码 依赖关系。
可分级视频中的视频比特流包括指示可分级层的 DedpendencyID 。根据示例性方法， 一 个层的frame—num值独立于第 二层的frame—num。例3口 ， DedpendencyID为0的图 <象38的frame—num 值是0， DedpendencyID为1的图像32的frame—num也是0。图4 中，如果图像63、 65和67不是解码和呈现所需的，则图像63、 65、 67、 69、 71和73的解码顺序可以是图像69、图4象71和图像73。如 果一个或多个增强图像是所需的，则他们被包括在顺序中。例如， 当图像63、 65和67为所需的，顺序将为图像69、图像63、图像71、 图像65、图像73和图像67。
为具有相同DedpendencyID值的所有图像独立地编码帧号确保 了基于frame—num值间隔的参考图像丢失检测，并允许MMCO信息 的有效信号发送。
图5示出了可分级视频编码中帧号编码中执行的操作。根据实 施方式或实现，可以^丸行附加、更少或不同的才喿作。可分级视频凄t 据具有多个层，其中每个层与至少一个其他层相关联。在操作82中，:. 一个或多个层使用第 一标识符被标识。该第 一标识符指示解码依赖。 一个或多个层可以是空间、质量或FGS增强层。
在才喿作84中，第二标识符被用以标识在已被标识的层中的参考
图像。该第二标识符独立于第一标识符，是独立数列的一部分。具 有第 一标识符的第 一值的层中所有图像的第二标识符的编码，独立 于具有第 一 标识符的第二值的层中所有图像。
所描述方法的优势包括确保了基于frame—num值间隔的参考图 像丢失检测。如果在基本层或增强层(但不是最高增强层)中没有 参考图像丢失，则解码和呈现可以流畅地继续；否则，很可能发生 相当大的质量下降。知道这个信息，解码器可以适当地进行操作以' 最大化最终用户体验。例如，如果解码器知道没有参考图像丢失， 则它可以继续解码。在图5中，对于任何层，连续图像的frame—num 值是0、 1、 2、".，使得当没有丟失发生时不存在frame_num间隔。
又例如，如果解码器知道存在参考图像丢失，则它可以对质量 下降进行评估，而如果质量下降可能很大，则它可以停止显示并请 求来自发送侧的视频内容更新。此外，该方法使MMCO信息的信号 发送变得更为有效，使得编码效率得以改进。在图5中，对于任意 层的图像，参考图像列表是5、 4、 3、 2、 1、 O(PicNum)。
尽管描述了本发明的多种实施方式，应该理解，对于那些本发 明所属领域的技术人员，修改和变化是可能的。相应地，本说明书 所附权利要求旨在精确地定义本发明。
权利要求
1.一种对具有多个层的可分级视频数据进行编码的方法，所述多个层中的每个层都与至少一个其他层相关联，该方法包括使用第一标识符标识一个或多个层，该第一标识符指示解码依赖；以及使用第二标识符标识在已被标识的一个或多个层中的参考图像，其中用于第一层中图像的所述第二标识符的编码独立于第二层中图像。
2. 根据权利要求l的方法，其中所述一个或多个层包括空间、 质量和细粒度可分级性(FGS)增强层中的一个或多个。
3. 根据权利要求l的方法，其中所述第一标识符取自第一普通 数列。
4. 根据权利要求3的方法，其中所述第二标识符取自不同于所 述第 一普通数列的第二普通数列。
5. 根据权利要求l的方法，其中所述第一标识符包括 Dependency ID变量。
6. 根据权利要求1的方法，其中默认的第一标识符被用作所述 第 一标识符。
7. 根据权利要求1的方法，其中所述第二标识符包括frame—num 语法元素。
8. 根据权利要求l的方法，其中所述第二标识符和从所述第二 标识符导出的第三标识符中任何一个被用于存储器管理控制操作(MMCO)信令中。
9. 根据权利要求8的方法，其中所述第三标识符包括变量 PicNum。
10. 根据权利要求8的方法，其中所述存储器管理控制操作 (MMCO)是参考图像列表重排序过程。
11. 根据权利要求8的方法，其中所述存储器管理控制操作(MMCO)是参考图像标记过程。
12. —种对具有多个层的可分级视频数据进行编码的模块，其中 所述多个层中的每个层都与至少一个其他层相关联，该模块包括用于使用某第二标识符对第一层中所有图像的第一标识符进行 编码的装置，其中用于所述第 一 层中图像的所述第二标识的所述编 码独立于第二层中图像。
13. 根据权利要求12的模块，其中所述第一层和第二层包括空 间、质量和细粒度可分级性(FGS)增强层中的一个或多个。
14. 根据权利要求12的模块，其中所述第一标识符取自第一普 通数列。
15. 根据权利要求14的模块，其中所述第二标识符取自不同于 所述第 一普通数列的第二普通数列。
16. 根据权利要求12的模块，其中所述第一标识符包括 DependencyID变量。
17. 根据权利要求12的模块，其中默认的第一标识符被用作所 述第一标识符。
18. 根据权利要求12的模块，其中所述第二标识符包括 frame—num语法元素。
19. 根据权利要求12的模块，其中所述第二标识符和从所述第 二标识符导出的第三标识符中任何 一 个被用于存储器管理控制操作(MMCO)信令中。
20. 根据权利要求19的模块，其中所述第三标识符包括变量 PicNum。
21. 根据权利要求19的模块，其中所述存储器管理控制操作 (MMCO)是参考图像列表重排序过程。
22. 根据权利要求19的模块，其中所述存储器管理控制操作 (MMCO)是参考图像标记过程。
23. —种在可分级视频编码中使用的计算机程序产品，该计算机程序产品包括计算机代码，被配置用于使用第一标识符标识一个或多个层，所述第一标识符指示解 码依赖；以及使用第二标识符标识在已被标识的 一个或多个层中的参考图像，其中用于第 一层中图像的所述第二标识符的编码独立于 第二层中图像。
24. 根据权利要求23的计算机程序产品，其中所述一个或多个 层包括空间、质量和细粒度可分级性(FGS )增强层中的 一个或多个。
25. 根据权利要求23的计算机程序产品，其中所述第一标识符 取自第一普通数列。
26. 根据权利要求25的计算机程序产品，其中所述第二标识符 取自不同于所述第 一普通数列的第二普通数列。
27. 根据权利要求23的计算机程序产品，其中所述第一标识符 包括Dependency ID变量。
28. 根据权利要求23的计算机程序产品，其中默认的第一标识 符被用作所述第 一标识符。
29. 根据权利要求23的计算机程序产品，其中所述第二标识符 包括frame一num语法元素。
30. 根据权利要求23的计算机程序产品，其中所述第二标识符 和从所述第二标识符导出的第三标识符中任何一个被用于存储器管 理控制才喿作(MMCO)信令中。
31. 根据权利要求30的计算机程序产品，其中所述第三标识符 包括变量PicNum。
32. 根据权利要求30的计算机程序产品，其中所述存储器管理 控制操作(MMCO)是参考图像列表重排序过程。
33. 根据权利要求30的计算机程序产品，其中所述存储器管理 控制操作(MMCO)是参考图像标记过程。
全文摘要
一种对具有多个层的可分级视频数据进行编码的方法，其中多个层中的每个层都与至少一个其他层相关联，该方法包括使用第一标识符标识一个或多个层，其中该第一标识符指示解码依赖；以及使用第二标识符标识在被标识的一个或多个层中的参考图像。用于第一层中图像的第二标识符的编码独立于第二增强层中的图像。这样，对于所有具有确定DependencyID值的图像，语法元素frame_num的编码独立于其他具有不同DependencyID值的图像。在所有具有事先确定的DependencyID值的图像中，使用一种默认的frame_num编码方法。
文档编号H04N7/26GK101189881SQ200680019813
公开日2008年5月28日 申请日期2006年4月12日 优先权日2005年4月13日
发明者M·安尼克塞拉, 王业奎 申请人:诺基亚公司