使用虚拟参考画面的方法及装置的制作方法

专利名称：使用虚拟参考画面的方法及装置的制作方法
技术领域：
本原理一般涉及视频编码与解码，并具体地涉及使用虚拟参考画面的方 法及装置。
背景技术：
在诸如国际标准化组织/国际电工委员会(ISO/IEC)运动画面专家组-4 (MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟电信部门 (ITU-T) H.264建议(下文中"MPEG-4 AVC标准")之类的现有^L频压缩系 统和标准中，之前重构/解码的画面被用作将来画面的参考，为了补偿那些画 面之间的任何运动行为(motion activity)而采用运动估计与补偿。在多视图 视频编码(MVC )中，来自相邻视图的重构/解码画面也可以被用作预测的源， 其中包括不一致(disparity)估计及补偿。
存在以下情况如果将诸如例如MPEG-4 AVC标准中的加权预测和自适 应参考生成的现有技术之类的某种处理应用于解码画面，则可以增强预测。 通过处理解码画面，可以增强预测信号的质量，并且因此可以改进编码效率。 在加权预测的情况下，在当前画面和解码画面之间解决整体照度(global illumination)失配。在自适应参考生成的情况下，通过自适应参考生成来抑 制不同种类的噪声，从而提供更相关的参考信号。

发明内容
通过本原理来解决现有技术的这些和其他缺点和劣势，本原理针对使用 虚拟参考画面的方法与装置。
根据本原理的一方面，提供了一种装置。该装置包括编码器，该编码器使用至少一个虚拟参考画面来对至少一个画面进行编码以便形成作为结果的比特流。该至少 一个虚拟参考画面与之前解码的画面不同。
根据本原理的另一方面，提供了一种方法。该方法包括使用至少一个虚拟参考画面来对至少一个画面进行编码以便形成作为结果的比特流。该至少 一个虚拟参考画面与之前解码的画面不同。
根据本原理的另一方面，提供了一种装置。该装置包括解码器，该解码器使用至少一个虚拟参考画面来对来自比特流的至少一个画面进行解码。该至少 一个虚拟参考画面与之前解码的画面不同。
根据本原理的另一方面，提供了一种方法。该方法包括使用至少一个虛拟参考画面来对来自比特流的至少 一个画面进行解码。该至少一个虚拟参考画面与之前解码的画面不同。
结合附图阅读示例实施例的以下详细描述，本原理的这些和其他方面、特征及优点将变得明显。


根据以下示例附图可以更好地理解本原理，在附图中
图1是依据本原理的实施例的、可以应用本原理的支持虛拟参考画面的示例视频编码器的框图2是依据本原理的实施例的、可以应用本原理的支持虚拟参考画面的示例视频解码器的框图； .
图3是依据本原理的实施例的、用于在解码画面緩冲器(DPB)中使用虚拟参考画面(VPR)管理来对视频内容进行编码的示例方法的流程图4是依据本原理的实施例的、用于在解码画面緩冲器(DPB)中使用虚拟参考画面(VPR)管理来对视频内容进行解码的示例方法的流程图5是依据本原理的实施例的、用于在本地存储器中使用虚拟参考画面(VPR)管理来对^L频内容进行编码的示例方法的流程图；以及
图6是依据本原理的实施例的、用于在解码画面緩冲器(DPB)中使用虚拟参考画面(VPR)管理来对视频内容进行解码的示例方法的流程图。
具体实施例方式
本原理针对使用虚拟参考画面的方法及装置。本描述说明本原理。因此，应理解本领域技术人员能够设计出体现本原理并被包括在本原理精神和范围之内的各种布置，尽管这些布置并未在这里被明确描述或示出。
这里叙述的所有例子和条件语句意图用于教学目的以便帮助读者理解本原理以及由发明人所贡献以促进本领域的构思，并且这里叙述的所有例子和条件语句应被解释为不限于这样具体引用的例子和条件。
此外，这里叙述本原理的原理、方面和实施例以及本原理的具体例子的所有陈述意图包含其结构上的以及功能上的等效物。此外，意图使这样的等效物包括当前已知的等效物以及将来开发的等效物，即，不论结构如何而被开发来执行相同功能的任何元件。
因此，例如本领域技术人员将理解这里呈现的框图表示体现本原理的图示性电路的概念性视图。类似地，将理解任何流程图、流程图示、状态转换图、伪代码等表示可以被实质表示在计算机可读介质中并且因此可以由计算机或处理器执行的各种处理，而不论是否明确示出了这样的计算机或处理器。
可以通过使用专用硬件以及与适当软件相关的、能够执行软件的硬件来提供图中所示的各种元件的功能。当通过处理器提供时，该功能可以通过单个专用处理器、通过单个共享处理器、或者通过多个单独的处理器来提供，所述多个单独的处理器的一些处理器可以被共享。此外，术语"处理器"或"控制器"的明确使用应被解释为排外地指代能够执行软件的硬件，并且可以隐含
地包括但不限于数字信号处理器("DSF，)硬件、用于存储软件的只读存储器("ROM")、随机存取存储器("RAM")以及非易失性存储装置。
还可以包括传统的和/或定制的其他硬件。类似地，图中所示的任何开关仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制与专用逻辑电路的交互作用、或者甚至是手动地执行它们的功能，如从上下文中具体理解的，实施者可以选择具体技术。
在本申请权利要求书中，被表达为用于执行特定功能的部件的任何元件意图包括执行该功能的任何方式，包括例如a)执行该功能的电路元件的组合，b)与用于执行软件的适当电路相结合以执行该功能的任何形式的软件，因此包括固件、微代码等。由这样的权利要求书限定的本原理在于以下事实以权利要求书要求的方式将由各种所叙述的装置提供的功能组合并结合在一起。因此，认为可以提供那些功能的任何部件等效于这里示出的那些部件。
ii说明书中对本原理的"一个实施例"或"实施例，，的引用意味着与本实施例 相关地描述的具体特征、结构、特性等包括在本原理的至少一个实施例中。 因此，出现在贯穿说明书的各位置的短语"在一个实施例中"或"在实施例中，， 的出现不必都指代同 一实施例。
如这里所使用的，"高级语法(high level syntax)，，指代在分级体系中位 于宏块层之上的比特流中存在的语法。例如，如这里所使用的高级语法可以 指代但不限于在码片报头级(slice header level )、补充增强信息(SEI)级、 画面参数设置级、序列参数设置级以及NAL单元报头级处的语法。
转到图1,通过参考标号100总地指示可以应用本原理的、支持虚拟参 考画面的示例视频编码器。
视频编码器100的输入端以信号通信方式与组合器110的同相输入端和 运动估计器(ME) 180的第一输入端连接。组合器IIO的输出端以信号通信 方式与离散余弦变换器120的输入端连接。离散余弦变换器120的输出端以 信号通信方式与量化器130的输入端连接。量化器130的输出端以信号通信 方式与可变长度编码器(VLC) 140的输入端和逆量化器150的输入端连接。 可变长度编码器(VLC) 140的输出端可用作编码器IOO的输出端。
逆量化器150的输出端以信号通信方式与逆离散余弦变换器155的输入 端连接。逆余弦变换器155的输出端以信号通信方式与组合器165的第一同 相输入端连接。组合器165的输出端以信号通信方式与环路滤波器160的输 入端连接。环路滤波器160的输出端以信号通信方式与解码画面緩沖器175 的输入端连接。解码画面緩沖器175的第一输出端以信号通信方式与虚拟参 考画面緩冲器170的输入端连接。
开关195的输出端以信号通信方式与运动估计器180的第二输入端和运 动补偿器190的第二输入端连接。开关195的输入端以信号通信方式与解码 画面緩冲器175的第二输出端或虛拟参考画面緩冲器170的输入端连接。运 动估计器180的输出端以信号通信方式与运动补偿器190的第一输入端连接。 运动补偿器190的输出端以信号通信方式与组合器165的第二同相输入端和 组合器110的反相输入端连接。
转到图2,通过参考标号200总地指示可以应用本原理的、支持虚拟参 考画面的示例视频解码器。
视频解码器200包括用于接收比特流的可变长度解码器210。可变长度解码器210的第一输出端以信号通信方式与运动补偿器260的第一输入端连 接。可变长度解码器210的第二输出端以信号通信方式与逆量化器220的输 入端连接。逆量化器220的输出端以信号通信方式与逆离散余弦变换器230 的输入端连接。离散余弦变换器的输出端以信号通信方式与组合器240的第 一同相输入端连接。组合器240的输出端以信号通信方式与环路滤波器2卯 的输入端连接。环路滤波器290的输出端以信号通信方式与解码画面緩冲器 250的输入端连接。解码画面缓冲器250的第一输出端以信号通信方式与虚 拟参考画面緩冲器255的输入端连接。解码画面緩冲器250的第二输出端可 用作解码器200的输出端。
开关265的输出端以信号通信方式与运动补偿器260的第二输入端连接。 运动补偿器260的输出端以信号通信方式与组合器240的第二同相输入端连 接。
开关265的输入端以信号通信方式与虚拟参考画面緩冲器255的输出端 或解码画面緩冲器250的第二输出端连接。
解码画面緩冲器250包括长期存储器部分250A和短期存储器部分250B。
依据本原理，提供了用于在视频编码器和/或视频解码器中管理虚拟参考 画面(VRP)的方法和装置。在实施例中，虚拟参考画面是从已经解码的画 面创建的，并且不要求用于显示目的。在实施例中，虚拟参考画面可以被用 于预测，而不要求用于显示目的。在实施例中，VRP在视频编码器和/或解码 器中的使用包括以下实施元素中的一个或多个语法支持；VRP的存储装置/ 存储器模型；以及在预测环路中包括VRP的标准例程。
为了说明而非限制，所提出的管理方法和装置的一些可能应用包括多视 图视频编码(MVC)中的视图内插预测、滤波后的参考预测、参考变形 (reference warping )、以及涉及所生成的虚拟参考的其它方法。耳又决于施加 在解码画面上的处理的类型，在局部(local)基础上获得处理后的参考信号 可能是不可能的或不便的。无限脉冲响应(IIR)滤波和画面变形是两个这类 的示例，其中，更好的是在帧的基础上而不是在块的基础上施加处理。另一 例子是视图合成预测。在多视图视频编码中，通过视图合成可以开发相邻照 相机视图之间的冗余。通过使用照相机参数和/或深度信息将相邻的视图画面 变形和混合，可以创建视图合成画面。合成画面可以被用作用于预测当前朝L 图画面的参考画面，与不一致补偿预测相比，该合成画面可以提供更好的预测源。应注意虚拟参考画面(VRP)的概念还可以被应用于可以局部地进行 处理的情形，诸如例如样本加权或有限脉冲响应(FIR)滤波的情况。
应理解尽管之前已经提出了自适应参考生成的概念，并且在MPEG-4 AVC标准中已经采用加权预测作为滤波后参考画面的特定情况，然而对于管 理所生成的虚拟参考画面却不存在已知的现有技术。在之前提出的方法中， 通过在补偿处理中对编码/解码画面进行筒单处理/滤波，可以处理所生成的参 考的管理。换句话说，对于之前的方法不需要完整的所生成的参考画面。在 如何管理全部生成的参考画面方面，没有现有技术。
合并了本原理的实施例可以包括这里下面进一步详细描述的以下方面的 一个或多个虚拟参考画面的信令、用于虚拟参考画面的存储器管理、以及 虚拟生成的帧在预测中的使用。
虚拟参考画面的信令
希望支持一种用信号通知所生成的参考画面的灵活方式，该方式随后可 以在存储和参考方面在那些画面的管理中使用。为了这样做，在一个实施例 中，提出以下语法。
在实施例中，在序列级上用信号通知是否使能了 VRP。这可以例如通过 引入高级语法vrp_present—flag来实现。
在实施例中，在画面级上用信号通知有多少虚拟参考存在以及创建它们 的方法。例如，在该实施例的一个实现中，在用于每个编码画面的语法中将 出现生成虛拟参考画面所需的使用和参数。对于可能的基于MPEG-4 AVC标 准的实现，可以引入码片报头语法nun^vrps。然后将给每个虚拟参考画面分
生成每个虚拟参考画面的参数将取决于确切的生成方法。在多视图视频编码 中的视图合成预测的例子中，可以包括照相机参数和深度信息。在规则视频 编码中的变形参考的例子中，可以用信号通知变形参数(诸如，例如，同形 (homograph)矩阵元素)。自适应参考滤波情况下更具体的例子是用信号通知 FIR滤波器系数，其中，如果要应用不可分的两维滤波器，则将需要量化并 传输」个系数。
用于虚拟参考画面的存储器管理由于在编码器和解码器两处都需要生成和存储虚拟参考画面，因此应考 虑相关的存储存储器。有若干种提供用于虚拟参考画面的存储器管理模型的
方法(l)在第一方法中，将所生成的虚拟参考画面存储在解码画面緩冲器 中；以及(2)在第二方法中，将虚拟生成的帧存储在临时生成画面緩冲器中， 该临时生成画面緩冲器仅在当前帧的编码/解码期间有效。
关于提供依据上述第一方法的存储器管理模型，由于仅对于当前画面的 编码/解码需要虚拟参考画面，因此应当适当地定义解码画面緩冲器插入和删 除过程。在一个可能的实现中，将在构建参考列表之前在解码画面緩冲器中 插入所生成的参考画面，并且将在当前帧的编码/解码完成之后立即移除所生 成的参考画面。
当虚拟参考画面存储在解码画面緩沖器中时，将需要将它们与非虚拟解 码画面区分开，存在若干种如何在基于MPEG-4 AVC的实现中进行该区分的 选择。 一些用于将存储在解码画面緩冲器中的虚拟参考画面与非虚拟参考画 面区分开的示例选择包括例如(1)将虚拟参考画面存储为短期参考画面并 且使用未使用的frame—num/picture—order—count; ( 2 )将虛拟参考画面存储为 长期参考画面并且使用长期存储器中的未使用的kmgtermjd，s;以及(3)由 于虛拟参考画面在属性(nature)上不同于之前解码的画面，因此，在解码画 面緩冲器中可以分配专用的存储器位置(slot)来存储虛拟参考画面。在该 VRP存储器中，将通过虚拟参考画面的vrp—id来标识它们，该vrp—id对于每 个虚拟参考画面是唯一的。
关于提供依据上述第二方法的存储器管理模型，通过将虚拟生成的帧存 储在仅在当前帧的编码/解码期间有效的临时生成画面緩冲器中，该临时生成 画面緩冲器将能够存储所有的虚拟生成的画面。将通过虚拟参考画面的 vrp—id来标识它们，该vrpjd对于每个虚拟参考画面是唯一的。
虚拟生成的帧在预测中的使用
为了使虚拟生成的画面对于当前画面的预测是可参考的，需要一种在预 测过程中包括虚拟参考画面的灵活方式。依据本原理，提出了用于实现该方 式的两个示例实施例，尽管应理解给出在此提供的本原理的教导，本领域和 相关领域的普通技术人员将预期这些和其它方式来在预测过程中包括虛拟参 考画面，且同时保持本原理的范围。在用于在预测过程中包括虛拟参考画面的一个实施例中，直接参考虚拟
参考画面。在该方法中，使用reference一vrp一id语法来用信号通知在预测过程 中使用哪个虚拟参考画面。通过这样做，将保持不涉及传统的参考列表，并 且语法reference—vrp—id仅当在预测中涉及VRP时才出现。
在用于在预测过程中包括虚拟参考画面的另 一实施例中，通过参考列表 来参考虚拟参考画面。相应地，如果虚拟参考画面存在，则可以修改默认的 参考列表标记过程(markingprocess)以便包括所述虚拟参考画面，并且可以 使用一般的RPLR命令来支持参考列表的构建，或者可以定义VRP专用的参 考画面列表重新排序(RPLR)命令来支持参考列表的构建。具体地，如果在 解码画面緩冲器中分配了 VRP专用位置，或者使用了临时VRP緩冲器，将 引入VRP专用的RPLR命令来将由reference—vrp一id指示的虚拟参考画面放 置到正在构建的参考列表中。此外，可以在码片报头中引入附加的语法元素， 对于每个参考索引，其将用信号通知该参考索引是否参考虚拟参考画面。如 果参考，则可以使用相关联的reference—vrp—id来用信号通知该虚拟参考画面。 在该方法中，不需要引入新的VRP专用的RPLR命令，这是因为可以使用一 般的RPLR命令来使不同的参考索引参考解码画面緩冲器中的同一解码画 面。然后，通过reference一vrpjd,可以用信号通知该参考画面是否是原始的 解码参考画面，或者是否是从解码参考画面生成的虚拟参考画面。
转到图3，通过参考标号300总地指示用于在解码画面緩冲器(DPB)中 使用虚拟参考画面(VRP)管理来对视频内容进行编码的示例方法。方法300 包括开始块305，其将控制传到功能块310。功能块310将vrp_present—flag 设置为等于零，并将控制传到判定块315。判定块315确定是否使能了 VRP。 如果4吏能VRP，则将控制传到功能块320。否则，将控制传到功能块370。
功能块320将vrp_present—flag设置为等于一，并将控制传到功能块325。 功能块325设置num一vrps以及VRP参数语法，并将控制传到功能块330。功 能块330执行VRP生成以便生成一个或多个VRP (下文中称为"VRP")，并 将控制传到功能块335。功能块335将VRP插入在解码画面緩冲器(DPB ) 中，设置frame—num/画面顺序计数(POC )或long—term—frame—idx或vrp—id, 并将控制传到功能块340。功能块340在参考列表构建中包括VRP,并将控 制传到功能块345。功能块345在参考列表重新排序中包括VRP，并将控制 传到功能块350。功能块350将高级语法写入到比特流中，并将控制传到功能块355。功能块355编码当前画面，如果VRP出现则通过refjdx参考VRP, 并将控制传到功能块360。功能块360从DPB中移除VRP,并将控制传到功 能块365。功能块365将低级语法写入到比特流中，并将控制传到结束块399。 功能块370利用VRP执行参考列表构建，并将控制传到功能块350。 转到图4，通过参考标号400总地指示用于在解码画面緩冲器(DPB)中 使用虚拟参考画面(VRP )管理来对视频内容进行解码的示例方法。方法400 包括开始块405,其将控制传到功能块410。功能块410从比特流中读取高级 语法，其包括例如vrp_present_flag、 num—vrps、以及其它VRP参数语法，并 将控制传到判定块415。判定块415确定vrp_present—flag是否等于一。如果 是，则将控制传到功能块420。否则，将控制传到功能块460。
功能块420解码VRP参数，并将控制传到功能块425。功能块425执行 VRP生成以便生成一个或多个VRP (下文中称为"VRP"),并将控制传到功 能块430。功能块430将VRP插入到DPB中，设置frame—num/画面顺序计 数或long—term_frame—idx或vrp—id,并将控制传到功能块435。功能块435 在默认的参考列表构建中包括VRP,并将控制传到功能块440。功能块440 在参考列表重新排序中包括VRP，并将控制传到功能块445。功能块445从 比特流读取低级语法，并将控制传到功能块450。功能块450解码当前画面， 如果VRP出现则通过ref—idx参考VRP，并将控制传到功能块455。功能块 455从DPB中移除VRP，并将控制传到结束块499。
功能块460利用VRP执行参考列表构建，并将控制传到功能块445。 转到图5，通过参考标号500总地指示用于在本地存储器(local memory ) 中使用虚拟参考画面(VRP)管理来对视频内容进行编码的示例方法。方法 500包括开始块505,其将控制传到功能块510。功能块510将vrp_present—flag 设置为等于零，并将控制传到判定块515。判定块515确定是否使能了 VRP。 如果使能了VRP,则将控制传到功能块520。否则，将控制传到功能块540。 功能块520将vrpj)resent—flag设置为等于一，并将控制传到功能块525。 功能块525设置num—vrps以及VRP参数语法，并将控制传到功能块530。功 能块530执行VRP生成以便生成一个或多个VRP (下文中称为"VRP"),并 将控制传到功能块535。功能块535将VRP存储在本地存储器中，设置vrpjd, 并将控制传到功能块540。功能块540利用VRP执行参考列表构建，并将控 制传到功能块545。功能块545将高级语法写入到比特流中，并将控制传到功能块550。功能块550编码当前画面，如果VRP出现则通过vrp—id参考 VRP，并将控制传到功能块555。功能块555释放被分配给VRP的存储器， 并将控制传到功能块560。功能块560将低级语法写入到比特流中，并将控 制传到结束块599。
转到图6，通过参考标号600总地指示用于在解码画面緩冲器(DPB)中 使用虚拟参考画面(VRP)管理来对视频内容进行解码的示例方法。方法600 包括开始块605,其将控制传到功能块610。功能块610从比特流读取高级语 法，其包括例如vrp_present—flag、 num—vrps、以及其它VRP参数语法，并将 控制传到判定块620。判定块620确定vrp_present—flag是否等于一。如果是， 则将控制传到功能块625。否则，将控制传到功能块645。
功能块625解码VRP参数，并将控制传到功能块630。功能块630执行 VRP生成以便生成一个或多个VRP (下文中称为"VRP"),并将控制传到功 能块640。功能块640将VRP存储在本地存储器中，i殳置vrpjd,并将控制 传到功能块645。功能块645不利用VRP而执行参考列表构建，并将控制传 到功能块650。功能块650从比特流读取低级语法，并将控制传到功能块660。 功能块660解码当前画面，如果VRP出现则通过vrp—id参考VRP,并将控 制传到功能块665。功能块665释放被分配给VRP的存储器，并将控制传到 功能块670。功能块670从DPB中移除VRP,并将控制传到结束块699。
现在将给出本发明的许多伴随优点/特征中的一些的描述，其中的一些已 经在上面提及。例如， 一个优点/特征是一种装置，其包括用于使用至少一个 虚拟参考画面来编码至少一个画面、从而形成作为结果的比特流的编码器。 所述至少 一个虚拟参考画面不同于之前解码的画面。
另一优点/特征是具有如上所述的编码器的装置，其中，所述至少一个画 面对应于多视图视频内容的至少两个视图中的至少一个。
又一优点/特征是具有如上所述的编码器的装置，其中，所述至少一个虚 拟参考画面是从已经经过信号处理变换的至少一个参考画面形成的。
此外，另一优点/特征是具有以下编码器的装置，如上所述在该编码器中， 所述至少一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面 形成的，其中，所述编码器以被包括在所述作为结果的比特流中的至少一个 高级语法用信号通知所述信号处理变换的变形参数。
另外，另一优点/特征是具有如上所述的编码器的装置，其中，所述至少一个虚拟参考画面是从至少 一个滤波后的参考画面形成的。
而且，另一优点/特征是具有以下编码器的装置，如上所述在该编码器中， 所述至少一个虚拟参考画面是从至少一个滤波后的参考画面形成的，其中， 所述编码器在被包括在所述作为结果的比特流中的至少 一个高级语法中用信 号通知用于对所述至少一个滤波后的参考画面进行滤波的滤波器系数。
另外，另一优点/特征是具有如上所述的编码器的装置，其中，所述至少 一个画面对应于多视图-见频内容，并且使用至少一个^L图内插画面来形成所 述至少一个虚拟参考画面。
此外，另一优点/特征是具有以下编码器的装置，如上所述在该编码器中， 所述至少一个画面对应于多视图视频内容，其中，所述编码器以被包括在所 述作为结果的比特流中的至少一个高级语法元素用信号通知用于所述至少一 个视图内插画面的参数。
另外，另一优点/特征是具有如上所述的编码器的装置，其中，所述编码 器在所述作为结果的比特流中用信号通知所述至少一个虚拟参考画面的存 在。
而且，另一优点/特征是具有如上所述的编码器的装置，其中，所述编码 器以所述作为结果的比特流的高级语法用信号通知所述至少一个虚拟参考画 面的存在。
另外，另一优点/特征是具有如上所述的编码器的装置，其中，以被包括 在所述作为结果的比特流中的至少一个高级语法元素用信号通知用于创建所 述至少 一个虚拟参考画面的方法和参数中的至少 一个。
此外，另一优点/特征是具有如上所述的编码器的装置，其中，所述至少 一个虛拟参考画面存储在解码画面緩沖器中。
另外，另一优点/特征是具有以下编码器的装置，如上所述在所述编码器 中，所述至少一个虚拟参考画面存储在解码画面緩冲器中，其中，所述编码 器相对于所述解码画面緩冲器对于所述至少一个虚拟参考画面利用预先规定 的插入和删除操作。
而且，另一优点/特征是具有以下编码器的装置，如上所述在所述编码器 中，所述至少一个虚拟参考画面存储在解码画面緩冲器中，其中，所述至少 一个虚拟参考画面存储在解码画面緩冲器的短期存储器部分中。
另外，另一优点/特征是具有以下编码器的装置，如上所述在所述编码器中，所述至少一个虚拟参考画面存储在解码画面緩冲器中，其中，所述至少 一个虚拟参考画面存储在解码画面緩冲器的长期存储器部分中。
此外，另一优点/特征是具有如上所述的编码器的装置，其中，所述至少
另外，另一优点/特征是具有如上所述的编码器的装置，其中，所述至少 一个虚拟参考画面存储在>^人解码画面緩冲器分离的临时画面緩冲器中。
而且，另一优点/特征是具有如上所述的编码器的装置，其中，所述编码 器使用所述至少一个虚拟参考画面的索引而在所述至少一个画面的预测过程 中直接参考所述至少一个虚拟参考画面。
另外，另一优点/特征是具有以下编码器的装置，如上所述在所述编码器 中，所述编码器在至少一个画面的预测过程中直接参考所述至少一个虚拟参 考画面，其中，执行默认的参考列表构建过程以便包括所述至少一个虚拟参 考画面。
此外，另一优点/特征是具有以下编码器的装置，如上所述在所述编码器 中，执行默认的参考列表构建过程以便包括所述至少一个虚拟参考画面，其 中，定义至少一个参考画面列表重新排序命令以便在默认的参考列表构建中 包括所述至少 一个虚拟参考画面。
另外，另一优点/特征是具有以下编码器的装置，如上所述在所述编码器 中，执行默认的参考列表构建过程以便包括所述至少一个虚拟参考画面，其 中，将预先规定的参考列表重新排列命令与高级语法结合以便在默认的参考
列表构建中包括所述至少一个虚拟参考画面。
而且，另一优点/特征是具有如上所述的编码器的装置，其中，所述至少 一个虚拟参考画面中的每一个虚拟参考画面分别被与参考画面列表相对应的 参考画面索引参考。
另 一优点/特征是具有用于使用至少一个虛拟参考画面从比特流解码至 少一个画面的解码器的装置。所述至少一个虚拟参考画面不同于之前解码的 画面。
又一优点/特征是具有如上所述的解码器的装置，其中，所述至少一个画
面对应于多^L图^L频内容的至少两个^L图中的至少一个。
此外，另一优点/特征是具有如上所述的解码器的装置，其中，所述至少 一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面形成的。此外，另一优点/特征是具有以下解码器的装置，如上所述在该解码器中， 所述至少一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面 形成的，其中，所述解码器从被包括在比特流中的至少一个高级语法确定所 述信号处理变换的变形参数。
另外，另一优点/特征是具有以下解码器的装置，如上所述在该解码器中， 所述至少一个虛拟参考画面是从已经经过信号处理变换的至少一个参考画面 形成的，其中，所述至少一个虚拟参考画面是从至少一个滤波后的参考画面 形成的。
而且，另一优点/特征是具有以下解码器的装置，如上所述在该解码器中， 所述至少一个虚拟参考画面是从至少一个滤波后的参考画面形成的，其中， 所述解码器从被包括在比特流中的至少 一个高级语法确定用于对所述至少一 个滤波后的参考画面进行滤波的滤波器系数。
另外，另一优点/特征是具有如上所述的解码器的装置，其中，所述至少
一个画面对应于多^L图一见频内容，并且使用至少一个^L图内插画面来形成所 述至少一个虚拟参考画面。
此外，另一优点/特征是具有以下解码器的装置，如上所述在该解码器中， 所述至少一个画面对应于多视图视频内容，其中，所述解码器AM皮包括在所 述作为结果的比特流中的至少一个高级语法元素确定用于所述至少一个视图 内插画面的参数。
另外，另一优点/特征是具有如上所述的解码器的装置，其中，所述解码 器在比特流中确定所述至少一个虚拟参考画面的存在。
而且，另一优点/特征是具有如上所述的解码器的装置，其中，所述解码 器从比特流中的高级语法确定所述至少一个虚拟参考画面的存在。
另外，另一优点/特征是具有如上所述的解码器的装置，其中，从被包括 在比特流中的至少一个高级语法元素确定用于创建所述至少一个虚拟参考画 面的方法和参数中的至少 一个。
此外，另一优点/特征是具有如上所述的解码器的装置，其中，所述至少 一个虚拟参考画面存储在解码画面緩冲器中。
另外，另一优点/特征是具有以下解码器的装置，如上所述在所述解码器 中，所述至少一个虚拟参考画面存储在解码画面緩冲器中，其中，所述解码 器相对于所述解码画面缓沖器对于所述至少一个虚拟参考画面利用预先规定的插入和删除操作。
而且，另一优点/特征是具有以下解码器的装置，如上所述在所述解码器 中，所述至少一个虚拟参考画面存储在解码画面緩冲器中，其中，所述至少 一个虚拟参考画面存储在解码画面缓冲器的短期存储器部分中。
另外，另一优点/特征是具有以下解码器的装置，如上所述在所述解码器 中，所述至少一个虚拟参考画面存储在解码画面緩冲器中，其中，所述至少 一个虚拟参考画面存储在解码画面緩冲器的长期存储器部分中。
此外，另一优点/特征是具有如上所述的解码器的装置，其中，所述至少 一个虚拟参考画面存储在用于虚拟参考画面的专用存储器中。
另外，另一优点/特征是具有如上所述的解码器的装置，其中，所述至少 一个虚拟参考画面存储在从解码画面緩冲器分离的临时画面緩冲器中。
而且，另一优点/特征是具有如上所述的解码器的装置，其中，所述解码 器使用所述至少一个虚拟参考画面的索引而在所述至少一个画面的预测过程 中直接参考所述至少 一个虚拟参考画面。
另外，另一优点/特征是具有以下解码器的装置，如上所述在所述解码器 中，所述解码器在至少一个画面的预测过程中直接参考所述至少一个虚拟参 考画面，其中，执行默认的参考列表构建过程以便包括所述至少一个虛拟参 考画面。
此外，另一优点/特征是具有以下解码器的装置，如上所述在所述解码器 中，执行默认的参考列表构建过程以便包括所述至少一个虚拟参考画面，其 中，定义至少一个参考画面列表重新排序命令以便在默认的参考列表构建中 包括所述至少一个虚拟参考画面。
另外，另一优点/特征是具有如上所述的解码器的装置，其中，所述至少 一个虚拟参考画面中的每一个虛拟参考画面分别被与参考画面列表相对应的 参考画面索引参考。
基于这里的教导，本相关领域普通技术人员可以容易确定本原理的这些 和其它特征和优点。应理解本原理的教导可以以硬件、软件、固件、专用处
理器、或其组合的各种形式来实现。
最优选地，本原理的教导被实现为硬件与软件的组合。此外，软件可以 实现为有形地体现在程序存储单元上的应用程序。应用程序可以被上载到包 括任何适当结构的机器并由该机器执行。优选地，在具有诸如一个或多个中央处理单元("CPU，，)、随机存取存储器("RAM，，)、以及输入/输出("I/O") 接口的硬件的计算机平台上实现该机器。计算机平台还可以包括操作系统和 微指令代码。这里描述的各种过程与功能可以要么是微指令代码的部分要么
是应用程序的部分、或者是可以由CPU执行的它们的任何组合。另外，各种
其它外设单元可以连接到计算机平台，诸如，附加数据存储单元以及打印单元。
还应理解，由于在附图中示出的一些组成系统组件和方法优选地以软件 实现，因此这些系统组件或处理功能块之间的实际连接可以依赖于本原理被 编程的方式而有所不同。给出这里的教导，本相关领域普通技术人员将能够 预期本原理的这些和类似的实现方式或配置。'
尽管这里已经参考附图描述了示例实施例，应理解本原理不限于那些确
而不偏离本原理的范围和精神。所有这些改变和修改意在被包括在所附权利 要求所提出的本原理的范围之内。
权利要求
1. 一种装置，包括编码器(100)，用于使用至少一个虚拟参考画面来编码至少一个画面、从而形成作为结果的比特流，其中，所述至少一个虚拟参考画面不同于之前解码的画面。
2. 如权利要求l所述的装置，其中，所述至少一个画面对应于多视图祸L频内容的至少两个3见图中的至少一个。
3. 如权利要求l所述的装置，其中，所述至少一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面形成的。
4. 如权利要求3所述的装置，其中，所述编码器(100)以被包括在所述作为结果的比特流中的至少一个高级语法用信号通知所述信号处理变换的变形参数。
5. 如权利要求l所述的装置，其中，所述至少一个虚拟参考画面是从至少 一 个滤波后的参考画面形成的。
6. 如权利要求5所述的装置，其中，所述编码器(100)以;波包括在所述作为结果的比特流中的至少一个高级语法用信号通知用于对所述至少一个滤波后的参考画面进行滤波的滤波器系数。
7. 如权利要求l所述的装置，其中，所述至少一个画面对应于多视图视频内容，并且使用至少一个视图内插画面来形成所述至少一个虚拟参考画面。
8. 如权利要求7所述的装置，其中，所述编码器(100)以被包括在所述作为结果的比特流中的至少一个高级语法元素用信号通知用于所述至少一个视图内插画面的参数。
9. 如权利要求1所述的装置，其中，所述编码器(100)以所述作为结果的比特流用信号通知所述至少一个虚拟参考画面的存在。
10. 如权利要求l所述的装置，其中，所述编码器(100)以所述作为结果的比特流的高级语法用信号通知所述至少一个虚拟参考画面的存在。
11. 如权利要求1所述的装置，其中，以被包括在所述作为结果的比特流中的至少一个高级语法元素用信号通知用于创建所述至少一个虚拟参考画面的方法和参数中的至少一个。
12. 如权利要求1所述的装置，其中，所述至少一个虚拟参考画面存储在解码画面緩冲器中。
13. 如权利要求12所述的装置，其中，相对于所述解码画面缓沖器所述编码器(100)对于所述至少一个虚拟参考画面利用预先规定的插入和删除操:作。
14. 如权利要求12所述的装置，其中，所述至少一个虚拟参考画面存储在解码画面緩沖器的短期存储器部分中。
15. 如权利要求12所述的装置，其中，所述至少一个虚拟参考画面存储在解码画面緩沖器的长期存储器部分中。
16. 如权利要求1所述的装置，其中，所述至少一个虚拟参考画面存储在用于虚拟参考画面的专用存储器中。
17. 如权利要求1所述的装置，其中，所述至少一个虚拟参考画面存储在从解码画面緩冲器分离的临时画面緩沖器中。
18. 如权利要求l所述的装置，其中，所述编码器(100)使用所述至少一个虚拟参考画面的索引而在所述至少 一个画面的预测过程中直接参考所述至少一个虚拟参考画面。
19. 如权利要求18所述的装置，其中，执行默认的参考列表构建过程以便包括所述至少一个虚拟参考画面。
20. 如权利要求19所述的装置，其中，定义至少一个参考画面列表重新排序命令以便在默认的参考列表构建中包括所述至少一个虚拟参考画面。
21. 如权利要求19所述的装置，其中，将预先规定的参考列表重新排列命令与高级语法结合以便在默认的参考列表构建中包括所述至少一个虚拟参考画面。
22. 如权利要求1所述的装置，其中，所述至少一个虚拟参考画面中的
23. —种方法，包括使用至少一个虚拟参考画面来编码至少一个画面，从而形成作为结果的比特流，其中，所述至少一个虚拟参考画面不同于之前解码的画面(300, 500 )。
24. 如权利要求23所述的方法，其中，所述至少一个画面对应于多^L图浮见频内容的至少两个视图中的至少一个(330, 530 )。
25. 如权利要求23所述的方法，其中，所述至少一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面形成的(330， 530)。
26. 如权利要求25所述的方法，其中，所述编码步骤包括以被包括在 所述作为结果的比特流中的至少一个高级语法用信号通知所述信号处理变换 的变形参数(325, 525 )。
27. 如权利要求23所述的方法，其中，所述至少一个虚拟参考画面是/人 至少一个滤波后的参考画面形成的(330， 530 )。
28. 如权利要求27所述的方法，其中，所述编码步骤包括以被包括在 所述作为结果的比特流中的至少一个高级语法用信号通知用于对所述至少一 个滤波后的参考画面进行滤波的滤波器系数(325, 525 )。
29. 如权利要求23所述的方法，其中，所述至少一个画面对应于多^见图 视频内容，并且使用至少一个视图内插画面来形成所述至少一个虚拟参考画 面(330, 530 )。
30. 如权利要求29所述的方法，其中，所述编码步骤包括以被包括在 所述作为结果的比特流中的至少一个高级语法元素用信号通知用于所述至少 一个视图内插画面的参数(325， 525 )。
31. 如权利要求23所述的方法，其中，所述编码步骤包括以所述作为 结果的比特流用信号通知所述至少一个虚拟参考画面的存在(320, 520)。
32. 如权利要求23所述的方法，其中，所述编码步骤包括以所述作为 结果的比特流中的高级语法用信号通知所述至少一个虚拟参考画面的存在(320, 520)。
33. 如权利要求23所述的方法，其中，所述编码步骤包括以被包括在 所述作为结果的比特流中的至少一个高级语法元素用信号通知用于创建所述 至少一个虚拟参考画面的方法和参数中的至少一个(325， 525 )。
34. 如权利要求23所述的方法，还包括将所述至少一个虚拟参考画面 存储在解码画面緩冲器中(335 )。
35. 如权利要求34所述的方法，还包括相对于所述解码画面緩冲器对 于所述至少 一个虚拟参考画面利用预先规定的插入和删除操作。
36. 如权利要求34所述的方法，还包括将所述至少一个虚拟参考画面 存储在解码画面緩冲器的短期存储器部分中。
37. 如权利要求34所述的方法，还包括将所述至少一个虚拟参考画面 存储在解码画面緩冲器的长期存储器部分中。
38. 如权利要求23所述的方法，还包括将所述至少一个虚拟参考画面存储在用于虚拟参考画面的专用存储器中(535 )。
39. 如权利要求23所述的方法，还包括将所述至少一个虚拟参考画面存储在从解码画面緩冲器分离的临时画面緩冲器中(535 )。
40. 如权利要求23所述的方法，其中，所述编码步骤使用所述至少一个虚拟参考画面的索引而在所述至少一个画面的预测过程中直接参考所述至少一个虚拟参考画面(355， 550 )。
41. 如权利要求40所述的方法，还包括执行包括所述至少一个虚拟参考画面的默认的参考列表构建过程(340)。
42. 如权利要求41所述的方法，还包括定义至少一个参考画面列表重新排序命令以便在所述默认的参考列表构建过程中包括所述至少一个虚拟参考画面(345 )。
43. 如权利要求41所述的方法，其中，所述执行所述默认的参考列表构建过程的步骤包括将预先规定的参考列表重新排列命令与高级语法结合以便在所述默认的参考列表构建中包括所述至少一个虚拟参考画面。
44. 如权利要求23所述的方法，其中，所述至少一个虚拟参考画面中的(355 )。
45. —种装置，包括解码器(200)，用于使用至少一个虚拟参考画面从比特流中解码至少一个画面，其中，所述至少一个虚拟参考画面不同于之前解码的画面。
46. 如权利要求45所述的装置，其中，所述至少一个画面对应于多^f见图视频内容的至少两个视图中的至少 一个。
47. 如权利要求45所述的装置，其中，所述至少一个虚拟参考画面是从已经经过信号处理变换的至少一个参考画面形成的。
48. 如权利要求47所述的装置，其中，所述解码器(200)从被包括在比特流中的至少一个高级语法中确定所述信号处理变换的变形参数。
49. 如权利要求45所述的装置，其中，所述至少一个虚拟参考画面是从至少一个滤波后的参考画面形成的。
50. 如权利要求49所述的装置，其中，所述解码器(200)从被包括在比特流中的至少 一个高级语法中确定用于对所述至少 一个滤波后的参考画面进行滤波的滤波器系数。
51. 如权利要求45所述的装置，其中，所述至少一个画面对应于多视图 视频内容，并且使用至少 一个视图内插画面来形成所述至少 一个虚拟参考画 面。
52. 如权利要求51所述的装置，其中，所述解码器(200)从被包括在 作为结果的比特流中的至少一个高级语法元素中确定用于所述至少 一个视图 内4翁画面的参H。
53. 如权利要求45所述的装置，其中，所述解码器(200)在比特流中 确定所述至少 一个虚拟参考画面的存在。
54. 如权利要求45所述的装置，其中，所述解码器(200)从比特流中 的高级语法中确定所述至少一个虚拟参考画面的存在。
55. 如权利要求45所述的装置，其中，从被包括在比特流中的至少一个 高级语法元素中确定用于创建所述至少一个虚拟参考画面的方法和参数中的 至少一个。
56. 如权利要求45所述的装置，其中，所述至少一个虛拟参考画面存储 在解码画面缓冲器中。
57. 如权利要求56所述的装置，其中，相对于所述解码画面緩冲器所述 解码器(200)对于所述至少一个虚拟参考画面利用预先规定的插入和删除操 作。
58. 如权利要求56所述的装置，其中，所述至少一个虚拟参考画面存储 在解码画面缓冲器的短期存储器部分中。
59. 如权利要求56所述的装置，其中，所述至少一个虚拟参考画面存储 在解码画面緩冲器的长期存储器部分中。
60. 如权利要求45所述的装置，其中，所述至少一个虚拟参考画面存储 在用于虚拟参考画面的专用存储器中。
61. 如权利要求45所述的装置，其中，所述至少一个虛拟参考画面存储 在从解码画面緩冲器分离的临时画面緩沖器中。
62. 如权利要求45所述的装置，其中，所述解码器(200)使用所述至 少一个虚拟参考画面的索引而在所述至少一个画面的预测过程中直接参考所 述至少一个虚拟参考画面。
63. 如权利要求62所述的装置，其中，执行默认的参考列表构建过程以 便包括所述至少一个虚拟参考画面。
64. 如权利要求63所述的装置，其中，定义至少一个参考画面列表重新 排序命令以便在默认的参考列表构建中包括所述至少一个虚拟参考画面。
65. 如权利要求45所述的装置，其中，所述至少一个虚拟参考画面中的 每一个虚拟参考画面分别被与参考画面列表相对应的参考画面索引参考。
66. —种方法，包括使用至少一个虚拟参考画面从比特流中解码至少一个画面，其中，所述 至少一个虚拟参考画面不同于之前解码的画面(400， 600)。
67. 如权利要求66所述的方法，其中，所述至少一个画面对应于多3见图 ^L频内容的至少两个^f见图中的至少一个(425, 630)。
68. 如权利要求66所述的方法，其中，所述至少一个虚拟参考画面是从 已经经过信号处理变换的至少一个参考画面形成的(425， 630)。
69. 如权利要求68所述的方法，其中，所述解码步骤包括从被包括在 比特流中的至少一个高级语法确定所述信号处理变换的变形参数(420, 625 )。
70. 如权利要求66所述的方法，其中，所述至少一个虚拟参考画面是从 至少一个滤波后的参考画面形成的(425， 630)。
71. 如权利要求70所述的方法，其中，所述解码步骤包括从被包括在 比特流中的至少一个高级语法确定用于对所述至少一个滤波后的参考画面进 行滤波的滤波器系数(420, 625 )。
72. 如权利要求66所述的方法，其中，所述至少一个画面对应于多视图 视频内容，并且使用至少一个视图内插画面来形成所述至少一个虛拟参考画 面(425, 630)。
73. 如权利要求72所述的方法，其中，所述解码步骤包括从被包括在 作为结果的比特流中的至少一个高级语法元素确定用于所述至少一个视图内 插画面的参数(420, 625)。
74. 如权利要求66所述的方法，其中，所述解码步骤包括在比特流中 确定所述至少一个虚拟参考画面的存在(410， 610)。
75. 如权利要求66所述的方法，其中，所述解码步骤包括从比特流中 的高级语法中确定所述至少 一个虚拟参考画面的存在。
76. 如权利要求66所述的方法，其中，所述解码步骤包括从被包括在 比特流中的至少一个高级语法元素确定用于创建所述至少一个虛拟参考画面 的方法和参数中的至少一个(410， 610)。
77. 如权利要求66所述的方法，还包括将所述至少一个虚拟参考画面 存储在解码画面緩冲器中(430)。
78. 如权利要求77所述的方法，还包括相对于所述解码画面緩沖器对 于所述至少 一个虚拟参考画面利用预先规定的插入和删除操作。
79. 如权利要求77所述的方法，还包括将所述至少一个虚拟参考画面 存^f渚在所述解码画面缓冲器的短期存储器部分中。
80. 如权利要求77所述的方法，还包括将所述至少一个虚拟参考画面 存储在所述解码画面緩冲器的长期存储器部分中。
81. 如权利要求66所述的方法，还包括将所述至少一个虚拟参考画面 存储在用于虚拟参考画面的专用存储器中(640)。
82. 如权利要求66所述的方法，还包括将所述至少一个虚拟参考画面 存储在从解码画面緩冲器分离的临时画面緩冲器中(640 )。
83. 如权利要求66所述的方法，其中，所述编码步骤使用所述至少一个 虚拟参考画面的索引而在所述至少一个画面的预测过程中直接参考所述至少 一个虚拟参考画面(450， 660)。
84. 如权利要求83所述的方法，还包括执行包括所述至少一个虚拟参 考画面的默认的参考列表构建过程(435 )。
85. 如权利要求84所述的方法，还包括定义至少一个参考画面列表重 新排序命令以便在所述默认的参考列表构建过程中包括所述至少一个虚拟参 考画面(440)。
86. 如权利要求66所述的方法，其中，所述至少一个虚拟参考画面中的 (450)。
87. —种用于视频编码的视频信号结构，包括至少一个画面，使用至少一个虚拟参考画面编码所述至少一个画面，以 便形成作为结果的比特流，其中，所述至少一个虚拟参考画面不同于之前解 石马的画面。
88. —种在其上对视频信号数据进行编码的存储介质，包括 至少一个画面，^吏用至少一个虚拟参考画面编码所述至少一个画面，以便形成作为结果的比特流，其中，所述至少一个虛拟参考画面不同于之前解 石马的画面。
全文摘要
提供了使用虚拟参考画面的方法及装置。该装置包括用于使用至少一个虚拟参考画面来编码至少一个画面从而形成作为结果的比特流的编码器(100)。所述至少一个虚拟参考画面不同于之前解码的画面。
文档编号H04N7/26GK101491099SQ200780026418
公开日2009年7月22日 申请日期2007年7月10日 优先权日2006年7月11日
发明者克里斯蒂纳·戈米拉, 澎 尹, 珀文·B·潘迪特, 苏野平 申请人:汤姆森特许公司