专利名称：用于针对多视角视频编码和解码解耦合帧号和/或图像顺序计数(poc)的方法和装置的制作方法
技术领域：
本发明的原理一般地涉及视频编码和解码，更具体而言，涉及用于针 对多视角(multi-view)视频编码和解码将帧号(frame number)和/或图像 顺序计数(Picture Order Count, POC)解耦合的方法和装置。
背景技术：
在国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4 (MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟电信部 门(ITU-T) H.264推荐(下文中称为"MPEG-4 AVC标准")中，语法 元素frame一num被用作图像的标识符，并且具有若干约束，如MPEG-4 AVC标准中所定义的。frame一rmm的主要目的是用作计数器，其在每次图 像被解码时递增，从而如果存在数据损失，则解码器可以检测到某些图像 丢失并将能够隐藏该问题。frame—nmn按照访问单元的解码顺序增大，并 且并不一定指示显示顺序。存储器管理控制操作(MMCO)使用 frame—num的值来标记图像作为长期(long term)和短期参考；或者将参 考图像标记为未用于参考图像。frame—num还用于P和SP片断(slice)的
10默认参考列表排序。
MPEG-4 AVC标准中的图像顺序计数是对特定图像的定时或输出排序
的指示。图像顺序计数是一个变量，其值相对于按解码顺序的前一瞬时解
码刷新(IDR)图像或者相对于包含存储器管理控制操作(将所有参考图 像标记为"不用作参考")的前一图像并不随着输出顺序的图像位置的增 大而减小。从片断头部语法元素中导出图像顺序计数。图像顺序计数被用 在时间直接模式(temporal DIRECT mode)内的运动向量的导出中、隐式 加权预测中、以及B片断的默认初始参考图像列表排序中。
具体而言， 一般来说对于当前宏块/块，通过考虑后续参考图像(或者 更精确地说是第一列表1参考)中共位位置(co-located position)内的运 动信息，来导出使用时间相关的直接模式运动参数。转到图1，标号100 总地指示图示B片断编码中的时间直接预测的视图。下面假定一个对象正 以恒定速度移动，则这些参数根据所涉及的参考图像的时间距离(如图1 所示)被縮放。直接编码块的运动向量^^。和^^相对于其第一列表l参 考中的共位位置的运动向量^是按如下方式计算的
<formula>formula see original document page 11</formula> (1)
<formula>formula see original document page 11</formula> (2)<formula>formula see original document page 11</formula> ( 3 )<formula>formula see original document page 11</formula> (4)
在前面的等式中，TDb和TDd分別是与当前和列表1图像相比、列表 1图像中的共位块的列表0运动向量所使用的参考图像的时间距离(或更 正确地说，是图像顺序计数(POC)距离)。列表1参考图像和被列表中 的共位块的运动向量所参考的列表0中的参考被用作直接模式的两个参 考。如果参考索引refldxL0指的是长期参考图像，或者 DiffPicOrderCnt(picl， pic0)等于0，则直接模式分区的运动向量^^。和 ^^通过下式导出
^^。=共位宏块的mv
隐式加权预测工具也使用图像顺序计数信息来确定权重。在隐式加权预测(WP)模式中，权重因子并不在片断头部中明确发送，而是基于当 前图像和参考图像之间的相对距离来导出。隐式模式仅用于B片断中双向 预测编码的宏块和宏块分区，包括那些使用直接模式的宏块。对于隐式模 式，使用了等式(1)中所示的公式，不同之处在于偏移值Oo和Ch等于
零，并且权重因子W。和W〗是利用下面的等式(6)至等式(10)中的公
式导出的
wl + 2 log即)》(log膨+1)) + ((0O + ol +1)》l))
尤=(16384 + (71)0》1))/7DD (6)
Z = c/!》3(-1024,1023,叫 Z + 32) 〉〉 6) ( 7 )
『! = Z 〉> 2 ( 8 )
『0=64-^ (9)
这是下式的无除法16比特安全操作实现方式 W=(64.7DD)/rZ^ (10)
D^P/cCWerC""/ z'cJ, />z'c5) = J7cOraferCM《； z'a^)—尸Zc(9raferCV^Oc万) (11) 其中TDb是列表1参考图像和列表0参考图像之间的时间差，其被限 制在范围[-128, 127]内，TDe是当前图像和列表O参考图像之间的差，其被 限制在范围[-128, 127]内。在多视角视频编码中，可能存在TDD值为零的 情况(当等式(11)中的DiffPicOrderCnt(picl, pic2)变为零时，这一情况 发生)。在这种情况下，权重W。和WJ皮设置为32。
在多视角视频编码(MVC)的当前的符合MPEG-4 AVC的实现方式 中，参考软件通过将所有视频序列交织到单个流中来实现多视角预测。这 样，视角之间的framLimm和图像顺序计数被耦合在一起。这样有若干缺 点。 一个缺点是对于部分解码在frame_num的值中存在间隙。这可能使参 考图像列表的管理复杂或者使基于frame—num间隙的错误损失检测无法实 现。另一个缺点是图像顺序计数不具有真正物理上的含义，它可能破坏依 赖于图像顺序计数信息的任何编码工具，例如时间直接模式或隐式加权预 测。另一个缺点是耦合使得多视角序列的并行编码更加困难。
发明内容
12现有技术的这些和其他不足和缺点由本发明的原理加以解决，本发明 的原理涉及一种用于针对多视角视频编码和解码来解耦合帧号和图像顺序 计数(POC)的方法和装置。
根据本发明的原理的一方面，提供了一种装置。该装置包括解码器， 该解码器用于对与来自比特流的多视角视频内容的至少两个视角中的至少 一个视角相对应的至少一个图像进行解码。在该比特流中，该至少一个图 像的编码顺序信息和输出顺序信息中的至少一种被与至少一个图像所对应 的至少一个视角解耦合。
根据本发明的原理的另一方面，提供了一种方法。该方法包括对与来 自比特流的多视角视频内容的至少两个视角中的至少一个视角相对应的至 少一个图像进行解码。在该比特流中，该至少一个图像的编码顺序信息和 输出顺序信息中的至少一种被与至少一个图像所对应的至少一个视角解耦
合o
根据本发明的原理的又一方面，提供了一种装置。该装置包括解码 器，该解码器用于对与多视角视频内容相对应的至少两个视角中的至少一 个进行解码。该解码器利用默认参考图像列表构造过程和参考图像列表重 排序中的重新定义的变量来对至少两个视角中的至少一个进行解码，该默 认参考图像列表构造过程和参考图像列表重排序对应于国际标准化组织/国
际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联 盟电信部门H.264推荐。
根据本发明的原理的又一方面，提供了一种装置。该装置包括解码器 (250)，该解码器用于对与多视角视频内容相对应的至少两个视角中的 至少一个进行解码。该解码器利用解码参考图像标记过程中的重新定义的 变量来对至少两个视角中的至少一个进行解码，该解码参考图像标记过程 对应于国际标准化组织/国际电工委员会运动图像专家组-4第10部分高级 视频编码标准/国际电信联盟电信部门H.264推荐。
根据本发明的原理的又一方面，提供了一种方法。该方法包括对与多 视角视频内容相对应的至少两个视角中的至少一个进行解码。该解码步骤 利用默认参考图像列表构造过程和参考图像列表重排序中的重新定义的变量来对至少两个视角中的至少一个进行解码，该默认参考图像列表构造过 程和参考图像列表重排序对应于国际标准化组织/国际电工委员会运动图像
专家组-4第10部分高级视频编码标准/国际电信联盟电信部门H.264推荐。
根据本发明的原理的又一方面，提供了一种方法。该方法包括对与多 视角视频内容相对应的至少两个视角中的至少一个进行解码。该解码步骤 利用解码参考图像标记过程中的重新定义的变量来对至少两个视角中的至 少一个进行解码，该解码参考图像标记过程对应于国际标准化组织/国际电
工委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电 信部门H.264推荐。
本发明的原理的这些和其他方面、特征和优点将从下面结合附图阅读 的对示例性实施例的详细描述中变清楚。
根据以下的示例性附图可以更好地理解本发明的原理，在附图中 图1是图示B片断编码中的时间直接预测的视图2A是根据本发明的原理的实施例、本发明的原理可以应用到的示 例性多视角视频编码(MVC)编码器的框图2B是根据本发明的原理的实施例、本发明的原理可以应用到的示 例性多视角视频编码(MVC)解码器的框图3是根据本发明的原理的实施例、用于利用修改后的解码参考图像
标记来对多视角视频内容进行编码的示例性方法的流程图4是根据本发明的原理的实施例、用于利用修改后的解码参考图像
标记来对多视角视频内容进行解码的示例性方法的流程图5是根据本发明的原理的实施例、用于利用修改后的参考图像列表
构造来对多视角视频内容进行编码的示例性方法的流程图6是根据本发明的原理的实施例、用于利用修改后的参考图像列表
构造来对多视角视频内容进行编码的另一种示例性方法的流程图7是根据本发明的原理的实施例、用于利用修改后的参考图像列表构造来对多视角视频内容进行编码的又一种示例性方法的流程图8是根据本发明的原理的实施例、用于利用修改后的参考图像列表
构造来对多视角视频内容进行解码的示例性方法的流程图9是根据本发明的原理的实施例、用于利用修改后的参考图像列表
构造来对多视角视频内容进行解码的另一种示例性方法的流程图10是根据本发明的原理的实施例、用于利用修改后的参考图像列 表构造来对多视角视频内容进行解码的又一种示例性方法的流程图11是根据本发明的原理的实施例、用于利用时间直接模式和隐式 加权预测来对多视角视频内容进行编码的示例性方法的流程图12是根据本发明的原理的实施例、用于利用时间直接模式和隐式 加权预测来对多视角视频内容进行编码的另一种示例性方法的流程图13是根据本发明的原理的实施例、用于利用修改后的解码参考图 像标记来对多视角视频内容进行解码的示例性方法的流程图14是根据本发明的原理的实施例、用于利用修改后的解码参考图 像标记来对多视角视频内容进行解码的另一种示例性方法的流程图15是根据本发明的原理的实施例、用于利用修改后的解码参考图 像标记来对多视角视频内容进行编码的示例性方法的流程图16是根据本发明的原理的实施例、用于利用修改后的解码参考图 像标记来对多视角视频内容进行解码的示例性方法的流程图17是根据本发明的原理的实施例、用于利用修改后的参考图像列 表构造和帧号计算来对多视角视频内容进行编码的示例性方法的流程图18是根据本发明的原理的实施例、用于利用修改后的参考图像列
表构造和帧号计算来对多视角视频内容进行编码的另一种示例性方法的流
程图19是根据本发明的原理的实施例、用于利用修改后的参考图像列 表构造和帧号计算来对多视角视频内容进行解码的示例性方法的流程图20是根据本发明的原理的实施例、用于利用修改后的参考图像列 表构造和帧号计算来对多视角视频内容进行解码的另一种示例性方法的流 程图；图21是根据本发明的原理的实施例、用于通过参考图像列表重排序 (RPLR)命令、利用修改后的参考图像列表初始化来对多视角视频内容
进行编码的示例性方法的流程图22是根据本发明的原理的实施例、用于通过参考图像列表重排序 (RPLR)命令、利用修改后的参考图像列表初始化来对多视角视频内容 进行编码的另 一种示例性方法的流程图23是根据本发明的原理的实施例、用于通过参考图像列表重排序 (RPLR)命令、利用修改后的参考图像列表构造来对多视角视频内容进 行解码的示例性方法的流程图；以及
图24是根据本发明的原理的实施例、用于通过参考图像列表重排序 (RPLR)命令、利用修改后的参考图像列表构造来对多视角视频内容进 行解码的另一种示例性方法的流程图。
具体实施例方式
本发明的原理涉及一种用于针对多视角视频编码和解码来将帧号和图 像顺序计数(POC)解耦合的方法和装置。
这里的描述说明了本发明的原理。因而，将会意识到，本领域技术人
员能够设计各种布置，这些布置尽管在这里没有明确描述或示出，但是也
能实现本发明的原理并且被包括在其精神和范围内。
这里所记载的所有示例和条件性语言都是为了教导目的，以帮助阅读 者理解作为本发明的发明人对现有技术的贡献的本发明的原理和概念，并
且被解释为不以任何方式限制这里具体记载的示例和条件。
而且，这里记载本发明的原理的各方面和实施例以及其特定示例的所 有陈述都是为了包含其结构和功能等同物两者。另外，希望这些等同物既 包括当前已知的等同物，又包括在未来开发的等同物，即，开发来执行相 同功能(无论结构如何)的任何元素。
因而，例如，本领域技术人员将意识到，这里给出的框图表示实现本 发明的原理的说明性电路的概念图。类似地，将会意识到，任何的流程 表、流程图、状态转变图、伪代码等等都表示可以实质表示在计算机可读
16介质中并因此被计算机或处理器执行的各种过程，无论这种计算机或处理 器是否明确示出。
附图中所示的各种元素的功能可以通过使用专用硬件以及能够与适当 软件相关联地运行软件的硬件来提供。当由处理器提供时，这些功能可以 由单个专用处理器提供，由单个共享处理器提供，或者由多个独立处理器 提供，其中这多个处理器中的一些可以被共享。而且，术语"处理器"或
"控制器"的明确使用不应当被解释为专有地指代能够运行软件的硬件， 而是可以隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软
件的只读存储器(ROM)、随机访问存储器(RAM)和非易失性存储装 置。
也可包括其他硬件(常规的和/或定制的)。类似地，附图中所示的任 何开关都只是概念性的。它们的功能可以通过程序逻辑的操作、通过专用 逻辑、通过程序控制和专用逻辑的交互或者甚至手工地来执行，实施者可 选择的特定技术可以从上下文中得到更具体的理解。
在其权利要求中，表达为用于执行特定功能的装置的任何元素都是为 了包含执行该功能的任何方式，例如包括a)执行该功能的电路元素的组 合或者b)任何形式的软件(包括固件、微代码等等)与用于执行该软件 以实现功能的适当电路的组合。这些权利要求中所定义的本发明的原理体 现了这样一个事实，即所记载的各种装置所提供的功能被组合并以权利要 求所引用的方式被结合在一起。因而，可以认为可提供这些功能的任何装 置都等同于这里所示出的内容。
说明书中提到本发明的原理的"一个实施例"或"实施例"是指结合 实施例所描述的特定特征、结构、特性等等被包括在本发明的原理的至少 一个实施例中。因而，在说明书中各处出现的术语"在一个实施例中"或 "在实施例中"并不一定指的是同一实施例。
这里所用的"高层语法"是指在比特流中存在的语法，其在分级结构 中位于宏块层之上。例如，这里所用的高层语法可以指(但不限于)在片 断头部级别、在补充增强信息(SEI)级别、在图像参数集级别、在序列 参数集级别和在NAL单元头部级别的语法。另外，这里所用的"先前未使用的语法"是指还未存在于任何当前已
知的视频编码标准和推荐及其扩展(包括但不限于MPEG-4 AVC标准)
中的语法。
另外，这里所用的"编码顺序信息"是指存在于视频比特流中的信 息，其指示比特流中的图像被编码和/或解码的顺序。编码顺序信息例如可
包括frame一num。
另外，这里所用的"输出顺序信息"是指存在于视频比特流中的信 息，其指示比特流中的图像被输出的顺序。输出顺序信息例如可包括图像 顺序计数(POC)值。
而且，将要意识到，尽管这里本发明的原理是针对MPEG-4 AVC标 准描述的，但是本发明的原理并不仅限于这一标准，因而，可以用于其他 视频编码标准和其扩展，包括MPEG-4 AVC标准的扩展，同时仍然保持 了本发明的原理的精神。
另外，这里互换使用的"交叉视角"(cross-view)和"间隔视角" (inter-view)都是指属于除了当前视角以外的视角的图像。
转到图2A，标号100总地指示一种示例性的多视角视频编码 (MVC)编码器。编码器100包括组合器105，组合器105具有与变换器 110的输入相连以进行信号传输的输出。变换器110的输出与量化器115 的输入相连以进行信号传输。量化器115的输出与熵编码器120的输入和 逆量化器125的输入相连以进行信号传输。逆量化器125的输出与逆变换 器130的输入相连以进行信号传输。逆变换器130的输出与组合器135的 第一非反相输入相连以进行信号传输。组合器135的输出与内预测器145 的输入和解块滤波器150的输入相连以进行信号传输。解块滤波器150的 输出与参考图像存储装置155 (用于视角i)的输入相连以进行信号传输。 参考图像存储装置155的输出与运动补偿器175的第一输入和运动估计器 180的第一输入相连以进行信号传输。运动估计器180的输出与运动补偿 器175的第二输入相连以进行信号传输。
参考图像存储装置160 (用于其他视角)与差异估计器170的第一输 入和差异补偿器165的第一输入相连以进行信号传输。差异估计器170的
18输出与差异补偿器165的第二输入相连以进行信号传输。
熵编码器120的输出可用作编码器100的输出。组合器105的非反相 输入可用作编码器100的输入，并且与差异估计器170的第二输入和运动 估计器180的第二输入相连以进行信号传输。开关185的输出与组合器 135的第二非反相输入和组合器105的反相输入相连以进行信号传输。开 关185包括与运动补偿器175的输出相连以进行信号传输的第一输入、与 差异补偿器165的输出相连以进行信号传输的第二输入、以及与内预测器 145的输出相连以进行信号传输的第三输入。
转到图2B，标号3200总地指示一种示例性的多视角视频编码 (MVC)解码器。解码器3200包括熵解码器3205,熵解码器3205具有 与逆量化器3210的输入相连以进行信号传输的输出。逆量化器的输出与 逆变换器3215的输入相连以进行信号传输。逆变换器3215的输出与组合 器3220的第一非反相输入相连以进行信号传输。组合器3220的输出与解 块滤波器3225的输入和内预测器3230的输入相连以进行信号传输。解块 滤波器3225的输出与参考图像存储装置3240 (用于视角i)的输入相连以 进行信号传输。参考图像存储装置3240的输出与运动补偿器3235的第一 输入相连以进行信号传输。
参考图像存储装置3245 (用于其他视角)与差异补偿器3250的第一 输入相连以进行信号传输。
熵解码器3205的输入可用作对解码器3200的输入，用于接收残留比 特流。而且，开关3255的控制输入也可用作对解码器3200的输入，用于 接收控制语法以控制哪一个输入被开关3255选择。另外，运动补偿器 3235的第二输入可用作解码器3200的输入，用于接收运动向量。另外， 差异补偿器3250的第二输入可用作对解码器3200的输入，用于接收差异
^开关3255的输出与组合器320的第二非反相输入相连以进行信号传 输。开关3255时第一输入与差异补偿器3250的输出相连以进行信号传 输。开关3255的第二输入与运动补偿器3235的输出相连以进行信号传 输。开关3255的第三输入与内预测器3230的输出相连以进行信号传输。模式模块3260的输出与开关3255相连以进行信号传输，用于控制哪一个 输入被开关3255选择。解块滤波器3225的输出可用作解码器的输出。
根据本发明的原理，可以对MPEG-4 AVC标准的高层语法提出若干 改变以高效地对多视角视频序列进行编码。在一个实施例中，提出了在对 多视角视频序列编码时解耦合视角之间的帧号(frame—num)和/或图像顺 序计数(POC)值。 一种可能的应用是，可以对每个视角独立地应用符合 MPEG-4AVC的解码和输出过程。在一个实施例中，视角之间的帧号和/ 或图像顺序计数值是通过发送针对每个视角的视角id (viewld)来解耦合 的。先前，已经简单地提出了在高层语法中添加视角标识符(view—id)， 这是因为对于若干种多视角视频编码(MVC)需求来说需要view—id信 息，这些需求包括视角插值/合成、视角随机访问、并行处理等等。 view—id信息也可以用于只与交叉视角预测有关的特殊编码模式。根据本 发明的原理，正是该view—id可用来对多视角视频内容的视角之间的帧号 和图像顺序计数值解耦合。而且，在一个实施例中，提出了一种用于针对 多视角视频编码固定MPEG-4 AVC标准中的编码工具的解决方案。
在一个实施例中，每个视角将具有不同的view—id，从而允许相同的 frame一num和POC被重新用于不同的视角。
TO T8 T4 T2 T6 Tl T3 T5 T7 (时间)
50 10 18 B4 B2 B6 Bl B3 B5 B7 (视角O片断类型)
51 BO B8 B4 B2 B6 Bl B3 B5 B7 (视角1片断类型)
52 P0 P8 B4 B2 B6 Bl B3 B5 B7 (视角2片断类型) 012345678 (frame一n碰)
存在若干种可以对不同视角编码以进行并行处理的方式。 一种可能的 方式是以这样一种方式编码，该方式使得对于一个GOP—个视角中的图 像被首先编码，接着是来自另一视角的图像被用相同GOP大小编码，直 到对于该GOP所有视角都已被编码为止。然后对于其他GOP重复该过 程。在以上说明中，首先是视角SO中的图像被编码，接着是来自视角S2 的图像，然后是来自Sl的图像。
另一种可能的方式是对于所有视角中属于相同时间段的所有图像首先
20进行编码，接着是对所有视角中属于另一时间段的另一组图像进行编码。 该过程被重复，直到所有图像都已被编码为止。在以上说明中，首先视角
S0、 Sl、 S2中在时间段TO的所有图像被编码，接着是T8、 T4等。本发 明不需要明确图像被编码的顺序。
下文中，将讨论根据本发明的原理的各种实施例对MPEG-4 AVC标 准的改变。还将示出这些改变中的一个或多个是如何可以对多视角序列进 行并行编码的。然而，将会意识到，尽管本发明的原理在这里主要是针对 MPEG-4 AVC标准描述的，但是本发明的原理也可以针对MPEG-4 AVC 标准的扩展以及其他视频编码标准及其推荐和扩展实现，同时仍保持本发 明的原理的范围，这在给定这里提供的本发明的原理的教导的情况下很容 易被本领域技术人员所确定。
解码参考图像标记过程
在当前MPEG-4 AVC标准中，在解码图像缓冲器(DPB)中不允许多 个图像具有相同的frame_mim。然而，根据本发明的原理的实施例，该限 制可以在多视角视频编码(MVC)中得到放松，这是因为已将frame一num 和/或图像顺序计数解耦合，S卩，提出了每个视角具有其自身的独立 frame_num和/或图像顺序计数值。为了实现这一目的，在一个实施例中， 将view—id与解码图像相关联。这对于每个图像引入了另一维度。因而， 在一个实施例中，解码参考图像标记过程被重新定义以包括view—id。
有两种方法供MPEG-4 AVC标准来实现解码参考图像标记。MPEG-4 AVC标准中用于解码参考图像标记的第一方法涉及滑动窗口解码参考图像 标记。MPEG-4 AVC标准中用于解码参考图像标记的第二方法涉及自适应 存储器控制解码参考图像标记。
根据本发明的原理的各种实施例，这些方法中的一个或多个被改变以 考虑到在片断头部中存在的新view一id。表1图示了根据本发明的原理的 实施例的片断头部语法。
表1
slice一header() {
C
描述符first—mb」n一slice2
slice—type2ue(v)
pic_parameter—set—id2uc(v)
if (nal—unit—type == 22 || nal—unit—type ——■ 23) {
viewjparameter一set一ID2uc(v)
view—ID2
frame—num2u(v)
if (！ frame—mbs—only—flag) {
field_pic_flag2u(l)
if (field_pic—flag)
bottom—field—flag2u(l)
对于MPEG-4 AVC标准中用于解码参考图像标记的第一方法，当存 在具有相同frame—num/POC值但是具有不同view—id值的图像时，应当指 定默认行为。根据本发明的原理的这样的默认行为的一个实施例是仅仅向 与当前解码图像具有相同view—id的那些图像应用MMCO命令。
对于MPEG-4 AVC标准中用于解码参考图像标记的第二方法，提供 了根据本发明的原理的各种实施例，其中引入了新的存储器管理控制操作 (MMCO)命令并且/或者修改了 MPEG-4 AVC标准中的现有MMCO命 令，以考虑到需要被标记的图像的view一id。重新定义现有MMCO (当 memory—management—control—operation等于1时)的一个实方范例涉及以下 过程
令picNumX由下式指定
picNumX = CurrPicNum — (difference_of_pic—nums一minusl + 1) viewIdX = CurrViewId - (difference—of—view—ids—minus 1 + 1)
22其中picNumX、 CurrPicNum、 difference_of_pic—nums—minus 1在当前 MPEG-4 AVC标准中被定义，并且viewIdX是要利用MMCO命令标记的 图像的viewld ， CurrViewId是当前解码图像的viewld ，并且 difference—of—view—ids_minusl是当前viewld禾卩要禾[J用MMCO命令标记的 图像的viewld之间的差。
另外，对于滑动窗口解码参考图像标记过程的默认行为，只有与当前 图像具有相同viewjd的图像被考虑以被标记为"不用作参考"。
转到图3，标号300总地指示一种用于利用修改后的解码参考图像标 记来对多视角视频内容进行编码的示例性方法，该方法使用视角优先编 码。
方法300包括开始框305，开始框305将控制传递给功能框310。功 能框310读取编码器配置文件，并将控制传递给功能框315。功能框315 令视角数为N，其中变量i (视角号索引)和j (图像号索引)都设置为 零，并将控制传递给判决框320。判决框320确定i是否小于N。如果 是，则控制被传递给判决框325。否则，控制被传递给结束框399。
判决框325确定j是否小于视角i中的图像数。如果是，则控制被传 递给功能框330。否则，控制被传递给功能框350。
功能框330对视角i中的图像j编码，递增j，并将控制传递给判决框 335。判决框335确定存储器管理控制操作(MMCO)命令是否与当前图 像相关联。如果是，则控制被传递给功能框340。否则，控制被传递给功 能框355。
功 會^ 框 340 计 算 difference—of_j)ic_nums—minus 1 禾口 difference—of_view—ids—minus 1来确定要被标记为"不用作参考"的参考图 像的图像和view—id，并将控制传递给功能框345。功能框345将当前图像 插入在解码图像缓冲器(DPB)中，并将控制传递给功能框360。功能框 360针对当前view—id改变frame—num和图像顺序计数(POC)，并将控制 返回给功能框325。
功能框350递增i，复位frame一mim和图像顺序计数(POC)，并将 控制返回给判决框320。功能框355选择view—id等于当前图像的view—id的图像来被标记为 "不用作参考"，以供MPEG-4 AVC过程用于滑动窗口参考图像标记， 并将控制传递给功能框355。
转到图4，标号400总地指示一种用于利用修改后的解码参考图像标 记来对多视角视频内容进行解码的示例性方法。
方法400包括开始框405，开始框405将控制传递给功能框310。功 能框410解析比特流、view—id、 frame一num和图像顺序计数(POC)，并 将控制传递给功能框415。功能框415对当前图像解码，并将控制传递给 判决框420。判决框420确定存储器管理控制操作(MMCO)命令是否存 在。如果是，则控制被传递给功能框425。否则，控制被传递给功能框 440。
功 能 框 425 解 析 difference—ofj)ic—nums—minus 1 禾口 difference—of—view—ids—minus 1来确定作为"不用作参考"的参考图像的图 像和view—id，并将控制传递给功能框430。功能框430将当前图像插入在 解码图像缓冲器(DPB)中，并将控制传递给判决框435。判决框435确 定是否所有图像都已被解码。如果是，则控制被传递给结束框499。否 则，控制被返回给功能框410。
功能框440选择view—id等于当前图像的view—id的图像来标记为"不 用作参考"，以供MPEG-4 AVC过程用于滑动窗口解码参考图像标记， 并将控制传递给功能框430。
转到图15，标号1500总地指示一种用于利用修改后的解码参考图像 标记来对多视角视频内容进行编码的示例性方法。
方法1500包括开始框1505,开始框1505将控制传递给功能框 1510。功能框1510读取编码器配置文件，并将控制传递给功能框1515。 功能框1515令视角数为N，其中变量i (视角号索引)和j (图像号索 引)都设置为零，并将控制传递给判决框1520。判决框1520确定i是否 小于N。如果是，则控制被传递给判决框1525。否则，控制被传递给结束 框1599。
判决框1525确定j是否小于视角i中的图像数。如果是，则控制被传
24递给功能框1530。否则，控制被传递给功能框1550。
功能框1530对视角i中的图像j编码，递增j，并将控制传递给判决 框1535。判决框1535确定存储器管理控制操作(MMCO)命令是否与当 前图像相关联。如果是，则控制被传递给功能框1540。否则，控制被传递 给功能框1555。
功能框1540只针对view一id等于当前图像的view—id的图像执行相关 联的MMCO命令，并将控制传递给功能框1545。功能框1545将当前图像 插入在解码图像缓冲器(DPB)中，并将控制传递给功能框1560。功能框 1560针对当前view—id改变frame—num和图像顺序计数(POC)，并将控 制返回给功能框1525。
功能框1550递增i，复位frame—num和图像顺序计数(POC)，并将 控制返回给判决框1520。
功能框1555选择view—id等于当前图像的view—id的图像来被标记为 "不用作参考"，以供MPEG-4 AVC过程用于滑动窗口参考图像标记， 并将控制传递给功能框1555。
转到图16，标号1600总地指示一种用于利用修改后的解码参考图像 标记来对多视角视频内容进行解码的示例性方法。
方法1600包括开始框1605，开始框1605将控制传递给功能框 1610。功能框1610解析比特流、view一id、 frame—num和图像顺序计数 (POC)，并将控制传递给功能框1615。功能框1615对当前图像解码， 并将控制传递给判决框1620。判决框1620确定存储器管理控制操作 (MMCO)命令是否存在。如果是，则控制被传递给功能框1625。否 则，控制被传递给功能框1640。
功能框1625解析MMCO命令，并仅针对view—id等于当前图像的 view—id的图像执行MMCO命令，并将控制传递给功能框1630。功能框 1630将当前图像插入在解码图像缓冲器(DPB)中，并将控制传递给判决 框1635。判决框1635确定是否所有图像都已被解码。如果是，则控制被 传递给结束框1699。否则，控制被返回给功能框1610。
功能框1640选择view id等于当前图像的view id的图像来被标记为"不用作参考"，以供MPEG-4 AVC过程用于滑动窗口解码参考图像标 记，并将控制传递给功能框1630。
参考图像列表构造
根据本发明的原理的实施例，将view—id与解码参考图像相关联。因 此，在一个实施例中，重新定义了参考图像的初始化过程和参考图像列表 的重排序过程以包括view—id。
MPEG-4 AVC标准指定了默认过程来初始化P和B片断的参考列表。 该默认过程随后可以通过比特流中存在的特殊参考图像列表重排序 (RPLR)命令来修改。
该参考图像的默认排序和重排序是基于frame—num和图像顺序计数值 的。然而，由于允许在解码图像缓冲器(DPB)中存在具有相同 frame_num/POC值的图像，因此需要利用view—id在相同的 frame—num/POC值之间进行区分。在一个实施例中，设置参考图像列表的 这些过程中的一个或多个被改变。
初始化P和B片断的参考列表的默认初始化过程的一个实施例涉及只 允许参考列表中的时间参考图像并且忽略view—id不同于当前图像的 viewjd的所有图像。时间参考图像将遵循在MPEG-4 AVC标准中指定的 相同默认初始化过程。另一实施例涉及仅将交叉视角参考放置在列表中， 以使得最近的view—id被放置在列表中较靠前的位置。另一实施例涉及首 先利用时间参考初始化参考列表，然后在某些固定位置处放置交叉视角参 考帧，例如在被构造的参考列表的结尾处。
在一个实施例中，对于重排序列表的参考图像列表重排序命令，引入 了新的命令并且/或者修改了现有命令的语义，以考虑到需要被移动的图像 的view—id 。
在一个实施例中，如下所示重新定义了在该过程中使用的MPEG-4 AVC标准变量，从而使在MPEG-4 AVC标准中指定的参考图像列表重排 序命令保持不变。
重新定义与重排序参考列表有关的MPEG-4 AVC标准的变量的一个实施例如下所示。在该实施例中，下式成立
FrameNum = frame—num * N + view—id; 并且 MaxFrameNum = 2 (^2，&隱一麵—84 + 4)*N
变量CurrPicNum如下所示地导出如果fidd_pic—flag等于0，则 CurrPicNum被设置为等于frame—num * N + view—id ;否则，如果 fieldjic—flag等于1，则CurrPicNum被设置为等于2 * (frame—num * N + view—id) + 1 。
MPEG-4 AVC标准中某一片断的图像顺序计数被定义如下 if(picX是帧或互补场对)
则PicOrderCnt(picX)=该帧或互补场对picX的Min(TopFieldOrderCnt, Bo加mFieldOrderCnt)
else if(picX是顶部场)
则PicOrderCnt(picX)=场picX的T叩FieldOrderCnt else if(picX是底部场)
则PicOrderCnt(picX)=场picX的BottomFieldOrderCnt
对于多视角视频编码片断，图像顺序计数按如下方式导出，以用于参
考图像列表构造的解码过程和解码参考图像标记过程
PicOrderCnt(picX) = PicOrderCnt(picX) * N + view—id
其中N表示视角数。视角数是利用比特流中的高层语法指示的，并且 可以带内或带外呈递。 一个实施例在MPEG-4 AVC标准的参数集(例 如，序列参数集(SPS)、图像参数集(PPS)或视角参数集(VPS))中 包括该参数。
重新定义与重排序参考列表有关的MPEG-4 AVC标准的变量的另一 实施例如下所示。在该实施例中，下式成立
FrameNum = GOP—length * view—id + frame—num
对于多视角视频编码片断，图像顺序计数按如下方式导出，以用于参
考图像列表构造的解码过程和解码参考图像标记过程
PicOrderCnt(picX) = PicOrderCnt(picX) + GOP—length * view—id
其中GOP一length被定义为锚定图像和在时间上位于每个视角的锚定
27图像和前一锚定图像之间的所有图像。
在另一实施例中，改变现有的RPLR命令的语义，以使得它们仅应用
于与当前视角具有相同view—id的图像。
转到图5，标号500总地指示一种用于利用修改后的参考图像列表构 造来对多视角视频内容进行编码的示例性方法。方法500包括开始框 505，开始框5Q5将控制传递给功能框510。功能框510读取编码器配置文 件，并将控制传递给功能框515。功能框515令视角数等于变量N，将变 量i (视角号索引)和j (图像号索引)都设置为零，并将控制传递给判决 框520。判决框520确定i是否小于N。如果是，则控制被传递给判决框 525。否则，控制被传递给结束框599。
判决框525确定j是否小于视角i中的图像数。如果是，则控制被传 递给功能框530。否则，控制被传递给功能框545。
对于间隔图像(inter picture)，功能框530仅包括view—id等于当前 图像的view—id的图像，以供MPEG-4 AVC过程用于参考列表初始化，并 将控制传递给功能框532。功能框532对参考列表重排序，并将控制传递 给功能框535。功能框535对视角i中的图像j编码，递增j，并将控制传 递给功能框540。功能框540递增frame—num和图像顺序计数(POC)， 并将控制返回给判决框525。
功能框545递增i，复位fmme一mim和图像顺序计数(PQC)，并将 控制返回给判决框520。
转到图6，标号600总地指示另一种用于利用修改后的参考图像列表 构造来对多视角视频内容进行编码的示例性方法。
方法600包括开始框605，开始框605将控制传递给功能框610。功 能框610读取编码器配置文件，并将控制传递给功能框615。功能框615 令视角数等于变量N，将变量i (视角号索引)和j (图像号索引)都设置 为零，并将控制传递给判决框620。判决框62Q确定i是否小于N。如果 是，则控制被传递给判决框625。否则，控制被传递给结束框699。
判决框625确定j是否小于视角i中的图像数。如果是，则控制被传 递给功能框630。否则，控制被传递给功能框645。对于间隔图像，功能框630初始化仅具有view—id不同于当前图像的 viewjd的图像的参考列表，这种图像与当前图像同时被采样，并且被排 序使得最近的view一id被放置在列表中较靠前的位置，然后功能框630将 控制传递给功能框632。功能框632对参考列表重排序，并将控制传递给 功能框635。功能框635对视角i中的图像j编码，递增j，并将控制传递 给功能框640。功能框640递增frame—num和图像顺序计数(POC)，并 将控制返回给判决框625。
功能框645递增i，复位frame—num和图像顺序计数(POC)，并将 控制返回给判决框620。
转到图7，标号700总地指示又一种用于利用修改后的参考图像列表 构造来对多视角视频内容进行编码的示例性方法。
方法700包括开始框705，开始框705将控制传递给功能框710。功 能框710读取编码器配置文件，并将控制传递给功能框715。功能框715 令视角数等于变量N，将变量i (视角号索引)和j (图像号索引)都设置 为零，并将控制传递给判决框720。判决框720确定i是否小于N。如果 是，则控制被传递给判决框725。否则，控制被传递给结束框799。
判决框725确定j是否小于视角i中的图像数。如果是，则控制被传 递给功能框730。否则，控制被传递给功能框745。
功能框730仅包括view一id等于当前图像的view—id的图像，以供 MPEG-4 AVC过程用于参考列表初始化，并将控制传递给功能框732。功 能框732在参考列表的结尾插入与当前图像具有相同时间位置的交叉视角 图像，并将控制传递给功能框735。功能框735对视角i中的图像j编码， 递增j，并将控制传递给功能框740。功能框740递增frame—rmm和图像顺 序计数(POC)，并将控制返回给判决框725。
功能框745递增i，复位frame一num和图像顺序计数(POC)，并将 控制返回给判决框720。
转到图8，标号800总地指示一种用于利用修改后的参考图像列表构 造来对多视角视频内容进行解码的示例性方法。方法800包括开始框 805，开始框805将控制传递给功能框810。功能框810解析比特流、
29view—id、 frame一num和图像顺序计数(POC)，并将控制传递给功能框 815。功能框815仅包括view—id等于当前图像的view—id的图像，以供 MPEG-4 AVC过程用于参考列表初始化，并将控制传递给功能框820。功 能框820对当前图像解码，并将控制传递给功能框825。功能框825将当 前图像插入在解码图像缓冲器中，并将控制传递给判决框830。判决框 830确定是否所有图像都已被解码。如果是，则控制被传递给结束框 899。否则，控制被返回给功能框810。
转到图9，标号900总地指示另一种用于利用修改后的参考图像列表 构造来对多视角视频内容进行解码的示例性方法。方法900包括开始框 905，开始框905将控制传递给功能框910。功能框910解析比特流、 view—id、 frame_num和图像顺序计数(POC)，并将控制传递给功能框 915。功能框915初始化仅具有view—id不同于当前图像的view—id的图像 的参考列表，这种图像与当前图像同时被采样，并且被排序使得最近的 view—id被放置在列表中较靠前的位置，然后功能框915将控制传递给功能 框920。功能框920对当前图像解码，并将控制传递给功能框925。功能 框925将当前图像插入在解码图像缓冲器(DPB)中，并将控制传递给判 决框930。判决框930确定是否所有图像都已被解码。如果是，则控制被 传递给结束框999。否则，控制被返回给功能框910。
转到图10，标号1000总地指示又一种用于利用修改后的参考图像列 表构造来对多视角视频内容进行解码的示例性方法。方法1000包括开始 框1005，开始框1005将控制传递给功能框1010。功能框1010解析比特 流、view—id、 frame—num和图像顺序计数(POC)，并将控制传递给功能 框1015。功能框1015仅包括view—id等于当前图像的view—id的图像，以 供MPEG-4 AVC过程用于参考列表初始化，并将控制传递给功能框 1020。功能框1020在参考列表的结尾插入与当前图像具有相同时间位置 的交叉视角图像，并将控制传递给功能框1025。功能框1025将当前图像 插入在解码图像缓冲器中，并将控制传递给判决框1030。判决框1030确 定是否所有图像都己被解码。如果是，则控制被传递给结束框1099。否 则，控制被返回给功能框1010。
30转到图17，标号1700总地指示一种用于利用修改后的参考图像列表 构造和帧号计算来对多视角视频内容进行编码的示例性方法。
方法1700包括开始框1705,开始框1705将控制传递给功能框 1710。功能框1710读取编码器配置文件，并将控制传递给功能框1715。 功能框1715令视角数等于变量N，将变量i (视角号索引)和j (图像号 索引)都设置为零，并将控制传递给判决框1720。判决框1720确定i是 否小于N。如果是，则控制被传递给判决框1725。否则，控制被传递给结 束框1799。
判决框1725确定j是否小于视角i中的图像数。如果是，则控制被传 递给功能框1730。否则，控制被传递给功能框1745。
功能框1730设置frame—num = frame—num * N + view—id，设置 PicOrderCnt(picX) = PicOrderCnt(picX) * N + view—id，并将控制传递给功 能框1735。功能框1735对视角i中的图像j编码，递增j，并将控制传递 给功能框1740。功能框1740递增frame—num和图像顺序计数(POC)， 并将控制返回给判决框1725。
功能框1745递增i，复位frame一num和图像顺序计数(POC)，并将 控制返回给判决框1720。
转到图18，标号1800总地指示另一种用于利用修改后的参考图像列 表构造和帧号计算来对多视角视频内容进行编码的示例性方法。
方法1800包括开始框1805，开始框1805将控制传递给功能框 1810。功能框1810读取编码器配置文件，并将控制传递给功能框1815。 功能框1815令视角数等于变量N，将变量i (视角号索引)和j (图像号 索引)都设置为零，并将控制传递给判决框1820。判决框1820确定i是 否小于N。如果是，则控制被传递给判决框1825。否则，控制被传递给结 束框1899。
判决框1S25确定j是否小于视角i中的图像数。如果是，则控制被传 递给功能框1830。否则，控制被传递给功能框1845。
功能框1830设置frame—num — GOP—length * view—id + frame—num， 设 置PicOrderCnt(picX) = PicOrderCnt(picX) + GOP—length * view—id ，并将控制传递给功能框1835。功能框1835对视角i中的图像j编码，递增j，并 将控制传递给功能框1840。功能框1840递增frame—num和图像顺序计数 (POC)，并将控制返回给判决框1825。
功能框1845递增i，复位frame一num和图像顺序计数(POC)，并将 控制返回给判决框1820。
转到图19，标号1900总地指示一种用于利用修改后的参考图像列表 构造和帧号计算来对多视角视频内容进行解码的示例性方法。方法1900 包括开始框1905，开始框1905将控制传递给功能框1910。功能框1910 解析比特流、view—id、 frame一num和图像顺序计数(POC)，并将控制传 递给功能框1915。功能框1915设置frame一num = frame一num * N + view—id，设置PicOrderCnt(picX) = PicOrderCnt(picX) * N + view—id,并将 控制传递给功能框1920。功能框1920对当前图像解码，并将控制传递给 功能框1925。功能框1925将当前图像插入在解码图像缓冲器(DPB) 中，并将控制传递给判决框1930。判决框1930确定是否所有图像都已被 解码。如果是，则控制被传递给结束框1999。否则，控制被返回给功能框 1910。
转到图20，标号2000总地指示另一种用于利用修改后的参考图像列 表构造和帧号计算来对多视角视频内容进行解码的示例性方法。方法2000 包括开始框2005，开始框2005将控制传递给功能框2010。功能框2010 解析比特流、view—id、 frame—num和图像顺序计数(POC)，并将控制传 递给功能框2015。功能框2015设置frame—num = GOP—length * view—id -frame—num ，设置PicOrderCnt(picX) = PicOrderCnt(picX) + GOP—length * view一id，并将控制传递给功能框2020。功能框2020对当前图像解码，并 将控制传递给功能框2025。功能框2025将当前图像插入在解码图像缓冲 器(DPB)中，并将控制传递给判决框2030。判决框2030确定是否所有 图像都已被解码。如果是，则控制被传递给结束框2099。否则，控制被返 回给功能框2010。
转到图21，标号2100总地指示一种用于通过参考图像列表重排序 (RPLR)命令、利用修改后的参考图像列表初始化来对多视角视频内容进行编码的示例性方法。
方法2100包括开始框2105，开始框2105将控制传递给功能框 2110。功能框2110读取编码器配置文件，并将控制传递给功能框2115。 功能框2115令视角数等于变量N，将变量i (视角号索引)和j (图像号 索引)都设置为零，并将控制传递给判决框2120。判决框2120确定i是 否小于N。如果是，则控制被传递给判决框2125。否则，控制被传递给结 束框2199。
判决框2125确定j是否小于视角i中的图像数。如果是，则控制被传 递给功能框2130。否则，控制被传递给功能框2145。
对于间隔图像，功能框2130执行默认参考列表初始化，并将控制传 递给功能框2132。功能框2132从编码器配置文件读取RPLR命令，并将 控制传递给功能框2134。功能框2134仅针对view—id等于当前图像的 view—id的图像执行RPLR命令，并将控制传递给功能框2135。功能框 2135对视角i中的图像j编码，递增j，并将控制传递给功能框2140。功 能框2140递增frame—num和图像顺序计数(PQC)，并将控制返回给判 决框2125。
功能框2145递增i，复位frame—num和图像顺序计数(POC)，并将 控制返回给判决框2120。
转到图22，标号2200总地指示另一种用于通过参考图像列表重排序 (RPLR)命令、利用修改后的参考图像列表初始化来对多视角视频内容 进行编码的示例性方法。
方法2200包括开始框2205，开始框22Q5将控制传递给功能框 2210。功能框2210读取编码器配置文件，并将控制传递给功能框2215。 功能框2215令视角数等于变量N，将变量i (视角号索引)和j (图像号 索引)都设置为零，并将控制传递给判决框2220。判决框2220确定i是 否小于N。如果是，则控制被传递给判决框2225。否则，控制被传递给结 束框2299。
判决框2225确定j是否小于视角i中的图像数。如果是，则控制被传 递给功能框2230。否则，控制被传递给功能框2245。对于间隔图像，功能框2230执行默认参考列表初始化，并将控制传
递给功能框2232。功能框2232从编码器配置文件读取RPLR命令，并将 控制传递给功能框2234。功能框2234对于在RPLR命令中指示的view—id 中指定的图像执行RPLR命令，并将控制传递给功能框2235。功能框 2235对视角i中的图像j编码，递增j，并将控制传递给功能框2240。功 能框2240递增framejtmm和图像顺序计数(POC)，并将控制返回给判 决框2225。
功能框2245递增i，复位frame—num和图像顺序计数(POC)，并将 控制返回给判决框2220。
转到图23，标号2300总地指示一种用于通过参考图像列表重排序 (RPLR)命令、利用修改后的参考图像列表构造来对多视角视频内容进 行解码的示例性方法。方法2300包括开始框2305，开始框2305将控制传 递给功能框2310。功能框2310解析比特流、view—id、 frame—nrnn和图像 顺序计数(POC)，并将控制传递给功能框2315。功能框2315仅包括 view—id等于当前图像的view—id的图像，以供MPEG-4 AVC过程用于参 考列表初始化，并将控制传递给功能框2317。功能框2317读取RPLR命 令，并将控制传递给功能框2319。功能框2319仅针对view—id等于当前图 像的view—id的图像执行RPLR命令，并将控制传递给功能框2320。功能 框2320对当前图像解码，并将控制传递给功能框2325。功能框2325将当 前图像插入在解码图像缓冲器中，并将控制传递给判决框2330。判决框 2330确定是否所有图像都已被解码。如果是，则控制被传递给结束框 2399。否则，控制被返回给功能框2310。
转到图24，标号2400总地指示另一种用于通过参考图像列表重排序 (RPLR)命令、利用修改后的参考图像列表构造来对多视角视频内容进 行解码的示例性方法。方法2400包括开始框2405，开始框2405将控制传 递给功能框2410。功能框2410解析比特流、view—id、 frame一rmm和图像 顺序计数(POC)，并将控制传递给功能框2415。功能框2415仅包括 view—id等于当前图像的view—id的图像，以供MPEG-4 AVC过程用于参 考列表初始化，并将控制传递给功能框2417。功能框2417读取RPLR命令，并将控制传递给功能框2419。功能框2419仅针对view—id等于当前图 像的view—id的图像执行RPLR命令，并将控制传递给功能框2420。功能 框2420对当前图像解码，并将控制传递给功能框2425。功能框2425将当 前图像插入在解码图像缓冲器中，并将控制传递给判决框2430。判决框 2430确定是否所有图像都已被解码。如果是，则控制被传递给结束框 2499。否则，控制被返回给功能框2410。
时间直接模式
如上所述，时间直接模式使用图像顺序计数信息来导出给定宏块的运 动向量。由于将frame—num和/或图像顺序计数值解耦合，对于多视角视频 内容的每个视角引入了 view—id，并且允许将交叉视角图像放置在解码图 像缓冲器和参考列表中，因此在一个实施例中，还对这一模式进行了改 进，以应对在交叉视角图像指的是来自于不同于当前视角的视角的图像的 情况下的正确导出。
在时间直接模式中，存在以下示例性情况:
(1) 参考列表1中的图像和参考列表0中的图像具有不同的POC和 相同的view—id;
(2) 参考列表1中的图像和参考列表0中的图像具有不同的POC和 不同的view—id;
(3) 参考列表1中的图像和参考列表0中的图像具有相同的POC和 不同的view一id;以及
(4) 参考列表1中的图像和参考列表0中的图像具有相同的POC和 相同的view—id。
在时间直接模式中获得运动向量的一个实施例是使用现有的MPEG-4 AVC方法，即简单忽略比特流中存在的view—id信息。在另一实施例中， 重新定义了时间直接模式来考虑到view—id信息以及图像顺序计数信息。
隐式加权预测
与时间直接模式类似，隐式加权预测(如上所述)也使用图像顺序计
35数值来确定要应用到参考图像的权重。因此，在一个实施例中，应用到时 间直接模式的所有改变将间接地固定隐式加权预测模式。在另一实施例 中，在隐式加权预测模式中获得权重的方法可以被重新定义以考虑到 view一id信息以及图像顺序计数信息。例如，可以通过考虑如上所述的
view—id信息和视角数来计算图像顺序计数，并在之后取图像顺序计数之
间的差，以获得所需值来执行隐式加权预测。
转到图11，标号1100总地指示一种用于利用时间直接模式和隐式加
权预测来对多视角视频内容进行编码的示例性方法。
方法1100包括开始框1105，开始框1105将控制传递给功能框 1110。功能框1110读取编码器配置文件，并将控制传递给功能框1115。 功能框1115令视角数等于变量N，将变量i (视角号索引)和j (图像号 索引)都设置为零，并将控制传递给判决框1120。判决框1120确定i是 否小于N。如果是，则控制被传递给判决框1125。否则，控制被传递给结 束框1199。
判决框1125确定j是否小于视角i中的图像数。如果是，则控制被传 递给判决框1132。否则，控制被传递给功能框1145。
判决框1132确定对于当前片断是否能启用加权预测。如果是，则控 制被传递给功能框1134。否则，控制被传递给功能框1136。
功能框1134对于加权预测忽略view一id信息，并将控制传递给功能框 1136。
功能框1136开始对当前宏块编码，并将控制传递给判决框1138。判 决框1138确定对于该宏块是否选择直接模式。如果是，则控制被传递给 功能框1142。否则，控制被传递给功能框1152。
功能框1142对于直接模式忽略view—id，并将控制传递给功能框 1152。
功能框1152对当前宏块编码，并将控制传递给判决框1154。判决框 1154确定是否所有宏块都己被编码。如果是，则控制被传递给功能框 1156。否则，控制被返回给功能框1136。
功能框1156递增变量j，并将控制传递给功能框1140。功能框1140
36递增framejmm和图像顺序计数，并将控制返回给判决框1125。
功能框1145递增i，复位frame—num和图像顺序计数，并将控制返回 给判决框1120。
转到图12，标号1200总地指示另一种用于利用时间直接模式和隐式 加权预测来对多视角视频内容进行编码的示例性方法。
方法1200包括幵始框1205，开始框1205将控制传递给功能框 1210。功能框1210读取编码器配置文件，并将控制传递给功能框1215。 功能框1215令视角数等于变量N，将变量i (视角号索引)和j (图像号 索引)都设置为零，并将控制传递给判决框1220。判决框1220确定i是 否小于N。如果是，则控制被传递给判决框1225。否则，控制被传递给结 束框1299。
判决框1225确定j是否小于视角i中的图像数。如果是，则控制被传 递给判决框1232。否则，控制被传递给功能框1245。
判决框1232确定对于当前片断是否能启用加权预测。如果是，则控 制被传递给功能框1234。否则，控制被传递给功能框1236。
功能框1234对于加权预测忽略viewjd信息，并将控制传递给功能框 1236。
功能框1236开始对当前宏块编码，并将控制传递给判决框1238。判 决框1238确定对于该宏块是否选择直接模式。如果是，则控制被传递给 功能框1242。否则，控制被传递给功能框1252。
功能框1242对于直接模式考虑view—id，并将控制传递给功能框 1252。
功能框1252对当前宏块编码，并将控制传递给判决框1254。判决框 1254确定是否所有宏块都己被编码。如果是，则控制被传递给功能框 1256。否则，控制被返回给功能框1236。
功能框1256递增变量j，并将控制传递给功能框1240。功能框1240 递增frame—num和图像顺序计数，并将控制返回给判决框1225。
功能框1245递增i，复位frame—num和图像顺序计数，并将控制返回 给判决框1220。转到图13，标号1300总地指示一种用于利用修改后的解码参考图像 标记来对多视角视频内容进行解码的示例性方法。
方法1300包括开始框1305，开始框1305将控制传递给功能框 1310。功能框1310解析比特流、view—id、 frame—num和图像顺序计数 (POC)，并将控制传递给功能框1315。功能框1315解析宏块模式、运 动向量、ref一idx，并将控制传递给判决框1320。判决框1320确定对于该 图像是否能启用加权预测。如果是，则控制被传递给功能框1325。否则， 控制被传递给判决框1330。
功能框1325对于加权预测忽略view—id信息，并将控制传递给判决框 1330。
判决框1330确定宏块是否是直接模式宏块。如果是，则控制被传递 给功能框1355。否则，控制被传递给功能框1335。
功能框1355对于直接模式忽略view—id信息，并将控制传递给功能框 1335。
功能框1335对当前宏块解码，并将控制传递给判决框1340。判决框 1340确定是否所有宏块都已被解码。如果是，则控制被传递给功能框 1345。否则，控制被返回给功能框1315。
功能框1345将当前图像插入在解码图像缓冲器中，并将控制传递给 判决框1350。判决框1350确定是否所有图像都已被解码。如果是，则控 制被传递给结束框1399。否则，控制被返回给功能框1310。
转到图14，标号1400总地指示另一种用于利用修改后的解码参考图 像标记来对多视角视频内容进行解码的示例性方法。
方法1400包括开始框1405，开始框1405将控制传递给功能框 1410。功能框1410解析比特流、view一id、 frame—num和图像顺序计数 (POC)，并将控制传递给功能框1415。功能框1415解析宏块模式、运 动向量、ref一idx，并将控制传递给判决框1420。判决框1420确定对于该 图像是否能启用加权预测。如果是，则控制被传递给功能框1425。否则， 控制被传递给判决框1430。
功能框1425对于加权预测忽略view id信息，并将控制传递给判决框1430。
判决框1430确定宏块是否是直接模式宏块。如果是，则控制被传递 给功能框1455。否则，控制被传递给功能框1435。
功能框1455对于直接模式考虑view—id信息，并将控制传递给功能框 1435。
功能框1435对当前宏块解码，并将控制传递给判决框1440。判决框 1440确定是否所有宏块都已被解码。如果是，则控制被传递给功能框 1445。否则，控制被返回给功能框1415。
功能框1445将当前图像插入在解码图像缓冲器中，并将控制传递给 判决框1450。判决框1450确定是否所有图像都已被解码。如果是，则控 制被传递给结束框1499。否则，控制被返回给功能框1410。
MVC的并行编码
由于在多视角视频内容序列的处理中涉及的数据量，在多视角视频编 码中对于并行编码/解码的支持对于许多应用来说是很重要的，尤其是那些 具有实时约束的应用。在当前的符合MPEG-4 AVC的多视角视频编码的 实现方式中，启用了交叉视角预测，但是没有提供对时间参考和交叉视角 参考的区分。通过在多视角视频编码编码器和/或解码器中添加view—id支 持并在解码参考图像管理的构造和参考列表构造中包括view—id (正如这 里所提出的)，清楚地定义了并行处理引擎之间的数据依赖性，这有利于 MVC编解码器的并行实现方式。
现在将描述本发明的许多附带优点/特征中的一些，其中某些优点/特 征上面已提到。例如， 一个优点/特征是一种包括解码器的装置，该解码器 用于对与来自比特流的多视角视频内容的至少两个视角中的至少一个视角 相对应的至少一个图像进行解码，其中在该比特流中，该至少一个图像的 编码顺序信息和输出顺序信息中的至少一种被与该至少一个图像所对应的 至少一个视角解耦合。
另一个优点/特征是具有如上所述的解码器的装置，其中该解码器利用 至少一个现有的语法元素(frame—num和pic一order—cntJsb)来确定至少一个图像的编码顺序信息和输出顺序信息中的至少一种的解耦合的存在，该 至少一个现有的语法元素对应于国际标准化组织/国际电工委员会运动图像
专家组-4第10部分高级视频编码标准/国际电信联盟电信部门H.264推
荐。 '
又一个优点/特征是具有如上所述的解码器的装置，其中该解码器利用 视角标识符来确定该至少一个图像的编码顺序信息和输出顺序信息中的至 少一种的解耦合的存在。
又一个优点/特征是具有如上所述的解码器的装置，其中该解码器利用 上述视角标识符来确定解耦合的存在，并且该视角标识符存在于比特流中 的片断级别。
又一个优点/特征是具有如上所述的解码器的装置，其中该解码器利用 视角标识符来确定解耦合的存在，并且该视角标识符存在于比特流中高于 宏块级别的级别。
而且，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器利用存在于高于宏块级别的级别的视角标识符来确定解耦合的存在，并 且该解码器解析来自比特流的视角标识符，以供解码参考图像标记过程使 用。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器解析来自比特流的视角标识符，并且该解码器解析来自比特流的视角标 识符以确定要被解码参考图像标记过程标记的特定图像属于至少两个视角 中的哪一个视角。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器利用存在于高于宏块级别的级别的视角标识符来确定解耦合的存在，并
且该解码器使用至少 一 个现有的语法元素(no_output—of_priorjpics一flag，
max—long_term—frame—idx_plusl )来支持在重新定义的解码参考图像标记 过程中使用视角标识符，其中该至少一个现有的语法元素的语义被重新定
long—term—reference—flag, a memory—management—control_operation: long—term_pic—num，
adaptive—ref_pic—marking—mode—flag: i, difference—of_pic—nums_minusl: long—term—frame—idx:义以用在重新定义的解码参考图像标记过程中，该重新定义的解码参考图 像标记过程对应于国际标准化组织/国际电工委员会运动图像专家组-4第
10部分高级视频编码标准/国际电信联盟电信部门H.264推荐。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器使用至少一个现有的语法元素，并且在该重新定义的解码参考图像标记 过程中，只有与当前解码的图像具有相同视角标识符的图像被标记。
而且，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器使用至少一个现有的语法元素，并且滑动窗口解码参考图像标记过程和 自适应存储器控制解码参考图像标记过程中的至少一种被应用。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器使用至少一个现有的语法元素，其中在该重新定义的解码参考图像标记 过程中，与该至少一个图像具有不同的视角标识符的图像被利用先前未使
用的i吾法元素(difference—of—view—ids一minusl)丰示i己。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器利用存在于高于宏块级别的级别的视角标识符来确定解耦合的存在，并 且该解码器解析来自比特流的视角标识符以用于默认参考图像列表构造。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器解析来自比特流的视角标识符，并且根据用于参考图像列表构造的至少 一个现有的语法元素(frame—num和pic_order—cnt—lsb)，间隔视角参考图 像被禁止添加到用于与参考图像列表构造相对应的默认参考图像列表创建 过程的参考列表上。
而且，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器解析来自比特流的视角标识符，并且根据用于默认参考图像列表构造的 至少一个现有的语法元素(frame—num和pic—order—cnt—lsb)，只有间隔视 角参考图像被添加到用于与参考图像列表构造相对应的默认参考图像列表 创建过程的参考列表上。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中在该解 码器中，仅有间隔视角参考图像被添加到用于默认参考图像列表创建过程 的参考列表上，并且间隔视角参考图像在时间参考之后被添加。
41另外，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器利用视角标识符来确定解耦合的存在，并且该解码器使用被重新定义的
至少 一 个现有的语法元素 (ref_pic—list—reordering—flag—10, reordering—of_pic_nums—idc, abs—diff_pic—num_minus 1, long—term_pic—num, ref_pic_list—reordering—flag—11 ， reordering—of_pic—nums—idc,
abs_diff_pic—num—minus 1， long—term_pic—num)，以用在重新定义的参考图 像列表重排序过程中，以支持在重新定义的参考图像列表重排序过程中使 用视角标识符，其中该重新定义的参考图像列表重排序过程对应于国际标 准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/ 国际电信联盟电信部门H.264推荐。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器使用至少一个现有的语法元素，并且在该重新定义的参考图像列表重排 序过程中，只有与当前解码的图像具有相同视角标识符的图像被重排序。
而且，另一个优点/特征是具有如上所述的解码器的装置，其中在该重 新定义的参考图像列表重排序过程中，只有与当前解码的图像具有相同视 角标识符的图像被重排序，并且视角标识符指示要移动到相应参考图像列 表中的当前索引的特定图像对应于至少两个视角中的哪一个视角。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中在该重 新定义的参考图像列表重排序过程中，只有与当前解码的图像具有相同视 角标识符的图像被重排序，并且仅当要排序的参考图像的视角标识符不同 于该至少一个图像的视角标识符时，才需要视角标识符。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器利用视角标识符来确定解耦合的存在，并且解码器使用针对时间直接模 式重新定义的现有的语法元素(pic—order一cnt一lsb)以支持在时间直接模式 中使用视角标识符，该现有的语法对应于国际标准化组织/国际电工委员会 运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信部门 H.264推荐。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器使用现有的语法元素，并且时间直接模式是基于图像顺序计数值和视角标识符中的至少一个导出的。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器利用视角标识符来确定解耦合的存在，并且该解码器使用现有的语法元
素(pic一order一cntjsb)、现有的语义和现有的解码过程以用于时间直接模 式，其中该现有的语法、现有的语义和现有的解码过程对应于国际标准化 组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际 电信联盟电信部门H.264推荐。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器利用视角标识符来确定解耦合的存在，并且该解码器使用针对隐式加权 预测重新定义的现有的语法元素(pic一order—cnt一lsb)以支持在隐式加权预 测中使用视角标识符，其中该现有的语法对应于国际标准化组织/国际电工 委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信 部门H.264推荐。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器使用现有的语法元素，并且隐式加权预测是基于图像顺序计数值和视角 标识符中的至少一个导出的。
另外，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器利用视角标识符来确定解耦合的存在，并且该解码器使用现有的语法元 素(pic—order—cnt—lsb)、现有的语义和现有的解码过程以用于隐式加权预 测，其中该现有的语法、现有的语义和现有的解码过程对应于国际标准化 组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际 电信联盟电信部门H.264推荐。
而且，另一个优点/特征是具有如上所述的解码器的装置，其中该解码 器使用与特定图像相对应的至少两个视角中的特定一个视角来确定在至少 两个视角中的不同的那些视角的并行解码中的间隔视角依赖性。
又一个优点/特征是一种包括解码器的装置，该解码器用于对与多视角 视频内容相对应的至少两个视角中的至少一个进行解码。该解码器利用默 认参考图像列表构造过程和参考图像列表重排序中的重新定义的变量来对 至少两个视角中的至少一个进行解码，该默认参考图像列表构造过程和参
43考图像列表重排序对应于国际标准化组织/国际电工委员会运动图像专家
组-4第10部分高级视频编码标准/国际电信联盟电信部门H.264推荐。
而且，另一个优点/特征是包括如上所述的解码器的装置，其中视角数 和视角标识符信息中的至少一个被用于重新定义变量。
而且，另一个优点/特征是包括如上所述的解码器的装置，其中图像组 长度和视角标识符信息中的至少一个被用于重新定义变量。
又一个优点/特征是一种包括解码器的装置，该解码器用于对与多视角 视频内容相对应的至少两个视角中的至少一个进行解码。该解码器利用解 码参考图像标记过程中的重新定义的变量来对至少两个视角中的至少一个 进行解码，该解码参考图像标记过程对应于国际标准化组织/国际电工委员
会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信部门 H.264推荐。
而且，另一个优点/特征是包括如上所述的解码器的装置，其中视角数 和视角标识符信息中的至少一个被用于重新定义变量。
而且，另一个优点/特征是包括如上所述的解码器的装置，其中图像组 长度和视角标识符信息中的至少一个被用于重新定义变量。
将会意识到，对特定语法名(尤其是针对本发明的原理的各种创造性 方面描述的先前未使用的语法名)的选择是用于说明和澄清目的，因而， 给定这里提供的本发明的原理的教导，其他名称和/或字符等也可用于替代 和/或补充这里提供的语法名，同时仍然维持本发明的原理的精神。
本发明的原理的这些和其他的特征和优点可以基于这里的教导很容易 被本领域技术人员所确定。将会理解，本发明的原理的教导可以按各种形 式实现，包括硬件、软件、固件、专用处理器或其组合。
更优选地，本发明的原理的教导被实现为硬件和软件的组合。而且， 软件可以实现为有形地实现在程序存储单元上的应用程序。应用程序可以 被上载到包括任何合适体系结构的机器并被该机器执行。优选地，该机器 实现在计算机平台上，该计算机平台具有诸如一个或多个中央处理单元 (CPU)、随机访问存储器(RAM)和输入/输出(I/O)接口之类的硬 件。计算机平台还可包括操作系统和微指令代码。这里描述的各种过程和功能可以是微指令代码的一部分，或者可以是应用程序的一部分，或者是 其任何组合，其可以由CPU执行。另外，各种其他外围单元可以连接到诸 如额外的数据存储单元和打印单元之类的计算机平台。
还将会理解，因为在附图中示出的某些构成系统组件和方法优选地是 以软件实现的，所以系统组件或过程功能框之间的实际连接可能取决于当 前原理被编程的方式而有所不同。给定这里的教导，本领域技术人员将能 够预期本发明的原理的这些和类似的实现方式或配置。
尽管已参考附图描述了说明性实施例，但是将会理解，本发明的原理 并不限于这些精确实施例，而且本领域技术人员可以实现各种改变和修 改，而不脱离本发明的原理的范围或精神。所有这些改变和修改都意图被 包括在权利要求中所给出的本发明的原理的范围内。
权利要求
1.一种装置，包括解码器(250)，用于对与来自比特流的多视角视频内容的至少两个视角中的至少一个视角相对应的至少一个图像进行解码，其中在所述比特流中，所述至少一个图像的编码顺序信息和输出顺序信息中的至少一种被从与所述至少一个图像相对应的至少一个视角解耦合。
2. 如权利要求1所述的装置，其中所述解码器(250)利用至少一个 现有的语法元素来确定所述至少一个图像的编码顺序信息和输出顺序信息 中的至少一种的解耦合的存在，所述至少一个现有的语法元素对应于国际 标准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标 准/国际电信联盟电信部门H.264推荐。
3. 如权利要求1所述的装置，其中所述解码器(250)利用视角标识 符来确定所述至少一个图像的编码顺序信息和输出顺序信息中的至少一种 的解耦合的存在。
4. 如权利要求3所述的装置，其中所述视角标识符存在于所述比特流 中的片断级别。
5. 如权利要求3所述的装置，其中所述视角标识符存在于所述比特流 中高于宏块级别的级别。
6. 如权利要求5所述的装置，其中所述解码器(250)解析来自所述 比特流的视角标识符，以供解码参考图像标记过程使用。
7. 如权利要求6所述的装置，其中所述解码器(250)解析来自所述 比特流的视角标识符，以确定要被所述解码参考图像标记过程标记的特定 图像属于所述至少两个视角中的哪一个视角。
8. 如权利要求5所述的装置，其中所述解码器(250)使用至少一个 现有的语法元素来支持在重新定义的解码参考图像标记过程中使用所述视 角标识符，其中所述至少一个现有的语法元素的语义被重新定义以用在所 述重新定义的解码参考图像标记过程中，所述重新定义的解码参考图像标 记过程对应于国际标准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信部门H.264推荐。
9. 如权利要求8所述的装置，其中在所述重新定义的解码参考图像标记过程中，只有与当前解码的图像具有相同视角标识符的图像被标记。
10. 如权利要求8所述的装置，其中滑动窗口解码参考图像标记过程 和自适应存储器控制解码参考图像标记过程中的至少一种被应用。
11. 如权利要求8所述的装置，其中在所述重新定义的解码参考图像 标记过程中，与所述至少一个图像具有不同的视角标识符的图像被利用先 前未使用的语法元素标记。
12. 如权利要求3所述的装置，其中所述解码器(250)解析来自所述 比特流的视角标识符，以用于默认参考图像列表构造。
13. 如权利要求12所述的装置，其中根据用于所述参考图像列表构造 的至少一个现有的语法元素，间隔视角参考图像被禁止添加到用于与所述 参考图像列表构造相对应的默认参考图像列表创建过程的参考列表上。
14. 如权利要求12所述的装置，其中根据用于所述默认参考图像列表 构造的至少一个现有的语法元素，只有间隔视角参考图像被添加到用于与 所述参考图像列表构造相对应的默认参考图像列表创建过程的参考列表 上。
15. 如权利要求14所述的装置，其中所述间隔视角参考图像在时间参 考之后被添加。
16. 如权利要求3所述的装置，其中所述解码器(250)使用被重新定 义的至少一个现有的语法元素，以用在重新定义的参考图像列表重排序过 程中，以支持在所述重新定义的参考图像列表重排序过程中使用所述视角 标识符，其中所述重新定义的参考图像列表重排序过程对应于国际标准化 组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际 电信联盟电信部门H.264推荐。
17. 如权利要求16所述的装置，其中在所述重新定义的参考图像列表 重排序过程中，只有与当前解码的图像具有相同视角标识符的图像被重排 序。
18. 如权利要求17所述的装置，其中所述视角标识符指示要移动到相应参考图像列表中的当前索引的特定图像对应于所述至少两个视角中的哪 一个视角。
19. 如权利要求17所述的装置，其中仅当要排序的参考图像的视角标 识符不同于所述至少一个图像的视角标识符时，才需要所述视角标识符。
20. 如权利要求3所述的装置，其中所述解码器(250)使用针对时间 直接模式重新定义的现有的语法元素以支持在所述时间直接模式中使用所 述视角标识符，所述现有的语法对应于国际标准化组织/国际电工委员会运 动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信部门 H.264推荐。
21. 如权利要求20所述的装置，其中所述时间直接模式是基于图像顺 序计数值和视角标识符中的至少一个导出的。
22. 如权利要求3所述的装置，其中所述解码器(250)使用现有的语 法元素、现有的语义和现有的解码过程以用于时间直接模式，其中所述现 有的语法、现有的语义和现有的解码过程对应于国际标准化组织/国际电工 委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信 部门H.264推荐。
23. 如权利要求3所述的装置，其中所述解码器(250)使用针对隐式 加权预测重新定义的现有的语法元素以支持在所述隐式加权预测中使用所 述视角标识符，其中所述现有的语法对应于国际标准化组织/国际电工委员 会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信部门 H.264推荐。
24. 如权利要求23所述的装置，其中所述隐式加权预测是基于图像顺 序计数值和视角标识符中的至少一个导出的。
25. 如权利要求3所述的装置，其中所述解码器(250)使用现有的语 法元素、现有的语义和现有的解码过程以用于隐式加权预测，其中所述现 有的语法、现有的语义和现有的解码过程对应于国际标准化组织/国际电工 委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信 部门H.264推荐。
26. 如权利要求1所述的装置，其中所述解码器(250)使用与特定图像相对应的至少两个视角中的特定一个视角来确定在对所述至少两个视角 中的不同的那些视角的并行解码中的间隔视角依赖性。
27. —种方法，包括对与来自比特流的多视角视频内容的至少两个视角中的至少一个视角 相对应的至少一个图像进行解码，其中在所述比特流中，所述至少一个图 像的编码顺序信息和输出顺序信息中的至少一种被从与所述至少一个图像 相对应的至少一个视角解耦合(410)。
28. 如权利要求27所述的方法，其中解码步骤利用至少一个现有的语 法元素来确定所述至少一个图像的编码顺序信息和输出顺序信息中的至少 一种的解耦合的存在(410)，所述至少一个现有的语法元素对应于国际 标准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标 准/国际电信联盟电信部门H.264推荐。
29. 如权利要求27所述的方法，其中解码步骤利用视角标识符来确定 所述至少一个图像的编码顺序信息和输出顺序信息中的至少一种的解耦合 的存在(410)。
30. 如权利要求29所述的方法，其中所述视角标识符存在于所述比特 流中的片断级别。
31. 如权利要求29所述的方法，其中所述视角标识符存在于所述比特 流中高于宏块级别的级别。
32. 如权利要求31所述的方法，其中解码步骤解析来自所述比特流的 视角标识符(410)，以供解码参考图像标记过程使用。
33. 如权利要求32所述的方法，其中解码步骤解析来自所述比特流的 视角标识符，以确定要被所述解码参考图像标记过程标记的特定图像属于 所述至少两个视角中的哪一个视角(425)。
34. 如权利要求29所述的方法，其中解码步骤使用至少一个现有的语 法元素来支持在重新定义的解码参考图像标记过程(1625、 340)中使用 所述视角标识符，其中所述至少一个现有的语法元素的语义被重新定义以 用在所述重新定义的解码参考图像标记过程中，所述重新定义的解码参考 图像标记过程对应于国际标准化组织/国际电工委员会运动图像专家组-4第部分高级视频编码标准/国际电信联盟电信部门H.264推荐。
35. 如权利要求34所述的方法，其中在所述重新定义的解码参考图像标记过程中，只有与当前解码的图像具有相同视角标识符的图像被标记(1625)。 —
36. 如权利要求34所述的方法，其中滑动窗口解码参考图像标记过程和自适应存储器控制解码参考图像标记过程中的至少一种被应用。
37. 如权利要求34所述的方法，其中在所述重新定义的解码参考图像标记过程中，与所述至少一个图像具有不同的视角标识符的图像被利用先前未使用的语法元素标记。
38. 如权利要求31所述的方法，其中解码步骤解析来自所述比特流的视角标识符，以用于默认参考图像列表构造(340)。
39. 如权利要求38所述的方法，其中根据用于所述参考图像列表构造的至少一个现有的语法元素，间隔视角参考图像被禁止添加到用于与所述参考图像列表构造相对应的默认参考图像列表创建过程(815)的参考列表上。
40. 如权利要求38所述的方法，其中根据用于所述默认参考图像列表构造的至少一个现有的语法元素，只有间隔视角参考图像被添加到用于与所述参考图像列表构造相对应的默认参考图像列表创建过程(915)的参考列表上。
41. 如权利要求40所述的方法，其中所述间隔视角参考图像在时间参考之后被添加。
42. 如权利要求29所述的方法，其中解码步骤使用被重新定义的至少一个现有的语法元素，以用在重新定义的参考图像列表重排序过程(2317)中，以支持在所述重新定义的参考图像列表重排序过程中使用所述视角标识符，其中所述重新定义的参考图像列表重排序过程对应于国际标准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信部门H.264推荐。
43. 如权利要求42所述的方法，其中在所述重新定义的参考图像列表重排序过程中，只有与当前解码的图像具有相同视角标识符的图像被重排序(2319)。
44. 如权利要求43所述的方法，其中所述视角标识符指示要移动到相应参考图像列表中的当前索引的特定图像对应于所述至少两个视角中的哪一个视角(2419)。
45. 如权利要求43所述的方法，其中仅当要排序的参考图像的视角标识符不同于所述至少一个图像的视角标识符时，才需要所述视角标识符。
46. 如权利要求29所述的方法，其中解码步骤使用针对时间直接模式重新定义的现有的语法元素(1310、 1315)以支持在所述时间直接模式中使用所述视角标识符，所述现有的语法对应于国际标准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信部门H.264推荐。
47. 如权利要求46所述的方法，其中所述时间直接模式是基于图像顺序计数值和视角标识符中的至少一个导出的(1420)。
48. 如权利要求29所述的方法，其中解码步骤使用现有的语法元素、现有的语义和现有的解码过程以用于时间直接模式，其中所述现有的语法、现有的语义和现有的解码过程对应于国际标准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信部门H.264推荐。
49. 如权利要求29所述的方法，其中解码步骤使用针对隐式加权预测(1310、 1320)重新定义的现有的语法元素以支持在所述隐式加权预测中使用所述视角标识符，其中所述现有的语法对应于国际标准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信部门H.264推荐。
50. 如权利要求49所述的方法，其中所述隐式加权预测是基于图像顺序计数值和视角标识符中的至少一个导出的(1415)。
51. 如权利要求29所述的方法，其中解码步骤使用现有的语法元素、现有的语义和现有的解码过程以用于隐式加权预测，其中所述现有的语法、现有的语义和现有的解码过程对应于国际标准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信部门H.264推荐。
52. 如权利要求27所述的方法，其中解码步骤使用与特定图像相对应的至少两个视角中的特定一个视角来确定在对所述至少两个视角中的不同的那些视角的并行解码中的间隔视角依赖性(41Q)。
53. —种装置，每括解码器(250)，用于对与多视角视频内容相对应的至少两个视角中的至少一个视角进行解码，其中所述解码器利用默认参考图像列表构造过程和参考图像列表重排序中的重新定义的变量来对所述至少两个视角中的至少一个视角进行解码，所述默认参考图像列表构造过程和参考图像列表重排序对应于国际标准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信部门H.264推荐。
54. 如权利要求53所述的装置，其中视角数和视角标识符信息中的至少一个被用于重新定义所述变量。
55. 如权利要求53所述的装置，其中图像组长度和视角标识符信息中的至少一个被用于重新定义所述变量。
56. —种装置，包括解码器(250)，用于对与多视角视频内容相对应的至少两个视角中的至少一个视角进行解码，其中所述解码器利用解码参考图像标记过程中的重新定义的变量来对所述至少两个视角中的至少一个视角进行解码，所述解码参考图像标记过程对应于国际标准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信部门H.264推荐。
57. 如权利要求56所述的装置，其中视角数和视角标识符信息中的至少一个被用于重新定义所述变量。
58. 如权利要求56所述的装置，其中图像组长度和视角标识符信息中的至少一个被用于重新定义所述变量。
59，一种方法，包括对与多视角视频内容相对应的至少两个视角中的至少一个视角进行解码，其中解码步骤利用默认参考图像列表构造过程和参考图像列表重排序中的重新定义的变量(1915、 2015)来对所述至少两个视角中的至少一个视角进行解码，所述默认参考图像列表构造过程和参考图像列表重排序对应于国际标准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信部门H.264推荐。
60. 如权利要求59所述的方法，其中视角数和视角标识符信息中的至少一个被用于重新定义所述变量(1915)。
61. 如权利要求59所述的方法，其中图像组长度和视角标识符信息中的至少一个被用于重新定义所述变量(2015)。
62. —种方法，包括对与多视角视频内容相对应的至少两个视角中的至少一个视角进行解码，其中解码步骤利用解码参考图像标记过程中的重新定义的变量(1915、 2015)来对所述至少两个视角中的至少一个视角进行解码，所述解码参考图像标记过程对应于国际标准化组织/国际电工委员会运动图像专家组-4第10部分高级视频编码标准/国际电信联盟电信部门H.264推荐。
63. 如权利要求62所述的方法，其中视角数和视角标识符信息中的至少一个被用于重新定义所述变量(1915)。
64. 如权利要求62所述的方法，其中图像组长度和视角标识符信息中的至少一个被用于重新定义所述变量(2015)。
全文摘要
公开和描述了一种用于对与来自比特流的多视角视频内容的至少两个视角中的至少一个视角相对应的至少一个图像进行解码的解码器(250)和解码方法(410)，其中在比特流中，该至少一个图像的编码顺序信息和输出顺序信息中的至少一个被与至少一个图像所对应的至少一个视角解耦合。此外，公开和描述了一种用于对与多视角视频内容的至少两个视角中的至少一个视角相对应的至少一个图像进行编码以形成结果比特流的编码器(200)和编码方法(360)，其中在结果比特流中，该至少一个图像的编码顺序信息和输出顺序信息中的至少一种被与至少一个图像所对应的至少一个视角解耦合。
文档编号H04N7/26GK101496407SQ200780025705
公开日2009年7月29日 申请日期2007年7月5日 优先权日2006年7月6日
发明者克里斯蒂娜·古米拉, 鹏 尹, 帕文·拜哈斯·潘迪特, 苏晔平 申请人:汤姆逊许可证公司