多视点视频编码方法

多视点视频编码方法
【专利摘要】本发明揭露一种多视点视频编码方法，其将多种编码模式用于副视点中的编码块，其中多种编码模式包含合并模式、跳过模式、帧间模式和帧内模式，且编码块允许被分割成更小的编码块，上述多视点视频编码方法包含：接收与当前编码块相关的输入数据，其中当前编码块对应于当前副视点中当前图像的当前纹理块或当前深度块；决定与当前编码块或当前编码块的相邻块集合相关的一或多个编码条件；以及若上述一或多个编码条件满足，利用合并模式或跳过模式编码当前编码块而无需评估帧间模式与帧内模式中至少一者的编码性能。以上所述的多视点视频编码方法能大幅削减编码时间而不会带来性能损失的副作用。
【专利说明】多视点视频编码方法
[0001] 相关申请的夺叉引用
[0002] 本申请要求如下申请的优先权：2013年6月18日递交的、申请号为PCT/ CN2013/079584、标题为"Method for Fast Encoder Decision"的 PCT 国际申请，在此合并 参考上述申请案的全部内容。

【技术领域】
[0003] 本发明有关于三维（three-dimensional，3D)视频编码，特别是，有关于多视 点（multi-view)视频编码方法以及其中包含的合并模式早决定（early Merge mode decision)和分割早停（early split termination)的快速编码器模式决定。

【背景技术】
[0004] 近年来，三维（3D)电视成为了一种技术趋势，其能够带给观众无与伦比的视觉体 验。目前，已发展出各种技术来使3D观影变为可能。在这些技术中，多视点视频是3D电视 中应用的主要技术。传统的视频一般是二维（2D)的媒体，其仅能够为观众提供来自相机 (camera)视点的单一场景视图。然而，多视点视频能够提供动态场景的任意视点，并能够带 给观众惊人的真实感。
[0005] 多视点视频通常是利用多台相机同时抓取一个场景而产生的，其中，上述多台相 机在拍摄过程中被合理置位，以使每台相机都能从一个视点（viewpoint)抓取上述场景。 相应地，多台相机将会抓取对应于多个视点的多个视频序列。为了提供更多的视点，更多的 相机被使用以生成具有与视点相关的大量视频序列的多视点视频。从而，此多视点视频需 要较大的存储空间来存储及/或较高带宽来传输。因此，该领域中产生了多视点视频编码 技术以降低所需存储空间或传输带宽。
[0006] 最简单方法只需将传统的视频编码技术独立地应用在每一个单一视点 (single-view)视频序列上，而忽视不同视点间的相关性。然而，这样的编码系统效率很差。 为提升多视点视频编码的效率，一般的多视点视频编码会减少视点间（inter-view)冗余。 因此，大多数的3D视频编码系统都会考虑与多视点及深度图（depth maps)有关的视频数 据的相关性。
[0007] 在基于3D视频编码的高效率视频编码（High Efficiency Video Coding,以下简 称HEVC)的参考软件设计中，视点间候选项作为帧间（Inter)、合并（Merge)或跳过（Skip) 模式下运动向量（Motion Vector,以下简称MV)或视差向量（Disparity Vector,以下简称 DV)的候选项而被添加进来，以重用（re-use)相邻视点的先前已编码运动信息。在基于3D 视频编码的HEVC(3D-HTM)中，用于压缩的基本单元被称为编码单元（Coding Unit，以下简 称为⑶)，其是一个2NX 2N的方块。每一⑶都可递归地被划分为四个更小的⑶，直到达到 预先定义的最小尺寸。每一⑶都包含一个或多个预测单元（Prediction Unite,以下简称 为 PU)。
[0008] 为了共享相邻视点的先前已编码纹理（texture)信息，3D-HTM中包含了一种叫做 视差补偿预测（Disparity-Compensated Prediction,以下简称为DCP)的技术，以作为运 动补偿预测（Motion-Compensated Prediction,以下简称为MCP)的替代编码工具。MCP是 一种利用相同视点的先前已编码图像的帧间预测，而DCP则是一种利用相同撷取单元中其 他视点的先前已编码图像的帧间预测。图1是整合了 MCP和DCP的3D视频编码系统范例 的示意图。其中，用于视差补偿预测（DCP)的向量（110)被称为视差向量（DV)，其类似于 用于运动补偿预测（MCP)的运动向量（MV)。图1中画出了与MCP相关的三个MV(120、130 和140)。此外，DCP块的DV也可以通过视差向量预测子（Disparity Vector Predictor, 以下简称DVP)候选项而被预测出来，其中DVP是从同样利用视点间参考图像的相邻块或时 间同位块（temporal collocated block)得出。在3D-HTM中，当获取用于合并/跳过模式 的视点间合并候选项（inter-view Merge candidate)时，若对应块的运动信息不可用或者 无效，则此视点间合并候选项由DV来替代。
[0009] 视点间残差预测（Inter-view residual prediction)是 3D-HTM 中利用的另一编 码工具。为了共享相邻视点的先前已编码残差信息，当前预测块（即，预测单元）的残差信 号可由视点间图像中对应块的残差信号预测得到，如图2所示。上述对应块可借由各自的 DV来定位。对应于特定相机位置的视频图像和深度图可以通过视点识别符（即，图2中的 V0、V1和V2)来指示。属于相同相机位置的所有视频图像和深度图都与相同的viewID (即， 视点识别符）相关。上述视点识别符被用于指定存取单元中的编码顺序以及在易错环境下 侦测错失的视点。一个存取单元包含对应于相同时间点的所有视频图像和深度图。在一 个存取单元中，viewID为0的视频图像以及相关的深度图（若存在）首先被编码，接着是 viewID为1的视频图像以及深度图，以此类推。上述viewID为0的视点（即，图2中的V0) 也被称为基本视点（the base view)或者独立视点（the independent view)。上述基本视 点的视频图像可以不依赖于其他视点而利用传统的HEVC视频编码器进行编码。
[0010] 如图2所示，对于当前块来说，运动向量预测子（Motion Vector Predictor,以 下简称为MVP)/视差向量预测子（Disparity Vector Predictor,以下简称为DVP)可由 视点间图像中的视点间块推导得出。在下文的描述中，视点间图像中的视点间块被简称 为视点间块。而推导出的候选项被称为视点间候选项（inter-view candidate)，其可以 是视点间MVP或者DVP。基于其他视点的先前已编码运动信息来编码当前块（例如，当前 预测单元-PU)的运动信息的编码方法被称为视点间运动参数预测（inter-view motion parameter prediction)。此外，相邻视点中的对应块被称为视点间块，且上述视点间块是 利用从深度信息推导出的DV来定位的，其中上述深度信息与当前图像中的当前块相关。
[0011] 图2中所示的范例对应于从V0 ( S卩，基本视点）到VI，接着是V2的视点编码顺序。 其中，将要被编码的当前图像的当前块属于V2。依据3D-HTM，先前已编码视点的参考块的 MV都可以被视为视点间候选项。在图2中，帧210、220和230分别对应于时间点tl时视点 V0、V1和V2中的视频图像或深度图。块232为当前视点中的当前块，块212和222分别为 视点V0和VI中的当前块。对于视点V0中的当前块212来说，DV216被用于定位视点间同 位块214。类似地，对于视点VI中的当前块222来说，DV226被用于定位视点间同位块224。 依据3D-HTM，与已编码视点的视点间同位块相关的MV或DV都可以被包含于视点间候选项 中。
[0012] 在3D-HTM中，DV可被用作帧间模式的DVP候选项，或被用作合并/跳过模式的 合并候选项（Merge candidate)。推导出的DV也可被用作视点间运动预测（inter-view motion prediction)和视点间残差预测的偏移向量。如图3A和图3B所示，当作为偏移向 量时，DV是从空间及时间相邻块推导出来。首先决定多个空间及时间相邻块，然后依据预 设顺序检查上述空间和时间相邻块的DV有效性（DV availability)。这种基于相邻（空间 和时间）块的、用于DV推导的编码方法称为相邻块DV(NBDV)。如图3A所示，空间相邻块集 合包含位于当前块310的左下角（lower-left corner)的对角位置的块（即，左下块A0)、 紧邻当前块310底部左侧（left-bottom side)的块（即，底部左侧块A1)、位于当前块310 的左上角（upper-left corner)的对角位置的块（即，左上块B2)、位于当前块310的右上 角（upper-right corner)的对角位置的块（即，右上块B0)以及紧邻当前块310右侧顶 部（top-right side)的块（即，右侧顶部块B1)。如图3B所示，块320为时间参考图像中 当前块310的时间同位块，且时间相邻块集合包含位于时间同位块320中心的块（即，B ctk) 以及位于时间同位块320的右下角的对角位置的块（S卩，右下块Bkb)。如图3B所示，块B ctk 位于时间同位块320的中心点P的左上角位置。除了中心位置之外，时间参考图像的时间 同位块中其他位置（例如，右下角位置的块（lower-right block))也可以被使用。换句话 说，时间同位块中的任何块都可以包含至时间相邻块集合中。若一个块被确认具有DV，上 述检查程序将结束。图3A所示的用于空间相邻块的范例性搜寻顺序是Al、Bl、B0、A0、B2。 图3B所示的用于时间相邻块的范例性搜寻顺序是B kb、Bctk。上述空间及时间相邻块与HEVC 中帧间模式（先进运动向量预测，AMVP)及合并模式的空间和时间相邻块相同。
[0013] 若相邻块集合（即，图3A和图3B中所示的空间和时间相邻块）中并未发现DCP 编码块（DCP coded block)，则视差信息可由另一编码方法（DV-MCP)获得。在此状况下， 当一个空间相邻块是MCP编码块（MCP coded block)且其运动是由视点间运动预测方式来 预测，如图4所示，则用于视点间运动预测的DV代表当前及视点间参考图像之间的运动对 应性（motion correspondence)。这一类运动向量被称为视点间预测运动向量，而上述块则 被称为DV-MCP块。图4所示为DV-MCP块的范例，其中DV-MCP块410的运动信息是从视点 间参考图像中的对应块420预测得出。上述对应块420的位置是由视差向量430确定的。 DV-MCP块所使用的DV代表当前及视点间参考图像之间的运动对应性。对应块420的运动 信息422被用于预测当前视点的当前块410的运动信息412。
[0014] 当前的3D-HEVC利用了一种通过撷取更准确的DV (在本文中称为精细DV (refined DV))来增强NBDV的方法。首先，从相同的存取单元中的已编码深度图中获取深度块并将其 作为当前块的虚拟深度（virtual depth)。这种用于DV推导的编码方法被称为面向深度的 NBDV(D印th-oriented NBDV，以下简称为DoNBDV)。在以通用测试条件编码视点1和视点2 的纹理时，视点0的深度图已然可用。因此，视点1和视点2的纹理的编码可得益于视点0 的深度图。如图5所示，估测的DV可从虚拟深度来获取。其整体流程如下所示：
[0015] 1.使用估测的DV来定位已编码纹理视点的对应块，其中上述估测的DV为当前 3D-HTM 中的 NBDV ;
[0016] 2.使用已编码视点的同位深度作为当前块（编码单元）的虚拟深度；
[0017] 3.由先前步骤得到的虚拟深度的最大值获取用于视点间运动预测的DV( S卩，精细 DV)。
[0018] 在图5所示的范例中，视点0的已编码深度图被用于推导视点1的欲编码纹理帧 的DV。依据估测的DV540以及视点0的已编码深度图中当前块的位置520,获取用于当前 块CB510的、已编码视点0的对应深度块530。接着，获取的对应深度块530被作为当前块 的虚拟深度块530'以推导DV。而虚拟深度块530'中的最大值被用于获取视点间运动预测 的DV。
[0019] 在3D-HEVC中，用于压缩的基本单元被称为编码树单元（Coding Tree Unit，以 下简称为CTU)，也被称为最大编码单元（Largest Coding Unit,以下简称为LCU)，其是一 个2NX 2N的方块，且每一 CTU都可递归地被划分为四个更小的⑶，直到达到预先定义的最 小尺寸。为了决定最佳的CU尺寸，通常会使用在视频编码领域中众所周知的率失真优化 (Rate-Distortion Optimization，以下简称为RD0)。当编码一个⑶时，检验对应于不同PU 类型的率失真（RD)开销（cost)，上述不同PU类型包含帧间/合并/跳过2NX 2N、帧间/合 并2NXN、帧间/合并NX2N、帧间/合并NXN、帧间/合并2NXnU、帧间/合并2NXnD、帧 间/合并nLX2N、帧间/合并nRX2N、帧内2NX2N以及帧内NXN。对于帧间/合并NXN 以及帧内NXN的RD开销来说，其仅在用于8X8的⑶时被检验。对于每一帧间PU类型来 说，运动估测（Motion Estimation,以下简称为ME)及运动补偿必须被执行以推导用于RD 开销评估的运动补偿残差。对于合并模式来说，上述运动信息可由相邻块的运动信息决定。 从而，合并模式由于未执行运动估测而更具有计算效率。众所周知，视频编码中的ME需要 的计算量很大。图6所示是3D-HTM中纹理CU编码过程的范例，其中，各种编码模式的RD性 能在步骤612至步骤632中被检验。如前文所述，帧间/合并NXN以及帧内NXN的RD开 销仅在用于8X8的⑶时被检验。换句话说，步骤614和步骤630仅在N = 8时执行。在 用于既定CU的最佳模式选出之后，最终CU( S卩，叶CUdeaf CU))将利用所示的压缩CU的 过程（步骤640a至步骤640d)之一来进行压缩。上述压缩过程可依据⑶分割递归调用， 直到完成整个既定⑶的压缩。
[0020] 在编码器端，可以决定用于纹理的⑶分割四叉树（Quadtree，以下简称QT)。同 样，也可以在编码器端决定用于深度的分割QT。上述QT的结构需要被整合至比特流中，以 使解码器可以还原QT的结构。为了减少比特数和编码的运行时间，当前的HTM采用了一种 方法，在此方法中，深度QT利用纹理QT作为预测子。对于一个既定的CTU来说，深度的QT 与同位的纹理QT相关联，从而既定的深度CU无法比其纹理中的同位CU进行更多的分割。 在图7所示的实施例中，块710对应于纹理CTU的QT，而块720则对应深度CTU。如图7所 示，纹理CTU中的某些分割并未在深度CTU中实施（如722和724所示）。同样，也可以实 施矩形分割的简化。举例来说，当纹理块被分割成2NXN或NX 2N时，对应的深度块不允许 进行2NXN、NX2N以及NXN的分割。在这种对于深度分割的附加约束下，图7中的深度分 割如图8中块820所示，其中，822不允许再进行分割。
[0021] 如图6所示，当前编码机制的计算量非常大。因此，需要开发一种技术以降低与模 式决定和编码树分割相关的编码复杂度。


【发明内容】

[0022] 有鉴于此，特提供以下技术方案：
[0023] 本发明的实施例提供一种多视点视频编码方法，其将多种编码模式用于副视点中 的编码块，其中多种编码模式包含合并模式、跳过模式、帧间模式和帧内模式，且编码块允 许被分割成更小的编码块，上述多视点视频编码方法包含：接收与当前编码块相关的输入 数据，其中当前编码块对应于当前副视点中当前图像的当前纹理块或当前深度块；决定与 当前编码块或当前编码块的相邻块集合相关的一或多个编码条件；以及若上述一或多个编 码条件满足，利用合并模式或跳过模式编码当前编码块而无需评估帧间模式与帧内模式中 至少一者的编码性能。
[0024] 本发明的实施例另提供一种多视点视频编码方法，其将多种编码模式用于副视点 中的编码块，其中多种编码模式包含合并模式、跳过模式、帧间模式和帧内模式，且编码块 允许被分割成更小的编码块，上述多视点视频编码方法包含：接收与当前编码块相关的输 入数据，其中当前编码块对应于当前副视点中当前图像的当前纹理块或当前深度块；决定 与当前编码块或当前编码块的相邻块集合相关的一或多个编码条件；以及若上述一或多个 编码条件满足，停止将当前编码块分割成更小编码块而无需评估与分割当前编码块得到的 更小编码块相关的编码性能。
[0025] 以上所述的多视点视频编码方法能够在特定条件下避免进行编码性能评估，从而 大幅削减编码时间而不会带来性能损失的副作用。

【专利附图】

【附图说明】
[0026] 图1是整合了视差补偿预测以替代运动补偿预测的3D编码的范例的示意图。
[0027] 图2是3D-HTM中利用相邻视点的先如已编码/[目息或残差彳目息的3D编码的范例的 示意图。
[0028] 图3A是3D-HTM中用于推导当前块的视差向量的当前块的空间相邻块的示意图。
[0029] 图3B是3D-HTM中用于推导当前块的视差向量的当前块的时间相邻块的示意图。
[0030] 图4是从运动补偿预测块推导视差的范例的示意图，其中参考视点中的对应的位 置由视差向量来确定。
[0031] 图5是基于块的虚拟深度推导估测的视差向量的范例的示意图。
[0032] 图6是基于3D-HTM在编码器端执行模式决定的范例的示意图。
[0033] 图7是用于纹理编码树单元和深度编码树单元的、利用四叉树的编码块分割的范 例的示意图。
[0034] 图8是用于纹理编码树单元和深度编码树单元的、利用具有约束条件的四叉树的 编码块分割的另一范例的示意图。
[0035] 图9A是由参考视点中当前块的对应块以及上述对应块的四个相邻块组成的相邻 块集合的范例的示意图。
[0036] 图9B-9C是由当前副视点中当前图像的当前编码块的4个空间相邻块和当前副视 点中时间参考图像中的当前编码块的一个时间相邻块组成的相邻块集合的范例的示意图。
[0037] 图10是依据本发明实施例的、整合了 CU合并模式早决定及CU分割早停的多视点 编码系统的范例性流程示意图。
[0038] 图11是整合了 CU合并模式早决定的多视点编码系统的范例性流程示意图。
[0039] 图12是依据本发明实施例的、整合了 CU分割早停的多视点编码系统的范例性流 程不意图。

【具体实施方式】
[0040] 在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属【技术领域】的 技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利 要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准 贝1J。在通篇说明书及权利要求项中所提及的「包含」为一开放式的用语，故应解释成「包含 但不限定于」。此外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中 描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它 装置或连接手段间接地电气连接至第二装置。
[0041] 为了降低与利用编码性能评估（例如率失真优化（RD0))的编码模式决定相关的 编码器复杂度，依据本发明的实施例利用了编码单元（CU)/预测单元（PU)合并模式早决定 或CU分割早停。图6所示为依据三维高效率视频编码的测试模式（3D-HTM)的传统编码 器。从而，为了确认最佳编码模式和最佳编码树单元分割，传统编码器的模式决定需要很大 的计算量。本发明的一个实施例利用了 CU/PU合并模式早决定来大幅减少所需的计算量。
[0042] 依据本发明的一个实施例，上述有关于当前CU中的所有PU是否都应编码为合并 模式或者跳过模式的决定是通过检验当前CU以及当前CU的相邻块的编码条件做出的。在 此描述中，关于当前⑶的编码条件被称为本地条件（local condition)，而关于当前⑶的 相邻块的编码条件则被称为参考条件。上述当前CU的相邻块被定义为如下分类中的一种：
[0043] 分类1 :分类1中的块集合包含副视点中当前图像的当前CU的对应块以及参考视 点中的对应块的4个邻近块，上述4个邻近块对应于图9A中的左侧块A、右侧块C、顶部块 B以及底部块D。
[0044] 分类2 :分类2中的块集合包含副视点中当前图像的当前CU的对应块以及围绕参 考视点中的对应块的8个邻近块（如图9A中的块A-Η)。
[0045] 分类3 :分类3中的块集合包含副视点中当前图像的当前CU的对应块以及围绕参 考视点中的对应块的8个邻近块的子集。
[0046] 分类4 :分类4中的块集合包含当前CU的空间相邻块，上述空间相邻块对应于图 9B中的左下块A0、底部左侧块A1、左上块B2、右侧顶部块B1以及右上块B0。
[0047] 分类5 :分类5中的块集合包含当前CU的时间相邻块，上述时间相邻块对应于位 于时间参考图像中当前块的时间同位块的右下角的对角的右下块，如图9C所示。若与 相关的运动信息不可用时，位于时间同位块中心点P右下角位置的中心块BCTK被选作上 述时间相邻块。
[0048] 分类6 :分类6中的块集合包含当前CU的视点间相邻块、空间相邻块以及时间相 邻块的任意组合。
[0049] 若当前CU的最佳编码模式在早期就可以决定为合并模式，则编码器仅需要测试 不同PU类型的合并模式的RD性能。从而，需要很大运算量的ME就可以被省略。图10所 示为整合了合并模式早决定实施例的范例性编码器的RD测试。若当前CU/PU为跳过模式 或者合并模式，则会有各种与合并模式早决定相关的实施例。
[0050] 在合并模式早决定的实施例1中，本地条件对应于"对于当前CU来说，跳过模式的 RD性能比2NX2N合并模式的RD性能更好"。在此实施例中，当上述条件为真时，编码器仅 需要测试不同PU类型的合并模式的RD性能。从而如图10所示，无需执行帧间模式的运动 估测程序或者帧内模式的RD测试。
[0051] 在合并模式早决定的实施例2中，参考条件对应于"当前CU的所有相邻块皆选择 合并模式或者跳过模式作为最佳编码模式"。在此实施例中，当上述条件为真时，编码器仅 需要测试不同PU类型的合并模式的RD性能。从而如图10所示，无需执行帧间模式的运动 估测程序或者帧内模式的RD测试。
[0052] 在合并模式早决定的实施例3中，本地条件对应于"对于当前CU来说，跳过模式的 RD性能比2NX 2N合并模式的RD性能更好"，且参考条件对应于"当前CU的所有相邻块皆 选择合并模式或者跳过模式作为最佳编码模式"。在此实施例中，当上述本地条件与参考条 件皆为真时，编码器仅需要测试不同PU类型的合并模式的RD性能。从而如图10所示，无 需执行帧间模式的运动估测程序或者帧内模式的RD测试。
[0053] 依据本发明的另一个实施例，关于是否分割当前CU的早期决定是通过检查与当 前CU以及当前CU的相邻块相关的编码条件而做出的。当前CU的相邻块可被分成不同的 类别。举例来说，前文所述的合并模式早决定的六个分类也可应用至CU分割早停。
[0054] 当本地条件和参考条件皆为真时，当前CU不需要被进一步分割。下述段落将描述 用以早期决定当前CU是否应被进一步分割的不同方案。
[0055] 在CU分割早停的实施例1中，其参考条件对应于"当前CU的分割深度等于或者大 于相邻块的最大分割深度"。在此实施例中，若上述条件为真，则如图10所示，无需对当前 ⑶进一步分割。在此状况下，从"⑶分割早停" 1050到"结束" 1060,选择"是"分支。
[0056] 在⑶分割早停的实施例2中，本地条件对应于"在检查完所有可能的编码模式后， 当前CU的最佳编码模式为跳过模式"，且参考条件对应于"当前CU的分割深度等于或者大 于相邻块的最大分割深度"。在此实施例中，若上述的本地条件和参考条件皆为真，则如图 10所示，无需对当前⑶进一步分割。在此状况下，从"⑶分割早停" 1050到"结束" 1060， 选择"是"分支。
[0057] 下述表1-3为整合本发明实施例的3D或多视点视频编码系统的性能与基于 HTM-7. 0的传统系统的性能的对比，以分别用于合并模式早决定、CU分割早停决定、或者上 述两者。如表1所示，对于CU合并模式早决定来说，视点1(视频1)和视点2 (视频2)中 纹理图像的BD-rate之间的差别很小。而另一方面，对于分别如表2和表3所示的⑶分割 早停以及CU合并模式早决定与CU分割早停的组合来说，视点1 (视频1)和视点2 (视频2) 中纹理图像的BD-rate之间的差别（0.8和0.95)则显示了一些改进。表格中第二组性能 为仅纹理视频的比特率测量（"视频/视频比特率")、纹理视频的总比特率（"视频/总比 特率"，包含纹理比特率和深度比特率）、以及已编码和合成视频的总比特率（"已编码&合 成/总比特率")。如表1-3所示，与基于HTM-7. 0的传统方法相比，上述第二组性能差不多 相同。虽然在RD性能方面，依据本发明的实施例与传统方法差不多相同或者仅有一点点优 势，但依据本发明的实施例能够大幅削减编码时间。如表1所示，在仅应用CU合并模式早 决定的状况下，编码时间可减少32. 1 %。如表2所示，在仅应用CU分割早停的状况下，编码 时间可减少39. 3%。如表3所示，在两者皆应用的状况下，编码时间可减少47. 3%。因此， 依据本发明的实施例能够大幅削减编码时间而不会产生性能损失的副作用。
[0058] 表 1
[0059]

【权利要求】
1. 一种多视点视频编码方法，该方法将多种编码模式用于副视点中的编码块，其中该 多种编码模式包含合并模式、跳过模式、帧间模式和帧内模式，且该编码块允许被分割成更 小的编码块，该多视点视频编码方法包含： 接收与当前编码块相关的输入数据，其中该当前编码块对应于当前副视点中当前图像 的当前纹理块或当前深度块； 决定与该当前编码块或该当前编码块的相邻块集合相关的一或多个编码条件；以及 若该一或多个编码条件满足，利用该合并模式或该跳过模式编码该当前编码块而无需 评估该帧间模式与该帧内模式中至少一者的编码性能。
2. 如权利要求1所述的多视点视频编码方法，其特征在于：该一或多个编码条件对应 于：对于该当前编码块来说，是否该跳过模式的该编码性能比2NX2N合并模式的该编码性 能更好；以及是否该相邻块集合中的所有块都选择该合并模式或者该跳过模式作为最佳编 码模式。
3. 如权利要求1所述的多视点视频编码方法，其特征在于：该相邻块集合包含参考视 点中该当前编码块的对应块以及该参考视点中该当前编码块的该对应块的至少一邻近块。
4. 如权利要求3所述的多视点视频编码方法，其特征在于：该至少一邻近块对应于该 参考视点中该当前编码块的该对应块的左侧、右侧、顶部以及底部的四个邻近块。
5. 如权利要求3所述的多视点视频编码方法，其特征在于：该至少一邻近块对应于该 参考视点中该当前编码块的该对应块周围的八个邻近块。
6. 如权利要求1所述的多视点视频编码方法，其特征在于：该相邻块集合包含该当前 副视点中该当前图像的该当前编码块的一或多个空间相邻块、该当前副视点中时间参考图 像中的该当前编码块的时间相邻块、或者该一或多个空间相邻块与该时间相邻块。
7. 如权利要求6所述的多视点视频编码方法，其特征在于：该一或多个空间相邻块对 应于左下块、底部左侧块、左上块、右侧顶部块以及右上块。
8. 如权利要求6所述的多视点视频编码方法，其特征在于：该时间相邻块对应于位于 该时间参考图像中该当前编码块的时间同位块的右下角的对角位置的右下块，且当与位于 该时间同位块的该右下角的对角位置的该右下块相关的运动信息不可用时，选择位于该时 间同位块的中心点的右下角位置的中心块作为该时间相邻块。
9. 如权利要求1所述的多视点视频编码方法，其特征在于：该编码块对应于编码单元。
10. 如权利要求1所述的多视点视频编码方法，进一步包含： 决定与该当前编码块以及该当前编码块的第二相邻块集合相关的一或多个第二编码 条件；以及 若该一或多个第二编码条件满足，停止将该当前编码块分割成更小编码块而无需评估 与分割该当前编码块得到的该更小编码块相关的该编码性能。
11. 一种多视点视频编码方法，该方法将多种编码模式用于副视点中的编码块，其中该 多种编码模式包含合并模式、跳过模式、帧间模式和帧内模式，且该编码块允许被分割成更 小的编码块，该多视点视频编码方法包含： 接收与当前编码块相关的输入数据，其中该当前编码块对应于当前副视点中当前图像 的当前纹理块或者当前深度块； 决定与该当前编码块或该当前编码块的相邻块集合相关的一或多个编码条件；以及 若该一或多个编码条件满足，停止将该当前编码块分割成更小编码块而无需评估与分 割该当前编码块得到的该更小编码块相关的编码性能。
12. 如权利要求11所述的多视点视频编码方法，其特征在于：该一或多个编码条件对 应于：对于该当前编码块来说，是否该跳过模式被选作该多种编码模式中的最佳编码模式； 以及是否该当前编码块的分割深度等于或者大于该相邻块集合中所有相邻块的分割深度 中的最大分割深度。
13. 如权利要求11所述的多视点视频编码方法，其特征在于：该相邻块集合包含参考 视点中该当前编码块的对应块以及该参考视点中该当前编码块的该对应块的至少一邻近 块。
14. 如权利要求13所述的多视点视频编码方法，其特征在于：该至少一邻近块对应于 该参考视点中该当前编码块的该对应块的左侧、右侧、顶部以及底部的四个邻近块。
15. 如权利要求13所述的多视点视频编码方法，其特征在于：该至少一邻近块对应于 该参考视点中该当前编码块的该对应块周围的八个邻近块。
16. 如权利要求11所述的多视点视频编码方法，其特征在于：该相邻块集合包含该当 前副视点中该当前图像的该当前编码块的一或多个空间相邻块、该当前副视点中时间参考 图像中的该当前编码块的时间相邻块、或者该一或多个空间相邻块与该时间相邻块。
17. 如权利要求16所述的多视点视频编码方法，其特征在于：该一或多个空间相邻块 对应于左下块、底部左侧块、左上块、右侧顶部块以及右上块。
18. 如权利要求16所述的多视点视频编码方法，其特征在于：该时间相邻块对应于位 于该时间参考图像中该当前编码块的时间同位块的右下角的对角位置的右下块，且当与位 于该时间同位块的该右下角的对角位置的该右下块相关的运动信息不可用时，选择位于该 时间同位块的中心点的右下角位置的中心块作为该时间相邻块。
19. 如权利要求11所述的多视点视频编码方法，其特征在于：该编码块对应于编码单 J Li 〇
20. 如权利要求11所述的多视点视频编码方法，进一步包含： 决定与该当前编码块或该当前编码块的第二相邻块集合相关的一或多个第二编码条 件；以及 若该一或多个第二编码条件满足，利用该合并模式或该跳过模式编码该当前编码块而 无需评估该帧间模式与该帧内模式中至少一者的该编码性能。
【文档编号】H04N19/597GK104301739SQ201410324010
【公开日】2015年1月21日 申请日期:2014年7月9日 优先权日:2013年7月18日
【发明者】张娜, 陈渏纹, 林建良, 安基程, 张凯 申请人:联发科技（新加坡）私人有限公司