视频编码或解码的方法及装置的制造方法
【技术领域】
[0001] 本发明主要关于三维（three-dimentional，3D)视频编码以及多视角视频编码 (Multi-viewVideoCoding，MVC)技术，特别有关于利用具有延伸预测模式的简化深度编 码（SimplifiedDepthCoding,SDC)的深度编码。
【背景技术】
[0002] 三维（3D)电视在近年已经逐渐成为一种趋势，其目标是为了带给观赏者更佳的 视觉体验。多视角视频编码（MVC)是一种用于撷取以及显示3D影像的技术。传统上来说， 多视角视频是通过同时使用多台像机撷取景象而产生，通过正确地放置多台相机使得每一 台相机都能在一个视角（viewpoint)撷取到景象。具有对应每一视角的大量视频序列的多 视角视频会显示大量的数据。因此，多视角视频将需要巨大的储存空间来储存以及/或巨 大的频宽来传输。因此，多视角视频编码技术将会朝向降低所需储存空间以及传输频宽的 方向来发展。在3D和多视角视频编码系统中，会编码纹理数据（texturedata)及深度数 据（depthdata)。
[0003] 对于深度图（depthmap)而言，SDC(又称为区段型深度编码（Segment-wiseDepth Coding))是一种巾贞内编码模式（intracodingmode)的替代方案。是否使用简化深度编 码是由在编码单元级别（codingunitlevel)的标志SDC标志（flag)来决定的。对于简 化深度编码而言，深度区块是由传统巾贞内模式（conventionalintramode)或深度模型模 式1(depthmodelingmode1)来进行巾贞内预测。使用SDC编码的编码单元的分段尺寸为 2Nx2N，因此不需要在比特流中使用SDC编码的区块尺寸来进行信号传输。此外，根据深度 区块是否分成一或两区段，以一或二个常数残差值（residualvalue)来表示使用SDC编码 的残差，以取代使用量化传输系数（quantizedtransformcoefficients)进行编码。
[0004] 根据基于高效率视频编码（HighEfficiencyVideoCoding,HEVC)的现有三维视 频编码，传输特定信息以用于使用SDC编码的区块。传输的这些信息包括：
[0005] 1.当前区块的区段/预测的类型。可能的数值有
[0006] i.深度模型模式（DepthModelingMode,DMM)模式 1-明确楔形波（Explicit Wedgelets)(两个区段）
[0007] ii?平面（Planar)( -个区段）
[0008] 2.对于DMM，对额外的预测信息（例如：分段信息）进行编码。
[0009] 3.对于每个产生的区段，在比特流中传输残差值（位于像素域中）。
[0010] 在深度编码程序中，首先会将深度采样映射到有限的深度值。有限的深度值以深 度查找表〇)印thLookupTable，DLT)来显示，且在将深度采样映射到有限的深度值后， 这些有限的深度值用于作为对应深度查找表的项目的索引。因此，残差值可通过预测因子 (predictor)的深度查找表索引和原始深度采样相减来产生，然后将对应索引的残差值编 码且传送到解码器。在深度图中显示的深度值通常会限制在小于深度捕捉装置可显示的总 数量的一个数量。因此，深度查找表可减少残差幅度（residualmagnitude)所需求的位元 深度（bit depth)。此映射表会传送至解码器，使得在解码器中可执行从索引至有效深度值 的反向查找（inverse lookup)。
[0011] 在编码器端，将残差索引iMsi编码至比特流中，残差值索引i Msi定义是根据： _2] iresi= I (d orig)-I (dpred) (1)
[0013] 其中dOTig表示深度区块所定义的原始深度值（例如原始深度区块的平均值（mean value))，d pral表示预测深度值（例如深度区块的预测采样的平均值），且1(.)表示索引查 找表。计算出的残差值索引i resi会再与重要性标志（significance flag)、符号标志（sign flag)以及[log2dvalid]位元进行编码以求得残差值索引的幅度，其中d valid表示有效深度值 的数量，且[x]是上限函数（ceiling function)，用于表示不小于x的最小整数。
[0014] 深度查找表利用了深度图的稀疏特性（sparse property)，传统上仅有少数超过 全部有效深度范围（full available depth range) (28)的深度值会显示在深度图上。在编 码器中，动态深度查找表是根据分析输入序列的帧（例如一个帧内周期）的数量而建立的。 在编码期间会使用此深度查找表以减少残差信号的有效信号位元深度。
[0015] 为了建立查找表，编码器会从输入视频序列读取预定义数量的帧来进行编码，且 扫描所有采样以获知存在的深度值。在这过程中，会产生映射表，此映射表中会根据原始未 压缩的深度图，将深度值映射至现有的深度值。
[0016] 深度查找表D(.)、索引查找表1(.)、深度映射表M(.)以及有效深度值的数量 d valid，会通过分析深度图Dt的以下过程进行推导：
[0017] 1 ?初始设定
[0018] ?对于全部深度值d，布尔向量B(d) =False。
[0019] ?索引计数器i =0。
[0020] 2.对于多个时间t将每个像素位置p带入Dt中：
[0021] ?设定B (Dt (p)) = TRUE，以标记有效深度值。
[0022] 3.计算在B (d)中TRUE值的数量，且将此结果设定为dvalid的值。
[0023] 4.对于B (d) = TRUE的每个深度值d :
[0024] ?设定 D(i) =d，
[0025] ?设定 M(d) =d，
[0026] ?设定 1(d) =i，且
[0027] ? i = i+1
[0028] 5?对于B (d) = False的每个深度值d :
[0029] 籲找出2 = arg min|d - 31 且 5 (<5%true?设定
[0030] 6?设定 /((/)= /(*i)
[0031] 如上所述，在现有的SDC中有区段（segmentation)和预测（prediction)的两种 类型。区段和预测两种类型所对应的程序将在底下做介绍。
[0032] 深度模型模式（DMM):
[0033] _边界信息是通过起始/结束端以及对应的索引来定义的。
[0034] -如图1所示，对于每个区段的深度编码（DC)预测值（即预测深度值dpral)是由 邻近（neighboring)深度值（亦可视为邻近深度采样或邻近采样）来预测。如图1所示的 两个深度区块（100和120)的范例，每个深度区块被分成两个区段（如虚线所示）。在图1 中，用于产生区块110的预测采样的重建的邻近深度采样是以标号112和114来表示，且用 于产生区块120的预测采样的重建的邻近深度采样以标号122和124来表示。
[0035]平面（Planar)模式：
[0036]-如图2所示的产生的平面模式的预测因子（即预测采样）。如图2A所示，会使用 线性内插（linearinterpolation)以产生最右列以及最后一行的预测因子。对于最右列而 言，线性内插是根据A到Z的深度值来进行。对于最后一行而言，线性内插是根据B到Z的深 度值来进行。如图2B所示，在最右列以及最后一行进行内插运算完成后，剩余的深度位置 的预测因子会从四边使用四对应的深度采样进行双线性内插（bilinearinterpolated)。 [0037]-深度编码（DC)预测值（即区块中的信号预测深度值dpral)是表示平面模式的预 测因子的平均值。
[0038] 根据上述衍生过程，预测采样是通过帧内编码模式（现有的3D-HEVC的DMM模式1 或平面模式）产生的预测值。在解码器端的平面模式的重建过程将在图3做说明。在当前 深度区块（310)的深度编码（DC)预测值（PredD。）是根据当前深度区块的预测深度采样的 平均值来决定。当前深度区块的预测深度值是由邻近重建深度值的线性内插（最右列和最 后一行）以及双线性内插（其他深度采样）推导的。在图3中，预测深度值显示在当前深度 区块（310)中。为了重建深度值（RecDC)，首先通过将残差索引（residualindex)residual 加入