帧内编码的预测值派生的方法和装置的制造方法
【专利说明】帧内编码的预测值派生的方法和装置
[0001]【交叉参考相关引用】
[0002] 本发明要求2013年4月11日申请的序列号为61/810,797,标题为"Method Of Deriving the Predicting Value in Intra Coding"的美国临时专利申请的优先权，该美 国临时专利申请在此全部并入参考。 【技术领域】
[0003] 本发明涉及三维和多视图视频编码。特别地，本发明涉及使用简化的深度编码的 深度编码。 【【背景技术】】
[0004] 近年来，三维（3D)电视已经成为一种技术趋势，其致力于带给观众生动的观看体 验。多视图视频是一种俘获和描绘3D视频的技术。多视图视频通过同时使用多个相机俘 获一个场景来典型地创建，其中多个相机合适地放置以便每个照相机从一个视图俘获此场 景。具有与视图关联的大量视频序列的多视图视频表示大数量数据。因此，多视图视频将 要求较大存储空间以储存和/或较高的带宽以传送。因此，多视图视频编码技术已经在本 领域发展以减少所要求的存储空间和传送带宽。在三维和多视图编码系统中，文本数据以 及深度数据被编码。
[0005] 对于深度图，简化的深度编码（Simplified Depth Coding，SDC)，其也称作分段 式（segment-wise)DC编码，是备选的帧内编码模式。SDC是否使用由在编码单元（Coding Unit，CU)级的SDC旗标标示（signal)。对于SDC，深度块由现有的帧内模式或深度模型模 式1来进行帧内预测。SDC编码的CU的分割大小通常是2Nx2N，并因此不需要在比特流中 标示关于SDC编码的CU的块大小。此外，SDC编码的残值依据深度块是否分为一个或两个 片段来由一个或两个常数残值来表示，而不是编码为量化转换系数。
[0006] 根据基于HEVC (3D-HEVC)的现存的三维视频编码，特定信息为SDC编码的块来标 示。标示的信息包含：
[0007] 1.当前块的分割/预测类型。可能的值是
[0008] i.DC(直流；1 片段）
[0009] ii. DMM(深度模型编码模式）模式1-明确楔（Explicit Wedgelets) (2个片段）
[0010] iii.平面（1 片段）。
[0011] 2.对于DMM，附加的预测信息被编码。
[0012] 3.对于每个结果片段，残值（在像素域）在比特流中被标示。
[0013] 在深度编码过程中，深度残值被映射到限制的深度值，其呈现在原始深度图。限制 的深度值由深度查找表（DLT)表示。因此，残值可以由标示指向此查找表的条目的索引来 编码。呈现在深度图中的深度值通常限制于小于可以由深度俘获装置表示的总数的数目。 因此，DLT的使用可减少残值幅度要求的位深度。此映射表发送到解码器，以便从索引到有 效的深度值的反向查找表可以在解码器执行。
[0014] 在编码器侧，即将被编码进比特流的残值索引仁_根据以下来确定：
[0015]
(1)
[0016] 其中(1_表示确定用于深度块的原始深度值，d ^表示预测深度值，以及I (.)表 示索引查找表。计算后的残值索引Ilresl然后与重要旗标、符号旗标以及残值索引的幅度的
K立一起编码，其中dvalld表示有效的深度值的数目以及是对应于不小于X的最 小整数的上取整函数。
[0017] 深度查找表利用深度图的稀疏特性（sparse property)，其中仅仅全部可用的深 度范围（例如，2s)的少数深度值将典型地呈现在深度图中。在编码器，动态深度查找表通 过分析输入序列的多个帧（例如，一个帧内期间）来构建。此深度查找表在编码过程中使 用以减少残值信号的有效信号位深度。
[0018] 为了重建查找表，编码器从即将编码的输入视频序列读取预定义数目的帧，并扫 描所有样本用于深度值的出现。在此过程中，基于原始未压缩的深度图生成将深度值映射 到现存的深度值的映射表。
[0019] 深度查找表D (.)、索引查找表1 (.)、深度映射表M(.)以及有效的深度值的数目 dvalld由分析深度图D ,的以下过程派生：
[0020] 1.初始化
[0021] ?对于所有深度值d，布尔向量B (d) = PALSE
[0022] ?索引计数器t = 0。
[0023] 2.对于多个时间段t，处理Dt中的每个像素位置p :
[0024] ?设置B (Dt (P) )= TRUE以标记有效的深度值。
[0025] 3.计算B (d)中TRUE值的数目。结果设置为dvalld的值。
[0026] 4.对于每个 d，B (d) = = TRUE :
[0027] ?设置 D(t) = d，
[0028] ?设置 M(d)=d，
[0029] ?设置 I (d) = t，以及
[0030] · t = t+l〇
[0031] 5.对于每个 d，B (d) = = FALSE :
[0032] ?找出
[0033] ?设置
[0034] 6.设置
[0035] 如上所述，在现存的SDC中的存在三个类型的分割和预测。对于三个类型的分割 和预测的相应过程描述于下。
[0036] DC ：
[0037] -DC预测值（预测深度值（dprad))使用上边块和左侧块的所有直接邻近样本的平 均值来从相邻块预测。
[0038] DMM 模式：
[0039] -边缘信息是由起始/结束侧和对应索引来定义。
[0040] -如图1所示，每个片段的DC预测值（预测深度值（d_d))由相邻深度值来预测。 两个深度块（110和120)显示于图1，其中每个块由虚线所示分割成两个片段。块110的 重建后的相邻深度样本由参考112和114来指示，块120的重建后的相邻深度样本由参考 122和124来指示。
[0041] 平面：
[0042] -如图2所示生成平面模式的预测符。如图2A所示，线性内插用于为右侧列和底 部行生成预测符。对于右侧列，线性内插是基于在A和Z的深度值。对于底部行，线性内插 是基于在B和Z的深度值。在右侧列和底部行被内插后，如图2B所示，剩余深度位置的预 测符是使用来自四侧的四个相应深度样本来双向线性内插的。
[0043] -DC预测值（预测深度值（d_d))是平面模式的预测符的平均。
[0044] 在以上派生过程中，预测样本参考由帧内编码模式生成的预测后的值，其可以是 现有3D-HEVC中的DC模式、DMM模式1或平面模式。在解码器侧的DC模式的重建过程图示 于图3。当前深度块（310)的DC预测值（PredDC)基于相邻的重建后的深度值来确定。在 图3,原始深度值显示于当前深度块（310)。残值通过将反向查找应用在所接收的残值索引 上来获得。当前深度块的重建后的深度值（RecDC)通过将残值加上PredDC来获得。重建 后的深度值（RecDC)然后用于当前重建后的深度块（320)的所有深度样本。
[0045] 在解码器侧的DMM模式1的重建过程图示于图4。当前深度块（410)分割成两个 片段。当前深度块（410)的两个片段的DC预测值（PrecWJP Pred De2)是基于相应相邻重建 后的深度值确定的。在图4中，原始深度值显示于当前深度块（410)。残值（residualJP residual是通过在所接收的残值索引上应用反向查找而获得的。当前深度块的两个片段 的重建后的深度值（Rec w^P Recwn)是分别通过将residual 1加 Predwn以及将residual 2加 Predre2获得的。重建后的深度值（Recwn和Recwn)然后用于当前重建后的深度块（420) 的两个相应片段中的所有深度样本。
[0046] 在解码器侧的平面模式的重建过程图示于图5。当前深度块（510)的DC预测值 (Pred re)是基于当前深度块的预测深度值的平均值来确定的。当前深度块的预测深度值是 基于相邻重建后