用于三维视频编码的容错亮度补偿的方法
【专利说明】用于三维视频编码的容错亮度补偿的方法
[0001] 【交叉引用】
[0002] 本发明主张申请于2013年4月12日，序列号为PCT/CN2013/074136,标题为 "Removal of Parsing Dependency for Illumination Compensation'，的 PCT 专利申请的 优先权。将此PCT专利申请以参考的方式并入本文中。 【技术领域】
[0003] 本发明涉及视频编码。特别涉及三维/多视图视频编码中的亮度补偿。 【【背景技术】】
[0004] 三维（Three-dimensional，以下简称为3D)电视技术是近年来的技术发展趋势， 其试图给观看者带来轰动的观看体验（viewing experience)。多视图视频是一种用来捕 获并呈现3D视频的技术。多视图视频通常是通过由多个相机同时捕获一个场景来创建，其 中，多个相机被合适地定位以使每个相机从一个视角（viewpoint)来捕获该场景。具有大 量与视图相关联的视频序列的多视图视频表示了巨量的数据（massive amount data)。因 此，多视图视频需要大量的存储空间来存储和/或需要高的带宽来传送。因此，在本领域 中，多视图视频编码技术被开发出来以减少所需要的存储空间以及传送带宽。一个直接方 法可以简单地应用于现有的视频编码技术，使每个单个视图视频序列独立且忽视不同视图 中的任何关联。这样的直接的技术将导致低下的编码性能。
[0005] 为了提高多视图视频编码效率，多视图视频编码总是利用视图间冗余。两个视图 之间的视差是由两个相关相机的位置以及角度而导致。因为所有相机是从不同的视角捕获 相同的场景，所以多视图视频数据包括大量视图间冗余。利用视图间冗余，使用视差向量 (disparity vector，DV)的编码工具已经被开发以用于3D高效视频编码（High Efficiency Video Coding，HEVC)以及 3D 先进视频编码（Advanced Video Coding)。例如，DV 被用作先 进运动向量预测（Advanced Motion Vector Prediction, AMVP)以及合并模式中的时间视 图间运动向量候选（temporal inter-view motion vector candidateJIVChDV也可被用 作AMVP以及合并模式中视差视图间运动向量候选（disparity inter-view motion vector candidate，DIVC)。此外，DV 被用于视图间残差预测（inter-view residual prediction， IVRP)以及视图合成预测（view synthesis prediction，VSP)。
[0006] 此外，亮度补偿（Illumination Compensation，IC)是一种减少由不同相机于 不同位置捕获的两个视图的不同光线区域而导致的光强度（intensity)差值的技术。于 HTM 中，Liu 等人所写的论文（"3D-CE2. h:Results of Illumination Compensation for Inter-View Prediction"，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16WP 3and IS0/IEC JTC 1/SC 29/ffG 11,2nd Meeting:Shanghai, CN, 13- 190ct. 2012, Document:JCT3V-B0045)中揭露了一种线性 IC 模型，用来补偿不同视图中的亮度差异。IC模型中的参数被估计以用于每个预测单元 (Prediction Unit，PU)，其中，每个PU使用可用的最近重建相邻像素。因此，不需要将IC 参数传送到解码器。是否应用IC是在编码单元（coding unit，⑶）等级决定，且IC旗标被 编码以指示于此CU等级下IC是否被启用。旗标仅存在于使用视图间预测来编码的CU。如 果用于CU的IC被启用，且CU中的PU通过时间预测（即，帧间预测）被编码，则PU块被认 为是具有IC禁用。用于视图间预测的线性IC模型如等式（1)所示：
[0007] p(i, j) = aIC · r(i+dvx, j+dvy)+bIC where (i, j) e PUc (I)
[0008] 其中，PUc是当前PU, (i，j)为PUc中的像素坐标，（dvx，dvy)为PU。的视差向量， P(i，j)PUc的预测，r ( ·，·）来自相邻视图的HJ的参考图片，且a IC以及b κ为线性IC模型 的参数。
[0009] 此外，为了提供切片级（slice-level)的自适应1C，编码器可以决定是否将IC应 用于当前图片，并传送该决定到解码器。一个1比特的旗标可以被编码到第一切片的切片 标头中，以指示是否IC被启用以用于图片中的第一切片以及其后续切片。用于IC决定的 决定过程的示例如下所示。
[0010] 1)形成当前图片以及视图间参考原始图片的像素光强度柱状图。
[0011] 2)计算两个柱状图之间的SAD。
[0012] 3)如果SAD超过阈值，IC旗标被设置为1 ;
[0013] 4)否则，IC旗标被设置为0。
[0014] 当前以及视图间参考图片的每个颜色的像素光强度分布是由柱状图来表示，且两 个分布的相似性是通过两个柱状图的绝对差和（Sum of Absolute Differences，SAD)来测 量。接着，将SAD与阈值相比较以确定是否对当前图片启用1C。阈值可以根据从待编码图 片（underlying picture)或测试图片中收集的图片特性来确定。当IC被禁用于图片时， 编码器不需要确定是否对当前图片的CU提供1C。在此情况下，不需要向解码器传送CU等 级旗标。因此，在编码器侧以及解码器侧，都可以避免不必要的IC决定。
[0015] 虽然IC可以提供显著的编码增益，但是根据当前基于HEVC的测试模型 (HEVC-based Test Model，HTM)，IC 会导致解析依赖（parsing dependency)问题。根据现 存的HTM，IC旗标（ic_flag)仅被使用于（signalled)图片间CU(inter CU)，其中，视图间 预测被使用。解析器必须检查是否视图间参考数据被使用。如果视图间参考数据被使用， 解析器将解析用于当前CU的ic_flag。因此，如果参考列表仅包含视图间参考图片，则ic_ flag总是需要被解析。另一方面，如果参考列表仅包含跨时间参考图片，则ic_flag从来不 需要被解析。在这两种情形下是没有解析依赖的。
[0016] 当参考列表包括视图间以及跨时间（即，时间）参考图片时，可能会出现解析问 题。如果当前CU中的所有PU都是以非合并模式（例如，AMVP模式）被编码，因为所有 被使用的参考图片是通过用于非合并模式的参考索引（reference indices)来显式地表 示，所以不会有解析依赖，其中AMVP模式为先进运动向量预测（Advanced Motion vector Prediction)模式。然而，根据现存的HTM，用于使用合并模式编码的PU的参考图片不是 显式地表示。可替代的，参考索引（reference index)是由所选择的合并候选中导出。由 于合并候选列表结构中的修剪过程（pruning process)，所导出的参考图片可取决于其相 邻块的运动向量（motion vector，MV)。因为相邻块的MV来自于对应图片（collocated picture)，所导出的参考图片可间接地取决于对应图片。如果对应图片损坏（例如，由于传 送错误），则ic_flag的解析问题可能会发生。
[0017] 图IA以及图IB为由于间接解析依赖而发生解析问题的示例的示意图。在此示例 中，参考图片Ref 0以及参考图片Ref 1分别为跨时间（inter-time)以及视图间参考图 片。当前CU被编码为2Nx2N合并模式，且所选择的合并候选是由合并索引1来指示。在此 示例中，与前三个候选相关联的参考索引为〇、〇、以及1。由前两个候选中导出的MV被表 示为MVa以及MVb，如图IA所示的示例中，MVa以及MVb是相等的，即，MVa = MVb。此外， MVb是由时间运动向量预测（Temporal Motion Vector Prediction，TMVP)从对应图片中 获取。在合并候选修剪过程中，因为第二可能候选与第一可能候选相等，第二可能候选将从 候选列表中移除。此过程将导致如图IB所示的候选列表110。因此，合并索引1指的是具 有视图间参考的第三原始候选（于第二候选被移除之前）。其结果是，如果对应图片在解 码器中被正确地接收，则ic_flag需要被解析以用于此⑶。然而，如果对应图片被损坏（例 如，由于传送错误），与相邻块相关联的候选MVb可能会被错误解码。这将会导致MVa != MVb，且在此情况下，第二候选将不会从候选列表中移除。这就会导致如图IB所示的候选列 表120。因此，合并索引1将指向此候选列表中的第二可能候选，第二可能候选是一个跨时 间参考。因此，根据现存的HTM，ic_flag不会被解析以用于此⑶，且会出现解析问题。
[0018] 因此，