处理对视频译码的照明补偿的制作方法
【专利说明】
[0001] 本申请案主张2013年7月16日申请的第61/846, 985号美国临时申请案的权益， 其整个内容特此以引用的方式并入本文中。
技术领域
[0002] 本发明涉及视频译码。
【背景技术】
[0003] 数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码 相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线 电电话（所谓的"智能电话"）、视频电话会议装置、视频流式传输装置及其类似者。数字视 频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4第 10部分高级视频译码（AVC)所定义的标准、目前正在开发的高效视频译码（HEVC)标准及这 些标准的扩展中所描述的视频译码技术。视频装置可通过实施此些视频译码技术而更有效 地发射、接收、编码、解码和/或存储数字视频信息。
[0004] 视频译码技术包含空间（图片内）预测和/或时间（图片间）预测以减少或去除 视频序列中固有的冗余。对于基于块的视频译码来说，视频切片（例如，视频帧或视频帧的 一部分）可分割成视频块，视频块还可被称作树块、译码单元（CU)和/或译码节点。使用 相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码（I)切片中的 视频块进行编码。图片的经帧间译码（P或B)切片中的视频块可使用相对于同一图片中的 相邻块中的参考样本的空间预测或相对于其他参考图片中的参考样本的时间预测。图片可 被称为帧，且参考图片可被称为参考帧。
[0005] 空间或时间预测导致待译码块的预测性块。残差数据表示待译码原始块与预测性 块的间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量和指 示经译码块与预测性块之间的差的残差数据来编码。经帧内译码块是根据帧内译码模式和 残差数据而编码。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变 换系数，接着可将残差变换系数量化。可扫描起初按二维阵列布置的经量化变换系数，以便 产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
【发明内容】
[0006] -般来说，本发明描述与译码当前视频数据块的预测模式（例如发信号通知和接 收指示所述预测模式的信号）有关的技术。可使用时间帧间预测、视图间预测、高级残差预 测或照明补偿来预测经帧间预测块。然而，照明补偿和高级残差预测不是一起使用的。因 此，本发明提出当高级残差预测加权因子具有非零值时，不发信号通知指示照明补偿是否 用于当前块的语法元素（例如旗标），其有效地指示高级残差预测用于当前块。
[0007] 在一个实例中，一种解码视频数据的方法包含：确定当前块的高级残差预测 (ARP)加权因子的值；且当ARP加权因子的值不等于零时，跳过用于当前块的照明补偿语 法元素的解码；以及解码当前块。所述方法可进一步包含：当ARP加权因子的值等于零时， 解码当前块的照明补偿语法元素；以及至少部分地基于照明补偿语法元素的值来解码当前 块。
[0008] 在另一实例中，一种编码视频数据的方法包含：确定当前块的高级残差预测 (ARP)加权因子的值；且当ARP加权因子的值不等于零时，跳过用于当前块的照明补偿语 法元素的编码；以及编码当前块。所述方法可进一步包含：当ARP加权因子的值等于零时， 编码当前块的照明补偿语法元素；以及至少部分地基于照明补偿语法元素的值来编码当前 块。
[0009] 在另一实例中，一种用于译码（例如编码或解码）视频数据的装置包含：存储器， 其经配置以存储视频数据；以及视频译码器，其经配置以确定视频数据的当前块的高级残 差预测（ARP)加权因子的值，且当所述ARP加权因子的值不等于零时，跳过当前块的照明补 偿语法元素的译码且译码当前块。所述视频译码器可进一步经配置以在ARP加权因子的值 等于零时，译码当前块的照明补偿语法元素，且至少部分地基于照明补偿语法元素的值来 译码当前块。
[0010] 在另一实例中，一种用于译码视频数据的装置包含：用于确定当前块的高级残差 预测（ARP)加权因子的值的装置；用于在所述ARP加权因子的值不等于零时跳过当前块的 照明补偿语法元素的译码的装置；以及用于在ARP加权因子的值不等于零时译码当前块的 装置。所述装置可进一步包含：用于在ARP加权因子的值等于零时译码当前块的照明补偿 语法元素的装置；以及用于在ARP加权因子的值等于零时至少部分地基于照明补偿语法元 素的值来译码当前块的装置。
[0011] 在另一实例中，一种计算机可读存储媒体（例如非暂时性计算机可读存储媒体） 上面存储有指令，所述指令在被执行时，致使用于译码视频数据的装置的处理器：确定当前 块的高级残差预测（ARP)加权因子的值；且当所述ARP加权因子的值不等于零，跳过当前块 的照明补偿语法元素的译码，且译码当前块。所述计算机可读存储媒体可进一步包含致使 所述处理器在ARP加权因子的值等于零时译码当前块的照明补偿语法元素且至少部分地 基于所述照明补偿语法元素的值译码当前块的指令。
[0012] -或多个实例的细节在附图和以下描述中阐述。其它特征、目标和优点将从描述 和图式，且从所附权力要求书明白。
【附图说明】
[0013] 图1是说明可利用用于发信号通知照明补偿的技术的实例视频编码和解码系统 的框图。
[0014] 图2是说明可实施用于发信号通知照明补偿的技术的视频编码器的实例的框图。
[0015] 图3是说明可实施用于发信号通知照明补偿的技术的视频解码器的实例的框图。
[0016] 图4是说明实例MVC预测模式的概念图。
[0017] 图5是说明当前预测单元（PU)与其空间相邻PU之间的关系的概念图。
[0018] 图6是按输出次序说明视频帧的预测结构的概念图。
[0019] 图7是根据高效视频译码（HEVC)的网络抽象层（NAL)单元标头的概念图。
[0020] 图8是说明可用于照明补偿参数的导出的相邻样本的概念图。
[0021] 图9是说明用于高级残差预测（ARP)的技术的概念图。
[0022] 图10是说明在双向预测的情况下，当前块、参考块和经运动补偿的块之间的关系 的概念图。
[0023] 图11是说明ARP的进一步改进的概念图。
[0024] 图12是说明根据本发明的技术的用于编码块的实例方法的流程图。
[0025] 图13是说明根据本发明的技术的用于解码块的实例方法的流程图。
【具体实施方式】
[0026] 本发明的技术通常涉及基于高级编解码器的多层（例如多视图）视频译码，例如 包含用3D-HEVC(高效视频译码）编解码器来译码两个或更多个视图。举例来说，本发明描 述与照明补偿模式的发信号通知连同高级残差预测模式的发信号通知有关的技术。
[0027] -般来说，视频译码（编码或解码）涉及利用个别图片内和视频数据的单独图片 之间的冗余来压缩位流。举例来说，帧内预测，还被称作空间预测，涉及使用相邻经先前译 码块的像素来预测图片的块。时间帧间预测涉及使用经先前译码图片的参考块来预测图片 的块。层间预测涉及在假定位流包含多个视频数据层的情况下，使用不同层中的经先前译 码图片的数据来预测图片的块。在多视图视频数据的情况下，不同层可对应于不同视图，例 如可用于为观看者产生三维效果的场景的相机视角的不同水平定位。
[0028] 可使用各种层间预测技术来预测视频数据块。举例来说，可使用识别层间参考图 片中的参考块的视差运动向量来预测视频数据块。照明补偿是涉及视图间预测的另一技 术。一般来说，照明补偿涉及使用线性等式来操控视差运动向量所识别的参考块的像素值， 所述线性等式的参数是基于当前块得相邻样本（像素）和参考块的相邻样本来确定。
[0029] 作为又一实例，高级残差预测是在预测当前块时利用视差向量（或视差运动向 量）和时间运动向量两者的技术。一般来说，视差向量识别参考视图中的块，且将时间运动 向量应用于当前块以识别当前视图中的参考块，且应用于参考视图中的块以识别参考视图 中的第二参考块。或者，可通过将视差向量应用于第一参考块来识别第二参考块。视频译 码器可将加权因子应用于第二参考块与参考视图中的块之间的差异，其中所述加权因子可 为值0、0. 5或1，且接着讲此经加权值（逐像素）添加到第一参考块，以产生当前块的经预 测块。当所述加权因子等于〇时，不使用高级残差预测来预测当前块，因为所有经加权值均 被指派值0。假定加权因子不等于零，第一参考块和第二参考块两者均用以计算当前块的经 预测块。
[0030] 如下文更详细地描述，本发明通常描述用于发信号通知与当前块的预测有关的数 据的技术。举例来说，可为当前块译码旗标或其它语法元素，其指示是使用例如常规视图间 预测、高级残差预测还是照明补偿来预测当前块。更明确而言，本发明认识到如果不使用高 级残差预测来预测当前块，那么将仅针对当前块执行照明补偿。在一些实例中，如果高级残 差预测的加权因子等于零，那么仅为当前块译码（例如发信号通知）指示是否将针对当前 块执行照明补偿的旗标。换句话说，在一些实例中，如果高级残差预测的加权因子不等于 零，那么不为当前块译码（例如发信号通知）指示是否将针对当前块执行照明补偿的旗标。
[0031] 如上文所解释，等于零的加权因子值指示不使用高级残差预测，且因此，在高级残 差预测的加权因子值等于零的情况下，可使用照明补偿来预测当前块。加权因子值的非零 值（例如值0.5或1.0)可指示不发信号通知（因此，将不译码）照明补偿旗标。因此，高 级残差预测的加权因子的非零值可指示位流中不存在照明补偿旗标。
[0032] 因此，根据本发明的技术，视频译码器（例如视频编码器或视频解码器）可经配置 以确定当前块的高级残差预测的加权因子的值。如果加权因子具有值零，那么视频编码器 可确定编码当前块的照明补偿语法元素的值，使得照明补偿语法元素的所述值指示视频编 码器是否确定使用照明补偿来编码当前块。也就是说，当视频编码器确定不使用ARP来预 测正编码的块（使得ARP加权因子具有值零）时，视频编码器可编码照明补偿语法元素。类 似地，视频解码器可确定当当前块的加权因子具有值零时，将发信号通知照明补偿语法元 素，且因此，可确定是否使用照明补偿来基于照明补偿语法元素预测当前块。另一方面，如 果加权因子具有非零值，那么视频编码器可跳过照明补偿语法元素的编码，使得照明补偿 语法元素并不形成位流的一部分。也就是说，当视频编码器选择使用ARP来预测正编码的 块（使得ARP加权因子具有非零值）时，视频编码器可跳过照明补偿语法元素的编码。同 样地，视频解码器可确定当加权因子具有非零值时，位流中将不存在用于当前块的照明补 偿语法元素，并且因此推断（即，确定而不接收显式信令）不使用照明补偿来预测当前块。
[0033] 视频译码标准包含 ITU-T H. 261、IS0/IEC MPEG-1 视觉、ITU-T H. 262 或 ISO/ IEC MPEG-2 视觉、ITU-T Η· 263、IS0/IEC MPEG-4 视觉和 ITU-T Η· 264(也被称为 IS0/IEC MPEG-4AVC)，包含其可缩放视频译码（SVC)和多视图视频译码（MVC)扩展。Η. 264的MVC扩 展描述于2010年3月的"用于通用视听服务的高级视频译码"（ITU-T建议Η. 264)中。
[0034] 一般来说，2D视频译码（例如视频编码或视频解码）技术包含基于块的译码技术。 基于块的译码包含预测块，不管是通过帧间预测（也被称作时间预测）还是帧内预测（也 被称作空间预测）。在帧内预测中，视频译码器（例如视频编码器或视频解码器）从相邻的 经先前译码像素（也被称作"样本"）预测当前块。在帧间预测中，视频译码器使用一或多 组运动参数（其可包含一或多个相应运动向量）来从经先前译码图片预测当前块。
[0035] 在HEVC中，存在用于预测运动参数的两种模式：一种是合并模式，且另一种是高 级运动向量预测（AMVP)。在合并模式下，构建运动参数（预测方向、参考图片和运动向量） 的候选列表，其中候选者可选自空间和时间相邻块。视频编码器可通过将索引发射到候选 者列表来发信号通知选定运动参数。在解码器侧，一旦索引被解码，索引所指向的对应块的 所有运动参数将由当前块继承。
[0036] 在AMVP中，基于经译码参考索引导出针对每一运动假设的运动向量预测符的候 选者列表。此列表包含与相同参考索引相关联的相邻块的运动向量以及基于时间参考图片 中处于相同位置的块的相邻块的运动参数导出的时间运动向量预测符。选定的运动向量是 通过发射到候选者列表中的索引来发信号通知。另外，发信号通知参考索引值和运动向量 差。下文将更详细地描述运动数据压缩方法。
[0037] 还可使用时间运动向量预测（TMVP)来预测运动向量。为了获得当前块的运动向 量的时间运动向量预测符，视频译码器可首先识别与包含当前块的当前图片位于同一地点 的图片。如果当前图片是Β切片（即，切片包含经双向预测的块），可在包含当前块的切 片的切片标头中用信号通知collocated_from_10_flag，以指示所述位于同一地点的图片 是来自RefPicListO或RefPicListl。另外，对于B切片，在已经构建最终参考图片列表 (RefPicListO和RefPicListl)之后构建组合列表（RefPicListC)。如果针对所述组合列 表存在参考图片列表修改语法，那么可进一步修改所述组合列表。
[0038] 在视频译码器识别参考图片列表之后，视频译码器可使用在切片标头中发信号通 知的collocated_ref_idx来在列表中的图片中识别所述图片。视频译码器可接着通过检 查位于同一地点的图片来识别位于同一地点的PU。出于TMVP的目的，位于同一地点的PU 的右下PU的运动或位于同一地点的PU的中心PU的运动用作预测符。
[0039] 当视频译码器使用以上过程所识别的运动向量来产生AMVP或合并模式的运动候 选者时，视频译码器可基于时间位置（由图片次序计数（P0C)值反映），按比例缩放运动候 选者的运动向量预测符。
[0040] 在HEVC中，图片参数集合（PPS)包含旗标enable_temporal_mvp_flag。当具有等 于0的temporal_id的特定图片是指具有等于0的enable_temporal_mvp_flag的PPS时， 将经解码图片缓冲器（DPB)中的所有参考图片标记为"不用于时间运动向量预测"，且来自 按解码次序在所述特定图片之前的图片的运动向量将不会在解码所述特定图片或按解码 次序在所述特定图片之后的图片中用作时间运动向量预测符。
[0041] 本发明的技术通常与发信号通知3D-HEVC中的照明补偿模式有关，但这些技术可 在其它视频译码标准和/或其它视频译码标准的扩展中实施。下文相对于图7到10更详 细地描述3D-HEVC中的照明补偿模式。在本发明之前，3D-HEVC中的照明补偿模式可具有以 下问题：
[0042] -在ARP的设计中，当用ARP来译码译码单元（⑶）（即，发信号通知具有不等于0 的值的ARP加权因子）时，照明补偿的存在（ic_flag)可为冗余的，例如因为当前CU可不 通过视图间参考图片来预测。
[0043] -ARP还可应用于视图间预测，如在2013年6月21日申请的第61/838,208号美国 临时申请案和2013年7月14日申请的第61/846, 036号美国临时申请案中。在此情况下， 不考虑ARP加权因数与ic_flag之间的关系，且因此当存在时，ic_flag可为冗余的。
[0044]-照明补偿的使用的控制是在切片等级。因此，当整个序列并不使用照明补偿时， 多个位可能浪费。
[0045] 此外，本发明认识到，一般来说，ARP和照明补偿不一起（即，在同一块上一起）执 行。因此，当执行ARP时（例如当ARP加权因子具有非零值时），不必发信号通知照明补偿 语法元素。同样地，当不执行ARP时（例如当ARP加权因子具有值零时），可发信号通知照 明补偿语法元素。
[0046] 根据本发明的实例的技术在被实施时，可克服将照明补偿（1C)应用于视差运动 补偿时以及当考虑ARP是否适用于当前块（例如当前CU)时的这些问题中的任一者或全 部。本发明的技术的每一方面可隔离或结合任何其它方面而使用。
[0047] 图1是说明可利用用于发信号通知照明补偿的技术的实例视频编码和解码系统 10的框图。如图1中所示，系统10包含源装置12,其提供稍后将由目的地装置14解码的 经编码的视频数据。确切地说，源装置12经由计算机可读媒体16将视频数据提供到目的 地装置14。源装置12和目的地装置14可包括各种各样裝置中的任一者，包含桌上型计算 机、笔记本型（即，膝上型）计算机、平板计算机、机顶盒、电话手持机（例如所谓的"智慧 型"电话）、平板机、电视机、相机、显示元件、数字媒体播放器、视频游戏控制台、视频流式传 输装置或类似者。在一些情况下，源装置12和目的地装置14可经装备以用于无线通信。源 装置12和目的地装置14可包含用以存储视频数据的存储器，例如视频编码器20和视频解 码器30内的相应存储器和/或视频编码器20和视频解码器30外部的存储器，例如经译码 图像缓冲器和用以存储原始、未经译码的数据（对于源装置12)或经解码数据（对于目的 地装置14)的缓冲器。
[0048] 目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机 可读媒体16可包括能够使经编码视频数据从源装置12移动到目的地装置14的任何类型 的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编 码的视频数据直接发射到目的地装置14的通信媒体。经编码的视频数据可根据通信标准 (例如无线通信协议）来调制，并且被发射到目的地装置14。通信媒体可包括任何无线或有 线通信媒体，例如射频（RF)频谱或一或多个物理发射线路。通信媒体可能形成基于分组的 网络（例如局域网、广域网或全球网络，例如因特网）的一部分。通信媒体可包含路由器、 交换器、基站或任何其它可以用于促进从源装置12到目的地装置14的通信的设备。
[0049] 在一些实例中，经编码数据可从输出接口 22输出到存储装置。类似地，可通过输 入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取式数据存储媒 体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存 储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装 置可对应于文件服务器或另一可存储源装置12产生的经编码视频的中间存储装置。目的 地装置14可经由流式传输或下载从存储装置存取经存储的视频数据。文件服务器可为能 够存储经编码视频数据并将经编码视频数据发射到目的地装置14的任何类型的服务器。 实例文件服务器包含网络服务器（例如，用于网站）、FTP服务器、网络附接存储（NAS)装置 或本地磁盘驱动器。目的地装置14可通过任何标准数据连接（包含因特网连接）来存取 经编码的视频数据。此可包含无线信道（例如，Wi-Fi连接）、有线连接（例如，DSL、电缆调 制解调器等），或适合于存取存储在文件服务器上的经编码视频数据