二元分割模式的推导方法及装置的制造方法
【专利说明】
[0001] 相关申请案交叉申请
[0002] 本申请要求于2014年7月18日递交的作者为Zhouye Gu等人、发明名称为"二元分 割模式的推导方法及装置"的第14/335,403号美国专利申请案的在先申请优先权，其要求 于2013年7月19日递交的作者为Zhouye Gu等、发明名称为"深度建模模型的简化"的第61/ 856,554号美国临时专利申请案的在先申请优先权，于2013年8月16日递交的作者为Zhouye Gu等、发明名称为"深度建模模型的简化"的第61/866,941号美国临时专利申请案的在先申 请优先权，该在先申请的内容W引入的方式并入本文。
[0003] 共同研究协议各方名称
[0004] 本发明系华为技术有限公司与圣克拉拉学院董事会与董事长的成果，圣克拉拉学 院为圣克拉拉学院的前身。
技术领域
[0005] 本发明设及视频编码。
【背景技术】
[0006] 数字视频功能能够应用于许多设备中，如数字电视、数字直接广播系统、无线广播 系统、个人数字助理(PDA)、笔记本电脑或台式计算机、平板电脑、电子书阅读器、数码相机、 数码录音设备、数字媒体播放器、视频游戏设备、电子游戏机、蜂窝式或卫星无线电话、所谓 的"智能手机"、视频会议设备W及视频流设备等。数字视频设备实现了视频编码技术，如 MPEG-2、M阳G-4JTU-T H.263JTU-T H.264MPEG-4、Part 10、高级视频编码(AVC)、高效视 频编码化EVC)等定义的目前仍在开发的标准，及运些标准的扩展所描述的技术。通过实现 运些视频编码技术，数字视频设备可W更有效地传输、接收、编码、解码、和/或存储数字视 频信息。
[0007] 作者为化OSS等人的文件JCTVC-L1003_v34(即，2013年1月14至23日瑞±日内瓦第 12次会议 Joint Collaborative Team on Video Coding(JCT-VC)Of mJ-T SG 16WP 3与 ISO/IEC JTC 1/SC 29/WG 11 共同讨论出的巧igh Efficien巧 Video Coding化EVCHext specification化aft 10(for抑IS&Consent)")描述了即将出现的肥VC标准的近期草案， 称之为"HEVC工作草案10"或"WDIO"，且该文件自2013日7月18日起可从^化://9116111^^-sudparis.eu/jct/doc_end_user/documents/12_Geneva/wgll/JCTVC-L1003-v34.zipT 载。JCTVC-L1003_v34的内容W引入的方式并入本文。
[0008] 视频编码技术包括空域（图内）预测和/或时序（图间）预测，用W减少或去除视频 序列固有的冗余。针对基于块的视频编码，视频条带(如，视频帖或视频帖的一部分)可W分 割为视频块，其也可W称为树块、编码单元(CU)和/或编码节点。采用相对于同一图相邻块 的参考样本的空域预测，对图的帖内编码(I)条带中的视频块进行编码。帖的帖间编码(P或 B帖)条带中的视频块可采用关于同一图中相邻块的参考样本的空域预测或相对于其他参 考图中参考样本的时序预测。图可暗指为帖，参考图也可暗指为参考帖。
[0009] 空域或时序预测产生待编码的块的预测块。残差数据表示待编码的原始块与预测 块的像素差。根据指向组成预测块的参考样本的块的运动矢量，对帖内编码块进行编码，其 中残差数据是指编码块与预测块之差。根据帖内编码模式与残差数据，对帖内编码块进行 编码。对于进一步压缩，冗余数据可W从像素域转换至转换域，产生残差变换系数，之后残 差变换系数可W量化。量化的变换系数最初W二维数组排列，经扫描可产生变换系数的一 维矢量，且可应用赌编码进行更进一步地压缩。
【发明内容】
[0010] 本发明总体上描述了用于编码视频数据的技术。本发明尤其描述了用于编码视频 数据的二元分割模式的推导技术。
[0011] -方面，提供了一种用于编码视频数据的二元分割模式的推导方法。该方法包括： 获得视频块的参考样本数组；
[0012] 获得该参考样本数组之和;通过对该和进行算术右移W计算阔值，其中，所述算术 右移的移位量根据所述视频块的大小信息确定;通过比较该参考样本数组与该阔值确定该 二元分割模式。
[0013] 另一方面，提供了一种用于解码视频数据的设备。该设备包括视频解码器，用于： 获得视频块的参考样本数组，获得该参考样本数组之和;通过对该和进行算术右移W计算 阔值，其中，所述算术右移的移位量根据所述视频块的大小信息确定;通过比较该参考样本 数组与该阔值确定该二元分割模式。
[0014] 另一方面，提供了一种用于解码视频数据的设备。该设备包括:获得视频块的参考 样本数组的构件;获得该参考样本数组之和的构件;通过对该和进行算术右移W计算阔值 的构件，其中，所述算术右移的移位量根据所述视频块的大小信息确定;通过比较该参考样 本数组与该阔值确定该二元分割模式的构件。
[0015] 另一方面，计算机可读存储介质存储了指令，在执行指令时，使得处理器:获得视 频块的参考样本数组，获得该参考样本数组之和；通过对该和进行算术右移计算阔值，其 中，所述算术右移的移位量根据所述视频块的大小信息确定;通过比较该参考样本数组与 该阔值确定该二元分割模式。
[0016] 在上述各方面的一些示例中，该视频块的大小信息由W下任一项表示:块大小，表 示该块大小的比特数，该块大小的对数表征，该块大小对应的该视频块的编码树深度值。
[0017] 在上述各方面的一些示例中，通过将所述视频块的大小信息的表征视为输入参数 来确定所述移位量。
[001引在上述各方面的一些示例中，根据W下表达式确定该移位量：Shift value = BlockSi zeInBi1:*ratio,其中，BlockSize InBit为该视频块的块大小的比特表征，ratio为 整数。
[0019] 下述附图与说明将对一个或多个示例进行详细阐释。其他特征、目的及优势在描 述、附图及权利要求中显而易见。
【附图说明】
[0020] 为了更透彻地理解本发明，现参阅结合附图和【具体实施方式】而描述的W下简要说 明，其中的相同参考标号表示相同部分。
[0021] 图1示出了示例性的进行视频编码与解码的系统；
[0022] 图2示出了示例性的视频编码器；
[0023] 图3示出了示例性的视频解码器；
[0024] 图4A示出了块的模形分割的示例；
[0025] 图4B示出了块的轮廓分割的示例；
[00%]图5示出了二元分割模式的推导算法示例；
[0027] 图6A示出了示例性的二元分割模式的推导的实验结果；
[0028] 图6B示出了另一个示例性的二元分割模式的推导的实验结果；
[0029] 图7是示例性电子设备的示意图。
【具体实施方式】
[0030] 本发明的技术通常可设及=维(3D)视频编码。即，可提供通过运些技术进行编码 的视频数据，并显示该数据W产生=维效果。例如，可W同时充分地显示不同视角（即，从水 平位置略微不同的两个摄像头的角度)的两个图像，W使观察者的左眼看到一个图像，观察 者的右眼看到另一个图像。
[0031] 3D效果可通过，如，立体显示器或自动立体显示器，来实现。立体显示器可与相应 地过滤了两个图像的眼镜配合使用。例如，被动式眼镜可用偏光镜片或不同颜色的镜片过 滤图像，W确保眼睛恰好看到合适的图像。作为另一个示例，主动式眼镜可W在立体显示器 的配合下快速关闭交替镜片，其可在交替显示左眼图像与右眼图像。自动立体显示器在不 需要眼镜的情况下显示运两个图像。例如，自动立体显示器可包括镜子或棱镜，用于使每个 图像投射到观察者对应的双眼。
[0032] 本发明的技术设及通过编码纹理与深度数据来编码3D视频数据。一般来说，术语 "纹理"用于描述图像的亮度（即，辉度或"亮"）值，及图像的色度（即，色彩或"色度"）值。在 一些示例中，纹理图像可包括一组亮度数据W及蓝色(Cb)和红色(Cr)的两组色度数据。在 某些色度格式中，如，4:2:2或4:2:0，色度数据是相对于亮度数据向下采样得到的。即，色度 像素的空域分辨率可能低于相应的亮度像素的空域分辨率，如，色度像素的空域分辨率是 亮度像素的空域分辨率的二分之一或四分之一。
[0033] 深度数据一般描述了相应纹理数据的深度值。例如，深度图像可包括一组深度像 素，每个深度像素描述了相应纹理数据的深度。深度数据可用于确定相应纹理数据的水平 视差。因此，接收纹理与深度数据的设备可显示一个视角（如，左眼视角）的第一纹理图像， 并可通过由基于深度值确定的水平视差值补偿第一图像的像素值，来使用深度数据修改第 一纹理图像W产生另一视角（如，右眼视角）的第二纹理图像。一般情况下，水平视差(或简 称为"视差"）描述了第一视角中的像素对右眼视角中相应像素的水平空域补偿，其中，两个 像素对应两个视角中呈现的同一物体的同一部分。
[0034] 在其他示例中，可W为垂直于图像平面的Z轴中的像素定义深度数据，W相对于为 图像定义的零视差平面定义与给定像素相关的深度。该深度可用于创建显示像素的水平视 差，运样根据相对于零视差平面的像素的Z轴深度值，对左眼与右眼显示不同的像素。零视 差平面可W针对视频序列的不同部分变化，而相对于零视差平面的深度值也会变化。针对 左右眼，位于零视差平面的像素可相似。针对左右眼（如，左右眼有水平视差），位于零视差 平面前的像素可W显示在不同的位置，W营造一种该像素是来自垂直于图像平面的Z轴中 的图像的感觉。位于零视差平面后的像素可W稍显模糊W减轻对深度的感知，或可W针对 左右眼（如，左右眼的水平视差与位于零视差平面前的像素的水平视差相对)显示在不同位 置。其他技术也可W用来为图像传达或定义深度数据。
[0035] 二维视频数据一般会编码为离散图的序列，每一个图对应一个特定时序实例。即， 每一图有一个相对于序列中其他图像的播放时间的关联播放时间。运些图可W视为纹理图 或纹理图像。基于深度的3D视频编码，序列中的每个纹理图也可W对应于深度图。即，纹理 图对应的深度图描述了对应的纹理图的深度数据。多视角视频数据可包括各种不同视角的 数据，其中每个视角可W包括各自的纹理图序列W及对应的深度帖序列。
[0036] 如上所述，每个图像可对应一个特定时序实例。视频数据可通过一系列存取单元 呈现，其中每个存取单元包括所有对应特定时序实例的所有数据。因此，例如，多视角视频 数据加深度，普通时序实例下的每个视角中的纹理图像加上每个纹理图像的深度图都可包 含在特定的存取单元内。存取单元可包括纹理图像对应的纹理分量的数据，W及深度图对 应的深度分量的数据。在运种方式中，3D视频数据可W W多视角视频数据加深度的格式呈 现，其中，采集的或产生的画面(纹理)与相应的深度图相关联。此外，在3D视频编码中，可W 对纹理与深度图进行编码及复用W得到3D视频比特流。深度图可W编码为灰度图像，其中 深度图的"亮度"样本（即，像素)表示深度值。传统的帖内编码和帖间编码方法可W应用于 深度图编码中。
[0037] 深度图的主要特征是锐边(表示物体的边）W及大范围的几乎不变或缓慢变化的 样本值(表示物体的区域）。虽然皿VC帖内预测和变换编码非常适合几乎不变的区域，但是 它会造成锐边上的严重的编码不自然，在中间视点合成后可见。为了更好的表征深度图的 边，W下增加了四种新型深度编码的帖内预测模式，并将对其做更详细的描述。在四个模式 中，将块分成两个非矩形区域的模型趋近于深度块，其中，每个区域由一个常量值表示。该 模型需要的信息包括两个元素，即，分割信息，规定每个样本所属的区域；W及区域值信息， 规定对应区域的样本的常量值。该区域值是指下述的常数分割值(CPV)。使用两个不同的分 割类型，即模形和轮廓分割。它们的不同在于是否进行了深度块分割，W下将做更详细的描 述。可W对深度建模模式进行整合，W将其作为肥VC中的参考帖内预测模式的替换模式。与 帖内预测模式相似，残差表示近似值与初始深度信号之差，且能通过转换编码传输。W下将 对用四个新型深度建模模式得出的深度块的近似值做更详细的描述。
[0038] 在基于肥VC的S维（3D)视频编码机制中，块分割模式(BPM)，例如，深度建模模式 (DMM)和/或区域边界链模式(RBCM)和肥VC帖内编码机制一起用于深度图的帖内编码。
[0039] 除分割信息外，在模形分割或轮廓分割形式中，深度块的信号的建模需要的第二 信息是