用于深度图帧内译码的预测子的制作方法

文档序号:17407894发布日期:2019-04-16 22:14阅读:236来源:国知局
用于深度图帧内译码的预测子的制作方法

本发明涉及视频译码。



背景技术:

数字视频能力可并入到多种多样的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似物。数字视频装置实施视频压缩技术,例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置可通过实施此些视频压缩技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码来说,视频切片(即,图片或图片的一部分)可分割成视频块,视频块还可被称作树块、译码单元(CU)和/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。

空间或时间预测导致用于待译码块的预测块。残余数据表示待译码原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式和残余数据而编码。为了进一步压缩,可将残余数据从空间域变换到变换域,从而产生残余变换系数,接着可对残余变换系数进行量化。可扫描最初用二维阵列布置的经量化变换系数,以便产生变换系数的一维向量,且可应用熵译码以实现更多的压缩。



技术实现要素:

本发明的技术大体涉及在视频译码中对深度数据进行帧内译码。举例来说,对深度数据进行帧内译码可包含基于与当前经帧内译码的块相邻的深度样本确定所述块的经预测深度值。在一些情况下,当前经译码块可分割成一个以上部分。在此类情况下,与所述块相邻的所有参考样本可用于确定所述块的每一分割的预测值。本发明的各方面涉及基于较少参考样本确定所述块的分割的预测值,其可减小复杂性和增加准确性。

在一实例中,本发明的各方面涉及一种对视频数据译码的方法,其包含:确定深度值的块的分割样式,包括将所述块的一或多个样本指派到第一分割和将所述块的一或多个其它样本指派到第二分割;基于所确定的分割样式确定第一分割和第二分割中的至少一者的预测值;以及基于所述预测值对第一分割和第二分割中的所述至少一者译码。

在另一实例中,本发明的各方面涉及一种用于对视频数据译码的设备,其包含一或多个处理器,所述一或多个处理器经配置以:确定深度值的块的分割样式,包括将所述块的一或多个样本指派到第一分割和将所述块的一或多个其它样本指派到第二分割;基于所确定的分割样式确定第一分割和第二分割中的至少一者的预测值;以及基于所述预测值对第一分割和第二分割中的所述至少一者译码。

在另一实例中,本发明的各方面涉及一种用于对视频数据译码的设备,其包含:用于确定深度值的块的分割样式的装置,包括将所述块的一或多个样本指派到第一分割和将所述块的一或多个其它样本指派到第二分割;用于基于所确定的分割样式确定第一分割和第二分割中的至少一者的预测值的装置;以及用于基于所述预测值对第一分割和第二分割中的所述至少一者译码的装置。

在另一实例中,本发明的各方面涉及一种非暂时性计算机可读媒体,其包括存储于其上的指令,所述指令在执行时致使一或多个处理器:确定深度值的块的分割样式,包括将所述块的一或多个样本指派到第一分割和将所述块的一或多个其它样本指派到第二分割;基于所确定的分割样式确定第一分割和第二分割中的至少一者的预测值;以及基于所述预测值对第一分割和第二分割中的所述至少一者译码。

在附图和下文描述中阐述本发明的一或多个实例的细节。其它特征、目标和优点将从所述描述和图式以及权利要求书而显而易见。

附图说明

图1是说明可利用本发明的技术进行深度译码的实例视频编码和解码系统10的框图。

图2是说明可实施用于深度译码的技术的视频编码器的实例的框图。

图3是说明可实施用于深度译码的技术的视频解码器的实例的框图。

图4大体上说明与方向性帧内预测模式相关联的预测方向。

图5A和5B是说明深度建模模式(DMM)的实例的概念图。

图6是说明区边界链译码模式的概念图。

图7是说明使用简化深度译码(SDC)对深度信息进行帧内译码的框图。

图8为说明深度数据的块和相邻样本的框图,所述相邻样本可用于确定所述块的一或多个分割的经预测深度值。

图9A为说明具有第一分割和第二分割的块的深度值和相邻样本的值的框图。

图9B为说明图9A中展示的块的第一分割和第二分割的经预测深度值的框图。

图10为说明根据本发明的方面的深度数据的块和相邻样本的框图,所述相邻样本可用于确定所述块的一或多个分割的经预测深度值。

图11A-11H是说明根据本发明的方面的深度数据的块和用以确定经预测深度值的相邻样本的实例分割样式的框图。

图12为说明根据本发明的方面用于确定深度数据的块的一或多个分割的预测值的实例过程的流程图。

图13为说明根据本发明的方面用于对深度数据的块的分割译码的实例过程的流程图。

具体实施方式

一般来说,本发明的技术涉及三维(3D)视频译码。也就是说,使用这些技术译码的视频数据可经渲染且显示以产生三维效果。举例来说,不同视图的两个图像(也就是说,对应于具有稍微不同水平位置的两个相机视角)可大体上同时显示以使得一个图像由观察者的左眼看见,且另一图像由观察者的右眼看见。

此3D效果可使用(例如)立体显示器或自动立体显示器实现。立体显示器可结合相应地对所述两个图像进行过滤的护目镜而使用。举例来说,无源眼镜可使用偏光镜片或不同有色镜片对图像进行过滤以确保恰当眼睛观看恰当图像。作为另一实例,有源眼镜可与立体显示器协调地快速遮挡交替的镜片,所述立体显示器可在显示左眼图像与右眼图像之间交替。自动立体显示器以不需要眼镜的方式显示所述两个图像。举例来说,自动立体显示器可包含经配置以致使每一图像投影到观察者的适当眼睛中的镜或棱镜。

本发明的技术涉及通过对纹理和深度数据译码而对3D视频数据译码。一般来说,术语“纹理”用以描述图像的明度(luminance)(即,亮度或“明度(luma)”)值和图像的色度(chrominance)(即,色彩或“色度(chroma)”)值。在一些实例中,纹理图像可包含用于蓝色调(Cb)和红色调(Cr)的一组明度数据和两组色度数据。在例如4:2:2或4:2:0等某些色度格式中,色度数据相对于明度数据向下取样。即,色度像素的空间分辨率可低于对应明度像素的空间分辨率,例如为明度分辨率的二分之一或四分之一。

深度数据大体上描述对应纹理数据的深度值。举例来说,深度图像可包含各自描述对应纹理数据的深度的一组深度像素。深度数据可用于确定对应纹理数据的水平视差。因此,接收纹理和深度数据的装置可显示一个视图(例如,左眼视图)的第一纹理图像,且通过使第一图像的像素值偏移基于深度值所确定的水平视差值而使用深度数据修改第一纹理图像以产生另一视图(例如,右眼视图)的第二纹理图像。一般来说,水平视差(或简称“视差”)描述第一视图中的像素与右视图中的对应像素的水平空间偏移,其中两个像素对应于如在两个视图中所表示的相同对象的相同部分。

在另外其它实例中,可针对垂直于图像平面的z维度中的像素定义深度数据,使得与给定像素相关联的深度是相对于针对所述图像所定义的零视差平面而定义。此深度可用以产生水平视差用于显示像素,使得所述像素取决于所述像素相对于零视差平面的z维度深度值而对于左眼与右眼以不同方式显示。零视差平面可对于视频序列的不同部分改变,且相对于零视差平面的深度量也可改变。可对于左眼与右眼类似地定义位于零视差平面上的像素。位于零视差平面之前的像素可对于左眼与右眼显示于不同位置中(例如,具有水平视差),以便产生像素似乎是从垂直于图像平面的z方向上的图像出来的感觉。位于零视差平面之后的像素可显示为具有轻微模糊以轻微地感觉到深度,或可对于左眼与右眼显示于不同位置中(例如,具有与位于零视差平面之前的像素相反的水平视差)。许多其它技术也可用以传达或定义图像的深度数据。

二维视频数据大体上经译码为离散图片的序列,所述离散图片中的每一者对应于特定时间例项。也就是说,每一图片具有相对于所述序列中的其它图像的重放时间的相关联重放时间。这些图片可视为纹理图片或纹理图像。在基于深度的3D视频译码中,序列中的每一纹理图片还可对应于深度图。也就是说,对应于纹理图片的深度图描述对应纹理图片的深度数据。多视图视频数据可包含各种不同视图的数据,其中每一视图可包含纹理图片和对应深度图片的相应序列。

如上所述,图像可对应于特定时间例项。视频数据可使用存取单元序列来表示,其中每一存取单元包含对应于特定时间例项的所有数据。因此,举例来说,对于多视图视频数据加深度,来自用于共同时间例项的每一视图的纹理图像加所述纹理图像中的每一者的深度图可全部包含在特定存取单元内。存取单元可包含对应于纹理图像的纹理分量和对应于深度图的深度分量的数据。

以此方式,3D视频数据可使用多视图视频加深度格式来表示,其中俘获或产生的视图(纹理)与对应深度图相关联。此外,在3D视频译码中,纹理和深度图可经译码且多路复用到3D视频位流中。深度图可经译码为灰度级图像,其中深度图的“明度”样本(即,像素)表示深度值。大体来说,深度数据的块(深度图的样本的块)可被称为深度块。深度值可指代与深度样本相关联的明度值。在任何情况下,常规帧内和帧间译码方法可应用于深度图译码。

深度图通常包含尖锐边缘和恒定区域,且深度图中的边缘通常呈现与对应纹理数据的强相关。由于纹理与对应深度之间的不同统计数据和相关,已经基于2D视频编解码器设计并且持续设计不同译码方案用于深度图。

本发明的技术大体涉及对深度数据译码,且可适用于高效视频译码(HEVC)标准。举例来说,联合视频组(JVT)最近开发了HEVC的基础版本(2D),其提供比先前开发的视频译码标准高的效率。3D视频译码联合合作小组(JCT-3V)当前在进行两个三维视频(3DV)解决方案的研究作为对HEVC的扩展。一个实例包含称为MV-HEVC的HEVC的多视图扩展。另一实例包含深度增强3D视频扩展(3D-HEVC)。3D-HEVC的最新参考软件3D-HTM版本5.1在https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-5.1/处公开可用。最新软件描述(文献号:B1005)可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wgl1/JCT3V-B1005-vl.zip获得。

在3D-HEVC中,每一存取单元含有多个视图分量,每一视图分量含有唯一视图id或视图次序索引或层id。视图分量含有纹理视图分量以及深度视图分量。纹理视图分量可经译码为一或多个纹理切片,而深度视图分量可经译码为一或多个深度切片。

在一些情况下,深度数据可经帧内译码,其依赖于空间预测来减少或移除给定图片内的空间冗余。举例来说,在3D-HEVC中,视频译码器(例如,视频编码器或视频解码器)可使用来自基础(2D)HEVC标准的帧内预测模式对深度切片的帧内预测单元进行译码。下文相对于图4更详细地描述HEVC标准的帧内模式。

在另一实例中,视频译码器可使用深度建模模式(DMM)对深度切片的帧内预测单元进行译码。下文相对于图5A和5B更详细地描述3D-HEVC的DMM。利用DMM,视频译码器可将深度数据的块(通常称为深度块)分割为预测区。举例来说,视频译码器可使用由穿过深度数据块绘制的任意线定义的楔形波样式或将深度块分割为两个不规则形状区的轮廓线样式来分割深度数据块。

在另一个实例中,视频译码器可使用区边界链译码对深度切片的帧内预测单元进行译码。下文相对于图6更详细地描述区边界链译码(被简单地称作“链译码”)。大体来说,视频译码器可使用链译码将深度数据块分割为不规则形状区,其可随后经帧内译码。

在再一实例中,视频译码器可使用简化深度译码(SDC)模式对深度切片的帧内预测单元进行译码。下文相对于图7更详细地描述SDC。在一些情况下,如下文更详细地描述,SDC可结合DMM实施。然而,与上述帧内模式译码方案对比,当使用SDC模式时,视频译码器并不变换或量化残余深度值。实际上,在一些实例中,视频译码器可直接对残余深度值译码。

如上所述,特定针对深度图译码的一些译码方案包含将深度图的块分割为各种预测区。举例来说,深度图的块可使用楔形波样式、轮廓线样式或链译码样式来分割。大体来说,视频译码器可在对深度块译码时产生所述深度块的每一分割的预测值。在一些情况下,视频译码器可确定经预测DC深度值。

经预测DC深度值为应用于预测整个分割的单一预测值。举例来说,“DC值”通常指代以相同方式使块或分割的分量偏置的值。在出于说明的目的的一实例中,经预测DC值可通常基于定位在正译码块的上方和左侧的相邻深度样本的平均值来确定,其随后应用于预测块的所有深度值。然而,如下文更详细地描述,经预测DC值可通常指代将单一预测值应用于分割,而不一定暗示执行求平均。举例来说,在一些情况下,经预测DC值可基于单一值(不执行求平均)。在任何情况下,经预测DC值可用于并不包含值的较广变化的块,这可使经预测DC值特别好地适合于恒定深度值。

每一分割的经预测DC值可用于对深度数据译码。举例来说,视频编码器可确定包含每一分割的实际深度值与每一分割的相应经预测DC值之间的差的深度块的残余。视频编码器可在经编码位流中包含所述残余。视频解码器可解析来自经编码位流的所述残余,确定每一分割的经预测DC值,且将每一分割的所述残余与每一分割的相应经预测DC值组合以确定所述块的实际深度值。

在任何情况下,如上所述,可基于与当前经译码的深度数据块相邻的深度样本确定分割的预测值。举例来说,视频译码器可基于定位在深度块上方的一行相邻样本和定位在深度块左侧的一列相邻样本确定深度块的每一分割的预测值。

在此实例中,在分割所述块之后,视频译码器可将与第一分割相邻的相邻样本标明为有助于用于第一分割的预测子。举例来说,视频译码器可对作为第一分割的相邻者的与深度块的顶部行或左列相邻的所有样本求平均以产生用于所述第一分割的预测子。同样,视频译码器可将与第二分割相邻的相邻样本标明为有助于第二分割的预测子。举例来说,视频译码器可对作为第二分割的相邻者的与深度块的顶部行或左列相邻的所有样本求平均以产生用于所述第二分割的预测子。

在上文描述的实例中,存在与产生经预测DC值相关联的若干数学运算。举例来说,必须将每一有帮助的相邻样本相加以确定平均值。此外,必须对每一有帮助的相邻样本计数以确定平均值。此外,需要除法运算以确定平均值。

此外,当深度块的大小增加时,待执行的运算的数目可增加。如下文更详细地描述,在一些实例中,HEVC允许大小为32×32的块。在这些实例中,对于32×32块,存在64个加法以计算属于每一分割的参考样本的总和。还存在64个加法以对属于每一分割的参考样本的数目计数。此些运算可增加与确定经预测DC值相关联的计算复杂性。

此外,参考样本(相邻样本)可在上文描述的实例中不正确地分割。举例来说,参考样本和相邻深度值可在分割的边缘附近具有实质上不同值。在此实例中,参考样本可使分割的预测值失真,者可导致译码低效率。

本发明的各方面通常涉及用于当对深度图进行帧内译码时确定经预测深度值的技术。举例来说,根据本发明的方面,视频译码器可初始地确定深度值的块的分割样式。所述分割样式可指示所述块的深度值的顶部行是否包含仅指派到第一分割的深度值、仅指派到第二分割的深度值,或指派到第一分割和第二分割两者的深度值。所述分割样式还可指示所述块的深度值的左列是否包含仅指派到第一分割的深度值、仅指派到第二分割的深度值,或指派到第一和第二分割两者的深度值。

基于分割样式,视频译码器可确定用以确定第一分割和/或第二分割的经预测深度值的相邻样本。举例来说,视频译码器可基于分割样式选择一或多个预定相邻样本。视频译码器可使用选定值以确定所述分割中的一或两者的经预测DC值。

在出于说明的目的的一实例中,如果深度值的顶部行仅包含指派到第一分割的深度值,那么视频译码器可选择深度块上方的行中的单一相邻参考样本作为第一分割的经预测深度值。此实例利用深度数据的典型特性以包含较大恒定区域。举例来说,因为所述块的顶部行的所有深度值包含在相同分割中,所以认为任何相邻深度值将具有与所述分割相同或类似的值。因此,并非对所有相邻样本求平均(如上文所描述),视频译码器可选择一或多个代表性样本作为分割的经预测DC值。

以此方式,所述技术可减小与确定分割的经预测深度值相关联的计算成本。举例来说,相对于上文描述的其中考虑所有相邻样本的实例,所述技术可减小或排除所执行的加法和除法运算的数目。此外,所述技术可增加经预测深度值的准确性。举例来说,如下文更详细地描述,视频译码器可通过选择远离分割边界定位的一或多个代表性相邻样本而减小分割边界附近的分割误差(其可产生不准确的预测子)的引入。

图1是说明可利用本发明的技术来进行深度译码的实例视频编码和解码系统10的框图。如图1中所示,系统10包含源装置12,所述源装置提供将在稍后时间由目的地装置14解码的经编码视频数据。确切地说,源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括广泛范围的装置中的任一者,包含台式计算机、笔记本(即,膝上型)计算机、平板计算机、机顶盒、电话手持机(例如,所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流装置或其类似者。在一些情况下,源装置12和目的地装置14可经装备以用于无线通信。

目的地装置14可经由计算机可读媒体16接收待解码的经编码的视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中,计算机可读媒体16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。

可根据例如无线通信协议等通信标准来调制经编码视频数据,且将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于包的网络(例如局域网、广域网或全球网络,例如因特网)的一部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。

在一些实例中,经编码数据可从输出接口22输出到存储装置。类似地,可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取式数据存储媒体中的任一者,例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中,存储装置可对应于文件服务器或另一可存储源装置12产生的经编码视频的中间存储装置。

目的地装置14可经由串流或下载从存储装置存取经存储的视频数据。文件服务器可以是任何类型的能够存储经编码的视频数据且将经编码的视频数据发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置的发射可能是串流发射、下载发射或其组合。

本发明的技术不一定限于无线应用或环境。所述技术可应用于支持多种多媒体应用中的任一者的视频译码,例如空中协议电视广播、有线电视发射、卫星电视发射、因特网串流视频发射(例如,经由HTTP的动态自适应串流(DASH))、经编码到数据存储媒体上的数字视频,存储在数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,系统10可经配置以支持单向或双向视频发射,以支持例如视频串流、视频重放、视频广播和/或视频电话等应用。

在图1的实例中,源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明,源装置12的视频编码器20可经配置以应用所述技术来进行多视图译码中的运动向量预测。在其它实例中,源装置和目的地装置可包含其它组件或布置。举例来说,源装置12可从外部视频源18(例如,外部相机)接收视频数据。同样,目的地装置14可与外部显示装置介接,而非包含集成式显示装置。

图1的所说明系统10仅是一个实例。可由任何数字视频编码和/或解码装置来执行用于深度译码的技术。尽管本发明的技术总体上由视频编码装置来执行,但是所述技术还可由视频编码器/解码器(通常被称作“CODEC”)执行。此外,本发明的技术还可由视频预处理器来执行。源装置12和目的地装置14仅为源装置12在其中产生经译码视频数据以供发射到目的地装置14的此类译码装置的实例。在一些实例中,装置12、14可以实质上对称的方式操作,使得装置12、14中的每一者包含视频编码和解码组件。因此,系统10可支持视频装置12、14之间的单向或双向视频发射以例如用于视频串流、视频重放、视频广播或视频电话。

源装置12的视频源18可包含视频俘获装置,例如摄像机、含有先前所俘获视频的视频存档和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案,视频源18可产生基于计算机图形的数据作为源视频,或实况视频、存档视频与计算机产生的视频的组合。在一些情况下,如果视频源18是摄像机,那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而,如上文所提及,本发明中所描述的技术可大体上适用于视频译码,且可应用于无线和/或有线应用。在每一情况下,可由视频编码器20编码所俘获、经预先俘获或计算机产生的视频。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。

计算机可读媒体16可包含瞬时媒体,例如无线广播或有线网络发射,或存储媒体(即,非暂时性存储媒体),例如硬盘、闪存驱动器、压缩光盘、数字影音光盘、蓝光光盘或其它计算机可读媒体。在一些实例中,网络服务器(未图示)可从源装置12接收经编码视频数据,且例如经由网络发射将经编码视频数据提供到目的地装置14。类似地,媒体生产设施(例如,光盘冲压设施)的计算装置可从源装置12接收经编码的视频数据且生产含有经编码的视频数据的光盘。因此,在各种实例中,计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。

本发明可总体上参考视频编码器20向另一装置(例如,视频解码器30)“发信号通知”某些信息。然而,应理解,视频编码器20可通过使某些语法元素与视频数据的各种经编码部分相关联来发信号通知信息。也就是说,视频编码器20可通过将某些语法元素存储到视频数据的各种经编码部分的标头来“发信号通知”数据。在一些情况下,此些语法元素可在被视频解码器30接收和解码之前被编码和存储(例如,存储到计算机可读媒体16)。因而,术语“发信号通知”可总体上指代用于解码经压缩的视频数据的语法或其它数据的通信,不论此通信是实时或近实时发生还是在一段时间中发生,例如可能在编码时将语法元素存储到媒体的时候发生,接着可在存储到此媒体之后的任何时间由解码装置检索。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息,所述语法信息还供视频解码器30使用,所述语法信息包含描述块和其它经译码单元(例如,GOP)的特性和/或处理的语法元素。显示装置32向用户显示经解码的视频数据,且可包括多种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

尽管图1中未展示,但在一些方面中,视频编码器20和视频解码器30可各自与音频编码器和解码器集成,且可包含适当的MUX-DEMUX单元或其它硬件和软件,以处置对共同数据流或单独数据流中的音频和视频两者的编码。如果适用的话,MUX-DEMUX单元可符合ITU H.223多路复用器协议,或例如用户数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可实施为客适用的多种合适的编码器或解码器电路中的任一者,例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中,所述编码器或解码器中的任一者可集成为组合视频编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置(例如,蜂窝式电话)。

视频编码器20和视频解码器30可根据视频译码标准操作,例如ITU-T H.264/MPEG-4(AVC)标准,其由ITU-T视频译码专家组(VCEG)连同ISO/IEC动画专家组(MPEG)一起制定为被称为联合视频组(JVT)的集体合作伙伴的产品。另一视频译码标准包含H.264标准,包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。H.264标准在ITU-T研究群组的ITU-T建议H.264“用于通用视听服务的高级视频译码”中描述。联合视频组(JVT)持续致力于扩展H.264/MPEG-4AVC。MVC的最新联合草案描述于2010年3月的“用于通用视听服务的高级视频译码”(ITU-T建议H.264)中。

或者,视频编码器20和视频解码器30可根据高效率视频译码(HEVC)标准操作,且可符合HEVC测试模型(HM)。HEVC由ITU-T VCEG和ISO/IEC MPEG的JCT-VC开发。HEVC的最近草案从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v14.zip可用。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据例如ITU-T H.264/AVC相对于现有装置的几个额外能力。举例来说,虽然H.264提供了九种帧内预测编码模式,但是HM可提供多达三十五种帧内预测编码模式。

一般来说,HM的工作模型描述视频图片(或“帧”)可被划分为包含明度和色度样本两者的树块或最大译码单元(LCU)的序列。位流内的语法数据可界定LCU(其是就像素数目来说的最大译码单位)的大小。切片包含按译码次序的数个连续树块。图片可分割成一或多个切片。每一树块可根据四叉树而分裂成译码单元(CU)。一般来说,四叉树数据结构包含每个CU一个节点,其中根节点对应于所述树块。如果一CU分裂成四个子CU,那么对应于CU的节点包含四个叶节点,其中的每一者对应于所述子CU中的一者。

四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说,四叉树中的一节点可包含分裂旗标,从而指示对应于所述节点的CU是否分裂成子CU。CU的语法元素可递归地定义,且可取决于CU是否分裂成子CU。如果CU不进一步分裂,那么将其称为叶CU。在本发明中,叶CU的四个子CU也将被称作叶CU,即使不存在原始叶CU的明确分裂时也是如此。举例来说,如果16x16大小的CU未经进一步分裂,那么尽管16x16CU从未经分裂,四个8x8子CU也将被称作叶CU。

CU具有类似于H.264标准的宏块的用途,但是CU并不具有大小区别。举例来说,树块可以分裂成四个子节点(也称为子CU),且每一子节点又可以是父节点且可分裂成另外四个子节点。最后的未经分裂子节点(被称作四叉树的叶节点)包括译码节点,也称为叶CU。与经译码位流相关联的语法数据可定义树块可分裂的最大次数(被称作最大CU深度),且还可定义译码节点的最小大小。因此,位流还可界定最小译码单位(SCU)。本发明使用术语“块”指代HEVC的上下文中的CU、PU或TU中的任一者,或者其它标准的上下文中的类似数据结构(例如,其在H.264/AVC中的宏块和子块)。

CU包含译码节点以及与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小且形状必须是正方形。CU的大小范围可从8x8像素到具有最大64x64像素或更大的树块的大小。每一CU可含有一或多个PU和一或多个TU。举例来说,与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。PU可分割为非正方形形状。举例来说,与CU相关联的语法数据还可描述CU根据四叉树分割成一或多个TU。TU可以是正方形或非正方形(例如,矩形)形状。

HEVC标准允许根据TU进行变换,TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而设定,但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中,对应于CU的残余样本可使用被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生变换系数,所述变换系数可经量化。

叶CU可包含一或多个预测单元(PU)。一般来说,PU表示对应于对应CU的全部或一部分的空间区域,且可包含用于检索PU的参考样本的数据。此外,PU包含与预测有关的数据。举例来说,当PU经帧内模式编码时,用于PU的数据可包含在残余四叉树(RQT)中,残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例,当PU经帧间模式编码时,PU可包含定义PU的一或多个运动向量的数据。举例来说,定义PU的运动向量的数据可描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片和/或运动向量的参考图片列表(例如,列表0、列表1或列表C)。

具有一或多个PU的叶CU还可包含一或多个变换单位(TU)。变换单元可使用RQT(也称为TU四叉树结构)来指定,如上文所论述。举例来说,分裂旗标可指示叶CU是否分裂成四个变换单元。接着,每一变换单元可进一步分裂成其它子TU。当TU未经进一步分裂时,其可被称作叶TU。通常,对于帧内译码,所有属于叶CU的叶TU共享相同的帧内预测模式。也就是说,一般应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码,视频编码器20可使用帧内预测模式针对每一叶TU计算残余值,作为CU的对应于TU的部分与原始块之间的差。TU不一定限于PU的大小。因而,TU比PU大或小。对于帧内译码,PU可与相同CU的对应叶TU并置。在一些实例中,叶TU的最大大小可对应于对应的叶CU的大小。

此外,叶CU的TU还可与相应的四叉树数据结构(被称作残余四叉树(RQT))相关联。也就是说,叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点总体上对应于叶CU,而CU四叉树的根节点总体上对应于树块(或LCU)。未分裂的RQT的TU被称作叶TU。一般来说,除非另有陈述,否则本发明分别使用术语CU和TU来指代叶CU和叶TU。

视频序列通常包含一系列图片。如本文所描述,“图片”和“帧”可互换使用。即,含有视频数据的图片可被称为视频帧或简称为“帧”。图片群组(GOP)总体上包括一系列视频图片中的一或多者。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据,其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小,且根据指定译码标准可具有不同大小。

作为一实例,HM支持各种PU大小的预测。假设特定CU的大小为2N×2N,那么HM支持2N×2N或N×N的PU大小的帧内预测,及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N和nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中,CU的一个方向不分割,而另一方向分割成25%和75%。CU的对应于25%分割的部分由“n”指示,继之以“上方”、“下方”、“左侧”或“右侧”的指示。因而,举例来说,“2N×nU”是指水平地分割的2N×2N CU,其中上方有2N×0.5N PU,而下方有2N×1.5NPU。

在本发明中,“N×N”和“N乘N”可互换使用来指代在垂直和水平尺寸方面的视频块的像素尺寸,例如16×16像素或16乘16像素。一般来说,16×16块将在垂直方向上具有16个像素(y=16),且在水平方向上具有16个像素(x=16)。同样,N×N块一般在垂直方向上具有N个像素,且在水平方向上具有N个像素,其中N表示非负整数值。一块中的像素可布置成行和列。此外,块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说,块可包括N×M个像素,其中M未必等于N。

在使用CU的PU进行帧内预测性或帧间预测性译码之后,视频编码器20可计算用于CU的TU的残余数据。PU可包括描述在空间域(也称为像素域)中产生预测性像素数据的方法或模式的语法数据,且TU可包括在对残余视频数据应用变换(例如,离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后在变换域中的系数。残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残余数据的TU,且接着变换TU以产生用于CU的变换系数。

在用以产生变换系数的任何变换后,视频编码器20可执行变换系数的量化。量化总体上是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说,可在量化期间将n位值向下舍入到m位值,其中n大于m。

在量化之后,视频编码器20可扫描变换系数,从包含经量化变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(以及因此较低频率)系数放置在阵列的前面,且将较低能量(以及因此较高频率)系数放置在阵列的后面。

在一些实例中,视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中,视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后,视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器20还可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在解码视频数据时使用。

视频编码器20可例如在图片标头、块标头、切片标头或GOP标头中进一步将例如基于块的语法数据、基于图片的语法数据和基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的数个图片,且图片语法数据可指示用以对对应图片进行编码的编码/预测模式。

在一些情况下,视频编码器20和/或视频解码器30可对深度信息进行帧内译码。举例来说,在3D-HEVC中,视频编码器20和/或视频解码器30可使用来自基础(2D)HEVC标准的帧内预测模式对深度切片的帧内预测单元进行译码。在另一实例中,视频编码器20和/或视频解码器30可使用深度建模模式(DMM)对深度切片的帧内预测单元进行译码。在另一实例中,视频编码器20和/或视频解码器30可使用区边界链译码对深度切片的帧内预测单元进行译码。在再一实例中,视频编码器20和/或视频解码器30可使用简化深度译码(SDC)模式对深度切片的帧内预测单元进行译码。

上文的帧内译码模式中的一或多者可包含产生深度块的经预测DC值。举例来说,如上所述,经预测DC值可为基于相邻样本值的应用于整个分割的单一预测值。在其中视频编码器20和/或视频解码器30将深度块分割为一个以上区(例如,使用DMM楔形波样式、DMM轮廓线样式、链译码、SDC模式2或类似者)的实例中,视频编码器20和/或视频解码器30可确定深度块的每一分割的经预测DC值。

通常,视频编码器20和/或视频解码器30可基于定位在正译码的深度块上方的行以及正译码的深度块左侧的列中的所有相邻样本(被称作参考样本)的平均值而确定经预测DC值。然而,此方法需要视频编码器20和/或视频编码器30执行相对大的数目的数学运算。举例来说,视频编码器20和/或视频编码器30必须将有助于每一分割的平均值的每一参考样本相加和计数。此外,视频编码器20和/或视频编码器30必须执行每一分割的除法运算以确定每一分割的平均值,这可增加视频编码器20和/或视频编码器30的硬件组件的复杂性。

与产生上文描述的经预测DC值相关联的计算成本可随正译码的深度块的大小增加而增加。举例来说,如上所述,HEVC标准允许32×32大小的块。因此,对于32×32块,视频编码器20和/或视频编码器30执行64个加法以计算每一分割的参考样本的总和以及64个加法以对每一分割的参考样本的数目计数。

此外,当使用所有相邻参考样本来产生经预测DC值时,视频编码器20和/或视频解码器30可在分割的边缘附近引入预测误差。举例来说,参考样本和相邻深度值可在分割的边缘附近具有实质上不同值。因此,如在下文中相对于图9A和9B较详细描述,分割的边缘附近的参考样本可使所述分割的经预测DC值失真,这可产生译码低效率(例如,译码的较大残余值)。

本发明的各方面通常涉及用于当对深度图进行帧内译码时确定经预测DC深度值的技术。举例来说,本发明的各方面涉及用于在不对所有参考样本执行求平均运算的情况下确定深度数据的分割的单一预测值的技术,如上文所描述。本发明的各方面可大体参考“DC”预测值,因为可使用与上文描述的帧内模式(例如,HEVC帧内模式、DMM、链译码模式、SDC模式或类似者)中的一者相关联的DC帧内模式产生所述预测值。然而,对经预测DC值的参考不一定暗示执行求平均。

根据本发明的方面,视频编码器20和/或视频解码器30可确定深度值的块的分割样式,其包含将所述块的一或多个样本指派到第一分割和将所述块的一或多个其它样本指派到第二分割。视频编码器20和/或视频解码器30可随后基于所确定的分割样式确定第一分割和第二分割中的至少一者的预测值,且基于所述预测值对第一分割和第二分割中的至少一者译码。

举例来说,当确定分割样式时,视频编码器20和/或视频解码器30可执行下文描述的分割过程中的一者(例如,DMM、链译码、SDC等中的分割)以将深度值指派到所述块的分割。视频编码器20和/或视频解码器30可随后确定指示深度值的顶部行是否包含仅指派到第一分割的深度值、仅指派到第二分割的深度值,或指派到第一分割和第二分割两者的深度值的分割样式。所述分割样式还可指示深度值的左列是否包含仅指派到第一分割的深度值、仅指派到第二分割的深度值,或指派到第一和第二分割两者的深度值。

在一些实例中,视频编码器20和/或视频解码器30可通过分析深度值的顶部行和左列的每一分割指派而确定分割样式。也就是说,视频编码器20和/或视频解码器30可通过确定块的顶部行和左列的每一深度值的分割指派而识别第一分割与第二分割之间的转变(如果发生此类转变)。在其它实例中,视频编码器20和/或视频解码器30可通过分析来自所述顶部行和左列的深度值的子集而确定分割样式。也就是说,视频编码器20和/或视频解码器30可通过确定深度块的预定位置(例如,左上角、右上角和左下隅)中深度值的分割指派而识别第一分割与第二分割之间的转变(如果发生此类转变)。

视频编码器20和/或视频解码器30可随后基于所确定的分割样式确定第一分割和第二分割中的至少一者的预测值。举例来说,视频编码器20和/或视频解码器30可识别用以确定第一分割和/或第二分割的经预测深度值的代表性相邻参考样本。经识别的相邻参考样本可取决于分割样式。

举例来说,视频编码器20和/或视频解码器30可当块包含深度值的顶部行中的第一分割与第二分割之间的转变时与当块并不包含第一分割与第二分割之间的转变时使用不同的参考样本来确定预测值。视频编码器20和/或视频解码器30可选择不定位在分割边界附近的代表性参考样本,这可减少分割边界引入的预测误差。在下文中相对于图11A-11H更详细地描述实例分割样式和代表性相邻参考样本。

视频编码器20和/或视频解码器30可随后基于预测值对第一分割和第二分割中的至少一者译码。举例来说,视频编码器20可产生包含所述块的实际深度值与每一分割的经预测深度值之间的差的残余深度值,且可在经编码位流中包含所述残余深度值。视频解码器30可解析来自经编码位流的残余值,产生每一分割的经预测深度值,且将残余深度值与经预测深度值组合以确定实际深度值。

以此方式,本发明的技术可允许视频编码器20和/或视频解码器30更高效且更准确地产生用于深度分割的经预测DC值。举例来说,所述技术可减小或消除经执行以产生经预测DC值的加法和除法运算的数目。此外,所述技术可减少可导致不准确的预测子的分割边界附近的分割误差的引入。

图2是说明可实施用于深度译码的技术的视频编码器20的实例的框图。视频编码器20可对视频切片内的视频块执行帧内和帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的译码模式中的任一者。

如上所述,视频编码器20可适于执行多视图视频译码。在一些情况下,视频编码器20可经配置以对多视图HEVC进行译码,以使得时间例项中的每一视图可由例如视频解码器30等解码器处理。对于HEVC-3D,除编码每一视图的纹理图(即,明度和色度值)之外,视频编码器20可进一步编码每一视图的深度图。

在任何情况下,如图2中所示,视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中,视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54和熵译码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46和分割单元48。为了视频块重构,视频编码器20还包含逆量化单元58、逆变换单元60,和求和器62。还可包含解块滤波器(图2中未图示)以便对块边界进行滤波,以从经重建视频移除成块假影。在需要时,解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器之外,还可使用额外滤波器(环路内或环路后)。为简洁起见未图示此些滤波器,但是必要时,此些滤波器可对求和器50的输出进行滤波(作为环路内滤波器)。

在编码过程期间,视频编码器20接收待译码的视频帧或切片。所述帧或切片可划分成多个视频块。运动估计单元42和运动补偿单元44可相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46或者可相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收视频块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次,例如以针对每一视频数据块选择适当的译码模式。

此外,分割单元48可基于前述译码遍次中的先前分割方案的评估将视频数据块分割成子块。举例来说,分割单元48最初可将帧或切片分割成LCU,且基于速率失真分析(例如,速率失真优化)将LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示将LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。

模式选择单元40可例如基于误差结果选择译码模式中的一者(帧内或帧间),且将所产生的经帧内或帧间译码块提供到求和器50以产生残余块数据以及提供道求和器62以重建经编码块以用作参考帧。模式选择单元40还可将语法元素(例如运动向量、帧内模式指示符、分割信息和其它此类语法信息)提供到熵译码单元56。

运动估计单元42和运动补偿单元44可高度集成,但出于概念的目的分别加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程,所述运动向量估计视频块的运动。举例来说,运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。预测块是经发现在像素差方面与待译码块紧密匹配的块,其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差量度来确定。在一些实例中,视频编码器20可计算存储在参考帧存储器64中的参考图片的子整数像素位置的值。举例来说,视频编码器20可内插四分之一像素位置、八分之一像素位置或参考图片的其它分数像素位置的值。因此,运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索且输出具有分数像素精度的运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1),其中的每一者识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将计算出来的运动向量发送到熵编码单元56和运动补偿单元44。

运动补偿单元44执行的运动补偿可涉及基于运动估计单元42确定的运动向量来提取或产生预测块。再次,在一些实例中,运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后,运动补偿单元44可在参考图片列表中的一者中定位所述运动向量指向的预测块。求和器50通过从经译码的当前视频块的像素值减去预测块的像素值从而形成像素差值来形成残余视频块,如下文所论述。一般来说,运动估计单元42相对于明度分量执行运动估计,且运动补偿单元44针对色度分量和明度分量两者使用基于明度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的语法元素供视频解码器30在解码视频切片的视频块时使用。

作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案,帧内预测单元46可以对当前块进行帧内预测。明确地说,帧内预测单元46可确定用来编码当前块的帧内预测模式。在一些实例中,帧内预测单元46可(例如)在单独的编码编次期间使用各种帧内预测模式来编码当前块,且帧内预测单元46(或在一些实例中为模式选择单元40)可从所测试模式中选择适当帧内预测模式来使用。

举例来说,帧内预测单元46可使用速率失真分析计算针对各种经测试帧内预测模式的速率失真值,且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量,以及用于产生经编码块的位速率(也就是说,位数目)。帧内预测单元46可根据用于各种经编码块的失真和速率计算比率,以确定哪种帧内预测模式对于所述块展现最佳速率失真值。

此外,帧内预测单元46可经配置以对深度图的深度块进行译码。举例来说,帧内预测单元46使用来自基础(2D)HEVC标准(如(例如)在下文中相对于图4所描述)、深度建模模式(DMM)(如(例如)在下文中相对于图5A和5B所描述)、区边界链译码(如(例如)在下文中相对于图6所描述)、简化深度译码(SDC)(如(例如)在下文中相对于图7所描述)的帧内预测模式对深度切片的经帧内预测PU译码。

在一些实例中,帧内预测单元46将深度PU分割为一个以上区,且可单独对每一区进行帧内预测。实例包含DMM、链译码、SDC模式二或类似者。在此些实例中,帧内预测单元46可产生每一分割的单一经预测DC值。经预测DC值可基于相邻样本值。

根据本发明的方面,帧内预测单元46可基于PU的分割样式确定深度PU的每一分割的单一预测值。如上所述,所述技术可允许帧内预测单元46在不执行通常与产生经预测DC值相关联的求平均运算的情况下确定经预测DC值。

举例来说,根据本发明的方面,帧内预测单元46可执行分割以将深度PU的样本指派到两个区(例如,第一分割和第二分割)。帧内预测单元46可随后确定指示PU的顶部行是否包含仅指派到第一分割的样本、仅指派到第二分割的样本或指派到第一分割和第二分割两者的样本的分割样式。帧内预测单元46还可确定PU的左列是否包含仅指派到第一分割的样本、仅指派到第二分割的样本或指派到第一和第二分割两者的样本。

在一些实例中,帧内预测单元46可通过分析PU的顶部行和左列的样本的每一分割指派而确定分割样式。也就是说,帧内预测单元46可通过确定PU的顶部行和左列的每一样本的分割指派而识别第一分割与第二分割之间的转变(如果发生此类转变)。在其它实例中,帧内预测单元46可通过分析来自PU的顶部行和左列的样本的子集而确定分割样式。也就是说,帧内预测单元46可通过确定PU的预定位置(例如,左上角、右上角和左下角)中样本的分割指派而识别第一分割与第二分割之间的转变(如果发生此类转变)。

帧内预测单元46可随后基于所确定的分割样式确定PU的分割的经预测DC值。举例来说,帧内预测单元46可识别用以确定分割的经预测DC值的来自一或多个相邻PU的代表性参考样本。经识别的相邻参考样本可取决于分割样式。

大体来说,帧内预测单元46可选择不定位在分割边界附近的参考样本,这可减小分割边界引入的预测误差。帧内预测单元46可基于单一参考样本的值或基于一个以上参考样本的组合确定经预测DC值。在另一实例中,帧内预测单元46可根据默认经预测DC值确定经预测DC值,如下文更详细描述。

在任何情况下,视频编码器20通过从正译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块,从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子带变换或其它类型的变换。

在任何情况下,变换处理单元52向残余块应用所述变换,从而产生残余变换系数块。所述变换可将残余信息从像素值域转换到变换域(例如,频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54将变换系数量化以进一步减小位速率。量化过程可减少与变换系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中,量化单元54可接着对包含经量化变换系数的矩阵执行扫描。或者,熵编码单元56可执行所述扫描。

在量化之后,熵译码单元56对经量化的变换系数进行熵译码。举例来说,熵译码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。就基于上下文的熵译码而论,上下文可基于相邻块。在由熵译码单元56进行熵译码之后,可将经编码位流发射到另一装置(例如,视频解码器30),或者将所述经编码位流存档以用于稍后发射或检索。

逆量化单元58和逆变换单元60分别应用逆量化和逆变换以在像素域中重建残余块,例如以供稍后用作参考块。运动补偿单元44可通过将残余块加到参考帧存储器64的帧中的一者的预测块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重建的残余块以计算子整数像素值用于运动估计。求和器62将经重建的残余块相加到由运动补偿单元44产生的运动补偿预测块以产生经重建视频块用于存储在参考帧存储器64中。经重建视频块可由运动估计单元42和运动补偿单元44使用作为参考块以对后续视频帧中的块进行帧间译码。

图3是说明可实施用于深度译码的技术的视频解码器30的实例的框图。在图3的实例中,视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考帧存储器82和求和器80。在一些实例中,视频解码器30可执行总体上与关于视频编码器20(图2)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据,而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。

在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频切片的视频块的经编码视频位流和相关联的语法元素。视频解码器30的熵解码单元70对位流进行熵解码以产生经量化系数、运动向量或帧内预测模式指示符和其它语法元素。熵解码单元70将运动向量和其它语法元素转发到运动补偿单元72。视频解码器30可接收视频切片层级和/或视频块层级的语法元素。

如上所述,视频解码器30可适于执行多视图视频译码。在一些情况下,视频解码器30可经配置以解码多视图HEVC。对于HEVC-3D,除解码每一视图的纹理图(即,明度和色度值)之外,视频解码器30可进一步解码每一视图的深度图。

在任何情况下,当视频切片经译码为经帧内译码(I)切片时,帧内预测单元74可基于用信号表示的帧内预测模式和来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。

帧内预测单元74还可对深度数据进行帧内译码。举例来说,帧内预测单元74使用来自基础(2D)HEVC标准(如(例如)在下文中相对于图4所描述)、深度建模模式(DMM)(如(例如)在下文中相对于图5A和5B所描述)、区边界链译码(如(例如)在下文中相对于图6所描述)、简化深度译码(SDC)(如(例如)在下文中相对于图7所描述)的帧内预测模式对深度切片的经帧内预测PU译码。

在一些实例中,帧内预测单元74可将深度PU分割为一个以上区,且可单独对每一区进行帧内预测。实例包含DMM、链译码、SDC模式二或类似者。在此些实例中,帧内预测单元74可产生每一分割的单一经预测DC值。经预测DC值可基于相邻样本值。

根据本发明的方面,帧内预测单元74可基于PU的分割样式确定深度PU的每一分割的单一预测值。如上所述,所述技术可允许帧内预测单元74在不执行通常与产生经预测DC值相关联的求平均运算的情况下确定经预测DC值。

举例来说,根据本发明的方面,帧内预测单元74可执行分割以将深度PU的样本指派到两个区(例如,第一分割和第二分割)。帧内预测单元74可随后确定指示PU的顶部行是否包含仅指派到第一分割的样本、仅指派到第二分割的样本或指派到第一分割和第二分割两者的样本的分割样式。帧内预测单元74还可确定PU的左列是否包含仅指派到第一分割的样本、仅指派到第二分割的样本或指派到第一和第二分割两者的样本。

在一些实例中,帧内预测单元74可通过分析PU的顶部行和左列的样本的每一分割指派而确定分割样式。也就是说,帧内预测单元74可通过确定PU的顶部行和左列的每一样本的分割指派而识别第一分割与第二分割之间的转变(如果发生此类转变)。在其它实例中,帧内预测单元74可通过分析来自PU的顶部行和左列的样本的子集而确定分割样式。也就是说,帧内预测单元74可通过确定PU的预定位置(例如,左上角、右上角和左下角)中样本的分割指派而识别第一分割与第二分割之间的转变(如果发生此类转变)。

帧内预测单元74可随后基于所确定的分割样式确定PU的分割的经预测DC值。举例来说,帧内预测单元74可识别用以确定分割的经预测DC值的来自一或多个相邻PU的代表性参考样本。经识别的相邻参考样本可取决于分割样式。

大体来说,帧内预测单元74可选择不定位在分割边界附近的参考样本,这可减小分割边界引入的预测误差。帧内预测单元74可基于单一参考样本的值或基于一个以上参考样本的组合确定经预测DC值。在另一实例中,帧内预测单元74可根据默认经预测DC值确定经预测DC值,如下文更详细描述。

当视频帧译码为经帧间译码(即,B(双向预测)、P(从前一帧预测)或GPB(一般化P或B切片))切片时,运动补偿单元72基于从熵解码单元70接收的运动向量和其它语法元素产生当前视频切片的视频块的预测块。预测块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考帧存储器92中的参考图片使用默认建构技术建构参考帧列表,即列表0和列表1。

运动补偿单元72通过解析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息,且使用所述预测信息产生用于正解码的当前视频块的预测块。举例来说,运动补偿单元72使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如,帧内预测或帧间预测)、帧间预测切片类型(例如,B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下,运动补偿单元72可根据所接收语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。

逆量化单元76将在位流中提供且由熵解码单元80解码的经量化变换系数逆量化,即解量化。逆量化过程可包含使用视频解码器30针对视频切片中的每一视频块计算以确定应应用的量化程度和同样逆量化程度的量化参数QPY。

逆变换单元78对变换系数应用逆变换,例如逆DCT、逆整数变换或概念上类似的逆变换过程,以便产生像素域中的残余块。

在运动补偿单元82或帧内预测单元74基于运动向量或其它语法元素产生当前视频块(例如,纹理块或深度块)的预测块之后,视频解码器30通过将来自逆变换单元78的残余块与由运动补偿单元82或帧内预测单元74产生的对应预测块求和而形成经解码视频块。求和器90表示执行此求和运算的组件。

必要时,解块滤波器还可应用于对经解码块进行滤波以便移除成块假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变平滑或者以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中,参考图片存储器92存储用于后续运动补偿的参考图片。参考帧存储器82还存储经解码视频以用于稍后呈现在显示装置(例如,图1的显示装置32)上。

图4大体上说明与方向性帧内预测模式相关联的预测方向。举例来说,如上所述,HEVC标准可包含三十五个帧内预测模式,包含平面模式(模式0)、DC模式(模式1)和33个方向性预测模式(模式2-34)。关于平面模式,使用所谓的“平面”函数执行预测。在DC模式(例如,用于产生DC预测值)的情况下,可基于所述块内像素值的求平均而执行预测。在方向性预测模式的情况下,基于相邻块的沿着特定方向(如由模式指示)的经重建像素而执行预测。一般来说,图4中所示的箭头的尾端表示从其检索值的相邻像素中的相对一者,而所述箭头的头部表示所检索值沿着其传播以形成预测块的方向。

图4中所示的帧内模式可用于预测深度值。举例来说,图4中所示的角度帧内预测模式中的每一者可与楔形波样式的集合相关联,如下文相对于图5A和5B更详细描述。

图5A和5B是说明深度建模模式(DMM)的实例的概念图。图5A(例如)说明使用楔形波分割而分割的深度块110,且图5B作为另一实例说明使用轮廓线分割而分割的深度块130。3D-HEVC包含用于分割块的深度建模模式(DMM)连同对深度切片的帧内预测单元进行译码的帧内预测模式的技术。HTM版本3.1应用用于深度图的帧内译码的DMM方法,其在某些情况下可较好地表示深度图中的较尖锐边缘。

举例来说,3D-HEVC提供四个DMM模式:模式1(显式楔形波信号传递),模式2(经帧内预测楔形波分割),模式3(分量间楔形波分割),以及模式4(分量间轮廓线分割)。在所有四个模式中,例如视频编码器20或视频解码器30等视频译码器可将深度块分割为由DMM样式指定的两个区,其中每一区由恒定值表示。可明确地用信号表示DMM样式(模式1),由空间相邻块预测DMM样式(模式2),或使用处于协同定位的纹理块预测DMM样式(模式3和模式4)。

存在在DMM中定义的两种分割模型,包含楔形波分割和轮廓线分割。再次,图5A说明楔形波分割的实例,且图5B说明轮廓线分割的实例。深度块110和130内的每一个别正方形分别表示深度块110和130的相应个别像素。正方形内的数字值表示对应像素属于区112(图5A的实例中的值“0”)还是区114(图5A的实例中的值“1”)。图5A中还使用着色来指示像素属于区112(白色正方形)还是区114(灰色经着色正方形)。

每一样式(即,楔形波和轮廓线两者)可由大小uB X vB的二进制位阵列标记界定,所述标记指示对应样本(即,像素)属于区P1还是P2(其中P1对应于图5A中的区112和图5B中的区132,且P2对应于图5A中的区114和图5B中的区134A、134B),其中uB和vB分别表示当前PU的水平和垂直大小。在图5A和图5B的实例中,PU分别对应于块110和130。例如视频编码器20和视频解码器30等视频译码器可在译码的开始、例如编码的开始或解码的开始初始化楔形波样式。

如图5A的实例中所展示,对于楔形波分割,由直线116将深度块110分割成两个区:区112和区114,其中起点118位于(Xs,Ys)处且终点120位于(Xe,Ye)处。在图5A的实例中,起点118可经界定为点(8,0)且终点120经界定为点(0,8)。

如图5B的实例中所展示,对于轮廓线分割,例如深度块130等深度块可分割成两个不规则形状的区。在图5B的实例中,深度块130分割成区132和区134A、134B。尽管区134A中的像素不紧邻区134B中的像素,但区134A和134B经界定从而形成一个单一区,以用于预测深度块130的PU的目的。轮廓线分割比楔形波分割更灵活,但可能相对较难以用信号表示。在DMM模式4中,在3D-HEVC的情况下,轮廓线分割样式是使用协同定位的纹理块的经重建明度样本隐式地导出。

以此方式,例如视频编码器20和视频解码器30等视频译码器可使用如由起点118和终点120界定的线116以确定深度块110的像素属于区112(其也可被称作区“P1”)还是区114(其也可被称作区“P2”)。同样,视频译码器可使用图5B的线136、138以确定深度块130的像素属于区132(其也可被称作区“P1”)还是区134(其也可被称作区“P2”)。区“P1”和“P2”是用于根据DMM分割的不同区的默认命名惯例,且因此,深度块110的区P1不应被视为与深度块130的区P1相同的区。

如上所述,DMM中的每一者可由DMM使用楔形波还是轮廓线分割以及所述样式是显式地用信号表示还是隐式地确定而界定。DMM过程可作为替代方案集成到HEVC中指定的帧内预测模式(图4中所示)。针对每一PU可用信号表示一位旗标以指定应用DMM还是常规帧内预测。

本发明的各方面大体涉及用于确定深度块的一或多个分割的经预测DC值的技术。举例来说,根据本发明的方面,例如视频编码器20或视频解码器30等视频译码器可基于例如由线116(图5A)或线136、138(图5B)界定的分割样式等分割样式确定经预测DC值。如下文更详细地描述,线118的位置可确定从其导出区112和/或区114(图5A)的经预测DC值的相邻样本。同样,线136、138的位置可确定从其导出区132和/或区134(图5B)的经预测DC值的相邻样本。

图6是说明区边界链译码模式的概念图。举例来说,3D-HEVC包含区边界链译码模式,其允许分割边界的显式信号传递(例如,而不是如上文相对于DMM所描述基于协同定位的纹理的分割)。本发明可将“区边界链译码模式”称为“链译码”。

一般来说,链是样本与其八个连接性样本中的一者之间的连接。如图6的块160所示,存在八个不同链方向类型,向每一者指派范围0到7的方向索引。链方向类型可辅助视频译码器确定深度块的分割。

举例来说,图6的实例包含通过指示分割结构的链166分隔开的第一分割162和第二分割164。视频编码器(例如,视频编码器20)可确定和用信号表示经编码位流中的PU的链166,而视频解码器(例如,视频解码器30)可解析表示来自经编码位流的链166的数据。

大体来说,链166包含开始位置,其是链中的链路的数目(例如,链代码的数目)以及对于每一链代码的方向索引的指示。还可使用用于链166的其它类型的信号传递。在一个实例中,为用信号表示图6的实例中展示的任意分割样式,视频编码器20可编码一个位(例如,0)以指示链166从顶部边界开始。视频编码器20可编码三个位(例如,011)以指示链166在顶部边界的第三深度样本之后开始。视频编码器20可编码四个位(例如,0110)以指示链166中存在总共7个链路。视频编码器20还可编码一系列连接的链索引(例如,3、3、3、7、1、1、1)以指示每一链链路的方向(例如,根据块160)。在一些实例中,视频编码器20可使用查找表将每一索引转换为码字。例如视频解码器30等视频解码器可解析上文描述的信号传递以确定块的分割样式。视频解码器30可随后解码每一分割的深度值。

本发明的各方面大体涉及用于确定深度块的一或多个分割的经预测DC值的技术。举例来说,根据本发明的方面,例如视频编码器20或视频解码器30等视频译码器可基于例如由链166界定的分割样式等分割样式确定经预测DC值。如下文更详细地描述,链166的位置可确定从其导出分割162和/或分割164的经预测DC值的相邻样本。

图7是说明使用简化深度译码(SDC)对深度信息进行帧内译码的框图。在图7的实例中,视频译码器(例如,视频编码器20或视频解码器30)可使用上文描述的帧内预测模式(HEVC模式、DMM、链译码)中的任一者来使用左分支180对深度信息进行帧内预测。在此些实例中,视频译码器可执行分割(例如,楔形波、轮廓线、链或类似者)182,确定预测模式184(例如,HEVC帧内模式、DMM或类似者),且执行残余译码186。

或者,SDC语法元素(例如,sdc_enable_flag)可指示根据右分支190的SDC译码。举例来说,当实施SDC时,视频译码器可确定SDC子模式192且直接对残余值194译码(例如,无变换和量化)。

在一些情况下,SDC可仅应用于2Nx2N PU分割大小。如上所述,代替于经译码经量化变换系数,SDC模式表示基于当前深度块的分割类型(例如,DC(1分割)、DMM模式1(2分割)、DMM模式2(2分割),或平面(1分割))的深度块。此外,如上所述,针对每一分割提供像素域中的残余值。

因此,可在SDC中界定四个子模式,包含SDC模式1、SDC模式2、SDC模式3和SDC模式4,其分别对应于DC、DMM模式1、DMM模式2和平面的分割类型。在一些情况下,深度值可任选地使用深度查找表(DLT)映射到索引,所述DLT可通过在编码全序列之前分析第一帧内周期内的帧而构造。如果使用DLT,那么整个DLT在序列参数集中发射到解码器,且经解码索引值基于DLT映射回到深度值。

在任何情况下,本发明的各方面大体涉及用于确定深度块的一或多个分割的经预测DC值的技术。举例来说,根据本发明的方面,例如视频编码器20或视频解码器30等视频译码器可基于分割样式,例如根据SDC模式2(例如,具有两个分割的DMM模式1)界定的分割样式,确定经预测DC值。如下文更详细地描述,SDC模式2中使用的分割结构可确定从其导出每一分割的经预测DC值的相邻样本。

图8为说明深度数据的块和相邻样本的框图,所述相邻样本可用于确定所述块的一或多个分割的经预测深度值。举例来说,如上文所描述,利用DMM、链译码、SDC模式2或类似者,视频译码器(例如,视频编码器20或视频解码器30)可基于特定分割样式将深度PU分割为区。此外,视频译码器可使用可从一或多个相邻参考样本导出的单一值(例如,经预测DC值)预测每一分割。

在图8的实例中,具有样本cij的8×8深度块200(其中i、j=0、1、…、7(C0,0到C7,7))由视频译码器从其可导出DC预测深度值的顶部行相邻样本202(P0,-1到P7,-l)和左列相邻样本204(P-1,0到P-1,7)(即,pij,其中i=-1,j=-1..7且i=0..7,j=-1)定界。视频译码器可通常在确定经预测DC值时对所有相邻样本202和204求平均。

在出于说明的目的的一实例中,假定深度值用B位表示来表示。举例来说,当B为8时,深度值的范围可从0到255。此外,假定深度块200(例如,由二进制值形成的N×N块)已分割成给定分割样式,即,bPatternx,y,其中x=0..N-1,y=0..N-1。对于上文提供的假设,视频译码器可通常执行以下步骤以导出给定分割样式的每一分割的经预测DC值,即DC0和DC1:

1.将DC0和DC1设定为2B-1,将变量S0、S1、N0和N1设定为等于0。

2.对于i=0..N-1,以下适用:

i.如果bPatterni,0等于0,那么将S0设定为S0+pi,-1且将N0设定为N0+1;

ii.否则,将S1设定为S1+pi,-1且将N1设定为N1+1;

3.对于i=0..N-1,以下适用:

i.如果bPattern0,i等于0,那么将S0设定为S0+p-1,i且将N0设定为N0+1;

ii.否则,将S1设定为S1+p-1,i且将N1设定为N1+1;

4.如果N0不是零,那么将DC0设定为如果N1不是零,那么将DC1设定为

因此,在此实例中,在确定导出分割样式和经预测DC值之后,视频译码器可通过分别将定位于块的分割0和分割1中的样本设定为DC0和DC1而产生预测块。

在上文的实例中,视频译码器初始地将两个经预测DC值设定为预定默认值,且初始化用于预测值导出的一组变量。随后,对于深度块200的顶部行的每一样本(C0,0到C7,0)、视频译码器确定样本属于第一分割(0)还是第二分割。

如果深度块200的样本属于第一分割,那么视频译码器将相邻参考样本(例如,针对第一样本的(P0,-1))加到第一分割总和(S0),且增加对第一分割的促成因素的计数(N0)。否则,如果深度块200的样本属于第二分割,那么视频译码器将相邻参考样本(例如,针对第一样本的(P0,-1))加到第二分割总和(S1),且增加对第二分割的促成因素的计数(N1)。视频译码器针对深度块200的左列的每一样本(C0,0到C0,7)重复此过程。

如果每一分割具有来自相邻参考样本的至少一个有帮助的值,那么视频译码器可通过对有帮助的相邻样本求平均(例如,S0除以N0和S1除以N1)而确定DC预测值。如果不存在对分割的促成因素,那么DC预测值可保持初始默认值。

视频译码器可随后通过分别将定位于预测块的分割0和分割1中的预测块的样本设定为DC0和DC1而产生预测块。也就是说,视频译码器可将预测块的第一分割的所有样本设定为经预测DC值DC0,且将预测块的第二分割的所有样本设定为经预测DC值DC1。视频译码器可使用所述预测块来产生深度块200的残余样本,如上文所描述。

在上文描述的实例中,存在与产生经预测DC值相关联的若干数学运算。举例来说,必须添加每一有帮助的相邻样本以确定平均值。此外,必须对每一有帮助的相邻样本计数以确定平均值。此外,需要除法运算以确定平均值。此外,存在与确定平均值相关联的除法运算,所述平均值为针对视频编码器和解码器两者的复合值。

此外,待实行的运算的数目随着深度块的大小而增加。举例来说,视频译码器执行64个加法以计算属于32×32块的每一分割的参考样本的总和。视频译码器还执行64个加法以对属于每一分割的参考样本的数目计数。

如本文更详细描述,本发明的各方面涉及基于分割样式确定DC预测值的技术,其可减小当确定DC预测值时由视频译码器执行的运算的数目。举例来说,代替于根据上文相对于图8描述的求平均过程确定用于分割的DC预测值,视频译码器(例如,视频编码器20或视频解码器30)可通过基于所确定预测模式识别代表性相邻样本而确定DC预测值。

图9A和9B通常说明基于相邻样本的求平均确定用于对深度值的块译码的DC预测值的预测块的技术。图9A和9B的实例说明分割边界附近的相邻样本可如何使预测块的值失真。

举例来说,图9A为说明具有第一分割222(深度值58,经着色为灰色)和第二分割224(深度值121)的深度块220的框图。图9A还包含顶部行相邻样本226和左列相邻样本228。

如图9A中所展示,第一分割222与第二分割224之间的边界附近的相邻样本值并不与块220的深度值匹配。举例来说,样本226的相邻样本230(深度值58)并不与块220的对应深度值(深度值121)匹配。同样,样本228的相邻样本232(深度值58)并不与块220的对应深度值(深度值121)匹配。

在此实例中,使用上文相对于图8描述的求平均过程来确定DC预测值可能引入预测误差。举例来说,因为块220的顶部行中邻近于样本230的样本包含在第二分割224中,所以视频译码器朝向第二分割224的平均值对样本230计数(尽管样本232的值与第一分割222对准)。同样,因为块220的左列中邻近于样本232的样本包含在第二分割224中,所以视频译码器也朝向第二分割224的平均值对样本232计数(尽管样本232的值与第一分割222对准)。

图9B为说明具有分别对应于图9A中展示的深度块220的第一分割222和第二分割224的第一DC预测值242和第二DC预测值244的预测块240的框图。如图9B中所展示,分割边界附近的样本230和232引入相对大的预测误差。举例来说,样本230和232经不正确地分割,这产生DC0和DC1值58和89(而非58和121)。此预测误差可影响译码效率。

再次,本发明的各方面涉及用于基于分割样式确定DC预测值的技术,这可减少分割误差的引入。举例来说,代替于根据上文相对于图8描述的求平均过程确定用于分割的DC预测值,视频译码器(例如,视频编码器20或视频解码器30)可通过基于所确定预测模式识别代表性相邻样本而确定DC预测值。视频译码器可通过选择远离分割边界定位的一或多个代表性相邻样本而减少边缘边界附近分割误差的引入。

图10为说明根据本发明的方面的深度数据的块和相邻样本的框图,所述相邻样本可用于确定所述块的一或多个分割的经预测深度值。举例来说,如上文所描述,利用DMM、链译码、SDC模式2或类似者,视频译码器(例如,视频编码器20或视频解码器30)可基于特定分割样式将深度PU分割为两个区。此外,视频译码器可使用可从一或多个相邻参考样本导出的单一值(例如,经预测DC值)预测每一分割。

在图10的实例中,具有样本cij的8×8深度块260(其中i、j=0、1、…、7(C0,0到C7,7))由视频译码器从其可导出DC预测深度值的顶部行相邻样本262(pT0到pT7)和左列相邻样本264(pL0到pL7)定界。深度块260可对应于具有分割样式P的经译码深度图像中的N×N预测单元PU,所述分割样式P将PU分成两个单独预测的区(例如,每一区具有单独预测子)。

根据本发明的方面,代替于如相对于图8所描述使用来自顶部行262和左列264的所有样本(即,分别pLi和pTj,其中i包含0..N-1且j包含0..N-1),视频译码器(例如,视频编码器20或视频解码器30)可从顶部行262和左列264选择若干相邻参考样本以计算用于PU的分割的DC值。

在一些情况下,视频译码器可仅选择包含顶部行262和/或左列264的开始和结束样本的参考样本来确定DC预测值。举例来说,相对于顶部行262,视频译码器可选择参考样本pT0和pTN-1(例如,在图10的实例中,pT0和pT7)以确定DC预测值。相对于左列264,视频译码器可选择参考样本pL0和PLN-1(例如,在图10的实例中,pL0和pL7)以确定DC预测值。

在一些情况下,视频译码器另外或替代地朝向顶部行262和/或左列264的相对中心选择多达两个相邻参考样本(包含两个)以确定DC预测值。举例来说,视频译码器可选择参考样本pTx或pLx,其中x等于(N-l)>>l,或x等于N>>1,以确定DC预测值。

视频译码器可选择适当相邻参考样本来用于基于分割样式P确定DC预测值。在出于说明的目的的一实例中,如果分割不含块260的顶部行中的任何样本(无C0,0到C7,0指派到所述分割)且不含块260的左列中的任何样本(无C0,0到C0,7指派到所述分割),例如本文中描述为样式0(如在下文中图11A中所展示),那么视频译码器不可选择来自顶部行262或左列264的任何参考样本来确定用于所述分割的DC预测值。实际上,视频译码器可向所述分割指派默认预测子,例如2B-1,其中B等于用于表示块260的深度值的位数。举例来说,对于典型8位表示,视频译码器可将默认值128指派到所述分割。

在出于说明的目的的另一实例中,如果分割含有块260的顶部行的所有样本(所有C0,0到C7,0指派到所述分割)以及块260的左列的样本中的一或多者(C0,0到C0,7中的一或多者指派到所述分割),例如本文中描述为样式1(如在下文中图11C中所展示),那么视频译码器可选择来自相邻样本行262的相对中心的一个参考样本作为用于所述分割的代表性值。举例来说,视频译码器可选择样本pTx,其中x等于(N-l)>>l或x等于N>>l,作为代表性样本。

在此实例中,视频译码器可将用于所述分割的DC预测值设定为等于选定代表性样本。因为所有样本指派到相同分割且因此具有相同或类似值,所以大部分相邻参考样本应也具有相同或类似深度值(例如,归因于通常与深度图相关联的特性,例如恒定深度值的区域,如上文所描述)。通过假定相邻参考样本具有相同(或类似)值,视频译码器并不需要执行任何额外求平均运算,如相对于图8所描述。实际上,视频译码器可使用单一相邻参考样本确定DC预测值。

此外,选择单一相邻参考样本(或相对少量的相邻参考样本,如下所述)可提供比上文描述的求平均过程更准确的DC预测值。举例来说,在上文描述的样式1实例中,视频译码器可选择从其导出DC预测值的中央相邻参考样本以便避免分割边界。使用单一相邻参考样本消除包含不正确地分割的相邻参考样本的可能性,如上文相对于图9A和9B所描述。

在下文中图11A-11G中展示用于确定DC预测值的额外分割样式和相应的代表性相邻样本。在确定每一分割的DC预测值之后,视频译码器可使用所述DC预测值对块260译码。举例来说,在编码器(例如,视频编码器20)处,可基于相应分割的块260的实际样本值与DC预测值之间的差确定残余。在解码器(例如,视频解码器30)处,残余可与相应分割的DC预测值组合以重建块260的实际值。

上文描述的实例大体包含检查块260的顶部行的每一样本和块260的左列的每一样本的分割指派以识别第一分割(例如,分割0)到第二分割(例如,分割1)之间的转变的过程。根据本发明的其它方面,视频译码器可检查分割指派的子集以识别块260的顶部行与块260的左列中的分割之间的转变。举例来说,根据本发明的方面,视频译码器可基于块260的三个样本确定分割样式。在此实例中,视频译码器可识别块260的左上样本的分割指派(C0,0)、块260的右上样本的分割指派(C7,0),和块260的左下样本的分割指派(C0,7)。在其它实例中,视频译码器可识别块260的其它样本的分割指派。

在上文描述的实例中,如果块260的左上样本(C0,0)指派到与块260的右上样本(C7,0)不同的分割,那么视频译码器可识别沿着深度样本的顶部行的分割转变。也就是说,视频译码器可识别块260的顶部行的至少一个样本指派到第一分割,以及块260的顶部行的至少一个样本指派到第二分割。同样,如果块260的左上样本(C0,0)指派到与块260的左下样本(C0,7)不同的分割,那么视频译码器可识别沿着深度样本的顶部行的分割转变。也就是说,视频译码器可识别块260的左列的至少一个样本指派到第一分割,以及块260的顶部行的所述样本中的至少一者指派到第二分割。

视频译码器可使用以上信息确定块260的分割样式。然而,并非必需确定发生分割转变的精确位置(例如,分割边界的位置)。实际上,如上所述,选择代表性相邻样本的位置以避免分割边界。因此,视频译码器可确定分割样式且识别DC预测值的代表性相邻样本,而不用确定分割转变的精确位置。

上文描述的技术可针对根据分割方案分割的任何深度块执行。举例来说,所述技术可结合DMM模式、链译码、SDC模式2或类似者使用。

在一些实例中,视频译码器可基于块的分割确定经选择用于确定所述分割的DC预测值的相邻参考样本的数目。举例来说,如下文相对于图11A-11G所描述,对于一个分割样式,视频译码器可识别用以确定DC预测值的单一代表性相邻参考样本。对于另一分割样式,视频译码器可识别用以确定DC预测值的一个以上代表性相邻参考样本。

因此,用以确定DC预测值的相邻参考样本的数目可为可变的。举例来说,视频译码器可在确定DC预测值(例如,1、2、4或类似者)时选择2L(其中L大于0)相邻参考样本。用于DC计算的选定相邻参考样本的数目和位置可在一些实例中取决于块260的PU大小或其它特性。

图11A-11H是说明根据本发明的方面的深度数据的块的实例分割样式和用以确定经预测深度值的相邻参考样本的框图。大体来说,图11A-11H是从第二分割(如用经着色“1”块所示)的角度描述用以确定分割样式和产生DC预测值。应理解,可从第一分割(如用未经着色“0”块所示)的角度应用相同技术来确定分割样式和产生DC预测值。

图11A大体说明具有第一分割282和第二分割284的深度块280。图11A中展示的分割样式可通常被称作样式0。在此实例中,第二分割284(正从其产生DC预测值的分割)并不包含块280的顶部行286或左列288中的任何样本。也就是说,块280的右下样本指派到与含有左上、右上和左下样本的分割(第一分割282)不同的分割(第二分割284)。

在识别样式0后,视频译码器(例如,视频编码器20或视频解码器30)可基于预定默认值确定用于第二分割284的DC预测值。举例来说,因为无相邻参考样本与第二分割284毗邻,所以视频译码器可确定并不取决于相邻参考样本的第二分割284的DC预测值。在一些实例中,视频译码器可将默认DC预测值设定为等于2B-1,其中B等于用于表示块280中的深度值的位数。在其它实例中,视频译码器可设定不同默认DC预测值。

图11B通常说明具有第一分割292和第二分割294的深度块290。图11B中展示的分割样式可通常被称作样式1。在此实例中,第二分割294(正从其产生DC预测值的分割)包含块290的顶部行296的至少一个样本和左列298的所有样本。块280的左上样本和左下样本指派到与含有右上样本的分割(第一分割292)不同的分割(第二分割284)。

在识别样式1后,视频译码器(例如,视频编码器20或视频解码器30)可基于定位在左列298的中心附近的代表性相邻样本300确定用于第二分割294的DC预测值。举例来说,如上文相对于图10所提到,视频译码器可选择中央样本pLx,其中x等于(N-l)>>l或x等于N>>l,其中N为左列298的样本的数目。选择左列298的中央样本可帮助确保代表性样本不定位在分割边界附近,这可增加预测准确性,如上文所描述。在选择相邻样本300之后,视频译码器可将用于第二分割294的DC预测值设定为相邻样本300的值。

图11C大体说明具有第一分割312和第二分割314的深度块310。图11C中展示的分割样式为样式1的第二实例。在此实例中,第二分割314(正针对其产生DC预测值的分割)包含块310的顶部行316的所有样本和左列318的至少一个样本。块310的左上样本和右上样本指派到与含有左下样本的分割(第一分割312)不同的分割(第二分割314)。

在识别样式1后,视频译码器(例如,视频编码器20或视频解码器30)可基于定位在顶部行316的中心附近的代表性相邻样本320确定用于第二分割314的DC预测值。举例来说,如上文相对于图10所提到,视频译码器可选择中央样本pTx,其中x等于(N-l)>>l或x等于N>>l,其中N为顶部行316的样本的数目。选择顶部行316的中央样本可帮助确保代表性样本不定位在分割边界附近,这可增加预测准确性,如上文所描述。在选择相邻样本320之后,视频译码器可将用于第二分割314的DC预测值设定为相邻样本320的值。

图11D大体说明具有第一分割342和第二分割344的深度块340。图11D中展示的分割样式可通常被称作样式2。在此实例中,第二分割344(正针对其产生DC预测值的分割)并不包含顶部行346的任何样本且包含块340的左列348的至少一个样本。块340的左上样本和右上样本指派到与含有左下样本的分割(第二分割344)不同的分割(第一分割342)。

在识别样式2后,视频译码器(例如,视频编码器20或视频解码器30)可基于定位在左列348的底部处(即,邻近于块340的左下角样本)的代表性相邻样本350确定用于第二分割344的DC预测值。也就是说,视频译码器可选择左列348中的最终样本作为用于第二分割344的代表性相邻样本。选择左列348的最终样本可帮助确保代表性样本不定位在沿着左列348的第一分割342与第二分割344之间的转变附近。如上所述,选择远离分割边界定位的样本可增加预测准确性。在选择相邻样本350之后,视频译码器可将用于第二分割344的DC预测值设定为相邻样本350的值。

图11E大体说明具有第一分割362和第二分割364的深度块360。图11E中展示的分割样式为样式2的另一实例。在此实例中,第二分割364(正针对其产生DC预测值的分割)包含顶部行366的至少一个样本但并不包含块360的左列368的任何样本。块360的左上样本和右上样本指派到与含有右上样本的分割(第二分割364)不同的分割(第一分割362)。

在识别样式2后,视频译码器(例如,视频编码器20或视频解码器30)可基于定位在顶部行366末尾(即,邻近于块360的右上角样本)的代表性相邻样本370而确定用于第二分割364的DC预测值。也就是说,视频译码器可选择顶部行366中的最终样本作为用于第二分割364的代表性相邻样本。选择顶部行366的最终样本可帮助确保代表性样本不定位在沿着顶部行366的第一分割362与第二分割364之间的转变附近。如上所述,选择远离分割边界定位的样本可增加预测准确性。在选择相邻样本370之后,视频译码器可将用于第二分割364的DC预测值设定为相邻样本370的值。

图11F大体说明具有第一分割382和第二分割384的深度块380。图11F中展示的分割样式可通常被称作样式3。在此实例中,第二分割384(正针对其产生DC预测值的分割)包含块380的顶部行386的至少一个样本和左列388的至少一个样本。块380的左上样本指派到与含有右上样本和左下样本的分割(第一分割382)不同的分割(第二分割384)。

在识别样式3后,视频译码器(例如,视频编码器20或视频解码器30)可基于定位在块380的左上角样本上方的第一代表性相邻样本390和定位在块380的左上角样本左侧的第二代表性相邻样本392(例如,如图10中所展示的样本pL0和pT0)确定用于第二分割384的DC预测值。在此实例中,视频译码器可组合第一样本390和第二样本392且执行右移操作以确定样本的平均值(不执行除法运算)。选择块380的最上角的样本可帮助确保代表性样本不定位在沿着顶部行386或左列388的第一分割382与第二分割384之间的转变附近。在一些实例中,代替于选择样本390和样本392两者以确定DC预测值,视频译码器可选择样本390和样本392中的一者。

图11G大体说明具有第一分割402和第二分割404的深度块400。图11G中展示的分割样式为样式3的另一实例。在此实例中,第二分割404(正针对其产生DC预测值的分割)包含块400的顶部行406的至少一个样本和左列408的至少一个样本。块380的左上样本指派到与含有右上样本和左下样本的分割(第二分割404)不同的分割(第一分割402)。

在识别样式3后,视频译码器(例如,视频编码器20或视频解码器30)可基于定位在块400的右上角样本上方的第一代表性相邻样本410和定位在块400的左下角样本左侧的第二代表性相邻样本412(例如,如图10中所展示的样本pLN-1和pTN-1)确定用于第二分割404的DC预测值。在此实例中,视频译码器可组合第一样本410和第二样本412且执行右移操作以确定样本的平均值(不执行除法运算)。选择块400的相反隅角中的样本可帮助确保代表性样本不定位在沿着顶部行406或左列408的第一分割402与第二分割404之间的转变附近。在一些实例中,代替于选择样本410和样本412两者以确定DC预测值,视频译码器可选择样本410和样本412中的一者。

图11H大体说明具有第一分割422与第二分割424的深度块420。图11H中展示的分割样式可通常被称作样式4。在此实例中,第二分割424(正针对其产生DC预测值的分割)包含顶部行426的所有样本以及块420的左列428的所有样本。块420的左上样本、右上样本和左下样本全部指派到相同分割(第二分割424)。

在识别样式4后,视频译码器(例如,视频编码器20或视频解码器30)可基于定位在块420的左上角样本上方的第一代表性相邻样本430和定位在块420的左上角样本左侧的第二代表性相邻样本432(例如,如图10中所展示的样本pL0和pT0)确定用于第二分割424的DC预测值。在此实例中,视频译码器可组合第一样本430和第二样本432且执行右移操作以确定样本的平均值(不执行除法运算)。在一些实例中,代替于选择样本430和样本432两者以确定DC预测值,视频译码器可选择样本430和样本432中的一者。

应理解,相对于图11A-11H提供的实例仅出于说明的目的而提供。也就是说,上文描述的技术可应用于具有其它大小和具有不同深度样本布置(特定深度样本指派到不同分割)的深度值的块。此外,用以确定DC预测值的相邻参考样本也可不同,而不脱离上文描述的技术。举例来说,虽然图11A-11H的实例描述选择一个或两个代表性相邻参考样本,但在其它实例中,视频译码器可选择更多或更少参考样本。

图12为说明根据本发明的方面用于确定深度数据的块的一或多个分割的预测值的一个实例过程的流程图。虽然图12中展示的过程大体描述为由视频译码器实行,但应理解,所述技术可由视频编码器20、视频解码器30或多种其它处理器执行。

在图12的实例中,视频译码器可执行深度块分割(430)。举例来说,视频译码器可初始地使用DMM模式、链译码模式、SDC模式2或类似者将深度块分割为区。当执行所述分割时,视频译码器将所述块的样本指派到第一分割或第二分割,如上文所描述。在出于说明的目的的一实例中,假定视频译码器将深度值的N×N块分割为块二进制值,即bPatternx,y,表示所述分割,其中x=0..N-1,y=0..N-1,且具有阵列px,y的相邻参考样本,其中x=-1,y=-1..N 1且x=0..N-l,y=-1。

视频译码器随后确定深度块的分割样式(432)。继续上文描述的实例,视频译码器可基于以下步骤确定分割样式:

1.将变量bL和bT设定为假且将变量V0和V1设定为0;

2.对于x=0..N-2,当bPatternx,0不等于bPatternx+1,0时将bT设定为真,且当bPattern0,x不等于bPattern0,x+1时将bL设定为真;

在此实例中,视频译码器通过检查顶部行和左列的每一样本以识别从二进制分割值0到二进制分割值1的转变(或反之亦然)而识别沿着所述块的顶部行和沿着所述块的左列的分割边界。利用此信息,视频译码器确定分割样式,例如上文图11A-11H中展示的实例分割样式中的一者。

在另一实例中,视频译码器可基于深度值的子集确定分割样式。举例来说,如上所述,可并非必需确定分割边界的精确位置来确定分割样式。在一个实例中,上文步骤2可用以下步骤替换:

2.当bPattern0,0不等于bPatternN-1,0时将bT设定为真,且当bPattern0,0不等于bPattern0,N-1时将bL设定为真。

在此实例中,视频译码器基于深度块的最外样本确定分割样式,如上文所描述。

基于所确定的分割样式,视频译码器可将一或多个相邻参考样本识别为DC预测值的代表性样本(434)。举例来说,视频译码器可识别经定位以避免分割边界的相邻参考样本。继续上文描述的实例,视频译码器可基于以下步骤识别相邻参考样本:

3.对于bL和bT:

i.如果bL等于bT:

a.将V1设定为(p-1,0+p0,-1)>>l;

b.如果bL为真,将V0设定为(P-1,N-1+PN-1,-1)>>1;否则,将V0设定为l<<(B-1);

ii.否则:

a.如果bL为真,将V0设定为p-1,N-1且将V1设定为p(N-1)>>1,-1;

b.否则,将V0设定为PN-1,-1且将V1设定为p-1,(N-1)>>1;

在上文的实例中,如果转变变量bL和bT相等(不存在顶部行或左列中的分割边界,或顶部行和左列两者中存在分割边界),那么视频译码器将一个分割变量V1设定为定位在块的左上角样本上方的相邻参考样本与定位在块的左上角样本左侧的相邻参考样本的经右移组合。此外,如果左列bL的转变变量为真(左列中存在分割边界),那么视频译码器将分割变量V0设定为深度样本的顶部行末尾的相邻参考值与深度样本的左列末尾的相邻参考值的经右移组合。

如果转变变量bL和bT不相等(顶部行或左列中仅存在一个分割边界)且bL为真(分割边界沿着样本的左列),那么视频译码器将一个分割变量V0设定为定位在块的左列末尾(底部)的相邻参考样本。视频译码器还将另一分割变量V1设定为定位在所述块的顶部行末尾(右侧最远处)的相邻参考样本。

如果转变变量bL和bT不相等(顶部行或左列中仅存在一个分割边界)且bL并非为真(分割边界沿着样本的顶部行),那么视频译码器将一个分割变量V0设定为定位在块的顶部行末尾(右侧最远处)的相邻参考样本。视频译码器还将另一分割变量V1设定为定位在所述块的左列末尾(底部)的相邻参考样本。

视频译码器随后基于所识别相邻参考样本设定每一分割的经预测DC值(436)。继续上文的实例,视频译码器可执行以下步骤:

4.如果bPattern0,0等于1,那么将DC0设定为V0且将DC1设定为V1。否则,将DC0设定为V1且将DC1设定为V0。

在此实例中,如果块的左上角样本属于第二分割(分割1)、那么视频译码器将第一DC预测值DC0设定为变量V0且将第二DC预测值DC1设定为变量V1。如果块的左上角样本属于第一分割(分割0),那么视频译码器将第一DC预测值DC0设定为变量V1且将第二DC预测值DC1设定为变量V0。

在一实例中,下文展示针对基于顶部行和左列的所有样本识别分割边界的过程(如上文相对于第一步骤2所描述)对3D-HEVC的当前草案的修改。展示修改,使用来指示删除,以及使用来指示添加:

对此过程的输入为:

-相邻样本p[x][y],其中x,y=-1..2*nT-l,

-二进制阵列partitionPattern[x][y],其中x,y=0..nT-l,指定分割0和分割1中的预测块的分割。

-变量nT,指定变换大小,

-旗标dcOffsetAvailFlag,指定DC偏移值是否可用

-变量quantDcOffsetP0和quantCcOffsetPl,指定块分割的DC偏移

此过程的输出为:

-经预测样本predSamples[x][y],其中x,y=0..nT-l。

导出预测样本predSamples[x][y]的值,如以下经排序步骤指定:

1.

-对于x=0..nT-1,以下适用。

-当partitionPattern[x][0]不等于

partitionPattern[x+1][0],以下适用:

-对于y=0..nT-1,以下适用。

-当partitionPattern[0,y]不等于partitionPattem[0][y+1],以下适用:

2.变量predDcVal0和predDcVal1,分别指定分割0和1的预测恒定分割值,导出如下。

1.变量deQuantDcOffset,指定经解量化DC偏移,导出如下。

-如果dcOffsetAvailFlag等于1,以下适用:

dcOffset=

quantDcOffsetPX*Clip3(1,(1<<BitDepthY)-1,Round(2(QP'Y//10)-2))

(G-64)

-否则(dcOffsetAvailFlag等于0),deQuantDcOffset设定为等于0。

2.经预测样本值predSamples导出如下,其中x=0..nT-l且其中y=0..nT-l。

-当partitionPattern[x][y]等于X,以下适用。

predSamples[x][y]=predDcValX+dcOffset (G-65)

在另一实例中,下文展示针对基于顶部行和左列的样本的子集识别分割边界的过程(如上文相对于第二步骤2所描述)对3D-HEVC的当前草案的修改。展示修改,使用来指示删除,以及使用来指示添加:

对此过程的输入为:

-相邻样本p[x][y],其中x,y=-1..2*nT-l,

-二进制阵列partitionPattern[x][y],其中x,y=0..nT-1,指定分割0和分割1中的预测块的分割。

-变量nT,指定变换大小,

-旗标dcOffsetAvailFlag,指定DC偏移值是否可用

-变量quantDcOffsetP0和quantCcOffsetPl,指定块分割的DC偏移

此过程的输出为:

-经预测样本predSamples[x][y],其中x,y=0..nT-l。

导出预测样本predSamples[x][y]的值,如以下经排序步骤指定:

2.变量predDcVal0和分别指定分割的预测恒定分割值,导出如下。

1.变量deQuantDcOffset,指定经解量化DC偏移,导出如下。

-如果dcOffsetAvailFlag等于1,以下适用:

dcOffset=

quantDcOffsetPX*Clip3(1,(1<<BitDepthY)-1,Round(2(QP'Y/10)-2))

(G-64)

-否则(dcOffsetAvailFlag等于0),deQuantDcOffset设定为等于0。

2.经预测样本值predSamples导出如下,其中x=0..nT-l且其中y=0..nT-l。

-当partitionPattern[x][y]等于X,以下适用。

predSamples[x][y]=predDcValX+dcOffset(G-65)

应理解,图12中所展示的步骤仅作为一个实例提供。也就是说,图12中所展示的步骤未必需要按所展示的次序来执行,且可执行较少、额外或替代步骤。

图13为说明根据本发明的方面用于对深度数据的块的分割译码的实例过程的流程图。虽然图13中展示的过程大体描述为由视频译码器实行,但应理解,所述技术可由视频编码器20、视频解码器30或多种其它处理器执行。

在图13的实例中,视频译码器确定分割样式(440)。如上所述,视频译码器可基于深度块的顶部行和左列的所有样本确定分割样式。在另一实例中,视频译码器可基于深度块的顶部行和左列的样本的子集确定分割样式。在任何情况下,视频译码器可基于沿着深度块的样本的顶部行和/或左列的分割边界的位置确定分割样式,如上文所描述。

视频译码器可随后基于分割样式确定块的至少一个分割的预测值(442)。举例来说,视频译码器可确定预定默认值,或可基于一或多个相邻参考样本确定值。如上文所描述,视频译码器可基于分割样式(例如,分割边界的位置)选择代表性相邻参考样本。

视频译码器可随后基于预测值对所述至少一个分割译码。举例来说,视频编码器(例如,视频编码器20)可基于分割的实际深度值与所述分割的预测值之间的差产生残余值,且可包含在经编码位流中表示所述残余值的数据。视频解码器可解析来自经编码位流的表示残余值的数据,产生分割的预测值,且将所述残余值与所述预测值组合以确定所述分割的实际深度值。

应理解,图13中所展示的步骤仅作为一个实例提供。也就是说,图13中所展示的步骤未必需要按所展示的次序来执行,且可执行较少、额外或替代步骤。

上文所描述的技术可由视频编码器20(图1和2)和/或视频解码器30(图1和3)执行,其两者可通常被称作视频译码器。另外,视频译码在适用时可大体上涉及视频编码和/或视频解码。

虽然大体上相对于3D-HEVC描述本发明的技术,但不以此方式限制所述技术。上文描述的技术也可适用于其它当前标准或尚未开发的未来标准。举例来说,用于深度译码的技术也可适用于HEVC的多视图扩展(例如,所谓的MV-HEVC)、对HEVC的可缩放扩展,或具有深度分量的其它当前或未来标准。

应理解,取决于实例,本文中的任何所描述的方法的某些动作或事件可以用不同序列执行、可添加、合并或全部省略(例如,实践所述方法并不需要所有的所描述动作或事件)。此外,在某些实例中,可例如经由多线程处理、中断处理或多个处理器同时而非循序执行动作或事件。另外,虽然为了清晰起见,将本发明的某些方面描述为是由单个模块或单元执行,但应理解,本发明的技术可由与视频译码器相关联的单元或模块的组合执行。

虽然在上文描述所述技术的各个方面的特定组合,但提供这些组合仅为了说明本发明中描述的技术的实例。因此,本发明的技术不应限于这些实例组合且可涵盖本发明中描述的技术的各个方面的任何可设想的组合。

在一或多个实例中,所描述功能可在硬件、软件、固件或其任何组合中实施。如果用软件实施,那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或发射,且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体,其对应于有形媒体,例如数据存储媒体,或包括促进将计算机程序从一处传送到另一处(例如,根据通信协议)的任何媒体的通信媒体。

以此方式,计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)通信媒体,例如信号或载波。数据存储媒体可以是可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读存储媒体和封装材料。

借助于实例而非限制,此类计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何其它可用来存储呈指令或数据结构的形式的所要的程序代码并且可由计算机存取的媒体。并且,可恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射指令,那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。

然而,应理解,所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体,而是针对于非暂时性有形存储媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。

指令可由一或多个处理器执行,所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA),或其它等效的集成或离散逻辑电路。因此,术语“处理器”在本文中使用时可指代以上结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。此外,在一些方面中,本文中所描述的功能性可在经配置用于编码和解码的专用硬件和/或软件模块内提供,或并入在组合编解码器中。并且,可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施,所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面,但未必需要由不同硬件单元实现。实际上,如上文所描述,各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中,或由互操作硬件单元的集合来提供,所述硬件单元包含如上文所描述的一或多个处理器。

已经描述了本发明的各个方面。这些和其它方面在所附权利要求书的范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1