对于三维视频译码的视图间滤波器参数重复使用的制作方法

对于三维视频译码的视图间滤波器参数重复使用的制作方法
【专利摘要】此处描述了涉及滤波器参数的重复使用的技术，具体而言，涉及用于译码三维(3D)视频编码的依赖视图的独立视图或经译码的依赖视图的样本自适应偏移量(SAO)参数。
【专利说明】对于三维视频译码的视图间滤波器参数重复使用
进旦冃月^
[0001]视频编码(encode)是准备视频(视频数据)的过程，其中视频被编码以满足适当的格式和规范，以便记录和播放。视频已经从二维(2D)发展到三维(3D)。然而，设备仍使用2D编码器和解码器。例如，为了向后兼容常规2D视频编码器和解码器，可以独立地译码(COde)3D视图中的一个(可以被称为独立视图或基础视图)，而不参考其他视图。可以通过利用相同视图中的关联，以及近邻视图和相关联的深度图之间的关联，来译码可以被称为依赖视图(dependent view)或辅助视图的其他视图。
[0002]在立体情况的示例中，多视图视频包含大量的视图间统计依赖关系，因为相机可以同时从不同的视点捕捉相同场景。这些可以用于组合的时间预测和视图间预测，该组合的时间预测和视图间预测不仅从在时间上邻近的图像进行预测，而且还从相邻的编码的视图中对应的画面进行预测。因此，对于依赖视图，可以从其他译码的视图的画面或相同视图中先前译码的画面预测纹理和深度。
[0003]3D视频译码(3DVC)是指应用于3D显示器的各种视频压缩标准中的一种。3DVC由IS0/IEC运动图像专家组(MPEG)管理。3DVC可以基于高效率视频译码(High EfficientVideo Coding:HEVC)标准，其中，HEVC是最新的常规视频译码标准中的一种。3DVC也可以基于传统的H.264/AVC。在3DVC中，使用多视图视频加深度(Mult1-view Video plusDepth:MVD)概念来表示3D视频内容，其中有限数量的视图和相关联的深度图被编码并复用为比特流。每一个视图的相机参数通常也打包到比特流，以便进行视图合成。对于三维或3D视频译码和压缩，多个视图，相关联的深度图，以及相机参数被译码到比特流中，以支持各种3D视频应用。
[0004]样本自适应偏移量(SA0)是被采用到HEVC标准中以改善重构的画面的质量的环内滤波器(in-loop filter)技术。包括滤波器控制标志、SA0类型、偏移值等等的SA0滤波器参数由编码器来确定，然后，将其传输到解码器。HEVC-3DVC是下一代3D视频译码标准，其中，独立视图由HEVC编码器译码。
[0005]在视频译码和压缩中，存在提供最小化诸如计算资源之类的资源使用的方法和过程的持续挑战。具体而言，有提供用于编码和解码(decode)的资源高效译码和压缩方案的连续的需要。随着视频译码和压缩演进以支持3D视频，这变为较大的目标。
附图简述
[0006]图1是用于为三维视频实现样本自适应偏移量(SA0)重复使用的示例系统的说明图。
[0007]图2是用于为三维视频实现样本自适应偏移量(SA0)重复使用的示例视频编码器的说明图。
[0008]图3是用于为三维视频实现样本自适应偏移量(SA0)重复使用的示例视频解码器的说明图。
[0009]图4是示出了高效率视频译码中的样本自适应偏移量(SA0)类型和边缘类型的表。
[0010]图5是其样本自适应偏移量(SA0)参数被重复用于编码当前帧中的当前译码单元的可能的参考译码单元的说明图。
[0011]图6A和6B是对于三维视频解码的样本自适应偏移量(SA0)重复使用的示例过程的流程图。
[0012]图7是为三维视频实现样本自适应偏移量(SA0)重复使用的示例系统的说明图。
[0013]图8是所有都根据本发明的至少某些实现的配置的示例设备的说明图。
[0014]参考附图提供了下列“【具体实施方式】”。在附图中，附图标记中最左边的数字通常标识该附图标记首次出现的附图。在不同附图中使用相同的附图标记指示相似或相同的项。
详细描述
[0015]本文档公开了一个或多个系统、设备、方法等等，用于针对依赖视图编码，实现(诸如由高效率视频译码(HEVC)标准来实现的)三维或3D视频译码或3DVC的样本自适应偏移量(SA0)滤波器，并直接重复使用独立视图或译码的依赖视图的SA0滤波器参数来编码另一依赖视图，或只重复使用独立视图或译码的依赖视图的SA0滤波器参数的一部分来编码另一依赖视图。
[0016]图1示出了可以用于实现各种描述的实施例的示例系统/计算设备100。然而，可以容易地理解，可在其他计算设备、系统和环境中实现此处所公开的技术。图1所示出的计算设备100是计算设备的一个示例，而非旨在对计算机和网络体系结构的使用范围或功能提出任何限制。
[0017]在至少一种实现中，计算设备100包括至少一个处理单元102和系统存储器104。取决于计算设备的确切配置和类型，系统存储器104可以是易失性的(如RAM)、非易失性的(如ROM、闪存等等)或其某种组合。系统存储器104可以包括操作系统106、在某些实现中可以实现此处所描述的算法方法和技术的一个或多个程序模块108。系统存储器104还可以包括程序数据110，该程序数据可以包括如在本文中稍后所描述的宏块/形状数据库(shapes database)。此外,在此示例中，还包括编码器112。编码器112可以被用来实现此处所描述的3D视频译码或3DVC。编码器112可以操作地耦合到此处进一步描述的处理单元102、系统存储器104，及其他存储器、输入/输出、设备，及未示出的其他组件/设备，并与它们进行通信。
[0018]在此示例中，编码器112包括样本自适应偏移量或SA0滤波器114。如进一步讨论的，SA0滤波器114可以用于3DVC依赖视图编码，并直接重复使用独立视图或译码的依赖视图的SA0滤波器参数来编码另一依赖视图。在某些情况下，SA0滤波器114用于只重复使用独立视图或译码的依赖视图的SA0滤波器参数的一部分来编码另一依赖视图。此外，设备100还可以包括解码器116。下面将进一步描述编码器112和解码器116两者的示例功能。
[0019]计算设备100的基本实现由虚线118划界。例如，在某些实现中，编码器112和/或解码器116可以是中央处理单元(CPU)的集成图形芯片组的一部分，包括3D和和媒体，具有媒体功能，该功能包括视频，具体为视频解码/编码。在某些实现中，专用集成电路或ASIC可以包括编码器112和/或解码器116作为固定功能编码器/解码器。
[0020]可以构想，带有视频编码的设备可以使用所描述的技术、方法，和设备。这样的设备的示例包括媒体播放器、视频会议设备等等。
[0021]在某些实现中，程序模块108可以包括特定模块(未示出)，诸如被配置成实现此处所描述的视频编码技术和方法的编解码器或基于软件/固件的编码器。例如，在某些实现中，这样的模块可以执行编码器112的过程。示例编解码器包括AVC、VC1、以及SVC。
[0022]计算设备100可具有附加特征或功能。例如，计算设备100也可以包括附加数据存储设备，诸如可移动存储120和不可移动存储122。在某些实现中，可移动存储120和不可移动存储122是用于存储可由处理单元102执行以执行上文所描述的各种功能的指令的计算机可访问介质的示例。一般而言，参考附图描述的任何功能都可使用软件、硬件(例如，固定逻辑电路)或这些实现的组合来实现。程序代码可以储存在一个或多个计算机可访问介质或其它计算机可读存储设备中。因此，此处所描述的过程、组件可由计算机程序产品来实现。如上文所提及的，计算机可访问的介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质。术语“计算机可访问介质”是指非瞬态存储设备，包括但不限于，RAM、ROM、EEPR0M、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备(例如，计算设备100)访问的任何其他非瞬态介质。任何这样的计算机可访问介质都可以是计算设备100的一部分。
[0023]在一种实现中，计算机可访问的介质——可移动存储器120，具有存储在其上的一组指令。当由处理单元102执行时，指令集导致处理单元102执行如此处所描述的操作、任务、功能和/或方法，以及其任何变化。
[0024]计算设备100也可包括一个或多个输入设备124，如键盘、鼠标、笔、语音输入设备、触摸输入设备等等。计算设备100另外还可以包括诸如显示器、扬声器、打印机等等之类的一个或多个输出设备126。
[0025]计算设备100也可以包括一个或多个通信连接128，这些通信连接128允许计算设备100通过经由连接130与一个或多个其他设备有线或以无线(未示出)地进行通信。应该理解，所示出的计算设备100是合适的设备的一个示例，而非旨在对所描述的各实施例的使用范围或功能提出任何限制。
[0026]图2示出了示例视频编码器112，该视频编码器112为用于依赖视图译码的3DVC实现SA0滤波器114，并直接重复使用独立视图或译码的依赖视图的SA0滤波器参数来编码另一依赖视图，或只重复使用独立视图或译码的依赖视图的SA0滤波器参数的一部分来编码另一依赖视图。在某些实现中，视频编码器112可以被实现为中央处理单元的一部分、集成电路芯片组的一部分，或单独的组件/设备。如上文所讨论的，在某些实现中，视频编码器112可以实现为固件或软件，诸如编解码器。此外，图2是仅仅是说明性的，并可以包含额外的块或组件和/或块或组件的不同的布局。
[0027]如所讨论的，在3DVC系统中有多个视图，它们被称为独立视图和依赖视图。使用例如HEVC标准编码器(例如，编码器112)作为基础视图来译码独立视图。可以不仅使用相同视图中的时间和空间关联，而且还使用近邻视图之间的视图间关联，来编码依赖视图。用于译码依赖视图的视图间译码工具是差异补偿预测(DCP)，其是作为运动补偿预测(MCP)的替代方案而添加的。MCP可以是指使用相同视图的预先存在的译码的图像的图像间预测，而DCP可以是指使用其他视图的预先存在的编码的图像的图像间预测。
[0028]在一种实现中，视频编码器112接收未编码和/或未经压缩视频，该视频包括将被编码以生成3DVC比特流202形式的对应的编码的帧的图像帧。在此实现中，视频编码器112的一个或多个组件或块可以被配置成根据一个或多个标准和此处所描述的过程和技术来执行3DVC编码。
[0029]例如，视频编码器112包括下列组件中的一个或多个。可以理解，可以包括其他组件，也可以组合各组件(即，组合的组件的功能)。对译码单元或CU的引用可以涉及要译码的画面的一部分或切片。
1)组件204-1可以是用于将SA0滤波器114应用于对3D依赖的重构的依赖视图的机制。
2)组件204-2可以是用于重复使用其他译码的视图的SA0参数来编码依赖视图的机制。这样的实现可以被称为视图间SA0参数重复使用。在一种实现中，SA0参数可以包括SA0控制标志、SA0类型、SA0偏移值等。
3)组件204-3可以是用于直接重复使用独立视图的SA0参数来编码依赖视图的机制。
4)组件204-4可以是这样的机制:直接重复使用独立视图的SA0参数的一部分来编码依赖视图，并允许编码器112生成依赖视图的SA0参数的其他部分，并将所生成的参数发送到依赖视图的解码器。
5)组件204-5可以是用于直接重复使用经译码的依赖视图的SA0参数来编码另一依赖视图的机制。
6)组件204-6可以是这样的机制:其用于直接重复使用经译码的依赖视图的SA0参数的一部分来编码另一依赖视图，并允许编码器112生成译码的依赖视图的SA0参数的其他部分，并将所生成的参数发送到依赖视图的解码器。
7)组件204-7可以是这样的机制:其不重复使用其他视图的SA0参数，但是允许编码器112为当前译码的依赖视图生成全部SA0参数，并将所生成的参数发送到解码器。
8)组件204-8可以是这样的机制:其允许编码器112自适应地决定是否重复使用其他经译码的视图的SA0参数，然后，将决定标志发送到解码器。决定标志可以是序列级别标志、图像组(G0P)级别标志、切片级别标志，或译码单元级别标志。三个常用的视频颜色空间Y、Cb，以及Cr可以共享相同决定标志或分别具有单个决定标志。
9)组件204-9可以是这样的机制:用于对于Y，Cb，以及Cr颜色空间应用不同的SA0参数重复使用方案(例如，对Y组件应用自适应重复使用，但是，对于Cb和Cr颜色空间应用强制性的重复使用)
10)组件204-10可以是用于重复使用来自经译码的视图的并置译码单元的SA0参数的机制。
11)组件204-11可以是用于重复使用来自由差异矢量指出的经译码的视图中的译码单元的SA0参数的机制。
12)组件204-12可以是用于重复使用来自通过深度信息和相机参数选择出的经译码的视图中的译码单元的SA0参数的机制。
13)组件204-13可以是这样的机制:其用于重复使用或部分地重复使用空间或时间近邻的经译码的译码单元的SA0参数来编码依赖视图中的当前译码单元，这可以称为视图内SAO参数重复使用。空间近邻译码单元可以是左近邻译码单元、顶部近邻译码单元、左上方近邻译码单元，或其他可用的经译码的空间近邻译码单元。时间近邻译码单元可以是视图内参考帧中的并置译码单元，由运动矢量指出的视图内参考帧中的译码单元。在一种实现中，编码器112确定使用哪一个近邻译码单元，并将决定结果发送到解码器。
14)组件204-14可以是这样的机制:用于允许编码器112自适应地确定是应用视图内还是视图间SA0参数重复使用，然后，将决定结果发送到解码器。
15)组件204-14可以是这样的机制:用于基于译码单元的预测模式，应用视图间或视图内SA0参数重复使用。例如，如果译码单元是视图内预测的，那么，应用视图内SA0参数重复使用。如果译码单元是视图间预测的，那么，应用视图间SA0参数重复使用。
[0030]图3示出了示例视频解码器116。视频解码器接收3DVC比特流202，并对3DVC比特流202执行解复用300。从解复用块300输出基础视图或独立视图比特流302，以及辅助视图或依赖视图比特流304。基础视图解码流块306处理基础视图比特流302，而辅助视图解码流块308处理辅助视图流304。对于基于HEVC标准的3DVC，基础视图比特流302可以由HEVC解码器来解码。
[0031]辅助视图流304不被独立地解码来重构输出视频310。辅助视图流304与基础视图重构的视频312 —起被解码，因为视图间预测可以用于一些依赖视图块的编码。基础视图(独立视图)的重构的帧可以被添加作为用于辅助视图(依赖视图)的译码的视图间参考帧。此通过314示出，314示出了 SA0重复使用。因此，基础视图或其他经解码的依赖视图的经解码的SA0信息可以重复用于当前依赖视图的SA0滤波。
[0032]在一种实现中，在应用3DVC时，对于每一个视图，在解成块化(de-blocking)滤波器之后，可以有条件地执行SA0，以便改善重构的信号的客观(objective)和主观(subjective)质量两者。分别使用个体SA0参数来执行对于独立视图和依赖视图的SA0滤波。可以使用SA0来将经重构的像素分类为不同的类别，然后，通过对于每个类别像素的亮度和/或色度分量添加偏移量来减少失真。
[0033]各实现提供将在编码器114中计算/确定并被传送到解码器116的特定类别的偏移量表。特定实现规定:编码器114和解码器驻留在不同的设备上；以及3DVC比特流202被从编码器114传输到解码器116。图4的表1示出了 5个不同的SA0类型的示例，而表2示出了 5个不同种类的边缘类型的示例。
[0034]编码器114侧的SA0滤波可以实现为如下:
1)将一个画面分割为最大译码单元(LCU)对准的区域。
2)通过速率失真优化(RD0)将每一个区域分类为不同的SA0类型。在此实现中，有5个由“saoTypeldxkao类型索引)”标示的可能的SA0类型，如图4的表1所示。
3)对于特定区域
a)如果 “saoTypeldx” = 4
i)则根据像素的强度，将像素分类为不同的条带类型。从0到255的强度被均等地分成32个由“bandldx (条带索引)”标示的条带类型。例如，存在偏移量表，该偏移量表具有用于针对特定区域传送的连续4个条带的4个偏移量值。同时，使用“sao_band_posit1n(sao_条带_位置)”来发信号通知将对其应用SA0的第一条带。因此，根据其条带类型，对于每一个像素，导出特定的偏移量值。 ii)对于每一个像素，将偏移量值与原始像素值相加。
b)否则，如果“saoTypeldx” = 0,1,2,或 3
i)则对于每一个像素，计算边缘类型。在此示例中，对于每个边缘偏移量(E0)类型，有5种由“edgeldx (边缘索引)”标示的边缘类型，如表2所示。根据其边缘类型，获得用于特定像素的偏移量值。
?)对于每一个像素，将偏移量值与原始像素值相加。
c)否则，不执行SA0。
[0035]解码器116侧的SA0滤波可以实现为如下:
1)对于特定区域中的所有像素，执行每像素SA0滤波。
2)每一个区域都接收“saoTypeldx”,以指示它属于哪一种SA0类型。如果“saoTypeldx=4”，则当前区域也将接收条带位置。
3)对于特定区域中的每一个像素
a)如果“saoTypeldx”= 0,1, 2,或3,则计算其“edgeldx”,并将接收到的边缘类型的偏移量与像素值相加。
b)否则，如果“saoTypeldx”= 4,则计算其条带Idx,并将接收到的条带类型的偏移量与像素值相加。
c)否则，不执行SA0。
[0036]图5示出了当前视图502中的译码单元和参考帧或参考视图504中的译码单元之间的映射500。可以有用于依赖视图的SA0参数重复使用的各种可能的候选。3DVC系统中的多个视图可以具有高度的相似度。因此，当针对依赖视图执行SA0滤波时，可以从已经译码的独立视图或依赖视图继承诸如SA0控制标志、SA0类型、SA0偏移量值、SA0条带位置之类的SA0参数。此外，也可以从相同视图(即，当前视图502)中的预先编码的参考帧继承SA0参数。为了从时间参考帧506或视图间参考帧508继承可以1)根据标准的强制性规范，2)由编码器自适应地决定，然后，可以将标志发送到解码器，或3)由当前译码单元的预测模式决定，其中预测模式可以使用运动补偿预测(MCP)或差异补偿预测(DCP)。
[0037]参考译码单元可以是a)当前帧510中的空间近邻译码单元，b)时间参考帧506中的并置或运动补偿预测(MCP)译码单元，或c)视图间参考帧508中的并置或差异补偿预测(DCP)译码单元。
[0038]例如，如果当前译码单元是利用DCP译码的(即，利用差异矢量或DV 512预测的)，则对于这样的块，视图间关联比时间关联更强。因此，SA0信息是从视图间参考帧508中的对应的块(标示为SA0DeP514)继承而来。
[0039]如果当前块是MCP(即，利用运动矢量或MV 516预测的)，则SA0信息是从时间参考帧中的对应的块(标示为SA0?518)继承而来。
[0040]如果当前块是内部译码的，则SA0信息可以从参考帧中的并置的块(SA0m1A 520或SA0m1b 522)或空间近邻块(SAO a 524，SAO b 526，或SAO c 528)继承而来。
[0041]至于提供关于选择哪一个块以及应该继承什么样的SA0信息应该存在一致性，以使得编码器和解码器可以产生相同SA0滤波。参考帧中的对应的块可以通过不同的方法——使用已知信息，诸如块位置、经译码的运动/差异矢量、深度信息、相机参数等等，来导出。例如，对应的译码单元可以是(a)带有当前译码单元的相同位置的时间/视图间参考帧中的并置译码单元；(b)使用预先存在的经译码的运动/差异矢量的运动/差异补偿译码单元；(c)通过深度信息和相机参数来检索的运动/差异补偿译码单元，等等。
[0042]另外，由于时间/视图间对应的译码单元可能由于基于块的预测而重叠多个块，因此，可以使用各种方法，诸如占优势的重叠的块来表示对应的块。
[0043]在示例实现的上面的描述中，为解释起见，阐述了特定的号码、材料配置，及其他细节，以便更好地说明如要求保护的本发明。然而，对本领域技术人员显而易见的是，可以使用与此处所描述的示例细节不同的细节来实施要求保护的发明。在其他情况下，省略了或简化了已知的特征，以阐明示例实现的描述。
[0044]发明人计划将所描述的示例实现作为主要示例。发明人不用这些示例实现来限制所附权利要求书的范围。相反，发明人设想，要求保护的发明也可以以其他方式利用其他当前的或未来的技术来实现。
[0045]如本申请中所使用的，术语“或”意指包括性“或”而非互斥性“或”。即，除非另有指定或从上下文可以清楚，“X使用A或B”意指任何自然的包括性排列。S卩，如果X使用A ;X使用B ;或X使用A和B两者，则在任何以上情况下，都满足“X使用A或B”。此外，本申请中和所附权利要求书所使用的冠词“一”和“一个” 一般应解释为“一个或多个”，除非另有指定或从上下文将清楚是指单数形式。
[0046]这些过程可以示为逻辑流程图中一组框的集合，这表示可单独地用机械或与硬件、软件、和/或固件的组合来实现的一系列操作。在软件/固件的上下文中，这些框表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，这些指令在由这样的计算机的一个或多个处理器执行时使一个或多个处理器执行既定操作。
[0047]请注意，描述过程的次序并不旨在解释为限制，并且任何数目的所述过程框的可以按任何次序组合以实现各过程或可替代的过程。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从过程中删除个体框。
[0048]基于近邻视图之间的高度关联，当前译码单元和视图间参考帧中的对应的译码单元之间的SA0参数可以非常类似。通过使用提出的SA0参数重复使用方法，所提出的方法和技术可以节省用于指示SA0信息的比特(即，对视频的处理)。如所讨论的，方法和技术可以在编码器和解码器中执行。在某些实现中，可以设置标志，并将其从编码器提供到解码器，以指示是否使用这样的SA0参数重复使用。
[0049]图6示出了示例过程流程图600,示出了用于SA0参数重复使用的示例方法。这基于SA0参数重复使用过程和技术的基本单元是译码单元或CU。在编码和解码之前，每一个图像都可以被分成CU。当执行SA0参数重复使用过程和技术时，首先查找参考帧中的对应的⑶，其次重复使用SA0信息，诸如SA0滤波器控制标志，saoTypeldx，条带位置，以及与对应的CU的偏移量值，来编码当前CU。
[0050]在框602，对于当前译码单元(⑶)，执行SA0滤波。就当前⑶是否来自于独立视图作出判断。如果判断是“YES (是)”，则沿着框604的YES分支，那么在框606，执行对于⑶的SA0滤波。这可以是被应用于当前⑶的HEVC标准中的传统的SA0滤波器过程。
[0051 ] 如果当前⑶不是独立视图，即，当前⑶依赖视图，那么，沿着框604的N0 (否)分支，随后将SA0重复使用应用于当前CU。如果依赖视图中的当前CU是利用差异补偿译码的，则来自视图间参考帧的参考CU的SA0参数重复用于滤波当前CU。否则，来自视图内参考帧的参考帧的SAO参数被重复用于滤波当前CU。如果当前CU是差异补偿译码的，则沿着框610的YES分支，在框612，在视图间参考帧中找到对应的CU。否则，如果当前CU不是差异补偿译码的，则沿着框610的NO分支，在框614，在视图帧参考帧中找到对应的CU。
[0052]如果SA0类型(参见图5的表1)不在[0，4]范围之内，则沿着N0分支616，在框618，不执行SA0滤波。这可以指示SA0滤波被禁用。换言之，将不会对于当前⑶执行SA0滤波。
[0053]如果SA0类型(参见图5的表1)在[0，4]范围之内，则执行SA0滤波。如果SA0类型是4，则沿着框620的YES分支，在框622，并在框624，条带位置和偏移值被重复用于滤波当前⑶。否则，如果SA0类型不是4，那么，边缘偏移量类型和偏移值重复用于滤波当前CU。
[0054]图7示出了根据本发明的另一示例系统700。在各实现中，系统700可以是媒体系统，虽然系统700不仅限于此情境。例如，系统700可被纳入到个人计算机(PC)、膝上计算机、超薄笔记本电脑、平板计算机、触摸板、便携式计算机、手持式计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视机、智能设备(例如智能电话、智能平板计算机或智能电视机)、移动互联网设备(MID)、消息接发设备、数据通信设备等中。
[0055]在各实现中，系统700包括耦合到显示器720的平台702。平台702可以从诸如内容服务设备730、或内容递送设备740之类的内容设备或其他类似的内容源接收内容。包括一个或多个导航特征的导航控制器750可以被用来与例如平台702和/或显示器720进行交互。下面将更详细地描述这些组件中的每一个。
[0056]在各实现中，平台702可以包括芯片组705、处理器710、存储器712、存储714、图形子系统715、应用程序716、和/或无线电718的任何组合。芯片组705可以在处理器710、存储器712、存储714、图形子系统715、应用程序716和/或无线电718之间提供相互通信。例如，芯片集705可包括能够提供与存储714的相互通信的存储适配器(未示出)。
[0057]处理器710可以实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核，或任何其他微处理器或中央处理单元(CPU)。在各实现中，处理器710可以是双核处理器、双核移动处理器等等。
[0058]存储器712可以实现为易失性存储器设备，诸如，但不仅限于，随机存取存储器(RAM)、动态随机存取存储器(DRAM)，或静态RAM (SRAM)。
[0059]存储714可实现为非易失性存储设备，例如但不限于，磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附属存储设备、闪存、电池后备SDRAM(同步DRAM)和/或网络可访问存储设备。在各实现中，存储714可以包括当例如包括多个硬盘驱动器时，提高存储器性能或对有价值的数字媒体的增强的保护的技术。
[0060]图形子系统715可执行对例如静止图像或视频的图像的处理以供显示。图形子系统715可以例如是图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可用于通信地耦合图形子系统715和显示器720。例如，接口可以是高清多媒体接口(HDMI)、显示器端口、无线HDMI和/或无线HD适应技术中的任何一种。图形子系统715可以被集成到处理器710或芯片组705中。在一些实现中，图形子系统715可以是可通信地耦合到芯片组705的独立卡。
[0061]本文中所描述的图形和/或视频处理技术可在各种硬件体系结构中实现。例如，图形和/或视频功能可被集成在芯片集中。替代地，可使用分立的图形和/或视频处理器。作为再一个实现，图形和/或视频功能可以通过通用处理器(包括多核处理器)来提供。在进一步的实施例中，功能可以在消费电子产品中实现。
[0062]无线电718可以包括能够使用各种合适的无线通信技术传输和接收信号的一个或多个无线电。这些技术可涉及跨一个或多个无线网络的通信。示例无线网络包括(但不仅限于)无线局域网(WLAN)、无线个人局域网(WPAN)、无线城域网(WMAN)、蜂窝网络，以及卫星网络。在跨这样的网络的通信中，无线电718可以根据任何版本的一个或多个适用的标准来操作。
[0063]在各实现中，显示器720可以包括任何电视机类型监视器或显示器。显示器720可以包括，例如，计算机显示器屏幕、触摸屏显示器、视频监视器、类似于电视机的设备，和/或电视机。显示器720可以是数字和/或模拟的。在各实现中，显示器720可以是全息显示器。此外，显示器720还可以是可接收视觉投影的透明表面。这样的投影可以传达各种形式的信息、图像，和/或对象。例如，这样的投影可以是用于移动增强的现实(MAR)应用程序的视觉覆盖。在一个或多个软件应用程序716的控制下，平台702可以在显示器722上显示用户界面720。
[0064]在各实现中，内容服务设备730可以由任何国家的，国际的和/或独立的服务来主存(host)，并由此可以被平台702例如通过因特网来访问。内容服务设备730可耦合到平台702和/或显示器720。平台702和/或内容服务设备730可耦合到网络760以向网络760以及从网络760传递(例如，发送和/或接收)媒体信息。内容传递设备740也可耦合到平台702和/或显示器720。
[0065]在各实现中，内容服务设备730可以包括有线电视盒、个人计算机、网络、电话、启用因特网的设备或能够分发数字信息和/或内容的电器，以及能够通过网络760或直接在内容提供商和平台702和/或显示器720之间单方向地或双向地传递内容的任何其他类似的设备。将能理解，内容可经由网络760单向和/或双向地传递到和传递自系统700中的各组件中的任一个和内容提供者。内容的示例可包括任何媒体信息，包括例如视频、音乐、医疗和游戏?目息等等。
[0066]内容服务设备730可以接收内容，诸如有线电视节目，包括媒体信息、数字信息和/或其他内容。内容提供者的例子可包括任何有线或卫星电视或无线电，或者互联网内容提供者。所提供的示例不以任何方式限制根据本发明的各实现。
[0067]在各实现中，平台702可以从具有一个或多个导航特征的导航控制器750接收控制信号。控制器750的导航特征可以被用来，例如，与用户界面722进行交互。在各实施例中，导航控制器750可以是指示设备，该指示设备可以是计算机硬件组件(具体地，人机接口设备)，可使用户向计算机中输入空间(例如，连续的和多维)数据。许多系统——例如图形用户接口(GUI)以及电视机和监视器——允许用户使用身体姿势控制并将数据提供给计算机或电视机。
[0068]控制器750的导航特征的移动可以通过指针、光标、焦点环，或显示在显示器上的其他可视指示器，在显示器(例如，显示器720)上复制。例如，在软件应用716的控制下，位于导航控制器750上的导航特征可以被映射到例如用户界面722上显示的虚拟导航特征。在各实施例中，控制器750可以不是单独的组件，而是可以集成到平台702和/或显示器720中。然而，本发明不仅限于在所示出的或此处所描述的上下文中的元件。
[0069]在各实现中，驱动程序(未示出)可以包括允许用户立即打开和关闭平台702的技术，类似于电视机，例如，当启用时，在初始引导之后，按下按钮。程序逻辑可以允许平台702甚至在平台被“关闭”时向媒体适配器或其他内容服务设备730或内容分发设备740流式播放内容。另外，芯片组705还可以包括，例如，对于5.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件支持。驱动器可包括用于集成的图形平台的图形驱动器。在一些实施例中，图形驱动器可包括快速外围组件互连(PCI)图形卡。
[0070]在各实现中，可以集成系统700所示出的组件的任何一个或更多。例如，平台702和内容服务设备730可被集成，或者平台702和内容传递设备740可被集成，或者平台702、内容服务设备730和内容传递设备740可被集成。在各实施例中，平台702和显示器720可以是集成单元。例如，显示器720和内容服务设备730可被集成，或者显示器720和内容传递设备740可被集成。这些示例不限制本发明。
[0071]在各实施例中，系统700可实现为无线系统、有线系统或两者的组合。当实现为无线系统时，系统700可包括适于在无线共享介质上通信的组件和接口，例如一个或多个天线、发射机、接收机、收发机、放大器、过滤器、控制逻辑等等。无线共享媒体的一个例子可包括无线频谱的一些部分，例如RF频谱等。当实现为有线系统时，系统700可以包括适用于通过有线通信介质进行通信的组件和接口，诸如输入/输出(I/O)适配器、将I/O适配器与相应的有线通信介质连接的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器等等。有线通信介质的示例可包括，线路、电缆、金属导线、印刷电路板(PCB)、后面板、交换机结构、半导体材料、双绞线、同轴电缆、光纤等等。
[0072]平台702可建立一个或多个逻辑或物理通道以交换信息。该信息可包括媒体信息和控制信息。媒体信息可指代表针对用户的内容的任何数据。内容的示例可以包括，例如，来自语音谈话、视频会议、流式视频、电子邮件消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等等的数据。来自语音会话的数据可以是，例如，语音信息、静默时间长度、背景噪声、舒适噪声、音调等等。控制信息可以是指表示用于自动化系统的命令、指令或控制字的任何数据。例如，控制信息可用于使媒体信息路由通过系统，或指示节点以预定方式处理该媒体信息。然而，各实施例不限于图7中所示出的或所描述的上下文中的元件。
[0073]如前所述，系统700可表现为不同的物理样式或形状因数。图8示出其中可体现系统700的小尺寸因数设备800的实现。在一些实施例中，例如设备800可被实现为具有无线能力的移动计算设备的一部分。移动计算设备可指具有处理系统以及移动电源或供电(诸如一个或多个电池)的任何设备。
[0074]如前所述，移动计算设备的例子可包括个人计算机(PC)、膝上计算机、超薄笔记本电脑、平板计算机、触摸板、便携式计算机、手持式计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视机、智能设备(例如智能电话、智能平板计算机或智能电视机)、移动互联网设备(MID)、发消息设备、数据通信设备等。
[0075]移动计算设备的例子也可包括被配置成由人们佩戴的计算机，例如手腕式计算机、手指式计算机、戒指式计算机、眼镜式计算机、皮带夹计算机、腕带式计算机、鞋式计算机、服饰式计算机以及其它可佩戴计算机。例如，在各实施例中，移动计算设备可以实现为能够执行计算机应用程序以及语音通信和/或数据通信的智能电话。尽管已经以实现为智能电话的移动计算设备为例描述了一些实施例，但可理解其他实施例也可利用其他无线移动计算设备来实现。这些实施例不限于这种背景。
[0076]如图8所示，设备800可以包括外壳802、显示器804、输入/输出(I/O)设备806，以及天线808。设备800还可以包括导航特征812。显示器804可以包括用于显示适合于移动计算设备的信息的任何合适的显示单元。I/O设备806可以包括用于向移动计算设备中输入信息的任何合适的I/O设备。I/O设备806的示例可以包括字母数字键盘、数字键区、触摸板、输入键、按钮、开关、往复式开关、话筒、扬声器、语音识别设备以及软件等等。信息还可以通过话筒(未示出)输入到设备800中。这样的信息可以通过语音识别设备(未示出)来数字化。这些实施例不限于这种背景。
[0077]各个实施例可利用硬件部件、软件部件或两者的组合来实现。硬件部件的例子可包括处理器、微处理器、电路、电路元件(例如晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片集等等。软件的示例可包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、程序、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或它们的任意组合。判断一个实施例是否使用硬件元件或软件元件来实现可以根据任意数量的因素而不同，如所希望的计算速率、功率级别、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度，及其他设计或性能约束。
[0078]至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表征性指令来实现，该指令表示处理器中的各种逻辑，该指令在被机器读取时使得该机器制作用于执行本文所述的技术的逻辑。被称为“IP核”的这样的表示可以存储在有形的机器可读介质中，并提供给各种客户或生产设施，以加载到实际制造逻辑或处理器的制造机器中。
[0079]尽管参考各种实现描述了此处所阐述的某些特征，但是，此描述不旨在以限制性方式来解释。因此，对本发明涉及的所属【技术领域】的专业人员显而易见的对此处所描述的实现的各种修改，以及其他实现被认为在本发明的精神和范围内。
[0080]在特定实施例的上下文中详细描述了根据本发明的实现。这些实施例只是说明性的，而不作出限制。许多变化、修改、添加，以及改善都是可能的。因此，此处所描述的组件的多个实例可以作为单个实例来提供。各个组件、操作以及数据存储之间的边界在某种程度上是任意的，在特定说明性配置的上下文中示出了特定操作。功能的其他分配也是可以的，并可以在随后的权利要求书的范围内。最后，在各种配置中作为分离的组件呈现的结构和功能可以实现为组合的结构或组件。这些及其他变化、修改、添加，以及改善可以在如随后的权利要求书所定义的本发明的范围内。
【权利要求】
1.实现三维(3D)译码以提供3D视频译码(3DVC)比特流的视频编码器，包括: 样本自适应偏移量(SAO)滤波器，用于接收未译码/未经压缩的视频流，以利用SAO滤波器参数来编码所述未编码/未经压缩的视频流的独立视图，以及使用所述独立视图的所述SAO滤波器参数来编码其他依赖视图；以及 输出组件，用于接收经编码的独立视图和依赖视图，并输出所述3DVC比特流。
2.如权利要求1所述的视频编码器，其特征在于，所述SAO滤波器向所述依赖视图提供选择的数量的所述SAO滤波器参数。
3.如权利要求1所述的视频编码器，其特征在于，所述SAO滤波器参数包括下列各项中的一项或多项:控制标志、SAO类型，以及SAO偏移量值。
4.如权利要求1所述的视频编码器，其特征在于，经译码的依赖视图的SAO滤波器参数被直接重复用于编码另一依赖视图。
5.如权利要求1所述的视频编码器，其特征在于，经译码的依赖视图的SAO滤波器参数被直接重复用作经译码的依赖视图的SAO滤波器参数的一部分，以编码另一依赖视图，以及允许所述视频编码器生成其他SAO滤波器参数来译码依赖视图。
6.如权利要求1所述的视频编码器，其特征在于，仅SAO滤波器参数不被重复使用，并且为当前译码单元依赖视图，生成SAO滤波器参数。
7.如权利要求1所述的视频编码器，其特征在于，就对于依赖视图重复使用SAO滤波器参数作出决定。
8.如权利要求1所述的视频编码器，其特征在于，所述SAO滤波器参数被用来对于Y，Cb,以及Cr颜色空间,应用重复使用方案。
9.如权利要求1所述的视频编码器，其特征在于，所述SAO滤波器参数是从深度和相机参数中选择来的。
10.如权利要求1所述的视频编码器，其特征在于，所述SAO滤波器参数是空间或时间译码的译码单元，并且被用于编码依赖视图中的当前译码单元。
11.如权利要求1所述的视频编码器，其特征在于，进一步包括用于判断是应用视图间还是视图内部SAO滤波器参数重复使用的组件。
12.如权利要求1到11中的任何一个所述的视频编码器，其特征在于，将所述3DVC比特流发送到被实现来使用所述独立和依赖视图的SAO滤波器参数的解码器。
13.如权利要求1到11中的任何一个所述的视频编码器，其特征在于，所述视频编码器被配置为中央处理单元、集成电路芯片组，或编解码器中的一个。
14.处理三维视频译码(3DVC)比特流的视频解码器，包括: 用于接收所述3DVC比特流并将所述3DVC比特流分离为基础视图流和辅助视图流的解复用器，其中所述基础视图流包括样本自适应偏移量(SAO)滤波器参数； 用于处理所述基础视图流并使用所述SAO滤波器参数的基础视图解码块；以及 用于处理所述辅助视图流的辅助视图流解码块，其中所述基础视图流的所述样本自适应偏移量(SAO)滤波器参数被选择性地用于所述辅助视图流。
15.如权利要求14所述的视频解码器，其特征在于，所述基础视图流和所述辅助视图流被一起解码。
16.如权利要求15所述的视频解码器，其特征在于，所述基础视图流的经重构的帧被添加作为视图间参考帧，以解码辅助视图帧。
17.—种设备,包括: 一个或多个处理器； 为所述处理器配置的存储器； 为所述处理器和存储器配置的视频编码器，包括: 用于提供视频比特流的视频输入； 样本自适应偏移量(SAO)滤波器，用于接收所述视频流，以利用SAO滤波器参数来编码所述视频流的独立视图，以及使用所述独立视图的所述SAO滤波器参数来编码其他依赖视图；以及 视频输入，用于接收经编码的独立视图和依赖视图，并输出所述3DVC比特流。
18.如权利要求17所述的设备，其特征在于，所述视频输入是未编码/未经压缩的。
19.如权利要求17所述的设备，其特征在于，使用相同视图中的时间和空间关联，以及近邻视图之间的视图间关联，来译码依赖视图。
20.如权利要求19所述的设备，其特征在于，使用差异补偿预测(DCP)或运动补偿预测(MCP)中的一个来执行视图间译码。
21.如权利要求17所述的设备，其特征在于，就对于所述依赖视图，使用所述独立视图的SAO滤波器参数的全部、子集、或一个也不使用作出判断。
22.如权利要求17所述的设备，其特征在于，所述SAO滤波器参数包括下列各项中的一项或多项:控制标志、SAO类型，以及SAO偏移量值一它们被传递到解码器。
23.如权利要求17所述的设备，其特征在于，经译码的依赖视图的SAO滤波器参数用于编码另一依赖视图。
24.为三维视频译码(3DVC)实现参数重复使用的方法，包括: 对独立视图的译码单元(CU)执行样本自适应偏移量(SAO)滤波，以生成SAO滤波参数；以及 判断是否将所述SAO滤波器参数应用于所述独立视图的依赖视图的译码单元；以及
25.如权利要求24所述的方法，其特征在于，如果依赖视图中的当前CU不是利用差异补偿译码的，则将来自视图间参考帧的参考CU的SAO滤波参数重复用于滤波所述当前CU。
26.如权利要求24所述的方法，其特征在于，如果依赖视图中的当前CU不是利用差异补偿译码的，则将来自视图内参考帧的参考CU的SAO参数重复用于滤波当前CU。
【文档编号】H04N19/82GK104335587SQ201280073703
【公开日】2015年2月4日 申请日期:2012年7月4日 优先权日:2012年7月4日
【发明者】徐理东, 邱怡仁, 邓智玭, 张文豪, 韩钰, 蔡晓霞, 江宏 申请人:英特尔公司