全分辨率帧兼容的立体视频译码中的后滤波的制作方法

全分辨率帧兼容的立体视频译码中的后滤波的制作方法
【专利摘要】本发明涉及一种根据全分辨率帧兼容的立体视频译码过程而编码的立体视频数据。此类立体视频数据由右视图和左视图组成，所述视图在交错的基础层和交错的增强层中以一半分辨率版本被编码。在被解码时，根据两组滤波器系数来对所述右视图和左视图进行滤波，一组用于所述左视图且一组用于所述右视图。所述组滤波器系数是由编码器通过比较所述原始左和右视图与所述左和右视图的经解码版本而产生。
【专利说明】全分辨率帧兼容的立体视频译码中的后滤波
[0001]本申请案主张2011年3月14日申请的第61/452，590号美国临时申请案的权益，所述申请案的全文以引用的方式并入本文中。
【技术领域】
[0002]本发明涉及用于视频译码的技术，且更具体来说涉及用于立体视频译码的技术。【背景技术】
[0003]可将数字视频能力并入于广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术(例如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(高级视频译码(AVC))、当前在开发过程中的高效率视频译码(HEVC)标准定义的标准及此类标准的扩展中所描述的视频压缩技术)以更有效地发射、接收和存储数字视频信息。
[0004]上述标准(包含H.264/AVC)中的一些的扩展提供用于立体视频译码的技术，以便产生立体或三维(“3D”)视频。具体来说，用于立体译码的技术已与可缩放视频译码(SVC)标准(其为H.264/AVC的可缩放扩展)以及多视图视频译码(MVC)标准(其已成为H.264/AVC的多视图扩展)一起使用。
[0005]通常，使用两个视图来实现立体视频，例如，左视图和右视图。左视图的图片可与右视图的图片实质上同时显示，从而实现三维视频效应。举例来说，用户可佩带从右视图过滤左视图的偏光、被动式眼镜。或者，两个视图的图片可快速连续地展示，且用户可佩带主动式眼镜，所述主动式眼镜以相同频率但以90度相移遮蔽左眼和右眼。

【发明内容】

[0006]本发明大体上描述用于对立体视频数据译码的技术。实例技术包含根据左和右视图滤波器来对经解码立体视频数据进行后滤波。在一个实例中，使用用于每一视图(即，左和右视图)的两组滤波器系数来对先前根据全分辨率帧兼容的立体视频译码过程而编码的经解码立体视频数据进行滤波。本发明的其它实例描述用于产生滤波器系数的技术。
[0007]在本发明的一个实例中，一种用于处理经解码视频数据的方法包含使经解码图片解交错以形成经解码左视图图片和经解码右视图图片。经解码图片包含左视图图片的第一部分、右视图图片的第一部分、左视图图片的第二部分和右视图图片的第二部分。所述方法进一步包含:将第一左视图特定滤波器应用到经解码左视图图片的像素，且将第二左视图特定滤波器应用到经解码左视图图片的像素，以形成经滤波的左视图图片；以及将第一右视图特定滤波器应用到经解码右视图图片的像素，且将第二右视图特定滤波器应用到经解码右视图图片的像素，以形成经滤波的右视图图片。所述方法还可包含输出经滤波的左视图图片和经滤波的右视图图片，以致使显示装置显示包括经滤波的左视图图片和经滤波的右视图图片的二维视频。
[0008]在本发明的另一实例中，一种用于处理经解码视频数据的设备包含视频解码单元。所述视频解码单元经配置以使经解码图片解交错以形成经解码左视图图片和经解码右视图图片。经解码图片包含左视图图片的第一部分、右视图图片的第一部分、左视图图片的第二部分和右视图图片的第二部分。所述视频解码单元进一步经配置以:将第一左视图特定滤波器应用到经解码左视图图片的像素，且将第二左视图特定滤波器应用到经解码左视图图片的像素，以形成经滤波的左视图图片；以及将第一右视图特定滤波器应用到经解码右视图图片的像素，且将第二右视图特定滤波器应用到经解码右视图图片的像素，以形成经滤波的右视图图片。所述视频解码单元还可经配置以输出经滤波的左视图图片和经滤波的右视图图片，以致使显示装置显示包括经滤波的左视图图片和经滤波的右视图图片的三维视频。
[0009]在本发明的另一实例中，一种方法包含对左视图图片和右视图图片编码以形成经编码图片，以及对经编码图片解码以形成经解码左视图图片和经解码右视图图片。所述方法进一步包含基于左视图图片与经解码左视图图片的比较而产生左视图滤波器系数，以及基于右视图图片与经解码右视图图片的比较而产生右视图滤波器系数。
[0010]在本发明的另一实例中，一种用于对视频数据编码的设备包含视频编码单元。视频编码单元经配置以对左视图图片和右视图图片编码以形成经编码图片，以及对经编码图片解码以形成经解码左视图图片和经解码右视图图片。视频编码单元进一步经配置以基于左视图图片与经解码左视图图片的比较而产生左视图滤波器系数，以及基于右视图图片与经解码右视图图片的比较而产生右视图滤波器系数。
[0011]一个或一个以上实例的细节陈述于附图及以下描述中。其它特征、目标和优势将从描述和附图以及从权利要求书中显而易见。
【专利附图】

【附图说明】
[0012]图1是说明帧兼容的立体视频译码的一个实例的概念图。
[0013]图2是说明全分辨率帧兼容的立体视频译码中的编码过程的一个实例的概念图。
[0014]图3是说明全分辨率帧兼容的立体视频译码中的解码过程的一个实例的概念图。
[0015]图4是说明实例视频译码系统的框图。
[0016]图5是说明实例视频编码器的框图。
[0017]图6是说明实例视频解码器的框图。
[0018]图7是说明实例后滤波系统的框图。
[0019]图8是说明左视图图片的实例滤波器掩码的概念图。
[0020]图9是说明右视图图片的实例滤波器掩码的概念图。
[0021]图10是说明对立体视频解码和滤波的实例方法的流程图。
[0022]图11是说明对立体视频编码且产生滤波器系数的实例方法的流程图。
【具体实施方式】
[0023]大体上，本发明描述用于对立体视频数据(例如，用以产生三维(3D)效应的视频数据)进行译码和处理的技术。为了产生视频的三维效应，可同时地或几乎同时地展示场景的两个视图，例如，左眼视图和右眼视图。可从稍微不同的水平位置(表示查看者左眼与右眼之间的水平视差)俘获同一场景的两个图片(对应于场景的左眼视图和右眼视图)。通过同时地或几乎同时地显示这两个图片，使得左眼视图图片被查看者的左眼感知且右眼视图图片被查看者的右眼感知，查看者可体验二维视频效应。
[0024]在全分辨率帧兼容的立体视频译码过程中，使根据基础层和增强层而重新构造的帧兼容的左视图与右视图解交错可引起视频质量问题。可能存在不合意的视频假影，例如跨越行或列的空间质量不一致性。此类空间不等性可由于经解码基础视图和经解码增强视图可能具有不同的类型和程度的译码失真而存在，所述不同的类型和程度的译码失真是由于用于基础层和增强层的编码过程可利用不同的预测模式、量化参数、分区大小或可以不同的位速率而发送。
[0025]鉴于这些缺点，本发明提出用于根据左视图和右视图滤波器来对经解码立体视频数据进行后滤波的技术。在一个实例中，使用用于每一视图(即，左和右视图)的两组滤波器系数来对先前根据全分辨率帧兼容的立体视频译码过程而编码的经解码立体视频数据进行滤波。本发明的其它实例描述用于产生左视图和右视图滤波器的滤波器系数的技术。
[0026]根据本发明的一个实例，用于左视图的两组滤波器系数是基于在基础层中编码的左视图的一半分辨率部分以及在增强层中编码的左视图的一半分辨率部分。类似地，用于右视图的两组滤波器系数是基于在基础层中编码的右视图的一半分辨率部分以及在增强层中编码的右视图的一半分辨率部分。
[0027]本发明的其它实例描述用于产生滤波器系数的技术。由视频编码器通过首先对左视图和右图片编码且接着对左视图和右视图图片解码来产生滤波器系数。接着比较经解码左视图和右视图图片与原始左视图和右视图图片来确定滤波器系数。在一个实例中，通过最小化经解码左视图图片的经滤波版本与左视图图片之间的均方误差而产生左视图滤波器系数，且通过最小化经解码右视图图片的经滤波版本与右视图图片之间的均方误差而产生右视图滤波器系数。本发明大体上将“图片”称作视图的帧。
[0028]另外，本发明大体上指代可包含具有类似特性的一系列帧的“层”。根据本发明的方面，“基础层”可包含一系列经打包的帧(例如，在单个时间实例处包含两个视图的数据的帧)，且包含在经打包的帧中的每一视图的每一图片可以减小的分辨率(例如，一半分辨率)来编码。根据本发明的其它方面，“增强层”可包含当与基础层的一半分辨率数据组合时可用以重现全分辨率图片的数据。或者，如果未接收到增强层的数据，那么基础层的数据可经上取样以(例如)通过内插基础层的原本将由增强层提供的遗失数据而产生全分辨率图片。
[0029]本发明的技术可适用于在立体视频译码过程中使用。本发明的技术将参考H.264/AVC(高级视频译码)标准的多视图视频译码(MVC)扩展来描述。根据一些实例，本发明的技术还可与H.264/AVC的可缩放视频译码(SVC)扩展一起使用。虽然以下描述将依据H.264/AVC,但应理解，本发明的技术可适用于与其它多视图或立体视频译码过程一起使用，或与目前所提出的视频译码标准的未来多视图或立体扩展(例如，高效率视频译码(HEVC)标准及其扩展)一起使用。
[0030]视频序列通常包含一系列视频帧。图片群组(GOP) —般包括一系列一个或一个以上视频帧。GOP可在GOP的标头、GOP的一个或一个以上帧的标头中或在别处包含描述包含在GOP中的帧数目的语法数据。每一帧可包含描述相应帧的编码模式的帧语法数据。视频编码器和解码器通常对个别视频帧内的视频块进行操作，以便对视频数据进行编码和/或解码。视频块可对应于宏块或宏块的分区。所述视频块可具有固定的或变化的大小，且可根据指定的译码标准而大小不同。每一视频帧可包含多个切片。每一切片可包含多个宏块，所述多个宏块可布置成若干分区，所述分区还被称作子块。
[0031]作为实例，ITU-T H.264标准支持以各种块大小(例如，针对亮度分量的16乘16、8乘8或4乘4，和针对色度分量的8X8)的帧内预测，以及以各种块大小(例如，针对亮度分量的16X16、16X8、8X16、8X8、8X4、4X8和4X4，和针对色度分量的对应经缩放大小)的帧间预测。在本发明中，“NXN”与“N乘N”可互换地使用以指代所述块在垂直尺寸与水平尺寸方面的像素尺寸，例如，16X16像素或16乘16像素。一般而言，16X16块将在垂直方向上具有16个像素(y=16)且在水平方向上具有16个像素(x=16)。类似地，NXN块一般在垂直方向上具有N个像素且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置在若干行和若干列中。此外，块不一定需要在水平方向上与在垂直方向上具有相同数目个像素。举例来说，块可包括NXM个像素，其中M不一定等于N。
[0032]小于16乘16的块大小可称作16乘16宏块的分区。视频块可包括像素域中的像素数据的块，或(例如)在对表示经译码的视频块与预测性视频块之间的像素差的残余视频块数据应用例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换等变换之后的在变换域中的变换系数的块。在一些情况下，视频块可包括变换域中的经量化的变换系数的块。
[0033]较小视频块可提供较好分辨率，且可用于包含高水平的细节的视频帧的位置。一般而言，可将宏块和各种分区(有时称作子块)视为视频块。另外，可将切片视为多个视频块，例如宏块和/或子块。每一切片可为视频帧的可独立解码单元。或者，帧自身可为可解码单元，或可将帧的其它部分定义为可解码单元。术语“经译码单元”可指代例如整个帧、帧的切片、图片群组(GOP)(也称作序列)等视频帧的任何可独立解码单元或根据可适用的译码技术定义的另一可独立解码单元。
[0034]在用以产生预测性数据和残余数据的帧内预测性或帧间预测性译码之后，且在应用到残余数据以产生变换系数的任何变换(例如，在H.264/AVC中使用的4X4或8X8整数变换或离散余弦变换DCT)之后，可执行变换系数的量化。量化一般指代将变换系数量化以可能地减少用于表示系数的数据量的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，在量化期间可将η位值下舍入到m位值，其中η大于m。
[0035]在量化之后，可(例如)根据内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码方法来执行经量化数据的熵译码。经配置用于熵译码的处理单元或另一处理单元可执行其它处理功能，例如，经量化系数的零行程译码和/或语法信息的产生，所述语法信息例如为经译码的块模式(CBP)值、宏块类型、译码模式、经译码单元(例如，帧、切片、宏块或序列)的最大宏块大小或类似者。
[0036]视频编码器可进一步在(例如)帧标头、块标头、切片标头或GOP标头中将语法数据(例如基于块的语法数据、基于帧的语法数据和/或基于GOP的语法数据)发送到视频解码器。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以对对应帧编码的编码/预测模式。[0037]在H.264/AVC中，将经译码视频位组织为网络抽象层(NAL)单元，所述NAL单元提供解决了例如视频电话、储存、广播或流式传输等应用的“网络友好的”视频表示。可将NAL单元分类为视频译码层(VCL) NAL单元和非VCL NAL单元。VCL单元含有核心压缩引擎且包括块、MB和切片等级。其它NAL单元为非VCL NAL单元。
[0038]每一 NAL单元含有I字节的NAL单元标头。使用五位来指定NAL单元类型，且使用三位用于nal_ref_idc，其指示所述NAL单元在被其它图片(NAL单元)参考方面的重要性。等于O的这个值意味着NAL单元未用于帧间预测。
[0039]参数集含有序列参数集(SPS)中的序列等级标头信息以及图片参数集(PPS)中的不常改变的图片等级标头信息。由于参数集，这个不常改变的信息无需针对每一序列或图片而重复，因此改进了译码效率。此外，使用参数集实现了标头信息的带外传输，从而避免了错误恢复的冗余传输的需要。在带外传输中，可在不同于其它NAL单元的不同信道上传输参数集NAL单元。
[0040]在MVC中，通过视差补偿支持视图间预测，视差补偿使用H.264/AVC运动补偿的语法，但允许将不同视图中的图片用作参考图片。即，MVC中的图片可经视图间预测和译码。可以类似于时间预测中的运动向量的方式来将视差向量用于视图间预测。然而，并非提供运动的指示，视差向量指示经预测块中的数据相对于不同视图的参考帧的偏移，以考虑到共同场景的相机视角的水平偏移。以此方式，运动补偿单元可执行视图间预测的视差补偿。
[0041]如上文所提及的H.264/AVC，NAL单元由I字节标头和不同大小的有效负载组成。在MVC中，除了前缀NAL单元和MVC经译码切片NAL单元之外，此结构得以保留，其由4字节标头和NAL单元有效负载组成。MVC NAL单元标头中的语法元素包含priority_id、temporal_id、anchor_pic_fIag> view_id> non_idr_flag 和 inter_view_flag0
[0042]anchor_pic_flag语法元素指示图片是锚图片还是非锚图片。锚图片以及在输出次序(即，显示次序)中紧接其后的所有图片可在无需按解码次序(即，位流次序)对先前图片解码的情况下经正确地解码，且因此可用作随机存取点。锚图片和非锚图片可具有不同的相依性，两者均可在序列参数集中用信号传输。
[0043]MVC中界定的位流结构由两个语法元素表征:view_id和temporal_id。语法元素view_id指示每一视图的识别符。NAL单元标头中的此指示实现在解码器处对NAL单元的容易识别以及对用于显示的经解码视图的快速存取。语法元素temporaljd指示时间可缩放性层次结构或间接地指示巾贞速率。包含具有较小最大temporal_id值的NAL单元的操作点具有比具有较大最大temporal_id值的操作点低的帧速率。具有较高temporal_id值的经译码图片通常依赖于视图内具有较低temporaljd值的经译码图片，而非依赖于具有较高temporal_id的任何经译码图片。
[0044]NAL单元标头中的语法元素view_id和temporal_id用于位流提取和调适两者。NAL单元标头中的另一语法元素为priorityjd，其用于仅一个路径位流调适过程。S卩，当执行位流提取和调适时，接收或检索位流的装置可使用priority_id值来确定NAL单元之间的优先级，其允许一个位流被发送到具有不同的译码和再现能力的多个目的地装置。
[0045]inter_view_flag语法元素指示NAL单元是否将用于视图间预测不同视图中的另一 NAL单元。
[0046]在MVC中，在SPS MVC扩展中用信号传输视图相依性。在SPS MVC扩展所指定的范围内进行所有视图间预测。视图相依性指示(例如)对于视图间预测，视图是否取决于另一视图。在根据第二视图的数据来预测第一视图的情况下，称第一视图取决于第二视图。下表I表不用于SPS的MVC扩展的实例。
[0047]表I
[0048]
【权利要求】
1.一种用于处理经解码视频数据的方法，其包括: 使第一经解码图片和第二经解码图片解交错以形成经解码左视图图片和经解码右视图图片，其中所述第一经解码图片包含左视图图片的第一部分和右视图图片的第一部分，且其中所述第二经解码图片包含左视图图片的第二部分和右视图图片的第二部分； 将第一左视图特定滤波器应用到所述经解码左视图图片的像素，且将第二左视图特定滤波器应用到所述经解码左视图图片的所述像素，以形成经滤波的左视图图片； 将第一右视图特定滤波器应用到所述经解码右视图图片的像素，且将第二右视图特定滤波器应用到所述经解码右视图图片的所述像素，以形成经滤波的右视图图片；以及 输出所述经滤波的左视图图片和所述经滤波的右视图图片，以致使显示装置显示包括所述经滤波的左视图图片和所述经滤波的右视图图片的三维视频。
2.根据权利要求1所述的方法，其进一步包括: 显示所述经滤波的左视图图片和所述经滤波的右视图图片。
3.根据权利要求1所述的方法，其进一步包括: 接收经编码视频数据；以及 对所述经编码视频数据解码以产生所述第一经解码图片和所述第二经解码图片。
4.根据权利要求3所述的方法，其中所述经编码视频数据是根据全分辨率帧兼容的立体视频译码过程而被编码的。
5.根据权利要求4所述的方法，其中所述全分辨率帧兼容的立体视频译码过程遵照H.264/高级视频译码A VC标准的多视图译码MVC扩展。
6.根据权利要求1所述的方法，其中所述第一经解码图片包括基础层，且所述第二经解码图片包括增强层，其中所述基础层包含所述左视图图片的所述第一部分和所述右视图图片的所述第一部分，且其中所述增强层包含所述左视图图片的所述第二部分和所述右视图图片的所述第二部分。
7.根据权利要求6所述的方法，其中所述左视图图片的所述第一部分对应于所述左视图图片的奇数编号列，所述左视图图片的所述第二部分对应于所述左视图图片的偶数编号列，所述右视图图片的所述第一部分对应于所述右视图图片的奇数编号列，且所述右视图图片的所述第二部分对应于所述右视图图片的偶数编号列。
8.根据权利要求6所述的方法，其进一步包括: 接收所述第一左视图特定滤波器、所述第一右视图特定滤波器、所述第二左视图特定滤波器和所述第二右视图特定滤波器的滤波器系数。
9.根据权利要求8所述的方法，其中接收所述滤波器系数包括在所述增强层中的边信息中接收所述第一左视图特定滤波器、所述第一右视图特定滤波器、所述第二左视图特定滤波器和所述第二右视图特定滤波器的所述滤波器系数。
10.根据权利要求8所述的方法，其中所述所接收滤波器系数应用到视频数据的一个帧。
11.根据权利要求8所述的方法， 其中应用所述第一左视图特定滤波器包括使所述左视图图片的所述第一部分中的当前像素周围的窗口内的所述经解码左视图图片中的每一像素乘以所述第一左视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述左视图图片的所述第一部分中的所述当前像素的经滤波值， 其中应用所述第二左视图特定滤波器包括使所述左视图图片的所述第二部分中的当前像素周围的窗口内的所述经解码左视图图片中的每一像素乘以所述第二左视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述左视图图片的所述第二部分中的所述当前像素的经滤波值， 其中应用所述第一右视图特定滤波器包括使所述右视图图片的所述第一部分中的当前像素周围的窗口内的所述经解码右视图图片中的每一像素乘以所述第一右视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述右视图图片的所述第一部分中的所述当前像素的经滤波值，且 其中应用所述第二右视图特定滤波器包括使所述右视图图片的所述第二部分中的当前像素周围的窗口内的所述经解码右视图图片中的每一像素乘以所述第二右视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述右视图图片的所述第二部分中的所述当前像素的经滤波值。
12.根据权利要求11所述的方法，其中所述窗口具有矩形形状。
13.一种用于对视频数据编码的方法，其包括: 对左视图图片和右视图图片编码以形成第一经编码图片和第二经编码图片； 对所述第一经编码图片和所述第二经编码图片解码以形成经解码左视图图片和经解码右视图图片； 基于所述左视图图片与所述经解码左视图图片的比较而产生左视图滤波器系数；以及 基于所述右视图图片与所述经解码右视图图片的比较而产生右视图滤波器系数。
14.根据权利要求13所述的方法，其进一步包括: 在经编码视频位流中用信号传输所述左视图滤波器系数和所述右视图滤波器系数。
15.根据权利要求13所述的方法，其中所述左视图图片包含第一左视图部分和第二左视图部分，且其中所述右视图图片包含第一右视图部分和第二右视图部分。
16.根据权利要求15所述的方法，其中对所述左视图图片和所述右视图图片编码包括: 使基础层中的所述第一左视图部分和所述第一右视图部分交错； 使增强层中的所述第二左视图部分和所述第二右视图部分交错；以及 对所述基础层和所述增强层编码以形成所述经编码图片。
17.根据权利要求16所述的方法， 其中产生左视图滤波器系数包括基于所述第一左视图部分所述经解码左视图图片的第一部分的比较而产生第一左视图滤波器系数，且基于所述第二左视图部分与所述经解码左视图图片的第二部分的比较而产生第二左视图滤波器系数，且 其中产生右视图滤波器系数包括基于所述第一右视图部分所述经解码右视图图片的第一部分的比较而产生第一右视图滤波器系数，且基于所述第二右视图部分与所述经解码右视图图片的第二部分的比较而产生第二右视图滤波器系数。
18.根据权利要求13所述的方法， 其中通过使所述经解码左视图图片的经滤波版本与所述左视图图片之间的均方差最小化而产生所述左视图滤波器系数，且其中通过使所述经解码右视图图片的经滤波版本与所述右视图图片之间的均方差最小化而产生所述右视图滤波器系数。
19.根据权利要求13所述的方法，其中对所述左视图图片和所述右视图图片编码包括使用全分辨率帧兼容的立体视频译码过程来对所述左视图图片和所述右视图图片编码。
20.根据权利要求19所述的方法，其中所述全分辨率帧兼容的立体视频译码过程遵照H.264/高级视频译码AVC标准的多视图译码MVC扩展。
21.一种用于处理经解码视频数据的设备，其包括: 视频解码单元，其经配置以: 使第一经解码图片和第二经解码图片解交错以形成经解码左视图图片和经解码右视图图片，其中所述第一经解码图片包含左视图图片的第一部分和右视图图片的第一部分，且其中所述第二经解码图片包含左视图图片的第二部分和右视图图片的第二部分； 将第一左视图特定滤波器应用到所述经解码左视图图片的像素，且将第二左视图特定滤波器应用到所述经解码左视图图片的所述像素，以形成经滤波的左视图图片； 将第一右视图特定滤波器应用到所述经解码右视图图片的像素，且将第二右视图特定滤波器应用到所述经解码右视图图片的所述像素，以形成经滤波的右视图图片；以及 输出所述经滤波的左视图图片和所述经滤波的右视图图片，以致使显示装置显示包括所述经滤波的左视图图片和所述经滤波的右视图图片的三维视频。
22.根据权利要求21所述的设备，其进一步包括: 显示单元，其经配置以显示.所述经滤波的左视图图片和所述经滤波的右视图图片。
23.根据权利要求21所述的设备，其中所述视频解码单元进一步经配置以: 接收经编码视频数据；以及 对所述经编码视频数据解码以产生所述第一经解码图片和所述第二经解码图片。
24.根据权利要求23所述的设备，其中所述经编码视频数据是根据全分辨率帧兼容的立体视频译码过程而被编码的。
25.根据权利要求24所述的设备，其中所述全分辨率帧兼容的立体视频译码过程遵照H.264/高级视频译码AVC标准的多视图译码MVC扩展。
26.根据权利要求21所述的设备，其中所述第一经解码图片包括基础层，且所述第二经解码图片包括增强层，其中所述基础层包含所述左视图图片的所述第一部分和所述右视图图片的所述第一部分，且其中所述增强层包含所述左视图图片的所述第二部分和所述右视图图片的所述第二部分。
27.根据权利要求26所述的设备，其中所述左视图图片的所述第一部分对应于所述左视图图片的奇数编号列，所述左视图图片的所述第二部分对应于所述左视图图片的偶数编号列，所述右视图图片的所述第一部分对应于所述右视图图片的奇数编号列，且所述右视图图片的所述第二部分对应于所述右视图图片的偶数编号列。
28.根据权利要求26所述的设备，其中所述视频解码单元进一步经配置以: 接收所述第一左视图特定滤波器、所述第一右视图特定滤波器、所述第二左视图特定滤波器和所述第二右视图特定滤波器的滤波器系数。
29.根据权利要求28所述的设备，其中所述视频解码单元进一步经配置以: 在所述增强层中的边信息中接收所述第一左视图特定滤波器、所述第一右视图特定滤波器、所述第二左视图特定滤波器和所述第二右视图特定滤波器的所述滤波器系数。
30.根据权利要求28所述的设备，其中所述所接收滤波器系数应用到视频数据的一个帧。
31.根据权利要求28所述的设备，其中所述视频解码单元进一步经配置以: 使所述左视图图片的所述第一部分中的当前像素周围的窗口内的所述经解码左视图图片中的每一像素乘以所述第一左视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述左视图图片的所述第一部分中的所述当前像素的经滤波值， 使所述左视图图片的所述第二部分中的当前像素周围的窗口内的所述经解码左视图图片中的每一像素乘以所述第二左视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述左视图图片的所述第二部分中的所述当前像素的经滤波值， 使所述右视图图片的所述第一部分中的当前像素周围的窗口内的所述经解码右视图图片中的每一像素乘以所述第一右视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述右视图图片的所述第一部分中的所述当前像素的经滤波值，以及 使所述右视图图片的所述第二部分中的当前像素周围的窗口内的所述经解码右视图图片中的每一像素乘以 所述第二右视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述右视图图片的所述第二部分中的所述当前像素的经滤波值。
32.根据权利要求31所述的设备，其中所述窗口具有矩形形状。
33.一种用于对视频数据编码的设备，其包括: 视频编码单元，其经配置以: 对左视图图片和右视图图片编码以形成第一经编码图片和第二经编码图片； 对所述第一经编码图片和所述第二经编码图片解码以形成经解码左视图图片和经解码右视图图片； 基于所述左视图图片与所述经解码左视图图片的比较而产生左视图滤波器系数；以及 基于所述右视图图片与所述经解码右视图图片的比较而产生右视图滤波器系数。
34.根据权利要求33所述的设备，其中所述视频编码单元进一步经配置以: 在经编码视频位流中用信号传输所述左视图滤波器系数和所述右视图滤波器系数。
35.根据权利要求33所述的设备，其中所述左视图图片包含第一左视图部分和第二左视图部分，且其中所述右视图图片包含第一右视图部分和第二右视图部分。
36.根据权利要求35所述的设备，其中所述视频编码单元进一步经配置以: 使基础层中的所述第一左视图部分和所述第一右视图部分交错； 使增强层中的所述第二左视图部分和所述第二右视图部分交错；以及 对所述基础层和所述增强层编码以形成所述第一经编码图片和所述第二经编码图片。
37.根据权利要求36所述的设备，其中所述视频编码单元进一步经配置以: 基于所述第一左视图部分所述经解码左视图图片的第一部分的比较而产生第一左视图滤波器系数； 基于所述第二左视图部分与所述经解码左视图图片的第二部分的比较而产生第二左视图滤波器系数； 基于所述第一右视图部分所述经解码右视图图片的第一部分的比较而产生第一右视图滤波器系数；以及基于所述第二右视图部分与所述经解码右视图图片的第二部分的比较而产生第二右视图滤波器系数。
38.根据权利要求33所述的设备， 其中所述左视图滤波器系数是通过使所述经解码左视图图片的经滤波版本与所述左视图图片之间的均方差最小化而产生，且 其中所述右视图滤波器系数是通过使所述经解码右视图图片的经滤波版本与所述右视图图片之间的均方差最小化而产生。
39.根据权利要求33所述的设备，其中所述视频编码单元进一步经配置以: 使用全分辨率帧兼容的立体视频译码过程来对所述左视图图片和所述右视图图片编码。
40.根据权利要求39所述的设备，其中所述全分辨率帧兼容的立体视频译码过程遵照H.264/高级视频译码AVC标准的多视图译码MVC扩展。
41.一种用于处理经解码视频数据的设备，其包括: 用于使第一经解码图片和第二经解码图片解交错以形成经解码左视图图片和经解码右视图图片的装置，其中所述第一经解码图片包含左视图图片的第一部分和右视图图片的第一部分，且其中所述第二经解码图片包含左视图图片的第二部分和右视图图片的第二部分； 用于将第一左视图特定滤波器应用到所述经解码左视图图片的像素且将第二左视图特定滤波器应用到所述经解码左视图图片的所述像素以形成经滤波的左视图图片的装置；` 用于将第一右视图特定滤波器应用到所述经解码右视图图片的像素且将第二右视图特定滤波器应用到所述经解码右视图图片的所述像素以形成经滤波的右视图图片的装置；以及 用于输出所述经滤波的左视图图片和所述经滤波的右视图图片以致使显示装置显示包括所述经滤波的左视图图片和所述经滤波的右视图图片的三维视频的装置。
42.根据权利要求41所述的设备，其中所述第一经解码图片包括基础层，且所述第二经解码图片包括增强层，其中所述基础层包含所述左视图图片的所述第一部分和所述右视图图片的所述第一部分，且其中所述增强层包含所述左视图图片的所述第二部分和所述右视图图片的所述第二部分。
43.根据权利要求42所述的设备，其中所述左视图图片的所述第一部分对应于所述左视图图片的奇数编号列，所述左视图图片的所述第二部分对应于所述左视图图片的偶数编号列，所述右视图图片的所述第一部分对应于所述右视图图片的奇数编号列，且所述右视图图片的所述第二部分对应于所述右视图图片的偶数编号列。
44.根据权利要求42所述的设备，其进一步包括: 用于接收所述第一左视图特定滤波器、所述第一右视图特定滤波器、所述第二左视图特定滤波器和所述第二右视图特定滤波器的滤波器系数的装置。
45.根据权利要求44所述的设备， 其中所述用于应用所述第一左视图特定滤波器的装置包括用于以下操作的装置:使所述左视图图片的所述第一部分中的当前像素周围的窗口内的所述经解码左视图图片中的每一像素乘以所述第一左视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述左视图图片的所述第一部分中的所述当前像素的经滤波值， 其中所述用于应用所述第二左视图特定滤波器的装置包括用于以下操作的装置:使所述左视图图片的所述第二部分中的当前像素周围的窗口内的所述经解码左视图图片中的每一像素乘以所述第二左视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述左视图图片的所述第二部分中的所述当前像素的经滤波值， 其中所述用于应用所述第一右视图特定滤波器的装置包括用于以下操作的装置:使所述右视图图片的所述第一部分中的当前像素周围的窗口内的所述经解码右视图图片中的每一像素乘以所述第一右视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述右视图图片的所述第一部分中的所述当前像素的经滤波值，且 其中所述用于应用所述第二右视图特定滤波器的装置包括用于以下操作的装置:使所述右视图图片的所述第二部分中的当前像素周围的窗口内的所述经解码右视图图片中的每一像素乘以所述第二右视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述右视图图片的所述第二部分中的所述当前像素的经滤波值。
46.一种包括计算机可读存储媒体的计算机程序产品，所述计算机可读存储媒体上存储有指令，所述指令在被执行时致使用于处理经解码视频数据的装置的处理器进行以下操作: 使第一经解码图片和第二经解码图片解交错以形成经解码左视图图片和经解码右视图图片，其中所述第一经解码图片包含左视图图片的第一部分和右视图图片的第一部分，且其中所述第二经解码图片包含左视图图片的第二部分和右视图图片的第二部分； 将第一左视图特定滤波器应用到所述经解码左视图图片的像素，且将第二左视图特定滤波器应用到所述经解码左视图图片的所述像素，以形成经滤波的左视图图片； 将第一右视图特定滤波器应用到所述经解码右视图图片的像素，且将第二右视图特定滤波器应用到所述经解码右视图图片的所述像素，以形成经滤波的右视图图片；以及 输出所述经滤波的左视图图片和所述经滤波的右视图图片，以致使显示装置显示包括所述经滤波的左视图图片和所述经滤波的右视图图片的三维视频。
47.根据权利要求46所述的计算机程序产品，其中所述第一经解码图片包括基础层，且所述第二经解码图片包括增强层，其中所述基础层包含所述左视图图片的所述第一部分和所述右视图图片的所述第一部分，且其中所述增强层包含所述左视图图片的所述第二部分和所述右视图图片的所述第二部分。
48.根据权利要求47所述的计算机程序产品，其中所述左视图图片的所述第一部分对应于所述左视图图片的奇数编号列，所述左视图图片的所述第二部分对应于所述左视图图片的偶数编号列，所述右视图图片的所述第一部分对应于所述右视图图片的奇数编号列，且所述右视图图片的所述第二部分对应于所述右视图图片的偶数编号列。
49.根据权利要求47所述的计算机程序产品，其进一步致使处理器进行以下操作: 接收所述第一左视图特定滤波器、所述第一右视图特定滤波器、所述第二左视图特定滤波器和所述第二右视图特定滤波器的滤波器系数。
50.根据权利要求49所述的计算机程序产品，其进一步致使处理器进行以下操作: 使所述左视图图片的所述第一部分中的当前像素周围的窗口内的所述经解码左视图图片中的每一像素乘以所述第一左视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述左视图图片的所述第一部分中的所述当前像素的经滤波值， 使所述左视图图片的所述第二部分中的当前像素周围的窗口内的所述经解码左视图图片中的每一像素乘以所述第二左视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述左视图图片的所述第二部分中的所述当前像素的经滤波值， 使所述右视图图片的所述第一部分中的当前像素周围的窗口内的所述经解码右视图图片中的每一像素乘以所述第一右视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述右视图图片的所述第一部分中的所述当前像素的经滤波值，以及 使所述右视图图片的所述第二部分中的当前像素周围的窗口内的所述经解码右视图图片中的每一像素乘以所述第二右视图特定滤波器的所述滤波器系数，且对所述相乘的像素求和以获得所述右视图图片 的所述第二部分中的所述当前像素的经滤波值。
【文档编号】H04N13/00GK103444175SQ201280013519
【公开日】2013年12月11日 申请日期:2012年1月27日 优先权日:2011年3月14日
【发明者】张 荣, 陈盈, 马尔塔·卡切维奇 申请人:高通股份有限公司