立体视频传送系统的编码器优化的制作方法

版权声明

该专利文献的公开部分包含受版权保护的材料。版权拥有者不反对专利文献或专利公开中任何人的传真复制，如同出现在专利商标局专利文件或记录中那样，否则坚决保留全部版权权利。

相关申请的交叉引用

该申请要求于2008年7月20日提交的美国临时专利申请No.61/082,220的优先权，其通过引用而完全合并于此。

技术领域

本发明涉及视频编码，更具体地说，涉及多图像和立体视频编码。

背景技术：

近年来，内容提供商已经变得对将立体(3D)内容传送到家感兴趣。这种兴趣受渐增的3D材料的流行性和制造材料所驱动，而且还受消费者可用的若干立体设备的出现所驱动。虽然已经提出关于将立体材料传送到家的若干系统(其将特定视频画面“布置”格式与主要的现有视频压缩技术(例如ISO MPEG-2、MPEG-4AVC/ITU-T H.264和VC-1)组合)，但这些系统并未提供关于应如何执行视频编码处理的任何信息。这样因此导致具有低标准性能的设计糟糕的立体视频编码解决方案，这对采用这些系统是不利的。

技术实现要素：

本发明人已经意识到，需要开发高效编码系统，以用于多图像视频(例如多画面和立体或3D视频)以及其它新特征，并且兼容于标准视频编解码器(例如单视场视频兼容编解码器)。在一个实施例中，本发明提供一种对图像进行编码的方法，包括以下步骤：当表示要由编码处理进行编码的多于一个图像的图像图案区域在所表示的图像中包括如果以编码处理的编码特征进行编码则导致所表示的图像之间的交叉污染的视差量时，控制用于所述图像图案区域的编码处理的编码特征。控制编码特征的步骤包括例如以下中的至少一个：不用所述编码特征；比对表示单个图像的图像图案进行编码时更少地使用所述编码特征；负偏置所述编码特征；制定编码特征中的相对改变程度，其中，所述相对改变程度基于视差；对于被确定为具有零或近零视差的区域至少部分地启用编码特征，对于所有其它区域禁用该特征；以及对于当与图案中的另一图像的对应区域相比时具有相对较低或没有立体视差的区域，启用编码特征，对于具有相对较高立体视差的区域禁用编码特征；对于背景位置中的区域，启用编码特征，对于前景位置中的区域，禁用编码特征；以及对于被确定为具有零或近零运动的区域至少部分地启用特征，对于所有其它区域禁用特征。

所表示的图像可以包括例如以下中的至少一个：立体影像、多立体影像、相同场景的多个画面以及多个不相关画面。

在一个实施例中，该方法还包括以下步骤：将区域的视差分类为高视差、低视差以及零视差中的一个，并且使用视差分类来指导控制步骤。在一个实施例中，视差量包括所表示的图像中的各邻近区域之间的视差量。在一个实施例中，视差量包括所表示的图像中的各对应区域之间的视差量。在一个实施例中，视差量包括立体视差量。在一个实施例中，视差是通过对图像进行带通滤波来确定的，带通滤波可以是既垂直又水平地应用的。在一个实施例中，视差包括区域的位置中的差异。在一个实施例中，视差量包括对应区域中的亮度改变量，其中，所述对应区域包括例如立体成对图像中的对应区域。在一个实施例中，视差量包括各图像之间的运动估计量。

在一个实施例中，视差量包括多于一个图像的各对应区域中的所估计的运动量。所述运动估计包括例如以下中的至少一个：基于特征的运动估计(例如增强型预测区搜索(EPZS))、基于像素的运动估计、基于块的运动估计、基于相位的运动估计、基于频域的运动估计、像素递归运动估计、真实运动区域运动估计以及基于贝叶斯的运动估计。

在各个实施例中，编码特征包括以下中的至少一个：去块效应、变换、以及量化、运动补偿、帧内预测、帧间预测、颜色格式和采样配置。编码处理包括例如视频编码处理。在一个实施例中，编码处理包括高清晰度(HD)视频编码。在一个实施例中，编码处理包括可分升视频编码。可升级视频编码包括例如AVC/H.264标准的可升级视频编码扩展。在各个实施例中，编码处理包括任何视频编解码器，诸如包括MPEG-1/MPEG-2、MPEG-4第2部分、MPEG-4AVC/H.264的MPEG编解码器，其它专利编解码器AVS、VC1、RealVideo、On2、VP6/VP7，或包括AVC、运动JPEG和运动JPEG-2000的多画面编码视频扩展的其它编码技术中任一个。

图像图案包括例如像素的“黑”和“白”棋盘布置，其中，所述“黑”像素包括立体影像中的第一通道的图像的像素，所述“白”像素包括立体影像中的第二通道的像素。实际上，例如，图像图案包括像素的“多色”“棋盘”布置，其中，“棋盘”的每一单独“颜色”包括多于一个图像中的单独一个的像素。“多色”“棋盘”可以包括例如多于两个“颜色”。更一般地说，图像图案包括像素的“多色”布置，其中，所述布置的每一单独“颜色”包括多于一个图像中的单独一个的像素。所述布置可以包括例如以下中的任一个：分配给每一“颜色”/图像的各行和各列中的至少一个、以及分配给每一“颜色”/图像的布置方中的位置的模-间隔布置。

在各个实施例中，例如，编码处理包括以下中的一个或更多：基于场的编码以及在图片级别和宏块级别中的至少一个中执行的基于场的编码。

视差量可以是例如经由包括以下中的至少一个的处理而计算的：图片级别分析、像条的分析、区域级别分析、宏块以及块级别分析。在一个替选方式中，视差量可以是在包括计算失真的步骤中确定的。计算失真可以包括例如以下中的至少一个：分离立体影像采样并且基于所分离的采样的3D画面计算失真，对初始图像与在被解码之后在“棋盘”中表示的图像进行比较，对初始的预备图像图案的图像与在被解码之后在图像图案中表示的图像进行比较。计算出的失真包括例如亮度和色度中的至少一个，于在图像图案中表示之前对图像中的至少一个的比较。在又一替选方式中，视差自身是在包括计算失真的步骤中确定的，其中，所述失真是据初始成对3D图像计算出的，所述初始成对3D图像随后编码为图像图案，然后对初始成对图像与从图像图案解码的图像进行比较。

该方法可以还包括例如以下步骤：减少所表示的图像的至少一个图像集合的质量。可以例如基于图像集合被减少的内容，和/或基于考虑图像集合的质量的期望和可接受级别的定价模型，来执行减少质量。在各个实施例中，所表示的图像内的图像集合基于期望质量而被赋予优先级，并且所述减少质量的步骤如果对图像集合执行，则根据图像集合优先级而受调节，使得较低优先级图像集合比较高优先级图像集合进一步减少质量。也可以利用减少质量中的另外智能，例如，其中，所表示的图像内的图像集合基于期望质量而被赋予优先级，并且减少质量的步骤如果对图像集合执行，则根据图像集合优先级和图像集合的大小而受调节，使得较低优先级图像集合比较高优先级图像集合进一步减少质量，除非较高优先级图像集合太大，并且需要附加空间或带宽来承载所有图像集合。质量的减少无需是在图像集合上是均匀的，即，其可以是仅对图像集合的区域或宏块/块执行，以及可以是例如对立体图像集合的画面执行。

此外，质量的减少可以在图像的子区域中执行，而不用于整个区域。例如，这可以仅对于具有高纹理的区域而不在其它任何地方进行。或者，可以在同一图像中在更高质量的区域中具有与一个画面/子图像对应的像素而对于其它区域则相反。

本发明也可以实施为一种方法，包括以下步骤：接收立体成对图像；将图像组合为图像图案；评估用于对图像图案进行编码的至少一个工具；以及如果在编码处理或对应的解码处理中各图像之间的交叉污染量小于预定交叉污染阈值，则在编码处理中应用编码工具中的至少一个，其中，编码处理包括现有视频格式。应用编码工具中的至少一个的步骤包括例如：对图像的区域赋予优先级，并且根据所述优先级将编码工具应用于每一区域。赋予优先级操作包括例如应用至少一个编码工具的高优先级区域和不一定应用编码工具的低优先级区域。在一个替选方式中，赋予优先级操作基于通过至少一个预定阈值的区域。所述至少一个预定阈值包括例如以下中的至少一个；立体视差、运动检测、亮度差以及色度差阈值。所述一个阈值/多个阈值可以通过编码处理的应用或特性而得以固定/预定，给定应用则再次是随机(或伪随机)的，或者给定内容或所执行的较早判决则是自适应的。判决可以被复杂度、质量以及当然可以被邻近(时间上和空间上)采样的相关性所驱动。现有视频格式包括例如并非针对编码立体图像而开发的视频格式，并且可以是例如AVC/H.264标准的可升级视频编码扩展。

评估步骤包括例如以下中的至少一个：立体视差分析、运动估计分析、发光度分析、来自多通道编码的分析、来自预处理和较早通道的分析以及运动补偿时间滤波(MCTF)分析。所述至少一个工具包括去块效应工具和预测工具中的至少一个。

该方法可以还包括以下步骤：应用编码工具中的至少一个，并且可以还包括：如果交叉污染量在可接受预定交叉污染范围内，则在较低级别应用编码工具中的至少一个。交叉污染包括例如以下中的至少一个：亮度污染、色度污染、组块污染以及立体影像污染。

评估步骤包括例如成本处理。成本处理可以包括例如计算成本和污染成本的函数。成本处理可以包括拉格朗日成本处理或成本计算处理。

该方法可以还包括以下步骤：在μ_LV＞μ_RV或μ_LV＜μ_RV导致朝向一个画面的质量的较高偏置的情况下，通过在编码处理中应用编码工具中的至少一个来利用立体影像掩蔽(SVM)。在一个替选方式中，可以通过提供立体成对图像之一的较低质量版本，并且改变立体成对图像的随后左画面与右画面之间的较低质量版本来实施采用立体影像掩蔽(SVM)。在又一替选方式中，可以通过提供立体成对图像中的至少一个的变化质量来实施利用立体影像掩蔽(SVM)，其中，质量是基于图像的优先级来选择的。在又一替选方式中，可以如果在编码或对应的解码处理中各图像之一中的交叉污染量大于第一预定SVM交叉污染阈值，并且在编码或对应的解码处理中其它图像中的交叉污染量小于第二预定SVM交叉污染阈值，则通过在编码处理中应用编码工具中的至少一个来实施采用立体影像掩蔽(SVM)。

本发明也可以实施为一种编码设备，包括：输入端口，被配置为接收包括要被编码的图像数据的比特图案；编码器，包括被配置为对要被编码的图像数据的各方面进行编码的工具集；以及评估处理器，被配置为评估要被解码的图像的比特图案中嵌入的图像集合的各对应区域之间的至少一个因素，并且基于所述评估来调节所述工具中的至少一个的使用量。所述因索包括例如以下中的至少一个：视差、亮度、色度以及运动估计。工具集包括例如去块效应工具和运动预测工具中的至少一个。编码器包括例如可伸缩视频编码器，并且可以还包括现有视频格式的扩展。

在一个实施例中，视频格式包括AVC/H.264。在另一实施例中，视频格式包括AVS和VC1中的一个。

由评估处理器进行的调节可以包括例如：如果所评估的因素中的至少一个超过预定阈值，则负偏置所述工具中的至少一个。在一个替选方式中，由评估处理器进行的调节包括：将工具中的至少一个负偏置根据与所评估的因素相关联的优先级级别变化的量。在另一替选方式中，由评估处理器进行的调节包括：如果所评估的因素中的至少一个超过预定阈值，则减少工具中的至少一个的使用效果。

在一个实施例中，所述图像集合包括例如以下之一：立体影像、多立体影像、相同场景的多个画面以及多个不相关画面。

所述设备和方法的各部分以及其它实施例可以通过在通用计算机、连网计算机上编程而得以方便地实施，并且结果可以显示在连接到通用计算机、连网计算机中任一个的输出设备上，或者发送到用于输出或显示的远程设备。此外，以计算机程序、数据序列和/或控制信号表示的本发明的任何组件可以实施为在任何介质(包括但不限于无线广播、以及通过铜线、光缆和同轴电缆等的传输)中以任何频率广播(或发送)的电信号。

附图说明

当结合附图考虑时，通过参照以下详细描述，本发明的更完整的理解及其附带优点将容易获得并且变得更好理解，其中：

图1是示出用于传送立体材料的行顺次/场交织布置方式的示图；

图2是示出场交织图片的立体影像重构的示图；

图3是示出根据本发明实施例的用于传递立体材料的棋盘交织布置的示图；

图4是示出根据本发明实施例的棋盘交织图片的立体影像重构的示图；

图5是根据本发明实施例配置的视频编码器(即AVC编码器)的示图；

图6是根据本发明实施例的能够对优化编码图像/视频进行解码的视频解码器(即AVC解码器)的示图；

图7是示出根据本发明实施例的使用运动估计的画面视差分析和分类的示图；

图8是示出根据本发明实施例的使用带通滤波的CB交织图片的画面视差分析和分类的示图；

图9是示出根据本发明实施例的使用带通滤波的画面视差分析和分类的示图；

图10是示出根据本发明实施例的使用运动估计的CB交织图片的示例画面视差分析和分类的示图；

图11是示出根据本发明实施例的去块效应参数确定的流程图；

图12是示出根据本发明实施例的4∶2∶0内容的示图。该示图示出模4整数采样没有针对运动估计和补偿目的的交叉画画污染。将运动估计限制在这些位置可以对编码性能和复杂度具有显著影响；

图13是示出根据本发明实施例的基于场的编码操作的示图；以及

图14是示出根据本发明实施例的编码模式判决的框图。

具体实施方式

立体视频格式可以包括行交织(场序制)、棋盘、像素/列交织、并排以及其它格式，与正常图像相比天然地产生十分不同的图像特性，并且这样的普通视频编解码器已经针对立体视频格式被初始地优化。普通视频编解码器(比如AVC/H.264)假设：编码后的图片内的所有像素属于相同图像(或者在此情况下，画面)，并且具有可以使用例如时空预测(例如运动估计和帧内预测)、变换和量化以及去块效应等的技术而得以利用的某些时空特性。

然而，这些特性可能并非总存在于这些立体图像格式内，从而削弱或者限制了这些工具的性能。特别地，行交织方法通过在压缩之前使用适当垂直滤波和抽选而将两个立体影像图像布置到单个图像中，可见于图1。

相似地，重构处理包括：从来自组合图像的每一画面提取对应像素，并且使用适当滤波器生成缺失的采样，可见于图2。这表明，在垂直相邻的像素之间的空间相关性相当低，并且当对这些图片进行编码时，应采取特别注意，从而不以一个画面的信息影响到另一画画的信息。如果编码解决方案不符合这些规则，则这可能导致当以适当立体显示器观看内容时可能相当明显的赝像。

棋盘交织方法(例如图3&图4)将产生相似甚至更凸显的问题。然而，棋盘方法是尤其令人感兴趣的，这是因为与其它格式相比的改进的分辨率，并且由于棋盘方法当前被可用的界示设备支持。然而，本发明人已经意识到，假设创建具有可接受的质量性能的适当视频编码系统，那么需要针对消费者应用来创建并且采用立体视频格式。然而，像素布置方式对现有视频编码器提出了应在编码处理期间考虑的较大挑战。

本发明包括可以通过各种方式实施的若干方法、设备和结构，其中每一个都可以在以下编码处理期间考虑：所述编码处理可以导致用给定固定比特率而增加的质量来度量或等同地用给定固定质量目标而减少的比特率来度量的改进的编码性能，和/或导致这些编码解决方案的复杂度减少，对编码性能几乎没有影响。所提出的方法可以应用于任何目前或将来的视频编解码器，包括可升级解决方案(例如AVC/H.264的可升级视频编码扩展(SVC))，而且还应用于可以控制多于2个画面的单个图片(即对于多画面视频编码)内的布置方式的其它布置方式。

本发明的方法主要基于的原理是：所有可用的编码工具应按估计一个画面中的采样对另一画面中的采样的任何可能污染的方式而被考虑。特别地，去块效应操作通常跨过相邻采样来执行滤波处理，在给定特定立体布置方式(例如场交织方法和棋盘交织方法)的情况下，这可能显著削弱立体体验。因此而提出的是，对于这种材料，或者对于具有明显立体影像视差的区域，去块效应操作被禁用，或者适当地受控。例如，图11是示出去块效应参数确定的流程图。所述参数是基于例如给定的视差分类处理而被确定的。

可以例如通过使用两个画面之间的基本运动估计测试来执行立体影像视差的程度的确定。该测试可以使用基于块的运动估计方案来执行，该方案也可以包括照明改变特性(例如增强型预测区搜索(EPZS)处理)、或包括像素回归运动估计、基于相位的运动估计以及基于真实运动区域的运动估计等的其它方法(例如，图7是示出根据本发明实施例的使用运动估计的画面视差分析和分类的示图)。使用这些处理，所确定的具有零或近零运动的区域可以归类为零立体影像视差区域或低立体影像视差区域，而所有其它区域归类为高立体影像视差区域。

在一个实施例中，去块效应操作可以仅在零视差区域或低视差区域上被允许并且适当地调整，而在具有高视差的区域上通过较低强度的去块效应机制而被禁用或者适当地调整。这可以例如使用图像内适当地布置的像条并且将每一像条关联于必要去块效应信号来完成。各区域也可以是使用其它机制(例如使用带通滤波器——诸如M.Latzel，J.K.Tsotsos，″Arobust motion detection and estimation filter for video signals，″inProceedings of the 20011EEE International Conference on ImageProcessing(ICIP′01)，vol.1，pp.381-384，Oct.′01中提出并且在P.Yin，A.M.Tourapis，J.Boyce，″Fast decision on picture adaptive frame/fieldcoding for H.264，″VC1P 2005中扩展的带通滤波器)被表征的。然而，并非仅垂直地应用这些滤波器，给定立体影像布置方式，相同滤波器可以既垂直地又水平地应用，并且然后确定区域是否可以分类为高视差区域、低视差区域或零视差区域。例如，图8是示出根据本发明实施例的使用带通滤波的CB交织图片的画面视差分析和分类的示图。

在一个实施例中，这是通过将这些方法扩展为支持2D滤波器完成的。也可以通过水平地和/或垂直地对图像进行子采样以及在给定子采样处理的方位的情况下通过应用适当滤波器来应用这些滤波器。例如，我们可以创建初始立体复用图像的两个子采样版本，第一个使用水平子采样，第二个使用乖直子采样。然后使用垂直带通滤波来处理第一版本，而使用水平带通滤波来处理第二版本。给定这些滤波器的性能，这两个图像中的采样就得以表征，并且其结果被累加以对整个图像进行归类。例如，图9是示出根据本发明实施例的使用两级带通滤波的CB交织图片的示例画面视差分析和分类的示图。

也可以使用用于对视差进行归类的其它方法(例如描述于Adams，″Interlace motion artifact detection using vertical frequency detection andanalysis，″U.S.Patent No.6,909,469中的方法)，其在此通过引用完全合并到此。应该注意，基于运动的分析通过以下方式可以甚至用于已经交织的图片布置方式：通过分解并且重构最终的完全分辨率画面来执行分析，或创建包含均来自仅一个画面的采样的较低分辨率的子图像并且对这些子图像执行运动估计和表征。例如，图10是示出根据本发明实施例的使用运动估计的CB交织图片的示例画面视差分析和分类的示图。对应的处理采用画面分解级，其可以包括：例如，仅对齐后的采样(即仅米自图像中的偶数行或奇数行的采样)的滤波或考虑。

应该注意，以上视差分析不仅对于要应用于图像的每个区域的去块效应机制的选择是有用的，而且还对于其它目的(例如确定哪些编码工具(例如运动估计))应该被考虑为对区域进行编码，这可以在减少编码复杂度方面相当有帮助。

在一个实施例中，编码器首先执行图像的视差分析。如果区域被分类为高立体影像视差区域，则在编码判决处理期间，在优先级考虑方面，禁用或者减少可能产生一个画面对另一画面的采样的污染的工具。例如，可观测到，现有编解码器中的子采样运动补偿是使用在图像上应用的各种滤波器来执行的。特别地，在AVC/H.264中，对于半采样位置而采用6-抽头滤波器，并且对于四分之一采样和色度子采样位置采用双线性滤波。也可以使用其它滤波器，包括双三次、2D非分离、对角以及其它的。

对于高立体影像视差区域，子采样内插的可能性相当低，并且事实上，如果使用，则可能导致显著编码赝像，从而可能需要校正残差编码处理。因此，编码器可以确定：对于这些区域，并非一定考虑这些工具，从而显著减少了复杂度和导致编码赝像的可能性。也可以出于图像内的某些整数采样位置的考虑而做出相似结论。特别地，可观测到4∶2∶0内容以及CB交织图案，与当前位置相比，仪模4粘数采样位置避免了来自不同画面的任何污染。例如，见图12，图12是示出根据本发明实施例的4∶2∶0内容的示图。该图示出模4整数采样没有针对运动估计和补偿目的的交叉画面污染。将运动估计限制为这些位置可能对编码性能和复杂度皆具有显著影响。

特别地，距离1的位置水平地或者垂直地导致亮度分量的明显预测污染，而且还导致色度分量的局部污染(因为对于色度使用双线性滤波)。相似地，对于距离2的位置，水平地或者垂直地，即使正确地执行亮度采样预测，也仍然受色度采样的不正确预测所影响。

在一个实施例中，并且与子采样情况相似，编码器不考虑或不优先考虑(即，在快速运动估计方案(例如EPZS)内)可在编码处理期间导致交叉画面污染的采样。考虑优先级可以是按我们首先考虑模4整数位置的方式而设计的。如果使用这些采样的最佳位置不满足特定阈定准则(例如失真，诸如SAD不小于特定值T1)，则还检查所有其它位置。也可以基于立体影像采样污染影响来检查其余位置，即首先检查模2距离位置(仅来自色度污染的质量影响)，随后检查奇数距离位置(来自亮度采样和色度采样二者的污染)。

在一个实施例中，即在多通道编码方案中，当针对确定编码参数(例如量化参数)需要预先分析统计时，这种考虑可以仅应用在预先分析/第一编码通过级。在不同实施例中，仅针对特定基准图片和特定尺寸的块大小(即对于AVC/H.264仅针对8x8以及更小的块大小)、而不针对检查所有采样的较大分区考虑该方法。

该方法也可以扩展用于对于每一图片考虑交替子采样的立体影像复用方案。本领域技术人员应该清楚，该方法司以容易地扩展到其它颜色和/或色度子采样格式。此外，以上讨论也可以扩展到帧内预测。

即使立体影像采样并非是以行交织(场序制)方法布置的，基于场的编码也可以仍然用于编码目的，并且可以提供另外的优点。特别地，对于棋盘交织方法，在图片级别和宏块级别的场编码将导致完全垂直立体影像对应性的图像，这可以改进压缩效率。这也将改进垂直内插的可靠性，给定前面的讨论，这对于运动和帧内预测可以现在更有用并且更可靠(即改进的垂直帧内预测的性能)。在针对帧编码布置方式和场编码布置方式二者设计和选择量化矩阵期间，也可以考虑对立体影像质量的影响。

图13是示出根据本发明实施例的基于场的编码操作的示图。基于场的编码操作既在图片级别又在宏块级别，并且用于各种类型的立体影像混合，例如棋盘变织。在所示示例布置方式中，仅水平采样污染存在，潜在地改进了编码效率。

在一个实施例中，可以通过考虑最终输出格式(即包括任何适当内插的最终立体影像图像)执行编码判决来显著改进编码性能，以用于评估给定判决的失真。判决可以包括图片级别判决和宏块级别判决，例如选择特定块编码模式、基准、运动矢量和/或照度改变参数、帧内预测模式等。与初始非交织立体影像、或使用初始未编码的立体交织图像的重构立体影像相比，可以计算失真，例如绝对值之和(SAD)或方差之和(SSE)。对于每一编码模式，通过考虑预测(对于低复杂度或基本运动估计)采样或最终重构(对于高复杂度)采样并且对画面进行解复用和适当内插来评估失真。

内插可以是使用基本内插处理(即对所有邻近相同画面采样取平均)，或者可以使用仿效在显示之前和/或显示期间执行的处理的更复杂处理而完成的(例如见图14，图14是示出根据本发明实施例的编码模式判决的框图。给定3D观看体验，如果通过分离立体影像采样并且计算失真来计算失真，则可以改进模式判决和/或运动估计的编码性能)。特别地，假设使用拉格朗日优化，那么可以使用以下形式的拉格朗日成本来执行视频编码判决：

J(λ)＝μ_LVD_LV(R)+μ_RVD_RV(R)+λ·R (1)

其中，D_LV和D_RV是分别用于左画面和右画面的失真值，μ_LV和μ_RV是与每一画面相关联的拉格朗日乘数，R是用于选择该编码模式的估计或实际比特率。

最后，λ是用于速率参数的拉格朗日参数。在一个实施例中，μ_LV＞μ_RV，给出与另一画面(即右)相比朝向一个画面(即左)的质量更高的偏置，这样可以有助于利用立体影像掩蔽特性。该方法也可以在考虑前述视差区域分析方法的同时完成。特别地，例如，对于零立体视差区域或低立体视差区域，我们可以联合考虑所有画面的失真而无需执行任何附加处理，并且仅考虑该方法用于高立体视差区域，因此显著减少了复杂度。

基于本发明，可以构建可变能力和效率的各种设备。图5例如示出示例性的这样的设备。图5是根据本发明实施例配置的视频编码器(即AVC编码器)的示图，并且包括例如用于确定一个或多个或任何以上视差确定的设施、以及用于调整、控制、或者不用任何一个或多个各种所描述的编码特征(或在未来待开发的编码特征)的设施。

图6是根据本发明实施例的能够对优化编码图像/视频进行解码的视频解码器(即AVC解码器)的示图。解码器是通用的，但被馈送信号，或者另外经由根据本发明而被编码的比特流来访问数据。本发明具体地包括专用或通用的任何解码器，其被馈送或者旨在访问根据本发明的任何方面、特征、设备或处理而被编码的数据(不论是在比特流中发送的，还是读取自存储器存储(例如存储棒、硬驱动器、I-pod等))。

在描述附图所示的本发明优选实施例中，为了清楚而采用特定术语。然而，本发明并非意图受限于所选的特定术语，应理解，每一特定元件包括以相似方式操作的所有技术等同物。此外，发明人意识到，现在未知的新开发的技术也可替换所描述的部分，并且仍不脱离本发明的范围。根据任何和所有可用等同物，还应考虑所有其它描述的项(包括但不限于编码器，解码器，比较器，乘法器，处理，处理器，硬件布置，包括蓝光播放器、图案等)。

计算机领域技术人员应清楚，本发明的各部分可以使用根据本发明教导而编程的传统通用或专用数字计算机或微处理器而得以便利地实现。

熟练程序员可以基于本发明的教导来准备适当的软件代码，正如软件领域技术人员所周知的那样。本发明也可以通过准备专用集成电路或者通过对常规组件电路的适当网络进行互连而得以实现，正如本领域技术人员基于本发明将容易理解的那样。

本发明包括计算机程序产品，其为上面/其中存储有指令的存储介质，该指令可以用于控制或者使计算机执行本发明的任何处理。存储介质可以包括任何类型的盘，包括但不限于软盘、迷你盘(MD)、光盘、DVD、HD-DVD、蓝光、CD-ROM、CD或DVDRW+/-、微驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存发备(包括闪速卡、存储棒)、磁卡或光卡、SIM卡、MEMS、纳米系统(包括分子存储器IC)、RAID设备、远程数据存储/存档/库存、或适用于存储指令和/或数据的任何类型的介质或设备。

在存储在任一计算机可读介质上的情况下，本发明包括软件，用于控制通用/专用计算机或微处理器的硬件，使得计算机或微处理器能够与人类用户或其它利用本发明的结果的机制进行交互。这样的软件可以包括但不限于设备驱动、操作系统以及用户应用。最后，这样的计算机可读介质还包括用于执行本发明的软件，如上所述。

通用/专用计算机或微处理指的编程(软件)中所包括的是用于实现本发明的教导的软件模块，包括但不限于：准备来自多于一个图像的像素的棋盘，将棋盘编码为视频格式的帧，将棋盘编码为视频格式的帧并且控制用于表示多于一个的图像的棋盘中的图像图案区域的至少一个编码特征(其中，所述区域包括如果不控制特征而编码的话则在所表示的图像之间产生交叉污染的所表示的图像中的视差量)，将棋盘编码图像集合封装在传送帧中，在至少一帧中解码包括图案化图像集的视频格式，对包括图像数据的棋盘状图案的视频格式进行解码，对包括表示3D图像的第1通道图像数据和第2通道图像数据的图像数据的棋盘状图案的视频格式进行解码，识别至少一个帧中的至少一个帧图像中的图案化图像集，并且显示、存储或者传送根据本发明的处理的结果。

因此，本发明实施例可以涉及以下的一个或多个列举示例实施例(EEE)，其中的每一个都是示例，并且如同针对以上所提供的任何其它有关讨论那样，不应解释为限制所提供的现在有效或者后期修改、替换或者增加的任何一项或多项权利要求。类似地，这些示例不应看作限制任何有关专利和/或专利申请(包括任何外国或国际同族申请和/或专利、分案、延续内容、重新提交等)的任何一项或多项权利要求。示例：

列举示例实施例1(EEE1)。一种对图像进行编码的方法，包括以下步骤：当表示要由编码处理进行编码的多于一个图像的图像图案区域在所表示的图像中包括如果以所述编码处理的编码特征进行编码则导致所表示的图像之间的交叉污染的视差量时，控制用于该图像图案区域的所述编码处理的编码特征。

EEE2.根据EEE1所述的方法，其中，控制编码特征的步骤包括：不用编码特征。

EEE3.根据EEE1所述的方法，其中，控制编码特征的步骤包括：比对表示单个图像的图像图案进行编码时更少使用所述编码特征。

EEE4.根据EEE1所述的方法，其中，控制编码特征的步骤包括：负偏置所述编码特征。

EEE5.根据EEE1所述的方法，其中，所表示的图像包括以下中的一个：立体影像、多立体影像、相同场景的多个画面以及多个不相关画面。

EEE6.根据EEE1的方法，其中，控制步骤包括：所述编码特征的相对改变程度，所述相对改变程度基于所述视差。

EEE7.根据EEE1所述的方法，其中，控制步骤包括：对于被确定为具有零或近零视差的区域至少部分地启用编码特征，对于所有其它区域禁用该特征。

EEE8.根据EEE1所述的方法，还包括步骤：通过对图像进行带通滤波来确定视差。

EEE9.根据EEE8所述的方法，其中，带通滤波是被既垂直又水平地应用的。

EEE10.根据EEE1所述的方法，还包括步骤：将区域的视差分类为高视差、低视差以及零视差中的一个，并且使用视差分类来指导控制步骤。

EEE11.根据EEE1的方法，其中，视差量包括所表示的图像中的各邻近区域之间的视差量。

EEE12.根据EEE1所述的方法，其中，视差量包括所表示的图像中的各对应区域之间的视差量。

EEE13.根据EEE12所述的方法，其中，所述视差最包括立体视差量。

EEE14.根据EEE13所述的方法，其中，控制步骤包括：对于当与图案中的另一图像的对应区域相比时具有相对较低或没有立体视差的区域，启用编码特征，对于具有相对较高立体视差的区域，禁用编码特征。

EEE15.根据EEE1所述的方法，其中，视差包括各区域的位置的差异。

EEE16.根据EEE15的方法，其中，控制步骤包括：对于背景位置中的区域，启用编码特征，对于前景位置中的区域，禁用编码特征。

EEE17.根据EEE1所述的方法，其中，视差量包括多于一个图像的对应区域中的所估计的运动的量。

EEE18.根据EEE17所述的方法，其中，所估计的运动包括基于特征的运动估计。

EEE19.根据EEE17所述的方法，其中，所估计的运动包括基于像素的运动估计。

EEE20.根据EEE17所述的方法，其中，所估计的运动包括以下至少一个：基于块的运动估计、基于相位的运动估计、频域运动估计、像素递归运动估计、真实运动区域运动估计以及基于贝叶斯的运动估计。

EEE21.根据EEE17所述的方法，其中，所估计的运动包括增强型预测区搜索(EPZS)。

EEE22.根据EEE17所述的方法，其中，控制步骤包括：对于被确定为具有零或近零运动的区域至少部分地启用特征，对于所有其它区域禁用特征。

EEE23.根据EEE17所述的方法，其中，视差量包括对应区域中的亮度改变量。

EEE24.根据EEE23所述的方法，其中，对应区域包括立体成对图像中的对应区域。

EEE25.根据EEE1所述的方法，其中，视差量包括各图像之间的运动估计量。

EEE26.根据EEE25所述的方法，其中，经由包括增强型预测区搜索(EPZS)的搜索来确定运动估计。

EEE27.根据EEE1所述的方法，其中，编码特征包括去块效应、变换以及量化中的一个。

EEE28.根据EEE1所述的方法，其中，编码特征包括运动补偿。

EEE29.根据EEE1所述的方法，其中，编码特征包括帧内预测和帧间预测中的至少一个。

EEE30.根据EEE1所述的方法，其中，编码特征包括变换。

EEE31.根据EEE30所述的方法，其中，编码特征还包括量化。

EEE32.根据EEE1所述的方法，其中，编码特征包括颜色格式和采样配置中的至少一个。

EEE33.根据EEE1所述的方法，其中，编码处理包括视频编码处理。

EEE34.根据EEE33所述的方法，其中，视频编码处理包括高清晰度视频编码。

EEE35.根据EEE1所述的方法，其中，编码处理包括可升级视频编码。

EEE36.根据EEE35所述的方法，其中，可升级视频编码包括AVC/H.264标准的可升级视频编码扩展。

EEE37.根据EEE1所述的方法，其中，编码处理包括视频。

EEE38.根据EEE1所述的方法，其中，编码处理包括以下任何一项：MPE6编解码器，其包括MPE6-1、MPEG-2、MPEG-4第2部分和MPEG-4AVC/H.264；或其它编解码器，例如VC1、RealVideo、On2VP6/VP7；或其它编码技术，包括AVC的多画面视频编码扩展。

EEE39.根据EEE1所述的方法，其中，图像图案包括像素的“黑”和“白”棋盘布置，其中，“黑”像素包括立体影像中的第一通道的图像的像素，“白”像素包括立体影像中的第二通道的像素。

EEE40.根据EEE1所述的方法，其中，图像图案包括像素的“多色”“棋盘”布置，其中，“棋盘”的每一单独“颜色”包括多于一个图像中的单独一个的像素。

EEE41.根据EEE40所述的方法，其中，“多色”“棋盘”包括多于两个“颜色”。

EEE42.根据EEE1所述的方法，其中，图像图案包括像素的“多色”布置，其中，所述布置的每一单独“颜色”包括多于一个图像中的单独一个的像素。

EEE43.根据EEE42所述的方法，其中，布置包括分配给每一“颜色”/图像的各行和各列中的至少一个的布置。

EEE44.根据EEE42所述的方法，其中，布置包括分配给每一“颜色”/图像的布置中的位置的模-间隔布置。

EEE45.根据EEE1所述的方法，其中，编码处理包括基于场的编码。

EEE46.根据EEE1所述的方法，其中，编码处理包括在图片级别和宏块级别中的至少一个中执行的基于场的编码。

EEE47.根据EEE1所述的方法，其中，视差量是通过包括以下至少一个的处理而计算的：图片级别分析、像条的分析、区域级别分析、宏块以及块级别分析。

EEE48.根据EEE1所述的方法，其中，视差量是在包括计算失真的步骤中确定的。

EEE49.根据EEE48所述的方法，其中，计算失真的步骤包括：分离立体影像采样，并且基于分离采样的3D画面计算失真。

EEE50.根据EEE48所述的方法，其中，计算出的失真包括亮度和色度中的至少一个。

EEE51.根据EEE48所述的方法，其中，计算出的失真包括被表示在图像图案中之前与图像中的至少一个的比较。

EEE52.根据EEE40所述的方法，其中，视差量是在以下步骤中确定的：该步骤包括计算通过对初始图像与在被解码之后“棋盘”中表示的图像进行比较而计算出的失真。

EEE53.根据EEE1所述的方法，其中，视差量是在包括计算失真的步骤中确定的，其中，失真是通过对初始的预备图像图案的图像与在被解码之后图像图案中表示的图像进行比较而计算出的。

EEE54.根据EEE17所述的方法，其中，视差量是在包括计算失真的步骤中确定的，其中，失真是据初始成对3D图像而计算出的，所述初始成对3D图像随后被编码为图像图案，然后对初始成对图像与从图像图案解码的图像进行比较。

EEE55.根据EEE17所述的方法，还包括减少所表示的图像的至少一个图像集合的至少一个区域的质量的步骤。

EEE56.根据EEE55所述的方法，其中，减少质量的步骤是基于被减少的图像集合的内容来执行的。

EEE57.根据EEE55所述的方法，其中，减少质量的步骤是基于考虑图像集合的质量的期望和可接受级别的定价模型来执行的。

EEE58.根据EEE55所述的方法，其中，所表示的图像内的图像集合基于期望质量而被赋予优先级，并且减少质量的步骤如果对图像集合执行，则根据图像集合优先级而受调节，使得较低优先级图像集合比较高优先级图像集合进一步减少质量。

EEE59.根据EEE55所述的方法，其中，所表示的图像内的图像集合基于期望质量而被赋予优先级，并且减少质量的步骤如果对图像集合执行，则根据图像集合优先级和图像集合的大小而受调节，使得较低优先级图像集合比较高优先级图像集合进一步减少质量，除非较高优先级图像集合太大并且需要附加空间和带宽来承载所有图像集合。

EEE60.根据EEE55所述的方法，其中，减少质量的步骤是基于立体图像集合的画面来执行的。

EEE61.一种方法，包括以下步骤：

接收立体成对图像；

将图像组合为图像图案；

评估用于对图像图案进行编码的至少一个工具；以及

如果在编码处理或对应解码处理中各图像之间的交叉污染量低于预定交叉污染阈值，则在编码处理中应用编码工具中的至少一个；

其中，编码处理包括现有视频格式。

EEE62.根据EEE61所述的方法，其中，应用编码工具中的至少一个的步骤包括：对图像的各区域赋予优先级，并且根据优先级将编码工具应用于每一区域。

EEE63.根据EEE62所述的方法，其中，赋予优先级包括应用至少一个编码工具的高优先级区域和不一定应用编码工具的低优先级区域。

EEE64.根据EEE62所述的方法，其中，基于通过至少一个预定阈值的区域赋予优先级。

EEE65.根据EEE64所述的方法，其中，至少一个预定阈值包括以下中的至少一个：立体视差阈值、运动检测阈值、亮度差阈值以及色度差阈值。

EEE66.根据EEE61所述的方法，其中，现有视频格式包括用于对立体图像进行编码的未开发视频格式。

EEE67.根据EEE61所述的方法，其中，现有视频格式包括可升级的视频编码扩展。

EEE68.根据EEE61所述的方法，其中，评估步骤包括以下中的至少一个：立体视差分析、运动估计分析、发光度分析、来自多通道编码的分析、来自预处理和较早通道的分析以及运动补偿时间滤波(MCTF)分析。

EEE69.根据EEE61所述的方法，其中，至少一个工具包括去块效应工具和预测工具中的至少一个。

EEE70.根据EEE61所述的方法，还包括应用编码工具中的至少一个的步骤，包括如果交叉污染量在可接受的预定交叉污染范围内，则在较低级别应用编码工具中的至少一个。

EEE71.根据EEE61所述的方法，其中，交叉污染包括以下中的至少一个：亮度污染、色度污染、组块污染以及立体影像污染。

EEE72.根据EEE61所述的方法，其中，评估步骤包括成本处理。

EEE73.根据EEE72所述的方法，其中，成本处理包括计算成本和污染成本的函数。

EEE74.根据EEE72所述的方法，其中，成本处理包括拉格朗日成本，其包括：

J(λ)＝μ_LVD_LV(R)+μ_RVD_RV(R)+λ·R

其中，

D_LV和D_RV是用于成对图像的左图像和右图像的失真值，

μ_LV和μ_RV是与每一图像相关联的拉格朗日乘数，

R是用于选择包括编码工具的编码模式的估计或实际比特率，以及

λ是用于速率参数的拉格朗日参数。

EEE75.根据EEE74所述的方法，还包括步骤：在导致朝向一个画面的质量的较高偏置的μ_LV＞μ_RV或μ_LV＜μ_RV的情况下，通过在编码处理中应用编码工具中的至少一个来利用立体影像掩蔽(SVM)。

EEE76.根据EEE61所述的方法，还包括通过以下方式利用立体影像掩蔽(SVM)的步骤：提供各立体成对图像之一的较低质量版本，并且更替在立体成对图像的后续左画面与右画面之间的较低质量版本。

EEE77.根据EEE61所述的方法，还包括通过以下方式利用立体影像掩蔽(SVM)的步骤：提供立体成对图像中的至少一个的变化质量，其中，质量是基于图像的优先级而选择的。

EEE78.根据EEE61所述的方法，还包括通过以下方式利用立体影像掩蔽(SVM)的步骤：如果在编码处理或对应解码处理中各图像之一中的交叉污染量大于第一预定SVM交叉污染阈值，并且在编码处理或对应解码处理中其它图像中的交叉污染量小于第二预定SVM交叉污染阈值，则在编码处理中应用编码工具中的至少一个。

EEE79.一种编码设备，包括：

输入端口，被配置为接收包括待编码的图像数据的比特图案；

编码器，包括被配置为对待编码的图像数据的各方面进行编码的工具集；

评估处理器，被配置为：评估待解码的图像的比特图案中嵌入的图像集合的各对应区域之间的至少一个因素，以及

基于所述评估来调节各工具中的至少一个的使用量。

EEE80.根据EEE79所述的编码设备，其中，所述因素包括以下中的至少一个：视差、亮度、色度以及运动估计。

EEE81.根据EEE79所述的编码设备，其中，工具集包括去块效应工具和运动预测工具中的至少一个。

EEE82.根据EEE79所述的编码设备，其中，编码器包括可伸缩视频编码器。

EEE83.根据EEE82所述的编码设备，其中，可伸缩视频编码器包括现有视频格式的扩展。

EEE84.根据EEE83所述的编码设备，其中，视频格式包括AVC/H.264。

EEE85.根据EEE83所述的编码设备，其中，视频格式包括AVS和VC1之一。

EEE86.根据EEE79所述的编码设备，其中，由评估处理器进行的调节包括：如果所评估的因素中的至少一个超过预定阈值，则负偏置工具中的至少一个。

EEE87.根据EEE79所述的编码设备，其中，由评估处理器进行的调节包括：将工具中的至少一个负偏置根据与所评估的因素相关联的优先级而变化的量。

EEE88.根据EEE79所述的编码设备，其中，由评估处理器进行的调节包括：如果所评估的因素中的至少一个超过预定阈值，则减少工具中的至少一个的使用效果。

EEE89.根据EEE79所述的编码设备，其中，图像集合包括以下中的一个：立体影像、多立体影像、相同场景的多个画面以及多不相关画面。

EEE90.一种外接设备，包括解码视频输入端口和多画面信号输出端口，其中，外接设备被配置为：处理在输入端口上接收到的包括解码后的每帧多画面视频的视频，以产生待由输出端口发送的多画面信号。

EEE91.根据EEE90所述的外接设备，其中，解码后的每帧多画面视频包括具有嵌入在视频的每一帧中的左画面与右画面的3D视频。

EEE92.根据EEE91所述的外接设备，其中，输入端口和输出端口中的至少一个包括无线端口。

EEE93.根据EEE90所述的外接设备，其中，解码后的每帧多画面视频包括从棋盘状图案解压缩的视频。

EEE94.根据EEE90所述的外接设备，其中，解码后的每帧多画面视频包括从棋盘状图案解压缩并且经由以下方法而在棋盘状图案中编码的视频：该方法包括基于进行编码的初始视频的各画面中的至少两个之间的视差来控制至少一个编码特征的步骤。

本发明可以适当地包括、包含或者基本包含此处描述的任何部件(本发明的各个部分或特征)及其等同物。此外，在此说明性地公开的本发明可以在缺少任何部件的情况下得以实践，无论是否在此具体公开。显然，根据上述教导，本发明的大量修改和变化是有可能的。因此，应理解，在待包括于将提交的实用专利申请中的权利要求的范围内，可以与在此具体描述的内容不同地实践本发明。