用于立体复合的胶片和视频应用的解复用
【专利说明】用于立体复合的胶片和视频应用的解复用
[0001]本申请是2009年9月29日递交的申请号为200980147936.4、发明名称为“用于立体复合的胶片和视频应用的解复用”的发明专利申请的分案申请。
[0002]前述“用于立体复合的胶片和视频应用的解复用”的发明专利申请是发明人Lenny Lipton 等人于 2007 年 6 月 7 日递交的、题目为 “Stereoplexing for Film andVideo Applicat1ns (用于胶片和视频应用的立体复合)”的共同待决的美国专利申请序号N0.11/811,234的部分继续申请，而且也是发明人Robert Akka等人同样于2007年6月7日递交的、题目为 “Stereoplexing for Video and Film Applicat1ns (用于视频和胶片应用的立体复合)”的共同待决的美国专利申请序号N0.11/811,047的部分继续申请，这两篇美国专利申请通过引用被并入本文。
【背景技术】
技术领域
[0003]本发明总地涉及将立体数据放置在单个图像信道内并且从单个图像获取立体数据，其中，最初被设计为运载(carry)平面电影信号的图像信道运载平面立体或二视图立体图像。
[0004]相关技术描述
[0005]立体成像越来越受到欢迎，尤其是使用两个平面图像来产生立体效果的平面立体成像技术。然而，为电子存储和发布而建立的基础架构已经是用于具有必要质量的单个平面图像的。为了存储和传输具有商业利益的立体电影或图像系列，这样的数据必须在现有的基础架构要求内操作，而且还必须满足针对图像质量的规范。预期平面图像具有某图像质量级别，并且相对于该标准，立体图像应该几乎不被缩小。
[0006]平面图像的质量一一简言之，其锐度(sharpness)、其色彩深度、图像分级(换句话讲，其保真度)一一取决于分配给图像的带宽。然后，为试图在现有带宽管道内放置两个图像(左图像和右图像)，将引起图像损害。手边的问题可被表述为这样:即使当运动图像立体对被插入到现有的存储和发布管道中时，立体设计者如何能够保持平面图像质量。
[0007]对于组合立体电视(视频)图像和运动画面图像以容纳在所分配的用于单个平面图像的传输管道内已经进行了许多尝试。在一些情况下，尤其是对于电视图像，设计者已经关心向后或向下兼容的问题。向后或向下兼容将确保立体信号可被约束为对于现有的电视接收机是不可见的。
[0008]本设计力求解决通过已经被设计为传输单个平面图像的现有的基础架构传输立体图像和电影的问题。将会是有利的是，提出一种可在无需替换现有部件的情况下提供被复用和解复用的立体图像的设计，并且尤其是一种提供优于以前可获得的设计的益处的设
i+o
【发明内容】
[0009]根据本设计的一个方面，提供一种用于对被划分为部分的单帧的流进行解复用的方法，每个单帧表征一个立体图像的帧，并且包含第一部分中的一个右图像和第二部分中的一个左图像，每个部分已经使用压缩功能被压缩。所述方法包括:接收被划分为部分的单帧的流，每个单帧表征一个立体图像的帧；以及对所述部分中的至少一个执行逆压缩功能，所述逆压缩功能基本上以基本上为被用于压缩每个部分的压缩功能的逆的方式对所述至少一个部分中的像素进行处理。执行所述逆压缩功能基本上将所述部分恢复为与该部分使用所述压缩功能被压缩之前的状态类似的状态，从而形成被配置用于投影的立体对的一部分。
[0010]根据本设计的第二方面，提供一种用于对包括左压缩图像系列和右压缩图像系列的压缩图像数据的帧进行解复用的方法，所述右压缩图像和所述左压缩图像使用压缩功能压缩。所述方法包括:通过被配置为以单帧格式传输图像的介质接收压缩图像数据的帧，以及对压缩图像数据的帧执行扩展功能，所述扩展功能被配置为从左压缩图像系列和右压缩图像系列选择像素，以产生形成基本上解压缩的立体图像对集合的替换像素。
[0011]根据本设计的第三方面，提供一种被配置为提供立体图像的系统。所述系统包括:复用器，其被配置为接收多个立体对，将所述立体对压缩为压缩部分，并且将压缩部分组合为表征所述多个立体对的单帧系列；传输介质，其被配置为传输图像数据的单帧，并且被配置为接收所述单帧系列；以及解复用器，其被配置为从所述传输介质接收帧系列，并且将所述单帧系列解压缩为重构的多个立体对。
[0012]诸如从原始的未压缩的右图像和左图像的交错(staggering)、交替(alternating)、滤波、可变缩放和锐化的复用处理可以被单独使用或组合使用，并且来自未压缩的图像的所选择的或预定的区域或区段(segment)可以具有比其他区域更多的移除的或组合的像素，或者以其他方式被压缩为与其他区域不同的质量级别。
[0013]本发明还公开了一种用于对被划分为部分的单帧的流进行解复用的方法，每个单帧表征一个立体图像的帧并且包含第一部分中的一个右图像和第二部分中的一个左图像，每个部分已经使用压缩功能被压缩，所述方法包括:接收所述被划分为部分的单帧的流，每个单帧表征一个立体图像的帧；以及对所述部分中的至少一个执行逆压缩功能，所述逆压缩功能基本上以基本上为被用于压缩每个部分的所述压缩功能的逆的方式对所述至少一个部分中的像素进行处理；其中，执行所述逆压缩功能基本上将所述部分恢复为与该部分在使用所述压缩功能被压缩之前的状态类似的状态，从而形成被配置用于投影的立体对的一部分。
[0014]其中，所述接收步骤包括通过被格式化为传输图像数据的单帧的介质接收所述被划分为部分的单帧的流。
[0015]其中，所述压缩功能包括从每个部分移除所选择的像素，并且所述逆压缩功能包括基于与移除的像素基本上相邻的像素来计算所述移除的像素。
[0016]其中，所述计算步骤包括利用基于相对于移除的像素基本上相邻的像素的位置的一系列加权因子。
[0017]其中，所述压缩功能包括组合相邻像素的像位以形成至少一个组合像素，并且在所述组合之后移除至少一个组合像素，并且所述逆压缩功能包括利用组合像素来建立移除的像素。
[0018]其中，所述组合步骤包括选择沿着一个轴对齐的多个像素，并且组合所选择的像素，以形成与所述一个轴正交对齐的组合像素。
[0019]其中，所述执行逆压缩功能的步骤包括将来自一部分的多个输入像素用于与所述部分相关联的每个输出像素。
[0020]其中，所述部分被包括在每个单帧内，并且其中左图像基本上被包括在每个单帧的一半中，并且右图像基本上被包括在每个单帧的另一半中。
[0021]本发明还公开了一种用于对包括左压缩图像系列和右压缩图像系列的压缩图像数据的帧进行解复用的方法，所述右压缩图像和所述左压缩图像使用压缩功能压缩，所述方法包括:通过被配置为以单帧格式传输图像的介质接收所述压缩图像数据的帧；以及对压缩图像数据的帧执行扩展功能，所述扩展功能被配置为从所述左压缩图像系列和所述右压缩图像系列选择像素，以产生形成基本上解压缩的立体图像对集合的替换像素。
[0022]其中，所述执行扩展功能的步骤基本上将所述左压缩图像系列和所述右压缩图像系列恢复为与被压缩之前的状态类似的状态。
[0023]其中，所述压缩功能包括从左图像系列和右图像系列移除所选择的像素，并且所述扩展功能包括基于与移除的像素基本上相邻的像素来计算所述移除的像素。
[0024]其中，所述计算步骤包括利用基于相对于所述移除的像素基本上相邻的像素的位置的一系列加权因子。
[0025]其中，所述压缩功能包括组合相邻像素的像位，以形成至少一个组合像素，并且在所述组合之后移除至少一个组合像素，并且所述逆压缩功能包括利用组合像素来建立移除的像素。
[0026]其中，所述组合步骤包括选择沿着一个轴对齐的多个像素，并且组合所选择的像素，以形成与所述一个轴正交对齐的组合像素。
[0027]其中，所述执行扩展功能的步骤包括将来自一个压缩图像的多个输入像素用于与所述压缩图像相关联的每个输出像素。
[0028]其中，一个右压缩图像和一个左压缩图像被包括在每个单帧内，并且其中一个左压缩图像基本上被包括在每个单帧的一半中，并且一个右压缩图像基本上被包括在每个单帧的另一半中。
[0029]本发明还公开了一种被配置为提供立体图像的系统，所述系统包括:复用器，所述复用器被配置为接收多个立体对，将所述立体对压缩为压缩部分，并且将所述压缩部分组合为表征所述多个立体对的单帧系列；传输介质，所述传输介质被配置为传输图像数据的单帧，并且被配置为接收所述单帧系列；以及解复用器，所述解复用器被配置为从所述传输介质接收所述帧系列，并且将所述单帧系列解压缩为重构的多个立体对。
[0030]其中，所述解复用器对所述单帧系列进行解压缩的步骤基本上将所述单帧系列恢复为与被所述复用器接收之前的状态类似的状态。
[0031]其中，所述复用器被配置为从左图像系列和右图像系列移除所选择的像素，并且所述解复用器基于与移除的像素基本上相邻的接收像素来计算所述移除的像素。
[0032]其中，所述解复用器利用基于相对于所述移除的像素基本上相邻的像素的位置的一系列加权因子。
[0033]其中，所述复用器被配置为通过下述方式将所述立体对压缩成压缩部分，即，组合相邻像素的像位，以形成至少一个组合像素，并且在所述组合之后移除至少一个组合像素，并且所述解复用器被配置为利用组合像素来建立移除的像素。
[0034]其中，所述组合步骤包括选择沿着一个轴对齐的多个像素，并且组合所选择的像素，以形成与所述一个轴正交对齐的组合像素。
[0035]其中，所述解复用器被配置为将来自一个部分的多个输入像素用于与所述部分相关联的每个输出像素。
[0036]其中，左图像基本上被包括在每个单帧的一半中，并且右图像基本上被包括在每个单帧的另一半中。
[0037]其中，所述复用器执行以下操作中的至少一个以形成分组，所述操作包括压缩部分的锐化功能和可变缩放。
[0038]本发明还公开了一种用于提供图像的方法，所述方法包括:识别所述图像中像素的两个块乘两个块的排列，所述像素的两个块乘两个块的排列包括:顶行，所述顶行包括至少一个像素的左上块和至少一个像素的右上块；以及下行，所述下行包括至少一个像素的左下块和至少一个像素的右下块；重排所述像素的两个块乘两个块的排列，以致像素的所述左上块和像素的所述右上块中的至少一个被重定位到所述下行，其中所述重排步骤导致修改的像素的两个块乘两个块的排列，所述修改的像素的两个块乘两个块的排列包括两个列；以及执行分量采样，其中所述分量采样从来自所述修改的像素的两个块乘两个块的排列的所述两个列中的至少一个移除像素；其中所述识别、重排和执行的步骤操作来将水平分辨率损失转移到所述图像内的垂直维度中。
[0039]本发明还公开了一种接收和处理图像的方法，所述方法包括:识别所述图像中像素的两个块乘两个块的排列，所述像素的两个块乘两个块的排列包括:左列，所述左列包括至少一个像素的左上块和至少一个像素的左下块；以及右列，所述右列包括至少一个像素的右上块和至少一个像素的右下块；从一个列移除至少一个块，所述移除的一个块包括移除的块；以及复制至少一个像素的至少一个块，从而形成至少一个像素的复制块，并且放置至少一个像素的所述复制块来替代所述移除的块，从而形成修改的像素的两个块乘两个块。
[0040]从本发明的以下详细描述和附图，本发明的这些和其他优点对于本领域技术人员将变得清楚。
【附图说明】
[0041]在附图的图中以实施例的方式，而不是限制的方式对本发明进行图示说明，在附图中:
[0042]图1示出采用两个立体源图像分量并对它们进行复用以容纳在通常具有与该两个图像分量中的任何一个相同的尺寸的帧中；
[0043]图2示出如前体格式(precursor format)所规定的容纳在目的地帧的子区域中的每个立体源图像分量；
[0044]图3展示简单的像素选择，其中交替像素被接受或丢弃；
[0045]图4图示说明滤波缩放(filtered scaling)；
[0046]图5示出被应用于交替像素行上的交替技术，其中在顶行(top row)和顶行下方每隔一行呈现滤波缩放，在其他行上使用简单的像素选择；
[0047]图6展示应用交错技术的像