专利名称：用于从二维视频源中合成出三维视频的系统和方法
此申请要求Amber C.Davidson和Loran L.Swensen 1996年12月27日提交并包括在本文中作为参考的题目为“TWO-DIMENSIONAL TOTHREE-DIMENSIONAL STEREOSCOPIC TELEVISIONCONVERTER”的美国临时专利申请No.60/034,149的权益。
本发明一般涉及用于处理及显示视频图象的系统和方法。具体涉及接收二维视频信号并合成出被显示在显示装置上的三维视频信号的系统和方法。
逼真的三维视频在娱乐业，商业，工业以及研究领域均有广泛的用途。而上述每种领域又均有各自不同的需求和不同的目标。由于要求不同，使得适用于某一领域的某些系统有可能完全不适用于其它的领域。然而，通常三维视频图象必须在持续很长时间的情况下也不会给人带来紧张和眼睛疲劳等不舒适的感觉。此外，系统还应有足够高的分辨率和图象显示品质以提供良好视觉效果。然而，现有技术的系统并不能总是很充分地实现这些目标。
任何被设计来产生三维视频图象的方法均依赖于其将不同视频流投影到观察者每只眼睛上的能力。这些视频流包含有被观察者理解为三维图象的视觉线索。目前已研制出多种不同的系统用来将这两个视频流展示给个人的不同眼睛。一些系统采用的是为了使其每只眼睛感知不同的视频流而让观察者所佩戴的使用无源偏振或具有不同颜色的观测透镜和眼镜的双屏显示器。其它方法则是利用其中只采用一个在两个视频流之间快速切换的单独显示屏进行显示的场或帧多路复用技术。这些系统典型地具有一付由个人佩戴的遮光镜，遮光板交替地遮住一只眼睛和另一只眼睛以使每只眼睛感知不同视频流。最后，如那些通常在虚拟现实系统中所使用的一些系统，使用的是内置在由观察者所戴的头盔中的双液晶或双CRT显示器。其它技术还包括不需要佩戴眼镜的投影系统和多种自动立体视觉系统。
产生并显示三维视频图象的现有技术系统通常采用两种方法之一。第一种方法采用的是用于产生两个视觉信息通道的双眼系统，例如两个透镜或两个摄像机。两个通道的空间偏移量产生了模仿个人的眼睛所产生效果的视差效果。
利用两个摄像机产生高品质立体视频中的关键因素是保持两个通道的图象数据的严格对准。必须保持摄像机透镜的对准，当本系统的电子器件或光学器件对由摄像机所产生的视频信号进行处理时，视频信号必须保持严格的时间对准。观察者将把未对准感知为失真。众所周知双屏显示系统特别易于发生对准失配，且其体积很大并十分笨重，而且由于具有多个显示器而十分昂贵。多路复用场或帧的单显示屏方案虽然可以减轻由双显示器而产生的问题，但这些系统的性能仍旧依赖于输入视频数据的对准精度。
为多种系统所采用的第二种方法试图将输入的二维视频信号转换为适用于立体显示器的形式。这些系统通常将该二维视频信号分解为两个单独通道的视觉信息，其中一个通道的视频信息相对于另一个通道的视频信息有所延迟。由于接收和处理两个单独通道信息的必要硬件要求有所降低，所以用于从二维输入数据中合成出模拟三维场景的系统势必会稍微便宜一些。此外，此类系统可以使用任何常规的视频源，而不再需要由立体摄像机系统所产生的特殊视频。然而对于在场景中并不移动的物体，为了生成模拟模拟三维场景而依赖于部分数据的时间偏移的方法并不很奏效。因此，目前还不存在能够从二维输入信号中产生高品质模拟三维视频的系统。
另一个限制着传统三维视频取得商业上的成功的因素是此类系统的大多数用户常会体验到的包括视觉疲劳，头疼和恶心等在内的有害生理反应。其中的一个例示便是50到60年代所十分流行的3D电影。然而今天，在主题公园和类似集会地点之外，因为一般观众对此种媒介的容忍度是有限的，所以通常要将这些电影的长度限制为30分钟左右。观众的容忍度问题似乎是传统立体观测技术的固有问题，其是由于这些系统不能逼真模仿人类视觉系统的工作原理而造成的。此类系统似乎也存在由于不能解释人脑的中心作用以及高效视觉处理中人脑与眼睛之间的神经协作而带来的问题。
总之，现有技术的系统存在图象品质不佳，用户容忍度较低以及成本较高的缺点。因此制造出能够克服上述缺点的三维视频系统对于本技术领域来说将是很大的进展。
本发明成功地克服了现有技术的问题，其目的在于发明用于从二维视频信号中合成出模拟三维视频图象的系统和方法。本发明相对成本较低，能产生高品质的视频，并具有较高的用户容忍度。本发明的系统并不依赖于为生成模拟三维场景而进行的时间偏移。然而，某些实施例可能会将时间偏移与其它处理结合起来使用以从二维视频源中产生出模拟三维视频。
传统的视频源，诸如与NTSC兼容的视频源由为了产生运动视频图象而顺序显示给用户的帧序列构成。NTSC视频的帧频是每秒30帧。通过在显示装置上显示帧的各水平扫描线，各帧被显示在诸如监视器或电视机的显示装置上。传统上，电视被设计成通过隔行扫描两个不同的场来显示该帧。换句话说，电视首先显示所有的奇数扫描线，然后隔行扫描偶数扫描线以显示出一个完整的帧。因此，一个帧典型地被分解为包含偶数扫描线的偶数场和包含奇数扫描线的奇数场。
本发明取用二维视频输入信号并将该信号数字化以使系统能够以数字方法对其进行处理。数字化帧被分离成偶数场和奇数场。随后通过一次或多次变换对偶数场和/或奇数场进行处理以在给予该场特性，而将其与另一场组合在一起并将其合适地显示给观察者时，便可以产生模拟三维视频流。随后将这些场一直存储在数字存储器中，直到需要对其进行显示时。当需要显示这些场时，将其从数字存储器中提取出来，并发送给用于向用户显示的显示装置。
以一种一只眼睛观看到一个场而另一只眼睛观看到另一场的方式将这些场显示给用户。可以使用包括先前所述的多种现有技术的机构在内的多种机构来实现这种显示方式。在某一实施例中，本系统使用了一付遮光镜，其与不同场的显示同步，以使得在显示某一场时遮蔽或挡住一只眼睛，而在显示另一场时遮蔽或挡住另一只眼睛。通过以此方式来交替显示这些场，便可以在常规的显示装置上，如常规的电视机上观看到三维视频。在从眼睛接收信号时，大脑将解释视频流中所包含的视觉线索并将两个场融合为一个单独的模拟三维图象。
用于给予一个将被理解为三维视觉线索的场多种特性的处理可以包括发生在场的水平和/或垂直维向上的一种或多种变换。当把一个帧数字化并分离为两个场时，这些场由所取样的视频数据的矩阵构成。为了生成所需的模拟三维图象，可以通过平移，缩放以及其它的空间变换对此视频数据矩阵进行转换，以给予将由观察者的大脑进行解释的合适视觉线索。
在给予这些视觉线索的变换中有用的一个变换是偏斜变换。偏斜变换由一个特定的信息行或列开始并随后将接下来的每行或列相对于紧接着其之前的行或列平移某个指定的数量。例如，可以在水平方向上相对于上面的一行将每条线平移某个数目的数据取样。超出该矩阵边界之外的数据取样被删掉或循环移位回到该行的前面。
另外证明在给予视觉线索的过程中有用的变换有其中所有行或列均被平移设定数量的平移变换，以及其中对行或列缩放以增加或减少该场中各行或各列中数据取样的数目的缩放变换。当对场进行缩放时，通过使用内插法或简单地通过选取用于插入的固定值来插入填充的数据取样。
在本发明的多种实施例中，如上所述，通过变换所进行的多种场处理均发生在一帧之内。换句话说，系统中没有引入时间变换或延迟。简单地将一帧分解为其组成场，随后对这些场进行适当地变换，再重新组合出该帧。然而，在其它的实施例中，则可能需要在一个或另一场中引入时间偏移。换句话说，可以先对一个场进行变换，而后将其保存起来，随后与后一帧的其它场重新组合在一起。具体地说，其可能需要结合进行垂直变换和时间变换以将多种视觉线索引入到将被解释为三维图象的场景中。
为了实现本发明的上述和其它优点，接下来将参照附图中所示的具体实施例对上面所简要说明的本发明进行更为详细地说明。应被理解的是，这些附图仅是本发明的典型实施例，因此不应将其理解为对本发明范围的限制，接下来将利用附图对本发明的其它特性和细节进行说明和解释，其中
图1所示为本发明一个实施例的总体处理原理示意图；图2所示为本发明另一个实施例的总体处理原理示意图；图3A到3D所示为并用于给予所合成的三维场景视觉线索的多种变换的示意图；图4A到4D所示为使用缩放变换的一个具体示例的示意图；图5所示为时间变换的示意图；及图6A到8B所示为本发明一个实施例中的多种电路的示意图。
本发明目的在于发明用于从二维视频源中合成出三维视频流的系统和方法。该视频源可以是诸如电视信号，来自VCR，DVD，视频摄像机，有线电视，卫星TV或任何其它视频源的信号。由于本发明目的是从二维视频流中合成出三维视频流，所以不需要特殊的视频输入源。然而，如果一个视频源产生了两个视频通道，每个分别用于由用户的一只眼睛进行观察，则还可以对本发明进行适当修正后使用。从下面的讨论中，本领域的技术人员将能够很快地看出所应进行的修正。
接下来的讨论对视频信号的基础知识进行了介绍，并可以对本发明其余讨论部分提供一些相关的背景知识。尽管在此讨论中使用了具体示例和数值，但其应仅被理解为示意性的而不应作为对本发明的限制。如上所述，本发明适用于任何类型的视频源。
通常，视频信号由为了向观察者提供运动场景而想要以顺序方式显示给显示装置的用户或观察者的多个帧组成。上述每帧与电影胶片中的图象帧的类似之处在于在显示下一帧之前均对其进行完整地显示。传统的显示装置，如电视机或监视器，可以以多种方式来显示这些视频帧。由于早期硬件所造成的限制，电视以隔行扫描方式来显示一帧。其意味着首先沿监视器扫描一序列的直线，随后再沿监视器来扫描另一序列的直线。此时，电视首先将扫描奇数线而后再返回并扫描偶数线。荧光屏上的荧光粉的余辉将使人眼感觉好象一次便显示完整个帧，而实际上所有直线并不是一次显示的。以此隔行扫描方式所显示的这些帧的两个不同部分通常被称作场。偶数场含有偶数扫描线，而奇数场含有奇数扫描线。
由于硬件的发展，许多计算机监视器和一些电视机均已能够不再以隔行扫描方式而是以顺序扫描方式来显示图象了。原理上，仍旧分偶数场和奇数场来进行显示，只是不再以隔行扫描方式而是以顺序方式进行显示了。此外，随着先进TV标准的采用，可能会从隔行扫描方式变为顺序扫描方式。本发明可被应用于采用隔行扫描或顺序扫描方式的任一种显示器。唯一不同之处在于显示信息的顺序。
作为特殊扫描率的一个例子，我们考虑标准的NTSC视频。标准NTSC视频的帧频为每秒30帧。而由于每一帧有两个场，所以场频为每秒60场。其它的视频源使用不同的帧频。然而，这并不是本发明的关键所在，因此本发明的一般原理可适用于任何视频源。
参照图1，其所示为本发明一个实施例的处理的原理示意图。图1中，被简化显示为20的输入视频流由标注为F1到F8的多个帧22组成。图1中，将帧24提取出来进行处理。如图1所示，帧24由多个扫描线构成。帧24的偶数扫描线被标注为26，而帧24的奇数扫描线被标注为28。其仅是出于示意目的并用于例示一帧，如帧24可以被分为多个场。尽管在图1显示的是由偶数扫描线26和奇数扫描线28构成的两个场，但也可以有其它方式。例如，可以将该帧划分为多于两个的场。
该帧由编码器30数字化。其中，编码器30对帧24的视频数据进行取样并将其从模拟格式转换为数字格式。编码器30还可以执行其它与颜色校正/变换，增益调节等有关的处理。编码器30在每个取样有足够大的数位的条件下对帧24进行数字化，以避免将不可接受的失真引入到视频信号中。此外，其也可能需要单独对该视频信号的多个方面进行取样。在NTSC视频中，其可能需要单独对信号的荧光和色度进行取样。最后，编码器30的取样率必需足够高以避免在信号中引入失真噪声。在某一实施例中，发现利用16位的13.5HMz取样速率足够于表示标准的NTSC视频信号。其它的视频源可能需要不同的取样速率和样本容量。图1中，数字化后的图象帧被显示为32。
数字化帧32由修正处理组件34进行处理。修正处理组件34执行多种变换和其它与数字化帧32有关的处理，以将视觉线索引入到该帧中，从而使得在将其显示给用户时可被理解为三维图象。在修正处理组件34中可以使用多种处理以引入合适的视觉线索。接下来将讨论这些变换和其它的处理。然而，通常修正处理组件34将准备所要显示给用户以使该帧被理解为三维物体的图象帧。由修正处理组件34所进行的变换和其它处理经常要求将帧32分离为两个或多个分量并相对于另一分量对一个分量进行变换。所得的修正帧如图1中的36所示。
在对该帧进行完修正之后，下一步是保存该修正帧并在合适的时间以合适的方式将其显示在显示装置上。根据编码器30和修正处理器34的处理速度，可能会有必要短时间地保存修正帧36。在图1所示的实施例中，控制器38将修正帧36一直存储在存储器40中直到需要其时。当需要其时，提取出修正帧36并将其送到所要进行显示的适宜显示装置处。这需要控制器38，或其它组件能够对显示装置或其它系统进行控制以使信息能够被适当地显示给观察者。
提取出修正帧并将其显示在显示装置上的确切过程将完全取决于所用显示装置的类型。通常，其有必要使用能够使观察者的一只眼睛观察到该帧的一部分而其另一只眼睛观察到该帧的另一部分的显示装置。例如，如上所述的一种显示系统将图象帧分离为在一个单一显示装置上多路复用的两个场。使用了一付遮光镜，或其它遮光装置以使得在一只眼睛观察到一个场的同时遮住另一只眼睛，而在遮光板进行切换后则观察到另一场。以此方式，一只眼睛被用于观察一个场，而另一只眼睛被用于观察另一场。大脑将取用由修正处理组件34所引入的视觉线索并将两个场融合为被理解为三维形式的一幅单独图象。也可以使用其它机构。这些机构包括其中一只眼睛观察一个显示器而另一只眼睛观察另一显示器的多显示器系统。也可以使用如上所述的传统的利用一付无源偏振眼镜或有色眼镜的方法。
在图1所示的实施例中，如图所示控制器38对遮光装置42进行控制以使得在监视器44上所多路复用的图象能够被合适地观察到。此外，解码器46将修正帧36从数字形式转换为适于在监视器44上进行显示的模拟形式。解码器46还可以产生多种控制信号，用于对监视器44以及遮光装置42进行控制以使得合适的眼睛能够观察到帧36的合适部分。解码器46还执行任何为确保帧36正常显示所需的任何功能，如以合适的顺序读出所要显示的数据。
现在参照图2，将对本发明的一个实施例进行更详细地说明。图2所示的实施例与图1所示的实施例具有很多相同的部件。然而，将对所执行的用于从二维到三维对图象帧进行修正的某种处理进行更详细地说明。
图2中，由编码器50接收一个视频帧，如帧48并对其进行编码。编码器50代表了用于从二维视频流接收一帧并对其进行数字化以使其能够被进一步处理的装置的一个示例。因此，其中编码器50对帧48进行数字化。数字化帧如图2中的数字化帧52所示。编码器50也可以执行如上所述结合图1中的编码器所说明的功能。
数字化帧52被分离器54分离为奇数场56和偶数场58。分离器54代表了用于将一个图象帧分离为多个场的装置的一个示例。奇数场56和偶数场58则简单地表示了将一帧，如数字化帧52分离为多个场的能力。当使用的是隔行扫描显示装置时，其有必要将一帧分离为所要显示在显示装置上的偶数和奇数场。而在顺序扫描显示装置中，既可以继续使用偶数和奇数场，也可以使用其它标准来将一帧分离为多个场。例如，曾经提出一种使用垂直扫描而不是传统的水平扫描方式的先进TV标准。在此种显示装置中，该标准可以基于垂直分离而不是图2所示的水平分离。所需要发生的只是分离器54将帧52分离为将被单独处理的至少两个场。
奇数场56和偶数场58由修正处理组件60和62分别进行处理。修正处理组件60和62代表了对这些场所分别进行的概念化处理。实际上，这些场也可以由相同的组件进行处理。修正处理组件60和62仅代表了用于利用所选定的变换对至少一个场进行变换的装置的一个示例。此种装置可以使用多种类型的技术进行实施，如以数字方法处理信息的处理器或对场中的信息进行变换的分立硬件。下面将对一种实施方案的多个示例进行说明。
图2中，修正奇数场64和修正偶数场66代表了分别由修正处理组件60和62进行完变换的场。应注意的是尽管图2显示的是修正场64和66，但在多种实施例中，可以对其中一个，另一个或两个场均进行修正。可以以如上所述的任何用于将合适的视觉线索引入到该场中的方式对这些场进行变换。接下来将对所发现的一些对为了将二维视频流转化为三维视频流而引入视觉线索很有用的变换的多个示例进行说明。通常，这些变换包括对一个或两个场中所包含的信息进行平移，缩放，或别的方式的修正。注意由修正处理组件60和62所进行的变换可以在水平和垂直方向的任一方向上，或两个方向上同时来进行。
随后由控制器68将修正后的场64和66存储在存储器70，一直到需要显示其时。一旦需要对其进行显示，控制器68便按照所需的次序提取出这些信息并将其传送给解码器72。如果其显示过程需要交错地显示一个场及另一场，则控制器68将为了得到合适地显示效果而依次的传送一个场及另一场。然而，如果其显示过程需要进行顺序地扫描时，则控制器68也可以以一种不同的次序来提供该信息。因此，控制器68代表了用于对多个场进行重新组合并将重新组合后的场传送给显示装置的装置的一个示例。在另选方案中，此项功能性的某些部分可包括在解码器72之内。
解码器72负责取入信息并将其从数字形式转换为模拟形式，以允许显示该信息。解码器72还可以负责产生用于控制该显示过程的控制信号。在另选方案中，控制器68还可以另外提供某些控制信号以使得能够准确地显示及理解该信息。作为其另一示例，一种单独的装置，诸如处理器或其它装置，可以负责产生控制该显示装置以使该信息被正确显示的控制信号。从本发明的立场看，所需要的只是能够将该信息从数字格式转换为适于由该种显示装置进行显示的格式。尽管其它类型的显示装置可能会优选接收数字格式的信息，但目前大多数情况此格式均为模拟格式。随后对显示装置进行适当控制以将该信息以合适的方式呈现给用户以使用户将该场景理解为三维的。其可以包括，例如，在该显示装置上依次多路复用一个场及另一场，而同时对允许一只眼睛观察一个场而另一只眼睛观察另一场的遮光装置进行操作。在另选方案中，如上所述的任何显示装置均还可以与适宜的控制电路一起结合使用来向个人显示图象。然而，通常所有这些显示系统均以一只眼睛观察到该信息的某一部分而另一只眼睛观察到该信息的不同部分为前提。如何实现这点只是选择的事情，因为已有许多适用于本发明的特别实施方案。
接下来参照图3A到3D，发现了一些对提供包括在数据中并由用户理解为三维性的视觉线索很有用的变换。图3A到3D所示的各个示例介绍了多种水平方向上的变换。另外，这些示例还显示了在单独水平方向上的变换。其仅是示意性的。这些变换也可以被用在不同的水平方向上或垂直方向上。最后，上述方向的任意组合形式均可以使用。本领域的技术人员应可以意识到如何将图3A到图3D所介绍的变换修正为其它合适的形式。
首先参照图3A，其所示为一种偏斜变换。此种变换在水平或垂直方向上对数据进行偏斜。图3A中，将被变换的一个场被例示为74。此场已被数字化，所以可由数据点的一个矩阵来表示。图3中，此矩阵为5列3行。本发明中所用的变换将平移或否则修正该场矩阵的数据。典型的场矩阵为几百列乘几百行。比如，在NTSC视频中，偶数或奇数场的列数在800到900之间，而行数则在200到300之间。偏斜变换首先选取一个起始行或列，随后相对于其之前的列或行将紧接着的行或列平移一定的数目。在图3A中所示的示例中，每行相对于其上面一行平移了一个数据点。因此，变换后的场如76所示，其中行78未被平移，行80平移了一个数据点，而行82则平移了两个数据点。如图3A所示，原始矩阵的数据点将变为由虚线84所围成的一种偏斜形状。从开始行到结束行的总平移量是加到该帧上的偏斜量的量度。
当平移每一行时，数据点开始向图3A中实线86所示的原始矩阵边界之外移动。当这些数据点均平移完之后，将在场矩阵中产生如多个数据点88所示的“空洞”。因此，问题便成为将什么数据放置在数据点88中。可采样多种选择方案。在某一实施例中，当数据点被平移时，其被循环移位放置在行或列开始处所产生的空洞中。因此，行80中当最后一个数据点被平移到场矩阵边界之外时，其将被循环平移放置在该行起始处。其它行的处理与此处理类似。在另选方案中，如果该场矩阵中所敞露出的空洞位于显示在显示器上的正常视觉范围之外，则可以简单地将其忽略并用诸如黑色的固定值来进行填充。在另选方案中，也可以使用多种内插方法来计算用于放置在该空洞中的数值。如上所述，可以在水平方向，垂直方向或两者的组合方向上来进行此变换。
接下来参照图3B，其所示为平移变换。在平移变换中，场矩阵的每一行或列被平移一个设定的数量。图3B中，未发生平移的场矩阵如90所示，而平移后的场矩阵如92所示。如图3B所示，再次有某些数据点移出到场矩阵边界之外。这些数据点可以被“尾首循环”到该行的起始处并被放置在所敞露出的空洞中，或者也可以用不同的数值来填充所敞开的空洞，而将落在场矩阵边界之外的数据点简单地忽略掉。这里同样也可以使用多种方案来填充该空洞，如用固定值来填充或利用无数种内插方法来进行填充。
图3C和3D所示为多种缩放变换。图3C所示为减少场矩阵中的数据点数目的缩放变换，而图3D所示为增加数据点的数目的缩放变换。其分别对应于使其变小或变大的变换。图3C中，未缩放的矩阵如96所示，而缩放后的场矩阵如98所示。当使用了如图3C中所示的减少数据点数目的缩放变换时，将简单地删掉合适数目的数据点，而余下的数据点将被平移以消除掉由于删除数据点而留下的任何开放空间。由于利用缩放变换减小了数据点的数目，所以必须将各数值放置在由于数据点数目减少而敞开的空洞中。同样，这些数值可以是固定值或通过某些内插运算或其它计算来进行推导。在某一实施例中，便是简单地用黑色数据点来填充各个空洞。
图3D所示为一种增加场矩阵中数据点的数目的缩放变换。图3D中，未缩放的场矩阵如100所示而缩放后的场矩阵如102所示。通常，当按比例增加矩阵的数据点时，在这些数据点中间将敞露出“空洞”。因此，必须进行确定用什么数值来填充这些空洞。在此情况下，通常只在环绕在周围的这些数据值之间进行内插来产生用于放置在特定位置上的特定值便已能满足要求。此外，由于数据点增多了，所以将简单忽略掉任何落在场矩阵大小之外的数据点。这意味着只有那些位于场矩阵边界之内的数值必须被内插和填充。
尽管图3A到3D所示的各种变换是分开来使用的，但显然也可以将其结合在一起使用。因此，可以先对一个场进行缩放然而再进行偏斜或平移，随后再进行偏斜或缩放以及平移。另外，也可以使用其它类型的变换。例如，有一种从中心沿两个方向向外偏斜场矩阵的变换也十分有用。此外，也可以在这些变换处理的过程中变换数据点的数值。换句话说，即在变换的过程中可以调节数据点的亮度或其它特征。
接下来参照图4A到图4D，其所示为用于例示上述多种变换的另一方面的一个具体示例。应特别注意的是，当一个场被平移或作其它变换时，能够在被变换的场和其它场之间选出一个对准点。例如，其可以希望在场的中心位置来进行对准，而随后允许进行偏斜，平移，缩放或其它用于从对准点向外发展的变换。换句话说，当对场进行变换时，其通常需要先选取一个对准点然后平移两个场以将其相对于对准点而对准。这样便可以确定随后将用何种数值来填充所敞露出的空洞。作为一个简单示例，考虑如图3A所示不是在第一行而是在中心行开始的偏斜变换。随后中心行上面各行可以沿一个方向平移，而中心行下面各行则可以沿另一方向平移。很明显此种偏斜变换与那种从顶行开始，随后向下继续或从最底行开始向上继续的偏斜变换不一样。
首先参照图4A，其所示为一个未发生变换的帧104。此帧由标记为105到110的6行和7列组成，该帧各行首先被分离为一个偶数场和一个奇数场。奇数场112包含有行105，107和109，而偶数场114包含行106，108和110。此功能可以由，例如，分离器或其它用于将一个图象帧分离为多个场的装置来执行。图2所示的分离器54仅是一个例子。
接下来参照图4B，其所示为用于对一个或两个场进行变换的处理。在图4B所示的示例中，将对奇数场112进行变换，而偶数场114则保持不变。未进行变换的场如图4B的左侧视图所示，而进行了变换的场则如图4B的右侧视图所示。在此情况中，将对奇数场112进行一种增加水平方向上数据点的数目的缩放变换。由此将得到变换后的奇数场116。正如上文中参照图3D所说明的，当应用了增加数据点数目的变换时，将在场矩阵中的多个数据点之间出现多个“空洞”。图4B中，这些空洞如标注为118的灰色数据点所示。可以以任何所需方式来填充这些“空洞”。如上所述，一种用于填充这些空洞的好方法是在周围的数据点中进行内插以找出应放置于其中的数值。
接下来参照图4C，其所示为在进行变换时所可能产生的对准问题。这种情况在进行的是一种改变场中数据点数目的变换时尤为明显。例如，变换后的奇数场116的列数是10而不是通常情况下的7。如上所述，在此情况中最好选取一个对准点并平移数据点直到场矩阵被对准。例如，假设其想要将变换后的奇数场116的第二列与偶数场114的第一列对准。此时，将如图4C中右侧视图所示适当地平移这两个场。因此场矩阵的边缘将如虚线120表示，而落在其之外的数据点将被简单地忽略掉。
选取一个对准点并为了准确地将两个场对准而进行平移是一个重要的步骤。根据所选取的对准点以及所进行的平移，在显示重建出的模拟三维图象帧时将可能会得到十分不同的结果。平移趋于生成那些开始指明深度的视觉线索。通常，沿一个方向平移将使得某物体表现为向屏幕外移动，而沿另一方向平移则将会使某物体表现为向屏幕背景内部移动。因此，根据对准点和平移的方向，可将诸多特征从显示中移入或移出。另外，根据所选的对准点可将这些效果应用于屏幕的某一边缘或另一边缘。由于传统节目中大多数动作均发生在屏幕的中心附近，所以其优选地在屏幕的中心应用增强三维效果的变换。
接下来参照图4D，其所示为用于对场进行重新组合以生成模拟三维图象帧的处理。图4D的左侧视图所示为被裁剪为合适大小的变换后的奇数场116。图4D中还例示了偶数场114。通过隔行扫描图4D右侧视图所示合适的行可以重建出该图象帧。重建出的图象帧如122所示。此重建过程是在，例如当在显示装置上显示这些场时发生的。如果该显示装置是一种隔行扫描显示器，如常规的电视机，则为了生成合成三维图象帧可以在显示奇数场之后再显示偶数场。
在本发明的多种实施例中，合成三维图象帧被认为是通过对图象帧的多个场进行重新组合而建立出来的。重建出的图象帧随后被显示在显示装置上。现实中，这两个步骤实际上可以同时发生。换句话说，当所用的是隔行扫描监视器或显示装置时，将在显示完一个场之后再显示另一场。然而，两个场的总体显示效果则代表了所重建出的图象帧。类似地，如果使用的是双显示器系统，则在实际显示过程中从未对总图象帧进行重建，而只是在观察者记忆中利用视觉暂留而产生三维效果。然而，原理上仍将进行通过对场进行重新组合而生成合成三维图象帧的步骤。因此，这里所介绍的几个示例不应被认为是对本发明范围的限制，而应将这些步骤理解为具有广泛适用性。
上面所介绍的多种实施例中均是逐帧的处理而后显示各图象帧。换句话说，输出视频流的帧频等于输入视频流的帧频。然而，存在相对于输入帧频增大或减小输出帧频的技术。在本发明中可优选采用此种技术。
当采用相对于输入帧频增大输出帧频的技术时，必须决定用什么数据来提供增大帧频所需的数据。可以使用两种方法中的任一种。第一种方法是简单地进行多次发送，而每次发送一帧数据。例如，如果输出帧频翻倍，则可以简单地发送两次一帧的信息。在另选方案中，其可能希望通过另外的变换来生成发送给显示器的额外数据。例如，可以利用两种不同的变换来生成随后以正常帧频的两倍进行显示的两个不同的图象帧。
如上所述的实施例和讨论例示了一个单独的图象帧如何被分解为两个或多个场，以及如何对这些场进行处理并对其进行重新组合而生成合成三维图象帧。如上所述的这些实施例的一个重要方面是在进行三维图象帧的合成时其均对这些场的任一个进行时间偏移。换句话说，其先从一个图象帧中提取出两个场，随后对其进行处理并将其显示在完全相同的图象帧中。然而在另选方案中，利用某些变换其也可能希望在生成合成三维图象帧的处理中引入时间变换或时间偏移。接下来将参照图5对时间偏移的概念进行介绍。
图5中，由多个图象帧组成的输入视频流如124所示。根据本发明，提取出一个单独的图象帧以进行处理。此图象帧如图5中的126所示。将该图象帧分解为多个场，如场128和130。如上所述，尽管图中所示只有两个场，但如果需要也可以将其分解为多于两个的场。
随后通过由修正处理组件132和134进行如图5所示的一种或多种变换来对各个场进行处理。修正后的场130如场136所示。然而，对于场128，图5所示的实施例引入了由时延138所示的时间偏移。时延138简单地将变换后的场保持一定长度的时间并替换来自先前某帧的变换场。因此，来自帧1的一个场将不被显示直到帧2或3出现。如图5中的140所示，被延迟的场与场136组合在一起生成帧142。帧142随后被放置在输出视频流144中以进行显示。
接下来参照图6A到图8B，其所示为本发明的一个实施例。这些附图所示为本领域的技术人员均会十分熟悉的电路图。因此接下来的说明将仅局限于在较高层次上对合并入一些较重要功能模块中的功能性进行讨论。图6A到8B所示的实施例被设计成用于对一种诸如电视的常规显示器以及用于交替地挡住一只眼睛和另一只眼睛以使一只眼睛看到该图象帧的一个场而另一只眼睛则看到该图象帧的另一场的遮光镜进行操作。
首先参照图6A，其所示为本实施例电路的第一部分。图6A中，其所示为处理器144。处理器144负责该系统的总体控制。例如，处理器144负责从遥控器或其它输入装置接收多种用户输入命令，以允许用户输入系统所需的多种参数。这些输入可以，例如，调节在用于产生合成三维图象的变换中所用的多种参数。此能力将使用户能够对所合成的三维场景进行调节以使其更适合于自己的口味。处理器144随后将把此信息提供给合适的组件。此外，处理器144还可以辅助进行多种在产生合成三维场景过程中所用的变换。图6A还例示了将在下文中对其进行详细说明的遮光镜150的示意简图。
图6B所示为视频板146的模块级连接示意图。下文中将结合图7A到7I对视频板146进行更详细地说明。视频板146含有用于接收视频信号，数字化该视频信号，将变换后的场存储到存储器中以及从存储器中接收场，将变换后的场重新转换成模拟信号，并将该模拟信号提供给显示装置的所需的所有视频电路。此外，视频板146还可以含有一种逻辑电路，用于产生被用来驱动由此实施例所用的用于当观察者佩戴其时可产生合成三维效果的遮光镜的控制信号。
图6C中的模块148包含被用来驱动遮光镜的驱动器的示意简图。图6A中遮光镜被简要例示为模块150。图6D-6F含有诸如电源和滤波器，接地器，变压器等多种类型的支持电路和连接器。支持电路均被标注为152。
接下来参照图7A到7I，其所示为图6B所示视频板146更详细的示意图。视频板146包括解码器154(图7A)，控制器156(图7B)，存储器158(图7C和7D)，编码器162(图7E)。此外，图7F中的模块160所示为一种另选的存储器配置。图7G到7I中所示为多种支持电路。图7G中的模块164含有多种用于从多种信号源接收视频信号及其它数据的输入电路。图7G所示的模块165所示为图6B所示的视频板146的管脚输出是如何转化为图7A到7I中所用的信号的。图7H和7I所示的模块166含有输出电路和其它支持电路。
解码器154(图7A)负责视频信号的接收和数字化。在控制器156(图7B)的控制下将数字化后的视频信号存储在存储器158(图7C和图7D)中。控制器156是一种高尖端的控制器，其主要用于允许将信息写入到存储器158中，以由编码器162(图7E)来读出这些信息以进行显示。可以通过视频数据中的控制信号识别出由译码器154所接收到的输入视频的多个帧和场。因此可以将这些场从中分离出来以如上所述进行处理和变换。
其应被注意的是如果变换发生在水平方向上，则在接收场的同时便可以逐行地进行变换。而另一方面如果变换发生在垂直方向上，则在进行变换之前必须接收完整个场。这些变换确切的实施形式取决于为具体实施例所作出的多种不同的设计选择。
现在参照图7B所示的控制器156，其应被注意的是，除了向存储器158中存储信息或从中读出信息之外，控制器156还产生用于驱动遮光镜的控制信号。其将使得控制器156能够让遮光镜的遮光动作与从存储器158读出的并为了在显示装置上进行显示而传送给编码器162的信息的显示保持同步。编码器162(图7E)取用从存储器158读出的信息并生成随后发送给显示装置的合适的模拟信号。
图8A和8B中所更完整显示的另选存储器160(图7F)是一种可用来替代存储器158的使用了不同元部件的另选存储器配置。图8A所示为另选存储器160所用的多个存储器芯片。图8B所示为图7F所示的管脚输出是如何转化为图8A和8B中管脚引出线模块161的信号的。图8B还例示了滤波电路163的结构。
总之，本发明制作出了高品质的，合成的，三维视频。由于本发明可以将二维视频源转换为合成三维视频源，所以本发明适用于任何种类的视频源。本系统适用于，例如电视信号，有线电视信号，卫星电视信号，由光盘、DVD装置、VCR、摄像机等等所产生的视频信号。用二维视频源作为输入源使本发明不必使用专用设备来产生输入视频源，所以其将大大降低生成三维视频的总成本。
本发明读出视频源，并对其进行数字化，然后将视频帧分解为多个场，随后对一个或多个场进行变换，此后再将变换后的场重新组合为合成三维视频流。可以在任何适宜的显示装置上显示该合成三维视频流。这些显示装置包括，但并不仅局限于，利用单独的显示器来多工显示两个视频流并使该多工操作与诸如由观察者所佩戴的遮光镜的遮光装置的动作保持一致的多路复用系统。另外的可选显示装置还可以是允许每只眼睛独立观看各自显示器的多显示器装置。另外如上所述也有许多其它种类的单显示器或多显示器装置适用于本发明。
在不背离本发明精神或本质特征的条件下可以以其它的形式来实施本发明。上述实施例仅是示意性的而并非限制性的。因此，本发明的范围由所附加的权利要求而并非上述说明来指明。包括在这些权利要求含义和范围之内的所有变型均包含在本发明的范围之内。
权利要求
1.一种用于生成并显示从二维视频流中合成出的三维视频流的方法，包括如下步骤接收包含有多个想要在显示装置上顺序显示的视频帧的二维数字化视频流，其中每帧由合在一起包含了一帧所要显示的所有数字视频信息的多个场组成；从所述视频流中提取出单个二维视频帧以进行处理；将所述单个二维视频帧的多个场分离成至少一个第一场和一个第二场；为了在所述第一场和所述第二场被重新组合在一起并在显示装置上进行观看时产生模拟三维视频帧而对所述第一场或所述第二场的至少一个进行空间变换；以及为了通过以使得观看该显示装置的个人的一只眼睛观看到所述第一场而其另一只眼睛观看到所述第二场的方式在显示装置上的单独一帧内显示所述第一场和所述第二场而生成所述模拟三维视频帧，在不对所述第一场或所述第二场中任一个进行时间偏移的情况下显示所述第一场和所述第二场。
2.如权利要求1所述的用于生成并显示三维视频流的方法，其特征在于所述第一场和所述第二场分别由排列成具有多行和多列的矩阵的形式的多个象素构成，其中所述空间变换步骤通过至少执行如下步骤而在水平方向上相对于另一场来偏斜其中一个场选择总偏斜值；选择起始象素行；及对于所选出的所述起始行之后的每一行，相对于前一行在选定的水平方向上将该行平移从总偏斜值中推导出的预定值。
3.如权利要求1所述的用于生成并显示三维视频流的方法，其特征在于所述第一场和所述第二场分别由排列成具有多行和多列的矩阵的形式的多个象素构成，其中所述空间变换步骤通过至少执行如下步骤而在垂直方向上相对于另一场来偏斜其中一个场选择总偏斜值；选择起始象素列及对于所选出的所述起始列之后的每一列，相对于前一列在选定的垂直方向上将该列平移从总偏斜值中推导出的预定值。
4.如权利要求1所述的用于生成并显示三维视频流的方法，其特征在于所述空间变换步骤在水平方向上相对于另一场来平移其中一个场。
5.如权利要求1所述的用于生成并显示三维视频流的方法，其特征在于所述空间变换步骤在垂直方向上相对于另一场来平移其中一个场。
6.如权利要求1所述的用于生成并显示三维视频流的方法，其特征在于所述空间变换步骤在水平方向上相对于另一场来缩放其中一个场。
7.如权利要求1所述的用于生成并显示三维视频流的方法，其特征在于所述空间变换步骤在垂直方向上相对于另一场来缩放其中一个场。
8.一种用于生成并显示从二维视频流中合成出的三维视频流的方法，包括如下步骤接收包含有多个想要在显示装置上顺序显示的视频帧的二维数字化视频流，其中每帧由合在一起包含了一帧所要显示的所有数字视频信息的多个场组成；从所述视频流中提取出单个二维视频帧以进行处理；将所述单个二维视频帧的多个场分离成至少一个第一场和一个第二场；利用至少一种在垂直维向上改变所变换场的信息的垂直变换对所述第一场或所述第二场的至少一个进行空间变换；及通过以使得观看显示装置的个人的一只眼睛观看到所述第一场而其另一只眼睛观看到所述第二场的方式轮换所述第一场和所述第二场而在显示装置上显示模拟三维视频帧。
9.如权利要求8所述的用于生成并显示三维视频流的方法，其特征在于所述第一场和所述第二场分别由排列成具有多行和多列的矩阵的形式的多个象素构成，其中所述空间变换步骤通过至少执行如下步骤而在垂直方向上相对于另一场来偏斜其中一个场选择总偏斜值；选择起始象素列；及对于所选出的所述起始列之后的每一列，相对于前一列在选定的垂直方向上将该列平移从总偏斜值中推导出的预定值。
10.如权利要求8所述的用于生成并显示三维视频流的方法，其特征在于所述空间变换步骤在垂直方向上相对于另一场来平移其中一个场。
11.如权利要求8所述的用于生成并显示三维视频流的方法，其特征在于所述空间变换步骤在垂直方向上相对于另一场来缩放其中一个场。
12.如权利要求8所述的用于生成并显示三维视频流的方法，其特征在于另外包括为了相对于其在所述二维视频流中的原始位置引入时延而对所述第一场或所述第二场中的至少一个进行时间偏移的步骤。
13.一种用于从二维视频流中生成三维视频流的方法，包括如下步骤接收包含有多个想要在显示装置上顺序显示的视频帧的二维数字化视频流，其中每帧由合在一起包含了一帧所要显示的所有数字视频信息的多个场组成；从所述视频流中提取出单个二维视频帧以进行处理；将所述单个二维视频帧的多个场分离成至少一个第一场和一个第二场；利用如下变换(a)相对于另一场偏斜其中一个场的偏斜变换，(b)相对于另一场缩放其中一个场的缩放变换，以及(c)相对于另一场平移其中一个场的平移变换中的至少一种变换对所述第一场或所述第二场中的至少一个进行空间变换；为了生成模拟三维视频帧而在不对所述第一场或所述第二场中任一个进行时间偏移的情况下重新组合所述第一场和所述第二场；通过以使得观看显示装置的个人的一只眼睛观看到所述第一场而其另一只眼睛观看到所述第二场的方式轮换所述第一场和所述第二场而在显示装置上显示所述模拟三维视频帧。
14.如权利要求13所述的用于生成三维视频流的方法，其特征在于所述空间变换步骤在水平方向上对所述第一场或所述第二场中的至少一个进行变换。
15.如权利要求13所述的用于生成三维视频流的方法，其特征在于所述空间变换步骤在垂直方向上对所述第一场或所述第二场中的至少一个进行变换。
16.一种用于从二维视频流中生成三维视频流的系统，其中所述二维视频流由多个想要在显示装置上顺序显示的视频帧组成，而每帧又至少含有一个第一场和一个第二场，所述系统包括用于接收所述二维视频流的帧并用于对所述帧进行数字化以使其能够由该系统进一步进行处理的装置；用于将所述帧分离成至少一个第一场和一个第二场，而每个所述场分别含有所述帧的视频数据的一部分的装置；用于利用所选定的一种能够在对所述第一场和所述第二场进行重新组合并将其显示在显示装置上时产生模拟三维视频帧的变换来对所述第一场或所述第二场中的至少一个进行变换的装置；用于在不对所述第一场或所述第二场中任一个进行时间偏移的情况下重新组合所述第一场和所述第二场并用于为了生成所述模拟三维视频帧而将重新组合后的所述第一场和第二场传送给显示装置的装置；以及用于对所述显示装置进行控制以使观看所述显示装置的个人的一只眼睛观看到所述第一场而其另一只眼睛观看到所述第二场的装置。
17.如权利要求16所述的一种用于生成及显示三维视频流的系统，其特征在于所述被选定的变换包括一种在水平方向上相对于另一场而偏斜其中一个场的偏斜变换。
18.如权利要求16所述的一种用于生成及显示三维视频流的系统，其特征在于所述被选定的变换包括一种在垂直方向上相对于另一场而偏斜其中一个场的偏斜变换。
19.如权利要求16所述的一种用于生成及显示三维视频流的系统，其特征在于所述被选定的变换包括一种在水平方向上相对于另一场而平移其中一个场的平移变换。
20.如权利要求16所述的一种用于生成及显示三维视频流的系统，其特征在于所述被选定的变换包括一种在垂直方向上相对于另一场而平移其中一个场的平移变换。
21.如权利要求16所述的一种用于生成及显示三维视频流的系统，其特征在于所述被选定的变换包括一种在水平方向上相对于另一场而缩放其中一个场的缩放变换。
22.如权利要求16所述的一种用于生成及显示三维视频流的系统，其特征在于所述被选定的变换包括一种在垂直方向上相对于另一场而缩放其中一个场的缩放变换。
23.一种用于从二维视频流中生成三维视频流的系统，其中所述二维视频流由多个想要在显示装置上顺序显示的视频帧组成，而每帧又至少含有一个第一场和一个第二场，所述系统包括用于接收所述二维视频流的帧并用于对所述帧进行数字化以使其能够由该系统进一步进行处理的装置；用于将所述帧分离成至少一个第一场和一个第二场，而每个所述场分别含有所述帧的视频数据的一部分的装置；用于利用所选定的一种在垂直方向上对视频数据进行变换以使得在将所述第一场和所述第二场重新组合后并将其显示在显示装置上时所述第一场和所述第二场将产生模拟三维视频帧的垂直变换对所述第一场或所述第二场的至少一个进行变换的装置；用于为了生成所述模拟三维视频帧而对所述第一场和所述第二场进行重新组合并将重新组合后的所述第一场和第二场传送给显示装置的装置；及用于对所述显示装置进行控制以使观看所述显示装置的个人的一只眼睛观看到所述第一场而其另一只眼睛观看到所述第二场的装置。
24.如权利要求23所述的一种用于生成及显示三维视频流的系统，其特征在于所述被选定的变换包括一种在垂直方向上相对于另一场而偏斜其中一个场的偏斜变换。
25.如权利要求23所述的一种用于生成及显示三维视频流的系统，其特征在于所述被选定的变换包括一种在垂直方向上相对于另一场而平移其中一个场的平移变换。
26.如权利要求23所述的一种用于生成及显示三维视频流的系统，其特征在于所述被选定的变换包括一种在垂直方向上相对于另一场而缩放其中一个场的缩放变换。
27.如权利要求23所述的一种用于生成及显示三维视频流的系统，其特征在于另外包括用于对所述第一场或所述第二场中的至少一个进行时间偏移的装置。
28.一种用于从二维视频流中生成三维视频流的系统，其中所述二维视频流由多个想要在显示装置上顺序显示的视频帧组成，而每帧又至少含有一个第一场和一个第二场，所述系统包括用于接收所述二维视频流的帧并用于对所述帧进行数字化以使其能够由该系统进一步进行处理的装置；用于将所述帧分离成至少一个第一场和一个第二场，而每个所述场分别含有所述帧的视频数据的一部分的装置；用于为了在对所述第一场和所述第二场进行重新组合并显示在显示装置上时产生模拟三维视频帧而利用如下变换；(a)相对于另一场偏斜其中一个场的偏斜变换，(b)相对于另一场而缩放其中一个场的缩放变换，以及(c)相对于另一场而平移其中一个场的平移变换中的至少一种变换对所述第一场或所述第二场中的至少一个进行变换的装置；用于为了生成所述模拟三维视频帧而在不对所述第一场或所述第二场中的任一个进行时间偏移的情况下对所述第一场和所述第二场进行重新组合并将重新组合后的所述第一场和第二场传送给显示装置的装置；及用于对所述显示装置进行控制以使观看所述显示装置的个人的一只眼睛观看到所述第一场而其另一只眼睛观看到所述第二场的装置。
全文摘要
本发明致力于一种用于从二维视频源中合成出三维视频流的系统和方法。对来自二维视频源的帧(48)进行数字化(50)并将其分解(54)为多个场(56,58)。每个场含有该帧的一部分信息。随后对这些场单独进行处理并对其进行变换(60,62)以引入在与其它场组接在一起时可被观察者理解为三维图象的视觉线索。这些变换可包括,但并不仅局限于,偏斜变换,平移变换和缩放变换。可以在水平维向上,或在垂直维向上,或同时在两个维向上进行这些变换。在许多实施例中,变换的场的变换和重新组接是在单个帧中进行的,以使其不必引入或利用时间偏移来生成合成三维视频流。在合成出三维视频流之后,其被显示在一种合适的显示装置上。合适的显示装置包括一种交替显示不同场的多路复用显示装置,连同一付能够向观察者的一只眼睛显示一个场而向其另一只眼睛显示另一场的遮光镜。也可以使用其它类型的单显示器装置和多显示器装置。
文档编号H04N13/00GK1244278SQ97181060
公开日2000年2月9日 申请日期1997年12月24日 优先权日1996年12月27日
发明者安伯C·戴维森, 洛伦L·斯温森 申请人:切克梅特国际公司