专利名称：用于从顺序的2d图象数据产生3d模型的系统和方法
技术领域：
本发明一般地说涉及图象信号的数字操纵且更具体地说涉及用于从2D数字输入图象产生3D模型的一种系统和方法。
用一种系统，以在适当的显示装置(诸如电视机或计算机监视器的阴极射线管(CRT))上或经过投影到屏幕上的胶片上的空域表示的形式显示可视图象，这样的技术是现有技术中已知的。然而，由于这样的显示装置通常限于以显示装置表面上的两维空间表示的形式提供显示，这些空域表示不包括完整的可视图象信息。例如，由于前景对象的遮挡，有关背景对象的图象信息可能会丢失。类似地，当观看角度改变时以对照更远的背景或其他对象看到的一个对象的位置的视在位移的形式表现出的图象深度或视差信息，在两维表现中通常被丢失了。
然而，以两维方式表现的这样的可视图象的获得是直接的，即利用诸如电影摄象机、录相机和计算机扫描装置来从一个单个的有利点获得一种空域表示，其中可视图象的源是一个可感受到的图象。类似地，利用各种计算机软件程序，诸如字处理、画图和动画程序，获得在数字系统上产生的两维图象，也是直接了当的，其中可视图象的源是不可感受到的。因此，有多种以两维表示的形式获得和存储的视频图象和胶片图象及其设施-包括系统和设备，以用于这样的两维图象取得。
不论它们的来源如何，这些获得的图象可以以数字阵列的形式被表示和存储在数字系统中。一个数字图象不过是一组数字，它们与显示的图象的象素有直接对应的关系。例如，一个显示的图象可以由512乘640个象素组成，其中每一个象素由一个范围的可能的亮度强度和颜色来表征。胶片图象也可被处理成象素的矩阵，这与视频图象类似。
数字视频图象的处理是现有技术中众所周知的。传统上，这样的现有技术数字视频处理已经被分成了两种主要的类别。第一种现有技术类别产生了一种新的视频图象-它们通过诸如利用色度键入、图象合成和重叠、描绘、包括刮和逐渐减弱的过渡而被产生，以及计算机产生的图象，包括三维计算机模型和标题。这些技术和等通常被分入“视频产生”技术，并产生了视频图象的新的两维空域表示。
相反地，第二种现有技术类别处理一种视频图象，但不产生一种新的视频图象，而只是从其鉴别信息，诸如为了从图象中识别出对象。这种处理经常被用在机器人中，例如为了对一个操纵者的操作进行反馈。为了鉴别图象中出现的对象或是为了鉴别图象中包含的信息的图象处理，通常可被分入“机器视觉”技术。
应该理解的是，上述技术的应用，都没有产生具有所提供的图象以外的信息的图象。如上所述，该产生技术只是从复合或操纵输入图象而产生了一个新的空域数据组。类似地，该机器视觉技术只是产生了表示出现在一个输入图象中的对象的位置、运动等的数字组。
另外，上述的技术在它们的应用上已经产生了隔离。例如，图象产生技术通常通过机械地把所希望的产生技术应用于选定的图象或数据组而产生图象。另外，色度键入视频产生只是除去输入图象中具有与其相关的一种具体颜色的区域并用一个第二输入图象来取代该区域。类似地，计算机产生的模型和标题只是把计算机产生的图象迭加在一个输入信号或空白屏幕上。如在现有技术中所应用的，图象产生技术的这种机械的应用从机器视觉技术的应用所获得的好处是极少的。
类似地，机器视觉技术通常用于产生有关一个图象中的一个对象的数据。所以，利用机器视觉技术的应用对一个输出图象的操纵通常没有兴趣。因此，现有技术中的机器视觉技术应用从图象产生技术的应用所获得的好处是很小的。
然而，可能希望的，是操纵一个图象以产生可通过上述技术获得的两维空域信息之外的图象信息的一个图象。例如，在立体镜中，可由于产生观看者的各个眼的略微图象差的小视差而用双目视觉获得深度感觉，且需要比简单的两维表示更为复杂的图象。然而，上述的孤立的数字处理技术每一个都不足以从数字视频图象提取出信息，以适当地操纵图象而产生立体的图象。
一种现有技术的例子在1996年12月20日递交的国际申请PCT/AU96/00820中得到了显示，它显示了如何通过加长和/或移动已有的图象而从2D输入产生3D图象。这种系统不能使对象从它们的背景中被“释放”出来，且在被观看时看上去是似乎是从屏幕上突出出来。
因此，需要一种系统和方法，用于对图象进行处理，以提取从一个图象表示可直接确定的信息以外的信息。
一种进一步的需要，是应用从图象表示提取的信息以操纵图象，从而产生一种图象表示-它包括了可从一个来源获得的图象以外的信息。
还有一个需要，就是利用从图象的两维空域表示提取的信息，以产生一种提供健全的图象的增强的图象，诸如输入图象的立体三维表示。
这些和其他的目的、特征和技术优点，通过一种系统和方法而得到了实现，该系统和方法利用了有关一个依次输入图象(诸如可从上述机器视觉技术获得的输入图象)中的对象的信息，以提取、外插和/或内插有关不由两维空域表示直接提供的图象的信息。这种信息随后被可获得的图象操纵技术用来产生一种图象-该图象具有单纯利用图象操纵技术不能获得的健全的属性。
在本发明的一个最佳实施例中，利用标准胶片或视频获取技术获得的、诸如上述的两维空域表示的源图象，被转换成具有三维效果的增强图象。在一种替换实施例中，所产生的视频图象是立体三维图象的形式的。因此，利用机器视觉技术，本发明把源图象分解成了对象分量。通过这种处理，本发明可提取或外插图象内包含的有关对象和它们的相互关系的信息。
源图象可以从若干种来源提供，并可包括单个或一系列相关的图象。例如，可采用一系列略微不同的图象，这些图象可以以快速暂态序列的方式得到显示，以产生平稳运动的效果，就如在电视或胶片图象序列中那样。利用上述机器视觉技术，本发明通过参照暂态域信息而内插有关对象的空域信息。例如，当空域表示的前景中的一个对象相对于其他的对象移过暂态域时，任何具体图象的空域信息都可从可从序列中的其他图象获得的信息得到内插。当可视图象的各个对象与全体分离时，这种内插的信息被用来填充“丢失”的信息。
随后，本发明用于利用上述获得的信息来产生一种新的图象。这种新图象的产生可利用图象操纵技术，诸如描绘、计算机模型处理、合成和重叠，以把源图象的对象重新组合成包含上述获得的信息的结果图象。
例如，本发明可利用该获得的信息来在另一对象处于背景的同时确定前景中的一个图象对象。从这种信息，并利用描绘和重叠的图象产生技术，本发明可产生一种新图象，它包括了从以前不存在的光源产生出的对象阴影。
类似地，本发明可利用这种信息，与重叠的图象产生技术相结合地，产生两个新的图象，其中各个图象的对象以略微的变化得到重叠。通过把一个图象提供给观看者的每一只眼睛，由于小的视差而产生了深度的感觉。
因而应该理解的是，本发明的技术优点是其能够提取可直接从源图象确定的信息以外的信息。
一个进一步的技术优点，在于从源图象提取的信息可被用来操纵图象，从而产生一种结果图象表示-它包括了可从源图象直接获得的信息以外的信息。
本发明的再一个技术优点，是其能够从只具有两维空域表示的源图象产生一种立体的三维图象。这样，本发明能够独特地从已经存在的图象产生出立体的三维图象。
类似地，一种额外的技术优点，在于本发明独特地适合于利用普通的且通常成本低廉的图象获取设备来产生增强的图象，诸如上述立体图象。
以上相当概括地列出了本发明的特征和技术优点，以使以下对本发明的详细描述能够得到更好的理解。本发明的其他特征和优点将在以下进行描述，这些特征和优点形成了本发明的权利要求书的主题。本领域的技术人员应该理解的是，所公布的具体实施例的概念可被方便地使用作修正或设计执行本发明的目的的其他结构的基础。本领域的技术人员应该理解的是，这样的等价构造并不脱离如所附权利要求书所限定的本发明的精神和范围。
从以下结合附图进行的描述，可以获得对本发明及其优点的更为完整的理解。在附图中
图1显示了一系列的视频(或胶片)图象帧；图2显示了分解成小网格的图1的帧，每一个小网格都具有与其相关的单个的对象；图3显示了图2的小网格，其中根据本发明填充了丢失的信息；图4显示了从本发明的一个最佳实施例产生的一种健全的图象；图5A显示了图1的一个帧中表示的对象的深度方面和物理位置的上方视图；图5B显示了一个健全图象，它表示了从本发明的一个最佳实施例产生的图5A的对象设置和深度方面；图6A显示了图1的一个帧中表示的物理对象的上方视图；图6B显示了一组立体图象，它们显示了从本发明的一个最佳实施例产生的图6A的对象设置；图7显示了本发明的一个最佳实施例的框图；且图8显示了闭锁填充所涉及的步骤。
参见图1，一组获得的视频(或胶片)图象被显示为帧101-107。这些帧中表示的图象可以由若干种方法获得。例如，可采用诸如录相机和计算机扫描装置的光-电子传感装置。类似地，这些图象可被产生在数字系统中，诸如基于通用的处理器的系统或个人计算机(PC)。另外，这些图象可利用上述方法的结合而产生，或者这些图象可从胶片图象提取的抽取。视频一词在此包括了所有上述的情况。
图1的帧可用暂态域中的一个图象序列表示。在此，例如，帧102-106表示了一个系列的略微不同的图象中的对象的一个连续过程，当在一个快速暂态序列中显示时，这些图象产生出其中这些对象平滑地运动的一个“画面”。
视频图象，诸如帧101-107中所显示的图象，可被数字化，其中数字信息(一组数字，它们与空域中的图象信息有直接的对应关系)被用来存储、操纵和/或再现图象。例如，一个显示的图象-诸如帧101，可由512乘640个象素组成，其中每一个象素都由一定范围的可能的亮度强度和颜色来表征。这些象素的特性每一个都包括了表示空域的一个具体的点处的图象的信息。
因此，帧101-107的图象可得到数字化，从而使空域信息得到保持，以由一个数字处理系统进行处理、操纵、存储和/或展现。例如，基于一种通用处理器的系统，诸如一个PC，可接受这样的数字化表示，以根据一个用户的希望来对图象进行处理。数字处理可包括对象识别，诸如通过采用上述的机器视觉技术。类似地，PC可处理数字化的表示，以操纵和显示该图象，诸如通过采用上述的视频发生技术。
然而，根据本发明的一个最佳实施例，数字图象处理包括了以一种新颖的方式采用的视频处理技术，从而从一个源图象提取、外插和/或内插新且有用的信息。随后，产生了一个视频图象，它包括了比可从源图象获得的简单空域数据更多的新的信息。
因此，本发明的一个最佳实施例采用了一种基于通用处理器的系统-诸如图7所示的PC700，它适合于通过采用机器视觉算法710和视频发生算法720来操纵视频图象信息。PC700表示与存储器(RAM)702耦合的处理器(CPU)701。RAM702提供了对与源视频图象以及从本发明的操作产生的任何视频图象有关的数字化图象信息的存储。PC700还适合于接受源视频的输入以及输出一个所产生的图象。当然，这种视频的接受和输出可以是数字形式的。或者，PC700可以适合于接受和/或输出模拟视频，诸如国家电视系统委员会(NTSC)兼容信号的形式的。应该注意的是，虽然显示了一个处理器，该系统可以是线路形式的，或者可以是一系列处理。
PC700还可包括提供与一个系统操作者的信息交换的操作者界面。这种信息交换可包括源和/或所产生的视频图象在一个适当的显示装置上的显示。另外，该信息交换可包括一种操作者相对于根据本发明的视频图象的产生而选择和/或输入的信息。
当一个图象序列随着时间而被分段时，当所希望的段的部分被其他的段所遮挡时，它们可不被定义。例如图1中的矩形段120，当圆110如图1所示地遮挡了它时可不被定义，段104和F162、段204C。本发明的要点，是以一种实际的方式填充丢失的信息的能力。
为了描述的目的，我们将从一些简单的情况开始，并推广到一般的情况下，如图8中所概括的。
图1中的背景108代表了最容易的情况。当圆110和矩形120移过背景108时，背景的不同区域被暴露。当背景不移动时，第一帧中的未定义的象素的值可通过看随后的帧中的相同的象素位置而被找到。这是一种直接的暂态查询。注意这种查询在时间上可以是向前或向后的。
图1中的矩形120提供一种更难的情况。当矩形移动时，我们不能在其他的时刻在相同的位置寻找矩形的一个值-该矩形不在那里。对于该矩形，我们必须确定其运动并随后在暂态查询中对这种运动进行补偿。对于每对随后的帧，我们分析数据的运动。这可借助区域(诸如MPEG运动估计)或借助象素或借助很多其他的方法来进行。这种运动应该在分段的图象上进行分析；否则，运动对象的运动可能进行干扰。例如，如果我们试图在圆仍然在帧中的情况下分析矩形的运动，我们可能被掷出。然而，我们不能在矩形没有被定义的情况下直接分析它的运动。因此，我们内插定义的区域的运动以完全定义该矩形的运动。这对应于图8的步骤801和803。可选地，所产生的运动矢量可能得到暂态平滑，以定义一种均匀的运动，如步骤802所示。
一旦已经确定的矩形的运动，我们就能够通过沿着运动矢量在时间上向前和向后地进行搜索，而暂态地查询丢失的值(步骤804)。一旦有关的象素被找到，它们就能够得到过滤以产生未定义的象素的值(步骤805)。这种过程得到重复，直到所有未定义的象素都得到填充。随后，可采用一些空间边缘清晰化处理(如步骤806所示)。
在此例中，运动是帧或帧的部分之间的变换。
在最一般的情况下，超出运动之外的变换可以得到确定；转动、平移、缩放、以及变形都可得到分析。在这些情况下，暂态相关的信息变得更为复杂。例如，如果发现了缩放变换，当前的象素可与其他帧中的一个象素的一部分或其他帧中的一组象素相关。在这两种情况中的任何一种之下，所有暂态相关的象素都可被用来确定当前的值。考虑一个对象向屏幕移来，该对象将具有缩放变换-它随着时间而增大。在一个时刻t未定义的象素可在时刻t＋5与8个象素暂态相关。这8个象素随后可被空间滤波(即被平均)，并与来自其他帧的其他暂态相关数据相结合以产生在时刻t的一个值。
当然，也有没有可获得的暂态信息的时候-诸如当一个对象静止时。在这些情况下，在关键帧中的信息利用其他的方法(即手动或采用空间映象和滤波)而得到产生。一旦完成了一个关键帧，这种信息可暂态时间提供给其他的帧。
虽然本发明的一个最佳实施例利用了一种基于通用处理器的系统，应该理解的是可采用适合于根据本发明的操作的专用装置和/或通用装置的任何组合。例如，一种基于通用处理器的系统可得到适配，以实现本发明的具体的方面，而与其耦合的一个专用视频图象发生装置则实现其他的方面。
机器视觉算法710提供的机器视觉技术可用于区分在一个具体的源图象中出现的对象。例如，利用这些技术，本发明能够把帧102-106的圆110和矩形120彼此区分或与一个背景相区分等等。
用于区分一个图象的对象的具体方法可以是若干这样的方法中的任何一个。在最简单的形式下，一个操作者通过采用操作者界面可把感兴趣的具体对象分开，诸如通过识别借助具体对象识别的空域信息的一个子集。或者，该处理器系统可通过采用诸如可选的知识数据库711的基于知识的系统，而区分一个图象中的对象。类似地，该处理器系统可访问一系列的帧以通过结合整个该系列的帧中的空域数据而区分具体的对象。后两种方法的优点在于需要很少或不需要操作者的输入来区分对象。
来自在图象内区分的对象，可选择将要对其或为其进行图象修正的具体对象。例如，一个操作者可识另将要被本发明操纵的具体对象图象。类似地，本发明可根据诸如一个对象从帧到帧的相对运动的信息，而进行一种确定。当然，所有的对象都可被用于图象修正，如果希望的话。
随后，根据本发明的一个最佳实施例，机器视觉算法710跟踪一个画面的所有帧(诸如帧序列102-106)中的选定对象，如此，该处理器系统被用来区分整个帧系列中的各个选定对象。
当然，当根据本发明跟踪图象时，可能需要基于知识的系统或图象内插，其中选定的对象之一被另一对象所遮挡。例如，在帧104的圆110和矩形120根据本发明而得到跟踪的情况下，处理器系统可能通过参照矩形的未遮挡部分和内插它们之间的区域而进行了有关矩形120的存在和所在的一个判定。另外，或或者，本发明可通过参照一个序列中的其他的帧，而对该系列的帧中的一个帧中的一个对象进行跟踪。例如，矩形120在帧104中的存在和所在可从矩形120在帧103和105中的存在在所在而得到内插。
从通过跟踪画面的各个帧中的各个选定对象而收集的信息，各个帧的图象可被分解成“小网格”。本发明的小网格是这样的帧图象表示，即它具有所有的信息，只是与从其除去的一个具体识别的对象相关的信息除外。较好地，本发明的小网格是存储在RAM 702中的数字化的图象信息组，用于在源视频图象信息的操纵中得到利用。当然，这些小网格可以按照需要而作为图象被显示或输出，诸如通过PC700的操作者界面。
参见图2，其中显示了与图1中所示的画面的帧102-106有关的小网格图象。在一个帧的各个小网格中，在此与帧102相关的小网格202a、202b和202c包括了在整个画面中被跟踪的对象。应该理解的是，小网格202a-206a，虽然在此被称为包括“对象”，实际不包括被跟踪的对象，但包括了当所涉及的对象被除去时一个图象的其余部分。然而，在此术语对象的使用应该包括这样的一种背景图象。
图2的小网格包括图象中的间隙。例如，小网格202a-206a每一个都包括了间隙，在这些间隙除去的对象遮挡了背景。类似地，小网格204c包括了矩形120中的一个间隙，在那里其一个部分被该帧图象中的圆110所遮挡。应该理解的是，这些间隙是由于图象的两维表示造成的信息缺乏而产生的。
虽然在开始时不是可从一个画面的各个图象中获得的，本发明用于提取有关各个小网格的各个对象的信息。上述基于知识的系统或图象内插技术可被用来填充由于一个对象的遮挡而丢失的信息。较好地，为了提供有关小网格图象的丢失部分的信息，本发明可参照序列中的、其中感兴趣的信息未被遮挡的其他帧。例如，从小网格203的图象中丢失的信息可从小网格202a和/或204a内插。当然，对从画面中的邻接小网格内插丢失信息是没有限制的。来自与丢失信息有关的任何小网格的信息都可根据本发明而得到使用。
当一个图象序列随着时间而被分段时，所希望的段的部分在它们被其他段所遮挡时可能未被定义。例如，图1中的矩形段120在圆110如图1所示地已经遮挡它时未被定义，以及段104和图2及段204c。本发明的基本之处是以一种实际的方式填充这种丢失的数据。
为了展示的目的，我们开始于某些简单的情况并推广到一般的情况，如图8所概括的。
图1中的背景108代表了最容易的情况。当圆110和矩形120移过背景108时，背景的不同区域被暴露。当背景不移动时，第一帧中的未定义的象素的值可通过看随后的帧中的相同的象素位置而被找到。这是一种直接的暂态查询。注意这种查询在时间上可以是向前或向后的。
图1中的矩形120提供一种更难的情况。当矩形移动时，我们不能在其他的时刻在相同的位置寻找矩形的一个值-该矩形不在那里。对于该矩形，我们必须确定其运动并随后在暂态查询中对这种运动进行补偿。对于每对随后的帧，我们分析数据的运动。这可借助区域(诸如MPEG运动估计)或借助象素或借助很多其他的方法来进行。这种运动应该在分段的图象上进行分析；否则，运动对象的运动可能进行干扰。例如，如果我们试图在圆仍然在帧中的情况下分析矩形的运动，我们可能被掷出。然而，我们不能在矩形没有被定义的情况下直接分析它的运动。因此，我们内插定义的区域的运动以完全定义该矩形的运动。这对应于图8的步骤801和803。可选地，所产生的运动矢量可能得到暂态平滑，以定义一种均匀的运动，如步骤802所示。
一旦已经确定的矩形的运动，我们就能够通过沿着运动矢量在时间上向前和向后地进行搜索，而暂态地查询丢失的值(步骤804)。一旦有关的象素被找到，它们就能够得到过滤以产生未定义的象素的值(步骤805)。这种过程得到重复，直到所有未定义的象素都得到填充。随后，可采用一些空间边缘清晰化处理(如步骤806所示)。
在此例中，运动是帧或帧的部分之间的变换。
在最一般的情况下，超出运动之外的变换可以得到确定；转动、平移、缩放、以及变形都可得到分析。在这些情况下，暂态相关的信息变得更为复杂。例如，如果发现了缩放变换，当前的象素可与其他帧中的一个象素的一部分或其他帧中的一组象素相关。在这两种情况中的任何一种之下，所有暂态相关的象素都可被用来确定当前的值。考虑一个对象向屏幕移来，该对象将具有缩放变换-它随着时间而增大。在一个时刻t未定义的象素可在时刻t＋5与8个象素暂态相关。这8个象素随后可被空间滤波(即被平均)，并与来自其他帧的其他暂态相关数据相结合以产生在时刻t的一个值。
当然，也有没有可获得的暂态信息的时候-诸如当一个对象静止时。在这些情况下，在关键帧中的信息利用其他的方法(即手动或采用空间映象和滤波)而得到产生。一旦完成了一个关键帧，这种信息可暂态时间提供给其他的帧。
或者，本发明可通过引用具体的帧(而不是一个画面的那些帧)的信息，来内插丢失的信息，或者该信息可被手工着色或从直接输入以外的来源获得。一旦输入了数据的一部分，该系统就能够利用该数据来完成3D模型。在此，例如，基于处理器的系统可利用一种基于知识的系统，以引用可获得的数据并从其产生兼容的填充数据。在丢失的信息是一个均匀图象的一部分-诸如小网格202a-206a的背景，填充数据的产生是必须的。然而，当图象不是均匀图象时，填充数据的产生可能要求根据丢失部分周围的图象信息来进行信息外插。
一旦产生了填充数据，小网格的对象可被完成，从而使各个小网格包括有关帧图象的边界内的各个对象的图象的完整信息。参见图3，图2的小网格得到了显示，它们包括所产生的填充数据。在此小网格302a-206a，302b-206b，以及302c-206c分别对应于小网格202a-206a，202b-206b和202c-206c，这些小网格又对应于图1的帧102-106。
应该理解的是，通过利用可从本发明的小网格获得的信息，图象对象能够得到操纵，从而通过诸如采用视频发生算法720，以产生与源图象非常不同的所产生的视频图象。例如，对象可相对彼此和/或背景而移动，而不造成在所产生的图象上出现洞或间隙。类似地，根据本发明对象可被完全除去，同时仍然产生完整的图象。另外，本发明提取的信息可被用于产生原来的帧，诸如将要被暂态置于图--的画面之间的那些帧。在此所产生的图象可被用来提供显示例如对象的更为平滑的运动的一个画面。
另外，本发明提供了足够的信息，从该信息可确定和显示图象的三维方面。例如，通过在上述图象对象的跟踪中取得的信息，可以容易地想到当矩形120和圆110通过画面时矩形120被设置在比圆110距该有利点更远的一个平面内。这是显然的，因为圆110必须被设置在距观看者更近处以在对象通过时遮挡矩形120。
另外，具有了有关各个小网格因而各个帧的各个对象的完整信息，本发明可确定各个对象的三维平面方面。例如，各个对象从帧到帧的相对大小信息可被用来确定对象在整个画面中进入或出来的运动。这种信息与对象彼此的相对平面信息相结合，即使在一个对象未遮挡另一的情况下，也可被用来外插对象的相对平面。
本发明可以以若干方式中的任何一种来利用上述信息。通过与上述确定的相对平面信息相结合地提供深度信息，图象可被给予三维图象增强。例如，通过采用视频发生技术，诸如描绘，代表对象投向的阴影的图象阴影处理可被用来产生一种三维效果。
这种阴影处理的结果被加到帧104的图象的结果被显示在图4中。从图4的图象，应该理解的是，单独的深度信息的提供虽然产生了一种比两维源图象健全得多的三维光学效果，但也未提供象一个人实际所能够观看到的那样健全的图象。这是由于出现在该图象中的对象是平坦的图象，它们根据上述的深度信息而被彼此相距地设置。
因此，根据本发明的一个最佳实施例，除了深度信息之外，对象本身被给予了深度。这是通过诸如三维计算机模型处理的视频发生技术而实现的。在此，例如，处理器系统可产生表示对象的全部形状的一种三维连线帧。随后，如在本发明的小网格中描绘的该图象信息图象信息可被围绕在这种连线帧周围以给予对象一个深度方面。
当然，根据本发明也可以采用上述三维模型处理以外的方法，以给予对象一种深度方面。例如，对象阴影处理和高调处理可根据一种视频发生技术而得到实现，以模拟一个具体对象的深度。
在为小网格的各个对象给出了一个深度方面之后，本发明可利用该小网格信息来提供一种健全的产生图象。参见图5A，其中显示了具有深度方面的帧104的矩形120和圆110的一个上方视图。从此视图，可以看到圆110被倾斜以使圆的顶部比底部更接近背景。类似地，可以看到矩形仍然是纵向的，但围绕在了一个连线帧模型周围(即一个ovular柱面的左边)。当然，图5A所示的对象的方面可以是任意的，且实际上可以包括使用任何图象操纵技术。
参见图5B，其中显示了如图5A中显示的采用小网格的健全信息而产生的图象。如在图4的图象中，阴影已经被加到所产生的图象上以产生一种三维光学效果。然而，应该理解的是，与图4的图象不同，图5的图象包括了表示更为健全的对象的深度方面的阴影处理。这种阴影处理以圆110和矩形120的矩形影子以及矩形110离开光源的弯曲造成的其面上的影子的畸变的形式来表现其自己。
除了提供如上所述的更为健全的两维图象的能力之外，本发明还被用于产生立体图象。利用从本发明的小网格获得的信息，对象可得到操纵，以产生相关的所产生的视频图象组，这些图象当被同时观看时提供了牢固或深度的效果。例如，本发明可利用小网格信息并与重叠的视频发生技术相结合，以产生两个新的视频图象，其中各个图象的对象以略微的变化重叠。利用如上所述的深度信息，本发明可确定一个适当的量，以调节各个产生的图象内的各个对象的设置，以当略微不同的图象被提供给观看者的两眼中的每一只眼睛时产生深度的感觉。这种三维感觉是由于图象内的对象的设置所引起的视差的小的差别而获得的。
参见图6A，其中显示了加有上述健全深度信息的对象圆110和矩形120可如何被物理放置的一个上方视图。还显示了与对象的观看者的左和右眼有关的投射视线。从该图可以看到，存在与观看者的左和右眼相关的一个略微的位移。由于与各眼相联系的视点略微不同，这种位移造成了视差的差别。
通过获得有关各个小网格的全部对象信息，本发明可产生图6A所示的与各眼的视点相关的一种图象。因此，提供圆110和矩形120的略微不同的重叠的两个图象可根据本发明而得到产生，如图6B所示。当观看者的左和右眼各被提供了一个图象时，实现了立体的视觉，因为各眼的视点(包括视差的不同)被相关的眼所准确而独立地再现。
应该理解的是，根据本发明实现的立体三维视觉是根据本发明从单个的两维源图象导出的。当然，虽然在图6B中未显示，诸如上述阴影处理的额外的健全信息可被包括在该立体图象中以进一步增强三维表示的效果。
虽然结合一个序列或画面的源图象描述了本发明的一个最佳实施例，应该理解的是，一种替换实施例可利用内插技术和/或如上所述的基于知识的系统，以提取有关一个单个的帧的丢失信息。因此，本发明可被用来提供一种增强的图象，而不参照一系列的源图象。
类似地，虽然在此已经讨论了使用一个单个的源图象或一系列的源图象，应该理解的是，本发明可结合多个源图象而得到利用。例如，经过视频摄象机而获得的一个源图象可与一个基于处理器的系统所产生的一个图象相混合，以产生根据本发明的一种立体的图象组。
另外，应该理解的是，虽然已经讨论了一个最佳实施例，其中有关对象的信息得到提取以产生具有与各个对象相关的完整对象信息的小网格，也可以采用部分的对象信息。例如，由于提供具有适当的视差所需的信息通常只要求少量的有关遮挡的对象部分的额外信息，根据本发明可在所用的小网格不具有完整的对象信息的情况下产生立体图象。
虽然已经详细描述了本发明及其优点，应该理解的是，在不脱离如所附权利要求书所限定的本发明的精神和范围的前提下可以进行各种改变、取代和替换。
权利要求
1.用于对一个图象源提供的一个图象序列进行数字处理的一种系统，所述系统包括用于区分所述源图象中表示的对象的装置；用于根据所述区分的对象把所述源图象序列分解成图象小网格的装置，其中每一个所述图象小网格基本上只包括有关一个相关的区分的对象的信息；用于部分地从由所述源图象序列间接确定的信息确定有关选定的所述区分对象的某些丢失信息的装置；用于向所述图象小网格补充至少一部分所述确定信息的装置；以及用于操纵所述图象小网格以产生一序列的所产生的图象的装置-这些图象得到增强以包括所述确定的丢失信息。
2.根据权利要求1的系统，其中所述区分装置包括通过参照所述源图象而区分所述对象的机器视觉技术。
3.根据权利要求2的系统，其中所述区分装置包括用于通过参照多个帧的所述序列的图象区分所述对象的装置。
4.根据权利要求3的系统，其中所述区分装置包括用于通过所述系列的图象帧来识别图象数据的结合的装置。
5.根据权利要求1的系统，其中所述确定装置包括用于从所述系列的另一图象帧外插与所述系列的一个图象帧的一个具体区分对象相关的所述确定信息的至少一部分的装置。
6.根据权利要求1的系统，其中所述确定装置包括用于通过参照可从与所述确定信息相关的一个图象帧获得的信息而外插所述确定信息的至少一部分的装置。
7.根据权利要求6的系统，其中所述外插装置包括对一个基于知识的系统的引用。
8.根据权利要求1的系统，其中所述确定装置包括用于添加至少一部分外部数据的装置。
9.根据权利要求1的系统，其中所述外插装置包括用于调节来自另一小网格的信息的装置。
10.根据权利要求1的系统，其中所述操纵装置包括用于根据一种预定的图象产生技术利用所述图象小网格的装置。
11.根据权利要求10的系统，其中所述预定图象产生技术包括从具有以下组成的组中选出的至少一种技术色度键控；图象合成；图象重叠；描绘；图象过渡；以及计算机图象发生。
12.根据权利要求10的系统，其中所述所产生的图象包括所述源图象的三维增强。
13.根据权利要求12的系统，其中所述三维增强包括相对于所述对象的一种深度方面的确定信息。
14.根据权利要求12的系统，其中所述三维增强包括一种立体图象。
15.根据权利要求14的系统，其中所述源图象是在没有三维信息的情况下获得的。
16.根据权利要求1的系统，其中所述装置是在一种基于通用处理器的系统中实施的。
17.用于对一种图象源提供的图象序列进行数字处理的一种方法，所述方法包括以下步骤区分所述源图象中表示的对象；根据所述区分的对象把所述源图象序列分解成图象小网格，其中每一个所述图象小网格基本上只包括有关一个相关的区分的对象的信息；部分地从由所述源图象序列间接确定的信息确定有关选定的所述区分对象的某些丢失信息；向所述图象小网格补充至少一部分所述确定信息；以及操纵所述图象小网格以产生一序列的所产生的图象-这些图象得到增强以包括所述确定的丢失信息。
18.根据权利要求17的方法，其中所述区分步骤包括以下步骤通过参照所述源图象区分所述对象。
19.根据权利要求18的方法，其中所述区分步骤进一步包括以下步骤通过参照所述图象序列的多个帧而区分所述对象。
20.根据权利要求19的方法，其中所述图象数据的结合通过所述系列的图象帧而得到识别。
21.根据权利要求17的方法，其中所述确定步骤包括以下步骤从所述系列的另一图象帧外插与所述系列的一个图象帧的一个具体区分对象相关的所述确定信息的至少一部分。
22.根据权利要求17的方法，其中所述确定信息的至少一部分进一步包括以下步骤通过参照可从一个图象帧获得的、与所述确定信息相关的信息而进行外插。
23.根据权利要求22的方法，其中所述外插包括访问一个基于知识的系统。
24.根据权利要求17的方法，其中所述确定步骤包括以下步骤添加至少一部分的外部数据。
25.根据权利要求17的方法，其中所述外插步骤包括以下步骤调节来自另一小网格的信息。
26.根据权利要求17的方法，其中所述操纵步骤包括以下步骤根据一种预定的图象产生技术利用所述图象小网格。
27.根据权利要求26的方法，其中所述预定图象产生技术包括从具有以下组成的组中选出的至少一种技术色度键控；图象合成；图象重叠；描绘；图象过渡；以及计算机图象发生。
28.用于对图象表示的一个输入序列进行处理的一种方法，所述方法包括以下步骤区分图象表示的所述输入序列中表示的对象；把图象表示的所述输入序列分解成子图象表示，其中所述子图象表示包括有关具体的所述对象的信息；确定有关所述子图象表示中包括的所述对象的附加信息；把至少一部分的所述确定信息添加到所述子图象表示上；以及对所述子图象表示进行处理以产生图象表示的一个输出序列。
29.根据权利要求28的方法，其中所述区分步骤包括以下步骤通过参照图象表示的所述输入序列而区分所述对象。
30.根据权利要求28的方法，其中所述区分步骤包括以下步骤通过参照一系列的图象帧而区分所述对象。
31.根据权利要求30的方法，其中所述区分步骤进一步包括以下步骤通过所述系列的图象帧识别图象数据的结合，其中至少一部分的所述结合数据与所述对象之一有关。
32.根据权利要求28的方法，其中图象表示的所述输入序列包括多个图象帧，且其中所述区分步骤包括参照所述多个图象帧的步骤。
33.根据权利要求32的方法，其中所述确定步骤包括以下步骤从所述多个图象帧外插所述确定信息的至少一部分。
34.根据权利要求28的方法，其中所述确定步骤包括以下步骤通过参照可从一个图象帧获得的、与所述确定信息有关的信息而外插至少一部分所述确定信息。
35.根据权利要求34的方法，其中所述外插步骤包括以下步骤引用一个基于知识的系统。
36.根据权利要求28的方法，其中所述操纵步骤包括以下步骤把选定的图象产生技术与所述被添加的子图象表示一起使用。
37.根据权利要求36的方法，其中对所述子图象表示的所述处理包括利用三维信息。
38.根据权利要求37的方法，其中所述三维信息包括立体图象信息。
39.根据权利要求38的方法，其中所述输入序列图象是在没有利用基本的三维信息的情况下获得的。
40.用于数字从基本上只具有两维空域信息的一个源图象产生一种输出图象表示的系统，该输出图象表示提供了改善的三维方面，其中与所述输出图象表示的三维方面有关的至少一部分信息是从所述源图象导出的，所述系统包括一个基于处理器的设备，它具有至少一个处理器和一个与所述处理器相连的一个存储器，其中所述基于处理器的设备包括用于接受所述源图象的一种输入数字化表示的一个输入端；存储在所述存储器中的分析指令，用于提供所述输入数字化表示的多个子集，且其中各个所述子集基本上只包括与所述源图象中出现的一个具体的对象有关的信息；以及用于提供某些所述子集的增强的装置，所述增强是添加所述某些子集丢失的信息。
41.根据权利要求40的系统，进一步包括用于产生一个3D模型的装置，所述3D模型包括增强的所述子集。
42.根据权利要求40的系统，进一步包括用于当在所述分析指令的控制下进行操作时提供作为选定的所述子集的一个函数的一种输出立体图象表示的装置。
43.根据权利要求40的系统，其中分析指令包括对一个知识数据库的访问以区分出现在所述源图象中的一个对象。
44.根据权利要求40的系统，其中所述分析指令包括对所述输入源图象中提供的多个图象帧的参照以区分出现在所述源图象中的一个对象。
45.根据权利要求45的系统，其中所述对所述多个图象帧的参照利用了在区分所述对象中通过所述图象帧对图象数据的结合。
46.根据权利要求40的系统，其中在所述分析指令的控制下工作的所述基于处理器的设备对所述子集至修饰以包括附加的信息。
47.根据权利要求46的系统，其中所述附加的信息基本上完成了与同一个具体子集相关的一个对象有关的信息。
48.根据权利要求46的系统，其中所述附加信息是至少部分地从可从所述源图象获得的信息外插的。
49.根据权利要求46的系统，其中所述附加信息是至少部分地从所述源图象以外的信息外插的。
50.根据权利要求40的系统，其中在所述分析指令控制下工作的所述基于处理器的设备提供了有关所述对象在所述源图象内的相对位置的信息。
51.根据权利要求50的系统，其中所述最后提到的信息被所述发生指令用来提供所述输出图象表示。
52.根据权利要求40的系统，其中在所述发生指令的控制下工作的所述基于处理器的设备至少部分地通过操纵所述子集而产生所述输出图象表示，以包括一种三维方面。
53.根据权利要求52的系统，其中所述三维方面是从具有以下组成的组中选出的阴影处理；高调处理；以及三维模型处理。
54.根据权利要求52的系统，其中所述操纵包括采用从具有以下组成的组中选出的视频发生技术色度键入；描绘；合成；重叠；以及模型处理。
55.根据权利要求40的系统，其中所述输出图象表示包括一个立体图象集。
56.用于从一个两维图象数字地产生一个立体图象对的系统，其中有关所述立体图象对的至少一部分的视差信息是从所述两维图象导出的，所述系统包括一个输入端，用于接受所述两维图象并把所述两维图象中提供的对象图象分离成分立的图象小网格，其中所述输入端接受相关的两维图象组成的一个画面并跟踪整个所述画面中的所述对象图象以把所述两维图象中提供的对象图象分离成所述分立图象小网格，所述输入端还根据所述相关图象的画面提供所述分立图象小网格的所述对象图象；以及一个输出端，用于从所述分立图象小网格产生所述立体图象对，其中所述立体图象对包括所述输入端提供的至少部分的所述对象图象。
57.根据权利要求56的系统，其中所述输入端通过参照所述两维图象中的其他图象来提供所述对象图象。
58.根据权利要求56的系统，其中所述输出端利用发生装置来增强所述立体图象。
59.根据权利要求58的系统，其中所述增强包括从具有以下组成的组中选出的图象操纵阴影处理；以及高调处理。
60.根据权利要求56的系统，其中所述发生装置包括从具有以下组成的组中选出的至少一种发生装置重叠；色度键入；描绘合成；计算机发生；向前看的处理；以及向后看的处理。
61.用于把2D图象的一个输入序列转换成一种3D表示的一种方法，所述方法包括以下步骤把所述输入图象序列分割成多个输入序列；用从所述输入图象序列导出的信息提供给所述分割的图象序列；以及为某些所述图象序列提供一种3D模型，所述3D模型包括所述提供的图象序列。
62.根据权利要求61的方法，进一步包括描绘所述3D模型的立体形式的步骤。
63.根据权利要求61的方法，其中所述提供步骤包括以下步骤处理来自所述输入序列的其他帧的信息；以及根据一组建立的规则校正所述其他帧的信息。
64.根据权利要求61的方法，其中所述信息是从所述输入序列内的、用于丢失的信息的其他信息提供的，且其中所述信息是由于所述分割而丢失的。
65.根据权利要求64的方法，其中所述信息是通过从以下的列表中选出的至少一种技术而提供的从一个外部服务添加的信息；来自一个向前看的序列组的信息；来自一个向后看的序列组的信息；来自一个查询表的信息；以及从上述一或多种技术至少部分地得到处理的信息。
66.用于把2D图象的一个输入序列转换成一种三维表示的一种系统，所述系统包括用于把所述输入图象序列分割成多个图象序列的装置；用于向所述分割图象序列提供从所述输入图象序列导出的信息的装置；以及用于为某些所述图象序列提供一种3D模型的装置，所述3D模型包括所述提供的图象序列。
67.根据权利要求66的系统，其中所述系统包括描绘所述3D模型的立体形式。
68.根据权利要求66的系统，其中所述提供装置进一步包括用于处理来自所述输入序列的其他帧的信息的装置；以及用于根据一组建立的规则来校正所述其他帧信息的装置。
69.根据权利要求66的系统，其中所述信息是从用于丢失信息的所述输入序列内的其他信息提供的，其中所述信息是由于所述分割而丢失的。
70.根据权利要求69的系统，其中所述信息是通过从具有以下组成的组选出的至少一种技术而提供的从一个外部服务添加的信息；来自一个向前看的序列集合的信息；来自一个向后看的序列集合的信息；来自一个查询表的信息；以及至少部分地从所述引用的技术中的一或多种技术得到处理的信息。
全文摘要
公布了用于从只具有两维空域信息的一个源图象产生具有增强的三维属性的图象的一种系统和方法。通过采用机器视觉技术的对象图象识别被用来识别源图象内的对象。随后,对象图象被分解成图象小网格,其中这些对象图象得到公司以包括丢失的信息。发生技术被用来把这些图象小网格重新组合成具有所希望的增强三维属性的图象。
文档编号G06T7/00GK1331822SQ99814631
公开日2002年1月16日 申请日期1999年11月18日 优先权日1998年11月19日
发明者托德·辛普森, 爱德华·C·凡夫特林, 戴维·A·斯普纳, 伦纳德·T·布拉顿 申请人:普什娱乐公司