由立体图像构成深度图像的中间图像的方法和装置的制作方法

专利名称：由立体图像构成深度图像的中间图像的方法和装置的制作方法
一个具有63个整画幅地，以“C”语言表达的源程序码的缩微平片附件以及一个整个的缩微平片。本文所具有的缩微平片附件提供的源程序码适用于在运行Unix操作系统的Sun MicrosystemSparc 10型计算机上实施本发明的一个实施例。
本发明涉及一种方法和装置，用于由一对立体图像通过内插中间图像并将其交插成一单个图像而构成一个深度图像。
制作有深度感觉的图像传统上利用摄影法来实现。合成与柱镜摄影法从理论研究和示范实验上已经有很长的历史，但是在商业上仅获得有限的成绩。指导合成和柱镜摄影法的很多基本概念已公知多年(参阅Takanori Okoshi的“三维成像技术”Academic Press，纽约，1976；以及G.Lippman的“E′preuves re′versibles，photographis integrals”Comptes Rendus，146，446-451，1908年3月2日)。术语合成摄影法是指整体图像是作为大量的极小的摄影图像元的集合而复合成的。每一个摄影图像元通过一个单独的小透镜而观察到。该小透镜通常是作为具有相同的各凸起的球形曲面的并合体的一部分，或者以另外方式在具有适当厚度的塑料片的前表面上形成的。该片实际上以紧密接触的方式与包含各摄影图像元的感光乳剂层相粘接或固定。柱镜摄影可以认为是合成式摄影的一种特定情况，其中各小透镜是作为沿竖直方向通过印制区全部范围的各柱面部分而形成的。对合成式摄影方式的最近的商业上的尝试是Nimslo照相机，其现在为香港的相机厂制造并作为Nishika相机销售。深度感是明显可见的，然而，所形成的图像深度真实感有限并且由于印制件受到摇动或者观察者相对印制件的位置改变时出现跳动的感觉。
制作柱镜相片的光学方法是由Okoshi介绍的。将照相机安装在滑轨上的滑座上，该滑轨使相机可沿与所需场景的方向垂直的水平方向移动。在相机进行顺次曝光期间，从一中心位置点到处在中心位置点任一侧的各下一位置点，以相等间隔移动的情况下拍摄一系列的照片。横向位置点与中心位置点相隔的距离取决于一个最大角度，该最大角度是柱镜材料在开始投射包含在相邻一个柱镜体之后的摄影图像元之前，可能投射的包含在任一指定的柱镜体之后的摄影图像元的角度。在图像的数目为偶数的情况下，不必包括来自中心位置点的画面照片。假如是包括来自中心位置点的一画面照片，则图像的数目将为奇数。包含在横向位置点之间并包含该横向位置点的图像的总数之和，将确定最终将包含在每一个柱镜体之后的摄影图像元的数目。
由这些图像中的每一个形成的底片然后放在一个装有与相机透镜具有相同焦距的透镜的放大器中。由于如前所述相机镜头在顺次的曝光之间已经横向移动，在原场景中的各图像的位置看起来横向移动穿过胶片幅面，因而，当连续的底片置于片门处时，被放大的图像距底片的位置也相对于放大器的框的中心横向移动。将由感光材料片构成的组合件放在放大器框上柱镜侧面面向放大器透镜，该与感光乳剂有关的感光材料与具有柱镜的适当厚度的透明塑料片的平直后侧面相接触，或者以另外的方式形成到它的另一侧，调节这个片在框上的位置，直到中心图像的象场定中在该装配件的中心，通过柱镜使由放大器透镜投射出的信息投射曝光到感光乳剂上。接着，将连续曝光的各底片置于片门，并且重新调节该组合件在框上的位置，以便使每个有关的图像重新定位到组合件的中心，进行另外的从放大器透镜投射的信息的曝光。当经柱镜塑料片将已经包含在各横向位置之间的所有图像以类似的方式曝光在感光乳剂上时，可以将该胶片从柱镜塑料片上分开并进行显影。假如，放大器透镜的孔径等于在交替的图像之间的横向移动的总量，将会发现在每个柱镜后面的空间为各感光图像元严密地充满。在本方法的最终一步是通过在感光乳剂层和柱镜塑料片的平直侧面之间再次利用直接的紧密接触，将感光薄膜和塑料片分离并且那样横向定位，使得经过柱状柱镜曝光形成的相邻图像的长条以相信的方式再次被定位在用于取景的柱镜之下。
理论上，一张合成的或柱镜摄的照片显示了无限数量的与每个小透镜或柱镜具有不同角度的视图。由于每个角度的视图必须具有一个相应的被曝光的感光乳剂或其它硬复制媒体的小的有限区域，故这是不可能的。因此，作为上限，视图的数目必须不得超过硬复制媒体的分辨率限值。在Nimslo照片中，在每个透镜后面的视图的数目限制为4个视图，其中的两个作为左边透视视图，剩余的两个作为右边透视视图。这就很好地低于常规的感光乳剂的分辨率限值，并且使得当观察者的头部横向移动时，仅考虑两种选择具有透视感的立体镜视图。
60年代和70年代，Eastman Kodak的研究人员和工程师在很多实验中还采用了光学多道投影方法，并且制备了一幅柱镜照片，其展示在Stockholders的1969年年度公报的前封面上。这种照片要有许多记录场景的交替视图的照相机，以便使每一透镜提供平滑过滤的透视感。存在多达21个不同角度的视图是可能的，并且其效果更为有效。这样图像记录的方法被称为“间接法”技术，因为最终的照片记录是由一系列的二维图像记录所间接派生的。
产生柱镜照片或深度图像的更现代的方法是采用拍摄方式获得同一场景的两个或多个空间分开的图像并将各图像数字化或者以电子学原理获取数字化的图像。该数字化的图像用于驱动一台打印机以便以电子学原理将该图像打印在一印制件上或透明媒体上，一个柱镜面板附着到该媒体上以便观察。这种产生深度图像的方法以美国专利5,113.213和序号为885 699的美国专利申请(Kodak Dkt 64374)为代表。
上述方法的一个问题在于，十分经常地要在远离印制地点的位置获得各个图像并且假如需要较多的场景的图像，以便提供深度的真实成，则获取的过程必须一再完整地执行。由于各图像是数字化的并且利用计算机处理以便印制，为了解决这个问题可能利用计算机通过使用内插产生额外需要的图像。然而，与目的物包藏内容有关的问题，常规的内插方法不合适。产生额外需要图像的方法介绍在美国专利申请07/722,713中。然而这种方案并不产生最好的中间图像，可能因为在寻找中间图像特征的过程中在进行多维寻找时，由于要多维寻找和要求图像平滑，而并不是总能找到最佳的解决方法。
上述系统带来的第二个问题是要存储多个图像，在这些图像中间要产生内插的中间图像。
所需要的是一个立体图像内插的系统，这种内插将在一对获取的图像之间产生多个中间图像，以便由于找到较多的涉及寻找的最佳的解。要求对较少的图像进行平滑处理，从而中间图像的质量较好。
本发明的一个目的是产生一个对观察者更有感染力的深度图像。
本发明的另一个目的是由一对立体图像产生几个中间图像。
本发明的再一个目的是限制沿水平方向的图像寻找过程，以便改进内插的图像质量和降低对利用图像平滑处理以填充图像间隙的需求。
本发明的再一个目的是在一次操作中沿竖直方向整体对齐各立体图像。
本发明实现上述目的是通过在一对立体图像之间进行内插运算操作，以便产生多个被用于产生一个深度图像的中间图像。内插运算包括推算各中间图像的矢量场。对一特定中间图像的推算包括限制对沿水平方向在两个图像之间的对应关系的寻找，使得该系统得到一个更佳的解，它因此不需要通过平滑处理来填充过多的间隙并且同时沿竖直方向使各图像整体对齐。
通过参阅构成本发明的一部分的附图，对结构和操作的细节在下文中所做更完整的介绍和提出权利要求，使这些目的和其它目的一起以及优点将会变得更清楚，其中相同的数字指相同的部分。


图1表示本发明的硬件组成部分；
图2介绍在对应关系处理过程中的二维寻找方式；
图3介绍在对应关系处理过程中的一维寻找方方式；
图4是本发明处理方法的方块图5介绍差异矢量场的处理。
含义如下，其中图中有关数字
10照相机
12模数转换器
14计算机
16显示装置
20像素
22中间图像
24图像
26图像
28矢量或直线
30二维区域
32二维区域
38水平轴线
50右数字图像
52左数字图像
54在左和右图像之间建立对应关系
56推算中间差异矢量场
58推算中间差异矢量场
60内插和交插中间图像
62深度图像
70选择中间差异矢量场的起始推算
72计算经滤波的图像频带和该经滤波的图像频带的偏导数的
数值。
74取中间差异矢量场的起始推算
76形成线性方程系
78解线性方程系
80改进到预期程度的中间差异矢量场的即时推算
82最高分辨率的即时等级
84逐步外推到下一个更精细等级的多级分辨率的递增即时等
级。
将中间的差异矢量场形成的推算量投影到具有即时较精细
分辨率等级的起始推算。
本发明用于就—对立体图像得到中间的各图像，使得可以产生一个深度图像；例如一个柱镜的或屏式(barrier)图像。如图1所示，利用常规的图像处理设备实施本发明。该设备包括一个或多个照相机10，它获取在胶片上的立体图像。照片图像利用常规的模拟一数字转换器12进行数字化。当然可以用一个电子照相机替换胶片相机和模数转换器。数字化图像被提供到一台计算机14，其按照本文所讨论的进行处理，以便产生各中间图像。该图像被交叠并提供给显示装置16。显示装置16可以是一台带柱镜的或片状屏式面板的CRT，或者可以是一相片或幻灯片印像机，其制备一种附着一柱镜状或片状屏式面板的相片。
为了得到最富感染力的深度感觉，希望产生具有最大数量的各种角度视图的深度图像。还希望使用光学方式记录的图像的数目降低到一对立体图像以及由这一对立体图像重新构成与所缺角度的视图(中间图像)相对应的图像。为了重新构成各中间图像，首先在该对立体图像之间建立对应关系。然后这些对应关系被用于通过内插处理法推算中间图像。在该对立体图像之间的对应关系确定由于相机透镜的位置差所引起的两个图像中的视在移动。通过研究当作一个矢量的一个点的位置变化，可以建立一个推算图像的方法，宛如一个相机被定位在两个实际相机之间的中间。不是所有的点都具有对应点，主要由包藏物决定，必须形成余量，以便利用这些形成点重新构成图像。这一矢量场通常称为“光流(optical flow)(参阅Robot Visron，B.K.P.Horn.TheMIT Press，19)。光流的公知特征之一是深度与光流向量的大小成反比。在这一情况下，在目标空间中产生零视差平面，在该处光流矢量大小为零，即例如背景的各个点不受相机位置的影响。
在形成中间图像22的一个像素20(见图2)时，第一步是求出一对图像24和26之间的对应关系。为了求出一对图像的对应部分，通过在中间图像中所形成的像素20的矢量或直线28用于指定在图像24和26上要予比较的不同区域。基本上在图像24和26上的入射点可以有规则地围绕二维的区域30和32移动，以寻找出在光谱和其它图像特征方面最高相互关联的区域。这些点一经找出，则该对应关系可用于内插计算中间像素20的数值。以二维方式在两个图像之间的对应关系并不具有单一的解，因此，按照图2中所说明的寻找方法可能并不会产生最好的解。此外，由于该解不是单值的，必须进行对图像的平滑处理，以便降低或消除在中间图像22中产生的噪声伪像。
当包含多个立体图像时，建立对应关系的方法可得到提高，而通过辨认两个图像属于同一场景可以改进该解。仅有的差别是各视图或各点的水平位移，由这些点获取各图像。代替如图2所示寻找一个二维区域，如图3所示，沿着图像的水平轴38进行一维寻找。
理解本发明的这一概念，可以更详细的方式说明利用本发明所解决的问题。
指定一对立体图像(从不同视点所摄取的场景的图像)，必须求出推算的中间图像(从某些中间的视点所摄取的图像)，并且通过交插中间图像以构成深度图像。为了推算中间图像，必须确立立体像对之间的对应关系，然后通过内插处理，用这些对应关系，推算出中间图像。场景坐标系统的轴线按照水平轴线、竖直轴线和深度轴线确定。视点的选择以这样一种方式来限定，使得该对立体图像的图像平面与跨越水平和竖直轴线的场景的平面相一致。用于得到一对立体图像所使用的各个相机假设被定位在平行于跨越水平和竖直轴线的场景的平面，而镜头位置的变化假设严格地沿水平方向发生。假设该对立体图像的每个图像的水平和竖直轴线与场景的水平和竖直轴线相一致。在这些假设下，在一对立体图像的图像之间的对应关系可以利用中间差异矢量场来表示其特征，该矢量场相对于各图像的准线，具有恒定的竖直分量，相对于场景中的各对应点的深度具有可变的水平分量。
为了解决这个问题，如下文所讨论的，构成一对的立体图像并由相机所摄的场景的右图像和左图像的总图像被数字化成为具有固定频谱带B的多带数字图像。右和左数字图像的每一频带被限定作为表示某些测量点的数字二维矩阵。这些点称为像素，取自传感图像上某些点Ω”的网格。在该优选实施例中，这一网格假设是一个矩形网格。指定在视点tR所取的并包含频带R1，···RB的右数字图像50(见图4)和指定在视点tL所取的并包含频带L1，···LB的深度图像的构成方法。下文予以介绍。首先，在54建立左右图像之间的对应关系，并且在56和58处在某些中间视点t1，···tK处分别建立中间差异矢量场(U1，V1)···(UK，VK)。然后，对每一对频带b＝1，···B和对每一个中间视点tK，K＝1，···K，在60处通过内插处理实现中间图像频带Ib.K的推算。最后对每个图像频带，通过交插中间图像频带来构成深度图像频带Db，以便产生深度图像62。
对于每一个K＝1，···K，在图5中表示了在中间视点tK推算中间差异矢量场(UK、VK的方法，并且按照如下的多级分辨过程予以介绍1)在70以最粗略的分辨率等级开始，即时推算中间差异矢量场(起始设定某些常数)；2)在72-82反复地改进即时的推算；3)在84投入下一个更精细的分辨率等级，以便在下一个更精细等级下实现中间差异矢量场的起始推算，该下一个更精细等级取作为即时对中间差异矢量场的推算基础；4)重复步骤2)和3)，直到达到最精细的分辨率等级。
最精细分辨率等级的专有的推算量取作为最终的中间差异矢量场的推算结果。
在76，在多级分辨率处理的每一等级上，形成一个有关于中间差异矢量场的即时未知的推算量的非线性方程系，然后在78通过求解，实现对中间差异矢量场的即时推算量的反复改进。与中间差异矢量场的未知即时推算量有关的非线性方程系，按照中间差异矢量场的即时未知的推算量，以与右和左各像素有关的各个量，和右与左图像的广义的空间偏导数来限定。这些量是通过利用滤波器φ1，···φF对右和左图像的每一频带进行滤波以及利用这些滤波量的空间偏导数而得到的。符号G用于各指数，每一个指数g∈G规定特定的频带和特定的滤波量。多级分辨率处理(参阅U.S专利申请631，750，结合本文可供参考)的确立围绕着多级分辨率的逐级提高的含意，在每一个较粗略的分辨率等级上，经滤波的右和左图像，它们的空间偏导数和中间差异矢量场的推算量都根据在更精细的分辨率等级下的网格的小网格来限定。
在某一指定的分辨率下，经滤波的右图像的频带，经滤波的右图像的频带的空间偏导数、经滤波的左图像的频带和经滤波的左图像的频带的偏导数都根据在尺寸为N′乘M′的图像平面上的各点Ω′的同一网格来限定。在同样的分辨率等级下，中间差异矢量场根据尺寸为N乘M的图像平面上的各点Ω的网格来限定(在如下的讨论中，有关竖直方向所取的空间偏导数将具有下标V，有关水平方向所取的空间偏导数将具有下标u)。为了在这一分辨率等级下构成非线性方程系，方法如下
对每一个规定一特定的滤波量和一特定的图像频带的指数g∈G，形成一个光流函数gt，该函数与作为推算的右经滤波图像频带与推算的左经滤波图像频带之间差值的网格Ω相对应。为了得到推算的右经滤波的图像频带，求出图像各点ΩR的网格，这些点取自视点tR，在该视点推算在场景中可见点的图像平面上的立体投影。它的从视点tK到图像平面上的立体投影是网格点Ω；然后在右经滤波的图像被限定到各点ΩR的网格处，由各点Ω′的网格对右经滤波的图像进行内插。推算的左经滤波的图像频带以类似的方式确定。为了得到图像各点ΩR的网格，网格Ω的每一个图像点移动某一量值，该量值等于由在该网格点所限定的被推算的中间差异矢量的系数(tR-tK/(tR-tL)值所标定的量值。为了得到图像各点ΩL的网格，网格Ω的每个图像点移动某一量值，该量值等于由在该网格点所限定的被推算的中间差异矢量的系数tK-tL)/tR-tL)值所标定的量值。
对于规定一特定滤波量和一特定图像频带的每一个指数g∈G，形成光流函数gt的空间偏导数gtu，该函数相关于与指数g相对应的中间差异矢量的即时推算结果的分量u，该指数是利用推算的右经滤波的图像频带的空间偏导数的系数(tR-tK)/(tR-tL)所标定的，以及利用推算的左经滤波的图像频带的空间偏导数的系数(tK-tL)/(tR-tL)所标定的网格Ω之和来限定的。为了得到被推算的右经滤波的图像频带的空间偏导数，求出图像各点ΩR的网格，各点ΩR取自在场景中可见点的图像平面上所推算的立体投影的视点tR，它的从视点tK到图像平面上的立体投影是网格点Ω；在右经滤波的图像的空间偏导数被限定到各点ΩR的网格处，然后对来自各点Ω′的网格的右经滤波的空间偏导数进行内插。为了得到推算的左经滤波的图像频带的空间偏导数，求出取自视点tL的图像各点ΩL的网格，该视点是推算在场景中的各可见点的图像平面上的立体投影的，它们的由视点tK到图像平面上的立体投影是网格各点Ω；然后，在左经滤波和图像的空间偏导数被限定在各点ΩL的网格处，对来自各点Ω′的网格的左经滤波的图像的空间偏导数进行内插。为了得到图像各点ΩR的网格，将网格Ω的每个图像点移动某一量值，该量值等于在该网格点处限定的被推算的中间差异矢量的系数值(tR-tK)/(tR-tL)所标定的量值。为了得到图像各点ΩL的网格，将网格Ω的每个图像点移动某一量值。该量值等于在该网 格点处限定的被推算的中间差异矢量的系数值(tK-tL)/(tR-tL所标定的量值。
对于每一个规定一特定滤波量和一特定图像频带的指数g∈G，形成光流函数gt的空间偏导数，该函数相关于与指数g相对应的中间差异矢量的即时推算结果的分量V，该指数是按照根据利用与指数g相对应的被推算的右经滤波的图像的频带的图像坐标系统的竖直分量有关的偏导数系数(tR-tK)/(rR-tL)所标定的，以及利用与指数g相对应的被推算的左经滤波的图像频带的图像坐标系统的竖直分量有关的空间偏导数系数(tK-tL)/(tR-tL)所标定的网格Ω之和所限定的。为了得到与被推算的右经滤波的图像频带的图像坐标系统的竖直分量有关的空间偏导数，求出取自视点tR的图像各点ΩR的网格，该视点是为推算场景的可见点的图像平面上的立体投影用的，它们的自视点tK到图像平面上的立体投影是网格点Ω；然后在与右经滤波的图像的图像坐标系统的竖直分量有关的空间偏导数被限定到各点ΩR的网格处，对来自各点Ω′的网格的右经滤波的图像的图像座标系统的竖直分量有关的空间偏导数进行内插。为了得到与被推算的左经滤波的图像频带的图像座标系统的竖直分量有关的空间偏导数，求出取自视点tL的图像各点ΩL的网格，该视点是推算在场景中的可见点的图像平面上的立体投影用的，它们的由视点tK到图像平面上的立体投影是网格各点Ω；然后在与在经滤波的图像的图像座标系统中的竖直分量有关的空间偏导数被限定到各点ΩL的网格处时，对来自各点Ω′的网格的左经滤波的图像的图像座标系统的竖直分量有关的空间偏导数进行内插。为了得到图像各点ΩR的网格，将网格Ω的每一个图像点移动一个量值，该量值等于由在该网格点处限定的被推算的中间差异矢量的系数值(tR-tK)/(tR-tL)所标定的量值。为了得到图像各点ΩL的网格，网格Ω的每一个图像点移动一个量值，该量值等于由在该网格点处限定的被推算的中间差异矢量的系数值(tK-tL)/(tR·tL)所标定的量值。
矩形网格Ω的每个非边界上的网格点被它的8个最邻近的点所包围，这8点限定了在图像平面上的8个不同的方向。对矩形网格Ω的每个边界上的网格点，仅对这8个不同方向中的某些方向存在最邻近的点。符号s用来标定在限定图像平面上的这8个不同方向中之一个方向的图像平面上的一个矢量。符号S用来标准这8个向量的集合。对于来自限定图像平面上某一特定方向的集合S的每个矢量s，作为一个接近中间差异矢量场的即时推算量的水平分量u的定向的导数的有限差分，求出中间差异矢量场的即时推算量的可变水平分量u的定向的平滑度的函数(s，u)。这个定向的平滑度函数(s，u)被限定在具有某种特性的矩形网格Ω的矩形小网格Ωs上，该特性即矩形小网格Ωs的每一个网格点在矩形网格Ω上都具有沿方向s最邻近点。在矩形小网格Ωs的每一个网格点处，该定向的平滑度函数(s，u)等于沿方向s在这一网格点的最邻近点处的中间差异矢量场的即时推算量的水平分量u的数值与在这一网格点处的中间差异矢量场的即时推算量的水平分量u的数值之间的差。
与中间差异矢量场的未知的即时推算有关的非线性方程系的构成是通过将对于由指数g∈G限定的每个滤波量和每个图像频带的光流函数gt和它的空间偏导数gtu、gtv与对于每个图像方向s∈S的定向的平滑度函数(s，u)一起以及与利用4种基本代数运算例如加、减、乘、除的某些恒定参数一起综合而实现的。
指定在右视点tR所取的并包含频带R1，···RB的右数字图像，和指定在左视点tL所取的并包含频带L1，···LB的左数字图像，下面可以讨论根据在中间视点tK得到的中间差异矢量场(uK，VK)的推算，在中间视点tK所取的并包含频带I1，k···IB.K的中间数字图像的推算方法。对于每一个图像频带b＝1，···B，中间数字图像频带Ib.k的推算量被限定作为由利用推算右数字图像频带的系数(tK-tL)/(tR-tL)所标定的，与由推算左数字图像频带的系数(tR-tK)/(tR-tL)所指定的和。为得到被推算的右数字图象频带，求出取自视点tR的图像各点ΩR的网格，该视点是推算在场景中的各可见点的图像平面上的立体投影用的，它们的由视点tK到图像平面上的立体投影是网格各点Ω；然后，对在右数字图像被限定到各点ΩR的网格算的，来自各点Ω″的网格的右数字图像频带进行内插。为了得到被推算的左数字图像频带，求出取自视点tL的图像各点ΩL的网格，该视点是推算在场景的各可见点的图像平面上的立体投影用的，它们的自视点tK到图像平面上的立体投影的网格各点Ω；然后，对在左数字图像被限定到各点ΩL的网格处的，来自各点Ω″的网格的左数字图像频带进行内插。为了得到图像各点ΩR的网格，将网格Ω的每个图像点移动一个量值，该量值等于由在该网格点限定的被推算的中间差异矢量的系数值(tR-tK)/(tR-tL)所标定的量值。为了得到图像各点ΩL的网格，将网格Ω的每个图像点移动一个量值，该量值等于由在该网格点处限定的被推算的中间差异矢量的系数值(tK-tL)/(tR-tL)所标定的量值。
为了更透澈地理解本发明的基本原理，下面进行更详细的解释。
在如下的内容中将研究更普遍的问题，某些符号做了改变。上述的在视点tR所取的并包含频带R1，···RB的右数字图像和上述的在视点tL所取的并包含频带L1，···LB的左数字图像在如下的内容中两者都用幅照(度)图像函数ζ(x，y，t)，ζ∈[x来表示。对一个固定的K＝1，···，K上述的在中间视点tK限定的中间差异矢量场(UK，VK)在如下的内容中用参数的速度矢量场推算{(uσ(x，y，tK))，u(tK))|(x，y)∈Ω，σ∈[1，∞]}来表示。一对立体视点{tR，tL}在如下的内容中用视点{t″。，···t″K″}的数更来表示，其中K″＝1。
我们将论述三维场景的图像和它们的在某一间隔T内的各视点处所取的空间偏导数。一般三维场景的起始图像是不连续的函数，而它们的空间偏导数并不是在不连续的各个点处限定的。不连续的各点经常是在图像中的最重要的各点之中并且不能轻易地被忽略不计。为了克服这些困难，起始的图像被处理作为广义的函数，它们的偏导数作为广义的偏导数。这些广义的函数根据无限可微分的函数的集合的某些子集合来限定。由集合产生的函数称为“试探函数”。然后通过对广义函数求值导出二级图像的参数族，该广义函数与根据取自该试控函数的集合的函数的特定参数族的起始图像有关。二级图像起始是可微分的，并且，通过对根据函数的这个特定参数族的偏导数的起始图像有关的广义函数的求值，可以得到它们的偏导数。下面介绍这个过程。
对于一个指定的视点t∈R(这里R是一维的欧几里德空间)的一个起始图像的构成的一种方式是将由场景中的物体反射的光投射到一称为“图像平面”的二维欧几里德空间R2上，然后对在图像平面R2中的每一点(x，y)的幅照度值ζ(x，y，t)进行鉴别。按照上述限定的函数将称为“幅照度图像函数”。假设在点(x，y)∈R2和视点t∈R的幅照度图像函数的数值ζ(x，y，t)对被成像的场景中该点的光亮度约成比例，任视点t对于每个(x，y)∈R2和每个t∈R，幅照光投射这样一点(x，y)上。通过改变图像形成过程的如下方面可以得到不同的幅照度图像函数ζ(x，y，t)，(x，y，t)∈R3(这里R3是一个三维的欧几里德空间)即对场景照明的光源的方向、该光源的颜色以及用于计算幅照度的光谱响应度函数。
假设每个幅照度图像函数ζ(x，y，t)局部地相对于勒贝格(Lebesgue)测量量在R3的dx，dy，dt是可积分的，因此可以形成一个连续的线性函数Γζ(广义的函数)，其限定在局部凸形的线性拓朴空间φ(R3)。该空间Φ(R3)由该集合R3具有致密载体的所有无限可微分的函数组成。这意指，对每一个函数φ∈Φ(R3)，存在一个紧密受约束的子集合(subset)Sφ∈R3，以便函数φ在该子集合Sφ的外侧的各点处等于零。空间Φ(R8)的拓扑结构是由一定的半模族限定的。由集合Φ(R3)产生的函数φ将被称为“试探函数”。在试探函数φ∈Φ(R3)范围内与幅照度图像函数相关的广义函数的数值利用如下的关系式来限定与不同的幅照度图像函数ζ(x，y，t)相关的广义函数Γζ合拼到该族{Γζ|ζ∈Ξ。这里，为了简化符号表示，符号ζ除了它的作为对这样一个幅照度图像函数的符号表示的一部分作用以外，还起限定与特定的幅照度图像函数ζ(x，y，t)相关的广义函数Γζ的指数(参数)的作用。符号Ξ标注各指数的集合。
在指定视点t∈R构成起始图像的另一种方式是鉴别在图像平面中的称为“特征点”的各点M(t)R2的集合，这是在由幅照度图像函数所表示的投射的光图形中的有效的各种变化产生的视点t，然后对每个特征点Xμ，Yμ，tμ)∈M(t)，指定特征值η(Xμ、Yμ、tμ)的情况下进行的。假设特征点
的集合是空间R3的紧密的子集合。如上述根据集合M限定的函数η(Xμ，Yμ，tμ)称为“特征图像函数”。通过改变用于选择特征点M的集合的范数和用于指定特征值η(Xμ，Yμ，tμ)的范数，可以得到不同的特征图像函数η(Xμ，Yμ，tμ)，(Xμ，Yμ，tμ∈M。集合M例如可以是如下4种类型的空间R3的子集合的有限组合三维区域、二维区域、一维边线和孤立的各点。
集合M的“Borel(博里)子集合”的族B≡B(M)应当意指包括每一个致密的M集合的M的子集合的最小的σ—有限的、σ—加性的族的诸元。令μ(B)为一个根据集合M的Borel子集合的族B限定的σ—有限的，σ—加性的和实值的测定量。特征图像函数η(Xμ，Yμ，tμ)，(Xμ，Yμ，tμ)∈M假定是μ—可测定的。并且借此可被用于形成一个在局部凸形的线性拓朴空间Φ(R3)中限定的连续的线性函数Γη(广义函数)。在试探函数φ∈Φ(R3)的范围内，与特征图像函数η相关的广义函数Γη的数值由如下关系式给定
将与不同的特征图像函数η(Xμ，Yμ，tμ)相关的广义函数Γη合并λ族{Γη|η∈H}中。这里为了简化符号表示，符号η除了它的作用是作为用于这一特征图像函数的符号表示的一个部分以外，还起限定与一特定的特征图像函数η(Xμ，Yμ，tμ)相关的广义函数Γη的指数(参数)的作用。符号H表示各指数的集合。
指定一个在局部凸形的线性拓朴空间Φ(R3)中限定的广义函数F，并指定各非负整数常数mx、my、mt，广义函数F的“广义的偏导数”
是在局部凸形的线性拓朴空间Φ(R8)中限定的广义函数
如下所述。在试探函数中∈Φ(R8)范围内的广义函数
是在试探函数φmx，my，mt∈Φ(R3)，φmx，my，mt(x，y，t)≡的范围内的广义函数F的数值。
一个“组合的广义起始图像函数”将被限定作为与幅照度图像函数相关的广义函数的广义偏导数与和特征图像函数相关的广义函数的广义的偏导数的线性组合。令λ≡{λζ，λη| ζ∈Ξ，η∈H}为一实值常数组合；令g(λ)为附加到组合λ的指数；并且令mg(λ)≡{mλ，x，mλ，y，mλ，t，mη，x，mη，y，mη，t|ζ∈，η∈H}为对应于常数λ的组合的非负整数常数的组合。那么，相应于常数λ的组合的综合的广义起始图像函数为在局部凸形的线性拓朴空间Φ(R3中限定的广义函数。在试探函数Φ∈Φ(R3)范围内与常数λ的集合相应的综合的广义起始图像函数Fg(λ)按照如下关系式给定并且被称为在试探函数φ的范围内的与常数λ的集合对应的综合的广义起始图像函数Γg(λ)的“观测量”。将与具有不同数值的常数入的集合相应的、综合的广义的起始图像函数Γg(λ)与该族{Fg(λ)|λ∈∧}合并。
这里符号λ表示所有不同的常数λ的集合的族，而符号g表示由利用表示G标示的各指数的集合的族∧得到的一对一的映像(mapping)。在如下的内容中，为了简化符号表示，出现在用于综合的广义的起始图像函数的符号表示中的自变量λ被省去了，并且使用符号Γg、g∈G替代标注它的符号Γg(λ)，λ∈∧。
假设有一个指定的固定试探函数ψ∈Φ(R3)，其将被称为“测度函数(measurement Fanctron)”(该测度函数ψ的一个实例后面给出)，令g∈G，那么对某一凸形边界的子组合ΩR2的每一点(x，y)(这样的点将称为“图像点”)，对每一个视点t∈T，和对参数λ∈(1，∞)的每一数值，在图像点(x，y)和视点t处的参数值σ相应的图像的分量gσ(x，y，t)的数值被确定作为在试探函数ψσx，y，t∈Φ(R3)的范围内，综合的广义起始图像函数的观察量Γg(ψσx，y，t)，要指出，为了简化符号表示，符号g用作对与参数值σ相对应的图像的组成部分的符号表示gσ的部分，此外它的作用是用作这样一个组成部分的指数。
具有每个组成部分gσ(x，y，t)，g∈G的参数矢量的计值函数将被称为“参数的可变视点的图像函数”，该组成部分是作为在试探函数ψσx，y，t∈Φ(R3)的范围内的、综合的广义起始图像函数Γg的观测量Γg(ψσx，y，t)的Ω×T集合范围内限定的，该试探函数对从[1，∞)的组合的每个参数值σ，利用关系式来限定。来自组合Ω×T的各点将被称为“视点变化的图像点”。与参数值σ∈[1，∞)相对应的和在视点t∈T所取的“图像”意指参数的视点变化的图像gσ(x，y，t)，(x，y，t)∈Ω×T的数值的群{gσ(x，y，t)|(x，y)∈Ω}。该与每个参数值σ∈[1，∞)相对应的和在一固定的视点t∈T所取的图像{gσ(x，y，t)|(x，y)∈Ω}的群{gσ(x，y，t)|(x，y)∈Ω，σ∈[1，∞)}将被称为在该视点t取的“参数的图像”。
参数的视点变化图像函数gσ(x，y，t)的每一个组成部分gσ(x，y，t)，g∈G是在域Ω×T中到处无限可微分的，并且它的对于变量x，y，t的偏导数可以得到，作为关于各偏导数的、组合的广义的起始图像函数Γg的观察量，各偏导数与利用关系式(2-4)限定的试探函数ψσx，y，t∈Φ(R3)的参数x，y，t相关。例如，参数的视点变化的图像函数gσ(x，y，t)的第一阶偏导数gσx(x，y，t)≡{gσx(x，y，t)|g∈G}，gσy(x，y，t)≡{gσx(x，y，t)| g∈G}的组成部分gσy(x，y，t)，gσy(x，y，t)，g∈G被给定作为对每一个(x，y，t)∈Ω×T，σ∈[1，∞)，在试探函数ψσx，y，t，ψσx，y，t∈Φ(R3)范围内的组合广义起始图像函数Γg的观察值Γg(ψσx，y，t)，其中并且ψx(x，y，t)，ψy(x，y，t)是与变量x，y有关的函数的偏导数。
令t-Δt-，t、t+Δt+∈R为3个顺次的视点(这里Δt-和Δt+是正的视点偏移增量)，并且令(x(t-Δt-)，y(t-Δt-))∈R2为在视点t-Δt-所取的场景中的某一点的投影，而(x(t+Δt+)，y(t+Δt+))∈R2是在视点t+Δt+取的某一点的投影。矢量цA(x，y，t，Δt-，Δt+，VA(x，y，tΔ-，Δt+))由关系式uA(x，y，t，Δt-，Δt+)＝(x(t+Δt+)-x(t-Δt-))/(Δt-+Δt+)，
(2-7)vA(x，y，t，Δt-，Δt+)＝(y(t+Δt+)-y(t-Δt-))/(Δt-+Δt+)，
(2-8)来限定，其中
x＝(Δt-x(t+Δt+)+Δt+x(t-Δt-))/(Δt-+Δt+)，
(2-9)
y＝(Δt-y(t+Δt+)+Δt+y(t-Δt-))/(Δt-+Δt+)，
(2-10)该矢量被称为场景投影的“平均速度矢量”，该投影在点(x，y)∈R3以及按照在视点t+Δt+和视点t-Δt-处的场景投影的视点t∈R上。仅在来自集合R2的那些点(x，y)处可以限定矢量(цA(x，y，t，Δt--Δt+)、VA(x，y，t，Δt-，Δt+)，集合R2是在视点t-Δt-和视点t+Δt+处可见的场景中的各点的投影。这样的图像点的群将用符号Ω(t，Δt-，Δt+)来代表。下面将限定在点(x，y)∈R2和视点t∈R处的场是投影的“瞬时速度矢量”(цI(x，y，t)，VI(x，y，t)。令Δt、Δt+为正的视点偏移增量而令W(x，y，t，Δt-，Δt+)为一集合，该集合等于一个包含(x，y)∈Ω(t，Δt-，Δt+)的平均速度矢量(цA(x，y，t，Δt-，Δt+)，VA(x，y，t，Δt-，Δt+)的单个基元(Single-element)的集合，并且否则等于一个空的集合(empty set)中。然后对于每一个正的视点偏置增量Δt＜δt(这里δt是一个正的实数常数)，集合W(x，y，t，Δt)由如下关系式来限定W(x，y，t，Δt)＝∪W(x，y，t，Δt-，Δt+)，
0＜Δt-＜Δt
0＜Δt+＜Δt
(2-11)而集合W(x，y，t)将被限定为W(x，y，t)＝∩w(x，y，t，Δt)，
0＜Δt＜δt
(2-12)其中符号w(x，y，t，Δt)意指集合w(x，y，t，Δt)的拓朴闭集(Closure)。假设w(x，y，t)对几乎每一个(x，y，t)∈R3是单个基元的集合。这种假设意指在集合w(x，y，t)不是单个基元的集合的情况下；包含各点(x，y，t)的集合R3的子集合具有一个等于0的勒贝格测定值。对于每一个点(x，y，t)∈R3，集合w(x，y，t)，是由一单个基元组成，该基元被选作为瞬时速度矢量(цI(x，y，t)，VI(x，y，t))的数值；否则选择零矢量作为瞬时速度矢量(цI(x，y，t)，VI(x，y，t))的数值。
假设函数цI(x，y，t)，VI(x，y，t)，(x，y，t)∈R3相对于在R3的勒贝格测量值是局部可积分的，并借此可以用于构成在局产啊凸形的线性拓扑空间Φ(R3)限定的连续线性函数(广义函数)。在试探函数φ∈Φ(R3)范围内的广义函数цI，VI的数值由下列关系式给定令(x，y)为来自Ω的一个图像点，t为来自T的一个视点，以及σ为来自[1，∞)的一个参数值；那么与在点(x，y)和视点t的参数值σ相对应的速度矢量(цσ(x，y，t)，Vσ(x，y，t)由下列关系式限定其中ψ是来自集合Φ(R3)的测度函数。要指出，如早先已经提到的，速度矢量(цσ(x，y，t)，Vσ(x，y，t))的竖直分量不依赖于图像点(x，y)并因此表示成Vσ(t)，而速度矢量将表示成(цσ(x，y，t)，Vσ(t))。与视点t∈T和参数值σ∈[1，∞)相对应的速度矢量{(цσ(x，y，t)，Vσ(t)|(x，y)∈Ω]的群将称为与参数值σ相对应的并在视点t所取的图像{gσ(x，y，t)|(x，y)∈Ω}的“速度矢量场”。与每个参数值对应的和在一固定的视点t∈T所取的图像{gσ(x，y，t)|(x，y)∈Ω}的速度矢量场{(цσ(x，y，t)，Vσ(t))|(xy)∈Ω的群{(цσ(x，y，t)，Vσ(t)|(x，y)∈Ω，σ∈[1，∞)}将称为在视点t所取的参数图像{gσ(x，y，t)|(x，y)∈Ω，σ∈[1，∞)}的“参数速度矢量场”。
令+0”＜t1”＜···＜tk”为从某些视点间隔T得到的视点的有限递增的序列，并且令t为出于相同视点间隔T中的一个视点。然后按照下述可以系统说明推算问题。给出一个在各视点tk”k＝o，1···k”；所取的参数化的图像序列{gσ(x，y，tk”)|(x，y)∈Ω，σ∈[1，∞)}，该序列将称为参数化的视点变化的图像序列”，并且指定视点t，求出参数化的矢量场{(цσ(x，y，t)，Vσ(t))|(x，y)∈Ω，σ∈[1，∞)}，其是在视点t所取的参数化的图像{gσ(x，y，t)|(x，y)∈Ω，σ∈[1，∞)}的参数化的速度矢量场{цσ(x，y，t)，Vσ(t))|(x，y)∈Ω，σ∈[1，∞)}的一个推算结果。
即使产生参数化的速度矢量场{(цσ(x，y，t)，Vσ(t))|(x，y)∈Ω，σ∈[1，∞)}的场景中的变化反映在参数化的视点可变的图像序列{gσ(x，y，tk”)|(x，y)∈Ω，σ∈[1，∞)}中，它们之间的相互关系也不必是单值的。相同的参数化的视点变化的图像序列可能与不同的参数化的速度矢量场有关，并且逆之亦真，相同的参数化的速度矢量场可以由不同的参数化的视点变化的图像序列得到。
本发明的方法包括确定与一指定的参数化的视点变化的图像序列相对应的参数化的速度矢量场的推算方法。为了使这种确定成为可能，对于要成像的场景和成像过程本身都必须做特殊的假设。下面介绍这些假设。根据这些假设而对参数化的速度矢量场的推算加以限制。那么对该推算方法的确定就归纳为解由对一给定的参数化的视点变化的图像序列的这些限制所产生的方程系。
令{gσ(x，y，tk”)|(x，y)∈Ω，σ∈[1，∞)}为在视点t”k，k＝0，1，···K”所取的一指定的参数化的视点变化的图像序列，其在视点间隔T内构成一个递增的序列，并且令t为在视点间隔T内的一个指定的视点。我们讨论求出做为一个参数化的视点变化的图像序列{gσ(x，y，t”k)|(x，y)∈Ω，σ∈[1，∞)}的函数的参数化的速度矢量场{(цσ(x，y，t)，Vσ(t))|(x，y)∈Ω，σ∈[1，∞)}的一个推算结果{(цσ(x，y，t)Vσ(t))|(x，y)∈Ω，σ∈[1，∞)}。
在如下的内容里，参数化的速度矢量场{(цσ(x，y，t)，Vσ(t))|(x，y)∈Ω，σ∈[1，∞)}的推算结果{(цσ(x，y，t)，Vσ(t))|(x，y)∈Ω，σ∈[1，∞)}的确定是按照满足某一限制的集合的数字化的矢量场。
这些限制是根据如下的假设
1.假设要成像的场景具有近于恒定的和近于均匀的照明，这意味着在场景中的每一个表面小片的入射光跨越空间间隔的变化是很小的并且主要是由于这些表面小片相对光源的方向性所引起的。
2.在场景中的每一个表面点的发光度假设是近于朗伯亮度分布，这意味着，其对于观察位置的依赖性是很小的并且可以被忽略。
3.如在前面部分已经提到的，假设在视点t∈R处在图像平面R2中的每一点(x，y)的辐照度ζ(x，y，t)ζ∈与在场景中的一点的辐照度约成比例1，该场景的点投影到在视点t的图像平面中的点(x，y)上，并且比例系数与点(x，y)和视点t的位置无关。
4.该场景假设形成在能反光的物体之上。对每个特征点(xμ，Yμ，tμ)∈M的用于选择特征点(xμ，yμ，tμ)∈M的范数和用于指定特征值η(xμ，yμ，tμ)，η∈H的范数假设代表物体的真实特性而与物体的空间位置无关。
5.一方面假设在场景中的各目标物体的各邻近点的速度是相似的，而另一方面，相对于视点是缓慢变化的。换句话说，假设在场景中的每个物体上表面各点的参数化的视点变化的速度矢量场平滑地变化跨越该空间间隔并越过视点位置。
令IIt为由如下关系式限定的空间R2的子集合IIt≡{(Δt-，Δt+)|(Δt-，Δt+)∈R2，Δt-+Δt+＞0，令Pt为集合t的一个子集合，并且令Gt＝G×Pt为在集合Pt中的集合G的笛卡尔积。集合Gt中的各基元由符号gt表示，并且该集合Gt假设是一个具有根据集合Gt的博里(borel)子集合的族B(Gt)限定的某一测定值dgt。在实际上，集合Gt是有限的，并且测定值dgt是在有限的集合Gt中的一点的测定值，但是使用更一般的方法以便达到表示的通用性。
令gt≡(g，Δt-，Δt+)∈Gt，σ∈[1，∞)，并令gt(x，y，t，цσ，Vσ)为由关系式
-gσ(x-Δt-uσ(x，y，t)，y-Δt-vσ(t)，t-Δt-))/(Δt-+Δt+)，
(3-2)来限定的函数，对于每个(x，y)∈Ω，其中(цσ，Vσ)≡(цσ(x，y，t)，Vσ(t))是与在图像点(x，Y)和视点t的参数值σ相对应的图像的速度矢量。这里，为了简化符号表示，符号gt用作对上述限定的函数(3-2)的表示符号gt的部分，另外，它的作用是作为这一函数的指数。
令(x，y)∈Ω为在视点t所取的作为场景中某点投影的一个图像点，其不属于所包含边界。物体的包含边界按照属于物体的一部分的场景中的各点来限定，其投影到图像的轮廓上。在这部分的开头所作假设1-4暗指函数gt(x，y，t，цσ，Vσ)的绝对值是很小的。因此使用函数(3-3)作为该函数的一部分是很自然的，它的最小值限定了与参数值σ相对应的图像的速度矢量(цσ(x，y，t)Vσ(t))的推算量。习惯于对函数(3-3)称为参数值σ和指数gt[2，12-14，18-21]对应的“光流限制”。要指出，假如视点偏移增量Δt-、Δt+近于零，那么对于一个大于或等于2的整数n，相对于速度矢量推算的分量
t)，σ≡σ(t)的函数
的n阶偏导数按照与(Δt-)n-1+(Δt+)n+1成比例的速率接近于零。特别是这暗指，当视点偏移增量Δt-，Δt+接近于零时，函数
σ)接近于一与速度矢量推算的分量
，σ相关的线性函数。
可容易地证明，速度矢量推算结果满
足如下方程系
根据该速度矢量，函数(3-3)获得它的最小值，其中函数(цσ(x，y，t)Vσ(t))
为与速度矢量推算的分量цσ和Vσ相关的函数(цσ(x，y，t)Vσ(t))的一阶偏导数。
令矢量(цσ(x，y，t)Vσ(t))按照如下关系式限定
σ(t)＝vσ(t)+Δvσ(t)。
(3-6)通过将关系式(3-4(的左侧展开为对速度矢量(цσ(x，y，t)Vσ(t))的台劳级数及通过将与速度矢量的分量цσ≡цσ(x，y，t)和Vσ≡Vσ(t)相关的函数gtσ(x，y，t，цσ，Vσ)的二阶和更高阶的偏导数设定为零，我们得到相对矢量Δцσ(x，y，t)，ΔVσ(t))的线性方程组，
其中，函数gσtu(x，y，t，цσ，Vσ)和gσtv(x，y，t，цσ，Vσ)是与速度矢量的分量Uц和Vσ相关的函数gσt(x，y，t，цσ，Vσ)的一阶偏导数。
我们首先假设与速度矢量的分量Uσ和Vσ有关的函数(gσt(x，y，t，цσ，Vσ)的梯度范数是比较大的；那么方程组(3-7)等效于关系式最后的关系式暗指，为了得到关于速度矢量(цσ(x，y，t)，Vσ(t))的推算结果(Uσ(x，y，t)，Vσ(t)的最小值而对函数(3-3)要求确定沿梯度(3-8)的方向的推算量的分量并且留下与未被确定的梯度(3-8)相正交的分量。
假如梯度(3-8)的范数是比较小的；那么方程组(3-7)就变得太稀薄(Weak)，并且为了得到关于速度矢量(цσ(x，y，t)，Vσ(t))的推算结果(цσ(x，y，t)，Vσ(t))的最小值而对于函数3-3的要求不再对该推算量强加限制。
上面的讨论启示我们为了很好地确定计算方法，需要对参数化的速度矢量场{(цσ(x，y，t)，Vσ(t)|(x，y)∈，σ∈[1，∞])的推算结果{(uσ(x，y，t)，Vσ(t))|(x，y)∈Ω，σ∈[1，∞}施加另外的限制。
令S≡{Sx，Sy)|(Sx，Sy)∈R2，Sx2+Sy2＝1}为在二维的欧几里德空间R2中的一单位圆，其关系到确定图像平面中的方向的每一个矢量S≡(Sx，Sy)∈S。假设集合S为具有某一均匀测度(基元)ds的可测度的空间，ds是在集合S的博里子集合的族B(s)中限定的。
令S≡(Sx，Sy)∈S，并且对每个(x，y)∈Ω令(S，цσ(x，y，t)为由如下关系式所限定的函数这里，符号代表有关变量x，y的函数的梯度。
令S≡(Sx，Sy)∈S，和令(x，y)∈Ω为在一视点t所取的一个图像点，是场景中的某一点的投影，该场景不越过沿方向S所包含的边界，这意味着对所有的足够小的正常数W，在场景中顺序的两个点属于同一个目的物体并且彼此足够接近第一个是在视点t的对图像点(x+wsx，y+wsy)的一个投影，而第二个是在视点t的对图像点(k，y)的一个投影。在这部分的开始所做的假设与暗指函数(S，σц(x，y，t))的绝对值是很小的。因此利用函数(S，цσ(x，y，t))2(3-11)，作为该函数的一部分是很自然的，它的最小值确定了对应于参数值σ的图像的速度矢量(цσ(x，y，t)，Vσ(t))的推算结果(цσ(x，t，t)；Vσ(t))。习惯上对函数(3-11)称为沿方向S[2，12-14，18-21]的“平滑度限制”。
最后，为了使计算参数化的速度矢量场{(цσ(x，y，t)，Vσ(t))|(x，y)∈Ω，σ∈[1，∞))的推算结果{(цσ(x，y，t)，Vσ(t))|(x，y)∈Ω，σ∈[1，∞)}的方法得到很好地限定，我们希望在光流限制和定向的平滑度限制不施加约束的情况下，对每个图像点(x，y)∈Ω和对每个参数值σ∈[1，∞)，要求速度矢量(цσ(x，y，t)，Vσ(t))的未知的推算量(цσ(x，y，t)，Vσ(t)之间的差值很小。通过计入如下函数可以实现这一点在该函数中，它的最小值确定了与参数σ相对应的图像的速度矢量(цσ(x，y，t)，Vσ(t))的推算量(цσ(x，y，t)，Vσ(t))。另外，函数(3-3)和(3-11)确定了光流和定向平滑度限制，只要与函数(3-12)和(3-18)的加权相对于与函数(3-3)和3-11)的加权是很小的。出现在关系式(3-12)、(3-13(中的初始推算量(цσ(x，y，t)，Vσ(t))在本部分稍后被限定。根据上述要求对在图像点(x，y)∈Ω和视点t的速度矢量(цσ(x，y，t)，Vσ(t))的推算量(цσ(x，y，t)，Vσ(t)x所施加的限制将称为“正则化限制”。
如早先说明的，即使是考虑到这部分开始所述的假设，光流和定向平滑度的限制在接近所包含的边界处也并不是真正有效的。本发明的计算参数化的速度矢量场的推算量的方法解决了上述困难，是通过以这样一种方式对与每个限制有关的加权进行调节，该方式使加权变小，无论何时该限制都不是正相符号的。在如下内容中，介绍怎样将确定光流、定向平滑度和正则化限制的函数式(3-3)、(3-11)、(3-12)和(3-13(组合为一个推算参数化的速度矢量场的函数。然后通过对由对这一函数有关的其一最优选数据产生的非线性方程组求解，计算该推算量。
下面介绍本发明的方法中为了得到速度矢量场的推算量使用的非线性方程系。在本发明的方法中。参数化的速度矢量场{(цσ(x，y，t)，Vσ(+))|(x，y)∈Ω，σ∈[1，∞)}的推算量的确定是按照这样一个参数化的矢量场，对该矢量场，光流、定向平滑度和正则化限制都被降到最低程度。以这样一种方式选择加权函数，在接近所包含的边界的每一个图像点，要满足如下要求无论何时光波限制得到不满足，与光流限制相关的每个加权函数就变小，以及无论何时定向平滑度限制不满足，相对于某一方向的与平滑度限制相关的每个加权函数就变小，该方向越过所包含的边界。用于表示接近一指定的图像点的所包边界出现的判据和用于表示接近一指定图像点的沿一指定方向越过所含边界的判据，根据参数化的速度矢量场的未知推算量的数值就能最有效地被限定。因此，很自然，参数化的速度矢量场的未知的推算量的数值必须在每一个加权函数中使用。另一方面，每个加权函数必须被处理，似乎它与参数化的速度矢量场的未知的推算量的数值无关，因为它仅规定了相应限制的相对的权，作为加权平均的一部分而非该限制本身。为了克服这些困难，引入参数化的速度矢量场的未知的推算量的两个复制量(copy)一个可变的和一个不可变的。在加权函数中，使用参数化的速度矢量场的未知的推算量的不可变的复制量的数值，而在各限制的函数中，使用该参数化的速度矢量场的未知推算量的可变的复制量的数值。然后将一个较普通的与能量最低化原理相反的变分原理应用到光流、定向平滑度和正则化限制的加权平均中，以便派生出该数字化的速度矢量场的未知的推算量的非限性方程系。该变分原理可以介绍如下。令(u，v)≡{(цσ(x，y，t)，Vσ(t))|(x，y)∈Ω，6∈[1，∞)}为参数化的速度矢量场的推算量的不可变的复制量，令(ц，V)≡{цσ(x，y，t)，Vσ(t))|(x，y)∈Ω，σ∈[1，∞)}为参数化的速度矢量场的推算量的可变的复制量，以及令参数化的矢量场＜Δu，Δv)≡{(Δцσ(x，y，t)，ΔVσ(t))|(x，y)∈Ω，σ∈[1，∞)}由下述关系式限定
(x，y)∈Ω，σ∈[1，∞).
(4-1)
假设沿与图像Ω的边界Ω相正交的方向的参数化的矢量场(ΔU，ΔV)的导数对于每个参数值σ∈[1，∞)和对于属于该图像边界Ω的每个图像点(x，y)都等于零。这将对各种类型的变量施加限制，这些变量可以被应用到参数化的速度矢量场的未知推算量的可变的复制量。
令
为分别按照规定光流、方向的平滑度和正则化限制的函数式(3-3)、(3-11)、(3-12)和(3-13)的加权平均限定的、参数化的矢量场(ц，V)，(ц，V)的函数，其关系式如下，其中，
Ω，σ∈[1，α]，gt∈Gt是一与相应于参数值σ和指数gt的光流限制相关的加权，它是独立的变量x，y，t和这些变量的函数贴
t)|一个函数；
σ∈[1，∞)，s∞S是一与沿方向S的平滑度限制相关的加权，它是独立的变量x，y，t和这些变量的函数
的一个画数；
(iii)γy，o′是规定用于正则化限制的加权的正的常数；
(iv)函数| uσ(x，y，t)|，(x，y)∈Ω，σ∈[1，∞)是矢量数值化的函数uσ(x，y，t)的一个范数，它是与函数uσ(x，y，t)的变量x，y有关的梯度，由下列关系式给定
(v)函数
σ∈[1，∞)，s∈S是按照关系式(3-10)限定的；
(vi)函数
Gt按照关系式(3-2)限定，以及
(vii)在图像点(x，y)∈Ω处的参数值σ∈[1，∞)相对应的速度矢量的起始推算的分量uoσ(x，y，t)，oσ(t)后面予以限定。
然后按照参数化的矢量场
限定参数化的速度矢量场的推算量，当参数化的矢量场
的数值恒等于参数化的矢量场
)时，根据该推算量，函数
得到一个局部的最小值，函数
被认为是参数化的矢量场
的函数并且取决于参数化的矢量场
。考虑关系式(4-1)，函数
可以以
的形式来表达。参数化的矢量场
)确定了对参数化的矢量场
的扰动，而函数
+Δ)代表对每次选择的参数化的矢量场
和它的扰动
Δ)的代价。那么参数化的速度矢量场的推算量就是参数化的矢量场
，当扰动
恒等于0时，对于该推算量实现了局部的最小代价。利用与作用于函数
的参数化的矢量场
有关的变量的计算，参数化的速度矢量场的上述限定的推算量
是如下各方程系的解其中函数
和
是与速度矢量推算的分量
和σ≡σ(t)相关的函数
的一阶偏导数。
为了选择与光流、定向平滑度和正则化限制相关的加权函数，利用关系式(4-2)根据某些条件限定的函数
，该条件是参数化的矢量场
恒等于参数化的矢量场
以及两者都等于按照非线性方程系(4-5)的解得到的参数化的速度矢量场的推算量
在这种情况下，函数
所取形式为令
为参数化的速度矢量场的一个推算量，它是按照非线性方程组(4-4)的解得到的。以这样一种方式选择每一个加权函数
在光流限制
不满足的情况下，对于位置接近所包含的边界的每个图象点(x，y)∈Ω，该光流限制
对函数式(4-5)的影响变得很小。与之相似，选择各加权函数
s∈S，使得在所含边界沿方向s被越过和定向的平滑度限制(s，
不满足的情况下，对于位置接近所包含的边界的每一个图像点(x，y)∈Ω，定向平滑度限制
对函数式(4-5)的影响变得很小。令图像点(x，y)∈Ω接近所包含的边界；然后同样产生两种结果
1.对于某些小的正的视点偏移增量Δt-和Δt+，在视点t投影到图像点(x，y)的场景中的该点，或者在视点(t-Δt-)处是可见的而在视点(t+Δt+)是不可见的，或者在视点(t+Δt+)处是可见的而在视点(t-Δt-)是不可见的。令(x1，y1)和(x2，y2)为场景中的这样一点分别向在视点(t-Δt-)和(t+Δt+)处所取的图像平面的投影。假如在视点(t-Δt-)处投影到图像点(x1，y1)的场景的该点的发光度明显地不同于在视点(t+Δt+)处投影到图像点(x2，y2)的场景中的该点的发光度，以及假如在场景中围绕以上各点的附近点发光度受到某些改变，那么以同样方式会遇到下面的情况
1.1.在视点(t-Δt-)处投影到图像点
的场景中的该点，和在视点(t+Δt+)处投影到图像点
的场景中的该点，一方面两者都属于所包含的目的物，而另一方面两者具有不同的发光度。假如上述各点在场景的目的物上占有截然不同的位置，其又引起出现包含的边界，可能发生后种情况。在这样一些条件下，某些函数
的绝对值变得很大。
1.2.在视点(t-Δt-)处投影到图像点
的、场景中的该点，以在视点(t+Δt+)处投影到图像点
的、场景中的该点，两者或者属于包藏的目的物或者属于被包藏的目的物。除此之外，对于某些不太大的矢量
在场景中顺序的两点中的一个点属于包藏的目的物，而另一个属于被包藏的目的物；第一个点是在视点(t-Δt-)投影的图像点
的一个点，而第二点是在视点(t+Δt+)处投影到图像点
的一个点。同样，对于相同的矢量
在场景中顺序的两点中的一点属于包藏的目的物，而另外一点属于被包藏的目的物第一个点是在视点(t-Δt-)投影到图像点
的一个点，而第二个点是在视点(t+Δt+)投影到图像点
的一个点(见图1)。在这样一种情况下，函数
的数值变得比较小，而某些函数
的数值以及某些函数
的数值变得比较大。这暗指某些函数gt∈Gt变大。假如与速度矢量的推算量的分量
和vσ≡vσ(t)相关的函数
的二阶和更高阶偏导数被忽略，则函数式(4-7)中的每一可以用如下的形式来表达其中函数
和
是与速度矢量的推算的分量uσ和vσ有关的函数
的一阶偏导数。对于与矢量
共线的矢量s≡(sx，sy)，s∈S，上面的评论暗指，由关系式来限定的某些函数
变大。
2.参数化的速度矢量场的推算量
(x，y)∈Ω，σ∈[1，∞)}在邻近图像点(x，y)处快速变化(见图2)，其意思是
2.1函数
的数值变大。
2.2倘若图像点(x，y)沿方向S越过所包含的边界，则函数(s，uσ(x，y，t))，s∈S的绝对值变大。
假如在前面部分开始所述的关于成像的场景和成像过程的条件被满足，在对某些gt∈Gt，函数
的绝对值很大，或者对某些gt∈Gt除了函数
的绝对值很大以外，函数| uσ(x，y，t)的数值很大的情况下，图像点同样靠近于包含的边界，而在函数
的绝对值很大、或者除了函数
的绝对值很大以外，某些函数
的绝对值很大的情况下，图像点(x，y)同样沿方向s越过所包含的边界。要注意，在函数
很大的情况下，图像点(x，y)不一定位于接近包含的边界。例如，它处在场景的目的物上，它的图像平面上的投影受到旋转或局部变形。还需注意，在某些函数(s，′gσt
限大的情况下，图像点(x，y)也不一定越过沿方向s包含的边界。例如，它可以越过由于结构或者照明的突然变化所产生的发光边界。
这些评论认为每一个加权函数
应当是相对函数
的绝对值和相对于乘以函数
的绝对值的函数
的数值的稳定递降的函数；而每一个加权函数
应当是相对于函数(s，
的绝对值和相对于乘以函数
的绝对值的某些函数
的绝对值而稳定递降的函数。
自然，要求或者与光流限制或者与定向平滑度限制相对应的加权函数中的每一个按照这样一种方式来选择，使得当无论何时限制函数变大时，加权函数和相应的在函数式(4-6)中作为被加数出现的限制函数的积。这就使得确定参数化的速度矢量场的推算量的非线性方程组(4-4)的解相对于参数化的速度矢量场的初始推算量的选择和相对于噪声变得更强。为了更详细说明，这些要求组成如下
1.对于gt∈Gt，该函数由下列关系式限定而在函数式(4-5)中作为被加数出现，要求该函数相对于函数(gσt
稳定地递增。换句话说，函数式(4-9)要求无论何时函数
递增时是递增的。
2.对于每一个s∈S，由下列关系式限定的和在函数式(4-5)中以被加数出现的函数相对于函数(s，
稳定地递增。换句话说，要求无论何时函数(s，
递增时，函数式(4-10)递增。对于每个gt∈Gt，加权函数其中r2、p2、q2是非负的实数常数。以及对每个s∈S，其中表达式
按照如下关系式限定而a2、c2、b2gt，gt∈GGt是非负的实数常数，这些都符合上述要求和在这部分早先所述的要求。
对每个参数值σ通过独立地解非线性方程组(4-4)得到参数化的速度矢量场
的推算量的计算方法事实上可能遇到困难，其在于方程组(4-4)一般可能有很多解。为了克服这一困难，与参数σ的不同数值对应的速度矢量场的推算量的数值通过施加如下的限制是连系在一起的要求参数化的速度矢量场
σ∈[1，∞)}的推算量对每个图像点(x，y)∈Ω和对每一个参数值σ∈[1，∞)是一个相对于参数σ的连续可微分的函数。所施加的对参数化的速度矢量场
∈[1，∞)}的推算量的附加限制，以边界条件的形式介绍如下
1、要求参数化的速度矢量场
∈Ω，σ∈[1，∞)}的推算量，当参数σ收敛于∞时，收敛于恒等于一指定的矢量常数
并且要求这种收敛在图像各点Ω的集合的范围内是均匀的。
2要求沿与图像Ω的边界Ω正交的方向的、参数化的速度矢量场的推算量的导数对属于图像边界Ω的每一个图像点(x，y)和对于每个参数值σ∈[1，∞)等于零。
令σ∈[1，∞)为一给定的参数值，并令Δσ为一极小的正实数值。考虑以上限制，可以按照如下表达式限定与参数值σ相对应的速度矢量场
的起始推算量对于每一个图像点(x，y)∈Ω，可以分别利用如下表达式近似得到正则化限制其中γu、γv是由下列关系式给定的正实数常数
γu＝γu，oΔσ.(4-17)
γv＝γv，oΔσ.(4-18)
通过限制
和
分别来替换在非线性方程系(4-4)中出现的正则化限制
σo(x，y，t))和
，以及根据关系式(4-11)和(4-12)分别限定加权函数
gt∈Gt和
方程系(4-4)变为相关于参数化的速度矢量场
Ω，σ∈[1，∞)}的未知的推算量的如下方程系
在这样一些条件下，即出现在利用关系式(4-2)限定的函数f
中的正则化限制
和
分别用限制
和
进行替换、而倘若加权函数
根据关系式(4-11)来限定，则加权函数βsσ
根据关系式(4-12)限定的参数化的矢量场
∈[1，∞)}和参数化的矢量场
y)∈Ω，σ∈[1，∞)}的函数
可以用按照如下关系式(其中符号ln代表自然对数函数，限定的相同的参数化的矢量场
的函数
来替换。
上述替换的含义是，无论何时当参数化的矢量场
恒等于参数化的矢量场
时，假如并且只有假如与参数化的矢量场
相关的函数
的每一个变量等于零，则参数化的矢量场(u，v)满足非线性方程系(4-19)。
要注意，当常数q2近于零时，以及当视点序列{t″k}k-0k″的相继的各视点之间增量接近零，函数
接近一个与参数化的矢量场
无关的函数，而求出参数化的速度矢量场的推算量的问题变成为能量最低化的问题。
令
为按照非线性方程系(4-9)的解得到的参数化的速度矢量场的推算量。下面我们研究接近这样一个解的非线性方程系(4-19)的情况。首先，考虑当图像点(x，y)从在所包含的边界以外的位置移到近于包含的边界时，光流和定向的平滑度限制方面的情况产生变化。然后，对光流和定向的平滑度限制与如在关系式(4-11)中规定加权函数
的参数r2、p2、q2的依存关系，以及与如在关系式(4-12)中规定加权函数βσs
的参数a2、c2、b2gt，gt∈Gt的依存关系进行研究。
令
∈[1，8)}为由关系式(4-1)限定的参数化的速度矢量场，那么，在该参数化的矢量场(u，v)的邻近区内，可以将函数
按照如下表达式展开为参数化的矢量场
的二次式
与指数gt∈Gt对应的光流限制
在非线性方程系(1-19)中利用表达式(4-22)来表示关于这个表达式，可以考虑如下的情况
1图像点(x，y)在包含的边界之外。那么函数(gtσ(x，y，t，
的数值可能变小。在这种情况下，函数式(4-22)的数值将接近函数式的数值。这又将使与对应于指数gt的光流限制
相关的非线性方程系(4-19)的两个被加数中的每一个相当于一个与函数
相关的线性函数，其具有的比例系数等于就第一个被加数来说的函数
和等于就第二个被加数来说的函数
2图像点(x，y)接近包含的边界。那么，函数(gtσ(x，y，t，
的数值可以增加。在该情况下即当函数(gtσ(x，y，t，
的数值小于函数
时，与光流限制
相关的二次式(4-21)的被加数是正的，这一事实指出函数式(4-22)将增加。在该情况下即当函数(gtσ
的数值大于函数
的数值时，与光流限制
相关的二次式(4-21)的被加数是负的，这暗指，函数式(4-22)将减少。因此当函数(
的数值等于函数
|2)时，函数式(4-22)达到它的最大值，
还可能发生函数
的数值变大。在这些条件下，如下的数值被降低；由关系式(4-24)所限定的函数式(4-22)的最大值，函数
的数值
(x，y，t)|2，是处在达到该最大值的情况下。上述状态可以在如下的情况下发生。
1包藏的目的物可将推算量
人为地限制在沿与所包含的边界正交的方向中。那么，通过沿与包含的边界平行的方向移动速度矢量的推算量
该光流限制可以起作用，以便降低函数
的绝对值。这又可以增加函数
的数值。
2由于光流限制的非线性的影响，或者由于在图像中存在噪声的影响，推算量
可能发散。
沿方向s∈S定向的平滑度限制
在非线性方程系(4-19)中用表达式(4-25)来表示。关于这个表达式，可以考虑如下的情况
1图像点(x，y)沿方向s不越过包含的边界。那么函数(s，uσ(x，y，t))2的数值可能变小。在这种情况下，函数式(4-25)的数值将接近函数的数值。这接着又将使与定向的平滑度限制
相关的非线性方程系(4-19)的被加数相当于该相对应限制的线性函数，具有的比例系数等于常数值1/a2。
2 图像点(x，y)接近沿方向s的包含的边界。那么函数(s，
的数值可能增加。在这一情况下即当函数
(x，y，t))2的数值小于函数
的数值时，与定向的平滑度限制相关的二次式(4-21)的被加数是正的，这一事实暗指函数式(4-25)将增加。在这一情况下，即当函数
的数值大于函数a2/(c2+b2(s，′gtσ(x，
的数值时，与定向的平滑度限制
相关的二次式(4-21)的被加数是负的，这一事实暗指，函数式(4-25)将降低。因此，当函数
的数值等于函数a2
的数值时，函数式(4-25)达到它的最大值
在这一情况下即当某些函数
∈Gt的数值大，如下的数值降低在该最大值，由关系式(4-27)所规定的函数式(4-25)的，函数
的数值a2/(c2
达到最大值。这样一种作用反映的事实在于，在这一情况下，假如规定沿这一方向s的速度矢量场的推算量的平滑度等级的函数
的数值是大的，则图像点(x，y)很可能越过沿方向s所包含的边界。
正如前面已描述的，正则化限制的作用在于各参数化的矢量场(u，v)之间进行鉴别，使该矢量场对光流和定向平滑度限制的加权平均给出最佳的数值，而没有使这些数值中产生任何明显的变化。实现这一点是通过向出现在非线性方程系(4-19)中的参数γu和γv分配小的数值。出于简化，下面给出的分析的原因，通过假设参数γu和γv等于0而记住非线性方程系(4-19)的解局部地是单值的，我们将忽略正则化限制。
出于上面的考虑，在紧接的部分中介绍的非线性方程系(4-19)的求解的过程可以看作是代表两个对立的限制的集合光流限制和定向平滑度限制的各函数之间力图实现良好的平衡。这部分地由于这一事实的结果，即由在紧接部分中介绍的非线性方程系(4-19)的线性化(5-16)所产生的二次式是正(恒)定的。
了解这一点并不困难，即通过增加出现在关系式(4-11)中的各参数r2、p2、q2的数值，我们将降低加权函数ασgt(x，y，t，
的数值。这将使在非线性方程系(4-19)中的平衡移向定向平滑度限制。为了恢复在光流和定向平滑度限制之间良好平衡，非线性方程系(4-19)将按这样一种方式起作用，即使对应于定向平衡度限制的函数
的绝对值降低，而使对应于光流限制的函数
∈Gt的绝对值提高。同样，通过增加出现在关系式(4-13)中的参数a2、c2，b2gt，gt∈Gt的数值，我们降低加权函数βσs(x，y，t，
的数值。这接着将在非线性方程系中的平衡移向光流限制。为了恢复在光流和定向平滑度限制之间的平衡，非线性方程系(4-19)将以这样一种方式起作用，即将减少与光流限制相对应的函数
的绝对值，而增加与定向平滑度限制相对应的函数
的绝对值。
考虑到早先对于光流和定向的平滑度限制的情况的讨论，我们可以得出如下结论。根据在远离包含的边界的图像点处的非线性方程系(4-19)的解，参数r2和a2具有它们的最大影响，而参数p2，q2，c2，b2gt，gt∈Gt主要影响在近于包含的边界的图像点处的解。参数r2限定了对于规定光流限制的函数
的比例常数，而参数a2确定了对规定定向平滑度限制的函数
的比例系数。根据非线性方程系(4-19)的解，参数r2、p2和q2的综合式(4-24)确定了对光流限制影响的上限，而根据非线性方程系(4-19)的解，参数a2、c2和b2gt，gt∈Gt的综合式(4-27)确定了对定向平滑度限制影响的上限。
早先，参数化的速度矢量场
∈Ω，σ∈[1，∞)}的推算量
σ∈[1，∞)}被限定，作为非线性方程系(4-19)的一个解，其可以按照如下的形式表达这里，出于压缩符号表示的原因，对于出现在非线性方程系(4-19)中的函数的自变量被略去。此外，已将符号
使用来代替符号
以便说明，它们在与各函数相对应的每个图像点(x，y)∈Ω处都取决于速度矢量(uσ，(x，y，t)，vσ(t))的推算量
为了计算参数化的速度矢量场
∈Ω，σ∈[1，∞)}的推算量，对取自间隔[1，∞)的参数值的一个有限子集合σ1，…σn施加一个限制。令σo为其值等于∞的参数。假设参数σn的数值等于1；而参数σo，σ1…σn的序列是不太稀疏的并且数值是递降的。那么参数化的速度矢量场
的推算量的求得是通过从参数值σ＝σo开始，对每个参数值σ＝σ1，σ2…σn，顺序地对非线性方程系(5-1)的求解，其中该解恒等于一指定的矢量常数
并且求解过程的进行是沿相对于参数值递降的方向，利用对于作为起始推算量的在前的参数值所得到的、非线性方程系(5-1)的解。
令δ(σ)为利用如下关系式(5-2)，根据参数值σ＝σ1，…σn的集合所限定的参数σ的函数，
δ(σi)＝σi-1，i＝1，…，n. (5-2)假如加权常数γuσ，γvσ，σ＝σ1，…σn是按照关系式
γu＝γuσ(δ(σ)-σ)， (5-3)
γv＝γvσ(δ(σ)-σ)， (5-4)所限定的，那么正则化限制
和
可以分别对每个图像点(x，y)∈Ω和对每个参值σ＝σ1，…σn按照近似求解。在这些条件下，参数化的速度矢量场
(t))|(x，y)∈Ω，σ＝σ1，…σn}的未知推算量的非线性方程系(5-1)取如下的形式
然后，对于参数化的速度矢量场的推算量的计算过程可以更精确地介绍如下对于每个参数值σ＝σ1，…，σn，利用先前得到的与作为起始推算量的参数值δ(σ)相对应的速度矢量场的推算量
通过解非线性方程系(5 -7)求出与一参数值σ相对应的速度矢量场的推算量
该参数值σ最接近该起始推算量。
对于参数σ＝σ1，…σn的一个固定的数值，相关于该与参数值σ对应的速度矢量场的未知推算量
的非线性方程系(5-7)，对每个图像点(x，y)∈Ω，限定一个反映速度矢量
的分量和它的偏导数之间相互关系的集合，其可以以的形式表达。为了求出与参数值σ相对应的速度矢量场的推算量
，按照与参数值σ相对应的、非线性方程系(5-7)的解的推算量(该参数值σ是接近起始推算量
，可以使用反复更新的流程图。在该流程图中，从取作与参数值σ相对应的非线性方程系(5-7)的解的即时推算量
的起始推算量
开始，与参数值σ相对应的非线性方程系(5-7)的解的改进的推算量
|(x，y)∈Ω}根据步距来确定，其中标量参数ω限定了步距的长度，而矢量场
限定步距的方向。以这样一种方式选择步距长度ω∈(0，1]，即如下的函数达到最小。以这样一种方式选择步距方向
，即对于ω∈(0，1]的充分小的数值说来，函数(5-10)变为稳定地递降。该改进的推算量
被取作与参数σ对应的非线性方程系(5-7)的解的即时推算量
，以及反复更新的流程(图)的步距的重复，以便确定与参数值σ对应的非线性方程系(5-7)的解的下一个改进的推算量。持续进行这个过程直至找到适当的判据，在这种情况下，该改进的推算量
被取作与参数值σ相对应的速度矢量场的推算量
假如矢量场
不太大，那么在矢量场
的邻近区内，非线性的算符Fσ可以线性地展开为这里，线性的和与矢量场
有密切关系的算符
是雅克比(Jacobian)非线性算符
算符
可以更常规地以如下形式表示
在牛顿法[22]中，矢量场
按照非线性方程系(5-13)的一个解被限定，然后，非线性方程系(5-7)的解的改进的推算量
按照关系式(5-9)被限定，其中取标量
为1。
该非线性方程系(5-7)的解的改进的推算量
不一定是较好的推算量，该推算量是对非线性方程系(5-3)求解然后应用关系式(5-9)的结果而得到的。其原因来自这样一个事实，即非线性算符
的雅各布算符
是非对称的和条件不良的，线性方程系(5-13)不可能可靠地对矢量场
Δvσ)求解。最后一点是由于这一事实造成的结果，即正则化限制仅在这样一些图像点处分析判别非线性方程系(5-7)的二重性是可能有效的，这些点在包含的边界以外，且其中出现在关系式(4-21)的二次式是正定的。在出现关系式(4-21)中的二次式不是正定的情况下，对于分析判别在近于包含边界的各图像点处的、非线性方程系(5-7)的二重性方面，正则化限制变成无效。这种结论启示着应当采用另外的方法。
在对非线性方程系(5-7)求解的准-牛顿法中，线性方程系(5-13)用非线性方程系来代替。其将有良好适应力的方法的全局性的集中考虑和牛顿法的局部快速的考虑以一种方式综合在一起，以利用两者的长处。这种准牛顿法限定了非线性方程系(5-7)的正则化，这对推算参数化的速度矢量场的问题是很有意义的。线性的和与矢量场
有紧密连系的算符
接近按如下部分限定的非线性算符
的雅各布算符
Δσ)。
令
为与参数值σ对应的速度矢量场的推算量的不可变的复制量
的和可变的复制量
的一族非线性算符，其由如下关系式限定其中符号
是用于表示，在每个图像点(x，y)∈Ω，各对应的函数决定于速度矢量
的不可变的复制量
，而符号gtσ用于表示，在每个图像点(x，y)∈Ω上，对应的函数决定于速度矢量
(t))的推算量的可变的复制量
。假如速度矢量场的推算量的可变复制量
恒等于速度矢量场的推算量的不可变复制量
，那么对于每一个θ∈
，非线性算符
恒等于非线性算符
参数θ限定了光流和定向的平滑度限制经过速度矢量场的推算量的可变复制量
的反馈张弛的程度。
令
为一族线性的和与矢量场
关系密切的算符，其中，对每个θ∈
，算符
是非线性算符
的雅各布算符，该算符考虑作为矢量
的函数，在矢量场
恒等于矢量场
的条件下，取决于根据该参数的矢量场
。然后，按照满足如下要求的族
的数目，限定算符
1作为整体收敛策略的一部分，要求按照非线性方程系(5-14)的解得到的矢量场
对函数
呈下降方向。其被认为是矢量场
的函数，并且在矢量场(uσ，σ)恒等于矢量场
的条件下，取决于根据该参数的矢量场
。换句话说，当变量ω的数值等于0时，被认为是标量变量ω的函数
的对于变量ω的一阶偏导数要求其为负的。不难理解，这个导数的数值等于由于接着要求算符
是正定的，因此就能满足对函数(5-6)为负的要求。
2.作为快速局部策略的一部分，要求算符
Δσ)是非线性算符
的雅各布算符
的可能的最接近的近似。
来自对应于参数值θ＝0.5的该族的算符
Δσ)满足上述要求并被取作在非线性方程系(5-14)中出现的算符
。由于对算符
Δσ)的这一选择，线性方程系(5-14)具如下显函数形式
接着，考虑非线性方程系(5-7)及线性方程系(5-17)的有限差分离散化，将构成非线性方程系(5-7)的解的推算量的方法延伸到这方程系的有限差分离散化。
虽然在这样一种情况下对于参数化的速度矢量场的推算的理论分析可以有效地进行，即当综合的广义起始图像函数Γg，g，∈G在试探函数Φ(R3)的全部集合范围内限定时，而对每个图像点(x，y)∈Ω和每个视点t∈T，限定速度矢量(u(x，y，t)，υ(t))的推算量，实际的计算仅可根据上述各数据集合的有限集合来完成。在这部分介绍非线性方程系(5-7)的有限差分离散化。然后按照所形成的有限数目的非线性方程系的解来确定参数化的速度矢量场的推算量。
指定一个在局部凸形的线性拓扑空间Φ(R3)中限定的广义函数，并指定一个试探函数φ∈Φ(R3)，该广义函数F和试探函数Φ的＂卷积＂是在空间R3根据关系式(6-1)对每一个(x，y，t)∈R3限定的无限可微分的函数(F*φ)。
令F为一广义函数，并令χ∈φ(R3)为一指定的固定的非负的试探函数，使得
。例如，取χ(x，y，t)≡ψ(x，y，t)/
，其中ψ是后面要讲的函数。试探函数将称为＂采样函数＂。然后，经过采样函数χ，广义函数F的＂正则化＂在空间R3作为无限可微分的函数(F*χ)被限定，其是作为广义函数F和采样函数x的卷积而得到的。
令{t′k}k-0k′为一包含视点{t＂k}k-0k″的序列的视点的递增的序列。假设对每一个t∈{t′k}k-0k′，与幅照度图像函数ζ有关的广义的函数Γζ的正则化函数γζ≡(Γζ*χ)，经过采样函数x和与特片图像函数η有关的广义函数Γη的正则化函数γ≡(Γ*χ)的ζ∈Ξ经过采样函数x的η∈H，在属于图像平面的如下子集合的各点(x，y)处都被给出。
R2(h′σ，1，h′σ，2)＝{(x′，y′)|(x′，y′)＝i1h′σ，1+igh′σ，2，i1，i2∈z}.
(6-2)这里，Z是整数的集合；h′σ，1，h′σ，2x是二维实矢量；以及i1h′σ，1+i2hσ，2是这些矢量与整数系数i1，i2的线性综合。来自集合R2(h′σ，1，h′σ，2)的各点将称为与参数σ对应的＂采样点＂，函数γ，ζ∈Ξ将称为＂被采样的幅照度图像函数＂，而函数γ，η∈H将称为＂被采样的特征图像函数＂。
与被采样的幅照度图像函数γζ，ζ∈Ξ有关的广义函数Γζ，σ和与被采样的特征图像画数γη，η∈H根据试探函数Φ(R3)的集合按照如下方式限定。与在试探函数φ∈Φ(R3)的、与被取样的幅照度图像函数相关的广义函数的数值利用关系式(6-3)给定在试探函数φ∈Φ(R3)的，与被采样的特征图像函数γζ相关的广义函数Γη，σ的数值利用关系式(6-4)给定
令λ≡{λζ，λ|ζ∈Ξ，η∈H}为实数值的常数；令g(λ)为附属于集合λ的一个指数；和令mg(λ)≡{mζ，x，mζ，y，mζ，t，mη，x，mη，y，mη，t，|ζ∈Ξ，η∈H}为与常数λ的集合对应的非负整数常数的集合。那么，与指数g≡g(λ)对应的＂综合的广义的被采样图像函数＂是在局部凸形线性拓扑空间Φ(R3)中被限定的广义函数Γg，σ。在试探函数φ∈Φ(R3)的，综合的广义的被采样的图像函数Γg，σ利用关系式给定并被称为关于试探函数中的，综合的广义的被采样的图像函数Γg，λ的＂观察(observation)＂。
当每个集合R2(h′σ，1，h′σ，2)，σ＝σ0，σ1，…，σn是在图像平面上各点的方格网上时，假设对这样一种情况的限制。换句话说，它是一种要求，即对每个σ＝σ0，σ1，…，σn，矢量h′σ，1，h′σ，2具有相等的长度，并且彼此正交。此外，它是一种要求，即这种点的网格在图像平面上构成一个棱锥体(pyramid)，其意味着满足如下关系式＂网格旋转法＂是一种遵守上述要求的采样方法。一般用于得到的偏微分方程的数字解。在这一方法中，选择矢量h′σ0，1，h′σ0，2，使其长度相等和彼此正交；然后对每个k＝1，…n，矢量h′σk，1，h′σk，2按照关系式来限定。不难看出，上面限定的矢量h′σk，1，h′σk，2对每个k＝0，1，…n具有相等的长度并彼此正交，因此满足关系式(6-6)。
令k′为一正整数常数，以及令ψ∈Φ(R3)为一给定的测度函数。那么对每个视点t∈{t＂k}k-0k″和对每个参数值σ＝σ0，σ1，…，σn，图像函数gσ(x，y，t)和它的空间偏导数gxσ(x，y，t)，gyσ(x，y，t)，根据集合Ω，按照如下方法限定。
首先假设，图像点(x，y)属于子集合Ω＂(h＂σ，1，h＂σ，2)∩R2(h＂σ，1，h＂σ，2)。这里，二维实矢量h＂σ，1，h＂σ，2按照关系式
h＂σ，1＝k′h′σ，1，
(6-9)
h＂σ，2＝k′h′σ，2，
(6-10来限定。而集合Ω＂(h″σ，1，h＂σ，2)R2按照关系式而限定。
然后，对于每个g∈G，图像函数gσ(x，y，t)的分量gσ(x，y，t)的数值被确定为将广义采样图像函数Γg，σ结合到由关系式(2-4)限定的试探函数ψσx，y，t上的观测函数Γg，σ(ψx，y，tσ)；而将图像函数g(x，y，t)σ的偏导数gσx(x，y，t)，gσy(x，y，t)的分量gxσ(x，y，t)，gyσ(x，y，t)的数值给定为将广义的被采样的图像函数Γg，σ结合到利用关系式(2-5)(2-6)限定的试探函数上的观测函数
令(x，y)为来自集合Ω的任一图像点，那么，对于某些整数i1，i2和来自间隔
的某些实数θ1，θ2，如下关系被满足(x，y)＝(i1+θ1)h″σ，1+(i2+θ2)h″σ，2.
(6-12)然后，图像函数gσ(x，y，t)的数值和它的偏导数gσx(x，y，t)，gσy(x，y，t)分别通过图像函数gσ(x，y，t)的数值的及它的偏导数双线内插得到。gσ(x，y，t)＝(1-θ2)((1-θ1)gσ(x1，1，y1，1，t)+θ1gσ(x1，2，y1，2，t))+θ2((1-θ1)gσ(x2，1，y2，1，t)+θ1gσ(x2，2，y2，2，t))，(6-13)该偏导数gσx(x，y，t)，gσy(x，y，t)是在来自集合Ω＂(h＂σ，1，h″σ，2)∩R2(h＂σ，1，h＂σ，2)的各点按照如下关系式给定的(x1，1，y1，1＝i1h″σ，1+i2h″σ，2， (6-16)(x1，2，y1，2＝(i1+1)h″σ，1+i2h″σ，2，
(6-17)(x2，1，y2，1＝i1h″σ，1+(i2+1)h″σ，2，
(6-18)(x2，2，y2，2＝(i1+1)h″σ，1+(i2+1)h″σ，2，
(6-19)
令k″为一正的整数常数，并令hσ，1，hσ，2为按照如下关系式限定的二维实矢量。
hσ，1＝k″h″σ，1，
(6-20)
hσ，2＝k″h″σ，2，
(6-21)而集合Ω(hσ，1，hσ，2)＝Ω按照如下关系式限定，
Ω(hσ，1，hσ，2)＝Ω∩R2(hσ，1，hσ，2)
(6-22)
非线性方程系(5-7)和线性方程系(5-17)的有限差分离散化，两者都对应于参数值σ＝σ0，σ1，…，σn，被限定在集合Ω(hσ，1，hσ，2)，分别作为与参数值σ及其有限差分相对应的速度矢量场{
的未知的推算量相关的非线性方程系，及与参数值σ和它的有限差分相对应的未知的矢量场
hσ，2)}有关的线性方程系如下所说明。
在非线性方程系(5-7)中和在线性方程系(5-17)中，在集合S范围内，在积分符号下方出现的表达式具有一般的形式为
(s，f(x，y，t，s))，
(6-23)其中f(x，y，t，s)是变量(x，y)∈Ω，t∈T，S∈S的函数，对于变量t∈T，s∈S的每个固定的数值，对应于变量(x，y)∈Ω，该函数是连续地可微分的。
形成集合S的单位圆利用一个具有如下特征的集合R2(hσ，1，hσ，2)的、利用相同符号S代表的有限集合来代替，该集合不包含原点，并且对于属于集合S的每个基元s，基元-s也属于该集合S。测度(measure)ds用将数值0.5结合到每个单元s∈S的点量数(pointmeasure)来代替。
由于上述作用的结果，公式(6-23)的任何表达式的数值的集合S范围内的一个积分变成在该表达式的数值的集合S范围内的一有限求和；换句话说，如下关系式被满足
给定函数f(x，y，t，s)，该函数对于每个t∈T，s∈S，对应于变量(x，y)∈Ω是可连续地微分的，并给出一个基元s∈S，在集合R2(hσ，1，hσ，2)的范围内，表达式(6-23)根据对偏导数的有限差分近似来限定成(s，f(x，y，t，s))＝ρs(f(x+0.5sx，y+0.5sy，t，s)-f(x-0.5sx，y-0.5sy，t，s))，
(6-25)其中ρs是一个正的实数常数，取决于作为一个参数的矢量s的长度，以及数值sx，sy是矢量s≡(sx，sy)的分量。
考虑关系式(6-25)和这样一个事实，即集合S具有的特性为对每一个基元s∈S和基元-s∈S，在这样一种情况下即当f(x，y，t，s)是一个关于变量s的奇函数，则出现在关系式(6-24)中的和可以按下式表达
假设集合Gt是有限的，dgt是将数值P(gt)结合到基元gt∈Gt中的点量数。这里，ρ(gt)对每个gt∈Gt是正的实数常数。
根据上述讨论，非线性方程系(5-7)在集合R2(hσ，1，hσ，2)的范围内，可以限定成而线性方程系(5-17)在集合R2(hσ，1，hσ，2)的范围内可以限定成出于简化符号表示的原因，出现在关系式(6-27)、(6-28)中的函数的自变量已被忽略。
出现在集合S上累加符号下方的函数在各点(x+0.5sx，y+0.5sy，t)被计算，而其余的函数是在各点(x，y，t)上，对每个(x，y)∈R2(hσ，1，hσ，2)，t∈T，s≡(sx，sy)∈s进行计算。
函数分别利用如下关系式限定。
t-Δt-))/(Δt-+Δt+)，
(6-29)
(Δt-+Δt+).
(6-30)
(Δt-+Δt+).
(6-31)函数
按照如下关系式限定函数
按照如下关系式限定而函数
按照如下关系式限定函数
按照如下关系式限定其中每个函数
按下式确定对于每个数值(x′，y′，t)(或者等于(x，y，t)，或者等于(x+sx，y+sy，t))，函数
的上述数值根据关系式(4-8)给定。
非线性方程系(6-27)的限制和线性方程系(6-28)的限制，在集合R2(hσ，1，hσ，2)的集合Ω(hσ，1，hσ，2)的范围内，两者都是通过引入如下的边界条件而完成的。对于每个图像点(x，y)∈Ω(hσ，1，hσ，2)和对于每个基元s≡(sx，sy)∈S，使点(x+sx，y+sy)在集合Ω(hσ，1，hσ，2)的外侧，速度矢量
的推算量的数值被限定为恒等于速度矢量
的推算量的数值。在这些条件下，对于来自集合Ω(hσ，1，hσ，2)的每个图像点(x，y)的非线性方程系(6-27)和线性方程系(6-28)很好地被限定，并且因此分别形成与参数值σ和它的有限差分相对应的速度矢量场
的未知的推算量有关的非线性方程系，和与参数值σ和它的有限差分相对应的未知的矢量场
相关的线性方程系。
我们利用符号|S|表示集合S′的基元的数目，然后对每个s≡(sx，sy)∈S，常数ρs可以按下列关系式限定
下面是选择集合S的两种通用的方式
S≡{hσ，1，-hσ，1，hσ，2，-hσ，2}，
(6-38)假如集合S如在关系式(6-38)中被选择，我们说，利用了＂5点有限差分离散法＂，而对利用关系式(6-39)规定的选择，我们说，利用了＂9点有限差分离散法＂。
令k＝0，…n-1和令
hσk，2)}为与参数值σk相对应的速度矢量场的推算量。那么与参数值σk+1相对应的速度矢量场的起始推算量
限定如下。对于每个(x，y)∈Ω(hσk+1，1，hσk+2，2)}如(x，y)∈Ω(hσk+1，hσk+2)，该推算量(uσk+1(x，y，t)，vσk+1(t))的数值由下列关系式给定而对于每个(x，y)∈Ω(hσk+11，hσk+22)如(x，y)Ω(hσk，1，hσk，2)，推算量
的数值由如下关系式给定其中
线性方程系(6-28)是对称的和正定的，如下面所示，线性方程系(6-28)可以被划分成两个系(统)，其中一个可以是直接变换的。根据这些性质，构成一种反复快速预处理法。假如我们引入一个关于集合Ω(hσ，1，hσ，2)的排列次序，那么线性方程系(6-28)可以以矩阵符号的形式表示如下其中
是行矢量
的转置矢量，其对应于矢量场
，通过首先列入与所规定的排列次序相对应的集合
，y)∈Ω(hσ，1，hσ，2)}的基元，然后列入基元Δσ(t)可以得到该转置矢量。关于集合Ω(hσ，1，hσ，2)的＂自然排列次序＂可以限定如下。关系式(6-2)和(6-22)暗指，每个基元(x，y)∈Ω(hσ，1，hσ，2)可以用(x，y)≡i1hσ，1，i2hσ，2的形式单值地表示，其中i1和i2是整数。然后，基元(x，y)≡i1hσ，1，i2hσ，2∈Ω(hσ，1，hσ，2)，接着基元(x′，y′)≡i1′hσ，1，i2′hσ，2∈Ω(hσ，1，hσ，2)，假如i2＞i2′或者i2＝i2′和i1＞i1。
令矩阵
为矩阵
的对角线的部分，而矩阵
为矩阵
的非对角线的部分，使得关系式被满足，那么线性方程系(6-28)取如下形式
令Cσ(uσ，vσ)为由下列限定的对角线的矩阵部分那么如下关系式被满足令
为由下列关系限定的一个矢量假如未知的矢量
的线性方程系(7-3)的两侧根据该左侧的矩阵
进行倍乘，假如未知的矢量
用未知的矢量
代换，则线性方程系(7-3)变为与未知的矢量
相关的如下的线性方程系
令
为一个限定成在下关系式的一个矩阵而
是一个由下关系式给定的矢量那么，下面的基本反复法可用于得到线性方程系(6-28)的一个近似解。线性方程系(7-7)的初始近似解(Δuσ0，Δvσ0)被限定为等于0。对每个n＝0，1…，近似解(Δuσn+1，Δvσn+1)根据近似解(Δuσn，Δvσn)如在下关系式被限定该过程持续进行，直到得到线性方程系(7-7)的适当的近似解(Δuσn，Δvσn)。线性方程系(6-28)的近似解
，Δσ)利用下关系式限定
基本的反复法(7-10)的实施可以通过借助于应用到该基本的反复法的多项式的加速作用而得到改进。出于简化表示的原因，将使用如下的符号表示那么基本的反复法(7-10)变为wn+1＝Gwn-h.
(7-13)
基本的反复法(7-13)的对偶梯度变化的多项式的加速作用(conjugate gradient polynomial acceleration)可以介绍如下
由起始的近似解粗体符号W0开始，其恒等于0，然后对每一个n＝0，1…，应用如下的反复进行的程序wn+1＝ρn(γn(Gwn-h)+(1-γn)wn)+(1-ρn)wn-1.
(7-14)这里，系数ρn和γn由下关系式给定其中
pn＝rn+βnpn-1，n≥1，p0＝r0，qn＝pn-Gpn，n≥0，
(7-17)
rn＝Gwn-wn-h，n≥0
(7-18)对偶的梯度变化的方法可以以另外一种形式表达wn+1＝wn+αnpn，rn+1＝rn-αnqn，
(7-19)其中系数αn是按照关系式(7-16)限定的，而矢量Pn，qn由关系式(7-17)限定。
在本发明的示例性的实施例中，对每个越来越精细的分辨率等级，将5级分辨率的逐步升级(pyramid)与按照2.0的因数递降的参数σ的数值结合使用。使用9点有限差分离散法。出现在关系式(6-9)、(6-10)中的正整数常数k′等于4，而出现在关系式(6-20)、(6-21)中的正整数常数k″等于2。利用这些数值，本发明能够在包含多条所包含的边界的真实的万物场景的情况下，推算具有良好精度的速度矢量。
通过详细的介绍，本发明的很多特征和优点变得很明显，因此利用所提出的权利要求极力覆盖落入到本发明的构思和保持范围内的特征和优点。此外，由于对本技术领域的熟练技术人员而言将易于作出很多改型和变化，因此不希望将本发明限制于所介绍的严格的结构和操作上，因而将可能采用的所有的适当的改型或等效物都置于本发明的保持范围内。
权利要求
1.一种方法，包括的步骤是
(a)荻取一对沿水平方向分隔的一场景的一对立体图像；以及
(b)通过推算沿水平方向限制的速度矢量场，产生一个在该对图像之间的中间图像。
2.如权利要求1所述的方法，还包含由该对图像和中间图像产生一个深度图像。
3.如权利要求1所述的方法，其中的步骤(b)产生多个中间图像。
4.如权利要求1所述的方法，其中的步骤(b)包括沿竖直方向同时将该对图像和中间图像整体对齐。
5.如权利要求1所述的方法，其中的步骤(b)包含的步骤是
(i)通过限制沿水平方向寻找的对应关系，确定该对图像之间的对应关系；以及
(ii)利用该对应关系，在该对图像之间进行内插运算。
6.一种用于产生深度图像的装置，包括
一个获取一对立体图像的获取装置；
一台连接到所述荻取装置上的计算机，通过沿水平方向限制的对应关系进行内插产生一个中间图像以及由该对图像和该中间图像产生深度图像；以及
一台连接到所述计算机上的深度图像输出装置，用于输出该深度图像。
全文摘要
本发明在一对立体图像之间实行内插运算,以便产生若干中间图像。内插运算包括推算中间图像的速度矢量场。对一个特定的中间图像的推算包括限制对沿水平方向的两个图像之间的对应关系的寻找,以使系统得到一个最佳的解决方案。不需要通过平滑处理填补过多的间隙。同时,该方法使各图像的整体沿竖直方向对齐。
文档编号G06T15/00GK1196545SQ95104069
公开日1998年10月21日 申请日期1995年2月28日 优先权日1995年2月28日
发明者S·V·福格尔 申请人:伊斯曼柯达公司