专利名称：用八叉树从多幅图象生成三维表示的制作方法
技术领域：
本发明涉及从物体的多幅二维图象生成该物体的三维表示的方法，所述方法通过创建单元的八叉树(octree)去支持物体的三维表示，而每一个单元包含顶点，由此借助将八叉树的单元循环地分割为更低一级地更小单元来创建单元的八叉树。
本发明进一步涉及设计为从物体的多幅二维图象生成物体的三维表示的再现仪，它包含支持物体三维表示的单元的八叉树而每一单元含有顶点，并且再现仪能够执行将八叉树的单元循环地分割为更低一级的更小单元的过程。
本发明进一步涉及图象显示仪，它包括
设计为从物体的多幅二维图象生成物体的三维表示的再现仪，它包含支持物体三维表示的单元的八叉树，而每一单元含有顶点，并且再现仪能够执行将八叉树的单元循环地分割为更低一级的更小的单元的过程；
——从三维表示生成二维图象的透视仪(renderer)；和
——显示二维图象的显示设备。
在开始一段描述的此类方法是已知的，见T.L.Kunii et a 1.，“Agraphics compiler for a 3-dimensional captured image databaseand captured image reusability”，in proceedings of workshopon Modeling and Motion Capture Techniques for VirtureEnvironments(CAPTECH98)，Heidelberg，998.Springer.
由深度数据生成三维表示在图象领域产生了巨大的兴趣。在基于体积的处理中，一种称为“整体”被分成称为三维像素的体积元，接着将深度图用于去确定哪些三维像素是“空的空间”和哪些三维像素组成“物体”。三维像素的尺寸或整体地确定，或者循环地精确化并存储在一树基结构中。对于有大量曲面的景象，为了获得所需的分辨率需要大量的三维像素，这使得存储费用高。在引证的文章中，描述了用定义景象的本质信息为奇点定位并将这些奇点存储在八叉树中的方法来部分克服这些困难。八叉树是两叉树的三维等价。在八叉树中每一个单元可分割为八个子单元。奇点是顶点、边和在景象中物体的边界表面。每一物体由表面限定，表面由边限定，它们又有作为端点的顶点。采用这种方式，物体可在奇点的分层构成，顶点是最低层的，然后是边，再后是表面，最终是物体本身。然而，应注意到层次不一定由顶点开始，例如在球的情况下。已知方法的优点是八叉树的再分步骤在相当靠前的层终止只要在每一个单元内结构足够简单，即如果单元只包含最低的奇点，而不像在其它的方法中只有单元完全在物体内或物体外。
采用这种方法，即从多幅二维图象生成三维表示方法的主要障碍是奇点的提取，即深度图的本质特征。这是一个很难的问题。首先，由图象或深度图对顶点和边作精确定位已在角检测器，边检测器和分段算法方面出现了大量文献，但还没有一种普遍可用的算法。即使在二维数据中有合适的奇点检测器可使用，这些奇点也可能是表观的而非真实的。以90度观察曲面上的所有位置在图象中的像是一个奇点。考虑在一面壁前面的一个球的情况。球没有像顶点和边这样的奇点，然而在深度图中，在90度的观测位置上似乎有一个奇点。从这个例子可以得出结论，奇点不能只从单个图象来提取。此已知方法是交互式的，也即意味着需要人工操作。对于实时的或近实时的应用，人工操作不是可用的解决方案。
本发明的第一个目的是提供一种在开始一段所描述的那种生成三维表示的方法。此方法全自动的，因而不需要交互用户的输入。
本发明的第二个目的是提供一个再现仪，它能够完全自动地生成在开始一段所描述的那种三维表示。
本发明的第三个目的是提供图象显示仪，它包括一台能够完全自动地生成在开始一段所描述的那种生成三维表示的再现仪。
本发明的第一个目的用如下方法取得，即停止分割一特定单元的过程的基础是检验此单元的哪些顶点在物体之内和哪些顶点在物体之外。这可以避免奇点的提取问题，因而允许全自动的程序而不需要用户的参与提取奇点。按照现有技术的这种方法的本质是对八叉树的次分割在靠前的步骤停止只要在一个单元内物体的描述可以唯一确定单个奇点判据。在本发明的方法中，单个奇点判据被代替为如果在一单元内表面的布局可唯一地由单元顶点的信息导出则此单元将不再分割。此判据称为唯一性判据。
按照本发明方法的优点是通过采用八叉树存储极为经济。另外一个优点是当有新图象输入时允许更新三维表示。这对处理视频流时是很有利的。另外一个优点是计算简单。
在按照本发明方法的实施方案中，特定单元的顶点分为两个集合，第一集合的顶点在物体内，第二集合的顶点在物体外。第一集合和第一集合可包含
——零个顶点；
——壹个顶点；或
——多于一个顶点，每一个顶点与所有其它属于同一集合的顶点借助于边连接起来，这些边中的每一边的两个顶点属于同一集合。
唯一性判据以下列判据和假定为基础
——连通性判据各集合内顶点有连通性。
——假定单元的每一个面和每一个边与表面交叉不多于一次。
——假定物体至少包括在两个单元内。这避免了一个单元完全包含一个物体。
各集合内顶点的连通性，利用检验以上假定进行扩大，可以用作去确定一个单元是否应当再分割的判据。为了说明唯一性判据，这里给出最简单情况的一个例子。它将在图3中作详细解释。假定有一八叉树，它的每一单元有八个顶点。进一步假定对于每一个单元的八个顶点中的哪些顶点在物体内和哪些顶点在物体外是已知的。这样对每一个单元有14个基本结构可以分辨。在这些结构中，在现有技术方法的意义上只有八个结构相应于单奇点单元。可以证明，对于那些物体的表面布局能唯一重建的结构，顶点的第一集合和顶点的第二集合形成连通集合。假定顶点0，2，4和6在第一个垂直取向的平面上，顶点1，3，5和7在与第一个平面平行的第二个平面上。例如，如果顶点0，2，4和6在在物体内并且顶点1，3，5和7在物体外，则物体表面与单元基本垂直相交。另外一种情况，如果顶点0，3，4和7在在物体内而顶点1，2，5和6在在物体内，则物体表面与单元相交的方式有两种结构。如果第一集合或第二集合是空的，则单元分别完全在物体之内或物体之外。
在按照本发明方法的实施方案中，分割一特定单元的过程的另一个停止判据是基于检验相邻单元的顶点在物体之内或在物体之外，相邻单元与该特定单元有一共用面或共用边。如果在八叉树中相邻的单元有不同的尺寸，则对大的单元不仅顶点在物体内或物体外是已知的，而且对于大的单元，其面或边的一部分在物体内或物体外也是已知的。这些信息以相邻单元的顶点为基础。按照本发明生成三维表示的一个很重要假定是单元的每一个边与物体表面最多相交一次。这些额外的点的信息可能导致单奇点判据已不再适用的结论。如果遇到这种情况，大的单元还要分割；此分割判据是前面讨论的连通判据的附加判据。
在按照本发明方法的实施方案中，确定一个顶点在物体内或物体外是以从二维投影提取的深度图为基础的。三维表示可由结合一系列深度图的信息来生成，这将图象平面上的每一个点与一最可能的深度值联系起来。这些深度图可采用运动的结构算法(structure-from-motion)通过主动获取技术，例如结构化的光，或者通过被动获取技术，例如激光扫描，来生成。此外还假定，照相机的位置和取向是已知的，即有被校准的照相机或已由照相机的校准算法得到。
在按照本发明方法的实施方案中，对于一特定单元的顶点，计算到物体边界的距离以生成三维表示。如果在一单元的每一个顶点存储有它是在物体内或物体外，则表面的布局可以被唯一地复原。然而，它在每一单元中的位置只能由单元的尺寸确定。在这个生成三维表示的方法的实施方案中，用定量信息对单元的顶点中的信息作了扩展以对物体边界进行较高精度的定位。做这件事的一种办法是从可获得的深度图计算带正负号的距离函数u，在物体的边界处
在物体的边界内
在物体的边界外
是八叉树单元的顶点。绝对值|u|表示到物体表边界最近点的距离，它可在任何方向。物体边界可通过计算等值面u＝0被完全重建。与只用二元素标记在内或在外，相比较，此方法将精确度提高了单元尺寸的量级。
在按照本发明方法的实施方案中，对于一特定单元的顶点，估算了到物体边界的距离以生成三维表示。到目前为止，只讨论了深度值和带正负号的距离函数是确定值的情况。然而，在实际中，深度图可能在如下意义上有随机的特性，即给出深度的上和下边界和最可能的深度值dML这种不确定间隔的上和下边界分别由dl和du表示。深度不确定信息允许减弱在深度信息中的误差和外露层的效应。对于每一次深度测量，沿深度轴可定义三个区域
——肯定在物体外的区域，d＜dl；
——包括物体边界称为“厚壁“的区域，dl≤d≤du；和
——从这个观察点来看在物体后边的区域。请注意，它不一定在物体内，因为这个区域甚至可能不包含物体内部的点在此区域基本上没有足够的信息，因为从观察点看不到它。唯一知道并可采用的是从一外部点到物体的距离不大于到相应深度间隔上边界的点的距离。
再现仪的这些和其它方面以及生成三维表示的方法和按照本发明的图象显示仪将通过关于实施过程的阐述和下文对实施方案以及附图的描述变得明白。
图1大致示出一方形树；
图2大致示出单元分割过程；
图3说明唯一性判据；
图4说明分割判据；
图5大致示出实际物体与深度图之间的关系；
图6大致示出以深度图为基础的将顶点分类的过程；
图7A表示一带正负号的距离函数；
图7B说明对于两种不同的观测顶点与物体边界之间的距离；
图7C表示三个等值表面；
图8说明对于深度测量所定义的区域；
图9说明一再现仪；和
图10表示图象显示仪。
图1大致示出八叉树的二维变型方形树。树的根是二维盒子100。这个盒子有四个分枝，即它被分割为四个较小的盒子102-108。盒子108依次有四个分枝，即它被分割为四个更小的盒子110-116。盒子116依次有四个分枝，即它被分割为四个更小的盒子118-122。盒子122依次有四个分枝，即它被分割为四个更小的盒子126-132。在此图所示的树中，每一次分割这些盒子中的一个。但可以将每一个盒子分割为四个更小的盒子。在三维情况可创建一类似的树，称为八叉树。在这种情况，用一个单元取代一个盒子，它被分割为八个较小的单元。
图2示意地说明分割单元的过程的四个阶段A，B，C，和D。在初始状态A，表面202完全在单元200之内。在导致状态B的第一次分割执行以后，单元200得到四个子单元204-208。在导致状态C的相继一组分割执行以后，这四个子单元中的三个204，206和210的每一个被分割为四个子单元，例如212-218是单元204的四个子单元。导致状态D的最后一次分割单元220被分割为四个子单元。
图3说明唯一性判据。单元300有八个顶点0-7。在图3中单元300画了四次A，B，C，和D。对于这个单元300，假定已知其八个顶点中的每一个是在物体之内还是在物体之外。可以证明，对于表面布局可唯一重建的那些结构，在内部的顶点的集合和在外部的顶点的集合都形成连通集。下面的表给出基本结构。对于每一个结构内部点的集合被标明并且它的子集合是否是连通集也被标明。例如，如果顶点0，2，4，和6在内部，而1，3，5，和7在外部，则表面近乎垂直地穿过单元。这由情况B作了说明。另外，如果顶点0，3，4，和7在内部，而1，2，5，和6在外部，则有两种可能的结构C和D。将表面304和306组合可得到这种情况，而将表面308和310组合也可得到。换句话说，尽管内部结构0，3，4，和7，和外部结构1，2，5，和6，单元的顶点严格相同，但表面如何与单元相交可有两种方式。
图4说明分割判据。在图4中画出了三个相邻单元单元400和两个较小的402和404。对于所有的顶点已知它们是在物体内还是在物体外。例如，顶点406和410在物体外，顶点408在物体内。物体表面412的一部分也被表示出来。唯一性假设的结果是单元的每一个面或每一条边与表面相交不会多于一次。在图4中可以看出，单元400的一个面与物体表面412相交两次。对于单元400，不仅已知它的顶点是在物体内还是在物体外，并且在连接顶点410和406的边上的另一位置顶点408的位置，也知道这种类型的信息。这种来自其它单元的多余顶点的信息导致单个奇点判据已不再满足的结论。在这种情况下，单元400必需再分割。
图5A表示壁504和在它前面的小立方体506。壁504和小立方体506用移动照相机500多次成像。图5示出照相机500在
位置沿
方向“观察”。点
是在小立方体506的表面上的一点。也示出了此照相机位置的深度图502。
图6示意性地说明三个阶段将单元，例如600，的顶点进行分类过程A，B，和C。在初始状态A，例如顶点602-606被分类为“内部的”。对于每一个此类顶点用点画出。深度图608用于去分类顶点。在导致状态B的第一处理步骤之后，将一些顶点分类为“外部的”。它们用叉画出。深度图610用于进一步分类顶点。在导致状态C的第二处理步骤之后，另外一些顶点，例如604和606，被分类为“外部的”。
图7A表示带正负号的距离函数，即对单元的每一个顶点，它定义了到物体最近表面的距离。在图7A中表面703的一部分位于单元701之内。箭头705，707，709，和711指明顶点与表面703之间的距离。
图7B说明对于两种不同的观察，顶点与物体边界之间的距离。从照相机的两种不同位置观察物体表面700。对于第一次观察顶点708，710，和712到物体表面700的距离分别用箭头702，704，和706指示，对于第二次观察顶点708，710，和712到物体表面700的距离分别用箭头718，716，和714指示。很清楚，在第二次观察中的距离，也即箭头长度，比在第一次观察中的距离短。
图7C示出三个等值面713，715，和717。这种表面的所有点到物体边界有相同的距离
-等值面715相应于物体边界
-等值面713位于物体外部
-等值面717位于物体内部
为计算带正负号的距离函数u，
被定义为在单元的顶点
在θ方向观察时带正负号的距离。这意味着
只与在θ方向的最近表面相联系。它起源于通过体积的一维射线。假定在
有一个配有观察孔的单个照相机的深度图，而照相机在
的方向观察，则带正负号的距离函数
的一种近似由如下表达式给出这里ξ和ν是
在图象平面上投影的图象平面坐标，
是图象平面的法线而dML是最可能的深度值。请注意，只有(ξ，ν)位于图象平面之上u才能被定义。带正负号的距离函数的这种近似与由照相机的观察孔
在
的方向看到的第一物体边界相联系。
带正负号的距离函数可用若干深度图递增地计算出来，其中在物体边界上
在物体内
在物体外
绝对值|u|表示到物体边界最近点的距离，它可在任何方向。为了将来自多幅深度图的信息进行组合必需定义如何将
的信息结合到
的单值。两种观测结果可以得到如下
-带正负号的距离函数被定义为到沿任何方向的表面的最近距离(图7A)，所以
-从某一照相机观察点，如果一点在第一物体边界的后边，则由方程(1)得到带正负号的距离函数正值。然而不知道此点是在物体之内还是在物体之后。另一方面，如果
则可确切知道此点在物体之外能够看见它。因此，带正负号的距离函数的负值胜过正值。
即使在从正的改变到负的u值的情况下，两者的绝对值都应很小。如果
则知道点
边界距离|u|。如果照相机从点
沿
的方向来看，则照相机将在|u|的距离处最终遇到物体边界。对带正负号的距离函数给出当前值uk和新的后选值νk的新的最好近似|u|有如下形式
|u|＝min(|uk|，|νk|)with
sign(u)＝l if uk＞0，νk＞0 and else sign(u)＝-1(3)用表的形式
图8说明对于深度测量所定义的区域。对于每一次深度测量，沿深度轴可定义三个区域
——肯定在物体外的区域.它称为外部区域801；
——包括物体边界的区域，它称为厚壁的区域802；
——从该观察点来观察在物体边界后边的区域。它称为内部区域808。
在图8中示出两种测量。照相机800观察物体。在情况A物体表面以806表示。在情况B物体表面以810表示。测量以804为参照。在情况A内部区域扩展到了被表面806界定的物体之外。另一方面，情况B表示内部区域808不必需包括物体内的任何点由于大的误差界限整个物体已经包含在厚壁区域。
能够通过赋给每一个顶点一个区域值将不确定性进行结合，所述区域值基于不确定性间隔界限。此区域值也可用对带正负号的距离函数加符号的类似方法给出。逐次更新区域值的表可表示如下
奠定此表基础的推理如下如果一点可从任何物体外的任何地方看到，则通过此点已经看到并且此点只能是自由空间而非其它。因没有物体内部的信息，这种信息受厚壁信息支配，这意味着物体边界在此区域。如果深度不确定性是零，它简化为带正负号的距离的排序关系。
一个单元顶点的两种性质可以指定与深度的最大可能值相联系的带正负号的距离函数，和与深度不确定性间隔的界限相联系的区域值。对于单元的每一个顶点带正负号的距离函数定义它到物体最近表面的距离。区域值许可处理不确定性，这通过指定单元的一顶点是在所有物体之外、物体之内、还是在被称为“厚壁“的包含物体边界的区域内。为了高效率，将顶点区域值和带正负号的距离函数值存储在一个八叉树中。然而，也能够将信息存储在结构相同的两个分开的八叉树中。
生成三维表示的过程如下
在初始化时，设置有待整体运行的边界；这是八叉树的根。开始，在单元的每一个顶点，带正负号的距离函数的初始结构设置为无穷大而它的区域值设置为“内部”。对于每一个深度图，施加下列处理程序
——对图象i读取新的深度图di和相应的照相机参数。
——更新八叉树中的每一个单元顶点的值
——对八叉树中的每一个单元顶点
按照方程(1)计算
——用方程(3)从uk和νk中寻找新的最佳近似来更新uk。
——对每一个单元检验它是否需要按照唯一性判据再分割。如果需要，则实行再分割并且更新单元每一顶点的值。这样继续下去直到不需要再分割单元。
——最后，对所有单元顶点更新区域值。因这不影响八叉树的结构，所以可在所有分割完成后再实行。
图9在它的内容中说明了再现仪900。在它的内部和外部之间有边界914的物体916从多个方向成象。用深度值对每个像素来标记物体的二维图象，例如912。再现仪900设计为由这些图象生成物体916的三维表示904。再现仪900包含单元，例如903，的八叉树902去支持三维表示904。每一单元包含顶点，例如906和908，以及连接顶点的边，例如910。
图10表示图象显示仪1000，它包括
——深度图生成仪1002；
——再现仪900；
——透视仪1006；
——和显示设备1008。
图象显示仪1000的输入是一系列图象。这些图象经过一些步骤的处理。第一步是对这些图象，例如，用视差生成深度图。深度图是再现仪900的输入，再现仪900设计为生成成像的景象中的物体的三维表示。输入的图象代表这些物体。再现仪900的物体三维表示的输出是透视仪1006的输入。透视仪1006能够由三维表示生成二维图象。这些生成的图象可以相应于不是照相机原来获取的景象。生成的二维图象由显示设备1008显示。显示设备1008可以是通常的显示设备，也可以是能够显示从不同的角度取景的若干对或组图象的某种类型立体显示设备，带有例如透镜屏的“多视“显示设备。处于运性能的原因，深度图生成仪1002，再现仪900和透视仪1006可以安装在一个硅片上，即专用的硬件上。在很少临界状态运行的情况，可编程序的硬件平台足以实现这三种设备。
应当注意到，上边叙述的实施方案只是说明而不是对发明的限制，本领域的技术人员能够设计出另外的实施方案而不偏离所附权利要求的范围。在所述权利要求中，在括号之间的参考符号不是对该权利要求的限制。字“包含”不排除还有没有在权利要求中列出的元素或步骤。元素前的“一个“并不排除有多个元素。本发明可借助包含若干不同元素的硬件和适合于编程的计算机来实现。在权利要求中列举的若干设备，这些设备的若干个可以用一个和同样元素的硬件来实施。
权利要求
1.从物体(916)的多幅二维图象(912)生成该物体(916)的三维表示(904)的方法，所述方法通过创建单元(903)的八叉树(902)以支持所述物体的三维表示(904)，每一个单元(903)包含顶点(906)，由此单元的八叉树借助于将八叉树(902)的单元(903)循环分割为下一级的较小单元的过程来创建；其特征在于停止分割特定单元(903)过程是基于检验特定单元(903)的顶点(906)中的哪些在物体(916)之内和顶点(906)中的哪些在物体(916)之外。
2.按照权利要求1的方法，其特征在于特定单元(903)的顶点(906)被分成在物体(916)内顶点的第一集合和在物体(916)外顶点的第二集合，第一集合和第二集合包含
——零个顶点；
——壹个顶点；或
——多于一个顶点，每一个顶点与其它属于同一集合的顶点通过边的一个集合连接起来，这些边中的每一个的两个顶点属于同一顶点集合。
3.按照权利要求2的方法，其特征在于分割特定单元(400)的过程的第二停止判据是基于检验相邻单元(402)的顶点是在物体(412)内还是在物体(412)外。
4.按照权利要求3的方法，其特征在于如果相邻单元(402)小于特定单元(400)，则检验相邻单元(402)的顶点(408)。
5.按照权利要求4的方法，其特征在于从二维图象(912)提取的深度图(502)被用作确定顶点(906)是在物体(916)内还是在物体(916)外的基础。
6.按照权利要求5的方法，其特征在于为了生成三维表示(904)，计算特定单元(701)的顶点到物体边界(703)的距离(705)。
7.按照权利要求5的方法，其特征在于为了生成三维表示(904)估算特定单元的顶点到物体(806)的边界的距离。
8.被设计用于从物体的多幅二维图象(912)生成该物体(916)的三维表示(904)的再现仪(900)，所述再现仪(900)包括单元(903)的八叉树(902)以支持物体的三维表示(904)，每一个单元(903)包含顶点(906)，再现仪能够实施将八叉树(902)的单元(903)循环分割为下一级的较小单元的过程，其特征在于为了能够决定停止分割特定单元(903)的过程，再现仪(900)被设计用来检验特定单元(903)顶点(906)中的哪些在物体(916)之内和哪些在物体(916)之外。
9.按照权利要求8的再现仪(900)，其特征在于为了能够决定停止分割特定单元(400)的过程，所述再现仪(900)被设计用来检验相邻单元(402)的顶点(408)是在所述物体之内或之外。
10.按照权利要求9的再现仪(900)，其特征在于所述再现仪(900)被设计用来基于从二维图象(912)提取的深度图(502)确定顶点是在物体之内或之外。
11.按照权利要求10的再现仪，其特征在于为了生成三维表示(904)，所述再现仪(900)被设计用来计算特定单元(701)的顶点到物体边界(703)的距离(705)。
12.按照权利要求10的再现仪(900)，其特征在于为了生成三维表示(904)，所述再现仪(900)被设计用来估算特定单元的顶点到物体边界的距离。
13.图象显示仪(1000)，所述图象显示仪包括
——再现仪(900)被设计用来从物体的多幅二维图象(912)生成该物体(916)的三维表示(904)，它包括单元(903)的八叉树(902)以支持该物体的三维表示(904)，每一个单元(903)包含顶点(906)，再现仪能够实施将八叉树(902)的单元(903)循环分割为下一级的较小单元的过程；
——透视仪(1006)，它从三维表示生成二维图象；和
——显示二维图象的显示设备(1008)，其特征在于为了能够停止分割特定单元的过程，再现仪(900)被设计用来检验特定单元中的哪些顶点在物体之内和哪些顶点在物体之外。
全文摘要
从物体的多幅二维图象(912)生成至少一个物体的三维表示(904)的方法，利用单元(903)的八叉树(902)以支持三维表示(904)，而每一个单元包含顶点(906)和连接顶点的边(910)。此方法基于将八叉树的单元分割为更小的单元。分割单元过程的停止判据是检验哪些顶点在物体之外和哪些顶点在物体之内。分割单元过程的另一个停止判据是检验相邻单元的顶点是在物体之内或在物体之外。
文档编号G06T1/00GK1459082SQ0280061
公开日2003年11月26日 申请日期2002年1月28日 优先权日2001年3月12日
发明者F·E·埃恩斯特, C·W·A·M·范奥弗维尔德, P·维林斯基 申请人:皇家菲利浦电子有限公司