数字化图象的编码方法和装置的制作方法

专利名称：数字化图象的编码方法和装置的制作方法
背景技术：
以模型为基础的具有3-维-模型的图象编码方法要求画面内容以计算机图象模型形式的一个模型化。为了得到为此而必要的景深信息有各种可能性，例如从不同摄像机视图中的不一致-/深度评价。
在以模型为基础的编码方法中一个重要的方面是用一种适当的形式描述这些景深数据，通常作为三角形网格(线框)，为了以后借助于计算机图象的视觉化。
从文献[1]中已知各种方法求出用一个摄像机照出的一个画面的景深信息。
从文献[2]中已知一种轮廓跟踪法。关于轮廓跟踪法可以理解为一种方法，用它来求出一个图象对象的边缘，也就是图象对象的轮廓。
从文献[3]中已知一个图象信号曲率值的计算，也就是编码信息的第二次位置微分。
在这个关系中关于编码信息例如可理解为亮度信息(流明值)和/或颜色信息(色值)，它们各自明确地从属于一个数字化图象的图象点。
从文献[4]中已知一种方法，为了使一个2-维-图象，它们被一个多角形线包围着，用很多以下被称为三角网格的三角形添满。在其中已知，被用来添满由多角形包围的平面的三角形的确定，是这样形成的，必须满足每个单个生成的三角形的一定的质量判据。例如这样从这个文献中知道，使用一个最大的平面数据作为质量判据，此平面数据不允许超过一个三角形。一个另外的已知的质量判据是，每个被生成的三角形的内角至少为20°。用这种方法保证了，在文献[3]中叙述的算法的时间期限。
在文献[5]中叙述了数字图象处理的各种3-维-边滤波器。
从文献[6]，[10]，[11]中已知各种算法，用三角网格置入密集的深度数据的近似算法。用三角网格逼近密集的景深数据以下被称为三角形化。
从文献[8]中已知一种结构-映射-法，在其中求得一个图象对象的轮廓。为了有可能从不同的视图中表现图象对象，在构成多角形时考虑了图象对象的图象点的景深信息。多角形在图象的编码时被使用。
从文献[9]中已知，在一个3-维图象对象中构成一个多角形时多角形的样本是这样确定的，一个多角形是这样被处理，它的样本近似地位于一个由图象对象规定的表面上，就如同样本真的位于表面上一样。
在这些已知的方法中近似算法的空间精度作为最佳判据是很重要的。这些方法产生的三角形网格具有很多小的和/或也是非常尖的三角形。然而用已知方法生成的这种三角形形状并不适用于在计算机图象中的所谓的结构-映射-法。因此一个计算机图象视觉化借助于已知方法的结构-映射-法只可能得到相对差的质量。
发明简述本发明的任务是，给出实施本图象编码方法的一种方法和一种装置，此时借助于结构-映射-法的一个计算机图象视觉化与已知的方法相比较质量得到改善。
此问题是通过按照权利要求1的方法以及按照权利要求13的装置解决的。
在按照权利要求1的方法中具有一个任意图象点数的一个图象对象的一个数字化图象编码应进行以下处理步骤。对于图象中包含的图象对象求得图象对象的轮廓。进而在一个下面的步骤中确定位于轮廓上的样本。在确定样本时考虑了图象的图象点的景深信息。在考虑样本的情况下被形成多角形，用它们近似地添满被轮廓包围的平面。最后在使用多角形情况下图象对象被编码。
本方法的一个非常大的优点是，在确定样本时由于考虑了图象点的景深信息具有附加景深信息语义的附加样本被形成，它们可以在三角形化框架内被使用。由于与新语义耦合的新样本借助于结构-映射-法使一个改善的视觉化成为可能。
为实施本方法的装置同样具有相应的优点，其中安排了一个处理器单元用来实施单个的处理步骤。
本发明的有利的改进从从属权利要求得出。
在一个改进中为节省实施本方法所要求的计算时间是有利的，它是这样求得轮廓的一个近似曲线和这样确定样本的，它们位于近似曲线上。所需要的计算时间的进一步节省是这样达到的，近似曲线是通过轮廓的一个多角形化被求得的。
所需要的计算时间的进一步节省也是有利的，多角形的构成是在2-维空间中进行的。
此外在本方法的一个改进中使用三角形作为多角形，因为多角形的这种形式很容易计算和因此被节省大量的计算时间。
此外证实其有利的是，多角形的形成是叠代地进行的，其中借助于一个预先规定的质量判据确定，是否被求出另外的多角形。用这种方法可以达到的质量在各个图象对象的视觉化时被显著地改善。
视觉化的一个进一步的改善是这样达到的，作为形成另外的多角形的尺度是使用对应于一个图象对象景深信息的曲率。此时最好在大的曲率值时被确定小的最大面积和在小的曲率值时被确定大的最大面积。用这种方法在图象对象中预先规定的景深区中尽可能平的区域用很少的大三角，和曲率大的区域用很多小三角，一般来说通过很多小的多角形，被近似。
附图简述在附图中表示了一个实施例，在下面被详细地叙述。
它们表示附图1在一个流程图中表示了本发明的单个处理步骤；附图2摄像和处理图象的一个一般装置；附图3a和3b一个人的一个图象(附图3a)和与之相符和的景深图象(附图3b)；附图4人的轮廓的图象点的一个简图，也就是来自于附图3a中图象对象；附图5来自附图5在3-维空间的一个多角形化的图象边缘的一个简图，也就是在考虑景深信息情况下；附图6借助于例如一个多角形化表示的一个简图；附图7一个与附图6相符和的分支树；附图8按照文献[4]中已知方法的一个三角形化的结果；附图9来自附图3b深景图象的一个梯度图；附图10按照具有几个改进的本发明的方法的一个三角形化的结果举例。


附图2表示摄像和处理图象的一个装置。由数个摄像机Ki(i＝1..n)从不同远景照出的一个画面。在画面上是一个图象对象BO，例如包括由摄像机Ki摄取的一个人P。
进行图象分析的一个装置A包括一个景深清晰度TS的一个装置。在用于景深清晰度TS的装置中主要是进行附加的前处理步骤，例如摄像机校准，摄像机Ki棱镜畸变的修正，图象和不一致清晰度的改进措施。此外在景深清晰度TS装置中得到，为了制作下面叙述的图象中包括的图象对象的3-维模型的景深信息。
从摄像机Ki得到的图象Bi经过一个导线V，例如一个传输导线被输入给装置A。
为了得到景深信息，也就是说为了得到在下面详细叙述的景深图象，从照得的图象Bi中求得一个画面的空间点与摄像机Ki的距离。这个例如是按照所谓的从不同摄像机视图中的不一致-/景深清晰度完成的。不一致-/景深清晰度的一个可能的方法叙述在文献[1]中。这种方法与其它可选择的方法比较具有的优点是，用这种方法不仅得到图象对象BO的结构信息而且还得到图象对象BO的景深信息。
关于一个景深图象TB在本文中被理解为具有图象点的一个数字化的图象，此时各自的一个景深信息是从属于图象点的，用景深信息记录了各自对象点距棱镜焦点的距离。关于一个密集的景深图象TB被理解为一个景深图象TB，在其上对于一个给定的区域的每个点上的一个景深值是定义了的。
一个还没有照的图象对象BO在一个画面上被“新照相”情况下，例如因为它在过去的图象中被其它的图象对象BO盖住了，必须为这个新的图象对象BO求得图象对象BO或图象对象BO的一部分的一个3-维模型。这例如可以这样达到，通过形成差分图象，在过去的图象中还没有包括的，新的图象对象BO被求得。从而这个新的图象BO在景深图象TB中可以被细分。
在一个为了3-维格式初始化SI的装置中对于一个图象对象的每个新的3-维模型，模型的3-维形状参数被初始化。这个是通过一个下面详细叙述的图象对象BO的三角形化达到的。
一个图象对象BO可以包含有数个用不同方法运动的但是仍然相互连接的对象，例如包含有人P胳膊AM，身体KP和头H。为了求得这些不同对象在一个3-维运动评估BS装置中和在一个3-维形状参数的对象细分装置和现实化OS装置中进行一个3-维图象对象的一个运动评估和借助于运动评估图象对象BO也许被细分为数个小的图象对象和相应的小的图象对象的形状被现实化。
在对象细分OS装置中建立在3-维运动评估基础上的信息是通过图象对象在运动中的不连续性被求得的。由于这个不连续性在不同运动着的3-维-图象对象中进行图象对象的一个细分。包含在图象Bi中的景深信息和亮度信息，最好在图象细分范围内被考虑-特别是为了求得不同运动着的图象对象的单个图象对象成分的对象边缘时。
图象数据被存储在一个图象存储器SP中。
在一个结构评估TE装置中从被照得的图象Bi出发求得各个图象对象的结构参数。
在这个装置中得到的对象数据被编码和例如传输给一个第二个装置A进行解码。
在附图1上表示了本方法在它的处理步骤中具有几个改进。
为得到一个图象对象BO的一个3-维模型用一个自然画面的一个图象B作为出发点，如在附图3a中表示的。在附图3b中表示了与附图3a对应的景深图象TB。
如果现在对于一个一定的区域应该，也就是对于图象B上的一个图象对象BO生成一个三角形网格，则在一个第一个步骤101中最好在景深图象TB中提取图象对象BO的一个对象边缘，以下被称为轮廓KO。为此使用了一个例如从文献[2]中已知的轮廓跟踪方法。
在附图4上图象对象BO的轮廓KO被表示在2-维空间中。
与之相比较附图5表示了在3-维空间的一个已经多角形化的轮廓。
通过将从属于景深图象的各个图象点的各自的景深值附加在图象点的坐标上，人们得到一个空间轮廓。空间轮廓以下被称为3-维轮廓KO。
3-维轮廓通过一个多角形线在3-维空间被近似。
从文献[7]中已知一种适合的方法。为了用一个大量的直线逼近包括有n个图象点的一个3-维曲线，也就是说3-维轮廓KO，被构成一个二元树，它包括了3-维轮廓KO的所有依次递推细分为直线。然后这个二元树被进行完全分析，以便通过一个多角形线得到3-维轮廓KO的最佳再现。3-维轮廓的所有图象点的完整的列表经过一个直线的一个初始近似以后列表被分为两个直线段，并且是在实际曲线和近似曲线的最大的偏差点上。这个直线段的近似和细分过程被依次递推地重复，一直到图象点的一个列表各自只包括两个图象点时。每次近似算法被存储在一个数据结构中。它包括了将原来的近似被分为两个近似的各个基准。这种依次递推过程的结果是一个结构树SB(见附图7)。在结构树SB的每层上总的3-维轮廓KO是用结构自由度的增加描述的。将一个特征值从属于结构树上的每个直线段。特征值例如是从直线段长度与准备逼近曲线的逼近的最大偏差的商数求得的。在结构树SB中求得涉及到特征值的最佳直线段的数量。在结构树SB的所谓的叶子上开始进行分析，也就是在那些位下面的中不再被细分的单元上。如果各个直线段的特征值大于位于结构树上下面的直线段的特征值时，一个直线段被保存，否则直线段被具有一个较高特征值的各个直线段所代替。经过整个结构树SB的分析以后最佳的结构被余留下来的直线段所描述。
在附图6中表示了一个曲线KV和曲线KV近似算法的直线段的一个完整的语句和直线段与准备逼近的曲线KV的最大偏差点。从直线段的这个语句中形成一个近似曲线AK。在附图7中表示了与附图6对应的结构树SB，其中用a，b，c，d，e，f，g明确地表示各自的直线段。用一个圆圈符号表示了具有各自最大特征值的各个直线段。例如在这种情况下意味着，直线段b不仅比直线段d而且和e有一个较大的特征值。进而意味着，或者直线段f或者直线段g比直线段c有一个较大的特征值。此外从附图7中得知，既不是直线段b，直线段f也不是直线段g比直线段a有一个较大的特征值。对于这个例子情况则近似曲线AK是从直线段b，f，g的合成中得出的。
通过近似曲线AK得到样本，它们位于近似曲线上，也就是说在一个第二个处理步骤102中样本被确定，它们位于轮廓KO上。在考虑景深信息情况下，也就是说在考虑景深信息情况下确定样本时的优点特别在于，近似曲线AK具有的附加样本相对于一个多角形化只是在2-维空间中的，用它们被标志了纯脆的景深变化，得到了3-维图象对象BO视觉化的一个高质量三角网格形成的一个非常大的意义。
在一个第三个步骤103中通过压缩近似曲线AK的样本的景深值现在将它重新返回到2-维空间。
用这种方法求得的近似曲线AK现在对于被近似曲线包围的平面，在考虑样本的情况下形成多角形，用它来至少近似地添满被轮廓KO包围的平面104。例如这是借助于在文献[4]中已知的三角形化方法完成的。只是将文献[4]中叙述的方法更改为，在三角形化的同时考虑一个第三个尺寸。
作为质量判据，是否应该将一个三角形继续分为两个三角形或者不，最好使用以一个图象对象对应的景深信息的曲率形式的一个附加判据。此时在大的曲率值区域内被使用的三角形的小的最大面积被确定和在很小的曲率值时被使用的三角形的大的最大面积被确定。为了求得在景深图象TB中的曲率可以使用文献[3]中的方法或使用文献[5]中的一个任意的被叙述的3-维边滤波器。
用这种方法预先规定的景深区的平的区域用少数的大三角形和很弯曲的区域用很多小三角形被逼近。
进而在一个进一步的步骤105中由景深图象TZ所属的景深值被重新分配给每个三角形网格的角点和这样网格在保持网格地貌情况下被重新返回到3-维空间。
为了与文献[4]中知道的在2-维方法中可以达到的结果进行比较好的比较，如附图8所示，在附图10中表示了按照本发明方法的一个多角形化，它使用了景深图象TB的曲率和因此在附图9中表示的附图3景深图象TB的梯度图GBTB。可以明显地看出在视觉化的重要区域有一个改善了的三角形化，在这个区域已经求得了对象BO的一个景深改变。
在一个最后的步骤106中图象对象BO在使用多角形情况下，也就是三角形情况下被编码。
用这种方法生成的网格非常适合于借助结构-映射-法的计算机图象视觉化，因为-结构分配给各个三角形很容易(2-维三角形网格只需要被放在自然画面的图上)；
-没有生成三角形，就没有结构可以被分配给它，因为只生成可见的三角形；-通过按照文献[4]的三角形化方法的质量判据，很尖的和没有必要小的三角形尽可能地被避免。
下面叙述上述实施例的几个变型。
所使用的多角形的形状不仅限制于三角形。一般来说任意的多角形都可以被使用在添满被近似曲线AK限制的对象平面上。
而且并不要求，使用近似曲线AK，然而同样可能，将轮廓用多角形添满和在考虑轮廓KO的图象点的景深信息情况下在轮廓KO上求得样本。
同样求得景深信息的方法不仅限于不一致-/景深评估。为得到所要求的景深信息的可选择的方法例如结构化的光，激光测距仪等。关于各种求得景深信息的可能性的一览表在文献[1]中已知。实施本方法的装置具有这样构成的各个装置，执行各个处理步骤。
本发明可以从中清楚地被观察到，在求得一个图象对象的三角形化的样本时考虑了图象的图象点的景深信息，从而附加地，同时考虑了对于计算机图形视觉化重要的语句信息。
在本文范围内引用了下述文献[1]亚.希莱，3-维计算机视觉，Springer出版社，第一版，ISBN3-540-15119-2，122-164页，1987年[2]阿.克莱特和皮.赞波罗尼，图象处理操作手册，Vieweg，第一版，ISBN 3-528-06431-5，254-263页，1992年[3]皮.哈伯瑞克，数字图象处理，第三版，Hansa汉莎出版社，ISDN 3-446-15644-5，137页，1989年[4]捷.尔.舍夫楚克，三角形2-维质量网格生成器和迪劳尼三角形生成器工程，计算机科学学院，卡耐基 麦劳学院，皮茨堡，PA15213，URL＝http//www.cs.cmo.edu/@quake/trepaper/triangle0.html[5]亚.希莱，3-维计算机视觉，Springer斯普林格出版社，第一版，ISBN 3-540-15119-2，166-174页，1987年[6]姆.本和德.埃泼斯坦，网格生成和最佳三角形化，在欧几里德几何学中的计算，世界科学，47-123页，1995年 皮.罗新和格.维斯特，曲线非参数化分块及各种再现，IEEE Trans.样件分析和机器智能化第17卷，12章，1140-1153页，1995年12月[8]特.亚吉莫寇，自动创建3维面模型，IEEE计算机图形和应用，1993年9月，16-22页[9]莫.哈尔和捷.瓦伦，隐定义面的适应多角形化，IEEE计算机图形和应用，1990年11月，33-42页[10]X.盛和埃.麦耶，面模型地貌结构的生成，IEEE计算机图形和应用，1995年11月，35-41页[11]US 5 465 32权利要求
1.具有一个任意图象点数的至少一个图象对象的一个数字化图象的编码方法，-其中被求得图象对象的轮廓，-其中被确定位于轮廓上的样本，-其中在确定样本时考虑了图象的图象点的景深信息，-其中在考虑样本情况下被形成多角形，用它至少近似地添满被轮廓包围的面，和-其中图象对象在使用多角形情况下被编码。
2.按照权利要求1的方法，-其中求得轮廓的一个近似曲线，和-其中样本位于近似曲线上。
3.按照权利要求2的方法，其中近似曲线是通过轮廓的一个多角形化被求得的。
4.按照上述权利要求之一的方法，其中图象对象的轮廓求得是在考虑图象点的景深信息情况下完成的。
5.按照上述权利要求之一的方法，其中样本是由近似曲线分段的开始矢量以及终点矢量中产生的。
6.按照上述权利要求之一的方法，其中多角形的形成是在二维空间中完成的。
7.按照上述权利要求之一的方法，在其中三角形被使用作为多角形。
8.按照上述权利要求之一的方法，其中多角形的形成是用一个叠代法完成的，在其中借助于一个可预先规定的质量判据被确定，是否另外的多角形被求得或者不。
9.按照权利要求8的方法，其中作为质量判据是使用多角形的面积大小和/或多角形的内角。
10.按照上述权利要求之一的方法，其中作为形成另外的多角形的尺度是使用与一个图象对象的曲率对应的景深信息。
11.按照权利要求10的方法，-其中一个景深图象被求得，和-其中曲率是通过形成景深图象的梯度被求得的。
12.按照权利要求10的方法，-其中一个景深图象被求得，和-其中曲率是通过使用一个三维边滤波器被求得的。
13.具有一个任意图象点数的至少一个图象对象的一个数字化图象的编码装置，具有一个被这样装备的处理器单元，-图象对象的轮廓被求得，-确定位于轮廓上的样本，-在样本被确定时考虑了图象的图象点的景深信息，-在考虑样本情况下被形成多角形，用它至少近似地添满被轮廓包围的面，和-图象对象在考虑多角形情况下被编码。
14.按照权利要求13的装置，其中处理器单元是被这样装备的，-轮廓的一个近似曲线被求得，和-样本位于近似曲线上。
15.按照权利要求14的装置，其中处理器单元是被这样装备的，近似曲线是通过轮廓的一个多角形化被求得的。
16.按照上述权利要求13至15之一的装置，其中处理器单元是被这样装备的，图象对象轮廓的求得是在考虑图象点的景深信息情况下完成的。
17.按照上述权利要求13至16之一的装置，其中处理器单元是被这样装备的，样本是从近似曲线分段的开始矢量以及终点矢量中产生的。
18.按照上述权利要求13至17之一的装置，其中处理器单元是被这样装备的，多角形的形成是在二维空间中完成的。
19.按照上述权利要求13至18之一的装置，其中处理器单元是被这样装备的，三角形被使用作为多角形。
20.按照上述权利要求13至19之一的装置，其中处理器单元是被这样装备的，-多角形的形成是用一个叠代法完成的，和-借助于一个可预先规定的质量判据被确定，是否另外的多角形被求得或者不。
21.按照权利要求20的装置，其中处理器单元是被这样装备的，作为质量判据被使用多角形的面积大小和/或多角形的内角。
22.按照上述权利要求13至21之一的装置，其中处理器单元是被这样装备的，作为构成另外的多角形的尺度被使用与一个图象对象的曲率对应的景深信息。
23.按照权利要求22的装置，其中处理器单元是被这样装备的，-一个景深图象被求得，和-曲率是通过形成景深图象的梯度被求得的。
24.按照权利要求22的装置，其中处理器单元是被这样装备的，-一个景深图象被求得，和-曲率是通过使用一个三维边滤波器被求得的。
全文摘要
建议了一个方法以用于图象对象3－维模型的三角形化,在其中确定一个图象对象的一个已经求得的轮廓(101)的样本,此时在确定样本时考虑了图象的图象点的景深信息(102)。在考虑样本情况下进行图象对象的三角形化(104)。图象对象在使用已经求得的多角形情况下,也就是在三角形化框架下被形成的三角形情况下,被编码。
文档编号H04N7/26GK1252148SQ98803922
公开日2000年5月3日 申请日期1998年1月23日 优先权日1997年2月11日
发明者T·里格尔 申请人:西门子公司