专利名称：用于三维彩色扫描的方法和装置的制作方法
技术领域：
本发明一般涉及光学扫描器，特别是涉及用于提供三维物体的数字表示法的光学扫描器。
背景技术：
已发展用于成功获得物体的两维(“二维”)彩色图象数据的方法。这个处理过程公知为两维扫描或数字化。当扫描物体时，产生数字数据文档，它包括包含与一组两维点或坐标相关的彩色信息的图象数据。由一般在一维或两维阵列中组织起来的光学检测器或光学检测器组获得彩色信息。
由于光学检测器聚焦在其上的两维点是与由检测器获得的彩色信息相关的相同点，所以在两维扫描中，把彩色信息与正确的两维点或位置匹配不是主要问题。错误设置彩色信息只到在检测器聚焦其上的点的位置上有一些误差的程度(例如，由光学系统引入的误差)和可以容易地使该误差最小的程度。
不容易解决把彩色信息与三维(“三维”)物体联系起来的问题。这是因为现有技术方法用两维扫描方法来获得彩色信息，同时通过三维扫描方法获得位置信息。把二维彩色信息映射到三维位置信息是容易发生重大误差的复杂处理。
存在许多方法来获得物体的表面点的三维位置。一种方法是一种系统，它运用激光测距仪来扫描物体并记录在测距仪的已知三维位置和物体表面的测定位置之间的距离。运用这种方法或其它方法来产生三维表面模型的结果是三维点组，它精确地表示物体的表面。获得三维表面模型的这种方法和其它方法的特征是它固有的单色，即，在处理过程中没有获得任何彩色信息。如果需要三维彩色信息，那么必须通过组合两维彩色信息或将它们共形地映射到三维表面模型上来生成它。
将两维彩色信息共形地映射到三维表面模型上的问题是很难的，而且出现将彩色信息与三维点误匹配的情况很普遍。通过想象白色雕像或人头半身像以及相同人脸的彩色照片，可以使这个问题具体化。不能简单地将照片投射在半身像上以把正确地彩色信息转递到在半身像上的正确点上或者将发生明显失真。必须执行大量的判断，以将来自照片的彩色信息与在半身像上的正确表面点正确联系。类似地，很难将从两维光学检测器获得的彩色信息与在三维表面模型上的正确点相联系。在现有技术中的另一个问题在于不用彩色信息来确定表面位置，它意味着使用少于可获得的信息总量的信息。此外，要求二维和三维系统两者，这增加了成本。
所需要的是，通过总是将三维点与彩色数据相联系的方法来产生一组表示表面的三维点，从而不必将分立产生的彩色数据共形地映射在三维表面点组上。此外，所需的是，利用所有可获得光频率来确定表面点位置以使扫描过程的精确度最大并消除分立三维扫描步骤。
发明概述因此，本发明提供一种利用一系列二维彩色图像的彩色信息得到产生彩色图像的表面点空间中的三维位置的系统和方法。由于把彩色信息本身用来得到表面点的三维位置，所以不再需要把分开产生的彩色信息保角地映射(conformally map)到得到的三维表面点上。这些点是根据彩色信息取得的，所以已经与正确的彩色信息相关联。而且，利用彩色信息提高了表面点的三维位置的准确性。
在一个实施例中，本发明提供一种数字扫描器，它包括对可见光的宽频谱起反应的多视图检测器装置。多视图检测器可用于显现正在扫描的三维物体的多个图像。相对于该物体，从多个相对角度获取多个图像，且多个图像描绘该物体的多个表面部分。包括计算单元数字处理器，耦合到检测器，它多个图像起反应从而它显现物体的多个表面部分的三维坐标位置和相关的图像信息。于是要扫描物体的三维图像由数字处理器来显现。显现的数据包括形状和表面图像彩色信息。
在另一实施例中，三维彩色数字扫描器包括彩色检测器，它对可见光的宽频谱起反应，以显现三维物体的多个图像。旋转物体支持物具有一个旋转轴，可以使检测器显现三维物体的多个图像。多个图像描绘物体的多个表面部分。数字计算机耦合到检测器。计算机跟踪物体表面部分的斑点，以作为旋转物体支持物的旋转的函数决定斑点的坐标，并决定从旋转轴算起斑点的半径。
在另一个实施例中，一种扫描三维物体的方法包括显现三维物体的多个图像，它们是相对于物体从多个相对角度获取的。多个图像描绘要扫描的物体的多个表面部分。物体的多个表面部分的三维坐标位置和相关的图像信息根据多个图像计算得到，这样就可以显现包括形状和表面图像信息的物体的三维图像。
在另一个实施例中，确定物体的表面部分的三维坐标的方法包括获得物体的表面部分的多个图像以及识别在一个初始图像中表面部分的可跟踪斑点。决定初始图像中可跟踪斑点的二维坐标初始组以及另一图像中的可跟踪斑点的至少一组附加二维坐标。决定可跟踪斑点的径向坐标，然后根据可跟踪斑点的径向坐标决定可跟踪斑点的一组三维坐标。
在另一实施例中，确定物体的表面部分的三维坐标的方法包括绕旋转轴旋转物体，从而在绕旋转轴旋转物体时获得物体的表面部分的多个图像。识别可跟踪斑点，决定可跟踪斑点的两维坐标。作为物体旋转的函数跟踪可跟踪斑点的移动。根据作为物体旋转的可跟踪斑点的函数的移动确定可跟踪斑点离旋转轴的径向距离，并且根据可跟踪斑点的坐标和可跟踪斑点离旋转轴的径向距离得到物体的表面部分的三维坐标。
本发明提供一种获得三维表面信息的系统和方法，该信息与彩色信息相联系，而不需要在三维表面上保角映射二维彩色数据。利用彩色数据提高了系统的准确性，并且由于从一系列二维图像中得到3维表面，所以降低了系统成本。通过阅读下面的详细描述和研究各附图，本发明这些和其它一些优点将变得明显。
图1示出用于获得物体的一系列两维彩色图象并处理那些图象以获得物体的表面的三维模型的系统。
图1A示出能够扫描物体的顶部和底部的本发明的另一个实施例。
图1B示出产生物体的增强阴影(shading)的本发明的另一个实施例。
图1C示出关于静止物体转换检测器的布局。
图1D示出运用多数检测器而不是移动单个检测器的本发明的实施例。
图2示出图象获得系统的详细结构。
图3A是示出获得旋转物体的多个图象的处理过程的流程图。
图3B是示出从物体的两维图象产生三维表面数据的处理过程的流程图。
图4是示出在存储它们之前在图象上执行的处理的流程图。
图5A示出获得的彩色数据的矢量本质。
图5B示出对于象素线，在时刻0、1、2和3处蓝色数据的例子。
图5C示出如何通过只记录彩色数据中的变化来压缩数据。
图6是示出在每个图象中识别物体廓影的处理过程的流程图。
图7是示出沿着每个扫描线找到廓影边缘的处理流程图。
图8是示出确定一组可跟踪斑点(patch)的处理的流程图。
图8A示出如何搜索可跟踪斑点的图象。
图9是示出确定当物体旋转时，在物体表面上的斑点位置的半径的处理流程图。
图9A示出一组斑点跟踪极限。
图9B示出带有不同角偏差的不同图象中可跟踪斑点的移动。
图9C示出在图象中斑点的精确位置的确定。
图9D是示出过滤行数据点的示图。
图9E是示出如何根据表示可跟踪斑点穿过角度移置的图象的路径的点来确定半径的示图。
图10是表示一旦已知可跟踪斑点的半径就发生的后处理的流程图。
用于执行本发明的最佳模式在图1中，本发明的实施例包括用于获得物体的一系列两维彩色图象并处理那些图象以获得物体表面的三维模型的系统。将数字化的物体100设置在可旋转平台102上。提供马达104以通过轴106驱动可旋转平台102。位置编码器108检测可旋转平台102的角度位置并生成表示可旋转平台102的角度位置的电信号。光学检测器110(例如，彩色视频摄像机)观测物体100并产生物体100的两维彩色图象。
当由可旋转平台102旋转物体100时，检测器100捕获物体100的一系列彩色图象。将在不同时间取到的每个彩色图象与物体100绕着旋转轴的旋转角相联系，“A”通过轴106运作。从位置编码器108获得关于物体100的角度位置的信息。于是，相对于检测器110，将从不同角度由检测器110提取的每个“快照”或物体100的图象与关于物体100的旋转角度的数据相联系。图象输入处理系统120(“计算机”)控制图象获得过程并记录获取的图象以及相关角度位置数据。即，处理系统120与检测器110相连并接收用于由物体100从检测器110取到的每个图象或快照的数据，而且位置编码器108把角度位置信息发送到处理系统120，从而处理系统120可将来自检测器110的图象数据与在相同时候取到的角度位置相联系。在其它实施例中，检测器110是胶片摄像机，而且处理系统120接收来自数字器的数据，它使来自检测器110的胶卷图象数字化。
处理系统120包括处理单元122和监测器124，而且控制马达104。监测器124能够显示由检测器110捕获的当前图象126或者关于捕获过程的其它信息。
一旦处理系统120得到一系列图象，那么把那些图象转移到图象处理器130(“计算机”)。图象处理器130可以大量不同的方法来接收来自处理系统120的数据。通过直接连接132，可将图象处理器130直接连到处理系统120上，或者可以把来自处理系统120的数据转移到可移动存储媒体，诸如可由图象处理器130读取的磁盘134。处理系统120还可通过因特网或调制解调器连接将数据转移到图象处理器130。图象处理器130包括处理单元136，还包括监测器138。
在其它实施例中，在单个计算机上组合处理系统120和图象处理器130。将处理系统120和图象处理器130的功能分开的优点在于，由处理系统120执行的数据捕获和存储功能，而且控制数据捕获系统不要求复杂或功能强的处理器。另一方面，图象处理器130接收表示一系列两维图象的数据，并对该数据执行复杂和计算集中的操作以产生三维表面模型。因此，图象处理器130是由当前技术制造的，似乎比处理系统120更加有能力(和昂贵)计算机。如果是那种情况，那么利用大量相对便宜的处理器用于数据捕获和临时存储是很经济有利的，而且把来自那些相对便宜的系统的数据送到小数量图象处理器，它们根据两维彩色图象组生成三维表面模型。
图1A示出本发明的另一个实施例，它能够扫描物体的顶部和底部。再次，由马达104驱动的可旋转平台102支持物体100。在这个实施例中，轴107占用(engage)可旋转平台102的边缘，从而马达104和轴107不使物体100的底部图象模糊。由透明材料来制成旋转平台102，从而可以通过可旋转平台102来看到物体100的底部。把一组镜子109设置在监测器110的视野内，从而除了侧视之外还由监测器110捕获物体100的顶部和底部表面图象。
图1B示出设计来产生物体100的对比度增强阴影的本发明的另一个实施例。同样，由马达104通过轴106驱动的可旋转平台102支持物体100。第二马达142还通过轴146驱动可旋转平台144。编码器148生成表示可旋转平台144的旋转位置的数据并把该数据传送到处理系统120。同样，马达142接收来自处理系统120的控制命令。把灯150安放在可旋转平台144上以向物体100提供照明。把灯150方向，以提供在物体100上的对比照明和阴影部分，这助于跟踪在物体100表面上的特征。由于把灯150安放在分别可由处理系统120控制的可旋转平台144上，所以相对于物体100，可检测灯150的不同定向以确定哪一个最好地增强物体100的表面特征。当用同步的方法来旋转平台102和144时，阴影保持不变。此外，可通过改变平台102和144的相对位置，还可获得带有不同阴影的物体100的多组视图。
图1、1A和1B每个都示出其中旋转被成象的物体的实施例。在本发明的另一个实施例中，物体保持静止，而且检测器围绕物体移动。图1C示出其中关于静止物体转换检测器的布局。应注意，当检测器110移动时，镜片11保持指向物体100。检测器110可以多种方法移动，而且可以多种方法来支持物体100。在一个实施例中，通过把它挂在很细的绳子上获得无遮挡视图。在物体100周围转换检测器110。如果物体100很大，那么例如可以把检测器110放置在直升机上，并绕着物体100飞。检测器110不必精确地绕着物体100圆形移动。如熟悉本技术领域的人员可知，可以相对于物体100，计算地分析检测器110的移动的角度和半径分量。只测量和记录检测器110的位置，对于由检测器110取到的每个图象，可以相对于物体100，确定检测器110的相对角度位置。确定检测器110的位置方法包括运用GPS或激光定位系统。一旦分析移动角度分量和计算半径分量，系统补偿半径分量，而且可与由包括旋转物体和静止检测器的系统产生的图象相类似地处理由检测器110生成的图象。
图1D示出运用多个检测器而不是移动单个检测器的本发明的实施例。示出物体100的俯视图，而且在相对于物体100的不同角位移，提供检测器110组。本发明的优点在于不需要任何移动，而且对马达、编码器和可旋转支持的需要也是有限的。使每个检测器获取的物体100的图像相对于其它检测器获取的图像角度偏移，这样这些图像能以与用一个移动的检测器得到的连续图像相似的方式进行处理。多个检测器110的成本可能低于可旋转驱动器或移动检测器110和记录检测器110位置的机构的费用。这一方法的另一个优点是物体100的所有图像都可以同时产生。
图1至图1D描述了当物体100和检测器110处于不同的相对角度偏移时产生物体100的多个图像的各种实施例。这些系统中的每个系统都提供在不同角度观测到的物体100的两维彩色图象。通过本发明的处理和装置，将这个两维信息转换成物体100的三维表面模型。
图2示出在一些实施例中用到的处理系统120的详细结构。把微处理器200连到存储器总线202，把存储器总线202连到RAM204和ROM206。还把微处理器200连到输入/输出(“I/O”)总线208。把视频接口210耦合到I/O总线208以控制马达124，如是检测器接口212。检测器接口212缓冲和处理来自检测器的数据，还把输出命令从微处理器200带到检测器。在使用移动检测器的某些实施例中，检测器提供它自己的控制并记录它自己的位置。在这些实施例中，检测器/处理器接口只需能够将数据从检测器转移到处理器存储系统，其中所述数据包括图象和检测器位置数据。
大容量存储器214(诸如，硬盘驱动器)也与输入/输出总线208相连并为由光学系统产生的多图象提供存储容量。可卸装存储器216(诸如，软盘驱动器)还提供将数据文档转移到处理系统120和另一个处理系统和转移来自它们的数据。作为替代，还可将通信接口218用于转移文档。还可将通信接口218连到局域网(“LAN”)或广域网(“WAN”)，以与其它工作站进行通信。在处理系统120提供控制命令以旋转物体100的实施例中，位置控制器220与输入/输出总线208相连，而且控制马达。在这些实施例中，位置检测器222接收来自编码器的数据，从而处理系统120还保持跟踪物体100的位置。照明控制224还与输入/输出总线208相连，而且用于控制灯的位置，其中灯可相对于物体100移动。照明控制224还控制那些灯的强度。
在图2中的示出的用于处理系统120的结构能够支持如图1-1D所示的任一个实施例。如果旋转物体，那么位置控制器220和位置检测器222提供对旋转的控制。将关于物体100的位置信息与来自接口212图象数据结合起来并存储在大容量存储器214中。由照明控制224控制灯的移动和强度控制。如果用了自主(autonomous)检测器，那么通过通信接口218或可拆装存储器216，可以将由检测器捕获到的关于检测器位置图象的数据转移到处理系统120。在使用多个检测器的实施例中，提供多个检测器接口以控制多个检测器。如上所述，运用微处理器200和包含在大容量存储器215中的数据可以计算三维表面模型，或者，另一方面，可将在大容量存储器214中的数据转移到更加功能强的图象处理系统。
图3A是获得旋转物体的多个图象的本发明的处理过程的流程图。较佳的是，在处理系统120上实施该方法。在步骤300处开始处理，而且在步骤302中，用户将物体设置在可旋转平台上。物体开始旋转，同时由检测器将其成象。在步骤304中，处理器检测是否已捕获或取得所需数量的图象。如果已捕获所需数量的图象，那么在步骤306处结束处理。于是，准备将两维图象数据放到图象处理器以产生三维表面模型。如果捕获更多图象，那么将控制转移到步骤308，而且把命令送到检测器以捕获图象。最好预先处理并存储图象(在步骤310中)，而且把控制转移回到步骤304。一旦完成如图3A所示的处理，在检测器和物体之间的不同相关角位移处获得物体的一组两维彩色图象。
图3B示出在图象处理器130上实施的用于根据在处理系统120上实施的如图3A所示的处理发展的物体的两维图象产生三维表面数据的过程。处理在步骤350处开始，而且在步骤352中，处理识别在由图象捕获系统提供的物体的每个两维彩色图象中的物体的廓影。将这个廓影信息用于减小在每个图象中必须处理的区域。在步骤354中，确定一组跟踪点位于物体的廓影内。将这些跟踪点与物体的表面特征相联系，其中在由光学检测器取到的物体的不同图象中可识别上述物体的表面特征。将与可识别特征相对应的物体的图象部分称为可跟踪斑点。每个可跟踪斑点包括围绕在正在扫描的表面上的几何学点的象素组。于是，可跟踪斑点是与几何点相关并邻近该点的特征。斑点与邻近表面位置不同，因而它是可跟踪的。通过在物体和检测器之间的不同相关角位移处取到的物体的一系列图象跟踪可跟踪斑点。步骤356对于每个可跟踪斑点，发展离旋转轴的半径，它说明了在图象中可跟踪斑点的移动。用可跟踪斑点的半径来使半径逼近与可跟踪斑点相关的几何点。
一旦完成步骤356，已生成包括与每个可跟踪斑点相对应的点和在那些点之间的插入值的三维表面。在步骤358中，以标准格式，输出与建模表面相对应的点的坐标。在一些实施例中，输出未处理的可跟踪斑点。在其它实施例中，将点插入未处理可跟踪斑点，从而产生表示三维表面的点规则阵列。由于可跟踪斑点与可跟踪斑点的彩色信息相联系，所以每个可跟踪斑点已与彩色值相联系。将可跟踪斑点的彩色值简单地归因于对该斑点所判定的点。步骤358输出坐标和它们的彩色值。在步骤360处完成该过程。
图3B的处理用在产生那些点的期间，将彩色信息与三维点相联系的方法，根据一组两维图象产生三维表面数据。其实，用彩色信息来识别跟踪的点，从而增强跟踪过程。系统不独立于彩色图象信息来识别物体的表面，而且将表面点与彩色信息相匹配。在如图3B所示的系统中，光学检测器获得物体的彩色图象。根据该彩色图象信息不能独立地确定物体的三维表面点。实际上，不直接确定物体的表面点，而是确定位于该表面上的特征的位置。那些表面特征包括彩色信息。因此，直接确定彩色特征的位置，而且不必将它映射到独立生成的表面模型。于是，通过表面特征点之间的插入，根据表示彩色表面特征的点来产生表面模型的规则间隔的点。
图4示出在存储它们之前，在图象上可执行的处理310。在步骤400处开始处理过程。步骤402分析在当前获得的图象和前面获得的图象之间的差异。步骤404将压缩技术施于数据以减小由数据占去的存储空间量。在步骤406中完成处理过程。于是，在运用处理310的实施例中，对于更加紧缩的数字存储器，压缩数据。
图5A、5B和5C还示出彩色图象象素数据和在本发明的一个实施例中实施的压缩技术。图5A示出获得的彩色数据的矢量本质。在例子中，示出使用红-绿-蓝色(“RGB”)彩色数据。根据本发明，可以实施这种或任何其他诸如蓝绿-红紫-黄黑色(“CMYK”)的配色法。将如图5A所示的三轴标为R、G和B。可将彩色值表示为指向在这个彩色空间中的点的矢量。例如，矢量500表示某一象素的彩色值。由矢量500所指向的点表示R、G和B的值。矢量500是绿色分量矢量502、蓝色分量矢量504和红色分量矢量506的总和。于是，对于每个点，在描述点的彩色的彩色空间中存在一矢量。存储点的位置或象素位置以及表示三个彩色信号RGB的强度的三维彩色信息。
图5B示出对于象素线，在时刻0、1、2和3处，对于蓝色的彩色数据看似所象的例子。在时刻0处，象素线成象没有蓝色的表面特征。在时刻1处，将带有蓝色分量的表面特征移入由象素线成象的位置，从而在观测到X个没有蓝色的象素之后，观察到8个蓝色象素。在8个蓝色象素之后，再次观测没有彩色的Y象素。在这个例子中，为了说明简单，只示出蓝色的一个强度。在实际例子中，还可观测和记录蓝色的变化强度。在时刻2处，表面特征已移到右边，而现在，观测到没有蓝色的X+2个象素，同时再次观测带有蓝色的8个象素。接着，观测没有彩色的Y-2个象素。在时刻3处，将蓝色特征移到再向右的一个象素，从而观测没有彩色的X+3个象素，接着是8个蓝色象素，接着是没有彩色的Y-3个象素。
应理解，对于每种彩色，记录每个象素的彩色值生成大量数据。图5C表示如何通过只记录彩色数据的变化彩色数据，然后对这些变化进行游程编码。对于熟悉该技术人员，已知游程编码技术。在时刻0处，观测到没有彩色，从而存储的数据简单地是没有彩色或黑色。在时刻1处，X个象素仍然是没有彩色，从而记录象素数量并与无变化相关。接着，8个象素将彩色变成蓝色，而且记录8个象素如具有正蓝色变化。最后，所剩Y个象素没有变化，从而Y个象素，记录没有变化。在时刻2处，在没有彩色的左侧处的X个象素没有变化，从而将X个象素记录成没有任何变化。由于蓝色图象已向右移两个象素，所以接着以前是蓝色的两个象素现在没有彩色。将这两个象素记录成两个负蓝色象素，由于对于它们的彩色变化是表示丢失蓝色的负蓝色。接着6个象素以前在时刻1处是蓝色，而在时刻2处保持为蓝色，从而对于接下去6个象素记录没有变化。接着两个象素以前不是蓝色，而已变成蓝色。因此，记录接着两个象素作为具有表示在时刻2和时刻1之间正蓝色变化的正蓝色值。在时刻1期间，接着Y-2个象素是空白的，而且在时刻2期间保持空白，从而对于接下去Y-2个象素，记录没有变化。
在时刻3处，蓝色特征已向右移一个象素。在时刻2处，在线性阵列中的第一X+2个象素没有彩色，而且在时刻3仍然没有彩色。因此，对于第一X+2个象素记录没有变化。接下去的象素以前是蓝色，但是由于蓝色特征已向右移动一个象素，所以现在象素没有彩色。因此，对于该象素，记录负蓝色变化。接下去的7个象素在时刻2处是蓝色的，而且在时刻3处保持蓝色。因此，对于那些7个象素，记录没有彩色变化。在时刻2处，接下去的象素没有蓝色，而在时刻3处具有蓝色分量。因此，对于该象素，记录正蓝色的彩色变化。最后，在时刻2处所剩象素以前是空白，而在时刻3处保持空白，而且对于那些Y-1个象素，记录没有变化。
从这个例子，可以看到当在连续时刻表面特征移过象素时，可以通过只记录在每个连续时刻对于每个象素的彩色值变化，可以表示特征的图象。可以简单地注解不改变彩色的连续象素，而无需存储对于每个象素的三维彩色值。这只是在本发明的一个实施例中用到的数据压缩方案的一个例子。可将其它压缩技术用作对于这个压缩技术的变通方法或者可结合这个压缩技术一起使用。只需要以可存取和将来可展开格式存储数据以处理两维图象从而确定三维表面。另一方面，如果存储容量不是问题，那么可以消除数据压缩。
在本发明的其它实施例中，派生出除了彩色之外的表面属性，而且与三维表面数据连接起来存储。例如，可从相对于表面的多个角度多次观看的本地表面的表面几何学和定向，派生出反射率(specularity)、发射率和吸收。在某些实施例中，这些属性还有助于区分可跟踪斑点。
图6示出识别在每个图象中的物体的廓影处理352。处理在步骤600处开始。步骤602测试是否用图象完成处理。如果处理器完成图象，那么处理在步骤604处终止。如果保持有更多的图象要处理，那么步骤606将滤波器核心(kernel)施于图象，其中作为参考资料在此引入。如熟悉该技术领域的人员可知，滤波器核心是一组系数，它与图象(象素的XY阵列)卷积。通过在表示图象中的边缘的位置处产生高度相关性，某些滤波器核心(诸如，Canny和Sobel Kenels)突出边缘。“论检测边缘”，Nalwi，PAMI，第8章，第699-714页；“在图象中找到线和边缘”，Canny，MIT Technical Report TR-720，1984；“论用于感知3D场景的校正计算机控制摄像机”，Sobel Artificial Intelligence，第5卷，第185-198页，1974；和“对于边缘检测的综合解决方法”，Canny，PAMI，第8章，第679-698页，1986。通过将滤波器核心和图象在所有点都相互关联，通过分析相关性值，可以确定对于物体廓影的物体边缘。在步骤608中确定廓影边缘。将控制转移回到步骤602以检测是否存在对于廓影要处理的其它图象。
确定图象廓影的目的在于限制在其中对于物体搜索和识别表面特征的区域数量。由检测器记录的飞行昆虫或噪声尖峰信号(spike)存在于如给定图象中所示的物体区域外。噪声尖峰信号或昆虫好象是可跟踪表面特征的良好候选者，但是如果已确定物体的廓影或边缘而且昆虫或噪声尖峰信号在该边缘之外，那么可将它指定为可能跟踪的表面特征。通过限定要搜索的区域，这简化了对表面特征的搜索并减小了图象数据的计算机处理，而且还阻止无关的表面特征点和作为表面点映射。在某些实施例中，还将对表面特征的搜索限定在下面所述的廓影内的区域。
图7还进一步示出关于图6的处理608的细节，其中沿着每根扫描线找到廓影边缘。在步骤700处开始处理过程。在步骤702处，处理器在图象的左边开始，而且将核心与图象的象素相互关联以找到与潜在的左边相对应的相关性最大值。在步骤704中，处理器从图象的右边移入，并将核心与图象数据相互关联以找到潜在的右边缘。在步骤706中，试凑算法用于确定物体的左边和右边。在这个步骤中，用边缘的本质，将边缘与动标(bug)或标号(blip)区分开来。在一个实施例中，通过在边缘的连续本质和规格或标号的空间隔离本质之间区分开来，来完成这一点。在本发明的范围内，可以使用在这些例子中用于判定边缘所存在的任何替代试凑算法。
图8示出实施以确定可跟踪斑点组的图3B的处理354。处理在步骤800处开始。步骤802判定是否该处理器完成所有图象。如果处理器完成，那么处理在步骤804处结束。如果处理器不完成，那么将控制转移到步骤806，而且处理器位于要处理的图象的垂直中心线。接着，处理器按步骤通过图象以找到在图象中心处开始和向外搜索的可跟踪斑点。
可跟踪斑点的尺寸和维数性质在不同实施例中产生变化。在某些实施例中，在单扫描线中，搜索可跟踪斑点，从而可跟踪斑点是一维的。在其它实施例中，立即穿过几根扫描线搜索可跟踪斑点，从而斑点是两维的。在一些实施例中，将搜索的可跟踪斑点的尺寸固定在某些象素区域，例如，10×10。在其它实施例中，不预定可跟踪斑点的区域，而且对于图象的不同区域它的尺寸可以变化。这使得系统是灵活的，而且选择对于在物体上找到的可跟踪特征类型而言最佳尺寸的可跟踪斑点。一般，当将“区域”称为对于可跟踪斑点校核时，就想要任何尺寸或维区域，包括象素线。
步骤808校核处理器是否完成测试图象的所有部分。如果处理器完成，那么将控制转移回到步骤802。如果处理器不完成，那么搜索和分析图象的下一个未搜索区域以在步骤810中确定它是否包含任何可跟踪斑点。
存在多种方法来判定图象的区域或部分是否对于可跟踪斑点的良好候选。良好可跟踪斑点是象素序列，它们具有容易可识别和可与在图象的其它区域中的RGB矢量值区分开来。因此，斑点的区分着色对于它的可跟踪性是有利的。将可跟踪斑点RGB矢量值与在表示物体的其它视图的其它图象中的RGB值相关。如果可跟踪斑点是容易区分的，那么相关性可以提供在其它图象中可跟踪斑点的新位置上的区分尖峰信号，并且成功地找到或跟踪斑点。
存在多种方法来确定在图象中的给定区域是如何唯一或可识别，因而区域是指定为可跟踪斑点的良好候选者。一种方法是计算在区域内的象素的变量值。高变量值将显示象素值是变化的，而且至少可与固定或不变彩色背景容易地区分开来。更加好的方法是将不同核心与要测试的图象区域卷积以判定表面特征的质量以及可跟踪的可能性。可将诸如那些在Canny、Sobel和supra中限定的标准核心定义为用于校验可跟踪斑点的标准核心。另一方面，在一些实施例中学习或智能装置系统具有发展在飞行中的定制核心的能力，其中对于在要扫描的物体上找到的表面特征类型最优化上述核心。于是可跟踪斑点的尺寸和用于识别的核心可以保持恒定或可变。
如上所述，步骤806设置图象的垂直中心线。系统在图象的垂直中心线处开始并对于可跟踪斑点向外进行搜索。首先在图象的中心线处寻找可跟踪斑点的原因在于当由检测器正面地观测它们时，最有可能完全和精确地感觉表面特征，而没有变形。还可以使用到中心线的左边或右边区域。当表面特征从物体的中心线旋转开来时，它们将最终离开检测器的视野。在离开检测器的视野之前，当由检测器倾斜地观测它们时，表面特征将开始部分模糊和变形。例如，在45度角处，在物体的表面上的圆周对检测器来说好象是椭圆形的。更难精确地跟踪模糊和畸变的表面特征，因为它们在图象之间变化，而且很难定义对于它们的一致位置点。
在步骤812中，处理器对在搜索区域中找到的可跟踪斑点作标记。这包括存储用于在斑点中的象素的彩色数据和存储斑点的位置。在步骤814中，处理器增加离开中心线的距离以定义要搜索的新区域和将控制转移到步骤808。如上所述，步骤808确定是否完成测试图象。在一个实施例中，通过校验是否已搜索在离中心最大距离内的整个区域来做到这一点。还可变化离开中心线的距离，在该范围内处理器将搜索可跟踪斑点。图8A示出由图8的处理器搜索可跟踪斑点的图象。图8的上部示出物体100和下部表示放大的区域850。区域850包括大量区域或部分852，而它反过来包括象素854。区域850位于物体100的中心线，从而将由在它的第一路径上的处理器测试。检验区域850的每个部分852以确定对于可跟踪斑点的良好候选者。校验来自象素854的矢量彩色数据，以看它是否包括预期很容易识别并可与其它区域区分开来的特征。
如上所述，处理器在中心线C处开始，并检测良好可跟踪斑点的外表，这是因为最有可能在中心处可识别特征。在其它实施例中，计算机可以从除了图象的中心之外的其它位置开始检测斑点。在图8A中，可跟踪斑点示出为正方形，它具有预定区域或象素数量，在这种情况下，5×5。在其它实施例中，可跟踪斑点具有可变或不规则尺寸区域。还可使用不同预定尺寸的区域。重要的特征在于在图象中识别在表面上的斑点，从而可以确定与那些斑点相对应的点并在其它图象中跟踪它们。
图9示出当物体旋转时，实施以确定在物体的表面上的斑点位置的半径的图3的处理356。如前所述，当物体旋转时，获得物体的一组两维图象。这些图象包括位于两维空间中的物体的表面特征，而且需要从图象中的两维信息中推断出特征的三维位置。将有可能可跟踪的特征指定为可跟踪斑点。
通过定位每个斑点推断出三维表面。通过跟踪经过表示物体的角度旋转图象的大量视野的斑点，可以做到这个。当旋转物体时(或者如果使用多个检测器或可移动检测器，就实际旋转--无论何时将物体描述成旋转的，那么应理解还可虚拟旋转)，位置在离开旋转轴更长距离的特征比定位在离开旋转轴较短距离的特征移动更大距离。对于每个可跟踪斑点，推断出离物体的旋转轴的半径，这说明在不同图象中可跟踪斑点的移动。
处理在步骤900处开始。步骤910确定处理器是否完成所有斑点。如果处理器完成所有斑点，那么将控制转移到步骤912，而且处理结束。如果保持处理更多斑点，那么将控制转移到步骤913，而且选择斑点，以及其中找到斑点的最初图象。在步骤914中，处理器检测斑点是否位于图象内的跟踪区域的外侧。如果斑点不在跟踪界限(limit)的外侧，那么在步骤916中，处理器计算在图象中的斑点的可预期路径。如果图象是要处理的最初图象，那么预期路径将简单地是在该图象中的斑点的最初位置。
接着，在步骤918中，处理器找到在图象中的斑点的精确位置，并存储对于该图象的位置。在步骤920中，处理器跟踪斑点核心。更新斑点核心的理由在于当斑点从中心朝向跟踪界限的方向移动通过图象时，斑点将改变。跟踪界限限定其中跟踪斑点的图象区域。在一个实施例中，将这个区域约束在90度范围内。虽然设定跟踪界限，从而在界限内的特征保持相对恒定，它可以在界限边缘，斑点的图象随着角位移将改变更多更快。斑点的图象变化使得很难跟踪斑点并增加误差可能性。
虽然在跟踪斑点的区域内，斑点可以从区域的中心到区域的边缘大量改变，但是幸运的是，在多种情况下斑点将以相对连续的方法来改变。因此，虽然当在斑点跟踪区域的边缘处观看斑点好象比在斑点跟踪区域的中心处观看斑点要难得多，但是在斑点跟踪区域的范围内观看相互靠近的斑点是很相似的。为了利用这点，用于所述斑点的核心随着每个连续图象而变化，从而在每个图象中所述的斑点实际上是在最后图象中找到的斑点，而不是在中心图象中定义的最初斑点。很容易将斑点相关并成功地跟踪斑点。
一旦在步骤920中更新斑点核心，处理器就在步骤922中获得下一个图象，而且将控制转移回到步骤914。当步骤914确定已到达所述图象界限时，将控制转移到步骤940。在步骤940中，滤波数据或使之平滑。滤波和平滑包括采用已知标准统计和滤波技术以清除数据，还可能抵制坏数据点。数据包括通过对于每个斑点的多个图象确定的位置。这个数据与对于每个斑点的彩色象素信息相关联。在步骤942，运行最小递归算法(“RLS”)，以使该点适应曲线。在步骤944中，确定在可跟踪斑点处从物体的旋转轴到物体表面的半径，这说明了可跟踪路径通过图象的移动。然后，然后把控制转给步骤910，处理下一个斑点，或者，如果所有斑点都已处理，则控制转移到步骤912，而且处理结束。
在完成处理356时，已获得关于物体的三维表面信息。将该三维表面信息整体链接到彩色数据，因为将可跟踪斑点的矢量彩色数据用于找到在每个连续图象中的斑点，从而可以当物体在不同图象中旋转时可以确定斑点的移动。于是转换包含与从光学检测器获得的两维象素信息相结合的可跟踪斑点的表面部分的半径以提供在任何所需坐标系统中的点的三维表示。
图9A示出如由图9的步骤914所用到的一组斑点跟踪界限。检测器110在物体100的表面上的点900处，笔直地观测物体100，即，沿着物体的中心线Ci观测。如上所述，以它的正面角度，以最小量畸变，观测表面特征和可跟踪斑点。当可跟踪斑点离点900旋转时，对检测器100来说它似乎变形并扭曲。在一个实施例中，判断是否值得超过点902和点904跟踪可跟踪斑点，上述点位于离点900有45度角限定。在每个图象中的跟踪界限将是与这个角度相对应的垂直线。在其它实施例中，选择其它界限。还可由系统学习界限或者根据数据的本质确定界限，从而不需要设定任何预定界限。
图9B示出经过带有不同角位移的不同图象的可跟踪斑点的移动，如在图9的步骤916中计算的那样。在这个图象中的物体100是对称形瓶，从而物体100的廓影可以保持不变，但是当物体100旋转时，在物体100的表面上的特征移动。示出物体100具有可跟踪斑点950、可跟踪斑点952和可跟踪斑点954。示出可跟踪斑点954位于检测器视图的水平和垂直中心线的精确交叉点处。当分析物体100的角偏置(angularly displaced)图象以找到可跟踪斑点954时，不必以随机方法来搜索对于可跟踪斑点的整个图象。预期可跟踪斑点954沿着线956移动，从而应沿着线956进行在物体100的连续图象中对可跟踪斑点954的搜索。注意，由于可跟踪斑点954位于在第一图象中检测器视图的中心线，所以线956是直的。类似地，预期可跟踪斑点952紧跟着在图象中的线958，其中角偏置可跟踪斑点952，而且线959是预期在角偏置图象中紧跟着可跟踪斑点950的路径。线958是弯曲的，不象直线956，这是因为线958不通过检测器视图的中心Cd。如熟悉现有技术的人员已知的那样，预期不位于中心处的特征紧跟着极间(epipolar)轨道。由于线959离检测器视图的中心比线958更远，所以线959比线958更加弯曲。于是，由于当物体100旋转时，从极间轨道已知可跟踪斑点的预期路径，所以可以很快地将可跟踪斑点位于角偏置图象中。
可跟踪斑点沿着对于给定的角位移的它的预期路径移动的距离或者当物体旋转时每个可跟踪斑点的移动速度，不是已知的。位置变化将随着可跟踪斑点离物体的旋转轴的半径距离而改变。这是如何确定离物体的旋转轴的半径。
图9C示出在如图9的步骤918确定的图象中，确定斑点的精确位置。在前面的图象中，观测可跟踪斑点960，而且由它的中心点961限定它的位置。已知中心点961的预期路径962。处理器沿着预期路径962搜索带有用于斑点的图象数据的可跟踪斑点960的良好相关性。由虚线所表示的斑点964不成象由实现所表示的作为斑点966的良好相关性。确定斑点966是斑点，而且确定在新图象中的可跟踪斑点的位置是表示斑点966的位置的点968。
在这个例子中，用斑点的中心点来表示整个斑点的位置。只要斑点很小，这种解决方法就很有效。在其它实施例中，对于斑点定义多个点，或者对于斑点定义根据构成斑点的象素彩色的加权平均点。在所示实施例中，由表示可跟踪斑点960的中心的中心点961到表示角偏置斑点966的中心的点968的移动，表示在角偏置的不同图象中斑点的位置和斑点的移动。
图9D示出未处理数据点的滤波，如图9的步骤940中执行的那样。示出不精确推断的点970，这是因为它的位置离开预期曲线。在滤波处理之后，点970已移到点972，它位于预期路径中。可以使用几种标准滤波技术。已知物体的旋转频率，而且所有表面特征移动都发生在与该频率相对应的空间频率处。在一个实施例中，用砖墙(brick wall)滤波器来滤波数据以去除在其它频率下发生的移动。
在其中物体不在恒定频率下旋转的实施例中，或者不旋转物体就获得物体的视图的实施例中(例如，通过使用多个摄像机)，于是在图象中的特征的发生空间频率不与物体的旋转频率相对应。在这样的实施例中，运用改良的Z-转换方法来滤波未处理数据。当偏置是不一致时，用改良的Z转换方法来滤波数据。
图9E示出如何根据表示通过角偏置图象的可跟踪斑点的路径的点确定半径并与图9的步骤940和942相对应。图9E是表示当对斑点离中心的角偏差离图象的中心角偏置它时，距离的第一派生物或斑点的速度的曲线图980。当角位移是零时，可跟踪斑点的位移是零，它的线性速度是最大值。当角位移增加时，速度根据位移的角度余弦而变化。
可以根据如曲线980所示的斑点的速度示图确定斑点离物体的旋转轴的半径距离R。注意，已知这个曲线的频率，从而可以滤波数据，而且可以精确地确定曲线的幅度。在可跟踪斑点的位移的实际速率适于余弦曲线之后，确定余弦曲线的幅度。从幅度推断出可跟踪斑点的半径。在不同实施例中使用其它处理方法以推断半径。在一个实施例中，斑点的位移，不是速度，适于正弦曲线。实施例可以使用可获得的任何一种方法来推断出半径，这说明了斑点移动。
图10示出一旦已知可跟踪斑点的半径就可发生后面处理过程。处理在步骤1000处开始。在步骤1010处，将用于可跟踪斑点的半径距离数据与来自图象的两维可跟踪斑点数据相结合，并将它转换成所需坐标系统。在步骤1020中，将与可跟踪斑点相关的彩色数据转换成所需彩色系统用以存储。步骤1030执行点的插入和抽取(decimation)。在一个实施例中，插入所有可跟踪斑点点，从而可以定义表面点的规则阵列以建立物体的表面模型。在步骤1040中，把在步骤1030中推断出的点和与以由步骤1020确定的形式的那些点相关的彩色值存储在数据结构中。在步骤105处完成这个处理。
在这个处理中，注意彩色数据与三维位置数据不匹配是常常需要的。对于可跟踪斑点的彩色数据已与可跟踪斑点相关，它定义物体的表面点，而且实际上用辅助于计算那些点的三维位置。当抽取和插入可跟踪斑点时，可能插入彩色值。由于已将彩色信息与确定其位置以建立物体的表面模型的斑点相关联，所以不发生任何误对准彩色。
虽然根据几个较佳实施例描述本发明，但是存在落在本发明的范围内的变通、交换和等同方法。应注意，存在执行本发明的处理和装置的多种变通方法。因此，下面所附的权利要求书包括落在本发明的真正构思和范围内的所有这样的变通、交换和等同方法。
权利要求
1.一种三维数字扫描器，其特征在于，包括对可见光的宽频谱起反应的多视图检测器装置，所示多视图检测器装置可用于显现要扫描的三维物体的多个图象，从多个相对于所述物体的相对角度取出所述多个图象，所述多个图象描述要扫描的所述物体的多个表面部分；和包括计算单元的数字处理器，将所述数字处理器与所述检测器装置耦合，所述数字处理器对所述多个图象起反应并可与所述计算单元一起用于显现所述物体的所述多个表面部分的三维坐标位置和相关图象信息；从而可由所述数字处理器发展要扫描的所述物体的三维图象，它包括形状和表面图象。
2.如权利要求1所述的装置，其特征在于，所述多视图检测器装置包括至少一个检测器和用于旋转所述物体的装置。
3.如权利要求1所述的装置，其特征在于，所述数字处理器用于决定在所述多个图象的至少一个图象中的所述物体的边界。
4.如权利要求3所述的装置，其特征在于，所述数字处理器用于在多个图象的至少一个图象中使用数学函数来决定所述物体的边界。
5.如权利要求4所述的装置，其特征在于，所述数字函数是带有预定核的所述图象信息的相关函数。
6.如权利要求1所述的装置，其特征在于，所述数字处理器用于识别所述多个图象的至少一个之中的可跟踪表面特征。
7.如权利要求6所述的装置，其特征在于，所述数字处理器用于决定在所述多个图象的至少两个之中所述可跟踪表面特征的二维位置。
8.如权利要求7所述的装置，其特征在于，所述数字处理器用于根据所述两维位置之间的差别决定所述可跟踪表面特征的三维位置。
9.如权利要求1所述的装置，其特征在于，所述检测器装置包括彩色检测器，以及所述相关的图象信息包括彩色。
10.如权利要求6所述的装置，其特征在于，所述数字处理器用于决定从可跟踪表面特征到旋转轴的半径。
11.一种三维彩色数字扫描器包括彩色检测器，它对可见光宽光谱起反应以显现要扫描的三维物体的多个图象；具有一旋转轴的旋转物体支持物，所述物体支持物可使所述检测器显现由所述物体支持物支持的三维物体的多个图象，其中所述多个图象描给所述物体的多个表面部分；耦合到所述检测器并对所述多个图象起反应的数字计算机，所述数字计算机跟踪所述物体的所述表面部分的斑点以决定所述斑点的坐标作为所述旋转物体支持物的旋转的函数，所述数字计算机还决定自所述旋转的轴算起的所述斑点的半径。
12.如权利要求11所述的三维彩色数字扫描器，其特征在于，所述数字计算机用于决定在多个图象的至少一个之中所述物体的二维边界。
13.如权利要求11所述的三维彩色数字扫描器，其特征在于，决定所述斑点的半径包括决定第一派生物。
14.一种扫描三维物体的方法，其特征在于包括显现要扫描的三维物体的多个图象，所述多个图象取自相对所述物体的多个相对角度，所述多个图象描绘要扫描的所述物体的多个表面部份；以及根据所述多个图象，计算所述物体的所述多个表面部分的三维坐标位置及相关的图象信息，从而要扫描的所述物体的三维图象能被显现，这包括形状和表面图象信息两者。
15.如权利要求14所述的方法，其特征在于，计算所述多个表面部分的三维坐标位置和相关的图象信息包括决定所述表面各部分的至少一个部分离旋转轴的半径。
16.如权利要求14所述的方法，其特征在于，计算所述多个表面部分的三维坐标位置和相关的图象信息包括决定跟踪所述多个表面部分的要极限。
17.如权利要求14所述的方法，其特征在于，计算所述多个表面部分三维坐标位置和相关的图象信息包括代表在至少一图象中的至少一个表面部分的图象的核与在至少另一个图象中的所述表面部分的图象相关。
18.一种决定物体的表面部分的三维坐标的方法，其特征在于包括获得所述物体的所述表面部分的多个图象；识别在所述多个图象的一个初始图像中所述表面部分的可跟踪斑点；决定在所述初始图象中所述可跟踪斑点的二维坐标的初始组。分析所述多个图象以决定在所述多个图象的至少另一个图象中的所述可跟踪斑点的至少一个附加二维坐标组；根据所述二维坐标组，决定所述可跟踪斑点的径向坐标；根据所述可跟踪斑点的所述径向坐标，决定一组所述可跟踪斑点的三维坐标。
19.如权利要求18所述的方法，其特征在于，分析所述多个图象以决定在所述多个图象的至少另一个图象中所述可跟踪斑点的至少一个附加二维坐标组包括相关。
20.如权利要求18所述的方法，其特征在于，根据所述二维坐标组决定所述可跟踪斑点的径向坐标包括决定跨越所述多个图象的所述可跟踪斑点的所述径向速度。
21.一种决定物体表面部分的三维坐标的方法，其特征在于包括绕旋转轴旋转所述物体；当所述物体绕所述旋转轴旋转时，得到所述物体的所述表面部分的多个图象；在所述物体的所述表面部分中，识别可跟踪斑点；决定所述图象中所述可跟踪斑点的二维坐标；作为所述物体转动的函数跟踪所述可跟踪斑点的移动；根据作为所述物体的所述转动的函数的所述可跟踪斑点的移动，决定所述可跟踪斑点离所述旋转轴的径向距离；根据所述可跟踪斑点的所述坐标以及所述可跟踪斑点离旋转轴的所述径向距离，决定所述物体的所述表面部分的所述三维坐标。
22.如权利要求21所述的方法，其特征在于，作为所述物体旋转的函数跟踪可跟踪斑点的移动包括把所述可跟踪斑点的图象与所述物体的图象的各部分相关。
23.如权利要求21所述的方法，其特征在于，根据所述可跟踪斑点的移动决定所述可跟踪斑点离所述旋转轴的所述径向距离包括决定所述可跟踪斑点的径向速度。
全文摘要
本发明提供一种三维数字扫描器,它包括对可见光的宽频谱起反应的多视图检测器。多视图检测器用于显现正在扫描的三维物体的多个图像。多个图像取自相对于物体的多个相对角度,多个图像描述物体的多个表面部分。包括计算单元的数字处理器耦合到检测器,并对于多个图像起反应,从而显现物体的多个表面部分的三维坐标位置和相关图像信息。因此,由数字处理器显现要扫描的物体的三维图像。显现的数据包括形状和表面图像彩色信息。
文档编号G01B11/00GK1242074SQ97180939
公开日2000年1月19日 申请日期1997年10月24日 优先权日1996年10月25日
发明者J·L·米拉蒙提, F·E·米勒 申请人:威伍沃克斯股份有限公司