专利名称：用于测量三维数据的装置和方法
技术领域：
本发明涉及用于测量三维数据的装置和方法，即，不仅测量对象的长和宽，而且测量它们的高，和它们与观察者的相对距离。
人们用双眼测量三维(3-D)对象，例如测量对象的长、宽、和第三维尺寸——高。第三维尺寸也可以指对象与观察者的距离。
本发明介绍了一种新颖的用于测量三维数据长、宽、高的装置和方法。本发明的目的是使高度和距离可以互换地使用。
与本发明相关的背景技术为了使本发明所属技术领域更易被理解，下面概括讲述了如下列出的已知的用于测量三维数据的装置和方法1.立体观察2.距焦点深度的方法3.激光测距4.结构照射1.立体观察众所周知，两维(2-D)的测量可以用一只眼睛或一个视图完成。为了测量第三维，就要使用另一只眼睛或另一个视图。然而，如果将眼睛移动到每个视图的相应位置或将对象移动到相对于眼睛的相应位置，用一只眼睛也可以看到两个或多个视图。
总的来说，许多设备可以使用立体观察和立体观测的方法，对三维对象进行测量。
图1所示为使用两个成像装置1(例如两个视频摄像机2和透镜3)的传统解决方案。由于使用了传统透镜，其中，光线在图像形成过程中所通过的光路是不平行的，并且，其中，生成了所观察对象的两幅图像(每个摄像机中有一个)。
图2所示为另一种传统解决方案，使用了单一视频摄像机2和与一组镜或棱镜4结合使用的透镜3。同样，光线在图像形成过程中所通过的光路也是不平行的，并且，又同样在一个单一视频摄像机2中生成了两幅图像。
然而，由于单独元件的使用和必须为非平行光行进提供空间的原因，结合图1和图2对所述的使用非平行光线产生所观察对象的至少两幅图像的已知方法是相对复杂和笨重的。2.距焦点深度的方法通过来自单一传感器的单一视图测量第三维尺寸也是可能的。例如，可以通过使用一个光学成像系统，诸如具有极窄景深的显微镜，来实现。显微镜被垂直地安装在校准台上。为了测量高度(Z轴)，将显微镜上下移动直到我们所关心的点被处于焦点上。校准台上的高度数据即是高度的测量结果。用同样的方法可以测量多个点。但是，这种方法的缺点是测量时的速度太慢，这是由于必须使用伺服机械装置从光学成像系统的一点聚焦到下一点。图3中可以找到更多的细节，图中所示为摄像机2和具有极窄景深的透镜3。摄像机2和透镜3，可以相对于所观察对象沿带有高度计6的校准台5上下移动，高度计6可指示摄像机2和透镜3的临时位置。当透镜和摄像机生成的图像处于焦点，即既不模糊又不扭曲时，距所观察对象的距离与校准高度计6的读数相对应。3.测距也可以通过使用脉冲调制波、或调幅波、或是通过计算发射波和反射波的相位变化得到第三维的距离数据。激光、雷达和超声装置(所谓声纳装置)就是应用这种技术的示例。这种测量方法基于干涉测量原理或回波检测技术。这些技术需要昂贵的、高度复杂的光电设备，包括用于射向所观察对象或从所观察对象反射回来的行进波的光电设备，其中包括发射器、波导装置和接收器。4.结构照射结构照射包括将一个光图案投射到所观察对象的表面，并从一个和多个不同的角度观察反射光，或研究反射光产生的阴影。一个经典的示例是日冕仪。
结构照射的示例包括将一个光点、一条光线或是一个光栅从一个角度投射到所观察对象表面，并使用视频摄影机从另一个角度观察光图案。这种使用光投射和摄像机的方式与使用两个视图的方式相类似。
发明简述鉴于上文所提到的现有技术的缺点，本发明目的在于提供一种传统用于测量三维数据的装置和方法之外的，用于测量三维数据的简化装置和简化方法。
尤其是，根据本发明的一个目的，提供了一种可以只用一只眼睛或一个视图测量三维数据的装置和方法。
本发明的另一个目的是提供一种可以测量三维数据的装置和方法，而不需要能够指示观察眼临时位置的经校准的高精度的高度计。
本发明的另一个目的是提供一种不需要复杂光电装置就能测量三维数据的装置和方法。
本发明的另一个目的是提供一种使用传统的计算工具，诸如基于个人计算机的标准微处理器，来分析三维数据的装置和方法，而不需要用极高的计算能力进行高度复杂、耗时的数学运算，用于从成像装置的图像数据中提取诸如长、宽、高的相应的三维数据。
这些目的通过根据独立装置权利要求1所述的装置和根据独立方法权利要求2所述的方法来实现。
本发明的从属权利要求涉及本发明更多的有利的实施例。
图1所示为传统立体观察中两个摄像机和透镜的使用情况；图2所示为用于得到立体图像，传统的带有单一视频摄像机和棱镜的镜组的使用；图3所示为用于调整焦距的上下运动的移动显微镜的传统用法，从而从移动显微镜的上下方向的移动距离得到深度或高度；图4所示为根据本发明的用于三维数据测量的装置；
图5a所示为由使用如图4所示的立体图像分光器得到的包括左侧图像和右侧图像的单一摄像机视图；图5b所示为如图4所示的装置如果使用两个摄像机的功能等同物；图6所示为通过未镀膜直角棱镜的光线的光路；图7所示为三维坐标系统中的表示法，其中h1处的点的坐标为(x1，y1，z1)；图8所示为以图表表示法表示如图7所示的h1点发出，并经过如图4所示的立体图像分光器的一对光线的两条光路；图9所示为与如图8所示相应的图表表示法，其表示了较多的图像点及它们相互的关系；图10所示为与如图8所示相应的图表表示法，方向偏离的棱镜造成的如图4所示的装置中左右图像的歪斜；图11所示为相对于如图4所示的立体图像分光器平行放置的平行校准装置的使用；图12所示为作为校准装置，用于校准关于立体图像分光器的z轴和y轴的高架三角透镜(楔性透镜)；图13所示为用于校准所有三维尺寸的合成校准对象；图14所示为根据本发明的一个优选实施例完全装配好的装置；图15所示为如图14所示的装置的一个装配特征，其中，使用了伸长套筒使棱镜相对于远心透镜和摄像机的对齐变得简便；
图16a所示为集成光源的使用，集成光源用透明玻璃作为水平表面，如图14所示的立体棱镜在透明玻璃上被对齐；图16b所示为集成光源，在如图16a所示的集成光学装配特征的基础上加上离散的发光二极管或一条连续的光纤维；图17所示为两个同心的伸长套筒的使用，伸长套筒使如图4所示的立体图像分光器可以旋转；图18所示为根据本发明的装置中三图像分光器的使用；图19所示为根据本发明的装置中的共轴分光器的使用，共轴的分光器使光线的投射通过如图18所示的三图像分光器的水平表面；图20所示为使用根据本发明的装置对线进行高度轮廓描述；图21所示为如图20所示的表示法中的，非水平朝向的歪斜的线的高度轮廓描述；图22所示为如图20所示的表示法中的，水平朝向的线的高度轮廓描述的限制；图23所示为四图像锥型分光器的使用；图24所示为五图像截断锥型棱镜的使用；图25所示为软件程序和方法的流程图；图26a和图26b所示为校准子程序的流程图；图27所示为示教子程序的流程图28a所示为倒置半导体装置的三维视图；图28b所示为如图28a所示的半导体装置的侧视图，并强调了引线中的高度变化；图29所示为如图28a和图28b所示的带有引线的半导体装置的高度轮廓描述；图30所示为投射到带有凸起的带有引线的半导体装置表面的光线；图31所示为根据本发明的装置中，带有集成光线投射系统的三束分光器的使用；图32所示为根据本发明的方法中，沿水平轴的增加的扫描的使用；图33a和图33b所示为带有焊接球阵的球状网格阵列(BGA)的平面图和透视图；以及图34所示为使用根据本发明的方法结合一条光线投射，对球状网格阵列进行高度轮廓描述。
远心透镜9，用于收集所述平行光线的平行光束中的光线，并将它们引入成像装置中；成像传感器和图像形成装置，例如视频摄像机2可用于生成平行光线的平行光束的图像，其中，每一幅图像与一束特定的平行光束相对应，生成的图像在用两个坐标轴描述的两维图像区域中彼此分开；分析装置10，使用分析装置软件用于从对应光线入射点的坐标值中提取所观察对象的长、宽、高。对应光线是指从所观察对象7的同一点发出，但经过不同的平行光束到达由两个坐标轴所描述的两维成像区域的光线；如图14所示的根据本发明的一个优选实施例的装置，其中，基于个人计算机10的微处理器通过接口电缆16与视频摄像机2相连。视频摄像机2连有远心透镜9。用于立体图像分光器11的楔形棱镜被对齐，并且通过伸长套筒17与远心透镜9相连。光源8照亮所观察对象7。
经过立体图像分光器11相对表面的平行光线的平行光束，所包含的图像信息显示在视频摄像机2成像区域的不同部分中，并通过接口电缆16顺序地传送至个人计算机10中，其中，分析数据在个人计算机上被显示，并执行适当的动作。成像传感器和成像设备本发明利用一维(1-D)或两维(2-D)成像传感器检测成像平面上的图像生成。所使用的成像传感器应具有大量的像素，每个像素都可以检测所形成图像的亮度。为了达到此目的，可以使用任何可见光和非可见光传感器。例如视频摄像机、线扫描摄像机和X光成像传感器。
所示的平行光线描述了使用远心透镜的光线的光路。使用了远心透镜9，就保证了不会有视差或透视变形。
应考虑要保证图像形成装置，例如具有大的景深的光学透镜。这与上文和图3中所讨论过的现有技术中的计算距焦点深度的情况恰恰相反。距焦点深度的方法要求具有非常窄的景深。还要精心选择焦点长度和焦距，以保持对象中我们所关心的部分位于成像传感器的视野中。
另一个特征是，使用远心透镜9简化了计算和分析。远心透镜与普通透镜不同，它在无视差和透视变形的情况下提供了如图4所示的平行观察角。标准非远心透镜，例如50毫米长光学透镜，以及分析过程中的一些附加计算，也可以被用于本发明中。
在本发明的另一个实施例中，还使用了与变焦镜头类似的具有可变放大率的远心透镜。这样就可以使用各种放大率观察被测对象，用于观察一个或多个对象的不同细节。另外，远心透镜的变焦特征为建立本发明中的最佳视野提供了便利。立体图像分光器/两图像分光器在本发明的第一个优选实施例中，将单一成像传感器和图像形成装置与立体图像分光器一起使用，得到一对立体图像。本发明的一个示例是如图4或图14所示的未镀膜的直角棱镜装置11。
图5a所示的单一摄像机图像是由使用如图4所示的立体图像分光器11得到的左、右两幅图像组成的。
棱镜装置11将对象的图像或对象分为两部分，这两部分在成像区域12中央垂直划分。出于本发明的目的，将这两幅图像称为“左图像”和“右图像”，如图5a中所示。
图5a所示为被棱镜分开，并经过远心透镜9在成像传感器上成像的光线的简单表示法。成像传感器最终得到的左、右图像在图中表出。为了简化，没有示出远心透镜9中的光学单元，由于适当的光学轨迹造成的图像反转也被简化，没有示出。
左、右图像虽然类似，但并不相同。合成图像等价于两个成像传感器的合成视图，一个以一定角度放在左边，而另一个以一定角度放在右边，如图5b所示。这两幅图像构成了立体对。
图5b所示与图4所示是功能等同物，如果图5b中使用两个摄像机2，2’，一个以一定角度放在左边，而另一个以一定角度放在右边。由于使用了两个远心透镜9，9’，光线是平行的。
图6所示为经过未镀膜直角棱镜11的光线的光路。在这种情况下，左、右图像立体对的不同夹角为α＋β＝45度。
例如，如果发明中使用具有适当折射率的直角棱镜，左右两边都可以得到与垂直方向成22.5度的观察角。两立体对之间的不同夹角如图6所示为45度。
棱镜选择直角是方便特征之一。也可以使用能够在左右图像中都得到我们所关心的对象的，任何具有更大或是更小顶角的棱镜。
棱镜也可以使用诸如玻璃和塑料的各种材料和以各种折射系数制造。其它可以使用的棱镜的示例包括Brewster镜、楔形棱镜或五棱镜。两立体对之间的夹角也不必严格地是45度，可以使用其它角度。
虽然直角棱镜可以轻易得到，并且用于直角反射器或其他目的，本发明中使用未镀膜的直角棱镜，是以一种新颖的方式将对象的单一视图分为两个视图。光源在优选实施例中，本发明使用的是一个未镀膜棱镜而不是使用大量镜组，或它们的棱镜等价物。
然而，使用棱镜会散射白光。当白光通过棱镜折射两次后，白光被散射为各种颜色的光，就像彩虹一样。虽然这种效果在其他应用中是有利的，但在本发明中这会使图像变形。色彩的失常使图像模糊。
在低的图像的放大率的情况下，这种效果可以被忽略，因为图像效果在观察和低分辨率测量中还是可接受的。然而，在高放大率和高分辨率测量中，这种变形会干扰测量精度。
为了克服这种失常，本发明使用具有窄光谱的单色光和单频光光源。单频光的一个示例是以一组红色的发光二极管(LED)作为光源。任何色彩激光或激光二极管都可以用来达到相同的效果。可以用一个窄波段过滤器将白光过滤，或者在成像透镜上安装上这样的过滤器。
如果需要得到彩色图像，使用诸如红、绿、蓝的三种色彩分别照射对象，用来建立对象的彩色图像。
本发明中的另一个减少色彩失常的设计考虑是使棱镜的尺寸最小，用以减少光线在棱镜中行进的距离。
可以将光源放置在任何位置来优化照射条件。光源放置的一个示例如图4和图14所示。通过这样的放置方式，光源8可以均匀地将所观察对象7照亮。分析装置本发明使用分析装置10计算如图4所示的对象的三维尺寸。
在本发明中分析装置就是可以执行一系列指令并可以输入输出信息的计算机器。一系列指令就是分析装置的软件。分析装置的一个示例是个人计算机(PC)。本发明中使用的个人计算机具有与成像传感器、其他分析装置、机器、和人接口的装置。
在本发明中分析装置可将成像传感器上得到的图像转换为可被分析装置计算、和分析的信息或数据。例如，图像可被分解为带有数字化亮度信息的一维或二维像素数组。分析装置软件当考虑到使用本发明在三维计算和分析方面的简单性时，本发明的简单性才会被大加赞赏。
传统的立体成像系统要求使用复杂的三维计算来计算三维信息。唾手可得的教科书中描述了这种方法。
本发明通过远心透镜的使用和直角棱镜的选用，减少了分析的复杂程度。对应像素点和对应像素距离本发明使用左右图像中对应像素之间的空间距离计算高度或距离数据。
为简单起见，下面的考虑基于使用两图像分光器的情形，两图像分光器产生两束平行光线的平行光束，每个所述的平行光束都包含被照亮的所观察对象的图像信息，并且所述的平行光束在成像装置的成像区域内被彼此分开。
在此例中，立体图像分光器将图像分为两个图像。从而，一个图像中的任一点都会在另一个图像中被看到(如果这个点不被掩蔽的话)。
图7所示为三维坐标系统的表示法，h1处的点的坐标为(x1，y1，z1)。位于h1处的坐标为(x1，y1，z1)的点在两个图像的视野中都被定位，X、Y、和Z是空间中的点相对于原点的坐标轴。
图8所示为如图7所示的h1点(x1，y1，z1)发出的两条光线的图形表示法，光路经过如图4所示的立体图像分光器11，通过摄像机2(参见图4)得到成像区域12(参见图5a)中的所示的h1点的左右图像。左右图像中的对应点称为对应像素点或CPP，并且它们之间的水平距离称为对应像素距离(CPD)。
图8所示为将空间中的点转换为成像传感器左右图像中的像素点。由于棱镜装置的构造和两个镜面相对于传感器的垂直放置，左右图像中的这两个点落在同一条水平线上。这就是说，一个图像中看到的点都可以沿水平线在另一个图像中被找到。这称作对应像素点或CPP。图8中用虚线表示各条被投射的光线。
图9所示为相应于图8所示的图表表示法，具有较多点的及这些点与对应像素点、和对应像素距离之间的关系。对象点距分光器11越远，对应像素距离就越大。而且，即使在x轴和y轴上有偏移量，对应像素距离也将保持不变。这将在下文中更详细地讨论。
图10所示为相应于图8所示的图表表示法，方向偏离的棱镜的影响及其造成左右图像的歪曲的，根据本发明所述的装置。成像传感器观察到的左右图像两个对应像素点的距离称为对应像素距离或CPD。但是，对应的对应像素点，不是沿水平轴，而是沿与其正交的轴得到。
再次参见图9，考虑不同高度上具有不同z坐标值的另一个点h2(x1，y1，z2)。由于h2距成像传感器更远，各自的像素点落在同一水平线上，但相距距离更远。因此，对应像素距离更大。如果考虑更近的点h3(x1，y1，z3)，对应像素距离更小。
考虑图9中x轴方向的偏心点，即，h4(x2，y1，z1)。虽然，点被挪到了左边，由于它们还是处于同一高度上，其对应像素距离与前面的h1(x1，y1，z1)相同。同样，对于y轴方向上的偏心点，对应像素距离也将保持不变，如h5(x2，y2，z1)所示。
虽然原则上说，按照图4至图14所述的方式，本发明优选实施例中的成像区域12可以是，任何可用两个坐标轴表示的弯曲的成像区域，但是成像区域最好是一个平面，这样可以使对象距成像感应器的距离与对象在成像平面左右图像中的对应像素距离之间的关系，呈严格线性比例。这就简化了对应像素距离计算中的深度计算和分析，并且可以用简单的商用标准个人计算机实现三维分析，而不需要有极高的计算能力。
远心透镜9和精密棱镜的使用简化了三维校准过程。远心透镜9的使用保证了不会视差或透视变形，因此，也就不必对这些变形进行校准。
本发明的优选实施例中，在另一幅图像中沿水平轴搜索，可找到组成立体图像的对应像素点。同样，这也大大减少了成像所要求的搜索过程。分析装置的功能操作分析装置的功能操作定义为下面两个步骤，即(a)校准；以及(b)测量。校准校准代替复杂数学工具，用来计算像素点与物理尺寸的关系，是必需的。
图11所示为参考图4所示的立体图像分光器11水平放置的，平面校准装置13的使用。图中表示了所得到的左右图像。还表示了标准化的，并且与水平成直角的棱镜边缘。
图12所示为，用于校准如图4所示的立体图像分光器11的y轴和z轴的，高架三角透镜(楔形)14。当得到z轴校准因数后，可以使用z1、z2点的已知对角线距离计算真实的y轴校准因数。
图13所示为，使用合成校准对象(双楔形)15来校准所有的三维尺寸。
为了校准本发明的三维尺寸，必须将一个具有已知长(x轴)、宽(y轴)、高(z轴)的三维对象放置在远心透镜的视野里。用于成功地校准每个轴，某个轴的必需拥有一对沿该轴的，具有已知尺寸的点。
根据本发明，可以使用左右图像中都可以看到的任何突起的特征进行校准。例如，角点、基准点、特征的中心、纹理、图案、被投射光或结构光所增强的特征、以及其他的都可以用作校准中的标识点(参考点)。Y轴校准使用一个具有已知宽度的对象校准y轴。此校准装置的一个示例是如图11中所示的，具有平行相对面的平板长方形装置12。为了校准，放置校准装置并将其与成像系统水平、垂直对齐。校准设备也应是平的，最好棱镜顶点处的两面分界线应与成像感应器相垂直。
先从左侧的图像开始。如果长方形(x1，y1，z1)和(x1，y2，z2)的宽度(y轴)是10毫米，用于表示这个长度的分析装置的像素数目是100个，那么，每个像素的垂直分辨率相当于0.1毫米。使用标准图像处理子像素法，还可以表示像素的分数部分。
对右侧图像重复该步骤，用于核对一系列对象，即核对●校准步骤；●组件相对于校准装置的位置的对齐；以及●棱镜装置的正确构建。
如果棱镜正确构建并准确对齐，两幅图像的校准读数应该是相同的。
在本发明中，使用了远心透镜，这意味着左右图像中的y轴分辨率在视野中保持恒定，不随空间变化，也就是说，不依赖于空间坐标。Z轴校准使用一个已知高度的对象校准z轴。例如，如图12所示的使用带有高架边的长方形楔形装置14。首先，将此装置对齐，然后确定对应像素点，并计算所示处于不同高度上的两点间的对应像素距离。然后，计算高度分辨率和对应像素距离之间的关系。例如，如果长方形(x1，y1，z1)和(x1，y1，z2)的高度(z轴)是15毫米，用于表示这个长度的分析装置的像素数目是100个，那么，每个像素的高度分辨率相当于0.15毫米。
同样，可以使用子像素方法表示高度分辨率。X轴校准可以使用和y轴校准、z轴校准相同的方式进行x轴校准。
然而，由于在对齐和保证校准装置与成像传感器平行方面存在困难，我们将使用一个采用绝对距离的替代方法和前面一样，选择两个表示对象长度的对角点。由于这两个点的高度不同，使用两点间的绝对距离公式z2＝x2＋y2(勾股定理)，其中，x、y、z分别为两点间的距离。合成X、Y、Z轴校准装置可以使用单一校准装置合成所有三个轴的校准。例如，本发明使用如图13所示的单一双楔形校准装置15实现三轴的校准。测量一旦本发明被校准完毕，就可以从左侧或右侧图像中得到二维数据，这将更方便并较少可能发生掩蔽现象。使用校准因数，将用像素表示的测量距离被转换为物理尺寸。例如，使用前面所说的每像素0.1毫米的y轴校准因数，如果测量值是80.2个像素，转换为物理尺寸就是8.02毫米。
然而，三维高度数据的确定要求同时使用左右图像。高度值由校准对应像素距离得到，也就是说，由对象上任何特征点的两个对应像素点得到。
如果两点间的对应像素距离差值为42.5个像素，使用前面的z轴校准因数每像素0.15毫米，两点间的距离应是6.375毫米。软件程序和方法图25至图27所示为使提取所观察对象的三维数据的发明性方法直观化为流程图。
主程序的步骤在图25中被顺序列出主程序(1)系统初始化；-启动分析机；-初始化所有变量和参数；以及-其它系统初始化过程。
(2)系统设置-设置成像传感器和图像形成装置；
-设置亮度和对比度值；-设置适当的焦距和景深；-设置外部设备，例如打印机等；以及-其它设置功能。
(3)校准-是否以前校准过而且未发生变化？-如果“是”，转到步骤(4)，否则；以及-如果“否”，在执行下一步前转到(A)校准子程序。
(4)示教-是否以前执行过示教而且未发生变化？-如果“是”，转到步骤(5)，否则；以及-如果“否”，在执行下一步前转到(B)示教子程序。
(5)对当前单元执行测量-使用示教信息提取图像中所关心的点；-从左侧二维坐标图像中提取第一套对应像素点；-对于每一个对应像素点，在二维的右侧图像中沿与棱镜轴正交的方向搜寻二维坐标下的相应的对应像素点；-将左右图像中的对应像素点对关联；-对于每对对应像素点，计算用像素表示的对应像素距离；
-对于每一个对应像素距离测量值，将对应像素距离转换为物理高度测量值(例如用毫米或千分英寸表示)；以及-合并图像中所关心点的所有三轴的物理测量值。
(6)分析测量数据-计算和分析图像中所关心点之间的关系，例如，沿一条或多条直线或边缘跟踪轮廓；以及-计算和分析图像中所关心点物理尺寸之间的关系，例如，沿一条直线的轮廓上的高度尺寸。
(7)结果和动作-从测量和分析后的数据中，得到一个结果并执行动作；-例如，要么，接受所检测的单元，其在可接受的三维测量公差之内，将其送到PASS库中；或-拒绝检测对象，其在可接受的三维测量公差之外，将其送到FAIL库中。
另一个示例是按照不同高度将对象分至各自的库中。
换言之用于确定所观察对象的尺寸值与参考对象的一系列预设值相比较，基于比较的结果，将至少一个属性值(例如“PASS”；“FAIL”；“SIZE CATEGORY 1”；“SIZE CATEGORY 2”；等)赋值给所观察对象，然后所述所观察对象基于这个属性值被进一步操作(例如带有“FAIL”属性值的对象被送至FAIL库中)。
(8)下一个单元
-如果有下一个单元，转至步骤(5)，否则；以及-如果没有其它单元，转至步骤(9)。
(9)检测结束-使用必要步骤正确中止过程，如果必要的话，关闭系统。校准程序的步骤在图26a和图26b中被顺序列出校准子过程I. 将校准装置放入系统视野中；II. 从Z轴特征点开始；III.通过在二维坐标中，由计算左侧图像的第一套对应像素点开始，提取校准装置所关心的已知特征点；IV. 对于每一个对应像素点，沿水平方向搜寻二维坐标中的相应的对应像素点；V. 如果沿水平方向没有找到相应的对应像素点a)自动智能搜索整个右侧图像，搜索相应的对应像素点；智能搜索的示例有b)优先搜索相应的对应像素点期望位置的附近区域；c)如果自动搜索不成功，有操作者手工搜索；d)有必要的话，用多个点验证，以保证更高的准确性、可靠性、和重现性；以及e)计算实际的正交轴和正交方向。
VI. 对于其余的对应像素点，沿实际正交方向搜索二维坐标中的相应的对应像素点；VII. 对于每一对对应像素点，计算用像素表示的对应像素距离；VIII.对于每一个对应像素距离测量值，将对应像素距离转换为物理高度测量值(例如用毫米或千分英寸表示)；IX. 类似的，计算y轴的校准因数；X. 类似的，计算x轴的校准因数；以及XI. 子程序结束，返回主程序。示教过程的步骤在图27被顺序列出示教子过程I.示教样本类型-通过用户接口(例如键盘或鼠标)，将被检测的样本类型，例如具有两个线轮廓的名为SOT23的半导体装置类型，示教至分析设备(例如个人计算机)。
II.示教被检测装置的属性-例如将SOT23装置上的线的彩色或灰色等级柱状图示教至个人计算机。
III.示教所关心的区域-例如，双线SOT23装置具有两个所关心的区域，每个区域都包括一条线，例如，包含左右图像中各自的线的起始点和终止点。
IV.示教搜索区和标识
-由于所关心区域的原始位置不准确，必须在更大的搜索区域内搜索，以确定线的末端；以及-另外，这些搜索区域可以用标识作为参考，标识是图像中可被轻易定位的可辨别的特征或点。
V.示教或确定搜索参数-搜索方法的理想类型和搜索的理想参数。
VI.其它必要的示教参数在本发明中，如果通过调换可以得到最终结果的话，并不需要遵循严格的操作顺序。例如，校准和示教在顺序上可以互换。就是说，示教可以放在校准之前。同样，在对右侧图像进行计算前，先对左侧图像进行计算也无关紧要。
在另一个示例中，先找到左侧图像中的对应像素点完整列表，然后找到右侧图像中的对应像素点完整列表，这样的顺序也不是必须严格遵循的。例如，可以先找到左右图像中的一对对应像素点，再找下一对。另一个示例是校准每个轴的顺序可以互换。
而且，如果一个步骤完成并未被改变，与此步骤相关的信息被存储，用于以后再用时的重复调用。例如，这样的步骤包括设置、校准和示教。
本发明本身允许将并行计算结构用作分析装置。并行分析装置可以并行地计算整个左右图像中的对应像素点和对应像素距离，而不是顺序地计算。还可将并行机制扩展，使其包含本发明分析装置的其它特征，例如特征提取、匹配、搜索、关联、计算和核算。
在并行系统中，流程图不必是顺序的，可以是并行的。
元件和发明所满足的功能对象，本质上并不依赖本发明中每个元件的精确尺寸。同样，元件和发明所满足的功能对象，本质上也不依赖元件的放置和每个元件中特征区域的定位。高度轮廓描述如前所述，沿水平轴和正交轴搜索对应像素点使对应立体点的搜索变得非常简单。例如，如果对象为在垂直方向上跟踪一条线的高度，将特征点与相应的对应像素点相匹配，就可以找到高度轮廓。
图20所示为使用根据本发明所述的装置对线进行高度轮廓描述。图20中使用了5个对应像素点。本发明允许使用多个对应像素点，只有对成像装置的分辨率和图像中提取的特征点数目的限制。
对于一个更复杂的对象，类似地描述对象的点和边缘，用以绘制对象完整的特征点。
另一个示例中线没有完全平行朝向，如图21所示，图21表示了对没有平行朝向的歪斜的线进行轮廓描述。即使线是歪斜的，定位对应像素点仍然可以完成轮廓描述。
图22所示为对水平放置的线的高度轮廓描述的限制。如果线完全位于水平轴方向如图22所示，那么只能确定其末端点。然而，本发明允许将完整的三维测量装置旋转90度，或处于任何适当的朝向，以完成轮廓描述。本发明还允许只转动组件中的棱镜元件。
本发明具有可以在高度轮廓描述同时从一个图像中提取对应像素点的优点。除非当对象水平放置的时候，在这种情况下，在适当的重新定向后，还需要一个额外的视图。
在本发明中，不需要移动焦点，无论是以机械方式还是以电子方式。在本发明中，也不需要将对象相对于成像装置移动，并且得到对象的另一个视图从而确定高度或距离。引线高度测量本发明还用于测量半导体装置的引线的高度轮廓。
图28a所示为一倒置的半导体装置的三维视图，图28b是这个倒置的半导体装置29的侧视图，并且强调了引线30中的高度变化。
图29所示为根据本发明所述的装置对带引线的半导体装置进行高度轮廓描述。
图28a是诸如SOIC插件的倒置的6个引线半导体装置的三维视图，图28b是此装置的侧视图。本发明可用于测量6个引线中每一个与参考面之间的距离。
如图28a和图28b所示，引线30、30’距参考面(例如倒置半导体装置的底面)的距离不同。
如图29所示，通过找到引线顶端并提取顶端左右边缘的中心，可以找到每个引线顶端的中心。从左侧图像中计算这6个引线顶端中心。这六个点是左侧图像中的对应像素点，称为CPP1、CPP2，等。类似地，从右侧图像中计算相应的六个引线顶端中心，称为CPPa、CPPb，等。如果棱镜正确对齐，可沿水平轴找到对应点，否则应沿正交轴搜索。
计算每个对应像素点对，CPP1和CPPa，CPP2和CPPb等，的对应像素距离，可以得到所需的三维高度测量值。如图29所示的示例，中间引线距摄像系统的距离更远。因此，其对应像素距离应比其它引线的更大。
高度测量值可以用摄像机和半导体装置的放置平面为参考。
在本发明的另一个优选实施例中，如图15所示的具有一个装配特征，其中，使用了伸长套筒17，它用于为棱镜11，相对于远心透镜9和摄像机2的对齐提供方便。在图15中，远心透镜9与带有螺纹的伸长套筒17相连。伸长套筒17的另一端是一个带洞18的平面，洞18是用来放置棱镜的。然后将水平表面19连接到伸长套筒17的末端。替代的方案是，带有棱镜的平面可以旋转并且用诸如螺丝刀的固定装置固定。
图16a和图16b所示是集成了伸长套筒17的集成光学装配特征。
图16a所示为集成光源8的使用，该集成光源使用透明玻璃作为水平表面19。如图4所示的装置中的立体棱镜18在水平表面19上被对齐。棱镜11粘到玻璃表面上，玻璃表面上不需要有孔。所示光源为安装在水平表面19内表面的发光二极管。
图16b所示为如图16所示的集成光学组装特征所使用的集成光源8，添加了离散的发光二极管或一束连续的光纤维28；对于一个光学透镜图像形成系统，本发明使用了伸长套筒17如图15b所示的带有螺纹的空心薄圆筒。其一端是中间带有洞18的水平表面19，如图1 5所示。棱镜装置11与套筒17和孔18的对齐放置可以将棱镜装置11对齐。
由于分析装置软件可以纠正小的未对齐，在本发明中棱镜的精确对齐并不重要。将套筒17的直径做的和透镜9一样大，使套筒17的螺纹可以和透镜9相配合。当将棱镜装置和远心透镜一起使用时，应选择套筒长度，以得到最佳的景深。替代的方案是，本发明使用一套固定长度的套筒或使用可变长度的套筒。
另一种替代的方案是本发明中使用透明平玻璃作为水平表面。然后用光学胶将棱镜装置粘到表面上。这种情况下，不需要在中间开洞。透明平面的使用有一个附加的好处就是将光源集成在套筒中，并且通过图16a和图16b所示的透明平面发光。立体图像分光器装配特征本发明使用棱镜装置代替镜组或棱镜，用于达到以简单的方式对齐的目的。只需考虑将棱镜装置相对于成像传感器的对齐进行物理上的标准化。这是通过使棱镜装置的水平边缘与如图11所示的成像感应器的视线调整为直角来实现的。如图10所示是一个歪斜的对齐的示例。立体图像分光器的旋转特征本发明还提供了一个用于水平方向对齐的特征。本发明具有可以使立体图像分光器相对于成像传感器转动的光学特征。本发明中的伸长套筒由两个互相插接的同心的半套筒17、20组成，其上带有用于锁定旋转定向的锁定螺丝21。如图17所示。
一种替代的方案是，一旦立体图像分光器安装完毕且方向固定，本发明可以使用软件在正交方向搜索对应像素点。
可以使用多束分光器作为上文所述的两图像分光器的替代方案，用于产生平行光线的多束平行光束。三图像分光器的特征本发明可用三图像分光器22或鸽尾透镜，如图18所示。棱镜装置中有一个附加的与水平基准相平行的平面。这个附加的平面产生平面图像视图。如前所述，三图像分光器将图像分为立体图像对，并且在中间插入如图18所示的平面图像。虽然鸽尾透镜作为光学装置经常被用作旋转图像，本发明中以一种新颖的方式使用鸽尾透镜概念，将一个对象的单一视图分为三路。
图19所示为根据本发明所述的装置，共轴分光器24的使用，它使光线的投射可以通过如图18所示的三图像分光器的水平表面。光图案由左边的光线投射器23产生，并进入共轴分光器24。当投射图案投射到对象上时，左右图像和平面图像同时产生。四图像分光器的特征可以通过如图23所示的锥形棱镜的使用进一步扩展本发明，图23所示为四图像锥形分光器26的使用。分光器26将对象视图分为四个图像，可以同时观看水平和垂直轮廓。这两个附加的视图相当于将棱镜旋转90度得到的另外两个二维轴的立体图像。
图23所示为合成的图像。使用了四图像发光器，本发明可以用水平和垂直轮廓轻易地计算出对应像素距离，而不需要真正旋转本发明的任何部分。五图像分光器的特征本发明通过将锥形棱镜的顶点截断，可以生成五个图像，如图24所示。这类似于三图像分光器，但是多了用于生成正交视图的两个附加的正交面，如24所示。生成了五个图像，第五个是对象的平面视图。
在将棱镜的水平面用于平面观察和下一部分将要描述的光线投射时，五图像分光器的使用与三图像分光器类似。光线投射特征本发明以一种新颖的方式为棱镜中的每个面提供了一种替代的用途。光图案可以经过棱镜装置的一个或多个面投射到对象表面，而不是仅仅是通过平面观看。
例如，一个光点、一条光线、或一个光栅可经过立体的或三图像分光器投射到对象表面。这些光图案用于使用分析装置对对象进行分析。例如，将一个光栅从顶面投射到一个无特征的规则表面上，棱镜三个面可以同时得到反射光线用于分析。这个特征用于无明显特征的表面，例如如图19所示的平滑的无纹理的带有突起的弯曲表面。
如果实际上光线投射是共轴的且处于图像形成系统的视野内，本发明可包含一个用于共轴光线投射的附加分光器24，如图19所示。使用光线投射的高度轮廓描述图30所示为光线投射器23向带有弯曲突起31的平面发出的直光线的三维视图。为了简化，此例中的光线只垂直射向突起31的顶部。由于对象的其它部分未被照亮，所以只能看到突起31和两个邻接直轮廓的反射光。由于表面上没有高度变化，所以邻接轮廓是直的。
如果使用如图31所示的三图像分光器22观察光线投射，将会看到三个图像。分别是平面图像和左右图像。此例中光线投射分光器24的尺寸很小，被集成到三图像分光器22的顶端。
由于突起在平面图像中没有区别，平面图像所示为一条直线。然而，在两侧图像中看到的是如所示的弯曲的高度轮廓。突起越高，对应像素点之间的对应像素距离越小。
和前面一样，使用本发明中所述的方法，可以得到投射光线在表面上完整的高度轮廓。因此，可推断出表面的高度轮廓。
本发明还可将多条光线、光栅或光图案投射到表面或对象上。通过找到相应的对应像素点并计算对应像素距离，可生成测得的三维数据。
替代的方案是，可将本发明对应的装置安装到单轴机动化系统中，并沿水平轴移动，增加步长得到三维轮廓测量值，如图32所示。这样就可以通过在整个区域内扫描得到合成的三维图像。
本发明的一个应用是对区域的表面平整度的检测。如果区域是平的，投射光线的期望对应像素距离不会有任何偏差。使用光线投射对球状网格阵列进行高度轮廓描述图33a所示为在水平载体平面上包含焊接球阵列的球状网格阵列的平面图；以及图33b为对应的透视图。
图34所示为本发明包含光线投射的球状网格阵列高度轮廓描述。
本发明的一个优选实施例利用一条投射光线和机动化系统对球状网格阵列表面进行扫描。和前面相同，计算沿水平轴或正交轴的各点的对应像素点和对应像素距离，可以得到如图34所示的每个阵列中的球的高度三维测量值。如图32所示，增加步长在球状网格阵列平面上进行扫描，可以建立起球状网格阵列的三维高度轮廓。
在本发明中，三维图像的水平轴分辨率依赖于增加步长的细密度，也就是说，步长越小，水平分辨率越高。垂直轴分辨率与成像传感器的样本点的总数成正比。样本点的总数越多，每个点放置得越近，分辨率就越高。
高度分辨率依赖于图像的放大率。放大率越高，同样物理高度上的对应像素距离变化就越大。替代的方案是，增加夹角(参见图6)可以使对应像素距离变化和高度分辨率增加。例如，将夹角从45度增加50度。
尽管已经详细描述了本发明的优选实施例，应当理解在不脱离由所附的权利要求限定的本发明的构思和范围的情况下，可以做出不同变化、代替、和替换。
权利要求
1.用于对所观察对象进行光学测量的装置，包括用于照亮所观察对象的光源(8)；用于生成平行光线的多束平行光束的装置(11，22，26，27)，所述的每束平行光束都包含被照亮的所观察对象(7)的图像信息，并且所述平行光线的平行光束彼此分开；用于收集所述平行光束中的光线，并将它们引入成像装置中的装置(9，17)；用于生成平行光线的平行光束图像的成像装置(2)，其中，每一幅图像与一束特定的平行光束相对应，生成的图像在用两个坐标轴描述的两维图像区域(12)中彼此分开；以及用于从对应光线入射点的坐标值中提取所观察对象(7)的长、宽、高的分析装置(10)。对应光线是指从对象(7)的同一点(h1-h5)上发出，但经过不同的平行光束到达所述两维成像区域(12)的。
2.用于对所观察对象进行光学测量的方法，包括以下步骤照亮所观察对象(7)；生成平行光线的多束平行光束，所述的每束平行光束都包含被照亮的所观察对象(7)的图像信息，并且所述每束平行光束彼此分开；收集所述平行光束中的光线；生成平行光线的平行光束图像，其中，每一幅图像与一束特定的平行光束相对应，生成的图像在用两个坐标轴描述的两维图像区域(12)中彼此分开；以及从对应光线入射点的坐标值中提取对象的长、宽、高的分析装置。对应光线是指从所观察对象的同一点上发出，但经过不同的平行光束到达所述两维成像区域的光线。
3.根据权利要求1所述的装置或根据权利要求2所述的方法，其中，使用两图像分光器(11)、三图像分光器(22)、四图像分光器(26)、或五图像分光器(27)生成平行光线的多束平行光束。
4.根据权利要求3所述的装置或根据权利要求3所述的方法，其中，分别用楔形棱镜、截断楔形棱镜、锥形棱镜、或截断锥形棱镜作为两图像分光器(11)、三图像分光器(22)、四图像分光器(26)、或五图像分光器(27)。
5.根据前述装置权利要求中的任何一项所述的装置或根据前述方法权利要求中的任何一项所述的方法，其中，使用远心透镜(9)、长光学透镜、或具有可变放大倍数的远心透镜收集所述平行光线的平行光束中的光线。
6.根据前述装置权利要求中的任何一项所述的装置或根据前述方法权利要求中的任何一项所述的方法，其中，使用包含对可见光、和/或红外光、和/或紫外光、和/或X光敏感的像素单元的成像传感器，生成平行光的入射平行光束。
7.根据前述装置权利要求中的任何一项所述的装置或根据前述方法权利要求中的任何一项所述的方法，其中，成像传感器是一个视频摄像机(2)，一个线扫描摄像机，CCD摄像机，或一个X光成像传感器。
8.根据前述装置权利要求中的任何一项所述的装置或根据前述方法权利要求中的任何一项所述的方法，其中，使用计算机器作为分析装置(10)，用于得到所观察对象的长、宽、高信息。
9.根据前述装置权利要求中的任何一项所述的装置或根据前述方法权利要求中的任何一项所述的方法，其中，生成平行光线的多束平行光束的装置(9，17)可相对于生成平行光线的入射平行光束图像的成像装置(2)旋转。
10.根据前述装置权利要求中的任何一项所述的装置或根据前述方法权利要求中的任何一项所述的方法，其中，用于照亮所观察对象的一个单色光源(8)或，其中，用于照亮所观察的对象(7)的一个蓝色单色光源，一个红色单色光源，和一个绿色单色光源。
11.根据前述装置权利要求中的任何一项所述的装置，其中，集成在所述装置(9)外壳中的所述光源(8)用于收集所述平行光线的平行光束中的光线，将其置于与所述生成平行光线的多束平行光束的装置成预置空间关系的位置上。
12.根据前述方法权利要求中的任何一项所述的方法，其中，将一个已知尺寸的参考对象(13，14，15)放在与产生平行光线的多束平行光束的装置(11，22，26，27)预置的距离上，用于在所述两维成像区域(12)中提供校准坐标值，作为所观察未知尺寸对象的度量标准。
13.根据权利要求12所述的方法，其中，参考对象为类平行六面体状、楔形、或双楔形。
14.根据前述方法权利要求中的任何一项所述的方法，其中，分析参考对象的突起特征并储存在所述分析装置(10)中，将所观察对象的数据与得到的所述参考对象的突起特征进行比较。
15.根据前述方法权利要求中的任何一项所述的方法，其中，分析装置(10)确定所观察对象上同一点发出的，不同图像中的对应光线的入射点的两维坐标数据，并计算所述入射点间的距离(对应像素距离)。
16.根据前述方法权利要求中的任何一项所述的方法，其中，成像装置(2)相对于所观察对象(7)移动，并扫描所述对象。
17.根据前述方法权利要求中的任何一项所述的方法，其中，将确定的所观察对象(7)尺寸的值与一系列参考对象的已知尺寸值相比较，并且根据比较结果，将一系列预置属性值中的至少一个属性值赋值给对象。
18.根据权利要求17所述的方法，其中，根据以前赋值给所述对象的至少一个属性值，对所述的对象进行进一步操作。
全文摘要
本发明涉及用于可视地测量所观察对象(7)的三维数据的装置和方法,包括:用于照亮所观察对象的光源(8);用于生成平行光线的多束平行光束的装置(11),所述的每束平行光束都包含所观察对象的图像信息,所述每束平行光束彼此分开;用于收集所述平行光束中的光线,并将它们引入成像装置中的装置(9);用于生成平行光线的入射平行光束的图像的成像装置(2),其中,每一幅图像与一束特定的平行光束相对应,生成的图像在用两个坐标轴描述的两维图像区域(12)中彼此分开;用于从对应光线入射点的坐标值中提取对象(7)的长、宽、高的分析装置(10)。对应光线是指从对象(7)的同一点上(h
文档编号G01B11/03GK1334913SQ99815889
公开日2002年2月6日 申请日期1999年11月30日 优先权日1998年11月30日
发明者庄斌德, 沈伟利 申请人:瑞丰影像科技(私人)有限公司