专利名称：利用周期图案照明和tdi的成像测量系统的制作方法
技术领域：
本发明涉及利用周期图案照明的成像测量系统，其也称为结构化照明或波纹 (Moire)技术，并且具体地说，涉及提高这种系统的吞吐量(throughput)。
背景技术：
利用周期图案的成像和测量系统通常使用正弦曲线周期照明来提高成像分辨率， 以区分焦平面处的图像信息并测量物体的高度。这些技术具有以下优点与标准共焦成像 显微镜或标准三角高度测量系统相比，发光效率更好、更快、提供了更好的分辨率。例如， 可参见以下文献Rainer Heintzmann, Handbook of Biologic Confocal Microscopy 3rd edition，chapter 13 "Structured Illumination Method，，，Springer 2006。对吞吐量的 主要限制来自于光强度不足，当照明的相位变化时，对同一物体需要成像多次，并且要求多 次计算以提取光学图像的信息。不管用于提取图像还是测量高度，大多数利用周期图案照 明的系统包括以下元素-以周期图案照明物体；-在改变该图案相对于物体的相位的同时扫描物体；-在扫描的同时对物体成像；-进行数学分析以提取需要的参数(高度或图像)。US05867604公开了一种通过利用周期图案照明扫描物体来提高光学成像系统的 横向分辨率的方法。根据US05867604的教导，如果利用周期图案照明来照明物体，则通过 对称为S1和S2的光学图像进行数值(numerical)处理可以提取两个合成图像。其中S1是 物体反射率的线性变换，在高频范围内，其是比光调制传递函数(MTF)更好的传递函数。因 MS1具有比本身的光学图像更好的分辨率来识别物体细节。S2是S1的希尔伯特变换。S1 和S2仅能够区分对焦的信息(切片质量)，因为在不对焦的情况下，将减弱周期图案照明的 调制。除了成像的切片和分辨率改善以外，对于例如半导体凸点之类物体的高度测量， 工业计量机使用周期图案照明技术。如果以角α从一个方向利用周期图案照明对物体进 行照明并以角β从一个不同的方向成像，则在图像平面处的图案的相位将取决于物体的 高度。由于使用了光栅和并利用倾斜角来照明，因此，这种高度测量的配置也称为波纹技 术。US07023559公开了一种利用周期图案照明来测量例如焊料凸点之类物体的高度的测量 系统。根据US07023559的教导，将光网格投射到物体上以建立周期图案照明，且照相机从 不同角度对该物体进行成像。根据照相机拍摄的几个图像分析所述物体的高度，其中每个 图像具有不同的网格位置(不同的相位)。物体的高度与利用已知目标进行校准过程中测 量的相位有关。US06603103公开了利用周期图案照明并使用连续扫描的测量系统。根据 US06603103的教导，物体由光网格照明并且由三线CXD(三线阵列)成像。物体以恒定速度 移动，因此物体的任何一个点被成像三次，每次由不同的CCD线成像并且每次以不同相位成像。对三幅图像的傅立叶分析能够分析信号的相位并且因此测量物体的高度。在具有均衡照明但不具有周期图案照明的连续扫描过程中一般使用延时积分 (TDI)传感器。US04877326公开了包括照明装置和用于对物体成像的TDI传感器的检查系 统，其中照明装置被设计成提供沿着窄线大致均衡聚焦的照明。根据US04877326的教导， 应用TDI进行检查是有利的，因为检查处理倾向于使用有限的光并且TDI允许增加积分时 间而不减慢检查。大多数具有TDI传感器的扫描系统(例如US04877326所描述的)不使 用周期图案照明，因为延时积分处理最终将消除原始照明图案的所有信息。US6714283公开了一种利用具有结构化照明的TDI设备进行测距的传感器及其方 法。为了避免在TDI处理过程中丢失距离信息，对设备进行的光束反射限于TDI设备采集 周期的第一积分区间。根据US6714283的教导，通过将TDI限制在一个积分区间内，不仅避 免了相位信息的丢失，同时也避免了 TDI在光应用方面的限制，因为仅仅使用了传感器潜 在积分时间的一部分。
发明内容
为了克服现有技术的局限性，本发明提供了一种光学扫描成像系统，其利用周期 图案光对物体进行照明，并利用图案化灵敏度延时积分(TDI)传感器对该物体成像。该图 案化灵敏度TDI传感器包括像素阵列，该像素的光灵敏度在该阵列上周期地变化，并具有 与成像至传感器时的照明相同的周期。例如，传感器可以被掩蔽，以使得一些像素被完全地 或部分地阻隔光线。具有图案化灵敏度的TDI传感器的积分处理成为结构化照明中所必须 的数学分析的一部分以提取相位和幅度，因此节省了计算时间并增强了吞吐量。本发明公开了一种一种用于对物体成像的图案化TDI传感器，其包括像素阵列， 所述像素具根据所述阵列上的周期图案而变化的光灵敏度。本发明进一步提供了一种物 体检查方法，该方法包括以下步骤利用在所述物体上周期地变化的照明对物体进行扫描； 利用图案化灵敏度TDI传感器对物体成像，所述图案化灵敏度TDI传感器的重复长度与所 述照明的重复长度相匹配；以及分析所述TDI传感器的输出信号，以提取关于所述物体的 信息。这样的信息可以是物体的图像或高度。因此，此处公开了一种用于对物体成像的TDI传感器，其包括像素阵列，所述像素 各自具有根据所述阵列上的周期图案而变化的光灵敏度。在许多实施方式中，所述像素呈多列排列，并且其中在相邻列之间引入所述周期 图案的相位偏移。在一个这样的实施方式中，所述图案在各列上具有6个像素的周期长度， 并且所述图案的所述相位在相邻列之间偏移两个像素。在另一个这样的实施方式中，所述 图案在各列上具有4个像素的周期长度，并且所述图案的相位在相邻列之间偏移一个像
ο此处还公开了一种物体检查方法，该方法包括以下步骤(a)利用在所述物体上 周期地变化的照明来扫描物体；(b)利用图案化灵敏度TDI传感器对物体成像，所述图案化 灵敏度TDI传感器包括多个像素，所述像素具有周期地变化的光灵敏度，所述光灵敏度的 重复长度与所述照明的重复长度相匹配；以及(c)分析所述TDI传感器的输出信号，以提取 关于所述物体的信息。通常，所述信息包括物体的高度和/或物体的图像。在一些实施方式中，所述图像仅包括物体的对焦信息。在其它实施方式中，所述图像包括与周期图案照明同相的信息和 /或与周期图案照明的相位相差90度的信息。此处还公开了一种成像装置，其包括所公开的TDI传感器和用于对物体照射周期 图案照明的照明器，其中该周期图案照明与TDI像素的周期图案相匹配。
此处参照附图仅借助于实例描述了本发明，在附图中图1是利用周期图案照明和图案化灵敏度TDI传感器对物体进行检查的系统的示 例图；图2示出了本发明的一个实施方式中灵敏度图案化TDI的像素阵列的局部图；图3示出了灵敏度图案化TDI传感器的像素阵列的另一示图；图4示出了本发明的一个实施方式中利用切片和改善的分辨率对物体进行成像 的光学装置；图5表示在一个焦平面中图4的光学装置的切片性能；图6表示在不同焦平面中图4的光学装置的切片性能；图7示出了本发明的不同实施方式中测量具有非垂直照明角度的物体的高度的 光学装置；图8示出了本发明的TDI传感器的详细示图。
具体实施例方式从图1中能够更好地理解本发明，其示出了本发明的实施方式的示意布置。图1示 出了以周期照明图案1照明的物体2。以周期图案照明的方法包括对利用背光源照明的光 栅的图像进行投射(project)。周期图案照明的强度优选地以重复长度δ而正弦地变化。 光学成像系统3在图案化灵敏度TDI传感器4上创建物体的光学图像。在以线阵相机同步 的常用方式与TDI传感器同步的恒定速度V扫描物体的同时，TDI传感器将光学图像转换 成数值数据，并且处理器5分析数据以提取物体的信息。图8示出了 TDI传感器的更详细的示图。TDI传感器由像素阵列21组成，该像素 阵列21对光强度敏感。典型的阵列可以具有128行和4000列的像素。在TDI传感器的延 时积分处理过程中，一个像素接收来自同一列中的相邻像素的电荷，根据光强度增加更多 电荷并沿该列将电荷转移至下一个像素。电荷从一个像素到下一个像素的转移与物体的 扫描速度同步。输出的TDI信号是在对物体的同一点成像的同时沿着该列生成的电荷的积 分。在对数值数据进行采样后发送到图1的处理器5。图8的示图是像素阵列中小区域23 的放大图。图2示出了本发明的一个实施方式中灵敏度图案化TDI传感器的像素阵列的局部 图，其更详细地示出了图8的示图Α。优选实施方式中的TDI阵列包括分别以白色和黑色方 块标记的活动像素和非活动像素。活动像素对光强度敏感，而非活动像素表现为对光不敏 感(例如可通过掩蔽那些像素来实现)。在延时积分处理过程中，活动像素接收来自同一列 中相邻像素的电荷，根据光强度增加更多电荷并且沿着该列将电荷转移至下一个像素。电 荷从一个像素到下一个像素的转移与物体的扫描速度同步。非活动像素接收并转移电荷，但是非活动像素对光不敏感，因此非活动像素不增加电荷。非活动像素可以被掩蔽以防止 光照射该像素，或者不活动像素可以在电学上不活动。活动像素和非活动像素以L个像素 的重复长度形成重复图案，以下列方式与照明重复长度δ匹配⑴其中G是光学放大率，P是像素大小。TDI像素阵列中的所有列具有相同的周期图 案，但是在M个像素的相邻列之间存在位移，其相邻列之间的相位偏移(以弧度为单位)(2) ξ = 2 π M/L整数N定义为N = M/LN是沿着像素阵列行的重复长度，意味着活动和非活动像素的图案每N列是相同 的。L和M应选择为使得N是整数。在图2中示出了 L = 6、Μ= 2和N = 3个像素的例子。 图3示出可另一个实施方式，其中L = 4、Μ= 1和N = 4，也可以考虑其它的配置。由于TDI 传感器具有与照明图案相匹配的图案化灵敏度，在延时积分处理过程中任意列处的输出测 量了图像的幅度和相位信息，并且传感器的相邻列基本上测量相位偏移等于公式(2)中定 义的ξ的同一幅度。图1中的处理器5通过对一组N个相邻列的傅立叶分析来对图像的 幅度和相位都进行分析。处理器5进一步分析物体的高度，该高度与相位相关。在不同的 光学配置中，处理器5也分析均与幅度和相位相关的合成图像Sl和S2。图4示出了利用切片和提高的分辨率性能来对物体成像的光学装置。物体以周期 图案1照明，并利用图案化灵敏度TDI传感器4以垂直于物体2的同一角度方向成像。分束 器4用于合并照明光束和成像光束。相同的物体31用于投射照明图案并对物体成像。图 4的光学装置包括两个管状透镜，即用于照明的管状透镜33和用于对TDI传感器成像的管 状透镜32。如图1所示，处理器5分析由TDI传感器4获取的图像的幅度和相位。图5和 6示出了在对100 μ m高的球形焊料突点成像时周期图案照明的切片性能。图5示出了比图 6更高的焦平面处的焊料突点的图像。仅位于焦距的深度内的窄切片由照明图案调制。图7示出了用于测量以周期图案照明的物体的高度的光学装置。以角度α利用 周期图案对物体2进行照明并从角度β对其进行成像。光学成像系统3在图案化灵敏 度TDI传感器4上生成物体的光学图像。TDI传感器4将该光学图像转换成电信号，在以 恒定速度V扫描物体的同时该电信号被转换成数值数据。处理器5分析该数据以提取物 体的高度信息。取决于照明和成像角度，物体的高度与在图像平面处成像的相位偏移识之 间存在线性关系。因为角度α和β受到机械公差的影响，所以应当测量和校准相位和高 度的相关性。可以利用具有不同已知高度(例如阶梯目标)的多个特性的校准目标，或通 过移动平坦目标以改变具有已知偏移的目标的高度，来实现该校准。也可以使用由干涉仪 (interferometer)校准的球形目标。数学公式为了更好地理解图1的成像系统，假设物体上的点6相对于照明1和光学装置以 速度V移动(物体2相对于照明1移动，或照明1相对于物体2移动)。当移动时，点6成 像为沿着TDI传感器的同一列j的像素序列。根据公式(1)在图像平面处周期长度δ与 L个像素匹配的正弦函数照明、点6的光学图像强度、在图1的TDI传感器4处测得的I (i，j)满足(4) I(i, j) = B0+BlCos (2 π i/L+ θi = 1,2,3. . . i (t). . . i Max 其中 Bc^PB1 是以与时间无关的常数，Q1是图像平面的相位，i = 1，2，3...是点6成像的像素行索引。 在点6以速度V移动的同时索引i随时间变化。任意像素(i，j)根据图像的强度和像素对 光线的电灵敏度而生成电荷。因为TDI的活动像素和非活动像素以周期L生成周期图案， TDI像素的灵敏度q(i，j)可以按照响应于图像强度生成的电荷而写作谐波序列的形式(5)q(i, j) = C0+ClCos (2 π i/L+ θ ρ +C2cos (4 π i/L+2 θ ρ +...其中 C0，C1, · · ·是 常数，θ」是沿列j的TDI图案的相位。为求出由TDI传感器输出的总电荷(由点6的成像 而产生)，我们必须将式(4)的强度与式(5)的灵敏度相乘，并且针对i = 1,2,3...至iMax 进行求和。所得到的列j处的电荷是Q(j)，其满足Q (j) = Σ {Co+Ci cos (2 π i/L+ θ j) +C2cos (4 π i/L+2 θ )+...} *(6){Bo+BiCos (2 π i/L+ θ )}求和之后，可以将所得到的Q(j)写作如下形式Q(j) = D0+D1cos(￥)(7)Ψ = θ j- θ j在式(7)中，Dtl是由Btl产生的电荷，其中Btl是式(4)中点6的光学图像的均一分 量。通过图1的光学系统3的调制传递函数(MTF)，D0与作为图像的物体相关。D1是由B1 产生的电荷，其中B1是式(4)中点6的图像的正弦分量。通过类似于Dtl的调制传递函数， D1与作为图像的物体相关，并且其具有如下切片质量，即表示只有位于焦距的有限深度内 的信息能够促成图像。相位Ψ是相对于传感器图案的相位的测得光学图像的相位。在采 样之后，电荷被转换成数字。处理器5的一个作用是进行用于估计队、D1和Ψ所需的数值 分析。我们假设式(7)的光学图像在N个相邻列内近似恒定。若物体在N个像素内是平坦 的或者若光学点展开为具有N个像素大小，则该假设是有效的。利用该假设，N个相邻列的 TDI输出为Q(j)= Dc^D1Cos(W)Q(j+1)= D0+DlCos(W+€ )(8)...Q(j+N-1)= Dq+DposCW + CN-I) ξ)其中N、ξ在式⑵和(3)中定义并且其中(9) N ξ = 2 Ji根据(8)和(9)，对N个数据点Q(j)，Q(j+l)，...Q(j+N-l)的傅立叶分析提取D0、 D1和Ψ的估计。例如，考虑图2的图案化像素阵列，其中N = 3，ξ = 2 jt/3。N个相邻列Q(j_l)、 Q(j)和Q(j+1)的集合构成D1的如下估计{DJ2 = {Q (j-1) sin (_2 π /3) +Q (j+1) sin (2 π /3)}2+
(10) 并且同样的Q(j_l)、Q(j)和Q(j+1)的集合用于估计Ψ 按照如US05867604所定义的方式，估计与照明S1同相的合成图像以及与照明S2 相位相差90度的合成图像(12) S1 = D1Cos (Ψ-Ψω)(13) S2 = D1Sin (Ψ-Ψ」其中Ψω是参考相位，其能够通过对镜像目标进行测量来校准，这是因为镜像目标 不引入相位偏移并且图像的相位与照明的相位相同。已经针对有限数量的实施方式描述了本发明，但应当理解的是可以对本发明进行 许多变型、修改和其它应用。因此，所附权利要求书中记载的要求保护的发明并不限于此处 所描述的实施方式。
权利要求
一种用于对物体成像的TDI传感器，其包括像素阵列，所述像素各自具有根据所述阵列上的周期图案而变化的光灵敏度。
2.根据权利要求1所述的TDI传感器，其中所述像素被排列成多个列，并且其中在相邻 的所述列之间引入了所述周期图案的相位偏移。
3.根据权利要求2所述的TDI传感器，其中所述图案在各列上具有6个所述像素的周 期长度。
4.根据权利要求2所述的TDI传感器，其中所述图案的所述相位在相邻的所述列之间 偏移两个所述像素。
5.根据权利要求2所述的TDI传感器，其中所述图案在各列上具有4个所述像素的周 期长度。
6.根据权利要求2所述的TDI传感器，其中所述图案的所述相位在相邻的所述列之间 偏移一个所述像素。
7.一种物体检查方法，该方法包括以下步骤(a)利用在所述物体上周期地变化的照明对物体进行扫描；(b)利用图案化灵敏度TDI传感器对物体成像，所述图案化灵敏度TDI传感器包括多个 像素，所述像素具有周期地变化的光灵敏度，所述光灵敏度的重复长度与所述照明的重复 长度相匹配；以及(c)分析所述TDI传感器的输出信号，以提取关于所述物体的信息。
8.根据权利要求6所述的方法，其中所述信息包括所述物体的高度。
9.根据权利要求6所述的方法，其中所述信息包括所述物体的图像。
10.根据权利要求8所述的方法，其中所述图像仅包括所述物体的对焦信息。
11.根据权利要求8所述的方法，其中所述图像包括与所述周期图案照明同相的信息。
12.根据权利要求8所述的方法，其中所述图像包括相位与所述周期图案照明相差90 度的信息。
13.一种成像装置，其包括根据权利要求1所述的TDI传感器和用于对物体照射周期图 案照明的照明器，其中所述周期图案照明与TDI像素的所述周期图案相匹配。
全文摘要
一种图案化TDI传感器，其包括像素阵列，所述像素各自具有根据所述像素阵列上的周期图案而变化的光灵敏度，用于利用例如结构化照明、波纹技术、3D成像和3D计量之类的图案化照明进行测量和成像的高吞吐量应用。按如下方式对物体进行测量利用在物体上周期变化的照明对物体进行扫描，利用图案化TDI传感器对物体成像，该图案化TDI传感器的重复长度与该照明相匹配，以及分析TDI传感器的输出信号，从而提取例如物体的高度或图像之类的信息。
文档编号G01B11/24GK101918789SQ200880107249
公开日2010年12月15日 申请日期2008年4月6日 优先权日2007年9月16日
发明者梅厄·本-利维 申请人:梅厄·本-利维;牧德科技股份有限公司