专利名称：用于多工影像的撷取与处理的方法及设备的制作方法
技术领域：
本发明是有关于利用机器视觉(machine vision)以高速检视制造物品。特别是 关于当一物品移动时藉由单一相机同时撷取的该物品的多个影像的撷取与处理。更特别关 于利用不同颜色的光线自不同方向照明一物品以及利用一感测器上的彩色滤光镜分离影 像以同时撷取多个影像。
背景技术：
许多大量生产的物品在制造流程期间是藉由机器视觉系统检视小瑕疵。典型的检 视系统使用二维灰阶相机依据灰阶反射性或二维形态(morphology)上的差异找出物品上 的瑕疵。在某些无法由灰阶差异侦测出瑕疵的情形，其使用彩色相机以侦测可由光谱反射 性差异所分辨出的瑕疵。在藉由灰阶或彩色影像中的任何差异均无法辨识出瑕疵的情形， 可以使用三维视觉系统以侦测其特征在于三维型态差异上的瑕疵。二维视觉系统通常由一相机、光学仪器、以及照明设备所构成。相机技术一般而言 是限于市面上可取得的感测器，故其通常客制化光学仪器和照明设备以提供正确的放大倍 率(magnification)、视场(field of view)以及撷取速度(acquisition speed)。以现 成影像感测器以及客制光学仪器和照明设备而制造出的一机器视觉系统的实例是Electro Scientific Industries公司(本专利申请的受让人)所制造的ESI BulletτΜ晶圆ID读 取器。此系统包含一视讯感测器、光学仪器和照明设备，设计以检视半导体晶圆，或其他物 品，上的辨识标记。虽然其是设计以摄取形成于类似镜面的表面上的细微标记的影像，此系 统却无法摄取小型瑕疵，此是本发明的主题。此乃由于待发掘的瑕疵与其周遭环境对相机 而言未呈现任何差异。此等瑕疵在视觉上可能仅是物品表面上的细小凹陷，因此无法以传 统的二维影像摄得。拍摄瑕疵的影像的可能方法之一是从至少二个不同方向以浅掠射角(grazing angle)投射的光照明物品并取得其影像。光必须从至少二个方向照射，因为并非所有的瑕 疵均可以自单一光线角度看见。处理所有这些影像极可能找出瑕疵，但对每一撷取均需要 一单独的图框时间，此使得此种处理无法令人接受。影像可以平行式地撷取，但对每一方向 的光线均将需要一感测器，配合滤光镜使得每一光线仅可被适当的相机所看见。此将导致 该流程出现无法接受的费用。对于拍摄细微瑕疵的问题的另一可能办法是使用三维成像。三维视觉系统产生与 一物品的实际三维形状对应的影像资料，而非反射自该物品的光线波长的强度。依据所使 用的技术，三维系统可以被分类成许多族群。第一种是被动式三维系统，其利用一般二维影 像内的线索提示的高度资讯建立影像。其实例之一是取得二或多个二维影像的立体影像重 建，侦测每一影像的特征，尝试使每一影像中侦测的特征归于一致以解决此对应性的问题。 不一致处被归因于影像间高度的差异，因而推导出高度。此与上述多重二维影像的情况有 相同的问题，意即取得多重影像的时间以及平行取得的设备花费。并且，此方式不适用于此 处待解的瑕疵，因为其并无可供推断高度的特征。
另一形式的三维成像需要投射线，通常是一雷射线或其他形状投射至物品上而后 形成影像。此等射线的位移表示三维的轮廓。此方法亦需要执行多重撷取，因此对于此应用 过于缓慢而无法接受。其他类型的三维成像取决于在一连串影像步骤中侦测聚焦品质(共 焦成像)或者撷取一特殊格网投射的影像(云纹成像；Moire imaging) 0此二方法需要多 重影像撷取以建立三维影像，故对于待解决的问题此是无法接受的解法。此外，此等方法通 常需要物品在扫描过程中保持静止不动，此意味该物品必须指定、停止、并安置稳当后方能 进行扫描，这一切限制均会减慢制造的流程。此方法之一实例描述于Oleksandr等人发表的〃 Technique for Phase Measurement and Surface Reconstruction by Use of Colored Structured Light (利用 彩色结构光进行相位量测与表面重建的技术)“一文(Applied Optics Vol. 41, Issue 29， pp. 6104-6117(2002))，投射多重彩色图案以分辨投射光线并试图增进三维量测的精确度。 其讨论利用结构光判定汽车挡风玻璃的表面轮廓，利用微分方程式自结构光影像抽取三维 资讯。此许多方法的共同点在于需要取得一个以上的影像以侦测一物品上的瑕疵。撷取 一移动部分的多重影像的问题在于为了以单一相机撷取多重影像，其需要多重曝光。因为 该部件是假定会移动通过相机，故该部件在撷取多重影像时必须停止于固定位置，或者相 机必须随着该部件移动。此二种方式均不能接受，因为使该部件停止将降低系统生产量，而 移动相机则相当困难且代价昂贵。另一可能的解决办法是使用多台相机，但代价较贵且需 要特别费心于光学仪器及感测器间的准直。因此，其需要一影像撷取机制，具有拍摄二维检视方法无法轻易取得的瑕疵的影 像的能力。另外，此机制必须不用到多台相机或其他昂贵的额外设备，且能于不到单一图框 时间内运作，以使得物品于影像撷取时被强制停止的需要被最小化或完全排除。
发明内容
本发明目的之一在于提供一种以影像撷取系统形式呈现的方法及设备，其具有在 二维检视装置中不显然可见的瑕疵的改良性侦测能力。本发明的另一目的在于影像撷取期 间不需要物品保持不动即能执行撷取动作。针对本发明上述及其他目的之达成，以下藉由 清楚的实施例说明揭示一种方法及设备。藉由以二或多种不同颜色的光照明一物品并利用具有加装拜尔滤光镜(Bayer filter)结构的一影像感测器撷取资料，从而在单一影像图框内撷取到该物品的二或多个 影像。拜尔滤光镜是一彩色滤光镜，其加装于由红、绿、蓝彩色滤光镜构成的一影像感测器 之上。拜尔滤光镜加装至该影像感测器并撷取影像资料。当影像资料被撷取入控制器(位 于相机本身之内或是一外加的控制器)之时，像素(Pixel)依据其对应的滤光镜颜色被分 类，换言之，所有红色像素被放入一影像，所有蓝色像素被放入另一不同的影像，而所有绿 色像素被放入又另一不同影像。以此种方式，一单色影像撷取感测器可以用于模拟具有单 一感测器的一彩色影像系统，虽然其空间解析度稍小。此等彩色影像被处理成彼此呈对齐 的状态，使得一影像内的特征将出现于其他影像中相同的位置。藉由将照射的波长与拜尔滤光镜相匹配，其可以从所撷取的单一影像导出三个独 立的不同影像。举例而言，若物品以三种颜色中的二或多个色光自不同方向照明，其可以处理该等导出的影像以显示影像间的不一致，从而显示三维形态中代表瑕疵的细微差异。此 外，其可以用闪光灯的方式或者其可以闸控影像感测器以在一段极短的时间内撷取资料， 因而其不仅可以同时得到三个对齐的影像，且该等影像可以在不停止物品下而取得。在本发明的一实施例中，其以匹配拜尔滤光镜中二个滤光镜的光，自二不同方向 照明一物品。其利用匹配拜尔滤光镜中的第三颜色以漫射的方式照明而取得一第三影像。 其撷取影像资料并将其分成三个独立的不同影像，分别对应至拜尔滤光镜的三种颜色。前 二个影像彼此相减以突显其间的差异，因为出现于一影像而未出现于另一影像中的特征极 可能即是瑕疵。产生的影像随之利用传统的机器视觉技术加以处理以对瑕疵进行辨识及归 类。该漫射而得的影像亦利用传统的机器视觉技术处理之以判定其是否存在诸如外形偏离 正常数值的其他瑕疵，此等瑕疵可能无法以定向照明影像的方式侦测到。在本发明的一实施例中，该三个照明源以闪光灯或闪烁投射的方式照射一段极短 的时间。此使得感测器可以撷取一移动部分的影像资料而不会因移动而导致模糊。感测器 被设定成整合光亮，且照明源在感测器正在整合光亮时被设定成打出闪光。闪光打出之后， 指引感测器以将利用闪光打出的照明源产生于感测器内的影像资料读出至控制器，其中的 影像资料被分为对应至三彩色滤光镜的三个影像。在物品的移动极为快速而通过感测器视场的情况，试图仅藉由闪光方式照射而冻 结物品的运动是不切实际的。在此实施例中，其藉由对移动物品的输送机制实施正弦曲线 式速度曲线，使得当物品通过感测器的视场内时，其运动是减慢的。在此实施例中，一控制 器于运作时连接至该输送机制以控制物品移动的速度。藉由依据一正弦曲线式速度曲线加 快和减慢输送机制，使得最低速度的时点与照明源闪光的时点一致，则物品速度降低的幅 度足以排除模糊的产生同时使得肇因于输送机制减慢的生产量降低得以最小化。
图1是一示意图，其显示将一 RGB拜尔滤光镜结构加装于一影像感测器的情况；图2是一曲线图，其显示一典型RGB拜尔滤光镜结构的光谱响应 (spectralresponse)；图3a及3b显示一拜尔滤光镜方向性影像撷取系统的二个视图；图4a、4b及4c显示方向性照明影像处理；图5显示漫射式照明影像处理。
具体实施例方式本发明是针对影像资料的撷取以支援电子元件的自动化检视。此类型元件实例之 一是晶片电容，其是由金属导体及陶瓷介电质(ceramic dielectric)的交替迭层建构而 成。此等元件产生传统二维或三维系统难以或无法取像的瑕疵。此外，此等元件是以极高的 速度生产制造。大量生产此等元件的设备可以以每小时生产数十万个的速度进行。最后， 此等元件是组装于几乎目前市售的所有电子装置中的电路；故其最好在组装入电路之前先 行检验。本发明可以将影像拍摄周期降低至单一影像曝光时间(2毫秒)且使用一 18毫秒 的较快速移动曲线。此20毫秒的周期将使其可以达到每小时180，000单位的生产速度。加装拜尔滤光镜的宽光谱影像感测器常被使用以取得彩色影像资讯。图1是加装一拜尔滤光镜12的一半导体影像感测器10的示意图。此拜尔滤光镜是由三个不同的彩色 滤光镜红色14、绿色16以及蓝色18所构成。拜尔滤光镜12被附接至感测器10以使得拜 尔滤光镜12的每一颜色区段均对齐影像感测器10的一图像元素或像素，其中之一标示为 20。以此种方式，每一像素20仅整合一种颜色的光，以使得当结果的影像资料被一控制器 (未显示于图中)自感测器10读出之时，此等资料可以被分类成三个独立的影像，每一影像 代表照射仅一种颜色的像素。一般而言，此方式是用于利用单色、宽频带感测器建立全彩影 像，但在本发明的实施例中，此方式是用于形成独立的影像，每一影像对应至一独立的照明 源。其可以使得此三影像在大小、位元深度、以及对齐方式上彼此一致，以利进一步的处理。图2是一曲线图30，其显示以一典型拜尔滤光镜中三种形式彩色滤光镜的量子效 率(quantum efficiency) 32相对于波长34所绘制的关系图。量子效率表示特定波长的光 子被撷取并由感测器转换成电荷的百分比，其相当于光谱响应。三颜色峰值对应至蓝色36、 绿色38、以及红色40滤光镜。如图所示，蓝色滤光镜峰值位于大约450奈米(nm)的位置， 绿色滤光镜峰值位于大约550奈米而红色滤光镜峰值在大约625奈米处。其应注意此三滤 光镜全部可以传输位于光谱红外线(IR)区域内(大约700奈米及以上者)的能量。多数 此类型感测器亦包含一 IR滤光镜以阻挡额外的能量抵达感测器。具有此类型影像感测器 的装置实例包括手机相机以及多数中低价位视讯相机。内附拜尔滤光镜的范例性影像感测 器是日本东京Sony公司所售编号#ICX445 EXview HAD CXD的部件。本发明的一实施例使用应用于彩色影像感测的技术藉由拜尔滤光镜在一图框的 时间内摄取三个独立的个别影像。藉由自至少二不同方向照明元件并多工处理该元件的多 重视像成单一影像以将影像摄取缩减成单一感测器的曝光。每一照明源使用与拜尔滤光镜 的颜色匹配的独特颜色或波长。在本发明的一实施例中，使用以下颜色的LED进行影像照 明-470奈米蓝色用于北侧影像照明-525奈米绿色用于漫射影像照明(第三影像)-636奈米红色用于东侧影像照明此处可用的范例性LED 包含470 奈米-HLMP-CB30-M0000，Avago Technologies, San Jose, CA ；525 奈米-LTST-C 190TGKT, Lite-on Semiconductor Corporation,台北，台 湾；以及 SML-LX0402IC-TR，Lumex, Palatine, IL。在一典型的拜尔滤光镜中，50%的像素是绿色，25%是蓝色而25%是红色。此是由 于此等感测器乃设计以自一单色感测器产生彩色影像，其反映了人眼对绿色光的敏感度高 于对蓝色或红色光的敏感度的事实。此外其亦应注意，此仅代表一特定种类的彩色滤光镜。 举例而言，可用于在一单色滤光镜分离颜色的其他彩色滤光镜使用与感测器的像素行对齐 的色条。其他滤光器可以使用稍微不同的颜色。任何此等其他滤光镜均可以使用于本发明 的实施例而未脱离本发明的基本概念。图3a及3b显示本发明的一实施例。图3a显示一实施例的立体上视图而图3b显 示同一实施例的侧视图，其显示一物品50，由一输送机制51载运通过相机60，且由一第一 照明源52自一第一方向投射一第一颜色准直光54，以及一第二照明源56投射一第二颜色 准直光58。此外，一第三照明源62以一第三颜色漫射光64照明物品50。一内含加装拜尔 滤光镜(未显示于图中)的感测器的相机60撷取被照明的物品50的影像资料。
图4a显示撷取自一物品的影像资料70，该物品被一使用一第一色光的第一照明 源72自一第一方向74照明。以此照明机制取得的影像资料70显示一瑕疵76，其显示为一 较淡的颜色区域。图4b显示撷取自一物品的影像资料78，该物品被一使用一第二色光的第 二照明源80自一第二方向82照明。注意在此情况下，上述的瑕疵于影像资料78中是看不 见的。图4c显示自影像资料78减去影像资料70所得到的合成影像资料84。在合成影像 资料84中，上述的瑕疵86清晰可见。自二不同方向影像70、78结合影像资料的目的在于隐 匿二影像均出现的资讯且强化仅出现于一影像中的资讯。其想法在于待侦测的瑕疵仅可见 于一方向的照明。在二个方向均可看见的特征通常不被归类为瑕疵。其亦应注意，减法仅 是结合影像以强化瑕疵侦测的一示范性方式，其亦可以使用其他运算，包含其他算术运算、 逻辑运算、诸如最小/最大运算的有序统计式运算，或是该等运算的组合。影像结合动作之 后，其使用标准的机器视觉技术辨识该合成影像内的瑕疵。在瑕疵出现于二个方向影像的情况，其使用物品的漫射影像以侦测该瑕疵。图5 显示一物品利用上方的漫射光撷取而得的一灰阶影像90。图中显示一瑕疵92被圈出。此 等影像资料可以结合一或二个方向的影像，或者以标准机器视觉技术单独处理之，以产生 关于可能瑕疵的进一步资讯。在本发明的一实施例中，在一图框时间内于单一感测器运用三影像的多工处理以 用于在单一图框时间中取得资料。藉由将撷取时间限制于单一图框时间，停止该部件、撷取 资料、而后重启部件移动所需的时间被最小化。此外，运用感测器的电子快门(其中该感测 器仅允许于一极短的时间内整合光线)使其可以不停止该部件又能取得影像资料。其亦 可以在部件通过感测器的监看范围内时，将照明源以闪光灯的方式打出以冻结该部件的运 动。该部件可以以其正常速度保持移动而通过相机，或者在即使使用电子快门或以闪光灯 方式打出照明源影像资料仍含有起因于运动的模糊的情况，则该部件的运动可以程式设定 成正弦曲线的方式，在该部件通过感测器监看范围时减速而不撷取影像时加速。前述实施例的细节可以在未脱离本发明的基本原理下进行许多修改，此对于习于 斯艺者将是显而易见的。本发明的范畴因此应由以下的申请专利范围所界定。
权利要求
一种使用第一及第二照明源、加装拜尔滤光镜的影像感测器、和控制器以撷取物品影像资料的改良方法，其改良包含以在光谱上匹配该拜尔滤光镜一第一颜色的光自一第一方向以该第一照明源照明该物品；以在光谱上匹配该拜尔滤光镜一第二颜色的光自一第二方向以该第二照明源照明该物品；以该影像感测器自被该第一照明及该第二照明所照亮的该物品将影像资料撷取至该控制器；以该控制器将该影像资料分离成包含对应至该第一照明的资料的一第一颜色影像和包含对应至该第二照明的资料的一第二颜色影像；以及利用该控制器藉由介于该第一颜色影像及该第二颜色影像间的计算以形成一导出影像，从而取得该物品的影像资料。
2.如权利要求1所述的方法，其中该第一方向与该第二方向是成彼此反向的180度。
3.如权利要求1所述的方法，其中该拜尔滤光镜的该第一颜色是大约550奈米。
4.如权利要求1所述的方法，其中该拜尔滤光镜的该第二颜色是大约635奈米。
5.如权利要求1所述的方法，其中介于该第一颜色影像及该第二颜色影像间的该计算 是减法。
6.如权利要求1所述的方法，其中该第一照明及该第二照明是以闪光灯的方式打出。
7.一种使用加装拜尔滤光镜的影像感测器以撷取物品影像资料的改良系统，包含加 装拜尔滤光镜的一影像感测器以及运作时连接至该影像感测器的一控制器，该改良系统包 含一第一照明源，其作用成利用在光谱上匹配该拜尔滤光镜一第一颜色的光自一第一方 向照明该物品；一第二照明源，其作用成利用在光谱上匹配该拜尔滤光镜一第二颜色的光自一第二方 向照明该物品；该控制器作用成自加装拜尔滤光镜的该影像感测器撷取该影像资料，并将该影像资料 分离成对应至该第一照明源所照明的影像资料的一第一颜色影像和对应至该第二照明源 所照明的影像资料的一第二颜色影像；以及该控制器更作用成藉由计算自该第一颜色影像及该第二颜色影像形成一导出影像，从 而取得该物品的影像资料。
8.如权利要求7所述的系统，其中该第一方向与该第二方向是成彼此反向的180度。
9.如权利要求7所述的系统，其中该拜尔滤光镜的该第一颜色是大约550奈米。
10.如权利要求7所述的系统，其中该拜尔滤光镜的该第二颜色是大约635奈米。
11.如权利要求7所述的系统，其中介于该第一颜色影像及该第二颜色影像间的该计 算是减法。
12.如权利要求7所述的系统，其中该第一照明及该第二照明是以闪光灯的方式打出。
全文摘要
一种用于检视物品的方法及装置，其自二或多个方向以光源(52、56)照明一物品(50)，该光源匹配于加装至影像感测器(10)的拜尔滤光镜(12)的光谱响应。影像资料依据颜色分离以形成导出影像，从而进行处理以侦测瑕疵。
文档编号G01C11/02GK101981411SQ200980111018
公开日2011年2月23日 申请日期2009年3月25日 优先权日2008年3月31日
发明者史班瑟·B.·巴瑞特 申请人:伊雷克托科学工业股份有限公司