专利名称：表面状态检查方法、表面状态检查装置和基板检查装置的制作方法
技术领域：
本发明涉及以表面的镜面性高、且在其表面上包含倾斜面的物体作为检查对象，利用对该检查对象物摄像而获得的图像，检查表面状态的良否的方法以及装置。此外，本发明涉及以设定了多个焊接部位的基板作为检查对象，检查该基板上的各焊接部位的焊料的表面状态的装置。
背景技术：
申请人以前开发了一种装置，利用焊接部位的镜面反射性，通过图像处理的方法来自动检查基板上的焊接部位(参照专利文献1)。
特公平6-1173号公报图16表示上述专利文献1中公开的基板检查装置的结构和检查的原理。该检查装置是通过具有红、绿、蓝的各色彩光的3个光源8、9、10和摄像装置3来生成检查对象的图像。图中，1为基板，2为检查对象的焊料，各光源8、9、10被配备在相对于基板1和焊料2各自不同的仰角方向。另一方面，摄像装置3被配备成从正上位置对所述焊料2摄像。
根据上述结构，来自各光源8、9、10的色彩光分别从不同的方向照射焊料2的表面。此外，对于焊料的倾斜面，以与该倾斜正交的方向为轴，照射来自与摄像装置3的方向对称的方向的光，则该光的镜面反射光被导入摄像装置3。即，从焊料表面入射到摄像装置3的镜面反射光的色彩根据该焊料表面的倾斜而不同。
在图16所示光学系统中，配置各光源8、9、10，使从焊料2来看，红色光源8的仰角最大，蓝色光源10的仰角最小，绿色光源9位于这些光源8、10之间。因此，如果所述焊料2是球形状的焊料，则如图17所示，以中央部的平坦面作为红色的图像区域，以基板面附近的陡倾斜面作为蓝色的图像区域，而以位于它们的中间的比较缓的倾斜面(缓倾斜面)作为绿色的图像区域，从而生成相互分割的图像。
另外，在检查焊料的圆角的情况下，如图18所示，分割各色彩的图像区域，以使上方的陡倾斜面为蓝，中间的缓倾斜面为绿，靠近基板面附近的平坦的面为红。再有，图18中的S1为焊接区(land)的形成范围。
这样，焊料的图像中，根据其表面的倾斜的变化来生成将红、绿、蓝各色彩区域区分的图像。由此，通过预先将良好形状的焊料的图像的各色彩的图形登记，并将检查对象的图像上的各色彩的图形与所述登记图形进行比较，可判别焊料的表面状态的良否。
在以往的检查装置中，根据上述原理，预先对构成数字彩色图像的R、G、B各色调数据的每一个设定规定的二值化阈值，将由所述摄像装置3获得的图像通过这些二值化阈值进行二值化，以提取红、绿、蓝的各色彩区域。另外，关于这些色彩区域，通过预先将良好形状的焊料的图像中提取的区域的位置、形状、大小等进行登记，将检查对象的图像的色彩区域的提取结果和登记的数据进行比较，判别焊料的表面状态的良否。
但是，在图16所示的光学系统中，如果由于温度或使用时间而照明光的亮度或色相变动，则可认为图像上的亮度或色相也变动。这样的图像亮度或色相的变动，可能会影响到色彩区域的提取结果。特别是，在焊料的检查中，即使表面状态良好，但如果由于色相的变化而使所述R、G、B各色彩区域的特征量变动，则不能满足良品的基准值，有可能判定为不良。
因此，为了维持检查的精度，希望频繁地变更二值化阈值。然而，在这类检查装置中，要求不断地接受基板的供给并重复进行检查，所以，如果因为二值化阈值的更新而中断检查，则恐怕招致处理效率的下降。另外，难以正确地判断更新二值化阈值的定时。
另一方面，作为替代上述二值化处理的处理，有执行将安装状态良好的基板的图像作为模型图像的图形匹配处理的方法。该方法具有以下优点由于在检查对象的图像和模型图像之间执行正规化相关运算，所以，即使照明变动，可不变更用于判别的阈值而进行应对。但是，由于检查对象的焊料的形状稍稍变化则相关值下降，所以有判别处理的正确率差的问题。
另外，近年来，由于基板有元件微小化、并安装很多元件的倾向，所以有必要根据周边的安装密度来调整各元件的焊接区的面积。因此，即使是同一种元件，在周围安装的元件比较少的情况下和在周围安装很多元件的情况下，焊接区的大小会不同。由此，焊料圆角的倾斜也会由于元件的安装位置而不同，所以圆角的图像的各色彩区域的大小和形状等也会不同。
例如，在周围安装的元件比较少的情况下，为了焊接的牢固而形成大的焊接区，所以圆角的倾斜变的比较平缓，适度地显现红、绿、蓝的各色彩区域。另一方面，安装在安装密度高的区域的元件，焊接区面积必须小，所以圆角的倾斜变陡，在图像上蓝色区域获得优势，绿色区域和红色区域难以显现。这样，即使是同一种元件，由于在图像上呈现的色彩区域的分布状态不同，所以如果不按每个元件设定对于各色彩区域的判定基准值，则难以确保检查精度。
发明内容
本发明着眼于上述问题，其第一目的在于，在检查倾斜面的状态时，即使图像的亮度或色相变动，也可执行信赖度高的检查。
而且，本发明的第二目的在于，对于倾斜有时陡有时缓、难以呈现对应所有光源的色彩区域的检查对象物，也可执行高精度的检查。
本发明的表面状态检查方法，相对于表面具有倾斜面的检查对象物，将发出相互不同的色彩光的多个光源配置排列成从所述检查对象物的配置位置来看仰角不同并进行照明，利用由设置在所述配置位置的上方的摄像部件获得的图像，检查所述检查对象物的表面状态。本发明执行以下步骤，第一步骤，设定包含所述图像中的检查对象物的检查区域，在该检查区域中，提取与各光源的配置排列对应的色相产生变化的方向；第二步骤，将第一步骤提取的方向与预先设定的基准方向进行比较；以及第三步骤，基于第二步骤的比较结果，判别所述检查对象物的表面状态的良否。
将发出相互不同的色彩光的多个光源配置排列成从检查对象物来看仰角不同并进行照明，则在由摄像部件获得的图像中的倾斜面对应的部分，呈现与该倾斜的大小对应的色彩。另外，像上述图17、18例示的平坦面、缓倾斜面、陡倾斜面那样，倾斜面的倾斜的大小缓慢变化的情况下，在该变化的方向上，可认为各光源对应的色彩按照从检查对象物来看的光源的配置的顺序(仰角大小的顺序)排列并呈现。
在本发明中，“与各光源的配置排列对应的色相的变化”可指，各光源发出的色彩(发光色)，沿从检查对象物来看的各光源的配置排列的顺序(意味着仰角从小到大的顺序或其相反的顺序。以下也一样)排列时，沿其排列方向呈现的色相的变化。例如，根据所述图16的光学系统，可捕捉按红、绿、蓝的顺序或蓝、绿、红的顺序排列各色彩时的色相(色合)的变化。
如上所述，在与倾斜面对应的部分的图像中，沿其倾斜大小变化的方向，与各光源对应的色彩，按从所述检查对象物来看的各光源的配置排列的顺序排列并呈现。即，在该排列方向上，呈现“与各光源的配置排列对应的色相的变化”。因此，可认为与各光源的配置排列对应的色相产生变化的方向，表示倾斜面的倾斜大小变化的方向(从倾斜缓的部分向着陡的部分的方向，或从倾斜陡的部分向着缓的部分的方向)。
即使图像上的亮度或色相变动，可认为对应于各光源的配置排列，色相产生变化的方向不变化。因此，通过预先使用模型对象物的图像等，设定与各光源的配置排列对应的色相产生变化的基准的方向，将从检查对象图像中提取的方向与基准方向比较，可判别倾斜面的倾斜变化的方向是否适当。
另外，在虽为相同种类的检查对象物而倾斜却参差不齐的情况下，也可认为倾斜的方向不变化。因此，如果对这些检查对象物的一个设定所述基准方向，则可将该设定数据用于其他的检查对象物，可效率良好地进行检查信息的教示。
上述表面状态检查方法的优选方式中，所述多个光源被配置排列成相对于所述检查对象物、各自的发光色沿色相环上的色相变化的方向排列。例如，在使用分别发出红色光、绿色光、蓝色光的3个光源作为所述光源的情况下，配置各光源，以使所述仰角按红、绿、蓝或蓝、绿；红的顺序变大。另外，在第一步骤中，对于所述检查区域内的各像素，取得其值沿色相环变化的一维色相数据，提取该色相数据向大的值变化的方向或向小的值变化的方向。
上述方式中，由于多个光源沿色相环上的色相变化的方向的顺序被配置排列，所以，图像上与各光源的配置排列对应的色相的变化也对应于色相环的变化。另外，通过使用其值沿色相环变化的一维色相数据，可将与所述各光源的配置对应的色相产生变化的方向表示为色相数据向大的值变化的方向或向小的值变化的方向。因此，根据该方式，可将所述色相产生变化的方向作为基于色相的变化量的向量简单地提取。
在表面状态检查方法的其他优选方式中，在所述第一步骤中，对于所述检查区域内的各像素，取得反映了与所述多个光源的其中任何一个对应的色分量的强度程度的一维色相数据，提取该色相数据向大的值变化的方向或向小的值变化的方向。
例如，在使用图16所示的光学系统的情况下，在注目于与蓝色光源对应的蓝色分量、即色调数据B时，可认为倾斜越陡该色调数据B越大，倾斜越缓该色调数据B越小。因此，对于该色调数据B，求对其他色分量(色调数据R、G)的比率(例如B/R或B/(R+G))或对亮度的比率(B/(R+G+B))，可将此作为色相数据。该情况下，也可将与各光源的配置对应的色相产生变化的方向，表示为色相数据向大的值变化的方向或向小的值变化的方向，所以，可将所述色相产生变化的方向作为基于色相的变化量的向量简单地提取。
如上述两个方式那样，在取得一维色相数据以提取其变化的情况下，在第一步骤中，执行以下步骤，按顺序注目于所述检查区域内的多个像素，对通过注目像素的多个方向的每个方向提取色相数据的变化量的步骤；将对注目的各像素提取的色相数据的变化量，按每个方向进行平均，从而设定多个向量的步骤；以及设定这些向量的合成向量的步骤。根据该方式，在检查区域的每个方向，求出多个方向的每个中分别以该方向的色相平均的变化量作为“长度”的向量后，通过合成这些向量，可提取沿所述色相环的色相变化，即与各光源的配置排列对应的色相产生变化的方向。
再有，上述方式提取的合成向量，最好依照检查目的使其具有大于等于规定阈值的长度。在只能提取比阈值短的合成向量的情况下，最好视为检查区域中不存在良好的倾斜面。
然后，本发明的表面状态检查装置，具备照明部件，将发出相互不同的色彩光的多个光源配置排列成从检查对象物的配置位置来看仰角不同；摄像部件，配备在所述检查对象物的配置位置的上方；图像输入部件，取入在使所述照明部件的各光源点亮的状态下由所述摄像部件生成的图像；提取部件，设定包含所述图像输入部件输入的图像中的检查对象物的检查区域，在该检查区域中，提取与各光源的配置排列对应的色相变化而产生的方向；登记部件，对在所述检查对象物的表面状态为良好时由所述提取部件提取的基准方向进行登记；判别部件，将由所述提取部件提取的变化方向与由所述登记部件登记的基准方向进行比较，判别所述检查对象物的表面状态的良否；以及输出部件，将所述判别部件的判别结果输出。
在上述装置中，照明部件例如可按每种色彩将具有不同直径的环状的光源中心一致进行配置排列。另外，可将发出同色光的多个发光体(LED等)配置排列成环状作为一个光源来使用。另外，光源不限于环状，也可使用线状的光源。
摄像部件可以由可生成每种色彩的图像信号的CCD照相机构成。在将环状的光源用于照明部件的情况下，最好是，该摄像部件在使光轴与各光源的中心轴一致的状态下，向着铅直方向配备。
图像输入部件、提取部件、登记部件、判别部件、输出部件可配备在同一壳体内。其中，提取部件、登记部件、判别部件可由组装了用于执行这些部件的处理的程序的计算机构成。这些计算机可按每个部件来设置，也可由一个计算机构成各部件。
图像输入部件可包含用于放大处理来自所述摄像部件的图像信号的放大电路、用于将该图像信号数字变换的A/D变换电路等。但是，在所述摄像部件采用数字照相机的情况下，图像输入部件可构成为用于取入数字的彩色图像数据的输入端口。
提取部件是用于执行所述第一步骤的部件，判别部件是用于执行第二以及第三步骤的部件。登记部件，在将用所述照明部件和摄像部件生成的检查对象物的良品模型的图像输入时，可构成为将从该图像提取的基准方向登记在计算机的存储器中。例如，在进行在良品模型的图像上设定检查区域的操作时，将该区域的图像数据由所述提取部件处理、将提取的方向作为基准方向保存在存储器中的部件可作为登记部件。另外，也可以将以下部件作为登记部件接受将良品模型的图像上与各光源对应的色彩指定为按与光源的配置对应的顺序排列的方向的操作，将该方向作为基准方向保存在存储器中。
输出部件可构成为将所述判别部件的判别结果显示在显示装置上的显示用接口、或将判别结果输出到外部装置的输出用接口。另外，输出部件还可构成为将判别结果记录在软盘、CD-R、光磁盘等的记录介质上的部件。
优选方式的表面状态检查装置中，所述照明部件的各光源被配置排列成相对于所述检查对象物、各自的发光色沿色相环上的色相变化方向排列；所述提取部件，对于所述检查区域内的各像素，取得其值沿色相环变化的一维色相数据，提取该色相数据向大的值变化的方向或向小的值变化的方向。
所述照明部件的优选结构中，分别发出红色光、绿色光、蓝色光的3个光源按红、绿、蓝或蓝、绿、红的顺序以所述仰角变大的顺序配置。
在其他优选方式的表面检查装置中，所述提取部件，对于所述检查区域内的各像素，取得反映了与所述多个光源的任何一个对应的色分量的强度程度的一维色相数据，提取该色相数据向大的值变化的方向或向小的值变化的方向。在该方式中，也最好是所述照明部件将分别发出红色光、绿色光、蓝色光的3个光源按红、绿、蓝或蓝、绿、红的顺序以所述仰角变大的顺序配置。在照明部件采用这样的结构的情况下，最好是选择红色光源对应的R的色调数据或蓝色光源对应的B的色调数据作为用于所述色相数据的色分量。该情况下，对于选择的色调数据，可求对其他的一色调数据的比率或对其他色调数据的和或者亮度的比率，作为所述色相数据。例如，如果选择的色调数据为B，则可求B/R或B/(R+G)、或B/(R+G+B)作为色相数据。
而且，所述提取部件可包括按顺序注目于所述检查区域内的多个像素，对通过注目像素的多个方向的每个方向提取色相数据的变化量的部件；将对注目的各像素提取的色相数据的变化量，按每个方向进行平均，从而设定多个向量的部件；以及设定这些向量的合成向量的部件。
然后，本发明可适用于检查焊接了多个元件的基板的基板检查装置。该基板检查装置除具备与所述表面检查装置同样的照明部件、摄像部件、图像输入部件之外，还具备提取部件，在所述图像输入部件输入的图像中的焊接部位分别设定检查区域，在这些检查区域的每一个中，提取与各光源的配置排列对应的色相变化而产生的方向；登记部件，对在所述检查区域内的焊料的表面状态为良好时由所述提取部件提取的基准方向进行登记；判别部件，对每个检查区域执行将由所述提取部件提取的变化方向与由所述登记部件登记的基准方向进行比较的处理，判别各焊接部位的良否；以及输出部件，将所述判别部件的判别结果输出。
上述的基板检查装置的提取部件、登记部件、判别部件、输出部件也可基本上与所述表面检查装置为同样的结构。另外，对上述的基板检查装置，也可设定与所述表面状态检查装置同样的方式。
在更优选的基板检查装置中，在所述检查对象的基板上安装了多个同一种类的元件时，所述登记部件具有将对这些元件的其中之一的焊接部位登记的基准方向也用于同一种类的其他元件的功能。根据该功能，即使在基板上安装了多个同一种类的元件，也不需要对这些元件的每一个进行登记处理，可提高检查信息的教示的效率。
再有，关于登记对象的基准方向，与关于所述表面检查装置的说明同样，可以设定为接受用户的指定操作，也可以由所述提取部件处理良品基板的图像并提取基准方向。另外，在将基准方向转用到同一种类的其他元件时，在该元件的安装方向与先前登记的元件不同的情况下，需要用该安装方向的角度差来校正基准方向的处理。
根据本发明的基板检查装置，通过判别焊接部位的倾斜面的倾斜的变化的方向是否为正确的方向，可高精度地判别焊料的倾斜状态是否适当。另外，根据与各光源的配置排列对应的色相的变化的大小或色相变化的提取位置，还可判别焊料的倾斜面是否形成或焊料的形成位置是否适当。而且，在同一基板上安装多个同一元件的情况下，即使由于安装位置的元件的密度而焊料的倾斜不同，由于基准的方向不变化，所以可进行简单且高精度的检查。
本发明中，通过提取在检查对象的图像上与各光源的配置排列对应的色相产生变化的方向，求出倾斜面的倾斜变化的方向，将该方向与登记的基准方向比较，所以，即使图像上的亮度或色相变动，也可进行稳定的检查。另外，由于即使图像上的亮度或色相变动也不需要变更登记的基准方向，所以可提高像基板检查那样的需不断地处理多个检查对象物的情况下的便利性。另外，即使对于倾斜有时陡有时缓、难以呈现对应所有光源的色彩区域的检查对象物，通过提取倾斜面的倾斜变化的方向，也可执行精度高的检查。
图1是表示本发明的基板检查装置的结构的方框图。
图2是表示投光部的其他结构例的图。
图3是表示窗口的设定例的图。
图4是表示用于圆角检查的检查区域的设定例的图。
图5A和图5B是将图像上的圆角的色彩的分布状态与其侧面形状对应表示的图。
图6是表示色相变化向量的提取处理的工序的流程图。
图7是表示检查区域的色相数据的计算例的图。
图8是表示扫描检查区域的罩的结构的图。
图9是表示通过罩的扫描从检查区域提取的数据的内容的图。
图10是将第一行的扫描中获得的提取数据与色相的变化量的配置排列数据形成对应的图。
图11是将第二行的扫描中获得的提取数据与色相的变化量的配置排列数据形成对应的图。
图12是将第三行的扫描中获得的提取数据与色相的变化量的配置排列数据形成对应的图。
图13是表示在各扫描位置获得的色相的变化量的配置排列数据和平均值的计算结果的图。
图14是表示教示色相变化向量的基准方向的方法的一例的图。
图15是表示检查工序的流程图。
图16是表示现有的基板检查装置的光学系统的结构的图。
图17是表示图16的光学系统的焊料识别处理的原理的图。
图18是表示图16的光学系统的焊料识别处理的原理的图。
具体实施例方式
图1表示本发明的一实施例的基板检查装置的结构。
该基板检查装置，是对摄像检查对象的基板获得的图像进行处理，判别所述基板上的焊接部位或元件的安装状态是否适当的装置，由摄像部3、投光部4、控制处理部5、X轴台部6、Y轴台部7等构成。
图中的1T是检查对象的基板(以下称为“被检查基板1T”)。另外，1S是焊接状态和元件安装状态良好的基准基板，用于检查前的教示。
所述Y轴台部7具有支持基板1S、1T的传送带7A，通过未图示的电机使该传送带7A运动，从而使所述基板1S、1T沿Y轴方向(与图的纸面正交的方向)移动。所述X轴台部6在Y轴台部7的上方，支持摄像部3以及投光部4，使它们沿X轴方向(图的左右方向)移动。
所述投光部4由具有不同直径的3个圆环状光源8、9、10构成。这些光源8、9、10分别发出红色、绿色、蓝色的各色彩光，所以，通过在观测位置的正上方位置使中心一致，配备成位于从所述基板1S、1T来看对应于不同仰角的方向。
所述摄像部3为用于生成彩色图像的CCD照相机，其光轴与各光源8、9、10的中心对应，并定位于沿铅直方向。由此，来自观测对象——基板1S、1T的反射光入射到摄像部3，变换成三原色的彩色信号R、G、B而输入到控制处理部5。
控制处理部5将包含CPU的计算机作为控制部11，包括图像输入部12、存储器13、摄像控制器14、图像处理部15、照明控制部16、XY台控制器17、检查部18、教示表19、库数据存储部20、数据管理部21、输入部22、CRT显示部23、打印机24、发送接收部25、外部存储器装置26等。
图像输入部12包括将来自摄像部3的三原色的各图像信号放大的放大电路、用于将这些图像信号变换成数字信号的A/D变换电路等。存储器13中除了每个色彩的数字浓淡图像数据(以下称为“色调数据R、G、B”)之外，还存储处理这些色调数据R、G、B获得的二值图像数据和色相数据等。
摄像控制器14具有将摄像部3连接到控制部11的接口等，基于来自控制部11的命令进行驱动所述摄像部3、调整各色彩光的输出电平等的控制。照明控制部16用于调整投光部4的各光源的光量。再有，本实施例中，通过混合红、绿、蓝各色彩光，调整各光源8、9、10的光量，以实施白色照明。
XY台控制器17包括将所述X轴台部6和Y轴台部7连接到控制部11的接口等，基于来自控制部11的指令，控制X轴台部6和Y轴台部7的移动动作。
教示表19是用于存储基板的检查信息的存储部。该检查信息中，除了后述的检查用窗口的设定条件之外，关于元件、焊接区、焊料等的检查对象，还包括用于提取各自其对象物的色彩的二值化阈值(除了R、G、B每个的二值化阈值之外，还包括对于亮度的二值化阈值)、以及用于判定通过这些二值化阈值提取的图形的特征量的良否的判定基准值(按每个种类设定位置、大小等特征量)。而且，本实施例中，作为焊料圆角用的检查信息，将后述的色相变化向量的基准数据进行登记。
库数据存储部20是用于登记每个元件种类的基准的检查信息(以下称为“库数据”)的存储部。该实施例中，后述的检查用窗口的设定数据、各检查用窗口中执行的检查程序的种类等被登记作为库数据。
登记在所述教示表19中的各种检查信息，在检查前用摄像所述基准基板1S获得的图像和所述库数据进行教示，对基板的每个种类，作为判定文件归纳。所述数据管理部21是将基板种类和判定文件形成对应的链接信息存储的存储器。控制部11在接受被检查基板1T的基板名的输入后，基于数据管理部21的链接信息，将与被检查基板1T对应的判定文件读出并设置在存储器13中。图像处理部15和检查部18基于该读出的判定文件内的检查信息执行处理。
图像处理部15对检查时存储在存储器13中的各色调数据R、G、B进行处理，提取用于判别良否的各种参数。检查部18将提取的各参数与相应的检查信息比较，由此，对每个安装元件判别元件缺损和位置偏移、焊接部位的良否等。控制部11，综合这些判别结果，判定被检查基板1T是否为良品。该最终的判定结果被输出到CRT显示部23或打印机24、或发送接收部25。
所述输入部22是用于将用于检查的各种条件和检查信息的输入等进行输入的部件，由键盘和鼠标等构成。CRT显示部23(以下仅称为“显示部23”)，接受来自控制部11的图像数据、检查结果等的供给，将它们显示在显示画面上。另外，打印机24接受来自控制部11的检查结果等，将它们以预定的形式打印输出。
发送接收部25是用于与其他装置之间进行数据的交换的部件，例如，对于被判定为不良的被检查基板1T，通过将其识别信息或不良的内容发送到后级的修正装置，可快速地修正不良部位。外部存储器装置26是用于在软盘、CD-R、光磁盘等的记录介质上读写数据的装置，用于保存检查结果、从外部取入检查所必须的程序或设定数据。
在上述结构中，图像处理部15和检查部18由组装了用于执行上述各处理的程序的专用处理器构成。但是，并不是一定要设置专用的处理器，也可以将图像处理部15和检查部18的功能赋予控制部11。
另外，在本实施例中，由3个圆环状光源8、9、10构成投光部4，但也可以取代该投光部4，而使用图2那样结构的投光部4A。
该投光部4A，通过用2片间隔部45、46来区分在中心部具有筒状的开口部42的壳体41的内部，形成径向排列的3个收容空间43R、43G、43B。在最内侧的收容空间43R中配置排列多列的红色LED44R、在中央的收容空间43G中配置排列多列的绿色LED44G、在最外侧的收容空间43B中配置排列多列的蓝色LED44B。壳体41的下面，由圆顶型的扩散板47构成，摄像部3在所述开口部42的上方使光轴与铅直方向一致配置。
各收容空间43R、43G、43B中产生的红色光、绿色光、蓝色光，透过扩散板47之后照射到基板1T(1S)上。由此，与所述图1的投光部4同样，对基板1T(1S)，可从不同的仰角方向照射各色彩光。
以下，说明上述基板检查装置执行的检查的细节。以下将检查对象限定为在基板上搭载频度高的贴片元件进行说明，但不用说，对于贴片元件以外的元件也可用同样的方法进行检查。
图3表示对贴片元件检查用窗口的设定例。图中，W11、W12是用于焊料检查的窗口，设定成包括基板上的焊接区。以下，称该窗口W11、W12为“焊接区窗口W11、W12”。另外，W2是用于检查元件缺损或位置偏移等的窗口，以下，将其称为“元件窗口W2”。
而且，设定包括所述焊接区窗口W11、W12和元件窗口W2的第三检查用窗口W3。该窗口W3是决定焊接区窗口W11、W12和元件窗口W2的位置时的基准，以下，将其称为“基准窗口W3”。
表示各检查用窗口W11、W12、W2、W3的设定条件的信息(窗口的大小及设定位置等)，通过将基板的设计数据(CAD数据)和所述库数据链接的控制部11的处理，自动地生成。CAD数据中包含各元件的安装位置和安装的元件的识别信息(元件种类名及型号等)，库数据也采取将元件名等的识别信息和各种检查信息形成对应的结构。控制部11，在CAD数据表示的各元件的安装位置，分别根据所述识别信息来使用安装的元件的库数据，决定各检查用窗口W11、W12、W2、W3的具体的大小和设定位置。在此决定的各检查用窗口W11、W12、W2、W3的大小和设定位置作为所述设定条件登记在教示表19。
检查时，基于所述登记的设定条件，设定各检查用窗口W11、W12、W2、W3之后，用基准窗口W3提取焊接区。然后，基于该提取结果，微调所述焊接区窗口W11、W12和元件窗口W2的设定位置。
再有，焊接区的提取，可在执行了提取焊接区的色彩的二值化处理之后，通过将该二值图像投影到x、y的各轴方向的处理来进行。另外，也可以将基准窗口W3内的图像变换成单色图像并提取边缘，从该提取结果中提取与焊接区对应的边缘。
在设定各检查用窗口W11、W12、W2后，对这些窗口的每一个执行基于分别登记的检查信息的检查。再有，关于所述元件窗口W2，与以往同样，用所述二值化阈值提取元件的色彩图形，执行使用该图形的面积和重心等的特征量的检查。因此，下面，对在焊接区窗口W11、W12中执行的圆角检查展开详细的说明。
检查圆角时，如图4所示，在各焊接区窗口W11、W12内的图像中，以从元件电极52a的端缘至焊接区窗口W11、W12的外侧端缘的范围(图中具有网点的范围)为处理对象。以下将该网点范围对应的区域31、32称为“检查区域31、32”。再有，该图4与下面的图5一起，将贴片元件的元件本体的图像作为51a，将电极的图像作为52a。
关于贴片元件的焊料圆角，图5对应表示图像上呈现的色彩的分布状态(上段)和从侧面看的实际的形状的状态(下段)。再有，在该图5中，51为元件本体，52为元件电极，53为圆角，它们的图像表示为51a、52a、53a。
图5(A)是圆角53的形状良好时的例子。此时的圆角53，由于靠近元件51的部分为陡斜面，靠近基板1的部分为平坦面，两者的中间部为缓倾斜面，所以图像上的色彩沿从圆角53a的下端向着上端的方向PA按红、绿、蓝的顺序变化。另一方面，图5(B)为不良时的例子，由于粘性不好或焊料过多，未形成圆角53，焊料成为山状隆起的不良部位54，这样的不良部位54，靠近元件51的部分为平坦面，靠近基板1的部分为陡斜面，两者的中间部为缓倾斜面。因此，不良部位的图像54a的色彩与良品时为相反的方向，即沿从上端向着下端的方向PB按红、绿、蓝的顺序变化。
这样，根据焊料的倾斜状态，图像上焊接部位的红、绿、蓝的色彩的分布状态不同。但是，在任何一种情况下，倾斜面的倾斜都是从小的方向向着大的方向按红、绿、蓝的顺序色彩变化。该变化与沿色相环的变化同样。
因此，对所述检查区域31、32内的各像素，分别求红色越强其值越小、蓝色越强其值越大来变化的一维色相数据，计算各方向的色相数据的变化量，如所述图5的方向PA、PB那样，按红、绿、蓝的顺序色彩变化的方向上该变化量具有规定值以上的大小。相对于此，在不呈现上述那样的色彩变化的方向，色相的变化量比所述规定值小。另外，在按蓝、绿、红的顺序色彩变化的方向，可认为所述色相的变化量变成负值。
这里，本实施例中，将表示呈现从红色的一例向蓝色的一侧的色相的变化的方向的向量定义为色相变化向量，用所述一维色相数据来提取色相变化向量，用该向量的大小及方向来判别圆角的良否。
所述图像处理部15，为了提取所述色相变化向量，对检查区域31、32内的各像素，分别将由R、G、B的各色调数据构成的三维图像数据变换成一维色相数据H。在该变换处理中，将R、G、B的值相互比较，根据它们中的最大值Vmax是R、G、B的哪一个，来选择下述(1)、(2)、(3)式的之一执行运算。再有，(1)～(3)式中的rr、bb、gg分别通过(4)、(5)、(6)式求出。另外，(4)～(6)中，Vmin是R、G、B中的最小值。
R＝Vmax时 H＝(bb-gg)*π/3 ...(1)G＝Vmax时 H＝2+(rr-bb)*π/3 ...(2)B＝Vmax时 H＝4+(gg-rr)*π/3 ...(3)rr＝(Vmax-R)/(Vmax-Vmin) ...(4)gg＝(Vmax-G)/(Vmax-Vmin) ...(5)bb＝(Vmax-B)/(Vmax-Vmin) ...(6)如果以256级(8位)表示R、G、B，则上述运算的色相数据H的值理论上在0～(4+π/3)的范围变化(在R＝255、G＝B＝0时H为最小值0，在R＝G＝0、B＝255时H为最大值4+π/3)。
而且，本实施例中，用下面的(7)式来校正H的值，以使该数值变化的范围为0～10。
H1＝H*10/(4+π/3) ...(7)上述的色相数据H、H1，红色越强其值越小，蓝色越强其值越大。因此，在检查区域31、32中，在所述色相数据H1中呈现超过规定阈值的变化的情况下，可将该变化的方向设定为色相变化向量的方向。
在该实施例中，基于上述的原理，按图6所示的工序来提取色相变化向量。以下，参照图7～图13示出的具体例，详细说明该图6的处理的内容。再有，图6中，以ST101～ST107的标号示出各步骤。在以下的说明中，也这样将“步骤”简称为“ST”。另外，在图7～图13中，以从左向右的方向作为x轴的正方向，以从下向上的方向作为y轴的正方向，元件的横向方向沿x轴的方向。
图7表示对所述贴片元件51的右侧的焊接区窗口W11内设定的检查区域31中的所述色相数据H1的计算例。为了使说明简单，在该例中，设检查区域31的大小在x轴方向为5像素，在y轴方向为7像素。
在图6的色相变化向量的提取处理中，首先在开始的ST101中，将图8示出的3像素×3像素的罩M初始设定在所述检查区域的左上端。以下，将该罩M内的9个像素g基于行和列的关系表示为坐标(i，j)(i，j＝1，2，3)。另外，对于各像素g，也用各自的坐标记为像素gij。
在其后的ST102中，对于罩M内的各像素gij，分别计算其与中央的像素g22之间的色相数据之差(gij-g22)。它们之中，除了像素g22之间的运算结果以外的值，表示从所述像素g22来看的周围8方向的色相的变化量。将按每个像素gij获得的计算值，分别与罩M中的该像素的坐标(i，j)形成对应并保存在存储器13中。
以下，直至将罩M位置配合在检查区域31的右下，对罩M移动至每一个像素，在各位置执行计算所述色相变化量的处理(ST102～ST104)。
图9表示在所述图7示出的数据结构的检查区域31中扫描所述罩M的情况下，在各位置上通过所述罩M提取的色相数据的结构。以下，罩M作为沿y轴方向扫描的罩，将罩M配合在检查区域31的左侧端缘而进行的扫描称为“第一行的扫描”，将罩M向右偏移一个像素而进行的扫描称为“第二行的扫描”，将罩M向右再偏移一个像素而进行的扫描称为“第三行的扫描”。
图10表示在所述第一行的扫描中，在通过所述罩M提取的色相数据中执行所述ST102的处理的结果。图11表示关于第二行的扫描，图12表示关于第三行的扫描，与图10同样的处理结果。
这样，通过将罩M一个一个像素移动并在各位置执行ST102，可提取15组表示所述8方向的每一个的色相变化量的数据配置排列。在结束最终位置的处理时，ST103成为“是”而进至ST105，对所述色相变化量按每个方向执行求平均值的处理。
在ST105，具体地说，对所述15组数据配置排列中包含的数据按每个罩M中相对坐标相同的像素进行汇总并计算平均值Iij。例如，说到所述罩M的左上端的像素g11，求在各扫描位置求出的像素g11的变化量(第一行的-1，+1，+1，+2，+2，第二行的-1，+1，+2，+4，+5，第三行的+1，+2，+1，+3，+4)的平均值I11，从而可获得+1.8的值。对于其他的像素g12～g33也同样，可求出平均值I12～I33。
图13表示通过所述ST105的处理从所述15组数据配置排列中求出的平均值Iij的计算结果。根据该结果，中央像素g22的左侧的像素g11、g21、g31的平均值I11、I21、I31为正，同时像素g22右侧的像素g13、g23、g33的平均值为负。由此，可推测色相变化向量为向着x轴的负方向。
在图6的处理中，为了确定色相变化向量，进一步执行以下的处理。首先，在ST106中，用所述ST105中计算出的各平均值Iij，计算x轴方向和y轴方向的色相变化量Cx、Cy。通过应用浓淡图像的边缘提取处理所使用的索倍尔滤波的运算来进行该计算处理。具体地，使用下面的(8)、(9)式。
Cx＝(I13+2I23+I33)-(I11+2I21+I31) ...(8)Cy＝(I12+2I12+I13)-(I31+2I32+I33) ...(9)可认为上述的变化量Cx和Cy是在检查区域中将色相数据向着增加的方向以及其变化量沿x、y各轴分解示意。因此，在ST107中，将这些Cx、Cy所示向量合成得到的向量作为色相变化向量，该向量的长度和方向通过Cx、Cy来计算。
在ST107，执行计算所述Cx和Cy表示的两个向量的合成向量的长度以及方向的处理。在本实施例中，将合成向量的方向定义为与x轴的正方向所成的角度θ，根据Cx、Cy的值用下面的(A)～(E)式的任何一个来计算。另外，向量2的长度根据(F)式来求。
Cx＞0以及Cy≥0时，θ＝tan-1(Cy/Cx)...(A)Cx＞0以及Cy＜0时，θ＝tan-1(Cy/Cx)+360...(B)Cx＜0时，θ＝tan-1(Cy/Cx)+180...(C)
Cx＝0以及Cy＞0时，θ＝0...(D)Cx＝0以及Cy＜0时，θ＝180...(E)[式1]D=Cx2+Cy2···(F)]]>在所述图13示出的平均值的计算例的情况下，根据上述(8)、(9)式，Cx＝-17.11、Cy＝0.07。即，可认为从红色侧向蓝色侧的色相的变化，在x轴方向由向着负的方向(图的左侧)的向量表示，在y轴方向由向着正的方向(图的上侧)的向量表示。
而且，在用上述Cx以及Cy的值来执行ST107的情况下，关于合成向量的角度θ的计算，由于适用(C)式，所以θ＝179.77°。另外，关于向量的长度D，根据(F)式，D＝17.11。
根据该计算结果，则如同所述的推论那样，色相变化向量向着x轴的负的方向。
所述图7示出的检查区域31，为设定于元件的右侧的焊接区窗口W11的区域，所以，期望的色相变化向量的方向为所述图5示出的方向PA、即x轴的负的方向。根据上述的运算结果，在例示的检查区域31提取的色相变化向量的方向与所述期望的方向PA一致，可认为所述检查区域31中存在良好状态的圆角。
在本实施例的圆角检查中，在焊接区窗口W11、W12内分别设定检查区域31、32，在这些检查区域31、32的每一个中执行上述色相变化向量的提取处理后，将提取的向量的方向与预先登记的基准方向比较。这里，在任何一个检查区域中提取的色相变化向量的大小比规定阈值小的情况下，看作该检查区域内从红向蓝的方向的色相变化未出现。换言之，在检查区域内不包含相当于圆角的倾斜面。
图14表示所述色相变化向量的基准方向的教示例。在该例中，作业者一边观察图像上按红、绿、蓝的顺序色彩变化的方向，一边进行从焊接区的端缘部向元件的中央部C移动游标的操作，由此，将该游标的移动方向(图中以箭头f、k表示)指定为基准方向。将指定的方向f、k分别变换成相对于x轴正方向的角度，登记在所述教示表19中。
图15表示所述基板检查装置的检查工序。在执行该工序前，相关人员进行用所述输入部22输入被检查基板1T的基板名等的作业，据此，读出于被检查基板1T对应的判定文件并设置在存储器13中，开始图15的工序。再有，该工序是对一个被检查基板1T进行，根据被检查基板1T的数量重复进行。再有，在图15中，处理的开始为ST1。
在ST1，将被检查基板1T搬入Y轴台部7，开始摄像部3的摄像。接着，控制部11基于所述判定文件内的定位数据，使摄像部3和投光部4在被检查基板1T上位置配合，生成所述基板1T的图像，对生成的图像上的各元件设定检查用窗口W11、W12、W2、W3。
在此后的ST3，对最初的检查对象元件进行在所述基准窗口W3内提取两侧的焊接区的处理，根据该提取结果来校正焊接区窗口W11、W12的位置。在此后的ST4，对该元件，验证是否执行圆角的检查。如果该判定为“是”，则按顺序执行以下的ST5～ST9。
再有，该ST5～ST9是对两个焊接区窗口W11、W12的每一个分别进行，以下，为简化说明，仅以焊接区窗口W11为处理对象进行说明。另外，该说明中，也设元件的横向方向沿x轴方向。
首先，在ST5，在所述焊接区窗口W11，执行提取所述元件的电极和圆角的边界位置的处理。为了该处理，在所述判定文件中预先登记用于提取电极图像色彩(一般为红色强的色彩)的二值化阈值(对R、G、B分别设定)、和与所述电极的纵向的长度相当的像素数(这些数据也可从所述库数据转用)。在ST5中，在根据所述二值化阈值将焊接区窗口W11内的图像二值化后，将从焊接区窗口W11的内侧(元件侧)向着外侧的方向设为搜索方向，按顺序注目于与该搜索方向正交的线，提取所述电极的色彩与所述纵向的长度相当的像素数目的线。这里，将电极色彩呈现的线从提取的状态移到未提取的状态时的搜索位置的x坐标认定为所述电极和圆角的边界位置。
这样，提取电极和圆角的边界位置后，在下面的ST6中，在从该提取的边界位置至焊接区窗口W11的外侧端缘的范围设定检查区域31。在随后的ST7中，对于设定的检查区域31内的各像素，分别用所述(1)～(7)式来求色相数据H1。在ST8中，用每个像素的色相数据H1，执行提取检查区域31的色相变化向量的处理。在该ST8中，执行所述图6示出的一连串的处理，计算表示色相变化向量的方向的角度θ以及长度D。
在此后的ST9中，用该提取的色相变化向量，判别是否形成了圆角和该圆角倾斜面的良否。
该判别处理中，首先将色相变化向量的长度D与规定的阈值(在所述(F)式的情况下，可设为10左右)比较。在该比较中，如果所述长度D大于或等于阈值，则将所述角度θ与预先登记的基准角度比较。然后，如果相对于基准角度的所述角度θ的差在规定阈值(例如10°)以内，则判断为圆角良好地形成。另一方面，如果所述角度差超过所述阈值，则判断为圆角的倾斜状态不适当。另外，在所述向量的长度D低于阈值的情况下，判断为检查区域31中不包含与圆角相当的倾斜面。
在如此结束圆角的检查后，进至ST10，执行其他检查(元件的有无，位置偏移等)。关于该检查，与以往相同，所以省略细节。
以下，同样地，对图像上的各元件按顺序执行检查。对各元件的判别结果，临时存储在存储器13中。另外，在结束一个画面部分的检查后，使所述X轴台部6或Y轴台部7移动，变更摄像部3的视野，再次进行摄影，对获得的图像上的元件，执行同样的检查。
在对所有的元件的检查结束后，ST11变成“是”，进至ST12，基于所述存储器13中保存的判别结果，判别是否有被判别为不良的部位。如果在此判别有不良部位，则进至ST13，判定被检查基板1T为不良。另一方面，在得到任何元件均为良的判定的情况下，进至ST14，判定所述被检查基板1T为良品。此后，进至ST15，输出所述判定结果并结束处理。
再有，在上述实施例中，在教示时，根据作业者的操作来登记色相变化向量的基准方向，但不限于此，也可以通过与检查时同样的处理来提取焊接区窗口W11、W12内的色相变化向量，登记该提取结果。该情况下，可在检查时提取的色相变化向量与登记的色相变化向量之间比较方向和长度。
而且，还可以在教示时将色相变化向量的提取位置登记。该情况下，通过将检查时的色相变化向量的提取位置与登记的提取位置比较，可检测圆角的位置偏移。
而且，根据该色相变化向量，在基板上安装了多个相同元件的情况下，如果对其中一个元件登记色相变化向量的基准方向，则该登记数据可转用到其他元件。如上所述，即使是相同的元件，由于其周边的安装密度而圆角的倾斜角度有可能不同，但色相变化向量的方向不变动。因此，即使相同元件间的圆角倾斜角度参差不齐，也可使用共用的检查信息，可提高教示的效率。另外，对于因焊接区小而变陡、二值化处理中仅提取蓝色区域的圆角，色相变化向量也可提取该倾斜的变化的方向，所以可大幅提高圆角检查的精度。
再有，色相变化向量的基准方向也可作为库数据登记。
另外，上述实施例中使用的色相数据H1，表示注目的像素的色彩相当于从色相环的红至蓝的范围的哪个位置，也可取代此，例如对与蓝色光源对应的色调数据B，求依赖于下面的(10)式的色相数据b。
b=BR+B+G×100···(10)]]>依赖于上述(10)式的色相数据b，是表示决定像素的亮度的色分量中蓝色分量的比例。该色相数据b和所述色相数据H1同样，蓝色越强越大，红色越强越小，所以可用与先前的实施例同样的方法来设定色相变化向量，由该向量的方向来判别圆角的倾斜方向。
而且，在该实施例中，使用了发出不同色彩光的光源8、9、10并处理彩色图像，但也可取代此，使这些光源8、9、10为白色光源而以单色相机进行摄像的情况下，也可执行与上述实施例同样的处理。例如最先使光源8点亮并进行摄像，将获得的浓淡图像数据看作R的色调数据而临时保存在存储器13中。接着，使光源9点亮并进行摄像，将获得的浓淡图像数据看作G的色调数据而临时保存在存储器13中。最后使光源10点亮并进行摄像，将获得的浓淡图像数据看作B的色调数据而临时保存在存储器13中。这样，将按顺序取得的3张浓淡图像数据分别看作R、G、B的色调数据，应用上述实施例来执行色相变化向量的提取处理。根据该方法，生成图像数据所需要的时间变长，但此后，通过与使用彩色图像时同样的算法，可执行圆角的检查。
权利要求
1.一种表面状态检查方法，相对于表面具有倾斜面的检查对象物，将发出相互不同的色彩光的多个光源配置排列成从所述检查对象物的配置位置来看仰角不同并进行照明，利用由设置在所述配置位置的上方的摄像部件获得的图像，检查所述检查对象物的表面状态，其特征在于，该方法执行以下步骤，第一步骤，设定包含所述图像中的检查对象物的检查区域，在该检查区域中，提取与各光源的配置排列对应的色相发生变化的方向；第二步骤，将第一步骤提取的方向与预先设定的基准方向进行比较；以及第三步骤，基于所述第二步骤的比较结果，判别所述检查对象物的表面状态的良否。
2.如权利要求1所述的表面状态检查方法，其中，所述多个光源被配置排列成相对于所述检查对象物、各自的发光色沿色相环上的色相变化的方向排列；在所述第一步骤中，对于所述检查区域内的各像素，取得其值沿色相环变化的一维色相数据，提取该色相数据向大的值变化的方向或向小的值变化的方向。
3.如权利要求1所述的表面状态检查方法，其中，在所述第一步骤中，对于所述检查区域内的各像素，取得反映了与所述多个光源的其中任何一个对应的色分量的强度程度的一维色相数据，提取该色相数据向大的值变化的方向或向小的值变化的方向。
4.如权利要求2或3所述的表面状态检查方法，其中，在所述第一步骤中，执行以下步骤，按顺序注目于所述检查区域内的多个像素，对通过注目像素的多个方向的每个方向提取色相数据的变化量的步骤；将对注目的各像素提取的色相数据的变化量，按每个方向进行平均，从而设定多个向量的步骤；以及设定这些向量的合成向量的步骤。
5.一种表面状态检查装置，包括照明部件，将发出相互不同的色彩光的多个光源配置排列成从检查对象物的配置位置来看仰角不同；摄像部件，配备在所述检查对象物的配置位置的上方；图像输入部件，取入在使所述照明部件的各光源点亮的状态下由所述摄像部件生成的图像；提取部件，设定包含所述图像输入部件输入的图像中的检查对象物的检查区域，在该检查区域中，提取与各光源的配置排列对应的色相产生变化的方向；登记部件，对在所述检查对象物的表面状态为良好时由所述提取部件提取的基准方向进行登记；判别部件，将由所述提取部件提取的变化方向与由所述登记部件登记的基准方向进行比较，判别所述检查对象物的表面状态的良否；以及输出部件，将所述判别部件的判别结果输出。
6.如权利要求5所述的表面状态检查装置，其中，所述照明部件的各光源被配置排列成相对于所述检查对象物、各自的发光色沿色相环上的色相变化的方向排列；所述提取部件，对于所述检查区域内的各像素，取得其值沿色相环变化的一维色相数据，提取该色相数据向大的值变化的方向或向小的值变化的方向。
7.如权利要求5所述的表面状态检查装置，其中，所述提取部件，对于所述检查区域内的各像素，取得反映了与所述多个光源的其中任何一个对应的色分量的强度程度的一维色相数据，提取该色相数据向大的值变化的方向或向小的值变化的方向。
8.如权利要求6或7所述的表面状态检查装置，其中，所述提取部件包括按顺序注目于所述检查区域内的多个像素，对通过注目像素的多个方向的每个方向提取色相数据的变化量的部件；将对注目的各像素提取的色相数据的变化量，按每个方向进行平均，从而设定多个向量的部件；以及设定这些向量的合成向量的部件。
9.一种基板检查装置，检查焊接了多个元件的基板，包括照明部件，将发出相互不同的色彩光的多个光源配置排列成从检查对象基板来看仰角不同；摄像部件，配备在所述基板的上方；图像输入部件，取入在使所述照明部件的各光源点亮的状态下由所述摄像部件生成的图像；提取部件，在所述图像输入部件输入的图像中的焊接部位分别设定检查区域，在这些检查区域的每一个中，提取与各光源的配置排列对应的色相产生变化的方向；登记部件，对在所述检查区域内的焊料的表面状态为良好时由所述提取部件提取的基准方向进行登记；判别部件，对每个检查区域执行将由所述提取部件提取的变化方向与由所述登记部件登记的基准方向进行比较的处理，判别各焊接部位的良否；以及输出部件，将所述判别部件的判别结果输出。
10.如权利要求9所述的基板检查装置，其中，在检查对象的基板上安装了多个同一种类的元件时，所述登记部件将对这些元件的其中之一的焊接部位登记的基准方向也用于同一种类的其他元件。
全文摘要
提供一种表面状态检查方法以及使用该方法的表面状态检查装置和基板检查装置，在检查倾斜面的状态时，即使图像的亮度和色相变动，也可执行信赖度高的检查。在将红、绿、蓝的各色彩光从相互不同的仰角方向照射的状态下进行摄像，在使用获得的图像来检查焊料的圆角时，将R、G、B各色调的三维数据变换成一维的色相数据，利用该色相数据，按照红、绿、蓝的顺序来提取色相变化的方向。提取的方向表示圆角的斜率变化的方向，通过将该方向与预先登记的基准方向进行比较，判别圆角的倾斜面是否合适。
文档编号H05K3/34GK1661323SQ200510052539
公开日2005年8月31日 申请日期2005年2月28日 优先权日2004年2月27日
发明者栗山淳, 石羽正人, 村上清, 四谷辉久 申请人:欧姆龙株式会社