专利名称：对检查结果的目视检验操作进行辅助的系统、装置及方法
技术领域：
本发明涉及一种用于对通过目视识别实际检查目标来检验通过使用图像的自动外观检查获得的检查结果的操作进行辅助的系统，涉及一种用于该辅助的装置，以及涉及一种用于该辅助的方法。
背景技术：
在部件安装基板(component-mounted board)的制造现场，通过自动外观检查装置检查部件的存在、焊料填角(solder fillet)的状态等，之后，操作员目视检验最终确定为有缺陷的部件。而且，对于定义为有缺陷的部件中可校正的部件，操作员可以在检验其状态的同时手动地校正这些部件。作为进行目视识别有缺陷部位的操作的装置的现有示例，存在一种在支撑作为检查目标的每一个基板的平台上方布置有放大镜的装置。对于该装置，例如，在日本未审查专利公开第2001-165860号中得以描述:通过从外观检查装置获取确定为有缺陷的部位的位置信息，并基于该位置信息控制平台的移动，确定为有缺陷的部位可定位于放大镜的视野的中心处。日本未审查专利公开第H08-195554号揭示了一种用于焊接缺陷部位的校正操作的装置，该装置包括放大镜、XY表、激光源等。在该装置中，激光束照射到放大镜的视野中，并基于从焊接检查装置获得的缺陷部位的位置数据使缺陷部位与激光束的照射位置对齐，从而明确指出有缺陷区域。在制造要求确保高质量的基板的现场，采用了这样的系统:其中严格设定自动外观检查的检查标准，并且操作员小心地目视检验确定为有缺陷的部件，手动校正有缺陷部位，并认真检验缺陷的消除。近些年，在部件安装基板中，部件的安装密度较高，因此，要求目视检验和校正的部件的数量也得到增加，并且进行目视检验的操作员的作用变得巨大。另外，由于许多基板是在多个部位安装有相同类型的部件，并且许多基板是与具有相同配置的多个单独的基板彼此耦接，这使得寻找作为检验目标的区域需要极大的负荷。而且，不熟悉该操作的人会在寻找检验目标区域的过程中出差错。根据如在日本未审查专利公开第2001-165860号和第H08-195554号中描述的具有这种配置的装置，实际对象的有缺陷部位在被放大或标识的同时被显示，因此，能够减少操作负荷，并能够防止错误。然而，这两种装置的尺度都很大，并且其成本也高。而且，每一个这种装置的安装都需要广阔的空间这一事实也阻碍了装置的推介。此外，还构思了这样一种方法:其中通过从用于自动外观检查的检查目标基板的图像裁出以有缺陷部位作为中心的部分范围之后显示该范围的放大图像的方式来通知检验目标区域。然而，如上所述，每一个基板具有配置相似的多个部位。因此，为了立即指定有缺陷部位与实际基板的哪一部位对应，仅显示以有缺陷部位作为中心的范围的图像是不够的。结果是，操作员的操作效率会降低，也会对整体生产效率产生极大的影响。
发明内容
考虑到前述问题，本发明的目的是进行能够通过使用在自动外观检查中使用的图像并使用检查结果来便利地指定检验目标区域的辅助。根据本发明的用于辅助目视检验操作的系统为用于对检验具有使用图像进行了自动外观检查的多个区域的检查目标的至少一个检查目标区域的状态的操作进行辅助的系统，该操作通过目视识别实际检查目标的方法进行。如下文所描述的，该系统包括图像存储单元、测量数据存储单元、图像读取单元、特征区域提取单元、图像编辑单元以及显示单
J Li ο图像存储单元存储检查目标的图像(其通过用于自动外观检查的成像而产生)，测量数据存储单元将通过自动外观检查的测量处理获得的测量数据与通过测量处理测量的目标区域的位置信息相关联地进行存储。基于检验目标区域的位置信息或标识信息，图像读取单元从图像存储单元读取包括检验目标区域且与检查目标的一部分对应的区(area)的图像。特征区域提取单元对与包含于与由图像读取单元读取的图像对应的区中的位置信息相关联地存储在测量数据存储单元中的测量数据进行分析，并提取具有单独目视可识别的固有特征且分布在检验目标区域周围的一个或多个特征区域。图像编辑单元将由图像读取单元读取的图像编辑成这样的状态，在该状态下图像中的各个特征区域以及检验目标区域以彼此不同的模式进行标记，并且显示单元显示由图像编辑单元编辑的图像。根据上述配置，操作员能够基于显示屏幕中的标记检验出哪一区域为检验目标，还能够基于分布在检验目标区域周围的多个特征区域的特征并从它们之间的相对位置关系来指定实际检查目标的检验目标区域。每一个特征区域具有目视可识别的固有特征，因此，即使存在具有相似配置的其它部位，也能够防止弄错检验目标区域。在上述系统的第一实施例中，通过使用在自动外观检查的测量处理中获得的测量值相对于最佳测量值的偏差度作为要诀，特征区域提取单元提取除检验目标区域之外的检查目标区域(其包含于处理目标的区中)中偏差度相对较大的区域。例如，如果将在自动外观检查中确定为无缺陷但测定中使用的测量值与最佳值偏差极大的区域提取作为特征区域，即使存在其中以相似的位置关系布置有与检验目标区域和各个特征区域相同类型的区域的其它部位，也仍然可以通过其外观辨别所提取的特征区域。在第二实施例的系统中，用于检测位于除检查目标区域之外的地方的外来对象的测量包含于自动外观检查的测量处理中，并且特征区域提取单元将在作为处理目标的区中的检验目标区域周围获得表示外来对象的测量数据的部位提取作为特征区域。以该方式，通过使用外来对象作为标记，操作员能够容易地指定检验目标区域。要注意，也可以布置将第一实施例和第二实施例合并于其中的系统。第三实施例的系统还包括标记图案存储单元，该标记图案存储单元存储用于指定标记图案的信息，所述标记图案在自动外观检查中被作为标记统一设定给相同类型的检查目标。基于存储在标记图案存储单元中的信息，图像编辑单元将所述区中包含的标记图案的地方指定作为处理目标，并编辑该图像，使得所指定的地方以与至少检验目标区域不同的模式进行标记。根据上述实施例，标记图案的地方以及特征区域得以标记，因此，能够更容易地指定检验目标区域。要注意，对于标记图案，可理想地实施根据与用于检验目标区域和特征区域两者均不同的第三模式进行的标记；然而，也可以实施根据与用于特征区域相同的模式进行的标记。上述系统能够包括:服务器，通过与外观检查装置通信而接收包括在外观检查中使用的图像以及测量数据的检查结果信息；以及终端装置，具有用于检验操作的显示单元。这种情况下，至少上述的图像存储单元和测量数据存储单元设置在该服务器中，并且该终端装置的显示单元具有充当上述显示单元的功能。其它单元可以被设置在服务器和终端装置的任何一个中，或者部分单元可以被设置在服务器中，其余单元可以被设置在终端装置中。可替代地，可以使服务器和终端装置彼此合作地用作一个单元。图像存储单元和测量数据存储单元不仅能够被设置在服务器中，而且能够被设置在外观检查装置中。而且，可以消除服务器与终端装置之间的差异，并且各个单元(即，图像存储单元、测量数据存储单元、图像读取单元、特征区域提取单元、图像编辑单元以及显示单元)可以被设置在单个计算机中。根据本发明的用于辅助目视检验操作的装置包括上述各个单元中的至少图像读取单元、特征区域提取单元、图像编辑单元，还包括输出由图像编辑单元编辑的图像的图像数据以使图像数据得以显示的输出单元。而且，图像存储单元和测量数据存储单元能够被设置在这一辅助装置中，然而，这些存储单元也可以被设置在外部计算机或外观检查装置中。一种根据本发明的用于对检查结果的目视检验操作进行辅助的方法，包括以下步骤:响应于自动外观检查存储检查目标的图像于图像存储单元中，该图像通过对自动外观检查成像而产生，以及在测量数据存储单元中将通过自动外观检查的测量处理获得的测量数据与通过测量处理测量的目标区域的位置信息相关联地存储；基于检验目标区域的位置信息或标识信息，从图像存储单元读取区的图像，该区包括检验目标区域且与检查目标的一部分对应；分析测量数据，该测量数据与包含于与从图像存储单元读取的图像对应的区中的位置信息被相关联地存储到测量数据存储单元中，并提取具有单独目视可识别的固有特征且分布在检验目标区域周围的一个或多个特征区域；以及将由图像存储单元读取的图像编辑成这样的状态，在该状态下图像中的各个特征区域以及检验目标区域以彼此不同的模式进行标记，以及显示编辑成的图像。如上所述的，通过服务器与终端装置的组合或通过单个计算机能够实施上述方法。而且，当图像存储单元和测量数据存储单元被设置在外观检查装置中时，另外，当显示单元被合并在外观检查装置中时，可以在外观检查装置中实施上述方法。而且，在各个步骤中，对于读取图像的步骤以及提取特征区域的步骤，可以首先执行上述步骤的任何一个，并且可以并行执行这些步骤。目视检验的目标区域不局限于外观检查中确定为有缺陷的区域。例如，可以将在外观检查中确定为无缺陷但其中测量值与最佳值相差的偏差度较大的区域当作检验目标区域。而且，为了双重检验的目的，具有重要功能的区域可以始终被设定为目视检验的目标区域。而且，至于哪一(些)区域要被检验，例如，可以通过检查结果和测量结果的分析自动地选择检验目标区域，或者可以显示应该有必要进行检验的区域的列表并由操作员从中选择区域。根据本发明，基于显示屏幕中的标记特征，能够容易地标识与所标记的部位对应的实际检查目标，从而能够指定检验目标区域。因此，可以有效进行目视检验操作，而不会在寻找检验目标区域的过程中出现错误。
图1为示出用于检查部件安装基板的系统的配置的功能方框图；图2为用于检验有缺陷部件的信息的检验屏幕的布局图；图3为示出要在图2的区300上显示的图像的示例的视图；图4为示出检验操作的过程的流程图；图5为示出分析数据表的数据配置示例的表；图6为示出分析数据表的创建处理的过程的流程图；以及图7为示出要在检验终端中执行的处理的过程的流程图。
具体实施例方式图1为示出用于检查部件安装基板的系统的配置示例的功能方框图。该实施例为这样的实施例:对作为经由各个步骤(即，焊料印刷步骤、部件安装步骤以及回流步骤)完成的部件安装基板(在下文中，简称为“基板”)的对象进行自动外观检查，之后允许操作员目视检验通过所述检查确定为有缺陷的区域。该实施例包括外观检查装置1、管理服务器2以及用于检验操作的终端装置3(在下文中，称为“检验终端3”)。各个装置1、2以及3经由局域网(LAN)线路4彼此连接；然而，检验终端3和外观检查装置I彼此不直接通信，而外观检查装置I和管理服务器2之间交换信息，且检验终端3和管理服务器2之间交换信息。包括管理服务器2、检验终端3以及LAN线路4的网络系统起到用于辅助目视检验操作的系统的作用。外观检查装置I包括成像单元11、检查执行单元12、通信处理单元13等。根据预定的检查标准，检查执行单元12促动(actuate)成像单元11产生图像，并通过使用所产生的图像，针对每一个部件检查该部件是否安装在基板上、该部件是否具有位置偏移或旋转偏移、焊料填角的形状和大小是否合适等。而且，检查执行单元12可以从图像中的某一处检测外来对象(例如，桥和焊球)，该处未有安装有部件其上。各种检查中使用的图像和检查结果信息从通信处理单元13被发送到管理服务器2。在管理服务器2中，提供了这些功能:存储单元，包括检查结果数据库21、图像数据库22、检查标准数据库23等；存储处理单元24 ;通信处理单元25 ;以及面向终端处理单元26。从外观检查装置I发送的信息由通信处理单元25接收，之后，通过存储处理单元24被存储到检查结果数据库21和图像数据库22中。在检查标准数据库23中，为每种类型的基板登记了用于外观检查的检查标准。例如，对于部件单元检查标准来说，登记了检查区的配置数据、二值化(binarization)的阈值等，并且还为要对部件实施的每一个测量项目登记了表示“无缺陷的”的测量值的范围。而且，对于外来对象的检测，作为检查标准，登记了用于检测中使用的二值化阈值、要与关于检测到的特征的测量值比较的阈值等。
而且，在该实施例中，将一个基板成像多次，并且通过将被成像多次的图像彼此连接产生整个基板的图像。在将成像单元11的视野与各个成像目标区对齐的控制中使用的一组信息以及在将这些图像彼此连接的处理中使用的一组信息也被存储到检查标准数据库23中。在所述处理中使用的该组信息包括用于指定在基板上用作标记的图案的信息(在下文中，称为“标记图案”)。从外观检查装置I发送的检查结果信息被分层，使得能够针对每一个基板以及基板中的每一个部件读取测量值以及有缺陷的/无缺陷的测定结果。在缺陷信息包含于基板单元检查结果信息中的情况下，存储处理单元24分析检查结果信息，并创建分析数据表(后文要描述的)。分析数据表被配置成能够针对基板的单元进行读取，并与检查结果信息结合作为原始信息而存储到检查结果数据库21中。面向终端处理单元26经由通信处理单元25接收来自检验终端3的发送请求，根据该请求从相应的数据库读取信息，并将该信息发送到检验终端3。而且，在从检验终端3获取包含由已经在检验终端3上进行操作的操作员所输入的测定数据的检查结果信息时，面向终端处理单元26利用所获取的信息在检查结果数据库21中更新现存的检查结果信
肩、O检查标准数据库23中的检查标准根据需要也被发送到外观检查装置I。检验终端3包括输入单元31、显示单元32、分析处理单元33、显示处理单元34、通信处理单元35等。输入单元31和显示单元32包括硬件，其它处理单元为通过软件在CPU中设定的功能。输入单元31为用于接收作为检验目标的基板的标识代码(在下文中，称为“基板代码”)、检验结果等的输入的单元，并且能够包括基板代码的读取装置(条形码阅读器等)以及键盘和鼠标。显示单元32包括能够显示图像的配置(例如，液晶显示器)。要注意，在一些情况下，显示单元32被放置作为检验终端3的外部装置。分析处理单元33响应于每一个基板代码的输入被激活，之后，经由通信处理单元35与管理服务器2通信，并针对与所输入的基板代码对应的基板获取各条信息(即，图像、检查结果信息以及检查标准)。基于通过分析处理单元33的处理结果，显示处理单元34创建用于对与外观信息中确定为有缺陷的部件(在下文中，称为“有缺陷部件”)有关的信息进行检验的检验屏幕的数据，并在显示单元32上显示该检验屏幕。图2示出检验屏幕的布局的示例。在该示例的检验屏幕上，分别在其左侧和右侧显示图像和信息，而不只是图像。首先，在显示图像的左侧区上，设置了较大区300，并且在区300的下方左右并排布置了两个较小区301和302。在区300上，显示将作为每一个检验目标的部件置于中心的这一范围(基板的一部分)的放大图像。在该放大图像G的左上角，以重叠的方式显示整个基板的地像MP。在区301上,进一步放大显示只包括检验目标部件的范围的图像,在区302上,显示检验目标部件的样品图像(示出理想安装状态)。如上文提到的，在该实施例的外观检查中，将基板分成多个区之后对该基板成像，并且通过对多个区成像产生的图像(在下文中，称为“分割图像”)彼此连接，从而产生整个基板的图像。同样，通过将包括作为检验目标的部件的分割图像g0与其外围附近的八个分割图像gl至g8连接而产生检验屏幕30上的放大图像G。同时，地像MP并不是通过在处理当中对基板成像产生的图像，而是通过提前将基板成像为模型所产生的图像，或者为通过CAD数据表示的示意图等。地像MP为用于允许操作员获得整个基板中检验目标部件的大概位置的图像，并且放大图像G为用于将检验目标部件的具体配置及其外围通知给操作员的图像。在屏幕的右侧，垂直地布置有三个区311、312以及313。在最上层区311上，显示有关作为检验目标的基板的一般信息(基板代码、表示检查标准的程序名称、有缺陷部件的数量等)。在中间区312上，显示待检验的有缺陷部件的列表。在最下层区313上，显示有关作为当前检验目标的部件的检查结果连同每一个测量项目的测量值。图3示出区300中的放大图像G和地像MP的具体示例。位于放大图像G的中心部分的部件100为该示例的检验目标部件。地像MP包括背景部分(灰色部分，其实际上着色为支撑基板于其上的平台的表面的颜色)以及基板的整体图像(中空部分)。虽然图3中未示出，然而，在地像MP中的基板上，以缩小的方式显示基板上的各种部件。而且，在该实施例的地像MP上，分别用高亮度颜色(例如，黄色和白色)显示表示检验目标部件的中心的X坐标和Y坐标的两条线ml和m2。而且，在放大图像G上，通过与线ml和m2相同的颜色来设定分别表示检验目标部件100的X坐标和Y坐标的两条线LI和L2。然而，这些线LI和L2没有设定在检验目标部件100的安装范围上，并且检验目标部件100被颜色与线LI和L2相同的矩形框架UW所包围。而且，在放大图像G上，设定多个红色框架RW和多个蓝色框架BW(在图3中，红色由交替的长短划线来表示，蓝色由虚线来表示)。在下文中，这些颜色框架RW和BW分别称为“红色框架RW”和“蓝色框架BW”。针对从诸如部件和电极销等结构中选择的那些进行了外观检查的结构设定红色框架RW。在图3的示例中，针对位于检验目标部件100上方相对较大的芯片部件101、位于其右下方区域相对较小的芯片部件102以及位于其左下方区域的IC部件103单独设定红色框架RW。这些部件的每一个在外观检查中被确定为“无缺陷的”。然而，在芯片部件101中，用于电极之一的焊接区(solder area)变得略微有些大，并且芯片部件102被安装得略微有些倾斜。而且，被红色框架包围的IC部件103的一个电极销的形状稍微扭曲。在外观检查中进行了诸如图像的位置偏移的校正以及各个分割图像的位置对齐等处理的情况下，为用作标记的图案设定蓝色框架BW。这些标记图案是由图案的位置信息和形状指定的图案，并且各条指定信息被登记到管理服务器2的检查标准数据库23中。在图3的示例中，蓝色框架BW被设定为单独包围基板上丝印图案的突出部分a、通孔的阵列b、丝印图案的边角部分的通孔C、以及表示如此安装的部件的部件代码的字符图案。通过由外观检查装置I进行的检查而确定为存在有缺陷部件的基板被容置在堆叠机(stacker)中，并由传送机进行传送等，从而被供应到坐在检验终端3前面的操作员处。操作员在观看包括上述放大图像G和地像MP的检验屏幕的同时按如图4所示的过程执行检验操作。首先，操作员拾取一个基板，并将其基板代码输入至检验终端3 (步骤SI)。在该实施例的基板上，表示基板代码的条形码被印刷在其端部边缘的边沿等上，因此，能够使用条形码阅读器通过读取处理输入基板代码。检验终端3响应于基板代码的输入与管理服务器2通信，获取目标基板的检查结果信息和检查标准，并据此，启动初始检验屏幕(后文描述的图7的步骤S202)。在该阶段，在区300上没有显示放大图像G，并且仅在其上显示不具有线ml和m2的地像MP。而且，虽然显示检验目标部件的图像和信息的区301、302以及313也转变成空白状态，然而在区311和312上显示基板信息和有缺陷部件的列表。操作员检验显示的有缺陷部件列表，并在列表中选择一个有缺陷部件(步骤S2)。响应于该选择，在检验终端3中，实施图7的步骤S203至步骤S212，在检验屏幕的左侧区300上显示如图3所示的放大图像G，并在区300的左上角的地像MP上设定表示所选择的部件的位置的线ml和m2。在区300下方的两个区301和302上分别显示所选择的部件的放大图像和样品图像，并在右下方区313上显示所选择的部件的检查结果。 操作员通过地像M中的线ml和m2确定检验目标部件的大概位置(步骤S3)。接下来，参考不同标记的部件的特征和分布以及放大图像G的标记图案，操作员确定实际基板上与放大图像G对应的范围(步骤S4)。而且，基于各个标记部位中的位置关系等，操作员指定检验目标部件(步骤S5)。之后，操作员目视检验实际检验目标部件，确定其质量，并输入测定数据(0K或NG)(步骤 S6)。在第一个有缺陷部件列表中仍剩余有缺陷部件的情况下(步骤S7中为“NO”)，操作员选择下一个部件(返回到步骤S2)，之后，以相似的方式继续该操作。在检验了所有有缺陷部件的情况下，并且存在作为检验目标的另一个基板(步骤S8中为“NO”)，则操作员拾取下一个基板，并执行与以上类似的操作。如上文提到的，将用于指定由蓝色框架BW所包围的标记图案的信息存储到管理服务器2的检查标准数据库23中。同时，通过使用检查结果数据库21中的分析数据表来指定由红色框架RW所包围的部件和电极。该分析数据表为其中将基板上具有容易标识的特征的部件列出的表，并且是针对检测到有缺陷部件的每一个基板而创建的。图5示出分析数据表的配置示例。该示例的分析数据表存储测定时确定为“无缺陷的”部件中在对所有项目的质量测定中使用的测量值相对于最佳测量值的偏差度为10%或更大的部件的信息。在所示示例中，存储有:目标部件的标识代码(部件代码)；目标部件的中心部分的X坐标和Y坐标；获得10%或更大的偏差度的测量项目；在有关测量项目的测量中获得的测量值和偏差度等。虽然表示部件的中心位置的X坐标和Y坐标为测量值，然而也可以提取包含于检查标准中的标准位置信息。而且，至于要对部件的每一个电极执行的测量项目，在此对其赋以分支编号，每一个分支编号分别表示测量项目所对应的电极(参考图5中的“IC006”的测量项目“填角-1”)。通过这些分支编号的每一个，能够指定部件中与测量值对应的电极的相对位置。上述分析数据表创建于管理服务器2中，存储于检查结果数据库21中，之后，响应于来自检验终端3的发送请求与相应的检查结果信息一起被读取，并被发送到检验终端3。图6示出用于通过管理服务器2创建分析数据表的处理的过程。
每当从外观检查装置I接收基板的单元的检查结果信息的发送时，通过管理服务器2的存储处理单元24执行该处理。然而，本发明不限于此，也可以在检查结果信息被存储到检查结果数据库21中之后经过了预定时间时执行该处理。首先，在第一步骤SlOl中，从外观检查装置I获取检查结果信息，并检验有关有缺陷部件的信息是否包含于该信息中。在不包括有缺陷部件的情况下(步骤S102中为“NO”)，跳过下面的步骤，并结束处理。在有缺陷部件存在的情况下(步骤S102中为“YES”)，依次关注除了有缺陷部件之外的部件(即，确定为“无缺陷的”部件)，并执行回路(loop)LP中的处理。在回路LP中，通过使用与所关注的部件相关的检查结果信息，对于对目标部件实施的每一个测量项目，通过以下算术操作来获得实际测量值相对于确定为无缺陷的测量值范围的最佳值的偏差度(步骤S103)。[表达式I]
I测量值-最佳值I_确定为无缺陷的测量值的范围当计算出每一个测量值的偏差度时，检验其中最大的偏差度是否为10%或更大。如果最大的偏差度为10%或更大(步骤S104中为“YES”)，则将获得偏差度的测量项目、测量值以及偏差度与所关注的部件的部件代码和位置信息一起存储到分析数据表中(步骤S105)。在与诸如电极的浮动检查和焊角检查等检查相关的测量项目(对每一个电极都实施该测量项目)成为该存储的目标的情况下，表示相应的电极的分支编号也被存储。通过上述处理，在确定为“无缺陷的”部件中，目标被缩小到测量值相对于最佳值的偏差度大的部件，并创建其中将各个目标部件的偏差度和位置信息彼此相关联地登记的分析数据表。接下来，图7示出响应于基板代码的输入而要在检验终端3中执行的处理的过程(图4中的步骤SI)。首先，在步骤S201中，通过使用所输入的基板代码，将发送请求输出到管理服务器2，从而获取目标基板的检查结果信息、分析数据表以及检查标准。虽然对于检查标准，没有必要获取所有条目的信息，然而有必要获取对于创建和编辑显示目标的放大图像G所需的信息，例如:用于指定标记图案的信息、有关分割图像的位置对齐的定义信息、以及表示各个部件与分割图像之间的对应关系的信息(对应信息表示哪一部件包含于哪一分割图像中)。在步骤S202中，基于检查结果信息，在显示单元32上显示初始检验屏幕。之后，每当操作员进行选择有缺陷部件的操作时，执行回路LP1，从而在更新检验屏幕时接收由操作员输入的测定。下面将详细说明回路LPl的处理。首先，在步骤S203中，读取有关所选择的有缺陷部件(检验目标部件)的检查结果信息。在下一个步骤S204中，基于所读取的信息中的位置信息，指定所选择的有缺陷部件包含于哪一分割图像，并通过与管理服务器2通信获取所指定的分割图像g0及其外围附近的八个分割图像gl至g8。而且，在步骤S205中，如此获取的各个分割图像彼此连接，从而产生要在区300上显示的放大图像G。在所选择的有缺陷部件跨越多个分割图像的情况下，将有缺陷部件在其中占据的比例最大的分割图像定义为布置在中心的图像g0。而且，在基板上的各个部件通过其单独的部件代码与分割图像相关联的情况下，然后在步骤S204中，可以基于所选择的有缺陷部件的部件代码来指定要布置在中心的图像g0。之后，对放大图像G执行步骤S206至步骤S211。在步骤S206中，从起点(其为所选择的有缺陷部件的位置)设定检索范围(以预定的特定方向作为参考)。例如，可以将从以特定方向为中心延伸预定角度Θ的范围作为检索范围。在步骤S207中，从分析数据表登记的部件中提取包含于设定的检索范围的部件。在提取多个部件的情况下，提取其中偏差度最大的一个部件。对多个预定方向执行步骤S206和步骤S207，从而提取偏差度相对较大的多个部件。当沿所有方向的提取处理结束时(步骤S208中为“YES”)，然后在步骤S209中，通过使用检查标准提取放大图像G中的标记图案。在步骤S210中，由红色框架RW标记步骤S207中基于偏差度提取的部件，由蓝色框架BW标记步骤S209中提取的标记图案。在步骤S211中，对放大图像中的有缺陷部件设定用于标识的框架UW和表示X坐标和Y坐标的线LI和L2。在由红色框架RW进行的标记中，大体上将包围了整个部件的范围作为设定目标进行标记，然而，在电极的单元的测量值出现较大的偏差度的情况下，基于相应的测量项目的分支编号，红色框架RW可以仅包围获得了偏差度较大的测量值的那个电极。通过该方法为图3的IC部件103的一个电极设定红色框架RW。通过步骤S210和步骤S211的处理，将放大图像编辑成处于这一状态下的图像，在该状态下:所选择的有缺陷部件和偏差度较大的部件以及位于有缺陷部件外围的标记图案由彼此不同的颜色来标记。在步骤S212中，通过经编辑的该放大图像来更新检验屏幕的显示。虽然省略了具体过程，然而对显示的这一更新中，在地像MP上同样设定用于位置标识的线ml和m2，而在图2所示的区301、302以及313上分别显示图像和检查结果信息。另外，在步骤S213中，接收通过操作员输入的测定数据(0K或NG)的输入(图4中的步骤S6)，并且将所输入的测定数据添加到所选择的有缺陷部件的检查结果信息。对确定为有缺陷的所有部件执行回路LP1，从而基于在自动外观检查中确定为有缺陷的部件的检查结果信息添加测定数据。当处理了所有有缺陷部件时，在最后一个步骤S214中，将完成测定数据的添加的检查结果信息文件发送到管理服务器。以该方式，结束处理。在上述示例中，始终通过操作员进行质量的测定输入，并将所输入的测定数据添加到检查结果信息。然而，代替此，可以只在操作员确定所选择的部件为无缺陷的时才重写检验屏幕的区313的检查结果。在许多情况下，与类似于外观检查的方式将部件安装基板的生产线自动化。然而，焊膏的施加量和回流步骤中的加热温度并不一致，并且通过贴装机(mounter)进行的部件的安装也并非统一进行。因此，即使在相同类型的部件中，也会在部件的位置和姿态、焊角的形状和大小等中出现变化。在待安装于相同类型的基板的相同处的部件的状态中也可看到类似的变化。在目视可识别区域上进行外观检查中的每一个测量处理。因此，在获得与最佳值极大不同的测量值的区域中，在已经成为测量目标的外观上出现与相同类型的其它区域中显著不同的特征是非常可能的。关注于这一点，在上述实施例中，将实际测量值相对于最佳测量值的偏差度大的部件提取作为由红色框架RW标记的目标，因此，可以标记出具有通过肉眼可辨别的特征的部件。而且，根据图7的处理，在具有作为检验目标的有缺陷部件的多个方位上设定了由红色框架RW进行的标记作为参考，另外，通过有缺陷部件外围的多个部位的蓝色框架BW明确示出标记图案。因此，基于所标记的部位的外观特征和分布，操作员能够容易地在实际基板上找到与其对应的部位。因此，能够无误地指定作为检验目标的有缺陷部件，并能够确
定其质量。要注意，在提取偏差度较大的部件的情况下的检索方向没有特别限制。然而，检索方向可被理想地设定为使检验目标部件能够被所提取的部件包围。例如，在图3的示例的情况下，相对于有缺陷部件沿三个方向(正上方、斜右下方、斜左下方)执行检索。而且，可以相对于检验目标部件沿四个方向(即，上、下、左、右)进行检索，而且，也可以沿总共八个方向(通过将斜上方和斜下方与上述四个方向相加获得)进行检索。而且，在图7所示的过程中，对于每一个检索范围，提取该范围中偏差度最大的一个部件。然而，本发明不限于此，可以提取偏差度超过预定值的所有部件。而且，可以在从作为目标的整个放大图像提取偏差度超过预定值的部件而没有设定检索方向的条件下，来选择添加有红色框架RW的部件，并且使所提取的一些部件分布成包围检验目标部件。而且，在所提取的部件的偏差度大大超过作为提取条件的最小值(10%)的情况下，通过检索待提取的部件的数量可以变为一个。标记的方法不限于框架，然而，必须避免以会导致图像中的标记目标的特征不能够被检验的这一模式进行的标记。而且，由红色框架RW标记的目标不限于部件，例如，外来对象检查中检测的焊球和桥检查中提取的桥可以作为标记目标。例如，通过检查测量到其大小超过预定值的焊球和桥能够被肉眼容易地识别，因此，适合作为红色框架RW的标记目标。将说明有关上述系统的其它修改示例。首先，在上述实施例中，输入作为检验目标的基板的基板代码，从而读取包括用于检查的图像的各种信息，并设定检验屏幕。然而，在外观检查装置I中检查的基板按照检查顺序连续流动到检验终端3并且能够唯一指定待检验的基板的情况下，可根据检查顺序将所述信息发送到检验终端3而无须输入基板代码。这种情况下，该信息可以直接从外观检查装置I发送到检验终端3，而无须经由管理服务器2。而且，检验目标不限于有缺陷部件，虽部件被确定为无缺陷的但测量值的偏差度大的部件也可以包含于检验目标中。从图像数据库22读取包括检验目标部件的区的图像且将该图像编辑成进行了标记的放大图像G的功能也可以设置在管理服务器2中，而不限制于检验终端3。这种情况下，在检验终端3中，设定有:从管理服务器2接收包括放大图像G的检验屏幕30的信息供应，且在显示单元32上显示该信息的功能；以及接收通过操作员输入的测定数据的输入且将该测定数据发送到管理服务器2的功能。在上述实施例中，从图像数据库22读取图像，产生放大图像G，之后，指定添加有红色框架RW和蓝色框架BW的部位。然而，可以颠倒这些处理的顺序，并且可以并行实施各处理。在上述实施例中，指定包括检验目标部件的分割图像，并通过该图像及其外围附近的8个图像产生放大图像G。然而，本发明不限于此，基于检验目标部件的位置信息，可以指定预定大小的区(在该区中所述部件被置于中心)，并可以从基板的整体图像裁出所指定的区的图像。而且,并不统一限制放大图像G的比例因子(scaling factor)。在偏差度较大的部件(添加有红色框架RW)位于检验目标部件附近的情况下，可以增大比例因子，而在添加有红色框架RW的部件离检验目标部件较远的情况下，可以减小比例因子。例如，考虑检验目标部件与作为偏差度较大的部件被提取的部件中离检验目标部件最近的部件之间的距离，将放大图像G的比例因子决定为使放大图像G的比例因子能够与该距离成反比。可替代地，可以设定两个比例因子，S卩:标准比例因子，由九个分割图像形成的整体图像以该比例因子显示；以及增大比例因子，其大于标准比例因子。在预定数量或更多的偏差度较大的部件包含于由增大比例因子显示的显示范围的情况下，可以采用增大比例因子，反之，可以采用标准比例因子。而且，比例因子的切换不限于两级，而是还可以采用三级或更多的级别。在上述实施例中，经由最终步骤完成的基板作为目视检验的目标。然而，同样在中间步骤结束的阶段，能够在基板(其中自动外观检查在该步骤中结束)上进行目视检验操作，另外，显示相似的标记图像，从而能够辅助检验操作。最后，应用了本发明的检查目标不限于部件安装基板，并且本发明也能够应用于其它结构，其中每一个包括通过自动外观检查进行检查的多个目标区域，并且在这些区域的外观上可以出现目视可识别的固有特征。
权利要求
1.一种用于对检查结果的目视检验操作进行辅助的系统，所述系统为用于对检验具有使用图像进行了自动外观检查的多个区域的检查目标的至少一个检查目标区域的状态的操作进行辅助的系统，所述操作通过目视识别实际检查目标的方法进行，所述系统包括: 图像存储单元，配置成存储所述检查目标的图像，所述图像通过对所述自动外观检查成像而产生； 测量数据存储单元，配置成将通过所述自动外观检查的测量处理获得的测量数据与通过所述测量处理测量的目标区域的位置信息相关联地存储； 图像读取单元，配置成基于检验目标区域的位置信息或标识信息从所述图像存储单元读取区的图像，所述区包括所述检验目标区域且与所述检查目标的一部分对应； 特征区域提取单元，配置成对与包含于与由所述图像读取单元读取的所述图像对应的所述区中的所述位置信息相关联地存储在所述测量数据存储单元中的所述测量数据进行分析，并提取具有单独目视可识别的固有特征且分布在所述检验目标区域周围的一个或多个特征区域； 图像编辑单元，配置成将由所述图像读取单元读取的所述图像编辑成这样的状态，在该状态下所述图像中的各个所述特征区域与所述检验目标区域以彼此不同的模式进行标记；以及 显示单元，配置成显示由所述图像编辑单元编辑的所述图像。
2.根据权利要求1所述的用于对检查结果的目视检验操作进行辅助的系统，其中，通过使用在所述自动外观检查的所述测量处理中获得的测量值相对于最佳测量值的偏差度作为要诀，所述特征区域提取单元提取除所述检验目标区域之外的检查目标区域中偏差度相对较大的区域，所述检查目标区域包含于所述区中。
3.根据权利要求1或2所述的用于对检查结果的目视检验操作进行辅助的系统，其中，用于检测位于除所述检查目 标区域之外的地方的外来对象的测量包含于所述自动外观检查的所述测量处理中，并且 所述特征区域提取单元将在所述区的所述检验目标区域周围获得表示所述外来对象的测量数据的部位提取作为所述特征区域。
4.根据权利要求1所述的用于对检查结果的目视检验操作进行辅助的系统，还包括: 标记图案存储单元，其存储用于指定标记图案的信息，所述标记图案在所述自动外观检查中被作为标记统一设定给相似类型的所述检查目标，其中 所述图像编辑单元基于存储在所述标记图案存储单元中的信息指定包含于所述区中的所述标记图案的地方，并编辑所述图像，使得所指定的地方以与至少所述检验目标区域不同的模式进行标记。
5.根据权利要求1所述的用于对检查结果的目视检验操作进行辅助的系统，其中， 所述系统包括:服务器，通过与外观检查装置通信来接收包括在所述外观检查中使用的所述图像以及所述测量数据的检查结果信息；以及终端装置，具有用于所述检验操作的显示单元，并且 至少所述图像存储单元和所述测量数据存储单元设置在所述服务器中，并且所述终端装置的显示单元具有充当所述显示单元的功能。
6.一种用于对检查结果的目视检验操作进行辅助的装置，所述装置为用于对检验具有使用图像进行了自动外观检查的多个区域的检查目标的至少一个检查目标区域的状态的操作进行辅助的装置，所述操作通过目视识别实际检查目标的方法进行，所述装置包括: 图像读取单元，配置成基于检验目标区域的位置信息或标识信息从存储有所述检查目标的图像的图像存储单元读取区的图像，所述区包括所述检验目标区域且与所述检查目标的一部分对应； 特征区域提取单元，配置成从测量数据存储单元读取并分析测量数据，以及提取具有单独目视可识别的固有特征且分布在所述检验目标区域周围的一个或多个特征区域；所述测量数据与包含于与由所述图像读取单元读取的所述图像对应的所述区中的所述位置信息相关联，所述测量数据存储单元配置成将通过所述自动外观检查的测量处理获得的测量数据与通过所述测量处理测量的目标区域的位置信息相关联地存储； 图像编辑单元，配置成将由所述图像读取单元读取的所述图像编辑成这样的状态，在该状态下所述图像中的各个所述特征区域以及所述检验目标区域以彼此不同的模式进行标记；以及 输出单元，配置成输出由所述图像编辑单元编辑的所述图像的图像数据，使所述图像数据得以显示。
7.一种用于对检查结果的目视检验操作进行辅助的方法，所述方法为用于对检验具有使用图像进行了自动外观检查的多个区域的检查目标的至少一个检查目标区域的状态的操作进行辅助的方法，所述操作通过目视识别实际检查目标的方法进行，所述方法包括以下步骤: 响应于所述自动外观检查存储所述检查目标的图像于图像存储单元中，所述图像通过对所述自动外观检查成像而产生，以及在测量数据存储单元中将通过所述自动外观检查中的测量处理获得的测量数据与通过所述测量处理测量的目标区域的位置信息相关联地存储； 基于检验目标区域的位置信息或标识信息从所述图像存储单元读取区的图像，所述区包括所述检验目标区域且与所述检查目标的一部分对应； 分析测量数据，所述测量数据与包含于与从所述图像存储单元读取的所述图像对应的所述区中的位置信息相关联地被存储在所述测量数据存储单元中，以及提取具有单独目视可识别的固有特征且分布在所述检验目标区域周围的一个或多个特征区域；以及 将从所述图像存储单元读取的所述图像编辑成这样的状态，在该状态下所述图像中的各个所述特征区域以及所述检验目标区域以彼此不同的模式进行标记，以及显示编辑成的图像。
全文摘要
对于完成了自动外观检查的目标(基板)，存储在检查中使用的图像，将通过检查中的测量处理获得的测量数据与测量目标区域的位置信息相关联地存储，并通过使用这些存储的信息，显示用于对目视检验特定检查目标区域(部件100)的实际状态的操作进行辅助的图像。该图像与等效于基板的一部分的区对应，并包括检验目标部件100。对于图像中的检验目标部件100，实施由框架UW以及线L1和L2进行的标记。而且，提取目视可识别且具有固有特征的特征区域(部件101、102、103等)以便包围检验目标部件100的外围。
文档编号G01N21/88GK103091328SQ20121041305
公开日2013年5月8日 申请日期2012年10月25日 优先权日2011年11月7日
发明者川田哲博 申请人:欧姆龙株式会社