专利名称：感官检查装置及感官检查方法
技术领域：
本发明涉及自动地对显示器的目测检查、各种机械的异常噪音检查等进行检查的 感官检查装置及感官检查方法。
背景技术：
近年来，各种工业产品的制造工序日渐自动化，检查工序也不例外。然而，另一方 面，对于显示器的不均勻、机构零部件的异常噪音等需要感官判断的检查，依旧依赖于由操 作者进行的目测、听觉等的主观检查。然而，操作者的主观检查中存在以下问题。首先，长 时间的感官检查会对操作者形成负担。另外，取决于个人差异、身体条件、时段等的检查结 果的偏差较大。另外，正确的检查需要熟练度，培育熟练的检查员需要时间。而且，有时存 在操作者的处理能力不足的情况。由于存在这样的问题，在取决于操作者的主观性的检查 中难以维持检查结果是相同的。因此，在感官检查中也要求不取决于操作者的主观性的自 动化。作为使这样的感官检查自动化的方法，存在使用模式识别的方法。此处，使用图13对利用模式识别的检查进行说明。图13是表示使用现有的模式识别的检查中的特征量空间的图。在使用模式识别的检查中，首先，由检测器对检查对象进行检测，从检测出的信息 中提取出多个特征量，如图13所示，并绘制到以各特征量为坐标轴的特征量空间中。然后， 根据在绘制时属于哪个区域来将检查对象分类为合格品、不合格品、或中间品(不能判断 为合格品、不合格品的产品)。图13中为了简单起见，设定了两个特征量，但也可以采用一 个或三个以上的特征量。此时，对于决定哪个区域是合格品、不合格品、或中间品，是事先准 备预先知道合格与否的样品，将这些样品绘制到特征量空间中，基于此时的分布进行学习， 并进行区域划分。作为该学习、分类的方法，有使用神经网络、SVM(support-vector-machine 支持 向量机，以下简写为SVM)、自组织映射、MT(Mahalanobis Taguchi 马田法，以下简写为MT) 法等方法。另外，在使用神经网络的方法中存在以下方法即，基于合格品、不合格品的样品 来产生疑似不合格，将其用作为学习用的样品，从而能以较少的学习用样品来提高判定精 度(例如参照日本专利特开2005-156334号公报)。以下，使用图14、图15，说明现有的感官检查装置中的特征量空间的合格与否区 域学习。图14是表示现有的感官检查装置中的特征量空间的合格与否区域的学习装置的 结构的图，是表示了日本专利特开2005-156334号公报中所记载的现有的框图。图15是表 示现有的感官检查装置中的特征量空间中、基于合格品来合成不合格品的情况的图。在图14中，可使用神经网络101来检查产品合格与否。对于合格品的学习，是利 用合格品图像输入部102读取预先保存的合格品图像，经由进行滤波处理、提取出特征量 的前处理部107，输入到神经网络101，作为合格品进行学习。
对于不合格品的学习，是在不合格品的图像的数量为所需要的学习数量以上时， 读取预先保存的不合格品图像，经由前处理部107来输入到神经网络101，从而作为不合格 品数据进行学习。然而，由于通常难以获得所需学习数量的原始的不合格数据，因此，包括不合格 图像提取部104，该不合格图像提取部104基于不合格图像来提取出与合格品的差分数据 108 ；疑似不合格图像生成部106，该疑似不合格图像生成部106从合格品图像输入部102 读取合格品图像，合成差分数据108来生成疑似不合格图像；以及疑似数据条件设定部 105，该疑似数据条件设定部105将对差分数据108与合成位置等如何进行合成的条件、与 随机数发生部109的随机数进行组合，来对疑似不合格图像生成部106发出指示。由此，在现有结构中，如图15所示，基于实际的不合格图像，在其附近生成多个疑 似不合格图像，来增加学习用的样品，从而如图16那样，提高判定合格、不合格的精度。
发明内容
然后，即使在上述现有的结构中，也不能完全解决使用模式识别的检查的自动化 的问题。使用模式识别的检查的自动化的问题在于，由于用于决定合格品和不合格品的边 界的有效样品较少，因此，难以对用于与人进行相同判定的边界进行学习。使用表示现有的特征量空间的合格品和不合格品的分布的图16来进行详细说 明。一般，由于合格品的偏差为正态分布，因此样品大多存在于平均值附近，在边界附近的 合格品较少。另外，不合格品的发生频率一般较少，即使发生不合格品，也容易成为远离边 界的样品。若将这种情况绘制到特征量空间，则成为图16那样。在图16中，由于合格品和 不合格品之间的间隔较大，因此可以形成数量较多的判别合格品和不合格品的边界线，难 以唯一确定，不能对与人类的感觉相近的边界线进行学习。另外，涉及日本专利特开2005-156334号公报所示的疑似不良图像自动生成装置 及图像检查装置的发明，虽然弥补了不合格品数量较少的问题，若以特征量空间进行说明， 则如图15所示，是基于所产生的不合格品数据、通过合成从而增加不合格品数量的方法， 但是所增加的样品限于原来的不合格品数据的周边。因此，不能希望大幅提高检查精度。本发明是解决上述现有问题的发明，其目的在于实现一种感官检查，该感官检查 能以较少的学习用样品确定与人的判断相近的合格与否的判定基准。为了达到以上目的，本发明的感观检查装置的特征在于，包括疑似样品生成部， 该疑似样品生成部生成疑似样品；判定输入部，该判定输入部输入由人对上述疑似样品进 行判定时的合格与否的结果；疑似样品特征量生成部，该疑似样品特征量生成部基于上述 判定输入部输入的合格与否的结果来生成合格品和不合格品的边界附近的特征量，设定为 上述疑似样品的特征量；SVM判定部，该SVM判定部基于上述疑似样品生成部生成的疑似样 品的特征量来生成合格品和不合格品的边界线，进行利用SVM解析的合格与否的判定；判 定比较部，该判定比较部对上述判定输入部的合格与否的结果与上述SVM判定部的合格与 否的结果进行比较；再判定输入部，该再判定输入部输入由人对上述判定比较部中的合格 与否的结果不同的疑似样品进行再判定的合格与否的结果；加权处理部，该加权处理部对 于由上述再判定输入部输入的合格与否结果，附加对应于由上述SVM判定部生成的边界线起的距离的加权，来追加样品；以及感观检查部，该感观检查部添加由上述加权处理部追加 的样品来进行合格与否的判定。另外，为了达到以上目的，本发明的感观检查方法的特征在于，包括疑似样品生 成工序，该疑似样品生成工序生成疑似样品；判定输入工序，该判定输入工序输入由人对上 述疑似样品进行判定时的合格与否的结果；疑似样品特征量生成工序，该疑似样品特征量 生成工序基于上述判定输入工序输入的合格与否的结果来生成合格品和不合格品的边界 附近的特征量，设定为上述疑似样品的特征量；SVM判定工序，该SVM判定工序进行基于上 述疑似样品的特征量来生成合格品和不合格品的边界线的SVM解析，利用上述SVM解析进 行合格与否的判定；判定比较工序，该判定比较工序对上述判定输入工序与上述SVM判定 工序的结果进行比较；再判定输入工序，该再判定输入工序输入由人对上述判定比较工序 中的合格与否的判定不同的疑似样品进行再判定的合格与否的结果；加权处理工序，该加 权处理工序对于由上述再判定输入工序输入的结果，附加对应于由上述SVM判定工序生成 的边界线起的距离的加权，来追加疑似样品；以及感观检查工序，该感观检查工序添加由上 述加权处理工序追加的样品来进行合格与否的判定。
图1(a)是表示本发明的实施方式1中的感观检查装置的疑似样品发生系统的框 图。图1 (b)是表示本实施方式1中的感观检查装置的模式识别学习装置的框图。图2是表示本实施方式1中的疑似样品生成处理的流程的流程图。图3(a)是表示本实施方式1中的、以摄像机对LCD进行摄像所得的图像中合格品 图像的例子的图。图3(b)是表示本实施方式1中的、以摄像机对LCD进行摄像所得的图像中不合格 品图像的例子的图。图4是表示本实施方式1中的特征量提取的流程的流程图。图5(a)是说明本实施方式1中的特征量空间的初始样品的特征量的图。图5(b)是说明本实施方式1中的特征量空间的初始样品合格与否的结果的图。图5(c)是表示本实施方式1中的疑似样品的增加方法的图。图5(d)是表示本实施方式1中的特征量空间中的、疑似样品增加后合格与否的结 果的图。图6是表示本实施方式1中的疑似样品生成部的结构的框图。图7是表示本实施方式1中的模式识别学习方法的流程的流程图。图8是举例表示本实施方式1中的特征量空间映射的图。图9是举例表示本实施方式1中的人对特征量空间上的疑似样品进行判定的结果 的图。图10是举例表示本实施方式1中的特征量空间上的SVM的判定结果的图。图11是说明本实施方式1中的特征量空间上的加权处理方法的图。图12(a)是说明本实施方式2中的特征量空间中的初始样品的特征量的图。图12(b)是说明本实施方式2中的特征量空间中的初始样品合格与否的结果的图。图12(c)是表示本实施方式2中的疑似样品的增加方法的图。图12(d)是表示本实施方式2中的特征量空间中的、疑似样品增加后合格与否的 结果的图。图13是表示使用模式识别的检查中的特征量空间的图。图14是表示现有的感观检查装置中的、特征量空间的合格与否区域学习装置的 结构的图。图15是表示现有的感官检查装置中的特征量空间中、基于合格品来合成不合格 品的情况的图。图16是表示现有的特征量空间中的、合格品和不合格品的分布的图。
具体实施例方式下面，参照附图，说明本发明的实施方式。另外，在以下的说明中，对相同的结构附 加相同标号，适当地省略说明。(实施方式1)首先，使用图1 图11，说明实施方式1中的感观检查装置及感观检查方法。图1 (a)是表示本发明的实施方式1中的感观检查装置的疑似样品发生系统的框 图。图1 (b)是表示本发明的实施方式1中的感观检查装置的模式识别学习装置的框图。在 本实施方式1中，疑似样品发生系统是疑似样品发生装置。在图1(a)中，利用合格品数据输入部1读取预先保存的合格品的图像、声音等数 据，经由进行滤波处理、特征量的提取的特征量提取部2，将所提取出的特征量输入到特征 量空间生成部3。特征量空间生成部3基于特征量的分布进行标准化、坐标变换，生成特征 量空间，由特征量空间存储部4存储该坐标系。另外，在样品特征量生成部5中，基于由特 征量空间生成部3生成的特征量空间来生成初始样品的特征量，并输出到特征量空间存储 部4和疑似样品生成部6。在疑似样品生成部6中，将由样品特征量生成部5生成的初始样品的特征量与从 合格品数据输入部1输入的合格品数据进行合成，来生成疑似样品。此时，在特征量中存在 自由度的情况下，也可以利用随机数发生部7来决定该自由度的范围内的特征量，用于生 成疑似样品。然后，在疑似样品显示部8中，显示由疑似样品生成部6生成的疑似样品。在 判定输入部9中，检查员能够输入所显示的疑似样品的合格与否，将其结果发送到特征量 空间存储部4。在特征量空间存储部4中，成对地存储从样品特征量生成部5输入的疑似样 品的特征量、和与其相对应的从判定输入部9输入的判定结果。对疑似样品特征量生成部10输入特征量空间存储部4中存储的特征量空间和疑 似样品的判定结果，来新生成有效的样品的特征量，使得在模式识别中划定边界线(表示 合格品和不合格品的边界的线)，并输入到疑似样品生成部6和特征量空间存储部4。该特 征量与疑似样品的特征量同样，以与判定结果成对的方式存储到特征量空间存储部4。图2是表示本发明的实施方式1中的疑似样品生成处理的流程的流程图。如图2所示，在生成疑似样品的情况下，首先，在合格品数据输入部1中，读出多个 预先由检测部检测并保存的合格品的数据(步骤S001)。接着，在特征量提取部2中，从各合格品数据中提取出特征量(步骤S002)。然后，在特征量空间生成部3中，基于与各合格品 数据的平均值的偏差来计算马氏距离，由此进行各特征量的标准化，生成表示标准化后的 各特征量分布的特征量空间，用特征量空间存储部4对特征量空间进行存储(步骤S003)。 接着，在样品特征量生成部5中，生成多个从原点起的马氏距离为固定值的样品作为初始 样品(步骤S004)。此时，也可以生成马氏距离为某种程度的范围内的初始样品，作为某种 程度的范围，最好将从固定值起士 10%以内设为范围。具体而言，最好从原点起的马氏距 离为2 5。另外，在初始样品有多个的情况下，最好将其均等地配置在以特征量空间的原 点为中心的超球面上。接着，在疑似样品生成部中，基于由步骤SOOl读出的合格品数据的 平均值来生成标准合格品数据，将所生成的初始样品的特征量与标准合格品数据的特征量 进行合成，来生成疑似样品(步骤S005)。接着，用疑似样品显示部8显示所生成的疑似样 品，熟练的检查员、质量保证的责任者对所显示的疑似样品来判定合格与否，将其结果输入 到判定输入部9(步骤S006)。接着，将输入的判定结果和与其相对应的疑似样品的特征量 追加到特征量空间上(步骤S007)。此处，在特征量空间上的样品数量为小于一定值N的情况下，基于所存储的样品 的特征量，来生成新追加样品的特征量。作为样品数量的一定值N，适当地设定为基于检查 员的经验的数字、设计上所要求的数字(步骤S008)。在步骤S008之后返回步骤S005，基 于新生成的追加样品的特征量来再次生成疑似样品。在样品数量为一定值N以上的情况 下，结束生成疑似样品。由此，结束生成疑似样品，成为模式识别的能进行学习的状态(步 骤 S009)。接着，使用图3、图4，来具体说明本实施方式的学习动作。图3是以摄像机拍摄IXD (液晶显示器)的图像的例子，表示了从X方向和Y方向 这两个方向来看其一部分的线亮度文件的图。图3(a)是合格品图像，图3(b)是存在不均 勻的情况下的不合格品图像。在图3(a)的合格品图像的情况下，有较大的光滑的明暗变化 (shading)，但局部的变动较小。另一方面，图3(b)的不合格品图像有与合格品图像相同的 明暗变化，还有局部的变动，该不合格品图像是作为不均勻而成为不合格的。此处所谓的明 暗变化，现状是指图像的中心附近比端部要明亮，若观察图像整体的线亮度文件，则为山形 那样。另外，相对于在该整体上发生的明暗变化，将在局部发生的、部分的与相邻亮度的变 化不一致的亮度分布的部位作为不均勻。首先，为了求出与标准合格品的平均值的偏差，读取从η个合格品获取的图像。为 了求出与平均值的偏差，合格品的个数越多越好，但由于在最开始准备样品较难且耗时间， 因此，此时的合格品只要有20个左右就可以(参照图2的步骤S001)。接下来，提取出合格品的不均勻的特征量。使用图4说明该工序。图4是表示实 施方式1中的特征量提取的流程的流程图。在提取出合格品的不均勻的特征量时，首先在 合格品数据输入部ι中输入合格品的图像(步骤S021)。接着，通过低通滤波器来获得从合 格品图像除去了局部变动的图像(步骤S022)。通过将其从原始合格品图像中减去，从而去 除明暗变化的影响，能够获得仅局部变动的图像(步骤S023)。然后，以一定的阈值对该图 像进行二值化处理(步骤S0M)。在进行二值化处理后，对多个具有不均勻的部分加以标记 (步骤S025)。接着，在加以标记的各部分算出面积和体积(步骤S(^6)。检索其中亮度最 大的最大亮度作为最大的不均勻(步骤S027)。最后，输出最大的不均勻的面积Si (i = 1，2，…，η)和体积Vi(i = 1，2，…，η)作为特征量(步骤S(^S)。此处，只取最大不均勻的 原因在于，若其是合格品级别的，则能够将其他较小的不均勻也判定为合格品，若其是不合 格品级别的，则能将至少比其大的不均勻判定为不合格(参照图2的步骤S002)。由此，若提取出合格品的不均勻的特征量，则接着利用特征量空间生成部3来基 于马氏距离生成特征量空间。若将由步骤S002求出的面积Si和体积Vi的平均值分别设 为ms、mv，将标准偏差分别设为σ s、σ ν，将对面积Si和体积Vi进行了标准化后的特征量 分别设为si、vi，则si、vi可由下式(式1)求出。[数学式1]
权利要求
1.一种感观检查装置，其特征在于，包括疑似样品生成部，该疑似样品生成部生成疑似样品；判定输入部，该判定输入部输入由人对所述疑似样品进行判定的合格与否的结果； 疑似样品特征量生成部，该疑似样品特征量生成部基于所述判定输入部输入的合格 与否的结果来生成合格品和不合格品的边界附近的特征量，以设定为所述疑似样品的特征 量；SVM判定部，该SVM判定部基于所述疑似样品生成部生成的疑似样品的特征量，来生成 合格品和不合格品的边界线，进行利用SVM解析的合格与否的判定；判定比较部，该判定比较部对所述判定输入部的合格与否的结果与所述SVM判定部的 合格与否的结果进行比较；再判定输入部，该再判定输入部输入由人对所述判定比较部中的合格与否的结果不同 的疑似样品进行再判定的合格与否的结果；加权处理部，该加权处理部对于由所述再判定输入部输入的合格与否结果，附加对应 于由所述SVM判定部生成的边界线起的距离的加权，来追加样品；以及感观检查部，该感观检查部添加由所述加权处理部追加的样品来进行合格与否的判定。
2.如权利要求1所述的感观检查装置，其特征在于，包括合格品数据输入部，该合格品数据输入部输入合格品样品的合格品数据； 特征量空间生成部，该特征量空间生成部将从所述合格品数据中提取出的特征量进行 变换，使得从特征量空间的原点起的距离成为马氏距离；初始样品生成部，该初始样品生成部生成从特征量空间的原点起的距离成为固定值的 初始样品，基于所述初始样品来生成疑似样品。
3.如权利要求2所述的感观检查装置，其特征在于，所述初始样品是从特征量空间的原点起的距离为固定值士 10%以内。
4.如权利要求3所述的感观检查装置，其特征在于， 所述初始样品是从特征量空间的原点起的距离为2 5之间。
5.如权利要求1 权利要求4的任一项所述的感观检查装置，其特征在于，由所述判定输入部输入的合格与否的结果可分为合格品、边界线附近的合格品、边界 线附近的不合格品、及不合格品这四级。
6.如权利要求5所述的感观检查装置，其特征在于，所述疑似样品可由以下任一种方法生成，即基于所述判定输入部的判定合格与否的 样品的结果、减小合格品样品的特征量的马氏距离的方法；增大不合格品样品的特征量的 马氏距离的方法；及以相同比例对边界线附近的合格品样品、边界线附近的不合格品样品 中的两个样品的特征量的原点起的距离与方向进行合成的方法。
7.如权利要求6所述的感观检查装置，其特征在于，对边界线附近的合格品样品、边界线附近的不合格品样品中的两个样品的特征量的特 征量空间的原点起的距离和方向进行合成的比例分别为1/2。
8.如权利要求5所述的感观检查装置，其特征在于，所述初始样品均等地配置在以特征量空间的原点为中心的超球面上，所述疑似样品可通过以下任一种方法生成即，基于由所述判定输入部判定的样品的 结果、减小合格品样品的特征量的马氏距离的方法；及增大不合格品样品的特征量的马氏 距离的方法。
9.如权利要求8所述的感观检查装置，其特征在于，对于由人对所述判定输入部和所述SVM判定部的合格与否的判定结果不同的疑似样 品进行再判定的结果，再次实施SVM解析，持续进行再判定直至所述判定输入部和所述SVM判定部的合格与否的结果一致。
10.如权利要求9所述的感观检查装置，其特征在于，当对于再判定的疑似样品、附加加权进行复制来使疑似样品增加时， 在所述再判定输入部中，以直线连接再判定的疑似样品的点P、和与再判定的疑似样品 合格与否相反的判定空间群的重心点0，对于该直线与SVM解析的合格与否判定空间的边界线的交点Q，在将线段OQ设为Li、 将线段QP设为L2、将加权系数设为M的情况下，进行MXL2/L1的量的加权。
11.一种感观检查方法，其特征在于，包括疑似样品生成工序，该疑似样品生成工序生成疑似样品；判定输入工序，该判定输入工序输入由人对所述疑似样品进行判定时的合格与否的结果；疑似样品特征量生成工序，该疑似样品特征量生成工序基于所述判定输入工序输入的 合格与否的结果来生成合格品和不合格品的边界附近的特征量，设定为所述疑似样品的特 征量；SVM判定工序，该SVM判定工序进行基于所述疑似样品的特征量来生成合格品和不合 格品的边界线的SVM解析，利用所述SVM解析进行合格与否的判定；判定比较工序，该判定比较工序对所述判定输入工序与所述SVM判定工序的结果进行 比较；再判定输入工序，该再判定输入工序输入由人对所述判定比较工序中的合格与否的判 定不同的疑似样品进行再判定的合格与否的结果；加权处理工序，该加权处理工序对于由所述再判定输入工序输入的结果，附加对应于 由所述SVM判定工序生成的边界线起的距离的加权，来追加疑似样品；以及感观检查工序，该感观检查工序添加由所述加权处理工序追加的样品来进行合格与否 的判定。
12.如权利要求11所述的感观检查方法，其特征在于，包括合格品数据输入工序，该合格品数据输入工序输入合格品样品的合格品数据； 特征量空间生成工序，该特征量空间生成工序将从所述合格品数据中提取出的特征量 进行变换，使得从特征量空间的原点起的距离成为马氏距离；以及初始样品生成工序，该初始样品生成工序生成从特征量空间的原点起的距离成为固定 值的初始样品，基于所述初始样品来生成疑似样品。
13.如权利要求12所述的感观检查方法，其特征在于，所述初始样品是从特征量空间的原点起的距离为固定值士 10%以内。
14.如权利要求13所述的感观检查方法，其特征在于，所述初始样品是从特征量空间的原点起的距离为2 5之间。
15.如权利要求11 权利要求14的任一项所述的感观检查方法，其特征在于，由所述判定输入工序输入的合格与否的结果可分为合格品、边界线附近的合格品、边 界线附近的不合格品、及不合格品这四级。
16.如权利要求15所述的感观检查方法，其特征在于，所述疑似样品可由以下任一种方法生成，即基于所述判定输入工序的判定样品的结 果、减小合格品样品的特征量的马氏距离的方法；增大不合格品样品的特征量的马氏距离 的方法；及以相同比例对边界线附近的合格品、边界线附近的不合格品样品中的两个样品 的特征量的原点起的距离与方向进行合成的方法。
17.如权利要求16所述的感观检查方法，其特征在于，对边界线附近的合格品、边界线附近的不合格品样品中的两个样品的特征量的原点起 的距离和方向进行合成的比例分别为1/2。
18.如权利要求16所述的感观检查方法，其特征在于，所述初始样品均等地配置在以特征量空间的原点为中心的超球面上，所述疑似样品可通过以下任一种方法生成即，基于由所述判定输入工序判定的样品 的结果、减小合格品样品的特征量的马氏距离的方法；及增大不合格品样品的特征量的马 氏距离的方法。
19.如权利要求18所述的感观检查方法，其特征在于，对于由人对所述判定输入工序和所述SVM判定工序的合格与否的判定结果不同的疑 似样品进行再判定的结果，再次实施SVM解析，持续进行再判定直至所述判定输入工序和所述SVM判定工序的合格与否的结果一致。
20.如权利要求19所述的感观检查方法，其特征在于，当对再判定的疑似样品、附加加权并进行复制来使疑似样品增加时，在所述再判定输入工序中，以直线连接再判定的疑似样品的点P、和与再判定的疑似样 品合格与否相反的判定空间群的重心点0，对于该直线与SVM解析的合格与否判定空间的边界线的交点Q，在将线段OQ设为Li、 将线段QP设为L2、将加权系数设为M的情况下，进行MXL2/L1的量的加权。
全文摘要
本发明的感观检查装置及感观检查方法，由于是使用从特征量空间的原点起分布在马氏距离的初始样品，对成为合格与否的判定基准的合格与否判定的边界线进行学习，从而能仅使用边界附近的初始样品进行学习，因此能以较少的学习用的样品来决定最合适的合格与否的判定基准。另外，由于在使用疑似样品进行学习时，向进行了误判定的疑似样品附加加权，从而不新追加疑似样品，就能在机械性的判定工序中再次对误判定的疑似样品进行判定，因此，能以较少的学习用样品来决定最适合的合格与否判定基准。
文档编号G06K9/62GK102129563SQ20101059203
公开日2011年7月20日 申请日期2010年12月10日 优先权日2010年1月15日
发明者大森丰, 武智洋平, 浦岛毅吏 申请人:松下电器产业株式会社