专利名称：图像解析方法以及图像解析装置的制作方法
技术领域：
本发明涉及一种用于识别对象物的图像解析方法以及图像解析装置。
背景技术：
作为根据拍摄图像各像素的亮度值已经确定了的拍摄图像数据，对识别对象物进 行识别的方法，已知以下方法，即，从基于拍摄图像数据的亮度梯度信息中取得识别对象物 的轮廓线的方法，和从基于图像数据的浓淡图像中提取对象物的边缘信息，根据边缘点序 列进行对象物的提取以及位置检测的方法(例如，专利文献1以及2)。专利文献1 日本国特开平9-171553号公报专利文献2 日本国特许2981382号公报
发明内容
但是，在基于上述专利文献1所示的亮度梯度取得轮廓线的方法中，如果对象物 和背景之间没有产生可以得到充分亮度梯度的亮度差，则无法得到明确的轮廓线，存在如 果在对象物和背景之间没有充分的亮度差就无法进行识别的问题。另外，在专利文献2中所示的现有技术的情况下，以从对象物中得到边缘信息作 为前提，如果在对象物和背景之间没有充分的亮度差则无法得到充分的边缘信息，存在识 别困难的问题。本发明的目的在于，可以稳定地进行对象物的识别。技术方案1记载的发明，是一种由图像解析装置进行的图像解析方法，该图像解 析装置基于包含识别对象和所述识别对象周围的背景在内的拍摄图像的拍摄图像数据，进 行所述识别对象的识别，所述识别对象的表面由特定的纹理组成，其特征在于，具有基准特征量取得工序，其针对所述拍摄图像中的仅由所述特定纹理组成的纹理区 域中的规定的单位区域，利用多种方法，求出作为基准的纹理的特征量；比较特征量取得工序，其将所述拍摄图像中的至少包含所述纹理区域以及所述纹 理区域周围的背景在内的提取区域，分割为与所述纹理区域的单位区域相同大小的单位区 域，对于各个所述单位区域，利用所述多种方法，求出特征量；一致度取得工序，其对于所述提取区域的各单位区域，针对所述各方法的每个特 征量求出与所述纹理区域的个别一致度，并求出分别对所述个别一致度进行加权并合成的 合成一致度；判定工序，其根据所述合成一致度的值，判定所述提取区域的各单位区域是识别 对象还是背景；边界线取得工序，其从在所述判别工序中判别为识别对象的多个单位区域中，求 出所述提取区域中的识别对象与背景的边界线；以及误差检测工序，其对所述拍摄图像中的实际的边界线和在所述边界线取得工序中 取得的边界线之间的误差进行检测，
通过一边逐次变更针对所述个别一致度的加权模式，一边反复进行所述一致度取 得工序、判定工序、边界线取得工序以及误差检测工序，从而确定用于使所述误差小于或等 于阈值或使所述误差最小的加权模式，按照所述加权模式，从所述拍摄图像中对所述识别对象进行识别。技术方案2记载的发明，具有与技术方案1记载的发明同样的构成，其特征在于， 利用共生矩阵的14种特征量的计算方法的一部分或者全部作为求出所述特征量的多种方法。技术方案3记载的发明，是一种图像解析装置，其基于包含识别对象和所述识别 对象周围的背景在内的拍摄图像的拍摄图像数据，进行所述识别对象的识别，所述识别对 象的表面由特定的纹理组成，其特征在于，具有基准特征量取得单元，其针对所述拍摄图像中的仅由所述特定纹理组成的纹理区 域中的规定的单位区域，利用多种方法，求出作为基准的纹理的特征量；比较特征量取得单元，其将所述拍摄图像中的至少包含所述纹理区域以及所示纹 理区域周围的背景在内的提取区域，分割成与所述纹理区域的单位区域相同大小的单位区 域，对于各个所述单位区域，利用所述多种方法，求出特征量；一致度取得单元，其针对所述提取区域的各单位区域，针对所述各方法的每个特 征量求出与所述纹理区域的个别一致度，并求出分别将所述个别一致度加权并合成的合成
一致度；判定单元，其根据所述合成一致度的值，判定所述提取区域的各单位区域是识别 对象还是背景；边界线取得单元，其从利用所述判别单元判别为识别对象的多个单位区域中，求 出所述提取区域中的识别对象和背景的边界线；以及误差检测单元，其对所述拍摄图像中的实际边界线和由所述边界线取得单元取得 的边界线之间的误差进行检测，通过一边逐次变更针对所述个别一致度的加权模式，一边反复由所述一致度取得 单元进行所述合成一致度的取得、由所述判定单元进行判定、由所述边界线取得单元进行 所述边界线的取得以及由误差检测单元进行误差检测，从而确定用于使所述误差小于或等 于阈值或者使所述误差最小的加权模式，按照加权模式，从拍摄图像中对所述识别对象进行识别。技术方案4记载的发明，具有与技术方案3记载的发明相同的构成，并且，其特征 在于，利用共生矩阵的14种特征量的计算方法的一部分或者全部作为求出所述特征量的 多种方法。发明的效果技术方案1以及3记载的发明，通过从拍摄图像数据中的识别对象物的纹理区域 中，利用多种方法取得特征量并合成，从特征量一致的单位区域中求出识别对象与背景的 边界线，以使与实际边界位置的误差变小的方式反复尝试，而确定与特征量的一致度有关 的加权模式。由此，根据基于识别对象的固有纹理的特征量，识别对象物，从而无论与背景 是否有亮度差，都可以有效地对识别对象进行识别。另外，由于确定与多种方法相关的加权的适当的模式，所以排除各方法在识别精度上存在差异的影响，可以实现更加正确的识别，上述多种方法与纹理相关。技术方案2以及4记载的发明，由于作为用于取得纹理特征量的方法而采用确定 的共生矩阵的14种特征量的计算方法，所以可以更加有效地识别各种纹理的识别对象。
图1是表示本实施方式所涉及的电子部件安装装置整体的俯视图。图2是表示电子部件安装装置的控制系统的框图。图3是图像解析装置的功能框图。图4是学习数据生成处理的流程图。图5是表示在拍摄图像数据的拍摄图像内设定的各种区域的说明图。图6(A)是表示纹理区域和单位区域关系的说明图，图6(B)是表示提取区域和单 位区域关系的说明图。图7(A)是表示单位区域的各像素中的亮度值例子的说明图，图7(B)是表示共生 矩阵中的变位的概念的说明图，图7 (C)是表示共生矩阵的说明图。图8是表示纹理区域的特征量的正态分布的线图。图9是表示特征量的误差与一致度的关系的线图。图10是表示各单位区域是否存在焊剂的说明图。图11是将实际轮廓线和生成轮廓线重叠图示的说明图。图12是表示实际搭载动作时的拍摄图像的例子的说明图。
具体实施例方式(实施方式的整体构成)基于图1至图12，说明本发明的实施方式。本实施方式表示下述例子将图像解 析装置10用于电子搭载装置100中，该图像解析装置10用于对在拍摄图像内由特定的纹 理形成的识别对象物与背景进行识别，本实施方式的目的是将电子部件的搭载位置即焊剂 图案作为识别对象物进行识别。(电子部件安装装置)电子部件搭载装置100向基板搭载各种电子部件，作为电子部件的搭载单元，如 图1所示，具有多个电子部件供给器101，它们对搭载的电子部件进行供给；作为电子部 件供给部的供给器保持部102，其排列并保持多个电子部件供给器101 ；基板输送单元103， 其向一定方向输送基板；搭载作业部104，其用于相对于利用该基板输送单元103设置在基 板输送路径中途的基板，进行电子部件搭载作业；作为部件保持单元的搭载头106，其保持 吸附有电子部件的吸附嘴105，进行电子部件的保持；作为搭载头移动单元的X-Y龙门架 107，其向规定范围内的任意位置驱动输送搭载头106 ；作为拍摄单元的CXD照相机108，其 用于识别进行电子部件搭载的焊剂图案，搭载在搭载头106上，进行基板拍摄；以及控制装 置120，其对电子部件搭载装置100的各结构进行控制。图像解析装置10组装在控制装置120中，其目的是，为了搭载电子部件，从CXD照 相机108的基板拍摄图像中识别焊剂图案，将正确的位置信息反映在搭载头106的定位动 作中。
另外，在以下的说明中，将沿水平面互相正交的一个方向称为X轴方向，将另一个 方向称为Y轴方向，将垂直上下方向称为Z轴方向。基板输送单元103具有未图示的输送带，利用该输送带，沿X轴方向输送基板。另外，如上所述，在基板输送单元103的基板输送路径的中途设置搭载作业部 104，其向基板搭载电子部件。基板输送单元103，将基板输送至搭载作业部104并停止，利 用未图示的保持机构进行基板的保持。即，基板以由保持机构保持的状态进行稳定的电子 部件的搭载作业。搭载头106设有吸附嘴105，其在前端部利用空气吸引保持电子部件；Z轴电动 机111 (参照图2)，其是在Z轴方向上驱动该吸附嘴105的驱动源；以及旋转电动机112 (参 照图2)，其是以Z轴方向为中心，对经由吸附嘴105保持的电子部件进行旋转驱动的旋转驱 动源。另外，各吸附嘴105与真空发生源连接，通过在该吸附嘴105的前端部进行吸气， 从而进行电子部件的吸附以及保持。S卩，利用上述构造，在搭载作业时，利用吸附嘴105的前端部从规定的电子部件供 给器101中吸附电子部件，在规定位置上使吸附嘴10朝向基板下降，并且使吸附嘴105旋 转，一边调整电子部件的朝向，一边进行搭载作业。另外，上述的CXD照相机108搭载在搭载头106上，通过利用X_Y龙门架107驱动 搭载头106，定位在基板的拍摄位置上。X-Y龙门架107具有Χ轴导轨107a，其向X轴方向引导搭载头106的移动；两根Y 轴导轨107b，它们将搭载头106与该X轴导轨107a—起向Y轴方向引导；X轴电动机109 (参 照图2)，其是使搭载头106沿X轴方向移动的驱动源；以及Y轴电动机110(参照图2)，其 是经由X轴导轨107使搭载头106向Y轴方向移动的驱动源。并且，利用各电动机109、110 的驱动，可以在两根Y轴导轨107b间形成的大致整个区域内输送搭载头106。另外，各电动机通过由控制装置120识别各自的旋转量，控制成期望的旋转量，从 而经由搭载头106进行吸附嘴105和CXD照相机108的定位。另外，可以与电子部件的需要相对应，将上述供给器保持部102和搭载作业部104 均配置在由X-Y龙门架107形成的搭载头106的可输送区域内。供给器保持部102具有多个沿X-Y平面的平坦部，在该平坦部上，沿X轴方向排列 并载置装备有多个电子部件供给器101。CXD照相机108以从搭载头106朝向下方的状态被保持，通过从上方对基板进行拍 摄，识别焊剂图案。(控制装置)图2是表示电子部件搭载装置100的控制系统的框图。如图2所示，控制装置120 主要具有CPU 121，其进行X-Y龙门架107的X轴电动机109、Y轴电动机110、在搭载头106 中进行吸附嘴105的升降的Z轴电动机111、进行吸附嘴105的旋转的旋转电动机112、和 CCD照相机108的动作控制，按照规定的控制程序执行各种处理以及控制；ROM 122，其存储 用于执行各种处理以及控制的程序；RAM 123，其通过存储各种数据，成为各种处理的作业 区域；未图示的I/F(接口)，其实现CPU 121与各种设备的连接；操作面板124，其用于输入 在各种设定和操作中所需的数据；EEPROM 126，其存储用于执行各种处理以及控制的设定数据；以及显示器125，其显示各种设定的内容和后述的检查结果等。另外，上述的各电动 机109 112经由未图示的电动机驱动器与控制装置120连接。(图像解析装置)图3是图像解析装置10的功能框图。图像解析装置10的后述的各功能实际上通 过控制装置120的CPU 121执行规定的程序而实现。图像解析装置10具有主控制部11，其对整体进行统一控制；图像输入部20，其 从CCD照相机108的输出中取得拍摄图像数据；图像分割部30，其基于拍摄图像数据，分割 成矩形的图像区域；误差测定点输入部40，其将操作者利用操作面板124在拍摄图像内的 焊剂图案和其背景的边界线上指定的多个点设定为误差测定点；特征量提取部50，其提取 焊剂图案的纹理的特征量；特征量合成部60，其决定用于将提取出的特征量进行合成的后 述参数，并对特征量进行合成；以及误差检测部70，其检测误差测定点和输出形状的误差 并进行判定。根据上述结构，图像解析装置10在进行电子部件的搭载动作之前，预先执行学习 数据生成处理，该学习数据生成处理取得用于对焊剂图案的特征量进行合成的正确的参 数，在搭载动作时，利用在学习数据生成处理中得到的参数，根据CCD照相机108的拍摄图 像，执行识别焊剂图案的处理。(学习数据生成处理)下面，按照图4的流程图所示的处理顺序，说明上述图像解析装置10进行的焊剂 图案的纹理的学习数据生成处理。首先，利用图像输入部20，由CXD照相机108进行包含焊剂图案在内的基板的拍 摄，将该图像作为拍摄图像数据进行存储(步骤Si)。然后，由操作者进行误差测定点G的输入，误差测定点输入部40进行处理，记录由 该输入操作指定的图像内的位置(步骤S2)。图5表示由CXD照相机108拍摄到的拍摄图像，最外侧的矩形区域Al表示拍摄图 像的范围，H表示拍摄到的焊剂图案。由于焊剂的表面由焊剂所特有的粒状纹理同样地覆盖，所以在电子部件的搭载动 作时，求出该纹理的特征量而与背景进行识别，求出作为焊剂图案H与背景的边界线的轮 廓线R，进行电子部件搭载。在该学习数据生成处理中，为了取得用于从拍摄图像中识别轮 廓线R所必要的正确参数(后述)，基于在显示装置125中显示出的拍摄图像，操作者在视 觉上对轮廓线R进行识别，将该轮廓线上的任意多个位置(在本例中为6个)作为误差测 定点G，从操作面板124例如利用光标操作等进行位置指定并输入，在图像解析装置10中， 将输入的误差测定点G在拍摄图像区域内的位置坐标存储在RAM 123中。然后，由操作者进行用于取得焊剂纹理的特征量的纹理区域A2的输入，特征量提 取部50进行处理，记录由该输入操作指定的区域的位置以及范围(步骤S3)。该纹理区域A2没有大小限制，但更加优选形成为可以至少得到30个程度的后述 8X8像素的单位区域A3的范围，另外，要求在纹理区域A2的区域内不包含焊剂以外的部 分。S卩，与上述的误差测定点G的输入同样地，基于在显示装置125中显示的拍摄图 像，操作者利用操作面板124例如通过利用光标操作等对指定范围的四角进行位置指定并
8输入，从而指定输入纹理区域A2，在图像解析装置10中，将表示输入的纹理区域A2在拍摄 图像区域内的位置以及范围的坐标存储在RAM 123中。然后，特征量提取部50进行处理，根据输入的纹理区域A2取得纹理的图像特征量 (步骤S4 基准特征量取得工序)。在该处理中，特征量提取部50作为“基准特征量取得单 元”起作用。在纹理的图像特征量的取得中使用共生矩阵。所谓共生矩阵，是纹理特征量计算 中利用统计学进行纹理特征计算的方法之一，利用以下定义的共生矩阵，可以对作为图像 的空间纹理之一的对比度和局部一致性等14种要素求出特征量。首先，为了生成共生矩阵，如图6(A)所示进行下述处理利用水平方向分割线LH 和垂直方向分割线LV对上述的纹理区域A2进行分割，切出8X8像素的正方形的单位区域 A3。如上所述，分割得到的单位区域A3的数量只要为30个程度(在图中为48个)就足够。 如后所述，由于将基于各单位区域A3的特征量平均化并求出标准偏差，所以准备30个(在 图中为48个)单位区域A3，在统计学上是充分的数量。并且，对于各单位区域A3分别生成共生矩阵。以图7㈧所示的8X8的单位图像A3为列进行说明，如图7(B)所示，从图像的亮 度值i (形成32阶灰度i = 0 31)的像素开始，在角度θ的方向上相距长度r的位移 δ = (r, θ )的像素的亮度值为j，以该概率P δ (i，j)为要素的图7(C)所示的矩阵为共生 矩阵。另外，在本实施方式中，针对i行j列的要素，输入在所述位移的情况下相对于亮度 值i的像素而亮度值成为j的像素的个数。另外，在本实施方式中，对于位移，在r = 1时， 对于角度θ =0°和θ =180°这两个方向生成一个共生矩阵。另外，同样地，也生成θ =45 (225)、90 (270)、135 (315)的共生矩阵。并且，对于各单位区域A3的共生矩阵，利用下式⑴ (14)的计算式，计算出14 种特征量fi(i = 1 14)。另外，fi值为实数，例如，fl =角二阶矩，f2 =对比度，f3 =熵 等。众所周知，fi值具有区别纹理的能力。由于对于上述纹理的特征量所表示的意义，在 “新編，画像解析〃 > K寸,”、高木幹雄·下田陽久監修”中详细进行说明，所以在这里省 略说明。
权利要求
一种由图像解析装置进行的图像解析方法，该图像解析装置基于包含识别对象和所述识别对象周围的背景在内的拍摄图像的拍摄图像数据，进行所述识别对象的识别，所述识别对象的表面由特定的纹理组成，其特征在于，具有基准特征量取得工序，其针对所述拍摄图像中的仅由所述特定纹理组成的纹理区域中的规定的单位区域，利用多种方法，求出作为基准的纹理的特征量；比较特征量取得工序，其将所述拍摄图像中的至少包含所述纹理区域以及所述纹理区域周围的背景在内的提取区域，分割为与所述纹理区域的单位区域相同大小的单位区域，对于各个所述单位区域，利用所述多种方法，求出特征量；一致度取得工序，其对于所述提取区域的各单位区域，针对所述各方法的每个特征量求出与所述纹理区域的个别一致度，并求出分别对所述个别一致度进行加权并合成的合成一致度；判定工序，其根据所述合成一致度的值，判定所述提取区域的各单位区域是识别对象还是背景；边界线取得工序，其从在所述判别工序中判别为识别对象的多个单位区域中，求出所述提取区域中的识别对象与背景的边界线；以及误差检测工序，其对所述拍摄图像中的实际的边界线和在所述边界线取得工序中取得的边界线之间的误差进行检测，通过一边逐次变更针对所述个别一致度的加权模式，一边反复进行所述一致度取得工序、判定工序、边界线取得工序以及误差检测工序，从而确定用于使所述误差小于或等于阈值或使所述误差最小的加权模式，按照所述加权模式，从所述拍摄图像中对所述识别对象进行识别。
2.根据权利要求1所述的图像解析方法，其特征在于，利用共生矩阵的14种特征量的计算方法的一部分或者全部作为求出所述特征量的多 种方法。
3.一种图像解析装置，其基于包含识别对象和所述识别对象周围的背景在内的拍摄图 像的拍摄图像数据，进行所述识别对象的识别，所述识别对象的表面由特定的纹理组成，其 特征在于，具有基准特征量取得单元，其针对所述拍摄图像中的仅由所述特定纹理组成的纹理区域中 的规定的单位区域，利用多种方法，求出作为基准的纹理的特征量；比较特征量取得单元，其将所述拍摄图像中的至少包含所述纹理区域以及所示纹理区 域周围的背景在内的提取区域，分割成与所述纹理区域的单位区域相同大小的单位区域， 对于各个所述单位区域，利用所述多种方法，求出特征量；一致度取得单元，其针对所述提取区域的各单位区域，针对所述各方法的每个特征量 求出与所述纹理区域的个别一致度，并求出分别将所述个别一致度加权并合成的合成一致 度；判定单元，其根据所述合成一致度的值，判定所述提取区域的各单位区域是识别对象 还是背景；边界线取得单元，其从利用所述判别单元判别为识别对象的多个单位区域中，求出所 述提取区域中的识别对象和背景的边界线；以及误差检测单元，其对所述拍摄图像中的实际边界线和由所述边界线取得单元取得的边 界线之间的误差进行检测，通过一边逐次变更针对所述个别一致度的加权模式，一边反复由所述一致度取得单元 进行所述合成一致度的取得、由所述判定单元进行判定、由所述边界线取得单元进行所述 边界线的取得以及由误差检测单元进行误差检测，从而确定用于使所述误差小于或等于阈 值或者使所述误差最小的加权模式，按照加权模式，从拍摄图像中对所述识别对象进行识别。
4.根据权利要求3所述的图像解析装置，其特征在于，利用共生矩阵的14种特征量的计算方法的一部分或者全部作为求出所述特征量的多 种方法。
全文摘要
本发明提供一种图像解析方法以及图像解析装置，其可以有效地识别对象物。针对纹理区域(A2)的单位区域(A3)，利用多种方法求出特征量，针对提取区域(A4)的各单位区域(A5)同样地求出特征量，求出对它们以各种方法进行加权并合成的一致度，根据合成的一致度的值，识别提取区域的各单位区域是识别对象还是背景，按照该判定求出识别对象和背景的边界线，求出在拍摄图像中的实际的边界线上的位置和由判定取得的边界线的误差，以使该误差充分变小的方式逐次变更加权模式，从而实现优化，按照优化的加权模式，从拍摄图像中对识别对象进行识别。
文档编号G06T7/00GK101996404SQ201010263170
公开日2011年3月30日 申请日期2010年8月20日 优先权日2009年8月21日
发明者寺地隆, 横瀬仁彦 申请人:Juki株式会社