图像处理装置及基板生产系统的制作方法

本发明涉及适用于生产安装有电子元件的基板的生产设备的图像处理装置及具备该图像处理装置的基板生产系统。

背景技术：

作为基板生产装置、检查装置，生产设备构成电路基板制品的生产线。该生产设备对基板执行各种生产处理(包括检查处理)。另外，生产设备通过拍摄装置来拍摄对象物，基于图像处理装置使用通过该拍摄而取得的图像数据识别出的对象物的状态，控制生产处理。例如，在专利文献1中公开有通过图像处理来识别保持于吸嘴的电子元件的保持状态并将该状态反映于朝向基板的安装控制中的元件安装机。

然而，对于设于生产设备的拍摄装置而言，考虑到距拍摄的对象物为止的距离大致恒定这一情况、设备成本等，多采用焦距被设为恒定的透镜单元。采用了这样的透镜单元的拍摄装置以预定的相机视野进行拍摄而取得与拍摄元件的像素数相对应的分辨率的图像数据。在此，当将相机视野设定为广域时，在对象物较小的情况下在图像数据中所占的对象物的面积较小，有可能无法确保图像处理所要求的分辨率。

于是，即使作为较小的对象物，拍摄装置的透镜单元为了取得确保了充分的分辨率的图像数据而也在某种程度上将相机视野设定为较窄。但是，若这样进行设定，则有可能因对象物的尺寸而导致对象物超出相机视野。于是，在专利文献2中设为通过超分辨处理来取得高分辨率数据的结构。由此，即使相机视野被设定为收入对象物的范围，图像处理装置也能够使用确保了必要的分辨率的高分辨率数据来进行图像处理。

专利文献1：日本特开2013-26278号公报

专利文献2：日本特开平11-191157号公报

技术实现要素：

然而，作为超分辨处理，如专利文献2所记载的那样，已知有使用多个图像数据来生产高分辨率数据的多帧型。该多帧型的超分辨处理需要与超分辨处理的程度相对应的处理时间。因此，在生产设备中的基板的生产处理中执行较多的图像处理的情况下，有可能导致生产处理的周期时间延长。

本发明鉴于这样的情况而作出，其目的在于提供能够在缩短使用了超分辨处理的图像处理所需的时间的同时减少图像处理的负荷的图像处理装置。

技术方案1的图像处理装置是适用于对基板执行各种生产处理的生产设备的图像处理装置，上述生产设备具备：拍摄装置，通过拍摄对象物而取得图像数据；及控制装置，基于上述图像处理装置使用上述图像数据识别出的上述对象物的状态，控制上述生产处理，上述图像处理装置具备：处理判定部，在执行上述生产处理时，针对上述对象物的每个类型判定是否需要对上述图像数据执行超分辨处理；超分辨处理部，根据上述处理判定部的判定结果，执行使用了多个上述图像数据的超分辨处理，生成高分辨率数据；及状态识别部，基于上述图像数据及上述高分辨率数据中的与上述处理判定部的判定结果相对应的一方来识别上述对象物的状态。

根据这样的结构，超分辨处理部根据处理判定部的判定结果来执行超分辨处理，生成高分辨率数据。即，图像处理装置根据对象物的类型来切换是否执行超分辨处理，基于低分辨率数据(图像数据)或者高分辨率数据，识别对象物的状态。由此，在基于图像处理装置的对象物的识别处理中，能够抑制过度的超分辨处理的执行。因此，在对多种对象物进行图像处理的情况下，图像处理所需的时间缩短，并且图像处理的负荷减少。

附图说明

图1是表示实施方式中的基板生产系统的整体的框图。

图2是表示图1中的元件安装机的整体图。

图3是表示零件数据生成处理及处理管理数据生成处理的流程图。

图4是表示适合性判定的结果与处理管理数据的关系的图。

图5是表示基于元件安装机的安装处理的流程图。

图6是表示保持状态的识别处理的流程图。

图7是表示变形样态中的处理管理数据的图。

具体实施方式

以下，参照附图说明将本发明的图像处理装置及基板生产系统具体化了的实施方式。图像处理装置适用于构成电路基板制品的基板生产系统的生产设备。在生产设备中，包含有基板生产系统中的生产线的基板生产装置、检查装置、离线的辅助装置等。

＜实施方式＞

(基板生产系统的整体结构)

参照图1说明基板生产系统1的整体结构。如图1所示，基板生产系统1具备生产线2、相机单元3、基板搬运装置5、主计算机40而构成。生产线2沿基板的搬运方向设置对基板执行各种生产处理的多个生产设备(基板生产装置、检查装置)而构成。

在基板生产装置中包含向基板安装电子元件的元件安装机10、未图示的丝网印刷机等。另外，在检查装置中包含未图示的印刷检查装置、外观检查装置等。生产线2中的基板生产装置、检查装置等各种生产设备经由网络而与主计算机40以能够通信的方式连接。由此，生产线2的生产设备构成为能够与主计算机40之间输入输出各种数据。

相机单元3通过通用相机31拍摄对象物，执行各种图像处理。通用相机31构成为能够相对于载置有电子元件的载置台(未图示)相对移动。相机单元3在本实施方式中具有零件数据生成部32。零件数据生成部32在执行基于元件安装机10的电子元件的安装处理(元件安装机10中的生产处理)前，生成该安装处理所使用的零件数据M2。这样，相机单元3是在离线时辅助基板生产的生产设备。

在此，“零件数据”是指包含有电子元件的规格所涉及的元件种类、形状数据等的数据。具体地说，包含在电子元件的类型、针对该每个类型分配的识别符号、针对图像数据的图像处理、与图像数据之间的比较中所使用的视觉类型、形状、尺寸所涉及的形状信息等。该零件数据M2在被共通地使用于多个元件安装机10的安装处理的情况下存储在主计算机40的存储装置42。

上述零件数据生成部32进行使用了通用相机31拍摄而取得的图像数据的图像处理。基于通用相机31的拍摄的对象物是在基于元件安装机10的安装处理中装配于基板的类型的电子元件。零件数据生成部32通过图像处理来识别电子元件的外形，并且将包括电子元件的外形在内的各种信息与电子元件的每个类型建立关联，生成零件数据M2。

基板搬运装置5由带式输送机等构成，将基板依次朝向搬运方向搬运。基板搬运装置5将基板定位于元件安装机10的机内的预定的位置。并且，基板搬运装置5在执行了基于元件安装机10的安装处理后，将基板向元件安装机10的机外搬出。

主计算机40监视生产线2的动作状况，进行包含元件安装机10在内的基板生产装置等的控制。该主计算机40具有数据最佳化部41和存储装置42。数据最佳化部41将元件安装机10在安装处理中所使用的安装数据M1最佳化。该安装数据M1是规定了电子元件的安装顺序的动作程序。

数据最佳化部41以使生产处理的生产节拍时间形成为最短的方式变更安装数据中的电子元件的安装顺序。具体地说，数据最佳化部41考虑供电子元件安装的基板Bd上的坐标、电子元件的每个类型的供给位置等安装环境等而执行最佳化处理。通过安装数据M1的最佳化而缩短后述的安装头26的移动距离、或者缩短待机时间，从而提高生产效率。

主计算机40的存储装置42由硬盘、闪存等构成。在存储装置42中存储有用于控制基板生产装置的各种数据。具体地说，存储装置42存储包含生产的基板类型、生产数量在内的生产计划、由数据最佳化部41进行了最佳化的安装数据M1等。

(元件安装机10的结构)

参照图1及图2说明元件安装机10的结构。元件安装机10具备基台11、元件供给装置12、元件移载装置13、元件相机14、基板相机15及控制装置16而构成。各装置12、13及元件相机14设于元件安装机10的基台11。另外，如图2所示，将元件安装机10的水平宽度方向(从图2的左上朝向右下的方向)设为X轴方向，将元件安装机10的水平长度方向(从图2的右上朝向左下的方向)设为Y轴方向，将铅垂高度方向(图2的上下方向)设为Z轴方向。

元件供给装置12是供给向基板Bd装配的电子元件的装置。元件供给装置12配置于元件安装机10的Y轴方向上的前部侧(图2的左下侧)。在本实施方式中，将元件供给装置12设为使用了多个盒式的供料器21的供料方式。元件供给装置12对以预定间隔收纳有电子元件的元件包装带进行间距输送。由此，元件供给装置12在位于供料器21的顶端侧(图2的右上侧)的供给位置Ps供给电子元件。

元件移载装置13构成为能够沿X轴方向及Y轴方向移动。元件移载装置13从元件安装机10的长度方向上的后部侧(图2的右上侧)配置到前部侧的元件供给装置12的上方。元件移载装置13具备头驱动装置25、安装头26及多个吸嘴27。头驱动装置25构成为能够通过直动机构使移动台沿XY轴方向移动。安装头26以能够装卸的方式设于头驱动装置25的移动台。

各吸嘴27以能够装卸的方式设于安装头26。安装头26将各吸嘴27支撑为能够沿与Z轴平行的R轴旋转、并且能够升降。各吸嘴27控制相对于安装头26的升降位置、角度、负压的供给状态。各吸嘴27通过供给负压而在顶端部吸附并保持在供给位置Ps供给的电子元件。这样，元件移载装置13具有在元件安装机10保持电子元件的功能，相当于本发明的“保持装置”。

元件相机14及基板相机15是具有CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等拍摄元件的数字式的拍摄装置。元件相机14及基板相机15以基于能够通信地连接的控制装置16的控制信号为基础，执行收入到相机视野的范围的拍摄处理。元件相机14及基板相机15将拍摄对象物而取得的图像数据向控制装置16送出。

元件相机14固定于基台11，将被各吸嘴27保持的电子元件设为拍摄的对象物。元件相机14的透镜单元被设定为焦点与从拍摄元件起处于恒定的距离的对象物一致。另外，元件相机14的透镜单元的相机视野Fv被设定为收入安装头26所支撑的多个吸嘴27的全部吸嘴的范围。即，当通过被设定为该相机视野Fv的元件相机14进行拍摄时，能够将被多个吸嘴27保持的全部电子元件收纳于1页图像数据内。

另外，从元件相机14取得了图像数据的控制装置16通过图像处理来识别基于吸嘴27的电子元件的保持状态。并且，控制装置16根据电子元件的保持状态来校正吸嘴27的位置及角度，从而提高安装处理的精度。后述电子元件的保持状态的识别处理的详细内容。

基板相机15固定于头驱动装置25的移动台，将在元件安装机10的机内被定位了的基板作为拍摄的对象物。从基板相机15取得了图像数据的控制装置16通过图像处理识别例如标记于基板Bd的基板标记，由此识别基于基板搬运装置5的基板Bd的定位状态。并且，控制装置16根据基板Bd的定位状态，校正头驱动装置25的移动台的位置。

控制装置16主要由CPU、各种存储器、控制电路构成。在控制装置16的存储部29存储有用于使元件安装机10动作的安装数据M1、从元件相机14及基板相机15转送的图像数据等。控制装置16基于后述的图像处理装置50使用取得的图像数据而识别出的对象物的状态，控制安装处理。控制装置16根据通过图像处理而取得的信息，校正基于安装数据M1的元件供给装置12、元件移载装置13等的动作。由此，提高安装处理的精度。

(图像处理装置50的结构)

说明适用于元件安装机10及相机单元3的图像处理装置50的结构。在此，本发明的“生产设备”示例“元件安装机10”及“相机单元3”的样态，本发明的“对象物”示例被元件安装机10的保持装置(元件移载装置13)保持的“电子元件”的样态。

在图像处理装置50所进行的各种图像处理中，包含有识别在元件安装机10的控制装置16校正吸嘴27的位置及角度时所使用的电子元件的保持状态(相当于本发明的“对象物的状态”)的处理。在该保持状态的识别处理中，使用通过元件相机14的拍摄而取得的图像数据。

在此，对于元件相机14的透镜单元，如上述那样，焦距被设定为恒定，并且考虑配置有支撑于安装头26的多个吸嘴27的范围而设定相机视野。因此，在将取得的图像数据直接用于保持状态的识别处理的情况下，在图像数据中所占的小型元件的面积较小，有可能无法确保识别处理所要求的分辨率。

于是，在本实施方式中，根据安装处理的对象为小型元件等的需要，图像处理装置50进行超分辨处理。这样，图像处理装置50在电子元件的保持状态的识别处理中使用确保了要求的分辨率的高分辨率数据，从而提高该识别处理的精度。

如图1所示，图像处理装置50具备设于元件安装机10的安装机侧处理部Dp和设于相机单元3的辅助机侧处理部Ds。安装机侧处理部Dp具有处理判定部51、超分辨处理部52及状态识别部53。辅助机侧处理部Ds具有零件数据生成部32、适合性判定部55及处理管理数据生成部56。

安装机侧处理部Dp的处理判定部51在执行基于元件安装机10的电子元件的安装处理时，对应电子元件的每个类型判定是否需要执行对图像数据的超分辨处理。详细地说，处理判定部51在安装处理中每当吸嘴27保持电子元件时，根据该电子元件的类型判定是否执行超分辨处理。另外，在本实施方式中，处理判定部51基于处理管理数据M3判定是否需要执行超分辨处理。后述该处理管理数据M3的详细内容。

超分辨处理部52在执行基于元件安装机10的电子元件的安装处理时，根据基于处理判定部51的判定结果，执行使用了多个图像数据的超分辨处理，生成高分辨率数据。超分辨处理是提高输入的图像数据的分辨率的图像处理，已知有多个种类的处理方法。超分辨处理部52采用多帧型的超分辨处理。详细地说，超分辨处理部52进行使用了在元件相机14相对于电子元件的相对位置互不相同的拍摄位置处拍摄的多个图像数据的超分辨处理。

另外，超分辨处理部52并不局限于在安装处理中每当吸嘴27保持电子元件时执行超分辨处理。即，超分辨处理部52根据基于处理判定部51的判定结果，使用以与规定的类型相应的电子元件为对象物的图像数据，执行超分辨处理。这样，图像处理装置50形成为根据电子元件的类型来切换是否执行超分辨处理的结构。

状态识别部53在执行基于元件安装机10的电子元件的安装处理时，基于与图像数据及高分辨率数据中的、与基于处理判定部51的判定结果相对应的一方，识别电子元件的状态。在此，电子元件的状态是指包含保持于吸嘴27的电子元件的位置及角度在内的保持状态。

另外，状态识别部53在处理判定部51将超分辨处理的执行判定为“需要”的情况，基于通过超分辨处理部52生成的高分辨率数据，进行电子元件的识别处理。另一方面，状态识别部53在处理判定部51将超分辨处理的执行判定为“不需要”的情况下，基于通过元件相机14的拍摄而取得的图像数据(以下，也称为“低分辨率数据”)，进行电子元件的识别处理。

在此，当作为保持状态的识别的对象的电子元件在图像数据中所占的面积较小时，识别精度降低。其理由在于，例如，当为了表示电子元件的某一边而使用的像素数低于预定像素数时，难以算出该一边的长度、角度。于是，通过超分辨处理生成根据预定像素数而示出电子元件的一边的高分辨率数据，并用于保持状态的识别。

由此，状态识别部53识别包含电子元件相对于吸嘴27的X轴方向、Y轴方向上的位置及电子元件相对于吸嘴27中心轴的旋转角度在内的保持状态。状态识别部53针对保持于安装头26所支撑的多个吸嘴27的多个电子元件T的数量重复相同的处理。并且，状态识别部53将各电子元件的保持状态存储在存储部29。

辅助机侧处理部Ds的适合性判定部55在执行基于元件安装机10的电子元件的安装处理前针对对象物的每个类型判定拍摄电子元件而取得的图像数据的分辨率是否适合于基于状态识别部53的识别处理。适合性判定部55在适合性判定中所使用的图像数据是通过相机单元3的通用相机31的拍摄而取得的。更加详细地说，在本实施方式中，适合性判定部55沿用通过零件数据生成部32生成零件数据M2所使用的图像数据。

在此，安装机侧处理部Dp的状态识别部53在识别处理中所使用的图像数据是在执行安装处理时通过元件安装机10的元件相机14的拍摄而取得的。因此，适合性判定部55的适合性判定所使用的图像数据与基于状态识别部53的识别处理所使用的图像数据不同。于是，适合性判定部55考虑相机单元3的通用相机31的性能与元件安装机10的元件相机14的性能的差值，判定图像数据是否适合于基于状态识别部53的识别处理。

例如，将通用相机31的性能与元件相机14的性能设为同等程度。在该情况下，通过通用相机31的拍摄而取得的图像数据的分辨率是否适合于基于状态识别部53的识别处理的判定结果与对于通过元件相机14的拍摄而取得的图像数据进行了相同的适合性判定的结果相同。与此相对，在元件相机14的相机视野比通用相机31的相机视野宽广的情况下，适合性判定部55考虑由不同的相机视野而引起的朝向低分辨率侧的变动量而进行适合性判定。

另外，关于基于适合性判定部55的适合性判定，适用各种方法。在本实施方式中，适合性判定部55采用了基于高分辨率数据和低分辨率数据来进行上述适合性判定的方法。即，适合性判定部55基于通过使用了通用相机31拍摄电子元件而取得的多个图像数据的超分辨处理来生成的高分辨率数据和该超分辨处理所使用的任意的图像数据(低分辨率数据)，判定图像数据的分辨率是否适合于基于状态识别部53的识别处理。

更加详细地说，适合性判定部55例如对高分辨率数据及低分辨率数据分别进行识别电子元件的位置的图像处理。并且，适合性判定部55在识别出的电子元件的各位置在允许误差内的情况下，判定为低分辨率数据的分辨率适合于基于状态识别部53的识别处理。另一方面，在识别出的电子元件的各位置超过允许误差的情况下、或者在低分辨率数据中无法识别电子元件的位置的情况下，判定为低分辨率数据的分辨率不适合基于状态识别部53的识别处理。

处理管理数据生成部56以基于适合性判定部55的判定结果为基础，生成针对电子元件的每个类型进行了是否需要执行超分辨处理的设定的处理管理数据M3。在本实施方式中，处理管理数据M3如图4的右侧表所示，针对电子元件的每个类型(A、B、C…)，设定是否需要超分辨处理(需要、需要、不需要、…)。处理管理数据生成部56在生成处理管理数据M3时，在适合性判定部55的判定结果为“不适合”的情况下，设定为需要超分辨处理，在适合性判定部55的判定结果为“适合”的情况下，设定为不需要超分辨处理。

另外，处理管理数据生成部56将生成的处理管理数据M3向元件安装机10送出。元件安装机10将取得的处理管理数据M3存储在存储部29。并且，在执行基于元件安装机10的安装处理时，安装机侧处理部Dp的处理判定部51基于处理管理数据M3，判定是否需要执行超分辨处理。

(零件数据M2及处理管理数据M3的生成处理)

参照图3说明上述相机单元3中的零件数据M2及处理管理数据M3的生成处理。各数据M2、M3的生成处理在执行基于元件安装机10的安装处理前进行。如图5所示，在各数据M2、M3的生成处理中，首先，在相机单元3的载置台设置电子元件(步骤11(以下，将“步骤”记为“S”))。

接着，辅助机侧处理部Ds通过通用相机31对电子元件进行规定次数的拍摄处理(S12)。该拍摄处理使用后述的超分辨处理所使用的图像数据。具体地说，拍摄处理在通用相机31相对于电子元件的相对位置互不相同的多个(与规定次数相对应的)拍摄位置处拍摄电子元件。“多个拍摄位置”例如是相互错开在比通用相机31的拍摄元件中的像素的间隔小的距离加上上述间隔的整数倍的距离所得的量的位置。

另外，“规定次数”是以在通过多帧型的超分辨处理而生成的高分辨率数据中确保基准的分辨率的方式规定的拍摄的次数。即，进行使用了通过规定次数以上的拍摄而取得的多个图像数据的超分辨处理，从而生成至少具有适合于基于状态识别部53的识别处理的基准的分辨率的高分辨率数据。另外，对于规定次数，既可以针对电子元件的每个类型设定不同的值，也可以针对任意的类型设定恒定的值。

接着，辅助机侧处理部Ds执行使用了多个图像数据的超分辨处理，生成高分辨率数据(S13)。详细地说，辅助机侧处理部Ds首先进行多个图像数据的对位。该对位例如是基于在拍摄时使通用相机31相对于相机单元3的载置台相对移动的指令值、使图像数据所包含的基准点一致的图像处理的结果来进行的。并且，辅助机侧处理部Ds基于对位后的多个图像数据，执行生成高分辨率数据的重构处理。通过这样的超分辨处理，辅助机侧处理部Ds取得根据预定像素数而示出电子元件的高分辨率数据。

零件数据生成部32使用通过S13的超分辨处理而取得的高分辨率数据，生成与在S11中设置的电子元件的类型相对应的零件数据M2(S14)。辅助机侧处理部Ds针对作为对象的全部电子元件的类型，判定零件数据M2的生成是否结束(S15)。

在对象的电子元件的类型剩余的情况下(S15：否)，重复上述处理(S11～S15)。在针对全部电子元件的类型而零件数据M2的生成结束的情况下(S15：是)，结束零件数据M2的生成处理(S11～S15)，并向处理管理数据M3的生成处理转移。

辅助机侧处理部Ds将通过S12的拍摄而取得的多个图像数据中的一个图像数据作为低分辨率数据，并进行使用了该低分辨率数据的规定的图像处理(S21)。而且，辅助机侧处理部Ds进行使用了通过S13的超分辨处理而取得的高分辨率数据的规定的图像处理(S22)。在规定的图像处理(S21、S22)中，例如，包含有二值化、边缘提取等。通过规定的图像处理(S21、S22)，识别各图像数据中的电子元件的位置、角度、外形。

接着，适合性判定部55基于规定的图像处理(S21、S22)的结果，判定低分辨率数据是否适合于基于状态识别部53的识别处理(S23)。在本实施方式中，适合性判定部55根据在S21中使用低分辨率数据而识别出的电子元件的位置相对于在S22中使用高分辨率数据而识别出的电子元件的位置是否在允许误差的范围内来进行适合性判定。这利用了在低分辨率数据的分辨率为一定值以上的情况下通过图像处理而识别出的电子元件的位置形成为与使用了高分辨率数据的图像处理的结果(电子元件的位置)相同这一情况。

在低分辨率数据适合于基于状态识别部53的识别处理的情况下(S23：是)，适合性判定部55针对该电子元件的类型将执行基于元件安装机10的安装处理时的超分辨处理设为“不需要”，并设定为处理管理数据M3(S24)。另一方面，在低分辨率数据不适合基于状态识别部53的识别处理的情况下(S23：否)，适合性判定部55针对该电子元件的类型将执行基于元件安装机10安装处理时的超分辨处理设为“需要”，并设定为处理管理数据M3(S25)。

并且，辅助机侧处理部Ds针对作为对象的全部电子元件的类型判定是否需要超分辨处理所涉及的设定(S24、S25)是否结束(S26)。在对象的子元件的类型剩余的情况下(S26：否)，重复上述处理(S21～S26)。在针对全部电子元件的类型而是否需要超分辨处理所涉及的设定(S24、S25)结束的情况下(S26：是)，结束处理管理数据M3的生成处理(S21～S26)。

如图4所示，通过上述处理(S21～S26)，针对作为对象的全部电子元件的每个类型自动生成进行了是否需要执行超分辨处理的设定的处理管理数据M3。在此，基于适合性判定部55的判定结果及处理管理数据M3形成为图4所示的关系。适合性判定部55例如在针对电子元件的类型A无法通过S21的图像处理来识别电子元件的位置的情况下，如图4的左侧表所示，将类型A的低分辨率数据评价为“不可”。

另外，适合性判定部55在虽然针对电子元件的类型B能够通过S21的图像处理来识别电子元件的位置但是与通过使用了高分辨率数据的图像处理识别出的电子元件的位置超出允许误差的情况下，将类型B的低分辨率数据评价为“不足”。适合性判定部55在针对电子元件的类型C而通过S21的图像处理识别出的电子元件的位置相对于在S22中识别出的电子元件的位置在允许误差的范围内的情况下，将类型C的低分辨率数据评价为“适合”。

如上述那样，在适合性判定部55将低分辨率数据评价为“不可”或者“不足”的情况下(S23：否)，处理管理数据生成部56将对应的电子元件的类型A、B所涉及的低分辨率数据设为不适合电子元件的识别处理，针对是否需要超分辨处理而设定为“需要”(图4的右侧表)。另外，在适合性判定部55将低分辨率评价为“适合”的情况下(S23：是)，处理管理数据生成部56针对对应的电子元件的类型C将是否需要执行安装处理时的超分辨处理设定为“不需要”。

(电子元件的安装控制)

参照图5说明基于元件安装机10的电子元件的安装处理。在该安装处理中，元件安装机10的控制装置16根据安装数据M1首先执行使电子元件依次吸附于多个吸嘴27的吸附处理(S31)。接着，控制装置16使安装头26朝向基板Bd的装配位置的上方移动。

安装机侧处理部Dp在安装头26移动的过程中执行保持于吸嘴27的电子元件的保持状态的识别处理(S32)。之后，元件安装机10的控制装置16执行将电子元件依次向基板Bd装配的装配处理(S33)。然后，控制装置16判定全部电子元件的装配是否结束(S34)，在装配结束之前重复上述处理(S31～S34)。

另外，控制装置16根据电子元件的状态的识别处理(S32)的结果，识别吸嘴27所吸附的电子元件的有无、保持的电子元件的正确与否、吸嘴27对电子元件的保持状态等。并且，控制装置16在装配对象的电子元件正确的情况下，根据电子元件的保持状态校正吸嘴27的位置及角度，控制电子元件的安装处理。

(电子元件的保持状态的识别处理)

参照图5及图6说明上述电子元件的保持状态的识别处理(S32)。安装机侧处理部Dp在执行元件安装机10的安装处理前，参照在相机单元3的辅助机侧处理部Ds生成的处理管理数据M3(S41)。然后，安装机侧处理部Dp针对吸嘴27通过吸附处理(S31)当前保持的电子元件的类型而取得是否需要执行超分辨处理。

安装机侧处理部Dp基于取得的是否需要执行超分辨处理，设定拍摄次数(S42)。详细地说，在针对吸嘴27所保持的电子元件的类型而将超分辨处理的执行设为需要的情况下，作为拍摄次数，例如设定预先规定的“4次”。该次数相当于超分辨处理所使用的图像数据的数量。另外，在将超分辨处理的执行设为不需要的情况下，作为拍摄次数，设定“1次”。此外，在多个吸嘴27保持不同类型的电子元件的情况下，设定最大数量的拍摄次数。

控制装置16使安装头26向最初的拍摄位置移动(S43)。作为该最初的拍摄位置，例如，为元件相机14的光轴与在安装头26上以能够旋转的方式保持多个吸嘴27的旋转部件的中止一致的位置。然后，控制装置16进行多个电子元件的拍摄处理(S44)。

具体地说，控制装置16自控制装置16的马达控制电路输入安装头26所支撑的吸嘴27位于元件相机14的上方这一情况。然后，控制装置16以对元件相机14进行拍摄的方式送出控制指令。由此，拍摄保持于多个吸嘴27的状态下的全部电子元件，并将基于该拍摄的图像数据存储在存储部29。

接着，控制装置16判定4个拍摄位置处的拍摄是否结束(S45)，在未结束的情况下(S45：否)，重复上述处理(S43～S45)。当再次使安装头26移动时，控制装置16使安装头26沿X轴方向或者Y轴方向移动跨越拍摄元件中的像素的间隔的一半的距离(S43)。然后，控制装置16再次进行移动了半个像素的电子元件的拍摄处理(S44)。

当全部拍摄位置处的拍摄结束时(S45：是)，存储部29存储基于最初的拍摄处理的图像数据。另外，在S42中设定的拍摄次数为“4次”的情况下，存储部29除了存储上述图像数据以外，还存储沿X轴方向移动了半个像素的图像数据、沿Y轴方向移动了半个像素的图像数据、沿X轴方向及Y轴方向分别移动了半个像素的图像数据。

接着，处理判定部51基于处理管理数据M3，判定是否需要执行针对图像数据的超分辨处理(S46)。在超分辨处理的执行为需要的情况下(S46：是)，超分辨处理部52执行使用了多个图像数据的超分辨处理，生成高分辨率数据(S47)。关于该超分辨处理，由于实际上与基于辅助机侧处理部Ds的超分辨处理(S13)相同，因此省略详细的说明。

在基于超分辨处理部52的超分辨处理(S47)结束后、或者在通过处理判定部51将超分辨处理的执行判定为不需要的情况下(S46：否)，状态识别部53执行包含保持于吸嘴27的电子元件的位置及角度在内的保持状态的识别处理(S48)。在此，状态识别部53基于图像数据及高分辨率数据中的、与基于处理判定部51的判定结果相对应的一方，识别电子元件的保持状态。

即，状态识别部53在判定结果为“需要”的情况下(S46：是)，将通过超分辨处理(S47)而生成的高分辨率数据用于识别处理。另一方面，状态识别部53在判定结果为“不需要”的情况下(S46：否)，将通过拍摄处理(S44)而取得的原有图像数据(低分辨率数据)用于识别处理。

另外，状态识别部53基于低分辨率数据或者高分辨率数据、与电子元件的类型相对应的零件数据M2，执行保持状态的识别处理。详细地说，状态识别部53基于低分辨率数据或者高分辨率数据中的电子元件、零件数据M2的视觉类型、形状信息，进行模式匹配。作为电子元件的保持状态，状态识别部53将电子元件相对于各个吸嘴27的X轴方向、Y轴方向上的偏移量及电子元件相对于吸嘴27的中心轴的旋转角度存储在存储部29，结束该保持状态的识别处理。

(基于实施方式的结构的效果)

本实施方式的图像处理装置50适用于对基板Bd执行各种生产处理(安装处理)的生产设备(元件安装机10)。生产设备(元件安装机10)具备：拍摄装置(元件相机14)，通过拍摄对象物(电子元件)而取得图像数据；及控制装置16，基于图像处理装置50使用图像数据识别出的对象物(电子元件)的状态，控制生产处理(安装处理)。图像处理装置50具备：处理判定部51，在执行生产处理(安装处理)时，针对对象物(电子元件)的每个类型判定是否需要对图像数据执行超分辨处理；超分辨处理部52，根据处理判定部51的判定结果，执行使用了多个图像数据的超分辨处理，生成高分辨率数据；及状态识别部53，基于图像数据及高分辨率数据中的与处理判定部51的判定结果相对应的一方来识别对象物(电子元件)的状态。

根据这样的结构，超分辨处理部52根据处理判定部51的判定结果，执行超分辨处理，生成高分辨率数据(S47)。即，图像处理装置50根据电子元件的类型来切换是否执行超分辨处理，基于低分辨率数据或者高分辨率数据，识别电子元件的保持状态。由此，在基于图像处理装置50的电子元件的识别处理中，抑制了过度的超分辨处理的执行。因此，在对多种电子元件进行图像处理的情况下，缩短了图像处理所需的时间，并且减少了图像处理的负荷。

另外，图像处理装置50还具备：适合性判定部55，在执行生产处理(安装处理)前，针对对象物(电子元件)的每个类型判定通过拍摄对象物(电子元件)而取得的图像数据的分辨率是否适合于状态识别部53的识别处理；及处理管理数据生成部56，基于适合性判定部55的判定结果，生成针对对象物(电子元件)的每个类型进行了是否需要执行超分辨处理的设定的处理管理数据M3。处理判定部51基于处理管理数据M3来判定是否需要执行超分辨处理(S46)。

根据这样的结构，自动生成处理判定部51所参照的处理管理数据M3(S21～S26)。另外，处理管理数据M3实际上反映了基于通过拍摄电子元件而取得的图像数据的、适合性判定部55的判定结果。由此，处理管理数据M3能够更加恰当地设定是否需要执行超分辨处理。因此，可靠地防止了过度执行超分辨处理。另外，由于自动生成处理管理数据M3，因此操作人员的操作负荷减少。

另外，适合性判定部55基于通过使用了拍摄对象物(电子元件)而取得的多个图像数据的超分辨处理生成的高分辨率数据和该超分辨处理所使用的任一图像数据，判定图像数据的分辨率是否适合于状态识别部53的识别处理(S23)。

根据这样的结构，适合性判定部55通过比较实际上生成的高分辨率数据与未执行超分辨处理的图像数据(低分辨率数据)来判定低分辨率数据的适合性(S23)。由此，在即使将低分辨率数据与高分辨率数据相比而判定为适合于识别处理的情况下(S23：是)，也防止了不需要的超分辨处理的执行。另一方面，在判定为低分辨率数据不适合识别处理的情况下(S23：否)，适当地执行超分辨处理(S47)，防止识别处理的精度降低。

另外，对象物是安装于基板Bd的电子元件，图像处理装置50还具备零件数据生成部32，该零件数据生成部32在执行生产处理(安装处理)前使用通过拍摄电子元件而取得的图像数据来生成将包含电子元件的形状在内的各种信息与电子元件的每个类型相关联而得到的零件数据M2。适合性判定部55判定通过零件数据生成部32生成零件数据M2所使用的图像数据的分辨率是否适合于状态识别部53的识别处理(S23)。

根据这样的结构，适合性判定部55基于为了生成零件数据M2而通过拍摄电子元件所取得的图像数据来进行判定(S23)。由此，无需为了判定而重新拍摄电子元件，能够沿用该图像数据。因此，更加高效地生成处理管理数据M3。另外，为了识别零件数据M2所包含的电子元件的形状而在零件数据M2的生成中执行超分辨处理(S13)。适合性判定部55也同样能够在适合性判定(S23)中沿用通过该超分辨处理(S13)而生成的高分辨率数据。

另外，生产设备是向基板Bd安装电子元件的元件安装机10，对象物(电子元件)是由元件安装机10的保持装置保持的电子元件。

在基于元件安装机10的安装处理中，有时会要求大量地安装多种电子元件。通过上述那样的图像处理装置50的结构，能够缩短执行安装处理时的拍摄处理(S44)、图像处理(S47、S48)所需的时间，能够缩短周期时间。由此，将本发明应用于元件安装机10是特别有用的。

＜实施方式的变形样态＞

(处理管理数据M3)

在实施方式中，处理管理数据M3如图4的右侧表所示，针对电子元件的每个类型设定是否需要超分辨处理。与此相对，处理管理数据M3也可以针对对象物(电子元件)的每个类型设定表示超分辨处理的程度的处理基准。具体地说，如图7所示，处理管理数据M3的处理标准也可以根据超分辨处理部52生成高分辨率数据时所使用的图像数据的数量(帧)而进行规定。

超分辨处理部52在执行超分辨处理时从处理管理数据M3取得与对象物的类型相对应的处理标准。并且，超分辨处理部52通过使用了多个图像数据的超分辨处理，生成满足该处理标准的高分辨率数据。根据这样的结构，超分辨处理部52根据针对对象物(电子元件)的每个类型预先设定的处理标准而执行超分辨处理。

即，图像处理装置50除了超分辨处理的执行/不执行的切换以外，还在执行的情况下根据阶段性地设定的处理内容来执行超分辨处理。通常，在多帧型的超分辨处理中，该处理所使用的图像数据的数量越多，则越能够获得高分辨率的图像数据，但是需要与此相应的处理时间。与此相对，根据上述这样的结构，能够设定与对象物(电子元件)的类型相对应的处理标准，因此能够防止超分辨处理的程度变得过度。

另外，在根据超分辨处理所使用的图像数据的数量来规定处理标准的情况下，操作人员能够参照处理管理数据M3，根据图像数据的数量来确认超分辨处理的程度。因此，处理管理数据M3的管理性提高。另外，关于处理标准，除了图像数据的数量以外，也能够采用根据目标分辨率等来规定处理标准的样态。在这样的结构中，由于与元件相机14的性能相对应地适当地决定图像数据的数量，因此处理管理数据M3的通用性提高。

另外，在实施方式中，处理管理数据M3是通过辅助机侧处理部Ds的生成处理(S21～S26)自动生成的。与此相对，处理管理数据M3也可以由操作人员、生产线2的管理者基于生产实绩等而生成。在这样的样态中，元件安装机10在执行安装处理前从主计算机40与安装数据M1及零件数据M2一起取得处理管理数据M3。

(基于适合性判定部55的适合性判定)

在实施方式中，适合性判定部55基于通过超分辨处理(S13)而生成的高分辨率数据和该超分辨处理(S13)所使用的任一低分辨率数据，判定低分辨率数据的分辨率是否适合于基于状态识别部53的识别处理(S23)。与此相对，适合性判定部55也可以不借助高分辨率数据与低分辨率数据之间的比较而通过其他的样态来进行适合性判定。

例如，适合性判定部55也可以采用比较根据拍摄时的拍摄装置与对象物的相对位置算出的该对象物的位置与通过针对图像数据的图像处理而取得的对象物的位置的方法。具体地说，图像处理装置50首先基于在拍摄处理(S12)中使通用相机31相对于相机单元3的载置台相对移动的指令值，算出电子元件的位置。

而且，图像处理装置50通过针对图像数据的图像处理计算电子元件相对于通用相机31的位置。并且，适合性判定部55通过图像数据上的位置相对于控制上的位置是否处于允许误差的范围内来进行适合性判定。根据这样的结构，图像处理装置50无需为了适合性判定而进行超分辨处理，因此能够减少处理负荷。

(安装数据M1的最佳化)

在实施方式中，基板生产系统1具备使安装数据M1最佳化的数据最佳化部41。该数据最佳化部41也可以基于供电子元件安装的基板上的坐标及处理管理数据M3的超分辨处理的需要与否，使安装数据M1最佳化。

在安装数据M1的最佳化处理中，在安装头26具有多个吸嘴27的情况下，例如，在吸附处理(S31)中将相同类型的电子元件或者靠近供给位置Ps的电子元件在安装数据M1的内部分组。然后，数据最佳化部41以将分组后的类型的电子元件通过一系列的处理(S31～S33)装配于基板Bd的方式更换安装顺序。

在此，数据最佳化部41也可以基于供电子元件安装的基板Bd上的坐标及处理管理数据M3的超分辨处理的需要与否，使安装数据M1最佳化。即，数据最佳化部41在安装数据M1的内部对电子元件进行分组时，考虑处理管理数据M3的内容。例如，在吸附处理(S31)中多个吸嘴27保持不同类型的电子元件的情况下，数据最佳化部41将其分组为需要超分辨处理的类型和不需要超分辨处理的类型并进行最佳化。

根据如此进行最佳化而得到的安装数据M1，能够在吸附处理(S31)中抑制混合保持将超分辨处理设为需要的类型的电子元件和将超分辨处理设为不需要的电子元件的情况。由此，在状态识别处理(S32)中，重复拍摄所涉及的处理(S43～S45)的次数减少，因此生产节拍时间进一步缩短。另外，在处理管理数据M3被设定了处理标准的情况下，数据最佳化部41也可以基于该处理标准进行安装数据M1的最佳化。由此，安装处理的效率进一步提高。

(生产设备及图像处理装置50)

对于实施方式中的样态，将“生产设备”示例为元件安装机10，并且将“对象物”示例为电子元件。与此相对，对于图像处理装置50而言，除了元件安装机10以外，也可以将元件安装机10以外的基板生产装置、检查装置等设为上述“生产设备”。

例如，在生产设备为印刷检查装置的情况下，对象物形成为通过丝网印刷机印刷于基板上的焊料。由此，能够设定为仅对印刷状态微小的部分进行超分辨处理。另外，在生产设备为外观检查装置的情况下，对象物形成为与划分出的检查区域相对应的基板的部分。由此，能够设定为仅对装配有小型元件的部分、电子元件密集的部分进行超分辨处理。

另外，图像处理装置50的处理判定部51、超分辨处理部52及状态识别部53设于元件安装机10。图像处理装置50的零件数据生成部32、适合性判定部55及处理管理数据生成部56设于相机单元3。与此相对，也可以设为图像处理装置50的各部分均设于元件安装机10的结构。即，在元件安装机10中，生成有零件数据M2及处理管理数据M3。在这样的结构中，也起到与实施方式相同的效果。

附图标记说明

1：基板生产系统

2：生产线

3：相机单元(生产设备)

5：基板搬运装置

10：元件安装机(生产设备)

11：基台

12：元件供给装置

13：元件移载装置

14：元件相机

15：基板相机

16：控制装置

21：供料器

25：头驱动机构

26：安装头

27：吸嘴

29：存储部

31：通用相机

32：零件数据生成部

40：主计算机

41：数据最佳化部

42：存储装置

50：图像处理装置

Dp：安装机侧处理部

51：处理判定部

52：超分辨处理部

53：状态识别部

Ds：辅助机侧处理部

55：适合性判定部

56：处理管理数据生成部

M1：安装数据

M2：零件数据

M3：处理管理数据

Bd：基板

T：电子元件(对象物)

Ps：供给位置