专利名称：电子元件安装机的拍摄图像处理装置及拍摄图像处理方法
技术领域：
本发明涉及设有用以拍摄吸附在吸附嘴上的电子元件的相机的电子元件安装机的拍摄图像处理装置及拍摄图像处理方法。
背景技术：
近年，电子元件安装机在吸附嘴上吸附电子元件后安装到电路基板为止期间，用相机拍摄吸附嘴上吸附的电子元件，基于该拍摄图像数据检出该电子元件的外观信息(例如尺寸等)或吸附位置信息(例如元件的中心位置、倾斜度θ等)，从而确保电子元件的安装位置精度，并事先防止不合格元件的安装。这时，为了提高安装效率，如
图1A和图1B所示，将多个吸附嘴上吸附的多个电子元件收入一台相机的视野内进行拍摄，从而用一次拍摄检出多个电子元件的外观信息或吸附位置信息。
一般，由于相机中存在视差，具有拍摄的电子元件离相机越远就照出得越小(像放大率变小)，且在相机的视野内其离中心越远就照出越小的特性。因此，如图1B所示，拍摄的电子元件实际上为长方形时，因相机的视差而电子元件的拍摄图像的形状变形为梯形而照出，或者，具有随着电子元件的高度(厚度)不同而相机与电子元件之间的距离会改变，电子元件的拍摄图像的尺寸也变化而照出的特性。特别是，将多个电子元件收入一台相机的视野内进行拍摄时，由于拍摄的多个电子元件的高度不同，或相机的视野中心与各电子元件的水平方向的距离不同，每个电子元件的拍摄图像的变形程度或图像尺寸的缩小程度就不相同，存在不能准确检出各电子元件的外观信息或吸附位置信息的问题。
为了解决这种因相机的视差而产生的问题，如日本专利文献特开2001-217599号公报所示，在相机前方配置视差补偿用的远心透镜后拍摄电子元件，从而即使该电子元件的位置变化，该电子元件的拍摄图像也基本上不变化。
发明的公开但是，采用远心透镜时，必须使用与相机的视野大致相同的透镜直径的大型远心透镜。特别是，将多个电子元件收入一台相机的视野内进行拍摄时，由于相机的视野也变大，按照该情况必须使用非常大型的远心透镜。因此，按照电子元件安装机的机型，还存在相机前方没有多余的配置远心透镜的空间，而不能配置远心透镜的情况。另外，将远心透镜装入电子元件安装机的安装头上时，安装头的重量会增加，且存在安装头的移动速度难以高速化的问题。而且，远心透镜上没有光阑，因此难以调整亮度，此外因远心透镜的价格高而导致电子元件安装机的制造成本变高。
本发明为解决上述问题构思而成，因而，本发明的目的在于提供在现有的电子元件安装机上，不使用远心透镜，而仅通过增加或改变软件(程序)来具备补偿相机的拍摄图像的视差的功能的电子元件安装机的拍摄图像处理装置及拍摄图像处理方法。
为达成上述目的，本发明中，预先在存储部件中存储表示拍摄的电子元件的高度与拍摄图像的各像素的每一像素的元件尺寸或像放大率之间的关系的视差数据，当用相机拍摄电子元件时，取得与该电子元件的高度(厚度)相关的元件高度数据，并基于该元件高度数据与所述视差数据，按电子元件的拍摄图像的各像素补偿每一像素的元件尺寸或像放大率，从而补偿该电子元件的拍摄图像的视差。这样就可对现有的电子元件安装机，不使用远心透镜，而仅通过增加或变更软件(程序)来能具备补偿相机的拍摄图像的视差的功能。从而能够一举解决采用远心透镜进行视差补偿时产生的上述各种问题。
这时，作成视差数据时，可将电子元件的高度的最大值与最小值之间作细分割，并对多个元件高度分别实际测量或计算拍摄图像的各像素的每一像素的元件尺寸或像放大率，然后作为视差数据存储在存储部件中，用相机拍摄电子元件时，选择与实际的元件高度数据最接近的高度的视差数据来补偿视差，但是用一台相机拍摄的图像的像素数非常多，因此对多个元件高度分别作成视差数据时，视差数据成为庞大的数据，要存储该数据需要庞大存储容量的存储部件。
为了避免这种情况，可预先对电子元件尺寸的两个高度(例如最大值与最小值)实际测量或计算拍摄图像的各像素的每一像素的元件尺寸或像放大率，然后作为视差数据存储在存储部件中，基于实际的元件高度数据，按电子元件拍摄图像的各像素插补所述视差数据，从而补偿该电子元件的拍摄图像的视差。这样，能够采用对电子元件尺寸的两个高度作成的视差数据，对全部的电子元件高度进行视差的补偿，并可避免视差数据庞大化。
本发明可适用于用一台相机拍摄一个电子元件的情况，但也可适用于将多个吸附嘴上吸附的多个电子元件收入一台相机的视野内进行拍摄的情况。这种情况下，可从相机的视野中判别多个电子元件的拍摄图像，采用与每个电子元件相适应的元件高度数据与所述视差数据，个别地补偿各电子元件的拍摄图像的视差。这样，将多个电子元件收入一台相机的视野内进行拍摄时，即便多个电子元件的高度不同，或相机的视野中心与各电子元件的水平方向的距离不同，也能个别地高精度补偿多个电子元件的拍摄图像的视差。
另外，作成视差数据时，可采用由透光材料以板状形成的校准夹具，同时在该校准夹具的一个面上，预先以预定节距且矩阵状形成校准标记，且用吸附嘴吸附所述校准夹具的所述校准标记侧的面，然后用相机拍摄，并识别各校准标记的位置，从而计算电子元件的最小高度上的拍摄图像的各像素的每一像素的元件尺寸或像放大率，将该计算值作为电子元件在最小高度上的视差数据存储在存储部件中，用吸附嘴吸附所述校准夹具的与所述校准标记相反侧的面，然后用相机进行拍摄，识别各校准标记的位置，从而计算与该校准夹具的高度相同的电子元件的高度上的拍摄图像的各像素的每一像素的元件尺寸或像放大率，将该计算值作为与该校准夹具的高度相同的电子元件的高度上的视差数据存储在存储部件中。这样，采用校准夹具，能够容易地作成对电子元件尺寸的两个高度的视差数据。
附图的简单说明图1A是表示吸附嘴的电子元件吸附状态的正面图。
图1B是说明拍摄画面的示图。
图2是本发明实施例采用的校准夹具的外观透视图。
图3是表示用相机仅拍摄一个电子元件时的拍摄图像处理程序的处理流程的流程图。
图4是表示在一台相机的视野内收集多个电子元件并进行拍摄时拍摄图像处理程序的处理流程的流程图。
图5是说明线性插补的示图。
(符号说明)11吸附嘴，12校准夹具，13校准标记。
实施本发明的最佳方式以下，参照附图就本发明的一个实施例进行说明。本发明可适用于全部机型，只要是设有对吸附嘴上吸附的电子元件进行拍摄的相机的电子元件安装机，无论其系统结构如何，因此省略了对电子元件安装机的机械结构的说明。还有，设有相机的电子元件安装机的一例记载于例如特开2000-294990号公报中。
控制电子元件安装机的计算机，如图1A所示，从吸附嘴11上吸附电子元件A、B后直至安装到电路基板为止的期间，用相机拍摄吸附嘴上11上吸附的电子元件A、B，取得该拍摄图像数据。这时，为了提高安装效率，相机将多个吸附嘴11上吸附的多个电子元件A、B收入同一视野内后进行拍摄。
一般，相机存在视差，因此具有拍摄的电子元件A、B离相机越远就照出越小(像放大率变小)，且在相机的视野内离其中心越远就照出越小的特性。因此，如图1B所示，具有这样的特性即便拍摄电子元件A、B实际上是长方形，但因相机的视差而电子元件A、B的拍摄图像的形状变形为梯形而照出，或者，因沿着电子元件A、B的高度(厚度)相机与电子元件A、B之间的距离变化使电子元件A、B的拍摄图像的尺寸变化而照出。特别是，将多个电子元件A、B收入一台相机的视野内进行拍摄时，由于拍摄的多个电子元件A、B的高度不同，或相机的视野的中心与各电子元件A、B的水平方向的距离不同，每个电子元件A、B的拍摄图像的变形程度或图像尺寸的缩小程度不同，存在不能准确检出各电子元件A、B的外观信息(例如尺寸等)或吸附位置信息(例如元件的中心位置、倾斜度θ等)的问题。
若为了解决该问题而采用视差补偿用的大型远心透镜，如上所述，就不能满足低成本化、省空间化、头速度的高速化等的要求。
于是，本实施例中，在现有的电子元件安装机上，不使用远心透镜，而仅通过增加或变更软件(程序)来能具备补偿相机的拍摄图像的视差的功能。
以下，说明本实施例的相机的拍摄图像的视差补偿功能。本实施例中，将在补偿视差时使用的视差数据按如下方法作成。首先，用吸附嘴11吸附图2所示的校准夹具12，并用相机进行拍摄，从而针对可用吸附嘴11吸附的电子元件的高度的最大值与最小值，测定拍摄图像的各像素的每一像素的元件尺寸。
用于该测定的校准夹具12用透光材料(例如透明玻璃、透明塑料等)以大于相机视野的板状形成，其厚度与能用吸附嘴11吸附的电子元件的最大高度(最大厚度)相同。在该校准夹具12的一个面上，白色圆形的校准标记13以准确的节距(例如5mm节距)矩阵状印刷等而形成。由于该校准夹具12用透光材料形成，不仅从表面侧而且从背面侧也能用相机识别校准标记13。
还有，将校准标记13设为白色，其理由是由于成为相机的拍摄图像的背景的吸附嘴11顶部侧的构件全部着黑色，通过设校准标记13为白色，增大拍摄图像的背景(黑色)与校准标记13(白色)的对比度，且易于识别校准标记13。因而，只要校准标记13为易于识别的颜色，就并不限于白色，也可采用其它颜色。
用吸附嘴11吸附该校准夹具12的表面侧(标记侧)后用相机进行拍摄时，相机从校准夹具12的背面侧进行拍摄，由于该夹具12由透光材料形成，该夹具12的厚度可被忽略，得到与采用最小(0)厚度的校准夹具进行拍摄时完全相同的拍摄图像。处理该拍摄图像数据，识别拍摄图像中矩阵状映出的各校准标记13的中心位置相当的像素位置(X，Y)，并通过统计拍摄图像上的标记间节距的像素数(N)，能够按下式算出每一像素的元件尺寸。
每一像素的元件尺寸＝P/NP校准夹具12上的标记间节距[mm]N拍摄图像上的标记间节距的像素数这里，校准夹具12上的标记间节距(P)为已知，因此，通过统计拍摄图像上的标记间节距的像素数(N)，能够算出每一像素的元件尺寸。
因而，用吸附嘴11吸附校准夹具12的表面侧(标记侧)后用相机进行拍摄，然后算出拍摄图像的各像素的每一像素的元件尺寸，就能求出可用吸附嘴11吸附的电子元件的高度的最小值(0)上的拍摄图像的各像素的每一像素的元件尺寸。
然后，调转校准夹具12的正反面，用吸附嘴11吸附校准夹具12的背面侧后用相机进行拍摄，与上述同样的方法，算出拍摄图像的各像素的每一像素的元件尺寸，就能求出校准夹具12的高度(可吸附的电子元件高度的最大值或其附近)的拍摄图像的各像素的每一像素的元件尺寸。
如上所述，预先采用校准夹具12，针对可用吸附嘴11吸附的电子元件高度的最大值与最小值，测定拍摄图像的各像素的每一像素的元件尺寸，将该测定数据作为视差数据而存储在计算机的存储装置(存储部件)中。
计算机执行存储装置(存储部件)中存储的图3或图4的拍摄图像处理程序，从而采用上述视差数据，补偿电子元件的拍摄图像的各像素的每一像素的元件尺寸，进而补偿该电子元件的拍摄图像的视差。
图3的拍摄图像处理程序是用相机仅拍摄一个电子元件时进行视差补偿的程序，图4的拍摄图像处理程序是在一台相机的视野内收入多个电子元件后进行拍摄时进行视差补偿的程序。
用相机拍摄一个电子元件时，执行图3的拍摄图像处理程序，首先步骤101中，从计算机的存储装置(存储部件)读取用相机拍摄的电子元件高度相关的元件高度数据。这时，预先在计算机的存储装置中存储可用吸附嘴11吸附的全部的电子元件高度相关的元件高度数据，在步骤101中，从存储装置的存储数据检索并读取与这次拍摄的电子元件高度相关的元件高度数据。该步骤101的处理起到权利要求中所述的元件高度数据取得部件的作用。
之后，进入步骤102，用相机拍摄吸附嘴11上吸附的电子元件后，进入步骤103，从存储装置读取视差数据。这里，视差数据是针对可用吸附嘴11吸附的电子元件高度的最大值与最小值，测定拍摄图像的各像素的每一像素的元件尺寸后作成的数据。
然后，进入步骤104，基于上述步骤101中读取的元件高度数据，按电子元件的拍摄图像的每一像素进行视差数据的线性插补，从而补偿该电子元件的拍摄图像的视差。该视差补偿具体按如下方式进行。例如，如图5所示，设任意像素的位置(X，Y)的元件高度最大值的视差数据为M1，元件高度最小值的视差数据为M2，拍摄的电子元件的高度(厚度)为H，则该像素位置(X，Y)的每一像素的元件尺寸S，可由下述的线性插补式来算出。
S＝M1+(M2-M1)·(Hmax-H)/Hmax这里，Hmax是元件高度最大值(校准夹具12的高度)。
这样的视差数据M1、M2的线性插补按电子元件的拍摄图像的每一像素进行，从而补偿该电子元件的拍摄图像的视差。通过该视差补偿，与采用远心透镜进行拍摄时同样，能够取得无视差的拍摄图像数据。该步骤104的处理起到权利要求中所述的视差补偿部件的作用。
然后，进入步骤105，基于视差补偿后的拍摄图像数据进行元件识别处理，检出该电子元件的外观信息(例如尺寸等)或吸附位置信息(例如元件的中心位置、倾斜度θ等)。
另一方面，将多个电子元件收入一台相机的视野内进行拍摄时，执行图4的拍摄图像处理程序，首先在步骤201中，从计算机的存储装置(存储部件)读取用相机拍摄的多个电子元件高度相关的多个元件高度数据。该步骤201的处理起到权利要求中所述的元件高度数据取得部件的作用。
然后，进入步骤202，将多个吸附嘴11上吸附的多个电子元件收入一台相机的视野内进行拍摄后，进入步骤203，从存储装置读取视差数据。
然后，进入步骤204，从相机的视野中判别多个电子元件的拍摄图像后，进入步骤205，采用与每个电子元件相适应的元件高度数据与视差数据，通过与上述步骤104同样的线性插补来个别地补偿各电子元件的拍摄图像的视差。这样，通过进行每个电子元件的视差补偿，与采用远心透镜拍摄多个电子元件时同样，能够取得无视差的多个电子元件的拍摄图像数据。该步骤205的处理起到权利要求中所述的视差补偿部件的作用。
然后，进入步骤206，按每个电子元件，基于视差补偿后的拍摄图像数据进行元件识别的处理，检出各电子元件的外观信息(例如尺寸等)或吸附位置信息(例如元件的中心位置、倾斜度θ等)。
依据以上说明的本实施例，在现有的电子元件安装机上，不使用远心透镜，而仅通过增加或变更软件(程序)来能具备补偿相机的拍摄图像的视差的功能。从而能够一举解决因采用远心透镜进行视差补偿时产生的上述各种问题。
还有，本实施例中，采用校准夹具12，针对可用吸附嘴11吸附的电子元件高度的最大值与最小值，测定拍摄图像的各像素的每一像素的元件尺寸，将该测定数据作为视差数据存储在计算机的存储装置(存储部件)中，且基于实际的元件高度数据按电子元件的拍摄图像的每个像素进行所述视差数据的插补，从而补偿该电子元件的拍摄图像的视差，因此能够用针对电子元件尺寸的两个高度作成的视差数据，对全部的电子元件的高度进行视差补偿，具有避免视差数据的庞大化的优点。
还有，本发明中，视差数据的作成方法并不限于针对可用吸附嘴11吸附的电子元件高度的最大值与最小值作成视差数据的情况，关键是对电子元件尺寸的两个高度进行按拍摄图像的每个像素的元件尺寸的实际测量或计算而作成视差数据。
另外，在存储装置的存储容量有富余的系统上采用本发明时，可以将可用吸附嘴11吸附的电子元件高度的最大值与最小值之间作细分割，针对多个元件高度分别进行按拍摄图像的各像素的每一像素的元件尺寸的实际测量并作为视差数据预先存储在存储装置中，当用相机拍摄电子元件时，可选择与实际的元件高度数据最接近的高度视差数据进行视差的补偿。
另外，本实施例中，将多个吸附嘴11上吸附的多个电子元件收入一台相机的视野内进行拍摄时，从相机的视野中判别多个电子元件的拍摄图像，采用与每个电子元件相适应的元件高度数据与所述视差数据，个别地补偿各电子元件的拍摄图像的视差，因此，即使相机的视野内的多个电子元件的高度不同，或相机的视野中心与各电子元件的水平方向的距离不同，也能个别地高精度补偿多个电子元件的拍摄图像的视差。
还有，本实施例中，按拍摄图像的各像素补偿每一像素的元件尺寸，但也可以按拍摄图像的各像素补偿像放大率。
工业上的利用可能性本发明适合在设有拍摄吸附嘴上吸附的电子元件的相机的各种类型的电子元件安装机上实施。
权利要求
1.一种电子元件安装机的拍摄图像处理装置，用相机拍摄吸附嘴上吸附的电子元件，然后基于拍摄图像数据检出该电子元件的外观信息和/或吸附位置信息，其中设有存储部件，存储表示所述电子元件的高度与按拍摄图像的各像素的每一像素的元件尺寸或像放大率之间的关系的视差数据；元件高度数据取得部件，取得与用所述相机实际拍摄的电子元件的高度相关的元件高度数据；以及视差补偿部件，基于所述元件高度数据与所述视差数据，按电子元件的拍摄图像的各像素补偿每一像素的元件尺寸或像放大率，从而补偿该电子元件的拍摄图像的视差。
2.如权利要求1所述的电子元件安装机的拍摄图像处理装置，其特征在于所述视差数据通过对所述电子元件尺寸的两个高度实际测量或计算拍摄图像的各像素的每一像素的元件尺寸或像放大率而作成；所述视差补偿部件基于所述元件高度数据按电子元件的拍摄图像的各像素插补所述视差数据，从而补偿该电子元件的拍摄图像的视差。
3.如权利要求1所述的电子元件安装机的拍摄图像处理装置，其特征在于所述相机将多个吸附嘴上吸附的多个电子元件收入同一视野内进行拍摄；所述元件高度数据取得部件取得与所述多个电子元件的高度相关的多个元件高度数据；所述视差补偿部件从所述相机的视野中判别所述多个电子元件的拍摄图像，采用与每个电子元件相适应的元件高度数据与所述视差数据，个别地补偿各电子元件的拍摄图像的视差。
4.一种电子元件安装机的拍摄图像处理方法，用相机拍摄吸附嘴上吸附的电子元件，然后基于拍摄图像数据检出该电子元件的外观信息和/或吸附位置信息，其中预先在存储部件中存储表示所述电子元件的高度与拍摄图像的各像素的每一像素的元件尺寸或像放大率之间的关系的视差数据，当用所述相机拍摄电子元件时，取得与该电子元件相关的元件高度数据，并基于该元件高度数据与所述视差数据，按电子元件的拍摄图像的各像素补偿每一像素的元件尺寸或像放大率，从而补偿该电子元件的拍摄图像的视差。
5.如权利要求4所述的电子元件安装机的拍摄图像处理方法，其特征在于作成所述视差数据时，使用由透光材料以板状形成的校准夹具，同时在该校准夹具的一个面上，预先以预定节距且矩阵状形成校准标记；用所述吸附嘴吸附所述校准夹具的所述校准标记侧的面，并用所述相机进行拍摄，然后识别各校准标记的位置，从而计算电子元件的最小高度上的拍摄图像的各像素的每一像素的元件尺寸或像放大率，将该计算值作为电子元件的最小高度上的视差数据存储在所述存储部件中；用所述吸附嘴吸附所述校准夹具的与所述校准标记相反侧的面，并用所述相机进行拍摄，然后识别各校准标记的位置，从而计算与该校准夹具的高度相同的电子元件的高度上的拍摄图像的各像素的每一像素的元件尺寸或像放大率，将该计算值作为与该校准夹具的高度相同的电子元件的高度上的视差数据存储在所述存储部件中。
全文摘要
本发明的目的在于在现有的电子元件安装机上，不使用远心透镜，而仅通过增加或变更软件来具备补偿相机的拍摄图像的视差的功能。为此，预先在存储部件中存储表示用相机拍摄的电子元件的高度与拍摄图像的各像素的每一像素的元件尺寸或像放大率之间的关系的视差数据。然后，当用相机拍摄用吸附嘴11吸附的电子元件时，取得与该电子元件的高度相关的元件高度数据，基于该元件高度数据与所述视差数据，按电子元件的拍摄图像的各像素补偿每一像素的元件尺寸或像放大率，从而补偿该电子元件的拍摄图像的视差。
文档编号G01B11/00GK1795364SQ200480014500
公开日2006年6月28日 申请日期2004年5月25日 优先权日2003年5月28日
发明者星川和美, 中岛干雄 申请人:富士机械制造株式会社, 株式会社埃德克林系统