轮廓线测量装置以及机器人系统的制作方法
【技术领域】
[0001]本发明涉及使用立体照相机测量对象物的三维轮廓线形状的轮廓线测量装置以及机器人系统。
【背景技术】
[0002]为了使用工业机器人对工件进行各种作业，需要掌握工件的三维轮廓线形状。在工件没有个体差异的情况下，能够从设计数据得到工件的轮廓形状的信息。但是，例如在工件是铸件的情况下，针对每个铸模工件存在个体差异，因此需要测量各个工件的轮廓线形状。
[0003]关于这点，目前已知一种装置，通过使用了 2台照相机的立体方法，得到工件的正确的三维轮廓线信息(例如日本特开2012-202732号公报以及日本特开2013-130508号公报)。在日本特开2012-202732号公报以及日本特开2013-130508号公报所记载的装置中，通过2台照相机从不同的位置拍摄工件，从如此得到的一对图像中分别抽出边缘线(轮廓线的图像)。并且，求出从相同的极面得到的极线和各个图像上的边缘线的交点。并且，使各图像上的交点相互对应，使用这些对应点求出工件的轮廓线上的三维点的位置。
[0004]不过，在这些专利文献所记载的装置中，在存在多个与极线相交的边缘线的情况下，各图像上的交点不是1对1对应，从而难以求出对应点。
【发明内容】
[0005]本发明的一个方式的轮廓线测量装置具备第一照相机和第二照相机，其拍摄对象物分别取得第一对象物图像和第二对象物图像。轮廓线测量装置具备:极面生成部，其根据第一照相机和第二照相机的位置姿势，生成与对象物交叉的多个极面；极线计算部，其计算将多个极面投影到第一照相机的拍摄面上的多个第一极线和投影到第二照相机的拍摄面上的多个第二极线。轮廓线测量装置具备:基准轮廓线设定部，其设定对象物的三维的基准轮廓线；基准轮廓线图像计算部，其分别计算将基准轮廓线投影到第一照相机的拍摄面和第二照相机的拍摄面上的第一基准轮廓线图像和第二基准轮廓线图像。轮廓线测量装置具备边缘线抽出部，其在第一基准轮廓线图像的附近设定第一图像处理区域，从第一图像处理区域内的第一对象物图像抽出对象物的轮廓线的图像即第一边缘线，另一方面，在第二基准轮廓线图像的附近设定第二图像处理区域，从第二图像处理区域内的第二对象物图像中抽出对象物的轮廓线的图像即第二边缘线。轮廓线测量装置具备:边缘点生成部，其分别生成第一边缘线和多个第一极线的交点即多个第一边缘点以及第二边缘线和多个第二极线的交点即多个第二边缘点；对应点选择部，其从多个第一边缘点和多个第二边缘点中选择一对边缘点，该一对边缘点由使用相互相同的极面生成的，并且与基准轮廓线的相互相同部位对应的第一边缘点和第二边缘点组成。轮廓线测量装置具备三维点计算部，其根据经过一对边缘点的第一照相机的视线和第二照相机的视线，计算对象物的轮廓线上的三维点。
[0006]另外，本发明的另一方式的轮廓线测量装置具备第一照相机和第二照相机，其拍摄对象物分别取得第一对象物图像和第二对象物图像。轮廓线测量装置具备:基准轮廓线设定部，其设定对象物的三维的基准轮廓线；基准轮廓线图像计算部，其分别计算将基准轮廓线分别投影到第一照相机的拍摄面和第二照相机的拍摄面上的第一基准轮廓线图像和第二基准轮廓线图像。轮廓线测量装置具备边缘线抽出部，其在第一基准轮廓线图像的附近设定第一图像处理区域，从该第一图像处理区域内的第一对象物图像中抽出对象物的轮廓线的图像即第一边缘线，另一方面，在第二基准轮廓线图像的附近设定第二图像处理区域，从该第二图像处理区域内的第二对象物图像中抽出对象物的轮廓线的图像即第二边缘线。轮廓线测量装置具备:第一边缘点生成部，其在第一边缘线上生成多个第一边缘点；极面生成部，其根据第一照相机和第二照相机的位置姿势，生成分别经过多个第一边缘点的多个极面；极线计算部，其计算将多个极面投影到第二照相机的拍摄面上的多个极线。轮廓线测量装置具备:第二边缘点生成部，其生成多个极线和第二边缘线的交点即多个第二边缘点；对应点选择部，其从多个第一边缘点和多个第二边缘点中选择一对边缘点，该一对边缘点由第一边缘点和从该第一边缘点求出的第二边缘点组成，并且与基准轮廓线的相互相同部位对应。轮廓线测量装置具备三维点计算部，其根据经过一对边缘点的第一照相机的视线和第二照相机的视线，计算对象物的轮廓线上的三维点。
[0007]并且，本发明的另一方式为机器人系统，其具备:机器人；控制该机器人的机器人控制装置；以及上述的轮廓线测量装置，在机器人的机械臂前端部安装构成轮廓线测量装置的第一照相机和第二照相机，或者通过机器人的机械臂前端部抓持由第一照相机和第二照相机拍摄的对象物。
【附图说明】
[0008]通过对与附图相关联的以下的实施方式进行说明，本发明的目的、特征以及优点更加明确。在该附图中:
[0009]图1是表示本发明第一实施方式的轮廓线测量装置的主要结构的图。
[0010]图2是表示图1的轮廓线测量装置的控制结构的框图。
[0011]图3是表示图2的图像处理部的详细结构的框图。
[0012]图4是表示在图3的图像处理部执行的处理的一例的流程图。
[0013]图5是本发明的第一实施方式的轮廓线测量装置得到的测量对象即工件的平面图。
[0014]图6是表示极面的一例的图。
[0015]图7是表示极线的一例的图。
[0016]图8是表示边缘线的一例的图。
[0017]图9是表示最近点的一例的图。
[0018]图10是表示图9的变形例的图。
[0019]图11是表示分割极面的方法的图。
[0020]图12是表示分割后的极面的图。
[0021]图13是表示图4的变形例的流程图。
[0022]图14是表示本发明第二实施方式的机器人系统的主要结构的图。
[0023]图15是表示图14的变形例的图。
[0024]图16是表示图14或图15的视觉传感器控制装置内的图像处理部的详细结构的框图。
[0025]图17是主要表示图16的评价部的处理的一例的流程图。
[0026]图18是表示图14或图15的变形例的图。
【具体实施方式】
[0027](第一实施方式)
[0028]以下，参照图1?图13说明本发明的第一实施方式。图1是表示本发明第一实施方式的轮廓线测量装置100的主要结构的图。轮廓线测量装置100具备:一对照相机3(第一照相机3A和第二照相机3B)，其对在作业台1上载置的作为对象物的工件2进行拍摄；以及视觉传感器控制装置5，其与第一照相机3A和第二照相机3B进行通信来计算工件2的轮廓线形状。通过轮廓线(图5的轮廓线2a)规定了工件2的形状。因此通过计算轮廓线形状能够确定工件形状。
[0029]照相机3例如是具有CCD (Charge Coupled Device电荷親合器件)等拍摄元件的电子照相机，具有通过拍摄在拍摄面(CCD阵列面上)检测二维图像的功能的众所周知的受光设备。另外，以下将拍摄面的二维坐标系称为传感器坐标系。通过台架4分别支撑第一照相机3A和第二照相机3B。决定三维的世界坐标系中的一对照相机3A、3B的位置和姿势，以使第一照相机3A和工件2之间的距离以及第二照相机3B和工件2之间的距离大致相等。另外，决定三维的世界坐标系中的一对照相机3A、3B的位置和姿势，以便通过第一照相机3A和第二照相机3B能够摄影相互大致相同的范围(参照图5)。另外，以下将三维的世界坐标系称为机器人坐标系。
[0030]图2是表示图1的轮廓线测量装置100的控制结构的框图。如图2所示，轮廓线测量装置100除了具备一对照相机3A、3B以及视觉传感器控制装置5以外，还具备视觉传感器操作盘6。视觉传感器操作盘6对视觉传感器控制装置5输入各种指令。视觉传感器控制装置5包含运算处理装置而构成，该运算处理装置具有CPU (Central Processing Unit中央处理单元)、ROM (Read Only Memory只读存储器)、RAM (Read Access Memory随机存取存储器)以及其他的外围电路等。视觉传感器控制装置5具有作为功能结构的轮廓线信息存储部7、校准数据存储部8、图像处理部10。
[0031]轮廓线信息存储部7预先存储成为基准的工件2的轮廓线，即基准轮廓线的三维形状信息和位置信息。根据设计值赋予基准轮廓线。视觉传感器控制装置5例如能够通过预定的文件形式从外部直接读入基准轮廓线的三维形状信息。另外，视觉传感器控制装置5从外部读入工件2的三维CAD数据，用户经由视觉传感器操作盘6指定工件2的轮廓线的位置来赋予三维形状信息。
[0032]例如在工件2上定义一个坐标系(工件坐标系)，通过以工件坐标系作为基准的坐标数据表示构成基准轮廓线的点和线等的位置，由此赋予基准轮廓线的三维形状信息。此时，工件坐标系相对于机器人坐标系的位置姿势、即工件坐标系的原点在机器人坐标系中的位置以及在该位置的工件坐标系的姿势相当于基准轮廓线的位置信息。
[0033]校准数据存储部8预先存储一对照相机3A、3B的校准数据。另外，求出校准数据的方法和校准数据的形式众所周知，省略对该点的说明。如果求出照相机的校准数据，则能够计算机器人坐标系中的三维点(称为注视点)在照相机的图像上的位置、即传感器坐标系中的二维点。另外，如果作为传感器坐标系的二维点赋予了注视点的图像，则能够计算经过机器人坐标系中的注视点和照相机3的焦点的三维直线即视线。
[0034]并且如果对一对照相机3A、3B分别求出校准数据，则在赋予了注视点在机器人坐标系中的三维位置时，能够计算经过该注视点和第一照相机3A的焦点以及第二照相机3B的焦点的平面、即极面(参照图6)。另外，如果作为第一照相机3A的传感器坐标系的二维点以及第二照相机3B的传感器坐标系的二维点赋予了注视点的图像，则能够计算机器人坐标系中的注视点的三维位置坐标。
[0035]图像处理部10根据来自第一照相机3A、第二照相机3B、轮廓线信息存储部7、校准数据