用于在虚拟环境中对工业机器人进行编程的方法
【专利摘要】为了对工业机器人(60)进行编程以对工件(30，120)进行工作，机器人(60)提供有能够从工件(30，120)提取点云(20，110)的视觉系统(10)。点云(20，110)从工件(30，120)来提取，并且使其变成包括至少一个表面的工件模型(40，130)。在包括工件模型(40,130)的虚拟环境(50)中规定机器人(60)与工件(30，120)的交互。由此得到机器人路径(70，140)。
【专利说明】用于在虚拟环境中对工业机器人进行编程的方法
【技术领域】
[0001 ] 本发明涉及一种用于对工业机器人进行编程以对工件进行工作的方法。
【背景技术】
[0002]在教导包括视觉系统的机器人以对新工件进行工作时，存在两个频繁的编程任务:对视觉系统进行编程以识别工件，以及对机器人进行编程以与工件进行交互。为了使视觉系统识别工件，识别算法需要被创建。识别算法的基础通常是由像素组成的二维(2D)投影或者表示工件的形状的三维(3D)点云。通过识别工件的特性形状，并且定义容限(从潜在工件所推断的像素需要落入其中，以便被识别为工件)，来创建识别算法。
[0003]为了对机器人进行编程以与工件进行交互，机器人通常相对实际工件慢行进，或者在虚拟环境中相对工件的CAD模型来设计机器人路径。为了后一目的，工件的CAD模型需要存在。在一些情况下，用于工件的原始设计的CAD模型存在，但是在其他情况下，这些CAD模型可能不可用或者极其复杂，并且对于创建机器人路径的目的是复杂的。在这些情况下，出现对于主要为了创建机器人路径的目的而创建CAD模型的需要。
[0004]例如从US6246468已知从点云自动生成CAD模型。因此，为了设计机器人路径的目的的CAD模型能够按照US6246468来生成，只要存在能够从工件提取点云的可用视觉系统。但是，工业机器人中的视觉系统按常规仅用于识别工件而不是用于设计机器人路径的目的。因此，尚未存在对于使工业机器人的视觉系统所生成的点云变成CAD模型的需要。但是，如果工业机器人的同一视觉系统能够用于工件识别的目的以及用于路径设计的目的，则存在将要获得的时间和设备方面的极大利益。
【发明内容】
[0005]本发明的一个目的是提供一种用于对工业机器人进行编程以对工件进行工作的有效方法。
[0006]这个目的通过所附权利要求1所述的方法来实现。
[0007]本发明基于如下认识:工业机器人的视觉系统能够不仅用于识别工件，而且还用于设计机器人路径。
[0008]按照本发明的第一方面，提供一种用于对工业机器人进行编程以对工件进行工作的方法，该机器人包括能够从工件提取点云的视觉系统。该方法包括下列步骤:从第一工件提取第一点云；使第一点云变成包括至少一个表面的第一工件模型；以及规定机器人在包括第一工件模型的虚拟环境中与第一工件的交互，由此得到第一机器人路径。通过将从点云所得到的工件模型用于设计机器路径，不需要创建用于设计虚拟环境中的机器人路径的合成CAD模型。
[0009]按照本发明的一个实施例，该方法包括下列步骤:将从工件所提取的训练点云用于训练视觉系统，以识别工件，由此得到识别算法。这个措施提供识别到来的工件的可能性。
[0010]按照本发明的一个实施例，该方法包括下列步骤:从第二工件提取第二点云；以及对第二点云应用识别算法。通过这个措施，识别潜在工件，并且能够对其应用机器路径。
[0011]按照本发明的一个实施例，该方法包括下列步骤:对第二工件应用第一机器人路径。通过对于除了作为用于创建第一机器人路径的基础的工件之外的其他工件应用第一机器人路径，单个机器人路径足以处理若干工件。
[0012]按照本发明的一个实施例，该方法包括下列步骤:使第二点云变成包括至少一个表面的第二工件模型。这个措施提供在虚拟环境中创建第二工件的单独机器人路径的可能性。
[0013]按照本发明的一个实施例，该方法包括下列步骤:在包括第二工件模型的虚拟环境中规定机器人和第二工件的交互，由此得到第二机器人路径。通过得到第二机器人路径，当并非全部工件均相同时，机器人的操作可更好地适合单独特性。
[0014]按照本发明的一个实施例，该方法包括下列步骤:基于对机器人与第一或第二工件的交互所设置的规则或者多个规则自动得到第一或第二机器人路径。通过这个措施，在并非全部工件均相同时使机器人的操作适合工件的单独特性时，避免手动输入。
[0015]按照本发明的一个实施例，该方法包括下列步骤:空间对齐训练点云和第一点云。当用于训练视觉系统并且得到第一机器人路径的数据集均共享同一坐标系基础时，第一机器人路径能够直接应用到所识别工件。
【专利附图】
【附图说明】
[0016]将参照附图更详细地说明本发明，附图包括
图1示出具有第一工件的本发明的一个实施例，以及图2示出具有第二工件的本发明的相同实施例。
【具体实施方式】
[0017]参照图1,视觉系统10从第一工件30提取第一点云20,以及使第一点云20进一步成为第一工件模型40，其能够在虚拟环境50中处理。第一工件模型40是由完全定义表面或者完全定义固体元件(包括表面)所组成的CAD模型。在虚拟环境50中，机器人60与第一工件30的交互能够例如通过定义机器人60的工具中心点(TCP)沿用的、相对第一工件模型40的第一机器人路径70来规定。在图1的不例中，机器人60将在圆形第一工件30中的正方形开口 90周边涂敷胶水。由此得到第一机器人路径70，其能够传递到机器人控制器100中，以用于实现随实际机器人60的对应移动。要注意，即使本例的第一机器人路径70包括与第一工件模型40的多个交互点，但是单个交互点也可被认为是机器人路径。
[0018]按照本发明，视觉系统10还用于其识别工件及其位置和取向的常规目的。为此，视觉系统10需要被训练成识别工件，以及从第一工件30所提取的第一点云20能够用作用于训练视觉系统10的训练点云。视觉系统10的训练按照常规方式进行，以及由此得到识别算法。要注意，同一(第一点云20)可用于得到第一机器人路径70以及作为用于得到识别算法的训练点云，但是这些点云不一定需要是相同的。在第一点云20与训练点云不同的情况下，点云的一个或两者则可使用最佳拟合对齐经过空间调整，以便相互一致。计算空间调整确保所得到的第一机器人路径70对应于识别算法所提供的位置和取向。此外，所需空间调整量例如可通过应用从训练点云所得到的识别算法以定位第一点云20来自动计算。应当注意，本【技术领域】的技术人员显而易见，以上所述的空间调整也可通过使用第一工件模型40的CAD表面表示而不是第一点云20本身来计算。
[0019]一旦存在识别算法，它能够对于从其他潜在工件所提取的其他点云来应用。参照图2，识别算法例如能够对于从第二工件120所提取的第二点云110来应用。当识别第二工件120时，先前得到的第一机器人路径70能够对第二工件120来施加，以便实现如对于第一工件30相同的结果。如果第二工件120的位置和/或取向与第一工件30是不同的，则第二工件120的坐标系最终需要经过调整。备选地，能够按照与第一点云20相同的方式使第二点云110变成第二工件模型130。由此，单独第二机器人路径140能够在虚拟环境50中设计用于第二工件120。将单独机器人路径设计用于不同工件可以是合乎需要的，特别是当工件不相同时。
[0020]在一些实施例中，有可能自动化第一和第二机器人路径70、140以及任何后续机器人路径的设计。在虚拟环境50中机器人60与第一工件30的交互能够通过设置使得有可能无需对其完全固定的情况下而定义机器人路径的规则、以某种灵活性来规定。例如，图1的正方形开口 90的轮廓能够采用视觉系统10来识别，并且其尺寸能够自动确定。然后能够例如规定，机器人路径将以在开口 90之外5 mm偏移来跟随轨迹，而不管其实际形状和尺寸。因此，第一机器人路径70将接收正方形形状。但是，在对具有三角形开口 150的第二工件120应用同一规则时，第二机器人路径140将接收三角形形状。通过自动设计机器人路径，使系统更为灵活并且是有利的，特别是在工件不相同时。
[0021]本发明并不局限于以上所示的实施例，但是本领域的技术人员在如权利要求书所限定的本发明的范围之内按照多种方式对其修改。虽然所述实施例列示单个机器人和视觉系统，【技术领域】的技术人员显而易见，以上所述的方法和实施例能够适用于其中多个机器人可对同一工件进行工作的系统，工件是固定的或者由机器人来保持。视觉系统也可以是固定的或者安装于(一个或多个)机器人上。
【权利要求】
1.一种用于对工业机器人￠0)进行编程以对工件(30，120)进行工作的方法，所述机器人￠0)包括能够从所述工件(30，120)提取点云(20，110)的视觉系统(10)，所述方法包括下列步骤: -从第一工件(30)提取第一点云(20)； -使所述第一点云(20)变成包括至少一个表面的第一工件模型(40);以及 -在包括所述第一工件模型(40)的虚拟环境(50)中规定所述机器人￠0)与所述第一工件(30)的交互，由此得到第一机器人路径(70)。
2.如权利要求1所述的方法，包括下列步骤: -将从工件(30，120)所提取的训练点云(20，110)用于训练所述视觉系统(10)，以识别所述工件(30，120)，由此得到识别算法。
3.如权利要求2所述的方法，包括下列步骤: -从第二工件(120)提取第二点云(110);以及 -对所述第二点云(110)应用所述识别算法。
4.如权利要求3所述的方法，包括下列步骤: -对所述第二工件(120)应用所述第一机器人路径(70)。
5.如权利要求3所述的方法，包括下列步骤: -使所述第二点云(110)变成包括至少一个表面的第二工件模型(130)。
6.如权利要求5所述的方法，包括下列步骤: -在包括所述第二工件模型(130)的虚拟环境(50)中规定所述机器人￠0)和所述第二工件(120)的交互，由此得到第二机器人路径(140)。
7.如以上权利要求中的任一项所述的方法，包括下列步骤: -基于对所述机器人￠0)与所述第一工件(30)的所述交互所设置的规则或者多个规则自动得到所述第一机器人路径(70)。
8.如权利要求6所述的方法，包括下列步骤: -基于对所述机器人￠0)与所述第二工件(120)的所述交互所设置的规则或者多个规则自动得到所述第二机器人路径(140)。
9.如权利要求2所述的方法，其中，所述训练点云(20，110)与所述第一点云(20)是不同的，包括下列步骤: -空间对齐所述训练点云(20，110)和所述第一点云(20)。
【文档编号】B25J9/16GK104412188SQ201280074701
【公开日】2015年3月11日 申请日期:2012年7月13日 优先权日:2012年7月13日
【发明者】F.坎格 申请人:Abb 技术有限公司