专利名称：机器人模拟装置的制作方法
技术领域：
本发明涉及用在包含摄像机构机器人的机器人系统中的模拟装置。
背景技术：
将机器人、工件及外部设备等的三维模型配置、显示在计算机的画面上，基于所指定的机器人移动命令等来进行机器人的动作模拟的模拟装置已为公知。这种模拟装置用于机器人动作程序的离线生成，同时，在进行以离线生成的程序的评价或修正、编辑等中也被使用。
但是，在实际未配有机器人的场所(例如事务所)，现有的模拟装置几乎无法进行与进行程序的离线生成、修正、编辑等的摄像机构相关的模拟。
为此，在日本特开2005-135278号公报中，公开了如下装置将摄像机构配置在三维模型上，且可将摄像机构的视场显示在三维模型上。由此，在日本特开2005-135278号公报的模拟装置中，可进行与摄像机构相关的模拟。
但是，存在机器人取出零散堆积在容器内的同一形状的多个工件的情况。由于零散堆积的多个工件被三维不规则地配置，所以在工件的取出时，存在机器人的机械手干涉作为取出对象物的工件以外的工件的情况，另外，机械手还会干涉容器的壁部。日本特开2005-135278号公报所公开的模拟装置由于未设想取出零散堆积状态的工件的情况，所以无法事前预测机器人的机械手和工件的干涉以及机器人的机械手和容器的干涉。
另外，取出零散堆积在容器内的多个工件时，由于搬运时的设备手的动作姿势对应取出工件而不同，所以很难准确算出从容器中取出所有的多个工件所需的时间。
发明内容
本发明是鉴于这种情况而提出的，目的在于提供一种在取出零散堆积在容器中的多个工件时，可预测机器人和工件的干涉以及机器人和容器的干涉的准确求出取出所有工件所需时间的模拟装置。
为达到上述目的，根据第一方式提供一种机器人模拟装置，可生成及执行机器人程序的机器人模拟装置，具备虚拟空间生成机构，其生成三维表现机器人进行工件的搬运作业的作业空间的虚拟空间；工件模型配置机构，其在定义在由上述虚拟空间生成机构生成的上述虚拟空间内的工件配置区域模型或上述虚拟空间内设置的工件容纳模型内，以适当姿势将一个或多个上述工件的工件模型自动配置在适当位置上；虚拟摄像机构，其取得存在于从上述虚拟空间中所规定场所观看而指定的视场范围内的上述工件模型的虚拟图像；修正机构，其基于该虚拟摄像机构所取得的上述虚拟图像修正上述机器人的程序中的示教点；以及模拟机构，其基于由该修正机构修正上述示教点后的上述程序，模拟上述机器人搬运上述工件的动作。
即、在第一方式中，由于以适当姿势将多个工件模型配置在适当位置，所以能够在虚拟空间上表现容器的零散堆积状态。由此，在取出零散堆积的多个工件的情况，能够事先预测机器人与工件的干涉以及机器人和容器的干涉，另外，准确求出取出所有工件所需时间成为可能。
根据第二方式，在第一方式的基础上，上述工件模型配置机构将所指定数量的上述工件模型配置在上述虚线空间内。
即、在第二方式中，基于配置在容器模型内的工件模型的数量，能够更准确地预测干涉，另外，能够更准确地求出所需时间。
根据第三方式，在第一方式或第二方式的基础上，上述工件模型配置机构以互不共有同一空间的方式配置多个上述工件模型。
即、在第三方式中，通过在三维虚拟空间中，互不重叠多个工件模型，从而进行更为准确的模拟成为可能。
根据第四方式，在第一至第三方式中的任一方式的基础上，还具备存储工件属性信息的工件属性信息存储机构，上述工件模型配置机构基于存储在上述工件属性信息存储机构的上述工件属性信息以及上述多个工件模型的接触部位的信息算出上述工件的变形量，并基于该变形量以变形状态配置上述工件模型。
根据第五方式，在第四方式的基础上，上述工件属性信息含有上述工件的刚性、上述工件的重量以及上述工件的重心位置。
即、在第四及第五方式中，由于考虑垒积的工件模型的变形量，所以更为准确的模拟成为可能。
根据第六方式，在第一至第五方式中的任一方式的基础上，还具备监控并存储上述机器人的实际动作的机器人动作存储机构，上述工件模型配置机构基于存储在上述机器人动作存储机构中的上述机器人的实际动作，算出把持了上述多个工件的各个时的上述机器人的机械手的位置姿势，基于所算出的上述机械手的位置姿势配置上述工件模型。
即、在第六方式中，能够在虚拟空间上再现机器人取出零散堆积在容器内的多个工件时的搬运动作。
通过对结合附图的典型实施例的说明，将更明确本发明的这些以及其它目的、特征和优点。其中图1是基于本发明的机器人模拟装置的整体配置图。
图2是基于本发明的机器人模拟装置的方框图。
图3是表示基于本发明的机器人模拟装置的动作程序的流程图。
图4是表示显示在显示部上的三维虚拟空间的图。
图5是用于说明多个工件模型的配置方法的图。
图6a是以两个支撑位置支撑的工件模型的图。
图6b是表示基于工件的变形量显示工件模型的显示方法的图。
图7是用于说明在虚拟空间再现机器人的实际动作的方法的图。
具体实施例方式
以下，参照
本发明的实施方式。在以下的附图中，同一部件标记相同的参照符号。为了便于理解，这些附图适当变更了比例尺。
图1是基于本发明的机器人模拟装置的整体配置图。图1所示的机器人模拟装置10例如是数字计算机，可进行机器人程序的生成以及执行。在图1所示的实施方式中，机器人模拟装置10通过伊萨因特(イ一サネツト)(注册商标)等的LAN29与机器人控制器21连接，它们还可以通过其它方式连接。
在图1中，箱状容器24配置在规定位置。如图所示，同一形状的多个工件20在容器24内以零散状态配置。容器24具备外壁25，由外壁25包围开口26。在图1中，开口26的形状为矩形，但开口26还可以是其它形状。另外，多个工件20的各个表示为长方形，但这些工件20还可以是其它形状。
另外，机器人控制器21与在臂的先端具备机械手23的机器人22连接。机器人控制器21进行控制，使得机器人22依次取出容器24内的工件20。
另外，在容器24的上方将摄像机构55例如CCD摄像机等配置在规定位置上。在图1中，该摄像机构55由未图示的架进行定位。但是，摄像机构55还可以安装在机器人22的一部分上。
图2是基于本发明的机器人模拟装置的方框图。如图2所示，机器人模拟装置10具备CPU11；由ROM12及RAM13构成的存储部；含有鼠标及/或键盘等的输入输出设备14；以及图形控制电路15，它们通过双方向总线16相互连接。
CPU11具备如下机构而发挥作用虚拟空间生成机构31，其生成三维表现机器人22进行工件20的搬运作业的作业空间；工件模型配置机构32，其在虚拟空间中的容器24的模型内自动配置工件20的工件模型；虚拟摄像机构33，其在虚拟空间内取得工件模型的虚拟图像；修正机构34，其基于虚拟图像修正机器人程序中的示教点；以及模拟机构35，其基于修正后的程序模拟机器人22搬运工件20的动作。
存储部的RAM13存储与作为模拟对象的机器人22、容器24、工件20及它们的外部设备等的三维形状模型的数据。另外，RAM13还存储工件20的刚性、工件20的重量以及工件20的重心位置等的工件属性信息。
再有，机器人模拟装置10的后述的动作程序100～400以及使机器人22动作的机器人程序存储在存储部的ROM12中。另外，如图所示，图形控制电路15与显示部19例如液晶监视器或CPT等连接。
图3是表示基于本发明的机器人模拟装置的动作程序的流程图。以下，参照图3所示的动作程序的同时，说明本发明的机器人模拟装置10的动作。
首先，由虚拟空间生成机构31生成实施模拟的三维虚拟空间60(步骤101)。所生成的三维虚拟空间60通过图形控制电路15显示在显示部19上。
图4是表示显示在显示部19上的三维虚拟空间的图。在图4中，三维虚拟空间60表示在显示在显示部19上的第一画面51上。如图所示，第一画面51的三维虚拟空间60表示对应于图1的容器24的容器模型44。该容器模型44基于存储在存储部中的三维形状数据生成，分别表示与外壁25以及开口26对应的外壁45及开口46。
再有，在图4中，三维虚拟空间60描绘为平面，但可通过使用输入输出设备14、例如鼠标，将三维虚拟空间的视点变为三维。
其次，通过工件模型配置机构32将与工件20对应的工件模型40配置在三维虚拟空间60中。该工件模型40还可基于存储在存储部中的工件20的三维形状数据生成。
如图所示，通过工件模型配置机构32，多个工件模型40在容器模型44中以适当姿势自动地配置在适当位置上。以下，说明多个工件模型40的配置方法。
图5是用于说明多个工件模型的配置方法的图。为了便于说明，在图5中，表示二维模型。如图5中的程序200的步骤201所示，首先，通过工件模型配置机构32，在容器模型44的上方将一个工件模型40以适当姿势配置在适当位置上。分别使用随机数等在工件模型配置机构32内决定工件模型40的姿势及位置。
其次，在步骤202中，不使姿势变化，使工件模型40下降，由此，使工件模型40到达容器模型44的底面47。
其后，再次返回步骤201，将其它工件模型40配置在容器模型44上方之后，使其它工件模型40向底面47下降。此时，其它工件模型40以不与已经配置在容器模型44内的工件模型40重叠的方式进行配置。由此，如图所示，还存在其它工件模型40不与容器44的底面47或外壁45接触的情况。以规定次数反复这样的处理，由此，会将多个工件模型40配置在容器模型44内(步骤203)。
在本发明中，使用随机数等随机决定工件模型40的姿势以及位置，另外，以多个工件模型40互不重叠的方式配置。因此，工件模型40的姿势等极为接近零散堆积在容器24内的实际的工件20的姿势等。由此，在本发明中，更为准确地进行取出零散堆积在容器内的同一形状的多个工件的取出动作的模拟成为可能。
其次，如图4所示，在第一画面51的三维虚拟空间60中，摄像机模型55’配置在预先指定的场所。该场所与实际的摄像机构(图1)的场所对应。在图4所示的三维虚拟空间60中，摄像机模型55’配置在容器模型44的正上方。
另外，在图4中，从摄像机模块55’延长的虚线表示摄像机模块55’的视场56’，该视场56’与实际摄像机构55(图1)的视场对应。如图所示，摄像机模块55’的视场56’捕捉配置在容器模型44内的多个工件模型40。
摄像机模型55’通过虚拟摄像机构33可取得其视场56’内的工件模型40的虚拟图像。虚拟摄像机构33将所取得的虚拟图像作为第二画面52显示在显示部19上(参照图3的步骤103)。如图所示，第一画面51及第二画面52互作为不同窗口描绘，但还可以取代第二画面52，将摄像机模块55’所捕捉的虚拟图像描绘在第一画面51的角落。
其次，基于在第二画面52内所表示的虚拟图像，由修正机构34修正机器人程序内的示教点。修正机构34首先从第二画面52内的虚拟图像中选择适当的工件模型40、例如工件模型40a，算出其姿势和位置。由于在机器人程序中记载有机器人22的机械手23把持以规定姿势位于规定位置的工件20的方法，所以基于所算出的工件模型40a的姿势和位置变更机器人程序内的示教点，以使机器人22的机械手23可把持工件40a。
其后，修正机构34依次选择其它工件模型40b、40c......，同样地求出它们的姿势以及位置，同样地变更示教点以使机械手23可保持工件模型40b、40c......(步骤104)。
但是，如图4所示可知，由于工件模型40d位于工件模型40a的下方，在第二画面52中，只表示工件模型40d的一部分。在图4中，由于存在于面前的工件模型40a构成障碍，所以很难求出工件模型40d的姿势及位置。因此，这种情况，暂时删除构成障碍的工件模型40a，只要求出下方的工件模型40d的姿势以及位置即可。这样一来，可变更机器人程序的示教点，以便把持所有的工件模型40。
其次，在第一画面51的三维虚拟空间60显示机器人22的机器人模型22’。并且，基于由修正机构34修正的机器人程序，模拟机构35在三维虚拟空间60上使机器人模型22’动作(步骤105)。再有，利用模拟机构35的模拟动作还可以在与第一画面不同的其它画面上进行。
通过这样的模拟，机器人模型22’的机械手模型23’进行依次取出配置在容器模型44中的工件模型的取出动作。由此，在模拟画面上预先预测机械手23是否干涉容器24的外壁25以及机械手23是否干涉作为把持对象物的工件以外的工件20成为可能。
例如，在预测到机械手23对外壁25的干涉较轻的情况下，还可以在三维虚拟空间60上变更容器模型44的尺寸，反复进行模拟直至回避干涉为止。由此，利用模拟可研究最佳尺寸的容器24。
同样地，在预测到机械手23对其它工件20的干涉较轻的情况下，只要在三维虚拟空间60上变更机械手模型23’的尺寸，同样可研究最佳尺寸的机械手模型23’。
再有，在本发明中，关于涉及多个工件20的各工件模型40，变更机器人程序的示教点。即、搬运时的机械手23的姿势对应所把持的工件20依次变更。因此，在本发明中，预先准确算出从容器24取出所有多个工件20所需时间成为可能。
如上所述可知在构筑机器人取出零散堆积在容器内的同一形状的多个工件的取出系统时，通过使用本发明的机器人模拟装置10可缩短取出系统的调试时间。
当然，配置在三维虚拟空间60上的工件模型40的数量例如使用鼠标及/或键盘可容易变更。也就是，通过使工件模型40的数量与实际工件20的数量一致，可进一步准确进行模拟。
但是，如图6a左方所示，存在如下情况在容器模型44内，一个工件模型40e配置在其它两个工件模型40f、40g上。换言之，工件模型40e被支撑在工件模型40f上的支撑位置p和工件模型40g上的支撑位置q上。这种情况，由于工件模型40e在支撑位置p、q之间变形，所以期望考虑到变形量，表示工件模型40e。
图6b是基于工件的变形量表示工件模型的表示方法。首先，从工件40e、40f、40g之间的配置关系中算出支撑位置p、q之间的距离L。其次，根据以下的关系式(1)算出最大挠曲量δ(步骤301)。
δ＝P·L3/(48·E·I)关系式(1)再有，关系式(1)中的符号P表示工件20的重量，符号E、I分别表示工件20的杨氏模量、剖面惯性矩。这些重量P、杨氏模量E、剖面惯性矩I预先存储在存储部的ROM12中。
其次，设定相对连接支撑位置p、q的线段而平行延伸的工件模型40e的中间面M。并且，分别求出从中间面M至工件模型40e的各顶点的距离r。如图所示，工件模型40e是长方体时，由于工件模型40e具备八个顶点Qi(＝Q1～Q8)，所以求出八个距离ri(＝r1～r8)(步骤302)。再有，在图6b中，需要注意的是只表示上方侧的两个顶点Q1、Q2以及下方侧的两个顶点Q5、Q6及涉及这些的距离r1、r2、r5、r6。
接着，通过以下的关系式(2)算出相对工件模型40e的八个顶点的各个顶点的变形量εi(＝ε1～ε6)(步骤303)。
εi＝ri/ρ关系式(2)再有，关系式(2)中的符号ρ表示中间面的曲率半径。
其后，如图6a的右方所示，对应所算出的变形量，使三维虚拟空间60上的工件模型40e的所有顶点Qi移动，再次表示工件模型40e。
虽然在图6a及图6b中二维表示工件模型40e，但实际的工件20是三维形状。为此，比中间面M靠上方位置的四个顶点Q1～Q4缩向工件模型40e的中心。另一方面，比中间面M靠下方位置的剩下四个顶点Q5～Q8以远离中心的方式向外侧伸长。
当然，关于其它工件模型40，同样地算出变形量，使工件模型的顶点移动。可以明确这种情况下，由于得到更为准确的三维虚拟空间60，所以能够更为准确地进行模拟。尤其是，图6所示的实施方式在堆积在容器24内的工件20较为易于变形的情况下较为有利。
在图6a及图6b中，说明了工件模型40e几乎处于水平状态的情况，但可以明确即便是工件模型因其它工件模型而处于倾斜状态的情况下，通过同样方法算出变形量，可工件模型的顶点移动。
但是，如图1所示，在容器24内部取出零散堆积的多个工件20的情况下，机械手23把持工件20时的姿势及位置逐一发生变化。由此，在取出容器24内的所有工件20之后，无法确认这些工件20如何配置在容器24内，其结果，无法再现机器人22的搬运动作。
与此相对，在本发明中，能够再现机器人22取出零散堆积在容器24的内部的多个工件20时的搬运动作。图7是用于说明将机器人的实际动作再现在虚拟空间中的方法的图。以下，参照图7说明这种方法。
首先，使图1所示的机器人22实际动作，由此，依次取出零散堆积在容器24内部的多个工件20。这时，机器人模拟装置10在每个循环周期监控机器人22的动作，将其监控结果存储在RAM13中(步骤401)。由此，监控结果含有把持多个工件的各个时的机械手23的姿势和位置及机械手23的开关时刻。再有，图7所示的黑点表示示教点。
其次，基于进入的机械手23的姿势等，推定由机械手23把持时的工件20的姿势以及位置(步骤402)。该推定对从容器24取出的所有工件20进行。
在第一画面51的三维虚拟空间60中生成了容器模型44之后，基于推定的多个空间20的姿势等，工件模型配置机构32将多个工件模型40配置在容器模型44内(步骤403)。由此，能够将实际容器24中的多个工件20的零散堆积状态再现在三维虚拟空间60上。
其后，将机器人模型22’(图7中未表示)显示在三维虚拟空间60上，利用模拟机构35进行机器人模型22’的模拟动作(步骤404)。由此，在本发明的机器人模拟装置10中，机器人22取出零散堆积在容器24内的多个工件22时的搬运动作的再现成为可能。于是，在例如实际的机器人22取出容器24内的多个工件20时发生错误的情况下，通过进行上述再现动作，检测错误原因成为可能。
再有，在参照
的实施方式中，虽然将多个工件20配置在容器24内，但即便是将这些多个工件20配置在地面上的规定工件配置区域的情况，也应明确能够适用本发明。
但是，虽然已经使用本发明的典型实施方式说明和解释了本发明，但是所属领域的技术人员应该知道，在不脱离本发明的精神实质和范围的情况下，可以在本发明中以及对本发明进行前述的以及各种其它改变、删减以及增补。
权利要求
1.一种机器人模拟装置(10)，可生成及执行机器人程序，其特征在于，具备虚拟空间生成机构(31)，生成三维表现机器人(22)进行工件(20)的搬运作业的作业空间的虚拟空间(60)；工件模型配置机构(32)，在定义在由上述虚拟空间生成机构(31)生成的上述虚拟空间(60)内的工件配置区域模型或上述虚拟空间(60)内设置的工件容纳模型(24)内，以适当姿势将一个或多个上述工件(20)的工件模型(40)自动配置在适当位置上；虚拟摄像机构(33)，取得存在于从上述虚拟空间(60)中所指定场所观看而指定的视场范围内的上述工件模型(40)的虚拟图像(52)；修正机构(34)，基于该虚拟摄像机构(33)所取得的上述虚拟图像(52)修正上述机器人(22)的程序中的示教点；以及模拟机构，基于由该修正机构(34)修正上述示教点后的上述程序，模拟上述机器人(22)搬运上述工件(20)的动作。
2.根据权利要求1所述的机器人模拟装置，其特征在于，上述工件模型配置机构(32)将所指定数量的上述工件模型(40)配置在上述虚拟空间(60)内。
3.根据权利要求1或2所述的机器人模拟装置，其特征在于，上述工件模型配置机构(32)以互不共有同一空间的方式配置多个上述工件模型(40)。
4.根据权利要求1至3中任一项所述的机器人模拟装置，其特征在于，还具备存储工件属性信息的工件属性信息存储机构(13)，上述工件模型配置机构(32)基于存储在上述工件属性信息存储机构(13)中的上述工件属性信息以及上述多个工件模型(40)的接触部位的信息，算出上述工件(20)的变形量，基于该变形量在变形状态下配置上述工件模型(40)。
5.根据权利要求4所述的机器人模拟装置，其特征在于，上述工件属性信息含有上述工件的刚性、上述工件的重量以及上述工件的重心位置。
6.根据权利要求1至4中任一项所述的机器人模拟装置，其特征在于，还具备监控并存储上述机器人(22)的实际动作的机器人动作存储机构(13)，上述工件模型配置机构(32)基于存储在上述机器人动作存储机构(13)中的上述机器人(22)的实际动作，算出把持上述多个工件(20)的各个时的上述机器人(22)的机械手的位置姿势，并基于所算出的上述机械手的位置姿势配置上述工件模型(40)。
全文摘要
本发明提供一种机器人模拟装置。可生成及执行机器人程序的机器人模拟装置(10)含有虚拟空间生成机构(31)，其生成虚拟空间(60)；工件模型配置机构(32)，其在定义在虚拟空间内的工件容纳机构模型(24)内以适当姿势将一个以上的工件模型(40)自动配置在适当位置上；虚拟摄像机构(33)，其取得存在于从虚拟空间中所指定场所观看的视场范围内的工件模型的虚拟图像(52)；修正机构(34)，其基于所取得的虚拟图像修正机器人程序中的示教点；模拟机构(35)，其基于修正后的程序模拟机器人搬运工件的动作。由此，进行机器人和工件等的干涉的预测，同时，可准确求出所需时间。
文档编号G06F19/00GK101085523SQ20071010549
公开日2007年12月12日 申请日期2007年6月1日 优先权日2006年6月6日
发明者长塚嘉治, 井上幸三 申请人:发那科株式会社