程序编辑装置的制作方法

1.本发明涉及程序编辑装置。


背景技术：

2.通常，机器人的编程使用基于文本的指令语句来进行，因此，示教人员需要机器人的编程语言的知识。另一方面，为了辅助机器人的控制程序的示教人员的直观的输入，提出了能够进行在表示机器人控制的各命令的图标中使用的编程的程序制作装置(例如，专利文献1及专利文献2)。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开平8-249026号公报
6.专利文献2：日本专利第6498366号公报


技术实现要素：

7.发明所要解决的课题
8.在具备视觉传感器的机器人系统中，在用于进行工件的处理等作业的动作程序中，包含用于从由视觉传感器拍摄到的图像中检测对象物的位置并提供给机器人控制装置的、所谓的视觉检测的程序。用于视觉检测的程序包含摄像机的拍摄命令、用于对象物的检测的命令，制作方法与机器人的控制程序不同。因此，即使是习惯了机器人的控制程序的编程的示教人员，也无法将该知识用于视觉检测的程序的制作。期望一种程序编辑装置，即使是习惯于机器人的编程但不习惯视觉检测的编程的示教人员，也能够没有不协调感地进行视觉检测的程序的制作。
9.用于解决课题的手段
10.本公开的一个方式是一种对机器人的动作程序进行编辑的程序编辑装置，所述程序编辑装置具备：程序编辑部，其受理对于第一种图标、以及第二种图标共通的编辑操作，第一种图标对应于与所述机器人的控制相关的命令，第二种图标对应于与视觉传感器所进行的拍摄和拍摄到的图像的处理相关的命令；以及程序生成部，其按照被编辑的所述第一种图标和所述第二种图标来生成所述动作程序。
11.发明效果
12.根据上述结构，即使是习惯了机器人的编程但不习惯视觉检测的编程的示教人员，也能够没有不协调感地进行视觉检测的程序的制作。
13.根据附图所示的本发明的典型实施方式的详细说明，本发明的这些目的、特征和优点以及其他目的、特征和优点将变得更加明确。
附图说明
14.图1是表示包含一实施方式的程序编辑装置的机器人系统的一结构例的图。
15.图2是程序编辑装置的功能框图。
16.图3是表示用于编辑程序的编辑画面的一例的图。
17.图4是新制作视觉检测的程序时的画面例。
18.图5是从下拉菜单中选择视觉检测的程序时的画面例。
19.图6是用于制作视觉检测的程序的另一画面的例子。
20.图7是在相同的程序生成区域中制作机器人的控制程序和视觉检测的程序时的编辑画面例。
21.图8是表示视觉检测的程序的第一例的图。
22.图9是表示视觉检测的程序的第二例的图。
23.图10是表示视觉检测的程序的第三例的图。
具体实施方式
24.接着，参照附图对本公开的实施方式进行说明。在参照的附图中，对相同的结构部分或功能部分标注相同的参照附图标记。为了容易理解，这些附图适当变更了比例尺。另外，附图所示的方式是用于实施本发明的一个例子，本发明并不限定于图示的方式。
25.图1是表示包含一实施方式的程序编辑装置10的机器人系统100的一结构例的图。机器人系统100包括：机器人30，其在臂前端部搭载有手31；机器人控制装置50，其控制机器人30；程序编辑装置10，其与机器人控制装置50连接；视觉传感器41，其安装于机器人30的臂前端部；以及视觉传感器控制装置40，其控制视觉传感器41。在机器人系统100中，利用由机器人控制装置50控制的机器人30的手31来处理作业台2上的对象物1。
26.视觉传感器控制装置40具有控制视觉传感器41的功能和对由视觉传感器41拍摄的图像进行图像处理的功能。视觉传感器控制装置40从由视觉传感器41拍摄到的图像中检测对象物1的位置，并将检测到的对象物1的位置提供给机器人控制装置50。由此，机器人控制装置50能够修正示教位置并执行对象物1的取出等。以下，有时将从由视觉传感器拍摄到的图像中检测对象物的位置的功能称为视觉检测，将基于视觉传感器的位置检测来校正示教位置的功能称为视觉校正。此外，在图1中，示出了将视觉传感器41安装于机器人30的臂前端的例子，但视觉传感器41也可以固定于在作业空间内能够拍摄作业台2上的对象物1的位置。
27.视觉传感器41既可以是拍摄浓淡图像、彩色图像的摄像机，也可以是能够取得距离图像、3维点群的立体摄像机、3维传感器。在机器人系统100中，也可以配置多台视觉传感器。视觉传感器控制装置40保持对象物的模型图案，执行通过拍摄图像中的对象物的图像与模型图案的图案匹配来检测对象物的图像处理。
28.程序编辑装置10用于制作用于使机器人30执行对象物1的处理的动作程序。程序编辑装置10例如是与机器人控制装置50连接的示教装置(示教操作盘、平板终端等)。程序编辑装置10也可以具有作为具备cpu、rom、ram、存储装置、输入输出接口、网络接口等的一般的计算机的结构。程序编辑装置10也可以是用于以所谓的以离线的方式进行编程的编程装置(pc等)。
29.如以下详细说明的那样，程序编辑装置10能够针对机器人30的控制所使用的命令、以及与视觉传感器所进行的拍摄和拍摄到的图像的处理(视觉检测)相关的命令这双方
进行基于图标的编程。以下，在区分用于机器人30的控制的命令的图标和表示用于视觉检测的命令的图标的情况下，有时将前者称为第一种图标，将后者称为第二种图标。
30.图2是程序编辑装置10的功能框图。程序编辑装置10具备：程序编辑部11，其用于进行使用了图标的程序编辑；程序生成部14，其基于编辑后的图标来生成动作程序；显示装置19，其显示编辑画面；输入装置18，其包含键盘、鼠标等。程序编辑部11具有编辑画面显示部12和操作输入受理部13。编辑画面显示部12在显示装置19上显示编辑画面400(参照图3)，该编辑画面400是机器人30的动作程序的编辑画面，包含：图标显示区域200，其显示包含与机器人的控制有关的第一种图标和与视觉检测功能有关的第二种图标的图标一览；程序制作区域300，其用于按照动作顺序配置从图标显示区域200中选择出的1个以上的图标来进行编程。操作输入受理部13受理从图标显示区域200所显示的一览中选择图标并配置到程序生成区域300的操作输入。程序生成部14根据按照动作顺序配置在程序生成区域300中的1个以上的图标来生成动作程序。
31.图2所示的程序编辑装置10的功能块既可以通过程序编辑装置10的cpu执行存储于存储装置的各种软件来实现，或者也可以通过以asic(application specific integrated circuit：专用集成电路)等硬件为主体的结构来实现。
32.图3是编辑画面400的例子。如图3所示，编辑画面400包含用于显示图标的一览的图标显示区域200和按照动作顺序配置图标显示区域(第一图标显示区域)200中显示的图标的程序制作区域(第一程序制作区域)300。操作员通过将从图标显示区域200中选择出的图标按照动作顺序排列在程序制作区域300中，由此制作动作程序。
33.在此，以使用鼠标作为用于编辑动作程序的输入装置的情况为例，说明编辑操作。在图3所示的编辑画面400中，在图标显示区域200中显示了能够用于编程的图标的一览。在图3的例子中，在图标显示区域200中一览显示的图标中包含用于机器人的控制(机器人程序)的各种图标201-209(第一种图标)以及用于视觉检测的图标251(第二种图标)。在图标显示区域200中显示的各图标由在操作者观察时能够直观地理解其功能的图形来表现。另外，在各图标的下部，为了帮助理解其功能而用文字来对表现其功能的语言(功能名称等)进行表现。
34.在图3的编辑画面400中，通过选择在画面中央部配置的编程的标签261，画面下侧的区域成为显示编程的图标的图标显示区域200。图3所例示的用于机器人控制的图标201-209分别对应于以下的命令。
35.图标201：闭合手并抓取对象物的命令
36.图标202：打开手的命令
37.图标203：使机器人的臂前端部以直线的轨迹移动的命令
38.图标204：使机器人的臂前端部以圆弧状的轨迹移动的命令
39.图标205：在路径中追加经由点的命令
40.图标206：使手旋转的命令
41.图标207：使手停止的命令
42.图标208：码垛(装载)执行命令
43.图标209：卸垛(卸载)执行命令
44.编辑画面400上的上侧的程序制作区域300是用于通过按照动作顺序排列图标来
制作动作程序的区域。在编辑画面400上，通过鼠标的操作将期望的图标从图标显示区域200拖放至程序制作区域300。操作输入受理部13根据这样的拖放操作，将所选择的图标的拷贝配置于程序制作区域。操作员通过这样的操作，从图标显示区域200中选择图标并配置在程序制作区域的期望的位置，由此制作动作程序。在程序制作区域300中，将从图标显示区域200选择出的图标按照动作顺序从左向右排列。
45.当选择配置在程序制作区域300中的图标并选择详细标签262时，编辑画面400的下侧的区域成为用于进行该图标的命令的详细的动作设定的参数设定画面(未图示)。操作者可以经由参数设定画面来设定与选择中的图标的动作命令相关的详细的参数。作为一例，当选择配置在程序制作区域300中的图标203(直线移动)时，该图标203被高亮显示。当操作员在该状态下选择详细标签262时，与该图标203的命令(直线移动)相关的设定画面被显示于编辑画面400的下侧的区域。该情况下的详细设定的内容包含下述的设定项目(目标位置、姿势和移动速度)。操作员向各设定项目输入例如下述这样的数值数据。
46.(参数设定项目)
47.目标位置和姿势：x 345.6y 456.7z 567.8
48.w 345.6p 456.7r 567.8
49.目标速度：750mm/sec
50.在图3的例子中，在图标显示区域200中包含与视觉检测相关的图标251。图标251提供调用视觉检测的程序的功能。图标251由能够直观地理解通过视觉传感器检测对象物并检测对象物的位置而拿起对象物的动作的图形来表示。另外，在图标251的下侧显示清楚地表示图标251的功能的语言“查看(見
て
取
る
)”。此外，程序制作区域300所包含的凹状的框形状的图标231、232是被称为辅助图标的图标，被用作定义分支指令或重复动作的图标。在图标显示区域200中也能够显示这样的辅助图标。
51.操作员在选择“查看”图标251并编入动作程序的情况下，也能够通过与拖放机器人控制的图标201-209并配置于程序制作区域300的情况相同的操作，配置于程序制作区域300。在图3中，示出了图标251通过操作员从图标显示区域200进行拖放操作而编入程序生成区域300的动作程序中的状态(箭头a)。
52.当在选择了配置于图3的程序制作区域300的图标251的状态下选择详细标签262时，在视觉检测程序的制作成为新的情况下，如图4所示，在编辑画面400的下侧区域显示包含指定新制作的按钮501的画面。当操作员选择新制作的按钮501时，显现用于制作视觉程序的其他画面(图6)。
53.另一方面，在程序编辑装置10内已经登记了视觉检测程序的情况下，如果在图3的编辑画面400中选择了图标251的状态下选择了详细标签262，则如图5所示，在新制作的按钮501的基础上还出现下拉菜单502。操作员通过从下拉菜单502中选择期望的视觉检测程序并按下打开按钮503，能够打开所选择的视觉检测程序。此外，也可以在图5的编辑画面400的下侧的区域显示视觉传感器41的实时图像550。
54.图6表示通过选择新制作的按钮501、或者从下拉菜单502中选择视觉检测程序而选择打开按钮503而作为其他画面被显示的视觉检测程序的编辑画面400a的例子。在编辑画面400a的下侧的图标显示区域(第二图标显示区域)200a一览显示能够用于视觉检测程序的制作的命令的图标252-254。在编辑画面400a的上侧的程序制作区域(第二程序制作区
域)300a，按照动作顺序排列配置视觉检测程序的图标。操作员通过从一览显示于图标显示区域200a的图标中拖放期望的图标并配置于程序制作区域300a来制作视觉程序。这样，即使在通过其他画面制作/编辑视觉检测程序的情况下，也能够在与制作图3所示的机器人控制程序的情况相同的画面结构的编辑画面上，且通过同样的选择操作来制作视觉检测程序。
55.作为例示，在图6的编辑画面400a的程序制作区域300a中制作将2个指示拍摄的拍摄图标252、2个指示对象物的检测的检测图标253、以及校正计算图标254排列而成的视觉检测程序601。在该情况下，基于图标的视觉检测程序从图中左侧起依次相当于以下的命令内容。
56.snap1：拍摄图像1
57.snap2：拍摄图像2
58.find_shape:从图像发现轮廓
59.find_blob：从图像中发现块
60.calc_offset：计算校正量
61.在该情况下，操作员选择在程序制作区域300a配置的各图标，在编辑画面400a的下部显示参数设定画面，进行详细的参数的设定。在拍摄图标252(命令snap)的参数设定中包含以下的设定项目。
62.·
曝光时间
63.·
led照明有无点亮
64.·
图像缩小率
65.在检测图标253(指令find_shape或find_blob)的参数设定中，进行以下设定项目的设定。此外，在下述设定项目中，“一致度的阈值”、“对比度的阈值”是与对象物的检测的图像处理中的阈值相关的参数。
66.·
使用的图像(基于snap1的图像或基于snap2的图像)
67.·
发现的形状
68.·
一致度的阈值
69.·
对比度的阈值
70.在校正计算图标254(命令calc_offset)中，例如根据2个检测图标253(命令find_shape和find_blob)的检测结果求出对象物在图像上的位置，将该图像上的位置转换为机器人坐标系的3维坐标，由此得到用于校正机器人的示教位置的校正量。
71.图7不是图6那样的其他画面，而是在用于制作图3所示的机器人程序的编辑画面400上制作视觉程序的情况下的画面例。在该情况下的编辑画面400中，在图标显示区域200中包含用于视觉程序的拍摄图标252、检测图标253、校正计算图标254。操作员在动作程序中包含视觉程序的情况下，能够从一览显示于图标显示区域200的图标中点击期望的图标，通过拖放操作配置于程序制作区域300。
72.在图7的程序制作区域300的动作程序的例子中，配置有拍摄图标252和检测图标253。
73.以下，参照图8-图10说明在程序制作区域300或300a中制作的视觉程序的例子。
74.图8的视觉程序602表示相当于上述的“查看”图标251的功能，并且包含具有凹状
的框的形状且形成为能够包围其他图标的辅助图标255。在图8的例子中，辅助图标255在凹状的框形状的两端部255a、255b之间包含指示直线移动的图标210、表示抓取对象物的命令的图标211、以及指示直线移动的图标210。
75.在视觉程序602中，在2条直线移动的命令中应用视觉校正。视觉程序602例如在视觉传感器的视野(拍摄图像)内存在多个对象物，实现一边对在拍摄图像内发现的多个对象物进行视觉修正一边依次拿起的动作。
76.在图8的视觉程序602中，通过选择辅助图标255来选择图3等所示的详细标签262，能够显示图6所例示那样的制作视觉程序的程序编辑画面。
77.在图9的视觉程序603中，在表示摄像机的图形的辅助图标256的凹状的框之间并排配置有2个包含拍摄图标252和检测图标253的程序组。在最后部配置有校正计算图标254。图9的视觉程序603实现如下的动作。在此，假设机器人系统具备2台摄像机的情况。
78.(a1)利用第一摄像机检测对象物的一个端部(图9中左侧的辅助图标256)
79.(a2)利用第二摄像机检测对象物的另一个端部(图9中右侧的辅助图标256)
80.(a3)在校正计算图标254中，根据检测出的各个位置求出对象物的中点的位置，将该位置作为对象物，得到对象物在机器人坐标系中的位置。由此，求出应校正示教点的位置。
81.在图9的视觉程序603中，图中左侧的辅助图标256的图标组表示第一摄像机的动作，图中右侧的辅助图标256的图标组表示第二摄像机的动作。在视觉程序603中，在操作员选择图中左侧的辅助图标256并选择详细标签262而进行调用的参数设定画面中，包含使第一摄像机启动的命令。另外，在操作员选择图中右侧的辅助图标256并选择详细标签262而进行调用的参数设定画面中，包含使第二摄像机启动的命令。
82.图10的视觉程序604首先配置有拍摄图标252，接着配置有相当于检测动作的辅助图标257，在该辅助图标257的框内配置有2个检测图标253。在视觉程序604中，实现如下的动作。首先，通过拍摄图标252对对象物进行拍摄。接着，在检测的辅助图标257中检测对象物的整体的形状，通过辅助图标257内的2个检测图标进行对象物上的特征(例如孔)的检测。由此，能够检测具有2个孔的对象物。接着，通过校正计算图标254求出对象物在机器人坐标系中的坐标并作为位置校正用的数据。
83.如以上说明的那样，在本实施方式中，在编辑画面内的图标显示区域中同样地一览显示用于机器人的编程的第一种图标和用于视觉程序的第二种图标。另外，在本实施方式中，能够通过与将机器人的编程的图标配置于程序制作区域的情况下的操作相同的操作，进行将视觉程序的图标配置于程序制作区域的操作。
84.即，根据本实施方式，能够通过共通的编辑操作对第一种图标和第二种图标进行编辑而制作动作程序。因此，根据本实施方式，即使是习惯于机器人的编程但不习惯视觉编程的示教人员，也能够没有不协调感地进行视觉程序的制作。
85.以上，使用典型的实施方式对本发明进行了说明，但只要是本领域技术人员，则能够理解在不脱离本发明的范围的情况下，能够进行上述各实施方式的变更以及各种其他变更、省略、追加。
86.在上述的实施方式中，是在将机器人的动作命令以及视觉传感器的图像处理的动作指令表示为图标的情况下使这些图标的显示方法、操作方法共通化的结构例。在动作程
序的制作中，使机器人的控制的编程与视觉编程中的命令的显示方法、输入操作的方法共通化的方法也能够在基于文本的编程中实现。
87.作为一例，假设使用程序编辑装置输入下述基于文本的动作程序(以下记作动作程序f)。此外，在下述程序列表中，各行的最左边的数字是行编号。动作程序f是从由第一台摄像机(摄像机a)拍摄到的图像中检测对象物，一边校正机器人的位置一边进行对象物的处理(行编号1～行编号10)，接着从由第二台摄像机(摄像机b)拍摄到的图像中检测对象物，一边校正机器人的位置一边进行对象物的处理(行编号12～行编号19)。
88.(动作程序f)
89.1:直线位置[1]2000mm/sec定位；
[0090]
2:；
[0091]
3:视觉检测
‘
a’；
[0092]
4:取得视觉校正数据
‘
a’视觉对准(
レジ
)[1]跳转标签[100]；
[0093]
5:；
[0094]
6:！handling；
[0095]
7:直线位置[2]2000mm/sec平滑100视觉校正，视觉对准[1]工具校正，位置对准[1]；
[0096]
8:直线位置[2]500mm/sec定位视觉校正，视觉对准[1]；
[0097]
9:调用hand_close；
[0098]
10:直线位置[2]2000mm/sec平滑100视觉校正，视觉对准[1]工具校正，位置对准[1]；
[0099]
11:；
[0100]
12:视觉检测
‘
b’；
[0101]
13:取得视觉校正数据
‘
b’视觉对准[2]跳转标签[100]；
[0102]
14:；
[0103]
15:！handling；
[0104]
16:直线位置[2]2000mm/sec平滑100视觉校正，视觉对准[2]工具校正，位置对准[1]；
[0105]
17:直线位置[2]500mm/sec定位视觉校正、视觉对准[2]；
[0106]
18:调用hand_close；
[0107]
19:直线位置[2]2000mm/sec平滑100视觉校正，视觉对准[1]工具校正，位置对准[1]；
[0108]
20:
[0109]
在上述动作程序f中，命令“直线位置[]”、“调用hand_close”是属于机器人的控制的命令。具体而言，命令“直线位置[]”是使机器人的臂前端移动的命令，命令“调用hand_close”是调用闭合手的处理的命令。另一方面，在动作程序f中，命令“视觉检测”、“取得视觉校正数据”是属于视觉程序的命令。具体而言，命令“视觉检测”是由摄像机进行拍摄的命令，命令“取得视觉校正数据”是用于检测对象物并求取用于校正的位置的命令。
[0110]
程序编辑装置在输入动作程序f的指令语句的编辑画面中，例如以弹出菜单显示指令语句的列表。在弹出菜单中包含例如下述表1的指令语句的列表。
[0111]
[表1]
[0112]
编号指令语句1直线位置[]2调用hand_open3调用hand_close4视觉检测5取得视觉校正数据
[0113]
程序编辑装置在进行了显示指令语句的弹出菜单的操作时，显示指令语句的弹出菜单。然后，程序编辑装置将在弹出菜单中通过使用了输入装置的选择操作(鼠标的点击、在触摸面板上的触摸操作)所选择的指令语句插入编辑画面上的有光标的行。操作员反复进行这样的指令语句的选择插入的动作，来制作动作程序f。
[0114]
在这样的基于文本库的动作程序的制作/编辑中，与机器人的控制相关的指令语句和视觉程序的指令语句也通过相同的显示方法来显示，操作人员能够以与选择机器人的控制的指令语句并插入到程序内的情况相同的操作方法将视觉程序的指令语句插入到动作程序内。因此，即使在这样的结构的情况下，也能够实现与使用了上述实施方式中的图标的编程的情况相同的效果。
[0115]
在上述的实施方式中，作为通过利用视觉传感器进行拍摄并进行拍摄到的图像的处理来实现规定的功能的具体例，对将检测对象物的位置而检测出的位置用于机器人的动作的校正等的情况的例子进行了说明。在通过利用视觉传感器进行拍摄并进行拍摄到的图像的处理而实现的功能中，除了上述的例子以外，还包括能够使用检查、条形码读取等视觉传感器来实现的各种功能。
[0116]
例如，假定将图1的机器人系统100构成为使用视觉传感器41进行检查(外观检查等)的系统的情况。在该情况下，在如图3所示的编辑画面400的图标显示区域200中显示表示检查功能的图标。该情况下的图标能够使用联想到检查的各种图形(例如，将通过摄像机拍摄对象物的状态进行图形化而得的图形)、或者对这样的图形进一步附加了“检查”的文字的图形。在该情况下的针对检查功能的图标的详细的程序制作画面、参数设定画面中，进行用于摄像的摄像机的设定、与检查对象物有关的信息、合格与否判定基准等的设定。检查结果被提供给机器人控制装置50。
[0117]
在图1的机器人系统10中附加使用视觉传感器41读取条形码的功能的情况下，在如图3所示的编辑画面400的图标显示区域200显示表示条形码读取功能的图标。该情况下的图标能够使用联想到条形码读取功能的各种图形(例如，包含摄像机和条形码的图形)、或者在这样的图形上进一步附加了“条形码读取”的文字的图形。条形码读取功能例如也可以通过从由视觉传感器拍摄到的图像中通过图像处理进行条形码的搜索和解读来实现。在该情况下的针对条形码读取功能的图标的详细的程序制作画面、参数设定画面中，进行与摄像机的设定、条形码读取的图像处理相关的设定。
[0118]
附图标记说明
[0119]
10 程序编辑装置
[0120]
11 程序编辑部
[0121]
12 编辑画面显示部
[0122]
13 操作输入受理部
[0123]
14 程序生成部
[0124]
18 输入装置
[0125]
19 显示装置
[0126]
30 机器人
[0127]
31 手
[0128]
40 视觉传感器控制装置
[0129]
41 视觉传感器
[0130]
50 机器人控制装置
[0131]
100 机器人系统
[0132]
200、200a 图标显示区域
[0133]
300、300a 程序制作区域
[0134]
400、400a 编辑画面。