显示装置和显示程序的制作方法

1.本发明涉及一种显示装置和显示程序。


背景技术：

2.以往，在对由搬送装置搬送来的工件进行规定的作业的系统中，例如在繁忙期追加设置机器人的情况下，有时想要事前确认设置机器人后的作业现场的布局。另外，为了知晓由追加设置机器人而带来的作业的改善效果，也有时想要事前确认设置于作业现场时的机器人的处理能力。
3.此外，专利文献1公开一种显示控制装置，该显示控制装置的目的在于呈现能够在视觉上掌握所操作的设备的当前位置与要使所操作的设备移动到的目的位置之间的关系的信息。该显示控制装置具备：信息处理部，其基于驱动对象设备的三维数据和构造物的三维数据，在所述构造物的三维数据所规定的虚拟空间内生成通过设定于所述驱动对象设备的控制点并包括第一直线的照准坐标轴的三维数据；以及输出控制部，其基于所述驱动对象设备的三维数据、所述构造物的三维数据以及由信息处理部生成的所述照准坐标轴的三维数据，来生成用于将所述照准坐标轴显示于输出装置的控制信息。所述第一直线是到所述控制点与所述构造物的表面的交点为止的部分的线段。
4.现有技术文献
5.专利文献
6.专利文献1：日本专利第6385627号公报


技术实现要素：

7.发明要解决的问题
8.为了确认追加设置机器人后的作业现场的布局，需要通过在已有的系统的图中追加机器人并确认机器人的作业范围等，来再次研究作业现场的布局。因此，存在到实际将机器人设置于作业现场从而能够开始进行作业为止花费大量时间的问题。
9.另外，为了事前确认机器人的处理能力，以往，通过在离线软件中模拟工件流来使机器人进行动作，来评价利用机器人得到的作业的改善效果。但是，在离线软件中，难以准确地再现现实的工件流动，从而无法准确地评价作业的改善效果。
10.因而，期望能够在作业现场实际地设置机器人之前，容易地进行作业现场的布局的确认以及机器人对作业的处理能力的确认。
11.用于解决问题的方案
12.本公开的显示装置的一个方式具备：增强现实显示部，其将按照规定的程序进行动作的虚拟机器人与现实空间上的物体一同显示；位置检测部，其通过测量从所述增强现实显示部起到现实空间上的作业对象为止的距离，来检测所述作业对象的位置；以及控制部，其基于由所述位置检测部检测出的所述作业对象的位置，使显示于所述增强现实显示部的所述虚拟机器人进行动作来对所述作业对象执行规定的作业。
13.本公开的显示程序的一个方式使计算机作为显示装置发挥功能，所述显示装置具备：增强现实显示部，其将按照规定的程序进行动作的虚拟机器人与现实空间上的物体一同显示；位置检测部，其从所述增强现实显示部测量作业对象的位置；以及控制部，其基于由所述位置检测部测量出的所述作业对象的位置，使显示于所述增强现实显示部的所述虚拟机器人进行动作来对所述作业对象执行规定的作业。
14.发明的效果
15.根据本公开的显示装置的一个方式，能够在作业现场实际地设置机器人之前，容易地进行作业现场的布局的确认以及机器人对作业的处理能力的确认。
16.另外，根据本公开的显示程序的一个方式，能够在作业现场实际地设置机器人之前，通过计算机容易地进行作业现场的布局的确认以及机器人对作业的处理能力的确认。
附图说明
17.图1是示出本公开的一个方式所涉及的显示装置的使用状态的图。
18.图2是示出本公开的一个方式所涉及的显示装置的结构的框图。
19.图3是示出在本公开的一个方式所涉及的显示装置中测量作业对象的移动速度的情形的图。
20.图4是示出在本公开的一个方式所涉及的显示装置中显示表示实现了针对作业对象的规定的作业的信息的状态的图。
21.图5是示出本公开的一个方式所涉及的显示装置中的显示方法的流程图。
22.图6是示出本公开的另一个方式所涉及的显示装置的概要图。
23.附图标记说明
24.1、1a：显示装置；2：增强现实显示部；3：位置检测部；4：控制部；5：作业对象管理部；10：虚拟机器人；20：表示实现了针对作业对象的规定的作业的信息；100：作业现场(物体)；200：搬送装置(物体)；300：作业对象(物体)；wk：作业者(物体)。
具体实施方式
25.下面，参照附图来说明本公开的一个方式。图1是示出本公开的一个方式所涉及的显示装置的使用状态的图。图2是示出本公开的一个方式所涉及的显示装置的结构的框图。
26.显示装置1例如是在研究在工厂内的作业现场100新设置机器人时、能够事前进行设置机器人后的作业现场100的布局的确认和机器人的处理能力的确认的装置。图1所示的显示装置1由具备作为显示部的液晶监视器画面的平板型计算机构成。
27.在图1所示的现实空间上的作业现场100(物体)设置有搬送装置200(物体)，该搬送装置200沿图1中的用空心箭头表示的一个方向搬送多个作业对象300(物体)。在作业现场100示出有针对由搬送装置200搬送来的作业对象300进行作业的2名作业者wk(物体)。
28.如图2所示，显示装置1具有增强现实显示部2、位置检测部3、控制部4以及作业对象管理部5。
29.如图1所示，增强现实显示部2将虚拟机器人10与现实空间上的物体(在本实施方式中为作业现场100、搬送装置200、作业对象300以及作业者wk。)一同显示。增强现实显示部2一般由计算机的监视器画面构成，例如将通过设置于显示装置1的摄像装置拍摄到的现
实空间上的上述物体与虚拟机器人10一同显示。
30.虚拟机器人10是按照显示装置1中预先存储的规定的程序显示于增强现实显示部2的虚拟的对象，在现实空间上并不存在。但是，增强现实显示部2通过将虚拟机器人10与现实空间上的物体重叠地进行立体显示，来显示宛如虚拟机器人10存在(设置)于现实空间上的作业现场100那样的增强现实图像。虚拟机器人10在增强现实显示部2上能够与在现实空间实际设置了机器人的情况同样地、以针对作业对象300进行基于作业程序的规定的作业的方式进行动作。规定的作业包括机器人能够针对作业对象300执行的所有作业，例如把持作业对象300来从搬送装置200上移送到其它的场所的移出作业以及贴纸贴附作业等。
31.增强现实显示部2构成为能够将虚拟机器人10配置在任意的位置。例如，在增强现实显示部2由触控面板构成的情况下，能够通过由显示装置1的操作者用手指或者触控笔触摸虚拟机器人10并将其移动到增强现实显示部2内的任意的位置，来在显示于增强现实显示部2的现实空间上将虚拟机器人10配置在预定设置机器人的任意的场所。增强现实显示部2中的虚拟机器人10的显示通过后述的控制部4的功能来实现。
32.位置检测部3具有从增强现实显示部2检测作业对象300的位置的功能。具体地说，位置检测部3构成为包括能够拍摄作业对象300的二维照相机等摄像装置和距离图像传感器等。在图1中示出位置检测部3由距离图像传感器构成的例子，该距离图像传感器设置于显示装置1中与配置增强现实显示部2的面相反侧的面。但是，位置检测部3也可以是与显示装置1独立设置的摄像装置和距离图像传感器等。在使用二维照相机等摄像装置的情况下，能够通过对作业对象300的外观和位置进行机器学习来检测作业对象300的位置。如图1所示，由距离图像传感器构成的位置检测部3能够兼具使拍摄到的现实空间上的上述物体如图1所示显示于增强现实显示部2的功能。位置检测部3通过按照规定的处理程序对现实空间上的作业对象300的图像进行图像处理，来对从增强现实显示部2到作业对象300为止的距离进行测量。由位置检测部3对作业对象300的位置检测通过后述的作业对象管理部5的功能来实现。
33.控制部4具有以下功能：与显示于增强现实显示部2的现实空间上的物体重叠地立体显示虚拟机器人10，并且基于由位置检测部3检测出的作业对象300的位置，使显示于增强现实显示部2的虚拟机器人10进行动作来对作业对象300执行规定的作业。
34.具体地说，控制部4由cpu(central processing unit：中央处理单元)等运算处理装置构成。另外，控制部4具备hdd(hard disk drive：硬盘驱动器)、ssd(solid state drive：固态驱动器)等辅助存储装置、ram(random access memory：随机存取存储器)之类的主存储装置，辅助存储装置保存有用于执行显示装置1的各种功能的各种程序，主存储装置用于保存在由运算处理装置执行程序上临时所需的数据。在控制部4中，运算处理装置从辅助存储装置读入各种程序，并一边使读入的各种程序在主存储装置中展开，一边基于这些各种程序来进行运算处理。控制部4构成为通过基于其运算结果控制与控制部4连接的各硬件(增强现实显示部2、位置检测部3等)，来作为显示装置1发挥功能。
35.控制部4以配合与虚拟机器人10一同显示的现实空间上的物体的尺寸的方式来调整显示于增强现实显示部2的虚拟机器人10的大小。或者，控制部4以配合显示于增强现实显示部2的虚拟机器人10的尺寸的方式来调整显示于增强现实显示部2的现实空间上的物体的大小。现实空间上的物体的尺寸基于由位置检测部3或者其它摄像装置等拍摄到的现
实空间上的物体的图像来获取。由此，控制部4在增强现实显示部2中以维持与现实空间上的物体(作业现场100、搬送装置200、作业对象300以及作业者wk)在现实空间中的相对的位置关系的方式将虚拟机器人10与现实空间上的物体重叠显示。
36.作业对象管理部5基于由位置检测部3检测出的作业对象300的位置来测量作业对象300的当前位置。详细地说，由于搬送装置200上的作业对象300通过搬送装置200的驱动以固定速度连续或者间歇地被搬送，因此为了由虚拟机器人10针对作业对象300执行规定的作业，需要基于作业对象300的移动速度(搬送装置200的搬送速度)来始终掌握增强现实显示部2上的作业对象300的当前位置，确认作业对象300是否处于虚拟机器人10的作业范围内。因此，作业对象管理部5使用位置检测部3，针对显示于增强现实显示部2并被搬送装置200搬送的多个作业对象300中的、视作同一对象的任一个作业对象300，连续地进行至少2次位置检测，根据其检测结果来测量作业对象300的移动速度。
37.图3示出在显示装置1中测量作业对象300的移动速度的情形。例如，在着眼于显示于增强现实显示部2的搬送装置200上的左端的一个作业对象300的情况下，针对该作业对象300连续地进行2次位置检测，由此在最初的第一次检测中检测出作业对象300a(图3中用虚线示出。)的位置，在第二次检测中检测出从作业对象300a的位置移动了规定距离的作业对象300b(在图3中用实线示出。)的位置。作业对象管理部5通过将从该作业对象300a的位置起到作业对象300b的位置为止的移动距离除以从第一次的位置检测起到第二次的位置检测为止的时间间隔，来测量作业对象300的移动速度。作业对象管理部5基于测量出的作业对象300的移动速度，以规定的控制周期来检测增强现实显示部2中的作业对象300的当前位置。可以使这样的作业对象管理部5的全部功能或者一部分功能包括在控制部4中。
38.接着，使用图5所示的流程图来说明使用了显示装置1的显示方法。首先，操作者使显示装置1启动，通过还作为摄像装置发挥功能的位置检测部3如图1所示那样拍摄现实空间上的作业现场100。由此，显示装置1在增强现实显示部2中与拍摄到的现实空间上的物体(作业现场100、搬送装置200、作业对象300以及作业者wk)的图像重叠地显示虚拟机器人10(s1)。
39.虚拟机器人10的位置和姿势通过如下的坐标系来表示，该坐标系与关于由位置检测部3得到的现实空间上的物体的位置的坐标系相同。操作者通过用手指或者触控笔触摸虚拟机器人10并使其移动，来在增强现实显示部2上将虚拟机器人10配置在想要设置机器人的任意的位置。
40.在将虚拟机器人10配置于增强现实显示部2上的任意位置后，显示装置1例如将操作者的使虚拟机器人10的动作开始的输入指示作为触发，使用位置检测部3来检测增强现实显示部2上的作业对象300的位置。并且，显示装置1根据该位置来测量作业对象300的移动速度，并根据该测量结果来继续测量增强现实显示部2上的各作业对象300的当前位置。显示装置1基于测量出的作业对象300的当前位置，使显示于增强现实显示部2的虚拟机器人10进行动作来对作业对象300执行规定的作业(s2)。
41.显示装置1在虚拟机器人10的动作开始后，在控制部4中监视作业对象300的当前位置是否进入了虚拟机器人10的作业范围内。在增强现实显示部2上的作业对象300进入了虚拟机器人10的作业范围内的情况下，显示装置1基于作业对象300的当前位置，使虚拟机器人10以一边追踪作业对象300一边进行作业的方式进行动作。由此，虚拟机器人10执行例
如虚拟地把持增强现实显示部2上的作业对象300并移送到其它场所等动作。
42.对于虚拟机器人10的作业，在虚拟机器人10能够进行了追踪作业对象300的当前位置地进行移动并虚拟地把持作业对象300的动作的情况下，判断为实现了作业。因而，显示装置1通过在控制部4或者作业对象管理部5中监视虚拟机器人10(例如，虚拟机器人10的前端部的位置)与作业对象300的在增强现实显示部2上的位置关系，来检测是否实现了虚拟机器人10针对作业对象300的作业(s3)。
43.在上述步骤s3中，在实现了虚拟机器人10针对作业对象300的作业的情况下(在步骤s3为“是”)，如图4所示，显示装置1在作业结束的作业对象300c重叠地显示表示实现了作业的作业结束标记20(s4)。图4所示的作业结束标记20通过包围作业对象300c的圆来显示。但是，能够在增强现实显示部2上识别出作业结束的作业对象300c即可，作业结束标记20可以是任意的标记。在步骤s3中，在没有实现虚拟机器人10针对作业对象300的作业的情况下(在步骤s3为“否”)，显示装置1不对该作业对象300进行作业结束标记20的显示，而转移到步骤s5的处理。
44.在存在由搬送装置200搬送的作业对象300的期间持续进行虚拟机器人10的作业(s5)。在增强现实显示部2上存在由搬送装置200搬送的作业对象300的情况下、或者没有操作者的使虚拟机器人10的动作结束的输入指示的情况下(在步骤s5为“否”)，重复从步骤s3起的处理。在不存在由搬送装置200搬送的作业对象300的情况下、或者存在操作者的使虚拟机器人10的动作结束的输入指示的情况下，使虚拟机器人10的动作停止。
45.显示装置1不限定于由平板型计算机构成。显示装置1是具有能够显示图像的显示部的计算机即可，例如，也可以是笔记本型电脑、其它的便携型终端等。另外，还可以是如图6所示的显示装置1a那样、一体地具有位置检测部3和增强现实显示部2的头戴式显示器。控制部4和作业对象管理部5可以内置于头戴式显示器，也可以与头戴式显示器独立地设置，并通过有线或者无线与头戴式显示器以可通信的方式连接。
46.此外，显示装置1、1a中的增强现实显示部2、位置检测部3、控制部4以及作业对象管理部5分别能够通过硬件、软件或者它们的组合来实现。另外，通过增强现实显示部2、位置检测部3、控制部4以及作业对象管理部5的协同动作进行的显示方法也能够通过硬件、软件或者它们的组合来实现。在此，通过软件来实现是指通过由计算机读入并执行程序来实现。
47.程序使用各种类型的非瞬态的计算机可读介质(non
‑
transitory computer readable medium)来保存，并被提供到计算机。非瞬态的计算机可读介质包括各种类型的具有实体的记录介质(tangible storage medium)。非瞬态的计算机可读介质包括磁记录介质(例如软盘、磁带、硬盘驱动器)、光磁记录介质(例如，磁光盘)、cd
‑
rom(read only memory：只读存储器)、cd
‑
r、cd
‑
r/w、半导体存储器(例如，掩模rom、prom(programmable rom：可编程rom)、eprom(erasable prom：可擦除prom)、闪存rom、ram(random access memory：随机存取存储器))。另外，程序可以被提供到各种类型的瞬态的计算机。瞬态的计算机可读介质包括电信号、光信号以及电磁波。瞬态的计算机可读介质经由无线通信路径、或者电线和光纤等有线通信路径将程序提供到计算机。
48.以上说明的本公开的显示装置1、1a的一个方式起到以下这样的效果。
49.本公开的显示装置1、1a具备：增强现实显示部2，其将按照规定的程序进行动作的
虚拟机器人10与现实空间上的物体(作业现场100、搬送装置200、作业对象300以及作业者wk)一同显示；位置检测部3，其通过测量从增强现实显示部2起到现实空间上的作业对象300为止的距离来检测作业对象300的位置；以及控制部4，其基于由位置检测部3检测出的作业对象300的位置，使显示于增强现实显示部2的虚拟机器人10进行动作来对作业对象300执行规定的作业。由此，能够在增强现实显示部2上确认在作业现场100设置了机器人时的布局、机器人的动作。因此，无需为了确认设置机器人后的作业现场的布局而在已有的系统的图中追加机器人、或者在离线软件中模拟工件流来使机器人进行动作等，能够在作业现场100实际地设置机器人之前，容易地进行作业现场100的布局的确认和机器人对作业的处理能力的确认。
50.另外，还具备作业对象管理部5，该作业对象管理部5基于由位置检测部3检测出的作业对象300的位置来测量作业对象300的当前位置。由此，能够准确地掌握增强现实显示部2上的虚拟机器人10与作业对象300之间的相对的位置关系，因此能够更加准确地判断机器人对作业的处理能力。
51.作业对象管理部5根据由位置检测部3针对视作同一对象的作业对象300至少检测了2次位置的结果来测量作业对象300的移动速度，并基于该移动速度来测量作业对象300的当前位置。由此，作业对象管理部5能够不受搬送装置200的搬送精度的影响地掌握作业对象300的准确的移动速度，能够测量作业对象300的准确的当前位置。
52.在由作业对象管理部5测量出的作业对象300的当前位置进入了虚拟机器人10的作业范围内时，控制部4基于作业对象300的当前位置，使虚拟机器人10以一边追踪作业对象300一边进行作业的方式进行动作。由此，能够与通过现实的机器人的动作进行的作业同样地，使虚拟机器人10进行动作来针对作业对象300进行作业。因此，操作者能够在增强现实显示部2上更加准确地掌握现实的机器人对作业对象300的处理能力。
53.增强现实显示部2构成为能够将虚拟机器人10配置于任意的位置。由此，能够根据显示于增强现实显示部2的现实空间上的物体的配置，与现实的机器人的设置位置相匹配地配置增强现实显示部2上的虚拟机器人10。
54.增强现实显示部2将表示实现了针对作业对象300的规定的作业的信息重叠于作业对象300进行显示。由此，操作者能够容易地确认增强现实显示部2上的虚拟机器人10针对作业对象300进行的作业的实现状况。
55.另外，本公开的显示程序使计算机作为显示装置1、1a发挥功能，显示装置1、1a具备：增强现实显示部2，其将按照规定的程序进行动作的虚拟机器人10与现实空间上的物体(作业现场100、搬送装置200、作业对象300以及作业者wk)一同显示；位置检测部3，其通过测量从增强现实显示部2起到现实空间上的作业对象300为止的距离来检测作业对象300的位置；以及控制部4，其基于由位置检测部3检测出的作业对象300的位置，使显示于增强现实显示部2的虚拟机器人10进行动作来对作业对象300执行规定的作业。由此，通过在具备增强现实显示部2、位置检测部3以及控制部4的显示装置1、1a的计算机中执行显示程序，能够使用显示装置1、1a，在作业现场100中实际设置机器人之前，容易地进行作业现场100的布局的确认和机器人对作业的处理能力的确认。