计算机系统、动作验证方法及程序与流程

1.本发明涉及一种进行机床的动作验证的计算机系统、动作验证方法及程序。


背景技术：

2.近年，在工业领域中，已知有用计算机图形再现产品的制造工序的数字化映射(digital twin)这样的技术。在像这样的技术中，从传感器信息获取机床的姿势、动作，基于该获取到的传感器信息通过计算机图形再现机床的姿势、动作。
3.作为类似于这样的数字化映射的技术，公开了操作者通过获取进行作业的作业空间的三维数据并对该三维数据与基于作业手册的作业顺序进行比较来判断是否满足了作业工序的结束条件的技术(参照专利文献1)。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2017－191351号公报


技术实现要素：

7.发明所要解决的问题
8.然而，在专利文献1的构成中，从传感器获取三维数据所需要的数据，但在该传感器产生了不良情况的情况下，无法生成准确的三维数据，因此三维数据可能无法反映出准确的动作。
9.本发明的目的在于提供一种容易更准确地掌握机床的动作的计算机系统、动作验证方法及程序。
10.用于解决问题的方案
11.在本发明中，提供像以下这样的解决方法。
12.本发明提供一种计算机系统，其特征在于，具备：
13.数据获取单元，在机床动作规定时间时获取进行了动作的数据；
14.cg(computer graphics：计算机图形)生成单元：根据获取到的所述数据生成虚拟地表示所述机床动作规定时间的计算机图形；
15.照相机图像获取单元，获取以所述规定时间拍摄了所述机床的图像；以及
16.比较单元，在所述规定时间中对所述图像与所述计算机图形进行比较。
17.根据本发明，在计算机系统中，在机床动作规定时间时获取进行了动作的数据，根据获取到的所述数据生成虚拟地表示所述机床动作规定时间的计算机图形，获取以所述规定时间拍摄了所述机床的图像；在所述规定时间中对所述图像与所述计算机图形进行比较。
18.本发明属于计算机系统的范畴，但在方法和程序等其他范畴中，也能发挥与其范畴对应的相同的作用、效果。
19.发明效果
20.根据本发明，能提供一种容易更准确地掌握机床的动作的计算机系统、动作验证方法及程序。
附图说明
21.图1是表示动作验证系统1的概要的图。
22.图2是动作验证系统1的整体构成图。
23.图3是表示计算机10执行的动作验证处理的流程图。
24.图4是按照时序变化示意性的表示计算机10生成的计算机图形的图。
25.图5是按照时序变化示意性地表示计算机10获取的图像的图。
具体实施方式
26.以下，参照附图对用于实施本发明的最优实施方式进行说明。需要说明的是，这仅是一个例子，本发明的技术的范围不限于此。
27.[动作验证系统1的概要]
[0028]
基于图1对本发明的优选的实施方式的概要进行说明。图1是用于对作为本发明的优选的实施方式的动作验证系统1的概要进行说明的图。动作验证系统1是由计算机10构成，执行机床的动作验证的计算机系统。
[0029]
需要说明的是，动作验证系统1也可以包括：拍摄机床的拍摄设备；检测机床的动作、姿势的各种检测传感器；以及管理机床的管理者所持有的管理者终端等其他设备、传感器等。
[0030]
计算机10是经由公共网络等与未图示的上述的拍摄设备、各种检测传感器、管理者终端等可数据通信地连接的计算机装置。
[0031]
计算机10在机床动作规定时间时，从各种检测传感器获取该机床动作的数据。对于规定时间而言，是预先决定的时间、一个或多个工序所需要的时间。计算机10根据该数据生成虚拟地表示该机床动作规定时间的计算机图形(以下称为cg)。此时，计算机10不仅对机床，还对该机床设为作业对象的对象物也一并进行cg化。除此之外，计算机10在与获取机床进行动作的数据的规定时间相同的定时，获取拍摄了该机床的图像。该图像为动态图像或静态图像。计算机10在规定时间中对获取到的图像与生成的cg进行比较。计算机10通过对cg与图像进行比较，判断在它们之间是否存在差异，在存在差异的情况下，检测到机床的异常。
[0032]
计算机10在检测到异常的情况下，将成为该机床的异常的原因的零件推测为异常的原因。此时，计算机10将与在产生了差异的最初的时间进行动作的部分相关的零件推测为异常的原因。部分是指例如臂部。与部分相关的零件是指例如设于臂部的位置传感器。
[0033]
计算机10向管理者终端通知该检测结果。此时，计算机10向管理者通知推测出的异常的原因和其产生的时间作为检测结果。
[0034]
对动作验证系统1执行的处理的概要进行说明。
[0035]
首先，计算机10在机床动作规定时间时，获取表示该机床进行了动作的数据的动作数据(步骤s01)。计算机10通过设置于该机床的各种检测传感器、能检测该机床的姿势、动作等的设置于其他场所的各种检测传感器，获取与机床的动作、姿势相关的数据作为动
作数据。规定时间是指预先设定的时间、一个或多个工序所需要的时间、预先设定的规定的动作(移动、握持、搬运以及载置等)所需要的时间等。计算机10通过获取该动作数据来掌握机床的动作、姿势。
[0036]
计算机10根据获取到的动作数据，生成虚拟地表示机床进行规定时间动作的cg(步骤s02)。计算机10除了机床之外，还将该机床设为作业对象的对象物也一并生成为cg。此时，计算机10基于预先设定的位置关系，对机床与对象物的初始位置生成该cg。计算机10生成的cg与获取的动作数据一并被随时更新。
[0037]
计算机10获取在与生成cg的规定时间同一时间中拍摄的图像(步骤s03)。计算机10获取拍摄设备拍摄了工作用设备和对象物的动态图像、静态图像等图像。
[0038]
计算机10对获取到的图像与生成的cg进行图像解析，对它们各自中的机床与对象物的位置关系进行比较(步骤s04)。此时，计算机10判断在cg与图像之间，机床与对象物的位置关系是否存在差异。例如，计算机10对规定时间中的从开始时间点至结束时间点的机床与对象物的位置关系进行比较。
[0039]
计算机10在判断为在比较的结果中产生了差异的情况下，检测在机床产生了什么异常(步骤s05)。
[0040]
计算机10推测检测到的异常的原因(步骤s06)。计算机10例如从比较的结果提取产生了差异的最初的时间(在cg与图像间开始产生差异的时间)，推测为在该时间中进行了动作的零件、与在该时间中进行动作的部分相关的零件是异常的原因。
[0041]
计算机10通知推测出的异常(步骤s07)。计算机10向管理者终端等通知检测到异常的事实、推测出的异常的原因。计算机10向管理者终端通知在机床产生了异常的意思，推测为异常的原因的零件等。
[0042]
需要说明的是，计算机10也可以在自身的显示部显示推测出的异常。在该情况下，没有必要向管理者终端通知该推测出的异常。
[0043]
以上是动作验证系统1的概要。
[0044]
[动作验证系统1的系统构成]
[0045]
基于图2对作为本发明的优选的实施方式的动作验证系统1的系统构成进行说明。图2是表示作为本发明的优选的实施方式的动作验证系统1的系统构成的图。在图2中，动作验证系统1是由计算机10构成的，执行机床的动作验证的计算机系统。
[0046]
需要说明的是，动作验证系统1也可以如上所述，包括未图示的拍摄设备、各种检测传感器以及管理者终端等其他设备、传感器等。动作验证系统1经由公共网络等与其他设备、传感器等可数据通信地连接。
[0047]
计算机10具备cpu(central processing unit：中央处理器)、ram(random access memory：随机存储器)以及rom(read only memory：只读存储器)等作为控制部，并且具备例如依据ieee802.11的wi―fi(wireless―fidelity：无线保真)对应设备等用于能与上述的拍摄设备、各种检测传感器以及管理者终端等其他设备、传感器等通信的设备作为通信部。此外，计算机10具备由硬盘、半导体存储器、记录介质以及存储卡等实现的数据的储存部作为存储部。此外，计算机10具备执行各种处理的各种设备等作为处理部。
[0048]
在计算机10中，控制部通过读取规定的程序来与通信部协同工作，实现数据获取模块20、图像获取模块21以及通知模块22。此外，在计算机10中，控制部通过读取规定的程
序来与处理部协同工作，实现cg生成模块40、解析模块41、位置关系确定模块42、比较模块43、判断模块44、检测模块45、提取模块46、动作部分确定模块47以及推测模块48。
[0049]
[动作验证处理]
[0050]
基于图3对动作验证系统1执行的动作验证处理进行说明。图3是表示计算机10执行的动作验证处理的流程图的图。对上述的各模块执行的处理与本处理一并进行说明。
[0051]
数据获取模块20在机床动作规定时间动作时获取该机床进行了动作的数据作为动作数据(步骤s10)。在步骤s10中，数据获取模块20从设置于机床的规定的位置的传感器(例如设置于臂部的位置传感器)获取与该机床的姿势、动作等相关的数据作为动作数据。规定时间是指预先设定的时间、该机床为了执行一个或多个作业工序所需要的时间、预先设定的规定的动作(移动、握持、搬运以及载置等)所需要的时间等。管理者等能任意地设定该规定时间。该传感器检测机床的整体或一部分的姿势、动作。
[0052]
cg生成模块40基于获取到的动作数据，生成虚拟地表示该机床的cg(步骤s11)。在步骤s11中，cg生成模块40将机床动作规定时间的状态生成为cg。该cg是具有宽度、进深、高度的三维图像。cg生成模块40除了机床之外，还将作为机床动作的对象的对象物也一并生成为cg。基于预先设定的初始位置，该对象物生成为cg。cg生成模块40将基于动作数据的机床和基于预先设定的初始位置的对象物生成为cg。cg生成模块40将该cg生成为动态图像和静态图像。cg生成模块40生成的cg被保存规定时间(例如，该机床开始动作并且该动作完成的时间点、该机床执行的一个或多个作业工序完成的时间点)。cg生成模块40在后述的处理中，在检测模块45检测到未产生异常的情况下，删除该保存的cg。
[0053]
cg生成模块40基于获取到的动作数据，随时更新cg。在该情况下，cg生成模块40生成使最初生成的cg中的机床和该机床动作的对象物与动作数据一并产生变化的cg。
[0054]
例如机床为臂部，在该臂部设定有位置传感器和接触传感器，在对象物为组装部件的情况下，cg生成模块40基于动作数据生成虚拟的臂部，基于组装部件的初始位置生成虚拟的组装部件。cg生成模块40生成集合这些虚拟物的一个cg。cg生成模块40基于来自位置传感器的动作数据，将臂部的动作的运动再现为cg，并且基于来自该接触传感器的动作数据，将臂部抓起的组装部件的位置、状态再现为cg。cg生成模块40继续进行规定时间的该cg的生成。
[0055]
图像获取模块21获取拍摄设备在与将机床生成为cg的规定时间同一时间中拍摄到的图像(步骤s12)。在步骤s12中，拍摄设备拍摄机床和对象物的动态图像、静态图像等图像。此时，拍摄设备以与cg相同的定时拍摄图像。图像获取模块21获取该拍摄设备拍摄到的图像。此时，对于cg生成模块40生成的cg与图像获取模块21获取的图像，其时间被设为同步。图像获取模块21继续进行规定时间的该图像的获取。图像获取模块21将该图像获取为动态图像和静态图像。图像获取模块21所获取到的图像被保存规定时间(例如该机床开始动作并且该动作完成的时间点、该机床执行的一个或多个作业工序完成的时间点)。图像获取模块21在后述的处理中，在检测模块45检测到未产生异常的情况下，删除该保存的图像。
[0056]
拍摄设备为一个或多个。在一个拍摄设备的情况下，从设置有该拍摄设备的场所拍摄图像。在为多个拍摄设备的情况下，从设置有各拍摄设备的场所分别拍摄图像。
[0057]
解析模块41对生成的cg与获取到的图像分别进行图像解析(步骤s13)。在步骤s13中，解析模块41通过提取cg与图像各自的特征点或特征量来执行图像解析。解析模块41例
如提取形状、轮廓来作为特征点。解析模块41例如提取像素值的平均值、方差、直方图等统计性的数值来作为特征量。解析模块41继续进行规定时间的该图像解析。
[0058]
位置关系确定模块42基于图像解析的结果，确定cg与图像各自中的机床与对象物的位置关系(步骤s14)。在步骤s14中，位置关系确定模块42基于提取出的特征点或特征量，确定cg与图像中的机床与对象物的位置关系。该位置关系是指例如确定机床抓住对象物的哪个位置、确定机床与对象物的哪个位置接触、确定机床与对象物的哪个位置接近以及确定机床将一个对象物设置于其他对象物的哪个位置。位置关系确定模块42继续进行规定时间的机床与对象物的确定。
[0059]
比较模块43在规定时间中对cg与图像进行比较(步骤s15)。在步骤s15中，比较模块43对cg中的机床和对象物的位置关系与图像中的机床和对象物的位置关系进行比较。比较模块43在作为规定时间的从机床的动作开始时间点至动作结束时间点的时间中对cg与图像进行比较。动作开始时间点是指机床开始了动作的定时。动作结束时间点是指机床结束了预先设定的动作的定时或在机床预先设定的作业工序的一部分或全部结束了的定时。比较模块43在对cg与图像进行比较时，以静态图像与动态图像这两类分别进行比较。即比较模块43对生成为静态图像的cg与获取为静态图像的图像进行比较，并且对生成为动态图像的cg与获取为动态图像的图像进行比较。计算机10在后述的处理中利用比较了该两类的结果。
[0060]
判断模块44判断进行比较的结果是否是在cg与图像之间关于机床与对象物的位置关系产生了差异(步骤s16)。在步骤s16中，判断模块44例如能举出机床抓住对象物的位置、机床与对象物的接触位置、机床与对象物的接近位置、机床将一个对象物设置于其他对象物的位置上的不同作为位置关系的差异。在步骤s16中，在判断模块44判断为未产生差异的情况(步骤s16为否)下，检测模块45检测到未产生异常(步骤s17)。
[0061]
判断模块44判断机床是否结束了动作(步骤s18)。在步骤s18中，判断模块44基于在cg与图像中是否经过了预先设定的规定时间、是否结束了预先设定的动作、是否结束了预先设定的作业工序的一部分或全部来判断动作是否结束。在判断模块44判断为机床结束了动作的情况(步骤s18为是)下，检测模块45检测到未产生异常，结束本处理。
[0062]
另一方面，在步骤s18中，在判断模块44判断为机床未结束动作的情况(步骤s18为否)下，数据获取模块20再次执行上述的步骤s10的处理。
[0063]
在步骤s16中，在判断模块44判断为产生了差异的情况(步骤s16为是)下，检测模块45检测到产生异常(步骤s19)。在步骤s19中，检测模块45例如将机床抓住对象物的位置、机床与对象物的接触位置、机床与对象物的接近位置以及机床将一个对象物设置于其他对象物的位置在cg与图像中不同的情况检测为异常。
[0064]
提取模块46提取检测到异常的最初的时间(步骤s20)。在步骤s20中，提取模块46在从比较模块43开始了比较的时间点至检测模块45检测到异常的时间点的时间中提取被认为是产生了异常的最初的时间。在此，检测模块45检测到异常的定时不过是检测到产生了异常这样的结果的定时，因为实际的异常是在这之前的阶段产生的。提取模块46例如在对机床抓住对象物的位置检测到异常的情况下，将在该机床抓住对象物之前的阶段中的机床的位置发生偏移的时间提取为最初的时间。此外，提取模块46例如在对机床与对象物的接触位置检测到异常的情况下，将该机床与对象物接触之前的阶段中的机床的位置发生偏
移的时间提取为最初的时间。此外，提取模块46例如在对机床与对象物的接近位置检测到异常的情况下，将该机床接近对象物之前的阶段中的机床的位置发生偏移的时间提取为最初的时间。此外，提取模块46例如在对机床将一个对象物设置于其他对象物的位置检测到异常的情况下，将该机床将一个对象物设置于其他对象物之前的阶段中的机床的位置发生了偏移的时间提取为最初的时间。
[0065]
动作部分确定模块47确定在提取出的最初的时间进行动作的部分(步骤s21)。在步骤s21中，动作部分确定模块47确定在相当于提取出的最初的时间的定时进行动作的机床的部分(例如臂部、爪)。动作部分确定模块47在cg或图像中任意一方或双方中确定在该时间进行动作的部分。动作部分确定模块47将在机床中在该时间进行动作或进行了动作的部分确定为在提取出的最初的时间进行动作的部分。
[0066]
动作部分确定模块47确定设置于该确定的部分的零件(步骤s22)。在步骤s22中，动作部分确定模块47通过参照预先将机床的各部分与设置的零件建立对应而存储的表格等，确定设置于本次确定出的部分的零件。该零件例如是指位置传感器、压力传感器、方位传感器。例如在上述的表格中将臂部与位置传感器建立对应的情况下，在本次确定的部分为臂部时，部分确定模块47将与该臂部建立对应的位置传感器确定为设置于该确定的部分的零件。
[0067]
推测模块48将确定出的零件推测为异常的原因(步骤s23)。在步骤s23中，推测模块48将在cg与图像中产生了差异的原因推测为由该零件引起，推测为该零件是异常的原因。
[0068]
推测模块48也可以构成为：在上述的处理中，在检测到产生了异常时，推测作为该异常的原因的零件。例如也可以与在提取出的最初的时间进行动作的部分无关，将设置于在检测到异常的定时进行动作的部分的零件推测为异常的原因。在此，推测模块48也可以构成为：动作部分确定模块47通过参照上述的表格等来确定与该部分建立对应的零件，将该确定出的零件推测为异常的原因。
[0069]
通知模块22将推测出的零件作为异常的原因向管理者终端通知(步骤s24)。在步骤s24中，通知模块22向管理者终端通知机床因设置于该机床的零件的异常而未进行如假定一样的动作。管理者终端通过在自身的显示部显示通知来向管理者通知异常。通过这样做，通知模块22使通知显示于管理者终端，由此向管理者通知异常。此时，通知模块22也一并通知产生了异常的时间。
[0070]
需要说明的是，通知模块22也可以不限于将推测出的零件而将产生了异常通知给管理者终端。此外，通知模块22也可以不仅通知推测出的零件而是除此以外也通知机床的异常。此外，通知模块22也可以构成为在自身的显示部通知推测出的零件、产生了异常。在该情况下，不需要向管理者终端通知。
[0071]
以上为动作验证处理。
[0072]
在此，基于图4和图5对上述的动作验证处理进行说明。图4是按照时序变化示意性地表示cg生成模块40生成的cg的图。图5是按照时序变化示意性地表示图像获取模块21获取的图像的图。
[0073]
在图4中，cg生成模块40基于通过步骤s10的处理获取到的动作数据，以臂部200为机床并且以组装部件210－213为对象物来将臂部200和组装部件210－213再现为cg，作为
步骤s11的处理。cg1是臂部200的动作开始时间点的cg。cg2是从动作开始时间点经过了t1分钟的时间的时间点的cg。cg3是从cg2经过了t2分钟的时间的时间点的cg。cg4是从cg3经过了t3分钟的时间的时间点的cg。
[0074]
在图5中，图像获取模块21示出了通过步骤s12的处理获取的图像。图像1是臂部200的动作开始时间点的图像。图像2是从动作开始时间点经过了t1分钟的时间的时间点的图像。图像3是从图像2经过了t2分钟的时间的时间点的图像。图像4是从图像3经过了t3分钟的时间的时间点的图像。
[0075]
在图4和图5中，时间t1、t2以及t3是在cg与图像中相同的时间。
[0076]
解析模块41通过步骤s13的处理对cg和图像执行图像解析。位置关系确定模块42通过步骤s14的处理，基于对cg和图像的图像解析的结果，确定cg和图像的各自中的臂部200与对象物210－213的位置关系。
[0077]
比较模块43通过步骤s15的处理，在从该开始时间点至经过t3分钟后的时间中对cg与图像进行比较。此时，比较模块43对图像1与cg1(开始时间点的时间)进行比较，对图像2与cg2(从开始时间点经过了t1分钟的时间)进行比较，对图像3与cg3(从经过t1分钟的时间点至经过了t2分钟的时间)进行比较，对图像4与cg4(从经过t2分钟时间点至经过了t3分钟的时间)进行比较。比较模块43在各图像与cg中，对臂部200与对象物210－213的位置关系进行比较。
[0078]
判断模块44通过步骤s16的处理，对在cg与图像中是否产生了差异进行判断。在此，判断模块44根据在图像4与cg4中产生了差异，判断为产生了差异。需要说明的是，判断模块44在cg与图像中未产生差异的情况下，判断模块44和检测模块45执行步骤s17－s18的处理。
[0079]
在经过t1分钟的时间点，相对于在cg2中臂部200抓住对象物212和对象物213，判断模块44判断在图像2中臂部200仅抓住对象物212。此外，在经过t2分钟的时间点，相对于在cg3中臂部200抓住对象物212和对象物213，判断模块44判断在图像3中臂部200仅抓住对象物212。此外，在经过t3分钟的时间点，相对于在cg4中臂部200抓住对象物212和对象物213并且将该对象物212和对象物213载置于对象物210，判断模块44判断在图像4中臂部200将对象物212载置于对象物210。
[0080]
检测模块45通过步骤s19的处理，根据在cg与图像中产生了差异的情况，检测在从经过作为产生了该差异的时间的t1分钟至经过t3分钟的时间点产生了异常。
[0081]
提取模块46通过步骤s20的处理，提取检测到异常的最初的时间。提取模块46将经过作为产生了差异的最初的时间的t1分钟的时间点提取为检测到异常的最初的时间。
[0082]
动作部分确定模块47通过步骤s21的处理，将臂部200确定为在该经过t1分钟的时间点进行动作的部分。
[0083]
动作部分确定模块47通过步骤s22的处理，将预先与该臂部200建立对应的位置传感器确定为设置于该臂部200的零件。
[0084]
推测模块48通过步骤s23的处理，将该确定的位置传感器推定为异常的原因。
[0085]
通知模块22通过步骤s24的处理，进行以下意思的通知：在该位置传感器产生异常，其结果是臂部200未进行如假定一样的动作。
[0086]
以上是基于图4和图5的动作验证处理。
[0087]
上述的方法、功能通过由计算机(包括cpu、信息处理装置以及各种终端)读取规定的程序并执行来实现。程序例如以经由网络提供的(saas：软件即服务)方式从计算机被提供。此外，程序例如以记录于软盘、cd(cd－rom：只读光盘等)，dvd(dvd－rom：只读数字光盘；dvd－ram：随机存取数字光盘等)等计算机可读取的记录介质的方式被提供。在该情况下，计算机从该记录介质读取程序，向内部记录装置或外部记录装置传送、记录并执行。此外，也可以设为将该程序例如预先记录于磁盘、光盘、磁光盘等记录装置(记录介质)，从该记录装置经由通信线路向计算机提供。
[0088]
以上，对本发明的实施方式进行了说明，但本发明不限于上述的这些的实施方式。此外，本发明的实施方式中记载的效果不过是列举由本发明产生的最优选的效果，本发明的效果不限定于本发明的实施方式中记载的效果。
[0089]
附图标记说明：
[0090]
1：动作验证系统；
[0091]
10：计算机。