本发明涉及具有机械学习部的操作辅助系统。
背景技术：
以往，在生产现场中，在操作员进行装配操作的情况下，操作员自身需要到部件和工具等的保管场所取装配操作所需的这些部件和工具等。其结果，产生时间损耗，存在操作效率降低之类的问题。
为了解决上述问题，专利文献1公开了一种操作支援系统，其对操作员的位置进行统计性处理，从而预测操作状况，并根据该操作状况，供给部件和工具。
现有技术文献
专利文献
专利文献1：日本专利第5717033号公报
技术实现要素：
发明要解决的问题
然而，在专利文献1中，不得不考虑根据操作员的个人差异而有可能发生变化的操作的方法和时机，并需要对在操作中有可能产生的各种状况进行预先假定。由此，需要进行每个操作员的手和脚的动作等与操作的各工序的精细的相互对应。
本发明是鉴于上述情况而做出的，其目的在于提供一种操作辅助系统，即使操作的方法和时机根据操作员的个人差异等而不同，也能够灵活判断操作状态而辅助操作。
用于解决问题的方案
为了达到上述目的，本发明提供如下方案。
本发明的一个方案是一种操作辅助系统，具有：传感器部，对操作员的身体中至少一个部位的位置姿态进行检测；供给部，向所述操作员供给部件或者工具；以及单元控制器，控制该供给部，该单元控制器具有：机械学习部，基于检测的所述位置姿态学习所述操作员的操作状态并组建模型；以及操作状态判断部，利用组建的所述模型而判断所述操作员的操作状态，所述供给部基于判断的所述操作状态而选择所述部件或者工具，并基于所述至少一个部位的所述位置姿态，使所述部件或者工具的位置姿态发生变化。
根据上述本发明的一个方案中的操作辅助系统，利用传感器部检测操作员的身体中至少一个部位的位置姿态。基于该检测的位置姿态，利用单元控制器所具备的机械学习部，学习操作员的操作状态并组建模型。而且，使用组建的模型，利用单元控制器所具备的操作状态判断部，判断操作员的操作状态。而且，在供给部中，基于该判断的操作状态，选择应该向操作员供给的部件或者工具。而且，基于操作员的至少一个部位的位置姿态，使部件或者工具的位置姿态发生变化并向操作员供给部件或者工具。
如此，利用通过机械学习而组建的模型，对操作员的操作状态进行判断，因此即使操作的方法和时机根据操作员的个人差异等而不同，也能够灵活判断操作状态而辅助操作。另外，由于不需要所谓操作员与操作的各工序之间的精细的相互对应的事先准备，因此能够提高操作辅助系统的导入容易性。
在上述本发明的一个方案的操作辅助系统中，利用所述机械学习部组建的所述模型，还可以作为利用经由网络与所述单元控制器连接的其他单元控制器组建的模型而共有。
通过如此，能够提高机械学习的学习效率。
在上述本发明的一个方案的操作辅助系统中，还可以是所述供给部具有机器人的结构。
在上述本发明的一个方案的操作辅助系统中，还可以是所述机械学习部具有神经网络的结构。
发明效果
根据本发明，起到如下效果：即使操作的方法和时机根据操作员的个人差异而不同，也能够灵活判断状况而辅助操作。另外，起到如下效果：能够提高操作辅助系统的导入容易性。
附图说明
图1是表示本发明的一个实施方式的操作辅助系统的概略结构的图。
图2是表示图1的操作辅助系统所具备的单元控制器的机械学习部的概略结构的框图。
图3是对机械学习部所具备的神经网络进行说明的模式图。
图4是表示在本发明的一个实施方式的操作辅助系统中执行的处理的流程图。
图5是表示在本发明的一个实施方式的操作辅助系统中使用的操作表的一例的图表。
图6是与图5的操作表相对应的状态转变图。
附图标记说明
1：操作辅助系统
2：传感器部
3：单元控制器
4：供给部
5：操作员
31：机械学习部
32：操作状态判断部
41：协作机器人
具体实施方式
下面，对本发明的一个实施方式的操作辅助系统，参照附图进行说明。
如图1所示，操作辅助系统1具有传感器部2、连接传感器部2的单元控制器3、以及连接单元控制器3的供给部4。
传感器部2具有多个作为视觉传感器的摄像机21，并构成为依次检测操作员5的身体的各部位(例如，手、脚、头等)的位置姿态。在本实施方式中，具有两台摄像机21，但具有一台以上的摄像机21即可。
单元控制器3基于由传感器部2检测出的操作员5的身体的各部位的位置姿态，判断操作员现处在何种操作状态。单元控制器3具有未图示的处理器、以及未图示的rom(readonlymemory)、ram(randomaccessmemory)等存储装置，并利用处理器对下述的各功能进行处理。单元控制器3具有作为功能块的机械学习部31、操作状态判断部32。
如图2所示，机械学习部31具有输入数据接收部311、标记获取部312、以及学习部313。
输入数据接收部311接收由传感器部2检测出的操作员5的身体的各部位的位置姿态作为输入数据，实施用于进行机械学习的正规化等的前处理，并将实施前处理之后的学习用数据x＝{x1，x2，...xn}供给到学习部313中。
标记获取部312获取有教师的学习时所需的教师数据、即标记，实施用于进行机械学习的正规化等的前处理，并将实施前处理之后的学习用标记d＝{d1，d2，...dm}供给到学习部313中。
学习部313基于输入数据接收部311的学习用数据x、以及用标记获取部312实施前处理之后的学习用标记d，组建学习模型(模型)3131。学习模型3131通过将大量的学习用输入数据x与学习用标记d的组提供给学习部313中而组建。
在组建学习模型3131时，使用如图3所示的神经网络。如图3所示，将中间层做成三层以上，从而适于进行通过深层学习的学习。
通过学习，对于提供给图3所示的神经网络的所有的学习用输入数据x与学习用标记d的组，确定误差||d－y||2的合计为最小的权重w，并组建学习模型3131。
此外，提供给机械学习部31的输入数据，是操作员5的身体中至少一个部位的位置姿态，例如是手和脚的位置姿态。另外，提供给机械学习部31的标记是操作状态。而且，机械学习部31的输出、即、学习模型的输出y＝{y1，y2，...ym}，例如是有可能为相应的操作状态的概率。
另外，如图2所示，学习模型3131也可以经由网络与其他单元控制器连接，作为该其他单元控制器所具备的机械学习部的学习模型而共有。
通过如此，能够提高学习模型3131的学习效率。
如图1所示，操作状态判断部32基于由传感器部2检测出的操作员5的身体的各部位的位置姿态、以及由机械学习部31组建的学习模型3131，判断当前的操作状态。
供给部4基于由单元控制器3判断的当前的操作状态，向操作员5提供工具或者部件。具体而言，供给部4具有协作机器人41、对协作机器人41进行控制的机器人控制装置42、以及放置台43。
在协作机器人41的臂前端部安装有作为末端执行器的手6和未图示的摄像机，协作机器人41根据来自机器人控制装置42的指令，把持放置台43上的部件，并提供给操作员5。
机器人控制装置42具有互相经由总线而连接的未图示的处理器、rom(readonlymemory)、ram(randomaccessmemory)等存储装置、在与协作机器人41之间进行各种数据的交换的外部接口等，利用处理器执行针对协作机器人41的控制命令。机器人控制装置42基于由单元控制器3判断的操作状态、储存于存储装置中的操作表、来自安装于协作机器人41上的摄像机的信息，控制协作机器人41。更具体而言，机器人控制装置42在储存于存储装置中的操作表内检索从单元控制器3接收的操作状态，并命令协作机器人41执行与相应的操作状态相互对应的机器人动作。另外，机器人控制装置42基于利用安装于协作机器人41上的摄像机进行拍摄的操作员5的手掌的图像，检测出手掌的位置姿态，并以针对每个部件和工具预先设定的坐标系和表现手掌的位置姿态的坐标系相一致的方式使协作机器人41进行动作。
放置台43是放置操作所需的工具和部件的台，但还可以是部件搁架、托盘、工具箱等。
另外，也可以不在协作机器人41上设置摄像机，而在固定位置上安装摄像机，并且摄像机与机器人控制装置42连接，然后基于来自摄像机的信息，把持放置台43上的部件，并向操作员5供给。
下面，对利用如上所述构成的操作辅助系统1进行的操作辅助方法，参照图1以及图4进行说明。
首先，利用传感器部2，依次测量操作员5的各部位的位置姿态(图4的步骤s1)。然后，利用单元控制器3的操作状态判断部32，基于所测量的操作员5的各部位的位置姿态，判断操作姿态(图4的步骤s2)。其次，利用机器人控制装置42，依次监控从单元控制器3接收的操作状态，判断操作状态是否已替换(图4的步骤s3)。在判断出操作状态无变化的情况下，重复步骤s1以及步骤s2，在判断出操作状态已替换的情况下，进入下一个处理。
若判断出操作状态已替换，则利用机器人控制装置42，在储存于存储装置中的操作表内检索替换之后的操作状态。而且，对协作机器人41发送控制命令，以使协作机器人41进行与相应的操作状态相互对应的机器人动作。
原则上，机器人动作是向操作员5供给工具或者部件的动作。从而，首先，协作机器人41按照来自机器人控制装置42的控制命令，从放置台43选择工具或者部件并利用手6进行把持，从而进行用于向操作员5供给工具或者部件的准备(图4的步骤s4)。
之后，利用安装于协作机器人41上的摄像机拍摄包含操作员5的手掌的图像，利用机器人控制装置42测量操作员5的手掌的位置状态(图4的步骤s5)。而且，利用机器人控制装置42控制协作机器人41，以操作员5的手掌的位置姿态与预先设定于工具或者部件上的坐标系相一致的方式，使协作机器人41进行移动(图4的步骤s6)。
接着，判断工具或者部件是否到达操作员5的手掌的位置(图4的步骤s7)。此外，该判断既可以基于利用协作机器人41的摄像机拍摄的图像而进行，也可以在协作机器人41的手6上安装力传感器，并基于来自该力传感器的反馈而进行。
在判断出未到达操作员5的手掌的位置的情况下，重复步骤s5以及步骤s6，在判断出已到达操作员5的手掌的位置的情况下结束处理。
实施例
下面，作为适用本实施方式的操作辅助系统1的实施例，举例说明以下操作，在一个底盘上用手安装一个盖，之后，利用一个旋具以及四个螺钉进行四个部位的螺纹紧固。
作为该操作的工序，如图5所示，包括盖安装工序、和螺纹紧固工序。盖安装工序中的操作员5的操作状态是等待底盘状态、等待盖状态、盖安装操作中的状态。螺纹紧固工序中的操作员5的操作状态是等待旋具状态、等待螺钉状态、螺纹紧固操作中的状态。由于有四个螺钉，因此等待螺钉状态以及螺纹紧固操作中的状态分别为各四个。
如图6所示，上述各操作状态通过预定的动作，在各操作状态之间转变。即，若利用协作机器人41供给底盘，则等待底盘状态转变为等待盖状态。若利用协作机器人41供给盖，则等待盖状态转变为盖安装操作中的状态。通过操作员5的操作结束，从而盖安装操作中的状态转变为等待旋具状态。若利用协作机器人41供给旋具，则等待旋具状态转变为等待螺钉状态。若利用协作机器人41供给螺钉，则等待螺钉状态转变为螺纹紧固操作中的状态。通过操作员5的操作结束，从而螺纹紧固操作中的状态转变为等待螺钉状态。在本实施例中，由于进行四个部位的螺纹紧固，因此重复四次的等待螺钉状态以及螺纹紧固操作中的状态之间的转变之后，完成操作。
在图5所示的操作表上，相对于各操作状态，相互对应有用于使该操作状态转变为其他操作状态的机器人动作。此外，由于盖安装操作中的状态以及螺纹紧固操作中的状态，通过操作员5的动作而转变为下一个状态，因此作为机器人动作，成为待机状态。只是，为了实现操作的效率化，优选选择工具或者部件并把持之后，进入待机状态，以便能够立刻向操作员5供给在下一个操作中使用的工具或者部件。
图5所示的操作表预先制作，并储存于机器人控制装置42的存储装置中。
在本实施例中，作为学习用数据x，使用对操作员5的手、头部以及脚尖的位置姿态进行正规化的数据。学习用标记d是对“等待底盘”、“等待盖”、“盖安装操作中”、“等待旋具”、“等待螺钉”以及“螺纹紧固操作中”这六个操作状态进行正规化的标记。将大量的这些学习用数据x与学习用标记d的组提供给学习部313，从而组建学习模型3131。
由此，在操作状态判断部32中，若对学习模型3131输入在实际操作中获取的操作员5的手、头部以及脚尖的位置姿态的数据，则作为输出y，输出当前的操作处于何种操作状态的概率。操作状态判断部32判断具有最高概率的操作状态是当前的操作状态，并将当前的操作状态发送到机器人控制装置42。例如，在“等待底盘”的概率为最高的情况下，将“等待底盘”作为当前的操作状态并发送到机器人控制装置42。
机器人控制装置42从储存于内部的存储装置中的操作表中检索“等待底盘”，作为与此相互对应的机器人动作而得到“底盘供给”。然后，机器人控制装置42控制协作机器人41，以使协作机器人41进行“底盘供给”。
协作机器人41从放置台43拾取底盘，并向操作员5供给。在该情况下，以操作员5的手掌的位置姿态与预先设定于底盘上的坐标系相一致的方式，向操作员5供给底盘。
以相同的方式，反复进行上述的处理，直至操作表上的所有的操作状态结束。
如此，由于使用通过机械学习而组建的学习模型3131来判断操作员5的操作状态，因此即使操作的方法和时机根据操作员5的个人差异等而不同，也能够灵活判断操作状态而辅助操作。另外，由于不需要所谓操作员5与操作的各工序之间的精细的相互对应的事先准备，因此能够提高操作辅助系统1的导入容易性。
如上所述，对本发明的实施方式参照附图进行了详细说明，但具体的结构不限于这些实施方式，还包含不脱离本发明的宗旨的范围的设计变更等。
例如，在上述实施方式中，由安装于协作机器人41上的摄像机拍摄了用于测量操作员5的手掌的位置姿态的图像，但代替安装于协作机器人41上的摄像机，也可以使用传感器部2所具备的摄像机21。