作业动作解析系统及作业动作解析方法与流程

本发明涉及作业动作解析系统及作业动作解析方法，适合在对按构成作业工序的每个要素作业规定了作业次序的作业中的脱离动作进行解析的作业动作解析系统及作业动作解析方法中适用。

背景技术：

在装配加工的领域中，要求作业者依照规定的作业次序进行产品的装配加工。作业次序为了保证产品的品质而被定义，在产品的装配加工的作业中进行了从定义脱离的动作(脱离动作)的情况下，产品的品质发生问题的可能性变高。因此，需要利用各种传感器取得与作业者的动作相关的信息并对脱离动作自动地进行检测的系统。在由这样的系统检测出脱离动作的情况下，例如通过实施对成为作业对象的产品再检查或者将产品自身废弃等应对，来确保产品的品质。

例如在专利文献1中公开了一种异常作业检测方法，通过将摄影了作业状况而得到的图像与摄影了正常时的作业而得到的图像进行比较，来检测脱离动作。在专利文献1所公开的异常作业检测方法中，在上述比较时，还引入相似度的观点，由此不仅针对完全一致而且针对模糊的状态，都能够检测脱离动作。

另外，例如在专利文献2中公开了一种作业者品质管理方法，在反复进行同一作业的作业现场，通过将根据摄影了作业状况而得到的图像检测出的动作路线与正常时的动作路线进行比较，从而检测脱离动作。

在先技术文献

专利文献

专利文献1:日本特开2017－091009号公报

专利文献2:日本特开2016－157357号公报

技术实现要素：

本发明所要解决的课题

但是，专利文献1所公开的异常作业检测方法的主要目的在于，高精度地检测以作业者的身体部位处于与正常作业中的身体部位不同的位置作为要因的脱离动作，无法检测以作业时间与正常作业中设想的作业时间不同作为要因的脱离动作。另外，也没有公开对在构成一系列作业工序的哪个要素作业中发生了脱离动作进行检测的观点，因此，存在难以期待对作业者、监督者的改进进行支援的效果的课题。

另外，专利文献2所公开的作业者品质管理方法虽然能够考虑作业者的身体部位的位置来检测脱离动作，但仅在一系列作业工序结束后才能够检测脱离动作，存在缺乏即时性的问题。如果无法在一系列作业工序的作业过程中检测脱离动作，则发生了脱离动作时的应对(如上所述，成为作业对象的产品的再检查、产品自身的废弃等)的对象范围不免扩大。结果，存在不仅作业的进度停滞，而且对制造成本造成的负担也增大的课题。

本发明考虑以上方面而作出，提出能够提早报知作业中的脱离动作的发生，并对判断应该如何修正作业进行支援的作业动作解析系统及作业动作解析方法。

用于解决课题的手段

为了解决该课题，在本发明中提供一种作业动作解析系统，其特征在于，具备：脱离动作解析部，对摄影了作业者的作业而得到的作业影像按每个作业工序进行解析，在检测出与正常作业不同的脱离动作的情况下，确定该脱离动作的发生定时；作业影像积蓄部，对预先摄影了正常作业而得到的正常作业影像和发生了所述脱离动作时的脱离作业影像进行积蓄；以及显示部，显示关于包含所述脱离动作的发生定时在内的规定时间的所述正常作业影像及所述脱离作业影像。

另外，为了解决该课题，在本发明中提供一种作业动作解析方法，其特征在于，具备：正常作业影像积蓄步骤，对预先摄影了正常作业而得到的正常作业影像进行积蓄；脱离动作解析步骤，对摄影了作业者的作业而得到的作业影像按每个作业工序进行解析，在检测出与正常作业不同的脱离动作的情况下，确定该脱离动作的发生定时；脱离作业影像积蓄步骤，对发生了所述脱离动作时的脱离作业影像进行积蓄；以及显示步骤，将关于包含所述脱离动作解析步骤中确定的所述脱离动作的发生定时在内的规定时间的所述正常作业影像及所述脱离作业影像显示在显示装置上。

发明效果

根据本发明，能够提早报知作业中的脱离动作的发生，并对判断应该如何修正作业进行支援。

附图说明

图1是表示本发明的第1实施方式所涉及的作业动作解析系统的构成例的框图。

图2是用于说明脱离动作的履历信息的图。

图3是表示脱离要因是作业位置脱离的情况下的作业影像画面的一例的图。

图4是表示脱离要因是作业时间脱离的情况下的作业影像画面的一例的图。

图5是表示操作等待接受画面的一例的图。

图6是表示过去脱离动作确认画面的一例的图。

图7是表示对象期间决定画面的一例的图。

图8是脱离要因是作业位置脱离的情况下的解析结果显示画面的一例的图。

图9是表示脱离要因是作业时间脱离的情况下的解析结果显示画面的一例的图。

图10是表示第1实施方式所涉及的作业动作解析系统所进行的作业动作解析处理的处理次序的一例的流程图。

图11是表示本发明的第2实施方式所涉及的作业动作解析系统的构成例的框图。

图12是表示第2实施方式所涉及的作业动作解析系统所进行的作业动作解析处理的处理次序的一例的流程图。

图13是表示脱离动作报知画面的一例的图。

具体实施方式

关于以下附图，详述本发明的一个实施方式。

(1)第1实施方式

图1是表示本发明的第1实施方式所涉及的作业动作解析系统的构成例的框图。参照图1，关于第1实施方式所涉及的作业动作解析系统11的构成进行说明。

作业动作解析系统11是对进行产品的装配加工的作业者的作业动作进行解析的系统，例如由个人计算机等计算机实现。作业动作解析系统11与制造执行系统12连接。

制造执行系统12也被称为mes(manufacturingexecutionsystem：制造执行系统)，是总括在产品的装配加工中使用的生产装置的执行的系统。mes是一般公知的系统，因此省略详细的说明，例如具有对工厂等的机械或作业者的作业进行监视/管理的功能。

如图1所示，作业动作解析系统11具备显示输入装置111、摄像装置112、身体部位检测部113、脱离动作解析部114、作业影像再现部115及统计信息生成部116、正常作业影像积蓄部117、脱离作业影像积蓄部118及脱离动作解析结果积蓄部119。

其中，显示输入装置111作为输入输出机构，例如是触摸面板、智能手表等。另外，摄像装置112作为具有摄影功能的摄像机构，例如是相机、深度传感器等。此外，在作业动作解析系统11例如是像个人计算机那样的计算机的情况下，上述显示输入装置111、摄像装置112不需要必须是其内部设置的装置，也可以是能够与该计算机连接的外部的输入输出机构、摄像机构。

另外，身体部位检测部113、脱离动作解析部114、作业影像再现部115及统计信息生成部116分别是进行后述的规定的处理的功能性机构，通过作业动作解析系统11的cpu(centralprocessingunit：中央处理单元)等读取程序并执行从而被实现。

另外，正常作业影像积蓄部117、脱离作业影像积蓄部118及脱离动作解析结果积蓄部119分别是存储(积蓄)后述的规定的信息的存储机构，例如是作业动作解析系统11的存储介质(例如hdd(harddiskdrive：硬盘驱动器)等)。此外，在作业动作解析系统11例如是像个人计算机那样的计算机的情况下，上述的各积蓄部117～119不需要必须是其内部设置的存储介质，也可以是能够与该计算机连接的外部的存储介质(例如由usb端子连接的hdd等)。

以下，关于上述的作业动作解析系统11的各构成的功能进行说明。

显示输入装置111在显示画面等上向作业者、监督者显示信息，或者经由输入键等的操作，从作业者、监督者受理输入。

摄像装置112对作业者正作业的情形进行摄影。此外，在以下的说明中，摄像装置112设为摄影影像(动态图像)，但摄像装置112例如也可以按时序摄影多个静止图像。

身体部位检测部113对由摄像装置112摄影的影像进行解析，取得“作业者的身体部位的位置信息”。在此，作为“作业者的身体部位的位置信息”的一例，能够考虑“表示作业者的关节位置的信息”。即，身体部位检测部113通过从被摄影的影像取得作业者的多个关节的位置，能够取得作业者的身体部位的位置信息。此外，取得位置信息的身体部位不限于全身的身体部位，也可以是仅上半身等的部分性的身体部位。

此外，在本实施方式中，身体部位检测部113对影像进行解析并取得作业者的身体部位的位置信息的具体的方法不特别限定，能够使用以往公知的方法。具体而言，例如在摄像装置112是通常的彩色相机的情况下，身体部位检测部113通过使用托舍夫(toshev)等人的方法(a.toshevandc.szegedy，“deeppose:humanposeestimationviadeepneuralnetworks，”inproceedingsoftheieeeconferenceoncomputervisionandpatternrecognition，2014，pp.1653-1660.)进行处理，能够取得作业者的身体部位的位置信息。另外，例如在摄像装置112是深度传感器的情况下，身体部位检测部113通过使用肖顿(shotton)等人的方法(j.shotton，t.sharp，a.kipman，a.fitzgibbon，m.finocchio，a.blake，m.cook，andr.moore，“real-timehumanposerecognitioninpartsfromsingledepthimages，”communicationsoftheacm，vol.56，no.1，pp.116-124，2013.)进行处理，能够取得作业者的身体部位的位置信息。

此外，在本实施方式所涉及的作业动作解析系统11中，摄像装置112也可以兼具身体部位检测部113的功能，即，构成为能够从摄影的影像中提取作业者的身体部位的位置信息。在如此构成的情况下，无需身体部位检测部113。

脱离动作解析部114通过将正常作业的情形被摄影而得到的影像(正常作业影像)作为比较的基准，对关于由身体部位检测部113取得的“作业者的身体部位的位置信息”的时序信息进行解析，不仅判断有无脱离动作(检测脱离动作)，而且在检测出脱离动作的情况下，确定脱离动作发生的定时(确定脱离定时)以及脱离动作的要因(确定脱离要因)。脱离动作解析部114所进行的这些解析处理按每个作业工序实施。另外，正常作业影像被预先摄影并存储(积蓄)在正常作业影像积蓄部117中。

在此，“作业工序”由粒度更小的“要素作业”的组合构成。具体而言，例如，用手拿取部件、擦拭部件的污迹、安装部件等分别相当于要素作业，这些要素作业的连接相当于作业工序。在规定的正常作业中，构成1个作业工序的要素作业各自的作业定时被预先决定。换言之，在正常作业中，通过从作业工序开始的经过时间，规定了应该进行哪一个要素作业。

另外，“脱离要因”能够分类为：基于身体部位的位置位于与正常作业不同的位置的脱离要因、以及基于要素作业的所需时间与正常作业中规定的规定时间不同(更长/更短)的脱离要因。以后，将前者的脱离要因称为“作业位置脱离”，将检测出脱离的身体部位称为“脱离部位”。另外，将后者的脱离要因称为“作业时间脱离”。

此外，为了确定脱离定时、脱离部位及作业时间脱离，例如能够利用隐马尔可夫模型。如果利用隐马尔可夫模型，能够根据多个正常作业中的身体部位的位置信息的时序信息，对位置信息的状态转移进行建模。以后，将该模型称为“正常作业的状态转移模型”。

详述脱离动作解析部114所进行的具体的解析处理。

首先，脱离动作解析部114取得作业工序开始的定时。为此，例如利用身体部位检测部113的检测结果，在作业者处于规定的位置、或者成为规定的姿势时，判断为作业工序开始。另外，如果作业工序开始的定时是例如从生产装置取出部件的定时等能够从生产装置侧检测的定时，则也可以从总括生产装置的制造执行系统12取得作业工序开始的定时。

然后，脱离动作解析部114在取得了作业工序开始的定时之后，例如通过使用维特比算法，能够一边对从作业影像取得的身体部位的时序信息与正常作业的状态转移模型的状态进行匹配一边计算似然性，能够确定在哪一个定时发生了脱离动作(确定脱离定时)。即，脱离动作解析部114能够进行脱离动作的检测及脱离定时的确定。

在此，作为脱离定时的表现方法，例如可以考虑如下两种。第1表现方法是作为通常的时刻的表现方法(通常时刻下的脱离定时)。在该情况下，脱离定时能够通过其发生时刻表现。第2表现方法是作为以正常作业中的定时作为基准的时间轴上的时刻的表现方法(正常作业时间轴上的脱离定时)。其能够通过使从作业影像取得的身体部位的位置信息的时序信息与正常作业的状态转移模型的状态分别匹配来计算。具体而言，例如，设为在正常作业中有从作业工序开始5秒后发生的规定状态，在从作业影像的取得的身体部位的位置信息的时序信息中的特定部分与上述规定状态匹配，而且，在该定时发生了脱离动作的情况下，能够将脱离定时表现为“5秒后”。

此外，正常作业的状态转移模型中的相应定时的各状态设为事先保持了身体部位的位置信息。即，在正常作业影像积蓄部117所积蓄的正常作业影像中，相应定时的各状态下的身体位置信息被建立了关联。在这样的情况下，脱离动作解析部114通过将正常作业的状态转移模型中的相应定时的各状态与从作业影像取得的身体部位的位置信息的时序信息之中的相应定时的信息进行比较，能够判断有无作业位置脱离及脱离部位。即，脱离动作解析部114能够确定与作业位置脱离相关的脱离要因。

另外，脱离动作解析部114通过将正常作业的状态转移模型与从作业影像取得的身体部位的位置信息的时序信息进行比较，还能够知晓：在从作业影像取得的身体部位的位置信息的时序信息中，与正常作业的状态转移模型中的各状态相当的状态持续了多长时间。更具体而言，通过关于正常作业的状态转移模型中的各状态，事先将该状态下执行的要素作业建立关联，脱离动作解析部114能够判定各要素作业所需要的时间与规定的时间(正常作业中的作业时间)相比是正常(允许时间内)、更长(与正常作业相比过慢)、还是更短(与正常作业相比过快)。即，脱离动作解析部114能够确定与作业时间脱离相关的脱离要因。

如上，通过脱离动作解析部114进行解析，能够检测脱离动作，进而在发生了脱离动作的情况下，能够确定脱离定时及脱离要因。然后，脱离动作解析部114在通过解析检测出脱离动作的情况下，将与该脱离动作对应的作业影像，作为脱离作业影像存储(积蓄)在脱离作业影像积蓄部118中。

另外，脱离动作解析部114在通过解析检测出脱离动作的情况下，将关于该脱离动作确定的脱离定时及脱离要因，作为脱离动作的履历(履历信息121)存储(积蓄)在脱离动作解析结果积蓄部119中。

图2是用于说明脱离动作的履历信息的图。图2所示的履历信息121是脱离动作解析结果积蓄部119中积蓄的脱离动作的履历的具体例。

履历信息121的构成能够设置任意的项目，但在图2中，例如由序列号(sn)1211、发生场所1212、作业工序开始的定时1213、通常时刻的脱离定时1214、正常动作时间轴的脱离定时1215、脱离要因1216和脱离要因详细情况1217构成。

在履历信息121中，在序列号(sn)1211中，也可以被赋予按检测出的每个脱离动作唯一的编号，但如果与装配加工的产品的序列号一致，则能够与制造执行系统12协同。另外，在发生场所1212中，记录发生了脱离动作的场所，在作业工序开始的定时1213中，记录检测出脱离动作的作业工序开始的定时。

另外，在通常时刻的脱离定时1214及正常动作时间轴的脱离定时1215中，由脱离动作解析部114的解析确定的脱离定时以上述的第1表现方法(通常时刻下的脱离定时)或者第2表现方法(正常作业时间轴上的脱离定时)被记录。另外，在脱离要因1216中，记录由脱离动作解析部114的解析确定的脱离要因(例如“作业位置脱离”、“作业时间脱离”)，在脱离要因详细情况1217中，记录与该脱离要因相关的详细的信息。

具体而言，例如在图2的数据列的第1行的情况下，记录了与序列号“01001”关联的脱离动作在“a线的n工序”中发生，还一并记录了该作业工序(n工序)的开始定时、脱离定时。进而，关于该脱离动作的脱离要因，记录了是由“右手”引起的“作业位置脱离”。

接下来，关于作业影像再现部115进行说明。作业影像再现部115在检测出脱离动作的情况下，将与进行该脱离动作前后的规定时间对应的正常作业影像和脱离作业影像在显示输入装置111上比较显示(作业影像显示)。

具体而言，作业影像再现部115在由脱离动作解析部114的解析检测出脱离动作的情况下，从正常作业影像积蓄部117读入正常作业影像，从脱离作业影像积蓄部118读入所对应的脱离作业影像，从脱离动作解析结果积蓄部119读入该脱离动作的脱离定时及脱离要因。然后，作业影像再现部115从读入的正常作业影像和脱离作业影像，分别取出所读入的脱离定时的前后的规定时间的影像，使取出的各个作业影像作为作业影像显示，显示在显示输入装置111上(参照图3、图4的作业影像画面122)。

此时，作业影像再现部115能够与读入的脱离要因的种类相应地，以不同的显示形态显示上述的作业影像。图3是表示脱离要因是作业位置脱离的情况下的作业影像画面的一例的图，图4是表示脱离要因是作业时间脱离的情况下的作业影像画面的一例的图。

在图3的情况下，在显示输入装置111的显示画面上，显示着作业影像画面122a。作业影像画面122a构成为：将正常作业影像的再现画面1221与脱离作业影像的再现画面1222并排显示。进而，在脱离作业影像的再现画面1222上，指出用圆包围的左手的2处关节并标记为“位置不同”。即，在脱离要因是作业位置脱离的情况下，显示告知被检测出的脱离动作的脱离要因(作业位置脱离)及脱离部位的详细信息。

另一方面，在图4的情况下，在显示输入装置111的显示画面上，显示着作业影像画面122b。作业影像画面122b构成为：将正常作业影像的再现画面1221与脱离作业影像的再现画面1223并派显示。进而，在脱离作业影像的再现画面1223上，标记为“作业过快”。即，在脱离要因是作业时间脱离的情况下，显示仅告知被检测出的脱离动作的脱离要因(作业时间脱离)的详细信息。

然后，通过观察如图3、图4中例示的影像画面122，作业者、监督者能够把握在作业工序的哪个要素作业中发生了脱离作业等详细的脱离定时，另外，能够以视觉方式容易地识别该脱离是怎样的脱离，并且确认该部分的正常作业。因此，作业者、监督者能够即时地理解、判断、决定应该怎样对成为对象的要素作业进行修正。换言之，通过将作业影像画面122显示输出，能够期待对作业者的作业熟练进行支援的效果，能够期待对监督者向作业者的指导进行支援的效果。

在作业动作解析系统11中，显示输入装置111不仅能够显示上述的作业影像画面122，而且能够与状况、操作相应地，向用户(作业者、监督者等)显示各种显示画面。

例如，在没有其他应该显示的画面的状况下，显示输入装置111能够显示等待接受来自用户的操作的操作等待接受画面。图5是表示操作等待接受画面的一例的图。

在图5中例示的操作等待接受画面123上，显示了在希望显示过去的脱离动作时选择的按钮1231、以及在希望解析与脱离动作相关的统计信息时选择的按钮1232。此外，在操作等待接受画面123中显示的各按钮1231、1232不过是一例，也可以构成为显示与其他显示对应的按钮等。

在显示着操作等待接受画面123时选择(例如在触摸面板上按下)了按钮1231的情况下，读入脱离动作解析结果积蓄部119中积蓄的脱离动作的履历(履历信息121)，显示能够从一览表中确认过去的脱离动作的过去脱离动作确认画面。

图6是表示过去脱离动作确认画面的一例的图。在图6中例示的过去脱离动作确认画面124上，显示了对脱离动作的履历进行一览表显示的一览表画面1241、以及在希望显示某一个脱离动作的详细情况时选择的按钮1242。一览表画面1241的显示内容可以与图2中说明的履历信息121同样。如果在选择了一览表画面1241中显示的过去的脱离动作中的某一个动作的状态下选择(例如按下)按钮1242，则选择的过去的脱离动作的详细信息(具体而言，例如图3、图4所示的作业影像画面122)被显示在显示输入装置111上。

像这样，通过以能够确认过去的脱离动作的方式进行显示，作业者、监督者能够追溯确认过去发生的脱离动作的信息。

另一方面，在显示着操作等待接受画面123时选择(例如在触摸面板上按下)了按钮1232的情况下，作为对与脱离动作相关的统计信息进行解析的准备阶段，显示用于决定要解析的统计信息的对象期间的对象期间决定画面。

图7是表示对象期间决定画面的一例的图。在图7所例示的对象期间决定画面125上，显示了供用户任意选择要解析的统计信息的对象期间的对象期间选择栏1251、以及在确定对象期间选择栏1251中选择的对象期间时被选择(执行)的按钮1252。如果在显示着对象期间决定画面125时，在对象期间选择栏1251中选择了对象期间并选择(例如按下)了按钮1242，则参照该对象期间中的脱离动作的履历(履历信息121)，由统计信息生成部116进行脱离动作的统计信息的解析，并显示解析结果(解析结果显示)。

统计信息生成部116从脱离动作解析结果积蓄部119中积蓄的脱离动作的履历(履历信息121)中，读取作业工序开始的定时被包含于在对象期间选择栏1251中决定的统计的对象期间中的脱离动作的履历，执行用于生成统计信息的规定的处理。然后，统计信息生成部116使如上生成的统计信息(例如基于规定形式的图表)作为解析结果显示，显示在显示输入装置111的显示画面上(参照图8、图9的解析结果显示画面126)。

此时，统计信息生成部116能够与脱离要因的种类相应地，以不同的显示形态进行上述的解析结果显示。图8是表示脱离要因是作业位置脱离的情况下的解析结果显示画面的一例的图，图9是表示脱离要因是作业时间脱离的情况下的解析结果显示画面的一例的图。图8的解析结果显示画面126a及图9的解析结果显示画面126b均为解析结果显示画面126的一例，示出如下曲线图：在横轴上表示正常作业中从作业工序开始到作业工序结束的时间轴(作业工序开始的定时是“0”秒)，在纵轴上表示正常作业时间轴上的脱离定时的发生频度。此外，纵轴所示的值不限定于发生频度，例如也可以显示平均似然性等。

具体而言，图8的解析结果显示画面126a是脱离要因是作业位置脱离的情况下的显示画面例，图示了与作业位置脱离是“右手”、“左手”、“头”的情况分别对应的正常作业时间轴上的脱离定时的发生频度。在图8的情况下示出：右手的作业位置脱离多发生在从作业工序开始4秒后，左手的作业位置脱离多发生在从作业工序开始8秒后。即，意味着在这些定时分别妨碍了右手或者左手的要素作业，给出了需要改进的启示。

另外，图9的解析结果显示画面126b是脱离要因是作业时间脱离的情况下的显示画面例，将作业时间比规定的时间(正常作业中的作业时间)长的情况作为“较慢的作业”，将作业时间比规定的时间(正常作业中的作业时间)短的情况作为“较快的作业”，图示了它们的发生频度。在图9的情况下，“较慢的作业”多发生在从作业工序开始6秒后，因此给出了在该定时可能存在妨碍正常作业的要因的启示，通过去除该要因，能够期待更顺利的作业。另一方面，在图9的情况下，“较快的作业”多发生在从作业工序开始2秒后，因此在该定时要素作业的实施有可能不充分，给出了有改进的余地的启示。

如上，关于用户所选择的对象期间中发生的脱离动作，统计信息生成部116能够基于脱离动作解析部114所解析的脱离动作的解析结果(履历信息121)生成统计信息，并使显示输入装置111显示解析结果(解析结果显示画面126)。通过观察这样的解析结果显示，用户(作业者、监督者等)能够根据过去的脱离动作的统计信息，认识到在作业工序的哪个要素(对应于从作业工序开始的经过时间)中有应该改进的余地。

图10是表示第1实施方式所涉及的作业动作解析系统所进行的作业动作解析处理的处理次序的一例的流程图。

根据图10，首先摄像装置112对作业者的情形进行摄影(步骤s11)。接下来，身体部位检测部113如上所述使用托舍夫等人的方法或肖顿等人的方法，对步骤s11中摄像的影像进行解析，取得作业者的身体部位的位置信息(步骤s12)。

接下来，脱离动作解析部114根据步骤s12中取得的身体部位的位置信息，对身体部位的位置信息的时序信息进行解析，判断有无脱离动作(检测脱离动作)，确定脱离定时及脱离要因(步骤s13)。

接下来，脱离动作解析部114判定是否检测出脱离动作(步骤s14)，在未检测出脱离动作的情况下(步骤s14：否)，返回步骤s11。在步骤s14中检测出脱离动作的情况下(步骤s14：是)，将与该脱离动作对应的作业影像作为脱离作业影像积蓄在脱离作业影像积蓄部118中(步骤s15)，进而，将关于该脱离动作确定的脱离定时及脱离要因(履历信息121)积蓄在脱离动作解析结果积蓄部119中(步骤s16)。

在步骤s16之后，作业影像再现部115从脱离动作解析结果积蓄部119读入与脱离动作对应的脱离定时及脱离要因(步骤s17)。进而，作业影像再现部115从脱离作业影像积蓄部118中读入与脱离动作对应的脱离作业影像，从正常作业影像积蓄部117读入正常作业影像(步骤s18)。

然后，作业影像再现部115使用步骤s17及步骤s18中读入的信息，基于上述的方法取出脱离定时的前后的规定时间的影像，使取出的作业影像、脱离要因等显示在显示输入装置111上(步骤s19)。步骤s19的处理相当于上述的作业影像显示的处理，具体的显示画面(作业影像画面)如图3、图4所例示。

在步骤s19的处理结束之后，返回步骤s11，关于下一作业工序或者要素作业，再次由摄像装置112对作业者的情形进行摄影。

此外，在作业动作解析系统11中，优选在进行步骤s17～s19的处理期间，也能够针对其他作业(例如继续进行的之后的作业)执行脱离动作解析。为了实现这样的脱离动作解析，例如也可以将步骤s11～s16的处理利用第1线程处理，将步骤s17～s19的处理利用第2线程处理。通过像这样利用多个线程进行并行处理，即使在利用第2线程正执行步骤s17～s19的处理时，第1线程也能够执行从下一步骤s11开始的处理。另外，利用第2线程进行的处理不限定于步骤s17～s19，例如也可以将步骤s15～s19的处理利用第2线程进行等。

根据第1实施方式所涉及的作业动作解析系统11，通过进行如上所述的作业动作解析，在对作业者的作业的情形进行摄影之后，能够直接进行脱离动作的检测、其要因等的解析，在检测出脱离动作的情况下立即将解析结果显示在显示输入装置111上(图3、图4的作业影像画面122)。因此，作业者、监督者通过观察作业影像画面122，能够迅速地把握应该如何对作业进行修正，能够期待对作业者的熟练进行支援的效果、对监督者向作业者指导进行支援的效果。

另外，此时能够显示脱离动作的详细信息。具体而言，能够以比作业工序单位更精细的要素作业为单位，确定发生了脱离动作的定时并进行显示。进而，还能够显示脱离动作的原因是身体部位的位置处于与正常作业不同的位置的“作业位置脱离”、还是要素作业的所需时间与正常作业中规定的规定时间不同的“作业时间脱离”等脱离要因。

另外，除了能够与作业工序的实时进展并行地执行的上述作业动作解析之外，能够基于过去的脱离动作的履历，对与期望的期间中发生的脱离动作相关的统计信息进行解析，并显示解析结果(图8、图9的解析结果显示画面126)，因此能够容易地把握监督者应改进的要素作业的方面并进行支援。

(2)第2实施方式

图11是表示本发明的第2实施方式所涉及的作业动作解析系统的构成例的框图。参照图11，关于第2实施方式所涉及的作业动作解析系统21的构成进行说明。

图11所示的作业动作解析系统21除了追加脱离动作检测部211以外，具备与图1所示的作业动作解析系统11相同的构成。

另外，在作业动作解析系统11中，脱离动作解析部114不仅判断有无脱离动作(检测脱离动作)，还确定脱离定时以及确定脱离要因，相对于此，在作业动作解析系统21中，脱离动作检测部211判断有无脱离动作(检测脱离动作)，脱离动作解析部114确定脱离定时以及确定脱离要因，在这一点上不同。

在作业动作解析系统21中，与第1实施方式中的说明同样，由摄像装置112对作业者正作业的情形进行摄影，由身体部位检测部113对摄影的影像进行解析，取得作业者的身体部位的位置信息。然后，脱离动作检测部211通过对关于由身体部位检测部113取得的“作业者的身体部位的位置信息”的时序信息进行解析，仅判断有无脱离动作(检测脱离动作)，并输出该检测结果。

脱离动作检测部211根据“作业者的身体部位的位置信息”的时序信息判断有无脱离动作的方法不特别限定，以下举出一例。

例如，事先根据多个正常作业中的身体部位的位置信息的时序信息分别计算统计量，进而计算该统计量的概率分布。该统计量指的是平均值、中央值或者方差等。然后，脱离动作检测部211根据从作业影像取得的“作业者的身体部位的位置信息”的时序信息计算同样的统计量。如果将像这样计算的统计量以事先计算的正常作业中的统计量的概率分布进行比较，则能够计算与正常作业以何种程度接近。因此，通过使用规定的阈值进行阈值处理等，脱离动作检测部211能够判断有无脱离动作。

图12是表示第2实施方式所涉及的作业动作解析系统所进行的作业动作解析处理的处理次序的一例的流程图。关于图12所示的处理次序，以与关于第1实施方式在图10中例示的作业动作解析处理的处理次序不同的处理为中心进行说明，省略共通的处理的说明。

在图12中，摄像装置112对作业者的情形进行摄影(步骤s11)，身体部位检测部113取得作业者的身体部位的位置信息(步骤s12)，至此为止的处理与图10同样。

接下来，脱离动作检测部211根据步骤s12中取得的身体部位的位置信息，对身体部位的位置信息的时序信息进行解析，判断有无脱离动作(检测脱离动作)(步骤s21)。

接下来，脱离动作检测部211判定是否检测出脱离动作(步骤s22)，在未检测出脱离动作的情况下(步骤s22：否)，返回步骤s11。在步骤s22中检测出脱离动作的情况下(步骤s22：是)，使显示输入装置111显示表示检测出脱离动作的画面(脱离动作报知画面)(步骤s23)。

在此，图13是表示脱离动作报知画面的一例的图。在图13所例示的脱离动作报知画面221上，例如示出序列号(sn)、发生场所、以及作业工序开始的定时。各个项目例如与图2中说明的履历信息121的同名的项目对应。在此，关于序列号，如果与装配加工的产品的序列号一致，则能够与制造执行系统12协同。此外，图13的脱离动作报知画面221不过是一例，也可以显示其他项目，但在该时刻尚未进行脱离动作的解析，因此不示出脱离要因等的详细信息。

即，在第2实施方式所涉及的作业动作解析系统21中，通过在仅进行了脱离动作的检测的阶段显示脱离动作报知画面221，能够在发生了脱离动作之后迅速地(比第1实施方式中的作业影像画面122提早)报知脱离动作的发生。

之后，脱离动作解析部114根据步骤s12中取得的身体部位的位置信息，对身体部位的位置信息的时序信息进行解析，关于步骤s21中检测出的脱离动作，确定脱离定时及脱离要因(步骤s24)。

之后的步骤s15～s19的处理与图10同样，因此省略说明。此外，与图10中说明的同样，在图12的作业动作解析处理中，也通过由多个线程进行并行处理，能够在关于1个作业动作进行解析的期间，还执行关于其他作业动作的解析。具体而言，也可以将步骤s17～s19(或者步骤s24及步骤s15～s19)的处理利用第2线程执行，同时将下一步骤s11～s16(或者步骤s11～s23)的处理利用第1线程进行。

另外，在图12的处理次序中，在脱离动作检测部211未检测出脱离动作的情况下(步骤s22：否)，返回步骤s11，但作为别的处理次序例，也可以在步骤s24中脱离动作解析部114进行了脱离动作的解析之后进行步骤s22中的脱离动作检测的判断处理。通过设为这样的处理次序，即使在由脱离动作检测部211未检测出脱离动作的情况下，如果通过脱离动作解析部114的详细解析另行检测出了脱离动作的发生，则进行步骤s22中的脱离动作检测的判断处理，因此能够切实地进行脱离处理的检测时的报知及信息收集。

根据第2实施方式所涉及的作业动作解析系统21，通过进行如上所述的作业动作解析，能够在刚对作业者的作业的情形进行摄影后，就直接进行脱离动作的检测，在检测出脱离动作的情况下，立即通过脱离动作报知画面221的显示向作业者、监督者等报知脱离动作的发生。该报知定时能够比第1实施方式中的作业影像画面122的显示(图10的步骤s19)更提早实现，因此在作业的执行中，能够以更高的实时性实现脱离动作的检测。

进而，在第2实施方式所涉及的作业动作解析系统21中，在检测脱离动作并显示了脱离动作报知画面221之后，与第1实施方式所涉及的作业动作解析系统11同样，能够进行脱离动作的解析来确定脱离定时及脱离要因，并将该解析结果通过作业影像画面122显示。另外，此时，能够以要素作业为单位确定脱离动作的发生定时并显示，还能够确定脱离动作的原因是“作业位置脱离”或者“作业时间脱离”并显示。由此，与第1实施方式同样，能够使作业者、监督者迅速地认识到应该如何对作业进行修正，能够期待对作业者的熟练进行支援的效果、对监督者向作业者指导进行支援的效果。

特别是，在第2实施方式所涉及的作业动作解析系统21中，如上所述针对脱离动作的发生，具备仅对脱离动作的检测进行解析并报知的第1解析步骤、以及对脱离动作的详细情况(脱离定时、脱离要因)进行解析并报知的第2解析步骤这样多阶段的解析步骤。通过设为这样的构成，关于第1解析步骤，能够减轻处理负荷并提早报知，关于第2解析步骤，虽然与第1解析步骤相比需要时间，但能够报知详细的解析结果。结果，作业者、监督者能够与用途相应地灵活利用这多阶段的报知。例如，对实时地监督作业的监督者而言，总是监视零碎的作业的负担较多，以即时性执行基于第1解析步骤对脱离动作的发生的报知是最重要的。然后，在进行了基于第1解析步骤的报知的情况下，通过确认基于之后进行的第2解析步骤的报知并确认其详细情况，能够得到关于作业的问题点、改进点的支援信息。

另外，与第1实施方式所涉及的作业动作解析系统11同样，除了能够与作业工序的实时进展并行地执行的上述的作业动作解析之外，能够基于过去的脱离动作的履历，对与期望的期间中发生的脱离动作相关的统计信息进行解析，并显示解析结果(图8、图9的解析结果显示画面126)，因此能够容易地把握监督者应改进的要素作业的方面并进行支援。

此外，本发明不限定于上述的实施方式，还包含各种变形例。例如，上述的实施方式为了容易理解地说明本发明而详细地进行了说明，但不限定为必须具备所说明的全部构成。另外，能够将某实施方式的构成的一部分置换为其他实施方式的构成，另外，还能够在某实施方式的构成上追加其他实施方式的构成。另外，关于各实施方式的构成的一部分，能够进行其他构成的追加/删除/置换。

另外，上述的各构成、功能、处理部、处理机构等也可以将其一部分或者全部例如通过由集成电路进行设计等而利用硬件实现。另外，上述的各构成、功能等也可以通过处理器对实现各个功能的程序进行解释并执行而利用软件实现。实现各功能的程序、表、文件等的信息能够置于存储器、硬盘、ssd(solidstatedrive：固态驱动器)等记录装置、或者ic卡、sd卡、dvd等记录介质。另外，控制线、信息线示出了认为说明所需要的，不限于必须示出产品中全部的控制线、信息线。也可以认为在实施中几乎全部构成都相互连接。

附图标记说明：

11、21作业动作解析系统

12制造执行系统

111显示输入装置

112摄像装置

113身体部位检测部

114脱离动作解析部

115作业影像再现部

116统计信息生成部

117正常作业影像积蓄部

118脱离作业影像积蓄部

119脱离动作解析结果积蓄部

121履历信息

122(122a、122b)作业影像画面

123操作等待接受画面

124过去脱离动作确认画面

125对象期间决定画面

126(126a、126b)解析结果显示画面

211脱离动作检测部

221脱离动作报知画面