图像分析方法、图像分析装置、图像分析系统以及图像分析便携式装置与流程

本发明涉及能够高精度地进行图像数据的分析且减轻分析员的分析负担的图像分析方法、图像分析装置、图像分析系统以及图像分析便携式装置。

背景技术：

在工厂从事作业的工作人员与总是以恒定速度动作的生产设备不同，有时作业执行的速度产生偏差。因此，分析这些工作人员的作业循环时间的偏差在分析工厂整体的生产率方面是重要的。作为进行这些工作人员的作业分析的方法，以往周知有工业工程(IE)的方法。

例如，如非专利文献1所示，公开有将工作人员进行的一连串的作业分割为构成要素作业单位来测定、评价作业时间的长短的秒表(Stopwatch)法、胶片分析法(film analysis method)等方法。一般而言，在这些方法中，进行分析的分析员目视观测作为观测对象的工作人员，记录观测对象的工作人员的作业状态的变化时刻、即作业开始时刻和作业结束时刻，对分析员要求巨大的劳动力。根据这样的背景，近年来公开有使用各种分析装置自动地掌握工作人员的作业状态来减轻分析员的分析负担的方法。

例如，如专利文献1所示，提出有通过包括“动作字典”“作业字典”的数据库来确定的方法，该“动作字典”“作业字典”是记载有从安装于工作人员的传感器得到的信号波形的出现模式与工作人员的动作的关系的对应表。

另外，例如，如专利文献2所示，提出有如下方法：通过摄像机拍摄进行反复作业的工作人员的动作，计算反复地通过设定在再现显示器上的基准点的所需时间，测量作业循环。

另外，作为利用摄像机而进行作业分析的技术，例如，如专利文献3所示，提出有根据拍摄得到的图像数据的颜色信息等的变化而对工作人员的人体的预定的一部分进行动作识别的技术。

另外，例如，如专利文献4所示，提出有不将识别对象限定于人体，而对运动物体与背景进行识别的技术。

专利文献1：日本专利第5159263号公报

专利文献2：日本专利第2711548号公报

专利文献3：日本专利第4792824号公报

专利文献4：日本特开2003-6659号公报

非专利文献1：藤田彰久著《新版IE的基础》建帛社(2007年1月发行)

技术实现要素：

在以往的工厂中的工作人员的作业分析方法中，本应谋求减轻分析员的分析负担的技术，但如专利文献1所示，在使用传感器信号与工作人员动作的对应表而进行作业分析的方法中存在如下问题：步行、停止这样的简单的动作的情况暂且不论，对复杂的作业的全部配备对应表需要耗费巨大的功夫，是不且实际的。

另外，如专利文献2所示，在使用摄像机捕捉工作人员的动作的现有技术中，需要根据工作人员的人体的一部分是否通过预先在图像上规定的基准空间来掌握动作，所以存在在进行该图像上的基准空间的设定行为以及是否是人体的一部分的识别行为中需要劳力这样的问题。

另外，如专利文献3所示，在进行是否是人体的一部分的识别中使用图像数据的颜色信息，但存在如下问题：工厂的工作人员一般佩戴头盔、手套等各种防护用具的情况居多，多数情况下难以利用颜色信息来判定工作人员的人体的一部分。

另外，如专利文献4所示，在识别运动物体和背景信息的技术中，通过在动画数据的前后的帧之间比较同一像素的特征量来识别是运动物体还是背景，但存在如下问题：在如工厂内那样总是有某些物体在运动的情况下，例如在皮带输送机动作或者换气扇旋转这样的情况下，连无关的运动物体也被识别了，从而导致分析困难。

也就是说，在任意的以往的情况下，都存在为了进行分析需要巨大的劳力或在工厂中分析精度恶化的问题。

本发明是为了解决上述那样的课题而完成的，目的在于提供能够高精度地进行图像数据的分析且减轻分析员的分析负担的图像分析方法、图像分析装置、图像分析系统以及图像分析便携式装置。

本发明的图像分析方法分析按时间序列取得的图像数据，该图像分析方法具备如下工序：

取得各所述图像数据的各像素的颜色信息；

根据所述颜色信息计算表示各所述像素的特征量的时间序列性的变化的特征量时间序列数据；以及

根据所述特征量时间序列数据计算所述图像数据的变动周期。

另外，本发明的图像分析装置分析按时间序列取得的图像数据，该图像分析装置具备：

特征量计算部，根据各所述图像数据的各像素的颜色信息计算表示特征量的时间序列性的变化的特征量时间序列数据；以及

变动周期计算部，根据所述特征量时间序列数据计算各所述图像数据的变动周期。

另外，本发明的图像分析系统具备：

记载的所述图像分析装置；

摄像装置，取得所述图像数据；

显示装置，显示所述图像分析装置的分析结果；

图像数据库，存储所述图像数据；

特征量时间序列数据库，存储所述特征量时间序列数据；以及

图像分析数据库，存储所述分析结果。

另外，本发明的图像分析便携式装置是所记载的所述图像分析系统以一体式且便携式形成所述图像分析装置、所述摄像装置、所述显示装置、所述图像数据库、所述特征量时间序列数据库以及所述图像分析数据库而成的图像分析便携式装置。

根据本发明的图像分析方法、图像分析装置、图像分析系统以及图像分析便携式装置，能够高精度地进行图像数据的分析且减轻分析员的分析负担。

附图说明

图1是示出具有本发明的实施方式1的图像分析装置的图像分析系统的结构的图。

图2是用于说明图1所示的图像分析装置的特征量计算部的动作的图。

图3是示出在图1所示的图像分析装置中使用的图像数据的像素的结构的图。

图4是示出在图1所示的图像分析装置的图像数据的处理中使用的颜色信息的图。

图5是示出图2所示的特征量计算部中的图像数据的颜色信息的取得顺序的图。

图6是示出在图2中取得的图像数据的各像素的根据图5而取得的颜色信息的图。

图7是示出在图2所示的特征量计算部中设定的调色板数据的图。

图8是示出在图6中取得的颜色信息的各像素的调色板序号的图。

图9是示出用于在图2所示的特征量计算部中取得各像素的颜色信息熵的邻近图像区域的图。

图10是示出用于在图2所示的特征量计算部中取得各像素的颜色信息熵的其它邻近图像区域的图。

图11是示出在图2所示的特征量计算部中取得的任意的像素的颜色信息熵的取得例的图。

图12是用于说明在图2所示的特征量计算部中取得的任意的像素的颜色信息熵的变化的图。

图13是示出在图2所示的特征量计算部中取得的任意的像素的颜色信息熵的时间序列的变化状态的图。

图14是示出在图2所示的特征量计算部中取得的各图像的颜色信息熵的时间序列数据的图。

图15是以颜色深浅图示化地示出在图2所示的特征量计算部中取得的图像数据的颜色信息熵的任意的时刻的信息的图。

图16是用于说明图1所示的图像分析装置的变动周期计算部的动作的图。

图17是示出在图14中取得的颜色信息熵的时间序列数据的图表的图。

图18是示出从图17所示的颜色信息熵的时间序列数据抽出一部分的图表的图。

图19是示出从图17所示的颜色信息熵的时间序列数据抽出一部分的图表的图。

图20是示出图像数据上的像素位置与运动物体的关系的图。

图21是对图17所示的时间序列数据的时间偏移进行说明的图。

图22是示出图17所示的各像素的颜色信息熵中的时间偏移的自相关系数的图。

图23是以图表示出图22所示的各像素中的时间偏移和自相关系数的图。

图24是示出图23所示的各时间偏移与各像素的自相关系数的平均值的图。

图25是以图表示出图24所示的各时间偏和各像素的自相关系数的平均值的图。

图26是示出对图25所示的各时间偏移与各像素的自相关系数的平均值进行了傅里叶变换的图表的图。

图27是从图17所示的颜色信息熵以及图23所示的自相关系数抽出在各像素的自相关系数的极大值处的时间偏移、自相关系数以及初次时刻的图。

图28是从图27抽出具有变动周期的数据的图。

图29是用于说明在图28中初次时刻不同的状况的图。

图30是从图29抽出作业点的图。

图31是抽出在图30中抽出的作业点的自相关系数的极大值的时刻的图。

图32是根据图30所示的时刻计算作业时间的图。

图33是示出图32的作业时间的概率密度的图。

图34是示出在图14中取得的图像数据的任意的像素的颜色信息熵的时间序列数据的图表的图。

图35是以图表示出图34所示的像素的时间偏移和自相关系数的图。

图36是示出对图35所示的各时间偏移和像素的自相关系数进行了傅里叶变换的图表的图。

图37是示出在图14中取得的包含作业中断的图像数据的任意的像素的颜色信息熵的时间序列数据的图表的图。

图38是以图表示出图37所示的像素的时间偏移和自相关系数的图。

图39是示出对图38所示的各时间偏移和像素的自相关系数进行了傅里叶变换的图表的图。

图40是示出对图37所示的像素的颜色信息熵进行了傅里叶变换的图表的图。

图41是用于说明本发明的实施方式2中的图像分析装置的特征量计算部的动作的图。

图42是示出在图41所示的特征量计算部中取得的图像数据的各色调的出现频度的图。

图43是示出在色调中均匀分割图41所示的各色调的出现频度的状态的图。

图44是按图41所示的图像数据的各色调中的出现频度的降序示出并抽出峰色调的图。

图45是将图44所示的出现频度的降序按照色调顺序重新排列并抽出谷色调的图。

图46是示出根据图45所示的谷色调设定的调色板序号的状态的图。

图47是示出在色调中将图41所示的各色调的出现频度分割成图46所示的调色板序号的状态下的图。

图48是示出本发明的实施方式3中的图像分析便携式装置的结构的图。

图49是示出具有本发明的实施方式4的图像分析装置的图像分析系统的结构的图。

具体实施方式

实施方式1.

以下，对本发明的实施方式进行说明。对在以下的实施方式中说明的图像分析以如下情况作为例子进行说明：当在工厂等设施内作为运动物体的工作人员进行作为周期性动作(反复性动作)的作业的情况下，分析作为该作业中的反复时间的作业循环时间。其中，即使是运动物体为工作人员以外的例如设备进行的作业，也能够同样地进行图像分析。而且，除了作业以外，对反复变化的图像数据的分析也能够起到相同的效果。

图1是示出具有本发明的实施方式1的图像分析装置的图像分析系统的结构的图。图2是用于说明图1所示的图像分析装置的特征量计算部的动作的图。图3是示出在图1所示的图像分析装置中使用的图像数据的像素的结构的图。图4是示出在图1所示的图像分析装置的图像数据的处理中使用的颜色信息的图。图5是示出图2所示的特征量计算部中的图像数据的颜色信息的取得顺序的图。图6是示出在图2中取得的图像数据的各像素的根据图5所取得的颜色信息的图。

图7是示出在图2所示的特征量计算部中设定的调色板数据的图。图8是示出在图6中取得的颜色信息的各像素的调色板序号的图。图9是示出用于在图2所示的特征量计算部中取得各像素的信息熵(以下称作“颜色信息熵”)的邻近图像区域的图。图10是示出用于在图2所示的特征量计算部中取得各像素的颜色信息熵的其它邻近图像区域的图。图11是示出在图2所示的特征量计算部中取得的任意的像素的颜色信息熵的取得例的图。

图12是用于说明在图2所示的特征量计算部中取得的任意的像素的颜色信息熵的变化的图。图13是示出在图2所示的特征量计算部中取得的任意的像素的颜色信息熵的时间序列的变化状态的图。图14是示出在图2所示的特征量计算部中取得的各图像的颜色信息熵的时间序列数据的图。图15是以颜色深浅图示化地示出在图2所示的特征量计算部中取得的图像数据的颜色信息熵的任意的时刻的信息的图。图16是用于说明图1所示的图像分析装置的变动周期计算部的动作的图。

图17是示出在图14中取得的颜色信息熵的时间序列数据的图表的图。图18以及图19是示出从图17所示的颜色信息熵的时间序列数据抽出一部分的图表的图。图20是示出图像数据上的像素位置与运动物体的关系的图。图21是对图17所示的时间序列数据的时间偏移进行说明的图。图22是示出图17所示的各像素的颜色信息熵中的时间偏移的自相关系数的图。图23是以图表示出图22所示的各像素中的时间偏移与自相关系数的图。

图24是示出图23所示的各时间偏移和各像素的自相关系数的平均值的图。图25是以图表示出图24所示的各时间偏移与各像素的自相关系数的平均值的图。图26是示出对图25所示的各时间偏移与各像素的自相关系数的平均值进行了傅里叶变换的图表的图。图27是抽出在各像素的自相关系数的极大值处时间偏移、自相关系数以及初次时刻的图。

图28是从图27抽出具有变动周期的数据的图。图29是用于说明在图28中初次时刻不同的状况的图。图30是从图29抽出作业点的图。图31是抽出在图30中抽出的作业点的自相关系数的极大值的时刻的图。图32是根据图30所示的时刻计算作业时间的图。图33是示出图32的作业时间的概率密度的图。

图34是示出在图14中取得的图像数据的任意的像素的颜色信息熵的时间序列数据的图表的图。图35是以图表示出图34所示的像素的时间偏移和自相关系数的图。图36是示出对图35所示的各时间偏移和像素的自相关系数进行了傅里叶变换的图表的图。图37是示出在图14中取得的包含作业中断的图像数据的任意的像素的颜色信息熵的时间序列数据的图表的图。图38是以图表示出图37所示的像素的时间偏移和自相关系数的图。图39是示出对图38所示的各时间偏移和像素的自相关系数进行了傅里叶变换的图表的图。图40是示出对图37所示的像素的颜色信息熵进行了傅里叶变换的图表的图。

在图1中，图像分析装置5具备：图像数据库(以下，将数据库略称作DB而示出)6，存储按时间序列取得的图像数据；特征量时间序列DB11，存储图像数据的特征量时间序列数据；图像分析DB12，存储来自图像数据的图像分析数据；以及图像分析单元9，根据图像数据分析图像分析数据。图像分析单元9具备从图像数据检测特征量的特征量计算部7和检测该图像数据的特征量的变动周期的变动周期计算部8。

另外，图像分析装置5与包括有线或无线的通信网络4连接。而且，工作人员1A以及工作人员1B在固定的工作台2A以及工作台2B从事作业。然后，各作业状态作为通过摄像装置3A以及摄像装置3B拍摄而得到的图像数据而被输出。接下来，各摄像装置3A、各摄像装置3B的各图像数据经由通信网络4被保存到图像DB6。另外，通过图像分析装置5分析的图像分析数据经由通信网络4而被显示于分析员14的显示装置13。

对如上所述地构成的实施方式1的图像分析装置的动作进行说明。首先，工作人员1A以及工作人员1B在工作台2A以及工作台2B进行作业。然后，各作业状态作为通过摄像装置3A以及摄像装置3B拍摄而得到的多个时间序列的图像数据而被输出到通信网络4。然后，各图像数据经由通信网络4被保存到图像DB6。接下来，特征量计算部7从图像DB6取得图像数据(图2的步骤S01)。

接下来，取得各图像数据的各像素的颜色信息(图2的步骤S02)。具体而言，例如，如图3所示，图像数据包括具有x轴(水平)方向10像素×y轴(垂直)方向10像素的100个像素。图像数据的各像素是指构成图3中的图像数据的各格栅区。例如，如图3所示，像素C位于“x＝1，y＝1”的位置，像素D位于“x＝4，y＝3”的位置。而且，如图4所示，此处取得的颜色信息例如使用由“色调”、“饱和度”、“亮度”这3个分量表现的HLS颜色空间(其中，图4以黑白省略示出实际的彩色。)，其中，“色调”以0～360°(度)的角度表示色彩，“饱和度”以0～1(＝100％)表示颜色的鲜明度，“亮度”以0～1(＝100％)表示颜色的明亮度。

此外，在本实施方式中以使用HLS颜色空间的例子示出，但不限于此，只要能够将各像素的颜色信息数值化表现，则可以使用任意的颜色空间，例如，也可以使用RGB颜色空间、HSV颜色空间等其它颜色空间。然后，如图5的箭头所示，对1个图像数据(也称作1帧图像帧)内的所有像素，沿着x轴、y轴方向依次取得颜色信息。然后关于所取得的各像素的颜色信息，例如，如图6所示，如像素位置“x＝1，y＝1”的像素C的颜色信息“色调＝0°，饱和度＝1，亮度＝0”、像素位置“x＝4，y＝3”的像素D的颜色信息“色调＝0°，饱和度＝1，亮度＝0.5”这样取得包括色调、饱和度、亮度的3维颜色信息。

接下来，对该各图像数据的各像素的颜色信息根据调色板数据15取得调色板序号(图2的步骤S03)。具体而言，在调色板数据15中以将类似系统颜色作为同一颜色组、将不同系统颜色作为不同的颜色组的方式，按各调色板序号进行分类。进而，对各调色板序号分别设定用于检测的优先次序。

此外，调色板序号以及优先次序是根据要分析的图像数据而预先适当设定的。另外，该调色板数据15的数量是根据在要分析的图像数据中出现的颜色信息的重要度适当设定的。具体而言，用要制作的调色板来分类识别的颜色数(调色板序号的数量)最好为在后述的颜色信息熵时所使用的“邻近像素区域”的像素数的程度。此外，这些内容在以下的实施方式中也是相同的，所以适当省略其说明。

然后，例如，如图7所示，从优先次序第1位开始依次如下预先确定优先次序：优先次序第1位为调色板序号<1>(黑色)亮度小于0.1；优先次序第2位为调色板序号<2>(白色)，亮度为0.9以上；优先次序第3位为调色板序号<3>(灰色)，饱和度小于0.15；…。然后，按照如图7所示的调色板数据15的优先次序的从高到低的顺序，逐一读入如图6所示的各像素的各颜色信息，并赋予条件匹配的调色板序号。

这样，例如，如图6所示，像素位置“x＝1，y＝1”的颜色信息是“色调＝0°、饱和度＝1、亮度0”，所以与作为图7所示的调色板数据15的优先次序第1位的“亮度小于0.1”的条件匹配，如图8所示，调色板序号成为“<1>”。然后，取得与全部图像数据的全部像素匹配的调色板序号。

接下来，根据该各像素的调色板序号的数据，取得作为各图像数据的各像素的特征量的颜色信息熵(图2的步骤S04)。颜色信息熵是对包含各像素的预先设定的像素区域、此处是对以某像素为中心而预先设定的近似像素区域取得的。而且，表示该邻近像素区域的颜色信息量的多少、杂乱情况的示量性状态量(特征量)是颜色信息熵，能够如以下所示地求出。由此，能够通过利用该颜色信息熵来计算图像的特征量。

更具体而言，如图9所示，例如对位于像素的坐标x＝5，y＝4的像素E将以“±3像素”量、即3≤x≤7、2≤y≤6示出的区域设定为邻近像素区域。此外，邻近像素区域是根据想要分析的图像数据的内容适当设定的，此处预先设定为“±3像素”量。因而，也可以通过其它方法设定邻近像素区域。作为其它邻近像素区域的例子，也可以不是矩形，而是如图10所示地对像素E设定成菱形。

另外，作为所设定的邻近像素区域的像素数的标准，如果在图像320×240像素的范围中映出一个工作人员的情况下，可以认为作为能够识别例如5cm见方的物体的能力的像素数，5×5像素左右是适宜的。由此，邻近像素区域是根据能够识别工作人员以及进行作业的物体的能力适当设定的。

接下来，通过下述的(式1)计算像素坐标x，y的像素的颜色信息熵EPY_x,y。

数1

上述(式1)的p_x,y(c)表示像素位置x，y的邻近像素区域内的包含调色板序号c的面积比例。因此，p_x,y(c)通过后述(式2)能够求出包含在作为邻近像素区域的像素数的邻近像素数N中的调色板序号c的像素数N_x,y(c)的比例。

p_x,y(c)＝N_x,y(c)/N…(式2)

具体而言，在图11中示出在计计算颜色信息熵的情况下的图像数据的例子。该图11将图像数据内、包括5×5的25个像素的邻近像素区域作为例子而示出。此外，在图11至图13中，虽然为了易于理解各图而以颜色(白、黑和灰等)示出，但实际是通过调色板序号来处理的。因此适当省略其说明。

图11(a)的邻近像素区域61全部是单色的“白色”。另外，图11(b)的邻近像素区域62全部是单色的“灰色”。因此，在图11(a)、图11(b)中颜色信息量是1个、不杂乱，所以通过后述(式3)求出的颜色信息熵是“0”。

EPY_x,y＝-1×log(1)＝0…(式3)

另一方面，图11(c)的邻近像素区域63是“黑色”7个、“暗灰色”5个、“浅灰色”6个、“白色”7个。因此，通过后述(式4)求出的颜色信息熵是“1.99”。

EPY_x,y＝-(7/25)log₂(7/25)-(5/25)log₂(5/25)-(6/25)log₂(6/25)-(7/25)log₂(7/25)＝1.99…(式4)

这样，在图11(c)中，不同的调色板序号(颜色信息量)多、杂乱，所以颜色信息熵是“1.99”。此外，在先前示出的调色板数据15中不存在“深灰色”以及“浅灰色”的调色板序号的设定例，但为了易于理解图11而将其分别示出。

然后，如图12(a)至图12(b)所示，说明在对图像数据的像素F的邻近像素区域64内格子形的图案G从左下微量地移动到右上的情况。即使这样从图12(a)变化为图12(b)，像素F的邻近像素区域64的“灰色”和“白色”的比例也不发生变化。因此，邻近像素区域64的图像数据的杂乱情况不发生变化。因此，作为颜色信息熵从图12(a)的“0.94”变成图12(b)的“0.94”而不发生变化。

这样，只要利用颜色信息熵的性质，就能够排除例如在工厂中常常发生的振动等图像的晃动等的影响。而且，即使在工厂以外的其它地方的拍摄中，也同样地能够排除容易发生图像的晃动的情况等的影响。另外，可以认为也能够排除误差的影响。

接下来，图13是示出在像素H的邻近像素区域64内灰色图案的一部分从下到上通过的状况的例子的图。在该例子中，随着灰色图案的通过，像素H的邻近像素区域64的“灰色”和“白色”的比例发生变化。因此，颜色信息熵值如图16(a)至图16(j)所示地变化。也就是说，由于该图像数据的杂乱情况发生变化，从而颜色信息熵变化。可知只要利用该性质，就能够判断在该图像数据上运动物体是否移动了。

然后，如图14所示，取得各像素位置的、每个时间经过即每个时间序列的图像数据的颜色信息熵的信息，能够确认时间经过中的颜色信息熵的变化。然后，取得全部图像数据的各像素的颜色信息熵，作为特征量时间序列数据而存储到特征量时间序列DB11并结束处理。

在通过颜色深浅来绘制这样取得颜色信息熵的图像数据的、各像素位置的某时刻的颜色信息熵的数值的大小时，例如，如图15(a)所示，能够识别具有复杂的形状、颜色配合的工作人员等物体，能够得到工作人员的作业情景图像。另外，如图15(b)所示，在观察图15(a)的Z-Z’线上的、横轴为各位置、纵轴为该各位置的颜色信息熵的数值的图表时，能够确认可识别工作人员的信息等。

接下来，变动周期计算部8利用该特征量时间序列数据，对工作人员的作业循环时间利用特征量的时间序列变动周期进行图像分析。具体而言，以3个阶段来执行：计算特征量时间序列数据的自相关系数的步骤；利用自相关系数来计算变动周期的步骤；以及利用变动周期来分析作业循环时间的步骤。

首先，读入全部的各像素的特征量时间序列数据(图16的步骤S21)。然后，在将这些特征量时间序列数据以横轴为时刻(经过秒)、纵轴为颜色信息熵进行图表化时，成为图17所示的那样。如图17所示，在J1、K1、J2、K2处存在特征性波形。在抽出该图17中的、在J1处存在的像素的波形时，成为图18所示的那样。另外，在抽出图17中的、在K1处存在的像素的波形时，成为图19所示的那样。

如图18所示，可知“J1”和“J2”成对而存在特征性波形。另外，如图19所示，可知“K1”和“K2”成对而存在特征性波形。因此，这样可知相似波形周期性地反复。这是因为，在工作人员进行反复性作业的情况下，每当人体、工件、工作夹具等的一部分周期性地通过图像上的确定的地点(像素坐标)时，颜色信息熵发生变动的缘故。

这样，对在每个像素的颜色信息熵中各像素的波形的周期相位不一致、即J1和K1的峰值出现时刻偏移的理由进行说明。例如，在如图20(a)所示的画面中，像素J的位置和像素K的位置不同。然后，如图20(b)所示运动物体80在通过像素J的坐标之后通过像素K的坐标，所以产生时间差。这是先前示出的峰值出现时刻偏移的原因。

接下来，对每个像素计算自相关系数(图16的步骤S22)。这是在使具有周期性的时间序列数据移位某时间量(以下称作“时间偏移”)时，如图21(a)至图21(b)所示，波形的一致性升高(即出现自相关增强的时刻)。该自相关增强的时刻的时间间隔视为作业循环时间，能够通过查找各自时间偏移的自相关系数来检测作业循环时间。

因此，通过后述(式5)求出时刻t的时间序列数据值X_t和从时刻t时间偏移了Δs量的时刻的时间序列数据值X_t+Δs值的自相关系数R(t，t+Δs)。此外，E[f(t)]是f(t)的期望值。另外，μ是X的平均值，σ是X的标准差。而且，该式中的“值”是指颜色特征熵的“值”。

R(t，t+Δs)＝{E[(X_t-μ)(X_t+Δs-μ)]}/σ²…(式5)

然后，通过上述(式5)求出全部的各像素的各自时间偏移的自相关系数。之后，如图22所示，求出各像素的每个时间偏移的自相关系数。然后，在以纵轴为自相关系数、横轴为时间偏移来表示如图22那样求出的值时，成为如图23所示的那样。

接下来，利用该自相关系数计算变动周期(图16的步骤S23)。首先，取全部像素的自相关系数的每个时间偏移的平均值。之后，如图24所示地计算。然后，在以纵轴为自相关系数、横轴为时间偏移来表示如图24那样求出的值时，成为如图25所示。如根据图25所知的那样，能够确认颜色信息熵的变动周期以“12秒至13秒”的间隔显现强的相关。此外，利用自相关系数的平均值也能够求出变动周期，不过为了提高变动周期的值的精度进行以下的动作。

接下来，对该自相关系数进行傅里叶变换，明确自相关系数的变动周期。对图25所示的自相关系数进行傅里叶变换，在以纵轴为功率谱密度(PSD)、横轴为周期示出其值时，变换为如图26所示的那样。然后，根据图26能够确认在“11.2秒”出现峰值。由此，计算该作业以“11.2秒”周期(变动周期)进行。

接下来，利用这样求出的变动周期以及各像素的特征量时间序列数据，分析作业循环时间(图16的步骤S24)。首先，如图27所示地抽出各像素的自相关系数的极大值出现的时刻的时间偏移及其自相关系数(极大值)和该极大值最初出现的初次时刻。当然，在图27中抽出的数据中，因为各像素可能发生包含除了工作人员的作业以外的图像数据的情况，所以假想也存在除了上述变动周期以外的极大值。

因此，为了在各像素中去除除了工作人员的作业以外的图像，从图27的数据仅抽出具有先前求出的“11.2秒”的变动周期的数据、即具有“11.2秒”的变动周期的自相关系数的极大值。然后，在图28中示出从图27这样抽出的数据。在该例子中，以“11.2秒”的变动周期多个像素的自相关系数示出极大值。而且，各自的自相关系数的极大值出现的初次时刻既存在相同的情况也存在不同的情况。

关于这一点，如与图28所示的各像素75、各像素76、各像素77的位置对应的图29所示，运动物体80初次通过像素75的位置(x＝20，y＝157)的时刻是6.6秒后，通过像素76的位置(x＝147，y＝79)以及像素77的位置(x＝148，y＝80)的初次时刻是10.0秒后，初次通过时刻不同。这样能够推测出运动物体80为了从像素75移动到像素76以及像素77而需要3.4秒。

换言之，意味着为了将运动物体80从像素75的位置移动到像素76以及像素77的位置所需的作业时间需要3.4秒。只要利用该性质，就能够分析在作业的1个循环时间内的、任意的区间(运动物体从任意的像素移动到别的任意的像素的区间)的期间需要多少时间。

接下来，利用图30至图32，说明作业循环时间(指作业的1个循环时间)的分析方法的具体例。图30是从图28的数据中去除初次时刻反复的数据而得到的。具体而言，像素76和像素77的初次时刻反复，所以仅留下像素76的数据而删除了像素77的数据。然后这样将初次时刻不反复的数据按照初次时刻的从早到晚的顺序重排为作业点“No.1”、“No.2”…。

接下来，从这些中选择作业点“No.1”“No.2”，抽出与该选择出的作业点对应的像素的像素特征量时间序列数据。然后，按照时刻升序的顺序分别重排成为自相关系数的极大值的时刻。然后，在图31中示出这样抽出的数据的例子。此外，图30～图32所示的作业点“No.1”“No.2”分别示出同一像素位置。

然后，该每个作业点的自相关系数的极大时刻(以下设为“作业时刻”)的出现顺序原则上以“No.1”“No.2”、“No.1”“No.2”、…的方式交替出现。因此，能够对每1个作业循环计算各作业点间的作业时刻差、即作业循环时间。

具体而言，利用图32来说明。在图32中，在第1次作业循环中作业点“No.1”的作业时刻是“6.6秒”，作业点“No.2”的作业时刻是“10.0秒”，在第2次作业循环中作业点“No.1”的作业时刻是“17.8秒”，作业点“No.2”的作业时刻是“21.1秒”。

在该情况下，将作业点“No.1”与作业点“No.2”之间的区间作为区间1，将作业点“No.2”与作业点“No.1”之间的区间作为区间2。于是，关于区间1的作业时间，在第1次作业循环中是作业点“No.2”的作业时刻“10.0秒”与作业点“No.1”的作业时刻“6.6秒”的差即“3.4秒”，在第2次作业循环中是作业点“No.2”的作业时刻“21.1秒”和作业点“No.1”的作业时刻“17.8秒”的差即“3.3秒”。

进而，关于区间2的作业时间，在第1次作业循环中是作业点“No.2”的作业时刻“10.0秒”与第2次作业循环的作业点“No.1”的作业时刻“17.8秒”的差即“7.8秒”，在第2次作业循环中是作业点“No.2”的作业时刻“21.1秒”与第3次作业循环的作业点“No.1”的作业时刻“28.9秒”的差即“7.8秒”。

然后，分别计算区间1和区间2的总和即“3.4秒”和“7.8秒”的总和“11.2秒”，还有“3.3秒”和“7.8秒”的总和“11.1秒”。这样，能够对每个作业循环测定各区间的作业点间的作业时间间隔。然后，通过这样进行全部像素的测定，作为图像分析数据将上述作业时间间隔数据保存到图像分析DB12，结束处理。

然后，通过图像分析装置5分析过的图像分析数据经由通信网络4显示于分析员14的显示装置13。而且，对分析员14例如将图像分析数据显示为如图33所示的作业时间间隔的偏差。这样，能够向分析员14供给图像分析数据。在该例子中，相比于区间1的作业时间偏差，区间2的作业时间偏差的一方更大，分析员14能够图像分析为可能在区间2的作业中产生了某种问题。

另外，在上述实施方式1中示出了在检测用于抽出作业点的变动周期的情况下，利用全部像素的颜色信息熵来计算自相关系数，进而将其平均而求出的例子，但不限于此，以下对求出变动周期的其它方法进行说明。

如图34所示，抽出任意的1个像素的颜色信息熵的时间序列数据。这表示例如对多个工作反复进行以4组每次10秒的基本动作为1个循环的作业，例如，对1个工件螺丝拧紧4个位置的作业的情况。然后，与上述实施方式1同样地，根据如该图34所示的数据计算自相关系数，在纵轴取自相关系数、横轴取时间偏移示出时，成为如图35所示的那样。

从图35可知，能够看到在时间偏移、约10秒处出现强的相关M，以时间偏移、约50秒的周期出现相关N。可以认为短的相关M是受1作业循环中进行的短的基础动作的反复影响而成的。另一方面，可以认为关于以4组为1个循环的作业，以约50秒周期取得相关N。

接下来，与上述实施方式1同样地，为了明确该图35的自相关系数的变动周期而进行傅里叶变换。对图35所示的自相关系数进行傅里叶变换，在将其值以纵轴为功率谱密度(PSD)、横轴为周期而示出时变换为如图36所示。然后，根据图36能够确认在“50秒”出现峰值。由此，计算该作业以“50秒”周期(变动周期)进行。因此，以下利用该变动周期，能够与上述实施方式1同样地抽出作业点来进行作业的分析。

接下来，对利用自相关系数求出变动周期的情况的优点进行说明。例如，考虑图像数据中包含工作人员的作业在中途被中断的作业中断的情况。作为主要原因，可以认为是休息时间、突发性故障、对他人的支援、自行脱离作业等各种主要原因。在这样的作业中断中也可以考虑例如中断图像数据的取得，但如先前示出的那样由于何种原因而中断是不明的，而且，即使在原因明了的情况下，中断图像数据的取得的作业或者重新开始图像数据的取得的作业等作业繁琐，根据其定时，有可能在图像分析自身中发生故障什么的。

因此，在本实施方式中，即使在发生作业中断的情况下，也继续取得图像数据，尽管是包含该作业中断的图像数据，因为利用自相关系数求出变动周期所以能够应对图像分析，以下对此进行说明。

首先，如图37所示，存在作业中断的情况下的、图像数据的颜色信息熵在作业中断的期间是“0”。此外，在图37中除了作业中断以外进行与图34相同的作业。然后，与上述实施方式1同样地，根据如该图37所示的数据计算自相关系数，在以纵轴为自相关系数、横轴为时间偏移时，成为如图38所示。比较图38和图35可知，图38包含作业中断，所以无法得到稳定的波形。

但是，对该自相关系数进行傅里叶变换，将其值以纵轴为功率谱密度(PSD)、横轴为周期示出时，变换为如图39所示。然后，根据图39能够确认在“50秒”出现峰值。由此，计算该作业以“50秒”周期(变动周期)进行。因此，以下，能够与上述实施方式1同样地进行图像分析。

但是，如上述所示，在不计算自相关系数而仅对图像数据的颜色信息熵进行傅里叶分析，并将其值以纵轴为功率谱密度(PSD)、横轴为周期而示出时，得到如图40所示的结果。如根据图40所知的那样，大量检测出低频分量，无法确认原本需要得到的、位于50秒处的峰值。

根据如上所述地构成的实施方式1的图像分析装置，因为能够利用拍摄设施内的工作人员而得到的图像数据的特征量来进行图像的分析，所以进行分析的分析员无需目视观测作为观测对象的工作人员，能够减轻图像分析的负担。另外，能够在分析中使用利用特征量得到的变动周期，所以无需识别运动物体自身，另外，因为也无需配备动作字典等对应表，从而能够高精度地进行图像分析。另外，因为利用自相关系数求出变动周期，所以即使发生作业中断等也能够计算精度优良的变动周期。

另外，利用包含各像素的预先设定的像素区域中的颜色信息的时间序列的颜色信息熵来计算特征量时间序列数据，所以无需识别在图像数据中是否为运动物体，而能够高精度地进行图像分析。

另外，因为根据特征量时间序列数据的自相关系数计算变动周期，所以能够进行精度优良的图像分析。

另外，根据被分类为预先设定的多个划分的调色板数据来取得颜色信息，所以能够简便地进行图像分析。

此外，在上述实施方式1中，示出了图像分析装置中具备图像分析单元、图像DB、特征量时间序列DB以及图像分析DB的例子，但不限于此，即使各自单独形成，也能够与上述实施方式1同样地进行并能够起到相同的效果。具体而言，如果作为图像分析装置仅存在图像分析单元，则通过从外部得到其它数据，能够与上述实施方式1同样地进行并能够起到相同的效果。这些内容在以下的实施方式中也是相同的，所以适当省略其说明。

另外，在上述实施方式1中示出了将拍摄位置设定为2处的例子，但拍摄位置不限于2处，即使1处或者3处以上，也能够与上述实施方式1同样地进行并能够起到相同的效果。

实施方式2.

在上述实施方式1中，示出了预先设定有调色板数据的例子，但不限于此，在本实施方式中，说明根据图像数据中的颜色信息的出现频度来制作调色板数据的情况。因此，在本实施方式中，对特征量计算部7的动作中的、特别是进行调色板数据的设定的动作进行说明。其它部分的结构以及动作与上述实施方式1相同，所以适当省略其说明。

图41是用于说明本发明的实施方式2中的图像分析装置的特征量计算部的动作的图。图42是示出在图41所示的特征量计算部中取得的图像数据的各色调的出现频度的图。图43是示出在色调中均匀分割图41所示的各色调的出现频度的状态的图。图44是按图41所示的图像数据的各色调的出现频度的降序示出并抽出峰色调的图。图45是将图44所示的出现频度的降序按照色调顺序重新排列并抽出谷色调的图。图46是示出根据图45所示的谷色调设定的调色板序号的状态的图。图47是示出在色调中将图41所示的各色调的出现频度分割成图46所示的调色板序号分割的状态下的图。

如上所述地构成的实施方式2的图像分析装置的特征量计算部7取得并读入预先设定的数量的图像数据(图41的步骤S11)。此时，取得的图像数据的数量是根据要进行分析的图像数据的种类或者分析的精度等适当设定的。接下来，进行与上述实施方式1相同的处理，取得所取得的各图像数据的全部像素的颜色信息(图41的步骤S12)。此外，也可以在后述的步骤S02中利用该取得的各图像数据的各像素的颜色信息。

接下来，制作调色板数据(图41的步骤S13)。首先，计算读入的各图像数据的全部像素的颜色信息的色调的出现频度。然后，可知在将此时的色调的出现频度以横轴为色调、纵轴为出现频度而图表化时，得到如图42所示的分布。其中，图像数据如果在例如工厂之中的情况下，一般而言工作场所的情景不是原色而是素色的情况居多。

因此，如图42所示，存在几乎不出现的色带Q的部分。相反，如图42的以色带P1、色带P2示出的部分那样，存在集中地出现于类似色的部分。因此，可以认为在分析中无需对以色带Q示出的部分详细分类调色板序号，通过对如色带P1以及色带P2那样出现频度多的部分区分设定调色板序号，能够更高精度地进行分析。

但是，如果在色调中仅以等间隔分割图42，则导致分类为如图43所示，对不怎么出现的色带Q赋予2个调色板序号，或者对大量出现的色带P1以及色带P2这两方赋予同一调色板序号。因而在该状态下，无法高精度地取得工厂内的颜色信息。

因此，在本实施方式2中，从出现频度多的色调开始依次设定调色板序号，所设定的调色板数为11个，不包括优先次序第1位的调色板序号<1>(黑色)、优先次序第2位的调色板序号<2>(白色)、优先次序第3位的调色板序号<3>(灰色)这样的不管色调如何而根据亮度、饱和度确定的调色板序号。

对出现频度多的色调(在图42中是成为山形的部分，以下称作“峰色调”)从出现频度多的位置开始从多到少依次分配<4>～<14>。在图41中，出现频度最多的位置是色调200°附近，因此以包含峰色调200°的方式，分配优先次序第4位的调色板序号<4>。以包含第二多的色调220°的方式，分配优先次序第5位的调色板序号<5>。然后，如图44所示依次分配11个峰色调。然后，如图45所示，以色调从小到大的顺序重排这11个峰色调。然后，检测出在峰色调和下一个峰色调之间出现频度为最小的色调(以下指“谷色调”)。

然后，如图46所示，将谷色调至下一个谷色调之间的色带宽度作为调色板的边界条件而设定各调色板序号。也就是说，例如，如果是优先次序第4位的调色板序号<4>，对其分配色调180°以上且小于210°。通过这样设定，在调色板数据中，能够根据色调的出现频度改变调色板序号的色带宽度。

然后，将该调色板序号分别登录到调色板数据。于是，如图46所示，对以色带Q示出部分设定1个调色板序号，对色带P1以及色带P2设定各自的调色板序号。因此，可以认为能够高精度地进行分析。然后，利用根据该输出频率设定的调色板数据，以下与上述实施方式1同样地进行处理。

根据如上所述地构成的实施方式2，当然起到与上述实施方式1相同的效果，因为能够根据图像数据的颜色信息的出现频度来设定调色板数据，所以能够根据图像数据的内容高精度地进行图像分析。

实施方式3.

在上述各实施方式中，作为图像分析系统，示出了构成为分布式配置摄像装置、图像分析装置以及显示装置的例子，但不限于此，如图48所示，在平板式移动终端装置20中具备拍摄图像的摄像装置21、显示信息的显示装置22以及图像分析装置5。而且，与上述各实施方式同样地，在图像分析装置5中具备图像分析单元9、图像DB6、特征量时间序列DB11以及图像分析DB12。并且，能够与上述各实施方式同样地动作。

根据如上所述地构成的实施方式3，当然能够起到与上述各实施方式相同的效果，因为设为在移动终端装置中具备各功能，所以能够提高便携性。另外，在分析作业的内容那样的情况下，各工作人员或者分析员能够在进行作业或者分析的位置持带移动终端装置而进行图像分析，所以即使该位置没有摄像装置以及显示装置的设备也能够进行图像分析。另外，因为无需确保摄像装置以及显示装置和图像分析装置的通信，所以具有良好的通用性。

实施方式4.

在上述各实施方式中，示出了图像分析装置中具备图像分析单元、图像DB、特征量时间序列DB以及图像分析DB的例子，但不限于此，也可以在摄像装置侧配备存储图像数据的图像DB。

具体而言，如图49所示，与上述各实施方式同样地，在图像分析装置5中具备图像分析单元9、特征量时间序列DB11以及图像分析DB12。而且，经由包括有线或者无线的通信网络34与显示装置13连接。另外，经由通信网络34，与例如包括家庭用的一般的摄像机的摄像单元301、摄像单元302分别连接。另外，各摄像单元301、摄像单元302分别具备拍摄图像的摄像装置311、摄像装置312以及存储通过各摄像装置311、摄像装置312拍摄得到的图像数据的图像DB313、图像DB314(可以认为是摄像机的HD、SD卡等)。而且，能够与上述各实施方式同样地动作。

根据如上所述地构成的实施方式4的图像分析系统，当然能够起到与上述各实施方式相同的效果，对拍摄对象的增加而言，能够低成本地扩充摄像单元。此外，在本实施方式4中示出了连接2台摄像单元的例子，但不限于此，即使1台或者3台以上也能够同样地进行并能够起到相同的效果。

此外，本发明在其发明的范围内，能够对各实施方式进行自由组合，或者对各实施方式进行适当变形、省略。