异常检测装置、异常检测方法及异常检测程序与流程

本发明涉及异常检测装置、异常检测方法及异常检测程序。

背景技术：

以往，具有用于检测在装配作业等fa作业中使用的机器人的异常的异常检测装置。通过这样的异常检测装置而检测机器人的异常，例如，通过对其原因进行确定、对策、改善等而进行有效的fa作业。

在这样的异常检测装置中，由照相机等来拍摄成为对象的机器人的作业，并针对所拍摄的图像数据进行图像处理，从而检测其异常。例如，具有如下的异常检测装置。即，在异常检测装置中，使机器人进行正常作业，并从多个图像帧提取特征数据(或运动图像特征。以下，称为“运动图像特征”)，由此生成包括多个特征数据的正常空间数据。并且，在异常检测装置中，对正常空间数据和通过机器人的运用作业而提取的运动图像特征进行比较而算出异常测度。当所算出的异常测度超过设定值时，异常检测装置通过报警等来通知异常。

运动图像特征的维数(例如，运动图像特征的种类数)达到数百，在异常检测装置中，通过主成分分析(pca：principalcomponentanalysis)等手法而减少其维数，从而有效地取得运动图像特征。将减少维数的情况例如称为“收缩”。例如，使机器人执行与运动图像特征的维数同等以上的实际作业，从而在异常检测装置中有效地进行运动图像特征的维数的收缩。因此，在运动图像特征的维数为数百的情况下，异常检测装置对机器人反复进行数百次的作业，从而取得图像数据。

作为与图像处理相关的技术，例如具有如下的技术。即，对模型模式执行n个几何学转换而制作表示与参考相对姿势3维地不同的相对姿势下的对象物的外形的转换模型模式，针对图像数据使用转换模型模式来进行模式匹配的图像处理装置。根据该技术，可检测位置、姿势不确定的对象物，并识别3维位置及/或2维姿势。

另外，具有如下的机器人的运动编辑装置：变更3维伪空间中的机器人的模型的各个部位的位置、倾斜，并计算机器人的各个关节的角度而制作关键帧数据，且将所制作的关键帧数据发送给多关节机器人。根据该技术，能够提供更容易地制作机器人的多种运动数据的机器人的运动编辑装置等。

现有技术文献

专利文献

专利文献1：日本特开2004-295223号公报

专利文献2：日本特开2008-254074号公报

非专利文献

非专利文献1：“基于简单易懂的数学模型的多元分析入门”，木下荣藏著，近代科学社，1995年4月(「わかりやすい数学模型による多変量解析入門」，木下栄蔵著，近代科学社，1995年4月)

非专利文献2：“线性代数基础与应用”，新井仁之著，日本评论社，2006年2月(「線形代数基礎和応用」，新井仁之著，日本評論社，2006年2月)

技术实现要素：

发明要解决的课题

如上述，在运动图像特征的维数为数百的情况下，异常检测装置使机器人反复执行数百次的作业，从而取得图像数据。但是，在开始进行fa作业等时使机器人进行数百次这样的作业，这在时间上是困难的。

在上述的图像处理装置中，例如作为制作表示与参考相对姿势3维地不同的相对姿势下的对象物的外形的转换模型模式来进行模式匹配的技术，对于用来解决在开始进行fa作业等时的时间上的困难的对策未进行公开。另外，在上述的运动编辑装置中，例如作为将所制作的关键帧数据发送到多关节机器人的技术，对于用来解决在开始进行fa作业等时的时间上的困难的对策未进行公开。

因此，本公开提供一种以较少的作业数来生成高精度的正常空间数据的异常检测装置、异常检测方法及异常检测程序。

用于解决课题的手段

根据一个方式，提供一种异常检测装置，其包括：摄像部，其对对象物进行拍摄而生成包括在第1图像帧群中的第1图像帧及第2图像帧；伪作业生成部，其针对包括在所述第1图像帧群中的所述第1图像帧及第2图像帧，分别生成包括在第2图像帧群中的所述第1图像帧及第3图像帧、所述第3图像帧及第2图像帧或所述第3图像帧及第4图像帧；正常空间生成部，其根据包括在所述第1图像帧群中的所述第1图像帧及第2图像帧和包括在所述第2图像帧群中的所述第1图像帧及第3图像帧、所述第3图像帧及第2图像帧或所述第3图像帧及第4图像帧而生成正常空间数据；及比较部，其根据所述正常空间数据而检测所述对象物的异常。

发明效果

根据本公开，提供一种根据较少的作业数来生成高精度的正常空间数据的异常检测装置、异常检测方法及异常检测程序。

附图说明

图1是表示异常检测装置的结构例的图。

图2是表示异常检测装置的结构例的图。

图3的(a)是表示实际图像帧的例子的图，图3的(b)是表示伪图像帧的例子的图。

图4是表示动作例的流程图。

图5的(a)至图5的(e)是表示实际作业的例子的图。

图6的(a)至图6的(c)是表示chlac特征和正常空间的例子的图。

图7是表示正常空间的尺寸的例子的曲线图。

图8是分别表示通过实际作业而获得的正常空间的尺寸和通过实际作业和伪作业而获得的正常空间的尺寸的例子的曲线图。

图9是表示线性的例子的曲线图。

图10的(a)至图10的(d)是表示通过实际作业而进行的异常测度的检测例的图。

图11的(a)至图11的(b)是表示通过实际作业和伪作业而进行的异常测度的检测例的图。

图12的(a)是表示实际图像帧的图，图12的(b)是表示伪图像帧的图。

图13是表示动作例的流程图。

图14是表示异常检测装置的硬件结构例的图。

具体实施方式

下面，参照附图，对本实施方式进行具体说明。本说明书中的课题及实施例为一例，并不是对本申请的权利范围进行限定。特别地，即便表述不相同，但只要技术上相同，则可应用本申请的技术，并不是对权利范围进行限定。

[第1实施方式]

图1是表示第1实施方式中的异常检测装置10的结构例的图。异常检测装置10例如将对象物250的同一作业拍摄1次或多次而生成多个图像帧，并根据所生成的多个图像帧而生成正常空间数据。并且，异常检测装置10从拍摄对象物250的实际的作业而所获得的多个图像帧提取特征数据，对所提取的特征数据和正常空间数据进行比较而检测对象物250的异常。

异常检测装置10具备摄像部101、伪作业生成部107、正常空间生成部108及比较部109。

摄像部101对对象物250进行拍摄而生成包括在第1图像帧群中的第1及第2图像帧。

伪作业生成部107针对包括在第1图像帧群中的第1图像帧及第2图像帧而分别生成包括在第2图像帧群中的第1图像帧及第3图像帧、第3图像帧及第2图像帧或第3图像帧及第4图像帧。例如，包括在第1图像帧群中的第1图像帧及第2图像帧是通过对象物250的正常作业或实际作业而取得的图像帧，包括在第2图像帧群中的各个图像帧是通过伪作业而取得的图像帧。

正常空间生成部108根据包括在第1图像帧群中的第1图像帧及第2图像帧和包括在第2图像帧群中的第1图像帧及第3图像帧、第3图像帧及第2图像帧、第3图像帧及第4图像帧而生成正常空间数据。在该情况下，正常空间生成部108根据包括在第1图像帧群中的各个图像帧和包括在第2图像帧群中的各个图像帧而算出特征数据，并生成包括多个特征数据的正常空间数据。例如，正常空间生成部108针对包括在第1图像帧及第2图像帧群中的各个图像帧，通过立方高阶局部自相关(chlac：cubichigher-orderlocalautocorrelation)而算出特征数据。

比较部109根据正常空间数据而检测对象物的异常。例如，比较部109从拍摄对象物250的实际的作业而取得的多个图像帧提取特征数据，并对所提取的特征数据和正常空间数据进行比较而检测对象物250的异常。

例如，异常检测装置对对象物200反复进行n(n为1以上的整数)次作业而生成n个第1图像帧群，并根据包括在n个第1图像帧群中的图像帧而生成正常空间数据。

另外，该第1实施方式的异常检测装置10由第1图像帧群的各个图像帧而生成包括在第2图像帧群中的各个图像帧，并根据包括在第1图像帧及第2图像帧群中的各个图像帧而生成正常空间数据。即，异常检测装置10例如通过伪作业生成部107而生成包括在第2图像帧群中的各个图像数据，并利用该图像数据而生成正常空间数据。

因此，在该第1实施方式的异常检测装置10中，与反复进行n次的用于取得包括在第1图像帧群中的图像帧的实际作业的情况相比，通过伪作业来生成图像帧，从而能够将实际作业的作业数减少到n次以下。由此，异常检测装置10能够减少对对象物250的实际作业的反复次数。

另外，在该第1实施方式的异常检测装置10中，关于包括在第2图像帧群中的各个图像数据，针对包括在第1图像帧群中的第1图像帧及第2图像帧而至少一个为不同的图像帧。由此，包括在第1图像帧群中的各个图像数据的帧之间的差分与包括在第2图像帧群中的各个图像数据的帧之间的差分不同。由此，该第1实施方式的异常检测装置10例如能够算出比规定数更多的特征数据，能够生成高精度的正常空间数据。

由此，该第1实施方式的异常检测装置10能够通过较少的作业数而生成高精度的正常空间数据。

[第2实施方式]

接着，对第2实施方式进行说明。

<异常检测装置的结构例>

图2是表示该第2实施方式中的异常检测装置10的结构例的图。图2所示的异常检测装置10表示对进行组装作业等fa作业的机器人200进行检测的异常检测装置10的例子。另外，第1实施方式的对象物250例如对应第2实施方式中的机器人200。

异常检测装置10例如进行如下的处理。即，异常检测装置10使机器人200执行多次的相同作业并对其作业进行拍摄，并且根据所拍摄的图像数据而算出特征数据(或运动图像特征。以下，称为“运动图像特征”)并算出运动图像特征，并生成正常空间数据。例如，将包括1个或多个运动图像特征的数据称为正常空间数据。

异常检测装置10在机器人200的运用中等，还对机器人200的运用作业进行拍摄，并根据所拍摄的图像数据而算出运动图像特征。异常检测装置10依次比较在运用中所算出的运动图像特征和正常空间数据来算出异常测度(或异常值，或异常度。以下，称为“异常测度”)。并且，当所算出的异常测度超过阈值时，异常检测装置10检测机器人200的异常，通过报警等而通知异常。另外，当所算出的异常测度为阈值以下时，异常检测装置10检测为机器人200正常。

异常检测装置10包括摄像元件101-1、101-2、摄像元件控制器102、照明设备103-1、103-2、照明控制器104、控制部105。另外，异常检测装置10包括实际作业输入部106、伪作业生成部107、正常空间生成部108、比较部109及输出部110。

另外，摄像元件101-1、101-2例如对应第1实施方式中的摄像部101。

摄像元件(或摄像部)101-1、101-2例如为照相机，按照从摄像元件控制器102输出的控制信号而拍摄机器人200。摄像元件101-1、101-2通过拍摄机器人200而生成图像数据，将所生成的图像数据输出到摄像元件控制器102。在通过摄像元件101-1、101-2而生成的图像帧中例如包括图像数据。下面，对图像数据、图像帧、或图像帧数据不作特别区分而进行使用。另外，图2中表示具备2个摄像元件101-1、101-2的例子，但也可以具备1个，也可以具备3个以上。

摄像元件控制器102根据从控制部105输出的控制信号而生成指示拍摄的开始、结束等的控制信号，并将所生成的控制信号输出到摄像元件101-1、101-2。另外，摄像元件控制器102将从摄像元件101-1、101-2取得的图像数据输出到控制部105。

照明设备103-1、103-2例如为灯，按照从照明控制器104输出的控制信号而向机器人200照射光。照明设备103-1、103-2既可以是一个，也可以是3个以上。

照明控制器104根据从控制部105输出的控制信号而生成用于控制照明设备103-1、103-2的光的照射的打开或关闭等的控制信号，并将所生成的控制信号输出到照明设备103-1、103-2。

另外，在异常检测装置10中，照明控制器104和照明设备103-1、103-2可以不存在。

控制部105对摄像元件控制器102、照明控制器104、实际作业输入部106进行控制。控制部105生成用于指示开始或结束拍摄的控制信号，并将所生成的控制信号输出到摄像元件控制器102。另外，控制部105接收从摄像元件控制器102输出的图像数据，对所接收的图像数据进行处理，并将该图像数据输出到实际作业输入部106。另外，控制部105生成用于指示照明设备103-1、103-2的电源的打开或关闭的控制信号，并将所生成的控制信号输出到照明控制器104。进而，控制部105生成用于指示机器人200进行实际作业的控制信号，并将所生成的控制信号输出到实际作业输入部106。

实际作业输入部106根据从控制部105输出的控制信号而控制机器人200，使机器人200执行对象作业。实际作业输入部106例如使机器人200执行多次对象作业。实际作业输入部106将从控制部105接收的图像数据输出到伪作业生成部107。

伪作业生成部107针对从实际作业输入部106接收的图像帧而生成伪的图像帧。将伪的图像帧称为伪图像帧，将生成伪图像帧的作业称为伪作业。

图3的(a)及图3的(b)是表示伪图像帧的生成方法的例子的图。在该第2实施方式中，例如伪作业生成部107如下这样生成伪图像帧。

即，通过在摄像元件101-1、101-2中拍摄对象作业，从而生成包括在第1图像帧群中的多个图像帧。伪作业生成部107对在包括在第1图像帧群中的第1图像帧(例如，图3中的时间t1的图像帧)中包括的各个像素生成向第1方向偏移的第3图像帧。另外，伪作业生成部107对在包括在第1图像帧群中的第2图像帧(例如，图3中的时间t2的图像帧)中包括的各个像素生成向第2方向偏移的第4图像帧。在该情况下，偏移的方向为图像帧上的平面内的方向，在各个图像帧中成为空间上的方向。另外，伪作业生成部107随机地选择第1方向和第2方向。在图3的(b)的例子中，伪作业生成部107生成使时间t1的图像帧向右方向偏移的伪图像帧，并生成使时间t2的图像帧向上方向偏移的伪图像帧。

这样，伪作业生成部107生成使包括在第1图像帧群中的第1图像帧及第2图像帧在图像帧上且在空间上偏移的图像帧，从而生成包括在第2图像帧群中的图像帧。

另外，如图3的(a)所示，将在摄像元件101-1、101-2中拍摄实际的作业而得到的图像帧例如称为实际图像帧。另外，将为了取得实际图像帧而执行的实际的作业例如称为实际作业。

在图3的(b)的例子中表示了伪作业生成部107针对所有实际图像帧而进行偏移的例子。例如，伪作业生成部107可以在包括在第1图像帧群中的2个图像帧(例如，t1、t2)中，使一个(例如，t1)图像帧偏移，而使另一个图像帧不偏移。或者，伪作业生成部107可以在包括在第1图像帧群中的3个图像帧(例如，t1～t3)中，使一个图像帧(例如，t1)的图像帧偏移，而使除此之外的图像帧不偏移。

在伪作业生成部107中，使包括在第1图像帧群中的多个图像帧，在2个图像帧或3个图像帧中，使至少1个图像帧偏移而生成伪图像帧。

通过这样的伪图像帧的生成，通过实际作业而获得的实际图像帧的帧之间的差分与通过伪作业而获得的伪图像帧的帧之间的差分不同。通过实际作业而获得的帧之间的差分与通过伪作业而获得的帧之间的差分不同，从而由通过2个作业而获得的多个帧来算出运动图像特征时，能够获得比规定数更多的运动图像特征，能够提高异常测度的检测的精度。

返回到图2，伪作业生成部107将实际图像帧和伪图像帧输出到正常空间生成部108。

正常空间生成部108根据实际图像帧和伪图像帧而算出运动图像特征，并生成包括1个或多个运动图像特征的正常空间数据。例如，正常空间生成部108使用在时间上连续的3个图像帧的二进制数据而计算立方高阶局部自相关，从而获得运动图像特征。将通过这样的算出而获得的运动图像特征例如称为chlac特征。

正常空间生成部108例如使用以下的式而算出chlac特征。

[数学式1]

x＝(x1，x2，…，xn)…(1)

[数学式2]

在此，式(1)中所示的x表示chlac特征。另外，在式(2)中，a为由z张图像帧构成的3维的像素集合，r为a中的1像素(位置矢量)，a为来自r的位移矢量，f(r)表示位置r的亮度值。

正常空间生成部108例如在内部存储器保持式(2)，通过将二进制处理的实际作业数据和伪作业数据的局部区域(3×3像素)的亮度值代入式(2)等而算出chlac特征。正常空间生成部108通过算出chlac特征，从而生成包括1个或多个chlac特征的正常空间数据。正常空间生成部108将所生成的正常空间数据输出到比较部109。

比较部109将正常空间数据和通过机器人200的运用作业而获得的运动图像特征进行比较而算出异常测度，并根据所算出的异常测度而进行异常检测。例如，比较部109进行如下的处理。

即，摄像元件101-1、101-2在通过fa作业而进行的机器人200的运用中，拍摄机器人200的作业(或动作)，并生成多个图像帧。比较部109经由摄像元件控制器102和控制部105而接收多个图像帧。并且，比较部109根据多个图像帧而算出运动图像特征。运动图像特征可与正常空间生成部108相同地使用chlac特征，在该情况下，比较部109针对3张图像帧，适当使用式(2)等而进行算出。针对运用中的机器人200的作业的运动图像特征可以不在比较部109中算出，而可以在控制部105中算出而输出到比较部109。

比较部109对正常空间数据和fa作业的运用中生成的运动图像特征进行比较而算出异常测度。作为异常测度，例如，可使用表示正常空间数据与每个帧的运动图像特征之间的距离的马哈拉诺比斯(mahalanobis)距离。在该情况下，比较部109使用以下的式来算出马哈拉诺比斯距离dm(x)。

[数学式3]

在此，μ＝(μ1，μ2，μ3，…，μp)表示平均，σ表示协方差矩阵(排列各变量之间的协方差的矩阵)，x表示多变量矢量x＝(x1，x2，x3，…，xp)。

比较部109在内部存储器等中保持式(3)，适当地向式(3)代入数值而算出马哈拉诺比斯距离。当所算出的马哈拉诺比斯距离超过设定值时，比较部109检测为异常，当马哈拉诺比斯距离为设定值以下时，检测为并不异常。比较部109将表示异常的有无的检测结果输出到输出部110。比较部109将所算出的马哈拉诺比斯距离输出到输出部110。作为异常测度，例如，可以代替马哈拉诺比斯距离而使用欧几里德距离。

输出部110例如为显示部或监视器等，表示从比较部109输出的异常的有无、异常测度。在该情况下，输出部110将异常测度等适当地图化而显示。

<动作例>

接着，对第2实施方式中的动作例进行说明。图4是表示动作例的流程图。图4主要表示由伪作业生成部107进行的动作例。

当异常检测装置10开始进行处理时(s10)，设定对象照相机的偏移量(s11)。偏移量例如为使实际图像帧偏移的量。

例如，拍摄机器人200的fa作业的照相机会根据工厂等中的设置环境而发生“模糊”。在本处理中，利用设置照相机的环境中的像素的模糊量而设定偏移量。

发明者在规定的实验室环境中算出了在使机器人200处于静止状态，使照相机实际进行动作而拍摄机器人200时的图像帧之间的变动量。其结果，算出了0.05像素至0.1像素左右的范围内的模糊量。作为偏移量，例如，将0.05像素至0.1像素的范围内作为其偏移量。例如，只要是与照相机的模糊量相应的变动范围，则可以是其以外的像素范围内。

例如，伪作业生成部107在内部存储器存储偏移量，从内部存储器读出偏移量而进行本处理(s11)。或者，由操作异常检测装置10的操作者操作键盘来输入偏移量。

接着，异常检测装置10按照时序输入实际作业的运动图像帧(或图像帧)(s12)。例如，控制部105介由实际作业输入部106而针对机器人200进行实际作业，介由摄像元件控制器102而依次输入通过摄像元件101-1、101-2而生成的图像帧。在该情况下，控制部105将所输入的图像帧介由实际作业输入部106而输出到伪作业生成部107。

接着，异常检测装置10使用输入帧与后帧的帧之间的差分而算出图像内的移动区域(s13)。例如，控制部105关注于输入图像帧的局部区域(3×3像素)，通过计算该局部区域的帧之间的差分而算出移动区域。在该情况下，控制部105将所算出的移动区域介由实际作业输入部106及伪作业生成部107而输出到正常空间生成部108。

接着，异常检测装置10根据所获得的移动成分和对象照相机的偏移量而随机地决定图像偏移量(s14)。图像偏移量中例如包括在s11中设定的偏移量和其位移方向。例如，伪作业生成部107随机地决定位移方向。

关于该位移方向，可利用对机器人的实际作业进行拍摄的图像帧之间的位移方向。例如，在作为机器人的实际作业而在上下方向上移动的情况下，将其上下方向作为位移方向。在该情况下，对向与机器人200的位移方向对应的方向偏移而生成伪图像帧的情况和与机器人200的位移方向无关地向随机的方向偏移的情况进行比较，从而能够提高向并非机器人200的位移方向的方向的异常测度。实际检测的结果，对向与机器人200的位移方向对应的方向偏移而生成伪图像帧的情况和与机器人200的位移方向无关地向随机的方向偏移的情况进行比较，关于异常测度，获得了提高约20％的结果。

另外，在向与机器人200的位移方向对应的方向偏移实际图像帧的情况下，例如上下方向等多个方向成为位移方向。因此，在异常检测装置10中，在向与机器人200的位移方向对应的方向位移的情况下，关于使实际图像帧向哪一方向(例如，上方向或下方向等)偏移，则可向随机的方向偏移。

关于机器人200的位移方向的检测，例如有使用光流的手法。

关于使用光流的群200的位移方向的检测，例如通过伪作业生成部107而如下地进行。

即，由以下数学式来表示2张图像帧。

[数学式4]

i(x，y，t)…(4)

[数学式5]

i(x+δx，y+δy，t+δt)…(5)

在该情况下，式(4)表示时间t中的图像上的位置(x，y)的亮度，式(5)表示经过微小时间δt而位置的位移量成为δx、δy时的图像的亮度。在该情况下，假设式(4)＝式(5)，并且，假设δx和δy为微小量时可进行泰勒展开，当忽略高阶的项时，成为如下。

[数学式6]

ixux+iyuy＝-it…(6)

在式(6)中，(ux，uy)为光流的x、y成分，ux＝δx/δt，uy＝δy/δt。

因此，伪作业生成部107从通过实际作业而拍摄的多个输入帧选择时间上连续的2张图像帧，并根据2张图像帧的各个像素的亮度等而由式(6)算出(ux，uy)，从而算出机器人200的位移方向。并且，伪作业生成部107根据所算出的位移方向而决定图像偏移量的偏移方向。

接着，异常检测装置10应用针对输入帧而决定的图像偏移量，并生成伪图像帧(s16)。例如，伪作业生成部107使输入图像帧的各个像素偏移图像偏移量，并生成伪图像帧。

接着，异常检测装置10判断是否生成规定采样数的伪图像帧(s17)。规定采样数例如对应伪作业的反复次数。例如，在伪作业生成部107内的内部存储器等中保持规定采样数，并对通过s16而生成的伪图像帧的帧数进行计数，通过其计数值是否与规定采样数相同来进行判断。

在异常检测装置10未生成规定采样数的伪图像时(s17中，否)，将处理移行到s14，并反复进行上述处理。例如，伪作业生成部107在所生成的伪图像帧的帧数少于规定采样数时移行到s14，并生成规定采样数的伪图像帧。

另外，在生成规定采样数的伪图像时(s17)，异常检测装置10判断对输入图像是否存在下一个图像帧(s18)。例如，在所生成的伪图像帧的帧数与规定采样数相同时，伪作业生成部107判断是否输入下一个图像帧。

当存在下一个图像帧时(s18中，是)，异常检测装置10移行到s12，针对下一个输入图像帧而进行生成规定采样数的伪图像帧等处理(s12至s17)。

当不存在下一个图像帧时(s18中，否)，异常检测装置10结束一系列处理(s19)。

<实测结果和效果>

接着，对实测结果和其效果进行说明。发明者对以下的2个例子进行了实测。第一个例子为不进行伪作业而进行实际作业来制作正常空间数据的情况下的例子。第二个例子为进行实际作业和伪作业来制作正常空间数据的情况下的例子。

在第一个例子中，使机器人200反复进行300次的实际作业。在第二个例子中，使机器人200反复进行5次实际作业，并反复进行295次伪作业。在第二个例子中，针对1次实际作业而进行59次伪作业，从而针对5次实际作业而进行59×5＝295次的伪作业。

图5的(a)至图5的(e)是按照时序表示实际作业的例子。如图5的(a)至图5的(e)所示，作为1次实际作业，使用约1.7秒来使机器人200的手上下移动。该实际作业在第一个例子和第二个例子中相同。通过摄像元件101-1、101-2，在进行1次实际作业时，生成了约25张图像帧。

图6的(a)至图7表示第一个例子(在进行300次实际作业的情况下的例子)的实测结果的例子。其中，图6的(a)至图6的(c)表示使机器人200进行300次实际作业的情况下的chlac特征的例子和正常空间的例子。图6的(a)的上面曲线图表示实际作业的第一个图像帧的chlac特征。图6的(b)的上面曲线图表示第n(n为满足2≤n≤22的整数)个图像帧的chlac特征，图6的(c)的上面曲线图表示第23个图像帧的chlac特征的例子。但是，在该例子中，使用连续的3帧而算出chlac特征。在图6的(a)至图6的(c)所示的chlac特征的各个曲线图中，横轴表示收缩次数，纵轴表示频度。

图7表示使机器人200进行300次的实际作业的情况下的每个图像帧的正常空间的大小的例子。纵轴表示正常空间尺寸(或收缩次数)，横轴表示帧序号。

如图7所示，从第5个至第10个图像帧(例如，图5的(a)、图5的(b)等)的正常空间与其他图像帧相比，其尺寸大，机器人200的移动量大。

另外，从第12个至第17个图像帧(例如，图5的(c)等)的正常空间与其他图像帧相比其尺寸小，机器人200的移动量小。关于图6的(a)至图6的(c)所示的chlac特征，同样根据机器人200的移动量而chlac特征的大小也发生变动，图6的(a)到图6的(c)的正常空间尺寸的大小也发生变动。

对此，图8表示第一个例子和第二个例子的例子(在进行5次实际作业，进行295次的伪作业的情况下的例子)的比较结果的例子。在第一个例子中反复进行5次实际作业，在图8中，将各次(第一次的实际作业为“实际作业#1”，第二次的实际作业为“实际作业#2”等)的正常空间的尺寸图示在曲线图上。另外，在图8中，第二个例子(5次的实际作业和295次的类似作业)的正常空间的尺寸图示为三角点。

如图8所示，关于在不进行类似作业而进行实际作业的情况下的正常空间的尺寸和通过进行实际作业和类似作业的情况下的正常空间的尺寸，获得了几乎相同的结果。

图9是表示在不进行类似作业而进行实际作业的情况下的正常空间的尺寸和执行实际作业和类似作业的情况下的正常空间的尺寸的线性的曲线图。将不执行类似作业而执行实际作业的情况下的正常空间的尺寸设为横轴，将进行实际作业和类似作业的情况下的正常空间的尺寸设为纵轴时，几乎图示为y＝x的函数上，表示两者的尺寸几乎一致。在图9的例子中，其一致度r²为r²＝0.986。另外，在r²＝1的情况下，y和x完全一致(y＝x)。

以上，在异常检测装置10中，关于在通过实际作业和类似作业而获得的正常空间的尺寸与不进行类似作业而进行实际作业来获得的正常空间的尺寸获得了几乎相同的结果。另外，在该情况下，正常空间的制作时间也与300次的实际作业相比，仅通过5次的实际作业来完成，还能够减少作业数。根据实测，仅与实际作业相比，将正常空间的制作时间缩短到约1/40。

接着，对异常检测结果进行说明。图10的(a)至图10的(d)表示在第一个例子(300次的实际作业)中生成正常空间的情况下的异常检测结果的例子。另外，图11的(a)和图11的(b)表示在第二个例子(5次的实际作业和295次的类似作业)中生成正常空间的情况下的异常检测结果的例子。

图10的(a)表示某个特定的帧a的chlac特征的例子。针对该帧a，针对整个位移矢量附加了偏差。图10的(b)是在对帧a附加了偏差的情况下的chlac特征的例子。

图10的(c)是正常时的异常测度的时间推移的例子。横轴表示时间，纵轴表示马哈拉诺比斯距离。表示是否异常的阈值为“1”。对此，图10的(d)表示在针对帧a附加偏差的情况下的异常测度的时间推移的例子。如图10的(d)所示，在帧a出现的时间，异常测度超过阈值“1”，表示检测到异常的结果。

另外，如图11的(a)所示，与使用第二个例子的正常空间的情况和使用300次的实际作业的正常空间的情况相同地，未检测到在正常时成为阈值以上的异常测度。另外，如图11的(b)所示，与图10的(b)相同地针对帧a附加偏差而进行测定的情况下，在出现帧a的时间上获得了异常测度超过阈值的结果。

关于异常检测，在将实际作业和伪作业组合而执行的情况下，与不进行类似作业而进行实际作业的情况相比，获得了几乎相同的检测感度。因此，该第2实施方式中的异常检测装置10与不进行类似作业而进行实际作业的情况相同地，能够进行高精度的异常检测。

因此，该第2实施方式中的异常检测装置10能够以较少的作业数来生成高精度的正常空间数据，能够在开始进行fa作业时等的短时间内生成高精度的正常空间数据。

[第3实施方式]

接着，对第3实施方式进行说明。第3实施方式例如为在时间方向上随机地选择伪图像帧而进行伪作业的例子。该第3实施方式中的异常检测装置10的结构例与第2实施方式相同，图2中示出其例子。

图12的(a)和图12的(b)表示第3实施方式中的伪图像帧的生成例。其中，图12的(a)表示通过实际作业而生成的实际图像帧的例子，图12的(b)表示通过伪作业而生成的伪图像帧的例子。

在该第3实施方式中，以比fa作业的运用时的帧频更高的帧频来拍摄实际作业。例如，图12的(a)的例子表示以运用时的3倍的帧频拍摄的情况下的例子。例如，在从t1至t9的9张图像帧中选择t5和t7、t9的3张图像帧，从而以构成运用时的帧频的方式将图像帧间隔开，由该3张图像帧来算出运动图像特征。

在该情况下，在该第3实施方式中，针对t5的实际图像帧，在规定范围内的实际图像帧中随机地选择t4的实际图像帧。另外，针对t7的实际图像帧，在规定范围内的实际图像帧中随机地选择t6的实际图像帧。进而，针对t9的实际图像帧，在规定范围内的实际图像帧中随机地选择t9的图像帧。所选择的t4、t6、t9的实际图像帧成为伪图像帧。在该情况下，异常检测装置10根据通过实际作业而产生的t5、t7、t9的3张实际图像帧和通过伪作业而产生的t4、t6、t9的3张伪图像帧而生成正常空间数据。

在该情况下，规定范围例如成为基于机器人200的移动时间的变动量的范围。在使机器人200反复执行多次实际作业的情况下，通过各种原因而发生时间性变动。例如，在使机器人执行某个作业的情况下，在第一次作业和第二次作业中，有时即便在相同时间开始，但也在不同的时间结束。这样，机器人200即便在相同作业的情况下，移动时间也会发生变动。因此，将不超过其变动量的范围作为规定范围，异常检测装置10从其变动量的范围内随机地选择实际图像帧，从而生成伪图像帧。

发明者对在规定的环境中针对实际作业(约10秒)的机器人200的变动时间进行了实验。其结果，时间性的变动量为100ms左右。例如，异常检测装置10针对成为对象的实际图像帧，从在前后100ms的范围内(或前后50ms的范围内)的多个实际图像帧中随机地选择实际图像帧。100ms这一变动量为一例，也可以是其以外的变动量。

图13是表示该第3实施方式中的动作例的流程图。图13是表示主要由伪作业生成部107进行的动作例。

当开始处理时(s30)，异常检测装置10以比运用时的帧频更高的帧频来拍摄实际作业(s31)。例如，摄像元件101-1、101-2对实际作业进行拍摄而生成通过实际作业而产生的多个图像帧，并介由摄像元件控制器102而将图像帧输出到控制部105。

接着，异常检测装置10设定机器人200的时间方向上的变动量(s32)。例如，控制部105既可以通过读出保持在内部存储器等中的变动量(例如100ms)而设定，也可以通过由异常检测装置10的操作者操作键盘等而输入变动量来设定。在该情况下，控制部105介由实际作业输入部106而将所设定的变动量输出到伪作业生成部107。

接着，异常检测装置10通过所拍摄的正常作业(或实际作业)以接近帧频的间隔来决定作为基础的第2图像帧群(s33)。例如，控制部105在以3倍的帧频拍摄实际作业的情况下，从通过实际作业而获得的9张图像帧选择3张图像帧来决定第2帧群。在该情况下，控制部105将包括在第2图像帧群中的各个图像帧介由实际作业输入部106而依次输出到伪作业生成部107。

接着，异常检测装置10从第2图像帧群按照时序而输入运动图像帧(或图像帧)。例如，伪作业生成部107依次输入从控制部105输出的图像帧。

接着，异常检测装置10根据时间方向上的变动量而随机地决定用于制作伪图像的图像偏移量(s35)。例如，伪作业生成部107既可以将在s21中设定的变动量(例如100ms)作为图像偏移量，也可以将不超过其变动量的范围的量(例如50ms)作为图像偏移量，随机地进行其变动量的选择。

接着，异常检测装置10应用针对输入帧而决定的图像偏移量，选择伪图像候选(s36)。例如，伪作业生成部107针对构成对象的实际图像帧(s34)，选择位于在s35中决定的变动量(例如50ms)的实际图像帧。

接着，异常检测装置10确认作为伪图像帧而选择的实际图像帧的时间系列，确认时间上的一致性(s37)。例如，伪作业生成部107对在s36中选择的实际图像帧和在比构成对象的图像帧(s34)在时间上更靠前的图像帧中选择的实际图像帧进行比较，从而确认在后者的实际图像帧的后面是否具有前者的实际图像帧。

当异常检测装置10对所选择的实际图像帧确认未能保持时间上的一致性时(s37中，否)，再次随机地选择实际图像帧(s35，s36)。

另外，当异常检测装置10确认到对所选择的实际图像帧保持了时间上的一致性时(s37中，是)，异常检测装置10判断是否生成规定采样数的伪图像帧(s38)。例如，与第2实施方式相同地，伪作业生成部107对所选择的实际图像帧而计数所选择的实际图像帧的帧数，并通过其计数值是否达到规定采样数来进行判断。

当异常检测装置10未结束规定采样数的伪图像帧的生成时(s38中，否)，移送到s35，反复进行伪图像帧的生成(s35～s37)。

另外，当异常检测装置10结束规定采样数的伪图像帧的生成时(s38中，是)，判断是否存在下一个输入图像帧(s39)。当存在下一个输入图像帧(s39中，是)，异常检测装置10移送到s34，反复进行上述处理。另外，当不存在下一个输入图像帧时(s39中，否)，异常检测装置10结束一系列的处理。

之后，与第2实施方式相同地，异常检测装置10根据实际作业帧和伪作业帧，利用chlac特征等而算出运动图像特征，生成正常空间数据。并且，与第2实施方式相同地，异常检测装置10对正常空间数据和从机器人200的运用中生成的图像帧提取的运动图像特征进行比较而检测异常。

在图12的(a)及图12的(b)中，对伪作业生成部107针对3帧数的实际作业帧而选择3帧数的伪图像帧的例子进行了说明。

例如，伪作业生成部107针对包括在第1图像帧群的第1图像帧及第2图像帧，随机地选择包括在第1图像帧群中的第1图像帧及第3图像帧、第3图像帧及第2图像帧或第3图像帧及第4图像帧。从而，伪作业生成部107生成包括在第2图像帧群中的各个图像帧。包括在第1图像帧群中的各个图像帧为通过实际作业而获得的实际图像帧，包括在第2图像帧群中的各个图像帧为通过伪作业而获得的伪图像帧。在该情况下，在伪作业生成部107中，包括在第2图像帧群中的各个图像帧包括在机器人200的移动时间的变动量的范围内，成为时间方向的顺序。

在该第3实施方式中，也通过伪作业生成部107而在时间方向上随机地选择实际作业帧，从而实际图像帧的帧之间的差分与伪图像帧的帧之间的差分不同。

因此，异常检测装置10通过由2个作业而取得的多个帧而算出运动图像特征时，能够取得比规定数更多的运动图像特征，能够提高异常测度的检测的精度。

另外，异常检测装置10获得与在将伪作业和实际作业组合而反复进行n次实际作业的情况相同的图像帧数，与反复进行n次实际作业的情况相比，能够将实际作业的作业数减少到n次以下。

因此，该异常检测装置10能够实现作业数的减少，在考虑开始进行fa作业时的时间効率的基础上，能够获得高精度的正常空间数据。

[其他的实施方式]

图14是表示异常检测装置10的硬件结构例的图。异常检测装置10具备实际作业控制器120、监视器121、cpu(centralprocessingunit：中央处理单元)122、rom(readonlymemory：只读存储器)123、ram(randomaccessmemory：随机存取存储器)124及存储器125。另外，照相机101例如对应第2及第3实施方式中的摄像元件101-1、101-2。另外，灯103例如对应第2及第3实施方式中的照明设备103-1、103-2。

cpu122读出存储到rom123的程序而装载到ram124，通过执行所装载的程序，从而执行控制部105、伪作业生成部107、正常空间生成部108及比较部109的功能。因此，第2及第3实施方式中的控制部105、伪作业生成部107、正常空间生成部108及比较部109例如对应cpu122。

另外，实际作业控制器120例如对应第2及第3实施方式中的实际作业输入部106。进而，监视器121例如对应第2及第3实施方式中的输出部110。

另外，可代替cpu122而使用mpu(microprocessingunit：微处理单元)、fpga(fieldprogrammablegatearray：现场可编程门阵列)等控制器。

在上述的例子中，作为运动图像特征，以chlac特征为例进行了说明。除了chlac特征以外，也可以使用hlac(higher-orderlocalautocorrelation：高阶本地自动关联)特征、cchlac(colorcubichigher-orderlocalautocorrelation：彩色立方高阶本地自动相关)特征等的运动图像特征。另外，例如，根据chlac特征，使用3张图像帧而提取了特征数据，但也可以使用利用2张图像帧而提取特征数据的手法。另外，也可以使用4张以上的图像帧而提取运动图像特征。

另外，对上述的异常检测装置10进行fa作业的异常检测的情况的例子进行了说明。例如，异常检测装置10还可以使用于异常侵入者、岔口障碍、交通异常的检测等。

符号的说明

10：异常检测装置101-1，101-2：摄像元件

102：摄像元件控制器105：控制部

106：实际作业输入部107：伪作业生成部

108：正常空间生成部109：比较部

122：cpu