图像处理设备、图像处理系统、图像处理方法和程序与流程

本发明涉及图像处理设备、图像处理系统、图像处理方法和程序。

背景技术：

近来，图像监视系统的发展是非常显著的，其中分析通过诸如摄像机的成像设备记录视频而获得的视频数据，并且执行对于物体的检测、视频上物体的移动或异常的检测等。这样的图像监视系统例如应用于产品的生产线等。

提供了如下的系统：当这样的图像监视系统基于图像来检测产品的异常时，该系统能够在预定时刻判定是否存在异常，并且显示ok判定或ng判定(专利文献1)。

技术实现要素：

技术问题

然后，专利文献1所描述的技术只在预定时刻显示判定是否存在异常的结果，因此在存在各种判定功能(例如，持续执行检测而不是在预定时刻的功能，只检测图像中的变化而不是异常的功能，等等)的情况下，无法同时呈现出这样的功能如何运行。因此，在系统具有多个判定功能的情况下，存在着无法同时掌握这判定功能的运行状态的问题。

考虑到上述这些情况而作出本发明，并且本发明的目的在于提供图像处理设备、图像处理系统和图像处理方法以及程序，其中能够同时掌握多种类型的判定操作的状态。

解决问题的方案

一种图像处理设备包括：显示单元；视频显示控制单元，其用于在通过显示单元进行显示的预定显示区域中显示由显示单元成像的视频数据；以及区域显示控制单元，其通过将多个显示要素以彼此不同的方式叠加视频数据上，在显示区域中显示表示判定区域的多个显示要素，其中的判定区域基于针对视频数据的多类型的判定功能。

本发明的有益效果

根据本发明，能够同时掌握多种类型的判定操作的状态。

附图说明

图1是示出根据实施例的图像处理系统的总体配置的示例的示意图。

图2是示出根据实施例的信息处理设备的硬件配置的示例的示意图。

图3是示出根据实施例的信息处理设备的功能块的配置的示例的示意图。

图4是示出根据实施例的信息处理设备中的存储设备中所存储的目录结构的信息的示例的示意图。

图5是示出多个实时视频显示在待显示在根据本实施例的信息处理设备的显示设备上的观察者屏幕的示例的示意图。

图6是示出将视频数据显示在设置屏幕上的状态的示例的示意图，其中的设置屏幕将显示在根据本实施例的信息处理设备的显示设备上。

图7是示出在设置屏幕上的设置视频显示单元中指明全时检测区域的示例的示意图，其中的设置屏幕将显示在根据本实施例的信息处理设备的显示设备上。

图8是示出在设置屏幕上的设置视频显示单元中指明触发区域的示例的示意图，其中的设置屏幕将显示在根据本实施例的信息处理设备的显示设备上。

图9是示出在设置屏幕上的触发区域观察到变化点的情况下标记显示的示例的示意图，其中的设置屏幕将显示在根据本实施例的信息处理设备的显示设备上。

图10是示出在触发区域中检测变化点的操作的示意图。

图11是示出在设置屏幕上的触发区域中观察到两个变化点的情况下所显示的对话的示例的示意图，其中的设置屏幕将显示在根据本实施例的信息处理设备的显示设备上。

图12是示出在设置屏幕上的触发区域中未观察到变化点的情况下所显示的对话的示例的示意图，其中的设置屏幕将显示在根据本实施例的信息处理设备的显示设备上。

图13是示出在设置屏幕上的设置视频显示单元中指明检测区域的示例的示意图，其中的设置屏幕将显示在根据本实施例的信息处理设备的显示设备上。

图14是示出在设置屏幕上的设置视频显示单元中指明第二检测区域的示例的示意图，其中的设置屏幕将显示在根据本实施例的信息处理设备的显示设备上。

图15是示出在设置屏幕上对于设置视频显示单元中所指明的检测区域的属性信息进行设置的示例的示意图，其中的设置屏幕将显示在根据本实施例的信息处理设备的显示设备上。

图16是示出在待显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上执行监视操作的状态的示例的示意图。

图17是示出在待显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作生成触发之前的状态的示例的示意图。

图18是示出在待显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作生成触发的状态的示例的示意图。

图19是在待显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作在监视区域中执行图像判定的状态的示例的示意图。

图20是示出在待显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作在监视区域中执行图像判定的状态的示例的示意图。

图21是示出在待显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作在监视区域中执行图像判定的状态的示例的示意图。

图22是示出在待显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作在监视区域中执行图像判定的状态的示例的示意图。

图23是示出在待显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作在监视区域中执行图像判定的状态的示例的示意图。

图24是示出在待显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作在监视区域中执行图像判定的状态的示例的示意图。

图25是示出在待显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上显示所记录的视频的状态的示例的示意图。

图26是示出针对在待显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上再现并且显示的视频进行再现图像判定的状态的示例的示意图。

图27是示出在待显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上显示标记列表屏幕的状态的示例的示意图。

图28是示出在待显示在根据本实施例的信息处理设备的显示设备上的观察者屏幕上进行的监视操作的示例的流程图。

图29是示出针对在待显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上再现并且显示的视频进行再现图像判定的状态的操作的示例的示意图。

图30是示出在待显示在根据本实施例的变型例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作生成触发之前的状态的示例的示意图。

图31是示出在待显示在根据本实施例的变型例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作生成触发的状态的示例的示意图。

图32是示出在待显示在根据本实施例的变型例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作在监视区域中执行图像判定的状态的示例的示意图。

图33是示出在待显示在根据本实施例的变型例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作在监视区域中执行图像判定的状态的示例的示意图。

图34是示出在待显示在根据本实施例的变型例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作在监视区域中执行图像判定的状态的示例的示意图。

图35是示出在待显示在根据本实施例的变型例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作在监视区域中执行图像判定的状态的示例的示意图。

图36是示出在待显示在根据本实施例的变型例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作在监视区域中执行图像判定的状态的示例的示意图。

图37是示出在待显示在根据本实施例的变型例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作在监视区域中执行图像判定的状态的示例的示意图。

具体实施方式

下面将参考附图详细描述根据本发明的图像处理设备、图像处理系统、图像处理方法和程序的实施例。另外，本发明不限于下面的实施例，并且下面的实施例中的构成要素包括本领域技术人员能够易于想到的构成要素，基本相同的构成要素，以及所谓的等同物范围内的构成要素。此外，在不脱离下面的实施例的主旨的范围内，能够对于构成要素执行各种省略、替换、改变和组合。

(图像处理系统的总体配置)

图1是示出根据实施例的图像处理系统的总体配置的示例的示意图。将参考图1来描述本实施例的图像处理系统1的总体配置。

如图1所示，本实施例的图像处理系统1包括成像设备2a至2f(成像单元)，信息处理设备3，以及网络4。

成像设备2a至2f是如下的摄像机：将来自对象的光转换为电信号，然后对该对象进行成像(拍摄)，并且生成视频数据，该视频数据是由多个帧(图像数据)形成的移动图像(例如，10[fps])。例如，成像设备2a至2f对生产产品的生产设施、生产线等进行成像，并且生成视频数据，用于检测工件的异常，其中的工件是制造产品。

此外，在不需要对于成像设备2a至2f进行相互区分的情况下，或者在成像设备2a至2f被统称的情况下，成像设备2a至2f被简称为“成像设备2”。另外，在图1中，图像处理系统1包括六个成像设备2，但是不限于此，并且可以包括其他数量的成像设备2。

信息处理设备3是个人计算机(pc)、工作站等，其用作基于成像设备2所成像的视频数据来执行图像判定的图像处理设备。另外，信息处理设备3连接到诸如生产设施的外部设备10从而进行相互通信，例如通过现场总线标准。

网络4例如是用于将成像设备2a至2f与信息处理设备3相互连接的以太网(注册商标)标准的网络。在此情况下，在网络4中，通过诸如传输控制协议(tcp)/互联网协议(ip)的协议来执行数据通信。另外，在此情况下，在成像设备2a至2f和信息处理设备3中，提供用于利用诸如tcp/ip的协议进行通信的媒体访问控制(mac)地址，并且分配诸如私人ip地址的ip地址。另外，网络4的具体配置例如包括星形布线形式，在该种布线形式中，成像设备2a至2f和信息处理设备3中的每一个通过作为示例的局域网(lan)线缆连接到包括多个端口的交换式集线器。

此外，将描述图1中所示的网络4通过tcp/ip来执行通信的示例，但是不限于此，并且例如可以采用如下的形式或类似形式：在信息处理设备3侧，设置多个视频图形阵列(vga)终端或者通用串行总线(usb)端口，并且多个成像设备2通过vga线缆或usb线缆连接到信息处理设备3。

(信息处理设备的硬件配置)

图2是示出根据本实施例的信息处理设备的硬件配置的示意图。将参考图2来描述本实施例的信息处理设备3的硬件配置。

如图2中所示，信息处理设备3包括中央处理器(cpu)101、只读存储器(rom)102、随机存取存储器(ram)103、外部存储设备104、显示器105、网络i/f106、键盘107、鼠标108、数字多功能光盘(dvd)驱动器109、外部设备i/f111、以及扬声器112。

cpu101是控制信息处理设备3的整体操作的设备。rom102是存储信息处理设备3的程序的非易失性存储设备。ram103是用作cpu101的工作区域的易失性存储设备。

外部存储设备104是存储诸如成像设备2所成像的视频数据和设置信息的存储设备，诸如硬盘驱动器(hdd)或固态驱动器(ssd)。

显示器105是显示诸如光标、菜单、窗口、字符或图像的各种信息项目，或者用于执行信息处理设备3的图像判定处理的应用的屏幕的显示设备。显示器105例如是阴极射线管(crt)显示器、液晶显示器、等离子体显示器、有机电致发光(el)显示器等。此外，显示器105例如通过vga线缆、高清多媒体接口(hdmi：注册商标)线缆等连接到信息处理设备3的主体，或者通过以太网线缆连接到信息处理设备3的主体。

网络i/f106是通过被连接到网络4来执行数据通信的接口。网络i/f106例如是能够在诸如tcp/ip的协议中执行通信的网络接口卡(nic)。具体地，信息处理设备3通过网络4和网络i/f106从成像设备2获取视频信息。

键盘107是输入字符、数字、各种指令的选择、光标的移动、设置信息的设置等的输入设备。此外，设置号不限于仅由数字进行配置的设置号，并且可以是其中组合字母字符、符号等的设置号。鼠标是用于执行如下操作的输入设备：各种指令的选择和执行，处理目标的选择，光标的移动，设置信息的设置等。

dvd驱动器109是如下的设备：从作为可拆卸存储介质的示例的dvd10读取数据，将数据写入dvd，以及从dvd删除数据。

外部i/f111是通过连接到外部设备10来执行数据通信的接口。外部设备i/f111例如是能够以现场总线标准来执行通信的接口卡。具体地，信息处理设备3通过外部设备i/f111执行相对于外部设备10的数据通信。

扬声器112是根据应用的操作来输出声音的设备。

上述的cpu101、rom102、ram103、外部存储设备104、显示器105、网络i/f106、键盘107、鼠标108、dvd驱动器109、外部设备i/f111、以及扬声器112通过诸如地址总线和数据总线的总线113相互连接从而进行相互通信。此外，在通过以太网线缆进行连接的情况下，显示器105连接到网络i/f106，并且在此情况下，通过诸如tcp/ip的协议来执行数据通信。

(信息处理设备的块配置)

图3是示出根据本实施例的信息处理设备的功能块的配置的示例的示意图。将参考图3来描述信息处理设备3的块配置。

如图3中所示，信息处理设备3包括视频接收单元301、存储单元302(存储单元)、输入单元303、第一再现单元304、触发区域指明单元305、变化点检测单元306、检测区域指明单元307、设置单元308、全时检测区域指明单元309、视频分配单元312(视频显示控制单元的示例)、触发生成单元313、检测区域判定单元314、全时检测区域判定单元315、第一控制单元316(区域显示控制单元的示例)、通知控制单元317、第二再现单元318(视频显示控制单元的示例)、区域显示控制单元319(区域显示控制单元的示例)、列表控制单元320(列表控制单元)、第二控制单元321、显示控制单元331、外部输出单元332、显示单元333(显示单元)、以及通知单元334(通知单元)。此外，在图3中，为了简化描述，未示出网络4。另外，在上述功能部的每个功能部中，触发区域指明单元305、检测区域指明单元307、全时检测区域指明单元309、触发生成单元313、检测区域判定单元314、全时检测区域判定单元315以及第一控制单元316对应于本发明的“时间信息管理单元”的示例。

视频接收单元301是通过网络4执行相对于成像设备2的数据通信并且从成像设备2接收视频数据的功能部。视频接收单元301将接收到的视频数据存储在存储单元302中。视频接收单元301通过图2中所示的接口i/f106来实现。

存储单元302是存储从视频接收单元301接收到的视频数据、各种设置信息项目、上述时间信息等的存储设备。存储单元302通过识别视频数据由哪个成像设备2生成，来存储从视频接收单元301接收到的视频数据。存储单元302例如由图2中所示的ram103或外部存储设备104来实现。

输入单元303是执行对于信息处理设备3所执行的图像判定操作等的操纵输入的设备。输入单元303由图2中所示的键盘107和鼠标108来实现。

第一再现单元304是如下的功能部：根据来自用户操作的输入单元303的操纵信号，将从存储单元302获取到的视频数据发送到显示控制单元331，并且针对显示控制单元331在显示单元333上再现并且显示该视频数据。具体地，第一再现单元304在设置屏幕500的设置视频显示单元502上再现并且显示视频数据，其中的设置屏幕500显示在下面图6等中所描述的显示单元333上。第一再现单元304由图2中所示的cpu101所执行的程序来实现。

触发区域指明单元305是根据来自用户所操纵的输入单元303的操纵信号来指明触发区域的功能部，该触发区域确定显示单元333(下面图6等中所描述的设置视频显示单元502)中的视频数据的显示区域中触发的时刻。触发区域指明单元305将所指明的触发区域的信息与每个成像设备2相关联地存储在存储单元302中。另外，触发区域的信息例如是诸如表示触发区域在视频数据的显示区域中的位置的坐标和触发区域的形状的信息。触发区域指明单元305所指明的触发区域用于下面描述的闪速检测功能。触发区域指明单元305由图2中所示的cpu101所执行的程序来实现。

在由触发区域指明单元305指明触发区域的情况下，变化点检测单元306是如下的功能部：获取由第一再现单元304在指定时间点再现并且显示的视频数据的帧的时间之前和之后的预定时间的帧，并且在获取到的帧中，针对每个帧计算该帧与紧前的帧的像素值的差异，并且基于计算出的差异来检测触发区域内关于图像的变化点。下面将描述变化点。在差异的计算方法中，例如将两帧的触发区域中的像素值相互比较，并且将具有彼此相差大于或等于预定灵敏度的像素值的像素总数计算为差异。此外，在帧是灰度阶中的图像的情况下，像素值与亮度值一致，并且因此，两个帧中的触发区域中的亮度值可以相互比较，并且具有相差大于或等于预定灵敏度的亮度值的像素值的总数被计算为差异。另外，在帧是由rgb的像素值配置而成的图像的情况下，可以将红(r)、绿(g)和蓝(b)中的任意一个的像素值相互比较，并且如上所述，具有相差大于或等于预定灵敏度的亮度值的像素值的总数被计算为差异。另外，可以在帧的图像中执行边缘检测处理，并且边缘部分的总数可以计算为差异。变化点检测单元306由图2中所示的cpu101所执行的程序来实现。

检测区域指明单元307是根据来自用户所操纵的输入单元303的操纵信号来指明检测区域的功能部，其中的检测区域是图像判定操作的目标，图像判定操作检测显示单元333(设置视频显示单元502)中的视频数据的显示区域中的异常。检测区域指明单元307将所指定的检测区域的信息与每个成像设备2相关联地存储在存储单元302中。另外，检测区域的信息例如是诸如表示检测区域在视频数据的显示区域中的位置的坐标和检测区域的形状的信息。另外，如下所述，检测区域指明单元307可以在视频数据的显示区域中指明多个检测区域。检测区域指明单元307所指明的检测区域用于下面描述的闪速检测功能。检测区域指明单元307由图2中所示的cpu101所执行的程序来实现。

设置单元308是根据来自用户所操纵的输入单元303的操纵信号来设置各种设置信息项目并将设置信息存储在存储单元302中的功能部。另外，设置单元308从存储单元302发送在设置到显示控制单元331的设置信息中进行所需要的信息，并且针对显示控制单元331，将设置信息显示在显示单元333上。设置单元308由图2中所示的cpu101所执行的程序来实现。

全时检测区域指明单元309是根据来自用户所操纵的输入单元303的操纵信号来指明全时检测区域的功能部，其中的全时检测区域是全时地检测显示单元333单元5的视频数据的显示区域(设置视频显示单元502)中的异常的图像判定的目标。全时检测区域指明单元309将所指明的全时检测区域的信息与每个成像设备2相关联地存储在存储单元302中。另外，全时检测区域的信息例如是诸如表示全时检测区域在视频数据的显示区域中的位置的坐标和全时检测区域的形状的信息。全时检测区域指明单元309所指明的全时检测区域用于下面描述的全时检测功能。全时检测区域指明单元309是通过图2中所示的cpu101所执行的程序来实现。

视频分配部单元312是如下的功能部：根据来自用户所操纵的输入单元303的操纵信号，将从视频接收单元301获取到的实时视频数据发送到显示控制单元331，并且针对显示控制单元331在显示单元333上显示该视频数据。具体地说，视频分配单元312将相应的视频数据进行分类并且显示在下面图5等中所描述的显示在显示单元333上的观察者屏幕400的视频显示单元401a至401f上。另外，视频分配单元312将显示在视频显示单元401上的每个视频数据项目存储(记录)在存储单元302中。视频分配单元312由图2中所示的cpu101所执行的程序来实现。

触发生成单元313是如下的功能部：在监视操作启动之后，将差别图像与下面所述的图16中的观察者屏幕400的视频显示单元401a至401f的触发区域中的视频数据帧中的触发区域的图像进行比较，并且在触发时刻生成触发信号。触发生成单元313由图2中所示的cpu101所执行的程序来实现。

检测区域判定单元314是如下的功能部：在接收到触发生成单元313所生成的触发信号的时刻的设置时间之前或设置时间之后，将检测标准图像与上述视频显示单元401a至401f的检测区域中的视频数据帧中的检测区域的图像进行比较，并且判定是否存在异常。检测区域判定单元314通过由图2中所示的cpu101所执行的程序来实现。

全时检测区域判定单元315是如下的功能部：在监视操作启动之后，将全时检测标准图像与视频数据的帧的全时检测区域中的图像进行比较，并且持续地执行在下面描述的图16中的观察者屏幕400的视频显示单元401a至401f的全时检测区域中是否存在异常的判定。全时检测区域判定单元315通过由图2中所示的cpu101所执行的程序来实现。

第一控制单元316是如下的功能部：根据来自用户所操纵的输入单元303的操作信号来控制除了下面描述的图16中的观察者屏幕400上的监视操作的启动和停止以外的观察者屏幕400的全部操作。第一控制控制单元316通过由图2中所示的cpu101所执行的程序来实现。

通知控制单元317是基于检测区域判定单元314进行的判定检测区域的结果来向通知单元334输出声音的功能部。通知控制单元317通过由图2中所示的cpu101所执行的程序来实现。

第二再现单元318是如下的功能部：根据来自用户操作的输入单元303的操纵信号，将从存储单元302获取到的视频数据发送到显示控制单元331，并且针对显示控制单元331在显示单元333上再现并且显示该视频数据。具体地说，第二再现单元318将对应的视频数据进行排序，并且将经过排序的视频数据再现和显示在下面图25等中所描述的显示单元333上的观察者屏幕700的视频显示单元701a至701f上。第二再现单元318通过由图2中所示的cpu101所执行的程序来实现。

区域显示控制单元319是如下的功能部：基于存储在输入单元303中的每个判定区域的检测时间的信息，显示每个判定区域的状态，其中的判定区域将要叠加在观察者屏幕700的视频显示单元701a至701f上再现和显示的视频数据的帧上。区域显示控制单元319通过由图2中所示的cpu101所执行的程序来实现。

列表控制单元320是如下的功能部：读取存储在存储单元302上的标记文件，并且在观察者屏幕700上显示下面图27所描述的标记列表屏幕800，在该标记列表屏幕800上显示标记文件的内容。在此，标记文件是按顺序记录全时检测功能检测异常的时间、闪速检测功能生成触发的时间(生成触发信号)以及异常被检测到的时间。列表控制单元320通过由图2中所示的cpu101所执行的程序来实现。

第二控制单元321是控制观察者屏幕700的全部操作的功能部。列表控制单元321通过由图2中所示的cpu101所执行的程序来实现。

显示控制单元331是控制显示单元333的显示操作的功能部。具体地，显示控制单元331在显示单元333上显示：从第一再现单元304获取到的视频数据，通过设置单元308设置的设置信息，通过触发区域指明单元305所指明的触发区域，通过检测区域指明单元307所指明的检测区域等。显示控制单元331由图2中所示的cpu101所执行的程序来实现。

外部输出单元332是在检测区域判定单元314或全时检测区域判定单元315判定存在异常的情况下向外部设备10输出异常信号的功能部。外部输出单元332通过图2中所示的外部设备i/f111来实现。此外，外部输出单元332输出异常信号，但是不限于此，并且可以执行诸如通过电子邮件向外部设备10传送用于通知异常的批处理文件，或者在观察者屏幕400上通知异常的过程(例如，通过灯图标的闪烁显示)。

显示单元333是根据显示控制单元331的控制来显示各种数据项目的设备。在本实施例中，显示单元333尤其通过图2中所示的cpu101所执行的程序(应用)来显示下面所描述的观察者屏幕400、设置屏幕500、观察者屏幕700等。显示单元333通过图2中所示的显示器105来实现。

通知单元334是根据通知控制单元317的控制来输出声音的设备。通知单元334通过图2中所示的扬声器112来实现。

此外，第一再现单元304、触发区域指明单元305、变化点检测单元306、检测区域指明单元307、设置单元308、全时检测区域指明单元309、视频分配单元312、触发生成单元313、检测区域判定单元314、全时检测区域判定单元315、第一控制单元316、通知控制单元317、第二再现单元318、区域显示控制单元319、列表控制单元320、第二控制单元321以及显示通知单元331中的一部分或者全部可以通过诸如专用集成电路(asic)或现场可编程门阵列(fpga)的硬件电路来实现，而不是通过作为软件的程序。

另外，图3中所示的每个功能单元的功能从概念上进行描述，但不限于此。例如，作为独立功能部的图3中所示的多个功能部可以配置为一个功能部。另一方面，图3中的一个功能部的功能能够分为多个功能，因此该功能部可以配置为多个功能部。

另外，为了简化下面的描述，显示控制单元331将接收到的数据显示在显示单元333上的表达将被简化为将数据发送到显示控制单元331的功能部将数据显示在显示单元333上(或者显示单元333上所显示的屏幕上)的表达。例如，在第一再现单元304向显示控制单元331发送视频数据，并且针对显示控制单元331在显示单元333上再现并且显示视频数据的情况下，可以简单地表达为第一再现单元304在显示单元333上再现并且显示视频数据。

(存储部中存储的信息的目录结构)

图4是示出根据实施例的信息处理设备中的存储设备中所存储的信息的目录结构的示例的示意图。将参考图4来描述用于管理存储单元302中的信息的目录结构。

首先，如图4中所示，存储单元302形成“设置”文件夹和“共用”文件夹作为根文件夹。在“设置”文件夹中，形成用于存储每个成像设备2相关的信息的“cam1”至“cam6”文件夹(此后，简称和统称为“相机文件夹”)。“cam1”至“cam6”文件夹对应于与各个成像设备2a至2f相关的文件夹。

如图4中所示，在每个相机文件夹中，存储区域信息文件、时间信息文件和图像数据。这里，区域信息文件是包括针对对应的成像设备2设置的每个判定区域的位置信息(诸如表示区域的形状和位置的坐标的信息)和下面描述的属性信息的文件。另外，时间信息文件是包括针对对应的成像设备2开始和结束监视操作的时间、指定(设置)每个判定区域的时间、以及监视操作期间检测每个判定区域的时间的文件。另外，图像数据是诸如下面描述的触发标准图像、差异图像、检测标准图像以及全时检测标准图像。

另外，在“共有”文件夹中，存储上面描述的标记文件夹。

此外，图4中所示的用于管理信息的目录结构是示例，并且不限于此，信息可以通过其他数据结构来管理。另外，图4中所示的文件夹的名称也是示例，不限于此。

(观察者屏幕的配置)

图5是示出多个实时视频显示在待显示在根据本实施例的信息处理设备的显示设备上的观察者屏幕的示例的示意图。将参考图5来描述观察者屏幕400的配置和显示多个实时视频的操作。

图5中所示的观察者屏幕400根据通过cpu101所执行的程序(应用)而显示在显示单元333上。在实时显示从多个成像设备2接收到的视频数据，并且执行图像判定操作(监视操作)的情况下，观察者屏幕400是在每个被指明的判定区域中执行图像判定的屏幕。具体地，在观察者屏幕400中，在执行图像判定操作(监视操作)的情况下，触发生成单元313在触发时刻，在触发区域指明单元305所指明的触发区域中生成触发信号。另外，在观察者屏幕400中，在通过检测区域判定单元314接收到触发信号的时间的设置时间之前或之后，在检测区域指明单元307所指明的检测区域中确定存在或不存在异常的屏幕。另外，在观察者屏幕400中，在执行图像判定操作(监视操作)的情况下，全时检测区域判定单元315持续地判定在全时检测区域指明单元309所指定的全时检测区域中存在或不存在异常。

如图5中所示，观察者屏幕400包括视频显示单元401a至401f、监视开始按钮411、监视停止按钮412、监视设置按钮413、以及状态显示单元421a至421f。

视频显示单元401a至401f是根据来自用户所操纵的输入单元303的操纵信号，分别显示由视频分配单元312经过视频接收单元301从成像设备2a至2f获取到的实时视频数据的显示部。另外，在根据由用户所操纵的输入单元303的操纵(例如，鼠标108的点击操纵等，以下同样适用)而被按下的情况下，视频显示单元401a至401f能够处于选择状态。此外，在视频显示单元401a至401f被不加区分地提及或统称的情况下，视频显示单元401a至401f将简称为“视频显示单元401”。

当根据用户对于输入单元303的操纵而按下监视开始按钮411时，触发生成单元313在触发时刻，在触发区域中生成触发信号，其中的触发区域由触发区域指明单元305在处于显示实时视频数据的选择状态的视频显示单元401上进行指明，并且在接收到触发信号的时间的设置时间之前或设置时间之后，检测区域判定单元314在检测区域中开始判定存在或不存在异常。此外，在处于显示实时视频数据的选择状态的视频显示单元401中，开始判定在全时检测区域指明部所指明的全时检测区域中存在或不存在异常。

当根据用户对于输入单元303的操纵而按下监视停止按钮412时，在处于选择状态的视频显示单元401中，停止如下操作：在触发时刻生成触发信号的触发生成单元313的生成操作，判定检测区域中存在或不存在异常的检测区域判定单元314的判定操作，以及判定全时检测区域中存在或不存在异常的全时检测区域判定单元315的全时判定操作。

当根据用户对于输入单元303的操纵而按下监视设置按钮413时，为了设置每个判定区域，通过第一控制单元316在显示单元333上显示下面描述的图6等中所示的设置屏幕500。

状态显示单元421a至421f是显示与每个视频显示单元401对应的成像设备2的状态的显示部。例如，在状态显示单元421a至421f中，显示表示成像设备2的状态的内容，诸如“未连接”、“未设置”、“设置完成”以及“监视中”。“未连接”表示与视频显示单元401对应的成像设备2未连接到图像处理系统1的状态，并且视频数据未显示在视频显示单元401的状态。“未设置”表示针对显示在视频显示单元401上的视频数据未设置触发区域、检测区域、全时检测区域等的状态。“设置完成”表示完成针对显示在视频显示单元401上的视频数据的触发区域、检测区域、全时检测区域等的设置的状态。“监视中”表示基于每个被设置的判定区域的信息来执行图像判定操作(监视操作)的状态。此外，在视频显示单元421a至421f被不加区分地提及或统称的情况下，状态显示单元421a至421f将被简称为“状态显示单元421”。

(设置屏幕的配置)

图6是示出将视频数据显示在待显示于根据本实施例的信息处理设备的显示设备上的设置屏幕的状态的示例的示意图。将参考下面描述的图6和图8来描述设置屏幕500的配置。

设置屏幕500是指明触发区域、检测区域和全时检测区域并且在检测区域和全时检测区域中设置图像判定的灵敏度、阈值等的屏幕。图6中所示的设置屏幕500是用于设置全时检测功能的屏幕，包括：相机选择选项卡501、设置视频显示单元502、再现按钮503a、暂停按钮503b、快进按钮503c、快退按钮503d、停止按钮503e、搜索条503、滑块505、时间显示单元506、设置读取按钮511、设置写入按钮512、设置反映按钮513、关闭按钮514、区域选择标签551、全时检测区域信息部分561、以及全时检测区域按钮组562。

相机选择选项卡501是选择将期望由用户来指明的触发区域、检测区域、以及全时检测区域的成像设备2a至2f的视频数据项目中的哪个视频数据项目显示在设置视频显示单元502上的操纵部。例如，成像设备2a至2f所成像的视频数据项目分别与“1”至“6”相关联，并且在图6的示例中，示出选择“6”(即，成像设备2f的视频数据)的示例。

设置视频显示单元502是根据来自用户所操纵的输入单元303的操纵信号，通过第一再现单元304来再现并且显示从存储单元302获取的视频数据的显示部。在图6的示例中，根据用户对输入单元303的操纵而选择“6”的相机选择选项卡501并且通过第一再现单元304进行操作，第一再现单元304在设置视频显示单元502上再现并且显示成像设备2f所成像的视频数据。

当根据用户对于输入单元303的操纵而按下再现按钮503时，通过第一再现单元304再现并且启动视频数据在设置视频显示单元502上进行显示。当根据用户对于输入单元303的操纵来按下暂停按钮503b时，通过第一再现单元304再现并且显示在设置视频显示单元502的视频数据被暂停。当根据用户对于输入单元303的操纵来按下快进按钮503c时，再现并且显示在设置视频显示单元502上的视频数据通过第一再现单元304经历快进显示。当根据用户对于输入单元303的操纵来按下快退按钮503d时，再现并且显示在设置视频显示单元502上的视频数据通过第一再现单元304经历快退显示。当根据用户对于输入单元303的操纵而按下停止按钮503e时，再现并且显示在设置视频显示单元502上的视频数据通过第一再现单元304被停止。

搜索条504是根据设置在搜索条上的滑块505的位置来表示视频数据再现并且显示在设置视频显示单元502上的时间的棒状体。滑块505是滑动到搜索条504上与设置视频显示单元502上所再现和显示的视频数据的成像时间(使得所显示的帧成像的时间)对应的位置的主体和操纵部。相反，在滑块505根据用户对于输入单元303的操纵进行滑动的情况下，通过第一再现单元304，在设置视频显示单元502上显示与滑块505在搜索条504上所处的位置对应的成像时刻的视频数据的帧。

时间显示单元506是显示通过第一再现单元304再现并且显示在设置视频显示单元502上的视频数据的成像日期和成像时间的显示部。

当根据用户对于输入单元303的操作而按下设置读取按钮511时，设置单元308读取出存储在存储单元302中的诸如相机选择选项卡501所选择的图像设备2的触发区域、检测区域和全时检测区域的信息等，并且显示在每个设置屏幕500的显示部上。当根据用户对于输入单元303的操纵而按下设置写入按钮512时，设置单元308将设置在设置屏幕500上的诸如触发区域、检测区域和全时检测区域的信息等与相机选择选项卡501所选择的成像设备2相关联地存储在存储单元302中。当根据用户对于输入单元303的操纵而按下设置反映按钮513时，设置单元308使得设置在设置屏幕500上的触发区域、检测区域、全时检测区域的信息等的设置信息生效直至观察者屏幕400、设置屏幕500等被关闭(例如，暂时存储在ram103中)。

当根据用户对于输出单元303的操纵而按下关闭按钮514时，设置单元308将设置屏幕500关闭，并且将观察者屏幕400显示在显示单元333上。

区域选择选项卡551由用于指明全时检测功能中所使用的全时检测区域的选项卡和用于指明闪速检测功能中所使用的检测区域和触发区域的选项卡构成。例如，图6中所示的设置屏幕500表示通过用户对于输入单元303的操纵而选择用于指明全时检测区域的选项卡的状态。另一方面，下面描述的图8中所示的设置屏幕500表示根据用户对于输入单元303的操纵而选择用于指明触发区域和检测区域的选项卡的状态。

全时检测区域信息部分561是如下的显示部和选择操纵部：显示全时检测区域指明单元309所指明的全时检测区域的名称、灵敏度、阈值、监视方法(图6中表示为“监视”)、以及存在或不存在动作(在图6中，表示为“动作”)(此后，这样的针对全时检测区域的信息将被称为属性信息)。

全时检测区域按钮组562是全时检测区域指明单元309进行指明并且编辑显示在全时检测区域信息部分561中的全时检测区域有关的属性信息的按钮组。全时检测区域按钮组562包括动作按钮562a、删除按钮562c、灵敏度提高按钮562e、灵敏度降低按钮562f、阈值提高按钮562g、以及阈值降低按钮562h。下面将描述全时检测区域按钮组562的每个按钮的功能。

如上所述，下面描述的图8中所示的设置屏幕500表示如下状态：用于指明触发区域和检测区域的选项卡通过区域选择选项卡551被选择，并且包括触发区域信息部分507、标准图像显示单元508a、差异图像显示单元508b、检测区域信息部分509和检测区域按钮组510。

触发区域信息部分507是如下的显示部：显示触发区域指明单元305所指明的触发区域的名称和用于变化点检测单元306检测上述变化点的灵敏度和阈值。标准图像显示单元508a是显示变化点检测单元306提取出的触发标准图像的显示部。差异图像显示单元508b是显示通过变化点检测单元306所提取的差异图像(下面进行描述)的显示部。

检测区域信息部分509是如下的显示部和选择操纵部：显示检测区域指明单元307所指明的检测区域的名称、灵敏度、阈值、检测延迟时间(图8中表示为“延迟时间”)、监视方法(图8中表示为“监视”)、存在或不存在动作(在图8中，表示为“动作”)、以及图像判定方法(图8中，表示为“图像判定”)(此后，这样的关于检测区域的信息将被称为属性信息)。

检测区域按钮组510是由检测区域指明单元307指明的并且编辑显示在检测区域信息部分509中的关于检测区域的属性信息的按钮组。检测区域按钮组510包括动作按钮510a、图像判定选择按钮510b、删除按钮510c、灵敏度提高按钮510e、灵敏度降低按钮510f、阈值提高按钮510g、以及阈值降低按钮510h。下面将描述检测区域按钮组510的每个按钮的功能。

(全时检测区域的指明)

图7是示出在显示在根据本实施例的信息处理设备的显示设备上的设置屏幕上的设置视频显示单元中指明全时检测区域的示例的示意图。将参考图7描述全时检测区域的指明。

图7中所示的设置屏幕500表示在通过第一再现单元304再现和显示视频数据的设置视频显示单元502中所指明全时检测区域570的状态。具体地，首先当在设置视频显示单元502上重新并且显示视频数据时，在期望受到图像判定的图像的部分被显示的时刻，根据用户对于输入单元303的操纵而按下暂停按钮503b的情况下，第一再现单元304暂时停止在设置视频显示单元502上再现和显示的视频数据，并且将这样的时间点的帧的成像日期和成像时间显示在时间显示单元506上。然后，在根据用户对于输入单元303的操纵所操纵和选择区域选择选项卡551的“全时”选项卡的情况下，设置单元308显示全时检测区域的信息。

接下来，全时区域指明单元309根据用户对于输入单元303的操纵(例如，鼠标108的拖动操纵)，在设置视频显示单元502上指明并显示全时检测区域570(判定区域)。

另外，设置单元308在全时检测区域信息单元561上将由全时检测区域指明单元309所指明的全时检测区域570中命名的名称显示为全时检测区域570的属性信息，并且将下面描述的图像判定中使用的预定灵敏度(例如，“50”)、预定阈值(例如，“20％”)、监视方法(例如，“灰度”)、以及存在或不存在动作(例如“不存在”)作为默认值。如图7中所示，例如设置单元308通过将检测区域假设为针对成像设备“6”(成像设备2f)的视频数据而指明的触发区域，将“a61”命名为全时检测区域570的名称。另外，全时检测区域指明单元309提取出指明全时检测区域570时显示在设置视频显示单元502上的帧(图像)的全时检测区域570中的图像作为全时检测标准图像，并将提取出的图像存储在存储单元302中，并且将所指明的全时检测区域570的信息(诸如位置和形状的位置信息、属性信息等)与通过相机选择选项卡501选择的成像设备2(在图7的示例中，成像设备2f)相关联地存储在存储单元302中。此外，全时检测区域指明单元309将指明全时检测区域570的时刻的信息(时间信息)与通过相机选择选项卡501选择的成像设备2相关联地存储在存储单元302中。此外，通过与上面描述的相同的方法，可以通过全时检测区域指明单元309指明多个全时检测区域。

可以对于在图7中所示的设置屏幕500上指明全时检测区域(在图7中，全时检测区域)的属性信息进行编辑。首先，在根据用户对于输入单元303的操纵而选择属性信息显示在全时检测区域信息部分561中的全时检测区域中的任何一个全时检测区域的情况下(在图7中，仅显示全时检测区域570的属性信息)，设置单元308相对地显示所选择的全时检测区域信息部分561的全时检测区域的属性信息的显示部分。此后，将描述选择图7中所示的全时检测区域570(全时检测区域名称为“a61”)的示例。

接着，例如在根据用户对于输入单元303的操纵而按下动作按钮562a的情况下，设置单元308切换所选择的全时检测区域570的存在或不存在动作的设置值。例如，在全时检测区域570的存在或不存在动作为“不存在”的情况下，按下动作按钮562a，则设置单元308将全时检测区域570的存在或不存在动作设置为“存在”。相反，在全时检测区域570的存在或不存在动作为“存在”的情况下，按下动作按钮562a，设置单元308将全时检测区域570的存在或不存在动作设置为“不存在”。如下所述，在存在或不存在动作是“存在”的情况下，并且在全时检测区域判定单元315根据图像判定而判定该全时检测区域中存在异常的情况下，外部输出单元332输出异常信号。

另外，例如，在根据用户对于输入单元303的操纵而按下删除按钮562c的情况下，设置单元308删除显示在全时检测区域信息部分561中的全时检测区域570的属性信息，并且删除存储在存储单元302中的全时检测区域570的信息。另外，全时检测区域指明单元309删除显示在设置视频显示单元502上的全时检测区域570，并且删除存储在存储单元302中的全时检测标准图像。

另外，例如在根据用户对于输入单元303的操纵而按下灵敏度提高按钮562e的情况下，设置单元308将所选择的全时检测区域570的图像判定所使用的灵敏度值提高了预定值。相反，例如在根据用户对于输入单元303的操纵而按下灵敏度降低按钮562f的情况下，设置单元308将所选择的全时检测区域570的图像判定所使用的灵敏度值降低预定值。

另外，例如，在根据用户对于输入单元303的操纵而按下阈值提高按钮562g的情况下，设置单元308将所选择的全时检测区域570的图像判定所使用的阈值提高了预定值。相反，例如在根据用户对于输入单元303的操纵而按下灵敏度降低按钮562h的情况下，设置单元308将所选择的全时检测区域570的图像判定所使用的阈值降低预定值。

(触发区域的指明和变化点的检测)

图8是示出在设置屏幕上的设置视频显示单元中指明基础区域的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。图9是示出在设置屏幕上的触发区域观察到变化点的情况下标记显示的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。图10是示出在触发区域中检测变化点的操作的示意图。图11是示出在显示在根据本实施例的信息处理设备的显示设备上的设置屏幕上的触发区域中观察到两个变化点的情况下所显示的对话的示例的示意图。图12是示出在设置屏幕上的触发区域中未观察到变化点的情况下所显示的对话的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。将参考图8至图12来描述触发区域和变化点的检测。

图8中所示的设置屏幕500表示在通过第一再现单元304再现并且显示视频数据的设置视频显示单元502中指明触发区域530的状态。具体地，首先，在根据用户对于输入单元303的操纵而按下暂停按钮503b的情况下，在显示基于发生触发的所期望的图像部，同时在设置视频显示单元502上再现并且显示视频数据的时刻，第一再现单元304暂时停止在设置视频显示单元502上再现和显示的视频数据，并且这些时间点的帧的成像日期和成像时间被显示在时间显示单元506上。接着，在根据用户对于输入单元303的操纵而选择并且操作区域选择选项卡551的“闪速”选项卡的情况下，设置单元308显示触发区域和检测区域的信息。

接着，触发区域指明单元305根据用户对于输入单元303的操纵(例如，鼠标108的拖动操纵)，指明触发区域530(判定区域)并且将其显示在设置视频显示单元502上。

图9所示的设置屏幕500示出变化点检测单元306在由触发区域指明单元305所指明的触发区域530中检测出变化点的状态。具体地，首先，在由触发区域指明单元305指明触发区域530的情况下，变化点检测单元306获取通过第一再现单元304再现并且显示的视频数据的帧的成像时间之前和之后的预定时间的帧(例如，在成像时间之前和之后2分钟)，并且在指定的时间点，提取由触发区域530指明的时间的触发区域530中的图像作为触发标准图像(第一标准图像)。这里，变化点是触发区域530中的图像的预定变化发生的时间点，其作为触发生成单元313生成触发信号的时刻的标准。以下，将描述变化点检测单元306的变化点的具体检测方法。

如图10(a)中所示，变化点检测单元306获取十三个帧(帧(0)至帧(12))作为预定时间的帧。在这种情况下，通过变化点检测单元306获取作为基准的帧(6)之前和之后的预定时间的帧。此外，为了简化说明，与各帧中的触发区域530对应的部分的图像也将被称为帧(0)至帧(12)中的每一个。然后，变化点检测单元306计算所获取的帧中的每个帧和紧接在前的帧之间的像素值的差异。该差异的计算方法如上所述。变化点检测单元306提取图10(a)中所示例的帧，并且图10(b)中所示的曲线图是按时间顺序示出针对每个帧计算出的差异的图。在图10(b)中，例如，帧(1)的差异表示帧(1)和作为紧接的前一帧的帧(0)之间的差异。这里，如下所述将定义作为变化点的in点和out点。也就是说，将in点设置为触发区域530中的图像开始在连续帧中发生变化的时间点。另外，将out点设置为图像触发区域530开始在连续帧中发生变化的时间点。此外，变化点检测单元306计算所获取的帧中的每个帧和紧接在前的帧之间的差异，但不限于紧接在前的帧，例如，可以计算每个帧和在该帧之前几帧的帧之间的差异。

变化点检测单元306基于计算出的各个帧之间的差异来找出in点的候选和out点的候选。具体地说，在所计算出的差异持续多于或等于两帧并且大于或等于预定阈值的情况下，变化点检测单元306将具有最初大于或等于预定阈值的差异的帧设置为in点的候选帧。在图10(b)的示例中，帧(1)的差异小于阈值，帧(2)的差异大于或等于阈值，帧(3)的差异大于或等于阈值等于阈值，并且帧(2)和(3)的两帧之间的差异大于或等于阈值，因此将具有最初大于或等于阈值的差异的帧(2)设置为in点的候选帧。类似地，帧(7)也被设置为in点的候选帧。此外，在差异没有连续大于或等于两帧的情况下，并且仅一帧的差异大于或等于阈值时，存在噪声的可能性，因此不将该帧设置为in点的候选帧。

另一方面，在计算出的差异连续超过或等于两帧且小于或等于预定阈值的情况下，变化点检测单元306将具有最初小于预定阈值的差异的帧设置为out点的候选帧。在图10(b)的示例中，帧(4)的差异大于或等于阈值，帧(5)的差异小于阈值，帧(6)的差异也小于阈值并且帧(5)和帧(6)两帧之间的差异小于阈值，因此将具有最初小于阈值的差异的帧(5)设置为out点的候选帧。这里，帧(12)是具有小于预定阈值的差异的帧，但是后续帧(13)是除了由变化点检测单元306所提取的帧以外的帧，因此不是out点的候选帧。此外，在差异未连续大于或等于两帧，并且仅一帧的差异小于阈值的情况下，存在噪声的可能性，因此该帧不是out点的候选帧。

如上所述，在图10的示例中，变化点检测单元306将帧(2)和(7)指明为in点的候选帧，并将帧(5)指明为out点的候选帧。因此，在指定in点的多个候选帧的情况下，变化点检测单元306确定最靠近位于所获取的帧的中间的帧(6)的帧，即帧(7)作为in点的帧。此外，在图10的示例中，只有一帧(帧(5))被指明为out点的候选帧，并且与in点的候选一样，存在多个帧被指明为out点的候选帧的情况。因此，在指明了out点的多个候补帧的情况下，变化点检测单元306将最靠近位于所获取的帧的中间的帧(6)确定为out点的帧，与in点的候选相同。在图10的示例中，out点的候选帧仅为帧(5)，因此变化点检测单元306将帧(5)确定为out点的帧。如上所述，变化点检测单元306从预定时间内获取的帧中确定in点的帧和out点的帧，从而检测变化点(in点和out点)。

此外，在检测到变化点的情况下，变化点检测单元306可以通过使用变化点的帧之前的帧、变化点的帧之后的帧、或者前后的帧，在触发区域530中执行动态体检测，并且可以将表示动态体的入口方向的向量信息存储在存储单元302中。在这种情况下，触发生成单元313可以通过使用存储在存储单元302中的向量信息来确认动态体是否从与向量信息所表示的方向相同的方向移动，并且可以基于确认结果来生成触发信号。

另外，根据变化点检测单元306的触发区域530中的变化点的检测方法不限于上述方法，并且只要变化点是限定生成触发的时刻就可以通过任何方法来检测变化点。

另外，如上所述，在该差异连续大于或等于两帧且大于或等于预定阈值的情况下，变化点检测单元306将具有最初大于或等于预定阈值的差异的帧设置为in点的候选帧，但不限于此。也就是说，可以包括差异对于大于或等于两个帧是不连续的情况，和对于大于或等于其他数量的帧连续并且大于或等于预定阈值的情形。同样适用于发现out点的候选帧的情况。

另外，图10示出其中观察到in点和out点两者的帧的示例，但是存在通过变化点检测单元306观察到仅仅in点的帧或仅仅out点的帧的情况，在这种情况下，该in点或out点被检测为变化点。在此情况下，变化点检测单元306提取触发区域530中检测到的变化点的帧的图像作为差异图像。变化点检测单元306与通过相机选择选项卡501所选择的成像设备2(在图10的示例中，成像设备2f)相关联地将所提取的触发标准图像和变化点的帧的差异图像存储在存储单元302中，在标准图像显示单元508a上显示触发标准图像，并且在差异图像显示单元508b上显示差异图像。此外，在搜索条504中，变化点检测单元306在与检测到的变化点的帧的时间相对应的部分上显示触发标记540。另外，在变化点检测单元306检测到变化点的情况下，触发区域指明单元305与通过相机选择选项卡501所选择的成像设备2(在图10的示例中，成像设备2f)相关联地将所指明的触发区域530的信息(诸如位置和形状的位置信息、属性信息等)存储在存储单元302中。另外，设置单元308显示通过触发区域指明单元305所指明的触发区域中命名的名称，以及信息触发区域信息部分507上的用于检测变化点检测单元306的变化点所使用的预定灵敏度(例如，“50”)和预定阈值(例如，“20％”)，作为触发区域530的属性信息。如图8所示，例如设置单元308通过假设触发区域是针对成像设备“6”(成像设备2f)的视频数据进行指明的触发区域，将“tr6”命名为触发区域530的名称。此外，触发区域指明单元305与通过相机选择选项卡501选择的成像设备2相关联地将指明触发区域530的时间的信息(时间信息)存储在存储单元302中。

在如上所述通过变化点检测单元306检测到两个变化点(in点和out点)的情况下，在触发区域指明单元305所指明的触发区域530中，图11中所示的设置屏幕500表示显示变化点选择对话600的状态。因此，在检测到大于或等于两个变化点的情况下，变化点检测单元306显示变化点选择对话600，用于选择与提取触发标准图像以在显示单元333上生成触发的时间点最接近的两个变化点(in点和out点)中的任一个。变化点选择对话600包括是按钮601、否按钮602和关闭按钮603。关闭按钮603是用于关闭变化点选择对话600的按钮。

在根据用户对输入单元303的操纵按下是按钮601的情况下，变化点检测单元306将in点检测为变化点，并且提取触发区域530中in点的帧的图像作为差异图像。然后，变化点检测单元306与通过相机选择选项卡501所选择的成像设备2相关联地将所提取的触发标准图像和in点所在的帧的差异图像存储在存储单元302中，在标准图像显示单元508a上显示触发标准图像，并且在差异图像显示单元508b上显示差异图像。此外，变化点检测单元306在搜索条504中与检测到的in点的帧的时间相对应的部分上显示触发标记540。

另一方面，在根据用户对输入单元303的操作按下否按钮602的情况下，变化点检测单元306检测出out点作为变化点，并提取触发区域530中的out点的帧的图像作为差异图像。然后，变化点检测单元306与通过相机选择选项卡501所选择的成像设备2相关联地将所提取的触发标准图像和out点所在的帧的差异图像存储在存储单元302中，在标准图像显示单元508a上显示触发标准图像，并且在差异图像显示单元508b上显示差异图像。此外，变化点检测单元306在搜索条504中与检测到的out点的帧的时间相对应的部分上显示触发标记540。其他操作与图9中的上述操作相同。

因此，in点和out点由变化点检测单元306检测为变化点，并且用户能够选择两个变化点中的任何一个，并且因此用户能够选择期望指明的变化点。

在变化点检测单元306在触发区域530中未观察到由触发区域指明单元305所指明的变化点的情况下，图12中所示的设置屏幕500表示显示无变化点通知对话610的状态。在上述图10中所描述的操作中，存在着由于计算出的差异不大于或等于预定阈值从而变化点检测单元306不能检测到变化点的情况。在这种情况下，变化点检测单元306显示表示在显示单元333上未观察到变化点的无变化点通知对话610。

无变化点通知对话610包括确定(ok)按钮611和关闭按钮612。关闭按钮612是用于关闭无变化点通知对话610的按钮。在根据用户对输入单元303的操纵而按下确定按钮611的情况下，变化点检测单元306关闭无变化点通知对话610，而不在存储单元302中存储任何信息或在标准图像显示单元508a和差异图像显示单元508b上显示图像。

(检测区域的指明和检测区域的属性信息的设置)

图13是示出在设置屏幕上的设置视频显示单元中指明检测区域的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。图14是示出在设置屏幕上的设置视频显示单元中指明第二检测区域的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。图15是示出在设置屏幕上对于设置视频显示单元中所指明的检测区域的属性信息进行设置的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。将参考图13至图15来描述检测区域的指明和检测区域等的属性信息的设置。

图13中所示的设置屏幕500表示在通过第一再现单元304来再现和显示视频数据的设置视频显示单元502中指明检测区域535的状态。具体地，首先当视频数据在设置视频显示单元502中再现并且显示时，在期望经过闪速检测功能的图像判定的图像的部分被显示的时刻，根据用户对于输入单元303的操纵而按下暂停按钮503b的情况下，第一再现单元304暂时停止在设置视频显示单元502上再现和显示的视频数据，并且在时间显示单元506上显示这样的时间点的帧的成像日期和成像时间。

接着，检测区域指明单元307根据用户对于输入单元303的操纵(例如，鼠标108的拖动操纵)，在设置视频显示单元502上指明并显示检测区域535(判定区域)。这里，为了检测区域指明单元307指明检测区域535，必须在触发区域信息部分507中选择由触发区域指明单元305所指明的触发区域(在图13的示例中“tr6”)。也就是说，由检测区域指明单元307所指明的检测区域535与在触发区域信息部分507中选择的触发区域相关联。

另外，设置单元308在检测区域信息部分509上显示由检测区域指明单元307所指明的检测区域535中命名的名称作为检测区域535的属性信息，和下面描述的图像判定中使用的预定灵敏度(例如，“50”)、预定阈值(例如，“20％”)、监视方法(例如，“灰度”)、存在或不存在动作(例如“不存在”)以及图像判定方法(例如，“一致”)作为默认值。如图13所示，例如设置单元308通过将检测区域假设为与触发区域“tr6”相关联的第一区域，将“k61”命名为检测区域535的名称。此外，设置单元308计算检测区域指明单元307指明检测区域535的时间点的帧的时间的延迟时间(图13的示例中的“2.14”)，作为由变化点检测单元306检测到的变化点的时间有关的属性信息，并将延迟时间显示在检测区域信息部分509上。也就是说，在此情况下，在被命名为“k61”的检测区域535中，将图像判定设置为在从触发时刻起“2.14”秒之后执行。

另外，检测区域指明单元307提取出在指明检测区域535的时刻检测区域535中的图像作为检测标准图像(第二标准图像)，并将提取出的图像存储在存储单元302中，并且将所指明的检测区域535的信息(诸如位置和形状的位置信息、属性信息等)与通过相机选择选项卡501选择的成像设备2(在图13的示例中，成像设备2f)相关联地存储在存储单元302中。此外，触发区域指明单元307与通过相机选择选项卡501选择的成像设备2相关联地将在指明检测区域535的时刻的信息(时间信息)存储在存储单元302中。

图14中所示的设置屏幕500表示在通过第一再现单元304来再现和显示视频数据的设置视频显示单元502中指明作为第二检测区域的检测区域536的状态。具体地，首先，在设置视频显示单元502上再现并且显示视频数据(暂时被停止)时，搜索条504的滑块505根据用户对于输入单元303的操纵而滑动，并且执行对期望经历闪速检测功能的图像判定的图像的部分的时刻进行调整。第一再现单元304在时间显示单元506上显示设置视频显示单元502中的视频数据的帧的成像日期和成像时间。

接下来，检测区域指明单元307根据用户对于输入单元303的操纵(例如，鼠标108的拖动操纵)，在设置视频显示单元502上指明并显示作为第二检测区域的检测区域536(判定区域)。这里，为了使得检测区域指明单元307指明检测区域536，与指明检测区域535的情况相同，必须在触发区域信息部分507中选择由触发区域指明单元305指明的触发区域(在图14的示例中“tr6”)。也就是说，由检测区域指明单元307所指明的检测区域536与在触发区域信息部分507中被选择的触发区域相关联。

另外，设置单元308在检测区域信息部分509上显示由检测区域指明单元307所指明的检测区域536中命名的名称作为检测区域536的属性信息，和预定灵敏度(例如，“50”)、预定阈值(例如，“20％”)、监视方法(例如，“灰度”)、存在或不存在动作(例如“不存在”)以及下面描述的图像判定中使用的图像判定方法(例如，“一致”)作为默认值。如图14所示，例如设置单元308通过将检测区域假设为与触发区域“tr6”相关联的第二区域，将“k62”命名为检测区域536的名称。此外，设置单元308计算在检测区域指明单元307指明检测区域536的时间点的帧的时间的延迟时间(图14的示例中的“-186”)，作为由变化点检测单元306检测到的与变化点的时间有关的属性信息，并将计算出的延迟时间显示在检测区域信息部分509上。也就是说，在此情况下，在被命名为“k62”的检测区域536中，将图像判定设置为在触发时刻之前“1.86”秒执行。

另外，检测区域指明单元307提取出在指明检测区域536的时刻检测区域536中的图像作为检测标准图像，并将提取出的图像存储在存储单元302中，并且将所指明的检测区域536的信息(诸如位置和形状的位置信息、属性信息等)与通过相机选择选项卡501选择的成像设备2(在图14的示例中，成像设备2f)相关联地存储在存储单元302中。此外，触发区域指明单元307与通过相机选择选项卡501选择的成像设备2相关联地将指明检测区域536的时刻的信息(时间信息)存储在存储单元302中。此外，通过与上面描述的相同的方法，能够通过检测区域指明单元307指明另一检测区域。

图15中所示的设置屏幕500表示从属性信息被显示在检测区域信息部分509中的检测区域“k61”(检测区域535)和“k62”(检测区域536)中选择“k62”的状态。将参考图15来描述检测区域的属性信息的版本。

如图15所示，首先在根据用户对输入单元303的操纵来选择在检测区域信息部分509上显示属性信息的检测区域中的任何一个的情况下，设置单元308相对地显示检测区域信息部分509的所选择的检测区域的属性信息的显示部分。此后，如图15中所示，将描述选择检测区域536(检测区域名称“k62”)的示例。

接着，例如在根据用户对于输入单元303的操作而按下动作按钮510a的情况下，设置单元308切换所选择的检测区域536的存在或不存在动作的设置值。例如，在检测区域536的存在或不存在动作为“不存在”的情况下，按下动作按钮510a，设置单元308将检测区域536的存在或不存在动作设置为“存在”。相反，在检测区域536的存在或不存在动作为“存在”的情况下，按下动作按钮510a，设置单元308将检测区域536的存在或不存在动作设置为“不存在”。如下所述，在存在或不存在动作是“存在”的情况下，并且检测区域判定单元314判定该检测区域的图像判定存在异常，外部输出单元332输出异常信号。

另外，例如在根据用户对于输入单元303的操纵而按下图像判定选择按钮510b的情况下，设置单元308切换所选择的检测区域536的图像判定方法的设置值。例如，在检测区域536的图像判定方法是“一致”的情况下，按下图像判定选择按钮510b，设置单元308将检测区域536的图像判定方法设置为“不一致”。相反，在检测区域536的图像判定方法是“不一致”的情况下，按下图像判定选择按钮510b，设置单元308将检测区域536的图像判定方法设置为“一致”。

如下所述，在图像判定方法是“一致”的情况下，并且所提取的图像与检测标准图像之间的差异大于或等于属性信息的阈值，检测区域判定单元314判定存在异常。因此，图像判定方法是“一致”的情况的示例包括如下情况：在将部件插入工件的设施中，将部件插入到工件的状态设置为检测标准图像，并且在相对于工件的部件插入操作结束的时刻执行图像判定。在此情况下，当相对于工件的部件插入操作失败时，并且在部件未正常插入的状态下由检测区域判定单元314来执行图像判定，与检测标准图像有关的差异大于或等于属性信息的阈值，能够确定的是存在异常。

相反，在图像判定方法是“不一致”的情况下，并且所提取的图像与检测标准图像之间的差异小于属性信息的阈值，检测区域判定单元314判定存在异常。因此，图像判定方法是“不一致”的情况的示例包括如下情况：在将部件插入到工件中的设施中，将部件未插入到工件的状态设置为检测标准图像，并且在相对于工件的部件插入操作结束的时刻执行图像判定。在此情况下，当相对于工件的部件插入操作失败时，并且在部件未正常插入的状态下由检测区域判定单元314来执行图像判定，检测参考图像有关的差异小于属性信息的阈值，能够确定的是存在异常。此外，将部件未插入到工件中的状态设置为检测标准图像的情况的示例包括难以准备部件作为成品插入到工件的情况。

另外，例如在根据用户对于输入单元303的操纵而按下删除按钮510c的情况下，设置单元308删除显示在检测区域信息部分509的检测区域536的属性信息，并且删除存储在存储单元302中的检测区域536的信息。另外，检测区域指明单元307删除显示在设置视频显示单元502上的检测区域536，并且删除存储在存储单元302中的检测区域536的检测标准图像。

另外，例如在根据用户对于输入单元303的操纵而按下灵敏度提高按钮510e的情况下，设置单元308将所选择的检测区域536的图像判定所使用的灵敏度值提高预定值。另一方面，在根据用户对于输入单元303的操纵而按下灵敏度降低按钮510f的情况下，设置单元308将所选择的检测区域536的图像判定所使用的灵敏度值降低预定值。

另外，例如在根据用户对于输入单元303的操纵而按下阈值提高按钮510g的情况下，设置单元308将所选择的检测区域536的图像判定所使用的阈值提高预定值。另一方面，在根据用户对于输入单元303的操纵而按下阈值降低按钮510h的情况下，设置单元308将所选择的检测区域536的图像判定所使用的阈值降低预定值。

(观察者屏幕的图像判定操作)

图16是示出在显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上执行监视操作的状态的示例的示意图。图17是示出在显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作生成触发之前的状态的示例的示意图。图18是示出在显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作生成触发的状态的示例的示意图。图19至图24是示出在显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作在监视区域中执行图像判定的状态的示例的示意图。

首先，将参考图16来描述观察者屏幕400上的图像判定操作(监视操作)的概述。图16中所示的观察者屏幕400实时显示从多个成像设备2接收到的视频数据，并且表示在视频显示单元401f上指明全时检测区域“a61”，触发区域“tr6”，和检测区域“k61”、“k62”、“k63”和“k64”的状态。这里，在观察者屏幕400的图像判定操作中，执行多个功能(在本实施例的情况下，全时检测功能和闪速检测功能)，因此为了避免外观的复杂，并不显示显示在视频显示单元401上的每个判定区域。这里，全时检测功能是在监视操作期间持续地执行全时检测区域中的图像是否异常的图像判定的功能。另外，闪速检测功能是在从触发区域中检测到触发的时刻开始的设置时间之前或设置时间之后的时刻，执行检测区域中的图像是否异常的图像判定的功能。另外，第一控制单元316从设置屏幕500过渡到观察者屏幕400，然后针对视频显示单元401f完成每个判定区域的设置，并且因此在状态显示单元421f上显示“设置完成”。

接着，用户根据输入单元303的操作按下与计划启动图像判定操作(监视操作)的成像设备2对应的视频显示单元401，并且将视频显示单元设置为选择状态。在图16的示例中，示出视频显示单元401f被按下并且设置为选择状态的状态。然后，在根据用户对于输入单元303的操作而按下监视开始按钮411的情况下，针对显示在视频显示单元401f上的成像设备2f的实时视频数据开始图像判定操作。此时，如图16所示，为了表示针对成像设备2f执行图像判定操作的效果，第一控制单元316在状态显示单元421f上显示“正在监视”。另外，第一控制单元316将开始图像判定操作的时间的信息(时间信息)与对应于处于选择状态的视频显示单元401的成像设备2相关联地存储在存储单元302中。此外，在根据用户对于输入单元303的操纵而按下监视停止按钮412的情况下，第一控制单元316停止处于选择状态的关于视频显示单元401的图像判定操作，并且将停止图像判定操作(监视操作)的时间的信息(时间信息)与对应于视频显示单元401的成像设备2相关联地存储在存储单元302中。

在特定的观察者屏幕400上的图像判定操作中，首先，视频分配单元312对于从视频接收单元301接收到的实时视频数据进行排序，并且将其显示在视频显示单元401a至401f。触发生成单元313从存储单元302获取通过变化点检测单元306检测出的变化点所在的帧的差异图像。然后，触发生成单元313在视频显示单元401f所指明的触发区域“tr6”中将差异图像与视频数据的帧的触发区域进行比较。触发生成单元313将视频数据的帧的触发区域中的图像与变化点的帧的差异图像进行比较，然后在作为像素值相差大于或等于预定灵敏度的像素总数的差值小于预定阈值的时刻生成触发信号。然后，触发区域指明单元313与执行图像判定操作的成像设备2相关联地将图像判定操作生成触发信号的时间的信息(时间信息)存储在存储单元302中。然后，触发生成单元313与执行图像判定操作针对的成像设备2相关联地将图像判定操作生成触发信号的时间的信息(时间信息)存储在存储单元302中。

在检测区域“k61”、“k62”、“k63”和“k64”的属性信息项目中，检测延迟时间各自设置为“1.0”秒、“2.2”秒、“2.5”秒和“4.0”秒。检测区域判定单元314从存储单元302中获取被指明的检测区域的属性信息。检测区域判定单元314在接收到触发生成单元313生成的触发信号时，在设置时间之前或设置时间之后，将检测标准图像与被指明的检测区域中的视频数据帧中的检测区域的图像进行比较，并且执行是否存在异常的图像判定。

具体地，检测区域判定单元314将从触发生成单元313接收到的与触发区域“tr6”对应的触发信号的时间点与触发区域“k61”对应的检测延迟时间“1.0”秒之后的视频数据的帧的检测区域中的图像与检测标准图像进行比较，并且执行是否存在异常的图像判定。此时，在图像判定中，检测判定单元314将检测标准图像与检测区域中的图像进行比较，并且在差异大于或等于属性信息的阈值的情况下，确定检测区域“k61”的图像判定为不正常，其中的差异是像素值差别大于或等于检测区域“k61”的属性信息的灵敏度的像素的总数。然后，检测区域判定单元314将通过图像判定操作来检测正常或不正常的检测时间的信息(时间信息)与执行图像判定操作所针对的成像设备2关联，并且将该信息存储在存储单元302中。另外，检测区域判定单元314将通过图像判定操作检测出不正常的检测时间的信息(时间信息)与执行图像判定操作所针对的成像设备2关联，并且将该信息写入存储单元302中的标记文件。

因此，检测区域判定单元314在接收到触发信号的时间点起的之前的时刻执行图像判定的情况的示例包括在诸如压配合机的设施中情况，通过使用开始压配合操作的时刻作为触发，针对压配合后的压配合状态来执行图像判定。具体地说，触发发生单元313通过使用允许压配合机相对于工件对于压配合件进行压配合操作被启动的时刻作为触发来生成触发信号。之后，压配合机相对于工件对于压配合部件进行压配合，并且压配合机的每个致动器在压配合操作结束后返回到原点位置。然后，检测区域确定单元314对于进行压配合后的工件的压配合状态进行图像确定。检测区域判定单元314的图像判定的时刻是从接收到来自触发产生单元313的触发信号的检测延迟时间所设定的时间之后的时刻。从生成触发信号的压配合操作开始直至压配合后的压配合状态的图像判定的时间是压配合机的自动操作，因此是固定时间，并且将从触发时刻到图像判定的检测延迟时间设定为固定时间。

另外，检测判定单元314比较与每个检测区域“k62”、“k63”和“k64”对应的检测延迟时间之后的视频数据的帧的每个检测区域中的图像与每个检测区域中的检测标准图像，并且执行是否存在异常的图像判定。图像判定的方法与上述检测区域“k61”的情况的相同。

然后，在检测区域判定单元314执行异常的判定的情况下，外部输出单元332向外部设备10输出异常信号。

另外，全时检测区域判定单元315从存储单元302获取所指明的全时检测区域的属性信息(图7中，全时检测区域570)。在所指明的全时检测区域中，全时检测区域判定单元315比较全时检测标准图像与视频数据的帧的全时检测区域中的图像，并且在监视操作执行的同时，持续地执行是否存在异常的图像判定。

具体地，全时检测区域判定单元315将与全时检测区域“a61”对应的视频数据的帧的检测区域中的图像与标准全时检测区域比较，并且执行是否存在异常的图像判定。此时，在图像判定中，全时检测区域判定单元315比较全时检测标准图像与全时检测区域中的图像，并且在差异大于或等于属性信息的阈值的情况下，确定全时检测区域“a61”的图像判定为不正常，其中的差异是像素值差别大于或等于全时检测区域“a61”的属性信息的预定灵敏度的像素的总数。然后，全时检测区域判定单元315将通过图像判定操作检测出异常的检测时间的信息(时间信息)与执行图像判定操作所针对的成像设备2关联，并且将该信息存储在存储单元302中。另外，全时检测区域判定单元315将通过图像判定操作检测出异常的检测时间的信息(时间信息)与执行图像判定操作所针对的成像设备2关联，并且将该信息写入存储单元302中的标记文件。

然后，在全时检测区域判定单元315执行异常判定的情况下，外部输出单元332向外部设备10输出异常信号。

接着，将参考图17至图24，通过使用观察者屏幕400的视频显示单元401f作为示例详细地描述基于闪速检测功能进行的针对视频数据的图像判定操作(监视操作)。首先，在针对视频显示单元401f开始图像判定操作的情况下，第一控制单元316通过将帧叠加在视频显示单元401f的视频数据上来显示表示设置屏幕500所指明的每个判定区域的帧。具体地，如图17所示，视频显示单元401f显示触发区域530、检测区域535至538、以及全时检测区域570。此时，第一控制单元316利用单独的颜色来显示表示处于正常状态(每个判定区域未执行检测的状态)的每个判定图像(显示要素的示例)的帧。例如，第一控制单元316以“白色”显示表示触发区域530的帧，以“黄色”显示表示检测区域535至538的帧，并且以“绿色”显示表示全时检测区域570的帧。

接着，如图18所示，在触发生成单元313检测到触发的情况下，第一控制单元316以不同于正常状态的颜色来显示表示触发区域530的帧，并且将该帧显示为比正常状态下的帧更粗(以下可以简称为“粗体显示”)。例如，第一控制单元316以“蓝色”显示表示触发区域530的帧，并且将该帧显示为粗体，并且将显示状态持续1秒。然后，第一控制单元316在1秒之后将表示触发区域530的帧的显示返回到正常状态的帧的显示。

接着，检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域535设置的检测延迟时间的“1.0”秒之后，在检测区域535中执行图像判定。作为判定的结果，在检测到正常的情况下，如图19所示，第一控制单元316以不同于正常状态的颜色来显示表示检测区域535的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到正常，第一控制单元316以“蓝色”显示表示检测区域535的帧，并且将该帧显示为粗体，并且将显示状态持续1秒。然后，第一控制单元316在1秒之后将表示检测区域535的帧的显示返回到正常状态的帧的显示。

接着，检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域536设置的检测延迟时间的“2.2”秒之后，在检测区域536中执行图像判定。此外，检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域537设置的检测延迟时间的“2.5”秒之后，在检测区域537中执行图像判定。作为判定的结果，在分别检测到正常的情况下，如图20中所示，第一控制单元316以不同于正常状态的颜色来显示表示检测区域536和检测区域537中的每个检测区域的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到正常，第一控制单元316以“蓝色”显示表示检测区域536和检测区域537中的每个检测区域的帧，并且将该帧显示为粗体，并且将显示状态持续1秒。然后，第一控制单元316在1秒之后将表示检测区域536和检测区域537中的每个检测区域的帧的显示返回到正常状态的帧的显示。

然后，检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域538设置的检测延迟时间的“4.0”秒之后，在检测区域538中执行图像判定。作为判定的结果，在检测到正常的情况下，如图21所示，第一控制单元316以不同于正常状态的颜色来显示表示检测区域538的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到正常，第一控制单元316以“蓝色”显示表示检测区域538的帧，并且将该帧显示为粗体，并且将显示状态持续1秒。然后，第一控制单元316在1秒之后将表示检测区域538的帧的显示返回到正常状态的帧的显示。然后，在检测区域判定单元314结束根据触发生成单元313的触发进行的检测区域的所有判定的时刻(也就是，结束检测区域538的图像判定的时刻)，通知控制单元317向通知单元334输出表示检测区域的图像判定结束的判定结束声音(在图21中，表示为“嘟嘟声(pip)”)持续预定的时间(例如，0.2秒)。如上所述，在图19至图21中，已经描述了在检测区域535至检测区域538的所有图像判定中检测正常的情况。接着，将描述在检测区域535至检测区域538中的任一个中检测到异常的情况。

如图18所示，将描述触发生成单元313检测到触发之后再次检测触发之后的操作。检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域535设置的检测延迟时间的“1.0”秒之后，在检测区域535中执行图像判定。作为判定的结果，在检测到正常的情况下，如图22所示，第一控制单元316以不同于正常状态的颜色来显示表示检测区域535的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到正常，第一控制单元316以“蓝色”显示表示检测区域535的帧，并且将该帧显示为粗体，并且将显示状态持续1秒。然后，第一控制单元316在1秒之后将表示检测区域535的帧的显示返回到正常状态的帧的显示。

接着，检测区域判定单元314从触发生成单元313接收触发信号，并且在针对检测区域536设置的检测延迟时间的“2.2”秒之后，在检测区域536中执行图像判定。检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域537设置的检测延迟时间的“2.5”秒之后，在检测区域537中执行图像判定。作为判定的结果，在检测区域536中检测到正常的情况下，如图23所示，第一控制单元316以不同于正常状态的颜色来显示表示检测区域536的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到正常，第一控制单元316以“蓝色”显示表示检测区域536的帧，并且将该帧显示为粗体，并且将显示状态持续1秒。然后，第一控制单元316在1秒之后将表示检测区域536的帧的显示返回到正常状态的帧的显示。另外，作为上述判定的结果，在检测区域537中检测到异常的情况下，如图23所示，第一控制单元316以不同于正常状态的颜色来显示表示检测区域537的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到异常，第一控制单元316以“红色”显示表示检测区域537的帧，并且将该帧显示为粗体，并且将显示状态持续1秒。此时，当检测区域判定单元314在检测区域537中检测到异常的时刻，通知控制单元317向通知单元334输出异常检测声音(在图23中，表示为“嘘声(boo)”)持续预定时间(例如，1秒)，该异常检测声音通知检测到异常。然后，第一控制单元316在1秒之后将表示检测区域537的帧的显示返回到正常状态的帧的显示。

然后，检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域538设置的检测延迟时间的“4.0”秒之后，在检测区域538中执行图像判定。作为判定的结果，在检测到异常的情况下，如图24所示，第一控制单元316以不同于正常状态的颜色来显示表示检测区域538的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到异常，第一控制单元316以“红色”显示表示检测区域538的帧，并且将该帧显示为粗体，并且将显示状态持续1秒。此时，在检测区域判定单元314在检测区域538中检测到异常的时刻，通知控制单元317向通知单元334输出异常检测声音(在图24中，表示为“嘘声(boo)”)持续预定时间(例如，1秒)，该异常检测声音通知检测到异常。然后，第一控制单元316在1秒之后将表示检测区域538的帧的显示返回到正常状态的帧的显示。然后，在检测区域判定单元314结束根据触发生成单元313的触发进行的检测区域的所有判定的时刻(也就是，结束检测区域538的图像判定的时刻)，通知控制单元317向通知单元334输出表示检测区域的图像判定结束的判定结束声音(在图24中，表示为“嘟嘟声(pip)”)持续预定的时间(例如，0.2秒)。在此情况下，根据检测区域538的图像判定，异常检测声音和判定结束声音通过被重叠由通知单元334输出，但是声音彼此不同(例如，不同音阶，或不同的波形或旋律的声音)，因此用户能够差异性地区分这两个声音。如上所述，在图22至图24中，将描述通过检测区域535至检测区域538的图像判定中的任何一个检测到异常的情况。

此外，在上面的描述中，已经描述了基于闪速检测功能的视频数据的图像判定操作中每个判定区域(触发区域530、和检测区域535至检测区域538)的帧的显示操作，并且同样适用于基于全时检测功能的图像判定操作中的全时检测区域570的帧的显示操作。例如，作为全时判定单元315持续执行的图像判定的结果，在全时检测区域570中检测到异常的情况下，第一控制单元316以不同于正常状态的颜色来显示表示全时检测区域570的帧，并且将该帧显示为比正常状态下的帧更粗。例如，当检测到异常时，为了表示检测到异常，第一控制单元316以“红色”显示表示全时检测区域570的帧，并将该帧显示为粗体，并且继续显示状态。然后，在全时检测区域570的图像返回到正常状态的情况下，第一控制单元316将表示全时检测区域570的帧返回到正常状态的帧的显示。此外，在全时检测区域判定单元315在全时检测区域570中检测到异常的情况下，通知控制单元317可以将通知检测到异常的异常检测声音输出到通知单元334。

如上所述，在以不同颜色来显示表示每个判定区域的帧，并且在判定区域执行每个检测(触发的检测、正常的检测、或异常的检测)的情形下，第一控制单元316以不同的颜色来显示帧并且将帧显示为加粗，使得能够这些帧相互区分。因此，用户能够可视化地掌握任意功能的所执行的图像判定操作(监视操作)和每个检测的时刻。此外，在检测区域中检测到异常并且根据相同触发的检测区域的所有图像判定结束的情况下，声音被输出。因此，用户也能够在听觉上掌握检测到异常和结束判定的定时。

此外，在图16中所示的观察者屏幕400的示例中，能够在视频显示单元401a至视频显示单元401f的六个显示区域中执行监视操作，因此期望的是每个视频显示单元401改变判定结束声音的音阶、波形、旋律等。例如，通知控制单元317将作为音阶的“哆来咪发唆拉(doremifasolla)”分配并且输出到通知单元334作为每个视频显示单元401中的判定结束声音。因此，可以区分视频显示单元401的监视操作的判定结束声音。在此情况下，“拉(la)”被分配到上述视频显示单元401f中的图像判定操作的判定结束声音。

另外，可以根据设置来改变判定结束声音和异常检测声音的类型、旋律、音阶等，以及显示方面，诸如表示每个判定区域的帧的颜色。

(观察者屏幕上的图像判定再现操作)

图25是示出在显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上显示被记录的视频的状态的示例的示意图。图26是示出针对在显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上再现并且显示的视频进行再现图像判定的状态的示例的示意图。将参考图25和图26来描述观察者屏幕700的配置和显示多个被记录的视频的操作。

图25中所示的观察者屏幕700根据通过cpu101所执行的程序(应用)而显示在显示单元333上。观察者屏幕700是如下的屏幕：显示从多个成像设备2接收到的视频数据，该视频数据是由视频分配单元312存储在存储单元302中的过去的视频数据，并且通过第二再现单元318再现每个指明的判定区域中的图像判定的状态。

如图26所示，观察者屏幕700包括视频显示单元701a至视频显示单元701f，再现按钮703a、暂停按钮703b、快进按钮703c、快退按钮703d、停止按钮705、时间显示按钮706、以及标记列表按钮707。

视频显示单元701a至视频显示单元701f是根据来自用户所操纵的输入单元303的操纵信号来分别显示存储在视频分配单元312中的每个成像设备2的过去的视频数据的显示部。另外，在此，视频显示单元701a至视频显示单元701f显示相同日期和时间的视频数据。另外，在根据用户对于输入单元303的操纵(例如，鼠标108的点击操纵等，以下同样适用)而被按下的情况下，视频显示单元701a至视频显示单元701f能够处于选择状态。此外，在视频显示单元701a至701f被不加区分地提及或统称的情况下，视频显示单元701a至701f将被简称为“视频显示单元701”。

当根据用户对于输入单元303的操纵而按下再现按钮703a时，显示在设置视频显示单元701上的视频数据通过第二再现单元318开始再现。当根据用户对于输入单元303的操纵而按下暂停按钮703b时，再现并且显示在设置视频显示单元701上的视频数据通过第二再现单元318暂时停止。当根据用户对于输入单元303的操纵来按下快进按钮703c时，再现并且显示在设置视频显示单元701上的视频数据通过第二再现单元318经历快进显示。当根据用户对于输入单元303的操纵来按下快退按钮703d时，再现并且显示在设置视频显示单元701上的视频数据通过第二再现单元318经历快退显示。当根据用户对于输入单元303的操纵而按下停止按钮703e时，再现并且显示在设置视频显示单元701上的视频数据通过第二再现单元318停止。

搜索条704是根据设置在搜索条上的滑块705的位置来表示视频数据再现并且显示在视频显示单元701上的时间的棒状体。滑块705是滑动到搜索条704上与再现和显示在视频显示单元701上的视频数据的成像时间(使得所显示的帧成像的时间)对应的位置的主体和操纵部。相反，在滑块705根据用户对于输入单元303的操纵进行滑动的情况下，与滑块705在搜索条704上所处的位置对应的成像时间的视频数据的帧通过第二再现单元318显示在视频显示单元701上。

时间显示单元706是显示通过第二再现单元318再现并且显示在视频显示单元701上的视频数据的成像日期和成像时间的显示部。

当根据用户对于输入单元303的操作而按下标记列表按钮707时，列表控制单元320读取出存储在存储单元302中的标记文件，并且图27中的下面描述的标记列表屏幕800显示标记文件的内容。

在存储单元302中所存储的过去的视频数据通过第二再现单元318显示在观察者屏幕700的视频显示单元701上的情况下，区域显示控制单元319读取出存储单元302中所存储的如下信息：开始和结束图像判定操作(监视操作)的时间的信息，指定每个判定区域的时间的信息，以及在判定区域中执行检测的时间的信息。如图25所示，区域显示控制单元319基于这样的时间信息，通过将帧叠加在再现并且显示在视频显示单元701上的过去的视频数据上，来显示表示每个判定区域的帧。例如，在根据时间信息，每个判定区域被指定的时间早于图像判定操作开始的时间的情况下，区域显示控制单元319从图像判定操作的开始时间起，显示表示每个被指定的判定区域的帧。另外，在视频数据再现并且显示在视频显示单元701上的时间是时间信息的图像判定操作的结束时间的时间点，区域显示控制单元319删除表示每个所显示的判定区域的帧。

另外，如图26所示，在视频数据再现并且显示在视频显示单元701上的时间是时间信息的特定判定区域的触发检测时间或正常检测时间的时间点，区域显示控制单元319以不同于正常状态下的颜色的颜色来显示表示判定区域的帧，并且将该帧显示为比正常状态的帧更粗。具体地，与表示显示在观察者屏幕400上的每个判定区域的帧相同，区域显示控制单元319例如以“蓝色”显示帧，并且将该帧显示为加粗。

另外，如图26所示，在视频数据再现并且显示在视频显示单元701上的时间是时间信息的特定判定区域的异常检测时间的时间点，区域显示控制单元319以不同于正常状态下的颜色的颜色来显示表示判定区域的帧，并且将该帧显示为比正常状态的帧更粗。具体地，与表示显示在观察者屏幕400上的每个判定区域的帧相同，区域显示控制单元319例如以“红色”显示帧，并且将该帧显示为加粗。

在图26中所示的观察者屏幕700的示例中，帧的显示表示在视频显示单元701a的一个全时检测区域中检测到异常。另外，在视频显示单元701f中，帧的显示表示检测到正常，并且在与检测区域536和检测区域537对应的检测区域中检测到异常。

如上所述，根据区域显示控制单元319，基于存储在存储单元302中的每个时间信息项目来控制每个判定区域的帧的显示状态，因此观察者屏幕400上的图像判定操作(监视操作)的状态能够通过过去的视频数据进行再现。因此，用户能够确认针对过去的视频数据而不是实时视频来执行哪个图像判定操作。

此外，视频显示单元701a至视频显示单元701f显示相同日期和时间的视频数据，但是视频数据不限于此，并且例如可以在每个视频显示单元701中设置搜索条、操纵按钮等，并且不同日期和时间的视频数据项目可以显示在视频显示单元701上。

另外，与观察者屏幕400上的图像判定操作相同，即使当图像判定操作再现在观察者屏幕700上时，基于时间信息，在检测区域中检测到异常的时刻和基于闪速检测功能的与特定触发区域对应的检测区域中的所有判定结束的时刻可以分别输出异常检测声音和判定结束声音。

图27是示出在显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上显示标记列表屏幕的状态的示例的示意图。如图27所示，在根据用户对于输入单元303的操纵而按下标记列表按钮707的情况下，列表控制单元320读取出存储在存储单元302中的标记文件，并且显示表示标记文件的内容的标记列表屏幕800。如图27所示，标记列表屏幕800包括检测选择单元801和检测历史显示单元802。

检测选择单元801是用于选择以下列表的任意显示的选择操纵部：基于全时检测功能在全时检测区域的图像判定中检测到异常的日期和时间的列表，或者基于闪速检测功能在触发区域中检测到触发和在检测区域中检测到异常的日期和时间的列表。

检测历史显示单元802是通过检测选择单元801选择的基于全时检测功能进行检测的日期和时间的列表，或者基于闪速检测功能的检测的日期和时间的列表的显示部。图27中所示的检测历史显示单元802表示检测选择单元801选择闪速检测功能，并且显示基于闪速检测功能进行检测的日期和时间的列表。具体地，检测历史显示单元802显示基于闪速检测功能的触发区域和检测区域的区域名称、检测的日期和时间、以及识别对应的成像设备2的名称。

在根据用户对于输入单元303的操纵而按下表示检测历史显示单元802的任何一个判定区域的记录的情况下，列表控制单元320允许第二再现单元318将该记录所表示的日期和时间的视频数据显示在视频显示单元701上。

因此，显示图27中所示的标记列表屏幕800，因此以列表来显示每个检测区域中进行的检测的日期和时间，并且可以易于指定发生问题的时刻，异常发生的起因或趋势等。

(观察者屏幕的图像判定操作的总体流程)

图28是示出在显示在根据本实施例的信息处理设备的显示设备上的观察者屏幕上进行的监视操作的示例的流程图。将参考图28来概括性地描述观察者屏幕400上的图像判定操作(监视操作)的流程。此外，在图28中，基于闪速检测功能的图像判定操作将被描述为示例。

<步骤s11>

视频分配单元312根据来自用户所操纵的输入单元303的操纵信号，将从视频接收单元301获取到的实时视频数据进行排序，并且显示在待显示在显示单元333上的观察者屏幕400的视频显示单元401a至视频显示单元401f上。另外，视频分配单元312将显示在视频显示单元401上的每个视频数据项目存储(记录)在存储单元302中。然后，该过程进行到步骤s12。

<步骤s12>

用户根据输入单元303的操作按下与计划启动图像判定操作(监视操作)的成像设备2对应的视频显示单元401，并且将视频显示单元设置为选择状态。然后，在根据用户对于输入单元303的操作而按下监视开始按钮411的情况下，第一控制单元316启动针对成像设备2的实时视频数据的图像判定操作，其中成像设备2的实时视频数据将待显示在处于选择状态的视频显示单元401上。在针对视频显示单元401启动图像判定操作的情况下，第一控制单元316通过将帧叠加在视频显示单元401的视频数据上，来显示表示设置屏幕500所指明的每个判定区域的帧。此时，第一控制单元316以不同的颜色来显示表示处于正常状态(每个判定区域未被执行检测的状态)的每个判定图像的帧。例如，第一控制单元316以“白色”显示表示触发区域的帧，以“黄色”显示表示检测区域的帧，并且以“绿色”显示表示全时检测区域的帧。另外，第一控制单元316将启动图像判定操作的时间的信息(时间信息)与对应于处于选择状态的视频显示单元401(以下，简称为“视频显示单元401”)的成像设备2相关联地存储在存储单元302中。然后，该过程进行到步骤s13。

<步骤s13>

触发生成单元313从存储单元302获取通过变化点检测单元306检测出的变化点所在的帧的差异图像。然后，触发生成单元313将差异图像与视频显示单元401所指明的触发区域中的视频数据的帧的触发区域中的图像相比较。触发生成单元313将视频数据的帧的触发区域中的图像与变化点所在的帧的差异图像比较，并且在作为像素值相差大于或等于预定灵敏度的像素总数的差值小于预定阈值的情况下，生成(输出)触发信号(检测到触发)(步骤s13：是)。然后，触发生成单元313将图像判定操作生成触发信号的时间的信息(时间信息)与执行图像判定操作的成像设备2相关联地存储在存储单元302中。然后，该过程进行到步骤s14。

另外，在差值不小于预定阈值的情况下(步骤s13：否)，触发生成单元313继续针对差值的判定。

<步骤s14>

在触发生成单元313检测到触发的情况下，第一控制单元316以不同于正常状态下的颜色的颜色来显示表示触发区域的帧，并且将该帧显示为比正常状态下的帧更粗。例如，第一控制单元316以“蓝色”显示表示触发区域的帧，并且将该帧显示为加粗，并且将显示状态持续1秒。然后，第一控制单元316在1秒之后将表示触发区域的帧的显示返回到正常状态的帧的显示。然后，该过程进行到步骤s15。

<步骤s15>

在从触发生成单元313接收到触发信号，然后存在针对检测区域设置的检测延迟时间之后的检测区域的情况下(步骤s15：是)，该过程进行到步骤s16，在相反的情况下(步骤s15：否)，该过程进行到步骤s21。

<步骤s16>

检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域设置的检测延迟时间之后，将检测标准图像与视频数据的帧的检测区域中的图像比较，并且执行在指定的检测区域中是否存在异常的图像判定。具体地，从触发生成单元313接收到与触发区域对应的触发信号的时间点开始，检测区域判定单元314将与检测区域对应的检测延迟时间之后的视频数据的帧的检测区域中的图像与检测标准图像进行比较，并且执行是否存在异常的图像判定。此时，在图像判定中，检测区域判定单元314将检测标准图像与检测区域中的图像进行比较，并且在差异大于或等于属性信息的阈值的情况下，通过检测区域的图像判定来判定存在异常，其中的差异是像素值差别超出或等于检测区域的属性信息的预定灵敏度的像素的总数。然后，检测区域判定单元314将图像判定操作检测到异常或检测到正常的检测时间的信息(时间信息)与执行图像判定操作的成像设备2相关联地存储在存储单元302中。然后，该过程进行到步骤s17。

<步骤s17>

作为检测区域判定单元314的图像判定的结果，在检测到异常的情况下(步骤s17：是)，该过程进行到步骤s18，并且在检测到正常的情况下(步骤s17：否)，该过程进行到步骤s20。

<步骤s18>

在图像判定检测到异常的情况下，检测区域判定单元314将异常检测时间的信息(时间信息)与执行图像判定的成像设备2相关联地存储在存储单元302中。另外，在检测区域中检测到异常的情况下，第一控制单元316以不同于正常状态下的颜色的颜色来显示表示检测区域的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到异常，第一控制单元316以“红色”显示表示检测区域的帧，并且将该帧显示为粗体，并且将显示状态持续1秒。此时，在检测区域判定单元314在检测区域中检测到异常的时刻，通知控制单元317向通知单元334输出异常检测声音持续预定时间(例如，1秒)，该异常检测声音通知检测到异常。然后，第一控制单元316在1秒之后将表示触发区域的帧的显示返回到正常状态的帧的显示。然后，该过程进行到步骤s19。

<步骤s19>

在检测区域判定单元314执行异常的判定的情况下，外部输出单元332向外部设备10输出异常信号。然后，该过程返回到步骤s15。

<步骤s20>

在图像判定操作检测到正常的情况下，检测区域判定单元314将正常检测时间的信息(时间信息)与执行图像判定操作的成像设备2相关联地存储在存储单元302中。另外，在检测区域中检测到正常的情况下，第一控制单元316以不同于正常状态下的颜色的颜色来显示表示检测区域的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到正常，第一控制单元316以“蓝色”显示表示检测区域的帧，将该帧显示为粗体，并且将显示状态持续1秒。然后，第一控制单元316在1秒之后将表示触发区域的帧的显示返回到正常状态的帧的显示。然后，该过程返回到步骤s15。

<步骤s21>

在保留根据触发生成单元313的触发的检测区域的情况下(步骤s21：是)，该过程返回到步骤s15，并且在相反的情况下(步骤s21：否)，该过程进行到步骤s22。

<步骤s22>

在检测区域判定单元314结束根据触发生成单元313的触发进行的检测区域的所有判定的时刻，通知控制单元317向通知单元334输出表示检测区域的图像判定结束的判定结束声音持续预定的时间(例如，0.2秒)。

如上所述，通过重复上述的步骤s13至步骤s22来执行基于闪速检测功能的图像判定操作。

(观察者屏幕的图像判定操作的总体流程)

图29是示出针对在显示在根据本实施例的信息处理设备的显示区域中的观察者屏幕上再现并且显示的视频进行再现图像判定的状态的操作的示例的示意图。将参考图29来概括性地描述再现观察者屏幕700上的图像判定的操作的流程。

<步骤s31>

用户根据对于输入单元303的操纵来设置期望的再现时间(时间)。然后，该过程进行到步骤s32。

<步骤s32>

第二再现单元318根据来自用户所操纵的输入单元303的操作信号，从存储单元302获取从再现时间(时间)开始的被设置的过去的视频数据。在此情况下，在获取到视频数据的情况下(也就是，存在待再现的视频数据的下一帧的情况下)(步骤s32：是)，该过程进行到步骤s33，并且在无法获取过去的视频数据的情况下(也就是，不存在待再现的视频数据的下一帧的情况下)(步骤s32：否)，再现图像判定的状态的操作结束。

<步骤s33>

第二再现单元318将显示从存储单元302获取到的过去视频数据的观察者屏幕700的视频显示单元701a至701f上的对应的视频数据进行排序，并且在显示单元333上进行再现和显示。此时，第二再现单元318根据来自用户所操纵的输入单元303的操纵信号，从用户的期望再现时间(时间)的帧开始，再现并且显示视频数据。然后，该过程进行到步骤s34。

<步骤s34>

在存储单元302中所存储的过去的视频数据通过第二再现单元318显示在视频显示单元701上的情况下，区域显示控制单元319读取出存储单元302中所存储的如下信息：开始和结束图像判定操作(监视操作)的时间的信息，指定每个判定区域的时间的信息，以及在每个判定区域中执行检测的时间的信息。基于这样的时间信息，区域显示控制单元319通过将帧叠加在重现并且显示在视频显示单元701上的过去的视频数据上，来显示表示每个判定区域的帧。例如，在根据时间信息，每个判定区域被指定的时间早于图像判定操作开始的时间的情况下，区域显示控制单元319从图像判定操作的开始时间起，显示表示每个判定区域的指定帧。然后，该过程进行到步骤s35。

<步骤s35>

在视频数据再现且显示在视频显示单元701上的时间是时间信息的特定判定区域的检测时间的情况下(步骤s35：是)，该过程进行到步骤s36，并且该时间不是检测时间的情况下(步骤s35：否)，持续地执行该时间是否为检测时间的确认。

<步骤s36>

在视频数据再现并且显示在视频显示单元701上的时间是时间信息的特定判定区域的检测时间的时间点，区域显示控制单元319以不同于正常状态下的颜色的颜色来显示表示判定区域的帧，并且将该帧显示为比正常状态的帧更粗。然后，该过程返回到步骤s32。

如上所述，通过重复上述步骤s32至步骤s36来执行再现图像判定的状态的操作。

如上所述，表示多个类型的判定区域(在上述实施例中，触发区域、检测区域和全时检测区域中的任何一个)的帧通过叠加在视频数据上显示在显示单元333(视频显示单元401和视频显示单元701)的显示区域。因此，用户能够掌握每个判定区域中执行检测(触发的检测、正常的检测、异常的检测等)的时刻以及检测的内容，然后可以同时掌握多个类型的判定操作的状态。

另外，在显示在显示单元333的显示区域中的多个类型的判定区域中，至少任意一个判定区域以不同的颜色进行显示。因此，可以可视化地掌握判定区域是基于何种判定功能(闪速检测功能和全时检测功能)。

另外，在检测时刻，表示显示在显示单元333的显示区域中的多个类型的判定区域的帧以不同于正常状态下的显示方式进行显示。因此，可以可视地掌握在判定区域执行哪一检测。

另外，可以针对显示单元333的视频显示单元401上所显示的实时视频数据，来表示如上所述的图像判定操作的每个判定区域中的操作的状态。因此，用户可以实时掌握每个判定区域中的操作的状态。

另外，通过实时视频数据的图像判定操作来存储每个时间信息项目，诸如开始和结束图像判定操作(监视操作)的时间的信息，指定每个判定区域的时间的信息，以及在每个判定区域中执行检测的时间的信息。因此，基于时间信息可以再现针对已记录的过去视频数据的图像判定操作的状态。因此，用户确认被再现的图像判定操作，因而能够易于指定发生问题的时刻，异常发生的起因或趋势等。

另外，显示基于上述时间信息的标记文件，并且按时间顺序显示每个判定区域中的检测时间。因此，可以按时间顺序确认每个检测区域中进行检测的日期和时间，并且能够易于指定发生问题的时刻，异常发生的起因或趋势等。

另外，在多个显示区域中显示关于多个成像设备2中的每个成像设备2的实时视频数据或过去视频数据的图像判定的状态。因此，可以同时确认通过每个成像设备2进行成像的视频数据的图像判定的状态。

另外，在判定区域检测到异常的时刻和基于闪速检测功能的与特定的触发区域对应的检测区域中的所有判定结束的时刻分别输出异常检测声音和判定结束声音。因此，可以从听觉上识别出发生异常的时刻和检测结束的时刻。

此外，在本实施例中，已将基于闪速检测功能的触发区域和检测区域，和基于全时检测功能的全时检测区域描述为判定区域的示例，但是判定区域不限于此。例如，图像判定操作可以根据如下的判定区域来执行：基于在生产过程中检测一组操作是否按顺序执行的功能的判定区域，或者基于用于检测产品中所描述的字符、条码等的光学字符识别(ocr)功能的判定区域。

另外，如上所述，通过划分屏幕使得实时视频数据显示在观察者屏幕400并且过去的视频数据显示在观察者屏幕700来执行显示，但是不限于此。也就是，可以在公用的屏幕上实现观察者屏幕400和观察者屏幕700的功能。

另外，在每个显示区域(视频显示单元401和视频显示单元701)中，帧被用作表示每个判定区域的显示要素，但是显示要素不限于此，并且只要显示要素能够表示每个判定区域可以显示任意的显示要素。

另外，在上述实施例中，触发生成单元313生成的触发信号被用作检测区域判定单元314的图像判定的时刻的标准，但是标准不限于此。例如，触发信号可以用作在生产设施侧执行预定处理的时刻的标准，并且在此情况下，可以在生成触发信号的时间点将触发信号发送到生产设施。

<变型例>

图30是示出在显示在根据本实施例的变型例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作生成触发之前的状态的示例的示意图。图31是示出在显示在根据本实施例的变型例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作生成触发的状态的示例的示意图。图32至图37是示出在显示在根据本实施例的变型例的信息处理设备的显示区域中的观察者屏幕上执行的监视操作在监视区域中执行图像判定的状态的示例的示意图。将参考图30至图37，通过使用观察者屏幕400的视频显示单元401f作为示例来详细地描述基于闪速检测功能进行的针对视频数据的图像判定操作(监视操作)。在该变型例中，将描述如下操作：在触发生成单元313检测到与触发区域相关联的一个或多个检测区域的触发的情况下，表示所有检测区域的帧持续处于表示图像判定的结果的显示状态，直至与触发区域相关联的所有检测区域中的全部图像判定结束为止。另外，将描述在检测区域535至检测区域538的属性信息项目中，将检测延迟时间设置为“1.0”秒、“2.2”秒、“2.5”秒、“4.0”秒中的每一个。

首先，在针对视频显示单元401f启动图像判定操作的情况下，第一控制单元316通过将帧叠加在视频显示单元401f的视频数据上来显示表示设置屏幕500上指明的每个判定区域的帧。具体地，如图30所示，视频显示单元401f显示触发区域530、检测区域535至538、以及全时检测区域570。此时，第一控制单元316以不同的颜色来显示表示处于正常状态(每个判定区域未执行检测的状态)的每个判定图像(显示要素的示例)的帧。例如，第一控制单元316以“白色”显示表示触发区域530的帧，以“黄色”显示表示检测区域535至538的帧，并且以“绿色”显示表示全时检测区域570的帧。

接着，如图31所示，在触发生成单元313检测到触发的情况下，第一控制单元316以不同于正常状态下的颜色的颜色来显示表示触发区域的帧，并且将该帧显示为比正常状态下的帧更粗。例如，第一控制单元316以“蓝色”显示表示触发区域530的帧，并且将该帧显示为粗体，并且将显示状态持续1秒。然后，第一控制单元316在1秒之后将表示触发区域530的帧的显示返回到正常状态的帧的显示。

接着，检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域535设置的检测延迟时间的“1.0”秒之后，在检测区域535中执行图像判定。作为判定的结果，在检测到正常的情况下，如图32所示，第一控制单元316以不同于正常状态下的颜色的颜色来显示表示检测区域535的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到正常，第一控制单元316以“蓝色”显示表示检测区域535的帧，并且将该帧显示为粗体，并且持续显示状态。

接着，检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域536设置的检测延迟时间的“2.2”秒之后，在检测区域536中执行图像判定。检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域537设置的检测延迟时间的“2.5”秒之后，在检测区域537中执行图像判定。作为判定的结果，在分别检测到正常的情况下，如图33所示，第一控制单元316以不同于正常状态的颜色来显示表示检测区域536和检测区域537中的每个检测区域的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到正常，第一控制单元316以“蓝色”显示表示检测区域536和检测区域537的帧，并且将帧显示为粗体，并且持续显示状态。在这样的时间点，如图33所示，检测区域535至检测区域537两者都处于检测到正常的显示状态(帧以“蓝色”来显示并且显示为加粗的状态)。

然后，检测区域判定单元314从触发生成单元313接收触发信号，并且在针对检测区域538设置的检测延迟时间的“4.0”秒之后，在检测区域538中执行图像判定。作为判定的结果，在检测到正常的情况下，如图34所示，第一控制单元316以不同于正常状态的颜色来显示表示检测区域538的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到正常，第一控制单元316以“蓝色”显示表示检测区域538的帧，并且将该帧显示为粗体。当这样的时间点时，如图34所示，检测区域535至检测区域538全都处于检测到正常的显示状态(帧以“蓝色”来显示并且显示为加粗的状态)。

然后，在与触发区域530相关联的检测区域中，在待经历图像判定的检测区域538中的图像判定结束于最后时刻之后，第一控制单元316将检测到正常的检测区域536至检测区域538的显示状态持续预定时间(例如，持续1秒)。然后，第一控制单元316在预定时间之后将表示检测区域535至检测区域538的每个帧的显示返回到正常状态下的帧的显示。

另外，在检测区域判定单元314结束根据触发生成单元313的触发进行的检测区域的所有图像判定的时刻(也就是，结束检测区域538中的图像判定的时刻)，通知控制单元317向通知单元334输出预定时间(例如，0.2秒)的表示检测区域的图像判定结束的判定结束声音(在图34中，表示为“嘟嘟声(pip)”)。如上所述，在图32至图34中，将描述在检测区域535至检测区域538的所有图像判定中检测正常的情况。接着，将描述在检测区域535至检测区域538中的任一个中检测到异常的情况。

如图31所示，将描述触发生成单元313检测到触发之后再次检测触发的操作。然后，检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域535设置的检测延迟时间的“1.0”秒之后，在检测区域535中执行图像判定。作为判定的结果，在检测到正常的情况下，如图35所示，第一控制单元316以不同于正常状态的颜色来显示表示检测区域535的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到正常，第一控制单元316以“蓝色”显示表示检测区域535的帧，并且将该帧显示为粗体，并且持续显示状态。

接着，检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域536设置的检测延迟时间的“2.2”秒之后，在检测区域536中执行图像判定。此外，检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域537设置的检测延迟时间的“2.5”秒之后，在检测区域537中执行图像判定。作为判定的结果，在检测区域536中检测到正常的情况下，如图36所示，第一控制单元316以不同于正常状态的颜色来显示表示检测区域536的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到正常，第一控制单元316以“蓝色”显示表示检测区域536的帧，并且将该帧显示为粗体，并且持续显示状态。另外，作为上述判定的结果，在检测区域537中检测到异常的情况下，如图36所示，第一控制单元316以不同于正常状态下的颜色的颜色来显示表示检测区域537的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到异常，第一控制单元316以“红色”显示表示检测区域537的帧，并且将该帧显示为粗体，并且持续显示状态。此时，在检测区域判定单元314在检测区域537中检测到异常的时刻，通知控制单元317向通知单元334输出异常检测声音(在图36中，表示为“嘘声(boo)”)持续预定时间(例如，1秒)，该异常检测声音通知检测到异常。在这样的时间点，如图36所示，检测区域535和检测区域536两者都处于检测到正常的显示状态(帧以“蓝色”进行显示并且显示为加粗的状态)，并且检测区域537处于检测到异常的显示状态(帧以“红色”来显示并且显示为加粗的状态)。

然后，检测区域判定单元314从触发生成单元313接收触发信号，然后在针对检测区域538设置的检测延迟时间的“4.0”秒之后，在检测区域538中执行图像判定。作为判定的结果，在检测到异常的情况下，如图37所示，第一控制单元316以不同于正常状态下的颜色的颜色来显示表示检测区域538的帧，并且将该帧显示为比正常状态下的帧更粗。例如，为了表示检测到异常，第一控制单元316以“红色”显示表示检测区域538的帧，并且将该帧显示为粗体。此时，在检测区域判定单元314在检测区域538中检测到异常的时刻，通知控制单元317向通知单元334输出持续预定时间(例如，1秒)的异常检测声音(在图37中，表示为“嘘声(boo)”)，该异常检测声音通知检测到异常。在这样的时间点，如图37所示，检测区域535和检测区域536两者都处于检测到正常的显示状态(帧以“蓝色”进行显示并且显示为加粗的状态)，并且检测区域537处于检测到异常的显示状态(帧以“红色”来显示并且显示为加粗的状态)。

然后，在与触发区域530相关联的检测区域535至检测区域538中，在待经历图像判定的检测区域538中的图像判定结束于最后时刻之后，第一控制单元316将检测到正常的检测区域535和检测区域536的显示状态持续预定时间(例如，持续1秒)，并且将检测到异常的检测区域537和检测区域538的显示状态持续预定时间(例如，持续1秒)。然后，第一控制单元316在预定时间之后将表示检测区域535至检测区域538的每个帧的显示返回到正常状态下的帧的显示。

另外，在检测区域判定单元314结束根据触发生成单元313的触发进行的检测区域中的所有图像判定的时刻(也就是，结束检测区域538中的图像判定的时刻)，通知控制单元317向通知单元334输出预定时间(例如，0.2秒)的表示检测区域中的图像判定结束的判定结束声音(在图37中，表示为“嘟嘟声(pip)”)。在此情况下，根据检测区域538的图像判定，异常检测声音和判定结束声音通过通知单元334进行重叠并输出，但是这些声音彼此不同(例如，不同音阶，或不同的波形或旋律的声音)，因此用户能够差异性地区分这两个声音。如上所述，在图35至图37中，将描述在检测区域535至检测区域538的所有图像判定中检测到异常的情况。

与上述变型例相同，第一控制单元316继续显示状态直至根据触发生成单元313的触发的检测区域的所有图像判定结束为止，其中的显示状态表示基于闪速检测区域的图像判定区域中的每个检测区域的判定结果。因此，用户可以立即掌握根据触发生成单元313的触发进行的检测区域中的所有图像判定的结果，因而改进便利性。

另外，在本实施例的第一再现单元304、触发区域指明单元305、变化点检测单元306、检测区域指明单元307、设置单元308、全时检测区域指明单元309、视频分配单元312、触发生成单元313、检测区域判定单元314、全时检测判定单元315、第一控制单元316、通知控制部单元317、第二再现单元318、区域显示控制单元319、列表控制单元320、第二控制单元321、以及显示控制单元331中的功能单元的至少任意一个是通过执行程序来实现的情况下，该程序是通过被预先并入到rom等中来提供的。另外，要在本实施例的信息处理设备3中执行的程序可以用于通过以下方式来提供：以可安装格式或可执行格式的文件记录在通过计算机可读取的记录介质，诸如cd-rom、软盘(fd)、cd-r、以及dvd。另外，本实施例的信息处理设备3中执行的程序可以用于存储在连接到诸如互联网的网络的计算机上并且通过经过网络进行下载的方式来提供。另外，本实施例的信息处理设备3中执行的程序可以用于通过诸如互联网的网络进行提供或分发。本实施例的信息处理设备3中执行的程序具有包括上述功能部的至少任意一个功能部的模块配置，并且cpu从作为实际硬件的上述rom读取出程序并且执行，因而上述的每个部可以通过被加载在主存储设备上来生成。

附图标记列表

1图像处理系统

2、2a至2f成像设备

3信息处理设备

4网络

10外部设备

101cpu

102rom

103ram

104外部存储设备

105显示器

106网络i/f

107键盘

108鼠标

109dvd驱动器

110dvd

111外部设备i/f

112扬声器

113总线

301视频接收单元

302存储单元

303输入单元

304第一再现单元

305触发区域指明单元

306变化点检测单元

307检测区域指明单元

308设置单元

309全时检测区域指明单元

312视频分配单元

313触发生成单元

314检测区域判定单元

315全时检测区域确定单元

316第一控制单元

317通知控制单元

318第二再现单元

319区域显示控制单元

320列表控制单元

321第二控制单元

331显示控制单元

332外部输出单元

333显示单元

334通知单元

400观察者屏幕

401、401a至401f视频显示单元

411监视开始按钮

412监视停止按钮

413监视设置按钮

421、421a至421f状态显示单元

500设置屏幕

501相机选择选项卡

502设置视频显示单元

503a再现按钮

503b暂停按钮

503c快进按钮

503d快退按钮

503e停止按钮

504搜索条

505滑块

506时间显示单元

507触发区域信息部分

508a标准图像显示单元

508a差异图像显示单元509检测区域信息部分

510检测区域按钮组

510a动作按钮

510b图像判定选择按钮

510c删除按钮

510e灵敏度提高按钮

510e灵敏度降低按钮

510g阈值提高按钮

510h阈值降低按钮

511设置读取按钮

512设置写入按钮

513设置反映按钮

514关闭按钮

530触发区域

535至538检测区域

540触发标记

551区域选择选项卡

561全时检测区域信息部分

562全时检测区域按钮组

562a动作按钮

562c删除按钮

562e灵敏度提高按钮

562f灵敏度降低按钮

562g阈值提高按钮

562h阈值降低按钮

570全时检测区域

600变化点选择对话

601是按钮

602否按钮

603关闭按钮

610无变化点通知对话

611确定按钮

612关闭按钮

700观察者屏幕

701、701a至701f视频显示单元

703a再现按钮

703b暂停按钮

703c快进按钮

703d快退按钮

703e停止按钮

704搜索条

705滑块

706时间显示单元

707标记列表按钮

800标记列表屏幕

801检测选择单元

802检测历史显示单元

参考文献列表

专利文献

专利文献1：jp2006-78381a