图像处理装置、图像处理系统以及图像处理方法
【技术领域】
[0001] 本发明设及图像处理装置、图像处理系统W及图像处理方法。
【背景技术】
[0002] 图像处理系统被用来对录像机等摄像装置录制的视频数据进行分析，检测并分析 目标物体或视频图像中物体的动作及异常或制作视频。近年，运种用途的图像监视系统的 开发进展显著。例如专利文献1 (JP特开平07-248214号公报）公开的图像监视系统记录检 查对象物的视频，W检查装置发生的信号（例如接近传感器或光电传感器等的检查信号） 为触机，当触机发生时，根据录制的视频数据的帖进行判断图像。专利文献1公开的技术方 案在需要进行图像判断时，在录制了的构成视频数据的帖中，从W往的帖中寻找检查对象 物出现在图像判断的正规位置上的帖，对找到的帖进行图像判断。
[0003] 但是，专利文献1描述的技术方案W检查装置发生的信号为图像判断的触机，因 而存在触机的时机被固定，难W灵活调整时机的问题。
【发明内容】
[0004] 本发明的目的在于，鉴于上述问题，提供一种能够自由生成成为图像判断等时机 基准的触机时机的图像处理装置、图像处理系统、W及图像处理方法。
[0005] 为了达到上述目的，本发明提供一种图像处理装置，其中具备W下模块：显示模 块；重放模块，用于将摄像装置拍摄的视频数据重放显示到所述显示模块上；触机区域指 定模块，用于在显示所述视频数据的所述显示模块的第一显示区域中，指定触机区域；检测 模块，用于W所述触机区域指定模块指定所述触机区域的时间点为基准，在从该时间点出 发的第一规定期间内的所述视频数据中，检测所述触机区域的图像中的变化点，并提取该 变化点的帖中所述触机区域内的图像，作为第一图像；W及，生成模块，用于将显示所述摄 像装置拍摄的视频数据的所述显示模块的第二显示区域中，所述触机区域内的图像与所述 第一图像进行比较，根据比较结果生成触机。
[0006] 本发明的效果在于，能够提供一种能够自由生成成为图像判断等时机基准的触机 时机。
【附图说明】
[0007] 图1是本实施方式设及的图像处理系统的整体构成示意图。
[0008] 图2是第一实施方式的信息处理装置的一例硬件结构模块图。
[0009] 图3是本实施方式的信息处理装置的功能模块图。
[0010] 图4是在本实施方式设及的信息处理装置的显示装置上显示的一例主画面，其中 显示多个实况视频。
[0011] 图5是第一实施方式设及的信息处理装置中显示装置的设定画面上显示视频数 据状态的示意图。
[0012] 图6是在第一实施方式设及的信息处理装置中，在显示装置的设定画面中的视频 显示部上指定触机区域的一例示意图。
[0013] 图7是在第一实施方式设及的信息处理装置中，在显示装置上显示的设定画面上 找到触机区域中的变化点时的一例标记显示的示意图。
[0014] 图8是第一实施方式在触机区域中检测变化点动作的示意图。
[0015] 图9是在第一实施方式设及的信息处理装置中，在显示装置上显示的设定画面上 触机区域中找到两点变化点时的一例显示对话的示意图。
[0016] 图10是在第一实施方式设及的信息处理装置中，在显示装置上显示的设定画面 上触机区域中未找到变化点时的一例显示对话的示意图。
[0017] 图11是第一实施方式设及的信息处理装置的显示装置上显示的设定画面中用来 在视频显示部上指定检测区域的一例示意图。
[0018] 图12是第一实施方式设及的信息处理装置的显示装置上显示的设定画面中用来 在视频显示部上指定第二个检测区域的一例示意图。
[0019] 图13是在第一实施方式设及的信息处理装置的显示装置上显示的设定画面中， 选择用与视频显示部显示的视频数据不同的视频数据设定的触机区域的状态的一例示意 图。
[0020] 图14是在第一实施方式设及的信息处理装置的显示装置上显示的设定画面中， 选择了用与视频显示部显示的视频数据不同的视频数据设定的触机区域之后的状态的一 例示意图。
[0021] 图15是在第一实施方式设及的信息处理装置的显示装置上显示的设定画面中， 指定用与视频显示部显示的视频数据不同的视频数据设定的触机区域的状态的一例示意 图。
[0022] 图16是在第一实施方式设及的信息处理装置的显示装置上显示的设定画面中， 在视频显示部上设定被指定的检测区域的属性信息的一例示意图。
[0023] 图17是在第一实施方式设及的信息处理装置的显示装置上显示的设定画面上改 变视频显示部上指定的检测区域大小的一例状态示意图。
[0024] 图18是在第一实施方式设及的信息处理装置的显示装置上显示的设定画面上改 变视频显示部上指定的触机区域大小的一例状态示意图。
[00巧]图19是在第一实施方式设及的信息处理装置的显示装置上显示的、一例感度设 定预览画面上显示视频数据的状态的示意图。
[0026] 图20是在第一实施方式设及的信息处理装置的显示装置上显示的、感度设定预 览画面上提取图像与检测基准图像之间差分的一例判断结果的示意图。
[0027] 图21是在第一实施方式设及的信息处理装置的显示装置上显示的、在感度设定 预览画面上用不同感度对提取图像与检测基准图像之间差分重新判断的一例判断结果的 不意图。
[0028] 图22是在第一实施方式设及的信息处理装置的显示装置上显示的、在感度设定 预览画面上确认改编后的感度是否合适的一例对话窗口的示意图。
[0029] 图23是在第一实施方式设及的信息处理装置的显示装置上显示的、一例在设定 画面上反映经过感度设定预览画面上改变后的感度的示意图。
[0030] 图24是第一实施方式设及的信息处理装置的显示装置上显示的一例在设定画面 上指定触机区域和检测区域的设定动作流程图。
[0031] 图25是在第一实施方式设及的信息处理装置的显示装置显示的主画面上，经过 触机区域和检测区域指定后状态的示意图。
[0032] 图26是第一实施方式设及的信息处理装置的一例图像判断动作流程图。
[0033] 图27是在第一实施方式设及的信息处理装置的显示装置上显示的主画面上，触 机区域中发生触机时该触机区域的显示状态、W及检测区域在检测时机的显示状态的示意 图。
[0034] 图28是在第一实施方式设及的信息处理装置的显示装置上显示的设定画面中未 能在指定区域中检测到基准图像时出现的一例对话窗口的示意图。
[0035] 图29是用来描述第二实施方式的触机区域中变化点检测动作的示意图。
[0036] 图30是第2实施方式设及的信息处理装置的显示装置上显示的设定画面上指定 触机区域和检测区域的设定动作流程图。
【具体实施方式】
[0037] W下参考附图描述本发明的图像处理装置、图像处理系统、W及图像处理方法的 实施方式。需要指出的是，下述实施方式不对本发明构成限制。实施方式中包含对本发明 领域的技术人员来说为显而易见的、实质相同、W及属于所谓均等范畴的要素。进而，允许 在不脱离下述实施方式的主题范围内，省略、置换、更改、W及组合实施方式中的各种要素。 [00測《第一实施方式》
[0039] <图像处理系统的整体结构〉
[0040]图1是第一实施方式设及的图像处理系统的整体结构示意图。W下参考图1描述 本实施方式设及的图像处理系统1的整体结构。
[0041] 如图1所示，本实施方式的图像处理系统1包含摄像装置2a~2f、信息处理装置 3、W及网络4。
[0042] 摄像装置2a~2f是录像机，用来将来自被摄体的光转换为电信号，拍摄被摄体， 生成W多帖图像数据构成（例如IOFP巧的动画视频数据。例如，摄像装置2a~2f拍摄产 品制造的生产设备，生成视频数据，用来检测产品工作中发生的异常。
[0043] 在此，再不需要区别摄像装置2a~2f的情况下，将运些摄像装置通称为摄像装置 2。图1中的图像处理系统1具有六台摄像装置，但本发明的图像处理系统具有的摄像装置 2的数量并不受此限制。
[0044] 信息处理装置3是个人计算机或工作站等，用来基于摄像装置2拍摄的视频数据 来判断图像。信息处理装置3与制造设备等外设10连接，能够按照例如现场总线规格通信。 关于基于视频数据的图像判断处理将在W下详细描述。
[0045] 网络4采用W太网（注册商标）规格，用来连接摄像装置2a~2f和信息处理装 置 3。网络 4 按照 TCP (Transmission Control Protocol)/IP (Internet Protocol)等协议 进行数据通信。摄像装置2a~2f和信息处理装置3具有用来按照TCP^P协议进行通信 的MC地址，而且还被赋予私人IP地址等IP地址。网络4的具体构成为例如星型配线方 式，用LAN化ocal Area化twork)导线将摄像装置2a~2f和信息处理装置3分别连接到 具有多个端口的开关中转站上
[004引图1所示的网络4 W按照TCP/IP通信为例，但是本发明并不受此限制，例如也可 W采用信息处理装置3-方设有多个GA (Video Gra地ics Array)端子或USB (Universal Serial Bus)端口，多台摄像装置2分别通过VGA导线或USB导线连接信息处理装置。
[0047]《信息处理装置的硬件结构》
[0048]图2是第一实施方式的信息处理装置的一例硬件结构模块图。W下参考图2描述 本实施方式的信息处理装置3的硬件结构。
[0049]如图 2 所示，信息处理装置 3 具备 CPU (Central Processing Unt) 101、ROMI^Read Only Memoir) 102、RAM (Random Access Memoir) 103、外部存储装置 104、显不器 105、网络接 口 106、键盘 107、鼠标 108、DVD值igital Versatile Disc)驱动器 109 W及外设接口 111。
[0050] CPUlOl用来在整体上控制信息处理装置3动作。R0M102是用来保存信息处理装 置3的程序的非易失性存储装置。RAM103是用来作为CPUlOl工作区域的易失性存储装置。
[0051] 外部存储装置104是用来保存摄像装置2拍摄的视频数据和设定信息等各种数据 的皿D(HardDiskDrive)或SSD(SolidStateDrive)等存储装置。
[0052] 显示器105用来显示光标、菜单、窗口、文字或图像等各种信息，也用来显示信息 处理装置3执行图像判断处理应用软件的画面。例如可用CRT(Cathode Ray Tube)显示 器、液晶显示器、等离子显示器或有机化巧lectroluminesence)显示器等作为显示器105。 可W用 VGA 线或 HDMI(注册商标，Hi曲-Definition Multimedia Inte;rface)线等，或者 化hernet线将显示器105连接到信息处理装置3上。
[0053] 网络接口 106是信息处理装置3连接网络4进行数据通信的接口，例如为按照 TCP^P的协议通信的NIC Wetwork Interhce Card)。具体为信息处理装置3经由网络4 和网络接口 106从摄像装置2取得视频数据。
[0054] 键盘107是用来输入文字及数字、选择各种指示和设定信息的输入装置。鼠标108 是用来选择及执行各种指示、选择处理对象、移动光标、W及选择设定信息的输入装置。
[00巧]DVD驱动器109用来控制从可装卸存储媒体如DVDllO读取或写入数据。
[0056] 外设接口111用于图像处理装置3与外设10连接进行数据通信，为例如按照现场 总线规格通信的接口卡。具体为，信息处理装置3经由外设接口 111于外设10进行数据通 信。
[0057] 上述CPU101、R0M102、RAM103、外部存储装置104、显示器105、网络接口 106、键盘 107、鼠标108、DVD驱动器109 W及外设接口 111 W地址线或数据线等母线112连接，互相 能够通信。显示器105 W化hernet线连接时，与网络接口 106相连，按照TCP/IP等协议进 行数据通信。
[005引 < 信息处理装置的模块结构〉
[0059]图3是本实施方式的信息处理装置的功能模块图。W下参考图3描述信息处理装 置3的模块结构。
[0060] 如图3所示，信息处理装置3具备视频收信部301、存储部302、输入装置303、第一 重放部304 (重放模块）、触机区域指定部305 (触机区域指定模块）、变化点检测部306 (检 测模块）、检测区域指定部307 (检测区域指定模块）、设定部308 (设定模块）、第二重放部 309、图像提取部310、差分判断部311、视频分配部312、触机生成部313 (生成模块）、检测 区域判断部314(检测区域判断模块）、显示控制部315、外部输出部316 (外部输出模块）、 显示装置317 (显示模块）。
[0061] 视频收信部301是经由网络4与摄像装置2进行数据通信，从摄像装置2接受视 频数据的功能模块。视频收信部301将收到的视频数据保存到保存部。用图2所示的网络 接口 106实现视频收信部301的功能。为了简化，图3中省略了网络4的说明。
[0062] 存储部302是保存视频数据和各种设定信息等的存储装置。存储部302能够识别 视频收信部301收到的视频数据是哪一个摄像装置2生成的数据之后保存该数据。用例如 图2所示的RAM103或外部存储装置104实现存储部302的功能。
[0063] 输入装置303用来进行让信息处理装置3实行图像处理的操作输入，通过图2所 示的键盘107 W及鼠标108实现。
[0064] 第一重放部304是按照用户操作的输入装置的操作信号，将从存储部302取得的 视频数据送往显示控制部315,让显示控制部315将视频数据重放显示到显示装置317上的 功能部。具体为，第一重放部304将视频数据重放显示到W下图5等描述的显示装置显示 的设定画面500的视频显示部502上。用例如图2所示的CPUlOl执行程序来实现第一重 放部304的功能。
[0065] 触机区域指定部305是按照用户操作输入装置303输入的操作信号，在显示装置 317的视频数据的显示区域（W下在图5中描述的视频显示部502)中指定用来决定触机 时机的触机区域的功能模块。触机区域指定部305将指定的触机区域的信息保存到存储部 302中。在此的触机区域的信息是指，例如视频数据的显示区域中表示触机区域位置的坐标 和触机区域的形状等信息。用图2所示的CPUlOl执行程序来实现触机区域指定部305的 功能。
[0066] 变化点检测部306是具有如下功能的功能部，即在触机区域指定部305指定了触 机区域的情况下，取得在第一重放部304在指定时间点重放显示的视频数据的帖的时间的 前后规定期间内的帖，并计算取得的每一个帖与该帖的前一个帖之间的像素值的差分（第 一差分），进而根据求出的差分，检测触机区域内图像中的变化点。关于变化点将在W下详 述。关于差分的计算，例如比较两个帖触机区域中的像素值，求出像素值达到规定感度W 上差异的像素的数量合计，将该合计作为差分。当帖为黑白图像时，像素值与灰度值一致， 因而还可W比较两个帖之间触机区域中的灰度值，求出灰度值达到规定感度W上差异的像 素数量的合计，将该合计作为差分。而当帖是W RGB像素值构成的图像时，比较R(红）、 G(绿）、B(兰）中任意一种颜色的像素值，而后与上述相同，求出像素值达到规定感度W上 差异的像素的数量合计，将该合计作为差分。进而，对帖的图像实行边缘检测处理，求出边 缘部分的合计，将该合计作为差分。用图2所示的的CPUlOl执行程序来实现变化点检测部 306的功能。
[0067] 检测区域指定部307是按照用户操作输入装置303输入的操作信号，指定检测区 域的功能模块，该检测区域是在显示装置317上视频数据的显示区域（视频显示区域502) 中检测异常的图像判断处理对象。检测区域指定部307将指定的检测区域的信息保存到存 储部302中。在此的检测区域的信息是指，例如视频数据的显示区域中表示检测区域位置 的坐标和检测区域的形状等信息。此外，如W下将要描述的，检测区域指定部307可W在视 频数据的显示区域中指定多个检测区域。用图2所示的的CPUlOl执行程序来实现检测区 域指定部307的功能。
[0068] 设定部308是按照用户操作输入装置303输入的操作信号，设定设定信息并将设 定信息保存到保存部的功能模块。设定部308还将存储部302中的设定信息中需要显示的 信息送往显示控制部315,让显示控制部315将设定信息显示到显示装置317上。用图2所 示的的CPUlOl执行程序来实现设定部304的功能。
[0069] 第二重放部309是按照用户操作的输入装置的操作信号，将从存储部302取得的 视频数据送往显示控制部315,让显示控制部315将视频数据重放显示到显示装置317上的 功能部。具体为，第二重放部309用来在W下图19等所示的显示装置317上的感度设定预 览画面700的视频显示部702上，重放显示视频数据。用图2所示的的CPUlOl执行程序来 实现第二重放部309的功能。
[0070] 图像提取部310是从第二重放部309重放显示的视频数据的显示区域（视频显示 部702)中，提取与检测区域指定部307指定的检测区域对应的部分的图像（提取图像）的 功能模块。用图2所示的的CPUlOl执行程序来实现图像提取部310的功能。
[0071] 差分判断部311是用来计算在检测区域指定时间的检测区域的图像，即检测基准 图像，与图像提取部310提取的提取图像之间的差分的功能模块。依照上述变化点检测部 306计算方法来进行差分计算。用图2所示的的CPUlOl执行程序来实现差分判断部311的 功能。
[0072] 视频分配部312是按照用户操作的输