影像监视系统以及影像监视装置的制作方法

本发明涉及影像监视系统以及影像监视装置。

背景技术：

通常，在车站或建筑物等的监视业务中，为了削减人员费而在被监视一侧的被监控站点不配置常驻的警备员而设置监视摄像机或摄像机图像的存储装置。

并且，监视人员使用个人电脑等终端装置，从车站的监视点或建筑物业主的事务所等进行监视的一侧即监视站点进行车站和建筑物的监视业务。

另外，当被监视站点有非法进入时、当进入者滞留在被监视站点的禁止进入区域(例如违章停车区域)时，监视人员联系保安公司或巡逻负责人，使其移动到被监视站点进行对应。

专利文献1中公开一种系统，当在拍摄特定区域及其周边区域，从其影像数据获知有进入特定区域并且进入者滞留在特定区域时，检测这些情况，并使终端显示警报。

通常，在具备被监视站点的非法进入和机器故障等的远程监视功能的影像监视系统中，摄像机的高度位于2～3m的位置，因此在根据非法进入发生时、机器故障发生时的图像来确认现场的异常状况时，担心难以掌握大范围的状况。

另外，摄像机的高度为2～3m，因此在设定进入的检测区域时，对从上方倾斜的影像设定检测区域，因此会有错误检测变多的问题。

专利文献1：日本特开2008-152736号公报

技术实现要素：

本发明是根据上述的现有技术的实际状况进行的，其目的为提供能够掌握非法进入被监视站点和被监视站点的设备故障等有关的异常状况的详细信息并且能够准确进行检测区域的设定的影像监视系统以及影像监视装置。

为了解决上述问题，本发明的影像监视系统包括进行被监视站点的拍摄的多个监视摄像机、显示被监视站点的影像的监视终端以及处理由监视摄像机拍摄的影像的管理服务器。

而且，管理服务器具备：图像合成部，其使用多个监视摄像机的图像来合成被监视站点的图像而生成合成图像；以及检测区域受理部，其将该图像合成部所生成的合成图像输出给监视终端，并受理进行检测的区域的指定。

进一步，还具备：检测部，其通过与检测区域对应的监视摄像机的影像来判定所受理的检测区域是否产生了异常；以及输出部，其在检测部判定为检测区域产生了异常时，将用于判定的监视摄像机的影像和使用用于判定的监视摄像机的影像而生成的合成图像输出给监视终端。

根据本发明的影像监视系统，通过迅速地跟踪非法进入者、在合成图像上设定禁止进入区域，能够设定更准确的进入检测区域。

通过以下实施方式的说明能够更加明确上述以外的课题、结构以及效果。

附图说明

图1是表示本发明实施例的影像监视系统的整体结构的概要图。

图2是表示本发明实施例的影像监视系统的被监视站点侧的摄像机设置位置的图像。

图3a、图3b是表示本发明实施例的影像监视系统的监视站点侧的终端装置的监视画面的图像。

图4a表示本发明实施例的影像监视系统所使用的管理服务器的硬件结构。

图4b表示本发明实施例的影像监视系统的监视站点使用的监视终端的硬件结构。

图5a、图5b是在本发明实施例的影像监视系统的监视画面中多个图像合成用摄像机的单体图像和将其进行合成的图像的图。

图6a、图6b是在本发明实施例的合成了影像监视系统的图像合成用摄像机的图像后的合成图像上设定相应的监控用摄像机的检测区域和禁止进入区域的画面的图像。

图7表示本发明实施例的影像监视系统所使用的数据库中的检测区域存储表的数据结构。

图8表示本发明实施例的影像监视系统所使用的数据库中的通知存储表的数据结构。

图9是本发明实施例的影像监视系统中的监视站点侧的终端装置的检索画面的图像。

图10是表示本发明实施例的影像监视系统中的管理服务器与被监视站点侧的记录装置之间的处理流程的时序图。

附图标记的说明

1～1n：被监视站点(例子：建筑物)、2：网络线路、3：通信装置(被监视站点侧)、4a～4c：图像合成用摄像机、5a～5c：监控用摄像机、6：记录装置、7：管理服务器、8：通信部、9：控制部、10：图像合成部、11：定时收集部、12：进入检测部(检测部)、13：数据库、13a：现场信息存储表、13b：ip地址存储表、13c：图像存储表、13d：检测区域存储表、13e：通知存储表、15～15m：监视站点、16：监视终端。

具体实施方式

<影像监视系统的整体结构>

图1是表示本例的用于监视建筑物等设备的影像监视系统的整体结构的概要图。另外，图2是设置在被监视站点的建筑物1上的图像合成用摄像机4a～4c以及监控用摄像机5a～5c的设置位置的图。

如图1所示，本例的影像监视系统中，由建筑物等多个被监视站点1～1n经由形成广域网络网的网络线路2与管理图像数据的管理服务器7连接。通过管理服务器7集合的图像数据能够在多个监视站点15～15m中进行监视。另外，在以后的说明中，总称被监视站点1～1n为被监视站点1(或建筑物1)，总称监视站点15～15m为监视站点15。n以及m是自然数，两者可以一致，也可以不同。

该被监视站点1具有进行与网络线路2的连接的通信装置3、图像合成用摄像机4a～4c、监控用摄像机5a～5c、记录这些图像合成用摄像机4a～4c以及监控用5a～5c的图像数据的记录装置6。另外，在以后的说明中，也会总称图像合成用摄像机4a～4c和监控用摄像机5a～5c为监视摄像机4、5。

如图2所示，图像合成用摄像机4a～4c为了取得大范围的影像，被设置在建筑物等被监视站点1的屋顶上等具有高度的位置上。对此，监控用摄像机5a～5c以抑制犯罪的效果为目标，以检测进入者作为目的，因此设置在人能够观察到的位置即2～3m的高度。

另一方面，管理服务器7具备进行与网络线路2的连接的通信部8、对各部传达指令的控制部9、存储被监视站点1的信息和从监视站点发送来的图像数据的数据库13。另外，管理服务器7具备图像合成部10、定时收集部11以及进入检测部12。控制部9除了控制数据库13外，还控制图像合成部10、定时收集部11以及进入检测部12。

图像合成部10除了合成来自图形合成用摄像机4a～4c的图像数据之外，还在该合成图像上合成来自监控用摄像机5a～5c的图像数据。定时收集部11按照预定的定期间隔来收集被记录在监视站点1的记录装置6中的图像数据。另外，进入检测部12通过监控用摄像机5a～5c来检测是否有人进入了后述的禁止进入区域。这里，进入检测部12如后所述，具备检测在通过图像合成部10合成的被监视站点1的监测区域中是否产生了除了进入以外的任何异常的功能，所以也能够简单地称为“检测部”。

数据库13具备现场信息存储表13a、ip地址存储表13b、图像存储表13c、检测区域存储表13d以及通知存储表13e等存储区域。

被监视站点1经由网络线路2将通过图像合成用摄像机4a～4c拍摄到的图像或通过图像合成用摄像机4a～4c拍摄并保存在记录装置6中的图像数据从通信装置3发送给管理服务器7。管理服务器7通过通信部8从被监视站点1接收图像数据，并在控制部9的控制下通过图像合成部10进行处理后存储在数据库13的图像存储表13c中。

这里通信部8具有不仅接收被监视站点1的图像，还将通过图像合成部10合成的图像发送给监视站点15的功能。可以说，具有管理服务器7的输入输出功能。即，通信部8具有接收监视摄像机4、5的影像的输入部的功能，并且如后述那样具有输出部的功能：当被监视站点1产生了异常时，使用用于判定的监视摄像机4、5的图像和使用监视摄像机的图像而生成的合成图像输出给监视站点16。

现场信息存储表13a中例如存储被监视站点1的建筑物的名称、建筑物所在的区域的名称以及建筑物所在地等现场的信息。在ip地址存储表13b中存储用于区别被监视站点1～1n的ip(internetprotocol互联网协议)地址。

图像存储表13c中存储通过被监视站点1的图像合成用摄像机4a～4c以及监控用摄像机5a～5c拍摄的图像或被记录在被监视站点1的记录装置6中的图像。

另外，检测区域存储表13d中存储预先决定的垃圾堆、停车场等需要监视的检测区域和禁止进入区域(图6a、图6b后述)。通知存储表13e中存储了有人进入到禁止进入区域时的时刻以及此时通过图像合成用摄像机4a～4c以及监控用摄像机5a～5c拍摄的缩略图图像。

另一方面，在监视站点15设置能够与网络线路2连接的个人电脑或移动电话终端等监视终端16。

这里，通过管理服务器7的图形合成部10生成的合成图像通过控制部9被发送给监视站点15的监视终端16。然后，通过监视终端16在发送来的合成图像上指定用于检测进入者的检测区域(后述的图6a、图6b的16aa、16ab、16ac)。

管理服务器7的控制部9受理监视终端6的检测区域的指定，将在通过图像合成部10所合成的合成图像上指定的检测区域存储在数据库13的检测区域存储表13d中，并且在图像存储表13c中存储明示了检测区域的合成图像。该管理服务器7的控制部9进行的一系列动作作为“检测区域受理部”发挥功能。

图3a、图3b是表示监视终端16的画面图像的图。在一个画面16a上显示来自被监视站点1的多个图像合成用摄像机4a～4c的图像，因此例如如图3a、图3b所示，在监视终端16的显示画面设置4个图像显示区域16a1～16a4。各个图像显示区域16a1～16a4是用于显示作为单体摄像机的图像合成用摄像机4a～4c的图像的区域。如本例那样，如果图像合成用摄像机是3台，则在显示画面16a1～16a3分别显示来自摄像机的图像，在显示画面16a4上什么都不显示。

另外，在监视终端16的显示画面16a上设置图像检索按钮16a5和图像合成按钮16a6。通过点击图像合成按钮16a6，作为显示画面16a的图像得到将单体摄像机(合成用摄像机4a～4c)的图像16a1～16a3进行合成后的合成图像16a7。如果显示合成图像16a7，则如图3b的图像合成后的画面所示，图像合成按钮16a6变成分割画面按钮16a6，在该状态下，如果按下分割画面按钮16a6，则切换为分割后的单体摄像机的图像显示画面16a1～16a4。

<影像监视系统的被监视站点以及管理服务器的硬件结构>

图4a表示本例的影像监视系统所使用的管理服务器7的硬件结构，图4b表示本例的影像监视系统所使用的监视终端16的硬件结构。

如图4a、图4b所示，管理服务器7具备与总线20连接的cpu(centralprocessingunit中央处理单元)21、rom(readonlymemory只读存储器)22、ram(randomaccessmemory随机存取存储器)23以及非易失性存储装置24。另外，还具备用于与外部进行通信的通信部i/f(接口)25。

cpu21从rom21读出实现本例的影像监视系统有关的管理服务器7的各部的功能的软件程序代码并执行。在管理服务器7内进行的运算处理过程中产生的变量等被暂时写入到ram22中。cpu21执行记录在rom22中的程序代码，从而实现管理服务器7内的各种功能。

非易失性存储装置24与图1的数据库13对应，由ssd(solidstatedrive固态硬盘)等非易失性存储器构成。在rom22和非易失性存储装置24中半永久性地存储并保存有cpu21进行动作所需要的程序和数据等。另外，在非易失性存储装置24中形成图1所说明的现场信息存储表13a、ip地址存储表13b、图像存储表13c、检测区域存储表13d以及通知存储表13e的各个存储区域。

作为通信部i/f(接口)25，例如使用nic(networkinterfacecard网络接口卡)等，通过该通信部i/f25进行与被监视站点1以及监视站点15的监视终端16的通信。

图4b表示设置在监视站点15的监视终端16的硬件结构。图4b所示的cpu31、rom32、ram33与图4a所示的cpu21、rom22、ram23相同，所以这里省略说明。

图4b所示的监视终端16的非易失性存储装置34的结构与智能手机等所具备的ssd等非易失性存储器的结构相同，在该非易失性存储装置34中半永久性地存储并保存有cpu31进行动作所需要的程序和数据等。

通信部i/f35是用于将监视终端16与网络线路2连接的接口。

另外，在监视终端16中设置输入部36和显示部37。输入部36例如是为了操作后述的画面合成或显示画面的切换等所使用的输入图标等。另外，显示部37用于在图5a、图5b、图6a、图6b显示后述的摄像机单体的图像数据或合成图像数据。

在本例的影像监视系统中，在管理服务器7内进行来自所有监视摄像机4、5的图像的合成处理。对此，监视站点15侧的监视终端16的非易失性存储装置34中设置现场信息存储表13a、ip地址存储表13b、图像存储表13c、检测区域存储表13d以及通知存储表13e的各个存储区域，可以通过监视终端16进行与管理服务器7同样的图像处理。此时，监视终端16作为影像监视装置发挥功能。

<影像监视系统的监视画面的图像的说明>

图5a、图5b表示监视终端16的显示画面16a的概要。在显示画面16a中对显示了图5a所示的图像合成用摄像机4a～4c的各个图像的例子(16a1～16a3)与图5b所示的这3个图像的合成图像(16a7)并进行切换显示。

在图5a、图5b的例子中，在画面显示区域16a1～16a3显示通过图像合成用摄像机4a～4c拍摄的各自的图像。在合成这些图像时，除了使用在画面显示区域16a1～16a3显示的图像以外，也使用被预先存储在管理服务器7的图像存储表13c中的从上空观察到的建筑物等被监视站点1的图像。因此，在图5b所示的显示区域16a7中以如从上空拍摄到的一张拍摄图像那样显示通过3个图像合成用摄像机4a～4c拍摄的图像的合成图像。

图6a用虚线16aa、16ab、16ac表示通过进入检测用的监控用摄像机5a～5c检测的区域(检测区域)。图6a所示的检测区域16aa、16ab、16ac与通过监控用摄像机5a～5c拍摄到的区域不一定要一对一对应。当检测区域的范围较宽时(例如16aa)，通过多个监控用摄像机覆盖一个检测区域的监视。

该监控用摄像机5a～5c进行监视的种类中考虑有例如向垃圾场非法丢弃的监视、违规停车的监视、长时间坐在特定场所等的监视。在第一个垃圾场的监视例中，分析将垃圾扔到垃圾场的人的行为，并考虑例如检测从公寓等的外部进入的人进行的非法丢弃并进行图像显示。

另外，考虑通过建筑物1等的俯瞰图像来拍摄在特定区域停车预定时间以上的车的车牌并进行显示。进一步，检测在特定的时间段滞留预定时间以上的人，也能够取得久坐的记录图像。另外，在该久坐的记录图像中考虑排除站立的人和孩子是恰当的。

另外，如图6b所示，在图像合成画面16a7上设定禁止进入区域16ad，由此能够预先登记该禁止进入区域16ad与监视区域16aa、16ab、16ac的哪里对应。

禁止进入区域16ad也会有由一台监控用摄像机不一定能够覆盖的情况。这种情况下能够通过多台监控用摄像机，例如监控用摄像机5a和5b这2台来进行监视。图6b所示的禁止进入区域16ad偶尔会位于图6a所示的检测区域16ab的范围内。这种情况下，仅1台主要监视检测区域16ab的监控用摄像机5b就能够监视禁止进入区域16ad。

<影像监视系统中使用的数据库的数据结构>

图7表示图1的数据库13的检测区域存储表13d的数据结构。检测区域存储表13d具有检测区域字段13d1、影像字段13d2、监控用摄像机1字段13d3、监控用摄像机2字段13d4、……、监控用摄像机n字段13d5。作为监控用摄像机1～监控用摄像机n，图1所示的3台监控用摄像机5a～5c说到底为一个的例子，这里作为一般化，表示能够适用于多台(n个)监控用摄像机的情况。

检测区域字段13d1表示预先登记的检测区域，即通过监控用摄像机5a～5c(图7中为监控用摄像机1～n)的1台或多台检测出的区域。例如图6a的区域16aa、16ab、16ac相当于检测区域a、b、……。

影像字段13d2是存储图像合成用摄像机4a～4c的合成图像的区域。图7中，禁止进入区域16ad中存储与第一行的检测区域a和第二行的检测区域b双方共通的合成图像a。即，该合成图像a相当于图5b所示的合成图像16a7，表示所监视的被监视站点1即建筑物是共用的。

监控用摄像机1字段13d3中将通过第一监控用摄像机1(图1中为监控用摄像机5a)拍摄到的图像作为监控用摄像机1a进行保存。另外，监控用摄像机2字段13d4中将通过第二监控用摄像机2(图1中为监控用摄像机5b)拍摄到的图像作为监控用摄像机1b进行保存。同样，监控用摄像机n字段13d5中保存通过第n个监控用摄像机n拍摄到的图像。

这里，图7的第一行检测区域a的监视表示仅通过监控用摄像机1拍摄到的图像(监控用摄像机1a)能够进行覆盖。但是，表示为了监视图7的第二行的检测区域b需要通过监控用摄像机1拍摄到的图像(监控用摄像机1a)和通过监控用摄像机2拍摄到的图像(监控用摄像机1b)这2个图像。

图8表示图1的数据库13的通知存储表13e的数据结构。通知存储表13e具有产生日期时间字段13e1、检测区域字段13e2、合成图像缩略图字段13e3以及监控用摄像机缩略图字段13e4。

产生日期时间字段13e1中存储了有人进入了禁止进入区域16ad的日期时间。例如，图1所示的管理服务器7的进入检测部12如果检测到有人进入了图5b所示的禁止进入区域16ad时，在产生日期时间字段13ed1中存储进入的产生日期时间。在图8的第一行的例子(13e5)中，在产生日期时间字段13ed1中存储“2017/07/1310：30：20”的数字。这表示在2017年7月13日10点30分20秒有人进入了图6b所示的禁止进入区域16ad的事实。

同样，在图8的第二行的例子(13e6)中，表示在2017年7月20日11点30分25秒有人进入了禁止进入区域16ad。图8的第一行(13e5)以及第二行(13e6)的检测区域字段13e2都是检测区域a，表示有人进入了建筑物1的相同的检测区域a的情况。另外，图8的检测区域字段13e2与图7的检测区域字段13d1相同。

例如如第一行(13e5)所示，合成图像缩略图字段13e3中存储与检测区域字段13e2的检测区域a对应的合成图像a的缩略图图像。这里如图9的16ab8所示，缩略图图像是将合成图像a(图5a、图5b所示的合成图像16a7)缩小后的图像，合成图像缩略图字段13e3中将通过图像合成用摄像机4a～4c以预定的时间间隔拍摄到的多张合成图像作为缩略图进行存储。同样，在监控用摄像机缩略图字段13e4中将通过监控用摄像机5a～5c中的一个摄像机例如监控用摄像机5a拍摄到的多个图像(监控用摄像机1a)作为缩略图图像进行存储。

另外，在图8的最后一行(13e7)中表示在2017年7月23日11点30分25秒有人进入了与相同的建筑物1内的检测区域a不同的监测区域b，并且将通过监控用摄像机5c拍摄到的图像监控用摄像机1c保存为缩略图图像的情况。

图9表示在按下了图3的图像检索按钮16a5时所显示的数据检索画面16ab。图9所示的数据检索画面16ab中设置有实时显示按钮16ab1。如果按下实时显示按钮16ab1，则迁移到图5b所示的合成图像的画面。

另外，在数据检索画面16ab中设置用于将通过定时收集部11收集到的数据作为检索结果进行显示的期间检索按钮16ab2、收集到的数据的期间的开始日期时间以及输入结束日期时间的按钮16ab4和16ab5。进一步设置用于切换为在通过进入检测部12进行进入检测时所显示的画面的进入检测检索按钮16ab3。

另外，在数据检索画面16ab中除了设置用于显示检索结果的区域16ab8，还设置用于选择是显示图5b所示的合成画面16a7的缩略图还是显示监控用摄像机5a～5c的缩略图的显示切换按钮16ab6。另外，设置用于执行这些缩略图图像检索的检索按钮16ab7。

<影像监视系统的控制动作的说明>

图10是表示本例的影像监视系统各部的动作处理的步骤的流程图。

如图10所示，首先判断管理服务器7的控制部9内的定时收集部11从进行了上次的定时收集后的时刻开始是否经过了一小时(步骤sa1)。当在步骤sa1判断为经过了一小时的情况下(步骤sa1为是)，管理服务器7的定时收集部11经由通信部8对作为被监视站点的建筑物1的记录装置6请求图像数据(步骤sa2)。

受理该请求后，在建筑物1的记录装置6侧接收到图像的请求(步骤sb1)后，进行现场图像的取得(步骤sb2)。然后，将取得的现场图像经由网络4从通信装置3发送给管理服务器7(步骤sb3)。

接着，管理服务器7接收来自建筑物1的记录装置6的图像(步骤sa3)，在数据库13的图像存储表13c中存储现场图像。另外，管理服务器7的定时收集部11在控制部9的控制下，例如生成每10分钟的缩略图图像，并存储在数据库13的图像存储表13c中(步骤sa4)。

接着管理服务器7的控制部9启动进入检测部12，并判断是否有人进入了预先决定的禁止进入区域16ad(参照图6a、图6b)(步骤sa5)。当在步骤sa5中判断为有进入时(步骤sa5为是)，进入检测部12将产生日期时间及其检测区域存储在管理服务器7的数据库13的通知存储表13e中。例如，进入检测部12如图8的第一行(13e5)所示，在产生日期时间字段13d1中存储为“2017/07/1310：30：20”，在检测区域字段13e2中存储为“检测区域a”。

另外，进入检测部12参照图7的检测区域存储表13d，在合成图像缩略图字段13e3中存储为“合成图像a”，并在监控用摄像机缩略图字段13e4中存储监控用摄像机5a的图像“监控用摄像机1a”。

另一方面，在通过步骤s5判断为没有人进入到检测区域中时(步骤sa5为否)，控制部9结束处理。

根据以上所说明的本例的影像监视系统，管理服务器7中的控制部9经由网络2接收来自被设置在监视站点15的监视终端16的图像数据请求。然后，再预先决定的时间通过管理服务器7的定时收集部11从设置在被监视站点1的记录装置6提取摄像机图像，并存储在数据库13中。之后，控制部9启动进入检测部12，判断是否有人进入预先决定的禁止进入区域16ad。然后，当判断为有人进入禁止进入区域16ad时，在数据库13的通知存储区域13d中存储进入的产生日期时间等。

这样，在设置在监视站点15～15n的监视终端16的画面上，监视员能够使用分割画面16a1～16a4、合成图像显示16a7来进行监视。另外，使用图9所示的数据检索画面16ab来进行检索，监视员能够通过显示切换按钮16ab6对合成画面的缩略图的检索结果和所对应的监控用摄像机缩略图进行切换显示来确认。这样，例如能够把握车牌、人脸等的更详细的信息。

上述的各个结构、功能、处理部、处理单元等其一部分或全部例如能够通过由集成电路进行设计等由硬件来实现。另外，上述各个结构、功能等也可以通过处理器解释并执行用于实现各功能的程序由软件来实现。实现各个功能的程序、表、文件等信息能够放在存储器、硬盘、ssd(solidstatedrive固态硬盘)等记录装置或ic卡、sd卡、dvd等记录介质中。

另外，控制线或信息线表示认为说明上需要的内容，不限于表示产品上必需的所有控制线和信息线。实际上可以认为几乎所有的结构相互连接。

另外，本发明不限于说明书或附图公开的实施例，只要不脱离专利请求书所记载的内容，当然包括其他的应用例以及变形例。