侵入检测系统及侵入检测方法与流程

本发明涉及侵入检测系统及侵入检测方法。

背景技术：

以往，从安全的观点出发，已研究了在高速道路或车站的站台之类的场所导入侵入检测系统，该侵入检测系统使用监视相机来检测人物等对于侵入禁止区域的侵入。

例如在专利文献1中公开了如下方法：由拍摄装置(监视相机)拍摄高速道路等道路，检测在拍摄到的图像中出现的被拍摄体，在检测出的被拍摄体朝向规定区域的侵入符合预先决定的多个侵入模式中的任一个侵入模式的情况下，检测为被拍摄体已侵入到规定区域。

现有技术文献

专利文献

专利文献1：日本专利第6185779号公报

技术实现要素：

但是，在使用监视相机拍摄到的图像来检测侵入的情况下，侵入检测的精度容易受到与作为检测对象的人物之间的距离、进行侵入检测的场所的日照波动及天气等影响，因此，有可能无法保证足够的检测精度。

本发明的非限制性的实施例有助于提供融合相机和雷达这两个传感器装置来进行高精度的侵入检测的侵入检测系统及侵入检测方法。

本发明的一个实施例的侵入检测系统包括：相机，其对监视区域进行拍摄来产生图像数据；毫米波雷达，其对所述监视区域中所含的扫描区域进行扫描来产生毫米波数据；以及信息处理服务器，其与所述相机及所述毫米波雷达连接来获取所述图像数据及所述毫米波数据，所述信息处理服务器包括：数据同步部，其以使所述图像数据的产生时机与所述毫米波数据的产生时机之差达到一定值以下的方式，使所述图像数据和所述毫米波数据同步；判断部，其基于所述毫米波数据，判断是否存在向所述扫描区域中所含的检测区域侵入的物体；以及画面产生部，其以使已同步的所述图像数据和所述毫米波数据对应起来的方式，产生表示所述判断部的判断结果的监视画面。

本发明的一个实施例的侵入检测方法包括以下的步骤：对检视区域进行拍摄；从相机获取所产生的图像数据；对所述监视区域中所含的扫描区域进行扫描；从毫米波雷达获取所产生的毫米波数据；以使所述图像数据的产生时机与所述毫米波数据的产生时机之差达到一定值以下的方式，使所述图像数据和所述毫米波数据同步；基于所述毫米波数据，判断是否存在向所述扫描区域中所含的检测区域侵入的物体；以及以使已同步的所述图像数据和所述毫米波数据对应起来的方式，产生表示判断结果的监视画面。

应予说明，这些广泛或具体的方式可由系统、集成电路、电脑程序或记录介质实现，也可由系统、装置、方法、集成电路、电脑程序及记录介质的任意的组合实现。

根据本发明的一个实施例，有助于提供融合相机和雷达这两个传感器装置来进行高精度的侵入检测的侵入检测系统及侵入检测方法。

本发明的一个实施例中的更进一步的优点及效果将由说明书及附图清楚呈现。上述优点和/或效果分别由若干个实施方式以及说明书及附图所记载的特征提供，但未必需要为了获得一个或一个以上的相同的特征而全部提供。

附图说明

图1是表示本发明的一实施方式的侵入检测系统的结构的一例的图。

图2是表示本发明的一实施方式的信息处理服务器的结构的一例的图。

图3是表示本发明的一实施方式的信息处理服务器的处理的一例的流程图。

图4是表示本发明的一实施方式中的设定模式时的显示画面的例子的图。

图5是表示显示于图4所示的各区域的画面的一例的图。

图6是表示本发明的一实施方式中的侵入检测模式时的显示画面的例子的图。

图7是表示显示于图6所示的各区域的画面的一例的图。

图8是表示本发明的一实施方式中的过去侵入检测信息确认模式时的显示画面的例子的图。

图9是表示显示于图8所示的各区域的画面的一例的图。

具体实施方式

以下，适当参照附图来详细地说明实施方式。但是，有时会省略过于详细的说明。例如，有时省略已广为人知的事项的详细说明或对于实质上相同的结构的重复说明。原因在于：避免以下的说明无必要地变得冗长，使本领域技术人员容易理解。

此外，提供附图及以下的说明的目的在于使本领域技术人员充分理解本发明，并无由此对权利要求书所记载的主题进行限定的意图。

(一实施方式)

＜侵入检测系统的结构＞

图1是表示本实施方式的侵入检测系统1的结构的一例的图。侵入检测系统1包括多个相机2、多个毫米波雷达3、信息处理服务器(控制装置)4及远程监视pc(personalcomputer，个人电脑)5。在本实施方式中，列举侵入检测系统作为一例进行说明，该侵入检测系统检测人对于规定区域的侵入，该规定区域是对车辆、行人等通行的道路设定的区域。

此外，进行侵入检测的场所不限于道路，例如也可以是停车场、铁路道口、车站的站台、公共设施、工厂、港口、机场、河床之类的场所。另外，侵入检测对象不限于人，也可以是车辆、船、飞机、动物等。另外，以下，也可以将进行侵入检测的地点适当地记载为“监视地点”。

相机2及毫米波雷达3经由网络n1与信息处理服务器4连接。网络n1可以是无线网络，也可以是有线网络，还可以是包含无线和有线的网络。

信息处理服务器4经由网络n2与远程监视pc5连接。网络n2可以是无线网络，也可以是有线网络，还可以是包含无线和有线的网络。

相机2例如设置在道路周边的构造物(例如用于设置道路标志的标志杆)的上方。相机2拍摄包含道路在内的道路周边的区域。此外，也可将相机2的拍摄范围即包含道路在内的道路周边的区域记载为“监视区域”。

相机2产生已拍摄的图像的数据(图像数据)，并向信息处理服务器4发送已拍摄的图像数据。发送的图像数据中包含表示图像数据的产生时机(例如，时刻)的时刻信息。此外，时刻信息所表示的时刻也可以是相机2进行拍摄的时刻。另外，相机2例如也可以帧为单位，向信息处理服务器4发送图像数据。另外，相机2所拍摄的图像也可记载为“相机图像”。另外，例如也可将规定相机图像的横方向和纵方向的坐标系记载为”相机坐标系”。例如基于相机2的设置位置、相机2的朝向及相机2的视角来规定相机坐标系。

毫米波雷达3例如设置在道路周边的构造物的上方。毫米波雷达3对道路周边发送毫米波频段的雷达信号，并接收雷达信号被道路周边的物体反射而成的反射信号。此外，毫米波雷达3向多个方向依次发送雷达信号，由此，对道路周边进行扫描。也可将毫米波雷达3的雷达信号的扫描范围记载为“扫描区域”。

毫米波雷达3例如基于雷达信号的发送时刻与反射信号的接收时刻之间相差的时间、雷达信号的发送方向、反射信号的接收强度及反射信号的多普勒频率(dopplerfrequency)中的至少一个信息来产生毫米波数据。

毫米波数据例如包含表示反射了雷达信号的道路周边的物体(以下记载为“反射物”)的信息。例如，毫米波数据是包含以毫米波雷达3的位置为基准而规定的坐标系中的表示反射物位置的点(以下记载为“反射点”)的集合的数据。以毫米波雷达3的位置为基准而规定的坐标系例如是由从毫米波雷达3的位置算起的距离和毫米波雷达3进行扫描的方位角形成的极坐标系。此外，以毫米波雷达3的位置为基准而规定的坐标系也可记载为“毫米波雷达坐标系”。例如基于毫米波雷达3的设置位置、毫米波雷达3的朝向及毫米波雷达3的扫描区域(检测范围)来规定毫米波雷达坐标系。

此外，对于一个反射物，反射点不限于一个。在毫米波数据中，一个反射物也可由多个反射点表示。

另外，反射物例如包含在道路周边移动的车辆及行人(以下记载为“移动体”)和设置在道路周边的构造物(道路标志、红绿灯等，以下记载为“静止物”)。毫米波数据也可包含表示移动体位置的反射点和表示静止物位置的反射点。

毫米波雷达3将毫米波数据发送至信息处理服务器4。发送的毫米波数据中包含表示毫米波数据的产生时机(例如时刻)的时刻信息。此外，时刻信息所表示的时刻可以是发送了用于产生毫米波数据的雷达信号的时刻，也可以是接收了雷达信号的时刻。另外，可以是，毫米波雷达3以设定的周期对扫描区域进行扫描，并向信息处理服务器4发送毫米波数据。

相机2产生图像数据的时机和毫米波雷达3产生毫米波数据的时机也可以不一致，可以是不同的时机。另外，相机2发送图像数据的时机和毫米波雷达3发送毫米波数据的时机也可以不一致，可以是不同的时机。例如，相机2产生图像数据的频度比毫米波雷达3产生毫米波数据的频度更高。

此外，相机2和毫米波雷达3可以设置于同一构造物，也可以设置于不同的构造物。另外，相机2和毫米波雷达3可以设置于同一壳体，也可以设置于不同的壳体。

另外，相机2和毫米波雷达3的设置方法、设置位置、以及相机2与毫米波雷达3相对位置关系不受限定。另外，相机2的监视区域与毫米波雷达3的扫描区域之间的位置关系不受限定。在本发明的一实施例中，优选以使毫米波雷达3的扫描区域被包含于相机2的监视区域内的方式设置毫米波雷达3的扫描区域。

例如，至少一个相机2和至少一个毫米波雷达3成对地设置在一个监视地点。此外，在一个监视地点，可以是设置有两个以上的相机2，也可以是设置有两个以上的毫米波雷达3。

信息处理服务器4经由网络n1与在多个监视地点分别设置的相机2及毫米波雷达3连接。信息处理服务器4从相机2获取图像数据，并从毫米波雷达3获取毫米波数据。接着，信息处理服务器4基于图像数据及毫米波数据，产生表示监视地点的侵入检测的结果的监视画面。信息处理服务器4经由网络n2向远程监视pc5发送已产生的监视画面的数据。

此外，信息处理服务器4也可从远程监视pc5接收包含与侵入检测相关的设定和/或与监视地点相关的指示的指示信息。在此情况下，信息处理服务器4基于指示信息产生监视画面。

远程监视pc5经由网络n2从信息处理服务器4接收监视画面的数据。远程监视pc5对监视画面的数据进行处理，并在显示部(未图示)中显示监视画面。

此外，远程监视pc5例如也可经由操作部(未图示)从用户接受与侵入检测相关的设定和/或与监视地点相关的指示。在此情况下，远程监视pc5也可向信息处理服务器4发送包含与侵入检测相关的设定和/或与侵入检测的对象监视地点相关的指示的指示信息。

此外，图1中表示的虽是一台远程监视pc5，但远程监视pc5也可以是多个。另外，图1中虽表示了网络n1和网络n2，但网络n1和网络n2既可以是同一网络，也可以是不同的网络。另外，虽表示了信息处理服务器4经由网络n1与相机2及毫米波雷达3连接的例子，但信息处理服务器4也可不经由网络n1而直接与相机2和/或毫米波雷达3有线连接或无线连接。另外，远程监视pc5也可不经由网络n2而直接与信息处理服务器4有线连接或无线连接。

对于上述已说明的侵入检测系统1，例如在进行侵入监视的用户经由远程监视pc5的操作部输入了(或选择了)特定的监视地点的情况下，远程监视pc5向信息处理服务器4发送表示所输入(或所选择)的监视地点的指示信息。

信息处理服务器4产生与指示信息所表示的监视地点处的道路状况相关的监视画面。接着，信息处理服务器4向指示信息的发送源即远程监视pc5发送已产生的监视画面的数据。

＜信息处理服务器的结构＞

接着，说明信息处理服务器4的结构的一例。图2是表示本实施方式的信息处理服务器4的结构的一例的图。

信息处理服务器4例如包括通信部41、数据同步部42、数据存储部43、判断部44、画面产生部45及模式设定部46。

通信部41是经由网络n1与相机2及毫米波雷达3进行通信的接口。另外，通信部41是经由网络n2与远程监视pc5进行通信的接口。

数据同步部42经由通信部41从相机2获取图像数据。另外，数据同步部42经由通信部41从毫米波雷达3获取毫米波数据。

数据同步部42使图像数据和毫米波数据同步。例如，数据同步部42基于图像数据中所含的时刻信息和毫米波数据中所含的时刻信息，调整图像数据的产生时机和毫米波数据的产生时机。

例如，数据同步部42针对1帧的图像数据，选择包含的时刻信息所表示的时刻与图像数据中所含的时刻信息所表示的时刻之间的时间差为规定值以下的毫米波数据，并使所选择的毫米波数据对应于该1帧的图像数据。或者，数据同步部42也可针对1帧的图像数据，选择包含的时刻信息所表示的时刻与图像数据中所含的时刻信息所表示的时刻最接近的毫米波数据，并使所选择的毫米波数据对应于该1帧的图像数据。

此外，例如在相机2产生图像数据的频度和毫米波雷达3产生毫米波数据的频度不同的情况下，也可以是，数据同步部42以使一个图像数据对应于两个不同的毫米波数据的方式来使数据同步。或者，也可以是，数据同步部42以使一个毫米波数据对应于两个不同的图像数据的方式来使数据同步。数据同步部42使各自的时刻信息所表示的时刻相差的时间在规定时间内的图像数据和毫米波数据相对应。

数据同步部42向数据存储部43输出已同步的数据。另外，数据同步部42向判断部44输出已同步的数据。

数据存储部43对应地存储通过数据同步部42实现了同步的图像数据和毫米波数据。在数据存储部43中，例如基于时刻信息，按照时间顺序存储图像数据和毫米波数据。另外，也可在数据存储部43中存储多个监视地点各自的图像数据和毫米波数据。

判断部44从数据同步部42获取已同步(时机经过调整)的图像数据和毫米波数据。另外，画面产生部45也可经由通信部41从远程监视pc5获取包含与侵入检测相关的设定和/或与监视地点相关的指示的指示信息。

判断部44基于已取得的毫米波数据，判断是否存在向扫描区域中所含的侵入检测区域侵入的人。判断部44中的处理也可被记载为”侵入检测处理”。

侵入检测区域例如也可以由进行监视的用户经由远程监视pc5的操作部来设定。在侵入检测区域由进行监视的用户设定的情况下，远程监视pc5向信息处理服务器4发送包含表示侵入检测区域的信息的指示信息。或者，例如也可以针对监视地点预先设定侵入检测区域。

例如，判断部44对设置在监视地点的毫米波雷达3的毫米波数据进行信号处理(例如聚类(clustering)处理)，估计对应于反射物的区域。接着，判断部44判断对应于反射物的区域是否包含于侵入检测区域。接着，在估计出的区域包含于侵入检测区域的情况下，判断部44估计与该已估计出的区域对应的反射物是否是人。在已估计出的区域包含于侵入检测区域且与已估计出的区域对应的反射物是人的情况下，判断部44判断为存在向侵入检测区域侵入的人。此外，判断部44也可以针对对应于反射物的各个区域，估计反射物是什么，由此，估计扫描区域内的人的位置。

在此也可以是，判断部44并非仅将侵入检测区域是否存在人作为判断结果，而在反射物(例如人)的每个检测判断中，基于侵入检测区域与反射物之间的位置关系等计算可靠度，并输出包含已计算的可靠度的判断结果。例如，可靠度既可以是表示侵入检测区域与反射物之间的距离的值，也可以是基于侵入检测区域与反射物之间的距离及反射物的移动速度的值。可靠度还可以是表示会向侵入检测区域侵入的可能性的指标。

判断部44向画面产生部45输出从数据同步部42获取的图像数据和毫米波数据。判断部44向画面产生部45输出表示判断结果的信息。另外，判断部44向数据存储部43输出表示判断结果的信息。

判断部44也可进行与模式设定部46所指示的模式对应的信号处理，产生与模式对应的判断结果。

数据存储部43在从判断部44获取了表示判断结果的信息的情况下，以与图像数据和毫米波数据对应起来的方式，存储表示判断结果的信息。在数据存储部43中，例如按照时间顺序存储图像数据、毫米波数据及表示判断结果的信息。在此情况下，表示判断结果的信息相当于表示侵入到侵入检测区域的人物的历史的历史信息。另外，也可在数据存储部43中存储多个监视地点各自的图像数据、毫米波数据及表示判断结果的信息。

画面产生部45从判断部44获取已同步(时机经过调整)的图像数据和毫米波数据。画面产生部45从判断部44获取表示判断结果的信息。另外，画面产生部45也可经由通信部41从远程监视pc5获取包含与侵入检测相关的设定和/或与监视地点相关的指示的指示信息。

接着，画面产生部45以使已同步(时机经过调整)的图像数据和毫米波数据对应起来的方式，产生表示判断结果的监视画面。

例如，画面产生部45也可进行将由毫米波雷达坐标系规定的毫米波数据的信息转换成由相机坐标系规定的信息的坐标转换处理。画面产生部45将坐标转换后的毫米波数据叠加于图像数据所表示的相机图像。

接着，画面产生部45将表示判断结果的信息叠加于图像数据所表示的相机图像。例如，画面产生部45将表示向侵入检测区域侵入的人的框叠加于相机图像。此外，画面产生部45在包含对应于反射物(例如，人)的区域的情况下，也可将表示与反射物分别对应的区域的框叠加于相机图像作为毫米波数据的信息的一例，或者作为表示判断结果的信息的一例。

此外，画面产生部45在判断结果包含可靠度的情况下，也可将对应于可靠度的信息叠加于相机图像。例如，画面产生部45也可使包含侵入到侵入检测区域的人的框的扫描区域内的表示人的位置的框的显示形态对应于可靠度的值而阶段性地发生变化，并叠加于相机图像。在此情况下，在监视画面中，根据侵入检测区域周围的人的可靠度，显示表示向侵入检测区域侵入的人的信息(例如，表示人的位置的框)。

另外，画面产生部45也可对监视地点的俯视图叠加表示判断结果的信息，产生包含判断结果的俯视图的数据。在此情况下，画面产生部45也可进行将由毫米波雷达坐标系规定的毫米波数据的信息(表示判断结果的信息)转换成规定俯视图的坐标系的坐标转换处理。此外，俯视图是模仿从上方观察包含监视区域的区域的图。例如预先针对每个监视地点决定俯视图的数据，并将其存储于数据存储部43。

另外，画面产生部45进行与模式设定部46所指示的模式对应的信号处理，产生与模式对应的监视画面。

接着，画面产生部45向远程监视pc5发送已产生的监视画面的数据。另外，也可以是，在产生了包含判断结果的俯视图的数据的情况下，画面产生部45向远程监视pc5发送俯视图的数据。

模式设定部46经由通信部41获取指示信息。模式设定部46向判断部44及画面产生部45指示指示信息中所含的与监视画面相关的设定模式。

此外，对于模式和根据模式而产生的监视画面的例子，将在后面进行说明。

此外，在上述内容中，记载了侵入检测系统的结构包括单个信息处理服务器4的例子，但本发明并不限定于此。例如，侵入检测系统的结构也可包括分担执行由上述信息处理服务器4进行的处理的多个信息处理服务器。在此情况下，例如也可由多个信息处理服务器分担由信息处理服务器4进行的处理，并经由ip(internetprotocol，互联网协议)网络和/或lan(localareanetwork，局域网)等通信媒体，在多个信息处理服务器之间交换信息(例如，毫米波数据、图像数据和/或判断结果的信息)。例如，可设置与上述数据存储部43对应的专用于存储数据的信息处理服务器。

另外，侵入检测系统也可包括云端电脑，该云端电脑进行由信息处理服务器4进行的处理中的至少一部分的处理。例如也可采用如下结构，即，使能够进行高速处理的云端电脑进行由信息处理服务器4进行的处理中的运算量大的处理，例如判断部44的判断处理，并使其他信息处理服务器进行剩余的处理。

＜信息处理服务器中的处理流程＞

接着，参照图3说明在信息处理服务器4中执行的处理流程的一例。

图3是表示在本实施方式的信息处理服务器4中执行的处理的一例的流程图。此外，图3所示的流程图表示对于从设置在一个监视地点的相机2及毫米波雷达3获取的数据的处理。信息处理服务器4也可对从设置在各监视地点的相机2及毫米波雷达3获取的数据并行地进行图3所示的处理。

数据同步部42从相机2获取图像数据(s101)。

数据同步部42从毫米波雷达3获取毫米波数据(s102)。

此外，s101和s102的顺序并不限定于此。另外，每当相机2发送图像数据时，执行s101的处理，每当毫米波雷达3发送毫米波数据时，执行s102的处理。

数据同步部42进行使图像数据和毫米波数据同步的数据同步处理(s103)。

数据同步部42进行将已同步的数据存储至数据存储部43的数据存储处理(s104)。

判断部44对毫米波数据进行聚类处理(s105)。

聚类处理是将毫米波数据中所含的对应于一个反射物的多个反射点进行分为一组的处理。也可通过进行分组的处理来获取反射物的尺寸、形状、颜色之类的与反射物相关的信息。此外，以下，将如下区域记载为“反射区域”，该区域包含经聚类处理后，由对应于一个反射物的多个反射点构成的群组。

此外，在聚类处理中，判断部44也可使用数据存储部43所存储的当前时间点之前的毫米波数据。也可以是，判断部44使用当前时间点之前的毫米波数据，按照时间顺序对毫米波数据进行处理，由此，例如区分例如对应于移动体的反射点和对应于静止物的反射点。

接着，判断部44进行侵入检测处理(s106)。

此外，判断部44也可从模式设定部46接受指示来进行与模式对应的处理。

接着，画面产生部45进行产生侵入检测的监视画面的处理(s107)。接着，画面产生部45以使图像数据和毫米波数据对应起来的方式，产生表示判断部44的判断结果的监视画面的数据。

例如，画面产生部45进行将毫米波数据叠加于图像数据所表示的相机图像的处理。也可以是，在该处理中，画面产生部45对表示判断结果的信息进行坐标转换，以使相机坐标系和毫米波雷达坐标系对齐。接着，画面产生部45例如叠加用于确定侵入到侵入检测区域的人的信息(例如，包围侵入的人的框)作为表示判断结果的信息的一例。

画面产生部45进行发送已产生的监视画面的数据的处理(s108)。

接着，说明在本实施方式中设定的模式的一例和基于模式而显示的画面的一例。

＜设定模式＞

设定模式是由进行监视的用户进行设定的模式。图4是表示本实施方式中的设定模式时的显示画面的例子的图。

在图4的上部，显示有“侵入检测”按钮、“过去侵入检测信息确认”按钮、以及“设定”按钮。图4是在设定模式时显示于远程监视pc5的显示部的画面，因此，以已被按下设定按钮的状态进行显示。图4中显示有作为“侵入检测区域相机画面”的区域v1、作为“侵入检测区域俯视图”的区域v2、以及作为“雷达信息画面”的区域v3这三个区域。

作为“侵入检测区域相机画面”的区域v1表示用于显示相机图像的区域。远程监视pc5基于图像数据，在作为“侵入检测区域相机画面”的区域v1中显示相机图像。

作为“侵入检测区域俯视图”的区域v2表示用于显示由信息处理服务器4产生的俯视图的区域。远程监视pc5基于俯视图的数据，在作为“侵入检测区域俯视图”的区域v2中显示俯视图。对于俯视图，用户经由远程监视pc5的操作部来设定侵入检测区域。例如，用户通过鼠标操作选择俯视图的一部分的区域，将已选择的区域设定为侵入检测区域。

此外，用户也可设定不进行侵入检测的区域(侵入检测区域过滤器)。已设定的侵入检测区域(或侵入检测区域过滤器)的信息包含于指示信息而被发送给信息处理服务器4。

作为“雷达信息画面”的区域v3表示用于显示从信息处理服务器4取得的毫米波数据的区域。远程监视pc5基于毫米波数据，在作为“雷达信息画面”的区域v3中显示如下画面，在该画面中，反射点散落于以毫米波雷达3的位置为基准而由从毫米波雷达3算起的距离和毫米波雷达3进行扫描的方位角方向规定的扇形坐标系。

信息处理服务器4在从远程监视pc5取得了表示“设定模式”的指示信息的情况下，向远程监视pc5发送已同步的图像数据及毫米波数据。另外，信息处理服务器4向远程监视pc5发送预先保存于数据存储部43的俯视图的数据。远程监视pc5基于接收到的数据，在显示部的各区域中进行显示。

用户所设定的侵入检测区域的信息包含于指示信息而被发送给信息处理服务器4。信息处理服务器4的判断部44基于侵入检测区域的信息，设定毫米波雷达坐标系中的侵入检测区域。在此情况下，判断部44也可进行将俯视图中的侵入检测区域转换成毫米波雷达坐标系中的侵入检测区域的坐标转换。规定俯视图的坐标系与毫米波雷达坐标系之间的对应关系是已知的。判断部44也可基于已知的对应关系，将俯视图中的侵入检测区域转换成毫米波雷达坐标系中的侵入检测区域。

图5是表示显示于图4所示的各区域的画面的一例的图。

在区域v1中显示相机图像。在区域v2中显示俯视图。在区域v3中显示雷达信息。

在区域v2的俯视图中，相机2的位置为“c”，毫米波雷达3的位置为“r”。另外，在区域v2的俯视图中，示出了表示相机2的监视区域的辅助线和表示毫米波雷达3的扫描区域的辅助线。用户参照辅助线，在监视区域和扫描区域这两者所含的区域中设定侵入检测区域d。

＜侵入检测模式＞

侵入检测模式是检测侵入到通过设定模式设定的侵入检测区域的人的模式。图6是表示本实施方式中的侵入检测模式时的显示画面的例子的图。

在图6的上部，显示有“侵入检测”按钮、“过去侵入检测信息确认”按钮、以及“设定”按钮。图6是在侵入检测模式时显示于远程监视pc5的显示部的画面，因此，以已被按下侵入检测按钮的状态进行显示。图6中显示有作为“侵入检测区域相机画面”的区域v1、作为“侵入检测区域俯视图”的区域v2、作为“侵入检测日志画面”的区域v4、以及作为“警告启动画面”的区域v5这四个区域。

作为“侵入检测区域相机画面”的区域v1表示用于显示由信息处理服务器4产生的监视画面的区域。远程监视pc5基于监视画面的数据，在作为“侵入检测区域相机画面”的区域v1中显示监视画面。在监视画面中，相机图像中叠加有基于毫米波数据的侵入检测处理的判断结果。

作为“侵入检测区域俯视图”的区域v2表示用于显示由信息处理服务器4产生且包含侵入检测处理的判断结果的俯视图的区域。远程监视pc5基于包含侵入检测处理的判断结果的俯视图的数据，在作为“侵入检测区域俯视图”的区域v2中显示俯视图。

作为“侵入检测日志画面”的区域v4表示用于显示由信息处理服务器4产生的通过侵入检测处理获得的侵入者的日志信息的区域。

作为“警告启动画面”的区域v5表示在基于侵入检测处理的判断结果而存在侵入者的情况下，显示警告的区域。

在信息处理服务器4从远程监视pc5取得了表示“侵入检测模式”的指示信息的情况下，判断部44执行对于所设定的侵入检测区域的侵入检测处理。接着，画面产生部45发送将表示侵入检测处理的判断结果的信息叠加于相机图像而成的监视画面的数据、包含表示侵入检测处理的判断结果的信息的俯视图的数据。另外，画面产生部45基于监视画面产生侵入者的日志信息，并将其发送给远程监视pc5。远程监视pc5基于接收到的数据，在显示部的各区域中进行显示。

图7是表示显示于图6所示的各区域的画面的一例的图。

在区域v1中显示由信息处理服务器4产生的监视画面。此外，在区域v1中表示框r1和框r2，该框r1表示侵入者的位置，该框r2表示并非侵入者的人(未进入到侵入检测区域的人)的位置。例如通过不同的显示形态(例如不同的颜色)来表示框r1和框r2。

此外，在判断结果包含可靠度的情况下，也可以与可靠度对应的显示形态来显示表示侵入者的位置的框r1及表示并非侵入者的人的位置的框r2。例如，在处于侵入检测区域外的人物逐渐靠近侵入检测区域，并移动到了侵入检测区域内的情况下，根据基于侵入检测区域与该人物之间的距离的可靠度，以使框的颜色从白色逐渐变化成红色的方式，使用渐变效果使框的显示发生变化。另外，例如也可按照绿色、黄色、红色的顺序，使用多个颜色使框的显示发生变化。进而，还可根据可靠度使框线的粗细、种类、色调、亮度及对比度中的至少一者发生变化，或者闪烁地显示框，根据可靠度改变闪烁的间隔(时间)。

以与可靠度对应的显示形态来显示框，从而能够在视觉上表示会向侵入检测区域侵入的可能性是否高。

在此，对表示使用毫米波数据检测出的侵入者的位置且显示于相机图像的框r1的决定方法的一例进行说明。框r1是在判断部44中执行了侵入检测处理的情况下被决定的。

判断部44使用毫米波数据来估计对应于侵入者的反射点。反射点是规定毫米波数据的二维坐标系中的点。

接着，画面产生部45计算相机坐标系中的对应于反射点的点(以下记载为“相机图像反射点”)。例如，画面产生部45使用相机2的相机设置位置信息计算相机图像反射点。

相机设置位置信息包含表示毫米波雷达坐标系中的相机2的设置位置的二维坐标和相机2的设置方向。设置方向相当于相机2拍摄到的相机图像的中心的方向。

接着，画面产生部45计算反射点与相机设置位置之间的距离，并计算相对于相机设置方向的反射点的方向。

例如，在与路面水平地设置了相机2的情况下，基于相对于相机2的设置方向的反射点的方向和预先决定的相机2的视角信息，决定相机图像反射点的x坐标(水平位置)。另外，相机图像反射点的y坐标(垂直方向)被设定为相机图像的垂直方向的中心。

例如，在并不与路面水平而是具有俯角地设置了相机2的情况下，基于相对于相机2的设置方向的反射点的方向、相机2的设置位置的高度、相机2的俯角以及相机2的视角，计算相机图像反射点的x坐标和y坐标。

画面产生部45决定以相机图像反射点为基准的矩形框。例如，基于相机图像反射点与相机设置位置之间的距离，预先对作为基准的宽度及高度进行放大或缩小来设定矩形的宽度及高度。例如，和相机图像反射点与相机设置位置之间的距离成反比例地对作为基准的矩形的宽度及高度进行放大或缩小而进行设定。

画面产生部45以相机图像反射点为中心叠加具有已设定的宽度及高度的矩形框，产生监视画面。

在区域v2中显示俯视图。在区域v2的俯视图中，示出了点p1及轨迹l1，该点p1是表示与区域v1的框r1所示的侵入者对应的侵入者位置的点，该轨迹l1是该侵入者的移动的轨迹。另外，示出了点2及轨迹l2，该点p2是表示区域v1的框r2所示的并非侵入者的人的位置的点该轨迹l2是此人的移动的轨迹。例如通过不同的显示形态(例如不同的颜色)来表示点p1和点p2。例如通过不同的显示形态(例如不同的颜色)来表示轨迹l1和轨迹l2。

此外，在区域v1及区域v2中，也可不显示与并非侵入者的人相关的信息(框r2、点p2及轨迹l2)。

在区域v4中显示侵入者的日志信息。侵入者的日志信息例如包含从区域v1的框r1截取的表示侵入者的图像。另外，侵入者的日志信息包含侵入者开始侵入到侵入检测区域的时刻及侵入者离开侵入检测区域的时刻。另外，在检测出侵入后，对侵入者附加标识符(id：identification)。

在区域v5中显示表示已检测出侵入者的文字信息(警告启动信息)。看到警告启动信息的监视员能够掌握存在侵入者。此外，也可使警告启动信息的显示和其他報知装置(例如灯和/或蜂鸣器)联动，进而，还可与外部的警报系统和/或监视系统联动。例如，通过向整个防范地区的监视系统发布警告启动信息，还能够告知外部的监视者。

＜过去侵入检测信息确认模式＞

过去侵入检测信息确认模式是对过去检测出的侵入者的信息进行确认的模式。图8是表示本实施方式中的过去侵入检测信息确认模式时的显示画面的例子的图。

在图8的上部，显示有“侵入检测”按钮、“过去侵入检测信息确认”按钮以及“设定”按钮。图8是在过去侵入检测信息确认模式时显示于远程监视pc5的显示部的画面，因此，以已被按下过去侵入检测信息确认按钮的状态进行显示。图8中显示有作为“侵入检测区域相机画面”的区域v1、作为“侵入检测区域俯视图”的区域v2、作为“侵入检测日志画面”的区域v4以及作为“警告启动画面”的区域v5这四个区域。

此外，图8的显示画面的例子除了过去侵入检测信息确认按钮已被按下之外，与图6所示的显示画面的例子相同，因此省略详细的说明。

在过去侵入检测信息确认模式下，显示于侵入检测日志画面的区域v4的信息与图6及图7中说明的侵入检测模式不同。以下，使用图9对该方面进行说明。

图9是表示显示于图8所示的各区域的画面的一例的图。

区域v1、区域v2及区域v5的显示例与图7相同，因此省略详细的说明。

在区域v4中显示侵入者的日志信息。侵入者的日志信息例如包含从区域v1的框r1截取的表示侵入者的图像。另外，侵入者的日志信息包含侵入者开始侵入到侵入检测区域的时刻及侵入者离开侵入检测区域的时刻。另外，在检测出侵入后，对侵入者附加标识符(id：identification)。

另外，在过去侵入检测信息确认模式下，过去曾侵入到侵入检测区域的侵入者的信息会显示于区域v4。

在图9的区域v4中，除了表示目前侵入到侵入检测区域的侵入者即区域v1的框r1所表示的侵入者的日志信息之外，还表示两个侵入者的日志信息。对两个侵入者分别附加了“123-2”及“123-1”这些id。两个侵入者如检测时刻所示，是过去曾被检测出的侵入者。

此外，也可由用户对区域v4的显示进行操作(例如，进行点击)，由此，调出对于侵入者的信息。例如，也可通过选择(点击)显示于区域v4的侵入者，将所选择的侵入者侵入到侵入检测区域期间的相机图像显示于区域v1或其他区域。

另外，也可由用户对区域v4的显示进行操作(例如，进行点击)，由此，变更对于侵入者的设定。例如，也可通过选择(点击)显示于区域v4的侵入者，进行允许所选择的侵入者向侵入检测区域侵入的设定(过滤器注册)。之后，即使已被允许向侵入检测区域侵入的侵入者被检测出向侵入检测区域侵入，也不会显示表示已检测出该侵入者的信息。

此外，上述操作方法是一例，本发明并不限定于此。例如，也可通过选择(点击)显示于区域v4的侵入者来显示菜单。用户也可在所显示的菜单中，进行显示相机图像及允许侵入的设定。

如上所述，本实施方式的信息处理服务器4使相机拍摄到的图像数据和毫米波雷达获取的毫米波数据同步(对时机进行调整)，基于毫米波数据进行检测是否存在侵入物体的侵入检测处理。接着，本实施方式的信息处理服务器4以使已同步(时机经过调整)的图像数据和毫米波数据对应起来的方式，产生表示侵入检测处理的判断结果的监视画面。根据本实施方式，能够融合相机和雷达这两个传感器装置而进行高精度的侵入检测。

例如，根据相机数据而获得的相机图像能够对进行监视的用户提供视觉上有效的信息，毫米波雷达的数据能够对进行监视的用户提供无法根据相机图像获得的详细信息。因此，在本实施方式中，通过使从毫米波雷达获得的侵入检测的结果与相机图像对应起来，能够进行高精度的侵入检测。

以上，参照附图说明了各种实施方式，但本发明当然不受相关的例子限定。本领域技术人员显然可在权利要求书记载的范畴内想到各种变更例或修改例，这些例子当然也会被理解为属于本发明的技术范围。另外，也可在不脱离发明宗旨的范围内，任意地组合上述实施方式中的各结构要素。

在上述实施方式的说明中使用的“······部”这一表述也可以替换成“······电路(circuitry)”、“······设备”、“······单元”或“······模块”之类的其他的表述。

本发明可通过软件、硬件或与硬件协作的软件实现。

在上述实施方式的说明中使用的各功能块部分或整体地实现为作为集成电路的lsi(largescaleintegratedcircuit，大规模集成电路)，在上述实施方式中说明的各过程也可部分或整体地由一个lsi或lsi的组合控制。lsi可以由各个芯片构成，也可以包含功能块的一部分或全部的方式而由一个芯片构成。lsi也可包括数据的输入和输出。lsi根据集成度的不同，也可以称为“ic(integrationcircuit，集成电路)”、“系统lsi(systemlsi)”、“超大lsi(superlsi)”、“特大lsi(ultralsi)”。

集成电路化的方法不限于lsi，也可由专用电路、通用处理器或专用处理器实现。另外，也可利用lsi制造后能够编程的fpga(fieldprogrammablegatearray，现场可编程门阵列)、或可以对lsi内部的电路块的连接或设定进行重新构置的可重构处理器(reconfigurableprocessor)。本发明也可被实现为数字处理或模拟处理。

再有，如果随着半导体技术的进步或者其他技术的派生，出现了代替lsi的集成电路化的技术，当然也可以利用该技术来实现功能块的集成化。还存在适用生物技术的可能性。

本发明可在具有通信功能的所有种类的装置、设备、系统(总称为“通信装置”)中实施。通信装置的非限定性的例子可列举电话(手机、智能手机等)、平板电脑、个人电脑(pc)(膝上型电脑、台式机、笔记本电脑等)、相机(数码照相机和数码摄像机等)、数码播放器(数码音频/视频播放器等)、可穿戴设备(可穿戴相机、智能手表、跟踪设备等)、游戏机、电子书阅读器、远程健康/远程医疗(远程保健/问诊)设备、带有通信功能的交通工具或交通运输工具(汽车、飞机、轮船等)及上述各种装置的组合。

通信装置并不限定于可携带或可移动的装置，也包含无法携带或受到固定的所有种类的装置、设备、系统例如智能家居设备(家电设备、照明设备、智能电表或计量器、控制面板等)、自动售货机及其他可存在于iot(internetofthings，物联网)网络上的所有“物体(things)”。

通信除了包含通过蜂窝系统、无线lan(localareanetwork，局域网)系统、通信卫星系统等进行的数据通信之外，还包含通过这些系统的组合进行的数据通信。

另外，通信装置也包含与执行本发明中记载的通信功能的通信设备连接或连结的控制器或传感器等设备。例如，包含产生执行通信装置的通信功能的通信设备所使用的控制信号或数据信号的控制器或传感器。

另外，通信装置包含与上述非限定性的各种装置进行通信的、或者对上述各种装置进行控制的基础设施设备例如基站、接入点及其他所有的装置、设备、系统。

此外，本发明可表现为在无线通信装置或控制装置中执行的控制方法。另外，本发明也可表现为用于通过电脑使该控制方法工作的程序。而且，本发明还可表现为以可由电脑读取的状态记录有该程序的记录介质。即，本发明可表现为装置、方法、程序、记录介质中的任一个类别。

另外，本发明的构件的种类、配置、个数等并不受上述实施方式限定，能够在不脱离发明宗旨的范围内适当变更，例如可将其结构要素适当替换为发挥同等的作用及效果的结构要素。

在2018年4月2日申请的特愿2018-070954的日本专利申请所包含的说明书、附图及说明书摘要的公开内容全部被引用于本申请。

工业实用性

本发明的一实施例适合于检测对于特定区域的侵入。

附图标记说明

1侵入检测系统

2相机

3毫米波雷达

4信息处理服务器(控制装置)

5远程监视pc(personalcomputer，个人电脑)

41通信部

42数据同步部

43数据存储部

44判断部

45画面产生部

46模式设定部