为识别未授权人的感官输入的相关的制作方法

本申请根据35U.S.C.§119(e)要求于2014年4月2日提交且标题为“Wireless Sensor Network”的临时美国专利申请61/973,962、于2014年2月28日提交且标题为“Wireless Sensor Network”的临时美国专利申请61/946,054以及于2014年8月20日提交且标题为“Correlation of Sensory Inputs to Identify Unauthorized Persons”的实用美国专利申请14/463,765的优先权，这些申请的全部内容通过引用被结合于此。

背景技术：

本描述涉及传感器网络，诸如用于安装在商业或住宅处所的安全、入侵和报警系统的传感器网络的操作。

对于企业和房主来说，具有用于探测在其处所的报警状况并且用于向安全系统的监控站或者授权用户发信号通知这种状况的安全系统是常见的。安全系统常常包括被电或无线地连接到各个传感器的入侵探测面板。那些传感器类型通常包括运动探测器、相机和接近传感器(用来确定门或窗是否已经被打开)。通常，这种系统从这些传感器当中的一个或多个传感器接收非常简单的信号(电气开或关)，以指示被监控的特定状况已经改变或变得不安全。

典型的入侵系统可被设置为监控建筑物中的入口门。当门被关死时，接近性传感器感测磁性接触并产生电闭合的电路。当门被打开时，接近性传感器打开电路，并且向面板发送指示报警条件已发生(例如，打开的入口门)的信号。政府实体、公司、学术机构等向员工、承包商、学生等发放证书，以控制对建筑物及室内和室外设施的接近。无论是有意还是无意，绕过安全系统要获得接近的个人都难以识别和定位。

技术实现要素：

之前关于凭证的解决方案主要集中在诸如视频监视以解决接近问题的技术。但是，一旦获得接近，就很难或者不可能区分有有效凭证的人与没有有效凭证的人。

根据用于物理入侵探测/报警监控的系统的一方面包括一个或多个计算设备，包括处理器设备和与处理器设备通信的存储器，被配置为将来自凭证或标识的感官输入与视频相关联、从被监控的处所内的凭证或标识接收感官输入、从在整个处所布置的相机和其它图像捕获设备接收视频信息，并持续地将从这些凭证或标识接收到的感官输入与接收到的视频相关联。

以下一个或多个是在这方面的范围之内的一些实施例，系统还被配置为应用一个或多个算法来探测可能没有凭证的个人的存在并跟踪至少没有凭证的个人并产生发送警报到控制中心，以提醒管理机构没有凭证的个人的位置。该系统还被配置为应用视频识别来识别某个区域内的人的数目并且将那个数据与来自一个或多个远程标识读取器的数据关联，以识别被监控区域内一组个人当中佩戴标识的个人的适当数目。该系统还被配置为确定该区域中个人的数目与所读取的标识或凭证的数目的不匹配。该系统还被配置为持续地跟踪整个处所内的所有个人和他们的运动、将那些运动与有效凭证或标识的不同读数相关联，以隔离一个或多个没有凭证的个人。一个或多个计算设备包括执行例程以提供可被动态改变的节点功能的应用层。其中至少一些节点是相机并且其它节点是凭证读取器。其中某些节点被配置为对捕获的视频的帧应用视频识别，以识别对应于出现在所捕获的帧中的个人的特征并且确定图像中的多个人。在所述某些节点中一个或多个当中，所述某些节点中的所述一个或多个被配置为改变被用来找出对应于多个个人的特征的视频识别算法。该系统还被配置为将由不同个人采取的路径与来自相同或不同相机/读取器集合的有效凭证或标识的不同读数相关联。

一个或多个方面可以提供以下优点中的一个或多个。

通过将来自使用诸如RFID、蓝牙低功耗(BLE)、手机的MAC、NFC等等之类的技术的凭证或标识的感官输入与视频相关联；没有有效凭证的个人可以被识别和跟踪。视频识别被用来识别某个区域内的人的数目。通过跟踪人员运动并将其与有效ID的运动相关联，远程读取标识被用来识别适当佩戴标识的员工。一旦未佩戴标识的个人与有效人员隔开，诸如脸部、虹膜之类的生物测定或者仅仅视频识别就被用来跟踪(一个或多个)个人并允许管理机构进行干预。

本发明的一个或多个实施例的细节在附图和以下描述中阐述。本发明的其它特征、目的以及优点从描述和附图以及从权利要求书是显而易见的。

附图说明

图1是示例性联网安全系统的示意图。

图2是相关算法的流程图。

图3是示例跟踪过程的流程图。

图4是示例联网安全系统的部件的框图。

具体实施方式

本文所描述的是可以在各种背景下使用的网络特征的例子，包括但不限于，安全/入侵和报警系统。示例安全系统可以包括被电或无线地连接到各个传感器的入侵探测面板。那些传感器类型可以包括运动探测器、相机和接近传感器(例如，用来确定门或窗是否已经被打开)。通常，这种系统从这些传感器当中的一个或多个传感器接收相对简单的信号(电气开或关)，以指示被监控的特定状况已经改变或变得不安全。

例如，典型的入侵系统可被设置为监控建筑物中的入口门。当门是安全的时候，接近传感器感测到磁性接触并产生电关闭电路。当门被打开时，接近传感器打开电路，并向面板发送指示报警状况已发生(例如，打开的入口门)的信号。

数据收集系统在一些应用，诸如家庭安全监控，当中变得越来越普遍。数据收集系统采用无线传感器网络和无线设备，并且可以包括基于远程服务器的监控和报告生成。如下面更详细描述的，无线传感器网络一般使用计算设备之间的有线和无线链路的组合，无线链路通常用于最低级的连接(例如，端节点设备到集线器/网关)。在示例网络中，网络的边缘(无线连接的)层由具有特定功能的资源受限设备组成。这些设备可以具有小至中等数量的处理能力和存储器：并且可以是电池供电的，因此要求它们通过将大量时间花费在睡眠模式下来节省能源。典型的模式是边缘设备通常形成单个无线网络，其中在该单个无线网络中每个端节点以集线器和辐条式体系架构直接与其父节点通信。父节点可以是，例如，网关上的接入点或子协调器，其又连接到接入点或另一个子协调器。

现在参考图1，示出了用于无线传感器网络(WSN)的示例性(全局)分布式网络10拓扑。在图1中，分布式网络10被逻辑地划分成层或分层级别的集合12a-12c。

在网络的上层或分层级别12a中部署若干服务器和/或运行“云计算”范例的虚拟服务器14，这些服务器利用良好建立的联网技术，诸如互联网协议联网到一起，或者可以是不使用互联网或使用互联网的部分的私有网络。在那些服务器14上运行的应用利用各种协议通信，诸如对于web互联网网络的XML/SOAP、RESTful Web服务，以及诸如HTTP和ATOM的其它应用层技术。分布式网络10在设备(节点)之间具有直接链路，如以下示出和讨论的。

分布式网络10包括第二逻辑划分层或分层级别12b，在本文被称为涉及定位于各个建筑物和结构中的中心、方便位置处的网关16的中间层。这些网关16利用web编程技术与上层中的服务器14通信，不管服务器是独立专用服务器和/或运行云应用的基于云的服务器。中间层网关16还被示为既具有局域网17a(例如，以太网或802.11)又具有蜂窝网络接口17b。

分布式网络拓扑还包括下层(边缘层)12c设备集合，其涉及全功能传感器节点18(例如，包括无线设备的传感器节点，例如收发器或者至少发送器，这在图1中标记为“F”)以及受限的无线传感器节点或传感器端节点20(在图1中标记为“C”)。在一些实施例中，有线传感器(未示出)可以被包括在分布式网络10的各方面中。

如本文中所使用的，受限的计算设备20是比探测系统中的其它计算设备、传感器具有基本上更少持久和易失性存储器的设备。目前受限的设备的例子是那些具有小于大约一兆字节闪存/持久性存储器以及小于10-20千字节(KB)RAM/易失性存储器的设备。这些受限的设备20以这种方式进行配置；一般是由于成本/物理配置的考虑。

在典型的网络中，网络的边缘(无线连接的)层由具有特殊功能的高度资源受限的设备组成。这些设备具有小至中等数量的处理能力和存储器，并且常常是电池供电的，因此要求它们通过将大量时间花费在睡眠模式下来节省能源。典型的模式是边缘设备通常形成单个无线网络，其中在该单个无线网络中每个端节点以集线器和辐条式体系架构直接与其父节点通信。父节点可以是，例如，网关上的接入点或子协调器，其又连接到接入点或另一个子协调器。

每个网关配备有物理地附连到那个接入点并且提供到无线网络中的其它节点的无线连接点的接入点(全功能节点或“F”节点)。图1中所示的链路(由未编号的线示出)表示设备之间的直接(单跳网络层)连接。(在图1中所示的三层中每一层起作用的)正式联网层使用一系列这些直接链路，连同路由设备一起经网络从一个设备向另一个设备发送消息(分段或不分段的)。

WSN 10对在下层设备18和20上运行的应用层实现状态机方法。以下讨论的是这种方法的特定实现的例子。状态机中的状态由协调执行的函数集合组成，并且这些函数可以被单独地删除或替代或添加，以更改特定下层设备的状态机中的状态。

基于WSN状态函数的应用层使用允许各个函数的加载和执行(在设备引导之后)而无需重新引导该设备(所谓的“动态编程”)的边缘设备操作系统(未示出，但诸如在上面提到的临时申请中所公开的)。在其它实现中，边缘设备可以使用其它操作系统，假定这种系统允许优选地无需边缘设备的重新引导就启动各个函数的加载和执行(在设备引导之后)。

现在参考图2，示出了在部署在分布式网络10中的一个或多个计算机上执行的过程30。在备选布置中，过程30可在除如上所述的分布式网络10之外的任何其它布置中使用，假定视频数据和感测到的凭证数据被提供给(一个或多个)计算机。过程30将来自使用诸如RFID、蓝牙低功耗(BLE)、手机的MAC地址、NFC等等之类的凭证或标识的感官输入与捕获的视频相关联。

过程30在一个或多个计算机上执行，并从被监控的处所内的凭证或标识接收32感官输入。诸如图1中一些节点的传感器感测通常由经过一系列传感器的个人所携带的凭证标签的存在。这些传感器从在整个被监控的处所分散的结合利用射频识别(RFID)、低功耗点到点设备、手机的MAC地址和近场通信(NFC)设备等等的可操作的电路系统的标识/标签设备接收信号，其中NFC设备利用用于智能手机和类似设备的一套标准可操作，以通过将它们触摸到一起或将使它们彼此接近来建立彼此的无线电通信。过程30还从在整个处所分散的相机和其它图像捕获设备接收34视频信息。过程30持续地应用一个或多个算法来探测可能没有凭证的个人的存在并且将从这些凭证或标识等接收到的感官输入与接收到的视频相关联。

过程30设法跟踪个人，尤其是没有用于特定被监控区域的有效凭证或标识的个人。过程30应用一个或多个算法来探测可能没有凭证的个人的存在、跟踪38至少没有凭证的个人、提醒40管理机构没有凭证的个人在处所内的存在并持续地处理输入以将没有凭证的个人隔离到特定的，例如，精确的位置并且提醒42管理机构没有凭证的个人的被隔离位置。

在图2中的处理期间，图1中的各个节点可被施加(bear on)对没有凭证的个人的跟踪或者一般而言对有凭证的个人的跟踪。因此，图1的服务器或其它系统可以生成对在下层执行的功能(未示出)的更新，这些节点可以接收46这些新的或更新的功能并且对图2的处理应用48改变的功能。

现在参考图3，示出了用于图3的跟踪过程30的算法处理60的例子。相机被分散，没有处所被监控。一般而言，图2的处理36被详细示出。区域中的一个相机捕获视频并对捕获的视频的帧应用62视频识别。视频识别被用来识别对应于，例如，在所捕获的帧中出现的个人的特征。视频识别对于图像确定多个人，其中图像被关联到由相机捕获的区域。在这个时候，所应用的视频识别可以是相当粗糙的，以节省处理或者允许这种处理在下层中的节点处执行，因为它仅仅需要找出对应于多个个人的特征。

可以是网络10中的一个节点的远程标识读取器具有重合、或重叠或以其它方式可以关联到视频帧中捕获的区域的范围。这个远程标识读取器和相机可以被认为是当前集合(set)。

(一个或多个)计算机从在标识读取器的操作范围内的个人接收64标识/标签数据。远程标识读取器和/或(一个或多个)计算机确定66经过在远程标识读取器的操作范围内的区域的佩戴标识的个人的数目。如果由远程标识读取器捕获的区域与由相机捕获的区域一致，则这个数据可以被处理，否则它们可以是将在视频帧中捕获的区域与读卡器的范围内的区域相关联的某种相关性(未示出)。

计算机比较在帧中识别出的个人的数目与从读取器接收到的标识的数目。如果过程60确定在区域中个人的数目与标识(或凭证)的数目之间存在不匹配，则过程60继续(一般而言，图2中的处理38)，以根据需要通过对捕获的视频的帧持续地应用62视频识别、接收64标识/标签并利用相机/读取器的当前集合或相机/读取器的不同集合关于识别出的个人的数目确定66经过标识读取器范围内的区域的佩戴标识的个人的数目来跟踪68在整个处所内的所有那些个人及他们的运动。在这个时候，该过程可以发送对更新的算法的请求，如下面将对整个过程讨论的(如在图2中)，或者更新用于不同的节点级处理和感测的节点(图3)。

过程60将由不同个人采取的路径与来自相同或不同的相机/读取器集合的有效凭证或标识的不同读数相关联。

例如，在这个时候，更复杂的识别算法，例如，面部识别等，可以被使用。此外，处理算法可以被发送到网络中的其它节点，以在被跟踪的个人身上训练过程，其中要被发送这些算法的节点是基于行进通过处所的方向/路径的估计或预测来选择的。

在个人来来去去的某个点，未佩戴标识/没有凭证的个人可以被单独隔离或隔离成一小组，然后过程将集中于跟踪那个个人。在处理当中任何一点，都存在报警被发出的矛盾(discrepancy)。当过程探测到新个人的存在并且探测到之前被跟踪的个人从个人的组中离开时，该过程仍然持续地跟踪没有有效凭证的一个或多个个人。新添加的个人可以在所捕获的视频中被辨别，尤其是如果使用更密集的算法的话，并且离开的个人可以通过其标签/凭证的有效读取来加以注意。如果个人在本应当读取的时候没有有效标签被读取就离开，则那个人最有可能是没有凭证的个人。

如前面所提到的，利用图1的网络10，有可能在处理过程中图1中的各个节点被施加图2的跟踪。因此，图1的服务器或其它系统可以生成对在下层，例如这种节点，执行的功能(未示出)的更新。在下层的这些节点接收46这些新的或更新的功能并且在图2的处理中对由节点执行的处理应用48改变的功能。

更新的处理的例子包括向处理该视频信息的相机或节点发送更复杂的识别算法。其它例子是图1中的某些节点可以是被施加对没有凭证的个人的跟踪或一般而言对有凭证的个人的跟踪的IP地址读取传感器的例子。

因此，图1的服务器或其它系统可以生成对在下层，例如这种节点，执行的功能(未示出)的更新。在下层的这些节点接收46这些新的或更新的功能并且对图2的处理应用48改变的功能。当先前被跟踪的个人离开时，读卡器可以确定/感测凭证并且该过程可以确定它们是否具有有效凭证，如果有，则终止对那些离开的个人的跟踪。另一方面，当新的被跟踪的个人加入时，读卡器可以确定/感测凭证，并且过程可以确定它们是否具有有效凭证，如果有，则终止对那些新的个人的跟踪。在某个时候，没有凭证的个人可以被隔离成一个或几个个人，并且他/他们的(一个或多个)位置被识别。该过程产生并发送通知管理机构物理地干预的消息，该消息包括可用位置信息的消息。

节点可以利用任何合适类型的计算设备，诸如大型机工作站、个人计算机、服务器、便携式计算设备或任何其它类型的能够执行指令、连接到网络并通过网络转发数据包的智能设备来实现。节点可以执行任何适当的计算机程序，以生成、接收和发送数据包供在网络上使用。

图4示出了具有关于图1至3所述的WSN的特征并且具有本文所述的各种功能的安全系统的例子。如图4中所示，关联处理从某些受限节点接收输入(但这些节点也可以是全功能节点)。这些输入可以包括凭证信息和视频信息，并且相关处理可以产生经网络发送的相关结果。背景管理处理从某些受限节点接收输入(但这些节点也可以是全功能节点)，例如，凭证信息以及视频和分组信息，并且对于经网络发送的结果执行背景处理。网络支持紧急出口指示器；紧急相机以及分布式规则处理和规则引擎/消息处理的操作。范围扩展器与例如网关一起使用，并且，如图所示，实时定位系统从各个传感器(例如，受限的类型)接收输入。经由云计算配置到WSN的服务器接口以及一些网络的部分可以作为子网来运行。

除了在传感器的范围之内的区域中探测到某物的指示，传感器还提供可被用来评估那个指示是什么的详细附加信息，而无需入侵探测面板执行对特定传感器的输入的广泛分析。

例如，运动探测器可被配置为分析在房间内移动的温暖主体的热签名，以确定该主体是人或宠物的主体。那个分析的结果将是传达关于探测到的主体的信息的消息或数据。因此，各个传感器被用来以适当的组合感测声音、运动、振动、压力、热、图像等等，以探测在入侵探测面板处的真实或通过验证的报警条件。

辨别软件可被用来区分是人的对象和是动物的对象；进一步的面部辨别软件可以内置到相机中并被用来验证周边入侵是辨别出的被授权的个人的结果。这种相机将包括处理器和存储器和识别软件，以处理由相机(捕获的图像)的输入并产生元数据，以传达关于由相机捕获的个人的辨别或缺乏辨别的信息。处理还可以作为替代地或另外地包括关于在由相机捕获/监控的区域中的个人的特点的信息。因此，依赖于具体情况，信息将是从对到传感器的、给出周边入侵的特点的输入执行增强的分析的增强的运动探测器和相机接收到的元数据或者是从寻求建立对象的辨别的非常复杂的处理所得到的元数据。

传感器设备可以集成多个传感器，以生成更复杂的输出，使得入侵探测面板可以利用其处理能力通过建立环境的虚拟图像或签名以便作出关于闯入的有效性的智能决策来执行分析环境的算法。

存储器存储由入侵探测面板的处理器使用的程序指令和数据。存储器可以是随机存取存储器和只读存储器的适当组合，并且可以托管合适的程序指令(例如，固件或操作软件)，并且配置和操作数据并且可以被组织为文件系统或其他。所存储的程序指令可以包括用于认证一个或多个用户的一个或多个认证过程。存储在面板的存储器中的程序指令还可以存储软件组件，从而允许网络通信和到数据网络的连接的建立。软件组件可以，例如，包括互联网协议(IP)栈，以及用于各种接口的驱动程序组件，包括接口和键盘。适于建立连接并跨网络进行通信的其它软件组件对于普通技术人员将是清楚的。

存储在存储器中的程序指令，连同配置数据一起，可以控制面板的整体操作。

监控服务器包括一个或多个处理设备(例如，微处理器)、网络接口和存储器(都未示出)。监控服务器可以物理地采取机架安装卡的形式并且可以与一个或多个操作者终端(未示出)通信。示例监控服务器是SURGARD^TMSG-System III Virtual，或类似的系统。

每个监控服务器的处理器充当用于每个监控服务器的控制器，并且与每个服务器通信并控制每个服务器的整体操作。处理器可以包括存储器，或者与存储器通信，其中存储器存储处理器可执行指令，从而控制监控服务器的整体操作。合适的软件使每个监控服务器能够接收报警并导致适当的动作发生。软件可以包括合适的互联网协议(IP)栈和应用/客户端。

中央监控站的每个监控服务器可以与IP地址和(一个或多个)端口关联，每个监控服务器通过该IP地址和(一个或多个)端口与控制面板和/或用户设备进行通信，以处理报警事件等。监控服务器地址可以是静态的，并且因此总是对入侵探测面板识别监控服务器中特定的一个。作为替代，动态地址可以被使用，并且与通过域名服务解析的静态域名相关联。

网络接口卡与网络接合，以接收进入的信号，并且可以例如采取以太网网络接口卡(NIC)的形式。服务器可以是计算机、瘦客户端等等，接收到的代表报警事件的数据被传递到该服务器，用于由人类操作员处理。监控站还可以包括，或能访问，包括在数据库引擎的控制下的数据库的订阅者数据库。数据库可以包含对应于到面板，就像由监控站提供服务的面板，的各个订阅者设备/过程的条目。

本文描述的过程的全部或部分及其各种修改(以下称为“过程”)可以至少部分地经由计算机程序产品，即，有形地体现在一个或多个是机器的有形的物理硬件存储设备和/或机器可读存储设备中的计算机程序来实现，用于由数据处理装置，例如可编程处理器、计算机或多个计算机，执行，或者控制其操作。计算机程序可以用任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。计算机程序可被部署成在一个计算机上或在一个站点的多个计算机上执行或者跨多个站点分布并由网络互连。

与实现过程相关联的动作可以由执行一个或多个计算机程序以执行校准过程的功能的一个或多个可编程处理器来执行。过程的全部或部分可被实现为专用逻辑电路，例如FPGA(现场可编程门阵列)和/或ASIC(专用集成电路)。

举例来说，适于计算机程序的执行的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。一般而言，处理器将从只读存储区或随机存取存储区域或两者接收指令和数据。计算机(包括服务器)的元件包括用于执行指令的一个或多个处理器和用于存储指令和数据的一个或多个存储区域设备。一般而言，计算机还将包括一个或多个机器可读存储介质，诸如用于存储数据的大容量存储设备，例如磁盘、磁光盘或光盘，或者操作耦合到该一个或多个机器可读存储介质以便从其接收数据，或将数据传送到该一个或多个机器可读存储介质，或两者兼有。

适于体现计算机程序指令和数据的有形物理硬件存储设备包括所有形式的非易失性储存器，举例来说，包括半导体存储区域设备，例如EPROM、EEPROM和闪存存储区域设备；磁盘，例如内部硬盘或可移动盘；磁-光盘；及CD-ROM和DVD-ROM盘，以及易失性计算机存储器，例如，诸如静态和动态RAM的RAM以及可擦除存储器，例如闪存。

此外，附图中绘出的逻辑流不要求只有所示出的特定次序或顺序次序才能达到期望的结果。此外，可以提供其它动作，或者动作可以从所描述的流程被去除，并且其它组件可被添加到或从所描述的系统中去除。同样，附图中所绘出的动作可以由不同的实体执行或者被合并。

本文所述的不同实施例的元素可以组合，以形成未在上面具体阐述的其它实施例。元素可被排除在本文所述的过程、计算机程序、网页等等之外，而不会不利地影响它们的操作。此外，各种独立的元素可被组合成一个或多个个别的元素，以执行本文所述的功能。

本文未具体描述的其它实现也在以下权利要求书的范围之内。