基于图像分析的特殊用户监控方法、设备及存储介质与流程

本发明涉及智能社区技术领域，具体涉及一种基于图像分析的特殊用户监控方法、设备及存储介质。

背景技术：

随着人民生活水平和生活质量的不断提高，居住的安全需求逐渐成为了大家关注的一个焦点问题。人们对居住的环境，不再仅局限于小区的舒适性、住宅的装修等，对小区的安保管理也开始愈来愈关心。随着安防产业的发展，监控早已走进人们的日常生活中。

目前的监控系统在小区管理中只起到人工实时查看，以及事后取证之用，对于特殊用户和异常事件的发现主要还是依赖安保人员的人工巡逻和主动排查，难以及时掌握特殊用户的行为，无法根据特殊用户的行为进行警报提醒，使得当特殊用户出现影响外界安全的异常行为时，外界难以知晓，容易对外界造成危险。

技术实现要素：

本发明的主要目的是提供一种基于图像分析的社区特殊用户监控方法、设备及存储介质，旨在解决难以及时掌握特殊用户的行为，无法根据特殊用户的行为进行警报提醒的问题。

为实现上述目的，本发明提供了一种基于图像分析的特殊用户监控方法，包括：

根据预先存储的特殊用户的基本信息，确定监测区域内用于采集所述特殊用户的图像数据的监控设备；

周期性获取所述监控设备采集到的图像数据；

针对在每个周期内获取到的图像数据，根据所述基本信息包含的所述特殊用户的人脸图像和所述图像数据，确定所述特殊用户在该周期内的行为信息，并当所述行为信息表明特殊用户存在异常行为时，进行警报提醒。

本发明还提供了一种基于图像分析的特殊用户监控设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述的基于图像分析的特殊用户监控方法的步骤。

本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述的基于图像分析的特殊用户监控方法的步骤。

在本发明上述方案至少包括以下有益效果：

本发明通过根据预先存储的特殊用户的基本信息，确定监测区域内用于采集所述特殊用户的图像数据的监控设备，并周期性获取所述监控设备采集到的图像数据；最后针对在每个周期内获取到的图像数据，根据所述基本信息包含的所述特殊用户的人脸图像和所述图像数据，确定所述特殊用户在该周期内的行为信息，并当所述行为信息表明特殊用户存在异常行为时，进行警报提醒；从而能及时掌握特殊用户的行为，并根据特殊用户的行为进行警报提醒，以避免所述特殊用户的异常行为对外界造成危险。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明具体实施例的网络系统构架图；

图2为本发明具体实施例中基于图像分析的特殊用户监控方法的流程示意图；

图3为本发明具体实施例中图2中基于图像分析的特殊用户监控方法步骤30的流程示意图；

图4为本发明具体实施例中服务终端与楼道监控设备和门禁监控设备的交互流程图；

图5为本发明具体实施例的基于图像分析的特殊用户监控系统的结构示意图。

具体实施方式

下面将结合本发明具体实施例中的附图，来对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面首先结合相关附图来举例介绍下本申请实施例的方案可能应用到的网络架构。

具体参见图1，图1所示的网络架构涉及到服务终端、部署于监测区域内各监测节点上的图像采集设备、管理中心显示器及警察局服务平台，服务终端可以理解为执行基于图像分析的特殊用户监控方法的服务器、桌上型计算机、笔记本、掌上电脑等具有数据处理能力的电子设备，记录有特殊用户的基本信息；图像采集设备用于在采集范围内采集特殊用户的图像数据，具体可以为特殊用户住处的门禁监控设备、特殊用户住处的楼道监控设备等；门禁监控设备主要用于监控特殊用户的出入情况，楼道监控设备主要用于监控楼道人员情况；结合楼道监控设备和门禁监控设备还能监控特殊用户的来访人员情况。管理中心显示器用于显示服务终端推送的警报信息；警察局服务平台，使特殊用户的异常行为能让警方知晓，以避免所述特殊用户的异常行为对外界造成危险。

如图2所示，本发明的具体实施例提供了一种基于图像分析的特殊用户监控方法，包括：

步骤10，根据预先存储的特殊用户的基本信息，确定监测区域内用于采集所述特殊用户的图像数据的监控设备。

其中，在本发明的具体实施例中，服务终端里记录了社区所有特殊户的基本信息，基本信息包括特殊用户的性别、年龄、人脸信息、生活背景、身份证号码、联系方式、籍贯、具体居住位置、婚姻状态等；上述特殊用户包括缓刑人员、减刑人员、有前科人员、有吸毒史等人员。可以理解的是，特殊用户的基本信息可以为公安部门提供的信息。需要说明的是，上述步骤10中的特殊用户为服务终端中记录的社区所有特殊用户中的任一者。

上述监测区域可以为住宅小区、社区区域等，采集特殊用户的图像数据的监控设备包括特殊用户住处楼道的楼道监控设备、门禁监控设备、出入所要经过的监控设备。值得一提的是，通过多方面的监控设备来对特殊用户进行全面监控，使得对特殊用户的管理更加完善，能更及时地发现特殊用户的异常事件，有利于增加小区的安全性。

其中，服务终端里记录了所有特殊用户的基本信息，可从基本信息中确定特殊用户的住处，并将特殊用户处住的门禁监控设备、楼道监控设备作为采集特殊用户图像数据的监控设备，当然也可以统计特殊用户在预设时间段内出现在监测区域的位置，将这些位置上的监控设备作为采集特殊用户图像数据的监控设备，可以理解的是，用于采集所述特殊用户的图像数据的监控设备可以为监测区域内的所有监控设备。

举例来说，服务终端记录了所有特殊用户的基本信息，比如，从所有特殊用户的基本信息中，得知了特殊用户h住在社区的5栋3楼302房，因此，可以将5栋门口的门禁监控设备、3楼的楼道监控设备，以及特殊用户h出入社区门口所要经过的监控设备，当然，也可以通过分析社区所有的监控设备获取到特殊用户h一个月内的图像数据，统计特殊用户h在一个月内出现在社区的位置，然后将这些位置上的监控设备作为采集特殊用户h的图像数据的监控设备来监控特殊用户h的行为。可以理解的是，用于采集特殊用户h的图像数据的监控设备可以为监测区域内的所有监控设备。

值得一提的是，通过特殊用户住处的监控设备来监控特殊用户，能及时地发现特殊用户的异常行为，通过多方面的监控设备能对特殊用户进行全方面的监控，使得对特殊用户的管理更加完善，有利于增加小区的安全性。

步骤20，周期性获取所述监控设备采集到的图像数据。

其中，在本发明的具体实施例中，周期性是指定期或隔一定期间发生的量，举例来说，每天的0-12点为一个周期；12-24点为一个周期，也可以为每天一个周期，按照周期去获取所述监控设备采集到特殊用户的图像数据。

值得一提的是，周期性的获取特殊用户的图像数据，能够保证获取的图像数据完整，从而准确的判断特殊用户的行为信息，并且这种获取方式时周期性的，能持续掌握特殊用户的行为，及时的根据特殊用户的行为进行警报提醒，避免对外界造成危险。

步骤30，针对在每个周期内获取到的图像数据，根据所述基本信息包含的所述特殊用户的人脸图像和所述图像数据，确定所述特殊用户在该周期内的行为信息，并当所述行为信息表明特殊用户存在异常行为时，进行警报提醒。

其中，在本发明的具体实施例中，对于每个周期内获取到的图像数据，可根据特殊用户的人脸图像，解析获取到的图像数据，通过人脸图像匹配可获得与特殊用户相关的图像数据。

具体地说，服务终端监测到监控图像数据中出现了特殊用户的人脸图像时，可以采用时间差分法对监控图像数据进行分析，确定特殊用户周期内的行为信息。其中时间差分法主要通过对监控图像数据中的特殊用户连续两帧或几帧图像中的差异进行综合分析，从而获得监控图像数据中的人体行为信息。举例来说，当服务终端监测到了监控图像数据中出现了特殊用户h的人脸图像数据时，采用时间差分法对监控图像数据进行分析，通过监控图像数据中特殊用户h的连续两帧或几帧图像的差异进行综合分析，通过分析可以判断特殊用户h的行为信息为进门、出门、走路、跳跃等。

其中，经过服务终端分析监控图像数据，特殊用户在该周期内的异常行为有很多种，例如，特殊用户没有在该周期内回来，特殊用户长时间未出门等，当特殊用户存在任一种异常行为时，均会进行警报提醒。

其中，在本发明的具体实施例中，上述监测区域内用于采集所述特殊用户的图像数据的监控设备包括设置于所述特殊用户的住处的门禁监控设备。

在本发明具体实施例中，上述步骤30根据所述基本信息包含的所述特殊用户的人脸图像和所述图像数据，确定所述特殊用户在该周期内的行为信息，并当所述行为信息表明特殊用户存在异常行为时，进行警报提醒的步骤，包括：

步骤一：根据所述特殊用户的人脸图像和所述门禁监控设备采集到的图像数据，确定所述特殊用户在该周期内的行为信息；

一般地，根据服务终端分析图像数据确定特殊用户的行为信息会存在很多种情况，例如特殊用户深夜出门，特殊用户有来访人员，特殊用户没有在周期内回来，特殊用户长时间未出门，这些情况都属于特殊用户存在异常行为。当根据周期内获取到的图像数据确定特殊用户有之前所述的异常行为时，服务终端能向社区管理人员发送警报提醒。当然，根据图像数据确定的特殊用户行为信息也可以为特殊用户行为正常。

步骤二：当确定出的行为信息表明特殊用户存在异常行为时，进行警报提醒。其中，上述步骤二当确定出的行为信息表明特殊用户存在异常行为时，进行警报提醒的具体实现方法包括如下步骤：

当所述行为信息指示所述特殊用户在该周期内未出门时，向社区管理人员发送用于提示所述社区管理人员前往所述特殊用户的住处进行查看的警示信息，或者用于提示所述特殊用户长时间未出门的提醒信息。

举例来说，在本发明的具体实施例中，当门禁监控设备采集到特殊用户b回住处的图像数据，记录此时的时间点，例如是在2018年4月25日14时采集到特殊用户b回住处的图像数据，服务终端判断在周期内是否采集到特殊用户b出门的图像数据，例如周期内为24小时，能理解的是，在2018年4月26日14时之前门禁监控设备没有采集到特殊用户b出门的图像数据，就是说特殊用户b在周期内没有出门。此时可以确定特殊用户b存在长时间未出门的异常行为，那么社区服务器向小区管理人员发送提示特殊用户b长时间未出门的提醒信息。

其中，当根据上述门禁监控设备获取到的特殊用户的图像信息，确定不存在特殊用户周期内未出门的行为，此时应当根据所有的摄像头采集到的特殊用户的图像信息综合判断特殊用户是否存在异常行为。具体实施方式见下述步骤。

其中，在本发明的具体实施例中，上述监测区域内用于采集所述特殊用户的图像数据的监控设备还包括设置于所述特殊用户的住处对应的楼道的楼道监控设备。

其中，上述步骤二当确定出的行为信息表明特殊用户存在异常行为时，进行警报提醒的具体实现方法还包括如下步骤：

当所述行为信息指示所述特殊用户在该周期内出门时，根据所述特殊用户的人脸图像、所述门禁监控设备采集到的图像数据和所述楼道监控设备采集到的图像数据，判断所述特殊用户是否在该周期内返回所述特殊用户的住处，当所述特殊用户未在该周期内返回所述特殊用户的住处时，输出警报信息。

其中，当根据上述门禁监控设备获取到的特殊用户的图像信息，确定不存在特殊用户周期内未出门的行为，此时应当根据门禁监控设备、楼道监控设备、社区监控设备采集到的特殊用户的图像信息综合判断特殊用户是否存在异常行为。

举例来说，当门禁监控设备获取到的图像数据指示特殊用户c在周期内出门时，记录此时的时间点，例如特殊用户c出门时间点为2018年1月25日11时，在周期内解析所有的监控设备采集到的图像数据，例如周期内为一天内，也就是说在2018年1月26日11时内解析所有的监控设备采集到的图像数据，通过服务终端判断所有监控设备采集到的图像数据是否出现过特殊用户c的图像数据，若没有，则确定特殊用户c存在长时间未归的异常行为，此时服务终端向社区管理人员发送提示特殊用户c长时间未归的警报信息。

其中，上述步骤二当确定出的行为信息表明特殊用户存在异常行为时，进行警报提醒的具体实现方法还包括如下步骤：

当所述行为信息指示所述特殊用户在该周期内的第一预设时间段出门时，输出警报信息。

其中，第一预设时间为深夜时间，具体时间为22：00-5：00点.举例来说，当所有监控设备在22：00-5：00获取到特殊用户d有出门的行为信息，此时服务终端向社区管理人员发送提示特殊用户d深夜出行的警报信息。

如图3所示，在本发明的具体实施例中，上述步骤30根据所述基本信息包含的所述特殊用户的人脸图像和所述图像数据，确定所述特殊用户在该周期内的行为信息，当确定出的行为信息表明特殊用户存在异常行为时，进行警报提醒的步骤还包括：

步骤301，根据所述特殊用户的人脸图像以及所述楼道监控设备和所述所述门禁监控设备采集到的图像数据，从所述图像数据中获得所述特殊用户的来访人员的来访信息。

其中，服务终端分析楼道监控设备和所述所述门禁监控设备采集到的图像数据，通过采用pca(principalcomponentanalysis)算法对图像数据进行分析，其中pca(principalcomponentanalysis)算法主要通过计算特征值最大的特征向量来对原始数据进行线性变换。来判断来访人员是否露正脸；解析获取里面出现来访人员的图像，并获取对应的时间点，确定来访人员的来访时间。通过这些来获得来访人员的来访信息。

其中，来访人员的来访信息包括所述来访人员的来访次数、来访时间和人脸信息。

步骤302，根据所述来访人员的来访信息，判断是否达到预设警报触发条件。

其中，预设警报触发条件包括所述来访人员的来访时间为第二预设时间段、所述来访人员的来访次数达到预设次数、所述来访人员的来访时间超过预设时间、未检测到来访人员的人脸以及第三预设时间段内来访人员的数量达到预设数量中的至少一种。

步骤303，当达到预设警报触发条件时，输出警报信息。

举例来说，根据楼道监控设备采集到的图像数据，从所述图像数据中获得特殊用户e有来访人员f时，并根据所述图像数据获得来访人员f来访次数为6次，大于预设次数5次；或者来访人员g来访时间为4个小时，超过预设时间3小时；或者来访人员h未露正脸等，此时社区服务器向社区管理人员发送提示特殊用户e来访人员异常的警报信息。可以理解的是，来访人员的来访信息也可以为正常来访。

如图4所示，为了更好的对上述基于图像分析的特殊用户监控方法的了解，通过服务终端与门禁监控设备和楼道监控设备之间的信息传达，进一步的说明，其中，服务终端获取门禁监控设备所采集的图像数据，分析图像数据为特殊用户长时间未出门，发送报警信息给管理中心；当分析门禁监控设备所采集的图像数据为特殊用户出门，则根据门禁监控设备和楼道监控设备所采集的图像数据进行分析，当图像数据为特殊用户长时间未归，或者深夜有出门行为，服务终端发送报警信息给管理中心；服务终端获取楼道监控设备所采集的图像数据，获得来访人员的来访信息，判断来访人员的来访信息是否达到预设警报触发条件，当达到预设警报触发条件，服务终端向管理中心发送来访人员来访信息异常的报警信息。

由此可见，在本发明的具体实施中，通过根据预先存储的特殊用户的基本信息，确定监测区域内用于采集所述特殊用户的图像数据的监控设备，并周期性获取所述监控设备采集到的图像数据；最后针对在每个周期内获取到的图像数据，根据所述基本信息包含的所述特殊用户的人脸图像和所述图像数据，确定所述特殊用户在该周期内的行为信息，并根据所述行为信息进行警报提醒，以及时掌握特殊用户的行为，并根据特殊用户的行为进行警报提醒，避免对外界造成危险。

如图5所示，本发明还提供一种基于图像分析的特殊用户监控设备，包括存储器51，处理器53以及存储在存储器51上并可在处理器53上运行的计算机程序52，该处理器53执行计算机程序52时实现上述的基于图像分析的特殊用户监控方法的步骤。

具体的，在本发明的具体实施例中，处理器53执行计算机程序52时实现以下步骤：根据预先存储的特殊用户的基本信息，确定监测区域内用于采集所述特殊用户的图像数据的监控设备；周期性获取所述监控设备采集到的图像数据；针对在每个周期内获取到的图像数据，根据所述基本信息包含的所述特殊用户的人脸图像和所述图像数据，确定所述特殊用户在该周期内的行为信息，并当所述行为信息表明特殊用户存在异常行为时，进行警报提醒。

可选的，处理器53执行计算机程序52时实现以下步骤：根据所述特殊用户的人脸图像和所述门禁监控设备采集到的图像数据，确定所述特殊用户在该周期内的行为信息；当确定出的行为信息表明特殊用户存在异常行为时，进行警报提醒。

可选的，处理器53执行计算机程序52时实现以下步骤：当所述行为信息指示所述特殊用户在该周期内未出门时，向社区管理人员发送用于提示所述社区管理人员前往所述特殊用户的住处进行查看的警示信息，或者用于提示所述特殊用户长时间未出门的提醒信息。

可选的，处理器53执行计算机程序52时实现以下步骤：当所述行为信息指示所述特殊用户在该周期内出门时，根据所述特殊用户的人脸图像、所述门禁监控设备采集到的图像数据和所述楼道监控设备采集到的图像数据，判断所述特殊用户是否在该周期内返回所述特殊用户的住处；当所述特殊用户未在该周期内返回所述特殊用户的住处时，输出警报信息。

可选的，处理器53执行计算机程序52时实现以下步骤：当所述行为信息指示所述特殊用户在该周期内的第一预设时间段出门时，输出警报信息。

可选的，处理器53执行计算机程序52时实现以下步骤：根据所述特殊用户的人脸图像以及所述楼道监控设备和所述所述门禁监控设备采集到的图像数据，从所述图像数据中获得所述特殊用户的来访人员的来访信息；根据所述来访人员的来访信息，判断是否达到预设警报触发条件；当达到预设警报触发条件时，输出警报信息。

可选的，处理器53执行计算机程序52时实现以下步骤：向警方或者社区管理人员发送用于提示所述特殊用户出现异常行为的警报信息。

即，在本发明具体实施例中，监控设备5的处理器53执行计算机程序52时实现上述基于图像分析的特殊用户监控方法的步骤。通过监控设备获取到的特殊用户的信息，判断特殊用户存在异常行为时，并发出警报提醒给社区管理人员。

需要说明的是，由于监控设备5的处理器53执行计算机52时实现上述基于图像分析的特殊用户监控方法的步骤，因此上述特殊用户监控方法的所有实施例均适用于该监控设备5，且均能达到相同或相似的有益效果。

此外，本发明的具体实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述的基于图像分析的特殊用户监控方法的步骤。

具体的，计算机程序被处理器执行时实现以下步骤：根据预先存储的特殊用户的基本信息，确定监测区域内用于采集所述特殊用户的图像数据的监控设备；周期性获取所述监控设备采集到的图像数据；针对在每个周期内获取到的图像数据，根据所述基本信息包含的所述特殊用户的人脸图像和所述图像数据，确定所述特殊用户在该周期内的行为信息，并当所述行为信息表明特殊用户存在异常行为时，进行警报提醒。

可选的，计算机程序被处理器执行时实现以下步骤：根据所述特殊用户的人脸图像和所述门禁监控设备采集到的图像数据，确定所述特殊用户在该周期内的行为信息；当确定出的行为信息表明特殊用户存在异常行为时，进行警报提醒。可选的，计算机程序被处理器执行时实现以下步骤：当所述行为信息指示所述特殊用户在该周期内未出门时，向社区管理人员发送用于提示所述社区管理人员前往所述特殊用户的住处进行查看的警示信息，或者用于提示所述特殊用户长时间未出门的提醒信息。

可选的，计算机程序被处理器执行时实现以下步骤：当所述行为信息指示所述特殊用户在该周期内出门时，根据所述特殊用户的人脸图像、所述门禁监控设备采集到的图像数据和所述楼道监控设备采集到的图像数据，判断所述特殊用户是否在该周期内返回所述特殊用户的住处；当所述特殊用户未在该周期内返回所述特殊用户的住处时，输出警报信息。

可选的，计算机程序被处理器执行时实现以下步骤：当所述行为信息指示所述特殊用户在该周期内的第一预设时间段出门时，输出警报信息。

可选的，计算机程序被处理器执行时实现以下步骤：根据所述特殊用户的人脸图像以及所述楼道监控设备和所述所述门禁监控设备采集到的图像数据，从所述图像数据中获得所述特殊用户的来访人员的来访信息；根据所述来访人员的来访信息，判断是否达到预设警报触发条件；当达到预设警报触发条件时，输出警报信息。

可选的，计算机程序被处理器执行时实现以下步骤：向警方或者社区管理人员发送用于提示所述特殊用户出现异常行为的警报信息。

即，在本发明的具体实施例中，计算机程序被处理器执行时实现上述基于图像分析的社区监控方法的步骤，能及时掌握特殊用户的行为，并根据特殊用户的行为进行警报提醒，避免对外界造成危险。

需要说明的是，由于计算机程序被处理器执行时实现上述基于图像分析特殊用户监控方法的步骤，因此上述特殊用户监控方法的所有实施例均适用于该计算机可读存储介质，且均能达到相同或相似的有益效果。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是智能音箱，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。