智能监控方法及装置、系统、可读存储介质与流程

本发明涉及控制技术领域，尤其涉及一种智能监控方法及装置、系统、可读存储介质。

背景技术：

目前，监控系统应用在很多生产和生活场景中，管理人员可以通过监控画面及时发现问题进行处理，以及通过回放视频提取证据。在一些生活场景中，例如家居监控系统，用户通常不会实时查看监控画面，仅在发生事故后才调取视频并查明原因后才做相关处理，容易错过最佳处理时间。

技术实现要素：

本发明提供一种智能监控方法及装置、系统、可读存储介质，以解决相关技术中由于无法理解用户行为引起的错过最佳处理时间的问题。

根据本发明实施例的第一方面，提供一种智能监控方法，应用于智能监控系统，包括：

获取目标范围中用户的身份信息以及行为权限；

获取所述用户的场景行为；

基于所述行为权限和所述场景行为确定所述场景行为是否为越权行为。

可选地，获取目标范围中用户的身份信息以及行为权限包括：

获取目标范围内的影像；

调用预先设置的人脸识别算法，由所述人脸识别算法识别出所述影像中用户的身份；

基于身份信息和行为权限的对应关系，根据所述身份信息确定所述用户的行为权限。

可选地，获取所述用户的场景行为包括：

调用预先设置的场景理解算法，由所述场景理解算法从影像内提取关于所述用户的特征向量；

调用语言识别算法，由所述语言识别算法根据所述特征向量获取描述语句，所述描述语句用于表征所述用户的场景行为。

可选地，所述场景理解算法采用vgg16模型实现，所述语言识别算法采用lstm网络和word2vecr模型的组合实现。

可选地，基于所述行为权限和所述场景行为确定所述场景行为是否为越权行为，包括：

获取表征所述场景行为的描述语句中的关键词；

基于行为权限和场景行为的对应关系，确定所述关键词与所述行为权限是否匹配；

若不匹配，则确定所述场景行为为越权行为。

可选地，确定所述场景行为为越权行为之后，所述方法还包括：

在日志中标记所述场景行为。

可选地，确定所述场景行为为越权行为之后，所述方法还包括：

向移动终端发送描述语句以及报警信息。

根据本发明实施例的第二方面，提供一种智能监控装置，应用于智能监控系统，包括：

权限获取模块，用于获取目标范围中用户的身份信息以及行为权限；

行为获取模块，用于获取所述用户的场景行为；

越权确定模块，用于基于所述行为权限和所述场景行为确定所述场景行为是否为越权行为。

根据本发明实施例的第三方面，提供一种智能监控系统，包括网络摄像头、流媒体服务器和算法服务器；其中，

所述网络摄像头固定在预设位置，用于获取目标范围内的影像，并将所述影像上传至所述流媒体服务器；

所述流媒体服务器用于将所述影像转发到所述算法服务器；

所述算法服务器用于根据所述影像获取所述目标范围中用户的身份信息以及行为权限，获取所述用户的场景行为并且基于所述行为权限和所述场景行为确定所述场景行为是否为越权行为。

可选地，还包括：控制主机和移动终端；所述控制主机分别与所述算法服务器和所述移动终端连接；所述移动终端与所述流媒体服务器连接；

所述算法服务器用于在确定所述场景行为为越权行为时生成报警信息并将所述报警信息和所述场景行为对应的描述语句发送给控制主机；

所述控制主机用于将所述报警信息和所述描述语句发送给所述移动终端；

所述移动终端用于显示所述报警信息和所述描述语句。

根据本发明实施例的第四方面，提供一种可读存储介质，其上存储有计算机指令，该指令被处理器执行时第一方面所述方法的步骤。

可见，本实施例中通过获取目标范围中用户的身份信息以及行为权限，然后基于用户身份获取用户的场景行为，最后基于行为权限和场景行为确定场景行为是否为越权行为。这样，本实施例中通过用户的行为权限以及场景行为，可以确定出越权行为。在确定出越权行为后可以作进一步处理，例如报警，可以帮助管理人员及时发现突出事件，提升处理效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本发明实施例示出的一种智能监控方法的流程示意图；

图2是本发明实施例示出的行为权限的示意图；

图3是本发明实施例示出的确定用户行为权限的流程示意图；

图4是本发明实施例示出的确定用户场景行为的流程示意图；

图5是本发明实施例示出的从影像获取特征向量的流程示意图；

图6是本发明实施例示出的根据特征向量获取描述语句的流程示意图；

图7是本发明实施例示出的日志中各用户的场景行为的示意图；

图8是本发明实施例示出的确定越权行为的流程示意图；

图9是本发明实施例示出的日志中一种标记场景行为的效果示意图；

图10是本发明实施例示出的日志中另一种标记场景行为的效果示意图；

图11是本发明实施例示出的另一种智能监控方法的流程示意图；

图12是本发明实施例示出的一种智能监控系统的框图；

图13是本发明实施例示出的一种智能监控装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

目前，监控系统应用在很多生产和生活场景中，管理人员可以通过监控画面及时发现问题进行处理，以及通过回放视频提取证据。在一些生活场景中，例如家居监控系统，用户通常不会实时查看监控画面，仅在发生事故后才调取视频并查明原因后才做相关处理，容易错过最佳处理时间。

鉴于相关技术中的监控系统需要管理人员自己发现突出事件，导致容易错过最佳处理时间的问题，本发明实施例提供了一种智能监控方法和一种智能监控系统，其构思在于，可以对各用户设置行为权限，然后通过识别各用户在目标范围内的场景行为，最后可以通过行为权限和场景行为来确定用户是否存在越权行为。即本实施例中监控系统可以实现自动判断越权行为，有利于帮助管理人员及时发现事件以及及时处理事件。

图1是本发明实施例示出的一种智能监控方法的流程示意图，参见图1，一种智能监控方法，可以应用于智能监控系统，包括步骤101～步骤103，其中：

101，获取目标范围中用户的身份信息以及行为权限。

本实施例中，管理人员可以通过人机交互设备，例如键盘、触摸屏、通信接口等，在智能监控系统内预先存储用户及其身份信息，以及各用户的行为权限，即预先建立了身份信息和行为权限的对应关系。例如管理人员、工作人员、访客，或者主人、朋友、访客等，管理人员可以根据具体场景进行设置并存储用户，在此不作限定。

参见图2，管理人员可以根据智能监控系统的应用场景进行设置用户。在智能监控系统应用于家庭时，管理人员可以预先将用户(如姓名、标识码、生物特征等)的身份信息存储到智能监控系统中，可以将用户分为成年主人、儿童主人、熟人访客、陌生访客等类别。然后，管理人员可以为各用户分配相应的行为权限，继续参见图2，例如，设置成年主人具有所有行为权限，而晕倒会报警；设置儿童主人具有部分行为权限，而触碰重要、易碎等物品会报警；设置熟人访客的行为权限(如客厅活动、倒水、接触插头，禁止进入卧室，禁止打开抽屉)；设置陌生访客的行为权限为禁止翻看抽屉、保险柜等行为。

又如，智能监控系统应用于商场时，可以将用户分为超市管理人员、超市工作人员和访客(顾客)等类别，并且，超市管理人员具有进入所有区域的行为权限；超市工作人员具有进入柜台和使用收银机的行为权限；访客禁止损坏商品和将商品私自放入随身包的行为权限。在智能监控系统能够识别出目标范围内用户及其行为权限的情况下，相应的方案落入本申请的保护范围。

本实施例中，参见图3，智能监控系统可以获取由网络摄像头采集的目标范围内的影像(对应步骤301)。其中目标范围可以为网络摄像头可以覆盖的空间区域，用户可以该目标范围内活动，例如客厅、走廊等。该目标范围可以根据具体场景以及网络摄像头的数量进行调整。并且，影像是指网络摄像头采集的视频数据以及抓拍的照片等。

需要说明的是，在传输影像过程中，影像会被压缩、编码、解码等处理，因此，智能监控系统可以采用相关技术的编码或者解码方案处理影像，在此不再描述。

本实施例中，可以预先设置人脸识别算法，例如，基于几何特征的识别算法、基于局部特征分析的识别算法、特征脸方法、神经网络算法等，在能够识别出用户的情况下，相应算法或者方案同样落入本申请的保护范围。

继续参见图3，智能监控系统可以调用预先设置的人脸识别算法，将影像输入到人脸识别算法，由该人脸识别算法识别出影像中用户的身份信息(对应步骤302)。例如，该人脸识别算法可以检测到影像中用户的人脸，通过将检测出的人脸与预先存储的人脸模板进行匹配，在匹配度大于设定值时，可以确定检测出的人脸与该人脸模板匹配，即两个人脸为同一用户，此情况下可以将人脸模板的身份信息作为检测出人脸的身份信息。

继续参见图3，基于预先设置的身份信息和行为权限的对应关系，智能监控系统可以根据识别出的身份信息确定出用户的行为权限(对应步骤303)。

102，获取所述用户的场景行为。

本实施例中，可以预先设置场景理解算法，用于基于影像生成关于各用户的特征向量。其中，场景理解算法可以包括基于对象的场景理解算法、基于区域的场景理解算法、基于上下文的场景理解算法。本实施例中场景理解算法可以为基于对象的场景理解算法，例如alexnet算法、vgg-net算法、goolenet算法和resnet算法等。在一些场景中，场景理解算法可以采用vgg16模型实现。其中场景理解算法训练时，其训练集可以为相关技术中的imagenet+mscoco数据集，训练集以及训练过程在此不再赘述。

本实施例中，可以预先设置语言识别算法，用于根据场景理解算法所生成的特征向量生成描述语句，通过该描述语句可以表征用户的场景行为。在一些场景中，语言识别算法采用长短期记忆网络lstm和word2vecr模型的组合实现。其中语言识别算法训练时，其训练集可以为相关技术中的gigaword+mscoco数据集，训练集以及训练过程在此不再赘述。

本实施例中，参见图4，智能监控系统可以调用预先设置的场景理解算法，将影像输入到场景理解算法，由场景理解算法从影像内提取出关于各用户的特征向量(对应步骤401)。

参见图5，智能监控系统将影像输入到vgg16模型，由vgg16模型提取出4096维特征向量。需要说明的是，vgg16模型的结构和工作原理可以参见相关技术中的描述，在此不再赘述。

继续参见图4，智能监控系统继续调用语言识别算法，将4096维特征向量输入到语言识别算法，由语言识别算法根据特征向量获取出描述语句，该描述语句可以用于表征用户的场景行为(对应步骤402)。

参见图6，将4096维特征向量经过全连接层(fc)映射成72701维向量。然后，将生成的上一个词通过word2vecr模型将文字转为300维向量，经过长短期记忆网络lstm转换为512维向量，然后将300维向量和512维向量经过连接层形成812维向量，再经过全连接层生成另一个300维向量，再经过一个全连接层映射成72701维向量。4096维特征对应的72701维向量和上一个词对应的72701维向量相加生成下一个词。重复上述步骤，可以得到影像对应的描述语句。

在一些实施例中，描述语句可以如图7所示，访客1的身份信息可以用其服装信息来表示，例如服装信息包括黑色外套、棕色袖子、黑色皮鞋，其行为权限为访客权限。针对访客1的场景行为，包括：2018/6/1911:42:30，坐在客厅沙发上喝水。2018/6/1911:45:40，坐在客厅沙发上打电话。针对主人宝宝，其权限为儿童主人权限，其场景行为包括：2018/6/1910:05:40，在客厅拿着小象玩具跑来跑去。2018/6/1910:15:20，在客厅用奶瓶喝奶。

103，基于所述行为权限和所述场景行为确定所述场景行为是否为越权行为。

本实施例中，参见图8，智能监控系统可以获取表征场景行为的描述语句中的关键词(对应步骤801)。继续参见图7，例如访客1在时间1(2018/6/1911:42:30)时坐在客厅沙发上喝水，关键词可以包括：坐，沙发，客厅，喝水。

继续参见图8，智能监控系统可以基于行为权限和场景行为的对应关系，确定关键词与行为权限是否匹配(对应步骤802)。在一些场景中，可以将行为权限和场景行为的对应关系设置为表格形式。智能监控系统可以根据关键词查询对应关系表格，可以确定出行为权限与关键词是否匹配。换言之，智能监控系统可以确定出行为权限与场景行为是否匹配。

若不匹配，则确定场景行为为越权行为(对应步骤803)。若匹配，则确定场景行为非越权行为(即正常行为)。

在一些实施例中，智能监控系统可以将描述语句记录在日志中，管理人员可以通过日志查询各用户的场景行为。另外，智能监控系统还可以标记各用户的场景行为是否为越权行为。参见图9，由于访客1的场景行为为“2018/6/1911:50:45，翻看客厅抽屉”属于越权行为，因此对该场景行为进行标记，标记内容为“报警”，标记结果如图9所示。图9所示日志中还示出了标记主人宝宝的一个场景行为“2018/6/1911:32:40，在厨房拿起水果刀(报警)”。

可理解的是，技术人员还可以根据具体场景设置越权行为的分类，越权行为可以包括报警和标记。例如，一些场景行为可以属于越权行为且没有任何危险，可以进行标记。参见图10，管理人员(即主人)对用户(其朋友1)授权，但是该朋友1存在一场景行为“2018/6/1911:50:45，翻看客户抽屉”，属于越权行为，因此对该场景行为进行标记“2018/6/1911:50:45，翻看客户抽屉(标记)”。在能够实现区分越权行为以及方便管理人员查看的情况下，相应的越权行为分类以及标记也落入本申请的保护范围。

在一些实施例中，智能监控系统在确定场景行为为越权行为后，还可以向管理人员报警。参见图11，智能监控系统在确定场景行为为越权行为后生成报警信息，然后向移动终端发送报警信息以及报警信息(对应步骤104)。这样，智能监控系统通过向管理人员的移动终端发送报警信息，可以方便管理人员及时查看突出事件，提高处理效率。

至此，本实施例中通过获取目标范围中用户的身份信息以及行为权限，然后基于用户身份获取用户的场景行为，最后基于行为权限和场景行为确定场景行为是否为越权行为。这样，本实施例中通过用户的行为权限以及场景行为，可以确定出越权行为。在确定出越权行为后可以作进一步处理，例如报警，可以帮助管理人员及时处理突出事件，提升处理效率。

本发明实施例还提供了一种智能监控系统，图12是本发明实施例示出的一种智能监控系统的框图。参见图12，一种智能监控系统包括算法服务器10、流媒体服务器20和网络摄像头30。其中，

网络摄像头30固定在预设位置，用于获取目标范围内的影像，并将影像上传至流媒体服务器20；

流媒体服务器20用于将影像转发到算法服务器10；

算法服务器10用于根据影像获取目标范围中用户的身份信息以及行为权限，获取用户的场景行为，并且基于行为权限和场景行为确定场景行为是否为越权行为。

本实施例中，算法服务器10在确定场景行为为非越权行为后，参见图7，可以将该场景行为存储到日志中。在确定场景行为为越权行为后，除了将场景行为存储到日志中，还会对该场景行为进行标记，标记后的描述语句如图9所示。

在一些实施例中，继续参见图12，一种智能监控系统还可以包括控制主机40和移动终端50，该控制主机40分别与算法服务器10和移动终端50连接。算法服务器10用于在确定场景行为为越权行为时生成报警信息，并将报警信息和场景行为对应的描述语句发送给控制主机40。控制主机用于将报警信息和描述语句发送给移动终端50；移动终端50用于显示报警信息和描述语句。这样，本实施例中，管理人员可以通过移动终端50及时接收到报警信息，达到及时了解突发事件的目的，可以帮助管理人员及时发现突出事件，提升处理效率。

在一些实施例中，继续参见图12，移动终端50可以与流媒体服务器20连接，移动终端50上可以安装应用程序app，通过该app可以接收流媒体服务器20发送的影像，管理人员可以通过实时影像或者回放影像，达到监控目标范围的目的。

需要说明的是，实际应用中，智能监控系统中的各部件可以相互组合，从而简化系统结构。例如流媒体服务器20、算法服务器10和控制主机40可以集成到一个服务器中，这样智能监控系统中可以包括网络摄像头、服务器和移动终端。又如，流媒体服务器20和算法服务器10可以集成到一个服务器中，控制主机和移动终端集成到移动终端中。再如，流媒体服务器20、算法服务器10和网络摄像头可以集成到一个服务器中，控制主机和移动终端集成到移动终端中，从而实现服务器和移动终端的架构。上述各种组合方式都可以实现相应的功能，相应方案落入本申请的保护范围。

下面结合具体场景对本发明实施例提供的一种智能监控方法和智能监控系统作详细描述。

一，智能监控系统应用于家庭场景的实施例。

在安装智能监控系统的之前，可以通过相关技术中的数据集训练相应的模型，例如imagenet+mscoco数据集训练场景理解算法，又如利用gigaword+mscoco训练集训练语言识别算法，从而可以使智能监控方法适用于多种场景。管理人员可以选择其中的家庭场景，然后家庭场景中可以预先设置成年主人、儿童主人、熟人访客和陌生访客。

算法服务器10在接收到影像后可以获取到目标范围内各用户的身份信息以及各身份信息对应的行为权限。例如男主人为成年主人权限，宝宝为儿童主人权限等。

然后，算法服务器10根据身份信息获取各用户的场景行为，场景行为可以采用图7所示的描述语句来体现。各描述语句中包括多个关键词，算法服务器10通过匹配行为权限和关键词来确定场景行为是否为越权行为。

由于家庭场景中涉及的隐私较多，对于成年主人，算法服务器10仅记录其晕倒的场景行为且其他行为都不记录；对于儿童主人，算法服务器10在确定其在触碰重要、易碎等贵重或危险物品屋内时，会生成报警信息。例如算法服务器10可以通过扬声器(图中未示出)播放预先录好的父母警告声“宝宝不要碰这个，否则会弄伤你！”。其中，贵重和危险物品的类型由管理人员预先设定，如古董瓷器、手机等为贵重物品，酒瓶、刀具等为危险物品。

对于熟人访客，管理人员可以授权所有行为权限，算法服务器10可以对一些场景行为进行标记。

对于陌生访客，其行为权限较少。算法服务器10在确定其场景行为为翻抽屉、保险柜等行为时，确定场景行为为危险行为。此时算法服务器10可以生成报警信息，并将报警信息和描述语句发送给主人的移动终端50(如手机)。同时，流媒体服务器20可以向主人的移动终端50发送陌生访客的照片以及提供远程监控视频。

二，智能监控系统应用于商场、超市的实施例。

管理人员在智能监控系统中设置各用户，例如管理人员、售货人员，以及访客。

算法服务器10在接收到影像后可以获取到目标范围内各用户的身份信息以及各身份信息对应的行为权限。例如管理人员权限、售货人员权限，以及访客权限。

然后，算法服务器10根据身份信息获取各用户的场景行为，场景行为可以采用图7所示的描述语句来体现。各描述语句中包括多个关键词，算法服务器10通过匹配行为权限和关键词来确定场景行为是否为越权行为。

针对管理人员，其授权所有行为权限，算法服务器10获取到管理人员的所有场景行为为记录到日志中。

针对售货人员，其授权部分行为权限，算法服务器10可以售货人员在进入财务办公室等区域内，会生成报警信息，通过控制主机40将报警信息发送到管理人员的移动终端50。或者，算法服务器10在将越权行为记录到日志后，进行标记。

针对访客，算法服务器10在确定出场景行为是在结账之前将商品放进自身口袋或者进入财务办公室等区域的行为时，会生成报警信息，并发送到移动终端50。管理人员可以通过移动终端50及时了解访客的场景行为，及时采取措施处理突发事件。

本发明实施例还提供了一种智能监控装置，图13是本发明实施例提供的一种智能监控装置的框图。参见图13，一种智能监控装置1300，可以应用于智能监控系统，包括：

权限获取模块1301，用于获取目标范围中用户的身份信息以及行为权限；

行为获取模块1302，用于获取所述用户的场景行为；

越权确定模块1303，用于基于所述行为权限和所述场景行为确定所述场景行为是否为越权行为。

需要说明的是，本实施例提供的智能监控装置与上述智能监控方法是一一对应的关系，上述方法的实施细节同样适用于智能监控装置，本发明实施例不再对上述装置进行详细说明。

本发明实施例还提供了一种可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现图1～图11所示智能监控方法的步骤。需要说明的是，可读存储介质可以应用于智能监控系统中的算法服务器，技术人员可以根据具体场景进行选择，在此不作限定。

在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。