监控分析方法及监控分析系统与流程

文档序号:20579911发布日期:2020-04-29 01:24阅读:475来源:国知局
技术简介:
本专利针对传统视频监控依赖人工回放导致效率低、成本高、准确率差的问题,提出基于预训练神经网络模型的自动识别方案。通过区域分割或图像切分技术,实现对监控视频中目标人物属性的自动提取,显著提升识别效率与准确率,降低人力成本。
关键词:神经网络监控分析,自动属性识别

本申请涉及监控技术领域,具体而言,本申请涉及一种监控分析方法及监控分析系统。



背景技术:

随着生活条件的改善,人们对于安全防护(简称安防)的需求也越来越重视,视频安防监控系统(简称vscs,videosurveillance&controlsystem)提供了一种利用视频技术探测及监视设防区域、并实时显示及记录现场图像的电子系统或网络,通过视频安防监控系统进行安全防护成为了人们进行安全防护的一种重要方式。

目前,视频安防监控系统主要用于实时显示及记录监控区域的图像,即通过在安防区域安装摄像头,获取来往人流的视频图像信息,并在相应的设备上进行显示、储存。然而,在目前的视频安防系统下,如果需要获取目标人物的性别信息、年龄信息、服饰属性信息、服装信息等属性信息,则需要通过回放观看视频的形式,人工统计分析目标人物的人物属性信息。因此,现有通过人工回放观看视频的方式在视频中定位目标人物的方式,存在处理效率低下、人工成本过高且准确率较低的问题。



技术实现要素:

本申请提供了一种监控分析系统及监控分析方法,用于获取目标人物的属性信息,本申请采用的技术方案如下:

第一方面,提供了一种监控分析方法,该方法应用于监控分析系统,监控分析系统包括至少一个摄像设备、存储设备以及监控终端;该方法包括,

通过摄像设备采集图像或视频;

通过监控终端基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像中的目标人物的人物属性信息;

通过存储设备存储摄像设备采集的图像或视频,以及监控终端获取的至少一个目标人物的待识别图像中的目标人物的人物属性信息。

进一步地,通过监控终端基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像中的目标人物的人物属性信息,包括,

通过监控终端,依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

通过预训练的神经网络识别模型对待识别图像进行区域分割,并针对各分割区域进行人物属性识别,得到待识别图像中目标人物的人物属性信息。

进一步地,通过监控终端基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像的目标人物的人物属性信息,包括:

通过监控终端,依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

对待识别图像进行切分处理,得到至少一个包括单一目标人物的切分图像;

通过预训练的神经网络识别模型对任一包括单一目标人物的切分图像进行人物属性识别,得到任一切分图像中包括的目标人物的人物属性信息。

进一步地,监控分析系统还包括服务器,通过监控终端基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的人物属性信息,包括,

通过监控终端,依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

通过监控终端向服务器发送获取到的包括至少一个目标人物的待识别图像;

服务器通过预训练的神经网络识别模型对待识别图像进行区域分割,并针对各分割区域进行人物属性识别,得到待识别图像中目标人物的人物属性信息,并向监控终端反馈人物属性信息。

进一步地,监控分析系统还包括服务器,通过监控终端基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的人物属性信息,包括,

通过监控终端,依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

通过监控终端向服务器发送获取到的包括至少一个目标人物的待识别图像;

服务器接收监控终端发送的包括至少一个目标人物的待识别图像,对待识别图像进行切分处理,得到至少一个包括单一目标人物的切分图像,通过预训练的神经网络识别模型对任一包括单一目标人物的切分图像进行人物属性识别,得到任一切分图像中包括的目标人物的人物属性信息,并向监控终端反馈人物属性信息。

其中,服务器包括以下任一种:

云端服务器;网络边缘服务器。

进一步地,通过监控终端,依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像,包括,

通过监控终端依据预设的提取频率从摄像设备采集到的视频中提取至少一个图像帧,预设的提取频率是根据统计得到的行人通过摄像设备所监控区域的平均时长来确定的;

通过预训练的人像检测识别模型对至少一个图像帧进行检测识别,识别确定出至少一个包括至少一个目标人物的待识别图像。

其中,人物属性信息包括以下至少一项:

性别信息、服饰属性信息、身型特征信息、人脸特征信息、年龄信息。

进一步地,该方法还包括,

通过监控终端根据性别信息确定预定监控时长内的性别比例;

根据确定的性别比例确定当前预警级别。

进一步地,监控分析系统还包括查询终端,

通过查询终端接收包括人物属性信息的人物查询请求;

通过存储设备,基于人物属性信息与包括至少一个目标人物的待识别图像之间的对应关系,查询确定人物查询请求对应的人物的图像信息;

存储设备用于存储人物属性信息、包括至少一个目标人物的待识别图像以及各人物属性信息与包括至少一个目标人物的待识别图像之间的对应关系。

第二部分,提供了另一种监控分析方法,该方法应用于监控分析系统,该监控分析系统包括至少一个摄像设备、存储设备以及服务器;该方法包括,

通过摄像设备采集的图像或视频;

通过服务器基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像中的目标人物的人物属性信息;

通过存储设备存储摄像设备采集的图像或视频,以及服务器获取的至少一个目标人物的待识别图像中的目标人物的人物属性信息。

进一步地,通过服务器基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像的目标人物的人物属性信息,包括,

通过服务器,依据预设的识别方式,从摄像设备采集到的图像或视频中识别确定包括至少一个目标人物的待识别图像;

通过服务器基于预训练的神经网络识别模型对待识别图像进行区域分割,并针对各分割区域进行人物属性识别,得到待识别图像中目标人物的人物属性信息。

进一步地,通过服务器基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像的目标人物的人物属性信息,包括:

通过服务器,依据预设的识别方式,从摄像设备采集到的图像或视频中识别确定包括至少一个目标人物的待识别图像;

对待识别图像进行切分处理,得到至少一个包括单一目标人物的切分图像;

通过预训练的神经网络识别模型对任一包括单一目标人物的切分图像进行人物属性识别,得到任一切分图像中包括的目标人物的人物属性信息。

第三方面,提供了一种监控分析系统,该系统包括,至少一个摄像设备、存储设备以及监控终端;

摄像设备,用于采集图像或视频;

监控终端,用于基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像中的目标人物的人物属性信息;

存储设备,用于存储摄像设备采集的图像或视频,以及监控终端获取的至少一个目标人物的待识别图像中的目标人物的人物属性信息。

进一步地,监控终端用于依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

监控终端还用于通过预训练的神经网络识别模型对待识别图像进行区域分割,并针对各分割区域进行人物属性识别,得到待识别图像中目标人物的人物属性信息。

进一步地,监控终端用于依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

监控终端还用于对待识别图像进行切分处理,得到至少一个包括单一目标人物的切分图像,通过预训练的神经网络识别模型对任一包括单一目标人物的切分图像进行人物属性识别,得到任一切分图像中包括的目标人物的人物属性信息。

进一步地,该系统还包括,服务器;

监控终端,用于依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

监控终端,还用于向服务器发送获取到的包括至少一个目标人物的待识别图像;

服务器,用于接收监控终端发送的包括至少一个目标人物的待识别图像,通过预训练的神经网络识别模型对待识别图像进行区域分割,并针对各分割区域进行人物属性识别,得到待识别图像中目标人物的人物属性信息,并向监控终端反馈人物属性信息。

进一步地,该系统还包括,服务器;

监控终端,用于依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

监控终端,还用于向服务器发送获取到的包括至少一个目标人物的待识别图像;

服务器,用于接收监控终端发送的包括至少一个目标人物的待识别图像,对待识别图像进行切分处理,得到至少一个包括单一目标人物的切分图像,通过预训练的神经网络识别模型对任一包括单一目标人物的切分图像进行人物属性识别,得到任一切分图像中包括的目标人物的人物属性信息,并向监控终端反馈人物属性信息。

其中,服务器包括以下任一种:

云端服务器;网络边缘服务器。

进一步地,监控终端用于依据预设的提取频率从摄像设备采集到的视频中提取图像帧,预设的提取频率是根据统计得到的行人通过摄像设备所监控区域的平均时长来确定的;

监控终端还用于通过预训练的人像检测识别模型对至少一个图像帧进行检测识别,识别确定出至少一个包括至少一个目标人物的待识别图像。

其中,人物属性信息包括以下至少一项:

性别信息、服饰属性信息、身型特征信息、人脸特征信息、年龄信息。

进一步地,监控终端用于根据性别信息确定预定监控时长内的性别比例;

根据确定的性别比例确定当前预警级别。

进一步地,存储设备还用于存储人物属性信息、包括至少一个目标人物的待识别图像以及各人物属性信息与包括至少一个目标人物的待识别图像之间的对应关系;

该系统还包括查询终端,

查询终端用于当接收到包括人物属性信息的人物查询请求时,通过存储设备,基于人物属性信息与包括至少一个目标人物的待识别图像之间的对应关系,查询确定人物查询请求对应的人物的图像信息。

第四方面,提供了另一种监控分析系统,该系统包括,至少一个摄像设备、服务器以及存储设备;

摄像设备用于采集图像或视频,并将采集到的图像或视频发送至服务器;

服务器用于接收摄像设备发送的图像或视频,基于预训练的神经网络识别模型从图像或视频中获取包括至少一个目标人物的待识别图像的目标人物的人物属性信息;

存储设备用于存储摄像设备采集到的图像或视频,以及服务器获取到的人物属性信息。

进一步地,服务器用于依据预设的识别方式,从摄像设备采集到的图像或视频中识别确定包括至少一个目标人物的待识别图像;

服务器还用于通过预训练的神经网络识别模型对待识别图像进行区域分割,并针对各分割区域进行人物属性识别,得到待识别图像中目标人物的人物属性信息。

进一步地,服务器用于依据预设的识别方式,从摄像设备采集到的图像或视频中识别确定包括至少一个目标人物的待识别图像;

服务器还用于对待识别图像进行切分处理,得到至少一个包括单一目标人物的切分图像,通过预训练的神经网络识别模型对任一包括单一目标人物的切分图像进行人物属性识别,得到任一切分图像中包括的目标人物的人物属性信息。

本申请实施例提供了一种监控分析方法与监控分析系统,与现有技术仅对视频安防监控系统获取的图像或视频进行简单存储、显示相比,本申请通过摄像设备采集图像或视频,然后通过监控终端基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像中的目标人物的人物属性信息,继而通过存储设备存储摄像设备采集的图像或视频,以及监控终端获取的至少一个目标人物的待识别图像中的目标人物的人物属性信息,即可通过监控终端基于预训练的神经网络识别模型获取目标人物的人物属性,实现了从监控图像或视频中自动识别目标人物的各项属性信息,提高了识别效率及准确率,且大大降低了人力成本,从而解决了现有的视频安防监控系统通过人工回放观看视频的方式在视频中定位目标人物而导致的处理效率低下、人工成本过高且准确率较低的问题。

本申请附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为本申请实施例的一种监控分析方法的流程示意图;

图2为本申请实施例的一种监控分析方法的示例图;

图3为本申请实施例的另一种监控分析方法的流程示意图;

图4为本申请实施例的另一种监控分析方法的示例图;

图5为本申请实施例的一种监控分析系统的结构示意图;

图6为本申请实施例的另一种监控分析系统的结构示意图。

具体实施方式

下面详细描述本申请的实施例,各实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。

本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。

实施例一

本申请实施例提供了一种监控分析方法,如图1所示,该方法应用于监控分析系统,监控分析系统包括至少一个摄像设备、存储设备以及监控终端;该方法包括,

步骤s101,通过摄像设备采集图像或视频;

对于本申请实施例,可在相应的监控区域安装摄像头或其他图像采集设备,其中可以安装为一个或多个摄像头或图像采集设备,通过上述安装的摄像头或图形采集设备采集需要监控区域的图像或视频信息。

步骤s102,通过监控终端基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像中的目标人物的人物属性信息;

对于本申请实施例,通过监控终端基于预训练的神经网络识别模型对摄像设备采集到的图像或视频进行识别,得到包括至少一个目标人物的待识别图像中的目标人物的人物属性信息。其中,预训练的神经网络识别模型可以是基于faster-rcnn(faster-regionswithconvolutionalneuralnetwork,具有区域的卷积神经网络)的神经网络识别模型,其架构可以采用采用vgg16、resnet、googlenet,此处不做限定,也可以是基于rcnn(regionbasedcnn)或ssd(singleshotmultiboxdetector)或yolo的神经网络模型。

示例性的,基于faster-rcnn的神经网络识别模型的训练样本可以是包括多个从摄像设备采集的视频或图像中获取的包括至少一个目标人物的图像及标注的人物属性,利用标注过的图像样本进行神经网络的训练,有利于提高神经网络对图像数据识别的准确性,在训练过程中,通过将训练的结果与人工标注的信息进行对比,在对比结果满足预定准确性要求时,可以认为训练完成,而在对比结果不满足预设定的准确性要求时,可以通过调整相应的参数(如各卷积神经网络层中的参数等)继续进行训练,直到训练的结果符合预定的准确性要求,此外,基于faster-rcnn的神经网络识别模型也可以是对现有模型进行fine-tuning得到的。

步骤s103,通过存储设备存储摄像设备采集的图像或视频,以及监控终端获取的至少一个目标人物的待识别图像中的目标人物的人物属性信息。

对于本申请实施例,通过存储设备对摄像设备采集到的视频或图像以及监控终端获取的人物属性信息进行存储,其中存储设备为能实现数据存储功能的设备,此处不做限制。

本申请实施例提供了一种监控分析方法,与现有技术仅对视频安防监控系统获取的图像或视频进行简单存储、显示相比,本申请实施例通过摄像设备采集图像或视频,然后通过监控终端基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像中的目标人物的人物属性信息,继而通过存储设备存储摄像设备采集的图像或视频,以及监控终端获取的至少一个目标人物的待识别图像中的目标人物的人物属性信息,即可通过监控终端基于预训练的神经网络识别模型获取目标人物的人物属性,实现了从监控图像或视频中自动识别目标人物的各项属性信息,提高了识别效率及准确率,且大大降低了人力成本,从而解决了现有的视频安防监控系统通过人工回放观看视频的方式在视频中定位目标人物而导致的处理效率低下、人工成本过高且准确率较低的问题。

具体地,步骤102包括,

步骤s1021(图中未示出),通过监控终端,依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

对于本申请实施例,预先设定相应的识别方式,通过监控终端,从采集的图像或视频中识别确定出包括至少一个目标人物的待识别图像,对未包含目标人物的图像进行去除。

步骤s1022(图中未示出),通过预训练的神经网络识别模型对待识别图像进行区域分割,并针对各分割区域进行人物属性识别,得到待识别图像中目标人物的人物属性信息。

对于本申请实施例,通过预训练的神经网络识别模型中相应的网络层对待识别图像进行区域的分割划分,并对各个得到的分割区域进行人物属性的识别,得到人物属性识别结果。其中,区域的划分可以通过提取相应区域特征的m个方向、n个尺度的gabor特征得到的区域特征向量实现,然后根据得到的特征向量,识别确定待识别图像中包括的人物的人物属性识别结果。

示例性的,在对包括至少一个目标人物的待识别图像进行人物属性识别时,利用faster-rcnn中的rpn(regionproposalnetwork,区域建议网络层)等方式针对待处理图像产生多个检测框,而faster-rcnn中的fast-rcnn检测器网络层可以抽取出rpn层所产生的各检测框的外观特征信息,faster-rcnn中的fast-rcnn检测器网络层对待处理图像中的各检测框的外观特征信息进行判断处理,以确定各检测框属于每一类的概率,也就是说,fast-rcnn检测器网络层在抽取出rpn层所产生的各检测框的外观特征信息后,fast-rcnn检测器网络层还可以针对其抽取出的每一个检测框的外观特征信息分别进行预测,从而为每一个检测框形成一个n维向量并输出,一个n维向量即为其预测出的一个检测框分别属于n个类的概率,其中的n为类的总数量。

对于本申请实施例,通过预训练的神经网络模型,对待识别图像进行区域的分割划分,并识别确定各区域的人物属性,从而解决了人物的人物属性的自动识别问题。

具体地,步骤s102包括,

步骤s1023(图中未示出),通过监控终端,依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

对于本申请实施例,预先设定相应的识别方式,通过监控终端对摄像设备采集到的图像或视频进行相应的识别操作,确定出包括至少一个目标人物的待识别图像。

步骤s1024(图中未示出),对待识别图像进行切分处理,得到至少一个包括单一目标人物的切分图像;

对于本申请实施例,对待识别图像进行切分处理,如采用基于区域的图像分割方法或基于边缘的图像分割方法对待识别图像进行切分处理,得到至少一个包含单一目标人物的切分图像。

步骤s1025(图中未示出),通过预训练的神经网络识别模型对任一包括单一目标人物的切分图像进行人物属性识别,得到任一切分图像中包括的目标人物的人物属性信息。

对于本申请实施例,通过预训练的神经网络识别模型对切分图像进行人物属性识别得到目标人物的人物属性信息,其中预训练的神经网络识别模型可以是预训练的基于卷积神经网络的识别模型,其架构可以是采用vgg16、resnet、googlenet等任一种,此处不做限定,其中,该预训练的神经网络识别模型是通过训练样本预先训练得到的,训练样本包括多个包含目标人物的图像以及上述图像中目标人物标注的人物属性。

对于本申请实施例,通过预训练的神经网络识别模型对切分图像中的目标人物的人物属性进行识别,从而实现了目标人物的人物属性的自动识别,提升了目标人物的人物属性识别的效率。

具体地,监控分析系统还包括服务器,步骤s102包括,

步骤s1026(图中未示出),通过监控终端,依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

对于本申请实施例,预先设定相应的识别方式,通过监控终端对摄像设备采集到的图像或视频进行相应的识别操作,确定出包括至少一个目标人物的待识别图像。

步骤s1027(图中未示出),通过监控终端向服务器发送获取到的包括至少一个目标人物的待识别图像;

对于本申请实施例,通过监控终端与服务器之间建立的数据传输连接,通过监控终端向服务器发送获取到的包括至少一个目标人物的待识别图像。

步骤s1028(图中未示出),服务器通过预训练的神经网络识别模型对待识别图像进行区域分割,并针对各分割区域进行人物属性识别,得到待识别图像中目标人物的人物属性信息,并向监控终端反馈人物属性信息。

对于本申请实施例,通过预训练的神经网络识别模型中相应的网络层对待识别图像进行区域的分割划分,然后利用预训练的神经网络识别模型的相应的其他网络层对各个得到的分割区域进行人物属性的识别,得到人物属性识别结果。其中,区域的划分可以通过提取相应区域特征的m个方向、n个尺度的gabor特征得到的区域特征向量实现,然后根据得到的特征向量,识别确定待识别图像中包括的人物的人物属性识别结果。

对于本申请实施例,通过监控终端向服务器发送包括至少一个目标人物的待识别图像,由服务器对待识别图像中目标人物的人物属性的识别,从而实现人物属性的自动识别,同时在监控终端计算能力低的情况下也能实现人物属性的获取,合理利用了计算资源。

进一步地,监控分析系统还包括服务器,步骤s102包括,

步骤s1029(图中未示出),通过监控终端,依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

对于本申请实施例,预先设定相应的识别方式,通过监控终端对摄像设备采集到的图像或视频进行相应的识别操作,确定出包括至少一个目标人物的待识别图像。

步骤s10210(图中未示出),通过监控终端向服务器发送获取到的包括至少一个目标人物的待识别图像;

对于本申请实施例,通过监控终端与服务器之间建立的数据传输连接,通过监控终端向服务器发送获取到的包括至少一个目标人物的待识别图像。

步骤s10211(图中未示出),服务器接收监控终端发送的包括至少一个目标人物的待识别图像,对待识别图像进行切分处理,得到至少一个包括单一目标人物的切分图像,通过预训练的神经网络识别模型对任一包括单一目标人物的切分图像进行人物属性识别,得到任一切分图像中包括的目标人物的人物属性信息,并向监控终端反馈人物属性信息。

对于本申请实施例,对待识别图像进行切分处理,如采用基于区域的图像分割方法或基于边缘的图像分割方法对待识别图像进行切分处理,得到至少一个包含单一目标人物的切分图像;然后通过预训练的神经网络识别模型对切分图像进行人物属性识别得到目标人物的人物属性信息,其中预训练的神经网络识别模型可以是预训练的基于卷积神经网络的识别模型,其架构可以是采用vgg16、resnet、googlenet等任一种或多种的组合,此处不做限定,其中,该预训练的神经网络识别模型是通过训练样本预先训练得到的,训练样本包括多个包含目标人物的图像以及上述图像中目标人物标注的人物属性;继而向监控终端反馈识别得到的人物属性信息。

对于本申请实施例,将待识别图像发送至服务器,由服务器对待识别图像进行分析处理,可以解决由于监控终端的计算能力有限,无法对有效对待识别图像进行有效分析处理的问题。

图2示出了该监控分析方法的一个具体示例,下面参照图2对监控分析方法的原理进行介绍:

步骤s201,摄像设备采集图像或视频,并将采集到的图像或视频发送至存储设备进行存储;

步骤s202,存储设备响应于监控终端的图像或视频获取请求,发送摄像设备采集的图像或视频至监控终端;

步骤s203,监控终端接收存储设备发送的图像或视频,获取包括至少一个目标人物的待识别图像,其中监控终端也可以直接获取摄像设备发送的采集到的图像或视频;

步骤s204,监控终端将包括至少一个目标人物的待识别图像发送至服务器;

步骤s205,服务器接收监控终端发送的包括至少一个目标人物的待识别图像,并对包括至少一个目标人物的待识别图像进行分析处理,得到目标人物的人物属性,并将得到的人物属性反馈至监控终端,其中上述分析处理可以是对待识别图像进行切分处理,得到至少一个包括单一目标人物的切分图像,通过预训练的神经网络识别模型对任一包括单一目标人物的切分图像进行人物属性识别,得到任一切分图像中包括的目标人物的人物属性信息;

步骤s206,服务器向监控终端反馈人物属性信息;

步骤s207,监控终端接收服务器反馈的人物属性信息,并向存储设备发送目标人物的人物属性;

步骤s208,存储设备接收监控终端发送的人物属性信息并对接收到的人物属性信息进行存储。

通过上述步骤s201至s208,可实现目标人物的人物属性的自动获取,其中步骤s201至s208的执行顺序可根据实际情况进行调整,而不局限于上述示例。

其中,服务器包括以下任一种:

云端服务器;网络边缘服务器。

对于本申请实施例,服务器可以为云端服务器、网络边缘服务器的其中一种,其中边缘(edge)是使计算更靠近数据源的物理位置,边缘服务器更接近于监控终端,可以加快数据的处理与传送速度,减少延迟。

对于本申请实施例,可根据对待识别图像数据处理量需求以及时延的要求,确定使用云端服务器与网络边缘服务器中的哪一种服务器,从而提升计算资源的合理利用、降低了成本。

具体地,步骤s1021、步骤s1023、步骤s1026与步骤1029包括,

步骤a(图中未示出),通过监控终端依据预设的提取频率从摄像设备采集到的视频中提取至少一个图像帧,预设的提取频率是根据统计得到的行人通过摄像设备所监控区域的平均时长来确定的;

对于本申请实施例,任一摄像设备都有有效的监控区域,可根据统计得到的行人从进入到离开有效监控区域的平均时长设定提取频率,并依据该提取频率从摄像设备采集的视频中提取图像帧,例如统计得到的行人从进入到离开采集控制范围的平均时长为3秒,采集的视频为每秒24帧图像,可以每隔不大于72帧提取一帧图像。

步骤b(图中未示出),通过预训练的人像检测识别模型对至少一个图像帧进行检测识别,识别确定出至少一个包括至少一个目标人物的待识别图像。

对于本申请实施例,预先可以通过包括多个包含目标人物与未包含目标人物的正负训练样本,训练得到人像检测识别模型,然后通过预训练的人像检测识别模型对至少一个图像帧进行人像检测识别,得到至少一个包括至少一个目标人物的待识别图像,其中该人像检测识别模型也可以是基于背景建模算法的人像检测识别模型,常用的背景建模算法有:高斯混合模型(mixtureofgaussianmodel)、帧差分算法(backgroundsubtraction)、梯度方向直方图(hog)等。

对于本申请实施例,根据预设的提取频率从采集的视频中提取至少一个图像帧,然后通过预训练的人像检测识别模型从至少一个图像帧中确定出至少一个包括一个目标人物的待识别图像,从而解决了包含至少一个目标人物的待识别图像的获取问题,为后续的目标人物的人物属性识别提供了基础。

其中,人物属性信息包括以下至少一项:

性别信息、服饰属性信息、身型特征信息、人脸特征信息、年龄信息。

对于本申请实施例,人物的属性信息包括但不限于以下至少一项:性别信息、服饰属性信息(如服饰的种类、颜色等)、身型特征信息(身高、胖瘦等)、人脸特征信息、年龄信息。

对于本申请实施例,可基于不同的应用目的,确定识别的人物属性的内容。

进一步地,该方法还包括,

步骤104(图中未示出),通过监控终端根据性别信息确定预定监控时长内的性别比例;

步骤s105(图中未示出),根据确定的性别比例确定当前预警级别。

对于本申请实施例,通过监控终端根据确定的待识别图像的性别信息确定一定监控时长内的性别比例,其中监控时长可以是预先设定的;然后根据确定的性别比例,确定不同的预警级别,如当男女比例达到预设的第一阈值时,确定当前的预警级别为a,当男女比例达到预设的第二阈值时,确定当前的预警级别为b。

对于本申请实施例,根据性别比例确定当前的预警级别,从而根据性别比例的不同设定不同的预警级别,实现了基于性别比例制定不同安防策略的目的。

进一步地,监控分析系统还包括查询终端,该方法还包括,

步骤s106(图中未示出),通过查询终端接收包括人物属性信息的人物查询请求;

步骤s107(图中未示出),通过存储设备,基于人物属性信息与包括至少一个目标人物的待识别图像之间的对应关系,查询确定人物查询请求对应的人物的图像信息;

其中,存储设备用于存储人物属性信息、包括至少一个目标人物的待识别图像以及各人物属性信息与包括至少一个目标人物的待识别图像之间的对应关系。

对于本申请实施例,通过查询终端接收用户输入的包括人物属性信息(如身穿黑色上衣、红色裤子的男性)的人物查询请求,通过相应的存储设备,其中该存储设备存储有人物属性、包括至少一个目标人物的待识别图像以及两者之间的对应关系,基于人物属性与待识别图像之间的索引关系,查询确定查询请求所对应的人物的图像信息。

对于本申请实施例,通过人物属性与待识别图像之间的对应关系,实现了当接收到包括人物属性的查询请求时,查询确定人物属性信息对应的人物图像信息。

实施例二

本申请实施例提供了另一种监控分析方法,如图3所示,该方法应用于监控分析系统,监控分析系统包括至少一个摄像设备、存储设备以及服务器;该方法包括,

步骤s301,通过摄像设备采集图像或视频;

对于本申请实施例,可在相应的监控区域安装摄像头或其他图像采集设备,其中可以安装为一个或多个摄像头或图像采集设备,通过上述安装的摄像头或图形采集设备采集需要监控区域的图像或视频信息。

步骤s302,通过服务器基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像中的目标人物的人物属性信息;

对于本申请实施例,通过服务器基于预训练的神经网络识别模型对摄像设备采集到的图像或视频进行识别,得到包括至少一个目标人物的待识别图像中的目标人物的人物属性信息。其中,预训练的神经网络识别模型可以是基于faster-rcnn(faster-regionswithconvolutionalneuralnetwork,具有区域的卷积神经网络)的神经网络识别模型,其架构可以采用采用vgg16、resnet、googlenet,此处不做限定,也可以是基于rcnn(regionbasedcnn)或ssd(singleshotmultiboxdetector)或yolo的神经网络模型。

示例性的,基于faster-rcnn的神经网络识别模型的训练样本可以是包括多个从摄像设备采集的视频或图像中获取的包括至少一个目标人物的图像及标注的人物属性,利用标注过的图像样本进行神经网络的训练,有利于提高神经网络对图像数据识别的准确性,在训练过程中,通过将训练的结果与人工标注的信息进行对比,在对比结果满足预定准确性要求时,可以认为训练完成,而在对比结果不满足预设定的准确性要求时,可以通过调整相应的参数(如各卷积神经网络层中的参数等)继续进行训练,直到训练的结果符合预定的准确性要求,此外,基于faster-rcnn的神经网络识别模型也可以是对现有模型进行fine-tuning得到的。

步骤s303,通过存储设备存储摄像设备采集的图像或视频,以及服务器获取的至少一个目标人物的待识别图像中的目标人物的人物属性信息。

对于本申请实施例,通过存储设备对摄像设备采集到的视频或图像以及服务器获取的人物属性信息进行存储,其中存储设备为能实现数据存储功能的设备,此处不做限制。

本申请实施例提供了一种监控分析方法,与现有技术仅对视频安防监控系统获取的图像或视频进行简单存储、显示相比,本申请实施例通过摄像设备采集图像或视频,然后通过服务器基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像中的目标人物的人物属性信息,继而通过存储设备存储摄像设备采集的图像或视频,以及服务器获取的至少一个目标人物的待识别图像中的目标人物的人物属性信息,即可通过服务器基于预训练的神经网络识别模型获取目标人物的人物属性,实现了从监控图像或视频中自动识别目标人物的各项属性信息,提高了识别效率及准确率,且大大降低了人力成本,从而解决了现有的视频安防监控系统通过人工回放观看视频的方式在视频中定位目标人物而导致的处理效率低下、人工成本过高且准确率较低的问题。

具体地,步骤s302包括,

步骤s3021(图中未示出),通过服务器,依据预设的识别方式,从摄像设备采集到的图像或视频中识别确定包括至少一个目标人物的待识别图像;

对于本申请实施例,预先设定相应的识别方式,通过服务器,从采集的图像或视频中识别确定出包括至少一个目标人物的待识别图像,对未包含目标人物的图像进行去除。

步骤s3022(图中未示出),通过服务器基于预训练的神经网络识别模型对待识别图像进行区域分割,并针对各分割区域进行人物属性识别,得到待识别图像中目标人物的人物属性信息。

对于本申请实施例,通过预训练的神经网络识别模型中相应的网络层对待识别图像进行区域的分割划分,并对各个得到的分割区域进行人物属性的识别,得到人物属性识别结果。其中,区域的划分可以通过提取相应区域特征的m个方向、n个尺度的gabor特征得到的区域特征向量实现,然后根据得到的特征向量,识别确定待识别图像中包括的人物的人物属性识别结果。

示例性的,在对包括至少一个目标人物的待识别图像进行人物属性识别时,利用faster-rcnn中的rpn(regionproposalnetwork,区域建议网络层)等方式针对待处理图像产生多个检测框,而faster-rcnn中的fast-rcnn检测器网络层可以抽取出rpn层所产生的各检测框的外观特征信息,faster-rcnn中的fast-rcnn检测器网络层对待处理图像中的各检测框的外观特征信息进行判断处理,以确定各检测框属于每一类的概率,也就是说,fast-rcnn检测器网络层在抽取出rpn层所产生的各检测框的外观特征信息后,fast-rcnn检测器网络层还可以针对其抽取出的每一个检测框的外观特征信息分别进行预测,从而为每一个检测框形成一个n维向量并输出,一个n维向量即为其预测出的一个检测框分别属于n个类的概率,其中的n为类的总数量。

对于本申请实施例,服务器通过预训练的神经网络模型,对待识别图像进行区域的分割划分,并识别确定各区域的人物属性,从而解决了目标人物的人物属性的自动识别问题。

具体地,步骤s302包括,

步骤s3023(图中未示出),

通过服务器,依据预设的识别方式,从摄像设备采集到的图像或视频中识别确定包括至少一个目标人物的待识别图像;

对于本申请实施例,预先设定相应的识别方式,通过服务器对摄像设备采集到的图像或视频进行相应的识别操作,确定出包括至少一个目标人物的待识别图像。

步骤s3024(图中未示出),对待识别图像进行切分处理,得到至少一个包括单一目标人物的切分图像;

对于本申请实施例,通过服务器对待识别图像进行切分处理,如采用基于区域的图像分割方法、基于边缘的图像分割方法对待识别图像进行切分处理,得到至少一个包含单一目标人物的切分图像。

步骤s3025(图中未示出),通过预训练的神经网络识别模型对任一包括单一目标人物的切分图像进行人物属性识别,得到任一切分图像中包括的目标人物的人物属性信息。

对于本申请实施例,通过预训练的神经网络识别模型对切分图像进行人物属性识别得到目标人物的人物属性信息,其中预训练的神经网络识别模型可以是预训练的基于卷积神经网络的识别模型,其架构可以是采用vgg16、resnet、googlenet等任一种或多种的组合,此处不做限定,其中,该预训练的神经网络识别模型是通过训练样本预先训练得到的,训练样本包括多个包含目标人物的图像以及上述图像中目标人物标注的人物属性。

对于本申请实施例,通过预训练的神经网络识别模型对切分图像中的目标人物的人物属性进行识别,从而实现了目标人物的人物属性的自动识别,提升了目标人物的人物属性识别的效率。

图4示出了该监控分析方法的一个具体示例,下面参照图4对监控分析方法的原理进行介绍:

步骤s401,摄像设备采集图像或视频,并将采集到的图像或视频发送至存储设备进行存储;

步骤s402,摄像设备将采集到的图像或视频发送至服务器,或者存储设备响应于服务器的图像或视频获取请求发送摄像设备采集到的图像或视频至服务器;

步骤s403,服务器接收摄像设备采集到的图像或视频,并对接收到的图像进行处理、分析得到目标人物的人物属性,其中上述处理、分析可以是通过服务器从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像,然后对待识别图像进行切分处理,得到至少一个包括单一目标人物的切分图像,继而通过预训练的神经网络识别模型对任一包括单一目标人物的切分图像进行人物属性识别,得到任一切分图像中包括的目标人物的人物属性信息;

步骤s404,服务器将得到的目标人物的人物属性信息发送至存储设备;

步骤s405,存储设备接收服务器发送的目标人物的人物属性信息,并进行存储。

通过上述步骤s401至s405,可实现目标人物的人物属性的获取,其中步骤s401至s405的执行顺序可根据实际情况进行调整,而不局限于上述示例。

实施例三

本申请实施例提供了一种监控分析系统,如图5所示,该系统50包括至少一个摄像设备501、存储设备503以及监控终端502;

摄像设备501,用于采集图像或视频;

监控终端502,用于基于预训练的神经网络识别模型从摄像设备501采集到的图像或视频中获取包括至少一个目标人物的待识别图像中的目标人物的人物属性信息;

存储设备503,用于存储摄像设备501采集的图像或视频,以及监控终端502获取的至少一个目标人物的待识别图像中的目标人物的人物属性信息。

本申请实施例提供了一种监控分析系统,与现有技术仅对视频安防监控系统获取的图像或视频进行简单存储、显示相比,本申请实施例通过摄像设备采集图像或视频,然后通过监控终端基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像中的目标人物的人物属性信息,继而通过存储设备存储摄像设备采集的图像或视频,以及监控终端获取的至少一个目标人物的待识别图像中的目标人物的人物属性信息,即可通过监控终端基于预训练的神经网络识别模型获取目标人物的人物属性,实现了从监控图像或视频中自动识别目标人物的各项属性信息,提高了识别效率及准确率,且大大降低了人力成本,从而解决了现有的视频安防监控系统通过人工回放观看视频的方式在视频中定位目标人物而导致的处理效率低下、人工成本过高且准确率较低的问题。

本申请实施例提供了一种监控分析系统,适用于实施例一所示的方法,在此不再赘述。

具体地,监控终502端用于依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

监控终端502还用于通过预训练的神经网络识别模型对待识别图像进行区域分割,并针对各分割区域进行人物属性识别,得到待识别图像中目标人物的人物属性信息。

对于本申请实施例,通过预训练的神经网络模型,对待识别图像进行区域的分割划分,并识别确定各区域的人物属性,从而解决了人物的人物属性的自动识别问题。

具体地,监控终端502用于依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

监控终端502还用于对待识别图像进行切分处理,得到至少一个包括单一目标人物的切分图像,通过预训练的神经网络识别模型对任一包括单一目标人物的切分图像进行人物属性识别,得到任一切分图像中包括的目标人物的人物属性信息。

对于本申请实施例,通过预训练的神经网络识别模型对切分图像中的目标人物的人物属性进行识别,从而实现了目标人物的人物属性的自动识别,提升了目标人物的人物属性识别的效率。

具体地,该系统还包括,服务器(图中未示出),监控终端502,用于依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

监控终端502,还用于向服务器发送获取到的包括至少一个目标人物的待识别图像;

服务器,用于接收监控终端发送的包括至少一个目标人物的待识别图像,通过预训练的神经网络识别模型对待识别图像进行区域分割,并针对各分割区域进行人物属性识别,得到待识别图像中目标人物的人物属性信息,并向监控终端反馈人物属性信息。

对于本申请实施例,服务器通过预训练的神经网络模型,对待识别图像进行区域的分割划分,并识别确定各区域的人物属性,从而解决了人物的人物属性的自动识别问题。

具体地,该系统50还包括,服务器(图中未示出);

监控终端502,用于依据预设的识别方式,从采集的图像或视频中识别确定包括至少一个目标人物的待识别图像;

监控终端502,还用于向服务器发送获取到的包括至少一个目标人物的待识别图像;

服务器,用于接收监控终端发送的包括至少一个目标人物的待识别图像,对待识别图像进行切分处理,得到至少一个包括单一目标人物的切分图像,通过预训练的神经网络识别模型对任一包括单一目标人物的切分图像进行人物属性识别,得到任一切分图像中包括的目标人物的人物属性信息,并向监控终端反馈人物属性信息。

对于本申请实施例,将待识别图像发送至服务器,由服务器对待识别图像进行分析处理,可以解决由于监控终端的计算能力有限,无法对有效对待识别图像进行有效分析处理的问题。

其中,服务器包括以下任一种:

云端服务器;网络边缘服务器。

对于本申请实施例,可根据对待识别图像数据处理量需求以及时延的要求,确定使用云端服务器与网络边缘服务器中的何种服务器,从而提升计算资源的合理利用、降低了成本。

具体地,监控终端502用于依据预设的提取频率从摄像设备501采集到的视频中提取图像帧,预设的提取频率是根据统计得到的行人通过摄像设备所监控区域的平均时长来确定的;

监控终端还用于通过预训练的人像检测识别模型对至少一个图像帧进行检测识别,识别确定出至少一个包括至少一个目标人物的待识别图像。对于本申请实施例,根据预设的提取频率从采集的视频中提取至少一个图像帧,然后通过预训练的人像检测识别模型从至少一个图像帧中确定出至少一个包括一个目标人物的待识别图像,从而解决了包含至少一个目标人物的待识别图像的获取问题,为后续的目标人物的人物属性识别提供了基础。

其中,人物属性信息包括以下至少一项:

性别信息、服饰属性信息、身型特征信息、人脸特征信息、年龄信息。

对于本申请实施例,可基于不同的应用目的,确定识别的人物属性的内容。

具体地,监控终端502用于根据性别信息确定预定监控时长内的性别比例;

根据确定的性别比例确定当前预警级别。

对于本申请实施例,根据性别比例确定当前的预警级别,从而根据性别比例的不同设定不同的预警级别,实现了基于性别比例制定不同安防策略的目的。

具体地,存储设备503还用于存储人物属性信息、包括至少一个目标人物的待识别图像以及各人物属性信息与包括至少一个目标人物的待识别图像之间的对应关系;

系统还包括查询终端(图中未示出),

查询终端用于当接收到包括人物属性信息的人物查询请求时,通过存储设备,基于人物属性信息与包括至少一个目标人物的待识别图像之间的对应关系,查询确定人物查询请求对应的人物的图像信息。

对于本申请实施例,通过人物属性与待识别图像之间的对应关系,实现了当接收到包括人物属性的查询请求时,查询确定人物属性信息对应的人物图像信息。

实施例四

本申请实施例提供了另一种监控分析系统,如图6所示,该系统60包括至少一个摄像设备601、存储设备603以及服务器602;

摄像设备601用于采集图像或视频,并将采集到的图像或视频发送至服务器602;

服务器602用于接收摄像设备601发送的图像或视频,基于预训练的神经网络识别模型从图像或视频中获取包括至少一个目标人物的待识别图像的目标人物的人物属性信息;

存储设备603用于存储摄像设备601采集到的图像或视频,以及服务器602获取到的人物属性信息。

本申请实施例提供了一种监控分析系统,与现有技术仅对视频安防监控系统获取的图像或视频进行简单存储、显示相比,本申请实施例通过摄像设备采集图像或视频,然后通过服务器基于预训练的神经网络识别模型从摄像设备采集到的图像或视频中获取包括至少一个目标人物的待识别图像中的目标人物的人物属性信息,继而通过存储设备存储摄像设备采集的图像或视频,以及服务器获取的至少一个目标人物的待识别图像中的目标人物的人物属性信息,即可通过服务器基于预训练的神经网络识别模型获取目标人物的人物属性,实现了从监控图像或视频中自动识别目标人物的各项属性信息,提高了识别效率及准确率,且大大降低了人力成本,从而解决了现有的视频安防监控系统通过人工回放观看视频的方式在视频中定位目标人物而导致的处理效率低下、人工成本过高且准确率较低的问题。

具体地,服务器602用于依据预设的识别方式,从摄像设备采集到的图像或视频中识别确定包括至少一个目标人物的待识别图像;

服务器602还用于通过预训练的神经网络识别模型对待识别图像进行区域分割,并针对各分割区域进行人物属性识别,得到待识别图像中目标人物的人物属性信息。

对于本申请实施例,服务器通过预训练的神经网络模型,对待识别图像进行区域的分割划分,并识别确定各区域的人物属性,从而解决了人物的人物属性的自动识别问题。

具体地,服务器602用于依据预设的识别方式,从摄像设备采集到的图像或视频中识别确定包括至少一个目标人物的待识别图像;

服务器602还用于对待识别图像进行切分处理,得到至少一个包括单一目标人物的切分图像,通过预训练的神经网络识别模型对任一包括单一目标人物的切分图像进行人物属性识别,得到任一切分图像中包括的目标人物的人物属性信息。

对于本申请实施例,通过预训练的神经网络识别模型对切分图像中的目标人物的人物属性进行识别,从而实现了目标人物的人物属性的自动识别,提升了目标人物的人物属性识别的效率。

本申请实施例提供了一种监控分析系统,适用于实施例二所示的方法,在此不再赘述。

应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

当前第1页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!