视频综合分析方法及系统与流程

本发明涉及通信技术领域，尤其涉及一种视频综合分析方法及系统。

背景技术：

随着摄像机网络在公共场所的普及视频监控系统的建立和应用为安保防卫、刑事侦探等领域提供了保障。通过人工的方式，对监控视频中的人员进行侦查和分析，一方面可能忽略重要预警信息，另一方面靠人眼观看视频效率低下又危害人体。因此这就迫切需要智能视频监控，来辅助监控人员。

在传统的视频智能分析系统中，由于视频规模的不断扩大，人力成本也越来越高，同时受限于旧有的智能分析算法的效率，导致自动化的分析存在误报率高、虚警率高等问题，同时无法准确对被监控场景中的内容进行理解，无法实现对异常行为的自动预警和报警。

技术实现要素：

本发明实施例提供一种视频综合分析系统，用以解决现有技术中存在的无法准确的对被监控场景中的内容进行理解的问题。

第一方面，本发明实施例提供一种视频综合分析系统，所述方法包括：

接收若干图像获取装置发送的图像信息；

对所述图像信息进行判断确定图像类型，并利用与确定出的图像类型匹配的分析方法对图像信息进行分析，获得图像特征信息。

可选的，所述方法还包括：依据获得的图像特征信息发送报警信息。

可选的，所述对所述图像信息进行判断确定图像类型，并利用与图像类型匹配的分析方法对图像进行分析，获得图像特征信息，具体包括：在确定出的图像类型为人脸图像的情况下，利用与确定出的人脸图像匹配的人脸分析方法对图像信息进行分析，获得人脸特征信息。

所述人脸特征信息包括以下一种或多种：图像中人员的性别、年龄、人种、表情、嘴角状态、男性认为的颜值、女性认为的颜值、左眼佩戴墨镜置信度、右眼佩戴墨镜置信度、人脸质量、肤色健康值、色斑、青春痘、黑眼圈抬头角度。

可选的，所述对所述图像信息进行判断确定图像类型，并利用与图像类型匹配的分析方法对图像进行分析，获得图像特征信息，具体包括：在确定出的图像类型为车辆图像的情况下，利用与确定出的车辆图像匹配的车辆分析方法对图像信息进行分析，获得车辆特征信息；

所述车辆特征信息包括以下一种或多种：车辆的号牌号码、号牌颜色、号牌种类、车身颜色、车辆品牌、有无天窗、车内摆件、年检标、行李架。

可选的，所述对所述图像信息进行判断确定图像类型，并利用与图像类型匹配的分析方法对图像进行分析，获得图像特征信息，具体包括：在确定出的图像类型为行人图像的情况下，利用与确定出的行人图像匹配的行人分析方法对图像信息进行分析，获得行人特征信息；

所述行人特征信息包括以下一种或多种：行人的性别、年龄、是否使用手机、是否戴眼镜、是否戴帽子、下身服饰颜色、下身服饰、上身服饰颜色、上身服饰、上身服饰细分类、上身服饰纹理、身体朝向、是否带伞。

可选的，所述对所述图像信息进行判断确定图像类型，并利用与图像类型匹配的分析方法对图像进行分析，获得图像特征信息，具体包括：在确定出的图像类型为人群图像的情况下，利用与确定出的人群图像匹配的人群分析方法对图像信息进行分析，获得人群特征信息；

所述人群特征信息包括以下一种或多种：人群的密度、人群分布、人群运动方向、人群运动速度、人群异常。

可选的，所述对所述图像信息进行判断确定图像类型，并利用与图像类型匹配的分析方法对图像进行分析，获得图像特征信息，具体包括：在确定出的图像类型为人员行为图像的情况下，利用与确定出的人员行为图像匹配的人员行为分析方法对图像信息进行分析，获得人员行为特征信息；

所述人员行为特征信息包括以下一种或多种：群聚群散、逆向穿行、打架斗殴、跌倒、非法入侵、非法越界。

可选的，所述方法还包括利用视频结构化分析方法对图像信息进行处理，以从图像信息中提取高层特征；

所述处理的方法包括：时空分割方法，对象识别方法。

可选的，所述图像获取装置包括以下一种或多种：枪机、球机、抓拍机、摄像机。

第二方面，本发明实施例提供一种视频综合分析系统，包括图像获取模块、服务器和分析模块；

所述服务器通过网络层与所述图像获取模块通讯连接，所述服务器用于接收图像获取模块发送的图像信息、并对所述图像信息进行判断确定图像类型并启动相应的分析模块；

所述分析模块与所述服务器通讯连接，所述分析模块用于对图像进行分析，获得图像特征信息。

可选的，还包括报警模块，所述报警模块与所述分析模块通讯连接，用于接收所述分析模块发送的图像特征信息，并依据获得的图像特征信息发出警报提示信息。

本发明实施例通过依据人脸分析方法、车辆分析方法、行人分析方法、视频结构化方法、人群分析方法、异常行为分析方法来对视频图像进行识别分析，获得视频图像中的特征信息，若特征信息符合报警条件则进行报警由此解决了现有的技术中误报率高、虚警率高，同时无法准确对被监控场景中的内容进行理解，无法对异常行为的自动预警和报警的问题。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明第一实施例方法流程图；

图2为本发明第二实施例方法流程图；

图3为本发明第三实施例系统框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明第一实施例提供一种视频综合分析方法，如图1所示，包括若干图像获取装置，具体包括如下步骤s101-s102，

步骤s101，接收若干图像获取装置发送的图像信息；本步骤中图像获取装置包括枪机、球机、抓拍机和/或摄像机。

步骤s102，对所述图像信息进行判断确定图像类型，并利用与确定出的图像类型匹配的分析方法对图像信息进行分析，获得图像特征信息。

本发明实施例，能够针对大规模视频进行分析和处理，在人脸分析、车辆分析、行人分析、视频结构化分析、人群分析、异常行为分析的各个领域都取得了很好的效果，能够方便视频研判人员的信息分析、检索、处理，有效提高了视频分析效率，节省了工作人员的时间。

本发明第二实施例提供一种视频综合分析方法，包括若干图像获取装置，具体包括：

步骤s201，接收图像获取装置发送的图像信息；本步骤中图像获取装置包括枪机、球机、抓拍机和/或摄像机。

步骤s202，对所述图像信息进行判断确定图像类型，并利用与图像类型匹配的分析方法对图像进行分析，获得图像特征信息；本步骤中在具体实现过程中包括：在确定出的图像类型为人脸图像的情况下，利用与确定出的人脸图像匹配的人脸分析方法对图像信息进行分析，获得人脸特征信息。在确定出的图像类型为车辆图像的情况下，利用与确定出的车辆图像匹配的车辆分析方法对图像信息进行分析，获得车辆特征信息。在确定出的图像类型为行人图像的情况下，利用与确定出的行人图像匹配的行人分析方法结合深度学习技术对图像中行人的多维特征进行检测识别和行人多重识别，获得行人特征信息。在确定出的图像类型为人群图像的情况下，利用与确定出的人群图像匹配的人群分析方法对图像信息进行分析，获得人群特征信息。在确定出的图像类型为人员行为图像的情况下，利用与确定出的人员行为图像匹配的人员行为分析方法对图像信息进行异常行为识别并预测其运动趋势和意图，获得人员行为特征信息。其中，人脸特征信息包括：图像中人员的性别、年龄、人种、表情、嘴角状态、男性认为的颜值、女性认为的颜值、左眼佩戴墨镜置信度、右眼佩戴墨镜置信度、人脸质量、肤色健康值、色斑、青春痘、黑眼圈和抬头角度中的一种或多种。车辆特征信息包括：车辆的号牌号码、号牌颜色、号牌种类、车身颜色、车辆品牌、有无天窗、车内摆件、年检标和行李架中的一种或多种。行人特征信息包括：行人的性别、年龄、是否使用手机、是否戴眼镜、是否戴帽子、下身服饰颜色、下身服饰、上身服饰颜色、上身服饰、上身服饰细分类、上身服饰纹理、身体朝向和是否带伞中的一种或多种。人群特征信息包括：人群的密度、人群分布、人群运动方向、人群运动速度和人群异常中的一种或多种。人员行为特征信息包括：群聚群散、逆向穿行、打架斗殴、跌倒、非法入侵和非法越界中的一种或多种。

步骤s203，依据获得的图像特征信息发送报警信息。本步骤中若分析得到人脸特征信息符合可疑人员人脸特征、车辆特征信息符合可疑车辆特征、行人特征信息符合可疑人员特征、人群特征符合可疑人群特征或人员行为特征符合可疑行为则进行报警。

本实施例中，还包括利用视频结构化分析方法对图像信息按照语义关系并利用时空分割方法、对象识别方法以从图像信息中提取高层特征，通过提取高层特征能够形成高效的索引数据、以实现结构化检索。

本发明第三实施例提供一种视频综合分析系统--视立方，包括图像获取模块、服务器和分析模块；

所述服务器通过网络层与所述图像获取模块通讯连接，所述服务器用于接收图像获取模块发送的图像信息、并对所述图像信息进行判断确定图像类型并启动相应的分析模块；

所述分析模块与所述服务器通讯连接，所述分析模块用于对图像进行分析，获得图像特征信息。

本实施例中，分析模块具体包括用于对人脸进行分析的人脸分析模块、用于对车辆进行分析的车辆分析模块、用于对行人进行分析的行人分析模块、用于对人群进行分析的人群分析模块、用于对异常行为进行分析的异常行为分析模块和视频结构化分析模块；其中，人脸分析模块可以与摄像机直接通讯连接，实现对视频中人员的性别、年龄、人种分析、高兴、嘴角状态、男性认为的颜值、女性认为的颜值、左眼佩戴墨镜置信度、右眼佩戴墨镜置信度、人脸质量、肤色健康值、色斑、青春痘、黑眼圈、微笑、抬头角度信息进行检测。

车辆分析模块通过对视频流进行实时智能分析，实时识别车辆的号牌号码、号牌颜色、号牌种类、车身颜色、车品牌及有无天窗、纸巾盒、挂饰、遮阳板、摆件、年检标、行李架等车辆特征属性信息，并能进行车辆动态布控，对被盗抢、违法黑名单、肇事逃逸、作案嫌疑车辆进行报警。

行人分析模块利用深度学习技术，实现对视频中行人的多维特征检测识别和行人的重识别。生成的多维属性特征包括人的性别、年龄、是否使用手机、是否戴眼镜、是否戴帽子、下身服饰颜色、下身服饰、上身服饰颜色、上身服饰、上身服饰细分类、上身服饰纹理、身体朝向、是否带伞信息。

人群分析模块可以实现对团伙、群组人员的分析，实现人群的密度估计和空间分布、分组、运动方向和速度、关注度分析，还可实现人群异常检测，以通过报警模块及时告警。

异常行为模块通过运用人工智能、行为学、心理学等知识，分析目标对象所涉及的运动行为特征规律，进行异常行为智能识别并预测其运动趋势和意图。异常行为类别包括：群聚群散、逆向穿行、打架斗殴、跌倒、非法入侵、非法越界。

本实施例中还包括视频结构化分析模块，视频结构化分析模块采用了视频智能分析、分布式集群、大数据检索技术。其中，分析检索采用了基于人工智能深度学习的视频内容信息提取技术，对视频内容按照语义关系，采用时空分割、对象识别、特征提取等处理手段，从视频中提取出高层特征，进而形成高效的索引数据实现结构化检索。

具体的，本实施例中还包括报警模块，报警模块与分析模块通讯连接，用于接收分析模块发送的图像特征信息，并依据获得的图像特征信息发出警报提示信息。

本发明能够对复杂监控场景环境下进行视频实时监控，通过利用深度学习、计算机视觉、大数据、云计算等技术，构建具有功能多样、品类齐全、性能优越、可扩展性优的高性能视频综合分析方法及系统，具备在资源受限条件下部署快、性能优的能力，能够实现大规模视频的实时监控。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。