基于人工智能的视频监控系统的制作方法

本发明涉及一种视频监控系统，特别是一种基于人工智能的视频监控系统。

背景技术：

随着人工智能技术的发展，使得包括人脸识别、声纹识别、虹膜识别以及指纹识别等技术的识别成功率已经达到商用的程度。在生物辨识的技术领域中，尤其是人脸辨识技术，由于是属于非接触性辨识，所以受到相关技术领域商家的日益重视。但是，实际在应用上，人脸识别较容易受到光线、亮度、面部表情变化等因素影响而增加影像辨识的困难程度。为解决此问题，现有技术中也有通过深度学习的方式来实现视频监控的技术方案。但目前的方案大多只能实现固定场所和特定功能的视频监控，应用成本较高。

可见，现有技术存在的上述问题，亟待改进。

技术实现要素：

针对现有技术中存在的上述技术问题，本发明的目的在于提供一种不受场景制约，易于布置且成本较为低廉的基于人工智能的视频监控系统。

为解决上述技术问题，本发明提供的基于人工智能的视频监控系统，包括：

视频采集装置，所述视频采集装置配置为从一场景内实时采集视频流，所述视频流至少包含有人形图像；

信息处理装置，所述信息处理装置通过一信号传输模块与所述视频采集装置通信连接，并配置为接收所述人形图像；

云端图像识别单元，所述云端图像识别单元布置于云端服务器，其通过网络传输模块与所述信息处理装置通讯连接，并配置为接收所述人形图像；

其中，所述云端图像识别单元包括深度学习算法模块，所述深度学习算法模块配置为对所述人形图像进行面部表情及肢体动作进行识别并获取表情识别信息及动作识别信息。

作为优选，所述云端图像识别单元包括具有预设的多个人样本图像的图像特征数据库，所述深度学习算法模块根据所述人样本图像的图像特征，设定图像特征与表情识别的第一对应关系；所述深度学习算法模块还配置为根据所述第一对应关系，对所述视频采集装置实时采集的所述人形图像进行分析并输出表情识别信息。

作为优选，所述云端图像识别单元包括具有预设的多个人样本图像的图像特征数据库，所述深度学习算法模块根据所述人样本图像的图像特征，设定图像特征与肢体动作的第二对应关系；所述深度学习算法模块还配置为根据所述第二对应关系，对所述视频采集装置实时采集的所述人形图像进行分析并输出动作识别信息。

与现有技术相比，本发明提供的基于人工智能的视频监控系统，通过在云端布置的深度学习算法模块，可以对来自多个场景的图像数据进行分析，提取出人形图像，并根据预设的人样本图像，建立对应关系。同时进一步根据对应关系，得出对应场景内的人员的表情识别信息和/或动作识别信息。

应当理解，前面的一般描述和以下详细描述都仅是示例性和说明性的，而不是用于限制本发明。

本发明中描述的技术的各种实现或示例的概述，并不是所公开技术的全部范围或所有特征的全面公开。

附图说明

在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。

图1为本发明的基于人工智能的视频监控系统的结构示意图。

图2为本发明的基于人工智能的视频监控系统中获得第一对应关系和/或第二对应关系的原理示意图。

图3为本发明的基于人工智能的视频监控系统中预测阶段，以获取针对场景内的人形图像的表情识别信息及动作信息的原理示意图。

图4为本发明的基于人工智能的视频监控系统获取人形图像中面部表情的示意图。

图5为本发明的基于人工智能的视频监控系统获取人形图像中肢体动作的第一实施方式示意图。

图6为本发明的基于人工智能的视频监控系统获取人形图像中肢体动作的第二实施方式示意图。

图7为本发明的基于人工智能的视频监控系统获取人形图像中肢体动作的第三实施方式示意图。

图8为本发明的基于人工智能的视频监控系统布置于餐厅时的示意图。

图9为本发明的基于人工智能的视频监控系统布置于商场时的示意图。

图10为本发明的基于人工智能的视频监控系统布置于家庭时的示意图。

图11为本发明的基于人工智能的视频监控系统布置于停车场时的示意图。

附图标记：

1……场景

10……视频采集装置

20……信息处理装置

21……信号传输模块

30……云端图像识别单元

31……网络传输模块

32……深度学习算法模块

320……深度学习模型

33……统计分析单元

34……图像特征数据库

40……电子广告牌

41……门禁设备

50……人形图像

51……面部

60……上肢

61……下肢。

具体实施方式

为了使得本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1至图3所示，本发明实施例提供的基于人工智能的视频监控系统，包括视频采集装置10、信息处理装置20及云端图像识别单元30。在本实施例中，视频采集装置10设置有多个，多个所述视频采集装置10分别设于场景1，用以采集场景1内至少一种物体影像，且物体影像至少包含有人形图像。信息处理装置20通过一信号传输模块21(如蓝牙、usb、rs232等传输模块)与多个所述视频采集装置10通讯连接，用以接收人形图像及其他物体影像。云端图像识别单元30(如云端服务器)通过一网络传输模块31(如网络与调制解调器或是路由器的组合)与信息处理装置20通讯连接，用以接收人形图像及其他物体影像，云端图像识别单元30布置有具有深度学习训练单元且用以执行图像识别的深度学习算法模块32，深度学习算法模块32可对人形图像进行面部表情及肢体动作的图像识别，以得到表情识别信息和/或动作识别信息。在本实施例中，表情识别信息及动作识别信息可进一步形成提示信息，以方便场景管理者做出及时处理。

如图1～图4所示，上述云端图像识别单元30包括预设的多个人样本图像的图像特征数据库34，该深度学习算法模块32将人样本图像的图像特征采集为面部表情特征数据，并为每一面部表情特征数据设定有一对应的表情识别数据，形成第一对应关系，当深度学习算法模块32接收到实时采集的至少一张人形图像50时，则于图像特征数据库34识别出与该人样本图像的图像特征符合的面部表情特征数据，并根据所述第一对应关系，读取图像特征符合的表情识别数据，再输出相应的表情识别信息。

具体的，上述表情识别信息可以是略为高兴、高兴、极为高兴、略为悲伤、悲伤、极为悲伤、略为不悦、不悦或是极为不悦的其中至少二种表情。可以是喜、努、哀、乐的面部表情，更可以是紧张、惊恐的面部表情。

承上所述，上述实施例可应用在如餐厅或是商场等场景1中，将视频采集装置10装设在电子广告牌40附近，以对观看电子广告牌40的顾客侦测是否观看电子广告牌40，据此以分析出何种广告较能吸引何种消费者，并进行包含人脸以及面部表情的深度学习演算识别，进而得到顾客的面部51表情，例如微笑则表示对于提供商品或服务感到满意，如图4所示；相反的，面部无表情、失望、不悦则表示对于提供商品或服务感到不满意或是极为不满意。其中，还可以配合肢体的动作识别信息，例如点头的肢体动作，表示对于提供商品或服务感到满意；反之，摇头的肢体动作，表示对于提供商品或服务感到不满意或是极为不满意。图10为本发明的基于人工智能的视频监控系统布置于家庭时的示意图。图11为本发明的基于人工智能的视频监控系统布置于停车场时的示意图。其中，均涉及门禁设备41，通过本发明的基于人工智能的视频监控系统，可以实现基于车牌或人脸识别信息对门禁设备41的控制。

具体而言，上述云端图像识别单元30还包括预设有多个人样本影像的图像特征数据库34(如数据服务器；但不以此为限)，深度学习算法模块32将人样本图像的图像特征采集为肢体动作特征数据，并于每一肢体动作特征数据设定有一对应的肢体动作识别数据，形成第二对应关系，当深度学习算法模块32接收到实时采集的连续多张的人形图像时，则于图像特征数据库34识别出与人样本图像的图像特征符合的肢体动作特征数据，并根据所述第二对应关系，读取图像特征符合的肢体动作识别数据，再输出相应的动作识别信息。

进一步而言，上述动作识别信息可以包括异常的肢体的动作识别信息，例如攀爬的肢体的动作识别信息(在一预设时间内(例如五秒以内)，上肢部位高于其手臂向下伸直时原上肢60部位的二分之一高度及下肢61部位高于其大腿向下伸直时原下肢部位的三分之一高度，如图7所示，则判定为攀爬动作)。

如图5至图7所示，依序显示有攀爬、持刀以及倒伏等画面，均可采用本发明的技术方案予以识别处理。

如图1至图3所示，在一些实施例中，本发明的基于人工智能的视频监控系统包括视频采集装置10、信息处理装置20及云端图像识别单元30。多个视频采集装置10分别设于至少一场景1，用以采集场景1的物体而产生至少一种物体影像，且此物体影像至少包含有至少一人形图像。信息处理装置20通过一信号传输模块21(如蓝牙、usb、rs232,网络等传输模块)与各视频采集装置10通讯连接，用以接收人形图像。云端图像识别单元30(如云端服务器)，其通过一网络传输模块31(如网络与调制解调器或是路由器的组合,采hls或rtmp通讯方式)与信息处理装置20通讯连接，用以接收人形图像，云端图像识别单元30预设有深度学习训练单元并用以执行图像识别的深度学习算法模块32，深度学习算法模块32可对人形图像进行面部表情及肢体动作的图像识别。其中，上述物体影像中包含有至少一视频流影像(如从电子广告牌、手机或是计算机所播放的直播视频影像)，这里的视频流影像并不是视频采集单元10输出的视频流，而是位于场景内的电子设备所展示的第二视频流。云端图像识别单元30通过网络传输模块31与信息处理装置20接收所述第二视频流，深度学习算法模块32可对所述第二视频流进行暴力、血腥及色情的图像识别，并通过一控制模块发送控制指令，中断第二视频流的播放。

除此之外，如图1所示，本发明的基于人工智能的视频监控系统还可包括一统计分析单元33，此统计分析单元33可以单独布置在云端服务器；或是内建于云端的图像识别单元30，用以接收、统计及分析经深度学习算法模块32所做的其他图像识别信息，此图像识别信息包括如人流识别、车流识别、顾客识别、人脸识别、性别识别、年纪识别、餐点识别、车牌识别、车款识别、肢体动作行为识别、停车场状态识别、商品识别、视频流识别、影视广告识别、人物识别、商标识别；或是通勤等识别信息。具体的，上述统计分析单元33可以针对上述图像识别信息做出一种统计/分析信息，此统计/分析信息可以是一种人流统计、性别统计、年纪统计、热点分析、客层分析、来客统计、顾客动线分析、电子广告牌播放分析、车流统计以及停车场空间管理分析等其中的一种信息。

更具体的，本发明采用的深度学习算法模块32(即深度学习算法技术)可以是一种卷积神经网络(cnn)算法、专家系统算法或是随机森林算法等人工智能算法。此深度学习算法模块32执行时则包含下列步骤：

(1)训练阶段，如图2所示，先建立有至少一深度学习模型320，并于深度学习模型320输入训练图像集，具体包括样本图像输入和图像参数输入，并由深度学习模型320测试图像识别的正确率，如果正确率足够，此时可设定的正确率例如可以为95％，当满足这一预设条件时则将识别结果输出并保存；当不满足正确率的预设条件时，则使深度学习模型320通过调整图像参数输入的方式实现自我学习修正。

(2)预测阶段，如图3所示，在深度学习模型320输入实时由视频采集装置采集的物体图像，并由深度学习模型320进行图像识别，以得到至少一个上述表情识别信息和/或动作识别信息。

具体而言，深度学习模型320包含多个不同属性的分类器(如人型轮廓、人脸轮廓、发型轮廓、表情轮廓、餐点轮廓、车辆轮廓、车牌轮廓、车款轮廓及商标轮廓等属性)，而且深度学习算法模块32执行时还包括一图像特征提取步骤，具体是将样本图像的局部特征提取为训练图像并生成训练图像集，再将训练图像集输入至深度学习模型320中，再分类器进行比对，以将比对结果输出至深度学习模型320，以作为输出识别信息的判断的依据。

此外，尽管已经在本发明中描述了示例性实施例，其范围包括任何和所有基于本发明的具有等同元件、修改、省略、组合(例如，各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。

以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本发明。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。