一种基于人脸识别的监控系统及方法与流程

本发明涉及安防监控技术领域，尤其涉及一种基于人脸识别的监控系统及方法。

背景技术：

在人员密集的地方常常需要对自己的个人财物进行监控保护，如果安排特定人员来进行监管不仅要耗费大量的人力物力，而且其监管的可靠性也因人员素质有所波动，因此，现有的监控系统大都借助人脸识别技术来完成。人脸识别技术是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有的人脸识别安防监控设备架构复杂，价格高昂，一般供应给大型项目，而对于个人消费者级的安防监控需求上则难以承受如此高昂的成本，且依赖于非深度学习的固定人脸模型和算法，进行数据库人脸照片黑白名单的比对，识别准确率低，识别速度慢，识别不稳定，用户体验差。

技术实现要素：

为了克服现有技术中相关产品的不足，本发明提出一种基于人脸识别的监控系统及方法，解决当前人脸识别安防监控设备成本高一级识别率低的问题。

本发明提供了一种基于人脸识别的监控系统，包括：包括监控管理装置以及与所述监控管理装置通信连接的一个或多个图像识别装置；所述图像识别装置包括摄像头和处理模块；所述摄像头实时获取监控区域的视频画面；所述处理模块在识别到所述摄像头获取的视频画面内出现人脸时自动提取所述人脸的面部特征数据，并根据所述识别到的人脸面部特征数据与内部存储数据中的对象数据进行分析比对，其中，每个所述的对象数据对应于唯一一个人员对象，根据所述分析比对的结果判断是否触发报警，并将所述分析比对的结果以及所述实时获取监控区域的视频画面发送至所述监控管理装置；所述监控管理装置上运行有监控管理应用并在所述监控管理应用的界面上对应显示所接收的数据。

作为本发明的进一步改进，所述处理模块具体用于：对实时获取的所述视频画面进行人脸检测，并在检测到人脸时获取该帧图像并裁剪出对应的人脸图像；对所述人脸图像进行关键点检测并执行图像转换；将所述人脸图像进行图像处理得到对应的面部特征数据。

作为本发明的进一步改进，所述监控管理装置用于：在所述监控管理应用上输入对应的url选择调用或切换对应的摄像头。

作为本发明的进一步改进，所述监控管理装置用于：对内部存储数据中的同一对象输入预设数量的人脸图像来进行深度学习，以及通过添加或删除操作对所述内部存储数据中的对象数据进行更新。

作为本发明的进一步改进，所述系统还包括在触发报警时发出警报信息的警报装置，所述警报装置集成在所述图像识别装置或监控管理装置上，所述系统发出警报信息的方式包括如下至少一种：邮件提醒、信息弹窗、警报装置振动以及灯光闪烁。

本发明提供了一种基于人脸识别的监控方法，应用于上述任一项基于人脸识别的监控系统，包括：通过摄像头实时获取监控区域的视频画面，在识别到所述视频画面内出现人脸时自动提取所述人脸的面部特征数据，并根据所述识别到的人脸面部特征数据与内部存储数据中的对象数据进行分析比对，其中，每个所述的对象数据对应于唯一一个人员对象；根据所述分析比对的结果判断是否触发报警，并将所述分析比对的结果以及所述实时获取监控区域的视频画面发送至监控管理装置；在所述监控管理装置上运行监控管理应用并在所述监控管理应用的界面上对应显示所接收的数据。

作为本发明的进一步改进，所述在识别到所述视频画面内出现人脸时自动提取所述人脸的面部特征数据包括：对实时获取的所述视频画面进行人脸检测，并在检测到人脸时获取该帧图像并裁剪出对应的人脸图像；对所述人脸图像进行关键点检测并执行图像转换；将所述人脸图像进行图像处理得到对应的面部特征数据。

作为本发明的进一步改进，所述方法还包括：在所述监控管理应用上输入对应的url选择调用或切换对应的摄像头。

作为本发明的进一步改进，所述方法还包括：对内部存储数据中的同一对象输入预设数量的人脸图像来进行深度学习，以及通过添加或删除操作对所述内部存储数据中的对象数据进行更新。

作为本发明的进一步改进，所述触发报警时发出警报信息的方式包括如下至少一种：邮件提醒、信息弹窗、振动以及灯光闪烁。

与现有技术相比，本发明有以下优点：

所述的基于人脸识别的监控系统及方法通过嵌入图像视觉处理程序的处理模块来处理摄像头获取的视频画面，在pc电脑上运行对应的监控程序来显示各个摄像头实时获取的视频画面和对应的人脸识别的结果，并根据所述人脸识别的结果判断是否触发报警，相比于现有的人脸识别系统，成本获得极大的降低，满足了个人消费者的应用需求，且通过深度学习的方式有效提高了人脸识别的准确性和可靠性，使用户获得了更好的使用体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述基于人脸识别的监控系统的原理结构示意图；

图2为本发明进行人脸识别的一个示意图；

图3为本发明所述基于人脸识别的监控方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例。本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参阅图1所示，所述基于人脸识别的监控系统包括通信连接的监控管理装置2以及一个或多个图像识别装置1。

所述图像识别装置1包括电性连接的摄像头11和处理模块12，在本发明实施例中，所述的摄像头11和处理模块12可以集成为整体，在本发明的其他实施方式中，当所述图像识别装置1应用在如小区或公共场所的安防场景下时，也可以直接利用其现成的摄像头11，此时只需配备相应的所述处理模块12将其与所述现成的摄像头11连接起来即可达成所述图像识别装置1等同的功能。

所述摄像头11实时获取监控区域的视频画面，当所述图像识别装置1包括多个时，其对应的多个摄像头11可以分别设置在需要监控的区域的各个角落，并分别将各自获取的视频画面传输至与之连接的处理模块12进行处理。

所述处理模块12在识别到所述摄像头11获取的视频画面内出现人脸时自动提取所述人脸的面部特征数据，并根据所述识别到的人脸面部特征数据与内部存储数据中的对象数据进行分析比对，其中，每个所述的对象数据对应于唯一一个人员对象，根据所述分析比对的结果判断是否触发报警，并将所述分析比对的结果以及所述实时获取监控区域的视频画面发送至所述监控管理装置2；当所述识别到的人脸面部特征数据与内部存储数据中的对象数据匹配时，即当前视频画面内的人为“熟人”，本发明实施例不会触发报警，相应的，当所述识别到的人脸面部特征数据与内部存储数据中的对象数据不匹配时，即当前视频画面内的人为“陌生人”，本发明实施例将触发报警并发出报警信息。

所述处理模块12对实时获取的所述视频画面进行人脸检测，并在检测到人脸时获取该帧图像并裁剪出对应的人脸图像，对所述人脸图像进行关键点检测并执行图像转换，将所述人脸图像进行图像处理得到对应的面部特征数据；在本发明实施例中，所述处理模块12对实时获取的所述视频画面进行逐帧检测，通过运用dlib、opencv等识别算法来检测视频画面内的人脸，所述处理模块12在检测到某一帧画面内出现人脸时自动提取该帧图像并裁剪出人脸图像，之后对裁剪出的人脸图像进行关键点检测并执行图像转换，所述图像转换是指获取的原始图像其人脸位置的角度位置是倾斜或倒立的，为了使其位置方正，所述处理模块12通过识别所述原始图像获取所述图像内人脸的轮廓关键点，包括眼角的位置、鼻子的位置、脸的轮廓点等共68个点，以这些轮廓关键点为基准将整个图像放射变换后使其各个轮廓关键点位置处于合理，使所述人脸整体上“对齐”。

所述处理模块12将所述转换后的人脸图像进行hog(方向梯度直方图)处理获得的特征值数据，所述的hog处理是指将所述人脸图像转换成黑白图像，比较所述黑白图像上每个像素与其周围像素的深度，并以箭头指向表示每个像素的深度由高到低的方向，即图案由亮变暗的方向；依次将每个像素用上述箭头取代生成一张梯度关系图，所述的梯度关系图可以表示为一个卷积向量，所述向量为基于vgg16模型的128维向量，所述vgg16是深度学习中一个基本模型，通过输入原始图像，经过算法处理后，计算得到图像的特征值数据，对应包括128个特征值数据，所述的特征值数据即为上述的向量表示，所述向量表示之间的距离就可以直接反映人脸的相似度，如图2所示，分别为hog处理后的一个面部特征数据以及内部存储数据，对于同一个人的人脸图像，对应的向量的欧几里得距离较小，相应的，对于不同人的人脸图像，对应的向量之间的欧几里得距离较大，因此，本发明实施例所述的处理模块12通过对实时获取的所述视频画面进行人脸检测在进行图像处理得到对应的面部特征数据，并根据所述识别到的人脸面部特征数据与内部存储数据中的对象数据进行分析比对即可识别当前图像内的人为“熟人”还是“陌生人”以及判断是否触发报警；所述的人脸识别的结果为相似比，即人脸面部特征数据与内部存储数据中的对象数据进行分析比对后得到的二者的相似度，例如，完全相同时为100％，其他如90％、30％等，在本发明实施例中，当相似度超过一定阈值时，如70％时，即可认定当前图像内的人为“熟人”，低于所述阈值时，则可认定当前图像内的人为“陌生人”，当然，其设置的阈值过高或过低时会影响人脸识别的准确度，因此，所述相似度的阈值可以根据实际情况自行设置，本发明实施例对此并无限制。

所述监控管理装置2上运行有监控管理应用并在所述监控管理应用的界面上对应显示所接收的数据，所述的监控管理应用通过路由网络与所述处理模块12进行数据交互，在所述监控管理应用上输入对应的url(uniformresourcelocator统一资源定位符)选择调用或切换对应的摄像头11，可以自由选择对应的摄像头11传输其所在监控区域的视频画面以及相应的在所述监控管理应用的界面上实施增加或删除操作来管理所选择摄像头11的运行状态；所述监控管理应用的界面上对应显示的数据包括各个摄像头11实时获取的视频画面和对应的人脸识别的结果，以及当前是否处于触发警报状态。

本发明实施例通过所述监控管理装置2对内部存储数据中的同一对象输入预设数量的人脸图像来进行深度学习，以及通过添加或删除操作对所述内部存储数据中的对象数据进行更新；为了进一步提高人脸识别的准确度，本发明实施例通过所述监控管理装置2对内部存储数据中的同一对象输入预设数量的人脸图像来进行深度学习，所述的人脸图像为同一对象不同角度和环境下的人脸图像，其输入的人脸图像越多，其人脸识别的成功率越高；同时，用户在使用所述监控系统时，难以避免添加或删除对应的对象来选择“熟人”或“陌生人”，通过所述监控管理装置2对同一对象的人脸数据执行添加或删除操作即可完成所述内部存储数据中的对象数据的更新。

在本发明实施例中，所述的处理模块12为嵌入图像视觉处理程序的树莓派组件，所述的监控管理装置2则可为pc电脑，所述的pc电脑通过路由装置与所述处理模块12组成局域网，用户可通过所述pc电脑上运行对应的监控管理应用即可实现获取监控区域的视频画面并自动进行人脸识别以及在识别到“陌生人”后促发报警，相比于现有的人脸监控系统所需要的大型服务器，本发明实施例通过pc电脑运行相应的监控管理应用即可实现对应的功能，极大的降低了成本，可以满足个人消费级的使用场景。

在本发明实施例中，所述系统还包括在触发报警时发出警报信息的警报装置3，所述警报装置3集成在所述图像识别装置1或监控管理装置2上，所述系统发出警报信息的方式包括如下至少一种：邮件提醒、信息弹窗、警报装置3振动以及灯光闪烁，其中，所述邮件提醒和信息弹窗通过所述监控管理装置2完成，所述发出警报的方法可以是上述任一种方式，也可以是上述方式中一种或多种的组合；所述警报装置3包括蜂鸣器以及闪光灯，分别用于产生振动和灯光闪烁，所述警报装置3集成在所述图像识别装置1或监控管理装置2上时分别应用在不同的场景下，例如，当用户本身位于摄像头11附近时，触发报警后，所述处理模块12上集成的所述警报装置3立即通过振动以及灯光闪烁来报警；当用户位于所述监控管理装置2附件时，集成有所述警报装置3的监控管理装置2在触发报警时进行信息弹窗、振动或灯光闪烁来报警；当用户在外地且所述处理模块12以及监控管理装置2的报警信息均无法看到时，所述监控管理装置2自动发送报警邮件至预设的用户邮箱内；当然，上述多个场景可以结合应用，极大的提高了监控管理的可靠性。

在本发明实施例中，所述的基于人脸识别的监控系统通过嵌入图像视觉处理程序的处理模块12来处理摄像头11获取的视频画面，在pc电脑上运行对应的监控程序来显示各个摄像头11实时获取的视频画面和对应的人脸识别的结果，并根据所述人脸识别的结果判断是否触发报警，相比于现有的人脸识别系统，成本获得极大的降低，满足了个人消费者的应用需求，且通过深度学习的方式有效提高了人脸识别的准确性和可靠性，使用户获得了更好的使用体验。

参阅图3所示，为本发明实施例所述基于人脸识别的监控方法的流程示意图，包括：

s101：通过摄像头实时获取监控区域的视频画面，在识别到所述视频画面内出现人脸时自动提取所述人脸的面部特征数据，并根据所述识别到的人脸面部特征数据与内部存储数据中的对象数据进行分析比对。

在本发明实施例中，每个所述的对象数据对应于唯一一个人员对象；可选的，本发明实施例通过对实时获取的所述视频画面进行人脸检测，并在检测到人脸时获取该帧图像并裁剪出对应的人脸图像，对所述人脸图像进行关键点检测并执行图像转换，将所述人脸图像进行图像处理得到对应的面部特征数据。

s102：根据所述分析比对的结果判断是否触发报警，并将所述分析比对的结果以及所述实时获取监控区域的视频画面发送至监控管理装置。

在本发明实施例中，所述触发报警时发出警报信息的方式包括如下至少一种：邮件提醒、信息弹窗、振动以及灯光闪烁。

s103：在所述监控管理装置上运行监控管理应用并在所述监控管理应用的界面上对应显示所接收的数据。

可选的，本发明实施例在所述监控管理应用上输入对应的url选择调用或切换对应的摄像头；本发明实施例对内部存储数据中的同一对象输入预设数量的人脸图像来进行深度学习，以及通过添加或删除操作对所述内部存储数据中的对象数据进行更新。

本发明实施例所述的基于人脸识别的监控方法应用于上述实施例所提供的基于人脸识别的监控系统，所述基于人脸识别的监控方法具备上述基于人脸识别的监控系统相应的功能模块和有益效果，具体请参阅上述基于人脸识别的监控系统的实施例，本发明实施例在此不再赘述。

在本发明所提供的上述实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

以上仅为本发明的实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。