一种优化的监控视频存储系统及设备的制作方法

本发明属于人工智能领域，尤其涉及一种监控视频优化存储系统及有关设备。

背景技术：

通常对于办公地点的出入口等位置，通过视频监控录像或者专用的人脸和证件比对设备如单位访客机等，实现对视频中的人脸进行分析。

对办公单位在传统方式下如果要明确查明哪些人、什么时间进入办公场所，现在的手段是通过视频监控系统进行录像查询，但由于视频监控系统的录像往往存储文件过大，仅仅支持一个月以内来往人员的记录功能，而且想查出指定人员在哪一天进入办公地点，需要监控人员翻查大量录像才能人工定位，如果不指定时间地点等具体信息，由于工作量巨大几乎无法实现查询指定人员具体在什么时间进入办公地点的问题况。

本系统利用先进的人工智能人脸识别技术实现了进入人员的人脸照片自动抓拍留证功能，可以达到数十万到上百万条人脸照片记录的历史保存容量。通常这些人脸记录容量可支持对出入口实现长达数月甚至1到2年的记录保存时间。并且通过定制设备存储容量，能够实现数年等更长记录保存时间。大量人脸通过记录的保存，不仅有利于出入口的人员精准管理，还对发生纠纷、重大案件时提供有效的照片证据。

技术实现要素：

当前，在一般应用场合的视频监控应用场景中，主要目标是对进出人员进行监控，且一般都采用传统的视频存储方案，保存完整的监控视频以方便用户查询，或者调查取证。此类方法占据了大量的存储空间，导致监控设备最多只能支持一到两个月的视频存储，且查询时搜索费时费力，给用户带来了极大的不便。

本发明中，通过对监控视频实时检测是否有人脸存在，只保存检测到人脸的视频段在本地，且在中心云存储中，建立每一张不同人脸的对应存储空间，只保留符合预设条件的图像帧，这样大大节省了存储空间；同时通过建立基于人脸的搜索引擎，方面了用户的查询，大大节约查询时间。

为了解决上述技术问题，本发明提供了一种新的系统方法，包括：

视频采集前端，采集前端配置标准高清摄像头，采用一个或多个摄像头，对需要进行人流监控的场所进行实时监控，同时将采集的视频临时存储于设备的内存之中。

人脸识别模组，对视频采集前端临时存储的视频逐帧进行人脸检测，检测方式或为深度卷积神经网络学习算法，或为其他正确检测率高于95％的算法，标记每一帧的人脸检测结果；若同一图像帧的检测结果中，正确检测的人脸数大于1，则记录该图像帧中检测到的每一张人脸，从标记正确检测到人脸的视频帧中，提取人脸的视频分段，同时将上述视频分段传输给一级实时存储设备。

从上述正确检测到人脸存在的视频分段中，对该视频分段中的每一图像帧中的每一张人脸进行人脸特征提取，该特征提取方法或为通用的基于知识的表征方法，或为基于代数特征或统计学习的表征方法，得到表征每一张人脸的特征向量。

在上述视频分段中，从第一张有人脸的图像帧开始，对每一图像帧内每一张人脸的特征向量与上一帧图像的每一张人脸逐一进行匹配，对满足相似性要求的人脸认为是同一张人脸，否则认为是新的人脸；将属于同一张人脸的特征向量组成一个集合并做相应的标记，为新出现的人脸建立新的特征向量集合；直到该视频分段中的最后一帧图像，或者达到本发明最大的连续图像帧处理能力。

然后在属于同一人脸的特征向量集合内，将每一个特征向量与除它本身之外的其他特征向量进行相关运算，并将相关运算结果求和，得到上述集合中该特征向量的匹配值，上述特征向量集合中计算获得的最大匹配值即为最佳的人脸匹配值，与其对应的人脸特征向量为最佳的人脸特征向量，与该特征向量对应的图像帧记为最佳人脸图像帧；或者从上述人脸特征集 合对应的人脸图像集合中找一张最大的人脸作为最佳人脸，与最佳人脸对应的图像帧即为最佳人脸图像帧。

将最佳人脸图像帧对应的人脸特征向量与中心云存储中的人脸特征向量库进行比对，若该人脸特征向量与比对的数据库中的某个人脸特征向量相似度大于δ，则认为这两张人脸属于同一个人，否则认为所比对的特征向量属于不同的人脸；若存在多个人脸特征高于相似度δ，则认为该人脸特征向量与数据库中相似度最高的人脸特征向量属于同一张人脸；然后从将该图像帧以及其对应特征向量存储于中心云存储数据库中，否则，指示中心云存储为该人脸创建新的存储空间以及唯一标识。

若上述最佳图像帧中，包含最佳人脸数超过1张，则将每一个最佳人脸特征向量与中心云存储中的人脸特征向量库进行比对，若有匹配的人脸特征向量，则将该图像帧以及对应的特征向量存储于该人脸的存储空间中，否则为该人脸建立一个新的存储空间以及唯一标识。

一级实时存储设备，储存视频时，从标记正确检测到人脸的视频帧中，提取人脸的视频分段；每一视频分段的开始图像帧为检测到存在人脸的第一帧图像，或根据实际需求提前N1帧存储；每一视频分段的结束为检测到存在人脸的最后一帧，记录每一视频分段的监控日期和时间，然后按照时间先后顺序逐一将视频分段组合成一个预先设定的文件。

中心云存储设备，根据实际需求或建立人脸的特征向量库以及其他的基本信息，或根据系统自定义方式建立人脸存储的基本索引信息；

然后根据提取的人脸特征向量比对结果来判断该人脸是否为数据库中已有的人脸，若是，则将所述的人脸特征向量，以及该人脸的最佳图像帧存储起来，记录该图像帧的生成日期与时间，以及其特征向量；

若不是，则为该人脸根据系统定义的规则建立新的唯一索引标识以及存储空间，存储该人脸对应的最佳图像帧，最佳图像帧的生成日期与时间，以及其特征向量。

搜索模块，用户或输入含有人脸的图像进行查询，系统根据用户输入的图像，采用与上述人脸检测同样的方法，进行人脸检测，然后提取其特征向量，将该人脸特征与存储于一级实时存储设备以及中心云存储设备中 的人脸图像特征向量进行比对，找到与其匹配的所有人脸视频段或图像，反馈至搜索前端。若无合适的结果，用户或放弃搜索，或提供新的图像进行查询，或输入日期与时间段进行搜索，得到相应的反馈结果。

搜索时，默认先查询一级实时存储设备的视频段，若有符合条件的，则从一级存储中心反馈结果给用户。然后查询中心云存储设备的图像数据。

本发明的上述方案至少具有以下有益效果：

有效地解决当前视频监控存储数据量庞大，且不易查询的问题。本发明提供的系统能将一般应用级别的系统存储有效数据大大提升，且搜索简单方便，大大简化了一般场景应用的视频存储与查询过程。

大量人脸通过记录的保存，不仅有利于出入口的人员精准管理，还对发生纠纷、重大案件时提供有效的照片证据。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1表示本发明实施例的系统方法基本结构示意图；

图2表示本发明实施例的处理步骤流程图；

图3表示本发明实施例的步骤2的处理流程图；

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要 自动地限制该应用的范围为任何单个发明或发明构思。

如图1所示，本发明的实施例中，包括：

视频采集前端101，采集前端配置标准高清摄像头，采用一个或多个摄像头，对需要进行人流监控的场所进行实时监控，同时将采集的视频临时存储于设备的内存之中。

本发明上述实施例中，还包括：

人脸识别模组102，对视频采集前端临时存储的视频逐帧进行人脸检测，检测方式或为深度卷积神经网络算法，比如：深度为9层，或为其他算法正确检测率高于95％的算法，比如：基于高斯过程的人脸识别技术；记录每一帧的人脸检测结果；若同一图像帧的检测结果中，正确检测的人脸数大于1，则记录该图像帧中检测到的每一张人脸，从标记正确检测到人脸的视频帧中，提取人脸的视频分段，同时将上述视频分段传输给一级实时存储设备。

进一步的，从上述正确检测到人脸存在的视频分段中，对该视频分段中的每一图像帧中的每一张人脸进行人脸特征提取，该特征提取方法或为通用的基于知识的表征方法，或为基于代数特征或统计学习的表征方法，得到表征每一张人脸的特征向量，记为其中f_i为特征向量的第i个浮点元素，N为特征向量的元素总数。

进一步的，在上述视频分段中，从第一张有人脸的图像帧开始，对每一图像帧内每一张人脸的特征向量与上一帧图像的每一张人脸逐一进行匹配，对满足相似性要求的人脸认为是同一张人脸，否则认为是新的人脸；将属于同一张人脸的特征向量组成一个集合并做相应的标记，为新出现的人脸建立新的特征向量集合；直到该视频分段中的最后一帧图像，或者达到本发明最大的连续图像帧处理能力。

举例说明，比如第一帧图像中含有两张人脸，分别记为F_1，1和F_1，2，其对应的特征向量为和第二帧图像中也含有两张人脸，分别记为F_2，1和F_2，2，其对应的特征向量为和分别计算四张人脸的匹配度∏_i，j：

其中，为标准相关函数，为任意长度相同的向量。

若∏_1，1≥β，其中β为相似度门限值，则认为F_1，1和F_2，1为同一张人脸，否则认为F_1，1和F_2，1属于不同的人脸。

若∏_2，1＜β且∏_2，2＜β，则认为F_2，2属于新出现的人脸。

进一步的，在上述属于同一人脸的特征向量集合内，将每一个特征向量与除它本身之外的其他特征向量进行相关运算得到特征向量的相似性度量值向量并将该相似性度量值向量所有元素求和，得到上述集合中该特征向量的匹配值，上述特征向量集合中计算获得的最大匹配值即为最佳的人脸匹配值，与其对应的人脸特征向量为最佳的人脸特征向量，与该特征向量对应的图像帧记为最佳人脸图像帧；或者从上述人脸特征集合对应的人脸图像集合中找一张最大的人脸作为最佳人脸，与最佳人脸对应的图像帧即为最佳人脸图像帧。

举例说明，假设属于同一人脸的特征向量集合为其中ν_i为该集合中第i个元素的特征向量，M为该集合元素总数；特征向量的相似性度量值向量记为其中则相似性度量值向量对应的匹配值为进一步的，从上述计算结果中得到最佳匹配值m_opt＝max(m0，m₁，…，m_M)，其中，为求向量最大值运算，最佳匹配值对应的特征向量即为最佳人脸，最佳人脸对应的图像则为最佳人脸图像帧。

进一步的，将上述最佳人脸图像帧对应的人脸特征向量与中心云存储中的人脸特征向量库进行比对，比对方法为计算特征向量的相关性，采用上述过程相同的相关函数若该人脸特征向量与比对的数据库中的某个人脸特征向量相似度∏_i，j大于δ，则认为这两张人脸属于同一个人，否则认为所比对的特征向量属于不同的人脸；若存在多个人脸特征高于相似 度δ，则认为该人脸特征向量与数据库中相似度最高的人脸特征向量属于同一张人脸；然后从将该图像帧以及其对应特征向量存储于中心云存储数据库中，否则，指示中心云存储为该人脸创建新的存储空间以及唯一标识。比如：存储空间包含唯一空间标识ID，每一图像的唯一ID，每个图像对应的特征向量，图片的生成时间，人脸的个性化信息：姓名，年龄，性别等。

进一步的，若上述最佳图像帧中，包含最佳人脸数超过1张，则将每一个最佳人脸特征向量与中心云存储中的人脸特征向量库进行比对，若有匹配的人脸特征向量，则将该图像帧以及对应的特征向量存储于该人脸的存储空间中，否则为该人脸建立一个新的存储空间以及唯一标识。

本发明上述实施例中，还包括：

一级实时存储设备103，储存视频时，从标记正确检测到人脸的视频帧中，提取人脸的视频分段；每一视频分段的开始图像帧为检测到存在人脸的第一帧图像，或根据实际需求提前N1帧存储，比如N1＝5；每一视频分段的结束为检测到存在人脸的最后一帧，记录每一视频分段的监控日期和时间，然后按照时间先后顺序逐一将视频分段组合成一个预先设定的文件，比如按天分割文件进行存储。

本发明上述实施例中，还包括：

中心云存储设备104，根据实际需求或建立人脸的特征库以及其他的基本信息，比如：设置白名单或者黑名单，录入白名单人以及黑名单的人脸照片，姓名，性别，年龄等基本信息；或根据系统自定义方式建立人脸存储的基本索引信息。

进一步的，根据提取的人脸特征向量比对结果来判断该人脸是否为数据库中已有的人脸，若是，则将所述的人脸特征向量，以及该人脸的最佳图像帧存储起来，记录该图像帧的生成日期与时间，以及其特征向量。

若不是，则为该人脸根据系统定义的规则建立新的唯一索引标识以及存储空间，存储该人脸对应的最佳图像帧，最佳图像帧的生成日期与时间，以及其特征向量。

本发明上述实施例中，还包括：

搜索模块105，用户或输入含有人脸的图像进行查询，系统根据用户输入的图像，采用与上述实施例中所述的人脸检测同样的方法，进行人脸检测，然后提取其人脸特征向量，将该人脸特征与存储于一级实时存储设备以及中心云存储设备中的人脸特征向量进行比对，找到与其匹配的所有人脸视频段或图像，反馈至搜索前端。比如：反馈结果包括，所有匹配的人脸图像，图像唯一ID，特征向量，特征向量ID，图像的生成日期与时间；所有包含匹配人脸的视频文件，视频文件ID，该人脸出现在视频文件中的起始时间，结束时间。若无合适的结果，用户或放弃搜索，或提供新的图像进行查询，或输入日期与时间段进行搜索，得到相应的反馈结果。

进一步的，搜索时，默认先查询一级实时存储设备的视频段，若有符合条件的，则从一级存储中心反馈结果给用户。然后再查询中心云存储设备的图像数据。

下面结合图2、图3说明上述功能模块或设备的具体操作流程：

步骤一，视频监控采集与临时存储，采集前端配置标准高清摄像头，采用一个或多个摄像头，对需要进行人流监控的场所进行实时监控，同时将采集的视频临时存储于所述设备的内存之中。

步骤二，视频人脸检测，特征提取以及比对，对视频采集前端临时存储的视频逐帧进行人脸检测，记录每一帧的人脸检测结果；若同一图像帧的检测结果中，正确检测的人脸数大于1，则记录该图像帧中检测到的每一张人脸，从标记正确检测到人脸的视频帧中，提取人脸的视频分段，同时将上述视频分段传输给一级实时存储设备103。

同时，从上述正确检测到人脸存在的视频分段中，对该视频分段中的每一图像帧中的每一张人脸进行人脸特征提取，得到表征每一张人脸的特征向量，记为其中f_i为特征向量的第i个浮点元素，N为特征向量的元素总数。

在上述视频分段中，从第一张有人脸的图像帧开始，对每一图像帧内每一张人脸的特征向量与上一帧图像的每一张人脸逐一进行匹配，对满足相似性要求的人脸认为是同一张人脸，否则认为是新的人脸；将属于同一张人脸的特征向量组成一个集合并做相应的标记，为新出现的人脸建立新 的特征向量集合；直到该视频分段中的最后一帧图像，或者达到本发明最大的连续图像帧处理能力。

在上述属于同一人脸的特征向量集合内，将每一个特征向量与除它本身之外的其他特征向量进行相关运算得到特征向量的相似性度量值向量并将该相似性度量值向量所有元素求和，得到上述集合中该特征向量的匹配值，上述特征向量集合中计算获得的最大匹配值即为最佳的人脸匹配值，与其对应的人脸特征向量为最佳的人脸特征向量，与该特征向量对应的图像帧记为最佳人脸图像帧；或者从上述人脸特征集合对应的人脸图像集合中找一张最大的人脸作为最佳人脸，与最佳人脸对应的图像帧即为最佳人脸图像帧。

将上述最佳人脸图像帧对应的人脸特征向量与中心云存储中的人脸特征向量库进行比对，比对方法为计算特征向量的相关性，采用上述过程相同的相关函数若该人脸特征向量与比对的数据库中的某个人脸特征向量相似度∏_i，j大于δ，则认为这两张人脸属于同一个人，否则认为所比对的特征向量属于不同的人脸；若存在多个人脸特征高于相似度δ，则认为该人脸特征向量与数据库中相似度最高的人脸特征向量属于同一张人脸；然后从将该图像帧以及其对应特征向量存储于中心云存储数据库中，否则，指示中心云存储为该人脸创建新的存储空间以及唯一标识。

若上述最佳图像帧中，包含最佳人脸数超过1张，则将每一个最佳人脸特征向量与中心云存储中的人脸特征向量库进行比对，若有匹配的人脸特征向量，则将该图像帧以及对应的特征向量存储于该人脸的存储空间中，否则为该人脸建立一个新的存储空间以及唯一标识。其处理流程如图3所示。

步骤三，实时存储视频段，储存视频时，从标记正确检测到人脸的视频帧中，提取人脸的视频分段；每一视频分段的开始图像帧为检测到存在人脸的第一帧图像，或根据实际需求提前N1帧存储；每一视频分段的结束为检测到存在人脸的最后一帧，记录每一视频分段的监控日期和时间，然后按照时间先后顺序逐一将视频分段组合成一个预先设定的文件，比如按天分割文件进行存储。

步骤四，云存储匹配的图像以及特征，根据实际需求或建立人脸的特征库以及其他的基本信息，比如：设置白名单或者黑名单，录入白名单人以及黑名单的人脸照片，姓名，性别，年龄等基本信息；或根据系统自定义方式建立人脸存储的基本索引信息。

然后根据提取的人脸特征向量比对结果来判断该人脸是否为数据库中已有的人脸，若是，则将所述的人脸特征向量，以及该人脸的最佳图像帧存储起来，记录该图像帧的生成日期与时间，以及其特征向量。

若不是，则为该人脸根据系统定义的规则建立新的唯一索引标识以及存储空间，存储该人脸对应的最佳图像帧，最佳图像帧的生成日期与时间，以及其特征向量。

步骤五，输入搜索条件，获取搜索结果，根据用户输入的图像，采用与上述实施例中所述的人脸检测同样的方法，进行人脸检测，然后提取其人脸特征向量，将该人脸特征与存储于一级实时存储设备以及中心云存储设备中的人脸特征向量进行比对，找到与其匹配的所有人脸视频段或图像，反馈至搜索前端。比如：反馈结果包括，所有匹配的人脸图像，图像唯一ID，特征向量，特征向量ID，图像的生成日期与时间；所有包含匹配人脸的视频文件，视频文件ID，该人脸出现在视频文件中的起始时间，结束时间。若无合适的结果，用户或放弃搜索，或提供新的图像进行查询，或输入日期与时间段进行搜索，得到相应的反馈结果。

搜索时，默认先查询一级实时存储设备的视频段，若有符合条件的，则从一级存储中心反馈结果给用户。然后再查询中心云存储设备的图像数据。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。