一种基于人脸图像的伴随关系识别方法及系统与流程

本技术涉及人脸图像识别，具体涉及一种基于人脸图像的伴随关系识别方法及系统。

背景技术：

1、人脸图像识别与检索技术目前已在多种行业得到广泛应用，典型应用场景包括智慧城市、园区安防、单位门禁等。人脸图像识别主要涉及神经网络和计算机视觉等人工智能技术，人脸图像检索则主要涉及向量数据库等数据存储与处理技术。人脸图像识别与检索技术亦可细分为多种原子能力，其中，伴随关系的识别是一类重要的原子能力，它是指在大量视频或图像中，检索出一组在同一幅画面中共同出现过的两张或更多人脸，从而确定一组人员活动的时空交集。业务方面，伴随关系识别可应用于群体发现、聚集预警等场景，帮助用户解决实际应用问题。技术方面，伴随关系识别则可大幅缩小下游算法的输入数据范围，帮助用户提升软件处理效率。因此，伴随关系技术得到了计算机视觉相关业者的普遍重视。

2、目前，业界主流的伴随关系识别方法与系统往往需要综合应用定位服务、向量数据库、时空数据库等软件，并有可能依赖带有人工智能或地理定位能力的终端设备，因此实施成本较高，亦不利于复用既有的非智能设备。事实上，很多基于人脸图像的伴随关系识别应用对于时间和空间精度并无特别高的要求，因此有必要针对这些更为普遍的场景提出成本更优、实施更加便捷高效的解决方案。

技术实现思路

1、本技术提供一种基于人脸图像的伴随关系识别方法及系统，可以解决现有技术中伴随关系识别方法存在的需依赖带有人工智能或地理定位能力的技术问题。

2、第一方面，本技术提供了一种基于人脸图像的伴随关系识别方法，包括以下步骤：

3、构建数据库结构；

4、从原始视频中获取快照图像；

5、基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系；

6、基于待检索图像中待识别的人脸图像，通过访问数据库结构从人脸图像涉及的人员伴随关系中检索获取被识别人员和其他人员曾经出现过的伴随关系。

7、结合第一方面，在一种实施方式中，所述基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系步骤中，具体执行以下记录保存操作：

8、在时序数据库中新增记录；

9、在向量数据库中新增记录；

10、在图数据库中新增记录。

11、结合第一方面，在一种实施方式中，所述在时序数据库中新增记录步骤，具体包括以下步骤：

12、为所述快照图像生成一个快照标识符；

13、在时序数据库的快照表中新增一条包含快照标识符和快照图像的记录。

14、结合第一方面，在一种实施方式中，所述在向量数据库中新增记录步骤，具体包括以下步骤：

15、对快照图像进行人脸图像提取，获取快照图像中的所有人脸图像集合；

16、对获取的所有人脸图像集合中的每张人脸图像执行图像向量化操作，获取所述人脸图像的目标人脸向量；

17、在向量数据库的人员表基准人脸向量列中，对目标人脸向量做向量搜索操作，获取相似度最高的基准人脸向量，取得所述基准人脸向量对应的人员标识符，加入当前快照图像对应的人员标识符集合；

18、对于当前快照图像对应的人员标识符集合中的每个人员标识符，生成一个快照-人员对照标识符；

19、在向量数据库的快照-人员对照表中新增一条记录，该记录包括快照-人员对照标识符，目标快照标识符字段设置为所述快照标识符，目标人员标识符字段设置为快照图像经人脸图像提取、图像向量化以及向量搜索获取的相似度最高的基准人脸向量对应的人员标识符，目标人脸向量字段设置为快照图像经人脸图像提取以及图像向量化后生成的目标人脸向量。

20、结合第一方面，在一种实施方式中，所述在图数据库中新增记录步骤，具体包括以下步骤：

21、对于当前快照图像对应的人员标识符集合中的每个元组，在图数据库的伴随关系图中分别检测元组前项和后项的人员标识符在图中的节点集合中的节点存在工况；

22、根据获取的节点存在工况，控制执行伴随关系图的节点或边新增操作策略。

23、结合第一方面，在一种实施方式中，所述基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系步骤之后，还包括以下步骤：

24、获取伴随关系更新请求，所述伴随关系更新请求包括目标快照标识符、旧目标人员标识符和新目标人员标识符；

25、以目标快照标识符和旧目标人员标识符为依据，在向量数据库的快照-人员对照表的目标快照标识符列和目标人员标识符列中搜索两个字段同时匹配的待更新记录；

26、使用新目标人员标识符更新快照-人员对照表中所述待更新记录的目标人员标识符字段；

27、以伴随关系更新请求中的目标快照标识符为依据，在图数据库的伴随关系图中找到所有以该标识符为目标快照标识符的边的集合，获取候选更新边集合；

28、对于候选更新边集合中的每一条边，在伴随关系图中读取该边连接到的两个节点的目标人员标识符字段，并根据目标人员标识符和旧目标人员标识符的比对工况，控制执行伴随关系图的节点更新策略。

29、结合第一方面，在一种实施方式中，所述基于待检索图像中待识别的人脸图像，通过访问数据库结构从人脸图像涉及的人员伴随关系中检索获取被识别人员和其他人员曾经出现过的伴随关系步骤，具体包括以下步骤：

30、获取被识别的人脸图像，对人脸图像进行图像向量化处理，获取待检索人脸向量；

31、在向量数据库的人员表基准人脸向量列中执行向量搜索操作，获取与待检索人脸向量的相似度最高的基准人脸向量，获取所述基准人脸向量对应的人员标识符，作为目标人员标识符；

32、以目标人员标识符为依据，在伴随关系图中找到以目标人员标识符为标识符的目标人员节点；

33、以目标人员节点为依据，在伴随关系图中获取所述目标人员节点的所有邻接边，加入每条邻接边中的目标快照标识符字段至本次检索对应的目标快照标识符集合；

34、对目标快照标识符集合中的每个目标快照标识符根据快照表以及快照-人员对照表进行信息处理，获取待检索人脸向量的伴随关系涉及的快照图像和人员信息。

35、结合第一方面，在一种实施方式中，所述构建人员伴随关系的数据库结构步骤中，所述数据库结构包括时序数据库、向量数据库和图数据库。

36、第二方面，本技术提供了一种基于人脸图像的伴随关系识别系统，包括：

37、数据库结构构建模块，用于构建人员伴随关系的数据库结构；

38、快照图像获取模块，用于从原始视频中获取快照图像；

39、伴随关系获取模块，与所述快照图像获取模块通信连接，用于基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系；

40、关系检索结果获取模块，与所述数据库结构构建模块和所述伴随关系获取模块通信连接，用于基于待检索图像中待识别的人脸图像，通过访问数据库结构从人脸图像涉及的人员伴随关系中检索获取被识别人员和其他人员曾经出现过的伴随关系。

41、本技术实施例提供的技术方案带来的有益效果至少包括：

42、本技术提供的一种基于人脸图像的伴随关系识别方法，通过获取人员伴随关系以及构建数据库结构，实现对被识别的人脸图像的伴随关系的检索获取，不依赖带有人工智能或地理定位能力的终端设备，可以复用已安装的非智能终端设备，有助于用户充分利用既有投资，在时间和空间精度并无特别高的要求的场景下低成本上线伴随关系识别能力；

43、仅需依赖常见类型的数据库组件以及经典的图像分析处理算法模型，技术选型开放性高，无专有技术壁垒，能够在多类不同的硬件上实施，易于在各类场景中快速、高效地集成，具有实施成本低、便捷高效的优势。