一种选择基准图片进行人脸聚档的方法与流程

本发明涉及人工智能、图片数据处理领域，具体涉及一种选择基准图片进行人脸聚档的方法。

背景技术：

1、人脸聚档是指不同时刻、不同地点对同一个人的样貌从多个角度进行抓拍，并将抓拍得到的人脸图片进行分析归档，形成对应的人脸档案。人脸档案中的所有人脸图片都称为基准图片，这些基准图片存储在人脸档案向量数据库中，用于判断某人在某个时间段中的活动轨迹，或者在某个地点的活动频次。

2、为了更好的提高对活动轨迹/活动频次的判断效率、判断准确度，应该避免人脸档案中出现相似程度过于接近的基准图片，以保证基准图片在人脸档案中的多样性，以及基准图片在人脸档案中的数量的合理性。

3、但是，目前的人脸聚档技术对基准图片的采集、归档无法兼顾多样化的同时，把基准图片的数量控制在一个合理的范围：

4、例如，如公开号为cn114639143a的《基于人工智能的人像归档方法、设备及存储介质》、公开号为cn115035610a的《归档方法、计算机程序产品、存储介质及电子设备》公开的技术方案均属于后处理方法，采用这类技术方案获得的人脸档案中的基准图片数量较多，在对人员的活动轨迹/活动频次的判断之前，都需要花大量的算力对每个人脸档案进行二次处理，导致判断效率较低。

5、而公开号为cn112633051a的《一种基于图像搜索的在线人脸聚类方法》、公开号为cn112835876a的《一种人脸档案去重方法及相关设备》公开的技术方案得到的人脸档案中的基准图片的数量虽然在一个比较合理的范围内，不需要额外花费计算机的算力对人脸档案进行二次处理，但是由于这些人脸档案中的基准图片多样性不足，无法对活动轨迹/活动频次的判断提供较好的参照，即采用这些技术方案容易产生散档，导致人脸档案鲁棒性不够。

6、由此可见，如何改良人脸聚档技术，使其对基准图片的采集、归档在兼顾多样化的同时，把基准图片的数量控制在一个合理的范围，以提高计算机通过人脸档案对活动轨迹/活动频次的判断效率、判断准确度，一直是本领域技术人员难以解决的问题。

技术实现思路

1、本发明的目的是针对现有技术对应的不足，提供一种选择基准图片进行人脸聚档的方法，改良对基准图片的采集、归档的技术方案，能够在兼顾多样化的同时，把基准图片的数量控制在一个合理的范围，采用本发明得到的人脸档案判断某人在某个时间段中的活动轨迹，或者在某个地点的活动频次，无论是判断效率，还是判断准确度都有明显的提升。

2、本发明的目的是采用下述方案实现的：一种选择基准图片进行人脸聚档的方法，包括以下步骤：

3、一种选择基准图片进行人脸聚档的方法，包括以下步骤：

4、1)设置人脸图像的相似度阈值；

5、2)提取待归档人脸图片的人脸特征数据，并根据待归档人脸图片的人脸特征数据通过向量搜索引擎在人脸档案向量数据库中检索，得到近似人脸图片列表；

6、3)将近似人脸图片列表中各人脸图片按照与待归档人脸图片的近似程度从高到低的顺序排列，取第一、第二的两张人脸图片分别作为第一、第二匹配图片；

7、4)计算待归档人脸图片与第一、第二匹配图片的余弦距离，分别得到待归档人脸图片与第一、第二匹配图片的余弦相似度；

8、5)利用待归档人脸图片与第一、第二匹配图片的余弦相似度，以及相似度阈值对待归档人脸图片进行归档。

9、优选地，所述相似度阈值包括相似度上限值、相似度下限值，所述第一匹配图片所在的档案为第一匹配档案，所述第二匹配图片所在的档案为第二匹配档案，步骤5)中利用待归档人脸图片与第一匹配图片、第二匹配图片的余弦相似度，以及相似度阈值对待归档人脸图片进行归档的方式如下：

10、5-1)若待归档人脸图片与第一匹配图片的余弦相似度在相似度阈值范围内：

11、计算待归档人脸图片与第一匹配图片之间的推土距离，作为待归档人脸图片与第一匹配图片之间的向量相似度，并与相似度上限值相比较：

12、①若向量相似度≥相似度上限值，则将待归档人脸图片归档至第一匹配档案；

13、②若向量相似度＜相似度上限值，则新建一人脸图片档案，并将待归档人脸图片归档至新建的人脸图片档案；

14、5-2)若待归档人脸图片与第一匹配图片的余弦相似度不在相似度阈值范围内：

15、①若待归档人脸图片与第一匹配图片的余弦相似度＜相似度下限值，则新建一人脸图片档案，并将待归档人脸图片归档至新建的人脸图片档案；

16、②若待归档人脸图片与第一匹配图片的余弦相似度＞相似度上限值，则继续判断待归档人脸图片与第二匹配图片的余弦相似度是否≥相似度上限值：

17、⑴若待归档人脸图片与第二匹配图片的余弦相似度≥相似度上限值，合并第一、第二匹配档案，形成人脸图片合并档案，并将待归档人脸图片归档至该人脸图片合并档案；

18、⑵若待归档人脸图片与第二匹配图片的余弦相似度＜相似度上限值，则将待归档人脸图片归档至第一匹配档案。

19、优选地，步骤⑵中，在将待归档人脸图片归档至第一匹配档案之前，需要通过待归档人脸图片与第一匹配图片的人脸质量信息比较两者之间的人脸质量相差程度，并按照下列方式对待归档人脸图片进行处理：

20、ⅰ.若待归档人脸图片与第一匹配图片的人脸质量相差程度＞人脸质量差别阈值，重新获取人脸图片作为待归档人脸图片；

21、ⅱ.若待归档人脸图片与第一匹配图片的人脸质量相差程度≤人脸质量差别阈值，则将待归档人脸图片归档至第一匹配档案。

22、优选地，所述人脸质量信息包括人脸角度信息或/和人脸清晰度信息，所述人脸质量差别阈值包括人脸角度阈值或/和人脸清晰度阈值，按照下列方式比较人脸质量相差程度：

23、a.待归档人脸图片与第一匹配图片的人脸角度信息或/和人脸清晰度信息的差值＞人脸角度阈值或/和人脸清晰度阈值，则待归档人脸图片与第一匹配图片的人脸质量相差程度＞人脸质量差别阈值；

24、b.待归档人脸图片与第一匹配图片的人脸角度信息或/和人脸清晰度信息的差值≤人脸角度阈值或/和人脸清晰度阈值，则待归档人脸图片与第一匹配图片的人脸质量相差程度≤人脸质量差别阈值。

25、优选地，步骤2)中，提取待归档人脸图片的人脸特征数据之前，需要通过待归档人脸图片的人脸质量信息判断：

26、若待归档人脸图片的人脸质量信息符合要求，再提取待归档人脸图片的人脸特征数据；

27、若待归档人脸图片的人脸质量信息不符合要求，则重新获取人脸图片作为待归档人脸图片，重新判断待归档人脸图片的人脸质量信息，直到待归档人脸图片的人脸质量信息符合要求，再提取待归档人脸图片的人脸特征数据。

28、优选地，所述人脸质量信息包括性别信息，步骤5-1)中，计算待归档人脸图片与第一匹配图片之间的推土距离之前，需先判断待归档人脸图片对应的性别信息与第一匹配图片对应的性别信息是否一致，若性别不一致，则新建一人脸图片档案，并将待归档人脸图片归档至这个新建的人脸图片档案，若性别一致，再计算待归档人脸图片与第一匹配图片之间的推土距离。

29、优选地，所述待归档人脸图片的人脸质量信息通过预设的人脸属性模型提取。

30、优选地，所述待归档人脸图片的人脸特征数据通过预设的人脸识别模型提取。

31、优选地，所述相似度阈值通过人脸图像数据集的余弦距离分布概率密度图确定，所述人脸图像数据集的余弦距离分布概率密度图按照下列方式获取：

32、①在人脸图像数据集中随机挑选若干对匹配样本对，形成匹配样本集；

33、②计算匹配样本集中各样本对之间的余弦距离，并根据各余弦距离的分布概率，绘制匹配样本集对应的余弦距离分布概率曲线，作为该人脸图像数据集的余弦距离分布概率密度图。

34、本发明的优点在于以下几点：

35、①本发明能够在兼顾基准图片多样化的同时，把基准图片的数量控制在一个合理的范围，采用本发明得到的人脸档案判断某人在某个时间段中的活动轨迹，或者在某个地点的活动频次，无论是判断效率，还是判断准确度都有明显的提升；

36、②现有技术仅仅只采用余弦距离来计算相似度，匹配精度较低，判断结果的准确率不高，本发明同时采用余弦距离和推土距离来共同计算相似度，大大提升了困难场景下的匹配精度，减少了散档情况的发生；

37、③本发明通过统计人脸数据集的余弦距离分布概率密度图来选择相似度阈值，具备较强的可操作性及场景适应性，也能够提高最终归档的准确率。

38、名词解释：

39、推土距离：即wasserstein distance，又称作emd距离(earth mover’sdistance)，用来测量两个随机分布的距离，之所以叫推土距离，是因为它的物理含义是：将一个随机分布的直方图，变化成另一个随机分布的直方图，直方图变动的最小距离和。直方图中的每个小柱子可以视作一个土堆。