一种人脸样本库建立方法、装置、电子设备和存储介质与流程

本申请涉及计算机视觉，尤其涉及一种人脸样本库建立方法、装置、电子设备和计算机存储介质。

背景技术：

1、当前主流的人脸识别技术是基于神经网络的深度学习，通过大量的人脸样本对神经网络模型进行训练，从中学习到表征这些数据的最佳特征，但是训练数据集的质量和数量直接影响到神经网络模型的优劣。

2、在相关技术中，获取样本数据集的方式主要包括：人工方式和爬虫方式。其中，对于前者来说，通过人工方式采集，并通过人工方式再对采集的样本数据进行分组、标注和清洗；但是这种方式采集、分组速度慢、效率低，进而无法适应大规模人脸样本库的建立。对于后者来说，通过图片爬虫、电影爬虫等方式获取明星人脸图片，并通过人脸特征提取、类间聚类等方式再对获取的样本数据进行分组、标注和清洗；但是这种方式采集到的样本数据为明星样本数据，人员的身份数量有限，且容易造成部分样本数据丢失，在后期深度学习中无法学习到该部分数据的特征，也无法适应大规模人脸样本库的建立。

技术实现思路

1、本申请提供了一种人脸样本库建立方法、装置、电子设备和计算机存储介质，不仅能够实现大规模人脸样本库的建立，还能够提升人脸样本的准确度。

2、本申请的技术方案是这样实现的：

3、第一方面，本申请实施例提供了一种人脸样本库建立方法，所述方法包括：

4、获取短视频数据；

5、对所述短视频数据进行语音分析以及目标人物的声纹识别，确定所述目标人物对应的语音片段；

6、基于所述目标人物对应的语音片段，从所述短视频数据中获取对应的视频片段；其中，所述视频片段包括至少一帧；

7、对所述视频片段逐帧进行人脸检测，确定初始人脸图像子序列；

8、对所述初始人脸图像子序列进行筛选处理，确定所述目标人物对应的至少一张人脸图像；

9、根据所述目标人物对应的至少一张人脸图像，建立人脸样本库。

10、第二方面，本申请实施例提供了一种人脸样本库建立装置，所述人脸样本库建立装置包括获取单元、分析识别单元、检测单元、筛选单元和建立单元；其中，

11、所述获取单元，配置为获取短视频数据；

12、所述分析识别单元，配置为对所述短视频数据进行语音分析以及目标人物的声纹识别，确定所述目标人物对应的语音片段；

13、所述获取单元，还配置为基于所述目标人物对应的语音片段，从所述短视频数据中获取对应的视频片段；其中，所述视频片段包括至少一帧；

14、所述检测单元，配置为对所述视频片段逐帧进行人脸检测，确定初始人脸图像子序列；

15、所述筛选单元，配置为对所述初始人脸图像子序列进行筛选处理，确定所述目标人物对应的至少一张人脸图像；

16、所述建立单元，配置为根据所述目标人物对应的至少一张人脸图像，建立人脸样本库。

17、第三方面，本申请实施例提供了一种电子设备，所述电子设备包括存储器和处理器，其中，

18、所述存储器，用于存储能够在所述处理器上运行的计算机程序；

19、所述处理器，用于在运行所述计算机程序时，执行如第一方面所述的方法。

20、第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如第一方面所述的方法。

21、本申请实施例所提供的一种人脸样本库建立方法、装置、电子设备和计算机存储介质，通过获取短视频数据；对短视频数据进行语音分析以及目标人物的声纹识别，确定目标人物对应的语音片段；基于目标人物对应的语音片段，从短视频数据中获取对应的视频片段；其中，视频片段包括至少一帧；对视频片段逐帧进行人脸检测，确定初始人脸图像子序列；对初始人脸图像子序列进行筛选处理，确定目标人物对应的至少一张人脸图像；根据目标人物对应的至少一张人脸图像，建立人脸样本库。这样，在对人脸图像进行识别时，获取的视频源可以为自拍短视频，不局限拍摄场地、拍摄器材、拍摄人物，使得可采集到的人员更多、场景更丰富，从而有利于实现大规模人脸样本库的建立；另外，本申请还可以适用于所有音视频同步的视频源中的人脸图像提取，尤其是通过声纹识别的方式来提取短视频中的人脸图像，相比于相关技术中的人脸聚类方式，本申请的效率更高；而且进一步的进行人脸检测和筛选处理，还提升了人脸样本的准确度。

技术特征：

1.一种人脸样本库建立方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述短视频数据进行语音分析以及目标人物的声纹识别，确定所述目标人物对应的语音片段，包括：

3.根据权利要求2所述的方法，其特征在于，所述对所述短视频数据进行语音分析，确定人物语音信息，包括：

4.根据权利要求2所述的方法，其特征在于，所述对所述人物语音信息进行目标人物的声纹识别，得到所述目标人物对应的语音片段，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述目标人物对应的语音片段，从所述短视频数据中获取对应的视频片段，包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述视频片段逐帧进行人脸检测，确定初始人脸图像子序列，包括：

7.根据权利要求1所述的方法，其特征在于，所述对所述初始人脸图像子序列进行筛选处理，确定所述目标人物对应的至少一张人脸图像，包括：

8.根据权利要求7所述的方法，其特征在于，所述对所述初始人脸图像子序列中的至少一张人脸图像进行张嘴检测，确定第一人脸图像子序列，包括：

9.根据权利要求7所述的方法，其特征在于，所述对所述第一人脸图像子序列中的至少一张人脸图像进行人脸框位置检测，确定第二人脸图像子序列，包括：

10.根据权利要求7所述的方法，其特征在于，所述根据所述第二人脸图像子序列，确定所述目标人物对应的至少一张人脸图像，包括：

11.根据权利要求10所述的方法，其特征在于，所述对所述归类文件夹中的所有人脸图像进行数据清洗处理，确定所述目标人物对应的至少一张人脸图像，包括：

12.根据权利要求1至11任一项所述的方法，其特征在于，所述根据所述目标人物对应的至少一张人脸图像，建立人脸样本库，包括：

13.一种人脸样本库建立装置，其特征在于，所述人脸样本库建立装置包括获取单元、分析识别单元、检测单元、筛选单元和建立单元；其中，

14.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，其中，

15.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如权利要求1至12任一项所述的方法。

技术总结
本申请公开了一种人脸样本库建立方法、装置、电子设备和计算机存储介质，该方法包括：获取短视频数据；对短视频数据进行语音分析以及目标人物的声纹识别，确定目标人物对应的语音片段；基于目标人物对应的语音片段，从短视频数据中获取对应的视频片段；对视频片段逐帧进行人脸检测，确定初始人脸图像子序列；对初始人脸图像子序列进行筛选处理，确定目标人物对应的至少一张人脸图像；根据目标人物对应的至少一张人脸图像，建立人脸样本库。这样，在对人脸图像进行识别时，该方法不仅能够实现大规模人脸样本库的建立，而且通过声纹识别的方式来提取短视频中的人脸图像，还能够提升人脸样本的准确度，同时提升效率。

技术研发人员：金剑超,夏羿,夏向兰,杨琛,高煜红
受保护的技术使用者：中移（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/1/15