融合人脸与声纹的身份认证方法、装置、设备及存储介质与流程

本发明涉及身份认证，具体涉及一种融合人脸与声纹的身份认证方法、装置、设备及存储介质。

背景技术：

1、近些年来，人工智能的技术和应用发展迅速，借助人工智能技术进行身份认证比较热门，诸多研究成果被应用到门禁、公司打卡签到、公安部门刑侦等领域。其中，最具有代表性的人脸识别技术和声纹识别。但单一的生物特征识别技术由于安全性和适用性的问题，在实际推广和使用中产生了很大的阻力。相比之下，基于多种生物特征融合的识别技术逐渐成为研究热点。

2、现有技术中的多种生物特征融合技术具体为：p1、p2是两种生物特征图像，r1、r2分别是与p1、p2对应的生物特征模板，在识别过程中，将p1和r1进行比对，得到比对分数s1，如果比对分数s1大于阈值t1，则调整p2对应的比对阈值获得调整后的比对阈值t2，例如将原比对阈值的分值调低，反之，如果比对分数s1小于阈值t1，则将原比对阈值t2的分值调高。现有技术存在如下技术问题：两种生物特征识别过程相互依赖，而实际上不同生物特征之间特征是独立的，导致身份认证的准确率较低。

3、因此，亟需提供一种融合人脸与声纹的身份认证方法、装置、设备及存储介质，用于解决上述技术问题。

技术实现思路

1、有鉴于此，有必要提供一种融合人脸与声纹的身份认证方法、装置、设备及存储介质，用以解决现有技术中存在的身份认证的准确率较低的技术问题。

2、一方面，本发明提供了一种融合人脸与声纹的身份认证方法，包括：

3、获取待认证人员的待认证人脸图像和待认证声纹；

4、确定所述待认证人脸图像的人脸认证评分，并确定所述待认证声纹的声纹认证评分；

5、将所述人脸认证评分和所述声纹认证评分输入至训练完备的分数融合深度学习模型中，获得融合得分，并基于所述融合得分确定所述待认证人员是否认证通过。

6、在一些可能的实现方式中，在所述将所述人脸认证评分和所述声纹认证评分输入至训练完备的分数融合深度学习模型中，获得融合得分之前，还包括：

7、获取训练集，所述训练集包括多个样本对，各所述样本对包括人脸认证样本和与所述人脸认证样本对应的声纹认证样本；

8、基于所述训练集和预设的损失函数对初始分数融合深度学习模型进行训练，当所述损失函数的损失值小于损失阈值时，所述初始分数融合深度学习模型训练完毕，获得所述分数融合深度学习模型。

9、在一些可能的实现方式中，所述损失函数为：

10、

11、式中，为第t次迭代的损失值；sit为第t次迭代的人脸认证评分或声纹认证评分，当i＝1时为人脸认证评分，当i＝2时为声纹认证评分；n＝2；a为偏置项；bi为系数。

12、在一些可能的实现方式中，所述获取待认证人员的待认证人脸图像，包括：

13、获取待认证人员的测试人脸视频；

14、以预设采样步长对所述测试人脸视频进行采样，获得多个人脸视频帧；

15、将各所述人脸视频帧输入至retinaface模型中，获得所述待认证人脸图像。

16、在一些可能的实现方式中，所述获取待认证人员的待认证声纹，包括：

17、获取所述待认证人员的测试音频；

18、基于语音活动检测器去除所述测试音频中的非语音部分，获得测试语音音频；

19、基于梅尔滤波器组提取所述测试语音音频的对数梅尔频谱特征，并基于预设滑动窗口对所述对数梅尔频谱特征进行短时倒谱均值归一化处理，获得所述待认证声纹。

20、在一些可能的实现方式中，所述确定所述待认证人脸图像的人脸认证评分，包括：

21、基于训练完备的人脸向量提取器提取所述待认证人脸图像的待认证人脸特征向量；

22、获取注册人脸特征库中的多个注册人脸特征向量，并确定所述待认证人脸特征向量与所述多个注册人脸特征向量的多个余弦相似度；

23、确定所述多个余弦相似度中的最大余弦相似度，并将所述最大余弦相似度作为所述人脸认证评分。

24、在一些可能的实现方式中，所述确定所述待认证声纹的声纹认证评分，包括：

25、基于时延神经网络提取所述待认证声纹的待认证声纹特征；

26、获取注册声纹特征库中的多个注册声纹特征，并基于高斯概率线性判别模型确定所述声纹认证评分。

27、另一方面，本发明还提供了一种融合人脸与声纹的身份认证装置，包括：

28、图像和声纹获取单元，用于获取待认证人员的待认证人脸图像和待认证声纹；

29、认证评分确定单元，用于确定所述待认证人脸图像的人脸认证评分，并确定所述待认证声纹的声纹认证评分；

30、评分融合单元，用于将所述人脸认证评分和所述声纹认证评分输入至训练完备的分数融合深度学习模型中，获得融合得分，并基于所述融合得分确定所述待认证人员是否认证通过。

31、另一方面，本发明还提供了一种身份认证设备，包括存储器和处理器，其中，

32、所述存储器，用于存储程序；

33、所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述任意一种可能的实现方式中所述的融合人脸与声纹的身份认证方法中的步骤。

34、另一方面，本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述任意一种可能的实现方式中所述的融合人脸与声纹的身份认证方法中的步骤。

35、采用上述实施例的有益效果是：本发明提供的融合人脸与声纹的身份认证方法，通过分别确定待认证人脸图像的人脸认证评分以及待认证声纹的声纹认证评分，无需以人脸认证评分作为前提确定声纹认证评分，消除了在认证过程中人脸和声纹这两个生物特征的依赖性，提高了身份认证的精度和准确性。

36、进一步地，本发明并不是直接将人脸认证评分和声纹认证评分进行简单线性加权，而是基于分数融合深度学习模型对人脸认证评分和声纹认证评分进行融合，获得融合得分，充分发挥不同生物特征的优点，进一步提高了身份认证的精度和准确性。

技术特征：

1.一种融合人脸与声纹的身份认证方法，其特征在于，包括：

2.根据权利要求1所述的融合人脸与声纹的身份认证方法，其特征在于，在所述将所述人脸认证评分和所述声纹认证评分输入至训练完备的分数融合深度学习模型中，获得融合得分之前，还包括：

3.根据权利要求2所述的融合人脸与声纹的身份认证方法，其特征在于，所述损失函数为：

4.根据权利要求1所述的融合人脸与声纹的身份认证方法，其特征在于，所述获取待认证人员的待认证人脸图像，包括：

5.根据权利要求1所述的融合人脸与声纹的身份认证方法，其特征在于，所述获取待认证人员的待认证声纹，包括：

6.根据权利要求1所述的融合人脸与声纹的身份认证方法，其特征在于，所述确定所述待认证人脸图像的人脸认证评分，包括：

7.根据权利要求1所述的融合人脸与声纹的身份认证方法，其特征在于，所述确定所述待认证声纹的声纹认证评分，包括：

8.一种融合人脸与声纹的身份认证装置，其特征在于，包括：

9.一种身份认证设备，其特征在于，包括存储器和处理器，其中，

10.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述权利要求1至7中任意一项所述的融合人脸与声纹的身份认证方法中的步骤。

技术总结
本发明提供了一种融合人脸与声纹的身份认证方法、装置、设备及存储介质，其方法包括：获取待认证人员的待认证人脸图像和待认证声纹；确定所述待认证人脸图像的人脸认证评分，并确定所述待认证声纹的声纹认证评分；将所述人脸认证评分和所述声纹认证评分输入至训练完备的分数融合深度学习模型中，获得融合得分，并基于所述融合得分确定所述待认证人员是否认证通过。本发明分别确定人脸认证评分以及声纹认证评分，消除了在认证过程中人脸和声纹这两个生物特征的依赖性，提高了身份认证的精度和准确性，并且，基于分数融合深度学习模型对人脸认证评分和声纹认证评分进行融合，获得融合得分，充分发挥不同生物特征的优点，进一步提高了身份认证的精度和准确性。

技术研发人员：周靖轩,付宇,张华军,王征华,邓小涛
受保护的技术使用者：武汉大晟极科技有限公司
技术研发日：
技术公布日：2024/4/17