活体识别方法、装置、电子设备及存储介质与流程

本发明涉及图像识别，尤其涉及一种活体识别方法、装置、电子设备及存储介质。

背景技术：

1、面部识别系统已经应用到人们日常生活的许多场景中，例如手机解锁、网上银行认证等场景中均可应用面部识别。然而，面部识别的广泛应用也带来了潜在的安全风险，例如，通过非活体面部图像进行面部识别，以实施非法行为。因此，在面部识别的基础上，需要对待识别图像是否为活体提供的图像进行识别，即活体识别。

2、活体识别算法通常采用单一模态的图像数据，比如仅使用彩色图像或仅使用近红外图像进行活体识别。但采用单一模态图像进行活体识别时泛化性较差。得益于具有多种模态的先进传感器的出现，基于多模态的活体识别方法受到广泛关注。多种模态的先进传感器可以输出红绿蓝(red green blue，rgb)彩色图像、近红外(near infrared，nir)图像、depth深度图像等多种模态的图像，活体识别算法也逐渐向多模态图像识别发展，以提高识别的泛化性。

3、相关技术中，采用多模态图像进行活体识别时均采用固定模态输入，例如，输入时采用rgb彩色图像和nir近红外图像作为多模态输入；或者输入时采用rgb彩色图像和depth深度图像作为多模态输入。输入固定模态的图像进行多模态活体识别时，其使用场景受限，加大了活体识别方法的部署成本，活体识别方法的灵活度较低。

技术实现思路

1、本发明提供一种活体识别方法、装置、电子设备及存储介质，用以解决现有技术中输入固定模态的图像进行多模态活体识别时，灵活度较低的缺陷，实现提高多模态活体识别灵活度的目的。

2、本发明提供一种活体识别方法，包括：

3、获取目标用户在目标模态下的待识别图像；

4、将所述待识别图像输入第一检测模型中，得到所述第一检测模型输出的所述目标用户的活体检测结果，所述第一检测模型是基于第二检测模型确定的第一类别token对初始第一检测模型进行约束得到的，所述第二检测模型为基于多模态的图像样本训练得到的，所述目标模态为所述多模态中的模态；所述第一类别token为所述第二检测模型对所述图像样本对应的用户进行活体检测时的参数。

5、根据本发明提供的一种活体识别方法，所述将所述待识别图像输入第一检测模型中，得到所述第一检测模型输出的所述目标用户的活体检测结果，包括：

6、将所述待识别图像输入所述第一检测模型，得到至少两个第一token；

7、针对各第一token，提取所述第一token的第一token特征；

8、在所述第一token特征中添加第一预设类别token，得到第二token特征；

9、对所述第二token特征进行更新，得到更新后的第一预设类别token；

10、基于所述更新后的第一预设类别token，确定所述目标用户的活体检测结果。

11、根据本发明提供的一种活体识别方法，所述第一检测模型为基于如下方式训练得到的：

12、将所述多模态的图像样本输入初始第一检测模型，得到各模态对应的至少两个第二token；

13、提取各模态对应的至少两个第二token的第三token特征；

14、基于不同模态的所述第三token特征，得到至少两个第一拼接token特征，各所述第一拼接token特征包括至少一种模态对应的第三token特征；

15、针对每个第一拼接token特征，在所述第一拼接token特征中添加第二预设类别token，得到第四token特征；

16、对所述第四token特征进行更新，得到更新后的第二预设类别token；

17、基于所述更新后的第二预设类别token和所述第一类别token对所述初始第一检测模型进行约束，得到约束结果；

18、基于所述约束结果和所述更新后的第二预设类别token，更新所述初始第一检测模型的网络参数，得到所述第一检测模型。

19、根据本发明提供的一种活体识别方法，所述基于所述更新后的第二预设类别token和所述第一类别token对所述初始第一检测模型进行约束，得到约束结果，包括：

20、基于公式对所述初始第一检测模型进行约束；

21、其中，ft表示第一类别token；fs表示各更新后的第二预设类别token的集合；表示fs中的更新后的第二预设类别token。

22、根据本发明提供的一种活体识别方法，所述第二检测模型为基于如下方式训练得到的：

23、将所述多模态的图像样本输入初始第二检测模型，得到各模态对应的至少两个第三token；

24、提取各模态对应的至少两个第三token的第五token特征；

25、将不同模态的第五token特征进行拼接，得到第二拼接token特征；

26、在所述第二拼接token特征中添加第三预设类别token，得到第六token特征；

27、基于所述第六token特征，确定所述第一类别token；

28、基于所述第一类别token，更新所述初始第二检测模型的网络参数，得到所述第二检测模型。

29、根据本发明提供的一种活体识别方法，所述基于所述更新后的第一预设类别token，确定所述目标用户的活体检测结果，包括：

30、基于所述更新后的第一预设类别token，确定所述目标用户的活体检测得分；

31、在所述活体检测得分大于预设得分的情况下，确定所述目标用户的活体检测结果为活体用户。

32、根据本发明提供的一种活体识别方法，所述方法还包括：

33、获取各模态的初始图像样本；

34、确定所述初始图像样本中的人脸检测框，所述人脸检测框用于框选所述初始图像样本中的脸部区域；

35、基于所述人脸检测框对应的坐标信息，对所述人脸检测框进行扩充，得到扩充后的人脸检测框；

36、在所述扩充后的人脸检测框中提取人脸图像，得到人脸图像样本；

37、对所述人脸图像样本进行缩放处理，得到所述图像样本。

38、本发明还提供一种活体识别装置，包括：

39、获取模块，用于获取目标用户在目标模态下的待识别图像；

40、识别模块，用于将所述待识别图像输入第一检测模型中，得到所述第一检测模型输出的所述目标用户的活体检测结果，所述第一检测模型是基于第二检测模型确定的第一类别token对初始第一检测模型进行约束得到的，所述第二检测模型为基于多模态的图像样本训练得到的，所述目标模态为所述多模态中的模态；所述第一类别token为所述第二检测模型对所述图像样本对应的用户进行活体检测时的参数。

41、本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述活体识别方法。

42、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述活体识别方法。

43、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述活体识别方法。

44、本发明提供一种活体识别方法、装置、电子设备及存储介质，通过获取目标用户在目标模态下的待识别图像，将待识别图像输入第一检测模型中，得到第一检测模型输出的目标用户的活体检测结果，其中，第一检测模型是基于第二检测模型确定的第一类别token对初始第一检测模型进行约束得到的，第二检测模型为基于多模态的图像样本训练得到的，目标模态为多模态中的模态；第一类别token为第二检测模型对图像样本对应的用户进行活体检测时的参数。该方法中，基于多模态的图像样本训练得到的第二检测模型，能利用多模态图像样本中不同模态的数据特征，充分挖掘数据间的关系，通过第二检测模型确定的第一类别token对初始第一检测模型进行约束，这样，初始第一检测模型可以学习到第二检测模型的参数，使得初始第一检测模型学习的更加充分，能够学习到各个模态的图像样本中的信息。进一步地，将多模态中任意的目标模态的待识别图像输入第一检测模型后，通过第一检测模型可以对该待识别图像进行活体识别，进而实现对任意模态的待识别图像进行活体识别的目的，提高了活体识别方法的灵活度。