视频人物识别方法、装置、电子设备及存储介质与流程

本发明涉及图像处理，尤其涉及一种视频人物识别方法、装置、电子设备及存储介质。

背景技术：

1、目前，人物识别方法是指能够识别或验证图像中主体身份的技术，并且随着电影、电视剧和综艺节目等影视视频的日益盛行，如何识别影视视频中的视频人物也就显得尤为重要。

2、相关技术中，通常是对影视视频中的视频帧进行人脸检测，再针对检测到的人脸图像进行特征提取，后基于提取到的人脸特征信息识别影视视频中的视频人物。

3、然而，当影视视频中存在人脸分辨率低、尺度变化范围大、光照和姿态变化剧烈、乔装打扮、遮挡和拍摄角度等问题时均会造成模糊和退化，产生低质量的人脸图像，并且当人脸图像退化过大时，使用现有视频人物识别方法提取特征时不可避免地会丢失重要或关键的人脸特征信息，从而导致从模糊和退化严重的影视视频中识别视频人物的准确率低且适用范围受限。

技术实现思路

1、本发明提供一种视频人物识别方法、装置、电子设备及存储介质，用以解决现有技术从模糊和退化严重的影视视频中识别视频人物的准确率低且适用范围受限的缺陷，大幅提升了从模糊和退化严重的影视视频中识别视频人物的准确率，并且适用范围广。

2、本发明提供一种视频人物识别方法，包括：

3、获取待识别视频中各图像帧的人脸特征向量；

4、针对各人脸特征向量，将所述人脸特征向量添加至相似人脸特征向量矩阵中，确定目标相似人脸特征向量矩阵，所述相似人脸特征向量矩阵为相似人脸特征向量矩阵集合中与所述人脸特征向量之间的相似度大于预设阈值的矩阵或新建的矩阵；

5、将所述目标相似人脸特征向量矩阵中的相似人脸特征向量与预设视频人物库中的预设视频人物进行匹配，识别所述待识别视频中的目标视频人物。

6、根据本发明提供的一种视频人物识别方法，所述将所述人脸特征向量添加至相似人脸特征向量矩阵中，确定目标相似人脸特征向量矩阵，包括：

7、在所述相似人脸特征向量矩阵集合为空集的情况下，将所述人脸特征向量添加至新建的相似人脸特征向量矩阵，确定所述目标相似人脸特征向量矩阵；

8、在所述相似人脸特征向量矩阵集合为非空集的情况下，根据所述人脸特征向量与所述相似人脸特征向量矩阵集合中每个相似人脸特征向量矩阵之间的目标相似度，将所述人脸特征向量添加至与所述人脸特征向量匹配的相似人脸特征向量矩阵中，或者将所述人脸特征向量添加至新建的相似人脸特征向量矩阵中，确定所述目标相似人脸特征向量矩阵。

9、根据本发明提供的一种视频人物识别方法，确定所述人脸特征向量与所述相似人脸特征向量矩阵集合中每个相似人脸特征向量矩阵之间的目标相似度，包括：

10、针对各相似人脸特征向量矩阵，确定所述人脸特征向量与所述相似人脸特征向量矩阵中各相似人脸特征向量之间的相似度；

11、将各所述相似度的均值确定为所述人脸特征向量与所述相似人脸特征向量矩阵之间的相似度；

12、将所述人脸特征向量与各所述相似人脸特征向量矩阵之间的相似度中的最大相似度，确定为所述人脸特征向量与所述相似人脸特征向量矩阵集合中每个相似人脸特征向量矩阵之间的目标相似度。

13、根据本发明提供的一种视频人物识别方法，所述根据所述人脸特征向量与所述相似人脸特征向量矩阵集合中每个相似人脸特征向量矩阵之间的目标相似度，将所述人脸特征向量添加至与所述人脸特征向量匹配的相似人脸特征向量矩阵中，或者将所述人脸特征向量添加至新建的相似人脸特征向量矩阵中，确定所述目标相似人脸特征向量矩阵，确定所述目标相似人脸特征向量矩阵，包括：

14、根据所述人脸特征向量与所述相似人脸特征向量矩阵集合中每个相似人脸特征向量矩阵之间的目标相似度，比较所述目标相似度与第一预设阈值的大小关系；

15、在所述目标相似度大于等于所述第一预设阈值的情况下，将所述人脸特征向量添加至与所述目标最大相似度对应的相似人脸特征向量矩阵中，确定所述目标相似人脸特征向量矩阵；

16、在所述目标相似度小于所述第一预设阈值的情况下，将所述人脸特征向量添加至新建的相似人脸特征向量矩阵中，确定所述目标相似人脸特征向量矩阵。

17、根据本发明提供的一种视频人物识别方法，所述将所述目标相似人脸特征向量矩阵中的相似人脸特征向量与预设视频人物库中的预设视频人物进行匹配，识别所述待识别视频中的目标视频人物，包括：

18、在所述目标相似人脸特征向量矩阵的最大维度大于等于第二预设阈值的情况下，确定所述目标相似人脸特征向量矩阵中每个相似人脸特征向量与所述预设视频人物库中每个预设视频人物之间的人物特征相似度；

19、基于多个所述人物特征相似度，确定与所述预设视频人物库中相同预设视频人物的人物特征最相似的所述相似人脸特征向量的个数；

20、在所述个数大于第三预设阈值的情况下，识别所述预设视频人物库中所述相同预设视频人物为所述待识别视频中的目标视频人物。

21、根据本发明提供的一种视频人物识别方法，所述获取待识别视频中各图像帧的人脸特征向量，包括：

22、对待识别视频进行按序解码，获取所述待识别视频的多个有序图像帧；

23、对每个所述有序图像帧进行人脸信息检测；

24、基于每个检测到的人脸信息进行裁剪对齐后提取特征向量，从而获取所述待识别视频中各图像帧的人脸特征向量。

25、根据本发明提供的一种视频人物识别方法，所述对每个所述有序图像帧进行人脸信息检测，包括：

26、将每个所述有序图像帧输入至预设人脸信息检测模型中进行人脸信息检测；所述预设人脸信息检测模型为预先训练至收敛的人脸信息检测模型。

27、根据本发明提供的一种视频人物识别方法，所述基于每个检测到的人脸信息进行裁剪对齐后提取特征向量，从而获取所述待识别视频中各图像帧的人脸特征向量，包括：

28、基于每个检测到的人脸信息进行裁剪对齐后，获取每个裁剪对齐后的人脸信息；

29、将所述每个裁剪对齐后的人脸信息输入至预设人脸特征向量提取模型中进行人脸特征向量提取，获取所述待识别视频中各图像帧的人脸特征向量；所述预设人脸特征向量提取模型为预先训练至收敛的人脸特征向量提取模型。

30、本发明还提供一种视频人物识别装置，包括：

31、获取模块，用于获取待识别视频中各图像帧的人脸特征向量；

32、确定模块，用于针对各人脸特征向量，将所述人脸特征向量添加至相似人脸特征向量矩阵中，确定目标相似人脸特征向量矩阵，所述相似人脸特征向量矩阵为相似人脸特征向量矩阵集合中与所述人脸特征向量之间的相似度大于预设阈值的矩阵或新建的矩阵；

33、识别模块，用于将所述目标相似人脸特征向量矩阵中的相似人脸特征向量与预设视频人物库中的预设视频人物进行匹配，识别所述待识别视频中的目标视频人物。

34、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述视频人物识别方法。

35、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述视频人物识别方法。

36、本发明提供的视频人物识别方法、装置、电子设备及存储介质，其中视频人物识别方法，终端设备通过先确定待识别视频中各图像帧的人脸特征向量匹配，再针对各人脸特征向量，将人脸特征向量添加至相似人脸特征向量矩阵中，确定目标相似人脸特征向量矩阵，相似人脸特征向量矩阵为相似人脸特征向量矩阵集合中与人脸特征向量之间的相似度大于预设阈值的矩阵或新建的矩阵，最后再将目标相似人脸特征向量矩阵中的相似人脸特征向量与预设视频人物库中的预设视频人物进行匹配，识别待识别视频中的目标视频人物。以此结合将多个人脸特征向量中同一视频人物出现多次的所有人脸特征向量归为一类目标相似人脸特征向量矩阵，以及将目标相似人脸特征向量矩阵与每个预设视频人物进行匹配这一技术手段，避免了待识别视频因模糊和退化严重而难以识别视频人物的缺陷，从而大幅提升了从模糊和退化严重的影视视频中识别视频人物的准确率，并且适用范围广。