人脸跟踪方法、装置、设备及存储介质与流程

本技术涉及智能视频图像处理，尤其涉及一种人脸跟踪方法、装置、设备及存储介质。

背景技术：

1、人工智能及计算机技术的不断发展，在视频流中抓取其中出现过的人脸信息的人脸识别及人脸跟踪技术已广泛应用于各行各业。在海关、机场、银行、电视电话会议等场合，都需要对特定人脸目标进行跟踪。

2、目前，人脸跟踪技术主要依赖于人脸检测和人脸识别模型的结合，首先利用计算机分析静态图片或视频序列，从中找出人脸并输出人脸的数目、位置及其大小等有效信息，其次就是在检测到人脸的前提下，在后续帧中进行特征提取，继续捕获人脸的位置及其大小等信息。

3、然而，现有技术中的人脸跟踪方式，在视频流处理过程中，人脸目标容易出现丢失或者切换，导致人脸漏检或者重复检出现象的发生，人脸跟踪的稳定性和效率差。

技术实现思路

1、本技术提供一种人脸跟踪方法、装置、设备及存储介质，以解决现有技术中的人脸跟踪方式，在视频流处理过程中，人脸目标容易出现丢失或者切换，导致人脸漏检或者重复检出现象的发生，人脸跟踪的稳定性和效率差的技术问题。

2、第一方面，本技术提供一种人脸跟踪方法，包括：

3、获取视频流；

4、对所述视频流进行目标检测处理和特征提取处理，得到所述视频流中的至少一个目标信息，其中，每个所述目标信息包括一个目标的身份识别号和所述目标的特征；

5、根据每个所述目标的身份识别号和特征，建立跟踪队列和丢失队列；

6、对每个所述目标进行跟踪，确定每个所述目标的跟踪情况；

7、根据所述跟踪情况，对所述跟踪列表进行更新，得到目标跟踪列表；

8、根据所述目标跟踪列表，确定推出目标。

9、这里，本技术提供了一种人脸跟踪方法，相比较于目前的先检测目标然后提取特征的人脸追踪方法，实现了检测和特征提取同时进行，建立了跟踪队列和丢失队列，可以尽可能不受人的自然运动的影响，保存较高的跟踪性能，通过跟踪列表的更新，保证目标消失一段时间里可以重新跟踪上，降低了在视频流处理过程中人脸漏检或者重复检出现象的发生，提高了人脸跟踪的稳定性和效率。

10、可选地，所述对所述视频流进行目标检测处理和特征提取处理，得到所述视频流中的至少一个目标信息，包括：

11、将所述视频流输入至预设训练模型，输出得到至少一个目标信息，其中，所述预设训练模型用于实现目标检测处理和特征提取处理。

12、这里，本技术通过训练模型来进行视频流中目标信息的提取，在训练模型时，将目标检测和特征提取融为一体，提升模型预测效率，无需先检测再进行特征提取，目标检测模型需要模型浅层的纹理，形状等特征，而特征提取模型需要更加抽象的深层特征，为了兼顾检测和特征提取的准确度，可以在骨干网络结构部分，将浅层特征和深层特征进行融合，使得最后检测时特征含有更多信息，进一步的提高了人脸跟踪的效率。

13、可选地，所述对每个所述目标进行跟踪，确定每个所述目标的跟踪情况，包括：

14、根据所述目标信息、所述跟踪队列和所述丢失队列，构建重叠度匹配代价矩阵；

15、根据预设重叠度阈值，通过匈牙利最大匹配算法，确定每个所述目标的跟踪情况。

16、这里，本技术在进行目标跟踪时，通过重叠度匹配代价矩阵及匈牙利最大匹配算法，可实现对目标的跟踪情况的准确识别。

17、可选地，所述对每个所述目标进行跟踪，确定每个所述目标的跟踪情况，还包括：

18、若所述目标未能通过重叠度匹配代价矩阵实现匹配，则构建特征匹配代价矩阵，通过匈牙利最大匹配算法，确定所述目标的跟踪情况。

19、这里，本技术还可以通过特征匹配代价矩阵实现对目标的跟踪情况的识别，进一步的提高了人脸跟踪情况识别的准确性及可靠性，降低了人脸漏检或者重复检出现象的发生的概率。

20、可选地，所述根据所述跟踪情况，对所述跟踪列表进行更新，得到目标跟踪列表，包括：

21、若所述目标的跟踪情况为未被跟踪上且所述目标在所述跟踪队列中，则将所述目标移除至所述丢失队列中；

22、若所述目标的跟踪情况为被跟踪上且所述目标在所述丢失队列中，则将所述目标移除至所述跟踪队列中。

23、其中，针对为被跟踪上的目标，本技术可以将此目标从跟踪队列移除至丢失队列中，针对跟踪上的目标，将目标从丢失队列中移除至跟踪队列，实现了对目标跟踪情况的更新和准确跟踪，进一步地提高了人脸跟踪的准确性。

24、可选地，所述根据所述跟踪情况，对所述跟踪列表进行更新，得到目标跟踪列表还包括：

25、若所述目标的跟踪情况为被跟踪上，且所述目标既没有在所述跟踪队列中也没有在所述丢失列表中，则将所述目标添加至所述丢失队列中。

26、其中，针对在检测时出现的新增目标，将目标添加至跟踪队列中，以便实现对新目标的跟踪。

27、可选地，在所述若所述目标的跟踪情况为被跟踪上且所述目标在所述丢失队列中，则将所述目标移除至所述跟踪队列中之后，还包括：

28、若在第一预设时间内，所述目标的跟踪情况均为未被跟踪上，则删除所述目标。

29、这里，本技术可以定时清理丢失列表中长时间未为跟踪到的目标，节省内存和功耗，进一步地提高了人脸跟踪的效率。

30、可选地，在所述根据所述目标跟踪列表，确定推出目标之前，还包括：

31、对于所述目标跟踪列表中的每个目标，对所述目标的特征进行平滑处理。

32、这里，本技术对特征进行了平滑处理，提高了目标特征的稳定性。

33、可选地，根据所述目标跟踪列表，确定推出目标，包括：

34、根据置信度、面积和角度中的至少一个，对所述目标跟踪列表中的目标进行联合选优，确定退出目标。

35、这里，本技术在跟踪过程中会对跟踪目标进行选优，根据置信度，面积，角度等信息，进行联合选优，针对每个目标可以选取出前几个优先目标推送给用户，提高了人脸跟踪的质量。

36、第二方面，本技术提供了一种人脸跟踪装置，包括：

37、获取模块，用于获取视频流；

38、第一处理模块，用于对所述视频流进行目标检测处理和特征提取处理，得到所述视频流中的至少一个目标信息，其中，每个所述目标信息包括一个目标的身份识别号和所述目标的特征；

39、第二处理模块，用于根据每个所述目标的身份识别号和特征，建立跟踪队列和丢失队列；

40、跟踪模块，用于对每个所述目标进行跟踪，确定每个所述目标的跟踪情况；

41、更新模块，用于根据所述跟踪情况，对所述跟踪列表进行更新，得到目标跟踪列表；

42、确定模块，用于根据所述目标跟踪列表，确定推出目标。

43、可选地，所述第一处理模块具体用于：

44、将所述视频流输入至预设训练模型，输出得到至少一个目标信息，其中，所述预设训练模型用于实现目标检测处理和特征提取处理。

45、可选地，所述跟踪模块具体用于：

46、根据所述目标信息、所述跟踪队列和所述丢失队列，构建重叠度匹配代价矩阵；

47、根据预设重叠度阈值，通过匈牙利最大匹配算法，确定每个所述目标的跟踪情况。

48、可选地，所述跟踪模块还具体用于：

49、若所述目标未能通过重叠度匹配代价矩阵实现匹配，则构建特征匹配代价矩阵，通过匈牙利最大匹配算法，确定所述目标的跟踪情况。

50、可选地，所述更新模块具体用于：

51、若所述目标的跟踪情况为未被跟踪上且所述目标在所述跟踪队列中，则将所述目标移除至所述丢失队列中；

52、若所述目标的跟踪情况为被跟踪上且所述目标在所述丢失队列中，则将所述目标移除至所述跟踪队列中。

53、可选地，所述更新模块还具体用于：

54、若所述目标的跟踪情况为被跟踪上，且所述目标既没有在所述跟踪队列中也没有在所述丢失列表中，则将所述目标添加至所述跟踪队列中。

55、可选地，在所述更新模块若所述目标的跟踪情况为被跟踪上且所述目标在所述丢失队列中，则将所述目标移除至所述跟踪队列中之后，上述装置还包括：

56、删除模块，用于若在第一预设时间内，所述目标的跟踪情况均为未被跟踪上，则删除所述目标。

57、可选地，在所述确定模块根据所述目标跟踪列表，确定推出目标之前，上述装置还包括：

58、第三处理模块，用于对于所述目标跟踪列表中的每个目标，对所述目标的特征进行平滑处理。

59、可选地，所述确定模块具体用于：

60、根据置信度、面积和角度中的至少一个，对所述目标跟踪列表中的目标进行联合选优，确定退出目标。

61、第三方面，本技术提供一种人脸跟踪设备，包括：至少一个处理器和存储器；

62、所述存储器存储计算机执行指令；

63、所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的人脸跟踪方法。

64、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的人脸跟踪方法。

65、第五方面，本技术提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的人脸跟踪方法。

66、本技术提供的人脸跟踪方法、装置、设备及存储介质，其中该方法相比较于目前的先检测目标然后提取特征的人脸追踪方法，实现了检测和特征提取同时进行，建立了跟踪队列和丢失队列，可以尽可能不受人的自然运动的影响，保存较高的跟踪性能，通过跟踪列表的更新，保证目标消失一段时间里可以重新跟踪上，降低了在视频流处理过程中人脸漏检或者重复检出现象的发生，提高了人脸跟踪的稳定性和效率。