人脸图像裁剪方法、装置、电子设备及存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种人脸图像裁剪方法、装置、电子设备及存储介质。


背景技术：

2.在公交车的人脸检测场景中，目前一般是在接收到公交车场景的视频流数据之后，通过人工的方式检测并裁剪人脸，效率低且人工成本高，难以做到全天候无间断的检测并裁剪人脸。


技术实现要素：

3.本发明提供一种人脸图像裁剪方法、装置、电子设备及存储介质，用以解决现有技术中通过人工的方式检测并裁剪人脸，效率低且人工成本高的缺陷，实现提高人脸检测和裁剪的效率，降低成本。
4.本发明提供一种人脸图像裁剪方法，包括：
5.获取视频帧图像，将所述视频帧图像输入至预设的第一深度学习推理模型，得到人脸检测结果；所述第一深度学习推理模型，是基于将训练好的人脸检测神经网络模型转tersorrt推理网络得到；
6.基于所述人脸检测结果，确定人脸跟踪信息和人脸质量评分；
7.基于所述人脸检测结果、所述人脸跟踪信息和所述人脸质量评分，在所述视频帧图像上裁剪人脸图像。
8.根据本发明提供的人脸图像裁剪方法，所述获取视频帧图像，包括：
9.获取视频流数据，并对所述视频流数据进行抽帧，得到所述视频帧图像。
10.根据本发明提供的人脸图像裁剪方法，所述基于所述人脸检测结果，确定人脸跟踪信息和人脸质量评分，包括：
11.将所述人脸检测结果，输入至预设的判别相关滤波器模型，得到所述人脸跟踪信息。
12.根据本发明提供的人脸图像裁剪方法，所述基于所述人脸检测结果、所述人脸跟踪信息和所述人脸质量评分，在所述视频帧图像上裁剪人脸图像，包括：
13.保存每帧视频帧图像对应的人脸跟踪信息，并在预设时长后，清除所保存的人脸跟踪信息；
14.基于未清除的人脸跟踪信息和所述人脸检测结果，选取离开摄像头区域的同一个人对应的，人脸质量评分最高的人脸图像作为目标人脸图像进行裁剪，并将所述目标人脸图像发送至目标设备。
15.根据本发明提供的人脸图像裁剪方法，还包括：
16.在清除所保存的人脸跟踪信息后，且重新检测到已清除的人脸跟踪信息的情况下，延长所述预设时长。
17.根据本发明提供的人脸图像裁剪方法，所述基于所述人脸检测结果，确定人脸跟踪信息和人脸质量评分，包括：
18.将所述人脸检测结果输入至预设的第二深度学习推理模型，得到所述人脸质量评分；
19.其中，所述第二深度学习推理模型，是基于将训练好的人脸质量评分神经网络模型转tersorrt推理网络得到。
20.本发明还提供一种人脸图像裁剪装置，包括：
21.检测模块，用于获取视频帧图像，将所述视频帧图像输入至预设的第一深度学习推理模型，得到人脸检测结果；所述第一深度学习推理模型，是基于将训练好的人脸检测神经网络模型转tersorrt推理网络得到；
22.跟踪及评分模块，用于基于所述人脸检测结果，确定人脸跟踪信息和人脸质量评分；
23.裁剪模块，用于基于所述人脸检测结果、所述人脸跟踪信息和所述人脸质量评分，在所述视频帧图像上裁剪人脸图像。
24.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人脸图像裁剪方法。
25.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述人脸图像裁剪方法。
26.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述人脸图像裁剪方法。
27.本发明提供的人脸图像裁剪方法、装置、电子设备及存储介质，通过基于预设的第一深度学习推理模型对视频帧图像进行自动处理，得到人脸检测结果，再进一步确定人脸跟踪信息，基于人脸检测结果和人脸跟踪信息，选取符合要求的人脸图像进行裁剪，全自动的方式进行人脸裁剪，可以做到全天候无间断裁剪人脸图像，实现提高人脸检测和裁剪的效率，降低成本。
附图说明
28.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1是本发明提供的人脸图像裁剪方法的流程示意图之一；
30.图2是本发明提供的人脸图像裁剪方法的流程示意图之二；
31.图3是本发明提供的人脸图像裁剪装置的结构示意图；
32.图4是本发明提供的电子设备的结构示意图。
具体实施方式
33.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本
发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.下面结合图1-图4描述本发明的人脸图像裁剪方法、装置、电子设备及存储介质。
35.如图1所示本发明提供一种人脸图像裁剪方法，包括：
36.步骤110、获取视频帧图像，将所述视频帧图像输入至预设的第一深度学习推理模型，得到人脸检测结果；所述第一深度学习推理模型，是基于将训练好的人脸检测神经网络模型转tersorrt推理网络得到。
37.可以理解的是，本发明提供的人脸图像裁剪方法可以应用于公交车上的终端设备上，由公交车上的终端设备执行本发明提供的方法。
38.在公交车的上车处和下车处分别安装一个网络摄像头，配置摄像头ip地址(即：互联网协议地址)并确保视频流可以正常播放，摄像头通信连接到jetson nano设备中gstreamer框架的nvstreammux插件，并在nvstreammux插件中设置图片宽度、高度等参数，基于nvstreammux插件从视频流中提取视频帧图像。
39.人脸检测神经网络模型，可以是训练好的centerface人脸检测模型。
40.将训练好的centerface人脸检测模型，转换到onnx格式后，再进行tersorrt推理，最后链接到gstreamer框架的nvinfer插件，得到第一深度学习推理模型。
41.其中，人脸检测结果包含有人脸边界框、人脸关键点等信息。
42.步骤120、基于所述人脸检测结果，确定人脸跟踪信息和人脸质量评分。
43.可以理解的是，可以采用gstreamer的nvtracker插件进行人脸跟踪，最终输出人脸跟踪信息，人脸跟踪信息包含有人脸跟踪身份识别号。
44.步骤130、基于所述人脸检测结果、所述人脸跟踪信息和所述人脸质量评分，在所述视频帧图像上裁剪人脸图像。
45.可以理解的是，基于人脸跟踪信息、人脸检测结果和所述人脸质量评分，可以确定摄像头范围内，同一个人脸对应的多张人脸图像，从中选取符合要求的人脸图像进行裁剪，裁剪的人脸图像用于后续的人脸识别分析。
46.在一些实施例中，所述获取视频帧图像，包括：
47.获取视频流数据，并对所述视频流数据进行抽帧，得到所述视频帧图像。
48.可以理解的是，可以基于gstreamer框架的nvinfer插件的实际测试结果配置视频流每秒的抽帧数量，基于确定的每秒抽帧数量，对视频流数据进行抽帧，得到视频帧图像。
49.在一些实施例中，所述基于所述人脸检测结果，确定人脸跟踪信息和人脸质量评分，包括：
50.将所述人脸检测结果，输入至预设的判别相关滤波器模型，得到所述人脸跟踪信息。
51.可以理解的是，判别相关滤波器模型也即是，基于nvdcf跟踪算法训练得到的模型。可以采用gstreamer的nvtracker插件进行人脸跟踪，根据公交车的实际场景选择nvdcf跟踪算法并设置合适的参数，最终输出人脸跟踪信息，人脸跟踪信息包含有人脸跟踪身份识别号。
52.在一些实施例中，所述基于所述人脸检测结果、所述人脸跟踪信息和所述人脸质
量评分，在所述视频帧图像上裁剪人脸图像，包括：
53.保存每帧视频帧图像对应的人脸跟踪信息，并在预设时长后，清除所保存的人脸跟踪信息；
54.基于未清除的人脸跟踪信息和所述人脸检测结果，选取离开摄像头区域的同一个人对应的，人脸质量评分最高的人脸图像作为目标人脸图像进行裁剪，并将所述目标人脸图像发送至目标设备。
55.可以理解的是，在对同一人脸进行跟踪的过程中，存储该人脸质量评分最高的人脸检测信息、人脸跟踪信息和人脸质量评分，人脸检测信息包括置信度得分、边界框、关键点。
56.如果同一个人脸对应的人脸质量评分最高的人脸跟踪信息，不在未清除的人脸跟踪信息列表中，则表明人脸已经消失在摄像头区域内，则按边界框裁剪出人脸图像，将该原始视频帧和裁剪出的人脸图像上传到minio存储工具。
57.进一步，对同一人脸进行跟踪，从第一次检测到该人脸到该人脸消失在摄像头范围内，设置list列表存储每帧检测到的人脸身份识别号，并将检测到的人脸身份识别号保存一段时间(该时间可以进行可配置)避免某几帧的漏检。
58.在该人脸被跟踪的时间内选取符合预设要求的人脸图像，即人脸质量评分最高的人脸图像，并按边界框裁剪出人脸图像，将该原始视频帧(即：视频帧图像)和裁剪出的人脸图像上传到minio存储工具。
59.将人脸质量评分最高的人脸图像进行上传，避免重复，用于后续的人脸识别分析。
60.进一步，在上传最终人脸图像的同时，上传视频原始视频帧，根据设备内存情况选择保存时间的长短，这样做可以与实际上传的人脸图像进行对比分析，确定公交车上的实际人数，进而对深度学习推理模型进行迭代优化，保证在不漏人的情况下选取质量最好的人脸图像上传。
61.在一些实施例中，人脸图像裁剪方法，还包括：
62.在清除所保存的人脸跟踪信息后，且重新检测到已清除的人脸跟踪信息的情况下，延长所述预设时长。
63.可以理解的是，在清除所保存的人脸跟踪信息后，且重新检测到已清除的人脸跟踪信息的情况下，则表明原来设定的预设时长较短，容易出现漏检，因此，延长预设时长，避免漏检。
64.在一些实施例中，所述基于所述人脸检测结果，确定人脸跟踪信息和人脸质量评分，包括：
65.将所述人脸检测结果输入至预设的第二深度学习推理模型，得到所述人脸质量评分；
66.其中，所述第二深度学习推理模型，是基于将训练好的人脸质量评分神经网络模型转tersorrt推理网络得到。
67.可以理解的是，人脸质量评分神经网络模型，是基于人脸相似度分布距离的无监督质量评估方法训练得到。
68.将人脸质量评分神经网络模型转换到onnx格式后，再进行tersorrt推理，最后链接到gstreamer框架的pipeline，得到第二深度学习推理模型。
69.将人脸检测神经网络模型和人脸质量评分神经网络模型转tersorrt推理并集成到deepstream框架，最后部署到终端上，可以实现公交车场景下的快速、精确、全面、稳定、可靠的人脸检测和高质量人脸裁剪功能。
70.在另一些实施例中，人脸图像裁剪方法如图2所示，将视频流数据输入至nvstreammux插件进行抽帧，得到视频帧图像，将视频帧图像进行深度学习推理，得到人脸检测结果，将视频帧图像进行深度学习推理，得到人脸质量评分，再采用gstreamer的nvtracker插件进行人脸跟踪，最后裁剪人脸图像进行上传。
71.综上所述，本发明提供的人脸图像裁剪方法，包括：获取视频帧图像，将所述视频帧图像输入至预设的第一深度学习推理模型，得到人脸检测结果；所述第一深度学习推理模型，是基于将训练好的人脸检测神经网络模型转tersorrt推理网络得到；基于所述人脸检测结果，确定人脸跟踪信息和人脸质量评分；基于所述人脸检测结果、所述人脸跟踪信息和所述人脸质量评分，在所述视频帧图像上裁剪人脸图像。
72.在本发明提供的人脸图像裁剪方法中，基于预设的第一深度学习推理模型对视频帧图像进行自动处理，得到人脸检测结果，再进一步确定人脸跟踪信息，基于人脸检测结果和人脸跟踪信息，选取符合要求的人脸图像进行裁剪，全自动的方式进行人脸裁剪，可以做到全天候无间断裁剪人脸图像，实现提高人脸检测和裁剪的效率，降低成本。
73.下面对本发明提供的人脸图像裁剪装置进行描述，下文描述的人脸图像裁剪装置与上文描述的人脸图像裁剪方法可相互对应参照。
74.如图3所示，本发明提供的人脸图像裁剪装置300，包括：检测模块310、跟踪及评分模块320和裁剪模块330。
75.检测模块310用于获取视频帧图像，将所述视频帧图像输入至预设的第一深度学习推理模型，得到人脸检测结果；所述第一深度学习推理模型，是基于将训练好的人脸检测神经网络模型转tersorrt推理网络得到；
76.跟踪及评分模块320用于基于所述人脸检测结果，确定人脸跟踪信息和人脸质量评分；
77.裁剪模块330用于基于所述人脸检测结果、所述人脸跟踪信息和所述人脸质量评分，在所述视频帧图像上裁剪人脸图像。
78.在一些实施例中，检测模块310进一步用于获取视频流数据，并对所述视频流数据进行抽帧，得到所述视频帧图像。
79.在一些实施例中，跟踪及评分模块320进一步用于将所述人脸检测结果，输入至预设的判别相关滤波器模型，得到所述人脸跟踪信息。
80.在一些实施例中，裁剪模块330，包括：
81.保存及清除单元，用于保存每帧视频帧图像对应的人脸跟踪信息，并在预设时长后，清除所保存的人脸跟踪信息；
82.裁剪单元，用于基于未清除的人脸跟踪信息和所述人脸检测结果，选取离开摄像头区域的同一个人对应的，人脸质量评分最高的人脸图像作为目标人脸图像进行裁剪，并将所述目标人脸图像发送至目标设备。
83.在一些实施例中，人脸图像裁剪装置，还包括：延时模块。
84.延时模块用于在清除所保存的人脸跟踪信息后，且重新检测到已清除的人脸跟踪
信息的情况下，延长所述预设时长。
85.在一些实施例中，跟踪及评分模块320进一步用于将所述人脸检测结果输入至预设的第二深度学习推理模型，得到所述人脸质量评分；
86.其中，所述第二深度学习推理模型，是基于将训练好的人脸质量评分神经网络模型转tersorrt推理网络得到。
87.下面对本发明提供的电子设备、计算机程序产品及存储介质进行描述，下文描述的电子设备、计算机程序产品及存储介质与上文描述的人脸图像裁剪方法可相互对应参照。
88.图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行人脸图像裁剪方法，该方法包括：
89.获取视频帧图像，将所述视频帧图像输入至预设的第一深度学习推理模型，得到人脸检测结果；所述第一深度学习推理模型，是基于将训练好的人脸检测神经网络模型转tersorrt推理网络得到；
90.基于所述人脸检测结果，确定人脸跟踪信息和人脸质量评分；
91.基于所述人脸检测结果、所述人脸跟踪信息和所述人脸质量评分，在所述视频帧图像上裁剪人脸图像。
92.此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
93.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的人脸图像裁剪方法，该方法包括：
94.获取视频帧图像，将所述视频帧图像输入至预设的第一深度学习推理模型，得到人脸检测结果；所述第一深度学习推理模型，是基于将训练好的人脸检测神经网络模型转tersorrt推理网络得到；
95.基于所述人脸检测结果，确定人脸跟踪信息和人脸质量评分；
96.基于所述人脸检测结果、所述人脸跟踪信息和所述人脸质量评分，在所述视频帧图像上裁剪人脸图像。
97.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的人脸图像裁剪方法，该方法包括：
98.获取视频帧图像，将所述视频帧图像输入至预设的第一深度学习推理模型，得到
人脸检测结果；所述第一深度学习推理模型，是基于将训练好的人脸检测神经网络模型转tersorrt推理网络得到；
99.基于所述人脸检测结果，确定人脸跟踪信息和人脸质量评分；
100.基于所述人脸检测结果、所述人脸跟踪信息和所述人脸质量评分，在所述视频帧图像上裁剪人脸图像。
101.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
102.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
103.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。