图像筛选方法、装置、设备和存储介质与流程

1.本技术涉及计算机技术，具体涉及一种图像筛选方法、装置、设备和存储介质。


背景技术：

2.在一些场景中，需要从采集的视频流中获取包含目标对象的图像，以对该图像中的目标对象进行后续操作。所述目标对象可以根据需求进行设定。比如在车牌识别场景中，所述目标对象可以是车牌。再例如，在人脸识别场景中，所述目标对象可以是人脸。
3.然而实际情形中，因为摄像头拍摄角度，目标对象距离摄像头的远近，目标对象处于动行状态等因素的存在，采集的图像效果良莠不齐。因此，需要从采集的图像中筛选出目标对象清晰完整的图像。
4.在相关技术中，在进行图像筛选的时候，可以先通过目标检测算法检测出输入图像中的目标对象，再通过对目标对象的特征进行特征比对或深度学习等分析，确定输入图像是否清晰完整，并在清晰完整的时候保留该输入图像。该相关技术中，会由于需要进行计算量比较大的目标检测而导致图像筛选效率低，不够轻量化。


技术实现要素：

5.有鉴于此，本技术至少公开一种图像筛选方法。所述方法可以包括：获取输入图像；提取所述输入图像中目标对象的关键点；获取所述关键点的信息；所述关键点的信息包括以下至少一项：所述关键点在所述输入图像中的位置信息，所述关键点所围合的图像区域的边长信息，所述关键点的置信度信息；基于所述关键点的信息对所述输入图像进行筛选。
6.在一些实施例中，所述提取所述输入图像中目标对象的关键点，包括：采用目标对象关键点模型对所述输入图像进行处理，得到所述输入图像对应的热图；将所述热图中最大像素值对应的像素点确定为所述目标对象的关键点。
7.在一些实施例中，采用目标对象关键点模型对所述输入图像进行处理，得到所述输入图像对应的热图，包括：采用目标对象关键点模型对所述输入图像进行多次下采样与多次上采样，得到所述热图；其中，在所述多次上采样过程中，融合所述多次下采样过程中生成的多级特征图。
8.在一些实施例中，所述获取所述关键点的信息，包括：根据所述关键点在所述输入图像中的坐标，确定所述位置信息和/或所述边长信息；根据所述关键点在所述热图中的像素值，确定所述置信度信息。
9.在一些实施例中，所述关键点信息包括所述关键点的置信度信息，所述基于所述关键点的信息对所述输入图像进行筛选，包括：根据每个所述关键点的置信度确定置信度均值；根据所述置信度均值与预设的置信度阈值的比较结果对所述输入图像进行筛选。
10.在一些实施例中，所述关键点信息包括所述关键点所围合的图像区域的边长信息，所述图像区域为四边形，所述边长信息包括所述四边形的第一边长信息与第二边长信
息；所述基于所述关键点的信息对所述输入图像进行筛选，包括：根据所述第一边长信息指示的第一边长与预设的第一边长阈值的比较结果，以及所述第二边长信息指示的第二边长与预设的第二边长阈值的比较结果，对所述输入图像进行筛选。
11.在一些实施例中，所述关键点信息包括所述关键点在所述输入图像中的位置信息，所述基于所述关键点的信息对所述输入图像进行筛选，包括：根据所述位置信息，确定所述关键点在所述输入图像中所处的位置到所述输入图像的图像边缘的距离；根据所述距离与预设的距离阈值的比较结果，对所述输入图像进行筛选。
12.在一些实施例中，在对所述输入图像进行筛选之前，所述方法包括：根据比较结果确定所述输入图像的质量分数，其中所述比较结果包括以下至少一项：所述置信度均值与预设的置信度阈值的比较结果；所述第一边长与预设的第一边长阈值的比较结果；所述第二边长与预设的第二边长阈值的比较结果；所述距离与预设的距离阈值的比较结果；所述对所述输入图像进行筛选，包括：基于所述输入图像的质量分数对所述输入图像进行筛选。
13.在一些实施例中，所述比较结果还包括：所述输入图像的边长与预设的图像边长阈值的比较结果。
14.在一些实施例中，所述根据比较结果确定所述输入图像的质量分数，包括：在所述比较结果指示以下指示一种情形的情形下，根据所述置信度均值与所述输入图像的面积，确定所述输入图像的质量分数：所述输入图像的边长达到所述图像边长阈值；所述置信度均值达到所述置信度阈值；所述第一边长达到所述第一边长阈值；所述第二边长达到所述第二边长阈值；所述距离未达到所述距离阈值。
15.在一些实施例中，所述提取所述输入图像中目标对象的关键点，包括：利用基于卷积神经网络生成的目标对象关键点模型，提取所述输入图像中目标对象的关键点；其中所述目标对象关键点模型的训练方法包括：获取样本图像；所述样本图像包括针对所述目标对象的关键点的标注信息；所述标注信息用于指示所述目标对象的关键点在所述样本图像中的坐标信息；利用所述样本图像对所述目标对象关键点模型进行多轮训练，其中，每一轮训练包括：将所述样本图像输入所述目标对象关键点模型，得到针对所述关键点的预测信息；确定所述标注信息与所述预测信息之间的损失信息；基于所述损失信息调整所述目标对象关键点模型的参数。
16.本技术还提出一种图像筛选装置，所述装置包括：第一获取模块，用于获取输入图像；提取模块，用于提取所述输入图像中目标对象的关键点；第二获取模块，用于获取所述关键点的信息；所述关键点的信息包括以下至少一项：所述关键点在所述输入图像中的位置信息，所述关键点所围合的图像区域的边长信息，所述关键点的置信度信息；筛选模块，用于基于所述关键点的信息对所述输入图像进行筛选。
17.本技术还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现如前述任一实施例示出的图像筛选方法。
18.本技术还提出一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于使处理器执行如前述任一实施例示出的图像筛选方法。
19.前述方案中，可以获取针对目标对象的关键点的信息，所述关键点的信息包括以下至少一项可以用于表征目标对象是否清晰完整的信息：所述关键点在所述输入图像中的
位置信息，所述关键点所围合的图像区域的边长信息，所述关键点的置信度信息。然后基于所述关键点的信息对所述输入图像进行筛选，即可通过这些可以表征目标对象是否清晰完整的关键点的信息筛选出清晰完整图像，与相关技术相比，可以不依赖极为耗时的目标检测算法和深度学习算法，大大减小图像筛选过程中的计算量，提升图像筛选效率，达到轻量化的目的。
20.应当理解的是，以上所述的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
21.为了更清楚地说明本技术一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
22.图1为本技术实施例示出的一种图像筛选方法的方法流程示意图；
23.图2为本技术实施例示出的一种目标对象关键点模型训练方法的方法流程示意图；
24.图3为本技术实施例示出的一种依据图像质量分数图像筛选方法的流程示意图；
25.图4为本技术实施例示出的一种车牌关键点模型的结构示意图；
26.图5为本技术实施例示出的一种图像筛选方法的流程示意图；
27.图6为本技术实施例示出的一种图像筛选装置的结构示意图；
28.图7为本技术实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
29.下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的设备和方法的例子。
30.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在可以包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解，本文中所使用的词语“如果”，取决于语境，可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
31.本技术旨在提出一种图像筛选方法。该方法可以获取输入图像；提取所述输入图像中目标对象的关键点；获取所述关键点的信息；所述关键点的信息包括以下至少一项：所述关键点在所述输入图像中的位置信息，所述关键点所围合的图像区域的边长信息，所述关键点的置信度信息；基于所述关键点的信息对所述输入图像进行筛选。
32.前述方案中，可以获取针对目标对象的关键点的信息，所述关键点的信息包括以下至少一项可以用于表征目标对象是否清晰完整的信息：所述关键点在所述输入图像中的位置信息，所述关键点所围合的图像区域的边长信息，所述关键点的置信度信息。然后基于
所述关键点的信息对所述输入图像进行筛选，即可通过这些可以表征目标对象是否清晰完整的关键点的信息筛选出清晰完整图像，与相关技术相比，可以不依赖极为耗时的目标检测算法和深度学习算法，大大减小图像筛选过程中的计算量，提升图像筛选效率，达到轻量化的目的。
33.请参见图1，图1为本技术实施例示出的一种图像筛选方法的方法流程示意图。图1示出图像筛选方法可以应用于电子设备中。其中，所述电子设备可以通过搭载与筛选方法对应的软件逻辑执行所述筛选方法。所述电子设备的类型可以是笔记本电脑，计算机，服务器，手机，掌上电脑(personal digital assistant，pda)等。在本技术中不特别限定所述电子设备的类型。所述电子设备也可以是客户端设备或服务端设备，在此不作特别限定。
34.如图1所示，所述方法可以包括s102-s108。除特别说明外，本技术不特别限定这些步骤的执行顺序。
35.其中，s102，获取输入图像。
36.所述输入图像可以是通过任意图像采集设备采集的视频流中的图像，或者对采集的视频流中的图像进行预处理后得到的图像。本技术不限定所述图像采集设备的类型。这些图像采集设备可以部署在现场环境中，捕捉目标对象，生成包含目标对象的输入图像。
37.所述目标对象可以根据业务场景需求进行指定。例如，在车牌检测场景中，该目标对象可以是车牌。在行人检测场景中，该目标对象为人体。在人脸检测场景中，该目标对象可以是人脸。
38.在采集到针对目标对象的视频流后，在一些实施例中，可以将该视频流中的每一帧图像依次作为所述输入图像，进行视频流中图像的筛选。例如，在车牌检测场景中，所述图像采集设备为部署在公路现场的摄像头。所述摄像头可以采集针对车辆的车牌的视频流。本例中可以将该视频流中的图像依次作为所述输入图像。
39.在一些实施例中，所述目标对象为依附在另一个被依附对象上的对象。例如，在车牌检测场景中，所述目标对象为车牌，所述被依附对象为车辆。再例如，在公交线路检测场景中，所述目标对象为公交线路牌，所述被依附对象为公交车。
40.本例中可以先对该视频流中的被依附对象进行预处理，得到针对所述被依附对象的图像序列集合，然后再将所述图像序列集合中的图像依次作为所述输入图像，进行图像序列集合中图像的筛选。例如，在车牌检测场景中，所述图像采集设备为部署在公路现场的摄像头。所述摄像头可以采集针对车辆的车牌的视频流。本技术中可以先对视频流中的图像进行预处理。在预处理时可以采用目标检测算法，对采集的图像中出现的每一个车辆进行检测，得到针对每一个车辆的图像集合。然后可以将图像集合中的每一张图像作为所述输入图像。由此在视频流中出现多个车辆时候，可以针对每一车辆的车牌进行图像筛选。
41.s104，提取所述输入图像中目标对象的关键点。
42.所述关键点可以是目标对象轮廓上的点。例如，在车牌检测场景中，所述关键点可以是车牌轮廓上的四个关键点。
43.在一些实施例中，s104中，可以采用目标对象关键点模型，提取所述关键点。
44.所述目标对象关键点模型可以经过标注了所述目标对象的关键点的关键点信息的图像样本进行训练得到。完成训练后，可以通过该目标对象关键点模型可以提取到输入图像中的关键点。
45.例如，在车牌检测场景中，所述目标对象为车牌，所述关键点可以是车牌的四个键点。本例中可以预先利用标注了车牌四个键点的图像样本集合对目标对象关键点模型进行训练。完成训练后可以利用该模型提取输入图像中的关键点，以得到关键点信息。
46.以下介绍一种针对目标对象关键点模型的训练方法。
47.所述目标对象关键点模型可以基于卷积神经网络生成。
48.所述目标对象关键点模型可以包括下采样单元与上采样单元。所述下采样单元可以用于缩小输入图像与强化特征，得到特征图。所述上采样单元可以用于放大特征图，得到热图。下采样与上采样为互逆的过程，下采样与上采样过程中通常具有相同分辨率的若干对采样特征图。例如，下采样可以对64*64的图像进行三次缩放得到32*32，16*16，8*8三种分辨率的采样特征图，则上采样可以对8*8图像进行三次放大得到16*16，32*32，64*64三种分辨率的采样特征图。其中，相同分辨率的采样特征图为一对儿对应的采样特征图。
49.在一些方式中，为了限定目标对象关键点模型的运算量，可以将输入该模型的图像的大小限定为预设大小。例如，64*64。
50.请参见图2，图2为本技术实施例示出的一种目标对象关键点模型训练方法的方法流程示意图。如图2所示，可以执行s202-s204。其中，s204包括s2042-s2046。除特别说明外，本技术不特别限定这些步骤的执行顺序。
51.s202，获取样本图像。
52.本步骤中可以获取预设数量的样本图像，例如几万张样本图像。
53.所述样本图像包括针对所述目标对象的关键点的标注信息；所述标注信息用于指示所述目标对象的关键点在所述样本图像中的坐标信息。
54.所述样本图像的生成过程如下：
55.可以先获取包含目标对象的图像。
56.然后，获取一张与所述图像大小相同的热图，在初始情况下，该热图的每一个像素点的像素值均为0，然后可以根据目标对象的关键点的坐标，将所述热图中对应坐标的像素点的像素值修改为1，得到标注热图(标注信息)。
57.之后基于所述标注热图和所述图像生成样本图像。
58.在一些实施例中，需要提取目标对象的多个关键点，在生成样本图像的时候，可以维护与关键数量一致的标注热图，每一张标注热图只与一个关键点对应，由此可以基于利用每一张热图分别确定一个关键点，与利用一张热图预测多个关键点的方式相比，减少多个关键点之间的影响，提升关键点的检测准确性。
59.s204，利用所述样本图像对所述目标对象关键点模型进行多轮训练。
60.其中，每一轮训练包括：
61.s2042，将所述样本图像输入所述目标对象关键点模型，得到针对所述关键点的预测信息。
62.此步骤中可以通过所述目标对象关键点模型包括的下采样单元与上采样单元对样本图像进行特征提取，得到针对所述关键点的预测信息。
63.所述预测信息可以为与标注热图(标注信息)大小相同的预测热图。例如，在车牌检测场景中，所述标注信息为4通道16*16的标注热图，所述预测信息则也为4通道16*16的热图。如此才可以进行关键点提取。
64.s2044，确定所述标注信息与所述预测信息之间的损失信息。
65.本步骤中国可以采用预设损失函数确定所述损失信息。
66.所述预设损失函数可以是根据业务需求指定的损失函数。本技术不限定预设损失函数的类型。例如，本例中可以采用交叉熵损失函数。
67.将所述标注信息与所述预测信息输入交叉熵损失函数进行计算，即可得到可以指示标注与预测的关键点之间的误差的损失信息。
68.s2046，基于所述损失信息调整所述目标对象关键点模型的参数。
69.本步骤中，可以利用所述然后利用该损失信息计算下降梯度，并采用反向传播更新损失目标对象关键点模型的参数。
70.通过s202-s204，利用大量的样本图像对所述目标对象关键点模型进行多轮训练，可以使该模型具备提取关键点的能力，以利用该模型执行s104，提取输入图像中针对目标对象的关键点。
71.在一些实施例中，利用目标对象关键点模型，提取所述关键点的过程中，可以采用目标对象关键点模型对所述输入图像进行处理，得到所述输入图像对应的热图；然后将所述热图中最大像素值对应的像素点确定为所述目标对象的关键点。
72.所述热图可以通过像素值表征各像素点是关键点的可能性。在一些实施例中，在采用目标对象关键点模型对所述输入图像进行多次下采样与多次上采样，得到所述热图。比如，可以利用所述目标对象关键点模型对所述输入图像进行一些卷积、池化等下采样处理，可以得到特征图，再对特征图进行一些反卷积等上采样处理，即可得到所述热图。在一些实施例中，在所述多次上采样过程中，可以融合所述多次下采样过程中生成的多级特征图。由此可以在特征提取(上采样)过程中融合更多的特征，增强热图包含的特征信息，提升关键点预测准确性，进而提升图像筛选效果。本技术不限定融合的具体方式。例如可以采用特征叠加，卷积，拼接等融合方式。
73.所述多级特征图，是指下采样过程中生成的分辨率不同的特征图。分辨率不同包含的特征量不同，特征等级也不同。高分辨率的特征图包含低级特征。低分辨率的特征图包含高级特征。
74.例如，在车牌检测场景中，通过下采样单元可以对64*64的图像进行三次缩放得到32*32，16*16，8*8三种分辨率的采样特征图。通过上采样单元可以对8*8图像进行三次放大得到16*16，32*32，64*64三种分辨率的采样特征图。然后可以将下采样过程中得到的32*32，16*16的采样特征图与上采样过程中得到的16*16，32*32的采样特征图进行融合，可以使得最后得到的热图包含更多的特征，增强特征信息，提升关键点预测准确性，进而提升图像筛选效果。
75.在得到所述热图之后，可以选取所述热图中最大像素值对应的像素点，作为所述目标对象的关键点。
76.需要说明的是，如果s104中需要提取多个关键点，则可以通过目标对象关键点模型对所述输入图像进行处理，得到与关键点数量相同数量的热图，然后分别选出每一热图中最大像素值对应的像素点作为关键点，以得到所述多个关键点。
77.例如，在车牌检测场景中，需要检测车牌的四个键点。采用目标对象关键点模型对所述输入图像进行处理，得到4张热图，然后每一张热图中最大像素值对应的像素点即为车
牌的1个键点。
78.s106，获取所述关键点的信息。
79.这些关键点的信息，可以包括以下至少一项：所述关键点在所述输入图像中的位置信息，所述关键点所围合的图像区域的边长信息，所述关键点的置信度信息。
80.通过这些关键点的信息可以表征目标对象是否清晰完整。例如，如果通过所述关键点在所述输入图像中的位置信息，确定目标对象在输入图像的中间，则可以表示所述目标对象是完整的，相反，如果确定目标对象在输入图像的边缘，则可以表示所述目标对象可能是不完整的。再例如，如果通过所述关键点所围合的图像区域的边长信息，确定图像区域的边长比预设的边长阈值大则可以确定图像区域内的目标对象是清晰的，相反，如果确定图像区域的边长小于所述边长阈值，则可以确定图像区域内的目标对象是不清晰的。再例如，如果通过所述关键点的置信度信息，确定所述关键点的置信度高于预设的置信度阈值，则可以确定所述目标对象是清晰的，反之，如果确定所述关键点的置信度低于预设的置信度阈值，则可以确定所述目标对象是不清晰的。
81.在一些实施例中，s106中，可以根据所述关键点在所述输入图像中的坐标，确定所述位置信息和/或所述边长信息；以及根据所述关键点在所述热图中的像素值，确定所述置信度信息。
82.在通过s104得到关键点之后，可以根据关键点在热图中的坐标，确定关键点在所述输入图像中的坐标。
83.所述坐标本身即可表征所述关键点在所述输入图像中的位置信息。
84.在一些实施例中，s104得到的是多个关键点，这些关键点可以在输入图像中围成一块图像区域。所述图像区域内包含所述目标对象。
85.在确定多个关键点在所述输入图像中的坐标之后，可以通过相邻的两个关键点的位置坐标可以确定图像区域的一条边长。通过多对相邻的关键点即可确定图像区域的多条边长。
86.比如在车牌检测场景中，检测出车牌4个键点，这4个键点可以围合出图像区域，这个图像区域刚好为车牌区域。在所述4个键点中选取3个键点，并根据如余弦距离，欧式距离，马氏距离等距离确定方法得到与所述图像区域的两条边长，即宽与高。
87.s106中还可以根据所述关键点在所述热图中的像素值，确定所述置信度信息。
88.所述置信度信息可以指示提取的关键点被预测为关键点的概率。置信度越高，说明提取的关键点是目标对象的关键点的概率越高，即通过关键点的置信度信息可以指示目标对象的可信度。
89.在一些方式中，可以将所述关键点在所述热图中的像素值进行归一化处理(例如，sigmod函数处理)，得到所述置信度信息。
90.s108，基于所述关键点的信息对所述输入图像进行筛选。
91.以下分别针对所述关键点信息为所述关键点在所述输入图像中的位置信息，所述关键点所围合的图像区域的边长信息和所述关键点的置信度信息三种情形进行说明。
92.第一情形，所述关键点信息包括所述关键点的置信度信息。
93.在第一情形下，s108中，可以根据每个所述关键点的置信度确定置信度均值。
94.在一些方式中，s104可能会提取多个关键点，通过s106可以得到每一关键点的置
信度信息。然后可以通过求均值或求加权平均值等方式，得到所述置信度均值。
95.在所述置信度均值之后，可以根据所述置信度均值与预设的置信度阈值的比较结果对所述输入图像进行筛选。
96.所述置信度阈值为经验阈值。多个关键点的置信度均值达到该置信度阈值，可以说明提取的关键点确实是目标对象的关键点的可信度比较高，即说明输入图像中包括目标对象的可信度高。本技术所指的达到至少包括大于，大于等于两种情形。例如，a达到b，至少包括a＞b与a≥b两种情形。
97.在一些方式中，可以响应于所述置信度均值达到所述置信度阈值，确定输入图像中包含目标对象的可信度比较高，即目标对象清晰完整的可能性比较大，即保留所述输入图像。
98.响应于所述置信度均值未达到所述置信度阈值，确定输入图像中包含目标对象的可信度比较低，即目标对象不清晰完整的可能性比较大，即删除所述输入图像。
99.由此在第一情形中，可以依据关键点置信度，筛选出包含清晰完整的目标对象的输入图像。
100.例如，在车牌检测场景中，通过s106得到的4个车牌关键点的置信度均值为0.3。所述置信度阈值为0.6。由于置信度均值为0.3小于0.6，由此可以说明提取的关键点不是车牌关键点，也可以说明输入图像中包含清晰完整的目标对象的可能性地，删除该图像。
101.第二情形，所述关键点信息包括所述关键点所围合的图像区域的边长信息。假设所述图像区域为四边形，所述边长信息包括所述四边形的第一边长信息与第二边长信息。
102.第二情形下，在s108中，可以根据所述第一边长信息指示的第一边长与预设的第一边长阈值的比较结果，以及所述第二边长信息指示的第二边长与预设的第二边长阈值的比较结果，对所述输入图像进行筛选。
103.在一些方式中，s104可能会提取4个关键点，通过s106可以得到四边形中的两条边长信息，即第一边长信息与第二边长信息。所述第一边长信息可以指示第一边长，所述第二边长信息可以指示第二边长。
104.所述第一边长阈值与所述第二边长阈值为经验阈值。所述第一边长达到第一边长阈值，并且所述第二边长到第二边长阈值，可以说明图像区域的大小满足要求，即所述图像区域内包含的目标对象的清晰度达标，也即说明输入图像内包含了清晰完整的目标图像，可以保留该输入图像。
105.如果所述第一边长未达到第一边长阈值，或所述第二边长未达到第二边长阈值，可以说明图像区域的大小不满足要求，即所述图像区域内包含的目标对象的清晰度不达标，也即说明输入图像内可能没有包含清晰完整的目标图像，可以删除该输入图像。
106.由此在第二情形中，可以依据所述关键点所围合的图像区域的边长信息，筛选出包含清晰完整的目标对象的输入图像。
107.例如，在车牌检测场景中，通过s106得到4个车牌关键点的坐标信息。从中选择3个车牌关键点坐标信息，利用欧式距离法，可以确定车牌的宽(第一边长)与高(第二边长)。所述第一边长阈值为13，所述第二边长阈值为4。如果车牌的宽达到13，高达到4，则与说明输入图像中包含的车牌的清晰度满足要求，可以保留，从而完成图像筛选。
108.第三情形，所述关键点信息包括所述关键点在所述输入图像中的位置信息。
109.第三情形下，在s108中，可以根据所述位置信息，确定所述关键点在所述输入图像中所处的位置到所述输入图像的图像边缘的距离。
110.在一些方式中，通过s104可能得到多个关键点，通过s106可能得到每一关键点的位置信息。所述位置信息指示所述关键点在输入图像中的位置。
111.根据每一关键点的位置信息，可以得到每一关键点到所述输入图像的图像边缘的距离。
112.得到所述距离之后，可以根据所述距离与预设的距离阈值的比较结果，对所述输入图像进行筛选。
113.所述距离阈值为经验阈值。如果多个关键点中每一关键点到图像边缘的距离均达到该距离阈值，可以说明关键点距离图像边缘较远，即输入图像中包含了清晰完整的目标对象，可以保留所述输入图像。
114.如果多个关键点中任意关键点到图像边缘的距离均未达到该距离阈值，可以说明关键点距离图像边缘较近，即输入图像中可能没有包含清晰完整的目标对象，可以删除所述输入图像。
115.由此第三种情形中，可以依据所述关键点在所述输入图像中的位置信息，筛选出包含清晰完整的目标对象的输入图像。
116.在一些实施例中，三种情形可以相互配合完成图像删选，比如针对其中至少一种情形确定可以保留输入图像的话，即最终保留输入图像，如果三种情形均确定删除输入图像，即最终删除输入图像。
117.根据s102-s108记载的方案，可以获取针对目标对象的关键点的信息，所述关键点的信息包括以下至少一项可以用于表征目标对象是否清晰完整的信息：所述关键点在所述输入图像中的位置信息，所述关键点所围合的图像区域的边长信息，所述关键点的置信度信息。然后基于所述关键点的信息对所述输入图像进行筛选，即可通过这些可以表征目标对象是否清晰完整的关键点的信息筛选出清晰完整图像，与相关技术相比，可以不依赖极为耗时的目标检测算法和深度学习算法，大大减小图像筛选过程中的计算量，提升图像筛选效率，达到轻量化的目的。
118.在一些实施例中，在执行s104之前，所述方法还可以利用输入图像的边长进行输入图像的初步筛选，将不满足预设的图像边长阈值的输入图像过滤掉，保留满足所述图像边长阈值的输入图像，由此可以减少s104-s108中处理的输入图像的数量，提升图像筛选效率。
119.在一些方式中，可以先获取输入图像的边长信息，所述边长信息可以指示输入图像的边长。一般情形下输入图像为矩形图像，即输入图像的边长可以包括宽和高。
120.然后可以根据输入图像的边长与预设的图像边长阈值的比较结果，确定所述输入图像的大小是否达标，并在达标的情形下继续s104-s108的步骤，在不达标的情形下，删除该输入图像。
121.所述图像边长阈值为经验阈值，一般可以包括与高对应的第一预设阈值和与宽对应的与第二预设阈值。
122.如果所述输入图像的高达到第一预设阈值，宽达到第二预设阈值，则可以确定所述输入图像的大小达标，即可以说明输入图像的清晰度达标，可以继续s104-s108的步骤。
123.如果所述输入图像的高未达到第一预设阈值和/或宽未达到第二预设阈值，则可以确定所述输入图像的大小未达标，即可以说明输入图像的清晰度未达标，可以删除该输入图像。由此可以减少s104-s108中处理的输入图像的数量，提升图像筛选效率。
124.在一些实施例中，可以量化输入图像的图像质量，一方面便于直观理解输入图像的图像质量；另一方面，通过图像质量分数可以更便捷地进行图像筛选。
125.其中，在s108中对所述输入图像进行筛选之前，
126.请参见,3，图3为本技术实施例示出的一种依据图像质量分数图像筛选方法的流程示意图。图3示意的方法为对s108的补充说明。如图3所示，所示方法可以包括s302-s304。除特别说明外，本技术不限定这些步骤的执行顺序。
127.s302，根据比较结果确定所述输入图像的质量分数。
128.所述比较结果包括以下至少一项：所述置信度均值与预设的置信度阈值的比较结果；所述第一边长与预设的第一边长阈值的比较结果；所述第二边长与预设的第二边长阈值的比较结果；所述距离与预设的距离阈值的比较结果；所述输入图像的边长与预设的图像边长阈值的比较结果。
129.在一些实施例中，在所述比较结果指示以下指示一种情形的情形下，根据所述置信度均值与所述输入图像的面积，确定所述输入图像的质量分数：
130.所述输入图像的边长达到所述图像边长阈值；
131.所述置信度均值达到所述置信度阈值；
132.所述第一边长达到所述第一边长阈值；
133.所述第二边长达到所述第二边长阈值；
134.所述距离未达到所述距离阈值。
135.在一些方式中，可以预先设置确定图像质量分数的预设公式。该预设公式可以包括第一参数与第二参数，该预设公式的目标为使所述图像质量分数与所述第一参数和所述第二参数正相关。即，第一参数和/或第二参数对应的数值越大，计算得到的图像质量分数越大。所述预设公式满足所述正相关即可。本技术不特别限定所述预设公式的形式。
136.在一些实例中，所述预设公式可以包括score＝min(a
×b÷
c,d)。其中，score指示输入图像的图像质量分数。a指示第一参数；b为第二参数，c与d为预设常数。在一些实施例中，为了减少运算量，可以对图像质量分数进行归一化。在归一化场景中，c可以是1000000，d可以是1。
137.本步骤中可以将置信度均值作为所述第一参数，所述输入图像的面积作为所述第二参数，利用所述预设公式，得到所述输入图像的质量分数。
138.在以下情形中，可以确定输入图像不满足要求，即输入图像中可能不包含清晰完整的目标对象，则可以赋予这类型不满足要求的输入图像比较低的质量分数：
139.所述输入图像的边长未达到所述图像边长阈值；
140.所述置信度均值未达到所述置信度阈值；
141.所述第一边长未达到所述第一边长阈值；
142.所述第二边长未达到所述第二边长阈值；
143.所述距离达到所述距离阈值。
144.在一些方式中，可以将所述预设公式中的a设置为比较小的预设值(例如，0.1,
0.01等)，由此可以赋予不满足要求的输入图像比较低的质量分数。
145.得到所述输入图像的质量分数之后，可以s304，基于所述输入图像的质量分数对所述输入图像进行筛选。
146.比如，可以根据图像质量分数对全部的输入图像进行排序，然后选取之前分数最高的前n个输入图像作为最终的输入图像，以完成图像筛选。所述n为预设正整数。当n为1筛选出图像质量分数最高的输入图像。
147.通过s302-s304即可一方面便于直观理解输入图像的图像质量；另一方面，通过图像质量分数可以更便捷地进行图像筛选。
148.以下结合车牌检测场景进行实施例说明。
149.在该场景中，可以在公路架设一些摄像头。这些摄像头可以针对路过的车辆进行视频流采集。这些摄像头可以对采集的视频流中的图像按照车辆进行预处理，得到针对车辆的图像序列，并将图像序列发送给处理设备，以针对图像序列进行图像筛选。
150.所述处理设备中可以包括车牌关键点模型。该模型可以利用s202-s204示出的方法进行训练，然后完成部署。所述模型可以提取车牌的4个键点坐标的关键点。
151.请参见图4，图4为本技术实施例示出的一种车牌关键点模型的结构示意图。如图4所示，所述车牌关键点模型400可以包括下采样单元410与上采样单元420。
152.该模型的输入为64*64的图像，输出为4通道的64*64的热图。所述下采样单元410可以包括诸如卷积层，池化层与残差网络层，自注意力机制等。所述下采样单元用于对64*64的图像进行三次缩放得到32*32，16*16，8*8三种分辨率的采样特征图。
153.所述上采样单元420可以包括反卷积层，插值层等上采样层。用于对8*8图像进行三次放大得到16*16，32*32，64*64三种分辨率的采样特征图，其中，可以将下采样过程中得到的32*32，16*16的采样特征图与上采样过程中得到的16*16，32*32的采样特征图进行融合，可以使得最后得到的热图包含更多的特征，增强特征信息，提升车牌关键点预测准确性，进而提升图像筛选效果。其中上采样得到的64*64的采样特征图即为4通道的热图。根据每一通道的热图中最大像素值对应的点即可得到车牌关键点。
154.本例可以采用预设公式score＝min(a
×b÷
1000000,1)计算输入图像的图像质量分数。
155.请参见图5，图5为本技术实施例示出的一种图像筛选方法的流程示意图。除特别说明外，本技术不特别限定这些步骤的执行顺序。
156.如图5所述，所述处理设备可以执行s501-s511。
157.在接收到针对车辆的图像序列后，可以从图像序列中选取一帧图像作为输入图像，并执行s501，获取输入图像的高与宽。
158.s502，确定输入图像的高是否达到222(第一预设阈值)，宽是否达到220(第二预设阈值)。
159.如果所述高未达到222，和/或宽未达到220，可以执行s503，将前述预设公式中的a置为0.1(预设关键点置信度)，b置为输入图像的面积(即高*宽)。然后根据该预设公式计算输入图像的图像质量分数。由于0.1数值比较小，因此可以得到输入图像的图像质量分数比较低，相当于过滤掉这些输入图像。
160.如果所述高达到222，且宽达到220，可以说明输入图像的清晰度达标，可以执行
s504，利用前述车牌关键点模型，提取4个车牌关键点，以及获取所述4个车牌关键点对应的关键点信息，实施关键点信息包括所述关键点在所述输入图像中的位置信息，所述关键点所围合的图像区域的边长信息，所述关键点的置信度信息。本步骤中可以提取关键点和获取关键点信息的方法可以参照前述实施例，在此不做详述。
161.然后可以执行s605，求4个车牌关键点的置信度均值，利用4个关键点的坐标，求车牌的宽与高。本步骤可以参照前述实施例，在此不做详述。
162.s506，判断所述置信度均值是否大于0.8。本步骤可以参见前述关于利用置信度均值筛选图像的方法。在此不做详述。
163.s507，判断所述车牌的宽是否达到13(第一边长阈值)，宽是否达到4(第二边长阈值)。本步骤可以参照前述利用所述关键点所围合的图像区域的边长信息筛选图像的方法，在此不做详述。
164.s508，判断4个车牌关键点的位置到图像边缘的距离是否达到3。本步骤可以参照前述利用所述关键点在所述输入图像中的位置信息筛选图像的方法，在此不做详述。
165.其中，s506-s508中任意项的判断结果为否，则说明车牌可能并不清晰完整，可以执行s503，得到输入图像的比较低的图像质量分数。
166.如果s506-s508中三项的判断结果均为是，则说明车牌可能清晰完整，可以执行s509，将前述预设公式中的a置为4个关键点的置信度均值，b置为输入图像的面积(即高*宽)，然后根据该预设公式计算输入图像的真实图像质量分数。该图像质量分数可以量化输入图像的质量，并且便于进行图像筛选。
167.在通过s503或s509确定输入图像的图像质量分数后，可以执行s510，判断获取的图像序列中是否还剩余图像。
168.如果剩余，则可以从剩余图像中选取输入图像，并继续执行s501-s510。如果图像序列中不剩余图像，则可以执行s511，筛选出图像序列中，图像质量分数最高的输入图像。由此可以采用基于车牌关键点信息来对车牌的特征进行分析的策略，不依赖极为耗时的车牌检测算法和深度学习算法，从而大大减小图像筛选过程中的计算量，提升图像筛选效率。
169.在一些实施例中，可以利用筛选出的输入图像进行车牌识别，由于筛选出的输入图像清晰度，其包含的车牌的大小(清晰度)、在图像中的位置(完整度)、置信度(可信度)均达标，因此可以提升车牌识别的准确性。
170.与所述任一实施例相对应的，本技术还提出一种图像筛选装置。
171.请参见图6，图6为本技术实施例示出的一种图像筛选装置的结构示意图。如图6所示，图像筛选装置600可以包括：
172.第一获取模块610，用于获取输入图像；
173.提取模块620，用于提取所述输入图像中目标对象的关键点；
174.第二获取模块630，用于获取所述关键点的信息；所述关键点的信息包括以下至少一项：所述关键点在所述输入图像中的位置信息，所述关键点所围合的图像区域的边长信息，所述关键点的置信度信息；
175.筛选模块640，用于基于所述关键点的信息对所述输入图像进行筛选。
176.在一些实施例中，所述提取模块620，进一步用于：
177.采用目标对象关键点模型对所述输入图像进行处理，得到所述输入图像对应的热
图；
178.将所述热图中最大像素值对应的像素点确定为所述目标对象的关键点。
179.在一些实施例中，所述提取模块620，进一步用于：
180.采用目标对象关键点模型对所述输入图像进行多次下采样与多次上采样，得到所述热图；其中，在所述多次上采样过程中，融合所述多次下采样过程中生成的多级特征图。
181.在一些实施例中，所述第二获取模块630，进一步用于：
182.根据所述关键点在所述输入图像中的坐标，确定所述位置信息和/或所述边长信息；
183.根据所述关键点在所述热图中的像素值，确定所述置信度信息。
184.在一些实施例中，所述关键点信息包括所述关键点的置信度信息，所述筛选模块640，进一步用于：
185.根据每个所述关键点的置信度确定置信度均值；
186.根据所述置信度均值与预设的置信度阈值的比较结果对所述输入图像进行筛选。
187.在一些实施例中，所述关键点信息包括所述关键点所围合的图像区域的边长信息，所述图像区域为四边形，所述边长信息包括所述四边形的第一边长信息与第二边长信息；
188.所述筛选模块640，进一步用于：
189.根据所述第一边长信息指示的第一边长与预设的第一边长阈值的比较结果，以及所述第二边长信息指示的第二边长与预设的第二边长阈值的比较结果，对所述输入图像进行筛选。
190.在一些实施例中，所述关键点信息包括所述关键点在所述输入图像中的位置信息，所述筛选模块640，进一步用于：
191.根据所述位置信息，确定所述关键点在所述输入图像中所处的位置到所述输入图像的图像边缘的距离；
192.根据所述距离与预设的距离阈值的比较结果，对所述输入图像进行筛选。
193.在一些实施例中，在对所述输入图像进行筛选之前，所述装置600还包括：
194.确定模块，用于根据比较结果确定所述输入图像的质量分数，其中所述比较结果包括以下至少一项：所述置信度均值与预设的置信度阈值的比较结果；所述第一边长与预设的第一边长阈值的比较结果；所述第二边长与预设的第二边长阈值的比较结果；所述距离与预设的距离阈值的比较结果；
195.所述筛选模块640，进一步用于：
196.基于所述输入图像的质量分数对所述输入图像进行筛选。
197.在一些实施例中，所述比较结果还包括：所述输入图像的边长与预设的图像边长阈值的比较结果。
198.在一些实施例中，所述确定模块，进一步用于：
199.在所述比较结果指示以下指示一种情形的情形下，根据所述置信度均值与所述输入图像的面积，确定所述输入图像的质量分数：
200.所述输入图像的边长达到所述图像边长阈值；
201.所述置信度均值达到所述置信度阈值；
202.所述第一边长达到所述第一边长阈值；
203.所述第二边长达到所述第二边长阈值；
204.所述距离未达到所述距离阈值。
205.在一些实施例中，所述提取模块620，进一步用于：
206.利用基于卷积神经网络生成的目标对象关键点模型，提取所述输入图像中目标对象的关键点；
207.所述装置600还包括训练模块，用于：
208.获取样本图像；所述样本图像包括针对所述目标对象的关键点的标注信息；所述标注信息用于指示所述目标对象的关键点在所述样本图像中的坐标信息；
209.利用所述样本图像对所述目标对象关键点模型进行多轮训练，其中，每一轮训练包括：
210.将所述样本图像输入所述目标对象关键点模型，得到针对所述关键点的预测信息；
211.确定所述标注信息与所述预测信息之间的损失信息；
212.基于所述损失信息调整所述目标对象关键点模型的参数。
213.前述方案中，可以获取针对目标对象的关键点的信息，所述关键点的信息包括以下至少一项可以用于表征目标对象是否清晰完整的信息：所述关键点在所述输入图像中的位置信息，所述关键点所围合的图像区域的边长信息，所述关键点的置信度信息。然后基于所述关键点的信息对所述输入图像进行筛选，即可通过这些可以表征目标对象是否清晰完整的关键点的信息筛选出清晰完整图像，与相关技术相比，可以不依赖极为耗时的目标检测算法和深度学习算法，大大减小图像筛选过程中的计算量，提升图像筛选效率，达到轻量化的目的。
214.本技术示出的图像筛选装置的实施例可以应用于电子设备上。相应地，本技术公开了一种电子设备，该设备可以包括：处理器。
215.用于存储处理器可执行指令的存储器。
216.其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现前述任一实施例示出的图像筛选方法。
217.请参见图7，图7为本技术实施例示出的一种电子设备的硬件结构示意图。
218.如图7所示，该电子设备可以包括用于执行指令的处理器，用于进行网络连接的网络接口，用于为处理器存储运行数据的内存，以及用于存储图像筛选装置对应指令的非易失性存储器。
219.其中，所述图像筛选装置的实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。
220.可以理解的是，为了提升处理速度，所述图像筛选装置对应指令也可以直接存储于内存中，在此不作限定。
221.本技术提出一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计
算机程序可以用于使处理器执行前述任一实施例示出的图像筛选方法。
222.本领域技术人员应明白，本技术一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本技术一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
223.本技术中的“和/或”表示至少具有两者中的其中一个，例如，“a和/或b”可以包括三种方案：a、b、以及“a和b”。
224.本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
225.以上对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
226.本技术中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、可以包括本技术中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本技术中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
227.本技术中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如fpga(现场可编程门阵列)或asic(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
228.适合用于执行计算机程序的计算机可以包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件可以包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将可以包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏操纵台、全球定位系统(gps)接收机、或例如通用串行总线(usb)闪存驱动器的便携式存储设备，仅举几例。
229.适合于存储计算机程序指令和数据的计算机可读介质可以包括所有形式的非易失性存储器、媒介和存储器设备，例如可以包括半导体存储器设备(例如eprom、eeprom和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及cd rom和dvd-rom盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
230.虽然本技术包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本技术内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
231.类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，所述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
232.由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
233.以上仅为本技术一个或多个实施例的较佳实施例而已，并不用以限制本技术一个或多个实施例，凡在本技术一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术一个或多个实施例保护的范围之内。