一种图像聚类方法及装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像聚类方法及装置。


背景技术：

2.为便于机动车及驾乘人员管理，可以将同一车的相关数据汇聚到一起，实现“一车一档”。在安防领域，相关数据主要指视觉数据，如车牌、车辆图像、驾乘人员图像等。根据图像拍摄的时间地点，在同一档案内的数据按照时间顺序排列，即可得到该车辆的轨迹。现有技术中，较为常用的是基于车牌将图像进行聚类，每个档案中图像的车牌相同。其次，当图像没有车牌信息时，可以通过驾乘人员图像进行辅助，人脸特征具有高鲁邦性，可基于驾乘人员人脸特征实现对应车的归类。然而上述方法只能对拍到车牌或者人脸信息的图像进行聚类，对于无车牌无人脸信息的图像的情况，当前尚无成熟的方案。


技术实现要素：

3.本技术实施例提供了一种图像聚类方法及装置，用以解决无车牌无人脸信息的车辆数据聚类的问题。
4.第一方面，本技术是实施例提供了一种图像聚类方法，包括：
5.针对图像档案中任意相邻的两个图像，从待聚类图像中确定所述相邻的两个图像对应的时间范围之间，且对应的地理位置之间的多个第一待聚类图像；所述图像档案为多个采集设备采集的按照车牌信息和人脸信息进行聚类后的同一车辆的多个图像，所述相邻的两个图像为按照时间信息进行排序后相邻的图像；所述待聚类图像为所述图像档案对应的所述多个采集设备采集的无法聚类到所述图像档案的图像；
6.从所述多个第一待聚类图像中，确定车辆平均速度位于行驶速度范围内的k个第二待聚类图像；所述车辆平均速度是所述第一待聚类图像和目标图像对应的地理位置之间的平均速度，所述目标图像是所述相邻的两个图像中的任一图像，所述行驶速度范围是根据所述相邻的两个图像分别对应的时间信息和位置信息确定的；
7.针对每个第二待聚类图像，将所述第二待聚类图像的车辆特征信息分别与所述图像档案中的l个图像的车辆特征信息进行比对得到l个特征相似度，所述l个图像中每个图像的车辆角度信息与所述第二待聚类图像的车辆角度信息之间的偏差小于设定偏差阈值；
8.当根据所述l个特征相似度确定所述第二待聚类图像满足聚类条件时，将所述第二待聚类图像聚类到所述图像档案中。
9.基于上述方案，可以根据聚类条件将无车牌信息和无人脸信息的图像进行聚类，进而使聚类后得到的图像档案中车辆的运行轨迹更加准确，便于后续分析和处理。
10.一种可能的实现方式中，所述根据所述l个特征相似度确定所述第二待聚类图像满足聚类条件，包括：若所述l个图像中所述特征相似度大于相似度阈值的图像数量，则根据所述图像数量确定相似图像比例；当所述相似图像比例大于设定比例阈值时，确定所述第二待聚类图像满足聚类条件。
11.一种可能的实现方式中，在其他图像档案中所述第二待聚类图像存在相似图像比例，所述聚类条件还包括所述第二待聚类图像在其他图像档案中的相似图像比例均小于所述第二待聚类图像在所述图像档案中的相似图像比例。
12.基于上述方案，可以使无车牌信息和无人脸信息的图像只聚类到一个图像档案中，保证图像档案的准确性。
13.一种可能的实现方式中，所述多个采集设备采集的图像包括含有车牌信息的多个第一类图像，以及含有人脸信息且不包括车牌信息的第二类图像，通过如下方式确定图像档案：
14.按照车牌信息，将所述多个第一类图像进行聚类，得到多个初始图像档案；
15.按照人脸信息，将所述多个第二类图像与所述多个初始图像档案进行聚类，得到多个图像档案。
16.一种可能的实现方式中，所述按照车牌信息，将所述多个第一类图像进行聚类，得到多个初始图像档案，包括：
17.将所述多个第一类图像按照车牌信息进行聚类，确定多个车牌图像档案；
18.针对任意一个车牌图像档案，筛选出所述车牌图像档案中不符合时空合理性条件以及车身相似度条件的错误车牌图像；
19.根据所述错误车牌图像的车牌信息中的字符错误概率，以及所述车牌信息中的字符被预测为其它字符的概率，确定所述车牌信息对应的多个预测车牌以及每个预测车牌对应的车牌概率；
20.按照所述每个预测车牌的车牌概率由高到低的顺序，若所述错误车牌图像在所述预测车牌对应的车牌图像档案中满足时空合理性条件以及人脸相似度条件，则将所述错误车牌图像聚类到所述预测车牌信息对应的车牌图像档案中，以得到初始图像档案。
21.一种可能的实现方式中，若所述错误车牌图像在所述多个预测车牌对应的车牌图像档案中均不满足时空合理性条件以及车身相似度条件时，则将所述错误车牌图像放入所述错误车牌图像被筛选之前所在的车牌图像档案中，以得到初始图像档案。
22.基于上述方案，在通过车牌信息进行聚类时，基于车牌对应的预测车牌的可能性和概率，确定正确的车牌，进而提高图像档案的准确度。
23.一种可能的实现方式中，所述时空合理性条件为所述车牌图像档案中根据任相邻的两个图像的地理位置确定的平均速度小于速度阈值，所述车身相似度条件为所述任相邻的两个图像的车身属性信息相同，所述车身属性信息包括以下至少一项：车身颜色、车辆型号、车内挂饰；所述相邻的两个图像为所述车牌图像档案中按照时间信息进行排序后相邻的图像。
24.一种可能的实现方式中，所述按照人脸信息，将所述多个第二类图像与所述多个初始图像档案进行聚类，得到多个图像档案，包括：将所述第二类图像和所述第一类图像按照人脸信息进行聚类得到多个人脸图像档案；将所述每个人脸图像档案中的图像按照时间顺序进行排序，并针对所述人脸图像档案中的每个第二类图像，确定与所述第二类图像时间信息最接近的相邻第一类图像；当所述第二类图像在所述相邻第一类图像对应的初始图像档案中符合时空合理性条件以及车身相似度条件时，将所述第二类图像聚类到所述相邻第一类图像对应的初始图像档案中，得到图像档案。
25.一种可能的实现方式中，所述方法还包括：若所述第二类图像在所述相邻第一类图像对应的初始图像档案中不符合时空合理性条件以及车身相似度条件，则确定所述人脸图像档案中的次相邻第一类图像，所述次相邻第一类图像和所述相邻第一类图像为所述人脸图像档案中时间上最接近所述第二类图像的第一类图像，且所述次相邻第一类图像和所述相邻第一类图像分别分布在所述第二类图像对应的时间前后；若所述第二类图像在所述次相邻第一类图像对应的初始图像档案中符合时空合理性条件以及车身相似度条件，则将所述第二类图像聚类到所述次相邻第一类图像对应的初始图像档案中，得到图像档案。
26.基于上述方案，可以将只具有人脸信息的图像与包含车牌信息的图像进行聚类，从时空合理性条件和车身相似度条件对图像进行层层筛选，使得聚类后的图像档案更为准确。
27.第二方面，本技术实施例提供了一种图像聚类装置，包括：
28.第一确定模块，用于针对图像档案中任意相邻的两个图像，从待聚类图像中确定所述相邻的两个图像对应的时间范围之间，且对应的地理位置之间的多个第一待聚类图像；所述图像档案为多个采集设备采集的按照车牌信息和人脸信息进行聚类后的同一车辆的多个图像，所述相邻的两个图像为按照时间信息进行排序后相邻的图像；所述待聚类图像为所述图像档案对应的所述多个采集设备采集的无法聚类到所述图像档案的图像；
29.第二确定模块，确定从所述多个第一待聚类图像中，确定车辆平均速度位于行驶速度范围内的k个第二待聚类图像；所述车辆平均速度是所述第一待聚类图像和目标图像对应的地理位置之间的平均速度，所述目标图像是所述相邻的两个图像中的任一图像，所述行驶速度范围是根据所述相邻的两个图像分别对应的时间信息和位置信息确定的；
30.比对模块，用于针对每个第二待聚类图像，将所述第二待聚类图像的车辆特征信息分别与所述图像档案中的l个图像的车辆特征信息进行比对得到l个特征相似度，所述l个图像中每个图像的车辆角度信息与所述第二待聚类图像的车辆角度信息之间的偏差小于设定偏差阈值；
31.所述第二确定模块，还用于当根据所述l个特征相似度确定所述第二待聚类图像满足聚类条件时，将所述第二待聚类图像聚类到所述图像档案中。
32.第三方面，本技术实施例提供了一种执行设备，包括：
33.存储器，用于存储程序指令；
34.处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行第一方面以及第一方面不同实现方式所述的方法。
35.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行第一方面以及第一方面不同实现方式所述的方法。
36.另外，第二方面至第四方面中任一种实现方式所带来的技术效果可参见第一方面以及第一方面不同实现方式所带来的技术效果，此处不再赘述。
附图说明
37.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术
的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
38.图1a为本技术实施例提供的一种应用场景示意图；
39.图1b为本技术实施例提供的一种服务器结构示意图；
40.图2为本技术实施例提供的一种图像聚类方法的流程示意图；
41.图3为本技术实施例提供的一种图像聚类装置的示意图；
42.图4为本技术实施例提供的一种执行设备的示意图。
具体实施方式
43.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
44.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
46.现有技术中，主要是通过车牌号数值与车身外观特征进行结合对车辆图像进行聚类。一般的，可以通过车牌进行初步筛查，进而通过车身或者车牌外观特征的相似度进一步确定是否为同一个车辆的车辆图像。一些场景中，还可能通过驾乘人员的人脸信息辅助修正车辆聚类。然而，现有技术对于没有拍到车牌且没有拍到高质量驾乘人员的人脸信息的车辆图像，还没有具体的解决方案。
47.针对上述问题，本技术提供了一种图像聚类方法和装置，将无车牌信息的待聚类图像经过车辆平均速度、车辆特征信息进行筛选，当筛选后的图像满足聚类条件时，将待聚类图像聚类到图像档案中。
48.下面对本技术实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本技术实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本技术实施例提供的技术方案。
49.本技术实施例提供的图像聚类方法可以通过执行设备实现。一些实施例中，执行设备可以是电子设备，电子设备可以由一个或多个服务器来实现，图1a以一个服务器100为例。参考图1a所示，其为本技术实施例提供的一种可能的应用场景示意图，包括服务器100和采集设备200。服务器100可以通过实体服务器实现，也可以通过虚拟服务器实现。服务器可以通过单个服务器实现，可以通过多个服务器组成的服务器集群实现，可以通过单个服务器或者服务器集群来实现本技术提供的图像聚类方法。采集设备200为具有图像采集功
programmable read-only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器130是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器130还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
55.另一些实施例中，执行设备可以是终端设备。一些场景中，当终端设备可以接收采集设备200发送的待聚类图像，根据待聚类图像进行图像聚类，以获得待聚类图像的聚类结果。一些实施例中，终端设备上可以包括显示装置，显示装置可以是液晶显示器、有机发光半导体(organic light-emitting diode，oled)显示器、投影显示设备等，本技术对此不作具体限定。
56.需要说明的是，上述图1a和图1b所示的结构仅是一种示例，本技术实施例对此不做限定。
57.本技术实施例提供了一种图像聚类方法，图2示例性地示出了图像聚类方法的流程，该流程可通过图像聚类装置执行，该装置可以位于如图1b所示的服务器100内，比如可以是处理器110，也可以是服务器100。该装置也可以是终端设备。具体流程如下：
58.201，针对图像档案中任意相邻的两个图像，从待聚类图像中确定相邻的两个图像对应的时间范围之间，且对应的地理位置之间的多个第一待聚类图像。
59.一些实施例中，待聚类图像为采集设备采集的图像帧。采集设备可以是电警设备、电子监控设备、监控摄像头、录像机等。示例性地，采集设备采集图像帧后，服务器从采集设备获取上待聚类图像。
60.一些实施例中，服务器接收采集设备发送的图像文件，图像文件中包括待聚类图像。该图像文件可以是图像的编码文件。从而服务器可以对接收到的图像文件进行解码得到待聚类图像。对图像进行编码可以有效的缩小图像文件的文件大小，便于传输。从而，能够提高图像的传输速度，以提高后续对图像进行聚类的效率。获取编码后的码流数据的方式可以是任意适用的方式，包括但不限于：实时流传输协议(real time streaming protocol，rtsp)、开放型网络视频接口论坛(open network video interface forum，onvif)标准或私有协议方式等。
61.一些实施例中，图像档案为多个采集设备采集的按照车牌信息和人脸信息进行聚类后的同一车辆的多个图像，相邻的两个图像为按照时间信息进行排序后相邻的图像。待聚类图像为图像档案对应的多个采集设备采集的无法聚类到图像档案的图像。一些场景中，待聚类图像为采集设备采集的只包括车身信息的车辆图像，或者为只包括车身信息和人脸信息但无法聚类到图像档案中的图像。
62.作为一种举例，图像档案中相邻的两个图像对应的时间信息分别为10:30和10:36，两个图像分别对应路口a和路口b，则根据路口a和路口b的位置信息确定分布在两个路口之间的所有采集设备在10:30-10:36时间段内采集的多个待聚类图像作为第一待聚类图像。
63.202，从多个第一待聚类图像中，确定车辆平均速度位于行驶速度范围内的k个第二待聚类图像。
64.一些实施例中，可以将图像档案中的多个图像按照图像的时间信息进行排序，行驶速度范围是根据相邻的两个图像分别对应的时间信息和位置信息确定的。具体地，可以
向根据相邻的两个图像分别对应的时间信息和位置信息确定相邻的两个图像之间的平均速度。作为一种举例，相邻的两个图像为图像a和图像b，图像a的时间信息为10:30，图像b的时间信息为10:36。图像a和图像b的地理位置分别为路口a和路口b，路口a和路口b之间的行驶路线长度为4千米，则路口a到路口b的平均速度为40千米/小时。进一步地，可以确定路口a和路口b之间的其他行驶路线长度，进而根据行驶路线长度确定该路线的平均速度。当确定路口a和路口b之间至少一条行驶路线的平均速度后，可以根据至少一条行驶路线的平均速度确定行驶速度范围。作为一种举例，路口a和路口b之间有三条行驶路线，第一条行驶路线的平均速度为40千米/小时，第二条行驶路线的平均速度为43千米/小时，第三条行驶路线的平均速度为37千米/小时，则可以将路口a和路口b之间的行驶速度范围设置为37-43千米/小时。一些场景中，为了保证容错性，可以在平均速度所在的速度范围的基础上适当放宽行驶速度范围。例如，可以将路口a和路口b之间的行驶速度范围设置为35-45千米/小时。一些场景中，还可以根据多个行驶路线对应的平均速度的平均值确定行驶速度范围。例如，三条行驶路线的平均速度分别为40千米/小时、43千米/小时和37千米/小时，则三条行驶路线的平均速度的平均值为40千米/小时。进一步地，可以将行驶速度范围设置为v
±
t，其中，v为平均速度的平均值，t的取值应为较小的值。
65.一些实施例中，车辆平均速度是第一待聚类图像和目标图像对应的地理位置之间的平均速度，目标图像是相邻的两个图像中的任一图像。作为一种举例，相邻的两个图像为图像a和图像b，图像a的时间信息为10:30，图像b的时间信息为10:36。图像a和图像b的地理位置分别为路口a和路口b，多个第一待聚类图像某一个第一待聚类图像对应的地理位置为路口c，该第一待聚类图像的时间信息为10:32。可以根据路口c和路口a之间的时间信息确定该第一待聚类图像的车辆平均速度，或者根据路口c和路口b之间的时间信息确定该第一待聚类图像的车辆平均速度。以路口a和路口c为例，路口a和路口c之间的行驶路线的长度为1.2千米，则路口a到路口c的车辆平均速度为36千米/小时。若行驶速度范围为35-45千米/小时，该第一待聚类图像的车辆平均速度位于行驶速度范围内，则该第一待聚类图像为第二待聚类图像。一些实施例中，可以通过上述方法从多个第一待聚类图像中确定k个第二待聚类图像。
66.一些实施例中，在根据车辆角度信息确定图像档案中的l个图像之前，可以进行车身外观信息检查。具体地，可以进行车身特征(含局部特征)相似度检查，将第二待聚类图像与图像档案内预设时间内(如近一周)的图像中的车辆的图像进行车身特征计算相似度，当某个第二待聚类图像的相似度大于相似度阈值的数量大于设定阈值时，保留该第二待聚类图像。通过上述方法，可以保证带二待聚类图像与图像档案中的车辆的图像至少是同型号同颜色的车，筛选掉不符合要求的第二类图像。
67.一些实施例中，在根据行驶速度范围对第二待聚类进行筛选后，还可以通过图像中车辆的朝向信息进行进一步筛选。具体地，可以将多个第二待聚类图像中车头朝向与图像档案中图像的车头朝向不一致的图像筛选掉。
68.203，针对每个第二待聚类图像，将第二待聚类图像的车辆特征信息分别与图像档案中的l个图像的车辆特征信息进行比对得到l个特征相似度。
69.一些实施例中，在确定k个第二待聚类图像后，针对每个第二待聚类图像，可以根据车辆角度信息从图像档案中确定l个图像。其中，l个图像中每个图像的车辆角度信息与
第二待聚类图像的车辆角度信息之间的偏差小于设定偏差阈值。
70.进一步地，可以将第二待聚类图像的车辆特征信息分别和图像档案中的l个图像的车辆特征信息进行比对得到l个特征相似度。
71.204，当根据l个特征相似度确定第二待聚类图像满足聚类条件时，将第二待聚类图像聚类到图像档案中。
72.一些实施例中，根据l个特征相似度确定第二待聚类图像满足聚类条件，包括：若l个图像中特征相似度大于相似度阈值的图像数量，则根据图像数量确定相似图像比例。当相似图像比例大于设定比例阈值时，确定第二待聚类图像满足聚类条件。作为一种举例，l个图像中特征相似度大于相似度阈值的图像数量为7，l＝10，则相似图像比例为0.7。若设定比例阈值为0.6，相似图像比例大于设定比例阈值，则第二待聚类图像满足聚类条件。
73.一些实施例中，在其他图像档案中第二待聚类图像存在相似图像比例，聚类条件还包括第二待聚类图像在其他图像档案中的相似图像比例均小于第二待聚类图像在图像档案中的相似图像比例。例如，第二待聚类图像在当前图像档案中的相似图像比例为0.7，第二待聚类图像在其他图像档案中的相似图像比例为0.5，0.55，0.6。第二待聚类图像在其他图像档案中的相似图像比例小于第二待聚类图像在当前图像档案中的相似图像比例，则将第二待聚类图像聚类到当前图像档案中。根据上述方案，可以保证每个第二待聚类图像只聚类到一个图像档案中。
74.一些实施例中，在确定相似图像比例之前，将第二待聚类图像涉及到的车身属性，如挂饰信息、车头标签信息等与图像档案中图像的车身属性数据进行比对，如果有超过预设占比的车身不匹配，则剔除该条第二待聚类图像。一些场景中，当图像档案中的某个图像的车神属性数据被标记为未知，则不参与车身匹配检查，在确定第二待聚类图像的相似图像比例时，不参与车身匹配检查的图像不计入。
75.一些实施例中，当图像档案中相邻的两个图像之间存在多个第二待聚类图像时，可以根据相邻两个第二待聚类图像分别对应的时间信息和位置信息确定相邻的两个第二待聚类图像之间的平均速度，当相邻的两个第二待聚类图像之间的平均速度不在上述行驶速度范围时，将该第二类待聚类图像删除。
76.一些实施例中，当待聚类图像为包括车身信息和人脸信息但无法聚类到图像档案中的图像时，可以根据人脸信息聚类到多个人脸档案中，每个人脸档案中包括同一个人的人脸信息。其中，每个人脸档案中的多个图像按照时间信息进行排序。当待聚类图像为人脸档案中的图像时，可以记录人脸档案中每个图像对应的车牌的图像档案，统计每个车牌出现的次数。例如，某一人脸档案中存在10个只包括人脸信息的图像，当人脸信息的前4个相邻的图像对应车牌1，后6个相邻的图像对应车牌2，假设人脸档案对应的次数阈值为3，则该人脸图像中出现次数最多的车牌(车牌2)出现的次数大于次数阈值，则将车牌2对应的6个相邻的图像聚类到车来2对应的图像档案中。
77.一些实施例中，多个采集设备采集的图像包括含有车牌信息的多个第一类图像，以及含有人脸信息且不包括车牌信息的第二类图像。可以通过如下方式确定图像档案：首先，按照车牌信息，将多个第一类图像进行聚类，得到多个初始图像档案。进一步地，按照人脸信息，将多个第二类图像与多个初始图像档案进行聚类，得到多个图像档案。
78.一些实施例中，按照车牌信息，将多个第一类图像进行聚类，得到多个初始图像档
案，具体可以通过如下方式实现：将多个第一类图像按照车牌信息进行聚类，确定多个车牌图像档案。其中，第一类图像为人脸信息和车牌信息都包含的图像，或为只包含车牌信息不包括人脸信息的图像。对于第一类图像，可以按照车牌信息进行聚类，将同一车牌号的图像聚类到一个车牌图像档案中，得到多个车牌图像档案。进一步地，可以针对任意一个车牌图像档案，筛选出车牌图像档案中不符合时空合理性条件以及车身相似度条件的错误车牌图像。其中，时空合理性条件为车牌图像档案中根据任相邻的两个图像的地理位置确定的平均速度小于速度阈值，车身相似度条件为任相邻的两个图像的车身属性信息相同，车身属性信息包括以下至少一项：车身颜色、车辆型号、车内挂饰。其中，相邻的两个图像为车牌图像档案中按照时间信息进行排序后相邻的图像。
79.作为一种举例，可以对车牌图像档案中的每个图像按照时间信息进行排序。对第m和m+1个图像，判定时空合理性，获取这两个图像的位置信息，根据位置信息之间的行驶距离，计算得到平均速度。当平均速度大于最大速度阈值时，则认为不合理。进一步地，可以对第m和m+1个图像进行车身相似度判断。具体地，可以获取车身属性信息，车身属性信息包括车身颜色、车辆型号、车内挂饰等至少一项。当第m和m+1个图像之间的车身属性信息中的至少一项一致时，确定第m和m+1个图像满足车身相似度条件。否则，将该图像确定为错误车辆图像。
80.一些实施例中，当第m个图像为既包括人脸信息又包括车牌信息的图像时，在车牌图像档案中按照时间信息确定下一个既包括人脸信息又包括车牌信息的图像，将此图像记为图像c。如果根据第m个图像和图像c的位置信息确定的平均速度不低于下限速度阈值且第m个图像和图像c的人脸信息的质量分数均不低于设定质量阈值时，则对第m个图像和图像c的人脸信息进行特征相似度判断。当至少一个人脸相似度不低于设定阈值时，则认为第m个图像和图像c相似，否则移除该车辆图像档案，一些场景中，当第m个图像和图像c中的主副驾都有人时，则根据第m个图像中的主驾驶的人脸信息分别与图像c中的主副驾驶的人脸信息确定两个特征相似度，再根据第m个图像中的副驾驶的人脸信息分别与图像c中的主副驾驶的人脸信息确定两个特征相似度。当四个特征相似度均低于设定阈值时，则认为该图像为错误车牌图像。
81.一些实施例中，可以根据错误车牌图像的车牌信息中的字符错误概率，以及车牌信息中的字符被预测为其它字符的概率，确定车牌信息对应的多个预测车牌以及每个预测车牌对应的车牌概率。进一步地，可以按照每个预测车牌的车牌概率由高到低的顺序，若错误车牌图像在预测车牌对应的车牌图像档案中满足时空合理性条件以及人脸相似度条件，则将错误车牌图像聚类到预测车牌信息对应的车牌图像档案中，以得到初始图像档案。
82.作为一种举例，在进行车牌识别时，容易将b和8、0和o混淆。其中，每个字符对应有字符错误概率及车牌信息中的字符被预测为其它字符的概率，两个概率相乘得每个预测车牌对应的车牌概率。举例：车牌号“江a 8z7l3”，字符8的字符错误概率为5％，预测为字符b的概率为80％，预测为字符g的概率为20％；字母z的字符错误概率为2％，预测为字符2的概率为90％，预测为字符9的概率为10％。确定车牌概率后，可以按照车牌概率的高低进行排序。预测车牌“江a bz7l3”的车牌概率为4％，预测车牌为“江a 827l3”的车牌概率为1.8％，预测车牌为“江a gz7l3”的车牌概率为1％，预测车牌为“江a 897l3”的车牌概率为0.2％。预设概率阈值，对高于阈值的概率对应的车牌可能性，按概率值依次将错误车牌图像放到
该车牌对应的图像档案内进行检查，以确定错误车牌图像是否满足时空合理性条件以及车身相似度条件。其中，当车身属性信息包括的车身颜色、车辆型号、车内挂饰均相同时，认为满足车身相似度条件。此时，可以将错误车牌图像聚类到该预测车牌对应的车牌图像档案中，以得到初始图像档案。例如，可以将错误车牌图像放入“江a bz7l3”对应的车辆图像档案中，当满足时空合理性条件以及车身相似度条件时，则将该错误车牌图像聚类到江a bz7l3”对应的车辆图像档案中。当将错误车牌图像放入“江a bz7l3”对应的车辆图像档案中且不满足时空合理性条件以及车身相似度条件时，则将错误车牌图像放入“江a 827l3”对应的车辆图像档案中，以判断错误车牌图像在该车辆图像档案中是否满足时空合理性条件以及车身相似度条件。
83.一些实施例中，若错误车牌图像在多个预测车牌对应的车牌图像档案中均不满足时空合理性条件以及车身相似度条件时，则将错误车牌图像放入错误车牌图像被筛选之前所在的车牌图像档案中，以得到初始图像档案。
84.一些实施例中，按照人脸信息，将多个第二类图像与多个初始图像档案进行聚类，得到多个图像档案，可以通过以下步骤实现：将第二类图像和第一类图像按照人脸信息进行聚类得到多个人脸图像档案；将每个人脸图像档案中的图像按照时间顺序进行排序，并针对人脸图像档案中的每个第二类图像，确定与第二类图像时间信息最接近的相邻第一类图像；当第二类图像在相邻第一类图像对应的初始图像档案中符合时空合理性条件以及车身相似度条件时，将第二类图像聚类到相邻第一类图像对应的初始图像档案中，得到图像档案。
85.一些实施例中，若第二类图像在相邻第一类图像对应的初始图像档案中不符合时空合理性条件以及车身相似度条件，则确定人脸图像档案中的次相邻第一类图像。若第二类图像在次相邻第一类图像对应的初始图像档案中符合时空合理性条件以及车身相似度条件，则将第二类图像聚类到次相邻第一类图像对应的初始图像档案中，得到图像档案。其中，次相邻第一类图像和相邻第一类图像为人脸图像档案中时间上最接近第二类图像的第一类图像，且次相邻第一类图像和相邻第一类图像分别分布在第二类图像对应的时间前后。
86.作为一种举例，对于人脸图像档案内有第一类图像的人脸图像档案，可以在人脸图像档案内按照时间顺序进行排序。对于每个第二类图像，根据时间信息确定时间上最接近的第一类图像，并确定该第一类图像对应的初始图像档案。进一步地，可以将第二类图像按时间插入到该第一类图像对应的初始图像档案并判断是否满足符合时空合理性条件以及车身相似度条件。否则，确定人脸图像档案中次相邻第一类图像，进而确定第二类图像在次相邻第一类图像对应的初始图像档案中是否符合时空合理性条件以及车身相似度条件。作为一种举例，某人脸图像档案中，某个第二类图像对应的时间信息的2分钟前有一张第一类图像，3分钟前还有一张第一类图像，4分钟后有一张第一类图像。则首先将该第二类图像放到2分钟前的第一类图像对应的初始图像档案中进行时空合理性条件以及车身相似度条件。若不符合，则将第二类图像放入4分钟后的第一类图像对应的初始图像档案中，并进行时空合理性条件和车身相似度条件据的判断。
87.一些实施例中，对于人脸图像档案中不包括第一类图像的人脸档案，可以作为待聚类图像进行判断。
88.基于相同的技术构思，本技术实施例提供了一种图像聚类装置300，参见图3所示。该装置300可以执行上述图像聚类方法中的各个步骤。该装置300包括第一确定模块301、第二确定模块302以及比对模块303。
89.第一确定模块301，用于针对图像档案中任意相邻的两个图像，从待聚类图像中确定所述相邻的两个图像对应的时间范围之间，且对应的地理位置之间的多个第一待聚类图像；所述图像档案为多个采集设备采集的按照车牌信息和人脸信息进行聚类后的同一车辆的多个图像，所述相邻的两个图像为按照时间信息进行排序后相邻的图像；所述待聚类图像为所述图像档案对应的所述多个采集设备采集的无法聚类到所述图像档案的图像；
90.第二确定模块302，确定从所述多个第一待聚类图像中，确定车辆平均速度位于行驶速度范围内的k个第二待聚类图像；所述车辆平均速度是所述第一待聚类图像和目标图像对应的地理位置之间的平均速度，所述目标图像是所述相邻的两个图像中的任一图像，所述行驶速度范围是根据所述相邻的两个图像分别对应的时间信息和位置信息确定的；
91.比对模块303，用于针对每个第二待聚类图像，将所述第二待聚类图像的车辆特征信息分别与所述图像档案中的l个图像的车辆特征信息进行比对得到l个特征相似度，所述l个图像中每个图像的车辆角度信息与所述第二待聚类图像的车辆角度信息之间的偏差小于设定偏差阈值；
92.所述第二确定模块302，还用于当根据所述l个特征相似度确定所述第二待聚类图像满足聚类条件时，将所述第二待聚类图像聚类到所述图像档案中。
93.一些实施例中，所述第二确定模块302，在根据所述l个特征相似度确定所述第二待聚类图像满足聚类条件时，具体用于：
94.若所述l个图像中所述特征相似度大于相似度阈值的图像数量，则根据所述图像数量确定相似图像比例；当所述相似图像比例大于设定比例阈值时，确定所述第二待聚类图像满足聚类条件。
95.一些实施例中，在其他图像档案中所述第二待聚类图像存在相似图像比例，所述聚类条件还包括所述第二待聚类图像在其他图像档案中的相似图像比例均小于所述第二待聚类图像在所述图像档案中的相似图像比例。
96.一些实施例中，所述多个采集设备采集的图像包括含有车牌信息的多个第一类图像，以及含有人脸信息且不包括车牌信息的第二类图像，所述第一确定模块301，还用于通过如下方式确定图像档案：
97.按照车牌信息，将所述多个第一类图像进行聚类，得到多个初始图像档案；
98.按照人脸信息，将所述多个第二类图像与所述多个初始图像档案进行聚类，得到多个图像档案。
99.一些实施例中，所述第一确定模块301，在按照车牌信息，将所述多个第一类图像进行聚类，得到多个初始图像档案时，具体用于：将所述多个第一类图像按照车牌信息进行聚类，确定多个车牌图像档案；针对任意一个车牌图像档案，筛选出所述车牌图像档案中不符合时空合理性条件以及车身相似度条件的错误车牌图像；根据所述错误车牌图像的车牌信息中的字符错误概率，以及所述车牌信息中的字符被预测为其它字符的概率，确定所述车牌信息对应的多个预测车牌以及每个预测车牌对应的车牌概率；按照所述每个预测车牌的车牌概率由高到低的顺序，若所述错误车牌图像在所述预测车牌对应的车牌图像档案中
满足时空合理性条件以及人脸相似度条件，则将所述错误车牌图像聚类到所述预测车牌信息对应的车牌图像档案中，以得到初始图像档案。
100.一些实施例中，若所述错误车牌图像在所述多个预测车牌对应的车牌图像档案中均不满足时空合理性条件以及车身相似度条件时，则将所述错误车牌图像放入所述错误车牌图像被筛选之前所在的车牌图像档案中，以得到初始图像档案。
101.一些实施例中，所述时空合理性条件为所述车牌图像档案中根据任相邻的两个图像的地理位置确定的平均速度小于速度阈值，所述车身相似度条件为所述任相邻的两个图像的车身属性信息相同，所述车身属性信息包括以下至少一项：车身颜色、车辆型号、车内挂饰；所述相邻的两个图像为所述车牌图像档案中按照时间信息进行排序后相邻的图像。
102.一些实施例中，所述第一确定模块301，在按照人脸信息，将所述多个第二类图像与所述多个初始图像档案进行聚类，得到多个图像档案时，具体用于：将所述第二类图像和所述第一类图像按照人脸信息进行聚类得到多个人脸图像档案；将所述每个人脸图像档案中的图像按照时间顺序进行排序，并针对所述人脸图像档案中的每个第二类图像，确定与所述第二类图像时间信息最接近的相邻第一类图像；当所述第二类图像在所述相邻第一类图像对应的初始图像档案中符合时空合理性条件以及车身相似度条件时，将所述第二类图像聚类到所述相邻第一类图像对应的初始图像档案中，得到图像档案。
103.一些实施例中，所述第一确定模块301还用于：若所述第二类图像在所述相邻第一类图像对应的初始图像档案中不符合时空合理性条件以及车身相似度条件，则确定所述人脸图像档案中的次相邻第一类图像，所述次相邻第一类图像和所述相邻第一类图像为所述人脸图像档案中时间上最接近所述第二类图像的第一类图像，且所述次相邻第一类图像和所述相邻第一类图像分别分布在所述第二类图像对应的时间前后；若所述第二类图像在所述次相邻第一类图像对应的初始图像档案中符合时空合理性条件以及车身相似度条件，则将所述第二类图像聚类到所述次相邻第一类图像对应的初始图像档案中，得到图像档案。
104.基于相同的技术构思，本技术实施例提供了一种执行设备400，参见图4所示。该设备400可以执行上述图像聚类方法中的各个步骤。该设备400包括存储器401和处理器402。
105.所述存储器401，用于存储程序指令；
106.所述处理器402，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述图像聚类方法中的任一步骤。
107.在本技术实施例中，处理器402可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
108.存储器401作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器401可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read-only memory，
eeprom)、磁性存储器、磁盘、光盘等等。存储器401是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器401还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
109.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
110.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
111.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
112.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
113.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。