一种人脸图像的聚类方法、系统、装置及计算机可读介质与流程

1.本发明涉及图像聚类领域，特别是涉及一种人脸图像的聚类方法、系统、装置及计算机可读介质。


背景技术：

2.随着科技的发展，互联网用户的数量越来越多，数据库中存储的人脸图像数据也会越来越多，但是人脸图像在刚存储到数据库中时，不能确定该人脸图像属于哪个用户，需要人工对人脸图像进行标记以确定该人脸图像属于哪个用户，为了提高标记效率，需要使用聚类算法将同一个用户的多个人脸图像聚类到一个集合中，以便人工对该集合中的人脸图像统一打上同一个用户的标记，进而提高了标记效率。现有技术在对人脸图像进行聚类时，会先根据人脸图像的质量分进行初步筛选，只对质量分高的人脸图像进行聚类，其中人脸图像的人脸俯仰角、偏航角、翻滚角、模糊程度、亮度值和像素值等项都会影响质量分，只将质量分高的人脸图像进行聚类的方法虽然能够得到准确地聚类结果，但是会导致大量的质量分低的人脸图像没有进行聚类，存在大量的孤立图像，有聚类效果差的问题。


技术实现要素：

3.本发明的目的是提供一种人脸图像的聚类方法、系统、装置及计算机可读介质，能够将未能进行初步聚类的孤立图像进行第二次聚类，将其加入到相应的图像集合中，以减少孤立图像的数量，提高聚类的效果。
4.为解决上述技术问题，本发明提供了一种人脸图像的聚类方法，包括：
5.对预设数量的人脸图像进行初步聚类，得到n个人脸对应的图像集合和m个未聚类的孤立图像，n为不小于2的整数，m为正整数；
6.确定各个所述图像集合的代表元，所述代表元为代表所述图像集合中所有人脸图像的图像特征的元素；
7.对于任一所述代表元，分别确定所述代表元的图像特征与其他n-1个所述代表元的图像特征之间的第一相似度；
8.在所有所述第一相似度中，确定数值最大的所述第一相似度作为最大阈值；
9.对于任一所述孤立图像，分别确定所述孤立图像的图像特征与n个所述代表元的图像特征之间的第二相似度；
10.对于任一所述孤立图像，当存在所述第二相似度大于所述最大阈值的所述代表元时，将所述孤立图像加入所述第二相似度最大的所述代表元对应的图像集合。
11.优选的，在对预设数量的人脸图像进行初步聚类之前，还包括：
12.确定所述预设数量的所述人脸图像的质量分，所述质量分根据所述人脸图像的模糊度、亮度、人脸的被遮挡面积和人脸被拍摄到的角度中的至少一项确定得到；
13.将所述质量分小于预设质量分的人脸图像确定为所述孤立图像；
14.对预设数量的人脸图像进行初步聚类，包括：
15.对所述质量分大于所述预设质量分的人脸图像进行初步聚类。
16.优选的，对预设数量的人脸图像进行初步聚类，包括：
17.确定预设数量的所述人脸图像中的任意两个人脸图像的图像特征之间的余弦相似度；
18.对于任一所述人脸图像，当存在自身对应的余弦相似度大于预设相似度时，将数值大于预设相似度的自身对应的余弦相似度中的其他所有所述人脸图像与自身进行聚类，得到自身对应的所述图像集合；
19.当不存在自身对应的余弦相似度大于预设相似度时，将自身确定为所述孤立图像。
20.优选的，在确定各个所述图像集合的代表元之前，还包括：
21.将包含同一个所述人脸图像的各个所述图像集合进行合并，得到新的各个所述图像集合。
22.优选的，所述代表元为对应的所述图像集合中的所有人脸图像的图像特征的平均值。
23.优选的，在将所述孤立图像加入所述第二相似度最大的所述代表元对应的图像集合之后，还包括：
24.确定所述图像集合中的各个所述人脸图像的第一性别信息；
25.确定所述图像集合中的相同数量最多的所述第一性别信息作为所述图像集合的第二性别信息；
26.将所述第一性别信息与所述第二性别信息不一致的所述人脸图像移出所述图像集合。
27.优选的，在将所述第一性别信息与所述第二性别信息不一致的所述人脸图像移出所述图像集合之后，还包括：
28.对于各个被移出的所述人脸图像，确定被移出的所述人脸图像的图像特征与各个所述代表元的图像特征之间的第三相似度；
29.若存在所述第三相似度大于所述最大阈值，则将被移出的所述人脸图像加入所述第三相似度最大的所述代表元对应的图像集合。
30.本技术还提供一种人脸图像的聚类系统，包括：
31.第一聚类单元，用于对预设数量的人脸图像进行初步聚类，得到n个人脸对应的图像集合和m个未聚类的孤立图像，n为不小于2的整数，m为正整数；
32.代表元确定单元，用于确定各个所述图像集合的代表元，所述代表元为代表所述图像集合中所有人脸图像的图像特征的元素；
33.第一相似度确定单元，用于对于任一所述代表元，分别确定所述代表元的图像特征与其他n-1个所述代表元的图像特征之间的第一相似度；
34.最大阈值确定单元，用于在所有所述第一相似度中，确定数值最大的所述第一相似度作为最大阈值；
35.第二相似度确定单元，用于对于任一所述孤立图像，确定所述孤立图像的图像特征与n个所述代表元的图像特征之间的第二相似度；
36.第二聚类单元，用于对于任一所述孤立图像，当存在所述第二相似度大于所述最
大阈值时，将所述孤立图像加入所述第二相似度最大的所述代表元对应的图像集合。
37.本技术还提供一种人脸图像的聚类装置，包括：
38.存储器，用于存储计算机程序；
39.处理器，用于执行所述计算机程序时实现如上述的人脸图像的聚类方法的步骤。
40.本技术还提供一种计算机可读介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的人脸图像的聚类方法的步骤。
41.本发明提供了一种人脸图像的聚类方法、系统、装置及计算机可读介质，首先将预设数量的人脸图像进行初步聚类，得到n个聚类后的图像集合和m个未聚类的孤立图像，然后确定各个图像集合的代表元，代表元为表示该图像集合中所有人脸图像的图像特征的元素，确定出每个代表元的图像特征与其他代表元的图像特征之间的第一相似度，将数值最大的第一相似度作为最大阈值，对于任一个孤立图像，再确定孤立图像的图像特征与各个代表元的图像特征之间的第二相似度，若存在第二相似度大于最大阈值，则将孤立图像加入第二相似度最大的代表元对应的图像集合。在确保聚类的正确性的同时，能够将未能参与初步聚类的各个孤立图像进行二次聚类，通过二次聚类能够将这些孤立图像被聚类到相应的图像集合中，进而实现减少孤立图像的数量的目的，提高聚类的效果。
附图说明
42.为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本技术提供的一种人脸图像的聚类方法的流程图；
44.图2为本技术提供的四种聚类方式对应的聚类效果的示意图；
45.图3为本技术提供的一种人脸图像的聚类系统的结构示意图；
46.图4为本技术提供的一种人脸图像的聚类装置的结构示意图。
具体实施方式
47.本发明的核心是提供一种人脸图像的聚类方法、系统、装置及计算机可读介质，能够将未能进行初步聚类的孤立图像进行第二次聚类，将其加入到相应的图像集合中，以减少孤立图像的数量，提高聚类的效果。
48.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.请参照图1，图1为本技术提供的一种人脸图像的聚类方法的流程图，该方法包括：
50.s11：对预设数量的人脸图像进行初步聚类，得到n个人脸对应的图像集合和m个未聚类的孤立图像，n为不小于2的整数，m为正整数；
51.s12：确定各个图像集合的代表元，代表元为代表图像集合中所有人脸图像的图像特征的元素；
52.s13：对于任一代表元，分别确定代表元的图像特征与其他n-1个代表元的图像特征之间的第一相似度；
53.s14：在所有第一相似度中，确定数值最大的第一相似度作为最大阈值；
54.s15：对于任一孤立图像，分别确定孤立图像的图像特征与n个代表元的图像特征之间的第二相似度；
55.s16：对于任一孤立图像，当存在第二相似度大于最大阈值时，将孤立图像加入第二相似度最大的代表元对应的图像集合。
56.在对预设数量的人脸图像进行聚类时，聚类的效果会受到人脸图像本身的质量分的高低、聚类时设定的各种阈值如相似度阈值的高低以及处理器性能的高低等因素的影响，现有技术中通常只进行一次聚类也即初步聚类，聚类效果较大程度依赖于人为设置的阈值大小，当阈值设置得较高时，会使得较多的人脸图像不符合聚类要求，这些不符合聚类要求的人脸图像不会被聚类到任一个图像集合中，从而产生较多孤立存在的图像也即孤立图像；当阈值设置得较低时，则有可能将不同行人的人脸图像错误地聚类到同一个图像集合中。可见，现有聚类方法聚类效果差，其为了首先确保聚类的正确性，通常选择设置较高的阈值，但会使得大部分的人脸图像未被聚类到任一个图像集合中，成为了孤立存在一个图像。
57.由于孤立图像过多会增加人工标记图像的工作量，为了减少孤立图像的图像，本技术中，在进行聚类后，会得到n个图像集合和m个孤立图像，可以将所有的孤立图像和所有的图像集合分别看作是两个不同的集合，将其称为数据集合和孤立集合，需要将孤立集合中的元素转移到数据集合中。首先确定这些图像集合的代表元，代表元是一个能够代表这个图像集合中所有人脸图像的图像特征的元素，相当于是这个图像集合中的最能代表这个图像集合对应的人物的一张特征图，例如，该图像集合中质量分最高的一张人脸图像可以看作是代表元，或该图像集合中所有人脸图像的图像特征均值也可以看作是代表元。在得到代表元后，只要确定孤立图像和代表元之间的第二相似度，确定第二相似度是否大于预设阈值，大于时把孤立图像加入到第二相似度最大的代表元所在的图像集合即可，但是，对于预设阈值来说，考虑到图像特征之间的相似度判定标准是会随着拍摄场景变化的，可能在a场景中，第二相似度只要大于50％就可以确定是同一个人，但在b场景中，第二相似度可能要大于70％才可以确定是同一个人，可见不同的阈值会直接影响到最终的聚类效果。为了提高聚类效果，使用最大阈值来代替预设阈值，具体的，每个代表元与其他代表元之间都会计算出第一相似度，也即每个代表元都会与除自身外的其他所有的代表元进行相似度对比，以确定自身与其他每个代表元之间的第一相似度，然后在所有的第一相似度中确定出数值最大的第一相似度作为最大阈值，若第二相似度大于最大阈值，说明该孤立图像与某个代表元之间的足够相似，此时可以确定该孤立图像与该代表元表示的是同一个人物，那么就可以将该孤立图像加入到该代表元对应的图像集合中，若该孤立图像的所有第二相似度都没有大于最大阈值，则该孤立图像仍为孤立图像。进一步的，还可以在确定了每个代表元与除自身外其他所有代表元之间的第一相似度后，将每个代表元自身对应的数值最大的第一相似度取一个平均值，该平均值也可以代替预设阈值。
58.还需要说明的是，第一相似度表示着代表元和其他各个代表元之间的相似度，相当于一个图像集合与其他图像集合之间的类间相似度，若第二相似度比最大阈值大，说明
该孤立图像对应的人物与某个代表元对应的人物之间足够相似，通常此时就可以判定为同一人物，可见，其能够有效地将孤立图像进行聚类。此外，若直接使用初步聚类时的相似度阈值作为最大阈值，由于其数值较高，会导致成功聚类的图像较少，效果相比于使用最大阈值要差。
59.本发明提供了一种人脸图像的聚类方法、系统、装置及计算机可读介质，首先将预设数量的人脸图像进行初步聚类，得到n个聚类后的图像集合和m个未聚类的孤立图像，然后确定各个图像集合的代表元，代表元为表示该图像集合中所有人脸图像的图像特征的元素，确定出每个代表元的图像特征与其他代表元的图像特征之间的第一相似度，将数值最大的第一相似度作为最大阈值，对于任一个孤立图像，再确定孤立图像的图像特征与各个代表元的图像特征之间的第二相似度，若存在第二相似度大于最大阈值，则将孤立图像加入第二相似度最大的代表元对应的图像集合。在确保聚类的正确性的同时，能够将未能参与初步聚类的各个孤立图像进行二次聚类，通过二次聚类能够将这些孤立图像被聚类到相应的图像集合中，进而实现减少孤立图像的数量的目的，提高聚类的效果。
60.在上述实施例的基础上：
61.作为一种优选的实施例，在对预设数量的人脸图像进行初步聚类之前，还包括：
62.确定预设数量的人脸图像的质量分，质量分根据人脸图像的模糊度、亮度、人脸的被遮挡面积和人脸被拍摄到的角度中的至少一项确定得到；
63.将质量分小于预设质量分的人脸图像确定为孤立图像；
64.对预设数量的人脸图像进行初步聚类，包括：
65.对质量分大于预设质量分的人脸图像进行初步聚类。
66.为了将各个人脸图像进行聚类，本技术中，考虑到不同的人脸图像的图像质量不同，例如，在一张人脸图像中，图像本身的模糊度和对焦、拍摄图像的摄像头的分辨率和抖动程度、该人脸图像中的环境亮度、该人脸图像中人脸被其他物体遮挡的程度以及拍摄到的人脸相对于摄像头的角度如人脸正面向着摄像头等因素，都会影响人脸图像的质量分，由于质量分越高说明该人脸图像越容易被聚类，为了保证图像聚类的准确性，减少人脸图像聚类到错误的图像集合中的情况，将根据实际情况预先设定一个预设质量分，可以将质量分大于预设质量分的人脸图像作为需要进行聚类的图像，以便对这些图像进行聚类；而小于预设质量分的人脸图像则确定为孤立图像，以便后续对这些孤立图像进行处理。由于进行聚类的图像均为质量分高的人脸图像，能够得到准确地聚类结果，避免因为部分人脸图像的质量分低而将该人脸图像聚类到错误的图像集合中。请参照图2，图2为本技术提供的四种聚类方式对应的聚类效果的示意图，可见，只进行一次聚类也即初步聚类的聚类效果比进行两次聚类的聚类效果差；而对于进行两次聚类，则经过质量分过滤后的聚类效果比不经过质量分过滤的聚类效果好。
67.作为一种优选的实施例，对预设数量的人脸图像进行初步聚类，包括：
68.确定预设数量的人脸图像中的任意两个人脸图像的图像特征之间的余弦相似度；
69.对于任一人脸图像，当存在自身对应的余弦相似度大于预设相似度时，将数值大于预设相似度的自身对应的余弦相似度中的其他所有人脸图像与自身进行聚类，得到自身对应的图像集合；
70.当不存在自身对应的余弦相似度大于预设相似度时，将自身确定为孤立图像。
71.在进行聚类时，可以使用归一化的余弦相似度作为度量特征相似度的方式。余弦相似度是通过测量两个图像特征的余弦值来度量它们之间的相似性。通过两个图像特征之间的角度的余弦值确定两个这两个图像特征是否大致指向相同的方向，两个图像特征之间完全一致时，余弦相似度的值为1；两个图像特征之间完全不一致时，余弦相似度的值为-1。由于余弦相似度的计算结果是与图像特征的特征值大小或者向量长度无关，只与两个图像特征之间是否相似相关，可见，两个人脸图像之间越相似，则余弦相似度越接近1，而两个人脸图像之间越不相似，则余弦相似度越接近-1。对于每个人脸图像，都能得到自身与所有其他人脸图像之间的余弦相似度，然后将余弦相似度大于预设相似度的其他人脸图像聚类到自身的图像集合中，例如，若总共有a、b和c三个人脸图像，首先确定这些人脸图像两两之间的余弦相似度，可以设a与b之间的余弦相似度为0.8，a与c之间为0.4，b与c之间为0.6，若预设相似度为0.5，则a与b会聚类到一个图像集合中，b与c会聚类到另一个图像集合中，若新增一个d人脸图像，d与其他三个图像之间的相似度均低于0.5，则d不会聚类到任一个图像集合中，所以d为孤立图像。通过余弦相似度，能够简单且清楚地确定各个人脸图像之间的相似度。
72.作为一种优选的实施例，在确定各个图像集合的代表元之前，还包括：
73.将包含同一个人脸图像的各个图像集合进行合并，得到新的各个图像集合。
74.在对一个人物的所有人脸图像进行聚类时，聚类效果会受到每个人脸图像的质量分或拍摄环境等因素的影响，可能会导致将同一个人物的所有人脸图像聚类成多个图像集合，为了使一个人物只对应一个图像集合，本技术中，会将所有的包含同一个人脸图像的图像集合合并成一个集合，例如，若一个人物总共有a、b、c和d共4个人脸图像，若进行聚类时，生成了两个图像集合，分别是【a，b】和【b，c，d】，可见，这两个集合中均含有b，a与b相似，而cd也与b相似，所以可以认为a和c或d也是相似的，将这两个集合进行合并，也即使用并查集的形式，得到图像集合【a，b，c，d】，这个集合即为该人物对应的图像集合。
75.作为一种优选的实施例，代表元为对应的图像集合中的所有人脸图像的图像特征的平均值。
76.图像特征的平均值表示着该图像集合中，所有人脸图像的图像特征的平均水平，该平均值通常能够表示该图像集合对应的人物的特征标准，例如，通过多张人脸图像的图像特征，可以确定该人物的五官大致的形状以及大小等。所以将平均值作为代表元可以确定某个孤立图像是否为该图像集合对应的人物图像，而且不需要人工从图像集合中选出一个能够代表该图像集合的人脸图像，在实现代表元的功能的同时能够减少工作量。
77.作为一种优选的实施例，在将孤立图像加入第二相似度最大的代表元对应的图像集合之后，还包括：
78.确定图像集合中的各个人脸图像的第一性别信息；
79.确定图像集合中的相同数量最多的第一性别信息作为图像集合的第二性别信息；
80.将第一性别信息与第二性别信息不一致的人脸图像移出图像集合。
81.在实际应用场景中，会存在不同的人脸之间相似的情况，在进行聚类的时候，可能会误将一些特征相似的但非同一人物的人脸图像聚类到同一人物的图像集合中，为了避免这种情况，同时考虑到性别是能够明确判定某张人脸图像是否属于某个图像集合的因素，在本实施例中，通过确定各个人脸图像的第一性别信息，利用性别信息对二次聚类的结果
进行清洗，筛选出图像集合中明显被错误聚类的人脸图像，确定过程可以是利用预先训练好的神经网络模型来确定，该神经网络模型预先由多个人脸图像的性别信息训练得到的，该神经网络模型可以是复用上述实施例中的神经网络模型，也可以是独立的一个神经网络模型，本技术对此不作限定。在确定了一个图像集合中所有的人脸图像的性别信息后，可以确定出哪个性别的人脸图像的数量最多，则将数量最多的性别作为该图像集合的第二性别信息，由于本技术需要得到的每个图像集合中应只包含一个人物的人脸图像，而一个人物只能拥有一种性别，此时可以确定不属于第二性别信息的人脸图像不是该人物的人脸图像，所以将这些人脸图像从该图像集合中移出。例如，若图像集合中有4张人脸图像，其第一性别信息分别是：男、男、男和女，可以确定该图像集合的第二性别信息为男，也即确定该图像集合中的人物为男性，进而可以确定这张第一性别信息为女的人脸图像并非该人物的图像，则将其移出该图像集合，以避免将相似的人脸图像聚类到不属于该人脸的图像集合中。
82.作为一种优选的实施例，在将第一性别信息与第二性别信息不一致的人脸图像移出图像集合之后，还包括：
83.对于各个被移出的人脸图像，确定被移出的人脸图像的图像特征与各个代表元的图像特征之间的第三相似度；
84.若存在第三相似度大于最大阈值，则将被移出的人脸图像加入第三相似度最大的代表元对应的图像集合。
85.为了减少被移出的人脸图像的数量，本技术中，考虑到被移出后的人脸图像不属于任一个图像集合，这些图像相当于孤立图像，由于这些被移出的人脸图像通常是在执行s11时就被聚类到错误的图像集合中，其并未参与s15即和代表元进行相似度对比的步骤，所以此时确定各个代表元的图像特征和这些被移出的人脸图像的图像特征之间的相似度，以使得每个被移出的人脸图像都能得出其与各个代表元的图像特征之间的第三相似度，然后，对于每个被移出的人脸图像，都进行判断是否存在第三相似度大于最大阈值，若存在，则将该被移出的人脸图像加入到第三相似度最大代表元对应的图像集合中，以减少被移出的人脸图像的数量。
86.请参照图3，图3为本技术提供的一种人脸图像的聚类系统的结构示意图，包括：
87.第一聚类单元11，用于对预设数量的人脸图像进行初步聚类，得到n个人脸对应的图像集合和m个未聚类的孤立图像，n为不小于2的整数，m为正整数；
88.代表元确定单元12，用于确定各个图像集合的代表元，代表元为代表图像集合中所有人脸图像的图像特征的元素；
89.第一相似度确定单元13，用于对于任一代表元，分别确定代表元的图像特征与其他n-1个代表元的图像特征之间的第一相似度；
90.最大阈值确定单元14，用于在所有第一相似度中，确定数值最大的第一相似度作为最大阈值；
91.第二相似度确定单元15，用于对于任一孤立图像，确定孤立图像的图像特征与n个代表元的图像特征之间的第二相似度；
92.第二聚类单元16，用于对于任一孤立图像，当存在第二相似度大于最大阈值时，将孤立图像加入第二相似度最大的代表元对应的图像集合。
93.对于本技术提供的一种人脸图像的聚类系统的详细介绍，请参照上述人脸图像的
聚类方法的实施例，本技术在此不再赘述。
94.请参照图4，图4为本技术提供的一种人脸图像的聚类装置的结构示意图，包括：
95.存储器21，用于存储计算机程序；
96.处理器22，用于执行计算机程序时实现如上述的人脸图像的聚类方法的步骤。
97.对于本技术提供的一种人脸图像的聚类装置的详细介绍，请参照上述人脸图像的聚类方法的实施例，本技术在此不再赘述。
98.本技术还提供一种计算机可读介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的人脸图像的聚类方法的步骤。
99.对于本技术提供的一种计算机可读介质的详细介绍，请参照上述人脸图像的聚类方法的实施例，本技术在此不再赘述。
100.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
101.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。