一种人脸图像数据聚类方法、系统及设备与流程
本发明涉及人脸识别技术领域，尤其涉及一种人脸图像数据聚类方法、系统及设备。
背景技术：
随着深度学习的快速发展，基于深度神经网络的人脸识别算法被广泛应用到了各个领域。为了获得更加有效稳定的深度学习人脸识别模型，通常需要用数量规模极大的人脸样本进行训练学习，而对这些训练样本的标注及清理工作的人力及时间成本是非常高的。因此，现有一些技术提出了利用聚类算法，实现对大量未标注人脸图像的自动标注处理。最常使用的聚类算法有k-means聚类、谱聚类算法、层次聚类算法等。
在使用k-means聚类算法的过程中，均是通过假设某个类中的样本都会紧紧围绕在一个聚类中心分布来计算的，然而真实场景下同个人的人脸图像会因为角度、光照等因素导致实际分布呈现更为复杂的分布，因此该聚类算法很容易会将一个人的人脸图像聚集成多个类别。谱聚类算法要求数据集中的不同类别的样本数量是均衡的，即不同人的人脸图像数量差别不大，但是真实采集的数据经常不能满足这一假设，可能有些人采集到的图像只有单张，而一些人的图像会非常多。因此谱聚类方法对一些孤立的样本或者噪声样本非常敏感，从而导致聚类偏差很大，进而影响人脸数据集的采集。
技术实现要素：
本发明实施例的目的是提供一种人脸图像数据聚类方法、系统及设备，针对现实场景采集到的人脸样本分布特点，采用连接图模型描述样本之间的关系，从而得到对人脸图像的聚类结果，有效减少聚类偏差。
为实现上述目的，本发明实施例提供了一种人脸图像数据聚类方法，包括：
将人脸图像输入到预设的特征提取模型中，以提取出特征数据；
采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
获取所述相似分数大于预设第一相似阈值的两张人脸图像作为图像对集合中的候选图像对；
计算所述候选图像对的特征向量，并将所述特征向量输入到预设的分类器中，以使所述分类器对所述候选图像对进行识别；
当所述分类器判定所述候选图像对不属于同一个人时，将所述候选图像对从所述图像对集合中移除；
将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类。
作为上述方案的改进，所述采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数后，所述方法还包括：
获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；其中，所述近邻关系图包括若干结点，每一结点表示一个人脸图像，连接所述结点之间的边表示其对应的人脸图像为属于同一个人的人脸图像。
作为上述方案的改进，所述计算所述候选图像对的特征向量，具体包括：
根据所述近邻关系图计算所述候选图像对的特征向量；其中，所述特征向量包括近邻连接关系特征向量和相似分数特征向量；
所述邻连接关系特征向量满足以下公式：
其中，ir为所述邻连接关系特征向量；
所述相似分数特征向量满足以下公式：
其中，ia为所述相似分数特征向量，
作为上述方案的改进，所述特征向量还包括均值特征向量和标准差特征向量；其中，
对于任意结点，在所述图中与有连接关系的其他结点的集合称为当前结点p的近邻域
其中，
根据所述相似分数的集合计算其均值
所述均值特征向量满足以下公式：
其中，ie为所述均值特征向量；
所述标准差特征向量满足以下公式：
其中，iσ为所述标准差特征向量；
作为上述方案的改进，所述分类器的训练方法包括：
获取带有标签的人脸图像输入到预设的若干个特征提取模型中，以提取出特征数据；其中，所述标签用于表示是否同一个人；
采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；
根据所述近邻关系图计算所有图像对的特征向量；其中，所述图像对为所述近邻关系图中任意一条边所连接的两个结点；
根据所述特征向量和所述人脸图像的标签训练分类器。
作为上述方案的改进，所述采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数，满足以下公式：
其中，
作为上述方案的改进，所述将所述图像对集合中属于同一个人的所有候所述选图像对合并并归为一类，具体包括：
采用并集-查找算法将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类。
为实现上述目的，本发明实施例还提供了一种人脸图像数据聚类系统，包括：
特征数据提取模块，用于将人脸图像输入到预设的特征提取模型中，以提取出特征数据；
相似分数计算模块，用于采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
候选图像对生成模块，用于获取所述相似分数大于预设第一相似阈值的两张人脸图像作为图像对集合中的候选图像对；
特征向量计算模块，用于计算所述候选图像对的特征向量；
分类器识别模块，用于将所述特征向量输入到预设的分类器中，以使所述分类器对所述候选图像对进行识别；
候选图像对移除模块，用于当所述分类器判定所述候选图像对不属于同一个人时，将所述候选图像对从所述图像对集合中移除；
聚类结果输出模块，用于将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类。
作为上述方案的改进，所述分类器的训练方法包括：
获取带有标签的人脸图像输入到预设的若干个特征提取模型中，以提取出特征数据；其中，所述标签用于表示是否同一个人；
采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；
根据所述近邻关系图计算所有图像对的特征向量；其中，所述图像对为所述近邻关系图中任意一条边所连接的两个结点；
根据所述特征向量和所述人脸图像的标签训练分类器。
为实现上述目的，本发明实施例还提供一种人脸图像数据聚类设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的人脸图像数据聚类方法。
与现有技术相比，本发明实施例公开的人脸图像数据聚类方法、系统及设备具有如下有益效果：
采用多个模型协同评分，可以引入不同的意见，可以挖掘出更多的有用信息用于模型学习，利用多个模型对图像连接关系的判别做出不同的结论，然后融合所有模型的意见做出最终判别结果，在大量未标注人脸图像中建立起人脸图像之间的连接关系图，更能适应人脸数据集样本的复杂分布，从而得到对人脸图像的聚类结果，有效减少聚类偏差，实现自动标注。
附图说明
图1是本发明实施例提供的一种的人脸图像数据聚类方法的流程图；
图2是本发明实施例提供的一种的人脸图像数据聚类方法中分类器的训练方法流程图；
图3是本发明实施例提供的一种的人脸图像数据聚类系统10的结构示意图；
图4是本发明实施例提供的一种的人脸图像数据聚类设备20的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参见图1，图1是本发明实施例提供的一种的人脸图像数据聚类方法的流程图；包括：
s11、将人脸图像输入到预设的特征提取模型中，以提取出特征数据；
s12、采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
s13、获取所述相似分数大于预设第一相似阈值的两张人脸图像作为图像对集合中的候选图像对；
s14、计算所述候选图像对的特征向量，并将所述特征向量输入到预设的分类器中，以使所述分类器对所述候选图像对进行识别；
s15、当所述分类器判定所述候选图像对不属于同一个人时，将所述候选图像对从所述图像对集合中移除；
s16、将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类，以输出聚类结果。
值得说明的是，本发明实施例中的训练过程采用的是有标签的人脸图像，在训练完成所述分类器后，则可以用于判别两张人脸图像是否为同一个人，虽然无标签数据(无标签数据指的是没有类别信息的原始数据，在本发明实施例中数据一般指人脸图像，标签指的就是对这些图像打上的标注信息，比如这个人是谁)并未提供直接的类别信息，但是数据的内部结构，即数据点之间的相互关系，却可以真实地反应出这些人脸图像的分布情况。用一个图(graph)结构来描述这种关系结构，其中图的结点表示单个数据点即人脸图像，而连接结点的边则表示结点之间的关系即两张人脸图像是否属于同一个人。为了判断两张人脸图像是否存在连接关系，在本发明实施例中采用训练好的特征提取模型对图像提取特征，并计算它们之间的相似性分数。
具体的，在步骤s11～s12中，假设我们有个n特征提取模型mi，分别表示为m1,m2,m3,…mn,i＝1,2,3,…n。利用多个模型协同评分，引入多种意见，更有可能挖掘到更多有意义的人脸样本用于学习。对于给定的两张人脸图像p1及p2，经过所述特征提取模型得到的特征数据分别表示为
其中，
优选的，所述采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数后，所述方法还包括：
获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；其中，所述近邻关系图包括若干结点，每一结点表示一个人脸图像，连接所述结点之间的边表示其对应的人脸图像为属于同一个人的人脸图像。
根据所述相似分数的排序，可以找到与结点p相似分数最高(即大于所述第二相似阈值)的另外k个结点，即p的k近邻，从而依此建立起在所述特征提取模型mi下整个未标注人脸图像数据集的近邻关系图结构，记为
具体的，在步骤s13中，图片集合中可能存在连接关系也即属于同一个人的图像对的数量是相对较小的，因此可以用一个较为稳定的特征提取模型作为基础模型，提供可能的候选匹配图像对集合，从而降低算法的复杂度。具体做法如下：不失一般性，我们将特征提取模型m1当做一个基础模型，利用对所述人脸图像进行特征提取，并计算两两图像对之间的相似分数，并设置第一相似阈值，将满足条件的图像对作为候选图像对加入到预设的图像对集合s中。
具体的，在步骤s14中，根据所述近邻关系图计算所述候选图像对的特征向量；其中，所述特征向量包括近邻连接关系特征向量、相似分数特征向量；
所述邻连接关系特征向量满足以下公式：
其中，ir为所述邻连接关系特征向量；
所述相似分数特征向量满足以下公式：
其中，ia为所述相似分数特征向量，
优选的，所述特征向量还包括均值特征向量和标准差特征向量；其中，
对于任意结点，在所述图中与有连接关系的其他结点的集合称为当前结点p的近邻域
其中，
根据所述相似分数的集合计算其均值
所述均值特征向量满足以下公式：
其中，ie为所述均值特征向量；
所述标准差特征向量满足以下公式：
其中，iσ为所述标准差特征向量；
将这四个向量ir、ia、ie、iσ拼接成一个维度为6n的特征向量作为候选图像对的特征描述，由公式(1)、(3)、(5)、(6)以及前面的描述，可以看出的所述特征向量的维度分别为n、n、2n、2n，因此将四个特征向量拼接合成维度为6n的特征向量。
具体的，在步骤s15中，将所述特征向量输入到训练好的所述分类器中，以使所述分类器判别所述候选图像对(p1,p2)是否属于同一个人。若(p1,p2)不属于同一个人，则将(p1,p2)从图像对集合s中移除。
具体的，在步骤s16中，采用并集-查找算法将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类。
进一步的，本发明实施例还提供一种分类器的训练方法，参见图2，图2是本发明实施例提供的一种的人脸图像数据聚类方法中分类器的训练方法流程图；包括：
s21、获取带有标签的人脸图像输入到预设的若干个特征提取模型中，以提取出特征数据；其中，所述标签用于表示是否同一个人；
s22、采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
s23、获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；
s24、根据所述近邻关系图计算所有图像对的特征向量；其中，所述图像对为所述近邻关系图中任意一条边所连接的两个结点；
s25、根据所述特征向量和所述人脸图像的标签训练分类器。
具体的步骤s22中计算相似分数的过程请参考公式(7)、步骤s22计算所有图像对的特征向量请参考公式(1)～(6)，在此不再赘述。具体的，根据所述近邻关系图计算所有图像对的特征向量，生成特征向量合集
与现有技术相比，本发明实施例公开的人脸图像数据聚类方法采用多个模型协同评分，可以引入不同的意见，可以挖掘出更多的有用信息用于模型学习，利用多个模型对图像连接关系的判别做出不同的结论，然后融合所有模型的意见做出最终判别结果，在大量未标注人脸图像中建立起人脸图像之间的连接关系图，更能适应人脸数据集样本的复杂分布，从而得到对人脸图像的聚类结果，有效减少聚类偏差，实现自动标注。
实施例二
参见图3，图3是本发明实施例提供的一种的人脸图像数据聚类系统10的结构示意图；包括：
特征数据提取模块11，用于将人脸图像输入到预设的特征提取模型中，以提取出特征数据；
相似分数计算模块12，用于采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
候选图像对生成模块13，用于获取所述相似分数大于预设第一相似阈值的两张人脸图像作为图像对集合中的候选图像对；
特征向量计算模块14，用于计算所述候选图像对的特征向量；
分类器识别模块15，用于将所述特征向量输入到预设的分类器中，以使所述分类器对所述候选图像对进行识别；
候选图像对移除模块16，用于当所述分类器判定所述候选图像对不属于同一个人时，将所述候选图像对从所述图像对集合中移除；
聚类结果输出模块17，用于将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类，以输出聚类结果；
近邻关系图构建模块18，用于获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；其中，所述近邻关系图包括若干结点，每一结点表示一个人脸图像，连接所述结点之间的边表示其对应的人脸图像为属于同一个人的人脸图像。
优选的，所述特征向量计算模块14，具体用于：根据所述近邻关系图计算所述候选图像对的特征向量；其中，所述特征向量包括近邻连接关系特征向量、相似分数特征向量；
所述邻连接关系特征向量满足以下公式：
其中，ir为所述邻连接关系特征向量；
所述相似分数特征向量满足以下公式：
其中，ia为所述相似分数特征向量，
优选的，所述特征向量还包括均值特征向量和标准差特征向量；其中，
对于任意结点，在所述图中与有连接关系的其他结点的集合称为当前结点p的近邻域
其中，
根据所述相似分数的集合计算其均值
所述均值特征向量满足以下公式：
其中，ie为所述均值特征向量；
所述标准差特征向量满足以下公式：
其中，iσ为所述标准差特征向量；
优选的，所述相似分数计算模块12采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数，满足以下公式：
其中，
优选的，所述聚类结果输出模块17具体用于：采用并集-查找算法将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类。
优选的，所述分类器的训练方法包括：
获取带有标签的人脸图像输入到预设的若干个特征提取模型中，以提取出特征数据；其中，所述标签用于表示是否同一个人；
采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；
根据所述近邻关系图计算所有图像对的特征向量；其中，所述图像对为所述近邻关系图中任意一条边所连接的两个结点；
根据所述特征向量和所述人脸图像的标签训练分类器。
与现有技术相比，本发明实施例公开的人脸图像数据聚类系统10采用多个模型协同评分，可以引入不同的意见，可以挖掘出更多的有用信息用于模型学习，利用多个模型对图像连接关系的判别做出不同的结论，然后融合所有模型的意见做出最终判别结果，在大量未标注人脸图像中建立起人脸图像之间的连接关系图，更能适应人脸数据集样本的复杂分布，从而得到对人脸图像的聚类结果，有效减少聚类偏差，实现自动标注。
实施例三
参见图4，图4是本发明实施例提供的一种的人脸图像数据聚类设备20的结构示意图。该实施例的包括：处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述各个人脸图像数据聚类方法实施例中的步骤，例如图1所示的步骤s11。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如特征数据提取模块11。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述中的执行过程。例如，所述计算机程序可以被分割成特征数据提取模块11、相似分数计算模块12、候选图像对生成模块13、特征向量计算模块14、分类器识别模块15、候选图像对移除模块16、聚类结果输出模块17和近邻关系图构建模块18，各模块具体功能请参考上述实施例二所述的人脸图像数据聚类系统10的具体工作过程，在此不再赘述。
所述可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是的示例，并不构成对的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述还可以包括输入输出设备、网络接入设备、总线等。
所述处理器21可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器21也可以是任何常规的处理器等，所述处理器21是所述的控制中心，利用各种接口和线路连接整个的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！