一种基于多特征融合的人脸图像聚类方法及装置与流程

本发明涉及人脸技术领域，尤其涉及一种基于多特征融合的人脸图像聚类方法及装置。

背景技术：

在人脸识别过程中，需要对人脸图像按照其对应的身份信息(id)进行聚类建档，使得来自同一个人的多张人脸图像具有相同的id。

但是目前人脸图像聚类方法多是仅利用一种人脸特征进行聚类，由于单一人脸特征描述能力有限，导致聚类结果中有较多一人多档和多人一档的问题出现，聚类精度低。

技术实现要素：

有鉴于此，本发明提供了一种基于多特征融合的人脸图像聚类方法及装置，用以解决现有的人脸图像聚类方法多是仅利用一种人脸特征进行聚类，由于单一人脸特征描述能力有限，导致聚类结果中有较多一人多档和多人一档的问题出现，聚类精度低的问题。具体方案如下：

一种基于多特征融合的人脸图像聚类方法，其特征在于，包括：

获取待聚类人脸图像集中每一张人脸图像的人脸特征集，其中，所述人脸特征集包括各个特征提取器对其提取的特征向量；

依据各个人脸特征集，计算所述待聚类人脸图像集中每一个人脸图像对的相似度向量；

依据各个相似度向量，确定每一张人脸图像的初始聚类；

将各个初始聚类中存在联通关系的初始聚类进行合并，得到目标聚类。

上述的方法，可选的，依据各个相似度向量，确定每一张人脸图像的初始聚类，包括：

依据所述各个相似度向量，确定所述待聚类人脸图像集中各个图像对的距离；

将所述距离小于等于预设的距离阈值的人脸图像对划归为同一聚类，得到各个初始聚类。

上述的方法，可选的，依据所述各个相似度向量，确定所述待聚类人脸图像集中各个图像对的距离，包括：

将每一个相似度向量传递给预设的神经网络模型进行计算，得到第一概率和第二概率；

依据各个第一概率和各个第二概率，计算各个人脸图像对的目标相似度；

依据各个目标相似度，确定所述各个图像对的距离。

上述的方法，可选的，将各个初始聚类中存在联通关系的初始聚类进行合并，得到目标聚类，包括：

将各个初始聚类中存在交集的初始聚类进行合并，得到各个已合并聚类；

将所述各个已合并聚类中存在交集的已合并向量继续合并，直至各个合并聚类均不存在交集，得到目标聚类。

上述的方法，可选的，所述各个特征提取器包括：人脸特征提取器和身体特征提取器。

一种基于多特征融合的人脸图像聚类装置，包括：

获取模块，用于获取待聚类人脸图像集中每一张人脸图像的人脸特征集，其中，所述人脸特征集包括各个特征提取器对其提取的特征向量；

计算模块，用于依据各个人脸特征集，计算所述待聚类人脸图像集中每一个人脸图像对的相似度向量；

确定模块，用于依据各个相似度向量，确定每一张人脸图像的初始聚类；

合并模块，用于将各个初始聚类中存在联通关系的初始聚类进行合并，得到目标聚类。

上述的装置，可选的，所述确定模块包括：

确定单元，用于依据所述各个相似度向量，确定所述待聚类人脸图像集中各个图像对的距离；

划分单元，用于将所述距离小于等于预设的距离阈值的人脸图像对划归为同一聚类，得到各个初始聚类。

上述的装置，可选的，所述确定单元包括：

第一计算子单元，用于将每一个相似度向量传递给预设的神经网络模型进行计算，得到第一概率和第二概率；

第二计算子单元，用于依据各个第一概率和各个第二概率，计算各个人脸图像对的目标相似度；

确定子单元，用于依据各个目标相似度，确定所述各个图像对的距离。

上述的装置，可选的，所述合并模块包括：

第一合并单元，用于将各个初始聚类中存在交集的初始聚类进行合并，得到各个已合并聚类；

第二合并单元，用于将所述各个已合并聚类中存在交集的已合并向量继续合并，直至各个合并聚类均不存在交集，得到目标聚类。

上述的装置，可选的，所述聚类装置中所述各个特征提取器包括：人脸特征提取器和身体特征提取器。

与现有技术相比，本发明包括以下优点：

本发明公开了一种基于多特征融合的人脸图像聚类方法，包括：获取待聚类人脸图像集中每一张人脸图像的人脸特征集，其中，所述人脸特征集包括各个特征提取器对其提取的特征向量；依据各个人脸特征集，计算所述待聚类人脸图像集中每一个人脸图像对的相似度向量；依据各个相似度向量，确定每一张人脸图像的初始聚类；将各个初始聚类中存在联通关系的初始聚类进行合并，得到目标聚类。上述的聚类方法中，采用针对每一张人脸图像人脸特征集计算待聚类人脸图像集中各个图像对的相似度向量，并依据相似度向量进行聚类，并对聚类结果进行合并得到目标聚类，采用了多个特征向量进行计算，相较于单一人脸特征进行聚类，提高了聚类精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种基于多特征融合的人脸图像聚类方法流程图；

图2为本申请实施例公开的一种基于多特征融合的人脸图像聚类方法又一流程图；

图3为本申请实施例公开的一种基神经网络模型结构示意图；

图4为本申请实施例公开的一种基于多特征融合的人脸图像聚类装置结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

本发明公开了一种基于多特征融合的人脸图像聚类方法及装置，应用于人脸识别过程中，对人脸图像的聚类分析过程中，现有技术中针对人脸图像聚类，仅利用一种人脸特征进行聚类，由于单一人脸特征描述能力有限，导致聚类结果中有较多一人多档和多人一档的问题出现，聚类精度低，因此，本发明实施提供了一种基于多特征融合的人脸图像聚类方法，用于解决上述问题，所述聚类方法的执行流程如图1所示，包括步骤：

s101、获取待聚类人脸图像集中每一张人脸图像的人脸特征集，其中，所述人脸特征集包括各个特征提取器对其提取的特征向量；

本发明实施例中，所述待聚类人脸图像集中包含有多个人脸图像，所述多个人脸图像中存在多张人脸图像为同一个人的情况，聚类的目的就是将所述待聚类人脸图像集中的图像，依据不同的人进行聚类。所述各个特征提取器可以是卷积神经网络(cnn)模型，cnn模型为已训练好的人脸识别或者行人再识别cnn模型，该模型的输入为一幅图像，经过cnn模型的一系列卷积，激活和池化等操作，cnn模型的输出为一个固定维数的特征向量，这个特征向量可以用于描述输入的图像。使用cnn模型提取特征就是要以人脸图像为输入，最终得到这个描述该图像的特征向量。

所述人脸特征集及的生成过程如下：

使用多种不同卷积神经网络(cnn)模型gi提取人脸图像特征:

fij＝gi(ij),i＝1,2,3,...,m,j＝1,2,3,...n(1)

其中gi表示第i种cnn模型，共有m种；ij表示第j张图，表示所述待聚类人脸图像集中共有n张；而fij表示第j张图在第i种cnn模型上提取的特征向量。最终对于每张人脸图像ij都会到的其对应的人脸特征集:

fj＝{f1j,f2j,f3j,...,fmj}(2)

进一步的，由于同一个人的人脸图像会存在光照变化，遮挡和姿态变化等情况，这类变化可能会导致来自同一个人的人脸特征却有很大的不同。但是在一些情况下这个人的衣着装扮却不会发生太大的改变，因此虽然不能通过人脸特征把这些图聚类，但是可以利用人的身体特征将他们聚类，因此，本发明实施例中的特征提取器可以全部为人脸特征提取器，也可以采用人脸特征提取器和身体特征提取器混合的方式去挖掘多种特征之间存在的互补关系，达到提高人脸聚类精度的目的。

s102、依据各个人脸特征集，计算所述待聚类人脸图像集中每一个人脸图像对的相似度向量；

本发明实施例中，对于每张图像ij都会得到一个人脸特征图像集，预先将所述待聚类人脸图像集中的各个人脸图像按预设的分类规则划分成各个人脸图像对，其中，所述待聚类人脸图像集中的每一张图像都要和除他本身之外的所有其它图像组成图像对并计算相似度向量，如果图像a和图像b的相似度向量已经计算过，那图像b和图像a的相似度向量可以不用计算而直接使用图像a和图像b的相似度向量，本发明实施例中对所述预设的分类规则不进行限定。

依据各个人脸特征集，计算所述待聚类人脸图像集中每一个人脸图像对的相似度向量，每一个人脸图像对的计算过程相同。假设我们要计算人脸图像对中图像ia和图像ib的相似度，对于图像ia的人脸特征集:fa＝{f1a,f2a,f3a,...,fma}；对于图像ib的人脸特征集:fb＝{f1b,f2b,f3b,...,fmb},计算图像ia和图像ib在各个特征上的相似度就是分别计算他们每种特征向量的上的相似度:

相似度的计算方法如公式(3)所示，

具体的计算过程如下：

...

这样对于每个图像对，都会得到一组相似度向量

s103、依据各个相似度向量，确定每一张人脸图像的初始聚类；

本发明实施例中，首先依据所述各个相似度向量，确定所述待聚类人脸图像集中各个图像对的距离，将所述距离小于等于预设的距离阈值的人脸图像对划归为同一聚类，得到各个初始聚类，其中，所述预设的距离阈值可以依据经验或者具体情况设定，本发明实施例中对所述预设的距离阈值的具体取值不进行限定。以图像ia和图像ib为例，假设图像ia和图像ib的距离为dab，预设的距离阈值为t，当dab≤t时，判定图像ia和图像ib为同一聚类，当dab＞t时，判定图像ia和图像ib不是同一聚类，这样每张图像都会形成一个初始聚类cj＝{ij,ia,ib,ic,...}，j＝1,2,3,...n

s104、将各个初始聚类中存在联通关系的初始聚类进行合并，得到目标聚类。

本发明实施例中，针对对于所述初始聚类ci,若ca＝{ia,ib,ic,id...},而ce＝{ie,ia,ib,if,...},ca∩ce≠φ,则认为ca类和ce类联通，将这两类合并为一个已合并聚类c＝{ia,ib,ic,id,ie,if...}。按照联通子图规则将能够合并的小类ci依次合并，得到多个已合并聚类，将所述各个已合并聚类中存在交集的已合并向量继续合并，直至各个合并聚类均不存在交集，得到目标聚类，最终形成具有k个目标聚类ch，h＝1,2,3,...,k，完成聚类。

本发明公开了一种基于多特征融合的人脸图像聚类方法，包括：获取待聚类人脸图像集中每一张人脸图像的人脸特征集，其中，所述人脸特征集包括各个特征提取器对其提取的特征向量；依据各个人脸特征集，计算所述待聚类人脸图像集中每一个人脸图像对的相似度向量；依据各个相似度向量，确定每一张人脸图像的初始聚类；将各个初始聚类中存在联通关系的初始聚类进行合并，得到目标聚类。上述的聚类方法中，采用针对每一张人脸图像人脸特征集计算待聚类人脸图像集中各个图像对的相似度向量，并依据相似度向量进行聚类，并对聚类结果进行合并得到目标聚类，采用了多个特征向量进行计算，相较于单一人脸特征进行聚类，提高了聚类精度。

本发明实施例中，依据所述各个相似度向量，确定所述待聚类人脸图像集中各个图像对的距离，包括：

s201、将每一个相似度向量传递给预设的神经网络模型进行计算，得到第一概率和第二概率；

本发明实施例中，预先构建预设的神经网络模型，其中，所述预设的神经网络模型的输入为相似度向量中的各个向量，输出为第一概率p1和第二概率p2，其中，第一概率p1表示两张图像不是同一类别的概率，第一概率p1越大表示两张图像越不可能是同一类；第二概率p2表示两张图像是同一类别的概率，第二概率p2越大，表示两张图像越可能是同一类别；p1,p2＝h(sab)表示预设的神经网络模型h以sab为输入，得到输出的两个相似度p1和p2。

所述预设的神经网络模型如图3所示，其执行过程如下：

假设所述预设神经网络模型的输入为图像对ia和图像ib在不同特征上的相似度形成的向量期望得到的网络输出为第一概率p1和第二概率p2。通过训练学习到的神经网络参数为第1层网络权重w⁽¹⁾，偏置项b⁽¹⁾，第二层网络权重w⁽²⁾和偏置项b⁽²⁾，

其中，

激活函数relu(x)＝max(0,x)。设z＝[z1,z2,z3...zm]^t，a＝[a1,a2,a3,...,am]^t则：

z＝w⁽¹⁾sab+b⁽¹⁾(4)

a＝[a1,a2,a3,...,am]^t＝relu(z)＝[relu(z1),relu(z2),relu(z3),...,relu(zm)]^t(5)

[p1,p2]^t＝w⁽²⁾a+b⁽²⁾(6)

到此便可计算得到所述预设的神经网络模型的输出第一概率p1和第二概率p2。

s202、依据各个第一概率和各个第二概率，计算各个人脸图像对的目标相似度；

本发明实施例中，由于所述预设的神经网络模型的输出第一概率p1和第二概率p2并不严格在[0,1]内，针对每一个第一概率和其对应的第二概率，计算其对应的人脸图像对的相似度，采用sigmoid函数将第一概率p1和第二概率p2都转换到(0,1)区间内,并且保持单调递增，转换过程如下：

公式(7)的目的是为了将第一概率p1和第二概率p2统一为一个值方便聚类时确定预设的距离阈值。

s203、依据各个目标相似度，确定所述各个图像对的距离。

本发明实施例中，两人脸图像之间的距离由以下公式计算：

本发明实施例中，所述聚类方法利用神经网络挖掘出多种人脸特征在相似度级别上的关联，可以有效利用不同特征之间的互补性，弥补单一特征对人脸描述能力不足的缺点。同时多种特征融合使得聚类精度进一步提升。

基于上述的一种基于多特征融合的人脸图像聚类方法，本发明实施例中还提供了一种基于多特征融合的人脸图像聚类装置，所述聚类装置的结构框图如图4所示，包括：

获取模块301、计算模块302、确定模块303和合并模块304。

其中，

所述获取模块301，用于获取待聚类人脸图像集中每一张人脸图像的人脸特征集，其中，所述人脸特征集包括各个特征提取器对其提取的特征向量；

所述计算模块302，用于依据各个人脸特征集，计算所述待聚类人脸图像集中每一个人脸图像对的相似度向量；

所述确定模块303，用于依据各个相似度向量，确定每一张人脸图像的初始聚类；

所述合并模块304，用于将各个初始聚类中存在联通关系的初始聚类进行合并，得到目标聚类。

本发明公开了一种基于多特征融合的人脸图像聚类装置，包括：获取待聚类人脸图像集中每一张人脸图像的人脸特征集，其中，所述人脸特征集包括各个特征提取器对其提取的特征向量；依据各个人脸特征集，计算所述待聚类人脸图像集中每一个人脸图像对的相似度向量；依据各个相似度向量，确定每一张人脸图像的初始聚类；将各个初始聚类中存在联通关系的初始聚类进行合并，得到目标聚类。上述的聚类装置中，采用针对每一张人脸图像人脸特征集计算待聚类人脸图像集中各个图像对的相似度向量，并依据相似度向量进行聚类，并对聚类结果进行合并得到目标聚类，采用了多个特征向量进行计算，相较于单一人脸特征进行聚类，提高了聚类精度。

本发明实施例中，所述确定模块303包括：

确定单元305和划分单元306。

其中，

所述确定单元305，用于依据所述各个相似度向量，确定所述待聚类人脸图像集中各个图像对的距离；

所述划分单元306，用于将所述距离小于等于预设的距离阈值的人脸图像对划归为同一聚类，得到各个初始聚类。

本发明实施例中，所述确定单元305包括：

第一计算子单元307、第二计算子单元308和确定子单元309。

其中，

所述第一计算子单元307，用于将每一个相似度向量传递给预设的神经网络模型进行计算，得到第一概率和第二概率；

所述第二计算子单元308，用于依据各个第一概率和各个第二概率，计算各个人脸图像对的目标相似度；

所述确定子单元309，用于依据各个目标相似度，确定所述各个图像对的距离。

本发明实施例中，所述合并模块304包括：

第一合并单元310和第二合并单元311。

其中，

所述第一合并单元310，用于将各个初始聚类中存在交集的初始聚类进行合并，得到各个已合并聚类；

所述第二合并单元311，用于将所述各个已合并聚类中存在交集的已合并向量继续合并，直至各个合并聚类均不存在交集，得到目标聚类。

本发明实施例中，所述聚类装置中所述各个特征提取器包括：人脸特征提取器和身体特征提取器。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种基于多特征融合的人脸图像聚类方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。