图像聚类处理方法、装置、电子设备及存储介质与流程

本公开涉及图像处理技术领域，尤其涉及一种图像聚类处理方法、装置、电子设备及存储介质。

背景技术：

图像聚类就是将同包含同一个人脸的图像聚成一类，从而将不同人的图像分开，比如移动设备的相册，通过将同一个人的照片聚集在一起，方便用户的相册管理。人脸聚类依赖于人脸特征，同一个人的人脸特征之间的距离小，更相似，不同人的人脸特征距离大，更不相似。

目前，最常用的聚类算法是层次化的聚类算法，不需要提供聚类的类别数，可以根据先验知识确定类别间的最大距离完成聚类过程，简单高效。层次化聚类首先计算所有个体之间的距离，然后选择距离最近的两个个体聚成一类，然后重复进行这种选择，直到最近的两个个体距离超过我们规定的最小距离为止。

然而，层次化聚类通过迭代完成不同类别之间的合并，在针对人脸图像进行聚类时特别容易造成错误的传导，比如要在很大的图像集中完成聚类，往往有很多侧脸的人脸图像或者质量不好的人脸图像，这些人脸图像很容易聚成一类，并传导给同一个人的正常人脸图像，造成聚类的大面积错误。

技术实现要素：

为克服相关技术中存在的问题，本公开提供一种图像聚类处理方法、装置、电子设备及存储介质。

第一方面，提供了一种图像聚类处理方法，包括：

准备待聚类图像集；

根据所述每个待聚类的图像的质量系数的大小顺序，将所述待聚类图像集中所有所述图像进行排序；

从所述待聚类图像集中选出质量系数最高的所述图像作为基本图像，并将所述基本图像的身份特征作为基本特征；

计算所述基本特征与所述待聚类图像集中其他所述图像的身份特征之间的距离；

选出所述待聚类图像集中所述距离高于预设特征阈值的图像，并与所述基本图像构成一个图像聚类，所述基本特征为所述图像聚类的代表特征；

将所述待聚类图像集中去除所述图像聚类中所有的图像，构成新的待聚类图像集，并返回到所述根据每个所述待聚类的图像的质量系数的大小顺序，将所述待聚类图像集中所有所述图像进行排序步骤。

可选的，所述准备待聚类图像集，包括：

获取待聚类的多个图像；

对每个所述图像进行特征提取，得到每个所述图像的身份特征；

计算每个所述图像的质量系数；

将所述多个图像及其所述身份特征和所述质量系数构造为所述待聚类图像集。

可选的，所述对所述待聚类图像集中每个所述图像进行特征提取，得到所述图像的身份特征，包括：

对所述图像采用vgg-face模型进行特征提取，得到所述身份特征。

可选的，所述计算每个所述图像的质量系数，包括：

对所述图像的人脸角度和清晰度进行加权处理，得到所述图像的质量系数。

可选的，还包括：

当所述基本图像的质量系数低于预设质量阈值时，停止聚类处理，并将剩余的所有图像做丢弃处理。

第二方面，提供了一种图像聚类处理装置，包括：

图像集准备模块，配置为准备待聚类图像集；

图像排序模块，被配置为根据每个待聚类的图像的质量系数的大小顺序，将所述待聚类图像集中的所有所述图像进行排序；

图像选定模块，被配置为从所述待聚类图像集中选出质量系数最高的所述图像作为基本图像，并将所述基本图像的身份特征作为基本特征；

距离计算模块，被配置为计算所述基本特征与所述待聚类图像集中其他所述图像的身份特征之间的距离；

聚类执行模块，被配置为选出所述待聚类图像集中所述距离高于预设特征阈值的图像，并与所述基本图像构成一个图像聚类，所述基本特征为所述图像聚类的代表特征；

图像筛除模块，被配置为将所述待聚类图像集中去除所述图像聚类中所有的图像，构成新的待聚类图像集，并控制所述图像排序模块再次执行根据所述每个所述图像的质量系数的大小顺序，将所述待聚类图像集中所有所述图像进行排序操作。

可选的，所述图像集准备模块包括：

图像获取单元，被配置为获取待聚类的多个图像；

特征提取单元，被配置为对每个所述图像进行特征提取，得到每个所述图像的身份特征；

系数计算单元，被配置为计算每个所述图像的质量系数；

图像集构造单元，被配置为将所述多个图像及其所述身份特征和所述质量系数构造为所述待聚类图像集。

可选的，所述特征提取单元被配置为对所述图像采用vgg-face模型进行特征提取，得到所述身份特征。

可选的，所述系数计算单元被配置为对所述图像的人脸角度和清晰度进行加权处理，得到所述图像的质量系数。

可选的，还包括：

丢弃处理模块，被配置为当所述基本图像的质量系数低于预设质量阈值时，停止聚类处理，并将剩余的所有图像做丢弃处理。

第三方面，提供了一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行如第一方面所述的图像聚类处理方法。

第四方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行如第一方面所述的图像聚类处理方法。

第五方面，提供了一种计算机程序，该计算机程序用于执行如第一方面所述的图像聚类处理方法。

本公开的实施例提供的技术方案可以包括以下有益效果：通过准备待聚类图像集中所有图像及其身份特征和质量系数；然后根据质量系数的大小对待聚类图像集进行排序，将质量系数最高的图像选出作为基本图像，计算所述基本图像与其他图像之间的距离，从中选出距离高于预设特征阈值的图像，并与基本图像构成一个图像聚类，将待聚类图像集中去除图像聚类中所有的图像，构成新的待聚类图像集，并再次执行排序、选基本图像、计算距离并进行聚类处理的操作。通过上述操作可以将高质量图像作为聚类中心进行聚类，有效地避免了不同的人脸质量图像对聚类结果带来的干扰，进而避免了聚类的大面积错误。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种图像聚类处理方法的流程图；

图2是根据一示例性实施例示出的另一种图像聚类处理方法的流程图；

图3是根据一示例性实施例示出的一种图像聚类处理装置的框图；

图4是根据一示例性实施例示出的另一种图像聚类处理装置的框图；

图5是根据一示例性实施例示出的一种电子设备的框图；

图6是根据一示例性实施例示出的另一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种图像聚类处理方法的流程图。

如图1所示，本实施例提供的图像聚类处理方法应用于服务器、移动终端等电子设备中，用于对待处理的多个图像进行聚类处理，该方法包括以下步骤。

s11、准备待聚类图像集。

这里的待聚类图像集包括多个图像，且包括对应于每个图像的身份特征和质量系数。具体的，通过如下方法准备该待聚类图像集。

首先，获取待聚类的多个图像。

然后，提取待聚类的每个图像的身份特征，并计算每个图像的质量系数。

最后，将所有图像及其身份特征和质量系数构造为该待聚类图像集。

这里，是通过vgg-face模型提取每个图像的身份特征；在计算质量系数时，对于人脸图像来说，是对其中人脸角度和清晰度进行加权计算得到，例如对人脸角度乘以一个加权系数加上清晰度乘以另一个加权系数得到该质量系数。这里的两个加权系数可以根据经验进行确定，或者根据实际场景需求进行规定。一般来说，高质量系数的图像有着较好的区分性。

在得到每个图像的身份特征和质量系数后，将相应身份特征和质量系数附加到每个图像上，从而构成包括待聚类的所有图像以及每个图像相对应的身份特征和质量系数的待聚类图像集。

s12、根据质量系数对图像进行排序。

在得到待聚类图像集后，对其中的图像按质量系数的大小进行排序，即按图像质量的大小对图像进行排序，将质量系数最大的图像排在前面，将质量系数较小的图像依次排列其后。

s13、将待聚类图像集中质量系数最高的图像选为基本图像。

在排列后，选其中质量系数最高的图像为基本图像，该基本图像的身份特征作为其基本特征。

s14、计算基本图像与其他图像之间的距离。

具体来说时计算基本图像的基本特征与该待聚类图像集中其他图像的身份特征之间的距离。

s15、根据基本图像与其他图像之间的距离进行聚类处理。

在得到基本图像与其他每个图像之间的距离后，对得到的所有距离进行判断，将低于预设特征阈值的距离所对应的图像和基本图像作为一个图像聚类，因为这些图像的人脸角度和清晰度接近，因此可以看做一类图像。

s16、将已经聚类的图像筛除，并进行再次聚类处理。

具体是在得到图像聚类后，将图像聚类中所包含的图像从待聚类图像集中删除，将删除相应图像后的待聚类图像集作为新的待聚类图像集。然后以新的待聚类图像集作为基础再次执行上述步骤s12，即再次进行排序、选基本图像、计算距离执行聚类等操作，通过这样的操作可以把所获取的待聚类的所有图像进行聚类。

从上述技术方案可以看出，本实施例提供了一种图像聚类处理方法，该方法具体用于准备待聚类图像集中所有图像及其身份特征和质量系数；然后根据质量系数的大小对待聚类图像集进行排序，将质量系数最高的图像选出作为基本图像，计算所述基本图像与其他图像之间的距离，从中选出距离高于预设特征阈值的图像，并与基本图像构成一个图像聚类，将待聚类图像集中去除图像聚类中所有的图像，构成新的待聚类图像集，并再次执行排序、选基本图像、计算距离并进行聚类处理的操作。通过上述操作可以将高质量图像作为聚类中心进行聚类，有效地避免了不同的人脸质量图像对聚类结果带来的干扰，进而避免了聚类的大面积错误。

另外，如图2所示，本实施例中还包括如下步骤：

s17、在基本图像的质量系数较低时停止聚类处理。

即在上述执行对新的待聚类图像集中的图像进行排序，从中找出质量系数最高的图像后，将该图像的质量系数与一个预设质量阈值进行对比，当该质量系数低于该预设质量阈值时，不再向下计算基本图像与每个图像的距离，即停止聚类操作。将这里所剩余的所有图像进行丢弃处理。

被丢弃的图像的质量较低，通过丢弃可以排除对聚类的干扰；已经聚类成功的图像不仅具有较高的质量，往往准确率也较高。

图3是根据一示例性实施例示出的一种图像聚类处理装置的框图。

如图3所示，本实施例提供的图像聚类处理装置应用于服务器、移动终端等电子设备中，用于对待处理的多个图像进行聚类处理，该装置包括图像集准备模块10、图像排序模块20、图像选定模块30、距离计算模块40、聚类执行模块50和图像筛除模块60。

图像集准备模块10用于准备待聚类图像集。

这里的待聚类图像集包括多个图像，且包括对应于每个图像的身份特征和质量系数。具体的，该模块包括图像获取单元、特征提取单元、系数计算单元和图像集构造单元。

图像获取单元用于获取待聚类的多个图像。特征提取单元用于提取待聚类的每个图像的身份特征，系数计算单元用于计算每个图像的质量系数。图像集构造单元用于将所有图像及其身份特征和质量系数构造为该待聚类图像集。

特征提取单元用于通过vgg-face模型提取每个图像的身份特征；系数计算单元用于对人脸角度和清晰度进行加权计算得到质量系数，例如对人脸角度乘以一个加权系数加上清晰度乘以另一个加权系数得到该质量系数。这里的两个加权系数可以根据经验进行确定，或者根据实际场景需求进行规定。一般来说，高质量系数的图像有着较好的区分性。

在得到每个图像的身份特征和质量系数后，将相应身份特征和质量系数附加到每个图像上，从而构成包括待聚类的所有图像以及每个图像相对应的身份特征和质量系数的待聚类图像集。

图像排序模块20被配置为根据质量系数对图像进行排序。

在得到待聚类图像集后，对其中的图像按质量系数的大小进行排序，即按图像质量的大小对图像进行排序，将质量系数最大的图像排在前面，将质量系数较小的图像依次排列其后。

图像选定模块30被配置为将待聚类图像集中质量系数最高的图像选为基本图像。

在排列后，选其中质量系数最高的图像为基本图像，该基本图像的身份特征作为其基本特征。

距离计算模块40被配置为计算基本图像与其他图像之间的距离。

具体来说时计算基本图像的基本特征与该待聚类图像集中其他图像的身份特征之间的距离。

聚类执行模块50被配置为根据基本图像与其他图像之间的距离进行聚类处理。

在得到基本图像与其他每个图像之间的距离后，对得到的所有距离进行判断，将低于预设特征阈值的距离所对应的图像和基本图像作为一个图像聚类，因为这些图像的人脸角度和清晰度接近，因此可以看做一类图像。

图像筛除模块60被配置为将已经聚类的图像筛除，并进行再次聚类处理。

具体是在得到图像聚类后，将图像聚类中所包含的图像从待聚类图像集中删除，将删除相应图像后的待聚类图像集作为新的待聚类图像集。然后以新的待聚类图像集作为基础再次执行上述步骤s12，即再次进行排序、选基本图像、计算距离执行聚类等操作，通过这样的操作可以把所获取的待聚类的所有图像进行聚类。

从上述技术方案可以看出，本实施例提供了一种图像聚类处理装置，该装置具体用于准备待聚类图像集中所有图像及其身份特征和质量系数；然后根据质量系数的大小对待聚类图像集进行排序，将质量系数最高的图像选出作为基本图像，计算所述基本图像与其他图像之间的距离，从中选出距离高于预设特征阈值的图像，并与基本图像构成一个图像聚类，将待聚类图像集中去除图像聚类中所有的图像，构成新的待聚类图像集，并再次执行排序、选基本图像、计算距离并进行聚类处理的操作。通过上述操作可以将高质量图像作为聚类中心进行聚类，有效地避免了不同的人脸质量图像对聚类结果带来的干扰，进而避免了聚类的大面积错误。

另外，如图4所示，本实施例中还包括丢弃处理模块70。

丢弃处理模块70被配置为在基本图像的质量系数较低时停止聚类处理。

即在上述执行对新的待聚类图像集中的图像进行排序，从中找出质量系数最高的图像后，将该图像的质量系数与一个预设质量阈值进行对比，当该质量系数低于该预设质量阈值时，不再向下计算基本图像与每个图像的距离，即停止聚类操作。将这里所剩余的所有图像进行丢弃处理。

被丢弃的图像的质量较低，通过丢弃可以排除对聚类的干扰；已经聚类成功的图像不仅具有较高的质量，往往准确率也较高。

本申请还提供一种计算机程序，该计算机程序用于执行如图1或图2所示的图像聚类处理方法。

图5是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等移动终端。

参照图5，电子设备500可以包括以下一个或多个组件：处理组件502，存储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(i/o)的接口512，传感器组件514，以及通信组件516。

处理组件502通常控制电子设备500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在5电子设备500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电源组件506为电子设备500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为电子设备500生成、管理和分配电力相关联的组件。

多媒体组件508包括在所述电子设备500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(mic)，当电子设备500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

i/o接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为55电子设备500提供各个方面的状态评估。例如，传感器组件514可以检测到设备500的打开/关闭状态，组件的相对定位，例如所述组件为电子设备500的显示器和小键盘，传感器组件514还可以检测电子设备500或电子设备500一个组件的位置改变，用户与电子设备500接触的存在或不存在，电子设备500方位或加速/减速和电子设备500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516被配置为便于电子设备500和其他设备之间有线或无线方式的通信。电子设备500可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行图1或图2的方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由电子设备500的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

图6是根据一示例性实施例示出的另一种电子设备的框图。例如，电子设备600可以被提供为一服务器。电子设备600包括处理组件622，其进一步包括一个或多个处理器，以及由存储器632所代表的存储器资源，用于存储可由处理组件622的执行的指令，例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件622被配置为执行指令，以执行上述如图1或图2所示的方法。

电子设备600还可以包括一个电源组件626被配置为执行电子设备600的电源管理，一个有线或无线网络接口1950被配置为将电子设备600连接到网络，和一个输入输出(i/o)接口658。电子设备600可以操作基于存储在存储器632的操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。