人脸图像检索方法及装置与流程

本发明涉及图像检索技术领域，具体而言，涉及一种人脸图像检索方法及装置。

背景技术

在图像检索过程中，通常会遇到需要从大量的图像中筛选出所有的包括有多个目标图像特征的图像的情况，例如，从众多人脸图像中检索出目标图像特征为戴眼镜及闭眼睛的人脸图像。针对这样的情况，现有技术只能针对单个目标图像特征进行检索，往往需要检索人员人工地对人脸图像进行特征标注，以对应检索出包括有多个目标图像特征的人脸图像。但这种检索方式会使包括多个目标图像特征的人脸图像在不同图像筛选特征下被复用，检索人员将针对同一人脸图像进行多次的重复标注，整个图像检索过程的检索成本高，检索人员的工作量大，往往因检索标注人员的经验及学识的限制而无法具备较高的检索效率及检索精准度。

技术实现要素：

为了克服现有技术中的上述不足，本发明的目的在于提供一种人脸图像检索方法及装置，所述人脸图像检索方法的检索实现成本低，检索工作量小，能够快速而精准地从大量的图像数据集中检索出包括多个目标图像特征的人脸图像。

就方法而言，本发明较实施例提供一种人脸图像检索方法，应用于图像检索服务器，所述图像检索服务器存储有用于提取目标人脸图像中由多个目标图像特征融合得到的融合图像特征的特征提取模型，及该特征提取模型所对应的模型融合图像特征，所述方法包括：

基于所述特征提取模型对待检索人脸图像进行特征提取，得到所述待检索人脸图像中与该特征提取模型对应的待检索融合图像特征；

将提取出的所述待检索融合图像特征与所述特征提取模型对应的模型融合图像特征进行比对，并根据比对结果判断所述待检索人脸图像是否符合所述特征提取模型；

输出符合所述特征提取模型的待检索人脸图像作为检索成功的人脸图像。

可选地，在本发明实施例中，上述图像检索服务器还存储有预设相似度阈值，所述将提取出的所述待检索融合图像特征与所述特征提取模型对应的模型融合图像特征进行比对，根据比对结果判断所述待检索人脸图像是否符合所述特征提取模型的步骤包括：

计算所述待检索融合图像特征与所述模型融合图像特征之间的特征相似度；

将计算得到的所述特征相似度与所述预设相似度阈值进行比较，并在所述特征相似度大于或等于所述预设相似度阈值时，判定对应的所述待检索人脸图像符合所述特征提取模型。

可选地，在本发明实施例中，在所述基于所述特征提取模型对待检索人脸图像进行特征提取的步骤之前，所述方法还包括：

获取多张样本人脸图像，并以所述多张样本人脸图像对人脸识别卷积神经网络模型进行训练，得到所述特征提取模型，其中每张样本人脸图像中均包括有由所述多个目标图像特征融合得到的融合图像特征。

可选地，在本发明实施例中，上述方法还包括：

基于所述特征提取模型从所述多张样本人脸图像中提取出每张样本人脸图像所对应的融合图像特征，并对多个所述融合图像特征进行均值处理，得到所述特征提取模型对应的模型融合图像特征。

可选地，在本发明实施例中，上述方法还包括：

对预设相似度阈值进行配置。

就装置而言，本发明实施例提供一种人脸图像检索装置，应用于图像检索服务器，所述图像检索服务器存储有用于提取目标人脸图像中由多个目标图像特征融合得到的融合图像特征的特征提取模型，及该特征提取模型所对应的模型融合图像特征，所述装置包括：

特征提取模块，用于基于所述特征提取模型对待检索人脸图像进行特征提取，得到所述待检索人脸图像中与该特征提取模型对应的待检索融合图像特征；

特征判断模块，用于将提取出的所述待检索融合图像特征与所述特征提取模型对应的模型融合图像特征进行比对，并根据比对结果判断所述待检索人脸图像是否符合所述特征提取模型；

图像输出模块，用于输出符合所述特征提取模型的待检索人脸图像作为检索成功的人脸图像。

可选地，在本发明实施例中，上述图像检索服务器还存储有预设相似度阈值，所述特征判断模块将提取出的所述待检索融合图像特征与所述特征提取模型对应的模型融合图像特征进行比对，根据比对结果判断所述待检索人脸图像是否符合所述特征提取模型的方式包括：

计算所述待检索融合图像特征与所述模型融合图像特征之间的特征相似度；

将计算得到的所述特征相似度与所述预设相似度阈值进行比较，并在所述特征相似度大于或等于所述预设相似度阈值时，判定对应的所述待检索人脸图像符合所述特征提取模型。

可选地，在本发明实施例中，上述装置还包括：

模型训练模块，用于获取多张样本人脸图像，并以所述多张样本人脸图像对人脸识别卷积神经网络模型进行训练，得到所述特征提取模型，其中每张样本人脸图像中均包括有由所述多个目标图像特征融合得到的融合图像特征。

可选地，在本发明实施例中，上述装置还包括：

特征配置模块，用于基于所述特征提取模型从所述多张样本人脸图像中提取出每张样本人脸图像所对应的融合图像特征，并对多个所述融合图像特征进行均值处理，得到所述特征提取模型对应的模型融合图像特征。

可选地，在本发明实施例中，上述装置还包括：

阈值配置模块，用于对预设相似度阈值进行配置。

相对于现有技术而言，本发明实施例提供的人脸图像检索方法及装置具有以下有益效果：所述人脸图像检索方法的检索实现成本低，检索工作量小，能够快速而精准地从大量的图像数据集中检索出包括多个目标图像特征的人脸图像。所述方法应用于图像检索服务器，该图像检索服务器中存储有用于提取目标人脸图像中由多个目标图像特征融合得到的融合图像特征的特征提取模型，及该特征提取模型所对应的模型融合图像特征。首先，所述方法通过所述特征提取模型对待检索人脸图像进行特征提取，得到所述待检索人脸图像中与该特征提取模型对应的待检索融合图像特征。然后，所述方法将提取出的所述待检索融合图像特征与所述特征提取模型对应的模型融合图像特征进行比对，并根据比对结果判断所述待检索人脸图像是否符合所述特征提取模型。最后，所述方法输出符合所述特征提取模型的待检索人脸图像作为检索成功的人脸图像。所述方法通过用于提取目标人脸图像中由多个目标图像特征融合得到的融合图像特征的特征提取模型对待检索人脸图像集中各人脸图像进行特征提取，根据提取出的融合特征判断各人脸图像是否为符合该特征提取模型，并在图像符合该特征提取模型时输出该人脸图像为检索成功的与所述多个目标图像特征对应的人脸图像，从而快速而精准地从大量的图像数据集中检索出包括多个目标图像特征的人脸图像，以降低检索实现成本，减小检索工作量。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明权利要求保护范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的图像检索服务器的一种方框示意图。

图2为本发明实施例提供的人脸图像检索方法的第一种流程示意图。

图3为本发明实施例提供的人脸图像检索方法的第二种流程示意图。

图4为本发明实施例提供的图1中所示的人脸图像检索装置的第一种方框示意图。

图5为本发明实施例提供的图1中所示的人脸图像检索装置的第二种方框示意图。

图标：10-图像检索服务器；11-存储器；12-处理器；13-通信单元；100-人脸图像检索装置；110-特征提取模块；120-特征判断模块；130-图像输出模块；140-模型训练模块；150-特征配置模块；160-阈值配置模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，是本发明实施例提供的图像检索服务器10的一种方框示意图。在本发明实施例中，所述图像检索服务器10用于快速而精准地从大量人脸图像数据集中筛选出所有的包括有多个目标图像特征的人脸图像，其中所述目标图像特征为图像检索时成功检索得到的所有人脸图像均具有的共同图像特征，所述目标图像特征可以是戴眼镜的特征，也可以是闭眼睛的特征，还可以是露牙齿的特征，具体的图像特征情况可根据检索需求进行不同的配置。

在本实施例中，所述图像检索服务器10包括人脸图像检索装置100、存储器11、处理器12及通信单元13。所述存储器11、处理器12及通信单元13各个元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述人脸图像检索装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器11中的软件功能模块，所述处理器12通过运行存储在存储器11内的所述人脸图像检索装置100对应的软件功能模块，从而执行各种功能应用以及数据处理。

在本实施例中，所述存储器11可用于存储由多张待检索人脸图像集合成的待检索人脸图像数据集，也可以用于存储用于提取目标人脸图像中由多个目标图像特征融合得到的融合图像特征的特征提取模型，还可以存储该特征提取模型所对应的模型融合图像特征，其中所述融合图像特征为同时具备所述多个目标图像特征的特征，所述模型融合图像特征是基于被用于训练生成该特征提取模型的所有人脸图像获取到的与该特征提取模型对应的融合图像特征。所述存储器11可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除可编程只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除可编程只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器11还可以用于存储各种应用程序，所述处理器12在接收到执行指令后，执行所述应用程序。进一步地，上述存储器11内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。

在本实施例中，所述处理器12可以是一种具有信号处理能力的集成电路芯片。其中所述处理器12可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本实施例中，所述通信单元13用于通过网络建立所述图像检索服务器10与其他外部设备之间的通信连接，并通过所述网络进行数据传输，其中所述图像检索服务器10可通过所述通信单元13从所述其他外部设备处获取待检索人脸图像，或从大量待检索人脸图像中将检索出的包括有多个目标图像特征的所有人脸图像发送给所述外部设备。

在本实施例中，所述图像检索服务器10通过存储在所述存储器11中的人脸图像检索装置100快速而精准地从大量待检索人脸图像中检索出所有包括多个目标图像特征的人脸图像，以降低检索实现成本，减小检索工作量。

可以理解的是，图1所示的结构仅为图像检索服务器10的一种结构示意图，所述图像检索服务器10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

请参照图2，是本发明实施例提供的人脸图像检索方法的第一种流程示意图。在本发明实施例中，所述人脸图像检索方法应用于图1中所示的图像检索服务器10，其中所述图像检索服务器10中存储有用于提取目标人脸图像中由多个目标图像特征融合得到的融合图像特征的特征提取模型，及该特征提取模型所对应的模型融合图像特征，下面对图2所示的人脸图像检索方法的具体流程和步骤进行详细阐述。

在本发明实施例中，所述人脸图像检索方法包括以下步骤：

步骤s210，基于特征提取模型对待检索人脸图像进行特征提取，得到所述待检索人脸图像中与该特征提取模型对应的待检索融合图像特征。

在本实施例中，所述待检索融合图像特征为待检索人脸图像中用于判断该待检索人脸图像是否为检索对象的融合特征。所述图像检索服务器10通过存储的特征提取模型对待检索人脸图像数据集中各待检索人脸图像进行特征提取，得到各待检索人脸图像中与该特征提取模型对应的待检索融合图像特征。

步骤s220，将提取出的所述待检索融合图像特征与所述特征提取模型对应的模型融合图像特征进行比对，并根据比对结果判断所述待检索人脸图像是否符合所述特征提取模型。

在本实施例中，所述图像检索服务器10还存储有用于判断待检索人脸图像是否符合特征提取模型的预设相似度阈值。所述图像检索服务器10将提取出的所述待检索融合图像特征与所述特征提取模型对应的模型融合图像特征进行比对，并根据比对结果判断所述待检索人脸图像是否符合所述特征提取模型的步骤包括：

计算所述待检索融合图像特征与所述模型融合图像特征之间的特征相似度；

将计算得到的所述特征相似度与所述预设相似度阈值进行比较，并在所述特征相似度大于或等于所述预设相似度阈值时，判定对应的所述待检索人脸图像符合所述特征提取模型。

其中，所述图像检索服务器10可采用余弦距离相似度计算方法、局部敏感哈希(lsh)方法、乘积量化(pq)方法中的至少一种方法计算待检索融合图像特征与所述模型融合图像特征之间的特征相似度。所述图像检索服务器10将计算得到的所述特征相似度与所述预设相似度阈值进行比较，并在所述特征相似度大于或等于所述预设相似度阈值时判定该特征相似度所对应的待检索人脸图像符合所述特征提取模型。

步骤s230，输出符合所述特征提取模型的待检索人脸图像作为检索成功的人脸图像。

在本实施例中，所述图像检索服务器10将特征相似度大于或等于所述预设相似度阈值的待检索人脸图像判定为包括有多个目标图像特征的符合所述特征提取模型的人脸图像，并将符合所述特征提取模型的所述待检索人脸图像输出作为检索成功的人脸图像，此时被输出的人脸图像即为同时包括有所述多个目标图像特征的人脸图像。

请参照图3，是本发明实施例提供的人脸图像检索方法的第二种流程示意图。在本发明实施例中，在步骤s210之前，所述人脸图像检索方法还包括步骤s208及步骤s209。

步骤s208，获取多张样本人脸图像，并以所述多张样本人脸图像对人脸识别卷积神经网络模型进行训练，得到所述特征提取模型。

在本实施例中，所述样本人脸图像为同时包括有所述多个目标图像特征的用于训练得到特征提取模型的人脸图像，此时该样本人脸图像中存在有由所述目标图像特征融合得到的融合图像特征。所述图像检索服务器10通过将获取到的多张样本人脸图像对人脸识别卷积神经网络模型进行训练的方式，得到所述特征提取模型。

步骤s209，基于所述特征提取模型从所述多张样本人脸图像中提取出每张样本人脸图像所对应的融合图像特征，并对多个所述融合图像特征进行均值处理，得到所述特征提取模型对应的模型融合图像特征。

在本实施例中，所述图像检索服务器10通过所述特征提取模型从训练该特征提取模型时被使用的上述多张样本人脸图像中提取出每张样本人脸图像所对应的融合图像特征，并对多个所述融合图像特征进行均值处理，得到对应与所述特征提取模型对应的模型融合图像特征。

在本发明实施例中，在步骤s208之前，所述人脸图像检索方法还包括步骤s207。

步骤s207，对预设相似度阈值进行配置。

在本实施例中，所述图像检索服务器10可通过对预设相似度阈值进行配置的方式划分出人脸图像检索标准，其中所述预设相似度阈值可以是70％，也可以是85％，还可以是95％，具体的数值可根据需求进行不同的配置。

请参照图4，是本发明实施例提供的图1中所示的人脸图像检索装置100的第一种方框示意图。在本发明实施例中，所述人脸图像检索装置100包括特征提取模块110、特征判断模块120及图像输出模块130。

所述特征提取模块110，用于基于特征提取模型对待检索人脸图像进行特征提取，得到所述待检索人脸图像中与该特征提取模型对应的待检索融合图像特征。

在本实施例中，所述特征提取模块110可以执行图2中所示的步骤s210，具体的执行过程可以参照上文中对步骤s210的详细描述。

所述特征判断模块120，用于将提取出的所述待检索融合图像特征与所述特征提取模型对应的模型融合图像特征进行比对，并根据比对结果判断所述待检索人脸图像是否符合所述特征提取模型。

在本实施例中，所述图像检索服务器10还存储有用于判断待检索人脸图像是否符合特征提取模型的预设相似度阈值。所述特征判断模块120将提取出的所述待检索融合图像特征与所述特征提取模型对应的模型融合图像特征进行比对，根据比对结果判断所述待检索人脸图像是否符合所述特征提取模型的方式包括：

计算所述待检索融合图像特征与所述模型融合图像特征之间的特征相似度；

将计算得到的所述特征相似度与所述预设相似度阈值进行比较，并在所述特征相似度大于或等于所述预设相似度阈值时，判定对应的所述待检索人脸图像符合所述特征提取模型。

所述图像输出模块130，用于输出符合所述特征提取模型的待检索人脸图像作为检索成功的人脸图像。

在本实施例中，所述图像输出模块130可以执行图2中所示的步骤s230，具体的执行过程可以参照上文中对步骤s230的详细描述。

请参照图5，是本发明实施例提供的图1中所示的人脸图像检索装置100的第二种方框示意图。在本发明实施例中，所述人脸图像检索装置100还可以包括模型训练模块140、特征配置模块150及阈值配置模块160。

所述模型训练模块140，用于获取多张样本人脸图像，并以所述多张样本人脸图像对人脸识别卷积神经网络模型进行训练，得到所述特征提取模型。

在本实施例中，每张样本人脸图像中均包括有由所述多个目标图像特征融合得到的融合图像特征，所述模型训练模块140可以执行图3中所示的步骤s208，具体的执行过程可以参照上文中对步骤s208的详细描述。

所述特征配置模块150，用于基于所述特征提取模型从所述多张样本人脸图像中提取出每张样本人脸图像所对应的融合图像特征，并对多个所述融合图像特征进行均值处理，得到所述特征提取模型对应的模型融合图像特征。

在本实施例中，所述特征配置模块150可以执行图3中所示的步骤s209，具体的执行过程可以参照上文中对步骤s209的详细描述。

所述阈值配置模块160，用于对预设相似度阈值进行配置。

在本实施例中，所述阈值配置模块160可以执行图3中所示的步骤s207，具体的执行过程可以参照上文中对步骤s207的详细描述。

综上所述，在本发明实施例提供的人脸图像检索方法及装置中，所述人脸图像检索方法的检索实现成本低，检索工作量小，能够快速而精准地从大量的图像数据集中检索出包括多个目标图像特征的人脸图像。所述方法应用于图像检索服务器，该图像检索服务器中存储有用于提取目标人脸图像中由多个目标图像特征融合得到的融合图像特征的特征提取模型，及该特征提取模型所对应的模型融合图像特征。首先，所述方法通过所述特征提取模型对待检索人脸图像进行特征提取，得到所述待检索人脸图像中与该特征提取模型对应的待检索融合图像特征。然后，所述方法将提取出的所述待检索融合图像特征与所述特征提取模型对应的模型融合图像特征进行比对，并根据比对结果判断所述待检索人脸图像是否符合所述特征提取模型。最后，所述方法输出符合所述特征提取模型的待检索人脸图像作为检索成功的人脸图像。所述方法通过用于提取目标人脸图像中由多个目标图像特征融合得到的融合图像特征的特征提取模型对待检索人脸图像集中各人脸图像进行特征提取，根据提取出的融合特征判断各人脸图像是否为符合该特征提取模型，并在图像符合该特征提取模型时输出该人脸图像为检索成功的与所述多个目标图像特征对应的人脸图像，从而快速而精准地从大量的图像数据集中检索出包括多个目标图像特征的人脸图像，以降低检索实现成本，减小检索工作量。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。