图像特征提取方法、装置、终端设备及系统与流程

本申请涉及电子技术领域，具体的说是一种图像特征提取方法、一种图像特征提取装置、一种图像特征提取终端设备以及一种图像特征提取系统。

背景技术：

人脸识别研究始于上世纪90年代，一开始提出的有以图像主成分来描述人脸的eigen face方法与以区分性特征来描述人脸图像的fisher face方法；进入本世纪后，基于LBP与Gabor的人脸局部特征描述方法以及基于boosting的区分性特征学习方法迅速成为主流；近些年，随着深度学习(deep learning)方法的提出，人脸识别技术又被推上了一个新的台阶。目前人脸识别领域比较有代表性的前沿技术有以下几个：

首先是美国的facebook公司，首度将深度学习方法引入到人脸识别，利用5个卷积层与2个全连层构建的深度神经网络，对整幅人脸图像提取4096维的视觉特征来进行描述，在识别准确性上得到了显著的提高。

国内的face++公司同样利用深度学习方法，以金字塔结构分级学习了一个较深的神经网络，对整幅人脸图像进行分析，同样在人脸识别技术上取得了突破。

香港中文大学汤晓鸥教授所在的研究组，对基于深度学习的人脸识别技术进行了更加深入的研究，他们用多个人脸子图像分别训练深度神经网络，再将各子神经网络输出的特征串联起来，得到了更好的识别效果，但是，这种对各子图像提取的特征简单的串联损失了图像本身的结构特点。

技术实现要素：

鉴于上述问题，本申请提供一种图像特征提取方法、一种图像特征提取装置、一种图像特征提取终端设备以及一种图像特征提取系统。本申请采用的技术方案是：

本申请提供一种图像特征提取方法，包括：

接收用户输入的图像；

对所述用户输入的图像进行配准，获得配准后的图像；

对所述配准后的图像构建多个结构化子图像；

采用多模型训练获得的特征模型提取每个所述结构化子图像的视觉特征；

将所述多个结构化子图像的视觉特征进行结构化融合，获得结构化特征数据；

采用结构化模型训练得到的模型，对所述结构化特征数据进行运算，获得图像特征数据。

可选的，所述对所述配准后的图像构建多个结构化子图像，包括：

确定所述配准后的图像的结构化基准点位置；

确定子图像的形状参数；

根据所述结构化基准点位置及所述子图像的形状参数，切割所述配准后的图像，获得多个结构化子图像。

可选的，所述确定所述配准后的图像的结构化基准点位置，包括：

根据图像特征点确定所述配准后的图像的结构化基准点位置；或者，

根据空间位置确定所述配准后的图像的结构化基准点位置。

可选的，所述根据所述结构化基准点位置及所述子图像的形状参数，切割所述配准后的图像，获得多个结构化子图像的数学算法为：

a_ij＝C(a,p_ij(x,y),s_ij)

式中a_ij表示结构顺序位于横排第i个、竖排第j个的结构化子图像，C为结构化子图像的构建函数，a表示用户输入的图像，p_ij表示顺序位于横排第i个、竖排第j个的结构化基准点，p_ij(x,y)表示结构化基准点p_ij处于所述用户输入的图像的坐标(x,y)处，s_ij表示结构化子图像的形状参数，包括矩形、圆形、椭圆形等任意平面形状及其尺寸。

可选的，所述多模型训练获得的特征模型是通过以下方法获得的：

选择预定的训练图像库；

将所述预定的训练图像库中的每个训练图像按照统一的配准方法进行配准，获得配准后的多个训练图像；

对所述配准后的多个训练图像分别构建多个结构化子训练图像；

采用视觉特征学习算法对所述多个结构化子训练图像进行特征模型训练以提取相应的多个子训练图像视觉特征，并获得特征模型。

可选的，所述视觉特征学习算法包括以下任一种：

深度学习方法、boosting算法、svm算法或局部特征组合的学习算法。

可选的，所述特征模型的数学表达为：

v_ij＝M_ij(a_ij,q_ij)

式中a_ij表示结构顺序位于横排第i个、竖排第j个的子训练图像，M_ij为对应子训练图像a_ij上训练得到的特征模型，q_ij为训练得到的特征模型参数，v_ij为通过特征模型M_ij对子训练图像a_ij提取的子训练图像视觉特征。

可选的，所述将所述多个结构化子图像的视觉特征进行结构化融合，获得结构化特征数据，包括：

根据构建多个结构化子图像时的确定的结构化基准点位置，将所述多个结构化子图像的视觉特征进行结构化融合，获得结构化特征数据，所述结构化特征数据包括特征空间关系和特征信息。

可选的，所述结构化特征数据的数学表达为：

d(i,j,k)＝v_ij(k)

式中v_ij表示结构化子图像的视觉特征，k为第k维的数据，d为融合后的结构化特征数据。

可选的，所述结构化模型训练得到的模型是通过以下方式获得的：

将所述多个子训练图像视觉特征进行结构化融合，获得训练图像结构化特征数据；

采用视觉特征学习算法对所述训练图像结构化特征数据进行结构化模型训练，获得结构化模型训练得到的模型。

可选的，所述结构化模型训练得到的模型的数学表达为：

v＝M(d,q)

其中M为基于融合后的训练图像特征数据d进行结构化模型训练得到的模型，q为训练得到的模型参数，v为通过模型M对训练图像特征数据d融合得到的相应视觉特征。

可选的，所述图像特征提取方法还包括：

将所述图像特征数据与预定的图像数据库中的各个预定图像特征数据依次进行比对；

输出比对结果。

可选的，所述将所述图像特征数据与预定的图像数据库中的各个预定图像特征数据依次进行比对，包括：

依次计算所述图像特征数据与预定的图像数据库中的各个预定图像特征数据之间的差值；

所述输出比对结果包括：

依次判断每个所述差值是否大于预定的差值阈值；

若每个所述差值都大于预定的相似度阈值，则输出没有相似图像的信息，否则，则将与所述图像特征数据差值最小的预定图像特征数据对应的图像，和/或图像的信息输出。

可选的，所述计算所述图像特征数据与预定的图像数据库中的各个预定图像特征数据之间的差值的算法包括以下任一种：

欧氏距离计算方法、Cosine距离计算方法或Joint Bayesian距离计算方法。

可选的，所述图像包括：人脸图像。

本申请还提供一种图像特征提取装置，包括：

图像接收单元，用于接收用户输入的图像；

配准单元，用于对所述用户输入的图像进行配准，获得配准后的图像；

子图像构建单元，用于对所述配准后的图像构建多个结构化子图像；

视觉特征提取单元，用于采用多模型训练获得的特征模型提取每个所述结构化子图像的视觉特征；

融合单元，用于将所述多个结构化子图像的视觉特征进行结构化融合，获得结构化特征数据；

运算单元，用于采用结构化模型训练得到的模型，对所述结构化特征数据进行运算，获得图像特征数据。

可选的，所述配准单元，包括：

基准点确定子单元，用于确定所述配准后的图像的结构化基准点位置；

形状参数确定子单元，用于确定子图像的形状参数；

切割子单元，用于根据所述结构化基准点位置及所述子图像的形状参数，切割所述配准后的图像，获得多个结构化子图像。

可选的，所述基准点确定子单元，包括：

特征基准点确定子单元，用于根据图像特征点确定所述配准后的图像的结构化基准点位置；或者，

空间基准点确定子单元，用于根据空间位置确定所述配准后的图像的结构化基准点位置。

可选的，所述切割子单元采用的数学算法为：

a_ij＝C(a,p_ij(x,y),s_ij)

式中a_ij表示结构顺序位于横排第i个、竖排第j个的结构化子图像，C为结构化子图像的构建函数，a表示用户输入的图像，p_ij表示顺序位于横排第i个、竖排第j个的结构化基准点，p_ij(x,y)表示结构化基准点p_ij处于所述用户输入的图像的坐标(x,y)处，s_ij表示结构化子图像的形状参数，包括矩形、圆形、椭圆形等任意平面形状及其尺寸。

可选的，所述图像特征提取装置，还包括：

多模型训练单元，用于通过多模型训练获得特征模型；

所述多模型训练单元包括：

训练图像库选择子单元，用于选择预定的训练图像库；

训练图像配准子单元，用于将所述预定的训练图像库中的每个训练图像按照统一的配准方法进行配准，获得配准后的多个训练图像；

子训练图像构建子单元，用于对所述配准后的多个训练图像分别构建多个结构化子训练图像；

特征模型获取子单元，用于采用视觉特征学习算法对所述多个结构化子训练图像进行特征模型训练以提取相应的多个子训练图像视觉特征，并获得特征模型。

可选的，所述特征模型获取子单元采用的视觉特征学习算法包括以下任一种：

深度学习方法、boosting算法、svm算法或局部特征组合的学习算法。

可选的，所述融合单元包括：

基准点融合子单元，用于根据构建多个结构化子图像时的确定的结构化基准点位置，将所述多个结构化子图像的视觉特征进行结构化融合，获得结构化 特征数据，所述结构化特征数据包括特征空间关系和特征信息。

可选的，所述图像特征提取装置，还包括：

结构化模型训练单元，用于通过结构化模型训练获得模型；

所述结构化模型训练单元包括：

子训练图像融合子单元，用于将所述多个子训练图像视觉特征进行结构化融合，获得训练图像结构化特征数据；

模型获取子单元，用于采用视觉特征学习算法对所述训练图像结构化特征数据进行结构化模型训练，获得结构化模型训练得到的模型。

可选的，所述图像特征提取装置，还包括：

比对单元，用于将所述图像特征数据与预定的图像数据库中的各个预定图像特征数据依次进行比对；

输出单元，用于输出比对结果。

可选的，所述比对单元包括：

差值计算子单元，用于依次计算所述图像特征数据与预定的图像数据库中的各个预定图像特征数据之间的差值；

所述输出单元包括：

差值判断子单元，用于依次判断每个所述差值是否大于预定的差值阈值；

信息输出单元，用于若每个所述差值都大于预定的相似度阈值，则输出没有相似图像的信息，否则，则将与所述图像特征数据差值最小的预定图像特征数据对应的图像，和/或图像的信息输出。

可选的，所述比对单元计算所述图像特征数据与预定的图像数据库中的各个预定图像特征数据之间的差值的算法包括以下任一种：

欧氏距离计算方法、Cosine距离计算方法或Joint Bayesian距离计算方法。

本申请还提供一种图像特征提取终端设备，包括：

中央处理器；

输入输出单元；

存储器；所述存储器中存储有本申请提供的图像特征提取方法；并在启动后能够根据上述方法运行。

本申请还提供一种图像特征提取系统，包括客户端和远端服务器，使用本申请提供的图像特征提取装置，所述客户端拍摄图像和/或选取相册中的图像发送到远端服务器，所述远端服务器提取出图像特征数据，并与预定的图像数据库中的图像进行比对，并将比对结果发送至所述客户端，最终由所述客户端输出比对结果。

与现有技术相比，本申请具有以下优点：

本申请提供的一种图像特征提取方法，首先接收用户输入的图像；然后对所述用户输入的图像进行配准，获得配准后的图像；再对所述配准后的图像构建多个结构化子图像；接下来，采用多模型训练获得的特征模型提取每个所述结构化子图像的视觉特征；然后将所述多个结构化子图像的视觉特征进行结构化融合，获得结构化特征数据；最后采用结构化模型训练得到的模型，对所述结构化特征数据进行运算，获得图像特征数据。相较于现有技术的图像特征提取方法，本申请中，通过构建结构化子图像保留了结构化子图像之间的空间位置信息，因此提取的所述结构化子图像的视觉特征同时包括特征空间关系和特征信息，在进行结构化融合时既保留了各视觉特征的描述性，又保留了各视觉特征的空间关系，从而最终获得的图像特征数据为特征向量，可以用特征向量间的特征距离描述不同图像之间的差异，又由于本方法中特征向量与模型在训练过程中更好的保持了图像的结构化特性，因此，所述图像特征数据具有更高的准确性和可辨识性。在图像识别尤其是人脸识别中应用本申请提供的图像特征提取方法，会具有更高的准确性，从而获得更好的识别效果。

附图说明

图1是本申请提供的一种图像特征提取方法实施例的流程图；

图2是本申请提供的一种图像特征提取方法实施例中构建多个结构化子图像的流程图；

图3是本申请提供的根据空间位置关系确定结构化基准点的示例图；

图4是本申请提供的根据人脸特征点确定结构化基准点的示例图；

图5是本申请提供的一种图像特征提取方法实施例中多模型训练的流程图；

图6是本申请提供的特征结构化融合示意图；

图7是本申请提供的一种图像特征提取装置实施例的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

本申请提供了一种图像特征提取方法、一种图像特征提取装置、一种图像特征提取终端设备以及一种图像特征提取系统，下面依次结合附图对本申请的实施例进行详细说明。

请参考图1，其为本申请提供的一种图像特征提取方法实施例的流程图，所述图像特征提取方法包括如下步骤：

步骤S101：接收用户输入的图像。

本步骤中，首先接收用户输入的图像，用户可以从终端设备的电子相册中选择一幅图像输入，也可以通过摄像装置拍摄一幅图像并输入。需要说明的是，本申请的目的在于图像识别，因此优先考虑用户输入的图像为静态图像，但为了提高本方法的普遍适用性，在本申请的一个实施例中，可以接收用户输入的动态图像，但会进行预处理，只提取所述动态图像的特定帧(如第一帧)作为用户输入的图像，以上均在本申请的保护范围之内。

在本申请的一个优选实施例中，本图像特征提取方法用于人脸图像识别，因此，所述图像包括人脸图像。

步骤S102：对所述用户输入的图像进行配准，获得配准后的图像。

通过步骤S101，已接收到用户输入的图像，接下来，需要对所述用户输入的图像进行配准，现有技术中常用的配准方法是先检测图像特征点，然后根据特征点进行图像仿射变换，将图像归一化到预定的大小与比例，获得配准后的头像，以便进行识别和比对。

在本申请的一个优选实施例中，本图像特征提取方法用于人脸图像识别，所述图像为人脸图像，在进行配准时，首先检测人脸图像的特征点，如眼睛、嘴、鼻子的位置等，然后根据所述特征点进行图像仿射变换，归一化到预定的大小和比例，通过这种方式，将需要与所述人脸图像进行比对的图像也进行配准，使其与所述人脸图像的大小和比例一致，即可在相同的标准下进行比对，进而提高比对的准确性。

步骤S103：对所述配准后的图像构建多个结构化子图像。

通过步骤S103，已通过对所述用户输入的图像进行配准，获得了配准后的图像，接下来，需要对所述配准后的图像构建多个结构化子图像，请参考图2，其为本申请提供的一种图像特征提取方法实施例中构建多个结构化子图像的流程图，所述对所述配准后的图像构建多个结构化子图像可通过以下子步骤进行：

步骤S1031：确定所述配准后的图像的结构化基准点位置。

构建多个结构化子图像，即按照一定的结构、位置及限制条件从图像中分割出多个子图像。首先，要确定所述配准后的图像的结构化基准点位置，以用来确定结构化子图像的切割位置。

在本申请提供的一个实施例中，将所述结构化基准点作为结构化子图像切割的中心点，为了保持图像的结构特点以及方便后续的计算，一般选择上下左右关系基本保持不变的一组大致矩形分布的基准点。

结构化基准点的确定方法有多种，可以是根据空间位置确定所述配准后的图像的结构化基准点位置，也可以根据图像特征点确定所述配准后的图像的结构化基准点位置。

仍以上述人脸图像的优选实施例为例，如图3所示，其根据空间位置关系确定了一组4×4个结构化基准点，他们之间的距离相对于图像是完全固定的。如图4所示，其根据人脸特征点确定了3×3个结构化基准点，图中9个结构化基准点自上至下、自左至右依次为：右眼中心点、两眼中心点、左眼中心点、右脸颊点、鼻尖点、左脸颊点、右嘴角点、嘴唇中心点和左嘴角点，这9个结构化基准点的位置关系对于不同的人、姿态、表情会发生稍许变化，但同样满足近似的矩形结构关系。

以上仅以人脸图像为例举例说明，对于不同类别的图像，在实施时可根据图像的主体内容选择确定结构化基准点的方法，同时结构化基准点的数量也不限于上述4×4和3×3的情形，可根据实际情况灵活确定，此处不再赘述，其均在本申请的保护范围之内。

步骤S1032：确定子图像的形状参数。

通过步骤S1031，已确定所述配准后的图像的结构化基准点位置，接下来，需要确定子图像的形状参数，即以所述结构化基准点位置做参考，在其周围以一定比例与大小确定一个子图像区域，所述形状参数包括所述子图像的形状，如矩形、圆形、椭圆形等任意平面形状，以及所述子图像的尺寸，如矩形的长 宽、圆形的半径等。

仍以上述人脸图像的优选实施例为例，如图3所示，确定了分别以左上与右下两个结构化基准点为中心的不同尺寸的两个矩形子图像区域。

步骤S1033：根据所述结构化基准点位置及所述子图像的形状参数，切割所述配准后的图像，获得多个结构化子图像。

通过步骤S1031和步骤S1032，已确定所述结构化基准点位置及所述子图像的形状参数，接下来，需要根据所述结构化基准点位置及所述子图像的形状参数，切割所述配准后的图像，从而提取出多个结构化子图像，同时将所述结构化基准点的位置关系作为结构信息进行记录保存。

仍以上述人脸图像的优选实施例为例，所述结构化子图像的数学算法可以为：

a_ij＝C(a,p_ij(x,y),s_ij)

式中a_ij表示结构顺序位于横排第i个、竖排第j个的结构化子图像，C为结构化子图像的构建函数，a表示用户输入的图像，p_ij表示顺序位于横排第i个、竖排第j个的结构化基准点，p_ij(x,y)表示结构化基准点p_ij处于所述用户输入的图像的坐标(x,y)处，s_ij表示结构化子图像的形状参数，包括矩形、圆形、椭圆形等任意平面形状及其尺寸。

步骤S104：采用多模型训练获得的特征模型提取每个所述结构化子图像的视觉特征。

通过步骤S103，已对所述配准后的图像构建多个结构化子图像，接下来，需要采用多模型训练获得的特征模型提取每个所述结构化子图像的视觉特征，所述特征模型是通过多模型训练获得的用来提取图像视觉特征的数学表达，其输入是整体或者局部图像，输出是相应的视觉特征。所述视觉特征是基于图像提炼出来的能描述图像整体或者局部形状、纹理、颜色等特点的数学表达，一般用向量的形式来表示。所述多模型训练是估计特征模型参数的过程，一般通过大批图像按照某种准则完成特征模型参数的估计。

在本申请提供的一个实施例中，请参考图5，其为本申请提供的一种图像特征提取方法实施例中多模型训练的流程图，所述多模型训练获得的特征模型是通过以下子步骤实现的：

步骤S1041：选择预定的训练图像库。

本步骤，首先选择预定的训练图像库，所述预定的训练图像库是与所述用户输入的图像主题内容一致的多个训练图像的集合，以上述人脸图像的优选实施例为例，所述用户输入的图像为人脸图像，则选择预定的训练图像库为人脸训练图像库，所述人脸训练图像库可以采用业内具有代表性的公开人脸数据库，如1fw、CASIA_WebFace等，也可以使用自己按照统一标准整理的人脸数据库。

步骤S1042：将所述预定的训练图像库中的每个训练图像按照统一的配准方法进行配准，获得配准后的多个训练图像。

通过步骤S1041，已选择预定的训练图像库，接下来，为了保证所述多模型训练获得的特征模型可以适用于所述用户输入的图像，需要将所述预定的训练图像库中的训练图像全部采用与步骤S102中所述的配准方法一致的配准方法进行配准，具体请参照上述步骤S102的说明，此处不再赘述，其均在本申请的保护范围之内。

步骤S1043：对所述配准后的多个训练图像分别构建多个结构化子训练图像。

通过步骤S1042，已将所述预定的训练图像库中的每个训练图像按照统一的配准方法进行配准，获得了配准后的多个训练图像，接下来，需要对所述配准后的多个训练图像分别构建多个结构化子训练图像。具体实施方式请参考上述步骤S103的说明，此处不再赘述，其均在本申请的保护范围之内。

步骤S1044：采用视觉特征学习算法对所述多个结构化子训练图像进行特征模型训练以提取相应的多个子训练图像视觉特征，并获得特征模型。

通过步骤S1043，已对所述配准后的多个训练图像分别构建多个结构化子训练图像，接下来，采用视觉特征学习算法对所述多个结构化子训练图像进行特征模型训练以提取相应的多个子训练图像视觉特征，并获得特征模型。本步骤对各个结构化子训练图像分别进行多模型训练，以便对各结构化子训练图像提取最有表征性的视觉特征。

所述视觉特征学习算法包括以下任一种：深度学习方法、boosting算法、svm算法或局部特征组合的学习算法。以上均为现有技术中的成熟的学习算法，此处不再赘述，其均在本申请的保护范围之内。

在本申请提供的一个实施例中，所述特征模型的数学表达为：

v_ij＝M_ij(a_ij,q_ij)

式中a_ij表示结构顺序位于横排第i个、竖排第j个的子训练图像，M_ij为对 应子训练图像a_ij训练得到的特征模型，q_ij为训练得到的特征模型参数，v_ij为通过特征模型M_ij对子训练图像a_ij提取的子训练图像视觉特征。

通过步骤S1041至S1044，完成了多模型训练，确定了特征模型及特征模型参数，接下来，将所述多个结构化子图像代入上述特征模型，即可计算得知每个所述结构化子图像的视觉特征。

步骤S105：将所述多个结构化子图像的视觉特征进行结构化融合，获得结构化特征数据。

通过步骤S104，已采用多模型训练获得的特征模型提取每个所述结构化子图像的视觉特征，接下来，将所述多个结构化子图像的视觉特征进行结构化融合，获得结构化特征数据。

在本申请提供的一个实施例中，所述将所述多个结构化子图像的视觉特征进行结构化融合，获得结构化特征数据，包括：

根据构建多个结构化子图像时的确定的结构化基准点位置，将所述多个结构化子图像的视觉特征进行结构化融合，获得结构化特征数据，所述结构化特征数据包括特征空间关系和特征信息。

仍以上述人脸图像的优选实施例为例，根据上述步骤S103确定的所述结构化基准点位置，对所述结构化子图像的视觉特征在空间上进行结构化融合，这样在空间平面上可以反映各所述结构化子图像的视觉特征基于所述结构化基准点位置的空间关系，而所述结构化子图像的视觉特征的特征轴则反映了各所述结构化子图像的特征信息，其长短代表了特征维度。请参考图6，其为本申请提供的特征结构化融合示意图，特征化基准点601位置的特征值图像602经过对应的特征模型抽取特征向量603，所述特征向量603经过结构化融合获得结构化特征数据604，由于结构化融合的过程保持了结构化基准点601相对于其他结构化基准点的空间位置关系，因此所述结构化特征数据604中也包含了特征空间关系和特征信息。

在本申请提供的一个实施例中，所述结构化特征数据的数学表达为：

d(i,j,k)＝v_ij(k)

式中v_ij表示结构化子图像的视觉特征，k为第k维的数据，d为融合后获得的结构化特征数据。

步骤S106：采用结构化模型训练得到的模型，对所述结构化特征数据进行 运算，获得图像特征数据。

通过步骤S105，已将所述多个结构化子图像的视觉特征进行结构化融合，获得结构化特征数据，接下来，采用结构化模型训练得到的模型，对所述结构化特征数据进行运算，获得图像特征数据。

所述结构化模型训练是上述步骤S1041至S1044描述的多模型训练的后续步骤，相关之处请参照上述步骤S1041至S1044的描述，此处不再赘述，以下对结构化模型训练进行说明。

所述结构化模型训练是对结构化特征数据进行训练，在保持特征空间关系的同时，对特征信息进行更好的融合。在本申请提供的一个实施例中，所述结构化模型训练包括：

将所述多个子训练图像视觉特征进行结构化融合，获得训练图像结构化特征数据；

采用视觉特征学习算法对所述训练图像结构化特征数据进行结构化模型训练，获得结构化模型训练得到的模型。

在本申请提供的一个实施例中，所述结构化模型训练得到的模型的数学表达为：

v＝M(d,q)

其中M为基于融合后的训练图像特征数据d进行结构化模型训练得到的模型，q为训练得到的模型参数，v为通过模型M对训练图像特征数据d融合得到的相应视觉特征。

通过上述多模型训练，可以确定模型及模型参数，接下来，将所述结构化特征数据代入上述模型中的d，即可计算得到最终的图像特征数据v。

至此，通过步骤S101至步骤S106完成了本申请提供的图像特征提取方法实施例的流程,本申请中，通过构建结构化子图像保留了结构化子图像之间的空间位置信息，因此提取的所述结构化子图像的视觉特征同时包括特征空间关系和特征信息，在进行结构化融合时既保留了各视觉特征的描述性，又保留了各视觉特征的空间关系，从而最终获得的图像特征数据为特征向量，可以用特征向量间的特征距离描述不同图像之间的差异，又由于本方法中特征向量与模型在训练过程中更好的保持了图像的结构化特性，因此，所述图像特征数据具有更高的准确性和可辨识性。在图像识别尤其是人脸识别中应用本申请提供的图 像特征提取方法，会具有更高的准确性，从而获得更好的识别效果。

通过以上步骤，已经提取出所述用户输入的图像的图像特征数据，接下来可以利用所述图像特征数据对所述用户输入的图像进行识别，可用于判断所述用户输入的图像与某一图像的相似程度，或者判断某一图像数据库中是否有与所述用户输入的图像相似的图片，或者在某一图像数据库中筛选出与所述用户输入的图像相似的图片，在本申请提供的一个实施例中，所述图像特征提取方法还包括步骤：

将所述图像特征数据与预定的图像数据库中的各个预定图像特征数据依次进行比对；

输出比对结果。

所述比对结果可以是所述用户输入的图像与预定的图像数据库中每个图片的相似程度，也可以是将相似程度达到预定阈值的预定的图像数据库中的图片及其信息等。在实际应用时，所述预定的图像数据库可以是公安追逃应用中的罪犯人脸数据库、考勤系统中的员工人脸数据库、会员管理系统中的会员人脸数据库或者明星脸检索系统中的明星人脸数据库等等，所述比对结果可以是所述用户输入的图像是否为在逃罪犯、所述用户输入的图像是否为已注册员工或会员、考勤人员的相貌是否与考勤系统中的记录一致，所述用户输入的图像与哪个明星的相貌相似等等。

考虑到所述图像特征数据为向量，所述相似程度可以采用向量之间的距离来表征，距离越小，相似程度越高例如欧氏距离、Cosine距离或Joint Bayesian距离等。

在本申请提供的一个实施例中，所述将所述图像特征数据与预定的图像数据库中的各个预定图像特征数据依次进行比对，包括：

依次计算所述图像特征数据与预定的图像数据库中的各个预定图像特征数据之间的差值；

所述输出比对结果包括：

依次判断每个计算后的相似度是否大于预定的差值阈值；

若每个计算后的差值都大于预定的相似度阈值，则输出没有相似图像的信息，否则，则将与所述图像特征数据差值最小的预定图像特征数据对应的图像，和/或图像的信息输出。

其中所述计算所述图像特征数据与预定的图像数据库中的各个预定图像特征数据之间的差值的算法包括以下任一种：

欧氏距离计算方法、Cosine距离计算方法或Joint Bayesian距离计算方法。

以上，为本申请提供的一种图像特征提取方法实施例，与其相应的，本申请还提供了一种图像特征提取装置。请参考图7，其为本申请提供的一种图像特征提取装置实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本申请提供的一种图像特征提取装置实施例中，所述图像特征提取装置包括：图像接收单元701，用于接收用户输入的图像；配准单元702，用于对所述用户输入的图像进行配准，获得配准后的图像；子图像构建单元703，用于对所述配准后的图像构建多个结构化子图像；视觉特征提取单元704，用于采用多模型训练获得的特征模型提取每个所述结构化子图像的视觉特征；融合单元705，用于将所述多个结构化子图像的视觉特征进行结构化融合，获得结构化特征数据；运算单元706，用于采用结构化模型训练得到的模型，对所述结构化特征数据进行运算，获得图像特征数据。

可选的，所述配准单元702，包括：

基准点确定子单元，用于确定所述配准后的图像的结构化基准点位置；

形状参数确定子单元，用于确定子图像的形状参数；

切割子单元，用于根据所述结构化基准点位置及所述子图像的形状参数，切割所述配准后的图像，获得多个结构化子图像。

可选的，所述基准点确定子单元，包括：

特征基准点确定子单元，用于根据图像特征点确定所述配准后的图像的结构化基准点位置；或者，

空间基准点确定子单元，用于根据空间位置确定所述配准后的图像的结构化基准点位置。

可选的，所述切割子单元采用的数学算法为：

a_ij＝C(a,p_ij(x,y),s_ij)

式中a_ij表示结构顺序位于横排第i个、竖排第j个的结构化子图像，C为结 构化子图像的构建函数，a表示用户输入的图像，p_ij表示顺序位于横排第i个、竖排第j个的结构化基准点，p_ij(x,y)表示结构化基准点p_ij处于所述用户输入的图像的坐标(x,y)处，s_ij表示结构化子图像的形状参数，包括矩形、圆形、椭圆形等任意平面形状及其尺寸。

可选的，所述图像特征提取装置，还包括：多模型训练单元，用于通过多模型训练获得特征模型。

可选的，所述多模型训练单元包括：

训练图像库选择子单元，用于选择预定的训练图像库；

训练图像配准子单元，用于将所述预定的训练图像库中的每个训练图像按照统一的配准方法进行配准，获得配准后的多个训练图像；

子训练图像构建子单元，用于对所述配准后的多个训练图像分别构建多个结构化子训练图像；

特征模型获取子单元，用于采用视觉特征学习算法对所述多个结构化子训练图像进行特征模型训练以提取相应的多个子训练图像视觉特征，并获得特征模型。

可选的，所述特征模型获取子单元采用的视觉特征学习算法包括以下任一种：

深度学习方法、boosting算法、svm算法或局部特征组合的学习算法。

可选的，所述融合单元705包括：

基准点融合子单元，用于根据构建多个结构化子图像时的确定的结构化基准点位置，将所述多个结构化子图像的视觉特征进行结构化融合，获得结构化特征数据，所述结构化特征数据包括特征空间关系和特征信息。

可选的，所述图像特征提取装置还包括：

结构化模型训练单元，用于通过结构化模型训练获得模型。

可选的，所述结构化模型训练单元包括：

子训练图像融合子单元，用于将所述多个子训练图像视觉特征进行结构化融合，获得训练图像结构化特征数据；

模型获取子单元，用于采用视觉特征学习算法对所述训练图像结构化特征数据进行结构化模型训练，获得结构化模型训练得到的模型。

可选的，所述图像特征提取装置还包括：

比对单元，用于将所述图像特征数据与预定的图像数据库中的各个预定图像特征数据依次进行比对；

输出单元，用于输出比对结果。

可选的，所述比对单元包括：

差值计算子单元，用于依次计算所述图像特征数据与预定的图像数据库中的各个预定图像特征数据之间的差值；

所述输出单元包括：

差值判断子单元，用于依次判断每个所述差值是否大于预定的差值阈值；

信息输出单元，用于若每个所述差值都大于预定的相似度阈值，则输出没有相似图像的信息，否则，则将与所述图像特征数据差值最小的预定图像特征数据对应的图像，和/或图像的信息输出。

可选的，所述比对单元计算所述图像特征数据与预定的图像数据库中的各个预定图像特征数据之间的差值的算法包括以下任一种：

欧氏距离计算方法、Cosine距离计算方法或Joint Bayesian距离计算方法。

以上，为本申请提供的一种图像特征提取装置实施例。

本申请还提供一种图像特征提取终端设备，包括：

中央处理器；

输入输出单元；

存储器；所述存储器中存储有本申请提供的图像特征提取方法；并在启动后能够根据上述方法运行。

例如，所述客户端为一平板电脑，用户用平板电脑自拍一张照片或从相册中选择一张人脸照片，所述平板电脑即调用本申请提供的图像特征提取方法提取出照片的图像特征数据，并与预存的明星脸图像数据库中的图像进行比对，得到与所述照片相似度最高的明星图像，并调取所述明星的人物信息，然后将所述明星图像及人物信息在显示屏上输出。

由于本终端设备使用上述图像特征提取方法，相关之处请参见上述图像特征提取方法实施例的说明，此处不再赘述。

本申请还提供了一种图像特征提取系统，包括客户端和远端服务器，本系 统部署有本申请提供的所述图像特征提取装置，在运行时，所述客户端拍摄图像和/或选取相册中的图像发送到远端服务器，所述远端服务器提取出图像特征数据，并与预定的图像数据库中的图像进行比对，并将比对结果发送至所述客户端，最终由所述客户端输出比对结果。

例如，所述客户端为一智能手机，用户用智能手机自拍一张照片或从相册中选择一张人脸照片，然后发送到远端服务器，远端服务器即调用本申请提供的图像特征提取方法提取出照片的图像特征数据，并与预存的明星脸图像数据库中的图像进行比对，得到与所述照片相似度最高的明星图像，并调取所述明星的人物信息，然后将所述明星图像及人物信息发送至所述客户端，最终在所述客户端的显示屏上输出。

由于本图像特征提取系统使用上述图像特征提取方法，相关之处请参见上述图像特征提取方法实施例的说明，此处不再赘述。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。