图像识别方法、度量学习方法、图像来源识别方法及装置与流程

本申请涉及模式识别技术，具体涉及一种图像识别方法及装置。本申请同时提供一种度量学习方法及装置，以及图像来源识别方法及装置。

背景技术：

人脸识别是近年来模式识别、图像处理、机器视觉、神经网络以及认知科学等领域研究的热点课题之一。人脸识别通常是指，从人脸图像中提取有鉴别能力的视觉特征，并用其确定人脸身份的计算机技术，具体可以分为两类：人脸鉴别和人脸验证。人脸鉴别是指鉴别某张人脸图像的身份，即确定某一张人脸图像是哪个人的图像；人脸验证是指判断一张人脸图像的身份是否为声称的某个人。

现有的人脸识别技术通常包含两个主要研究方向：特征学习和度量学习。特征学习的目的是将人脸图像转化更可分的、更具鉴别能力的形式；而度量学习则用于从训练样本中学习评估样本间距离或相似度的度量模型或度量函数，其中，联合贝叶斯脸是目前应用比较普及的度量学习方法，是一种基于高斯假设的概率判别分析推导出的度量学习方法。

人脸识别的主要过程包括：训练过程和识别过程。训练过程是指利用人脸图像训练集求解相似度度量模型的参数，该过程也称为度量学习过程，所述人脸图像训练集由人脸图像和身份标签(标识哪些图像来自同一人，哪些图像来自不同人)组成；识别过程则是指，首先采集供查询的人脸图像注册集，注册集通常由人脸图像、身份标签和身份信息组成，其来源一般较为单一，质量较好，然后将待识别人脸图像的特征与所述注册集中样本特征进行比对，利用训练好的相似度度量模型计算待识别人脸图像特征与注册图像特征的相似度，从而确定待识别人脸图像对应的身份。

由于联合贝叶斯脸的基本假设为：参与比对的人脸样本x和y服从同一高斯分布，而在具体应用中，注册集中的图像来源通常是可控的，待识别人脸图像的来源则较为复杂，质量参差不齐，如：视频截图、扫描图片、大头贴等， 即：注册集中的图像和待识别图像的来源可能不同，导致参与比对的人脸样本可能并不满足服从同一高斯分布的要求(也称为非对称人脸)，在这种情况下，现有的人脸识别技术通常不能很好地处理，导致识别准确率较低，无法满足应用的需求。在针对其他客体图像的识别应用中，也同样存在因为图像来源不同(即非对称客体图像)而导致的上述问题。

技术实现要素：

本申请实施例提供一种图像识别方法和装置，以解决现有的图像识别技术针对来源多变的客体图像识别准确率低的问题。本申请实施例还提供一种度量学习方法和装置，以及一种图像来源识别方法和装置。

本申请提供一种图像识别方法，包括：

获取待识别客体图像；

提取所述待识别客体图像的客体特征；

从预先训练好的度量模型集合中选择与所述待识别客体图像的来源类别相对应的相似度度量模型，并计算所述客体特征与注册图像客体特征的相似度，作为输出客体识别结果的依据；

其中，所述度量模型集合包含至少一个相似度度量模型，不同的相似度度量模型分别与客体图像的不同来源类别相对应。

可选的，所述度量模型集合中对应不同来源类别的各相似度度量模型，是利用属于预设来源类别的基准客体图像训练集、以及对应不同来源类别的比对客体图像训练集分别训练得到的。

可选的，所述基准客体图像训练集中的客体图像与所述注册图像属于相同的来源类别。

可选的，在所述从预先训练好的度量模型集合中选择与所述待识别客体图像的来源类别相对应的相似度度量模型的步骤之前，执行下述操作：

以所述客体特征为输入，利用预先训练好的客体图像来源分类模型，确定所述待识别客体图像的来源类别。

可选的，所述客体图像来源分类模型是采用如下算法训练得到的多类分类模型：

Softmax算法、多类SVM算法、或者随机森林算法。

可选的，所述相似度度量模型包括：在参与比对的客体特征服从各自高斯分布的假设下、建立的非对称度量模型。

可选的，所述非对称度量模型包括：基于联合贝叶斯脸的非对称度量模型；

对应于特定来源类别的上述非对称度量模型是采用如下步骤训练得到的：

提取属于预设来源类别的基准客体图像训练集中各图像的客体特征，作为基准特征样本集；

提取属于所述特定来源类别的比对客体图像训练集中各图像的客体特征，作为比对特征样本集；

在参与比对的客体特征服从各自高斯分布的假设下，建立包含参数的非对称度量模型；

根据上述两类特征样本集中的样本以及标识样本是否属于同一客体的身份标签，求解所述非对称度量模型中的参数，完成所述模型的训练。

可选的，所述对应于特定来源类别的非对称度量模型如下所示：

A=(S_xx+T_xx)^-1-E

B＝(S_yy+T_yy)^-1-F

G＝-(S_xx+T_xx-S_xy(S_yy+T_yy)^-1S_yx)^-1S_xy(S_yy+T_yy)^-1

E＝(S_xx+T_xx-S_xy(S_yy+T_yy)^-1S_yx)^-1

F＝(S_yy+T_yy-S_yx(S_xx+T_xx)^-1S_xy)^-1

其中，假设基准特征样本集X中的样本x＝μ_x+ε_x，μ_x和ε_x服从均值为0，协方差矩阵为S_xx和T_xx的高斯分布，比对特征样本集Y中的样本y＝μ_y+ε_y，μ_y和ε_y服从均值为0，协方差矩阵为S_yy和T_yy的高斯分布，S_xy和S_yx是X和Y之间的互协方差矩阵；r(x,y)为基于类内/类间对数似然比计算的相似度；

所述求解所述非对称度量模型中的参数包括：求解S_xx、T_xx、S_yy、T_yy、S_xy、和S_yx。

可选的，所述求解所述非对称度量模型中的参数包括：

利用散度矩阵估算所述模型中的参数；或者，

采用期望最大化算法迭代求解所述模型中的参数。

可选的，所述计算所述客体特征与注册图像客体特征的相似度，包括：

计算所述客体特征与对应特定身份的注册图像客体特征的相似度；

在上述计算相似度的步骤后，执行下述操作：

判断所述相似度是否大于预先设定的阈值；

若是，判定所述待识别客体图像与所述对应特定身份的注册图像属于同一客体，并将所述判定作为客体识别结果输出。

可选的，所述计算所述客体特征与注册图像客体特征的相似度，包括：

计算所述客体特征与指定范围内的注册图像客体特征的相似度；

在上述计算相似度的步骤后，执行下述操作：

判断计算所得相似度中的最大值是否大于预先设定的阈值；

若是，判定所述待识别客体图像在所述指定范围内的注册图像中匹配成功，并将所述最大值对应的注册图像的相关身份信息作为客体识别结果输出。

可选的，所述提取所述待识别客体图像的客体特征，包括：

采用局部二值模式算法提取所述客体特征；或者，

采用Gabor小波变换算法提取所述客体特征；或者，

采用深度卷积网络提取所述客体特征。

可选的，所述待识别客体图像包括：待识别人脸图像；所述客体特征包括：人脸特征。

可选的，所述来源类别包括：

证件照、生活照、视频截图、扫描图像、翻拍图像、或者监控画面。

相应的，本申请还提供一种图像识别装置，包括：

图像获取单元，用于获取待识别客体图像；

特征提取单元，用于提取所述待识别客体图像的客体特征；

相似度计算单元，用于从预先训练好的度量模型集合中选择与所述待识别客体图像的来源类别相对应的相似度度量模型，并计算所述客体特征与注册图像客体特征的相似度，作为输出客体识别结果的依据；

其中，所述相似度计算单元包括：

度量模型选择子单元，用于从预先训练好的度量模型集合中选择与所述待识别客体图像的来源类别相对应的相似度度量模型；

计算执行子单元，用于利用所述度量模型选择子单元所选的相似度度量模型计算所述客体特征与注册图像客体特征的相似度，作为输出客体识别结果的依据。

可选的，所述装置包括：

度量模型训练单元，用于利用属于预设来源类别的基准客体图像训练集、以及对应不同来源类别的比对客体图像训练集，分别训练得到所述度量模型集合中对应不同来源类别的各相似度度量模型。

可选的，所述装置包括：

来源类别确定单元，用于在触发所述相似度计算单元工作之前，以所述客体特征为输入，利用预先训练好的客体图像来源分类模型，确定所述待识别客体图像的来源类别。

可选的，所述装置包括：

来源分类模型训练单元，用于在触发所述来源类别确定单元工作之前，采用如下算法训练训练所述客体图像来源分类模型：Softmax算法、多类SVM算法、或者随机森林算法。

可选的，所述装置包括：

度量模型训练单元，用于训练所述度量模型集合中的各相似度度量模型，所述相似度度量模型包括：在参与比对的客体特征服从各自高斯分布的假设下、基于联合贝叶斯脸建立的非对称度量模型；

所述度量模型训练单元通过如下子单元训练对应于特定来源类别的上述非对称度量模型：

基准样本提取子单元，用于提取属于预设来源类别的基准客体图像训练集中各图像的客体特征，作为基准特征样本集；

比对样本提取子单元，用于提取属于所述特定来源类别的比对客体图像训练集中各图像的客体特征，作为比对特征样本集；

度量模型建立子单元，用于在参与比对的客体特征服从各自高斯分布的假 设下，建立包含参数的非对称度量模型；

模型参数求解子单元，用于根据上述两类特征样本集中的样本以及标识样本是否属于同一客体的身份标签，求解所述非对称度量模型中的参数，完成所述模型的训练。

可选的，所述模型参数求解子单元具体用于，利用散度矩阵估算所述模型中的参数，或者，采用期望最大化算法迭代求解所述模型中的参数。

可选的，所述计算执行子单元具体用于，计算所述客体特征与对应特定身份的注册图像客体特征的相似度；

所述装置还包括：

第一阈值比对单元，用于判断所述相似度是否大于预先设定的阈值；

第一识别结果输出单元，用于当所述第一阈值比对单元的输出为是时，判定所述待识别客体图像与所述对应特定身份的注册图像属于同一客体，并将所述判定作为客体识别结果输出。

可选的，所述计算执行子单元具体用于，计算所述客体特征与指定范围内的注册图像客体特征的相似度；

所述装置还包括：

第二阈值比对单元，用于判断计算所得相似度中的最大值是否大于预先设定的阈值；

第二识别结果输出单元，用于当所述第二阈值比对单元的输出为是时，判定所述待识别客体图像在所述指定范围内的注册图像中匹配成功，并将所述最大值对应的注册图像的相关身份信息作为客体识别结果输出。

可选的，所述特征提取单元具体用于，采用局部二值模式算法提取所述客体特征、采用Gabor小波变换算法提取所述客体特征、或者采用深度卷积网络提取所述客体特征。

此外，本申请还提供一种度量学习方法，包括：

提取属于同一来源类别的基准客体图像训练集中各图像的客体特征，作为基准特征样本集；

提取属于同一来源类别、但与所述基准客体图像分属不同来源类别的比对客体图像训练集中各图像的客体特征，作为比对特征样本集；

在参与比对的客体特征服从各自高斯分布的假设下，建立包含参数的非对称度量模型；

利用上述两类特征样本集中的样本，求解所述非对称度量模型中的参数。

可选的，所述非对称度量模型包括：基于联合贝叶斯脸的非对称度量模型；

所述非对称度量模型如下所示：

A＝(S_xx+T_xx)^-1-E

B＝(S_yy+T_yy)^-1-F

G＝-(S_xx+T_xx-S_xy(S_yy+T_yy)^-1S_yx)^-1S_xy(S_yy+T_yy)^-1

E＝(S_xx+T_xx-S_xy(S_yy+T_yy)^-1S_yx)^-1

F＝(S_yy+T_yy-S_yx(S_xx+T_xx)^-1S_xy)^-1

其中，假设基准特征样本集空间X中的样本x＝μ_x+ε_x，μ_x和ε_x服从均值为0，协方差矩阵为S_xx和T_xx的高斯分布，比对特征样本集空间Y中的样本y＝μ_y+ε_y，μ_y和ε_y服从均值为0，协方差矩阵为S_yy和T_yy的高斯分布，S_xy和S_yx是X和Y之间的互协方差矩阵；r(x,y)为基于类内/类间对数似然比计算的相似度；

所述求解所述非对称度量模型中的参数包括：求解S_xx、T_xx、S_yy、T_yy、S_xy、和S_yx。

可选的，所述求解所述非对称度量模型中的参数包括：

利用散度矩阵估算所述模型中的参数；或者，

采用期望最大化算法迭代求解所述模型中的参数。

可选的，所述基准客体图像以及所述比对客体图像包括：人脸图像；所述客体特征包括：人脸特征。

相应的，本申请还提供一种度量学习装置，包括：

基准样本提取单元，用于提取属于同一来源类别的基准客体图像训练集中各图像的客体特征，作为基准特征样本集；

比对样本提取单元，用于提取属于同一来源类别、但与所述基准客体图像分属不同来源类别的比对客体图像训练集中各图像的客体特征，作为比对特征 样本集；

非对称度量模型建立单元，用于在参与比对的客体特征服从各自高斯分布的假设下，建立包含参数的非对称度量模型；

度量模型参数求解单元，用于利用上述两类特征样本集中的样本，求解所述非对称度量模型中的参数。

可选的，所述非对称度量模型建立单元建立的度量模型包括：基于联合贝叶斯脸的非对称度量模型。

可选的，所述度量模型参数求解单元具体用于，利用散度矩阵估算所述模型中的参数，或者，采用期望最大化算法迭代求解所述模型中的参数。

此外，本申请还提供一种图像来源识别方法，包括：

采集属于不同来源类别的客体图像集，并从中提取客体特征组成训练样本集合；

利用所述训练样本集合中的客体特征样本及其来源类别，训练客体图像来源分类模型；

从待分类客体图像中提取客体特征；

以上述提取的客体特征为输入，采用所述客体图像来源分类模型识别所述待分类客体图像的来源类别。

可选的，所述客体图像来源分类模型是采用如下算法训练得到的多类分类模型：

Softmax算法、多类SVM算法、或者随机森林算法。

可选的，所述客体图像包括：人脸图像；所述客体特征包括：人脸特征。

相应的，本申请还提供一种图像来源识别装置，包括：

训练样本采集单元，用于采集属于不同来源类别的客体图像集，并从中提取客体特征组成训练样本集合；

分类模型训练单元，用于利用所述训练样本集合中的客体特征样本及其来源类别，训练图像来源分类模型；

待分类特征提取单元，用于从待分类客体图像中提取客体特征；

来源类别识别单元，用于以所述待分类特征提取单元提取的客体特征为输入，采用所述客体图像来源分类模型识别所述待分类客体图像的来源类别。

可选的，所述客体图像来源分类模型包括：多类分类模型；

所述分类模型训练单元具体用于，利用Softmax算法、多类SVM算法、或者随机森林算法训练所述客体图像来源分类模型。

与现有技术相比，本申请具有以下优点：

本申请提供的图像识别方法，首先获取待识别客体图像，提取所述待识别客体图像的客体特征，然后从预先训练好的度量模型集合中选择与所述待识别客体图像的来源类别相对应的相似度度量模型，并计算所述客体特征与注册图像客体特征的相似度，作为输出客体识别结果的依据。采用本方法进行图像识别，由于没有采用单一的相似度度量模型，而是选用预先训练好的与待识别客体图像的来源类别相对应的相似度度量模型，从而能够有效处理非对称客体图像识别问题，对来源多变的待识别客体图像的识别具有更好的鲁棒性和更高的准确率。

本申请提供的度量学习方法，在参与比对的人脸特征服从各自高斯分布的假设下，建立包含参数的非对称度量模型，利用不同来源的客体图像特征样本集合，求解所述非对称度量模型中的参数，从而完成非对称度量模型的构建。本方法对传统图像识别技术中的假设进行了修改，即：参与比对的两个客体样本x和y可以分别服从各自高斯分布、而不必共享参数，并在此基础上从分属不同来源类别的样本集合中学习用于识别非对称客体的相似度度量模型，从而为适应各种图像来源的高性能客体识别提供了基础。

本申请提供的图像来源识别方法，首先从分别属于不同来源类别的客体图像集中提取客体特征组成训练样本集合，利用所述训练样本集合中的客体特征样本及其来源类别，训练客体图像来源分类模型，然后以从待分类客体图像中提取的客体特征为输入，采用所述客体图像来源分类模型识别所述待分类客体图像的来源类别。本方法能够有效识别客体图像的来源类别，从而为在客体识别过程中选择正确的相似度度量模型提供依据，保障了识别结果的正确性。

附图说明

图1是本申请提供的一种图像识别方法的实施例的流程图；

图2是本申请实施例提供的度量模型集合训练过程的示意图；

图3是本申请实施例提供的训练非对称度量模型的处理流程图；

图4是本申请实施例提供的利用度量模型集合进行人脸识别的示意图；

图5是本申请提供的一种图像识别装置的实施例的示意图；

图6是本申请提供的一种度量学习方法的实施例的流程图；

图7是本申请提供的一种度量学习装置的实施例的示意图；

图8是本申请提供的一种图像来源识别方法的实施例的流程图；

图9是本申请提供的一种图像来源识别装置的实施例的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是，本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此，本申请不受下面公开的具体实施的限制。

在本申请中，分别提供了一种图像识别方法及装置，一种度量学习方法及装置，以及一种图像来源识别方法及装置，在下面的实施例中逐一进行详细说明。

虽然本申请的技术方案是以人脸识别为背景提出的，但是本申请技术方案的应用领域并非仅局限于人脸识别，在针对其他客体图像的识别应用中同样可以采用本申请提供的技术方案。

现有的图像识别技术通常不考虑客体图像的来源，采用单一的相似度度量模型进行识别，而本申请的技术方案，针对待识别客体图像来源复杂、质量参差不齐的现象，提出了一种图像识别的新思路：预先训练对应不同来源类别的相似度度量模型，而在具体应用时选用与待识别客体图像的来源类别相对应的相似度度量模型进行识别，从而能够处理非对称客体图像的识别问题，对属于不同来源类别的客体图像的识别具有更好的鲁棒性和更高的准确率。

所述客体图像通常是指，其主要展示内容(例如：作为图像主体的前景图像)为人脸或者各种物品等客体的图像。不同来源的客体图像通常是指，由于采集方式或者采集设备不同等因素、导致客体特征遵循不同数据分布的图像，不同来源可以包括：视频截图、扫描图像、翻拍图像等。

考虑到目前人脸图像的识别应用比较普及，在本申请的实施例中以人脸图像识别为重点进行描述。

请参考图1，其为本申请的一种图像识别方法的实施例的流程图。所述方法包括如下步骤：

步骤101、训练对应不同来源类别的相似度度量模型，组成度量模型集合。

对于本实施例中的人脸图像，各种不同来源类别包括但不局限于：证件照、生活照、视频截图、扫描图像、翻拍图像、或者监控画面等。

在采用本技术方案进行人脸识别之前，可以先训练对应于不同来源类别的相似度度量模型，所有训练好的相似度度量模型共同组成度量模型集合，该集合中的每个成员，即每个相似度度量模型分别与人脸图像的不同来源类别相对应。

给定两个属于不同来源类别的人脸特征样本(简称人脸样本)x和y，相似度度量模型用于评估两者之间的相似度，在具体实施时，所述相似度度量模型通常可以用度量函数f(x,y,P)来表示，其中P为该模型的参数，训练的目的是基于给定的训练集求解度量模型的参数P，参数P一旦确定则模型训练完毕。

针对人脸图像的多种来源类别，训练过程可以重复多次，从而得到多个度量函数，每个度量函数适用于不同来源类别的人脸图像。训练针对某一特定来源类别的度量模型时，训练集由三部分组成：作为训练基准的、属于预设来源类别的基准人脸图像训练集X、对应所述特定来源类别的比对人脸图像训练集Y、以及用于标识哪些图像来自同一人、哪些图像来自不同人的身份标签Z。给定一组训练集(X,Y,Z)，即可训练得到一个针对(X,Y)空间的度量函数f(x,y,P)。固定训练集X，通过更换属于不同来源类别的训练集Y_k，则可以训练得到多个度量函数f_k(x,y,P)，k＝1…K，其中K为训练集Y的个数，表示图像来源的类别数。请参见图2，其为度量模型集合训练过程的示意图。

上面对整个训练过程作了概要性描述，下面具体描述训练对应于某一特定来源类别的相似度度量模型的具体步骤，包括：提取特征、建立模型、求解模型参数等。在具体实施时，可以采用不同的算法建立相似度度量模型，为了便于理解，在本实施例中以目前应用比较普及的联合贝叶斯脸为基础建立相似度度量模型，并将建立的模型称为非对称度量模型。下面结合图3对训练所述非对称度量模型的过程作进一步说明，所述训练过程包括：

步骤101-1、提取属于预设来源类别的基准人脸图像训练集中各图像的人脸特征，作为基准特征样本集。

在具体实施时，作为训练基准的基准人脸图像训练集X中的人脸图像通常是在可控环境下采集的，所述预设来源类别可以为：证件照，或者其它图像质量通常比较好的来源类别。采集基准人脸图像训练集后，可以提取其中各图像的人脸特征作为样本，即通常所说的人脸样本，所有样本共同组成基准特征样本集。关于如何提取人脸特征，请参见后续步骤103中的文字说明。

步骤101-2、提取属于所述特定来源类别的比对人脸图像训练集中各图像的人脸特征，作为比对特征样本集。

所述特定来源类别可以与基准人脸图像训练集X的来源类别不同，例如：X是在可控环境下采集的证件照，比对人脸图像训练集Y中的人脸图像可以是在不可控环境下采集的生活照。采集所述比对人脸图像训练集后，可以提取其中各图像的人脸特征作为样本，所有样本共同组成比对特征样本集。关于如何提取人脸特征，请参见后续步骤103中的文字说明。

步骤101-3、在参与比对的人脸特征服从各自高斯分布的假设下，建立包含参数的非对称度量模型。

本实施例在传统联合贝叶斯脸的基础上进行了改进，并建立了非对称度量模型。为了便于理解，先对贝叶斯脸和联合贝叶斯脸作简要说明。

贝叶斯脸通常是对经典贝叶斯人脸识别方法的简称，该方法用两幅人脸图像特征的差别作为模式矢量，若两个图像属于同一人则称为类内模式，否则称为类间模式，从而将人脸识别的多分类问题转化为二分类问题。对于任意两个人脸样本x和y，如果基于类内/类间模式得到的对数似然比大于预先设定的阈值，则可以判定为同一个人。

联合贝叶斯脸则是在贝叶斯脸的基础上，针对x和y的联合概率分布建立二维模型，并将每个人脸样本表示为两个独立的潜在变量之和：不同人脸的变化+相同人脸的变化，然后利用大量样本训练得到基于对数似然比的相似度度量模型。需要说明的是，虽然上述两种贝叶斯脸技术是针对人脸图像识别提出的，但是也可以应用于其他客体图像的识别。

联合贝叶斯脸的识别准确率比经典贝叶斯脸有所提高，但是由于联合贝叶斯脸的基本假设为：参与比对的人脸样本x和y服从同一高斯分布，而在具体 应用中，注册集中的图像来源通常是可控的，待识别人脸图像的来源则较为复杂，质量参差不齐，也即：参与比对的人脸样本可能并不满足服从同一高斯分布的要求，导致联合贝叶斯脸技术通常不能很好地处理这种情况，识别准确率较低。

针对上述问题，本申请的发明人在对联合贝叶斯脸的假设进行修改的基础上，提出了非对称度量模型、以及采用不同来源类别的人脸图像训练集进行训练的度量学习方法。之所以称为“非对称”度量模型，是因为利用该模型进行比对的两个人脸样本所对应的人脸图像可以属于不同的来源类别，由于建模时考虑到了不同来源类别导致的数据分布差异，依据该模型估算的相似度可以得到更为准确的人脸识别结果。

非对称度量模型基于如下假设：参与比对的两个人脸样本x和y可以分别服从各自高斯分布、而不必共享参数。假设基准特征样本集X中的样本x可以用两个独立随机变量之和表示：x＝μ_x+ε_x，其中μ_x表示由样本的身份标签带来的随机性，ε_x表示由其他因素带来的随机性，如：姿态、表情、光照等，假设μ_x和ε_x服从均值为0，协方差矩阵为S_xx和T_xx的高斯分布。

同理，比对人脸图像训练集Y中的样本y也可用两个独立随机变量之和表示：y＝μ_y+ε_y，其中μ_y表示由样本的身份标签带来的随机性，ε_y表示由其他因素带来的随机性。假设μ_y和ε_y服从均值为0，协方差矩阵为S_yy和T_yy的高斯分布。

由于x和y都服从高斯分布，其联合分布也服从高斯分布。将X和Y空间连接起来，其中的样本表示为{x,y}，该随机变量的均值仍为0，其方差分两种情况进行分析。

1)对于同一人的(类内)样本。

其协方差矩阵为：

其中，S_xy和S_yx是X和Y之间的互协方差矩阵。

其逆矩阵的形式为：

由此可以得到：

E＝(S_xx+T_xx-S_xy(S_yy+T_yy)^-1S_yx)^-1

G＝-(S_xx+T_xx-S_xy(S_yy+T_yy)^-1S_yx)^-1S_xy(S_yy+T_yy)^-1

F＝(S_yy+T_yy-S_yx(S_xx+T_xx)^-1S_xy)^-1

2)对于不同人的(类间)样本。

其协方差矩阵为：

其逆矩阵的形式为：

在上述推导过程的基础上，对于任意两个样本x和y，使用类内/类间对数似然比评估他们的相似度，值越大说明x和y是同一人的可能性越大，因此，建立如下所示的非对称度量模型：

令

A＝(S_xx+T_xx)^-1-E

B＝(S_yy+T_yy)^-1-F

则，非对称度量模型可以简化为如下表示方式：

----公式1

步骤101-4、根据上述两类特征样本集中的样本以及标识样本是否属于同一 人的身份标签，求解所述非对称度量模型中的参数，完成所述模型的训练。

训练非对称度量模型的主要任务在于求解公式1所示模型表达式中的A、B和G参数，而通过步骤101-3的推导过程可以看出，这三个参数可以通过S_xx、T_xx、S_yy、T_yy、S_xy、和S_yx经过特定的运算得到，因此训练非对称度量模型的核心，在于求解上述各个协方差矩阵以及互协方差矩阵。本实施例利用基准特征样本集X和比对特征样本集Y中的大量人脸样本，采用估算散度矩阵的方式求解所述各个参数，下面进行详细说明。

根据基准特征样本集X和身份标签信息(标识不同的人脸样本是否属于同一人)，使用类间散度矩阵对S_xx作近似估计，使用类内散度矩阵对T_xx作近似估计，计算公式如下：

其中C为类别数(属于同一人的人脸样本为同一类)，为第i类样本的集合，表示第i类的样本数，m^x为全体样本的均值,为第i类样本的均值。

同理，根据比对特征样本集Y和身份标签信息，使用类间散度矩阵对S_yy作近似估计，使用类内散度矩阵对T_yy作近似估计，计算公式如下：

其中C为类别数，为第i类样本的集合，表示第i类的样本数，m^y为全体样本的均值,为第i类样本的均值。

同理，使用下述计算公式估计X和Y之间的互协方差矩阵：

通过上述估算散度矩阵的方式求解得到S_xx、T_xx、S_yy、T_yy、S_xy、和S_yx后， 根据步骤101-3的推导过程，可以进一步计算得到参数A、B以及G的值，将这些参数值代入公式1中，得到训练完毕的非对称度量模型。

至此，通过上述步骤101-1至步骤101-4，描述了训练对应于特定来源类别的非对称度量模型的具体步骤。在具体实施时，对于人脸图像的K个来源类别，可以分别采用上述步骤进行训练，从而获取K个分别对应于不同来源类别的相似度度量模型。

需要说明的是，本实施例在利用大量人脸样本的基础上、采用估算散度矩阵的方式求解所述非对称度量模型中的各个参数，在其他实施方式中，也可以采用传统联合贝叶斯脸所采取的期望最大化算法、通过多轮迭代的方式求解所述模型中的参数，同样可以实现本申请的技术方案。

此外，本实施例在联合贝叶斯脸的基础上、通过修改其假设建立对应于不同来源类别的相似度度量模型，在其他实施方式中，也可以采用其他方法或者技术建立所述相似度度量模型，例如：利用典型相关分析技术(Canonical Correlation Analysis，简称CCA)、非对称深度度量学习方法(Asymmetric Deep Metric Learning，简称ADML)、或者基于多模态受限玻尔兹曼机(Multimodal Restricted Boltzmann Machines)的方法建立所述相似度度量模型。不管采用何种算法或者技术，只要能够针对来源不同的人脸图像分别建立并训练得到相对应的相似度度量模型，就不偏离本申请的核心，都在本申请的保护范围之内。

步骤102、获取待识别人脸图像。

所述待识别人脸图像通常是指待确定身份的人脸图像，一般在不可控环境下采集，其来源类别较多，可以包括：生活照、翻拍海报、翻拍电视、监控画面、扫描图像等。

在具体实施时，可以通过多种方式获取待识别人脸图像，例如，用具有摄像头的照相机或者移动终端设备拍摄、从互联网的资源数据库中下载、用扫描仪扫描、或者接收由客户端(例如：移动终端设备或者桌面电脑等)通过有线或者无线方式上传的待识别人脸图像等。

步骤103、提取所述待识别人脸图像的人脸特征。

由于人脸部分通常占据所述待识别人脸图像的主要空间，因此可以直接从所述待识别人脸图像中提取人脸特征，为了提高识别的准确率，也可以先从人脸图像背景中检测人脸所在的具体位置，例如：采用基于肤色的检测方法、基 于形状的检测方法、或者基于统计理论的检测方法等确定人脸在所述图像中的具体位置，然后再从所述具体位置对应的人脸图像中提取人脸特征。

提取特征的过程是将人脸图像转换为矢量的过程，该矢量称为人脸特征，人脸特征对来自不同人的人脸图像具有较强的鉴别力，同时对外部干扰因素具有鲁棒性。在具体实施时，可以采用多种特征提取方法，如：局部二值模式算法(Local Binary Patterns，简称LBP)、Gabor小波变换算法、以及深度卷积网络等，其中，从识别准确率以及执行性能的角度考虑，采用深度卷积网络提取人脸特征是本实施例提供的优选实施方式。

步骤104、利用预先训练好的人脸图像来源分类模型，确定所述待识别人脸图像的来源类别。

具体实施时，可以根据步骤103获取待识别图像的方式确定所述待识别人脸图像的来源类别，例如：利用照相机拍照获取的普通生活中的人脸图像，则其来源类别为生活照；如果采用扫描仪扫描获取的人脸图像，则其来源类别为扫描图像。此外，对于从客户端或者网络获取的待识别人脸图像，如果所述图像带有预先标注好的来源信息，那么可以依据该信息确定所述人脸图像的来源类别。

对于无法通过上述方式或者类似方式获取来源类别的待识别人脸图像，则可以采用本步骤所述方法：利用人脸图像来源分类模型，确定所述待识别人脸图像的来源类别。

所述人脸图像来源分类模型为多类分类模型(也称为多类分类器)，在具体实施时，可以在执行本步骤之前预先训练好所述人脸图像来源分类模型，例如，本实施例采用Softmax回归算法训练所述分类模型，下面对训练过程作进一步说明。

首先采集属于K个不同来源类别的人脸图像集，并从其中每个人脸图像中提取人脸特征组成训练样本集合，所述训练样本集合中的每个样本由两部分组成：人脸特征和其对应的来源类别标签，具体可以采用如下表示方式：{y_i,s_i}(i＝1…N)表示，其中y_i为人脸特征，s_i为来源类别标签，N为样本数。

采用Softmax回归方法，对于给定人脸特征，其属于第k类的概率为如下形式：

其中，θ为模型的参数，可以通过最小化下面的目标函数进行求解：

其中，1{}为指标函数，当括号中的表达式成立时值为1，否则值为0。在具体实施时，对于给定的训练集{y_i,s_i}(i＝1…N)，可以采用迭代的优化算法(例如：梯度下降法)最小化目标函数J(θ)，并求解得到参数θ，所述人脸图像来源分类模型训练完毕。

本步骤可以以所述待识别人脸图像的人脸特征作为输入，采用已训练完毕的人脸图像来源分类模型计算该人脸特征属于每个来源类别的概率P(s＝k|y)，其中最大值对应的来源类别即为所述待识别人脸图像所属的来源类别。

在本实施例中采用Softmax算法实现所述人脸图像来源分类模型，在其他实施方式中，也可以采用不同于上述算法的其他方式，例如可以采用多类SVM算法、或者随机森林算法等，也是可以的。

步骤105、从预先训练好的度量模型集合中选择与所述待识别人脸图像的来源类别相对应的相似度度量模型，并计算所述人脸特征与注册图像人脸特征的相似度，作为输出人脸识别结果的依据。

所述注册图像通常是指，在具体应用中供查询的人脸图像注册集中的人脸图像。所述人脸图像注册集中的图像通常在可控环境下采集，其来源通常较为单一，质量通常较好，例如：二代证照片、登记照等，且其规模比较大，可以达到数万至数千万。为了进一步提高本技术方案的识别准确率，所述人脸图像注册集、与在步骤101中训练相似度度量模型时所采用的基准人脸图像训练集，可以采用相同来源类别的图像，例如：都采用证件照。

在具体实施时，采集用于组成人脸图像注册集的图像后，可以提取每个人脸图像的人脸特征，并将人脸图像、人脸特征、以及对应的身份标签和身份信息存储在供查询的注册图像数据库中，同时建立上述各类信息之间的对应关系。其中，所述身份信息通常是指能够标识人脸图像所对应的个人身份的信息，例如：姓名、身份ID等。

由于在步骤101中已经预先训练好了用于人脸识别的度量模型集合，在本实施例的一个具体例子中，预先训练好的度量模型集合中包含K个相似度度量模型，每个相似度度量模型分别与不同来源类别相对应，其形式为f_k(x,y,P)， k＝1...K，其中参数P已经在步骤101中求解得到。

本步骤根据所述待识别人脸图像的来源类别，从所述度量模型集合中选择相对应的相似度度量模型，例如待识别人脸图像的来源类别为扫描图像，那么本步骤则选择针对扫描图像这一来源类别预先训练的相似度度量模型，并利用所选模型计算待识别人脸图像的人脸特征与注册图像人脸特征的相似度，最终依据相似度输出人脸识别结果。请参考图4，其为所述具体例子中的处理过程的示意图。

在具体实施时，针对人脸识别的不同应用需求，本步骤在计算所述人脸特征与注册图像人脸特征的相似度时，存在两种不同的情况，下面分别进行说明。

(一)人脸验证。

所述人脸验证通常是指，判断一张人脸图像的身份是否为某个特定人。在这种应用场景下，通常可以预先知道所述特定人的身份信息，例如代表其身份的数字标识(身份ID)，根据所述身份信息查询注册图像数据库，即可获取对应该身份的注册图像人脸特征，然后计算所述待识别人脸图像的人脸特征与从数据库中获取的注册图像人脸特征的相似度，若所述相似度大于预先设定的阈值，则可以判定所述待识别人脸图像与所述注册图像属于同一个人，即：所述待识别人脸图像的身份确实为所述特定人，并将所述判定作为人脸识别结果输出。

(二)人脸鉴别。

所述人脸鉴别通常是指，鉴别待识别人脸图像的身份，即确定待识别人脸图像是具体哪个人的图像。在这种应用场景下，本步骤可以计算所述待识别人脸图像的人脸特征与指定范围内的注册图像人脸特征的相似度，例如，可以与预先建立好的注册图像数据库中的全部注册图像人脸特征逐一进行比对，也可以按照预设策略选取注册图像数据库中的部分注册图像人脸特征进行比对，并计算对应的相似度。若计算所得相似度中的最大值大于预先设定的阈值，则可以判定所述待识别人脸图像在所述指定范围内的注册图像中匹配成功，即可以确定待识别人脸图像在所述指定范围的注册图像集合中，并将所述最大值对应的注册图像的相关身份信息作为人脸识别结果输出，例如，可以输出所述最大值所对应的注册图像的身份ID、或者姓名等身份信息。

至此，通过上述步骤101至步骤105，对本实施例提供的人脸识别方法的具体实施方式进行了描述。需要说明的是，在具体实施本方法的过程中，上述步 骤并非都是必需的。其中步骤101是度量模型集合的训练过程，通常情况下，所述度量模型集合中的各个相似度度量模型一旦训练完毕，就可以反复使用，而不必每次针对获取的待识别人脸图像重新进行训练；同理，步骤104也不是必需的，如果可以通过待识别图像的获取方式获知其来源类别、或者待识别图像本身携带了来源类别标注，则可以不执行步骤104。

上述实施例以人脸识别为例，详细描述了本申请提供的图像识别方法的具体实施过程。在实际应用中，本申请提供的图像识别方法也可应用于对其他客体图像(例如包含各种物品的图像)的识别中，下面以识别箱包图像为例进行简要说明。

可以预先根据基准箱包图像训练集以及对应不同来源类别的比对箱包图像训练集，分别训练对应不同图像来源类别的相似度度量模型，在获取待识别箱包图像后，先提取所述待识别箱包图像中的箱包特征，然后选用与待识别箱包图像的来源类别相对应的相似度度量模型、计算所述箱包特征与注册图像箱包特征的相似度，并依据所述相似度输出所述待识别箱包图像的识别结果，例如：所述待识别箱包图像与对应特定身份的注册图像是否属于同一箱包，或者，所述待识别箱包图像的相关身份信息。针对箱包等物品的身份信息通常可以包括以下信息之一或者组合：生产厂家、品牌信息、型号信息等。

综上所述，本申请提供的图像识别方法，在进行客体图像识别时，没有采用单一的相似度度量模型，而是选用预先训练好的与待识别客体图像的来源类别相对应的相似度度量模型，从而能够有效处理非对称客体图像的识别问题，对来源多变的待识别客体图像的识别具有更好的鲁棒性和更高的准确率。

在上述的实施例中，提供了一种图像识别方法，与之相对应的，本申请还提供一种图像识别装置。请参看图5，其为本申请的一种图像识别装置的实施例示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本实施例的一种图像识别装置，包括：度量模型训练单元501，用于利用属于预设来源类别的基准客体图像训练集、以及对应不同来源类别的比对客体图像训练集，分别训练得到所述度量模型集合中对应不同来源类别的各相似度度量模型；图像获取单元502，用于获取待识别客体图像；特征提取单元503，用于提取所述待识别客体图像的客体特征；来源类别确定单元504，用于以所述客 体特征为输入，利用预先训练好的客体图像来源分类模型，确定所述待识别客体图像的来源类别；相似度计算单元505，用于从预先训练好的度量模型集合中选择与所述待识别客体图像的来源类别相对应的相似度度量模型，并计算所述客体特征与注册图像客体特征的相似度，作为输出客体识别结果的依据；

其中，所述相似度计算单元包括：

度量模型选择子单元，用于从预先训练好的度量模型集合中选择与所述待识别客体图像的来源类别相对应的相似度度量模型；

计算执行子单元，用于利用所述度量模型选择子单元所选的相似度度量模型计算所述客体特征与注册图像客体特征的相似度，作为输出客体识别结果的依据。

可选的，所述装置包括：

来源分类模型训练单元，用于在触发所述来源类别确定单元工作之前，采用如下算法训练训练所述客体图像来源分类模型：Softmax算法、多类SVM算法、或者随机森林算法。

可选的，所述度量模型训练单元具体用于，训练对应不同来源类别的非对称度量模型，所述非对称度量模型是在参与比对的客体特征服从各自高斯分布的假设下、基于联合贝叶斯脸建立的度量模型；

所述度量模型训练单元通过如下子单元训练对应于特定来源类别的非对称度量模型：

基准样本提取子单元，用于提取属于预设来源类别的基准客体图像训练集中各图像的客体特征，作为基准特征样本集；

比对样本提取子单元，用于提取属于所述特定来源类别的比对客体图像训练集中各图像的客体特征，作为比对特征样本集；

度量模型建立子单元，用于在参与比对的客体特征服从各自高斯分布的假设下，建立包含参数的非对称度量模型；

模型参数求解子单元，用于根据上述两类特征样本集中的样本以及标识样本是否属于同一客体的身份标签，求解所述非对称度量模型中的参数，完成所述模型的训练。

可选的，所述模型参数求解子单元具体用于，利用散度矩阵估算所述模型中的参数，或者，采用期望最大化算法迭代求解所述模型中的参数。

可选的，所述计算执行子单元具体用于，计算所述客体特征与对应特定身份的注册图像客体特征的相似度；

所述装置还包括：

第一阈值比对单元，用于判断所述相似度是否大于预先设定的阈值；

第一识别结果输出单元，用于当所述第一阈值比对单元的输出为是时，判定所述待识别客体图像与所述对应特定身份的注册图像属于同一客体，并将所述判定作为客体识别结果输出。

可选的，所述计算执行子单元具体用于，计算所述客体特征与指定范围内的注册图像客体特征的相似度；

所述装置还包括：

第二阈值比对单元，用于判断计算所得相似度中的最大值是否大于预先设定的阈值；

第二识别结果输出单元，用于当所述第二阈值比对单元的输出为是时，判定所述待识别客体图像在所述指定范围内的注册图像中匹配成功，并将所述最大值对应的注册图像的相关身份信息作为客体识别结果输出。

可选的，所述特征提取单元具体用于，采用局部二值模式算法提取所述客体特征、采用Gabor小波变换算法提取所述客体特征、或者采用深度卷积网络提取所述客体特征。

此外，本申请还提供一种度量学习方法。请参考图6，其为本申请提供的一种度量学习方法的实施例的流程图，本实施例与上述图像识别方法实施例步骤相同的部分不再赘述，下面重点描述不同之处。本申请提供的一种度量学习方法包括：

步骤601、提取属于同一来源类别的基准客体图像训练集中各图像的客体特征，作为基准特征样本集。

步骤602、提取属于同一来源、但与所述基准客体图像分属不同来源类别的比对客体图像训练集中各图像的客体特征，作为比对特征样本集。

步骤603、在参与比对的客体特征服从各自高斯分布的假设下，建立包含参数的非对称度量模型。

所述非对称度量模型包括：基于联合贝叶斯脸的非对称度量模型；所述非对称度量模型如下所示：

步骤604、利用上述两类特征样本集中的样本，求解所述非对称人脸相似度度量模型中的参数。

本步骤可以利用上述两类特征样本集中的样本，采用与所建立模型相应的算法或者方式求解所述模型中的各个参数。例如，对于基于联合贝叶斯脸的非对称度量模型来说，可以根据上述两类特征样本集中的样本以及标识样本是否属于同一客体的身份标签信息，利用散度矩阵估算所述模型中的参数，或者，采用期望最大化算法迭代求解所述模型中的参数。

本实施例提供的度量学习方法，可以用于学习非对称人脸图像的相似度度量模型，在这种应用场景下，所述基准客体图像以及所述比对客体图像包括：人脸图像；所述客体特征包括：人脸特征。当然，在实际应用中，也可以将本实施例提供的度量学习方法用于学习其他非对称客体图像的相似度度量模型。

本申请提供的度量学习方法，对传统图像识别技术中的假设进行了修改，即：参与比对的两个客体样本x和y可以分别服从各自高斯分布、而不必共享参数，并在此基础上从分属不同来源类别的样本集合中学习用于识别非对称客体的相似度度量模型，从而为适应各种图像来源的高性能客体识别提供了基础。

在上述的实施例中，提供了一种度量学习方法，与之相对应的，本申请还提供一种度量学习装置。请参看图7，其为本申请的一种度量学习装置的实施例示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本实施例的一种度量学习装置，包括：基准样本提取单元701，用于提取属于同一来源类别的基准客体图像训练集中各图像的人脸特征，作为基准特征样本集；比对样本提取单元702，用于提取属于同一来源类别、但与所述基准客体图像分属不同来源类别的比对客体图像训练集中各图像的客体特征，作为比对特征样本集；非对称度量模型建立单元703，用于在参与比对的客体特征服从各自高斯分布的假设下，建立包含参数的非对称度量模型；度量模型参数求解单元704，用于利用上述两类特征样本集中的样本，求解所述非对称度量模型中的 参数。

可选的，所述非对称度量模型建立单元建立的度量模型包括：基于联合贝叶斯脸的非对称度量模型。

可选的，所述度量模型参数求解单元具体用于，利用散度矩阵估算所述模型中的参数，或者，采用期望最大化算法迭代求解所述模型中的参数。

此外，本申请还提供一种图像来源识别方法。请参考图8，其为本申请提供的一种图像来源识别方法的实施例的流程图，本实施例与上述实施例步骤相同的部分不再赘述，下面重点描述不同之处。本申请提供的一种图像来源识别方法包括：

步骤801、采集属于不同来源类别的客体图像集，并从中提取客体特征组成训练样本集合。

步骤802、利用所述训练样本集合中的客体特征样本及其来源类别，训练客体图像来源分类模型。

所述客体图像来源分类模型通常为多类分类模型，在具体实施时，可以采用以下算法训练所述客体图像来源分类模型：Softmax算法、多类SVM算法、或者随机森林算法。

步骤803、从待分类客体图像中提取客体特征。

步骤804、以上述提取的客体特征为输入，采用所述客体图像来源分类模型识别所述待分类客体图像的来源类别。

本实施例提供的图像来源识别方法，可以用于识别人脸图像的来源类别，在这种应用场景下，所述客体图像包括：人脸图像；所述客体特征包括：人脸特征；所述预先训练的客体图像来源分类模型则是指人脸图像来源分类模型。当然，在实际应用中，也可以采用本方法识别其他客体图像的来源类别。

本申请提供的图像来源识别方法，能够有效识别客体图像的来源类别，从而为在客体图像识别过程中选择正确的相似度度量模型提供依据，保障了识别结果的正确性。

在上述的实施例中，提供了一种图像来源识别方法，与之相对应的，本申请还提供一种图像来源识别装置。请参看图9，其为本申请的一种图像来源识别装置的实施例示意图。由于装置实施例基本相似于方法实施例，所以描述得比 较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本实施例的一种图像来源识别装置，包括：训练样本采集单元901，用于采集属于不同来源类别的客体图像集，并从中提取客体特征组成训练样本集合；分类模型训练单元902，用于利用所述训练样本集合中的客体特征样本及其来源类别，训练客体图像来源分类模型；待分类特征提取单元903，用于从待分类客体图像中提取客体特征；来源类别识别单元904，用于以所述待分类特征提取单元提取的客体特征为输入，采用所述客体图像来源分类模型识别所述待分类客体图像的来源类别。

可选的，所述客体图像来源分类模型包括：多类分类模型；

所述分类模型训练单元具体用于，利用softmax算法、多类SVM算法、或者随机森林算法训练所述客体图像来源分类模型。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。