基于局部卷积特征联合表示的单样本人脸识别方法及装置与流程

本发明属于计算机视觉和模式识别技术领域，尤其涉及一种基于局部卷积特征联合表示的单样本人脸识别方法及装置。

背景技术：

在计算机视觉和模式识别邻域，人脸识别存在巨大的市场价值，一直受到学术界和工业界的广泛关注。在人脸识别过程中，同一个人在不同环境下拍摄得到的人脸图像通常存在较大差异，例如人脸局部遮挡、光照不同、表情不同以及姿态不同等，因此要求人脸识别算法具备较好的鲁棒性。在实际应用中，数据库中的每个人可能只存在一张人脸图像(例如电子护照人脸图像、驾驶证人脸图像等)，这种情况下的人脸识别被称为单样本人脸识别，单样本人脸识别非常困难，数据库中可以利用的信息非常有限，难以预测待识别人脸图像的变化。

目前的单样本人脸识别方法可被分为两类，不需要利用广义训练集的方法和利用了广义训练集的方法。不需要利用广义训练集的方法在一定程度上提高了人脸识别的性能，但未对单样本组成的训练集引入附加的变化信息，识别能力不足。利用了广义训练集的方法能够从广义集中提取人脸变化信息来补偿单样本训练集表达能力不足的缺点，以便处理待识别人脸图像的各种变化，提高识别能力。

目前，研究人员对利用了广义训练集的单样本人脸识别方法进行了一定的研究，并取得一定的成果，例如，deng等在2012年提出了扩展的稀疏表示分类器(esrc)，zhu等在2014年提出了局部广义表示方法(lgr)。然而，esrc使用整体人脸图像作为特征向量且需要求解有稀疏约束的优化问题，存在鲁棒性能不太好、计算复杂度高的问题，lgr通过将整体图像按照行列均等划分为多个小块，对每个小块进行编码表示，综合各个小块的表示误差推断出人类身份，lgr的鲁棒性有所提高，但忽略了对人脸某些易于鉴别的局部部位(如眼睛、鼻子、嘴巴)的利用，此外，lgr识别时涉及对此矩阵求逆运算，导致识别时计算非常耗时。另外，esrc和lgr都是用灰度特征来表示人脸图像，灰度特征对人脸图像的非线性变化(如表情变化、姿态变化)鲁棒性不足，导致识别性能下降，lgr在对每个小块进行表示时忽略了各个小块来自同一个人的事实。可见，在对人脸图像的非线性变换进行识别时，现有的人脸识别算法存在鲁棒性不好、识别耗时的缺点。

技术实现要素：

本发明的目的在于提供一种基于局部卷积特征联合表示的单样本人脸识别方法及装置，旨在解决在现有技术中的单样本人脸识别方法的鲁棒性较差、识别效率低且识别准确度不高的问题。

一方面，本发明提供了一种基于局部卷积特征联合表示的单样本人脸识别方法，所述方法包括下述步骤：

接收待识别人脸图像，通过预设特征点划分方式在所述待识别人脸图像的预设数量个特征点处提取对应的待识别图像块；

将每个待识别图像块输入每个特征点对应的训练好的局部自适应卷积网络，以提取所述待识别人脸图像上所述每个特征点的特征；

根据预设类内变化字典和查询字典计算所述待识别人脸图像上所述所有特征点特征的联合表示，根据预设投影矩阵和临时矩阵，计算在所述联合表示中所述待识别人脸图像上所述每个特征点特征的表示系数；

根据所述表示系数、类内变化字典和所述待识别人脸图像上所述每个特征点的特征，确定所述待识别人脸图像的身份。

另一方面，本发明提供了一种基于局部卷积特征联合表示的单样本人脸识别装置，所述装置包括：

图像划分单元，用于接收待识别人脸图像，通过预设特征点划分方式在所述待识别人脸图像的预设数量个特征点处提取对应的待识别图像块；

特征提取单元，用于将每个待识别图像块输入每个特征点对应的训练好的局部自适应卷积网络，以提取所述待识别人脸图像上所述每个特征点的特征；

系数计算单元，用于根据预设类内变化字典和查询字典计算所述待识别人脸图像上所述所有特征点特征的联合表示，根据预设投影矩阵和临时矩阵，计算在所述联合表示中所述待识别人脸图像上所述每个特征点特征的表示系数；以及

身份确定单元，用于根据所述表示系数、类内变化字典和所述待识别人脸图像上所述每个特征点的特征，确定所述待识别人脸图像的身份。

本发明通过预设的特征划分方法将待识别人脸图像划分为每个特征点对应的待识别图像块，通过训练好的局部自适应卷积网络提取对应待识别图像块的特征，使得提取到的特征具备较好的鲁棒性和鉴别能力，根据类别变化字典和查询字典计算待识别人脸图像上所有特征点特征的联合表示，并计算联合表示中待识别人脸图像上每个特征点特征的表示系数，通过采用联合表示的思想，无需求解复杂的稀疏约束优化问题就可以直接得到表示系数，也无需在识别阶段计算每个特征点的投影矩阵和临时矩阵，大大降低了人脸识别的时间消耗，从而有效地提高了人脸识别的效率和识别准确度。

附图说明

图1是本发明实施例一提供的基于局部卷积特征联合表示的单样本人脸识别方法的实现流程图；

图2是本发明实施例二提供的基于局部卷积特征联合表示的单样本人脸识别方法中局部自适应卷积网络训练、类内变化字典、查询字典、投影矩阵和临时矩阵计算的实现流程图；

图3是本发明实施例三提供的基于局部卷积特征联合表示的单样本人脸识别装置的结构示意图；以及

图4是本发明实施例三提供的基于局部卷积特征联合表示的单样本人脸识别装置的优选结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的基于局部卷积特征联合表示的单样本人脸识别方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤s101中，接收待识别人脸图像，通过预设特征点划分方式在待识别人脸图像的预设数量个特征点处提取对应的待识别图像块。

在本发明实施例中，通过特征点划分方法，在待识别人脸图像的预设数量个特征点处提取对应的待识别图像块，即将待识别人脸图像划分为预设数量个待识别图像块。

具体地，先通过预设的人脸特征点检测器检测待识别人脸图像上人脸的关键特征点，以充分利用人脸中具备高鉴别能力的关键特征点，这些关键特征点可包括左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点，再在待识别人脸图像上进行特征点的均匀采样，由关键特征点和采样后的采样点一起构成所有的特征点，以所有特征点为中心，在待识别人脸图像上提取每个特征点对应的块区域，其中所有采样点对应的块区域之和可大致覆盖整个人脸区域。

作为示例地，假设待识别人脸图像的图像分辨率大小为l×l，每个特征点对应的块区域大小为d×d，则采样点数目为s＝(l÷d)×(l÷d)。

在步骤s102中，将每个待识别图像块输入每个特征点对应的训练好的局部自适应卷积网络，以提取待识别人脸图像上每个特征点的特征。

在本发明实施例中，局部自适应卷积网络与特征点一一对应，用来提取每个特征点对应待识别图像块中的局部自适应卷积特征，从而通过训练出的局部自适应卷积网络提取待识别人脸图像局部区域的高层语义特征，有效地提高了提取到的特征的鲁棒性和鉴别能力。局部自适应卷积网络的训练可参照实施例二的内容。

在步骤s103中，根据预设类内变化字典和查询字典计算待识别人脸图像上所有特征点特征的联合表示，根据预设投影矩阵和临时矩阵，计算在联合表示中待识别人脸图像上每个特征点特征的表示系数。

在本发明实施例中，类内变化字典根据每类人脸图像中参考图像和变化图像的特征差别计算得到，查询字典根据预设查询人脸库中的人脸图像的特征计算得到，其中，查询人脸库为待识别人脸图像的查询范围，在这个库中每个人只存储了一张人脸图像，对应于单样本人脸识别的情形。

类内变化字典、查询字典、投影矩阵和临时矩阵的生成可参照实施例二的内容。根据类内变化字典、查询字典，计算待识别人脸图像上所有特征点的特征的联合表示，计算公式为：

其中，y^k为待识别人脸图像上第k个特征点的特征，g^k为第k个特征点对应的查询字典，d^k为第k个特征点对应的类内变化字典，α^k为待识别人脸图像上第k个特征点特征的表示系数，k为特征点的数量，λ、μ为预设参数。因此，通过计算联合表示可得到下述计算待识别人脸图像上每个特征点特征的表示系数的公式：

其中，αk,0＝p^k[g^kd^k]^ty^k，p^k为第k个特征点对应的投影矩阵，m为临时矩阵。

在本发明实施例中，通过特征的联合表示实现对待识别人脸图像各个局部区域的联合表示，使得各个局部区域的表示系数相似，从而可以充分利用这些局部区域来自同一张人脸的先验知识，进而提高人脸识别率。

在步骤s104中，根据表示系数、类内变化字典、查询字典和待识别人脸图像上每个特征点的特征，确定待识别人脸图像的身份。

在本发明实施例中，待识别人脸图像上每个特征点特征的表示系数α^k可写成α^k＝[ρ^k；β^k]，ρ^k为第k个特征点的特征对应于查询字典的表示系数，β^k为第k个特征点的特征对应于类内变化字典的表示系数，ρ^k又可写为ρ^k＝[ρ1k,ρ2k,…ρjk,…,ρjk]，ρjk为第k个特征点的特征对应于查询字典中第j个特征的表示系数，因此可通过下列公式计算待识别人脸图像的身份id为：

在本发明实施例中，基于特征点对待识别人脸图像进行划分，通过训练好的局部自适应卷积网络对划分得到的待识别图形块进行特征提取，在增加特征的鲁棒性的同时充分利用了人脸中易鉴别的关键特征点，有效地提高人脸识别率，通过特征的联合表示计算得到每个特征的表示系数，无需进行复杂的运算，也无需在识别过程中计算临时矩阵、为每个特征点计算投影矩阵，有效地降低了人脸识别的耗时，从而有效地提高了人脸识别的识别效率和识别准确度。

实施例二：

图2示出了本发明实施例二提供的基于局部卷积特征联合表示的单样本人脸识别方法中局部自适应卷积网络训练、类内变化字典、查询字典、投影矩阵和临时矩阵计算过程的流程，为了便于说明，仅示出了与本发明实施例相关的部分。

在本发明实施例里中，人脸识别方法中的训练过程训练得到了局部自适应卷积网络、并计算出类内变化字典、查询字典、投影矩阵和临时矩阵，详述如下：

在步骤s201中，在预设第一训练库人脸图像上每个特征点处提取对应的第一图像块，根据每个第一图像块，训练每个特征点对应的局部自适应卷积网络。

在本发明实施例中，可根据实施例一种的特征点划分方式，在第一训练库中每张人脸库上的每个特征点处提取对应的第一图像块，并将每个特征点对应的第一图像块输入每个特征点对应的局部自适应卷积网络，以训练每个特征点对应的局部自适应卷积网络。作为示例地，可采用casia-webface数据库作为第一训练库。

在步骤s202中，通过局部自适应卷积网络，分别在预设第二训练库中参考图像和变化图像上提取每个特征点的特征，根据参考图像和变化图像上每个特征点的特征，构建类内变化字典。

在本发明实施例中，第二训练库可为学术界标准的人脸数据库ar数据库、multi-pie数据库等，这些数据库是在实验室环境中拍摄得到的，包括各种不同的光照变化、表情变化以及姿态变化，在这些数据库的每类人脸图像(即每个人的人脸图像)中都存在一张中性表情、标准光照的正脸图像，将该图形作为相应类别人脸图像中的参考图像，在每类人脸图像中的其它图像则为变化图像。

在本发明实施例中，通过特征点划分方式分别提取每类人脸图像中参考图形上每个特征点对应的图像块、变化图像上每个特征点对应的图像块，再通过局部自适应卷积网络提取参考图像上每个特征点的特征、变化图像上特征点的特征，根据每类人脸图像的参考图像上每个特征点的特征、变化图像上特征点的特征，可构造得到每类人脸图像对应的类内变化子字典：

其中，dqk为第二训练库中第q类人脸图像对应的第k个类内变化子字典，即第q类人脸图像上第k个特征点对应的类内变化字典，和分别为第q类人脸图像的第一张变化图像中、参考图像中的第k个特征点的特征，n为第q类人脸图像中变化图像的数量。由所有类别的人脸图像在特征点处的类内变化子字典即可构成该特征点处的类内变化字典：

d^k＝[d1k,d2k,…,dqk]，其中，d^k为第k个特征点对应的类内变化字典，q为第二训练库中人脸图像的类别数量。

在步骤s203中，通过局部自适应卷积网络，在预设查询人脸库中人脸图像上提取每个特征点的特征，根据查询人脸库人脸图像上每个特征点的特征，构建查询字典。

在本发明实施例中，查询人脸库中为待识别人脸图像的查询范围，查询人脸库中的每个人只对应一张人脸图像，以模拟实际情况中的单样本人脸识别。通过局部自适应卷积网络提取查询人脸库中每张人脸图像上每个特征点的特征，由每个特征点的所有特征构成该特征点对应的查询字典。具体地，查询字典的构建公式为：

g^k＝[g1k,g2k,…,gjk,…,gjk],其中，g^k为第k个特征点对应的查询字典，gjk为查询人脸库中第j张图像上第k个特征点的特征，j＝1,2,…,j，j为查询人脸库中图像总数。

在步骤s204中，根据类内变化字典和查询字典，计算每个特征点对应的投影矩阵，根据所有投影矩阵计算临时矩阵。

在本发明实施例中，每个特征点对应的投影矩阵的计算公式可为：

p^k＝([g^kd^k]^t[g^kd^k]+(λ+μ)i)^-1，其中，i为单位矩阵，p^k为第k个特征点对应的投影矩阵。根据所有的投影矩阵，临时矩阵的计算公式为：

其中，m为临时矩阵。

在本发明实施例中，通过基于特征点的人脸图像划分方式，训练得到局部自适应卷积网络，并通过局部自适应卷积网络进行人脸特征提取，构建得到类内变化字典、查询字典、投影矩阵以及临时矩阵，不仅有效地提高了人脸特征的鲁棒性并充分利用了人脸中易于鉴别的关节特征点，还有效地降低了人脸识别的耗时时长，有效地提高了人脸识别的识别效率和识别准确度。

实施例三：

图3示出了本发明实施例三提供的基于局部卷积特征联合表示的单样本人脸识别装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

图像划分单元31，用于接收待识别人脸图像，通过预设特征点划分方式在待识别人脸图像的预设数量个特征点处提取对应的待识别图像块；

特征提取单元32，用于将每个待识别图像块输入每个特征点对应的训练好的局部自适应卷积网络，以提取待识别人脸图像上每个特征点的特征；

系数计算单元33，用于根据预设类内变化字典和查询字典计算待识别人脸图像上所有特征点特征的联合表示，根据预设投影矩阵和临时矩阵，计算在联合表示中待识别人脸图像上每个特征点特征的表示系数；以及

身份确定单元34，用于根据表示系数、类内变化字典和待识别人脸图像上每个特征点的特征，确定待识别人脸图像的身份。

优选地，如图4所示，基于局部卷积特征联合表示的单样本人脸识别装置还包括网络训练单元41、类内变化字典构建单元42、查询字典构建单元43和矩阵计算单元44，其中：

网络训练单元41，用于在预设第一训练库人脸图像上每个特征点处提取对应的第一图像块，根据每个第一图像块，训练每个特征点对应的局部自适应卷积网络；

类内变化字典构建单元42，用于通过局部自适应卷积网络，分别在预设第二训练库中参考图像和变化图像上提取每个特征点的特征，根据参考图像和变化图像上每个特征点的特征，构建类内变化字典；

查询字典构建单元43，用于通过局部自适应卷积网络，在预设查询人脸库中人脸图像上提取每个特征点的特征，根据查询人脸库人脸图像上每个特征点的特征，构建查询字典；以及

矩阵计算单元44，用于根据类内变化字典和查询字典，计算每个特征点对应的投影矩阵，根据所有投影矩阵计算临时矩阵。

优选地，类内变化字典构建单元42包括图像获取单元421、特征提取单元422、子字典构建单元423和字典构建单元424，其中：

图像获取单元421，用于获取第二训练库中每类人脸图像中的参考图像和变化图像，参考图像为表情中性、光照标准的正脸图像，每类人脸图像中除参考图像以外的图像为变化图像；

特征分别提取单元422，用于通过局部自适应卷积网络，分别提取第二训练库中每类人脸图像中参考图像和变化图像上特征点的特征；

子字典构建单元423，用于根据第二训练库中每类人脸图像中参考图像和变化图像上特征点的特征，构建第二训练库中每类人脸图像对应的类内变化子字典，类内变化子字典的构造公式为：

其中，dqk为第二训练库中第q类人脸图像对应的第k个类内变化子字典，和分别为第q类人脸图像的第一张变化图像中、参考图像中的第k个特征点的特征，n为第q类人脸图像中变化图像的数量；以及

字典构建单元424，用于将所有类内变化子字典组合为每个特征点对应的类内变化字典，类内变化字典的构造公式为：

d^k＝[d1k,d2k,…,dqk]，其中，d^k为第k个特征点对应的类内变化字典，q为第二训练库中人脸图像的类别数量。

在本发明实施例中，基于特征点对待识别人脸图像进行划分，通过训练好的局部自适应卷积网络对划分得到的待识别图形块进行特征提取，在增加特征的鲁棒性的同时充分利用了人脸中易鉴别的关键特征点，有效地提高人脸识别率，通过特征的联合表示计算得到每个特征的表示系数，无需进行复杂的运算，也无需在识别过程中计算临时矩阵、为每个特征点计算投影矩阵，有效地降低了人脸识别的耗时，从而有效地提高了人脸识别的识别效率和识别准确度。本发明实施例的各单元的具体实施内容可参照实施例一、实施例二中对应步骤中的描述，不再赘述。

在本发明实施例中，基于局部卷积特征联合表示的单样本人脸识别装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。