多场景适应性模型融合方法及人脸识别系统与流程

1.本技术涉及人脸识别技术领域，具体而言涉及一种多场景适应性模型融合方法及人脸识别系统。


背景技术：

2.人脸识别技术通过分析处理人脸视觉特征信息进行身份鉴别。与其他生物特征相比，人脸特征具有天然性、方便性和非接触性等优点，使其在安全监控、身份验证、人机交互等方面具有巨大的应用前景。由于人脸识别技术广泛的应用性，当前人脸识别在计算机领域占据重要地位。
3.一般而言，人脸识别过程分为两个过程：人脸特征提取和人脸相似度得分值计算。人脸特征提取过程是提取人脸图片的一些关键特征形成人脸特征向量，人脸相似度得分值计算过程是计算两个人脸特征向量之间的相似度，相似度越高则表明两张人脸图片越有可能来自于同一个人，反之，则越表明两张人脸图片来自于不同的人。在某些情况下，更关心的是人脸特征提取部分。
4.现有的人脸特征提取方法包括lbp(局部二值模式)方法和它的变种方法等，这些局部纹理特征提取方法通过对整张人脸图片进行分块统计形成直方图向量，并将各个块的直方图向量级联最终形成人脸特征向量。由于这种方法是对整张人脸进行局部纹理特征提取，因此，其所形成的特征向量维数是比较大的，其中包含了一些冗余信息，并且容易受面部遮挡物、光线、环境背景影响，导致识别偏差。现有的人脸识别技术对于复杂环境下表情或姿态的变化并不鲁棒。现有的各类人脸识别模型会出现在某一场景过拟合的问题，即在某一种场景识别精度高，但是在其他场景精度很低的情况。


技术实现要素：

5.本技术针对现有技术的不足，提供一种多场景适应性模型融合方法及人脸识别系统，本技术通过融合模型以单一阈值实现对多种人脸识别场景的兼容，能够快速部署于不同识别场景，并提高系统进行人脸识别的识别速度和识别精度。本技术具体采用如下技术方案。
6.首先，为实现上述目的，提出一种多场景适应性模型融合方法，其步骤包括：第一步，穷举出模型库中分别对应不同场景的人脸识别模型的组合；第二步，筛选出第一步各组合中运算速度满足目标平台要求的组合，将其记录为模型组合；第三步，对第二步所获得的每一个模型组合分别计算其在各场景中的精度和阈值c{a1,t1}， c{a2,t2}，... ，c{an,tn}，然后分别对各精度和各阈值进行归一化处理，获得每一个模型组合在各场景中的归一化精度an和归一化阈值tn；其中，n表示场景标号，an表示第n号场景中模型的精度，tn表示第n号场景中模型的阈值；第四步，计算每一个模型组合在各场景中归一化精度的加权和acc=c{w1*a1+w2*a2+
…
+wn*an}，计算每一个模型组合在各场景中归一化阈值的方差var=var(t1, t2, t3,
…ꢀ
, tn)；其中，wn表示模型组合在第n号场景所对应的归一化精度的加
权值；第五步，根据所述归一化精度的加权和acc、归一化阈值的方差var分别计算各模型组合和的评估值eval=acc+(1
‑
var)；第六步，筛选出评估值eval最高的模型组合，根据该模型组合构建融合模型，以拼接组合该模型组合中各人脸识别模型所提取出的特征向量并根据拼接组合后所得特征向量组进行人脸识别。
7.可选的，如上任一所述的多场景适应性模型融合方法，其第三步中，模型组合在第n号场景中的精度an由以下步骤获得：按照第n号场景所对应的测试集计算模型组合在该场景下的roc曲线；在roc曲线中查找符合误检率要求的召回率或误检测率，计算获得该模型组合在第n号场景中的精度an。
8.可选的，如上任一所述的多场景适应性模型融合方法，其第三步中，模型组合在第n号场景中的阈值tn由以下步骤获得：按照第n号场景所对应的测试集计算模型组合在该场景下的roc曲线；在roc曲线中查找符合误检率要求的阈值tn。
9.可选的，如上任一所述的多场景适应性模型融合方法，其中，按照第n号场景所对应的测试集计算模型组合在该场景下的roc曲线的步骤包括：步骤r1，按照模型组合中所包含的每一个人脸识别模型分别提取测试集中各人脸图像所对应的模型特征向量；步骤r2，将步骤r1中各人脸识别模型所分别提取出的模型特征向量拼接组合为多维向量；步骤r3，比较拼接组合所获得的多维向量与各人脸图像所对应的识别向量之间的向量间距离，按照不同阈值获得该阈值下的误检率和召回率。
10.可选的，如上任一所述的多场景适应性模型融合方法，其中，所述融合模型用于按照以下步骤对待识别人脸图像进行识别处理：步骤s1，按照融合模型中所包含的每一个人脸识别模型分别提取待识别人脸图像所对应的模型特征向量；步骤s2，将步骤s1中各人脸识别模型所分别提取出的模型特征向量拼接组合为多维向量；步骤s3，比较组合所获得的多维向量与各识别对象所对应的识别向量之间的向量间距离，在两向量间欧式距离小于阈值tn时，输出识别结果为该识别向量所对应的识别对象。
11.可选的，如上任一所述的多场景适应性模型融合方法，其中，各识别对象所对应的识别向量分别按照以下步骤预先存储在存储单元中：首先，按照融合模型中所包含的每一个人脸识别模型分别提取识别对象所对应的模型特征向量；然后，将各人脸识别模型所分别提取出的模型特征向量组合为一维的识别向量；将所述识别向量存储在存储单元中并标记其与识别对象之间的对应关系。
12.同时，为实现上述目的，本技术还提供一种人脸识别系统，其包括：图像采集模块，用于采集待识别人脸图像；第一存储单元，其内部存储有模型库，所述模型库中的各人脸识别模型分别对应于不同场景；第二存储单元，其内部存储有可执行程序，所述可执行程序被处理器执行时，使得处理器按照如上任一所述的方法步骤构建融合模型，以根据构建获得的融合模型记录各识别对象所对应的识别向量、并根据构建获得的融合模型对待识别人脸图像进行识别处理。
13.可选的，如上任一所述的人脸识别系统，其中，根据所获得的融合模型对待识别人脸图像进行识别处理的具体步骤包括：步骤s1，按照融合模型中所包含的每一个人脸识别模型分别提取待识别人脸图像所对应的模型特征向量；步骤s2，将步骤s1中各人脸识别模型所分别提取出的模型特征向量拼接组合为多维向量；步骤s3，比较拼接组合所获得的多维向量与各识别对象所对应的识别向量之间的向量间距离，在两向量间欧式距离小于阈值
tn时，输出识别结果为该识别向量所对应的识别对象，否则判断识别失败。
14.可选的，如上任一所述的人脸识别系统，其中，还包括交互接口，其用于在第四步中接收对模型组合在第n号场景下所对应的归一化精度的加权值wn的设定。
15.可选的，如上任一所述的人脸识别系统，其中，还包括识别对象存储单元，用于存储各识别对象所对应的识别向量；所述识别向量由以下步骤存储：首先，按照融合模型中所包含的每一个人脸识别模型分别提取识别对象所对应的模型特征向量；然后，将各人脸识别模型所分别提取出的模型特征向量拼接组合为多维的识别向量；将所述多维的识别向量存储在识别对象存储单元中并标记其与识别对象之间的对应关系。
16.有益效果本技术根据不同目标平台筛选出满足运算速度要求的若干人脸识别模型，将其组合为若干模型组合，然后分别在不同场景下评估各模型组合的精度和阈值，根据不同模型组合的精度和阈值筛选出精度高且阈值兼容性强的模型组合构建融合模型。由此所获得的融合模型能够以单一阈值实现对多种人脸识别场景的兼容，能够快速部署于不同识别场景，并提高系统进行人脸识别的识别速度和识别准确度。
17.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。
附图说明
18.附图用来提供对本技术的进一步理解，并且构成说明书的一部分，并与本技术的实施例一起，用于解释本技术，并不构成对本技术的限制。在附图中：图1是本技术的多场景适应性模型融合方法的流程步骤示意图；图2是本技术中进行多场景适应性模型融合的原理示意图。
具体实施方式
19.为使本技术实施例的目的和技术方案更加清楚，下面将结合本技术实施例的附图，对本技术实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于所描述的本技术的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
20.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
21.本技术中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。
22.本技术中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。
23.图1为根据本技术的一种多场景适应性模型融合方法，其可通过图2所示方式构建出适合多种应用场景的融合模型。该融合模型可通过安装程序安装在具有图像采集模块的人脸识别系统中，以通过图1步骤按照统一的阈值实现对不同工作环境下人脸图像的有效
识别。
24.上述的人脸识别系统可设置为包括：图像采集模块，其可通过摄像头或图像传感器实现，用于采集待识别人脸图像；第一存储单元，其可设置在人脸识别系统内部也可通过通讯网络实现云端交互，该第一存储单元中存储有模型库，所述模型库中的各人脸识别模型分别对应于不同场景；第二存储单元，其同样可选择设置在图像采集模块本地也可选择通过云端交互方式提供识别运算，该第二存储单元内部存储有可执行程序，所述可执行程序被图像采集模块本地的处理器或云端的处理器执行时，可设置相应处理器能够按照以下的方法步骤构建融合模型，从而根据构建获得的融合模型记录各识别对象所对应的识别向量、并根据构建获得的融合模型对待识别人脸图像进行识别处理：第一步，穷举出模型库中分别对应不同场景的人脸识别模型的组合；第二步，筛选出第一步各组合中人脸识别模型运算速度满足目标平台要求的组合，将其记录为模型组合；第三步，对第二步所获得的每一个模型组合分别计算其在各场景中的精度和阈值，以其中一个模型组合为例，其在n个场景中的精度和阈值可分别对应记录为c{a1,t1}， c{a2,t2}，... ，c{an,tn}，然后分别对各精度和各阈值进行归一化处理，获得每一个模型组合在各场景中的归一化精度an和归一化阈值tn；其中，n表示场景标号，an表示第n号场景中模型的精度，tn表示第n号场景中模型的阈值；第四步，为统一融合模型在多个场景的阈值，计算每一个模型组合在n个场景中归一化精度的加权和acc=c{w1*a1+w2*a2+
…
+wn*an}，计算每一个模型组合在n个场景中归一化阈值的方差var=var(t1, t2, t3,
…ꢀ
, tn) ，阈值的方差越小，表明模型跨场景的兼容能力越强；其中，wn表示当前计算的模型组合在第n号场景所对应的归一化精度的加权值；第五步，根据所述归一化精度的加权和acc、归一化阈值的方差var分别计算各模型组合和的评估值eval=acc+(1
‑
var)，以综合精度和阈值方差评价指标，综合的值越高表明融合模型场景适应能力越强；第六步，筛选出评估值eval最高的模型组合，根据该模型组合构建融合模型，从而通过融合模型拼接组合该模型组合中各人脸识别模型所提取出的特征向量，以根据拼接组合后所得特征向量组比对各识别对象所对应的识别向量，根据比对计算出的向量之间距离是否达到阈值tn进行人脸识别。比如，若一个融合模型中包含有3个人脸识别模型，每个人脸识别模型能够分别输出一个512维的特征向量，则拼接组合后的特征向量中将会包含三个模型的向量，将其融合为一个3x512维的特征向量，将其与各识别对象所对应的识别向量进行比对，从而判断该特征向量是否为识别向量所对应的识别对象。
25.上述过程中，任意一个模型组合在第n号场景中的精度an由以下步骤获得：首先，建立人脸识别的测试集，一般，每个不同的人脸识别场景，比如成年人场景、幼儿场景、戴口罩场景等，需要分别对应不同的测试集。为评价人脸识别模型在不同场景下的精度，需要在每个测试集上计算roc曲线，得到一定误检率下的召回率，同时对应不同的阈值，测试集中需要包含同一个人的底库和在相应场景中的抓拍照图片；然后，使用该模型组合中所包含的每一个人脸识别模型分别提取测试集中底库各人脸与抓拍照的各人脸所对应的模型特征向量，将上述各人脸识别模型所分别提取出的模
型特征向量拼接组合为多维向量，并在人脸底库与人脸抓拍特征之间计算欧式距离；以底库数量为n，抓拍数量为m为例，上述计算后能够获得m x n组欧式距离，因而可以将人脸底库与抓拍照之间特征的比对结果从大到小排序，获得拼接组合所得多维向量与各人脸图像所对应的识别向量之间的向量间距离，根据场景下对误检测率的要求，计算不同阈值下对应的误检率和召回率，由此获得各场景所对应的测试集在该模型组合的场景下的roc曲线；在roc曲线中查找符合误检率要求的召回率或误检测率，即可计算获得该模型组合在第n号场景中的精度an。
26.roc曲线作为衡量模型的指标，该曲线的横坐标为误检率，纵坐标为召回率。因而可通过曲线上的每个点表示着不同误检率下的通过率，对应着不同的阈值。为控制人脸识别的误检率，一般选取一定误检率下的召回率作为评价模型的指标。
27.与之类似的，任意一个模型组合在第n号场景中的阈值tn由以下步骤获得：按照第n号场景所对应的测试集计算模型组合在该场景下的roc曲线；在roc曲线中查找符合误检率要求的阈值tn。
28.图2方式所获得的融合模型可按照以下步骤对待识别人脸图像进行识别处理：先将各识别对象所对应的识别向量按照以下a
‑
c步骤预先存储在存储单元中以作为人脸识别的评估参考：步骤a，按照融合模型中所包含的每一个人脸识别模型分别提取识别对象所对应的模型特征向量，步骤b，将各人脸识别模型所分别提取出的模型特征向量组合为一维的识别向量，步骤c，将所述识别向量存储在存储单元中并标记其与识别对象之间的对应关系；然后，按照步骤s1至s3对存储单元中的识别对象进行人脸识别：步骤s1，按照融合模型中所包含的每一个人脸识别模型分别提取待识别人脸图像所对应的模型特征向量；步骤s2，将步骤s1中各人脸识别模型所分别提取出的模型特征向量拼接组合为多维向量；步骤s3，比较组合所获得的多维向量与各识别对象所对应的识别向量之间的向量间距离，在两向量间欧式距离小于阈值tn时，输出识别结果为该识别向量所对应的识别对象，否则，若两向量间距离始终超过阈值则可判断识别失败。
29.考虑到不同场景下，需要在融合模型的构建过程中按照场景特定设置不同的加权值，因此，本技术还可优选地在上述人脸识别系统中增加交互接口，以用于在第四步中接收对模型组合在第n号场景下所对应的归一化精度的加权值wn的设定。
30.由此，本技术为解决人脸识别模型的场景适应性问题，提出一种跨场景适应性人脸识别模型融合方法。该方法能够将若干个人脸识别模型融合为适应多个场景的融合模型，通过统一的阈值实现不同场景下的人脸识别。本技术通过模型融合技术，能够解决人脸识别模型单一场景过拟合的问题，可使用同一阈值兼容多个使用场景。本方法同时能够限制融合模型的速度，得到满足速度要求精度最高的模型。
31.以上仅为本技术的实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术
构思的前提下，还可以做出若干变形和改进，这些均属于本技术的保护范围。