神经网络训练方法、人脸识别方法及系统和存储介质与流程
本申请涉及人脸识别技术领域，具体而言，涉及神经网络训练方法、人脸识别方法及系统和存储介质。
背景技术：
人脸识别是一种基于人类脸部表象特征来鉴别不同人身份的技术，应用场景广泛，相关研究和应用已有数十年之久。随着近年来大数据和深度学习等相关技术的发展，人脸识别效果有了突飞猛进的提高，在身份认证、视频监控、美颜娱乐等场景应用愈加广泛。其中，人证比对问题，即在标准证件照与生活照之间的人脸识别问题，由于识别目标人仅需要在数据库中部署其证件照，免去了目标人在系统中采集生活照进行注册的麻烦，正得到越来越多的关注。
现有技术的人脸识别模型，在一些通用的人脸识别场景中，具有很好的人脸识别效果和准确率。但在一些人脸识别应用场景中，例如人证比对的应用场景中，参考图像与样本图像数量严重失衡，或参考图像与样本图像的拍摄场景具有显著差异时，现有技术人脸识别方法的人脸识别效果和准确率非常的低。
技术实现要素：
本发明实施例提供的神经网络训练方法、人脸识别方法及系统和存储介质，可以解决现有技术中存在的，当参考图像与样本图像数量严重失衡或参考图像与样本图像的拍摄场景具有显著差异时，人脸识别准确率低的问题。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种神经网络训练方法，所述神经网络包括依次连接的卷积层、全连接层和损失函数模块，在单次迭代训练的过程中，所述方法包括：
获取t个特征向量，所述t个特征向量包括d个参考人脸图像的特征向量和m个样本人脸图像的特征向量，其中，所述参考人脸图像的特征向量个数d与所述全连接层的权向量个数相同，所述m个样本人脸图像中的每个样本人脸图像与所述d个参考人脸图像中的一个参考人脸图像为同一个人的人脸图像，t等于d和m的和，且t、d、m均为正整数；将所述全连接层的学习率设为零；将所述t个特征向量中的第t个特征向量输入到神经网络中，经过所述卷积层的处理，得到第t个输出特征向量，其中，t为大于等于1且小于等于t的整数，所述第t个特征向量是所述t个特征向量中的参考人脸图像的特征向量或样本人脸图像的特征向量；将所述第t个输出特征向量在全连接层中进行归一化处理，得到第t个归一化后的输出特征向量；判断所述第t个特征向量是否为参考人脸图像的特征向量，当所述第t个特征向量是参考人脸图像的特征向量时，根据所述第t个归一化后的输出特征向量，调整所述全连接层归一化后的权矩阵，所述全连接层归一化后的权矩阵由d个列向量组成；在所述全连接层中，根据所述归一化后的输出向量和所述全连接层归一化后的权矩阵，得到第t个分类向量；将所述第t个分类向量输入到损失函数模块中，判断所述损失函数模块中的所述分类向量数量个数是否达到nn个，n、nn为大于等于1，小于等于t的整数，n个nn求和等于t；当所述损失函数模块中的所述分类向量数量达到nn个时，所述损失函数模块根据所述nn个所述分类向量，得到第n个损失函数值，根据第n个损失函数值，按照指定的优化算法，优化所述卷积层的参数，并清空所述损失函数模块的所述分类向量；按照t依次取1到t执行上述各步骤后，得到所述卷积层的目标参数。
在本申请实施例中，在单次迭代中，全连接层的权矩阵需要根据参考人脸图像经过卷积层的输出向量来调整，因此，在训练的过程中，需要将神经网络的全连接层的学习率设为零，以保证在使用参考特征向量和样本特征向量对神经网络进行训练时，全连接层能够不受神经网络反向传播的影响。在单次迭代中，将特征向量依次输入到神经网络中，当输入到神经网络中的特征向量是参考人脸图像的特征向量时，将参考人脸图像的特征向量经过卷积层的处理，得到参考输出特征向量，根据参考输出特征向量，调整全连接层的权矩阵，当参考图像远远小于样本图像或参考图像与样本图像的拍摄场景具有显著差异时，根据所述参考输出特征向量，调整全连接层的权向量，有助于提升参考图像和样本图像比对场景下神经网络性能的提升，也可以加快神经网络训练过程的收敛速度。
进一步，在单次迭代中，将参考人脸图像和样本人脸图像的特征向量依次经过卷积层、全连接层和所述损失函数模块的处理，得到多个的损失值，根据每个损失值和指定的优化算法，调整卷积层的参数为最终参数。在人脸识别应用中，运用所述最终参数替代人脸识别系统的卷积层参数，可以识别所述参考图像和样本图像对应的人脸是否为同一人脸。且当训练过程中参考人脸图像远远小于样本人脸图像时，由于在训练所述卷积层的参数时，全连接层的权矩阵是根据参考图像的输出特征向量进行调整的，通过所述卷积层处理输出的样本人脸图像的输出向量和参考人脸图像的输出向量能够更准确的体现样本人脸特征和参考人脸特征，因此，基于所述卷积层参数，通过人脸识别系统对参考图像特征向量和样本图像特征向量进行比对具有很好的准确度。
结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，当所述第t个特征向量是参考人脸图像的特征向量时，根据所述第t个归一化后的输出特征向量
在本申请实施例的神经网络训练方法中，用归一化后的参考图像的输出向量替换为全连接层的权重向量，能够，使得神经网络的优化过程更注重特征向量中表示特征角度部分的改变，从而有助于改善神经网络的性能。
结合第一方面，本申请实施例提供了第一方面的第二种可能的实施方式，在所述全连接层中，根据所述归一化后的输出向量
在本申请实施例中，根据所述归一化后的输出向量
结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，所述损失函数模块根据所述nn个所述分类向量，得到第n个损失函数值，包括：根据指定的规则，设置所述损失函数中的余弦度量缩放参数s和损失函数中的另一余弦度量缩放参数m，其中，m大于等于0且小于等于1；根据所述损失函数模块中的所述nn个所述分类向量
其中，所述第nj个分类向量
在本申请实施例中，通过将一定数量特征向量的分类值输入到所述损失函数模块中，经过损失函数模块的处理，得到损失值，所得到的损失值可以很好地反应神经网络中卷积层的性能。单次迭代中，可以得到多个损失值。其中，损失函数中的余弦距离的缩放参数，有助于神将网络将样本人脸和参考人脸的特征距离拉大，从而能够改善识别模型性能。
结合第一方面的第三种可能的实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，所述指定的优化算法为随机梯度下降法，根据第n个损失函数值，按照指定的优化算法，优化所述卷积层的参数，包括：根据预先设定的条件，设置所述随机梯度下降法的参数；根据所述第n个损失值，按照所述随机梯度下降法，得到所述卷积层的参数，并调整所述卷积层的参数。
在本申请实施例中，需要指定优化所述神经网络卷积层的优化算法，并根据所述损失值和指定的优化算法，优化所述神经网络卷积层的参数，在经过多次迭代后，可以得到所述神经网络卷积层的最终参数。
结合第一方面，本申请实施例提供了第一方面的第五种可能的实施方式，在进行初次迭代训练之前，所述方法还包括：初始化所述卷积层的参数和所述全连接层的权值。
在本申请实施例中，在进行初次迭代训练之前，需要初始化所述卷积层的参数和所述全连接层的权值，以确保初次迭代能够正常启动。
结合第一方面，本申请实施例提供了第一方面的第六种可能的实施方式，包括：执行多次迭代，直到满足预先设置的迭代终止条件，在多次迭代的任意两次迭代中，获取的所述t个特征向量相同。
在本申请实施例中，一次训练过程需要执行多次迭代，每次迭代所使用的特征向量相同。
第二方面，本申请实施例提供的一种人脸识别方法，包括：通过如第一方面所述的方法进行至少一次迭代训练得到的所述卷积层对参考图像特征向量和样本图像特征向量分别进行特征提取，得到参考特征和样本特征；计算所述参考特征和所述样本特征的相似度；根据所述参考特征和所述样本特征对应人脸的相似度，判断所述样本图像特征向量对应的人脸和所述参考图像特征向量对应的人脸是否为同一人的人脸。
在本申请实施例中，通过第一方面得到的卷积层，对参考图像特征向量和样本图像特征向量分别进行特征提取，得到参考特征和样本特征；根据参考特征和样本特征，计算参考特征和所述样本特征的相似度；然后根据所述参考特征和所述样本特征对应人脸的相似度，判断所述样本图像特征向量对应的人脸和所述参考图像特征向量对应的人脸是否为同一人的人脸。本申请实施例所得到的人脸识别系统在判断参考图像特征向量和样本图像特征向量对应的人脸是否为同一人脸时，具有很好的效果和准确度。
第三方面，本申请实施例提供的一种人脸识别系统，包括：通过如第一方面所述的方法进行至少一次迭代训练得到的卷积层，所述卷积层用于对参考图像特征向量和样本图像特征向量分别进行特征提取，得到参考特征和样本特征；余弦距离计算模块，用于计算所述参考特征和所述样本特征的相似度；判断模块，用于根据所述参考特征和所述样本特征对应人脸的相似度，判断所述样本图像特征向量对应的人脸和所述参考图像特征向量对应的人脸是否为同一人的人脸。
第四方面，本申请实施例提供了一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行第一方面或第二方面中的任一种可能实施方式中的方法。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例中神经网络的功能框图；
图2为本申请实施例中神经网络训练方法的流程图；
图3为本申请实施例中人脸识别系统的功能框图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有进行出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
第一实施例
本实施例提供了一种神经网络训练方法和一种人脸识别方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。以下对本实施例进行详细介绍。
请参阅图1，本实施例提供的神经网络训练方法，包括依次连接的卷积层、全连接层和损失函数模块。
所述方法可以包括多次迭代训练。
请参阅图2，所述训练过程的单次迭代，包括：步骤s100、步骤s200、步骤s300、步骤s400、步骤s500、步骤s600、步骤s700、步骤s800、步骤s900。
步骤s100：获取t个特征向量，所述t个特征向量包括d个参考人脸图像的特征向量和m个样本人脸图像的特征向量，其中，所述参考人脸图像的特征向量个数d与所述全连接层的权向量个数相同，所述m个样本人脸图像中的每个样本人脸图像与所述d个参考人脸图像中的一个参考人脸图像为同一个人的人脸图像，t等于d和m的和，且t、d、m均为正整数。
请参阅图2，在神经网络训练过程的单次迭代中，需要获取参考人脸的特征向量和样本人脸的特征向量集，参考人脸图像的特征向量个数与所述全连接层的权向量个数相同，样本人脸的特征向量集中每个样本人脸都对应参考人脸中的一个人脸。
举例来说，在证件照和生活照比对的应用场景中，神经网络训练过程的单次迭代，需要获取d张证件照的特征向量和m张生活照的特征向量集，组成t个特征向量集。其中，证件照的个数d与全连接层权向量的个数相同，m个生活照中每个生活照都与d张证件照中的一个证件照对应同一个人脸，证件照的特征向量和生活照的特征向量的总个数为t。具体的，可以取d为50000，m为1280000，即获取50000个证件照的特征向量和1280000个生活照的特征向量集，组成1330000个特征向量。
步骤s200：将所述全连接层的学习率设为零。
请参阅图2，在神经网络训练过程的单次迭代中，需要全连接层的学习率设为零，以确保全连接层不受神经网络训练过程中反向传播的影响。
举例来说，在证件照和生活照比对的应用场景中，神经网络训练过程的单次迭代中，所述全连接层的学习率设为零以确保全连接层不受神经网络训练过程中反向传播的影响。
步骤s300：将所述t个特征向量中的第t个特征向量输入到神经网络中，经过所述卷积层的处理，得到第t个输出特征向量xt，其中，t为大于等于1且小于等于t的整数，所述第t个特征向量是所述t个特征向量中的参考人脸图像的特征向量或样本人脸图像的特征向量。
请参阅图2，在神经网络训练过程的单次迭代中，将t个特征向量依次送入到神经网络中，经过卷积层的处理，依次得到t个输出特征向量，其中，第t个输出特征向量为xt。
举例来说，在证件照和生活照比对的应用场景中，需要将1330000个特征向量依次送入到神经网络中，经过卷积层的处理，依次得到1330000个输出特征向量，其中，第t个输出特征向量为xt。
步骤s400：将所述第t个输出特征向量在全连接层中进行归一化处理，得到第t个归一化后的输出特征向量
请参阅图2，在神经网络训练过程的单次迭代中，需要将特征向量经过卷积层输出的输出向量，在全连接层中进行归一化处理，得到归一化后的输出特征向量，其中，第t个归一化后的输出特征向量
举例来说，在证件照和生活照比对的应用场景中，需要将证件照和生活照的特征向量经过卷积层输出的证件照和生活照的输出向量，并在全连接层中进行归一化处理，得到归一化后的证件照和生活照的输出特征向量，其中，第t个归一化后的输出特征向量
步骤s500：判断所述第t个特征向量是否为参考人脸图像的特征向量，当所述第t个特征向量是参考人脸图像的特征向量时，根据所述第t个归一化后的输出特征向量
请参阅图2，在神经网络训练过程的单次迭代中，需要根据参考人脸图像的特征向量，来调整全连接层的权矩阵。
举例来说，在证件照和生活照比对的应用场景中，需要根据50000个证件照的特征向量，来调整全连接层的50000个权向量组成的权矩阵。
可选地，步骤s500包括：当所述第t个特征向量是第d个参考人脸图像的特征向量时，将第t个归一化后的参考图像的输出向量
步骤s600：在所述全连接层中，根据所述归一化后的输出向量
请参阅图2，在神经网络训练过程的单次迭代中，在全连接层中，将经过卷积层处理得到的输出向量进行归一化处理后，需要根据所述归一化后的输出向量和归一化后的权矩阵，得到分类向量。
举例来说，在证件照和生活照比对的应用场景中，在神经网络训练过程的单次迭代中，在全连接层中，将经过卷积层处理得到的输出向量进行归一化处理后，需要根据证件照或生活照归一化后的输出向量，和归一化后的权矩阵，得到分类向量。
可选地，步骤s600包括：将所述归一化后的样本人脸图像输出向量
步骤s700：将所述第t个分类向量输入到损失函数模块中，判断所述损失函数模块中的所述分类向量数量个数是否达到nn个，n、nn为大于等于1，小于等于t的整数，n个nn求和等于t。
请参阅图2，在神经网络训练过程的单次迭代中，需要根据损失函数输出的损失函数值，按照指定的优化算法来优化卷积层的参数，每个损失函数值需要在损失函数模块中根据多个分类向量通过计算获得，因此当第t个分类向量输入到损失函数模块中时，需要判断损失函数模块中的所述分类向量数量个数是否达到计算损失函数值的指定个数。
举例来说，在证件照和生活照比对的应用场景中，当证件照或生活照的分类向量输入到损失函数模块中时，需要判断损失函数模块中的所述分类向量数量个数是否达到计算损失函数值的指定个数。
步骤s800：当所述损失函数模块中的所述分类向量数量达到nn个时，所述损失函数模块根据所述nn个所述分类向量，得到第n个损失函数值，根据第n个损失函数值，按照指定的优化算法，优化所述卷积层的参数，并清空所述损失函数模块的所述分类向量。
请参阅图2，在神经网络训练过程的单次迭代中，需要根据输入到损失函数模块的t个分类向量，得到多个损失函数值，其中，第n个损失函数值需要在损失函数模块中根据nn个分类向量通过计算获得。第n个损失函数值后，需要按照指定的优化算法来优化卷积层的参数，并清空所述损失函数模块的所述分类向量，方便重新计算损失函数模块中分类向量的个数。执行完一次迭代后，损失函数模块会输出多个损失函数值，相应的，卷积层的参数也会被更新多次。
举例来说，在证件照和生活照比对的应用场景中，将1330000个由证件照的特征向量和生活照的特征向量组成的特征向量集输入到神经网络中，损失函数模块会依次输出多个损失函数值，每输出一个损失值，就根据损失值更新一次卷积层的参数。
可选地，步骤s800包括：根据指定的规则，设置所述损失函数中的余弦度量缩放参数s和损失函数中的另一余弦度量缩放参数m，其中，m大于等于0且小于等于1；根据所述损失函数模块中的所述nn个所述分类向量
其中，所述第nj个分类向量
可选地，所述指定的优化算法为随机梯度下降法，根据第n个损失函数值，按照指定的优化算法，优化所述卷积层的参数，包括：根据预先设定的条件，设置所述随机梯度下降法的参数；根据所述第n个损失值，按照所述随机梯度下降法，得到所述卷积层的参数，并调整所述卷积层的参数。举例来说，在证件照和生活照比对的应用场景中，可以设置随机梯度下降法的冲量参数为0.9，卷积层的学习率为0.1，根据所述第n个损失值，按照所述随机梯度下降法，得到所述卷积层的第个n参数，并调整所述神经网络卷积层的参数为第n个参数。
步骤s900：按照t依次取1到t执行上述步骤s100、步骤s200、步骤s300、步骤s400、步骤s500、步骤s600、s700、步骤s800，得到所述卷积层的目标参数。
请参阅图2，在神经网络训练过程的单次迭代中，需要将t依次取1到t，以保证将单次迭代获取的所有样本输入到神经网络中进行处理。
举例来说，在证件照和生活照比对的应用场景中，将t从1取到t，以保证将单次迭代获取的所有证件照的特征向量和生活照的特征向量输入到神经网络中。
可选地，在步骤s900之前，还包括：初始化所述卷积层的参数和所述全连接层的权值。举例来说，在证件照和生活照比对的应用场景中，在进行初次迭代训练之前，可以将所述卷积层的参数和所述全连接层的权值设置为随机值。
可选地，在步骤s900之后，还包括：执行多次迭代，直到满足预先设置的迭代终止条件，在多次迭代的任意两次迭代中，获取的所述t个特征向量相同。举例来说，在证件照和生活照比对的应用场景中，需要进行多次迭代，每次迭代用到的证件照和生活照的特征向量是相同的。
第二实施例
本实施例提供的人脸识别方法，包括：通过如第一实施例中所述的方法进行至少一次迭代训练得到的所述卷积层对参考图像特征向量和样本图像特征向量分别进行特征提取，得到参考特征和样本特征；计算所述参考特征和所述样本特征的相似度；根据所述参考特征和所述样本特征对应人脸的相似度，判断所述样本图像特征向量对应的人脸和所述参考图像特征向量对应的人脸是否为同一人的人脸。举例来说，在证件照和生活照比对的应用场景中，根据实施例一中所述的方法进行至少一次迭代训练得到的所述卷积层对证件照的特征向量和生活照的特征向量分别进行特征提取，计算所述证件照特征和所述生活照特征的相似度；根据所述证件照特征和所述生活照特征对应人脸的相似度，判断所述证件照的特征向量对应的人脸和所述生活照的特征向量对应的人脸是否为同一人的人脸。具体的，在千分之一的误报率的条件下，当根据实施例一中所述的方法进行训练120小时的迭代训练得到所述卷积层，并通过得到的卷积层对证件照的特征向量和生活照的特征向量分别进行特征提取，最终判断所述证件照的特征向量对应的人脸和所述生活照的特征向量对应的人脸是否为同一人的人脸的准确率可以达到60％以上，而现有技术中，normface和cosface的准确率分别为9.2％和32.2％；相应的；在在万分之一误报率场景下，当根据实施例一中所述的方法进行训练120小时的迭代训练得到所述卷积层，并通过得到的卷积层对证件照的特征向量和生活照的特征向量分别进行特征提取，最终判断所述证件照的特征向量对应的人脸和所述生活照的特征向量对应的人脸是否为同一人的人脸的准确率可以达到40％以上，而现有技术中，normface和cosface的准确率分别为2.6％和19.3％。
在传统生活照比对场景中，据实施例一中所述的方法进行至少一次迭代训练得到的所述卷积层对不同生活照的特征向量分别进行特征提取，计算不同生活照特征的相似度；根据不同生活照特征对应人脸的相似度，判断不同生活照各自的特征向量对应的人脸是否为同一人的人脸。具体来说，千分之一误报率场景下，当根据实施例一中所述的方法进行训练120小时的迭代训练得到所述卷积层，并通过得到的卷积层对不同生活照的特征向量分别进行特征提取，最终判断所述不同生活照各自的特征向量对应的人脸是否为同一人的人脸的准确率为94.8％，现有技术中normface和cosface的准确率分别为85.0％和91.9％，在万分之一误报率场景下，当根据实施例一中所述的方法进行训练120小时的迭代训练得到所述卷积层，并通过得到的卷积层对不同生活照的特征向量分别进行特征提取，最终判断所述不同生活照各自的特征向量对应的人脸是否为同一人的人脸的准确率为92.2％，现有技术中normface和cosface的准确率分别为73.2％和87.9％。
第三实施例
本申请实施例提供了一种人脸识别系统，请参阅图3，包括：
通过如第一实施例所述的方法进行至少一次迭代训练得到的卷积层，所述卷积层用于对参考图像特征向量和样本图像特征向量分别进行特征提取，得到参考特征和样本特征；
余弦距离计算模块，用于计算所述参考特征和所述样本特征的相似度；
判断模块，用于根据所述参考特征和所述样本特征对应人脸的相似度，判断所述样本图像特征向量对应的人脸和所述参考图像特征向量对应的人脸是否为同一人的人脸。所述判断模块可以是使用预设的阈值决定输入的参考图像特征向量和样本图像特征向量对应的人脸是否为同一人脸的判断模块。
在本实施例中，通过如第一实施例所述的方法进行至少一次迭代训练得到的卷积层对参考图像特征向量和样本图像特征向量分别进行特征提得到的参考特征和样本特征能够很好的表达参考图像的特征和样本图像的特征，以确保余弦距离计算模块和判断模块的输出结果具有较高的准确度。
第四实施例
本申请实施例提供了一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行上述第一实施例和第二实施例中的人脸识别方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd－rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景的方法。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！