指纹图像修复模型的训练方法、指纹识别方法及终端设备与流程

本申请涉及指纹识别
技术领域：
，尤其涉及一种指纹图像修复模型的训练方法、指纹识别方法、指纹识别传感器、以及终端设备。
背景技术：
：随着移动终端的普及，人们对移动终端安全性的要求越来越高。由于电容式指纹识别传感器具有体积小、功耗低、采集速度快等优点，移动终端广泛采用电容式指纹识别传感器来对指纹图像进行识别。在指纹识别技术中，指纹图像的质量对指纹识别的成功率有极大的影响。当手指上粘有水渍、油渍等污渍时，电容式指纹识别传感器采集的指纹图像可能会出现缺损等问题，缺损的指纹图像对后续的指纹识别会产生负面影响，使指纹识别率下降。技术实现要素：本申请提供了一种指纹图像修复模型的训练方法、指纹识别方法、指纹识别传感器、以及终端设备，训练得到的指纹图像修复模型能够有效提高指纹识别率。第一方面，本申请实施例提供一种指纹图像修复模型的训练方法，所述指纹图像修复模型的训练方法包括：获取第一指纹图像和第二指纹图像，其中，所述第一指纹图像为缺损指纹图像，所述第二指纹图像为正常指纹图像；将所述第一指纹图像和所述第二指纹图像输入神经网络模型进行训练，其中，所述神经网络模型包括第一生成器、第二生成器、第一判别器、以及第二判别器，所述第一生成器用于将所述第一指纹图像生成正常指纹图像，所述第一判别器用于判断所述生成的正常指纹图像是否真实，所述第二生成器用于将所述第二指纹图像生成缺损指纹图像，所述第二判别器用于判断所述生成的缺损指纹图像是否真实；根据预设目标方程判断所述神经网络模型是否满足要求；以及当所述神经网络模型满足要求时，输出所述第一生成器作为指纹图像修复模型，其中，所述指纹图像修复模型用于将缺损指纹图像修复为正常指纹图像。可选地，所述预设目标方程包括与所述第一生成器、所述第二生成器、所述第一判别器、以及所述第二判别器关联的若干参数，根据预设目标方程判断所述神经网络模型是否满足要求具体包括：获取所述若干参数；根据所述若干参数判断所述预设目标方程是否满足收敛条件；当所述预设目标方程满足收敛条件时，判断所述神经网络模型满足要求。可选地，所述预设目标方程为：；其中，表示所述第一生成器，表示所述第二生成器，表示所述第一判别器，表示所述第二判别器，表示与所述第一生成器和所述第一判别器关联的第一参数，表示与所述第二生成器和所述第二判别器关联的第二参数，表示与所述第一生成器和所述第二生成器关联的第三参数，表示与所述第一生成器和所述第二生成器关联的第四参数，表示由所述第一参数、所述第二参数、所述第三参数、以及所述第四参数计算得到的目标值。可选地，将所述第一指纹图像和所述第二指纹图像输入神经网络模型进行训练具体包括：根据预设规则分别将所述第一指纹图像和所述第二指纹图像转化为第一逆变换图像和第二逆变换图像。可选地，根据预设规则将所述第一指纹图像转化为第一逆变换图像具体包括：将所述第一指纹图像进行图像变换获得第一变换图像；将所述第一变换图像输入所述第一生成器获得第一生成图像；将所述第一生成图像进行图像逆变换获得所述第一逆变换图像。可选地，根据预设规则将所述第二指纹图像转化为第二逆变换图像具体包括：将所述第二指纹图像进行图像变换获得第二变换图像；将所述第二变换图像输入所述第二生成器获得第二生成图像；将所述第二生成图像进行图像逆变换获得所述第二逆变换图像。可选地，获取所述第四参数具体为：根据预设约束方程计算所述第四参数，其中，所述预设约束方程为：其中，表示期望，表示所述第二指纹图像，表示所述第一指纹图像，表示所述第二指纹图像中数据的分布，表示所述第一指纹图像中数据的分布，表示所述第一逆变换图像，表示由所述第一生成器生成的正常指纹图像，表示所述第二逆变换图像，表示所述第二生成器生成的缺损指纹图像。可选地，所述第一判别器和所述第二判别器均判断一次为训练一次，根据若干参数判断所述预设目标方程是否满足收敛条件具体包括：当完成一次训练时，利用所述预设目标方程计算相应的目标值；判断所述目标值是否满足预设条件；当所述目标值满足所述预设条件时，判断所述预设目标方程满足所述收敛条件。可选地，将所述第一指纹图像和所述第二指纹图像输入神经网络模型进行训练还包括：将所述第一生成器生成的正常指纹图像输入所述第一判别器；利用所述第一判别器提取所述生成的正常指纹图像的第一特征值，并判断所述第一特征值是否小于第一阈值；当所述第一特征值大于等于第一阈值时，判断所述生成的正常指纹图像真实；当所述第一特征值小于第一阈值时，判断所述生成的正常指纹图像不真实，并修改所述第一生成器当前的第一参数。可选地，将所述第一指纹图像和所述第二指纹图像输入神经网络模型进行训练还包括：将所述第二生成器生成的缺损指纹图像输入所述第二判别器；利用所述第二判别器提取所述生成的缺损指纹图像的第二特征值，并判断所述第二特征值是否小于第二阈值；当所述第二特征值大于等于第二阈值时，判断所述生成的缺损指纹图像为真实；当所述第二特征值小于第二阈值时，判断所述生成的缺损指纹图像不真实，并修改所述第二生成器当前的第二参数。可选地，所述第一判别器和所述第二判别器均判断一次为训练一次，所述指纹图像修复模型的训练方法还包括：判断所述神经网络模型的训练次数是否达到预设次数；当所述神经网络模型的训练次数达到预设次数时，输出所述第一生成器作为所述指纹图像修复模型。第二方面，本申请实施例提供一种指纹识别方法，所述指纹识别方法包括：获取待识别指纹图像；将所述待识别指纹图像输入指纹图像修复模型以获取修复指纹图像，其中，所述指纹图像修复模型由如上所述的指纹图像修复模型的训练方法训练得到；以及将所述修复指纹图像与样本指纹图像进行比对得到识别结果。第三方面，本申请实施例提供一种指纹识别传感器，所述指纹识别传感器包括：存储器，用于存储指纹识别程序指令；以及处理器，用于执行所述指纹识别程序指令以实现如上所述的指纹识别方法。第四方面，本申请实施例提供一种终端设备，所述终端设备包括主体、以及如上所述的指纹识别传感器，所述指纹识别传感器设置于所述主体。上述指纹图像修复模型的训练方法、指纹识别方法、指纹识别传感器、以及终端设备，通过将第一指纹图像和第二指纹图像输入神经网络模型中进行训练，从而得到指纹图像修复模型。其中，第一指纹图像为缺损指纹图像，第二指纹图像为正常指纹图像。神经网络模型包括第一生成器、第二生成器、第一判别器、以及第二判别器。根据预设目标方程判断神经网络模型是否满足要求。当满足要求时，输出能够将第一指纹图像生成正常指纹图像的第一生成器作为指纹图像修复模型，用于指纹识别，从而提高指纹识别率。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本申请第一实施例提供的训练方法的流程图。图2为本申请第一实施例提供的训练方法的第一子流程图。图3为本申请第一实施例提供的训练方法的第二子流程图。图4为本申请第二实施例提供的训练方法的子流程图。图5为图1所示的训练方法中神经网络模型的结构示意图。图6为本申请实施例提供的指纹识别方法的流程图。图7为图6所示的待识别指纹图像。图8为图6所示的修复指纹图像。图9为本申请实施例提供的终端设备的示意图。图10为本申请实施例提供的指纹识别传感器的结构示意图。元件符号说明标号名称标号名称100终端设备第二指纹图像10主体第一指纹图像20指纹识别传感器第一生成器21存储器第二生成器22处理器第一判别器p指纹图像修复模型第二判别器q神经网络模型h、i、j、k、l待识别指纹图像h、i、j、k、l修复指纹图像本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。请结合参看图1和图5，图1为本申请第一实施例提供的训练方法的流程图，图5为本申请实施例提供的神经网络模型的结构示意图。训练方法用于训练指纹图像修复模型，训练得到的指纹图像修复模型能够应用于指纹识别，用于将缺损的指纹图像修复为正常的指纹图像，从而提高指纹识别率。指纹图像修复模型的训练方法具体包括如下步骤。步骤s102，获取第一指纹图像和第二指纹图像。其中，第一指纹图像为缺损指纹图像，第二指纹图像为正常指纹图像。在本实施例中，第一指纹图像和第二指纹图像不需要一一对应。即是说，第一指纹图像和第二指纹图像可以不是同一手指同一部位相应的指纹图像。步骤s104，将第一指纹图像和第二指纹图像输入神经网络模型进行训练。在本实施例中，神经网络模型q包括第一生成器、第二生成器、第一判别器、以及第二判别器。其中，第一生成器用于将第一指纹图像生成正常指纹图像，第一判别器用于判断生成的正常指纹图像是否真实，第二生成器用于将第二指纹图像生成缺损指纹图像，第二判别器用于判断生成的缺损指纹图像是否真实。在本实施例中，第一判别器判断生成的正常指纹图像是否真实具体为：当第一生成器将第一指纹图像生成正常指纹图像后，获取该生成的正常指纹图像，将第一生成器生成的正常指纹图像输入第一判别器。利用第一判别器提取生成的正常指纹图像的第一特征值，并判断第一特征值是否小于第一阈值。其中，第一特征值包括但不限于指纹脊线的清晰度、指纹谷线的清晰度、指纹端点的清晰度、以及指纹分叉点的清晰度等。第一阈值可以根据实际情况进行设置，在此不做限定。当第一特征值大于等于第一阈值时，判断生成的正常指纹图像真实。当第一特征值小于第一阈值时，判断生成的正常指纹图像不真实，并修改第一生成器当前的第一参数，以使得第一生成器生成的正常指纹图像能够越来越真实。第二判别器判断生成的缺损指纹图像是否真实具体为：当第二生成器将第二指纹图像生成缺损指纹图像后，获取该生成的缺损指纹图像，将第二生成器生成的缺损指纹图像输入第二判别器。利用第二判别器提取生成的缺损指纹图像的第二特征值，并判断第二特征值是否小于第二阈值。其中，第二特征值包括但不限于指纹脊线的黏连程度、指纹谷线的黏连程度、指纹脊线的模糊度、以及指纹谷线的模糊度等。第二阈值可以根据实际情况进行设置，在此不做限定。当第二特征值大于等于第二阈值时，判断生成的缺损指纹图像为真实。当第二特征值小于第二阈值时，判断生成的缺损指纹图像不真实，并修改第二生成器当前的第二参数，以使得第二生成器生成的缺损指纹图像能够越来越真实。步骤s106，根据预设目标方程判断神经网络模型是否满足要求。其中，预设目标方程包括与第一生成器、第二生成器、第一判别器、以及第二判别器关联的若干参数。在本实施例中，预设目标方程为：。其中，表示所述第一生成器，表示所述第二生成器，表示所述第一判别器，表示所述第二判别器，表示与所述第一生成器和所述第一判别器关联的第一参数，表示与所述第二生成器和所述第二判别器关联的第二参数，表示与所述第一生成器和所述第二生成器关联的第三参数，表示与所述第一生成器和所述第二生成器关联的第四参数，表示由所述第一参数、所述第二参数、所述第三参数、以及所述第四参数计算得到的目标值。在本实施例中，目标值由第一参数、第二参数、第三参数、以及第四参数相加得到。如何获取第一参数、第二参数、第三参数、以及第四参数，如何根据预设目标方程判断神经网络模型q是否满足要求将在下文进行详细描述。步骤s108，当神经网络模型满足要求时，输出第一生成器作为指纹图像修复模型。其中，指纹图像修复模型p用于将缺损指纹图像修复为正常指纹图像。上述实施例中，通过将第一指纹图像和第二指纹图像输入神经网络模型中进行训练，从而得到指纹图像修复模型。其中，第一指纹图像为缺损指纹图像，第二指纹图像为正常指纹图像。神经网络模型包括第一生成器、第二生成器、第一判别器、以及第二判别器。根据预设目标方程判断神经网络模型是否满足要求。当满足要求时，输出能够将第一指纹图像生成正常指纹图像的第一生成器作为指纹图像修复模型。当进行指纹识别时，可以先利用指纹图像修复模型将缺损指纹图像修复为正常指纹图像，再对正常指纹图像进行识别。指纹图像修复模型能够恢复部分缺损指纹，有效改善指纹图像的质量，保证后续图像识别比对结果的准确性，从而极大降低手指的污渍对指纹识别的影响，提高了对带有污渍的指纹识别的准确率，从而高效、精确地实现指纹匹配功能。请结合参看图2，其为本申请第一实施例提供的训练方法的第一子流程图。步骤s106具体包括如下步骤。步骤s202，获取若干参数。在本实施例中，若干参数包括第一参数、第二参数、第三参数、以及第四参数。第一参数由第一方程计算得到。在本实施例中，第一方程具体为：。其中，表示期望，表示第二指纹图像，表示第一指纹图像，表示第二指纹图像中数据的分布，表示第一指纹图像中数据的分布，表示第一判别器判断第二指纹图像是否真实得到的值，表示第一判别器判断第一生成器生成的正常指纹图像是否真实得到的值。第二参数由第二方程计算得到。在本实施例中，第二方程具体为：。其中，表示第二判别器判断第一指纹图像是否真实得到的值，表示第二判别器判断第二生成器生成的缺损指纹图像是否真实得到的值。第三参数由第三方程计算得到。在本实施例中，第三方程具体为：。其中，表示第二生成器生成的缺损指纹图像输入第一生成器后生成的图像，表示第一生成器生成的正常指纹图像输入第二生成器后生成的图像。第四参数由预设约束方程计算得到。在本实施例中，预设约束方程具体为：其中，表示期望，表示第二指纹图像，表示第一指纹图像，表示第二指纹图像中数据的分布，表示第一指纹图像中数据的分布，表示第一逆变换图像，表示由第一生成器生成的正常指纹图像，表示第二逆变换图像，表示第二生成器生成的缺损指纹图像。如何获得第一逆变换图像和第二逆变换图像具体将在下文进行详细描述。步骤s204，根据若干参数判断预设目标方程是否满足收敛条件。在本实施例中，根据第一参数、第二参数、第三参数、以及第四参数判断预设目标方程是否满足收敛条件。其中，第一判别器和第二判别器均判断一次为训练一次。即是说，第一生成器将第一指纹图像生成正常指纹图像后输入第一判别器进行判断，且第二生成器将第二指纹图像生成缺损指纹图像后输入第二判别器进行判断，即为训练一次。当完成一次训练时，利用预设目标方程计算相应的目标值。其中，目标值由第一参数、第二参数、第三参数、以及第四参数相加得到。判断目标值是否满足预设条件。在本实施例中，预设条件为当前计算得到的目标值与上一次训练完成后计算得到的目标值之间的比值保持为预设值。其中，可以设置为当前目标值比上一次目标值，也可以设置为上一次目标值比当前目标值。相应地，预设值根据当前目标值与上一次目标值之间的比值关系进行设置，在此不做限定。但是，无论预设值如何设置，预设条件总是要求当前目标值比上一次目标值小。也就是说，当每次计算得到的目标值呈逐渐下降的趋势时，判断目标值满足预设条件。当目标值满足预设条件时，判断预设目标方程满足收敛条件。步骤s206，当预设目标方程满足收敛条件时，判断神经网络模型满足要求。在一些可行的实施例中，当根据预设目标方程画出的曲线呈逐渐下降的趋势时，也可以判断预设目标方程满足收敛条件。上述实施例中，当预设目标方程满足收敛条件时，四个参数对第一生成器、第二生成器、第一判别器、以及第二判别器都进行了约束，使得第一生成器生成的正常指纹图像越来越真实，第一判别器的识别能力也随之提高，第二生成器生成的缺损指纹图像越来越真实，第二判别器的识别能力也随之提高。也就是说，预设目标方程达到收敛就能够确保第一生成器和第二生成器生成图像的精准度、以及第一判别器和第二判别器判断图像的准确率。请结合参看图3，其为本申请第一实施例提供的训练方法的第二子流程图。步骤s104还包括如下步骤。步骤s302，根据预设规则分别将第一指纹图像和第二指纹图像转化为第一逆变换图像和第二逆变换图像。在本实施例中，根据预设规则将第一指纹图像转化为第一逆变换图像具体为：将第一指纹图像进行图像变换获得第一变换图像，将第一变换图像输入第一生成器获得第一生成图像，将第一生成图像进行图像逆变换获得第一逆变换图像。其中，图像变换包括但不限于错切、加躁、以及滤波等。对第一指纹图像进行图像变换可以为对第一指纹图像进行错切、加躁、或者滤波中的一种操作，也可以为对第一指纹图像进行错切、加躁、以及滤波中的任意两者或者三者结合的操作，在此不做限定。图像逆变换为图像变换的逆变换。根据预设规则将第二指纹图像转化为第二逆变换图像具体为：将第二指纹图像进行图像变换获得第二变换图像，将第二变换图像输入第二生成器获得第二生成图像，将第二生成图像进行图像变换获得第二逆变换图像。其中，图像变换与图像逆变换与上文基本一致，在此不再赘述。上述实施例中，第四参数与第一逆变换图像和第二逆变换图像相关，用于对第一逆变换图像和第二逆变换图像进行约束，使第一逆变换图像和生成的正常指纹图像能够保持一致，第二逆变换图像和生成的缺损指纹图像能够保持一致，从而保证第一生成器和第二生成器生成的指纹图像不发生形变扭曲，不改变纹理、纹路、灰度等。在另一些可行的实施例中，预设目标方程可以设置为：。其中，目标值由第一参数、第二参数、以及第三参数相加得到。也就是说，预设目标方程可以不包括第四参数。由于第四参数与第一逆变换图像和第二逆变换图像相关，而获取第一逆变换图像和第二逆变换图像需要一定的时间。在降低一点将缺损指纹图像修复成为正常指纹图像精准度，但极大提高训练速度的情况下，当包括三个参数的预设目标方程满足收敛条件时，神经网络模型同样能够满足要求。请结合参看图4，其为本申请第二实施例提供的训练方法的子流程图。第二实施例提供的训练方法与第一实施例提供的训练方法的不同之处在于，第二实施例提供的指纹图像修复模型的训练方法还包括如下步骤。步骤s402，判断神经网络模型的训练次数是否达到预设次数。其中，预设次数可以根据实际情况进行设置，在此不做限定。步骤s404，当神经网络模型的训练次数达到预设次数时，输出第一生成器作为指纹图像修复模型。即是说，将第一指纹图像和第二指纹图像输入神经网络模型q进行训练，当训练次数达到预设次数时，直接输出第一生成器作为指纹图像修复模型。上述实施例中，由于神经网络在训练过程中，第一生成器和第二生成器生成图像的精准度、以及第一判别器和第二判别器判断图像的准确率都会随之提高。因此，当神经网络模型的训练次数达到预设次数时，可以默认第一生成器已经训练完成。请结合参看图6至图9，图6为本申请实施例提供的指纹识别方法的流程图，图7为本申请实施例提供的待识别指纹图像，图8为本申请实施例提供的修复指纹图像，图9为本申请实施例提供的终端设备的示意图。指纹识别方法应用于终端设备100。指纹识别方法具体包括如下步骤。步骤s602，获取待识别指纹图像。其中，待识别指纹图像为用户将手指按压在设置于终端设备100的指纹识别传感器20的感测区，以对锁定的终端设备100进行解锁时产生的指纹图像，或者对终端设备100中执行的某一项功能进行解锁时产生的指纹图像。可以理解的是，神经网络模型q在进行训练时，采用的第一指纹图像和第二指纹图像的尺寸与待识别指纹图像的尺寸相同。步骤s604，将待识别指纹图像输入指纹图像修复模型以获取修复指纹图像。其中，指纹图像修复模型由上述指纹图像修复模型的训练方法训练得到。指纹图像修复模型可以将缺损的指纹图像修复成正常的指纹图像。在本实施例中，指纹图像修复模型可以对所有待识别指纹图像均进行修复。也就是说，无论待识别指纹图像是否为缺损指纹图像，指纹图像修复模型均对待识别指纹图像进行修复。若待识别指纹图像为缺损指纹图像，指纹图像修复模型可以相应生成正常指纹图像，图7展示的为五个待识别指纹图像h-l，图8展示的为相应的修复指纹图像h-l；若待识别指纹图像为正常指纹图像，指纹图像修复模型可以但不限于提高待识别指纹图像的清晰度等。步骤s606，将修复指纹图像与样本指纹图像进行比对得到识别结果。其中，样本指纹图像为用户对终端设备添加指纹密码时录入的指纹图像。在一些可行的实施例中，可以先对待识别指纹图像进行分析，判断待识别指纹图像是否清晰、是否存在缺损的区域等。当判断待识别指纹图像不清晰或者存在缺损区域时，再将待识别指纹图像输入指纹图像修复模型中。当判断待识别指纹图像清晰、不存在缺损区域时，直接将待识别指纹图像与样本指纹图像进行比对得到识别结果。上述实施例中，无论待识别指纹图像是否为缺损指纹图像，指纹图像修复模型都能够对待识别指纹图像进行修复，从而提高指纹识别率。可以理解的是，先对待识别指纹图像是否清晰、是否存在缺损区域等进行判断，若待识别指纹图像清晰、不存在缺损区域时，则可以直接将该待识别指纹图像与样本指纹图像进行比对，从而减小运算量。请结合参看图10，其为本申请实施例提供的指纹识别传感器的结构示意图。指纹识别传感器20包括存储器21和处理器22。存储器21用于存储指纹识别程序指令，处理器22用于执行指纹识别程序指令以实现上述指纹识别方法。其中，处理器22在一些实施例中可以是一中央处理器（centralprocessingunit,cpu）、控制器、微控制器、微处理器或其它数据处理芯片，用于运行存储器21中存储的指纹识别程序指令。存储器21至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，sd或dx存储器等）、磁性存储器、磁盘、光盘等。存储器21在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘。存储器21在另一些实施例中也可以是外部计算机设备的存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡（smartmediacard,smc），安全数字（securedigital,sd）卡，闪存卡（flashcard）等。进一步地，存储器21还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器21不仅可以用于存储安装于计算机设备的应用软件及各类数据，例如实现指纹识别方法的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。请结合参看图9，其为本申请实施例提供的终端设备的示意图。终端设备100包括主体10、以及指纹识别传感器20。其中，终端设备100包括但不限于手机、平板电脑、笔记本电脑、电子手表、以及门禁等。指纹识别传感器20设置于主体10。指纹识别传感器20可以设置于主体10的侧面、正面、或者背面，在此不做限定。在本实施例中，终端设备100为手机，指纹识别传感器20设置于主体10的侧面。指纹识别传感器20的具体结构参照上述实施例。由于终端设备100采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的规划对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，还可以包含其他内容，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于只清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。以上所列举的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。当前第1页12