一种基于深度学习的压力足迹图像检索系统的制作方法

[0001]
本发明涉及身份认证技术领域，具体为一种基于深度学习的压力足迹图像检索系统。


背景技术：

[0002]
在生物识别技术飞速发展的今天，足迹作为重要的生物特征逐渐被研究和应用，但现阶段足迹的检索工作大多停留在利用足迹专家的相关专业知识进行足迹对比来进行信息的确认。这种传统的人力检索方式不但耗时耗力，而且参有专家的一些主观因素，所以结果往往是不稳定的。
[0003]
为摆脱人力进行足迹检索的缺陷和不足，本发明通过深度学习的方法设计了一种足迹特征学习网络对压力足迹数据进行拟合训练，并将训练好的模型进行迁移，将足迹检索智能化，同时整个过程不需要人的干预，就能得到较好的性能。


技术实现要素：

[0004]
(一)解决的技术问题
[0005]
针对现有技术的不足，本发明提供了一种基于深度学习的压力足迹图像检索系统，解决了现阶段足迹的检索工作大多停留在利用足迹专家的相关专业知识进行足迹对比来进行信息的确认。这种传统的人力检索方式不但耗时耗力，而且参有专家的一些主观因素，所以结果往往是不稳定的问题。
[0006]
(二)技术方案
[0007]
为实现上述目的，本发明提供如下技术方案：一种基于深度学习的压力足迹图像检索系统，包括监管区域、闸机通道、足迹采集器和足迹认证系统，在所述的监管区域进入通道和外出通道各设置一台闸机通道，并在所述的闸机通道的进入端设置足迹采集器；该基于深度学习的压力足迹图像检索系统包括数据预处理、最优网络训练、入库和检索功能三个阶段。
[0008]
作为优化，所述的数据预处理包括压力数据采集、去噪、数据统一化三步；
[0009]
所述压力数据采集：首先，被采集人员以正常姿态走上压力采集板上并双脚保持站立状态持续1-2秒以获取相对稳定的足迹特征，然后走下采集仪器并转身等待下一次的采集，采集状态同上；我们按照一个来回算一趟，每个人共采集十趟，最后形成二十张足迹图像；
[0010]
所述的去噪：由于采集环境以及电流对压力传感器等影响，采集数据过程中或多或少存在数据噪声干扰；为了减少噪声的干扰，需对足迹压力数据进行滤波；由于噪声点大都以离散点的形式出现，不会出现数据杂点聚集现象，因此采用方法：压力足迹以当前压力点为中心，构建一个3
×
3的滤波窗口，统计滤波窗口内有压力值的个数，如果压力值的个数小于一定的阈值，则将此压力点剔除；
[0011]
所述的数据统一化三步：由于在采集数据的过程中我们采用来回转身采集的方
式，因为这样采集不仅很大程度上节约每个人的采集时间，而且减少被采集人员的运动量，正因为每个人所采集的足迹图像中的脚印方向是交替相反的，这种足迹在方向上的不统一会对后面网络的训练造成较大的消极影响，直接导致系统的整体性能的恶化；因此在数据预处理阶段，对采集的所有图像进行去噪处理后又进行了足迹方向的统一化，使所有的足迹方向统一向上。
[0012]
作为优化，所述的最优网络训练：数据集划分，将所有的数据集按照训练集、支持集和查询集进行4：4：2的比例进行划分，其中训练集中的所有样本用来训练；支持集用来构造数据库，数据库的作用是提供一个较大的数据对比库对未知id信息的对象特征进行对比找到对应相似度最大的特征信息；查询集用来当前模型的训练情况，通过不断地测试找到最优网络；
[0013]
足迹特征学习网络模型：在模型的训练阶段，训练集中的所有图片依次经过卷积块(convolution+relu+bn)进行特征的提取，然后经过最大池化层(maxpool)减低特征的尺寸以及增加特征的非线性化表达，这样做的目的可以有效的减少计算的开销；当维度变成28
×
28
×
512的时候外接一个卷积块，这样做的目的是为了更好的提取足迹的特征；因为足迹同其他的图片不一样的是足迹的轮廓特征在足迹的特征表达中占据非常重要的地位，然而当卷积层数越深的时候，网络提取的特征则更侧重于足迹的高层语义特征，比如足迹中的压力分布状态等，同时深层网络的特征提取会忽略掉足迹的浅层特征，如足迹的轮廓特征和纹理等特征；
[0014]
为了防止浅层特征的丢失，将主干网络第三个卷积块分流出一个支流后接卷积块和池化层变成维度大小为7
×
7
×
2048，我们对主干网络的第四个卷积块的特征图也进行同样的操作；然后将三个维度大小为7
×
7
×
2048的支流特征图分别进行一个池化，将特征变成1
×
1
×
2048，分别经过全连接层得到大小为1
×
1
×
1024的特征图，通过损失以及网络的反向梯度更新来优化特征；最后，再分别进行softmax层对输出的维度求概率，概率越大表示检索到对应正确id信息的可能性就越大，并通过查询集来对网络进行测试，逐步对网络进行多次的迭代优化，从而找到性能最后的网络模型以便后续的使用；
[0015]
在整个网络的优化过程，网络逐渐学习到不同对象足迹的浅层特征(足迹轮廓)和深层特征(压力分布)，这个过程可以看作是相关足迹专家在学习足迹知识的一个过程，当找到最优的网络模型时，整个网络已经具备了足迹专家的“专业知识”，变成一个机器人“足迹专家”；此时，该模型具备了能够快速检索出足迹信息的能力。
[0016]
作为优化，所述的入库和检索功能中的入库：
[0017]
在找到最优模型并在支持集的作用下可以建立起一个较大的数据库，数据库里存放着不同对象的压力足迹信息以及相对应的id信息，但是一个更加庞大的数据库会更有利于整个系统性能的提升，所以我们设计了一个可进行入库的功能；
[0018]
当已知足迹图像和对象的id信息时，我们可以通过最优网络对足迹图像进行前向推理，生成对应的足迹特征，然后将足迹特征以及对应的id信息进行入库；随着数据库的不断扩大，数据库中的数据出现多样化，使整个系统的性能不断提高；
[0019]
检索：检索功能是该系统的核心功能；当有一张未知id信息的压力足迹图像时，我们迫切的想知道这张脚印的“主人”是谁，这时候只需要要把这张待检索图片输入到最优网络进行简单的计算就可以得到对应的足迹特征，然年将足迹特征与数据库中的足迹特征一
一对比，找出数据库中与待检索图片最为相似的前20个对象的足迹特征，并将其对应的id信息进行输出，从而给出检索的结果，我们可以通过检索结果来进一步确认待检索图像的相关信息。
[0020]
(三)有益效果
[0021]
本发明提供了一种基于深度学习的压力足迹图像检索系统。具备以下有益效果：
[0022]
本发明，提供了一种基于深度学习的压力足迹图像检索系统，在使用时，首先对工作人员进行压力数据进行采集，然后对足迹压力数据进行滤波，将所有的数据集按照训练集、支持集和查询集进行4：4：2的比例进行划分，其中训练集中的所有样本用来训练；支持集用来构造数据库，数据库的作用是提供一个较大的数据对比库对未知id信息的对象特征进行对比找到对应相似度最大的特征信息；查询集用来当前模型的训练情况，通过不断地测试找到最优网络，在模型的训练阶段，训练集中的所有图片依次经过卷积块(convolution+relu+bn)进行特征的提取，当维度变成28
×
28
×
512的时候外接一个卷积块，这样做的目的是为了更好的提取足迹的特征；因为足迹同其他的图片不一样的是足迹的轮廓特征在足迹的特征表达中占据非常重要的地位，然而当卷积层数越深的时候，网络提取的特征则更侧重于足迹的高层语义特征，比如足迹中的压力分布状态等，同时深层网络的特征提取会忽略掉足迹的浅层特征，如足迹的轮廓特征和纹理等特征，当找到最优的网络模型时，整个网络已经具备了足迹专家的“专业知识”，变成一个机器人“足迹专家”；此时，该模型具备了能够快速检索出足迹信息的能力；当已知足迹图像和对象的id信息时，我们可以通过最优网络对足迹图像进行前向推理，生成对应的足迹特征，然后将足迹特征以及对应的id信息进行入库；当有一张未知id信息的压力足迹图像时，我们迫切的想知道这张脚印的“主人”是谁，这时候只需要要把这张待检索图片输入到最优网络进行简单的计算就可以得到对应的足迹特征，然年将足迹特征与数据库中的足迹特征一一对比，找出数据库中与待检索图片最为相似的前20个对象的足迹特征，并将其对应的id信息进行输出，从而给出检索的结果，我们可以通过检索结果来进一步确认待检索图像的相关信息。
附图说明
[0023]
图1为本发明的整个压力足迹图像检索系统的流程图。
[0024]
图2为本发明的单趟足迹采集展示图。
[0025]
图3为本发明的足迹翻转展示图。
[0026]
图4为本发明的脚印统一方向算法流程图。
[0027]
图5为本发明的足迹特征学习网络模型图。
[0028]
图6为本发明的检索流程图。
[0029]
图7为本发明的系统铺设示意图。
具体实施方式
[0030]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0031]
实施例1
[0032]
如图1-7所示，本发明提供一种技术方案：一种基于深度学习的压力足迹图像检索系统，包括监管区域、闸机通道、足迹采集器和足迹认证系统，在所述的监管区域进入通道和外出通道各设置一台闸机通道，并在所述的闸机通道的进入端设置足迹采集器；该基于深度学习的压力足迹图像检索系统包括数据预处理、最优网络训练、入库和检索功能三个阶段。
[0033]
在本实施例中，所述的数据预处理包括压力数据采集、去噪、数据统一化三步；
[0034]
所述压力数据采集：首先，被采集人员以正常姿态走上压力采集板上并双脚保持站立状态持续1-2秒以获取相对稳定的足迹特征，然后走下采集仪器并转身等待下一次的采集，采集状态同上；我们按照一个来回算一趟，每个人共采集十趟，最后形成二十张足迹图像；
[0035]
所述的去噪：由于采集环境以及电流对压力传感器等影响，采集数据过程中或多或少存在数据噪声干扰；为了减少噪声的干扰，需对足迹压力数据进行滤波；由于噪声点大都以离散点的形式出现，不会出现数据杂点聚集现象，因此采用方法：压力足迹以当前压力点为中心，构建一个3
×
3的滤波窗口，统计滤波窗口内有压力值的个数，如果压力值的个数小于一定的阈值，则将此压力点剔除；
[0036]
所述的数据统一化三步：由于在采集数据的过程中我们采用来回转身采集的方式，因为这样采集不仅很大程度上节约每个人的采集时间，而且减少被采集人员的运动量，正因为每个人所采集的足迹图像中的脚印方向是交替相反的，这种足迹在方向上的不统一会对后面网络的训练造成较大的消极影响，直接导致系统的整体性能的恶化；因此在数据预处理阶段，对采集的所有图像进行去噪处理后又进行了足迹方向的统一化，使所有的足迹方向统一向上。
[0037]
在本实施例中，所述的最优网络训练：数据集划分，将所有的数据集按照训练集、支持集和查询集进行4：4：2的比例进行划分，其中训练集中的所有样本用来训练；支持集用来构造数据库，数据库的作用是提供一个较大的数据对比库对未知id信息的对象特征进行对比找到对应相似度最大的特征信息；查询集用来当前模型的训练情况，通过不断地测试找到最优网络；
[0038]
足迹特征学习网络模型：在模型的训练阶段，训练集中的所有图片依次经过卷积块(convolution+relu+bn)进行特征的提取，然后经过最大池化层(maxpool)减低特征的尺寸以及增加特征的非线性化表达，这样做的目的可以有效的减少计算的开销；当维度变成28
×
28
×
512的时候外接一个卷积块，这样做的目的是为了更好的提取足迹的特征；因为足迹同其他的图片不一样的是足迹的轮廓特征在足迹的特征表达中占据非常重要的地位，然而当卷积层数越深的时候，网络提取的特征则更侧重于足迹的高层语义特征，比如足迹中的压力分布状态等，同时深层网络的特征提取会忽略掉足迹的浅层特征，如足迹的轮廓特征和纹理等特征；
[0039]
为了防止浅层特征的丢失，将主干网络第三个卷积块分流出一个支流后接卷积块和池化层变成维度大小为7
×
7
×
2048，我们对主干网络的第四个卷积块的特征图也进行同样的操作；然后将三个维度大小为7
×
7
×
2048的支流特征图分别进行一个池化，将特征变成1
×
1
×
2048，分别经过全连接层得到大小为1
×
1
×
1024的特征图，通过损失以及网络的
反向梯度更新来优化特征；最后，再分别进行softmax层对输出的维度求概率，概率越大表示检索到对应正确id信息的可能性就越大，并通过查询集来对网络进行测试，逐步对网络进行多次的迭代优化，从而找到性能最后的网络模型以便后续的使用；
[0040]
在整个网络的优化过程，网络逐渐学习到不同对象足迹的浅层特征(足迹轮廓)和深层特征(压力分布)，这个过程可以看作是相关足迹专家在学习足迹知识的一个过程，当找到最优的网络模型时，整个网络已经具备了足迹专家的“专业知识”，变成一个机器人“足迹专家”；此时，该模型具备了能够快速检索出足迹信息的能力。
[0041]
在本实施例中，所述的入库和检索功能中的入库：
[0042]
在找到最优模型并在支持集的作用下可以建立起一个较大的数据库，数据库里存放着不同对象的压力足迹信息以及相对应的id信息，但是一个更加庞大的数据库会更有利于整个系统性能的提升，所以我们设计了一个可进行入库的功能；
[0043]
当已知足迹图像和对象的id信息时，我们可以通过最优网络对足迹图像进行前向推理，生成对应的足迹特征，然后将足迹特征以及对应的id信息进行入库；随着数据库的不断扩大，数据库中的数据出现多样化，使整个系统的性能不断提高；
[0044]
检索：检索功能是该系统的核心功能；当有一张未知id信息的压力足迹图像时，我们迫切的想知道这张脚印的“主人”是谁，这时候只需要要把这张待检索图片输入到最优网络进行简单的计算就可以得到对应的足迹特征，然年将足迹特征与数据库中的足迹特征一一对比，找出数据库中与待检索图片最为相似的前20个对象的足迹特征，并将其对应的id信息进行输出，从而给出检索的结果，我们可以通过检索结果来进一步确认待检索图像的相关信息。
[0045]
工作原理：
[0046]
在使用时，首先对工作人员进行压力数据进行采集，然后对足迹压力数据进行滤波，将所有的数据集按照训练集、支持集和查询集进行4：4：2的比例进行划分，其中训练集中的所有样本用来训练；支持集用来构造数据库，数据库的作用是提供一个较大的数据对比库对未知id信息的对象特征进行对比找到对应相似度最大的特征信息；查询集用来当前模型的训练情况，通过不断地测试找到最优网络，在模型的训练阶段，训练集中的所有图片依次经过卷积块(convolution+relu+bn)进行特征的提取，当维度变成28
×
28
×
512的时候外接一个卷积块，这样做的目的是为了更好的提取足迹的特征；因为足迹同其他的图片不一样的是足迹的轮廓特征在足迹的特征表达中占据非常重要的地位，然而当卷积层数越深的时候，网络提取的特征则更侧重于足迹的高层语义特征，比如足迹中的压力分布状态等，同时深层网络的特征提取会忽略掉足迹的浅层特征，如足迹的轮廓特征和纹理等特征，当找到最优的网络模型时，整个网络已经具备了足迹专家的“专业知识”，变成一个机器人“足迹专家”；此时，该模型具备了能够快速检索出足迹信息的能力；当已知足迹图像和对象的id信息时，我们可以通过最优网络对足迹图像进行前向推理，生成对应的足迹特征，然后将足迹特征以及对应的id信息进行入库；当有一张未知id信息的压力足迹图像时，我们迫切的想知道这张脚印的“主人”是谁，这时候只需要要把这张待检索图片输入到最优网络进行简单的计算就可以得到对应的足迹特征，然年将足迹特征与数据库中的足迹特征一一对比，找出数据库中与待检索图片最为相似的前20个对象的足迹特征，并将其对应的id信息进行输出，从而给出检索的结果，我们可以通过检索结果来进一步确认待检索图像的相关
信息。
[0047]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。