一种基于深度学习的鞋样及足迹关键点检测方法与流程

本发明涉及一种基于深度学习的关键点检测方法，具体说是一种基于深度学习的鞋样及足迹关键点检测方法。
背景技术：
足迹信息在现代的刑侦勘测领域起到举足轻重的作用，是现场勘验的重要物证之一。通过鞋底在承痕体反映的痕迹特征，不仅可以初步分析和刻画出人的大致身高、体重、年龄等自然信息，还可以通过鞋底磨损信息反映人的行走姿态、重心等特征。鞋样的鞋底花纹信息可补全残缺的足迹信息，并可通过对照，恢复足迹的残缺花纹和磨损区域，对足迹鉴定起到了极大的辅助对比作用。传统的检测足迹关键点方法使用图像处理的方式，背景噪声对算法有很大的影响，且只能应用在嫌疑人足迹上，对现场足迹和鞋样都不支持。基于深度学习的算法，有学者研究了目标检测方法，这种方法只考虑了目标的位置信息，但是无法知道物体的具体和细节方位朝向，(例如检测出画面的狗，但并不知道狗的眼睛和尾巴在哪里)。另一种实现方式是基于深度学习的图像分割检测方法，这种方法可以将检测物体以蒙版(mask)的方式体现。对检测目标的轮廓刻画较好，尤其在多目标的复杂场景下，语义理解更为突出，但同样也无法解决目标的细节位置。技术实现要素：为了克服现有技术存在的上述缺陷，本申请提供一种基于深度学习的鞋样及足迹关键点检测方法，利用深度学习网络，提取关键点信息，使得计算机标注足迹或者鞋样图像成为可能，极大减轻了人力成本。为实现上述目的，本申请的技术方案为：一种基于深度学习的鞋样及足迹关键点检测方法，包括：s1.获得鞋样/足迹数据库：利用爬虫技术，爬取鞋样数据图片，获得鞋样图片后，使用人工标定方式标注关键点，生成鞋样数据集；足迹数据集包括现场足迹数据和嫌疑人足迹样本数据；s2.设定网络模型；s3.计算损失函数：提出基于鞋底/足迹轮廓的损失函数；s4.训练网络模型：采用部分网络结构调整的迁移学习模式进行训练；s5.将图像尺寸归一化后输入已训练好的网络模型中，输出的结果坐标标记在原图上。进一步的，本申请还包括：s6.评价结果指标的步骤，包括：左右脚判定、主方向判定、有效面积比值和误差率。进一步的，步骤s1中最终形成的数据库格式为：dataset：{image：[图像1，图像2，图像3，…，图像n]label：[人工标定点1，人工标定点2，人工标定点n]}所述图像n:格式为大小等于224*224*3的uint8形式的矩阵；人工标定点n:格式为[上点坐标x，上点坐标y，下点坐标x，下点坐标y，内点坐标x，内点坐标y，外点坐标x，外点坐标y]。进一步的，步骤s2中设定网络模型，该网络模型为残差网络模块结合增强网络模块实现，残差网络模块在浅层网络中加入恒等映射层。进一步的，步骤s3计算损失函数由以下判定项组成：a)预测点和标定点的位置差异判定：其中表示预测点的x坐标，表示标注点的x坐标，表示预测点的y坐标，表示标注点的y坐标，i＝1表示上点，i＝2表示下点，i＝3表示内点，i＝4表示外点；该项描述了预测各点坐标和标定值的差异，并使用指数函数模型将值域约束在[0,+∞)；b)预测上、下点距离和标定上、下点距离判定:其中是预测上点的坐标，是预测下点的坐标；是标定上点坐标，是标定下点坐标；该项主要描述预测点和标定点的距离差异，并使用指数函数模型将值域约束在[0,+∞)；c)预测内、外点距离和标定内、外点距离判定:其中其中是预测内点的坐标，是预测外点的坐标；是标定内点坐标，是标定外点坐标；该项主要描述预测内点和外点与标定点的位置差异，并使用指数函数模型将值域约束在[0,+∞)；d)主方向预测判定项：该项主要描述了预测的上下点形成的向量与标注的上下点形成的向量的余弦距离，该项值域[0,1]。更进一步的，基于鞋底/足迹轮廓的损失函数计算方法为：lossme(xpre,ypre,xlab,ylab)＝meall+0.3*me12+0.1*me34+0.2*mdir(5)loss取值范围[0,+∞)，预测结果和标定值越接近，loss越趋近0。更进一步的，步骤s4训练过程为：将图像输入尺寸进行归一化处理，图像输入后进行4方向子图生成，分批输入网络优化损失函数，直到收敛，训练模型完成。作为更进一步的，s6.1、左右脚判断方法具体为：设a为上点、b为下点、c为内点、d为外点；鞋样图：左右脚的判定方法为，c点在a点的左边则为左脚，否则为右脚；数学判定方法：向量ab和向量ac的叉乘结果，大于0为左脚，小于0为右脚；拍照鞋底时，存在镜像因素，所以左右脚判别与嫌疑人或现场的痕迹图是相反的；足迹图：左右脚的判定方法为，c点在a点的左边则为右脚，否则为左脚；数学判定方法：向量ab和向量ac的叉乘结果，大于0为右脚，小于0为左脚；计算该评价指标时，统计所有测试图的左右判断正确率。s6.2、主方向判定方法具体为：鞋样/足迹的主方向是由鞋跟到鞋尖的所指方向，通过比较预测裁剪图和标注裁剪图的角度差异，确定鞋子的偏离程度。作为更进一步的，s6.3、有效面积比计算方法具体为：四个关键点所围成的矩形框生成裁剪图，评估裁剪图的位置准确性，则利用矩形区域的面积来计算：公式中s1表示预测矩形框区域的像素个数，s2表示人工标注区域的像素个数，s3表示交叠区域的像素个数；iou为有效面积比；当预测结果和标注结果有重叠时，iou在0～1之间；当预测结果和标注结果完全一致时，iou＝1；当预测结果和标注结果没有共同区域时，iou＝0；s6.4、误差率计算标注坐标点和预测坐标点的平均差异；公式，ti表示手工绘制的点归一化坐标，pi表示预测坐标，评价结果“差异率”是坐标差的绝对值的平均，是一个数，越小说明了测量结果与人工标注越接近。本发明由于采用以上技术方案，能够取得如下的技术效果：1.提出关键点，来描述足迹或鞋样的位置、倒正、左右等信息，2.利用深度学习网络，提取关键点信息，使得计算机标注足迹或者鞋样图像成为可能，极大减轻了人力成本。3提出了客观有效的评价指标，增加了本申请的结果评价指标描述。附图说明图1为上下内外四个关键点标出示意图；图2为现场足迹数据图；图3为嫌疑人足迹数据图；图4为网络模型结构示意图；图5为图4中部分示意图a；图6为图4中部分示意图b；图7为图4中部分示意图c；图8为图4中部分示意图d；图9为图4中部分示意图e；图10为训练网络模型流程图；图11为步骤s5流程图；图12为鞋底与足迹对比图；图13为主方向判定中参考图；图14为有效面积比计算中参考图；图15-17分别为实验结果中鞋样、现场足迹及嫌疑人足迹示意图，其中左侧为输入的测试图像，右侧图像为使用本方法预测的关键点进行原图剪裁的结果图。图中：a.上点；b.下点；c.内点；d.外点。具体实施方式下面结合附图和具体实施例对本发明作进一步详细的描述：以此为例对本专利做进一步的描述说明。本实施例提供一种基于深度学习的鞋样及足迹关键点检测方法，包括如下步骤：s0、定义鞋样/足迹关键点：将鞋样数据的上下内外四个关键点标出，如图1。通过时间的积累，获得大量的鞋样图片及对应的关键点信息；将大量的鞋样数据分为训练库和测试库，并且将训练库和测试库的图像归一化到224*224*3的大小；足迹数据分为现场足迹数据和嫌疑人足迹数据，使用人工标定的方式，将足迹数据的上下内外四个关键点标出，其中，上点是足尖最上沿，下点是足跟最下沿点，内点是脚掌跖趾区最内侧，外点是脚掌跖趾区最外侧，上点、下点的连线垂直于内点外点的连线。图2位现场足迹数据，图3为嫌疑人足迹数据。将数据分为训练库和测试库，同样的，训练库与测试库的图像要归一化到224*224*3的大小。s1、获得鞋样/足迹数据库：利用现有的爬虫技术，爬取鞋样数据图片，获得鞋样图片后，使用人工标定方式标注关键点，生成鞋样数据集。足迹数据分为现场足迹数据和嫌疑人足迹样本数据，分别由现场勘验系统和足迹采集仪采集得到。所述鞋样数据和足迹数据的80％用于训练，10％用于验证测试，10％用于盲测。数据保证所有的图像均通过人工标注和复查。最终形成的数据库格式为：其中：图像n:格式为大小等于224*224*3的uint8(8位无符号整形)形式的矩阵。人工标定点n:格式为[上点坐标x，上点坐标y，下点坐标x，下点坐标y，内点坐标x，内点坐标y，外点坐标x，外点坐标y]s2、设定网络模型，提出了一个新型便于提取足迹关键点的网络模型。该网络模型为残差网络(resnet)模块结合增强网络(inceptionnet)模块实现。首先，resnet网络中的模型在浅层网络中加入恒等映射层，不仅增加了网络的深度，且有效避免了梯度消失的情况。该模型可以更好的描述图像的深层特征。第二，增强网络(inceptionnet)模型，resnet模型增加了图像特征的深度信息，那么inceptionnet模型增加了特征的广度信息，从直观的模型输出来看，分别通过连接1*1、3*3、5*5的卷积核卷积的结果，可激活更小的图像特征区域，直接增加了特征的感受野。因此本发明结合了两个网络的优势，结合了网络的深度和广度的描述能力，提出了新的足迹关键点提取网络。该网络适用于各种尺寸、方向的足迹图像，比单一的浅层网络的特征描述更加丰富，大幅度提升了预测的准确性。该网络模型的构建流程为：s2-1网络输入(batchsize,224,224,3)的张量。其中batchsize为输入图像数量或者图像对应的特征数量，每个图像或特征调整为224*224*3；s2-2进一步地，开始构建网络，建立补零层(zeropadding)，将张量输出边界补充0，得到的张量定义为卷积1补零层(conv1_zeropadding)；s2-3进一步地，将conv1_zeropadding进行64个卷积运算，卷积核7*7,得到的张量定义为卷积层1(conv1)；s2-4进一步地，将conv1进行规范化(batchnormalization)，得到规范化卷积层1(bn_conv1)；s2-5进一步地，将bn_conv1进行规范化的后续层(scale)运算，得到后续卷积层1(scale_conv1)；s2-6进一步地，将scale_conv1用激活函数(relu)激活得到卷积1激活层(conv1_relu)；s2-7进一步地，将conv1_relu进行最大值池化(maxpooling)计算，得到池化层1(pool1)；s2-8进一步地，将pool1进行resnet的卷积模块(conv_block)计算，输出张量大小是pool1的1/4，命名为卷积模块a1(a1_conv_block)；s2-9进一步地，将a1_conv_block进行resnet的恒等残差模块(identity_block)计算，输出张量的大小与a1_conv_block相同，命名为卷积模块b2(b2_conv_block)、卷积模块c2(c2_conv_block)；s2-10进一步地，c2_conv_block进行conv_block计算，命名为卷积模块a3(a3_conv_block)；s2-11进一步地，进行7次identity_block计算，输出为卷积模块b3-7(b3_7_conv_block)；s2-12进一步地，进行一次conv_block计算，输出张量大小为b3_7_conv_block的1/4，命名卷积模块a4(a4_conv_block)；s2-13进一步地，进行35次identity_block计算，提取深度特征信息，输出卷积模块b4-35(b4_35_conv_block)；s2-14进一步地，进行一次conv_block和两次identity_block计算，输出卷积模块a5-c(a5_c_conv_block)；s2-15进一步地，进行两次增强(incept)计算，输出特征与输入特征一致,输出增强模块a6-a(a6_a_incept_block)；s2-16进一步地，进行平均池化(averagepooling)和全连接(dense)输出，输出为关键点的归一化坐标。具体模型如图4-9：图中具体名词解释：input：输入层。zeropadding2d：对二维输入的边界填充0，以控制卷积以后的特征图的大小。relu：激活函数maxpooling2d：为空域信号施加最大值池化res：残差网络模型conv2d：二维卷积层batchnormalization：规范化层scale：规范化层的后续层inception：增强网络activation：激活层对一个层的输出施加激活函数averagepooling2d：为空域信号施加平均值池化concatenate：融合层dropout：每次更新参数时按一定概率随机断开输入神经元，用于防止过拟合flatten：把多维的输入一维化dense：全连接层s3、计算损失函数，提出基于鞋底(足迹)轮廓的损失函数：footloss。由以下几个判定项组成：a)预测点和标定点的位置差异判定项：其中表示预测点的x坐标，表示标注点的x坐标，表示预测点的y坐标，表示标注点的y坐标。i＝1表示上点，i＝2表示下点，i＝3表示内点，i＝4表示外点。该项描述了预测各点坐标和标定值的差异，并使用指数函数模型将值域约束在[0,+∞)。该项物理意义是：预测的上点、下点、内点和外点的坐标与标定的坐标差异越小，结果越低。b)预测上下点距离和标定上下点距离判定项:其中是预测上点的坐标，是预测的下点的坐标。是标定上点坐标，是标定的下点坐标。该项主要描述预测点和标定点的距离差异，并使用指数函数模型将值域约束在[0,+∞)。该项的物理意义是：预测的上下两点距离和标定的上下亮点距离越小，结果越低。c)预测内外点距离和标定内外点距离判定项:其中其中是预测内点的坐标，是预测的外点的坐标。是标定内点坐标，是标定的外点坐标。该项主要描述预测内点和外点与标定点的位置差异，并使用指数函数模型将值域约束在[0,+∞)。该项的物理意义是：预测的内点(外点)和标定的内点(外点)距离越小，结果越低。d)主方向预测判定项：该项主要描述了预测的上下点形成的向量与标注的上下点形成的向量的余弦距离，该项值域[0,1]。物理意义是，预测上下点的方向和标注的方向的差异，差异越小，结果越接近0.e)footloss计算方法：lossme(xpre,ypre,xlab,ylab)＝meall+0.3*me12+0.1*me34+0.2*mdir(5)loss取值范围[0,+∞)，预测结果和标定值越接近，loss越趋近0。该计算法方法不仅考虑了预测值和输出值的平均差异，如(1)，还增加了鞋样(鞋底花纹)的实际意义，如公式(2)(3)(4)。s4、训练网络模型，网络的训练采用部分网络结构微调(finetuning)的迁移学习模式。图像输入尺寸需归一化成224*224*3，图像输入后进行4方向子图生成，分批输入网络优化损失函数(loss)，直到收敛，训练模型完成；训练过程如图10。s5、测试过程；测试时，同样需要将图像尺寸归一化成224*224*3，输入已训练好的网络模型中，产出结果坐标标记在原图上，通过后续算法生成裁剪图。测试流程图如图11：s6、评价结果指标：客观评价指标可以归结以下几个方面：1.左右脚的判定准确率(lr)；2.主方向判定(md)；3.有效面积比值(iou)；4.误差率(error)。s6.1、左右脚判断(lr)拍照鞋底时，存在镜像因素，所以左右脚判别与嫌疑人或现场的痕迹图是相反的。如图12所示，均为c点在图像的左侧。左边是左脚鞋底拍照图，右边是嫌疑人右脚足迹样本。鞋样图为例，左右脚的判定方法为，a点在上b点在下c点在a点的左边则为左脚，否则为右脚。数学判定方法：向量ab和向量ac的叉乘结果，大于0为左脚，小于0为右脚。而足迹图像不存在镜像问题，左右脚的判定方法为，a点在上b点在下c点在a点的左边则为右脚，否则为左脚。数学判定方法：向量ab和向量ac的叉乘结果，大于0为右脚，小于0为左脚。计算该评价指标时，统计所有测试图的左右判断正确率。s6.2、主方向判定(md)以鞋样为例，鞋样的主方向是由鞋跟到鞋尖的所指方向，通过比较预测裁剪图和标注裁剪图的角度差异，确定鞋子的偏离程度。足迹数据的主方向判定同理。如图13所示，图中“圆点”是标注点，可以理解为正确答案，“叉号”是预测位置。分别连接足尖和足跟标注点，圆点与圆点相连的右侧线段表示人工标记鞋子的主方向，叉号与叉号相连的左侧线段表示预测的鞋子主方向。两条线段之间的夹角则表明预测结果与人工结果的方向差异，角度越小说明算法对鞋子的方向感知越强。s6.3、有效面积比(iou)关键点所围成的矩形框可以生成裁剪图，这里为了比较预测结果和标注结果，需要比对生成裁剪图的区域信息，效果如图14所示。这里评估裁剪图的位置准确性，则可以利用这矩形区域的面积来计算。公式中s1表示预测矩形框区域的像素个数，s2表示人工标注区域的像素个数，s3表示交叠区域的像素个数。iou是有效面积比(interactionoverunion)。从上图可以看出，评估结果在0～1之间。当预测结果和标注结果完全一致时，iou＝1；当预测结果和标注结果没有共同区域时，iou＝0。s6.4、误差率(error)，计算标注坐标点和预测坐标点的平均差异。ti表示手工绘制的点归一化坐标，pi表示预测坐标，评价结果“差异率”是坐标差的绝对值的平均，是一个数，越小说明了算法结果与人工标注越接近。表2.1误差率与主观评价的结合可基本满足提取需求的等级是2级左右。实验结果为：鞋样如图15，现场足迹如图16，嫌疑人足迹如图17，以上分别为鞋样、现场足迹及嫌疑人足迹的实验结果，左侧为输入的测试图像，圆点为人工标记关键点，叉点为本方法预测关键点，右侧图像为使用本方法预测的关键点进行原图剪裁的结果。下面的表格表示了鞋样、现场足迹及嫌疑人足迹在左右脚判定、主方向、误差率及有效面积比值上的结果。鞋样现场足迹嫌疑人足迹左右脚判定lr100％77.95％99.4％主方向md2.817.903.12误差率error0.66％3.1％1.07％有效面积比值iou86.6％68.53％89.66％在鞋样数据库上，本发明的结果在左右脚判定达到100％，方向判定达到2.8，误差率达到0.66％，有效面积比值达到86.6％；在现场足迹数据库上，本发明的结果在左右脚判定达到77.95％，方向判定达到17.90，误差率达到3.1％，有效面积比值达到68.53％；在嫌疑人足迹数据库上，本发明的结果在左右脚判定达到99.4％，方向判定达到3.12，误差率达到1.07％，有效面积比值达到89.66％。以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本
技术领域：
的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。当前第1页12