一种关键点检测方法、计算机可读存储介质及电子设备与流程

1.本发明涉及图像识别技术领域，具体提供一种关键点检测方法、计算机可读存储介质及电子设备。


背景技术：

2.在行人视频结构化、行人重识别等应用场景中，在获取人体检测结果之后，需要进一步获取人体姿态信息，供后续计算人体行为、人体完整度等相关信息。通常人体姿态估计，需要确定人体头部、躯干、手、脚等多个关节部位的位置。因此，可以利用人体关键点的形式描述人体姿态，其中一个人体关键点表示一个人体关节。由此，在通过人体检测模块获取单个人体区域位置后，可进一步进行单目标人体关键点检测来进行人体姿态估计。
3.现有技术中通常采用heatmap(热力图)方法来预测人体关键点，该方法对于局部区域的检测能够保持较高的精度，但对于人体关节骨架的一致性存在预测效果差、预测结果容易出现关节点错乱的问题。


技术实现要素：

4.本发明旨在解决上述技术问题，即，解决现有采用热力图方法预测人体关键点容易出现关键点预测错乱的问题。
5.在第一方面，本发明提供了一种关键点检测方法，所述关键点检测方法基于关键点检测模型实现，所述关键点检测模型包括并行设置的卷积神经网络和全连接神经网络，所述方法包括：
6.基于所述卷积神经网络获取待检测图像的关键点第一预测结果；
7.基于所述全连接神经网络确定所述待检测图像的关键点第二预测结果；
8.根据所述关键点第一预测结果、所述关键点第二预测结果和错乱条件距离阈值确定所述待检测图像的关键点检测结果。
9.在一些实施例中，所述根据所述关键点第一预测结果、所述关键点第二预测结果和错乱条件距离阈值确定所述待检测图像的关键点检测结果，包括：
10.计算所述关键点第一预测结果和所述关键点第二预测结果的差值绝对值；
11.将所述差值绝对值和所述错乱条件距离阈值进行对比，根据对比结果确定所述待检测图像的所述关键点检测结果。
12.在一些实施例中，所述根据对比结果确定所述待检测图像的所述关键点检测结果，包括：
13.当所述差值绝对值大于所述错乱条件距离阈值时，输出所述关键点第二预测结果作为所述关键点检测结果；当所述差值绝对值小于或等于所述错乱条件距离阈值时，输出所述关键点第一预测结果作为所述关键点检测结果。
14.在一些实施例中，所述基于所述卷积神经网络获取待检测图像的关键点第一预测结果，包括：
15.基于所述卷积神经网络获取所述待检测图像的关键点热力图；
16.基于所述关键点热力图确定所述待检测图像的所述关键点第一预测结果。
17.在一些实施例中，所述关键点检测模型还包括关键点偏置网络，所述方法还包括：
18.基于所述关键点偏置网络获取所述待检测图像的关键点偏置量；
19.基于所述关键点偏置量对所述关键点第一预测结果进行修正。
20.在一些实施例中，所述方法还包括对所述待检测图像进行图像缩放、图像数据类型转换和图像归一化中的至少一种预处理操作。
21.在一些实施例中，通过以下步骤训练得到所述关键点检测模型：
22.获取图像训练样本集，所述图像训练样本集包括多个图像训练样本，每个所述图像训练样本标注有关键点信息；
23.将所述图像训练样本集中的所述图像训练样本输入初始的关键点检测模型，得到所述图像训练样本的关键点检测结果；
24.根据所述关键点检测结果和所述关键点信息计算损失值，并基于所述损失值更新所述初始的关键点检测模型的参数，以得到训练好的所述关键点检测模型。
25.在一些实施例中，所述获取图像训练样本集之后，所述方法还包括：采用翻转、模糊、遮挡和截断中的至少一种处理方式对所述图像训练样本进行数据增强。
26.在第二方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的关键点检测方法。
27.在第三方面，本发明提供了一种电子设备，其包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时实现上述任意一项所述的关键点检测方法。
28.在采用上述技术方案的情况下，本发明能够基于关键点检测模型实现关键点检测方法，关键点检测模型包括并行设置的卷积神经网络和全连接神经网络，通过基于卷积神经网络获取待检测图像的关键点第一预测结果；基于全连接神经网络确定待检测图像的关键点第二预测结果；根据第一预测结果、第二预测结果和错乱条件距离阈值确定待检测图像的关键点检测结果。全连接神经网络可以更多的关注整体特征，该方法通过将卷积神经网络和全连接神经网络结合，可以有效的避免出现关键点预测错乱的问题。
附图说明
29.下面结合附图来描述本发明的优选实施方式，附图中：
30.图1是本发明实施例提供的一种关键点检测方法流程示意图；
31.图2是本发明另一实施例提供的关键点检测方法流程示意图；
32.图3是本发明实施例提供的关键点检测模型训练方法流程示意图；
33.图4是本发明提供的电子设备结构示意图。
具体实施方式
34.下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
35.现有技术中通常采用heatmap(热力图)方法来预测人体关键点，该方法对于局部区域的检测能够保持较高的精度，但对于人体关节骨架的一致性存在预测效果差、预测结果容易出现关节点错乱的问题。
36.有鉴于此，本发明提供了一种关键点检测方法，该关键点检测方法可以基于关键点检测模型实现，关键点检测模型包括并行设置的卷积神经网络和全连接神经网络。参见图1所示，图1是本发明实施例提供的一种关键点检测方法流程示意图，其可以包括：
37.步骤s11：基于卷积神经网络获取待检测图像的关键点第一预测结果；
38.步骤s12：基于全连接神经网络确定待检测图像的关键点第二预测结果；
39.步骤s13：根据关键点第一预测结果、关键点第二预测结果和错乱条件距离阈值确定待检测图像的关键点检测结果。
40.在一些实施例中，步骤s11可以具体为：
41.基于卷积神经网络获取待检测图像的关键点热力图；
42.基于关键点热力图确定待检测图像的关键点第一预测结果。
43.其中，关键点热力图包括待检测图像中各个像素区域为对应关键点的概率，其中，概率最大值对应的位置即可为对应关键点的位置。
44.在一些实施例中，可以采用argmax函数确定关键点热力图中对应关键点的关键点第一预测结果。当关键点热力图和待检测图像的尺寸不同时，还可以将关键点第一预测结果转换至待检测图像对应的坐标系下，得到最终的关键点第一预测结果。
45.在一些实施例中，步骤s12可以具体为获取待检测图像的感兴趣区域，利用全连接神经网络模型确定待检测图像中感兴趣区域的初始的关键点第二预测结果，再将初始的关键点第二预测结果转换至待检测图像对应的坐标系下，得到最终的关键点第二预测结果。
46.基于全连接神经网络模型可以关注到感兴趣区域整体的特征，能够避免出现由于局部特征相似，而导致关键点预测错乱的问题。
47.在一些实施例中，步骤s13可以具体为：
48.计算关键点第一预测结果和关键点第二预测结果的差值绝对值；
49.将差值绝对值和错乱条件距离阈值进行对比，根据对比结果确定待检测图像的关键点检测结果。
50.其中，错乱条件距离阈值可以根据需要进行设置。
51.在一些实施例中，当差值绝对值大于错乱条件距离阈值时，输出第二预测结果作为关键点检测结果；当差值绝对值小于或等于错乱条件距离阈值时，输出第一预测结果作为关键点检测结果。
52.其中，关键点第一预测结果可以为关键点对应的第一预测坐标，关键点第二预测结果可以为关键点对应的第二预测坐标，关键点第一预测结果和关键点第二预测结果的差值绝对值可以表示为|p
hmp-p
fc
|，其中，p
hmp
代表第一预测坐标，p
fc
代表第二预测坐标；错乱条件距离阈值可以表示为th，当|p
hmp-p
fc
|＞th时，确定关键点检测结果为p
fc
；当|p
hmp-p
fc
|≤th时，确定关键点检测结果为p
hmp
。
53.通过将关键点第一预测结果和关键点第二预测结果的差值绝对值与错乱条件距离阈值进行对比，在对比结果为大于时，即可确定出当前基于关键点热力图获取的关键点第一预测结果预测准确度低，可能存在关键点预测错乱的问题，因此，以基于全连接神经网
络得到的关键点第二预测结果作为关键点检测结果。该方法可以提高关键点检测方法整体的精确度和有效性，避免出现关键点预测错乱的问题。
54.在其他实施例中，错乱条件距离阈值可以包括第一错乱条件距离阈值和第二错乱条件距离阈值，其中，第一错乱条件距离阈值小于第二错乱条件距离阈值，步骤s13还可以为计算关键点第一预测结果和关键点第二预测结果的比值，将该比值与第一错乱条件距离阈值以及第二错乱条件距离阈值进行对比，当比值大于第二错乱条件距离阈值或比值小于第一错乱条件距离阈值时，输出第二预测结果作为关键点检测结果；当比值大于等于第一错乱条件距离阈值、小于等于第二错乱条件距离阈值时，输出第一预测结果作为关键点检测结果。
55.以上为本发明实施例提供的一种关键点检测方法，该方法基于关键点检测模型实现，关键点检测模型包括并行设置的卷积神经网络和全连接神经网络，通过基于卷积神经网络获取待检测图像的关键点第一预测结果；基于全连接神经网络确定待检测图像的关键点第二预测结果；根据第一预测结果、第二预测结果和错乱条件距离阈值确定待检测图像的关键点检测结果。全连接神经网络可以更多的关注整体特征，该方法通过将卷积神经网络和全连接神经网络结合，可以有效的避免出现关键点预测错乱的问题。
56.在一些实施例中，为了进一步提高模型的精确度还可以对关键点第一预测结果进行修正，具体可参见下文中的描述。
57.参见图2所示，图2是本发明另一实施例提供的关键点检测方法流程示意图，其可以包括：
58.步骤s21：获取待检测图像并对待检测图像进行预处理；
59.步骤s22：基于卷积神经网络获取预处理后的待检测图像的关键点第一预测结果；基于关键点偏置网络获取预处理后的待检测图像的关键点偏置量；以及，基于关键点偏置量对关键点第一预测结果进行修正；
60.步骤s23：基于全连接神经网络确定预处理后的待检测图像的关键点第二预测结果；
61.步骤s24：根据修正后的关键点第一预测结果、关键点第二预测结果和错乱条件距离阈值确定待检测图像的关键点检测结果。
62.其中，步骤s24可以采用和上述步骤s13相同方式实现，为了简要起见在此不再赘述，具体可参见上文中的描述。
63.在一些实施例中，步骤s21可以具体为利用图像采集装置或直接读取预存储图像数据的方式获取待检测图像，并对待检测图像进行图像缩放、图像数据类型转换和图像归一化中的至少一种预处理操作。
64.其中，通过对待检测图像进行图像缩放以满足关键点检测模型要求的输入尺寸，通过进行图像数据类型转换以满足关键点检测模型要求的数据类型，通过进行图像归一化以提高检测速度。
65.在一些实施例中，还可以从待检测图像中识别出感兴趣区域，将感兴趣区域作为关键点检测模型的输入图像。
66.需要说明的是，关键点检测模型还可以包括骨干网络，骨干网络用于对待检测图像进行特征提取，卷积神经网络和全连接神经网络可以共用骨干网络；关键点偏置网络和
卷积神经网络并行设置。该方法还可以包括将预处理后的待检测图像输入骨干网络得到特征图像，并将特征图像分别输入卷积神经网络、关键点偏置网络和全连接神经网络。
67.作为示例，骨干网络可以包括resnet(residual network，残差网络)、vgg网络(visual geometry group，视觉几何组)、hrnet(high-resolution net，高分辨率网络)或mobilenet。
68.在一些实施例中，步骤s22可以具体为基于卷积神经网络获取特征图像的关键点热力图，采用argmax函数确定关键点热力图中对应关键点的初始的关键点第一预测结果；基于关键点偏置网络获取特征图像的初始的关键点偏置量；其中，特征图像和预处理后的待检测图像的尺寸不同，还可以将初始的关键点第一预测结果转换到预处理后的待检测图像对应的坐标系中，得到预处理后的待检测图像的关键点第一预测结果；以及，将初始的关键点偏置量转换到预处理后的待检测图像对应的坐标系中，得到预处理后的待检测图像的关键点偏置量；进一步地，通过在相同坐标系下计算关键点偏置量和关键点第一预测结果之和，得到修正后的关键点第一预测结果，从而提高了关键点第一预测结果的精确度。
69.在一些实施例中，步骤s23可以具体为基于全连接神经网络获取特征图像的初始的关键点第二预测结果；将关键点第二预测结果转换到预处理后的待检测图像对应的坐标系中，得到预处理后的待检测图像的关键点第二预测结果。
70.以上为本发明实施例提供的另一种关键点检测方法，其可以达到与图1对应实施例相同的有益效果，此外，通过设置关键点偏置网络，基于关键点偏置网络对关键点第一预测结果进行修正，有效提高了关键点第一预测结果的准确度，进而能够提高关键点检测模型的整体检测精确度。
71.本发明的另一方面，还提供了一种关键点检测模型训练方法，参见图3所述，图3是本发明实施例提供的关键点检测模型训练方法流程示意图，其可以包括：
72.步骤s31：获取图像训练样本集，图像训练样本集包括多个图像训练样本，每个图像训练样本标注有关键点信息；
73.步骤s32：将图像训练样本集中的图像训练样本输入初始的关键点检测模型，得到图像训练样本的关键点检测结果；
74.步骤s33：根据关键点检测结果和关键点信息计算损失值，并基于损失值更新初始的关键点检测模型的参数，以得到训练好的关键点检测模型。
75.其中，图像训练样本可以为单目标人体图像，可以预先对单目标人体图像中目标人体的关键点进行标注，在一些实施例中，标注信息可以包括关键点坐标以及关键点对应可见度类别，其中，可见度类别可以包括可见和不可见。
76.在一些实施例中，在将图像训练样本集中的图像训练样本输入初始的关键点检测模型之前还可以对图像训练样本进行预处理，其中，可以对图像训练样本进行图像缩放、图像数据类型转换和图像归一化中的至少一种预处理操作。
77.其中，通过对图像训练样本进行图像缩放以满足关键点检测模型要求的输入尺寸，通过进行图像数据类型转换以满足关键点检测模型要求的数据类型，通过进行图像归一化以提高训练速度。
78.在一些实施例中，初始的关键点检测模型可以包括骨干网络、并行设置的卷积神经网络和全连接神经网络，骨干网络用于对预处理后的图像训练样本进行特征提取。步骤
s32可以具体为基于卷积神经网络获取预处理后的图像训练样本的关键点第三预测结果，基于全连接神经网络确定预处理后的图像训练样本的关键点第四预测结果，根据关键点第三预测结果和关键点第四预测结果的差值绝对值与错乱条件距离阈值的对比关系，得到图像训练样本的关键点检测结果。
79.其中，当差值绝对值大于错乱条件距离阈值时，输出第四预测结果作为关键点检测结果；当差值绝对值小于或等于错乱条件距离阈值时，输出第三预测结果作为关键点检测结果。
80.在另一些实施例中，初始的关键点检测模型还可以包括关键点偏置网络，关键点偏置网络和卷积神经网络并行设置。步骤s32还可以具体为基于卷积神经网络获取预处理后的图像训练样本的关键点第三预测结果，基于关键点偏置网络获取图像训练样本的关键点偏置量，通过关键点偏置量对相应图像训练样本的关键点第三预测结果进行修正；基于全连接神经网络确定预处理后的图像训练样本的关键点第四预测结果；最后，根据修正后的关键点第三预测结果和关键点第四预测结果的差值绝对值与错乱条件距离阈值的对比关系，得到图像训练样本的关键点检测结果。该方法提高了关键点第三预测结果的精确度，进而也能够提高关键点检测模型整体的检测精确度。
81.在一些实施例中，步骤s33可以具体为根据关键点第三预测结果或关键点第四预测结果和相应图像训练样本的关键点信息计算损失值，并基于损失值更新初始的关键点检测模型的参数，以得到训练好的关键点检测模型。
82.在另一些实施例中，为了增加困难样本的学习概率，在步骤s31之后且步骤s32之前，还可以采用翻转、模糊、遮挡和截断中的至少一种处理方式对图像训练样本进行数据增强。
83.在一些实施例中，可以采用高斯模糊或运动模糊的模糊方式对图像训练样本进行数据增强；可以采用随机擦除或外物遮挡的遮挡方式对图像训练样本进行数据增强；可以采用随机裁剪或半身截断的截断方式对图像训练样本进行数据增强。
84.本领域技术人员能够理解的是，本发明实现上述实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。
85.本发明的另一方面还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时能够实现上述任一实施例中的关键点检测方法。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质
86.本发明的另一方面，还提供了一种电子设备，参见图4所示，图4是本发明提供的电子设备结构示意图，其可以包括存储器41和处理器42，存储器41中存储有计算机程序，计算机程序被处理器42执行时实现上述任一实施例中的关键点检测方法。
87.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域
技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。