关键点检测模型的训练方法及关键点检测方法与流程

本申请属于人工智能，尤其涉及关键点检测模型的训练方法及关键点检测方法、装置、电子设备及存储介质。

背景技术：

1、目前，关键点检测方法通常为先进行目标检测，再进行目标中关键点检测。待检测的图片/视频经过预处理、智能网络推断、后处理，得到目标检测结果，再在检测到的目标中进行关键点检测。这种方法的关键点检测结果依赖于目标检测结果，若目标检测出现误差、漏检或误检，会对关键点检测的准确性产生较大影响，导致关键点检测的准确性不高，且检测效率较低。

技术实现思路

1、本申请实施例提供了一种关键点检测模型的训练方法及关键点检测方法、装置、电子设备及存储介质，可以解决相关技术中，关键点检测的准确性不高和检测效率较低的问题。

2、本申请实施例的第一方面提供了一种关键点检测模型的训练方法，方法包括：

3、获取包括k个关键点的训练数据集，其中，训练数据集中的各训练数据包括关键点对应的关键点标签文件，关键点标签文件包括关键点的位置信息；

4、构建输出通道数为3k、尺度数为s的预设卷积神经网络，以及将训练数据集输入预设卷积神经网络，得到3×k×s个热力图，其中k×s个为置信度热力图，2×k×s个为x、y方向的偏移量热力图，其中，置信度热力图的各格子中，相应置信度最大的格子对应预设卷积神经网络的预测关键点；

5、生成与置信度热力图的形状相同且张量值全为0的k×s个张量，将k个关键点的位置信息映射于置信度热力图，确定k个关键点对应的目标格子，以及将目标格子的张量值设置为1，得到置信度实际值热力图；

6、根据置信度热力图、置信度实际值热力图确定热力图损失；

7、根据置信度热力图和热力图损失对关键点检测模型进行训练。

8、本申请实施例的第二方面提供了一种关键点检测方法，方法包括：

9、获取包括关键点的待检测数据；

10、采用关键点检测模型获取待检测数据中的关键点的位置信息，其中，关键点检测模型采用所上述关键点检测模型的训练方法训练得到。

11、本申请实施例的第三方面提供了一种关键点检测模型的训练装置，包括：

12、数据获取单元，用于获取包括k个关键点的训练数据集，其中，训练数据集中的各训练数据包括关键点对应的关键点标签文件，关键点标签文件包括关键点的位置信息；

13、网络构建单元，用于构建输出通道数为3k、尺度数为s的预设卷积神经网络，以及将训练数据集输入预设卷积神经网络，得到3×k×s个热力图，其中k×s个为置信度热力图，2×k×s个为x、y方向的偏移量热力图，其中，置信度热力图的各格子中，相应置信度最大的格子对应预设卷积神经网络的预测关键点；

14、张量生成单元，用于生成与置信度热力图的形状相同且张量值全为0的k×s个张量，将k个关键点的位置信息映射于置信度热力图，确定k个关键点对应的目标格子，以及将目标格子的张量值设置为1，得到置信度实际值热力图；

15、热力损失单元，用于根据置信度热力图、置信度实际值热力图确定热力图损失；

16、模型训练单元，用于根据置信度热力图和热力图损失对关键点检测模型进行训练。

17、本申请实施例的第四方面提供了一种关键点检测装置，包括：

18、数据获取单元，用于获取包括关键点的待检测数据；

19、目标检测单元，用于采用关键点检测模型获取待检测数据中的关键点的位置信息，其中，关键点检测模型采用上述关键点检测模型的训练装置训练得到。

20、本申请实施例的第五方面提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面提供的关键点检测模型的训练方法的各步骤，或第二方面提供的关键点检测方法的各步骤。

21、本申请实施例的第六方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现第一方面提供的关键点检测模型的训练方法的各步骤，或第二方面提供的关键点检测方法的各步骤。

22、实施本申请实施例提供的关键点检测模型的训练方法、关键点检测方法、装置、电子设备及存储介质具有以下有益效果：首先，获取包括k个关键点的训练数据集，其中，训练数据集中的各训练数据包括关键点对应的关键点标签文件，关键点标签文件包括关键点的位置信息。然后，构建输出通道数为3k、尺度数为s的预设卷积神经网络，以及将训练数据集输入预设卷积神经网络，得到3×k×s个热力图，其中k×s个为置信度热力图，2×k×s个为x、y方向的偏移量热力图，其中，置信度热力图的各格子中，相应置信度最大的格子对应预设卷积神经网络的预测关键点。接着，生成与置信度热力图的形状相同且张量值全为0的k×s个张量，将k个关键点的位置信息映射于置信度热力图，确定k个关键点对应的目标格子，以及将目标格子的张量值设置为1，得到置信度实际值热力图。之后，根据置信度热力图、置信度实际值热力图确定热力图损失。最后根据置信度热力图和热力图损失对关键点检测模型进行训练。通过直接对关键点进行检测，可以避免先进行目标检测，再进行关键点检测时，目标检测出现误差、漏检或误检对关键点检测的准确性产生的影响，有助于提高关键点检测的准确性和检测效率。

技术特征：

1.一种关键点检测模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的关键点检测模型的训练方法，其特征在于，所述构建输出通道数为3k、尺度数为s的预设卷积神经网络，以及将所述训练数据集输入预设卷积神经网络，得到3×k×s个热力图，其中k×s个为置信度热力图，2×k×s个为x、y方向的偏移量热力图，包括：

3.根据权利要求2所述的关键点检测模型的训练方法，其特征在于，所述预设卷积神经网络的输出还包括偏移量热力图，以及在所述根据所述置信度热力图、所述置信度实际值热力图确定热力图损失之后，所述方法还包括：

4.根据权利要求3所述的关键点检测模型的训练方法，其特征在于，所述根据所述热力图损失和所述偏移量损失调整所述关键点检测模型的参数，包括：

5.根据权利要求3所述的关键点检测模型的训练方法，其特征在于，所述预设偏移损失函数包括以下任一项：平滑l1损失函数、均方误差损失函数、交并比损失函数、广义交并比损失函数、距离交并比损失函数。

6.一种关键点检测方法，其特征在于，所述方法包括：

7.一种关键点检测模型的训练装置，其特征在于，包括：

8.一种关键点检测装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。

技术总结
本申请适用于人工智能技术领域，提供了一种关键点检测模型的训练方法及关键点检测方法，其中，方法包括：获取包括k个关键点的训练数据集；构建输出通道数为3k、尺度数为S的预设卷积神经网络，将训练数据集输入预设卷积神经网络，得到3×k×S个热力图，其中k×S个为置信度热力图，2×k×S个为x、y方向的偏移量热力图；生成与置信度热力图的形状相同且张量值全为0的k×S个张量，将k个关键点的位置信息映射于置信度热力图，确定k个关键点对应的目标格子，将目标格子的张量值设置为1，得到置信度实际值热力图；根据置信度热力图、置信度实际值热力图确定热力图损失；根据置信度热力图和热力图损失对关键点检测模型进行训练。

技术研发人员：周国轩,俞聪,李思敏,彭邦付,郑华飞,曹韬
受保护的技术使用者：中国工程物理研究院电子工程研究所
技术研发日：
技术公布日：2024/2/8