关键点检测及其不确定度同步预测方法

本发明涉及单目视觉位姿估计、语义关键点检测、不确定度估计、深度学习等，具体是一种关键点检测及其不确定度同步预测方法，可用于单目位姿估计、三维测量、手势识别、图像配准等场景。

背景技术：

1、对于合作目标，可以在目标表面放置人工设计的合作标志辅助实现高精度的关键特征点检测，比如对角、圆形或aruco标志等。然而，很多情况下目标是非合作的，对于非合作目标其表面不方便或无法放置合作标志，需要利用目标外观的纹理特征或结构特征。传统方法主要采用人工设计特征提取和匹配目标关键点，常用的特征有：harris、sift、orb、brisk等。在很多具体任务中，目标关键点自动提取面临着目标结构复杂、视角和亮度变化、强光干扰以及复杂背景等困难，传统人工设计特征存在不足。

2、随着深度学习技术的发展，在图像分类、目标检测和跟踪等计算机视觉任务中，采用深度神经网络的方法展示出了强大的性能。随后也产生了一系列基于深度学习的单目视觉位姿估计方法，根据是否显式求解pnp问题，这些方法可分为直接法和间接法。直接法使用神经网络直接预测出目标相对位姿，间接法先使用神经网络预测目标关键点坐标，再求解pnp问题得到目标相对位姿。经典的深度卷积神经网络(convolutional neuralnetwork，cnn)处理图像任务时，卷积核覆盖范围有限，对长距离依赖关系的建模能力较弱。针对该问题产生了采用自然语言处理领域对语句中单词序列建模的transformer模型的端到端的目标检测框架(detection transformer，detr)。在此基础上，有学者提出了基于transformer模型的目标单目位姿估计方法，采用transformer模型直接预测目标关键点坐标，再求解pnp问题得到卫星相对位姿参数。

3、以上单目位姿估计的间接法使用预测的关键点坐标来求解目标位姿时，忽视了关键点坐标预测精度的差异性，在求解pnp问题时无法根据关键点坐标预测精度对每个关键点构建加权的约束方程，影响了单目位姿估计精度。

技术实现思路

1、针对上述现有技术中的不足，本发明提供一种关键点检测及其不确定度同步预测方法，在预测关键点图像坐标的同时给出关键点坐标预测的不确定度，从而能够将不确定度应用于构建加权的pnp约束方程求解相对位姿，进而显著提升单目视觉位姿估计精度。

2、为实现上述目的，本发明提供一种关键点检测及其不确定度同步预测方法，包括如下步骤：

3、构建关键点预测模型，所述关键点预测模型的输入为单目图像，输出包括关键点类别、关键点坐标与坐标不确定度；

4、将关键点坐标分别在x方向、y方向上描述为两个独立的一维高斯分布，其中，关键点坐标的取值为高斯分布的均值，坐标不确定度为高斯分布的标准差；

5、基于关键点坐标真值与预测值高斯分布的kl散度构建坐标预测损失函数，并基于所述坐标预测损失函数训练所述关键点预测模型；

6、将待测单目图像输入训练后的所述关键点预测模型，实现关键点坐标及坐标不确定度的同步预测。

7、在其中一个实施例，所述关键点预测模型为transformer模型，包括：

8、主干网络，用于提取、叠加单目图像的二维卷积特征与空间位置编码，并展开为一维特征；

9、编码器，用于根据所述一维特征得到编码特征向量；

10、解码器，用于根据预设的目标查询向量与所述编码特征向量得到解码特征向量；

11、预测网络，用于根据所述解码特征向量得到单目图像中关键点类别、关键点坐标与坐标不确定度的预测结果。

12、在其中一个实施例，所述坐标预测损失函数具体为：

13、l＝lx-loc+ly-loc

14、其中，l为损失函数，lx-loc为关键点坐标在x方向真值与预测值高斯分布的kl散度，ly-loc为关键点坐标在y方向真值与预测值高斯分布的kl散度。

15、在其中一个实施例，所述关键点坐标在x方向真值与预测值高斯分布的kl散度具体为：

16、

17、αx＝log(σx2)

18、其中，xg为关键点坐标在x方向的坐标真值，xe为关键点坐标在x方向的坐标预测值，αx为关键点坐标在x方向的坐标不确定度关联项，σx为关键点坐标在x方向的坐标不确定度；

19、所述关键点坐标在y方向真值与预测值高斯分布的kl散度具体为：

20、

21、αy＝log(σy2)

22、其中，yg为关键点坐标在y方向的坐标真值，ye为关键点坐标在y方向的坐标预测值，αy为关键点坐标在y方向的坐标不确定度关联项，σy为关键点坐标在y方向的坐标不确定度。

23、在其中一个实施例，所述关键点坐标在x方向真值与预测值高斯分布的kl散度具体为：

24、

25、αx＝log(σx2)

26、其中，xg为关键点坐标在x方向的坐标真值，xe为关键点坐标在x方向的坐标预测值，αx为关键点坐标在x方向的坐标不确定度关联项，σx为关键点坐标在x方向的坐标不确定度，βx为阈值；

27、所述关键点坐标在y方向真值与预测值高斯分布的kl散度具体为：

28、

29、αy＝log(σy2)

30、其中，yg为关键点坐标在y方向的坐标真值，ye为关键点坐标在y方向的坐标预测值，αy为关键点坐标在y方向的坐标不确定度关联项，σy为关键点坐标在y方向的坐标不确定度，βy为阈值。

31、在其中一个实施例，所述关键点预测模型以输出关联项αx、αy的形式输出坐标不确定度σx、σy，以避免梯度爆炸。

32、在其中一个实施例，在得到所述待测单目图像中的关键点坐标及坐标不确定度后，基于所述待测单目图像进行单目位姿估计时，将所述坐标不确定度的倒数作为对应关键点坐标的权重。

33、与现有技术相比，本发明具有如下有益技术效果：

34、本发明通过构建关键点预测模型，在预测关键点坐标的同时能够给出关键点坐标预测不确定度，从而在单目位姿估计的过程中，可将加权单目位姿估计问题的权重设置为关键点坐标预测不确定度的倒数，然后求解加权的单目位姿估计约束方程得到高精度的位姿测量结果，进而显著提升单目视觉位姿估计精度。

技术特征：

1.一种关键点检测及其不确定度同步预测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的关键点检测及其不确定度同步预测方法，其特征在于，所述关键点预测模型为transformer模型，包括：

3.根据权利要求1所述的关键点检测及其不确定度同步预测方法，其特征在于，所述坐标预测损失函数具体为：

4.根据权利要求3所述的关键点检测及其不确定度同步预测方法，其特征在于，所述关键点坐标在x方向真值与预测值高斯分布的kl散度具体为：

5.根据权利要求3所述的关键点检测及其不确定度同步预测方法，其特征在于，所述关键点坐标在x方向真值与预测值高斯分布的kl散度具体为：

6.根据权利要求4或5所述的关键点检测及其不确定度同步预测方法，其特征在于，所述关键点预测模型以输出关联项αx、αy的形式输出坐标不确定度σx、σy，以避免梯度爆炸。

7.根据权利要求1至5任一项所述的关键点检测及其不确定度同步预测方法，其特征在于，在得到所述待测单目图像中的关键点坐标及坐标不确定度后，基于所述待测单目图像进行单目位姿估计时，将所述坐标不确定度的倒数作为对应关键点坐标的权重。

技术总结
本发明公开了一种关键点检测及其不确定度同步预测方法，包括：构建关键点预测模型，输出包括关键点类别、关键点坐标与坐标不确定度；将关键点坐标描述为一维高斯分布；基于关键点坐标真值与预测值高斯分布的KL散度构建坐标预测损失函数，并训练关键点预测模型；将待测单目图像输入关键点预测模型实现关键点坐标及坐标不确定度的同步预测。本发明应用于单目位姿估计领域，在预测关键点坐标的同时能够给出关键点坐标预测不确定度，从而在单目位姿估计的过程中，可将加权单目位姿估计问题的权重设置为关键点坐标预测不确定度的倒数，然后求解加权的单目位姿估计约束方程得到高精度的位姿测量结果，显著提升单目视觉位姿估计精度。

技术研发人员：苏昂,王梓,王靖皓,李璋,于起峰
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2024/2/1