一种高效鲁棒PNP问题解决方法、设备、介质及产品

本发明涉及数据处理领域，特别是涉及一种高效鲁棒pnp问题解决方法、设备、介质及产品。

背景技术：

1、透视n点(perspective-n-point，pnp)问题是一个具有广泛应用的基本计算机视觉问题。从n个2d/3d点对应中估计相机的姿态，称为透视n点(pnp)问题，是一个基本的计算机视觉问题，有许多应用，如视觉定位、同时定位和建图(simultaneous localizationandmapping，slam)、运动恢复结构(structure-from-motion，sfm)等。鉴于pnp问题的重要性，pnp问题得到了广泛的研究。

2、众所周知，最小化重投影代价是pnp问题的黄金标准。每个2d/3d对应的重投影代价都是具有不同分母的有理形式。因此，随着n的增大，n个2d/3d对应的重投影代价的总和变得越来越复杂。此外，当对数据的不确定性进行建模时，重投影的复杂性进一步增加，例如文献“a.vakhitov,l.ferraz,a.agudo,and f.moreno-noguer,“uncertainty-awarecamera pose estimation from points and lines,”in proceedings of the ieee/cvfconference on computer vision and pattern recognition,2021,pp.4659-4668.”。基于此，到目前为止，还没有针对重投影代价提出解析解。当前，一般采用迭代方法来最小化重投影代价，如果初始值较差，重投影代价可能收敛到局部最小值，甚至发散。

3、为了克服这一问题，以往的研究一般侧重于设计其他代价来代替重投影代价，这些代价往往采用全局最小值更容易计算的线性或多项式形式。然而之前的经验评估似乎验证了这些解决方案不仅效率更高，而且很好地近似了重投影代价的全局最小值，因此最小化重投影代价是不必要的。pnp问题貌似已经很好地解决了，但是，以往进行的实验设置存在局限性，其并不能完全揭示pnp算法的性能。具体来说，以前的工作忽略了评估深度范围的影响。实验中的深度范围一般都很小。并且，以前的解不能很好地近似黄金标准解，当深度范围扩大时，一些pnp算法甚至变得不稳定。

技术实现思路

1、为解决现有技术存在的上述问题，本发明提供了一种高效鲁棒pnp问题解决方法、设备、介质及产品。

2、为实现上述目的，本发明提供了如下方案：

3、一种高效鲁棒pnp问题解决方法，所述方法包括：

4、确定初始解；

5、构造最大似然姿态估计代价函数；

6、基于所述初始解对最大似然姿态估计代价函数进行迭代优化得到pnp问题的最优解；

7、基于所述最优解得到相机的姿态；所述相机的姿态采用三维向量和平移向量表示。

8、可选地，所述初始解为相机的姿态表示中三维向量的最小解。

9、可选地，确定初始解，具体包括：

10、将n个2d/3d点对应的约束叠加构建2d/3d点对应的误差函数；

11、考虑噪声，在所述2d/3d点对应的误差函数的基础上引入最小二乘问题得到关于一个中间三维向量的线性最小二乘问题；

12、求解所述线性最小二乘问题得到中间三维向量的闭式解；

13、将pnp问题的旋转作为二次方程系统的一个根，进行二次方程系统的求解，得到方程解；

14、将所述方程解和所述闭式解作为所述初始解。

15、可选地，构造最大似然姿态估计代价函数，具体包括：

16、存在像素误差时，构建的最大似然姿态估计代价函数为：

17、

18、存在像素误差和3d点误差时，构建的最大似然姿态估计代价函数为：

19、

20、式中，crep(x)表示存在像素误差时的重投影代价，∈i(x)表示第i点对应的误差，∈(x)表示对应的误差，表示*的正则化，n表示相机姿态数据中点的个数，x表示相机的姿态，cσ(x)表示存在像素误差和3d点误差时的重投影代价，表示带有协方差矩阵σi的*的马氏距离的平方，det(σi)表示σi的行列式，ln(*)表示自然对数函数。

21、可选地，基于所述初始解对最大似然姿态估计代价函数进行迭代优化得到pnp问题的最优解，具体包括：

22、采用迭代方法最小化所述最大似然姿态估计代价函数得到使所述三维向量最优时所满足的一阶最优性条件；

23、基于所述初始解，采用newton-raphson方法求解所述一阶最优性条件的根，并确定迭代求解的最优控制步长，以确定最优三维向量；

24、基于最优三维向量确定最优闭式解和最优平移向量；

25、基于最优平移向量和最优三维向量确定pnp问题的最优解。

26、可选地，所述一阶最优性条件为：

27、

28、式中，κ(s)表示一阶最优性条件集，s表示三维向量，κ1(s)、κ2(s)和κ3(s)均为一阶最优性条件值，和均表示最大似然姿态估计代价函数，s1、s2和s3均为三维向量中的元素。

29、可选地，相机的姿态表示为：x＝[s；t]；

30、式中，x表示相机的姿态，s表示三维向量，t表示平移向量。

31、一种计算机设备，包括：存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述任一项所述的高效鲁棒pnp问题解决方法的步骤。

32、一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一项所述的高效鲁棒pnp问题解决方法的步骤。

33、一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一项所述的高效鲁棒pnp问题解决方法的步骤。

34、根据本发明提供的具体实施例，本发明公开了以下技术效果：

35、本发明构造最大似然姿态估计代价函数，并基于确定的初始解对最大似然姿态估计代价函数进行迭代优化得到pnp问题的最优解，得到的最优解始终接近金标准解，并且当深度范围扩大时，保证pnp算法的稳定性。

技术特征：

1.一种高效鲁棒pnp问题解决方法，其特征在于，所述方法包括：

2.根据权利要求1所述的高效鲁棒pnp问题解决方法，其特征在于，所述初始解为相机的姿态表示中三维向量的最小解。

3.根据权利要求2所述的高效鲁棒pnp问题解决方法，其特征在于，确定初始解，具体包括：

4.根据权利要求1所述的高效鲁棒pnp问题解决方法，其特征在于，构造最大似然姿态估计代价函数，具体包括：

5.根据权利要求1所述的高效鲁棒pnp问题解决方法，其特征在于，基于所述初始解对最大似然姿态估计代价函数进行迭代优化得到pnp问题的最优解，具体包括：

6.根据权利要求5所述的高效鲁棒pnp问题解决方法，其特征在于，所述一阶最优性条件为：

7.根据权利要求1所述的高效鲁棒pnp问题解决方法，其特征在于，相机的姿态表示为：x＝[s；t]；

8.一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述高效鲁棒pnp问题解决方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述高效鲁棒pnp问题解决方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述高效鲁棒pnp问题解决方法的步骤。

技术总结
本发明公开一种高效鲁棒PNP问题解决方法、设备、介质及产品，涉及数据处理领域。本发明构造最大似然姿态估计代价函数，并基于确定的初始解对最大似然姿态估计代价函数进行迭代优化得到PNP问题的最优解，得到的最优解始终接近金标准解，并且当深度范围扩大时，保证PnP算法的稳定性。

技术研发人员：周力普,魏振忠,王旭
受保护的技术使用者：北京航空航天大学
技术研发日：
技术公布日：2024/5/16