一种位姿确定方法、系统、电子设备和可读存储介质与流程

本技术实施例涉及图像跟踪，尤其涉及一种位姿确定方法、系统、电子设备和可读存储介质。

背景技术：

1、现有的二维图像跟踪方案可以用检测器和跟踪器两个部分来实现，其中，检测器使用一些简单的特征对模板图像和当前输入视频帧进行1v1匹配，然后利用为透视n点法(perspective-n-point，pnp)解算出当前帧的六自由度(six degrees of freedom，6dof)位姿。

2、但是，由于特征点提取及匹配较为耗时，所以检测器一般作用于首帧或设置的间隔帧，然后再采用光流法对中间间隔的视频帧进行跟踪。通过视频帧间光流法跟踪，会导致特征点会越来越少，累计误差较大，进而导致解算到的6dof位姿误差会越来越大。并且，检测器检测不一定能够保证能够检出当前帧中目标2d图像，因此可能无法及时对6dof位姿结果进行矫正。

技术实现思路

1、本技术实施例提供一种位姿确定方法、系统、电子设备和可读存储介质，以解决现有的光流法跟踪导致的图像特征点越来越少，累计误差越来越大，进而导致解算到的位姿误差越来越大的问题。

2、为了解决上述技术问题，本技术是这样实现的：

3、第一方面，本技术实施例提供了一种位姿确定方法，包括：

4、获取初始帧中目标对象的初始位姿和初始目标位置，其中，所述初始帧为第一个包含目标对象的图像帧；

5、获取待分析图像帧的第一特征点和所述第一特征点对应的流特征，其中，所述流特征为所述待分析图像帧的前一帧的特征点位置与所述第一特征点位置之间的位置差，所述待分析图像帧的前一帧的特征点位置使用光流法跟踪获得；

6、根据所述初始目标位置和所述第一特征点对应的流特征，确定所述待分析图像帧中目标对象的当前目标位置；

7、根据所述初始位姿和所述待分析图像帧中目标对象的当前目标位置，确定所述待分析图像帧中目标对象的位姿。

8、可选的，所述获取初始帧中目标对象的初始位姿和初始目标位置之前还包括：

9、对当前帧进行目标对象检测，判断所述当前帧是否有目标对象；

10、若所述当前帧中有所述目标对象，将所述当前帧作为待分析图像帧。

11、可选的，所述获取初始帧中目标对象的初始位姿包括：

12、获取待识别模板的模板特征点和所述模板特征点对应的第一描述子，其中，所述待识别模板为仅包含目标对象的图像；

13、对所述初始帧进行特征点提取，获取所述初始帧的初始特征点和所述初始特征点对应的第二描述子；

14、对所述第二描述子和所述第一描述子进行匹配，获取所述初始特征点和所述模板特征点之间的匹配关系；

15、根据所述初始特征点和所述模板特征点之间的匹配关系，确定所述初始帧中目标对象的初始位姿。

16、可选的，所述获取待分析图像帧的第一特征点包括：

17、对所述待分析图像帧进行特征点提取，获取所述待分析图像帧的所有特征点；

18、使用光流法跟踪所述待分析图像帧，获取所述待分析图像帧的前一帧对应的前一特征点位置；

19、根据所述前一特征点位置和所述当前特征点位置的差值，确定所有特征点对应的流特征；

20、以至少一种尺寸的图像块分别对所述待分析图像帧进行分块，获得至少一种具有多个图像块的待分析图像帧；

21、获取所有图像块内特征点的数目；

22、过滤掉所述图像块内特征点的数目小于数目阈值的图像块，获取过滤后的第一图像块；

23、根据所述第一图像块内的特征点对应的流特征模长，对所述第一图像块内的特征点进行过滤，获取所述第一图像块内的内特征点；

24、合并所有图像块内的内特征点，将所述内特征点作为所述第一特征点，其中，合并所有图像块内的内特征点为保留所有图像块中不重复的内特征点，将所有图像块中同一个位置重复的内特征点进行合并保留。

25、可选的，所述初始目标位置为初始帧中包含所述目标对象的初始目标对象框的位置；

26、所述根据所述初始目标位置和所述第一特征点对应的流特征，确定所述待分析图像帧中目标对象的当前目标位置包括：

27、根据所述初始目标对象框的位置，获取所述第一特征点中位于所述初始目标对象框内的框内特征点；

28、选取相机运动对应变换模型；

29、获取所述框内特征点对应的流特征；

30、利用所述相机运动对应变换模型和所述框内特征点对应的流特征，获取所述待分析图像帧中目标对象的当前目标位置。

31、可选的，所述根据所述初始目标对象框的位置，获取所述第一特征点中位于所述初始目标对象框内的框内特征点包括：

32、根据所述初始目标对象框，确定所述初始目标对象框的四条边对应直线；

33、根据所述第一特征点和所述初始目标对象框的四条边对应直线之间的位置关系，确定第一框内特征点；

34、根据所述运动对应变换模型和所述第一特征点，确定待分析图像帧相机运动产生的背景运动流特征；

35、根据所述第一特征点对应的流特征与所述背景运动流特征的差值，确定待分析图像帧前景运动对应的前景运动流特征；

36、过滤掉所述第一框内特征点中前景运动流特征的模长小于第一模长阈值的特征点，将过滤后的第一框内特征点作为所述框内特征点。

37、可选的，所述选取相机运动对应变换模型包括：

38、根据待分析图像帧的宽和高、所述第一特征点对应的流特征的宽和高，按照单应变换、仿射变换、线性相似变换和平移变换的优先级顺序，利用迭代加权最小二乘法irls依次获取相机运动的单应变换的参数、仿射变换的参数、线性相似变换的参数和平移变换的参数，直到获取成功；

39、根据获取成功的相机运动的变换参数，确定与所述变换参数对应的变换矩阵；

40、将所述变换矩阵作为相机运动对应变换模型。

41、可选的，所述根据待分析图像帧的宽和高、所述第一特征点对应的流特征的宽和高，按照单应变换、仿射变换、线性相似变换和平移变换的优先级顺序，利用迭代加权最小二乘法irls依次获取相机运动的单应变换的参数、仿射变换的参数、线性相似变换的参数和平移变换的参数，直到获取成功之前包括：

42、获取所述待分析图像帧的宽和高；

43、获取所述第一特征点对应的流特征和所述第一特征点对应的流特征的宽和高；

44、根据所述待分析图像帧的对角线长度、所述待分析图像帧的宽和高，归一化所述待分析图像帧的宽和高；

45、根据所述待分析图像帧的对角线长度、所述第一特征点对应的流特征的宽和高，归一化所述第一特征点对应的流特征的宽和高；

46、将归一化后的待分析图像帧的宽和高作为所述待分析图像帧的宽和高；

47、将归一化后的流特征的宽和高作为所述第一特征点对应的流特征的宽和高。

48、可选的，其特征在于，所述根据待分析图像帧的宽和高、所述第一特征点对应的流特征的宽和高，按照单应变换、仿射变换、线性相似变换和平移变换的优先级顺序，利用迭代加权最小二乘法irls依次获取相机运动的单应变换的参数、仿射变换的参数、线性相似变换的参数和平移变换的参数，直到获取成功包括：

49、根据待分析图像帧的宽和高、所述第一特征点对应的流特征的宽和高，使用高斯分布初始化所述第一特征点对应的流特征的irls权重单应性；

50、根据所述第一特征点对应的流特征的模长，确定平均移动模长；

51、根据所述平均移动模长和所述第一特征点对应的流特征的权重，通过irls算法迭代，按照单应变换、仿射变换、线性相似变换和平移变换的优先级顺序，依次获取相机运动的单应变换的参数、仿射变换的参数、线性相似变换的参数和平移变换的参数，直到获取成功。

52、可选的，所述根据所述初始位姿和所述待分析图像帧中目标对象的当前目标位置，确定所述待分析图像帧中目标对象的位姿包括：

53、根据所述初始目标位置和所述当前目标位置，确定位置缩放量；

54、根据所述位置缩放量、相机参数、所述初始目标位置和所述当前目标位置，确定所述初始帧中目标对象的三维坐标和所述待分析图像帧中目标对象的三维坐标；

55、获取所述初始帧中目标对象的第一旋转量和所述待分析图像帧中目标对象的第二旋转量；

56、根据所述第一旋转量和所述第二旋转量，确定目标对象的旋转变化量；

57、根据所述旋转变化量、所述初始帧中目标对象的三维坐标和所述待分析图像帧中目标对象的三维坐标，确定目标对象的平移变化量；

58、根据所述旋转变化量、所述平移变化量和所述初始帧中目标对象的初始位姿，确定所述待分析图像帧中目标对象的位姿。

59、第二方面，本技术实施例提供了一种位姿确定系统，包括：

60、初始模块，用于获取初始帧中目标对象的初始位姿和初始目标位置，其中，所述初始帧为第一个包含目标对象的图像帧；

61、特征模块，用于获取待分析图像帧的第一特征点和所述第一特征点对应的流特征，其中，所述流特征为所述待分析图像帧的前一帧的特征点位置与所述第一特征点位置之间的位置差，所述待分析图像帧的前一帧的特征点位置使用光流法跟踪获得；

62、位置模块，用于根据所述初始目标位置和所述第一特征点对应的流特征，确定所述待分析图像帧中目标对象的当前目标位置；

63、位姿模块，用于根据所述初始位姿和所述待分析图像帧中目标对象的当前目标位置，确定所述待分析图像帧中目标对象的位姿。

64、第三方面，本技术实施例提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上述第一方面所述的位姿确定方法的步骤。

65、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的位姿确定方法的步骤。

66、本技术中，首先获取初始帧中目标对象的初始位姿和初始目标位置；获取待分析图像帧的第一特征点和第一特征点对应的流特征；根据初始目标位置和第一特征点对应的流特征，确定待分析图像帧中目标对象的当前目标位置，由于流特征为根据光流法获得的待分析图像帧的前一帧的特征点位置与第一特征点位置之间的位置差，每个待分析图像帧均会根据光流法逆向跟踪到前帧的特征点，进而获得的流特征，因此每个待分析图像帧获得的特征点不会逐渐减少，图像跟踪的当前目标位置的误差也不会逐渐增加，因此最后再根据初始位姿和待分析图像帧中目标对象的当前目标位置确定待分析图像帧中目标对象的位姿的误差也不会逐渐累积，使得解算到的位姿能够保持较高的精度和稳定性，并且即使未检测出目标图像，仍然可以根据本技术所述的方法对待分析图像帧进行图像跟踪以及位姿解算，增强了鲁棒性。