多视图纯旋转异常识别和自动标记训练方法、设备和介质

本发明涉及计算机视觉，具体涉及一种多视图纯旋转异常识别和自动标记训练方法、设备和介质。

背景技术：

1、三维视觉计算是许多计算机视觉应用的基础。准确的相机纯旋转异常识别是三维视觉计算中的重要环节，可以帮助提高相机位姿估计、三维重建、即时定位与地图构建slam、目标跟踪和其他计算机视觉应用的准确性、鲁棒性和性能。例如集束调整bundleadjustment (ba)技术作为视觉导航和重建的底层核心技术，当相机出现纯旋转运动时，该技术会出现优化无法收敛的情况，导致相应的位姿估计和三维重建结果异常。此外，当前最新的相机位置估计方法，通过关于相机位置的线性约束（ligt约束）解算相机位置。若多视图中存在某视图为纯旋转运动视图，ligt约束关于该视图的方程将退化，从而无法正常求解相机位置。因此，准确地判定出纯旋转异常，对提高视觉系统工作的鲁棒性很有意义。这意味着，在采用ba技术或ligt算法之前，需要从多视图中识别可能导致位姿与场景恢复崩溃的纯旋转视图集。

2、事实上，若多视图中存在某视图为纯旋转运动视图，则纯旋转视图的相机位置以及视图观测到的大量3d特征点可能无法初始化，这将导致ba优化崩溃，所以需要提前识别。此外，ligt约束中的观测矩阵 l将进一步秩亏，也将导致无法正常估计相机位置。当前计算机视觉领域通常采用基于双视图几何模型的识别方法，如视差角大小、相交约束等方判别纯旋转，但双视图纯旋转判别无法确认双视图中哪一幅视图可能导致多视图中相机位置估计和三维重建的纯旋转异常，也无法识别当前多视图估计中是否存在潜在的纯旋转异常需要处理，因此无法很好地保证多视图位姿恢复与三维重建的鲁棒性。此外，传统识别方案需要经过多个视觉几何计算环节后才能识别出纯旋转异常视图。能否在视觉几何计算前，利用深度学习训练好的网络模型，预先识别纯旋转异常视图是相关领域内的新兴研究方向。

技术实现思路

1、本发明所要解决的技术问题是双视图纯旋转判别无法确认双视图中哪一幅视图可能导致多视图中相机位置估计和三维重建的纯旋转异常，目的在于提供一种多视图纯旋转异常识别和自动标记训练方法、设备和介质，设计了多视图纯旋转异常视图识别方案，能够准确识别多视图中导致异常的视图集。相对于双视图识别方法，本发明从多视图几何约束出发，纯旋转异常判定更加全面且精细，保证了相机位移估计和集束调整技术的鲁棒性。基于多视图纯旋转异常识别方案，设计了纯旋转异常视图的自动标记与训练方案，利用训练好的网络模型，可以在视觉几何计算之前，预先识别多视图中导致纯旋转异常的视图集。

2、本发明通过下述技术方案实现：

3、针对现有技术中的缺陷，本发明第一方面提供一种多视图纯旋转异常识别和自动标记训练方法，包括以下具体步骤：

4、对多视图纯旋转进行异常识别：

5、获取相机采集的图像数据，根据双视图估计结果，计算所有视图的多视图纯旋转指标，识别多视图中是否存在导致全局位置求解异常的纯旋转视图；

6、对纯旋转异常视图进行自动标记与训练：

7、利用多视图纯旋转指标识别并标记多视图中导致纯旋转异常的视图集，构建包含纯旋转异常的局部视图集；

8、构建深度神经网络模型，根据包含纯旋转异常的局部视图集生成训练集用于训练深度神经网络模型；

9、根据训练好的深度神经网络模型识别视图集中的纯旋转异常视图。

10、本发明通过设计多视图纯旋转异常视图识别方案，能够准确识别多视图中导致异常的视图集。从多视图几何约束出发，纯旋转异常判定更加全面且精细，保证了相机位移估计和集束调整技术的鲁棒性。基于多视图纯旋转异常识别方案，设计了纯旋转异常视图的自动标记与训练方案，利用训练好的网络模型，可以在视觉几何计算之前，预先识别多视图中导致纯旋转异常的视图集。

11、进一步的，所述对多视图纯旋转进行异常识别具体包括：

12、步骤11：将相机采集的图像数据构成视图集,定义共视视图集，用于表示与视图存在匹配关系的视图所构成的集合；

13、获取视图,将视图和进行图像匹配，利用匹配的图像特征点，计算双视图纯旋转识别指标，其中，i=1,2,3,…,m，j=1,2,3,…,m；

14、步骤12：取双视图纯旋转识别阈值,计算多视图纯旋转识别指标,其中函数h(·)为赫维赛德阶跃函数，表示中的视图个数；

15、步骤13：取多视图纯旋转识别阈值，当，则认为视图为纯旋转异常视图。

16、进一步的，所述步骤12还包括利用双视图纯旋转指标,构建多视图纯旋转识别指标。

17、进一步的，所述对纯旋转异常视图进行自动标记与训练具体包括：

18、步骤21：对相机采集的图像数据构成视图集,基于多视图纯旋转进行异常识别，对存在纯旋转异常的视图构成集合；

19、步骤22：对于视图，构建共视视图集，生成第i个局部视图集，其中放置在集元素的中间位置；

20、步骤23：遍历纯旋转异常视图集v，构建n个局部视图集，作为深度神经网络模型训练集；

21、步骤24：根据纯旋转异常视图集，对训练集进行标记，具体地，如果中间位置的视图，则用视图对应的纯旋转异常标签标记，反之；

22、步骤25：构建损失函数，其中表示深度神经网络模型给出的预测值；

23、步骤26：根据训练好的模型，将相机获取的视图集，按照生成用于测试的局部视图集，如果模型输出，则说明当前视图为纯旋转异常视图，反之则为正常视图。

24、进一步的，所述计算多视图纯旋转识别指标时还包括：引入多视图纯旋转识别指标对纯旋转异常视图进行自动标记。

25、进一步的，所述训练集生成时还包括：

26、自动生成局部视图集用于训练；

27、利用标记的纯旋转异常视图构建用于预识别纯旋转异常视图的损失函数，利用训练集对网络模型进行训练。

28、进一步的，训练好模型后，还包括通过将相机获取的视图集构建成用于测试的局部视图集，利用训练好的网络模型，对测试集进行纯旋转异常视图的预识别。

29、本发明第二方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现一种多视图纯旋转异常识别和自动标记训练方法。

30、本发明第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种多视图纯旋转异常识别和自动标记训练方法。

31、本发明与现有技术相比，具有如下的优点和有益效果：

32、本发明基于多视图纯位姿视觉几何，提出了多视图纯旋转异常视图识别方案，根据纯旋转异常视图导致纯旋转指标趋于零值的特点，适用于不同的场景结构与相机运动情况，能够准确识别多视图中导致纯旋转异常的视图集；

33、本发明基于多视图纯旋转异常识别方案，提出了一种新的纯旋转异常视图的自动标记与训练方案，利用训练好的网络模型，可以在视觉几何计算之前，预先识别多视图中导致纯旋转异常的视图集；

34、本发明相对于双视图识别方法，本发明从多视图几何约束出发，纯旋转异常判定更加全面且精细，保证了相机位移估计和集束调整技术的鲁棒性。