视觉惯性里程计方法与装置、电子设备与流程

本发明属于计算机视觉领域，特别涉及一种基于事件相机的视觉惯性里程计方法与装置、电子设备。

背景技术：

1、里程计是对物体的运动进行估计的装置。在里程计问题中，人们希望测量运动物体的轨迹。比如，在汽车轮胎上安装计数码盘，就可以得到轮胎转动的距离，从而得到对汽车轨迹的估计。其中，主要依赖视觉传感器实现里程计的方案，称为视觉里程计。目前已知的视觉里程计，大多是基于传统帧相机（输出图像帧）实现的。一般特征点检测和跟踪模块是视觉里程计中的重要组成部分。

2、传统帧相机由于成像机制天然地存在时间维度的信息丢失以及动态范围低等问题，这会导致基于传统帧相机的里程计系统在高速、恶劣光照的场景下失效。不同于传统帧相机，事件相机只捕获场景中的光照强度变化，具有超低的延迟、高动态范围以及低功耗的特性，弥补了传统帧相机该方面的缺陷，因此基于事件相机的视觉里程计已成为新趋势。

3、当前基于事件相机的里程计方案主要有：

4、现有技术1：cn115479602a；

5、现有技术2：cn114943762a；

6、现有技术3：jp6916091b2。

7、当前基于事件相机的特征点检测和跟踪，主要有将事件帧当做传统图像帧提取特征点的方法、直接使用异步事件流的角点检测方法等，这些方法基于手工设计参数以及光度一致性假设的方法，存在对噪声敏感、准确性不高、速度慢的缺点，使用这类模块的视觉里程计不具备较好的鲁棒性。

8、为此，本领域需要一种高时间分辨率、高动态范围、高响应速度，以及鲁棒性好的视觉惯性里程计方案。

技术实现思路

1、为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：

2、一种视觉惯性里程计方法，该方法包括如下步骤：通过对事件相机输出的事件流压帧，获得事件帧；获取与事件流同一时间间隔内的惯性测量单元数据，并进行预积分；将所述事件帧输入特征点检测网络以检测出特征点；将所述事件帧输入光流估计网络以获得光流信息；根据特征点和光流信息，获得去畸变后归一化的特征点坐标列表，实现特征点的检测与跟踪；若当前未完成初始化，则使用运动结构恢复三维重建方法进行纯视觉初始化，然后将视觉估计结果与惯性测量单元预积分结果对齐，并获得事件相机和惯性测量单元的约束关系，完成视觉惯性联合初始化；若当前已完成初始化，则执行视觉惯性紧耦合非线性优化，输出最终优化的事件相机位姿信息。

3、在某类实施例中，所述当前未完成初始化，具体是当前未完成运动结构恢复三维重建方法进行纯视觉初始化和视觉惯性联合初始化。

4、在某类实施例中，确定滑动窗口的大小，并创建空的容器，将每一时刻检测得到的去畸变后归一化的特征点坐标列表、以及当前时刻的特征点坐标列表、特征点序号列表和特征点跟踪次数列表作为一帧数据存入容器，参与关键帧的选择和后续的优化；其中，所述当前时刻的特征点坐标列表、特征点序号列表和特征点跟踪次数列表是基于特征点跟踪方法所获得的。

5、在某类实施例中，所述特征点跟踪方法包括如下步骤：

6、为特征点创建当前时刻和上一时刻的特征点坐标列表、特征点序号列表和特征点跟踪次数列表；将所述事件帧输入光流估计网络，获得像素点的光流；根据上一时刻的特征点坐标列表和对应像素点的光流，获得当前时刻的特征点坐标列表。

7、在某类实施例中，若上一时刻的特征点坐标列表中特征点的数量大于0，则至少根据以下方式之一，更新当前时刻的特征点坐标列表：

8、i）若特征点的特征点坐标超出事件帧的图像尺寸范围，则至少将该特征点的特征点坐标从当前时刻的特征点坐标列表中删除；

9、ii）若特征点的特征点坐标的设定范围内事件点的数量小于阈值，则至少将该特征点的特征点坐标从当前时刻的特征点坐标列表中删除。

10、在某类实施例中，若当前时刻的特征点坐标列表中特征点的数量大于或等于第一数量，则根据当前时刻的特征点坐标列表和上一时刻的特征点坐标列表，以及相机内参，对特征点坐标去畸变并转换至归一化平面，然后使用ransac方法计算本质矩阵，判断出属于外点的特征点，并至少将该特征点的特征点坐标从当前时刻的特征点坐标列表中删除。

11、在某类实施例中，除了在当前时刻的特征点坐标列表中删除该特征点的特征点坐标外，还删除该特征点在当前时刻的特征点序号列表和当前时刻的特征点跟踪次数列表中对应的信息，以及还删除该特征点在上一时刻的特征点坐标列表、上一时刻的特征点序号列表和上一时刻的特征点跟踪次数列表中对应的信息。

12、在某类实施例中，针对经过各种删除更新操作处理后的当前时刻的特征点坐标列表中所记录的全部特征点，在当前时刻的特征点跟踪次数列表中所对应的特征点跟踪次数，均执行计数自增1操作。

13、在某类实施例中，若当前时刻的特征点坐标列表中特征点的数量小于最大特征点检测数量，则根据当前时刻的特征点坐标列表和当前时刻的特征点跟踪次数列表，创建全1的掩膜；并且，根据特征点的跟踪次数对特征点进行降序排序，然后依次遍历特征点，在掩膜中将该特征点周围设定范围内的区域设为0。

14、在某类实施例中，将事件帧输入特征点检测网络，得到新的特征点；去除位于0值掩模处的特征点，并根据特征点检测网络输出热图的值，降序保留前n个新特征点，将该n个新特征点的信息更新至当前时刻的特征点坐标列表、特征点序号列表和特征点跟踪次数列表；其中，整数n等于最大特征点检测数量减去当前时刻的特征点坐标列表中特征点的数量。

15、在某类实施例中，将当前时刻的特征点坐标列表、特征点序号列表和特征点跟踪次数列表，分别对应地赋值给上一时刻的特征点坐标列表、特征点序号列表和特征点跟踪次数列表。

16、在某类实施例中，根据相机内参，将当前时刻的特征点坐标列表进行去畸变并转化到归一化坐标平面上，得到去畸变后归一化的特征点坐标列表。

17、在某类实施例中，所述特征点是经由特征点检测网络而获得的；所述特征点检测网络包括编码器和解码器。

18、在某类实施例中，所述编码器包括resnet或vgg；或/和，所述解码器包括卷积层和relu激活神经元。

19、在某类实施例中，将事件帧输入编码器得到第一特征图；将第一特征图输入解码器得到第二特征图；所述第二特征图经过softmax后去除最后一个通道得到第三特征图；对第三特征图执行重整形得到热图。

20、在某类实施例中，遍历热图上的每个像素点，若像素点的值大于第二阈值，则将该像素点作为特征点。

21、在某类实施例中，若当前帧最近的关键帧的特征平均视差大于阈值或当前帧跟踪到的特征点数量小于阈值就置为关键帧。

22、在某类实施例中，对于需要移出窗口的帧，使用舒尔补边缘化方法保留边缘化信息。

23、在某类实施例中，将视觉估计结果与惯性测量单元预积分结果进行对齐，实现对陀螺仪偏置的标定；求解重力向量方向，并恢复单目事件相机的尺度因子，得到事件相机和惯性测量单元的约束关系，完成视觉惯性联合初始化。

24、在某类实施例中，通过优化方法最小化滑动窗口中视觉的重投影误差、惯性测量单元的变化量残差、偏置残差以及边缘化信息，输出最终优化的事件相机位姿信息。

25、在某类实施例中，通过优化方法最小化滑动窗口中视觉的重投影误差、惯性测量单元的变化量残差、偏置残差以及边缘化信息，还输出点云信息。

26、一种视觉惯性里程计装置，该视觉惯性里程计装置被配置为执行如前任一项所述的视觉惯性里程计方法。

27、一种电子设备，该电子设备配置有如前所述的视觉惯性里程计装置。

28、本发明的部分或全部实施例，具有如下有益技术效果：

29、1）通过利用事件相机的高时间分辨率、高动态范围，解决传统相机在时间维度的信息丢失以及在恶劣光照的场景下（高动态范围）信息丢失的问题。

30、2）本发明的特征点跟踪方法，基于深度学习的特征检测模块和光流估计模块，特征点提取与跟踪相比现有技术更具鲁棒性，且速度快。

31、3）不需要测距传感器，成本低。

32、4）配合基于滑动窗口的视觉惯性紧耦合非线性优化完成对运动相机位姿或/和三维点云的估计。

33、更多的有益效果将在优选实施例中作进一步的介绍。

34、以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。

35、本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。