一种六自由度实时位姿估计方法及装置

本发明涉及脉冲数据处理领域，具体而言，涉及一种六自由度实时位姿估计方法及装置。

背景技术：

1、slam(同步定位与地图构建)是移动机器人研究领域的重点以及难点，是移动机器人在未知环境中实现自主导航的前提。激光雷达和视觉传感器是slam中的两种主流传感器，但激光雷达、毫米波雷达存在成本高、结构复杂、解算过程相对繁琐的缺点，因此使用各种类型的相机通过采集丰富的环境信息、深度信息等特征来对机器人进行动态定位与建图已成为该研究领域的热点，例如事件相机就是一种生物启发式的视觉传感器，有着与传统相机完全不同的工作方式，其模拟生物视网膜，不以固定速率输出，基于异步事件驱动敏感像素上的光照变化，当这些像素变化达到一定阈值时触发“事件”，并以微秒级分辨率实现事件的像素坐标、时间戳，以及事件极性的异步输出。

2、与此同时，基于深度学习的方法在计算机视觉领域被应用得越来越广泛，基于深度学习的位姿估计也成为了slam领域一个重点研究方向，为了能达到“类脑”的效果，现有技术中有基于事件相机数据，采用长短时记忆网络模型对六自由度(6dof)进行预测，也有基于事件相机和神经可塑性(stdp)脉冲神经网络模型对三自由度(3dof)进行预测。现有技术虽存在使用深度学习模型对事件相机数据进行六自由度预测的工作，但其使用深度学习的方法并未采用类脑的思想，具有不可解释性的缺点。也存在使用脉冲神经网络对基于事件相机数据进行三自由度的预测的工作，缺点是三个自由度，只能应用于平面之中，不能求解空间中智能体的运动状态。

技术实现思路

1、本发明实施例提供了一种六自由度实时位姿估计方法及装置，以至少解决现有技术没有将深度学习的方法及类脑的思想综合起来对智能机器人在空间定位进行预测的技术问题。

2、根据本发明的一实施例，提供了一种六自由度实时位姿估计方法，包括以下步骤：

3、基于事件相机采集环境的脉冲数据；

4、使用带反向传播的脉冲神经网络模型对脉冲数据所呈现的智能体在空间中的六个自由度进行实时预测。

5、进一步地，使用带反向传播的脉冲神经网络模型来模拟大脑神经元的功能对脉冲数据所呈现的智能体在空间中的六个自由度进行实时预测。

6、进一步地，使用带反向传播的脉冲神经网络模型对脉冲数据所呈现的智能体在空间中的六个自由度进行实时预测包括：

7、在训练阶段，将终端设备上事件相机获取的脉冲数据作为训练数据，将惯性测量单元imu获得的数据作为标签，并且针对需要的环境获取需要的训练数据；

8、训练好的脉冲神经网络模型存放在移动设备上；

9、在应用阶段用事件相机获取脉冲数据，使用udp协议将数据包从事件相机驱动的特定端口传送到计算模块的接收端口。

10、进一步地，事件相机获取的脉冲数据格式为时间戳+像素点位置+极性，极性为0或1；惯性测量单元imu获得的数据作为的标签为7个维度，其中旋转方向的维度用四元数表示；移动设备包括小车或飞行器；在应用阶段用事件相机获取的脉冲数据格式为时间戳+像素点位置+极性，极性为0或1。

11、进一步地，接收端设置两个链表当作容器用于依次轮流存放从发送端传输来的事件数据，并将接收到的数据构成图像帧，构成图像帧具体包括：

12、基于事件相机的分辨率构建相同大小的二维矩阵，将初始像素值设置为0.5，将固定事件数填充到初始化的二维矩阵中，被填充的像素点为0或1，未被填充的部分为原始的0.5。

13、进一步地，将构建的图像帧输入之前保存的脉冲神经网络模型进行预测，脉冲神经网络模型输出7维的数据，该数据格式转换为最后需要预测的六自由度。

14、进一步地，在脉冲神经网络模型之后接一层回归层用于将脉冲神经网络模型的离散输出连续化。

15、进一步地，自定义两个容器用于将事件数据依次轮流存入，后续的模块再从这两个容器中读取数据。

16、进一步地，六个自由度为x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度。

17、根据本发明的另一实施例，提供了一种六自由度实时位姿估计装置，包括：

18、数据采集单元，用于基于事件相机采集环境的脉冲数据；

19、预测单元，用于使用带反向传播的脉冲神经网络模型对脉冲数据所呈现的智能体在空间中的六个自由度进行实时预测。

20、一种存储介质，存储介质存储有能够实现上述任意一项六自由度实时位姿估计方法的程序文件。

21、一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的六自由度实时位姿估计方法。

22、本发明实施例中的六自由度实时位姿估计方法及装置，首先基于事件相机采集环境的脉冲数据，在使用带反向传播的脉冲神经网络模型对脉冲数据所呈现的智能体在空间中的六个自由度进行实时预测，本发明为了达到类脑的效果，同时也兼顾预测准确性，使用了基于反向传播的脉冲神经网络(spiking neural networks)模型。实现的模型主要用来对智能体在空间中所处位置的预测，知道目前智能体所处的状态。

技术特征：

1.一种六自由度实时位姿估计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的六自由度实时位姿估计方法，其特征在于，使用带反向传播的脉冲神经网络模型来模拟大脑神经元的功能对脉冲数据所呈现的智能体在空间中的六个自由度进行实时预测。

3.根据权利要求1所述的六自由度实时位姿估计方法，其特征在于，所述使用带反向传播的脉冲神经网络模型对脉冲数据所呈现的智能体在空间中的六个自由度进行实时预测包括：

4.根据权利要求3所述的六自由度实时位姿估计方法，其特征在于，事件相机获取的脉冲数据格式为时间戳+像素点位置+极性，极性为0或1；惯性测量单元imu获得的数据作为的标签为7个维度，其中旋转方向的维度用四元数表示；移动设备包括小车或飞行器；在应用阶段用事件相机获取的脉冲数据格式为时间戳+像素点位置+极性，极性为0或1。

5.根据权利要求3所述的六自由度实时位姿估计方法，其特征在于，接收端设置两个链表当作容器用于依次轮流存放从发送端传输来的事件数据，并将接收到的数据构成图像帧，构成图像帧具体包括：

6.根据权利要求5所述的六自由度实时位姿估计方法，其特征在于，将构建的图像帧输入之前保存的脉冲神经网络模型进行预测，脉冲神经网络模型输出7维的数据，该数据格式转换为最后需要预测的六自由度。

7.根据权利要求1所述的六自由度实时位姿估计方法，其特征在于，在脉冲神经网络模型之后接一层回归层用于将脉冲神经网络模型的离散输出连续化。

8.根据权利要求1所述的六自由度实时位姿估计方法，其特征在于，自定义两个容器用于将事件数据依次轮流存入，后续的模块再从这两个容器中读取数据。

9.根据权利要求1所述的六自由度实时位姿估计方法，其特征在于，六个自由度为x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度。

10.一种六自由度实时位姿估计装置，其特征在于，包括：

技术总结
本发明涉及脉冲数据处理领域，具体涉及一种六自由度实时位姿估计方法及装置。该方法及装置首先基于事件相机采集环境的脉冲数据，在使用带反向传播的脉冲神经网络模型对脉冲数据所呈现的智能体在空间中的六个自由度进行实时预测，本发明为了达到类脑的效果，同时也兼顾预测准确性，使用了基于反向传播的脉冲神经网络spiking neural networks模型。实现的模型主要用来对智能体在空间中所处位置的预测，知道目前智能体所处的状态。

技术研发人员：李文艺,郑胜杰,李骁健
受保护的技术使用者：中国科学院深圳先进技术研究院
技术研发日：
技术公布日：2024/1/15