基于公里标信息辅助的铁路列车视觉惯性定位方法和系统

本发明涉及铁路列车定位。

背景技术：

0、技术背景

1、目前，轨道交通领域的列车定位技术可分为轨旁定位和车载定位两类。车载定位技术利用车载传感器提供相对位置信息；轨旁定位技术利用“车-地协作”式的轨旁设备为列车提供绝对位置信息，通过两种技术的配合，可以实现对列车的精确定位。

2、在传统铁路列车定位技术的基础上，现有技术中运用惯性导航系统与gps数据融合的方式完成定位。但是，当列车长时间穿越隧道时，由于gps失效导致定位精度下降。随着多种视觉惯性里程计在自动驾驶，机器人等领域的快速发展，现有技术中将其直接迁移到轨道交通领域。实验结果表明，单目视觉惯性里程计由于局部惯性传感器的观测偏差，无法保持系统定位的稳定性；而立体视觉的里程计系统可以显著改善相关问题，取得较好的定位结果；融合了imu的立体视觉惯性里程计系统可以进一步提升系统的定位精度。但是，在实际列车长时间行驶中，常常无法发生回环检测而导致定位精度逐渐降低。因此，相关学者将深度学习方法应用到列车定位领域中，以代替回环检测模块，提高列车定位精度。但是，目前还没有一套基于视觉的完备，鲁棒性强且高精度的列车定位系统。

技术实现思路

1、本发明针对现有技术中“车-地协作”式列车定位技术在实际应用中存在成本高、维护困难且现有铁路列车智能定位在缺少回环检测情况下，无法消除累计误差的问题，为解决上述技术问题本发明是通过以下技术方案实现的：

2、本发明提出了以下技术方案：

3、方案一、一种基于公里标信息辅助的铁路列车视觉惯性定位方法，所述定位方法包括：采用视觉惯性里程计获取所述铁路列车运行前方的rgb图像、公里标数字语义信息以及imu的多源信息；

4、基于vins fusion框架构建公里标检测模块，基于所述公里标检测模块获取公里标像素位置；

5、基于ocr文字识别器在所述公里标像素位置区域识别公里标数字语义信息，获得所述公里标在电子地图的位置信息；

6、基于lsd直线检测算法结合所述电子地图位置信息提取公里标顶点以及顶点坐标；

7、根据所述公里标顶点坐标建立含有公里标位置信息约束的全局优化目标函数，通过因子图优化方法提高铁路列车的定位精度。

8、进一步的，提供一种优选实施方式，基于vins fusion框架构建公里标检测模块，基于所述公里标检测模块获取公里标像素位置的方法为：

9、所述公里标检测模块获取公里标像素位置是基于yolov5s网络模型实现，yolov5s网络模型包括输入端、主干网络、颈部网络和输出端；

10、所述yolov5s网络模型的输入端为rgb图像，且对rgb图像进行预处理；

11、主干网络，用于对不同尺度的rgb图像进行检测；

12、颈部网络，用于对不同尺度的rgb图像进行融合，以实现对不同尺度rgb图像的检测；

13、输出端，用于输出不同尺度rgb图像来检测不同大小的物体，每个rgb图像中包含3个预测框，每个预测框包含物体置信度和位置信息，通过加权nms方法来剔除重复的位置信息，即找到物体检测位置，完成目标检测。

14、进一步的，提供一种优选实施方式，基于ocr文字识别器在所述公里标像素位置区域识别公里标数字语义信息的方法为：

15、基于crnn文字识别模型实现，所述crnn文字识别模型包括cnn卷积神经网络层、rnn循环神经网络层和ctc转录层；

16、cnn卷积神经网络层提取所述公里标像素位置区域中特征，得到公里标的图像特征向量；

17、将所述公里标的图像特征向量传递到rnn循环神经网络层；完成所述特征向量的分布；

18、ctc转录层，将rnn循环神经网络层的预测公里标的图像特征向量分布转化为序列标签，输出为数字信息，完成识别。

19、进一步的，提供一种优选实施方式，基于lsd直线检测算法结合所述电子地图位置信息提取公里标顶点具体为：通过同一边缘线段的斜率区分直线的类型，lsd算法对候选直线类型进行检测，如若不符合所述直线类型的要求，则剔除不符合直线特征的候选直线段；

20、初始边缘提取，确定待检测的边缘线段数量，确定公里标顶点检测到4条边缘直线，根据评价函数排序选取一致性高的4组边缘线段，采用整体最小二乘的方法进行直线拟合；

21、初始边缘提取后，根据每条边缘直线的特征相似度重复判断边缘线段的提取结果，合并相似边缘线段并拟合出新的边缘线段，不断从新的边缘线段集合中进行补充；重复上述过程，直到确定4条不相似的公里标边缘线段；

22、所述确定公里标顶点的方法为：所述4条不相似的公里标边缘线段构成矩形，其矩形公里标边缘线段的交点即为公里标的顶点。

23、进一步的，提供一种优选实施方式，所述公里标顶点坐标的提取方法为：

24、根据所述电子地图的位置信息获取公里标顶点在世界坐标系下坐标以及公里标顶点在第i帧时刻相机坐标系下坐标：

25、

26、分别计算公里标顶点的重投影误差、视觉路标点的重投影误差以及imu的多源信息的误差，得到构建重定位的优化目标函数；其中，n表示公里标数字序号，j＝1,2,3,4表示矩形公里标四个顶点。

27、进一步的，提供一种优选实施方式，计算公里标顶点的重投影误差、视觉路标点的重投影误差以及imu的多源信息的误差分别由以下公式得到，公里标顶点的重投影误差为：

28、

29、其中，(fx,fy,cx,cy)为相机的内部参数,(xc,yc,zc)为相机坐标系下的坐标(u,v)为像素坐标系下坐标；

30、视觉路标点的重投影误差为：

31、

32、任意两个图像关键帧bk和bk+1，所述两个图像关键帧之间的imu的多源信息的误差为：

33、

34、其中，[g]xyz代表提取四元数实部的运算，[rp,rq,rv,rba,rbg]分别代表位置、旋转、速度、加速度计误差表示imu坐标系下的加速度的随机游走、陀螺误差表示imu自身坐标系下的陀螺的随机漂移。

35、进一步的，提供一种优选实施方式，将所述公里标顶点的重投影误差、视觉路标点的重投影误差以及imu的多源信息的误差进行求和，得到构建重定位的优化目标函数，具体为：

36、

37、其中，将定位系统初始帧到首个公里标出现的最后一帧之间匹配到的特征点集合设为c，全部imu的多源信息数据集合为b，所有检测到公里标n的图像帧集合为l，rp-hpχ为所有滑动窗口边缘化后的先验信息，为所有两帧之间imu惯性约束的残差，为视觉路标点的重投影误差，(l,k)为第k图像帧观测到的第l个图像特征，为公里标的顶点重投影误差。

38、方案二、基于公里标信息辅助的铁路列车视觉惯性定位系统，所述系统包括：

39、图像信息获取单元，用于采用视觉惯性里程计获取所述铁路列车运行前方的rgb图像、公里标数字语义信息以及imu的多源信息；

40、公里标检测边缘单元，基于vins fusion框架构建公里标检测模块，基于所述公里标检测模块获取公里标像素位置；

41、公里标识别单元，基于ocr文字识别器识别所述公里标像素位置区域，获得该公里标在电子地图的位置信息；

42、公里标顶点坐标提取单元，基于lsd直线检测算法结合所述电子地图位置信息提取公里标顶点以及顶点坐标；

43、全局优化单元，根据所述公里标顶点坐标建立含有公里标位置信息约束的全局优化目标函数，通过多源信息的因子图优化方法提高铁路列车的定位精度。

44、方案三、计算机设备，包括存储器和处理器,所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据方案一中任一项中所述的基于公里标信息辅助的铁路列车视觉惯性定位方法。

45、方案四、计算机可读存储介质，该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如方案一中任一项所述的基于公里标信息辅助的铁路列车视觉惯性定位方法。

46、本发明的有益之处在于：

47、本发明的发明点在于通过在vins-fusion框架基础上，识别公里标，提取公里标边缘线段和顶点，结合电子地图和公里标数字信息建立不同场景下含有公里标位置信息约束的全局优化目标函数，完成双目视觉惯性里程计和公里标信息的融合；搭建半实物仿真实验平台，建立电子地图，对两次实验数据进行定位实验，通过实验结果表明本发明提出的公里标融合算法可以消除双目视觉惯性里程计系统累计误差，两次实物实验定位结果平均误差分别降低了57.0％和62.6％。

48、本发明中所采用的视觉惯性里程计具备检测并识别公里标信息的功能，实现了基于电子地图、视觉信息以及imu信息的多源融合高精度列车定位。

49、本发明中所采用的识别公里标字符区域的方法，其主要包括公里标目标检测和数字信息识别两部分，利用轨旁公里标数字信息，获取当前列车准确位置，为信息融合消除累计误差提供基础。

50、本发明通过建立含有公里标位置信息约束的全局优化目标函数，完成双目视觉惯性里程计和公里标数字信息的融合。实现在系统无法进行回环检测的情况下仍然可以消除累计误差。

51、本发明适用于轨道交通领域中。