一种铁路巡检车、铁路巡检系统及其方法与流程

1.本发明属于铁路巡检技术领域，具体涉及一种铁路巡检车、铁路巡检系统及其方法。


背景技术：

2.在我国的交通运输行业中铁路运输占据非常重要的地位，由于运输的速度快、运输能力大、受环境因素影响较小等优点，除了运输货物以外，铁路也是人们外出优先选择的交通工具之一。在自然环境和机车车辆长年累月的作用下，铁路线路会发生轨道几何尺寸变化、轨道表面擦伤和内部伤损、路基道床变形、扣件丢失或偏移等多种病害问题。轨道病害不仅会影响车辆运营，严重时更会危及行车安全。轨道巡检是及时发现病害、保证铁路运输安全性和可靠性的重要手段之一。目前，我国铁路工务部门主要采用人工巡检和车辆巡检等方式进行线路检查。
3.现有技术存在以下的问题：
4.1)采用人工巡检的方式人力成本投入大，巡检人员的工作量大，时间长，由于存在主观性判断导致某些缺陷和故障被遗漏，并且在环境复杂的地区容易发生安全事故，安全性低；
5.2)现有技术的铁路巡检车结构简单，往往采用车载轨道检测仪或其他检测设备的方式进行巡检，存在巡检效率慢、准确性低的问题，并且现有的巡检车仅仅针对轨道缺陷检测或轨道几何数据检测的单一功能进行实现，无法满足要求。


技术实现要素：

6.为了解决现有技术存在的铁路巡检人力成本投入大、安全性低、复杂环境适应性低、效率低以及准确性低的问题，本发明目的在于提供一种铁路巡检车、铁路巡检系统及其方法。
7.本发明所采用的技术方案为：
8.一种铁路巡检车，包括封闭式的车体、底盘、第一图像采集装置以及第二图像采集装置，底盘的底端设置有四驱动力装置，且底盘的底端两侧各设置有至少一个的第一图像采集装置，第一图像采集装置位于轨道的上方，车体设置于底盘的顶端，车体的顶端两侧各设置有至少一个的第二图像采集装置，且车体包括驾驶仓和后仓，第二图像采集装置面向轨道外侧设置，驾驶仓的内部设置有驾驶单元和控制单元，后仓的内部设置有轨道几何测量单元、车体振动加速度测量单元以及gps里程自动修正单元，控制单元分别与驾驶单元、轨道几何测量单元、车体振动加速度测量单元、gps里程自动修正单元、第一图像采集装置以及第二图像采集装置通信连接，驾驶单元与四驱动力装置通信连接，且控制单元通信连接有外部的云存储平台。
9.进一步地，第一图像采集装置包括伸缩驱动电机、伸缩式支撑架、相机固定架、若干第一光源以及若干第一工业相机，伸缩驱动电机设置于伸缩式支撑架的内部，伸缩式支
撑架的固定端与底盘的底端一侧垂直固定连接，且伸缩式支撑架的移动端与相机固定架的顶端中部垂直固定连接，相机固定架垂直于轨道方向设置，且相机固定架的内部设置有若干第一工业相机，若干第一工业相机的摄像头面对轨道设置且角度可调整，每个第一工业相机的摄像头处设置有第一光源，且若干第一工业相机、若干第一光源以及伸缩驱动电机均与控制单元通信连接；
10.相机固定架包括水平架、对称设置在水平架两端的斜向架以及面向轨道方向设置在相机固定架外部的挡泥板，水平架的外部顶端与伸缩式支撑架的活动端固定连接，水平架的内部底端和两个水平架的内部底端均设置有至少一个的第一工业相机。
11.进一步地，第二图像采集装置包括封闭式的透明挡雨罩、第二光源、至少一个水平设置且摄像头角度可调整的第二工业相机以及至少一个仰角设置且摄像头角度可调整的第二工业相机，若干第二工业相机和第二光源均设置于透明挡雨罩的内部，且若干第二工业相机和第二光源均与控制单元通信连接，透明挡雨罩设置于车体的顶端一侧。
12.进一步地，控制单元包括微控制器、存储模块、无线通信模块、传感器组、a/d转换模块以及数据压缩模块，微控制器分别与存储模块、无线通信模块、a/d转换模块、数据压缩模块、驾驶单元、轨道几何测量单元、车体振动加速度测量单元、gps里程自动修正单元、第一图像采集装置以及第二图像采集装置连接，a/d转换模块与传感器组连接，无线通信模块通信连接有外部的云存储平台；
13.传感器组包括均与a/d转换模块连接的仓内温湿度传感器、气象传感器以及气压海拔传感器，仓内温湿度传感器设置于驾驶仓内部，气象传感器和气压海拔传感器设置于车体外部。
14.一种铁路巡检系统，基于铁路巡检车，包括控制中心、云存储平台以及若干铁路巡检车，控制中心与云存储平台通信连接，云存储平台分别与若干铁路巡检车的控制单元通信连接，控制中心包括管理服务器和若干数据处理服务器，管理服务器分别与云存储平台和若干数据处理服务器通信连接。
15.一种铁路巡检方法，基于铁路巡检系统，包括如下步骤：
16.初始化铁路巡检系统，基于深度学习建立目标识别模型和缺陷识别模型；
17.使用铁路巡检车采集、本地存储以及上传实时的铁路轨道数据、铁路巡检视频数据以及对应的位置数据；
18.使用控制中心下载实时的铁路巡检视频数据，并将实时的铁路巡检视频数据输入目标识别模型进行识别，得到目标识别图像数据集；
19.将目标识别图像数据集输入缺陷识别模型进行识别，得到缺陷识别结果，并根据缺陷识别结果和对应的位置数据生成铁路巡检报告。
20.进一步地，基于深度学习建立目标识别模型和缺陷识别模型，包括如下步骤：
21.获取历史的铁路巡检图像数据集并进行预处理，得到预处理后巡检图像数据集，历史的铁路巡检图像数据集包括历史的轨道图像数据集、历史的接触网设备图像数据集以及历史的铁路通信设备图像数据集；
22.将历史的预处理后巡检图像数据集输入yolov5模型进行训练，建立目标识别模型并得到历史的目标识别图像数据集；
23.将历史的目标识别图像数据集进行扩展，并将扩展后的历史的目标识别图像数据
集输入yolov5模型进行训练，得到缺陷识别模型。
24.进一步地，yolov5模型的网络结构包括依次连接的输入端、backbone模块、neck模块和prediction模块，输入端设置有mosaic数据增强模块，backbone模块包括focus结构和csp结构，neck模块的结构为fpn-pan结构，prediction模块的损失函数为giou_loss函数。
25.进一步地，将实时的铁路巡检视频数据输入目标识别模型进行识别，包括如下步骤：
26.使用目标识别模型对实时的铁路巡检视频数据进行帧截取，得到连续帧的铁路巡检视图像数据集；
27.对连续帧的铁路巡检视图像数据集进行预处理，得到连续帧的预处理后铁路巡检视图像数据集；
28.将连续帧的预处理后铁路巡检视图像数据集输入目标识别模型，对每一张图像数据进行网格划分，并设置所有的网格的先验框；
29.获取所有的先验框与对应的预设的预测框的偏移量，并根据偏移量获取所有的网格对应的初始的预测框的位置；
30.根据预设的iou值和预设的置信度对所有的初始的预测框进行非极大值抑制筛选，得到每一张图像数据的最终的预测框的位置；
31.使用sort算法对最终的预测框内的同一目标图像进行目标追踪和目标识别，得到同一目标的连续帧的接触网设备识别图像数据集和连续帧的铁路通信设备识别图像数据集，即目标识别图像数据集。
32.进一步地，将目标识别图像数据集输入缺陷识别模型进行识别，包括如下步骤：
33.使用缺陷识别模型获取目标识别图像数据集中同一目标图像的缺陷类型，缺陷类型包括钢轨表面伤损、扣件异常、接触网悬挂装置零部件异常、轨腰塞钉异常、应答器异常和漏缆卡具缺陷；
34.根据目标识别图像数据集中目标图像的灰度区域获取缺陷面积，并将同一目标图像的最大的缺陷面积作为最终的缺陷面积；
35.将缺陷类型和缺陷面积作为缺陷识别结果。
36.本发明的有益效果为：
37.1)本发明提供了一种铁路巡检车对铁路沿线的轨道、接触网以及通信设备进行巡检，避免了人力巡检的方式，减少了人力成本投入和巡检人员的工作量，同时采用第一图像采集装置和第二图像采集装置对轨道、接触网以及通信设备进行图像识别和缺陷识别，提高了巡检效率和准确性，采用的封闭式的车体和四驱动力装置提高了对复杂环境的适应性，避免了安全事故的发生，提高了安全性；
38.2)本发明提供了一种铁路巡检系统，同时对不同线路的铁路进行巡检，实时采集铁路轨道数据和铁路巡检视频数据，将数据存储至云存储平台，避免了数据的丢失，在控制中心进行在线控制和数据、图像分析，提高了巡检结果的可视化和准确性，大大的提高了系统的实用性和巡检工作的可靠性；
39.3)本发明提高了一种铁路巡检方法，通过深度学习建立目标识别模型和缺陷识别模型能够自动对铁路巡检视频数据进行目标识别和缺陷识别，避免了人工分辨和检测，最后生成的铁路巡检报告是维修人员能够准确定位缺陷目标和缺陷位置，提高了维修的效
率，避免了后续事故的发生。
40.本发明的其他有益效果将在具体实施方式中进一步进行说明。
附图说明
41.图1是本发明中铁路巡检车的结构侧视图。
42.图2是本发明中铁路巡检车的结构仰视剖面图。
43.图3是本发明中铁路巡检车的内部控制系统结构框图。
44.图4是本发明中第一图像采集装置的侧视剖面图。
45.图5是本发明中第二图像采集装置的侧视图。
46.图6是本发明中铁路巡检系统的结构框图。
47.图7是本发明中铁路巡检方法的流程图。
48.图8是缺陷识别结果对应的轨道板裂纹图。
49.图9是缺陷识别结果对应的通信设备卡具脱落异常图。
50.图10是缺陷识别结果对应的通信设备应答器防雨帽脱落异常图。
51.图11是缺陷识别结果对应的扣件缺失图。
52.图12是缺陷识别结果对应的接触网设备斜腕臂绝缘子闪络缺陷图。
53.图中，1、车体；11、驾驶仓；12、后仓；2、底盘；3、第一图像采集装置；31、伸缩驱动电机；32、伸缩式支撑架；33、相机固定架；331、水平架；332、斜向架；333、挡泥板；34、第一光源；35、第一工业相机；4、第二图像采集装置；41、透明挡雨罩；42、第二光源；43、第二工业相机；5、四驱动力装置；6、轨道。
具体实施方式
54.下面结合附图及具体实施例对本发明做进一步阐释。
55.实施例1：
56.如图1和图2共同所示，本实施例提供一种铁路巡检车，包括封闭式的车体1、底盘2、第一图像采集装置3以及第二图像采集装置4，底盘2的底端设置有四驱动力装置5，且底盘2的底端两侧各设置有一个的第一图像采集装置3，第一图像采集装置3位于轨道6的上方，车体1设置于底盘2的顶端，车体1的顶端两侧各设置有一个的第二图像采集装置4，且车体1包括驾驶仓11和后仓12，第二图像采集装置4面向轨道6外侧设置，如图3所示，驾驶仓11的内部设置有驾驶单元和控制单元，后仓12的内部设置有轨道几何测量单元、车体振动加速度测量单元以及gps里程自动修正单元，控制单元分别与驾驶单元、轨道几何测量单元、车体振动加速度测量单元、gps里程自动修正单元、第一图像采集装置3以及第二图像采集装置4通信连接，驾驶单元与四驱动力装置5通信连接，且控制单元通信连接有外部的云存储平台。
57.工作人员通过驾驶单元驾驶铁路巡检车，四驱动力装置5为铁路巡检车提供充足的动力，以便在寒冷或陡峭的地段行驶，轨道几何测量单元设置有2d激光传感器、轨向加速度传感器、高低加速度传感器、侧滚陀螺、摇头陀螺以及倾角传感器等部件和传感器，采集轨道6的轨距、轨向、高低、水平、三角坑、超高以及曲率等的轨道几何数据，车体振动加速度测量单元设置有车体垂直加速度传感器和车体水平加速度传感器等部件和传感器，采集车
体1的垂直加速度和水平加速度，gps里程自动修正单元设置有gps传感器、速度传感器以及无线射频天线等部件和传感器，并且在轨道的两侧的规定里程和位置处设置有电子射频标签，用于自动校正轨检车里程，消除测量的里程累计误差，并且对铁路巡检车进行准确定位，便于各段准确定位检查缺陷处所，查找和整治轨道6病害，保证铁路行车安全和提高轨道6保养质量，第一图像采集装置3采集轨道6的顶端和两侧面的巡检视频数据，第二图像采集装置4采集接触网设备和铁路通信设备的巡检视频数据，控制单元控制检测装置和单元的正常工作，并将铁路巡检视频数据发生至云存储平台进行存储，避免了数据丢失。
58.作为优选，如图4所示，第一图像采集装置3包括伸缩驱动电机31、伸缩式支撑架32、相机固定架33、三个第一光源34以及三个第一工业相机35，伸缩驱动电机31设置于伸缩式支撑架32的内部，伸缩式支撑架32的固定端与底盘2的底端一侧垂直固定连接，且伸缩式支撑架32的移动端与相机固定架33的顶端中部垂直固定连接，相机固定架33垂直于轨道6方向设置，且相机固定架33的内部设置有若干第一工业相机35，三个第一工业相机35的摄像头面对轨道6设置且角度可调整，每个第一工业相机35的摄像头处设置有第一光源34，且三个第一工业相机35、三个第一光源34以及伸缩驱动电机31均与控制单元通信连接；
59.相机固定架33包括水平架331、对称设置在水平架331两端的斜向架332以及面向轨道6方向设置在相机固定架33外部的挡泥板333，水平架331的外部顶端与伸缩式支撑架32的活动端固定连接，水平架331的内部底端和两个水平架331的内部底端均设置有一个的第一工业相机35。
60.多角度的相机固定架33安装第一工业相机35能够实现轨道6的顶端和两侧面的视频完整捕捉，并且实现了轨距等数据的获取，同时挡泥板333避免雨天的污泥或飞石对第一工业相机35的损坏，提高了设备的安全性，伸缩驱动电机31和伸缩式支撑架32支持不同高度的铁路巡检车能够清晰的捕捉视频数据，第一光源34为夜晚巡检提供光照。
61.作为优选，如图5所示，第二图像采集装置4包括封闭式的透明挡雨罩41、第二光源42、一个水平设置且摄像头角度可调整的第二工业相机43以及一个仰角设置且摄像头角度可调整的第二工业相机43，两个第二工业相机43和第二光源42均设置于透明挡雨罩41的内部，且两个第二工业相机43和第二光源42均与控制单元通信连接，透明挡雨罩41设置于车体1的顶端一侧。
62.透明挡雨罩41防止雨水导致第二工业相机43的短路情况，第二光源42为夜晚巡检提供光照，水平设置和仰角设置的摄像头角度可调整的第二工业相机43捕捉位于轨道6顶端的接触网设备和两侧的铁路通信设备的视频数据。
63.作为优选，控制单元包括微控制器、存储模块、无线通信模块、传感器组、a/d转换模块以及数据压缩模块，微控制器分别与存储模块、无线通信模块、a/d转换模块、数据压缩模块、驾驶单元、轨道几何测量单元、车体振动加速度测量单元、gps里程自动修正单元、第一图像采集装置3以及第二图像采集装置4连接，a/d转换模块与传感器组连接，无线通信模块通信连接有外部的云存储平台；微控制器实现各装置和单元的控制工作，存储模块实时存储铁路轨道数据和巡检视频数据，无线通信模块将铁路轨道数据和巡检视频数据发送至云存储平台进行存储，a/d转换模块将传感器组采集的模拟信号转换为计算机能够识别的数字信号，数据压缩模块对铁路轨道数据和巡检视频数据进行压缩，提高数据传输速率和数据的实时性；
64.传感器组包括均与a/d转换模块连接的仓内温湿度传感器、气象传感器以及气压海拔传感器，仓内温湿度传感器设置于驾驶仓11内部，气象传感器和气压海拔传感器设置于车体1外部；仓内温湿度传感器采集驾驶仓11的温度和湿度，气象数据采集铁路巡检车行驶的环境气象数据，包括环境温度、湿度、风速、风向等，气压海拔传感器采集铁路巡检车行驶的气压和海拔，能够对铁路巡检车的实际行驶环境进行准确的判断。
65.本发明提供了一种铁路巡检车对铁路沿线的轨道6、接触网以及通信设备进行巡检，避免了人力巡检的方式，减少了人力成本投入和巡检人员的工作量，同时采用第一图像采集装置3和第二图像采集装置4对轨道6、接触网以及通信设备进行图像识别和缺陷识别，提高了巡检效率和准确性，采用的封闭式的车体1和四驱动力装置5提高了对复杂环境的适应性，避免了安全事故的发生，提高了安全性。
66.实施例2：
67.如图6所示，本实施例在实施例1的基础上，提供一种铁路巡检系统，基于铁路巡检车，包括控制中心、云存储平台以及若干铁路巡检车，控制中心与云存储平台通信连接，云存储平台分别与若干铁路巡检车的控制单元通信连接，控制中心包括管理服务器和若干数据处理服务器，管理服务器分别与云存储平台和若干数据处理服务器通信连接。
68.若干铁路巡检车分别采集对应的铁路的铁路轨道数据和巡检视频数据，并上传至云存储平台进行存储，将图像处理和数据分析放至控制中心的数据处理服务器进行，简化了铁路巡检车的硬件配置，减少了硬件成本投入，并且保证了数据的可靠性和巡检结果的准确性，管理服务器将从云存储平台下载的铁路轨道数据和巡检视频数据分配至对应的数据处理服务器，数据处理服务器基于预先建立的目标识别模型和缺陷识别模型对巡检视频数据进行图像识别，对铁路轨道数据进行可视化分析，提高了数据处理的效率，最后将结果进行展示，实现了铁路巡检的自动化、智能化监测。
69.本发明提供了一种铁路巡检系统，同时对不同线路的铁路进行巡检，实时采集铁路轨道数据和铁路巡检视频数据，将数据存储至云存储平台，避免了数据的丢失，在控制中心进行在线控制和数据、图像分析，提高了巡检结果的可视化和准确性，大大的提高了系统的实用性和巡检工作的可靠性。
70.实施例3：
71.如图7所示，本实施例在实施例2的基础上，提供一种铁路巡检方法，基于铁路巡检系统，包括如下步骤：
72.初始化铁路巡检系统，基于深度学习建立目标识别模型和缺陷识别模型，包括如下步骤：
73.获取历史的铁路巡检图像数据集并进行预处理，得到预处理后巡检图像数据集，历史的铁路巡检图像数据集包括历史的轨道图像数据集、历史的接触网设备图像数据集以及历史的铁路通信设备图像数据集；
74.预处理包括对图像进行的几何变换处理、光学变换处理、增加噪声处理以及归一化处理，能够突出图像数据的特征和统一处理的效率，提高了图像识别和分析的准确性；
75.将历史的预处理后巡检图像数据集输入yolov5模型进行训练，建立目标识别模型并得到历史的目标识别图像数据集；
76.将历史的目标识别图像数据集进行扩展，包括增加其他的带有缺陷的轨道图像数
据集、接触网设备图像数据集以及铁路通信设备图像数据集，提高了模型的学习能力，并将扩展后的历史的目标识别图像数据集输入yolov5模型进行训练，得到缺陷识别模型；
77.yolov5模型的网络结构包括依次连接的输入端、backbone模块、neck模块和prediction模块，输入端设置有mosaic数据增强模块，backbone模块包括focus结构和csp结构，neck模块的结构为fpn-pan结构，prediction模块的损失函数为giou_loss函数；
78.mosaic数据增强模块随机使用4张图片，随机缩放，再随机分布进行拼接，丰富了数据集，减少了图形处理器的数量，focus结构对原始图像进行切片处理，将大尺寸的图像切片成小尺寸的特征图，提高了识别和处理的效率，fpn结构，对骨架网络输出的三个基本特征层通过fpn构建网络金字塔，首先使用1x1的卷积调整通道数，然后使用上采样进行特征的融合，最终输出三个有效特征层用于训练预测，fpn层的后面还添加了一个自底向上的特征金字塔，其中包含两个pan结构，构成了本方案的fpn+pan结构，这样结合操作，fpn层自顶向下传达强语义特征，而特征金字塔则自底向上传达强定位特征，从不同的主干层对不同的检测层进行特征聚合，进一步提高特征提取的能力，目标识别模型的损失函数一般由classificition loss(分类损失函数)和bounding box regeression loss(回归损失函数)两部分构成，本实施例使用giou_loss函数对回归损失函数进行改进，其公式为：
[0079][0080]
式中，ciou_loss为giou_loss函数值；ciou为ciou回归损失值；iou为图像交并比值；dis tan ce_22/dis tan ce_c2为中心点距离值；v为长宽比参数；
[0081]
使用铁路巡检车采集、本地存储以及上传实时的铁路轨道数据、铁路巡检视频数据以及对应的位置数据；
[0082]
使用控制中心下载实时的铁路巡检视频数据，并将实时的铁路巡检视频数据输入目标识别模型进行识别，得到目标识别图像数据集，包括如下步骤：
[0083]
使用目标识别模型对实时的铁路巡检视频数据进行帧截取，得到连续帧的铁路巡检视图像数据集；
[0084]
对连续帧的铁路巡检视图像数据集进行预处理，得到连续帧的预处理后铁路巡检视图像数据集；
[0085]
将连续帧的预处理后铁路巡检视图像数据集输入目标识别模型，对每一张图像数据进行网格划分，并设置所有的网格的先验框；
[0086]
获取所有的先验框与对应的预设的预测框的偏移量，并根据偏移量获取所有的网格对应的初始的预测框的位置；
[0087]
根据预设的iou值和预设的置信度对所有的初始的预测框进行非极大值抑制筛选，得到每一张图像数据的最终的预测框的位置；
[0088]
通过最终的预测框的设置，能够在图像中目标被遮挡时也能检测出对应的目标图像，在本实施例中，轨道的损伤再被污泥遮挡时、接触网设备或铁路通信设备的图像被透明挡雨罩的雨水或污泥遮挡时均也能够准确识别，提高了巡检结果的准确性和可靠性；
[0089]
使用多目标跟踪sort算法对最终的预测框内的同一目标图像进行目标追踪和目标识别，得到同一目标的连续帧的接触网设备识别图像数据集和连续帧的铁路通信设备识别图像数据集，即目标识别图像数据集；sort算法包括卡尔曼滤波算法和匈牙利匹配算法，
由于本实施例采用的连续帧的图像，对同一设备或同一处轨道损伤进行追踪和编号，避免了重复识别，提高了巡检结果的准确性；
[0090]
将目标识别图像数据集输入缺陷识别模型进行识别，得到缺陷识别结果，并根据缺陷识别结果和对应的位置数据生成铁路巡检报告，包括如下步骤：
[0091]
使用缺陷识别模型获取目标识别图像数据集中同一目标图像的缺陷类型，缺陷类型包括钢轨表面伤损、扣件异常、接触网悬挂装置零部件异常、轨腰塞钉异常、应答器异常和漏缆卡具缺陷，如图8至图12所示；
[0092]
根据目标识别图像数据集中目标图像的灰度区域获取缺陷面积，并将同一目标图像的最大的缺陷面积作为最终的缺陷面积；通过灰度区域的像素点面积获取缺陷面积，能够准确判断当前轨道损伤的严重程度，提高了巡检工作的可靠性；
[0093]
将缺陷类型和缺陷面积作为缺陷识别结果，通过缺陷类型和缺陷面积能够准确判断当前设备或轨道的维修紧要程度，若轨道损伤面积过大，重要设备的部分零件缺少，需要及时进行维修。
[0094]
本发明提高了一种铁路巡检方法，通过深度学习建立目标识别模型和缺陷识别模型能够自动对铁路巡检视频数据进行目标识别和缺陷识别，避免了人工分辨和检测，最后生成的铁路巡检报告是维修人员能够准确定位缺陷目标和缺陷位置，提高了维修的效率，避免了后续事故的发生。
[0095]
本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。