铁路正面吊装车作业辅助系统及其工作方法与流程

本发明涉及铁路正面吊装，特别涉及一种铁路正面吊装车作业辅助系统及其工作方法。

背景技术：

1、正面吊装或龙门吊装时货运集装箱装卸的主要装卸手段，龙门吊装通常采用龙门吊起重机横跨火车轨道、集装箱箱区和集装箱卡车车道。吊运时，火车上集装箱或集装箱卡车与起重机吊具的对位依赖司机人工目测，当吊具下降接近集装箱时，司机根据目测吊具与集装箱的位置反复移动吊具，此类方法严重降低装卸速度影响工作效率，在现有技术中例如公开号为cn112850498a，名称为铁路龙门吊吊具定位控制系统和方法的专利中则是采用布设多个激光扫描仪的形式，测量小车与集装箱的距离，辅助实现吊具的定位；但是该过程需要在吊具进行多个激光扫描仪和传感器的布设，一旦铁路停车时车厢没有停在龙门吊的预设范围内就需要反复调整，因此该过程并不容易实现。

2、正面吊装是将集装箱吊起并且将集装箱移动到敞车上，或者正面吊将集装箱吊起并且将集装箱从敞车上移出。由于具有较好的移动性和工作范围可灵活调整，因此，能很好的弥补龙门吊的上述缺点，但是现有的正面吊装技术中，由于集装箱的尺寸大，在正面吊装载集装箱的作业中，正面吊要将集装箱放置在敞车中线上，不能出现较大的偏载，因此对吊装司机的操作要求很高，现有技术中例如：申请号为201811152102.x名称为“一种集装箱装载对中系统”的专利申请文献中提供的对中方法是利用北斗等全球导航卫星获取定位数据，通过解算吊具的导航信号实现对定位，但是此种方法需要实时对定位数据进行解算，且受到定位基站和卫星信号的影响，定位精度较低，无法得到高精度的对中结果，因此需要提供一种解算速度较快，不易受到干扰和限制，且能够得到精准对中结果的铁路正面吊装车作业辅助系统及其工作方法。

技术实现思路

1、本发明的目的旨在至少解决所述的技术缺陷之一。

2、为此，本发明的一个目的在于提出一种铁路正面吊装车作业辅助系统及其工作方法，采用视觉传感器、毫米波测距传感器和激光雷达集成为一体的多维复合探测器，在吊装过程中，同步获取视觉、距离和三维扫描信息，实现正面吊装的准确对中。

3、为了实现上述目的，本发明一方面的实施例提供一种铁路正面吊装车作业辅助系统，包括多维复合探测器、中控器和数据处理器；

4、所述多维复合探测器将视觉传感器、毫米波测距传感器和激光雷达集成为一体，设置在吊车前方，并设置为吊具处于视野范围中心；

5、所述中控器用于控制开启视觉传感器，根据视觉传感器获取的视觉信息判断吊具是否挂载集装箱；当挂载集装箱时，启动毫米波测距传感器测量吊车与敞车的距离；判断是否进入装载区；当进入装载区时，控制开启激光雷达，利用激光雷达对敞车和集装箱进行三维扫描；

6、所述数据处理器用于根据对敞车和集装箱的三维扫描数据，提取敞车三维点云和集装箱三维点云；根据视觉信息提取集装箱型号；根据集装箱三维点云数据和集装箱型号计算集装箱中心，判断集装箱中心是否位于敞车中心区域，并以虚拟图像形式反馈，辅助操作人员进行吊装作业。

7、进一步优选的，所述判断集装箱中心是否位于敞车中心区域，包括如下过程：

8、利用敞车三维点云提取敞车两个对角的坐标，根据两个对角的坐标计算敞车中心坐标；

9、根据敞车中心坐标，按照预设的容错范围生成中心框；

10、利用集装箱三维点云提取集装箱横向边线和纵向边线；根据集装箱型号，利用横向边线偏移生成中心横线，当中心横线落入中心框时，提示操作员驻车；

11、根据纵向边线偏移生成中心竖线，当中心竖线落入中心框时，提示操作员将集装箱下放吊具完成吊装。

12、进一步优选的，还包括当中心线落入中心框时，根据视觉信息进行全景展示，提取敞车的边框和集装箱的边框，判断集装箱的边框是否落入敞车边框范围内，生成动态二维差量指示箭头图，通过车内显示屏提供给正面吊驾驶员。

13、进一步优选的，所述根据视觉传感器获取的视觉信息判断吊具是否挂载集装箱，包括以下过程：

14、通过机器学习建立挂载识别网络和敞车识别网络；

15、根据实时获取的视觉信息进行目标识别，所述挂载识别网络用于实时获取的图像中识别集装箱；

16、所述敞车识别网络用于从实时获取的图像中识别敞车。

17、进一步优选的，所述数据处理器还包括根据视觉信息和敞车识别网络识别出来的敞车位置中，选定待作业敞车区域，对选定的敞车区域范围进行边缘检测，将相邻的非作业敞车进行重新赋色。

18、进一步优选的，所述启动毫米波测距传感器测量吊车与敞车的距离，判断是否进入装载区，包括如下步骤：

19、所述毫米波测距传感器获取与前方障碍物的距离；

20、当得到的距离值连续下降到预设范围时，检测敞车识别网络的识别结果，当识别到敞车目标时，确认进入装载区。

21、本发明还提供一种铁路正面吊装车作业辅助系统工作方法，包括以下步骤：

22、s1、获取的视觉信息判断吊具是否挂载集装箱；

23、s2、当挂载集装箱时，测量吊车与敞车的距离；判断是否进入装载区；

24、s3、当进入装载区时，利用激光雷达对敞车和集装箱进行三维扫描；

25、s4、根据对敞车和集装箱的三维扫描数据，提取敞车三维点云和集装箱三维点云；

26、s5、根据视觉信息提取集装箱型号，根据集装箱三维点云数据和集装箱型号计算集装箱中心，判断集装箱中心是否位于敞车中心区域，并以虚拟图像形式反馈，辅助操作人员进行吊装作业。

27、进一步优选的，在s5中，所述判断集装箱中心是否位于敞车中心区域时，包括：

28、s501、利用敞车三维点云提取敞车两个对角的坐标，根据两个对角的坐标计算敞车中心坐标；

29、s502、根据敞车中心坐标，按照预设的容错范围生成中心框；

30、s503、利用集装箱三维点云提取集装箱横向边线和纵向边线；根据集装箱型号，利用横向边线偏移生成中心横线，当中心横线落入中心框时，提示操作员驻车；

31、s504、根据纵向边线偏移生成中心竖线，当中心竖线落入中心框时，提示操作员将集装箱下放吊具完成吊装。

32、进一步优选的，在s1中，所述根据视觉传感器获取的视觉信息判断吊具是否挂载集装箱，包括以下过程：

33、s101、通过机器学习建立挂载识别网络和敞车识别网络；

34、s102、根据实时获取的视觉信息进行目标识别，所述挂载识别网络用于实时获取的图像中识别集装箱；所述敞车识别网络用于从实时获取的图像中识别敞车。

35、根据本发明实施例提供的铁路正面吊装车作业辅助系统及其工作方法，相比于现有技术，至少具有以下优点：

36、本技术采用视觉传感器、毫米波测距传感器和激光雷达集成为一体的多维复合探测器，在吊装过程中，通过对获取的图像进行目标识别后，利用三维扫描信息，对集装箱和敞车的位置进行计算，以敞车中心位置为基准划分中心区域，通过对比集装箱中心是否落入中心区域中，对集装箱的位置进行初步对中识别，初步对中识别后，保证集装箱能够落入敞车范围；再利用全景图像，根据图像边缘检测结果进行精细调整，最终实现正面吊装的准确对中，相比于现有技术，本技术获取的数据反馈速度快，不受天气或卫星质量的数据传输限制，并且计算过程中，计算量少，反应快，实现了数据实时反馈，利用多维数据融合显示，也实现了作业流程与多源探测设备的接力融合，发挥每一种探测器的特点，从一个探测设备到另一个探测设备的覆盖范围的切换与交接，定位结果更精准。

37、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。