一种基于机器视觉的铁路货运集装箱自动化装卸方法与流程

本发明涉及集装箱自动化吊装作业，尤其涉及一种基于机器视觉的铁路货运集装箱自动化装卸方法。

背景技术：

1、为提升内陆集装箱运输效率，运输行业对铁路集装箱的自动化作业工作有了更高要求。目前，铁路集装箱货场在集装箱由列车转移至箱区，或由箱区转移至列车车厢的进出箱过程，往往由传统方法辅助实现，即通过雷达数据对列车车厢位置及列车中的集装箱进行定位，进一步实现集装箱的进出箱。受制于雷达数据采集的实时性及精度问题，该方案存在一定的效率低，安全性低的问题。

2、综上所属，为解决铁路集装箱作业过程中的效率及安全性问题，针对铁路集装箱进出箱应用场景，结合现有设备，研发高效率，安全完善的列车定位系统，是很有必要的。

技术实现思路

1、有鉴于此，本发明提出了一种实时性好、精度更高的抓放箱功能的基于机器视觉的铁路货运集装箱自动化装卸方法。

2、本发明的技术方案是这样实现的：本发明提供了一种基于机器视觉的铁路货运集装箱自动化装卸方法，包括如下步骤：

3、s1：在轨道吊上配置plc，在轨道吊的主梁上安装相机，相机位于列车装车道的上方，对相机进行标定，获取相机内参和外参；基于轨道吊建立世界坐标系；

4、s2：通过相机采集作业列车车厢的视频图像数据，通过深度学习方法提取视频图像数据中的集装箱上顶面边缘角点和车厢顶部边缘角点；

5、s3：根据plc发送的集装箱的箱型及集装箱的位置，确定集装箱上顶面的边缘角点在世界坐标系下的坐标，分别求解集装箱与车厢相对于吊具的旋转角度及平移距离；

6、s4：在集装箱的装车厢过程中，通过深度学习方法提取车厢顶部边缘角点并判断厢内是否已放置有集装箱，若车厢内已装有集装箱，则提取该已放置的集装箱上顶面的边缘角点并计算其在世界坐标系下的坐标，否则仅计算车厢顶部的边缘角点在世界坐标系下的坐标；

7、s5：将装卸工况与plc进行实时通讯，由plc驱使吊具实现集装箱的装箱和卸箱工作。

8、在以上技术方案的基础上，优选的，步骤s1所述对相机进行标定，获取相机内参和外参，是使用张正友相机标定法，世界坐标系的原点位于列车装车道的中心位置，世界坐标系的x轴方向为列车装车道的水平宽度方向，世界坐标系的y轴方向为列车装车道的水平长度延伸方向，世界坐标系的z轴方向为垂直与地面向上的方向；内参标定后的相机内参为k，f表示相机的焦距，dx和dy分别表示图像中单个像素x方向和y方向的宽度，f/dx使用像素来描述x轴方向焦距的长度，f/dy使用像素来描述y轴方向焦距的长度，u0和v0分别表示感光板中心在像素坐标系下的坐标；相机外参由相机坐标系相对世界坐标系的旋转向量r和平移向量t决定，本方案中，另经过张正友外参标定法标定后的相机外参

9、优选的，步骤s2所述通过相机采集作业列车车厢的视频图像数据，通过深度学习方法提取视频图像数据中的集装箱上顶面边缘角点和车厢顶部边缘角点，是采用基于深度学习的实例分割方法或者基于深度学习的目标检测方法中的任一种，由训练得到的深度学习模型提取集装箱上顶面边缘角点和车厢顶部边缘角点，并得到各边缘角点的像素坐标。

10、进一步优选的，步骤s3所述根据plc发送的集装箱的箱型及集装箱的位置，确定集装箱上顶面的边缘角点在世界坐标系下的坐标，分别求解集装箱与车厢相对于吊具的旋转角度及平移距离，是在步骤s2获取集装箱上顶面边缘角点后，建立集装箱上顶面空间坐标系，令集装箱上顶面四个边缘角点的像素坐标分别为b1(xb1，yb1)、b2(xb2，yb2)、b3(xb3，yb3)、b4(xb4，yb4)令集装箱的长度为h，宽度为w，以b1为集装箱上顶面空间坐标系的原点，则集装箱上顶面四个边缘角点在集装箱上顶面空间坐标系内的空间坐标分别为bc1(0，0，0)bc2(h，0，0)、bc3(0，w，0)和bc4(h，w，0)，结合相机内参k和相机外参e，以及集装箱的各边缘角点的像素坐标和空间坐标，求解集装箱上顶面空间坐标系与世界坐标系之间的相对位姿关系；

11、在步骤s2获取提取待抓取列车车厢顶部边缘角点后，提取车厢顶部边缘角点像素坐标t1(xt1，yt1)、t2(xt2，yt2)、t3(xt3，yt3)和t4(xt4，yt4)后，建立列车车厢上平面空间坐标系，列车车厢对应的长为ht，宽度为wt；以t1(xt1，yt1)为列车车厢上平面空间坐标系的原点，推导列车车厢顶部边缘角点在列车车厢上平面空间坐标系的坐标为tc1(0，0，0)、tc2(ht，0，0)、tc3(0，wt，0)和tc4(ht，wt，0)，结合相机内参k和相机外参e，以及车厢顶部边缘角点的像素坐标和车厢顶部边缘角点在列车车厢上平面空间坐标系的坐标，求解列车车厢上平面空间坐标系与世界坐标系之间的相对位姿关系。

12、进一步优选的，所述求解集装箱上顶面空间坐标系与世界坐标系之间的相对位姿关系，是将集装箱上顶面各边缘角点在集装箱上顶面空间坐标系的坐标转换到相机坐标系下：n＝1，2，3，4，其中，bxn为相机坐标系下的集装箱上顶面各边缘角点坐标，bcn为集装箱上顶面空间坐标系下的集装箱上顶面各边缘角点坐标，rb为集装箱上顶面空间坐标系到相机坐标系的旋转矩阵，tb为集装箱上顶面空间坐标系到相机坐标系的平移矩阵；

13、随后将相机坐标系下的集装箱上顶面各边缘角点坐标转换到世界坐标系下：其中bwn为世界坐标系下的集装箱上顶面各边缘角点坐标，旋转向量r和平移向量t在相机标定时已获得；当获得世界坐标系下的集装箱上顶面各边缘角点坐标后，结合吊具锁头实时在世界坐标系下的坐标，计算集装箱相对于吊具的位姿、旋转角、小车平移量和大车平移量。

14、更进一步的优选的，所述当获得世界坐标系下的集装箱上顶面各边缘角点坐标后，结合吊具锁头实时在世界坐标系下的坐标，计算集装箱相对于吊具的位姿、旋转角、小车平移量和大车平移量，是根据世界坐标系下的集装箱上顶面各边缘角点坐标bwn和plc提供的世界坐标系下的吊具锁头坐标，计算获取集装箱相对于吊具的旋转角、小车平移量和大车平移量。

15、进一步优选的，所述求解列车车厢上平面空间坐标系与世界坐标系之间的相对位姿关系，是将车厢顶部边缘角点在列车车厢上平面空间坐标系的坐标转换到相机坐标系下：

16、n＝1，2，3，4，其中，bxtn为相机坐标系下的车厢顶部各边缘角点坐标，btn为列车车厢上平面空间坐标系下的车厢顶部各边缘角点坐标，rbt为列车车厢上平面空间坐标系到相机坐标系的旋转矩阵，tbt为列车车厢上平面空间坐标系到相机坐标系的平移矩阵；

17、随后将相机坐标系下的车厢顶部各边缘角点坐标转换到世界坐标系下：其中bwtn为世界坐标系下的车厢顶部各边缘角点坐标，旋转向量r和平移向量t在相机标定时已获得；当获得世界坐标系下的车厢顶部各边缘角点坐标后，结合吊具锁头实时在世界坐标系下的坐标，计算车厢相对于吊具的位姿、旋转角、小车平移量和大车平移量。

18、更进一步的优选的，所述当获得世界坐标系下的车厢顶部各边缘角点坐标后，结合吊具锁头实时在世界坐标系下的坐标，计算车厢相对于吊具的位姿、旋转角、小车平移量和大车平移量，是根据世界坐标系下的车厢上顶面各边缘角点坐标bwtn和plc提供的世界坐标系下的吊具锁头坐标，计算获取车厢相对于吊具的旋转角、小车平移量和大车平移量。

19、本发明提供的一种基于机器视觉的铁路货运集装箱自动化装卸方法，相对于现有技术，具有以下有益效果：

20、(1)通过对相机标定获得相机内外参后，提取待抓取的目标，即集装箱的上顶面边缘角点，利用外参标定的旋转、平移矩阵，将目标角点坐标转换到世界坐标系中，根据plc发送的吊具实时姿态及位置坐标，即可返回给plc实时的集装箱、车厢与吊具间的相对位置，plc通过该信息，控制吊具，实现集装箱的抓放箱功能；

21、(2)本方案通过深度学习提取到初步点、面特征后，结合传统图像学、形态学方案对目标角点进行精确定位，使获取的集装箱上顶面边缘角点和车厢顶部边缘角点像素坐标更加精准。