基于图像处理的轮胎吊自动过街系统及方法与流程

本发明涉及堆场作业系统及方法，更具体地说，涉及一种基于图像处理的轮胎吊自动过街系统及方法。

背景技术：

轮胎吊在堆场作业中，根据作业需要，需从一个堆场过街进入对面堆场进行作业。目前现有的自动化轮胎吊过街方案主要有GPS导航、磁钉定位等。这些方案存在操作过程复杂、价格昂贵等问题。

技术实现要素：

本发明的目的是提供一种基于图像处理的轮胎吊自动过街系统及方法，解决现有系统及方法操作过程复杂、价格昂贵等问题。

为实现上述目的，本发明采用如下技术方案：

一种基于图像处理的轮胎吊自动过街系统，包括轮胎吊大车、参照物、图像获取设备、标定设备、处理设备。参照物安装在堆场边缘呈一直线，并且与轮胎吊大车保持一定的横向间距，图像获取设备固定与轮胎吊大车的门腿上，参照物处于图像获取设备的成像视野中心。处理设备设定轮胎吊大车坐标系，标定设备设置于轮胎吊大车坐标系下的固定间距位置，且处理设备根据标定设备生成相机坐标系与轮胎吊大车坐标系之间的对应关系，以及轮胎吊大车坐标系与世界坐标系之间的对应关系。处理设备将参照物的图像坐标实时转换为世界坐标，计算出偏差信号发送至轮胎吊大车，轮胎吊大车根据偏差信号控制自身行走。

进一步地，图像获取设备调节到至少能拍摄4个参照物。

进一步地，标定设备包括标定板，标定板上设有多个标志点，每个标志点的直径为10cm，水平方向和垂直方向相邻两个标志点的圆心距离为10cm。标定板的底色为黑色，周围有一圈宽度为5cm的白色边缘。

进一步地，图像处理设备将图像传输至处理设备。处理设备将彩色图像转换为灰度图像，再将图像二值化处理、求取梯度，将图像中的重心进行直线拟合求取直线斜率。

进一步地，相机坐标系与轮胎吊大车坐标系之间的对应关系包括旋转参数与平移参数，处理设备根据旋转参数和平移参数建立轮胎吊大车坐标系与世界坐标系之间的对应关系。

进一步地，图像获取设备为近红外摄像机，摄像机设置于防水罩内，防水罩的支架安装在轮胎吊大车门腿的两侧。

为实现上述目的，本发明还采用如下技术方案：

一种基于图像处理的轮胎吊自动过街方法，包括以下步骤：步骤1，在轮胎吊大车周围安装并调试参照物；步骤2，根据参照物来调节轮胎吊大车上的图像获取设备；步骤3，利用标定设备，生成相机坐标系与轮胎吊大车坐标系之间的对应关系，以及轮胎吊大车坐标系与世界坐标系之间的对应关系；步骤4，对检测到的参照物进行图像处理；步骤5，将参照物图像的坐标转换为世界坐标，进行差分计算并将偏差信号输出至轮胎吊大车；步骤6，轮胎吊大车根据偏差信号控制自身行走。

进一步地，步骤4包括：步骤4.1，将参照物的图像转换为8位灰度图像；步骤4.2，利用自适应阈值方法，进行图像二值化处理；步骤4.3，求取梯度，利用形态学对参照物的特征进行连通域处理；步骤4.4，求取连通域的重心；步骤4.5，将图像中的重心进行直线拟合，求取直线斜率。

进一步地，相机坐标系与轮胎吊大车坐标系之间的对应关系包括旋转参数与平移参数，处理设备根据旋转参数和平移参数建立轮胎吊大车坐标系与世界坐标系之间的对应关系。

在上述技术方案中，本发明不仅具有较高的精确度，而且在轮胎吊过街施工改造过程中工作量小、成本低，鲁棒性高。

附图说明

图1是本发明基于图像处理的轮胎吊自动过街系统的结构示意图；

图2是标定板的示意图；

图3是本发明系统第一实施例的模块示意图；

图4是本发明系统第二实施例的模块示意图；

图5是本发明基于图像处理的轮胎吊自动过街方法的流程图。

具体实施方式

下面结合附图和实施例进一步说明本发明的技术方案。

本发明提出一种基于图像处理的轮胎吊自动过街技术，其主要原理是通过摄像机对地面布置的参照物进行拍摄，获取包含参照物的图像，经过图像处理技术从场景中自动提取出参照物特征信息，根据该特征信息计算出轮胎吊行驶参数数据，进而根据行驶数据控制轮胎吊自动过街。

参照图1，本发明首先公开一种基于图像处理的轮胎吊自动过街系统，其主要设备包括轮胎吊大车1、参照物2、图像获取设备3、标定设备、处理设备等。

参照物2安装在堆场边缘呈一直线，并且与轮胎吊大车1保持一定的横向间距，图像获取设备3固定与轮胎吊大车1的门腿上，参照物2处于图像获取设备3的成像视野中心。图像获取设备3是采用主动补光的近红外智能摄像机，参照物2是安装于地面上的标志物，两者是构成基于图像处理的大车过街纠偏系统的核心元件。图像获取设备3采用主动补光的近红外智能摄像机，安装于可上下旋转调节，左右旋转调节设计的防水罩支架外壳里面，以方便现场摄像机拍摄角度的调节。并将摄像机防水罩支架外壳安装如图1所示的位置。参照物2均匀等间隔地安装在轮胎吊边上，并且防止轮胎吊压到，避免损坏轮胎吊和它自身。

如图2所示，标定设备包括标定板，标定板上设有多个标志点，每个标志点的直径为10cm，水平方向和垂直方向相邻两个标志点的圆心距离为10cm。标定板的底色为黑色，周围有一圈宽度为5cm的白色边缘。处理设备设定轮胎吊大车1坐标系，标定设备设置于轮胎吊大车1坐标系下的固定间距位置，且处理设备根据标定设备生成相机坐标系与轮胎吊大车1坐标系之间的对应关系，以及轮胎吊大车1坐标系与世界坐标系之间的对应关系。处理设备将参照物2的图像坐标实时转换为世界坐标，计算出偏差信号发送至轮胎吊大车1，轮胎吊大车1根据偏差信号控制自身行走。

轮胎吊自动过街过程中，通过安装在大车左右门腿支架上的两个摄像头拍摄安装在路面上的反光参照物2，获得包括反光参考物在内的视频/图像信息，然后经过图像处理技术将图像中的参照物2检测出来，计算其在图像中的坐标。根据图像坐标系与堆场坐标系之间的标定关系，将参照物2的图像坐标其转换为堆场的世界坐标，从而计算出参照物2在堆场坐标系中的绝对位置，再根据相机在轮胎吊大车1上的安装外部参数，计算出大车行进轨迹与地面参照物2的相对偏移关系，根据该偏移数据来控制轮胎吊的差速操作，实现自动过街。

如图3所示，在本发明的第一个实施例中，设备31是工控机或者嵌入式运算主板等运算处理单元，对设备32采集的视频照片进行实时处理，然后输出运算结果给大车行走PLC。

设备32是采用主动补光的近红外摄像机，主要前后两个构成，采用主动补光技术主要是为了让摄像机滤出其他环境光线的干扰，使其只对自身发射的光线进行成像。提高系统的鲁棒性。

设备33是安装于地面上的若干标志物，主要是对设备32发出的光进行反射，形成一个强对比度的参照物。

设备34是大车行走控制器PLC，接受设备35输出的结果，对大车的行走提供驱动控制信号。

如图4所示，在本发明的第二个实施例中，设备42是采用主动补光的近红外智能摄像机，主要前后两个构成，将图像处理单元44集成于摄像机体内，具有实时的图像采集和处理功能。采用主动补光技术主要是为了让摄像机滤出其他环境光线的干扰，使其只对自身发射的光线进行成像，提高系统的鲁棒性。

设备43是安装于地面上的标志物，主要是对设备42发出的光进行反射，形成一个强对比度的参照物。

此外，如图5所示，本发明还公开一种基于图像处理的轮胎吊自动过街方法，其主要包括以下步骤：

S1：在轮胎吊大车周围安装并调试参照物。

将参照物按一定纵向间距均匀的安装在堆场边缘，与轮胎吊大车轮胎保持一定的横向间距，其间距大约1m，并且使其在一条直线上，防止轮胎吊碾压损坏参照物和磨损轮胎吊轮胎。轮胎吊大车按照参考物所形成的直线平行直线前进。作为本发明的一种优选实施方式，参照物是对红外反射明显的市场上可以买到的标准件。

S2：根据参照物来调节轮胎吊大车上的图像获取设备。

将两个摄像机分别固定在轮胎吊大车行走方向的左右门腿两侧，采用主动补光的近红外智能摄像机，安装于可上下旋转调节，左右旋转调节设计的防水罩支架外壳里面，以方便现场摄像机拍摄角度的调节。调节支架安装角度/左右调节相机，使得地面参照物在图像的成像视野中处于中心心位置，且至少拍摄到4个明显的具有反光效果的参考物。

S3：利用标定设备，生成相机坐标系与轮胎吊大车坐标系之间的对应关系，以及轮胎吊大车坐标系与世界坐标系之间的对应关系。

将外参标定板摆放于大车坐标系下的固定间距位置，利用安装好的摄像机采集外参标定板图像，标定出相机坐标系与大车坐标系之间的外参参数，即旋转参数与平移参数。处理设备根据外参参数(即旋转参数和平移参数)将相机坐标系下的图像坐标与世界坐标系中的坐标进行转换，建立世界坐标系与图像坐标系之间的对应关系。

每个标定标志点的直径为10cm，水平方向和垂直方向相邻两个圆的圆心距离为10cm。横向设计成3行，纵向设计成5列，共15个标定标志点。标志点处于黑色的底色之上，周围有一圈宽度为5cm的白色边缘。标志点的世界坐标系坐标与标志点的图像坐标系中的坐标完成一一对应的关系后，即确定了摄像机在当前姿态下的成像关系。

作为本发明的一种优选实施方式，标定板作为标定的标准，其自身各标志点之间的位置关系是明确的。在水平方向，各标志点的圆心之间有明确的距离；在垂直方向，各标志点的圆心之间也有确定的距离；根据应用场景的范围不同，可将圆心间距进行不同的定义。

S4：对检测到的参照物进行图像处理。

S4具体包括以下的子步骤：

S4.1：两个摄像机分别采集参照物的图像，并传输给工控机图像处理模块，将参照物的图像转换为8位灰度图像。

S4.2：再利用OTSU自适应阈值的方法，进行图像二值化处理。

S4.3：求取梯度，利用形态学对参照物的特征进行连通域处理。

S4.4：求取连通域的重心。

S4.5：将图像中的重心进行直线拟合，求取直线斜率。

S5：工控机将处理得到的参照物图像的坐标转换为世界坐标，进行差分计算并将偏差信号输出至轮胎吊大车。

工控机或者嵌入式运算主板等运算处理单元，对S4中视频/照片进行实时处理，将参照物的图像坐标实时的转换为世界坐标，并进行差分计算然后输出运算结果给大车行走PLC。

S6：轮胎吊大车根据偏差信号控制自身行走。具体来说，运动控制PLC将得到的偏差信号进行控制轮胎吊自动过街。

综上所述，本发明具有以下特点：

1.全天候24小时连续作业，能够适应码头环境；

2.精确度±2cm；

3.节省成本，便于安装和工程施工；

4.采用工业相机稳定可靠；

5.地面参照物采用红外补光灯进行主动补光，不受环境影响。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。