一种基于机器视觉的轮胎吊行走系统自动纠偏方法与流程

本发明涉及机器视觉和图像识别领域，特别是一种基于机器视觉的车辆导航方法。

背景技术：

轮胎吊具有转场机动灵活，在港口不受定点作业区域限制，能够提高港口设备利用率，减少港口起重机配置数量等特点。然而随着物流的快速发展和人工成本的上升，对轮胎吊的使用效率提出更高的要求。传统的轮胎吊行驶过程中是司机通过肉眼观察地面的引导线采用人工手动纠偏方式，以确保轮胎吊在规定跑道上安全行驶。此种驾驶方式效率不高且需要司机全神贯注，对精力消耗较大，易造成误操作或操作不当从而发生碰撞等事故。

因此实现轮胎吊行走系统的自动纠偏具有重要意义，能够进一步提高工作效率。GPS载波相位差分定位技术是一种已在运用的可以为轮胎吊提供定位导航和自动纠偏的技术。然而该技术方案需要在堆场建造GPS基准站和移动站并在轮胎吊上安装差分接收天线等设备，设备投资大、技术要求高，而且为了减少轮胎吊本体对GPS信号的屏蔽影响，GPS天线需安装在轮胎吊顶端，距地面高度可达15m-20m，定位精度受堆场地面水平度影响较大。因此本发明提出基于机器视觉的轮胎吊自动纠偏方法，通过摄像头的识别轮胎吊引导线并据此计算规划路径制定纠偏策略。相较于采用GPS载波相位差分技术，该方案更为经济。尽管在大雪大雾等天气状况下，会限制摄像头的视野影响摄像头的正常工作，本发明对天气有较好的鲁棒性，在不形成大范围积水、积雪和可见范围足够的雨雾天气仍能正常识别引导线。

技术实现要素：

本发明的目的是提供一种基于机器视觉的轮胎吊行走系统自动纠偏方法，能通过摄像头有效检测轮胎吊行走系统的引导线并计算规划路径制定纠偏策略。

1.本发明解决其技术问题所采用的技术方案包括以下步骤：

(a)选择选择轮胎吊行走系统一侧作为引导侧，在其前后位置分别安装一个同一型号和配置的摄像头并进行校准；

(b)对采集到的图像通过适当的图像预处理得到特定大小和分辨率的待检测图像；

(c)建立BP神经网络并选取大量像素点集进行多次训练；

(d)选取测试误差最小的网络对图像进行识别，所述的图像识别是将每个像素点及其周边范围内像素点的RGB值输入神经网络进行判别；

(e)将识别后的图像简化为一系列离散的点，采用混合Hough变换和最小二乘的方法对图像进行直线检测，通过取所检测到直线对应参数的平均值将检测到的直线合并，并作为规划路径；

(f)拼接前后摄像头图像，以拼接后图像的左上角为原点建立新的坐标系并重新建立两条规划路径的方程；

(g)将两条规划路径参数转换到极坐标参数空间，分别表示为(ρ₁,θ₁)，(ρ₂,θ₂)，计算两点的欧氏距离，若距离大于设定值，则前后摄像头位置有变动需要重新进行校准，否则合并两条规划路径方程为一条；

(h)根据引导侧的中心和规划路径的位置关系以及规划路径与图像纵向中线的夹角制定纠偏策略。

进一步，所述步骤a中所述的摄像头的安装和校准，前后摄像头应安装在引导侧前后的同一高度并与水平面所夹角度一致，具体校准步骤如下：

Step1：令轮胎吊的引导侧中心位于引导线上并使引导侧所在直线与引导线所夹角度大于15度；

Step2：前后摄像头分别采集图像并进行预处理，延长每幅图像中的引导线和图像纵向中线使其相交于图像外。

Step3：测定交点到图像的距离分别计为l1、l2，若二者不一致，则调整摄像头使其一致并计为l；

进一步，所述步骤b中所述的预处理是指将采集到的大幅面高分辨率图像进行分辨率降低并截取感兴趣区域，若图像噪声严重还要进行图像滤波处理。

进一步，所述步骤c中所述的BP神经网络的建立和训练，建立输入层节点为75，输出层节点数为1的BP神经网络，选取大量引导线上大小为5*5的像素点集和引导线外大小为5*5的像素点集并将其分别作为正例和反例对神经网络进行训练，此正反例选取应包括各种工况条件下拍摄的图像，且各种工况下选取的正反例数量需要达到一定数量级。

进一步，所述步骤e中所述的图像简化和混合Hough变换和最小二乘的直线检测方法，其中图像简化的方法如下：

Step1：对识别得到的二值图像每隔5个像素点的宽度取一条横向直线；

Step2：取该直线上每个连通区的中点来简化二值图像。

混合Hough变换和最小二乘的直线检测方法如下：

Step1：将简化图像中的点由直角坐标图像空间向极坐标参数空间转换；

Step2：对参数空间进行极大值抑制并选取参数空间值大于最大值0.3倍的点；

Step3：计算选取点对应的图像空间的像素点和直线方程；

Step4：剔除横向或接近横向分布的直线和对应像素点过少的直线；

Step5：对直线方程参数接近而对应像素点不一致的直线进行合并；

Step6：选取距离每条所检测直线一定距离的点，重新进行最小二乘直线拟合。

进一步，所述步骤f中所述的图像拼接是，保持前摄像头图像不变，后摄像头图像旋转180度后放置于前摄像头图像正下方并间隔2*l。

进一步，所述步骤h中纠偏策略的制定，具体方式如下：

首先定义规划路径和图像纵向中线的夹角取值范围是[-90,90)，位于图像中线右侧为正，左侧为负；

(1)规划路径与拼接图像纵向中线的交点位于拼接图像中心上方，左右轮胎同速运动；

(2)规划路径与拼接图像纵向中线的交点位于拼接图像中心或者其下方且夹角为正，左侧轮胎速度大于右侧轮胎速度，使轮胎吊向右偏转；

(3)规划路径与拼接图像纵向中线的交点位于拼接图像中心或者其下方且夹角为负，右侧轮胎速度大于左侧轮胎速度，使轮胎吊向左偏转；

(4)规划路径与图像纵向中线平行，若规划路径位于图像纵向中线右侧，则左侧轮胎速度大于右侧轮胎速度，使轮胎吊向右偏转；若规划路径位于图像纵向中线左侧，右侧轮胎速度大于左侧轮胎速度，使轮胎吊向左偏转；

(5)规划路径与图像纵向中线完全重合，左右轮胎同速运动。

本发明的有益效果是：

相较于基于GPS的纠偏导航技术，基于机器视觉的自动纠偏方法能有效降低轮胎吊自动导航纠偏的成本。同时为克服恶劣天气对摄像头识别引导线的影响，本发明采用神经网络对各种工况下的图像进行训练，因此对多种恶劣工况和天气具有较强的鲁棒性。即使引导线上有车痕、油污、褪色等情况，依然能准确识别。此外在不形成大范围积水、积雪和可见范围足够的雨雾天气仍能正常识别引导线，不影响轮胎吊正常工作。

附图说明

图1：前摄像头校准示意图

图2：预处理后的图像

图3：神经网络识别的位置图像

图4：二值图像简化效果图

图5：直线检测效果图

图6：拼接图像示意图

图7：直线变换参数示意图

具体实施方式

下面结合附图对本发明的具体实施方式做进一步描述。

本发明以轮胎吊行走系统为控制对象，该系统以PLC控制电路为核心并包含转向器、车轮、驱动器等机械结构。具体实施方案中，通过加装机器视觉单元判断轮胎吊的姿态和下一步运动方向并将结果传输给PLC控制单元，从而实现轮胎吊行走系统的纠偏。该机器视觉单元通过前后两个摄像头采集图像并传输到工控机中进行处理，最后将处理结果传输到PLC。

具体实施步骤主要分为图像预处理、引导线识别、图像拼接、制定纠偏策略四个部分。图像预处理主要是对采集的图像进行滤波去噪，将图像分辨率降低到大小并截取感兴趣区域；引导线的识别采用BP神经网络进行训练和识别并通过Hough变换和最小二乘法进行进一步的检测；图像拼接是将前后摄像头拍摄的图像拼接成一幅图像；最后根据引导侧的中心和规划路径的位置关系以及规划路径与图像纵向中线的夹角制定纠偏策略。具体如下：

1、图像预处理

1.1安装并校准摄像头

将两个同一型号和配置的CCD摄像头分别安装在在轮胎吊一侧的轮胎上方前后位置的同一高度并分别与水平面所夹角度一致。为确保安装正确，需要进行必要的校准：

Step1：令轮胎吊的引导侧中心位于引导线上并使引导侧所在直线与引导线所夹角度大于15度；

Step2：前后摄像头分别采集图像并进行预处理，延长每幅图像中的引导线和图像纵向中线使其相交于图像外(如图1所示)。

Step3：测定交点到图像的距离分别计为l1、l2，若二者不一致，则调整摄像头使其一致并计为l；

1.2图像获取与预处理

设置摄像头的帧率为30fps，设置图像分辨率为1280*960，设置图像ROI为图像中心350*650的区域。每隔3帧采集一副图像，并将图像缩小为175*325，然后采用3*3模板的中值滤波进行中值滤波，最后得到的待处理图像如图2所示。

2、引导线识别

2.1训练BP神经网络

首先，选取应包括各种工况条件下拍摄的图像共500张，包括晴天的各个时段，阴天，夜晚(有辅助光源)，雨，雾，雪(不造成地面积雪情况)等。然后在每一副图像中选取引导线上大小为5*5的像素点集作为BP神经网络训练的正例，选取图像中非引导线部分大小为5*5的像素点集作为BP神经网络训练的反例。每一副图像采集正、反例的数量各为15～25个，500张图像共计采集正例11342个，反例10975个。

建立输入层节点为75，输出层节点数为1，隐含层节点为172的BP神经网络。神经网络隐含层的传递函数为双极性S函数，输出层传递函数为线性函数。将每一个正例或反例数据按列存储为75*1的格式并输入已经建立的神经网络进行训练，共训练20次并统计每个训练成功网络的测试误差。

2.2图像识别

选取测试误差最小的神经网络对图像中的每个像素进行判别，并将判别结果进行二值化得到识别后的二值图像，如图3所示。对于识别得到的二值图像每隔5个像素点的宽度取一条横向直线并取该直线上每个连通区的中点来简化二值图像，如图4所示。图中的“*”表示简化后的点。

2.3引导线检测

采用Hough变换对简化后的二值图像进行直线检测并选取距离每条所检测直线一定距离的点，重新进行最小二乘直线拟合，检测结果如图5所示。图中的四条直线段表示检测到的引导线。Hough变换的基础上对检测的直线进行进一步约束的直线检测方法，包括以下步骤：

混合Hough变换和最小二乘的直线检测方法如下：

Step1：将简化图像中的点由直角坐标图像空间向极坐标参数空间转换；

Step2：对参数空间进行极大值抑制并选取参数空间值大于最大值0.3倍的点；

Step3：计算选取点对应的图像空间的像素点和直线方程；

Step4：剔除横向或接近横向分布的直线和对应点数小于10的直线；

Step5：对直线方程参数接近而对应像素点不一致的直线进行合并；

Step6：选取距离每条所检测直线一定距离的点，重新进行最小二乘直线拟合。

通过取所检测到直线对应参数的平均值将检测到的直线合并，并作为规划路径。

3图像拼接

图像拼接是融合前后摄像头的检测的信息，以便对摄像头位置状态进行自检并为确定轮胎吊姿态和纠偏策略的制定提供帮助。

图像拼接方法是保持前摄像头图像不变，后摄像头图像旋转180度后放置于前摄像头图像正下方并间隔2*l。以拼接后图像的左上角为原点建立新的坐标系并重新建立两条规划路径的方程(如图6所示)。将两条规划路径参数转换到极坐标参数空间(如图7所示)，分别表示为(ρ₁,θ₁)，(ρ₂,θ₂)，计算两点的欧氏距离，若距离大于设定值，则前后摄像头位置有变动需要重新进行校准，否则合并两条规划路径方程为一条。

4制定纠偏策略

根据引导侧的中心和规划路径的位置关系以及规划路径与图像纵向中线的夹角制定纠偏策略。首先定义规划路径和图像纵向中线的夹角取值范围是[-90,90)，位于图像中线右侧为正，左侧为负。

(1)规划路径与拼接图像纵向中线的交点位于拼接图像中心上方，左右轮胎同速运动；

(2)规划路径与拼接图像纵向中线的交点位于拼接图像中心或者其下方且夹角为正，左侧轮胎速度大于右侧轮胎速度，使轮胎吊向右偏转；

(3)规划路径与拼接图像纵向中线的交点位于拼接图像中心或者其下方且夹角为负，右侧轮胎速度大于左侧轮胎速度，使轮胎吊向左偏转；

(4)规划路径与图像纵向中线平行，若规划路径位于图像纵向中线右侧，则左侧轮胎速度大于右侧轮胎速度，使轮胎吊向右偏转；若规划路径位于图像纵向中线左侧，右侧轮胎速度大于左侧轮胎速度，使轮胎吊向左偏转；

(5)规划路径与图像纵向中线完全重合，左右轮胎同速运动。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。