走时出现了向右的偏移，此 时，将偏移角γ经过一个Pi环节处理，作为控制信号输出给右行走先导阀，经多路阀，对右 行走马达的流量进行控制，从而调整右侧履带的行走速度，实现挖掘机的直线行走;反复执 行上述所有控制方法，直到挖掘机完成直线行走过程。
[0024] 与现有技术相比，本发明的有益效果是：
[0025] 1.本发明提出了一种基于图像的挖掘机直线行走的控制系统及方法。所述控制系 统及方法可以实时检测并纠正由挖掘机左右行走系统结构不对称，负载不对称，履带发生 滑移所引起的挖掘机前进方向与目标方向的偏移，实现挖掘机的直线行走功能。
[0026] 2.该控制系统及方法不需要对挖掘机原有的行走液压回路进行改进，也不需要安 装流量计等测量行走马达流量的传感器。只需要安装一台工业摄像头并搭配所需的控制器 即可实现我们的功能。该控制方法可以动态的检测挖掘机前进方向的偏移量并做出修正， 结构简单，工作可靠，精度高，动态性能好。
【附图说明】
[0027]下面结合附图对本发明的【具体实施方式】作进一步详细说明。
[0028]图1为一种基于图像的挖掘机直线行走的控制系统结构图；
[0029]图2为一种基于图像的挖掘机直线行走的图像处理器工作流程图；
[0030]图3为一种基于图像的挖掘机直线行走的行走控制器工作原理图。
【具体实施方式】
[0031]实施例1、图1~图3给出了一种基于图像的挖掘机直线行走控制方法及系统。
[0032 ]该基于图像的挖掘机直线行走控制系统包括:控制器1、左行走先导阀4、右行走先 导阀5、多路阀6、左行走马达7、右行走马达8、摄像头9。
[0033]其中，控制器1是一台工控机，通过挖掘机上的24V蓄电池供电，能实现图像处理和 数据计算任务，由图像处理器2和行走控制器3组成。其中，行走控制器3上带有模拟量输出 板卡，可输出对左行走先导阀4和右行走先导阀5的控制电压。其摄像头9安装于挖掘机机架 上，并通过USB接口与主控制器1相连，摄像头9的镜头朝地面，周期性的拍摄地面图像，并将 图像传输给图像处理器2。图像处理器2处理摄像头9获取的图像信息，并将处理结果传输到 行走控制器3来对挖掘机的直线行走过程进行控制。左行走先导阀4和右行走先导阀5均通 过多路阀6来分别驱动左行走马达7、右行走马达8,并通过左行走马达7、右行走马达8分别 控制挖掘机的左侧行走机构和右侧行走机构。
[0034]本发明的一种【具体实施方式】是：
[0035] -种基于图像的挖掘机直线行走控制方法，所述控制方法包括以下步骤：
[0036] 1.行走控制器3输出控制电压信号给左行走先导阀4和右行走先导阀5,油液经多 路阀6的控制流入左行走马达7,右行走马达8,进而控制挖掘机的直线行走过程。
[0037] 其中，给所述左行走先导阀4和右行走先导阀5的控制电压信号均为6V，通过模拟 式比例放大板分别驱动左行走先导阀4和右行走先导阀5,实现挖掘机以0.5m/s的理论速度 直线前进。
[0038] 2.如图2所示，在挖掘机直线行走过程中，安装于所述挖掘机上的摄像头9周期性 的拍摄地面的图像，并将所述图像信息传输给图像处理器2。
[0039] 其中，所述摄像头9安装于挖掘机的上车机构，镜头朝下实时采集挖掘机行进过程 中的地面图像信息，所述摄像头9采样周期为50ms。
[0040] 3.如图2所示，根据特征提取算法提取出当前时刻接收到图像中的特征点：依次计 算图像中每一点(u， v)与其邻域(x，y)内所有图像点灰度值平方差的总和：
[0042]其中，Iu, V为图像坐标系中坐标为(u，v)处图像的灰度值；
[0043 ] Iu+i, V+j为图像坐标系中坐标为(u+i，V+j)处图像的灰度值；
[0044] 对所得的％忐照从大到小的顺序排序，取eu,v最大的η个点(u，v)作为所述图像的 特征点。
[0045] 其中，所得的η个特征点用于后续的特征点匹配以及偏移角计算过程，为了兼顾计 算机图像处理的速度以及图像辨识精度的需要，本实例中，η取值为50,特征点扫描邻域(X， y)取为1 〇 XI 〇的正方形滑动窗口区域。
[0046] 4.如图2所示，根据特征匹配算法匹配当前时刻和下一时刻接收到的两张图像中 的特征点：
[0047]对于t时刻获取的图像中的每一特征点(ut，vt)，依次计算其与t+ΛΤ时刻接收到的 图像中坐标为(ut+AT，vt+AT)处邻域(m，n)内的所有特征点的平方差：
[0049] 其中，η为(ut+AT，Vt+AT)处邻域(m，η)内特征点的个数，ΛΤ为采样间隔。为t时 刻接收到的图像中坐标为(u，V)处图像的灰度值；Ii为t+ΛΤ时刻接收到的图像中坐标为 (ut+Λτ，vt+Λτ)处邻域(m，η)内第i个特征点的灰度值。
[0050] Ei取最小时，t+ΛΤ时刻接收到的图像中坐标为(ut+Λτ, vt+Λτ)处邻域(m,η)内第i个 特征点即为与t时刻获取的图像中特征点(ut，Vt)相匹配的特征点。考虑到挖掘机直线行走 过程中，所获取的图像会产生平移和旋转变化，所以搜索邻域(m，n)要尽可能大；同时，过大 的邻域增多了可用于匹配特征点的数目，可能会造成误匹配影响匹配精度。综合考虑，本实 例中，我们取特征点扫描邻域(m，η)为30 X 30的正方形滑动窗口区域。
[0051 ] 5.如图2所示，通过坐标变换将匹配后的特征点在图像坐标系下的坐标(u，V)转化 为世界坐标系下的特征点坐标(x，y，z):
[0052]世界坐标系符合右手定则，以挖掘机的回转中心为原点〇,以平行于挖掘机回转马 达回转轴向上的方向为z轴，以平行于挖掘机直线前进的方向为X轴，以垂直于挖掘机直线 前进的方向为y轴。
[0053]图像坐标系向世界坐标系坐标转换的齐次方程为：
，该方程的推导过程如下：
[0058]其中，P为从图像坐标系到世界坐标系的转换矩阵，其中的参数与摄像头内参数以 及摄像头相对于所述世界坐标系坐标原点的安装位置有关。其中，（U0，VQ)为摄像头成像平 面的焦点在图像坐标系中的坐标，ku为u方向上单位宽度的像素个数，kv为V方向上单位宽度 的像素个数，f为摄像头焦距，θ χ，θγ，02分别为摄像头相对于所述世界坐标系X，y，Z轴的旋转 角度，Tx,，T y，Tz分别为摄像头相对于所述世界坐标系x，y，z轴的平移位移。
[0059] 6.如图2所示，计算出所述匹配后的特征点在世界坐标系内相对于z轴的平均旋转 角度γ，此平均旋转角度γ即为挖掘机前进方向的偏移角。
[0060] 本实例中，设：
[0061] 口心1^，71^，21^)为1:时刻获取的第;[个特征点的坐标；
[0062] pi(x(t+AT)i，y(t+AT)i，zt(T+AT)i)为 t+ΛΤ 时刻获取的第 i 个特征点的坐标；
[0063]在一个采样间隔内，匹配后的特征点相对z轴的平均旋转角度γ为：
，其中：1为匹配后的特征点的个数。
[0065] γ即为挖掘机前进方向的偏移角。
[0066] 6.如图2和图3所述，将所述挖掘机行走装置前进方向的偏移角γ传输给行走控制 器，行走控制器根据所述偏移角γ来对挖掘机直线行走过程进行控制。
[0067] 如图3所述，行走控制器3接收图像处理器2传送过来的挖掘机前进方向偏移角γ， 并进行判断：
[0068] (1)如果偏移角γ =0,表