一种双目视觉导航叉车式AGV控制系统和方法与流程

本发明涉及agv控制系统的技术领域，特别是一种双目视觉导航叉车式agv控制系统和方法。

背景技术：

目前agv(automatedguidedvehicle)系统已经广泛应用于工业物料柔性搬运系统中，随着物流系统的迅速发展,agv的应用范围也在不断扩展。传统的叉车式agv需要通过磁条、二维码、色带、有反光激光等作为导航路径，对于工厂、仓库等场合，需要经常的改动生产线或货架排布，这就带来了很大的工作量，客户对agv现场实施的效率不能得到满足。此外，为考虑使用效益的提高，应当控制生产成本与使用成本在较低水平。现提出一种双目视觉导航叉车式agv控制系统和方法。

技术实现要素：

本发明的目的就是解决现有技术中的问题，提出一种双目视觉导航叉车式agv控制系统和方法，具有更优的环境感知能力，且能够在不改变现有环境的情况下，实现叉车式agv小车的定位及导航调度，从而达到搬运货物或自由行走。

为实现上述目的，本发明提出了一种双目视觉导航叉车式agv控制系统，该agv控制系统包括：

agv主控单元：agv主控单元为整个agv的核心，包括vslam处理模块、运动控制模块、通信控制模块、电源管理模块、显示告警模块、避障传感器模块，各模块之间采用消息通信，具有vslam处理算法、机身控制、电源控制、显示、通信的控制功能；

agv驱动单元：agv驱动单元用于为agv提供运行的动力；

agv安全传感器：agv安全传感器包括激光雷达障碍物传感器、红外传感器和触边胶条，当检测到一定范围内有障碍物时，将通过开关量向agv主控单元报告，agv主控单元据此作出刹车或者反向动作；

agv无线通讯系统：agv通过wifi和控制台之间进行通信，控制台通过wifi局域网向agv发出系统控制指令，任务调度指令，避障调度指令，agv通过wifi向控制台报告各类指令的执行情况、agv当前的位置及agv当前的状态；

人机界面：包括主面板、控制按钮、三色灯、蜂鸣器、音乐盒，其中agv主控单元和主面板之间是通过串口通信，用户通过主面板查看状态信息，或通过主面板进行参数设置及手动控制车辆的运行；三色灯、蜂鸣器和音乐盒做为告警装置，agv主控单元通过开关量设置。

作为优选，所述vslam处理模块，对cmos传感器输入的图像数据进行vslam处理，包括3个线程：vo线程、非线性优化线程和closedloop线程，输出车身当前位姿信息，所述vslam处理模块与运动控制模块通信连接。

作为优选，所述运动控制模块：接收操作台的业务调度、目标位置，vslam的当前位置，以及各个安全传感器的信息，计算驱动控制器的转速、加速时间，传向传感器的旋转角度，拉线编码器的提升高度数据，以对车身的各个运动部分进行控制。

作为优选，所述通信控制模块用于和控制台之间的通信，接收控制指令并传递给运动控制模块；同时也把agv当前的状态信息，包括位置、电源状态、告警信息，并上报给控制台。

作为优选，所述电源管理模块：检测电池的电量，并和充电桩之间通信，控制充电时间和充电速度；电源管理模块和运动控制模块之间通信，通过运动控制模块把agv引导到指定充电桩。

作为优选，所述显示告警模块：对显示屏、告警灯、蜂鸣器进行控制，同时接收触摸屏的控制指令。

作为优选，所述避障传感器模块：用以接收各个避障传感器信号，并发送给运动控制模块。

一种双目视觉导航叉车式agv控制方法，该方法对车身控制的流程包括以下步骤：

s1.以各种安全传感器的信息作为最高优先级处理，保证绝对安全，当agv安全传感器检测到一定范围内有障碍物时，将通过开关量向agv主控单元报告，agv主控单元据此作出刹车或者反向动作；

s2.来自控制台的目标位置储存目标位置信息，来自vslam的位置数据更新当前位置信息，并发送给运动控制模块，由运动控制模块接收操作台的业务调度、目标位置，vslam的当前位置，以及各个安全传感器的信息，计算驱动控制器的转速、加速时间，传向传感器的旋转角度，拉线编码器的提升高度数据，以对车身的各个运动部分进行控制，让车身精确地达到指定位置。

作为优选，slam的处理流程为：在输入连续图像序列后，经过前后图像的特征关联，计算出连续输入特性的位姿变换，得到当前图像的相机位姿，此过程中用到根据双目恢复出来的深度信息；同时，经过关键帧策略，选定局部的关键帧进行局部优化操作，更新了当前的位姿，获取更加精确的位姿计算。

作为优选，对车身控制采用有限状态机模型，包括4个设置状态：

p_forward/p_backward状态：车辆可前进+转向、可后退+转向；

p_forward/n_backward状态：车辆可前进+转向、不可后退；

n_forward/p_backward状态：车辆不可前进、可后退+转向；

n_forward/n_backward状态：车辆不可前进、不可后退。

本发明的有益效果：本发明供一种双目视觉导航叉车式agv控制系统和方法，具有更优的环境感知能力，且能够在不改变现有环境的情况下，实现叉车式agv小车的定位及导航调度，从而达到搬运货物或自由行走，从而解决现有技术中存在的环境感知能力相对不足，需要经常的改动生产线或货架排布，带来了很大的工作量的问题。

本发明的特征及优点将通过实施例结合附图进行详细说明。

【附图说明】

图1是本发明基于vslam的主要逻辑功能框图；

图2是本发明双目slam的流程示意图；

图3是本发明agv主控单元的逻辑框图；

图4是本发明运动控制的流程图；

图5是本发明车身控制有限状态机模型图；

图6是本发明实施例的整机结构示意图。

【具体实施方式】

参阅图1本发明一种双目视觉导航叉车式agv控制系统，该agv控制系统包括：

agv主控单元：agv主控单元为整个agv的核心，包括vslam处理模块、运动控制模块、通信控制模块、电源管理模块、显示告警模块、避障传感器模块，各模块之间采用消息通信，具有vslam处理算法、机身控制、电源控制、显示、通信等的控制功能；

agv驱动单元：agv驱动单元用于为agv提供运行的动力；

agv安全传感器：agv安全传感器包括激光雷达障碍物传感器、红外传感器和触边胶条等，当检测到一定范围内有障碍物时，将通过开关量向agv主控单元报告，agv主控单元据此作出刹车或者反向等动作；

agv无线通讯系统：agv通过wifi和控制台之间进行通信，控制台通过wifi局域网向agv发出系统控制指令，任务调度指令，避障调度指令等，agv通过wifi向控制台报告各类指令的执行情况、agv当前的位置及agv当前的状态；

人机界面：包括主面板、控制按钮、三色灯、蜂鸣器、音乐盒等，其中agv主控单元和主面板之间是通过串口通信，用户通过主面板查看状态信息，或通过主面板进行参数设置及手动控制车辆的运行；三色灯、蜂鸣器和音乐盒做为告警装置，agv主控单元通过开关量设置。

进一步地，参阅图3，所述vslam处理模块，对cmos传感器输入的图像数据进行vslam处理，包括3个线程：vo线程、非线性优化线程和closedloop线程，输出车身当前位姿信息，所述vslam处理模块与运动控制模块通信连接。所述运动控制模块：接收操作台的业务调度、目标位置，vslam的当前位置，以及各个安全传感器的信息，计算驱动控制器的转速、加速时间，传向传感器的旋转角度，拉线编码器的提升高度等数据，以对车身的各个运动部分进行控制。所述通信控制模块用于和控制台之间的通信，接收控制指令并传递给运动控制模块；同时也把agv当前的状态信息，包括位置、电源状态、告警信息等，并上报给控制台。所述电源管理模块：检测电池的电量，并和充电桩之间通信，控制充电时间和充电速度；电源管理模块和运动控制模块之间通信，通过运动控制模块把agv引导到指定充电桩。所述显示告警模块：对显示屏、告警灯、蜂鸣器等进行控制，同时接收触摸屏的控制指令。所述避障传感器模块：用以接收各个避障传感器信号，并发送给运动控制模块。

更进一步地，参阅图5该agv整机由电气部分和机械部分组成，其中，电气部分由上述agv控制系统组成，机械部分包括agv本体10、举升机构11、控制箱、驱动轮12、从动轮13、机械防撞机构14、电池箱15和充电连接器机构16等。

一种双目视觉导航叉车式agv控制方法，该方法对车身控制的流程包括以下步骤：

s1.以各种安全传感器的信息作为最高优先级处理，保证绝对安全，当agv安全传感器检测到一定范围内有障碍物时，将通过开关量向agv主控单元报告，agv主控单元据此作出刹车或者反向动作；

s2.来自控制台的目标位置储存目标位置信息，来自vslam的位置数据更新当前位置信息，并发送给运动控制模块，由运动控制模块接收操作台的业务调度、目标位置，vslam的当前位置，以及各个安全传感器的信息，计算驱动控制器的转速、加速时间，传向传感器的旋转角度，拉线编码器的提升高度数据，以对车身的各个运动部分进行控制，让车身精确地达到指定位置。

进一步地，参阅图2，双目slam的处理流程为：在输入连续图像序列后，经过前后图像的特征关联，计算出连续输入特性的位姿变换，得到当前图像的相机位姿，此过程中用到根据双目恢复出来的深度信息；同时，经过关键帧策略，选定局部的关键帧进行局部优化操作，更新了当前的位姿，获取更加精确的位姿计算。

更进一步地，参阅图5，为保证安全，清晰化软件实现，采用有限状态机模型。对车身控制采用有限状态机模型包括4个设置状态：

p_forward/p_backward状态：车辆可前进+转向、可后退+转向；

p_forward/n_backward状态：车辆可前进+转向、不可后退；

n_forward/p_backward状态：车辆不可前进、可后退+转向；

n_forward/n_backward状态：车辆不可前进、不可后退。

本发明工作过程：

本发明提供一种双目视觉导航叉车式agv控制系统和方法，具有更优的环境感知能力，且能够在不改变现有环境的情况下，实现叉车式agv小车的定位及导航调度，从而达到搬运货物或自由行走，从而解决现有技术中存在的环境感知能力相对不足，需要经常的改动生产线或货架排布，带来了很大的工作量的问题。同时双目视觉导航可以实现自动建图，部署时间不到1天。相对于激光导航和磁条导航等方案需要大约15天左右的部署时间，将节约大量的部署时间和人力成本；激光雷达避障只能探测到激光光束达到的地方，如果障碍物低于激光光束位置，或者悬挂的障碍物(高于激光光束位置)，或者地面有坑等状况，激光避障将无法探测到，但是基于vslam的视觉避障将可以全方位地探测到这些障碍物；激光导航是通过激光光束的反射定位车身的位置，所以它只能获取位置信息。但是vslam的视觉数据中包含了非常丰富的信息，可在后期增加语义识别、实例识别、显著性识别等智能算法，将可以实现真正的智能叉车。同期价格相比较，vslam更加便宜。

上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。