专利名称:基于网络视觉反馈主从遥控喷雾机器人平台的制作方法
【专利摘要】本实用新型提供了一种基于网络视觉反馈主从遥控喷雾机器人平台，包括：控制器模块；与控制器相连的驱动模块；及传感器模块，用于检测机器人的位置、速度、角速度、加速度和角加速度；及与控制器模块相连的串口通信模块，用于实现控制器模块与Internet之间的通信；与控制器模块相连的喷雾系统；及与Internet互相通信的远程PC机；视觉模块，用于采集机器人的四周环境信息，并通过Internet传送至远程PC机；及供电模块；其中，所述视觉模块及其与Internet之间的接口、串口通信模块、传感器模块和驱动模块组成遥控机器人的服务器端；所述远程PC机及其操作者组成客户端，用于对机器人的控制。
【专利说明】基于网络视觉反馈主从遥控喷雾机器人平台
【技术领域】
[0001]本实用新型涉及机器人领域，尤其涉及一种基于网络视觉反馈主从遥控喷雾机器人平台。
技术背景
[0002]遥操作机器人可以进行远距离操作作业，广泛应用在人类不能到达的危险和特殊场所。随着机器人智能控制技术及反馈控制技术的不断发展，机器人将越来越多地代替人进行工作。
[0003]与此同时，随着网通通信技术的飞速发展，远程机器人控制逐渐得到实现，机器人可以通过网络进行数据传输和远程信息反馈。遥操作系统的快速发展，可以使得用户在不同的远端通过网络完成现场复杂危险的任务。
[0004]目前农民普遍采用单一机型防治各种作物的病虫害、“打遍百药”，往往会造成施药不均匀、农药用量大、农产品农残超标、操作者中毒等情况。
[0005]地形复杂、作业空间狭小的状况下，大型机械很难发挥作用，小型传统机械喷洒效果差、劳动强度大、作业环境恶劣，对操作者人身健康危害大。
实用新型内容
[0006]为解决上述问题，本实用新型提供了一种基于网络视觉反馈主从遥控喷雾机器人
-ψ-
口 ο
[0007]本实用新型采用如下技术方案:
[0008]一种基于网络视觉反馈主从遥控喷雾机器人平台，包括:
[0009]控制器模块；与控制器相连的驱动模块，用于驱动机器人电机；及
[0010]传感器模块，用于检测机器人的位置、速度、角速度、加速度和角加速度，并将检测到的信号传输至控制器模块；及
[0011]与控制器模块相连的串口通信模块，用于实现控制器模块与Internet之间的通信；与控制器模块相连的喷雾系统；及
[0012]与Internet互相通信的远程PC机；视觉模块，用于采集机器人的四周环境信息，并通过Internet传送至远程PC机；及供电模块；
[0013]其中，所述视觉模块及其与Internet之间的接口、串口通信模块、传感器模块和驱动模块组成遥控机器人的服务器端；所述远程PC机及其操作者组成客户端，用于对机器人的控制。
[0014]所述远程PC机还分别控制人机界面、手柄及方向盘。
[0015]所述传感器模块，包括:
[0016]测量加速度信号的加速度计；
[0017]所述传感器模块，包括测量加速度信号的加速度计；超声波传感器和红外测距传感器，用来获得机器人与障碍物间的绝对距离信息。
[0018]所述传感器模块，还包括压力传感器和液位传感器，用于获得机器人负载的重量信息，并将信息传输至控制器模块。
[0019]所述供电模块采用串联式混合动力分配系统，所述串联式混合动力分配系统采用两种方式为机器人平台的电机供电，一种是选择电池组；另一种是利用燃油和发动机而产生电能的发电机。
[0020]所述串口通信模块采用嵌入式串口 -以太网-无线网模块HLK-RM04。
[0021]所述客户端和服务器端各采用一个网桥，用于客户端和服务器端之间双向通信。
[0022]本实用新型的有益效果为:
[0023](I)机器人带有传感器系统，采取多传感器融合技术，包括液自动避障、压力传感器和液位传感器等，使得机器人避开障碍物和获得机器人负载的重量信息；
[0024](2)供电模块采用串联式混合动力分配系统，所述串联式混合动力分配系统采用两种方式为机器人平台的电机供电，一种是选择电池组；另一种是利用燃油和发动机而产生电能的发电机，为机器人在遇到特殊情况下提供能量；
[0025](3)客户端和服务器端各采用一个网桥，实现客户端和服务器端之间双向通信。
【附图说明】
[0026]图1为本实用新型的整体结构框图；
[0027]图2为本实用新型的供电模块中的串联混合动力分配系统；
[0028]图3为本实用新型的网络结构框图；
[0029]图4为本实用新型的直接控制结构框图；
[0030]图5为本实用新型的基于无线网桥的远距离通信示意图；
[0031]图6为本实用新型的自主功能模块框图。
【具体实施方式】
[0032]基于网络控制的遥操作机器人平台由上位机控制系统和远程被控端机器人组成，两者通信通过无线网络进行。遥操作机器人采用四轮结构，装载单片机、传感器、无线网桥及路由、串口通信模块以及网络摄像头，控制端包括PC、游戏手柄、方向盘等设备。通过搭建可靠的网桥，可以现实各个网络设备之间的网络通信。采用TCP/IP协议，网络结构为C/S结构，编程技术主要是Socket编程技术，实现控制端与被控端的网络通信。现场环境的采集利用的是网络摄像头，视频可以被实时反馈。
[0033]系统采用遥操作与自主操作相结合的方式，机器人带有传感器系统，采取多传感器融合技术，包括液位传感器及自动避障的传感器，这些传感器采集到的数据可以到达单片机，进而通过网络串口模块发回到远程客户端。遥操作机器人平台带有网络摄像头，可以辅助机器人进行运动及喷雾动作，摄像头采集到的视频数据可以传回到远程客户端，用户根据采集到的现场环境信息，给机器人发送控制指令。如图1所示，遥操作机器人平台总体构成方案。
[0034]1、机器人驱动及串联混合动力分配系统
[0035]机器人采用四轮电动独立驱动，电动驱动易于电控行走、转向遥操作，发动机一方面为喷雾机提供动力，另一方面拖动发电机为行走电动机供电。
[0036]平台的动力分配系统为串联式混合动力分配系统，针对机器人进行实际的控制，采用基于单片机系统开发出整车控制系统，搭建必要的外围采集驱动电路，实现硬件的设计。另外，采用模块化的方法编写整车控制系统的控制软件，将各个功能模块编写成单独的函数，用于主程序的功能调用，同时也方便程序的功能优化和移植。
[0037]2、传感器模块
[0038]本实用新型的基于网络视觉反馈主从遥控喷雾机器人平台中，超声波传感器采用HC-SR04超声波检测模块，红外传感器采用E18-D80NK传感器，进行导航避障，增加机器人的自主性；配有检测车载喷雾机液位的传感器，采用的是压力传感器KE-260。还配置了电量检测、速度检测模块。
[0039]3、控制器模块
[0040]控制器模块可采用个人PC、ARM甚至是单片机最小系统，本实施例中采用STC12C5608AD单片机。单片机控制遥机器人的前进、后退、左转、右转等运动，并且可以对小车进行调速，喷雾系统也是通过单片机进行控制的，所有的控制指令都是由远程客户端经过网络，最终到达单片机控制系统。
[0041]4、视觉模块
[0042]视觉模块采用200万网络高清摄像头，内置海思芯片，百万高清画质1920xl080P，图像传感器，码流控制准确，技术支持到位。摄像头支持P2P功能，轻松穿透各种网络:电信、铁通、长城、小区宽带；免设置，手机或电脑直接访问即可，只要路由器开启UPNP，无需其他设置，拥有标准的ONVIF协议，兼容其他品牌的IPC和NVR，具有强大的CMS远程监控管理软件。
[0043]5、遥操作机器人平台网络结构
[0044]系统采用C/S结构的远程控制体系结构。应用程序与网络驱动程序通过Socket建立连接，通过在应用程序中创建Socket，绑定其操作与驱动程序建立关系。数据通过应用程序送给Socket，通过Socket交给驱动程序，最后通过驱动程序把数据向网络上发送出去。由于客户端用到的计算机带有无线网卡，可以接收网络数据，接收到的数据是与该Socket绑定的IP地址和端口号相关的数据。
[0045]遥操作机器人本地作为服务器端主要完成两方面的任务，一方面，它需要接收远程客户端的控制指令完成与远程用户的交互，控制机器人执行用户的命令；另一方面，它需要与机器人的运动系统和传感器系统进行通信，将遥操作机器人的运动状态和传感器采集到的环境信息反馈给远程客户端。
[0046]由图3可知，网络摄像头等网络接口部分、运动控制部分、喷雾控制部分、传感器部分和串口通信部分共同组成了遥操作机器人的服务器端。机器人的控制过程主要完成的任务是把来自远程客户端用户的控制指令进行接收，然后将接收到的数据通过RS232串口传送给机器人的控制设备也就是机载单片机，单片机对这些数据进行解析处理，从而完成指定的任务，比如说完成运动及喷雾任务。机器人传感器系统采集到的数据可以经过单片机处理并通过串口发送到网络收发模块，进而通过网络发送出去，通过Socket编程技术，可以在客户端对数据进行接收并显示。例如当往外传感器发送红外线检测到障碍物时，单片机电平会发生变化，单片机可以控制机器人发生运动状态的变化，并将这种变化返回到远程客户端的上位机，通过上位机人机界面进行显示，用户就可以了解到机器人的状态。视频采集采用的是网络摄像头，图片数据的压缩及解压过程都通过摄像头集成的系统完成，方便了用户的使用。
[0047]客户端由人机交互软件完成功能，具体由车体测试接口、车体实控接口、喷雾控制接口、视频显示接口和传感器显示接口等几部分组成。人机交互主要是实现用户和个人PC的交互，可以发送遥操作机器人的控制指令，比如说运动控制指令和喷雾控制指令，对来自机器人本体的传感器信息和运动状态信息进行实时显示。视频显示主要就是接收来自网络摄像头的实时视频，网络摄像头采集到的视频都在一个固定的浏览器界面，所以只要在监控软件上编写一个浏览器，通过访问网络摄像头的浏览器地址，就可以把现场的环境信息通过视频实时显示在用户的人机交互界面上。车体测试和实控接口主要提供多种机器人的控制方式，通过开发专用的硬件设备接口，可以实现手柄及方向盘对机器人的控制。
[0048]建立一个良好的网络通信系统，最重要的是选择合适的网络通信协议。目前网络通信方式可以概括两种:面向连接方式，TCP和面向无连接方式，UDPo本实施例采用嵌入式UART-ETH-WIFI，即串口 -以太网-无线网模块HLK-RM04，此模块为串口通信模块，可以设置为无线网卡模式，只要设置它的IP地址和电脑的IP地址处于同一网段，两者就可以互相通信。无线路由器采用的是思科无线路由器，路由器可以给串口通信模块分配IP地址。由于遥操作机器人平台在户外的农田工作，工作距离较远，远端客户端距离机器人本体要1.5km。目前采用的思科无线路由器信号覆盖范围是无障碍物15米，只能用一层楼，穿墙是1-2堵墙，穿墙多信号会衰减。所以为了达到用户目标，必须使用无线网桥，增加无线信号的传输距离，无线网桥采用YF2300-G23型号的300M无线网桥。
[0049]遥操作机器人平台控制方式的设计，确立了机器人客户端的控制方式，除了个人PC的人机交互界面外，开发了基于USB接口的游戏手柄、方向盘和油门刹车控制信息采集，可以实现对机器人的控制。
[0050]远程客户端是一台个人电脑，作用是用于机器人本体和用户之间的交流，需要编写客户端应用程序来实现对机器人的远程控制；客户端主要完成对服务器端发送过来的数据的处理，实现人机交互。客户端的功能主要有:发送控制指令给机器人本地，显示机器人状态，展示机器人工作环境视频信息。
[0051]本实用新型的应用实现
[0052]遥操作机器人平台远程客户端到机器人本体的距离为1.5km，并且是通过网桥组建的局域网，通过测试得知网络时延对遥操作机器人平台的性能影响很小，在百毫秒之内，属于稳定型时延。因此，遥操作机器人平台可以选择直接控制方式的网络控制策略，这种控制方式简单有效，可直接对远程的机器人发送控制指令，视频信息可以实时传回到客户端，用户可以根据这些信息的反馈，直接控制机器人。如图4所示为直接控制方式的基本结构。
[0053]服务器端功能有两个:一是实时采集并处理视频信息，然后把采集到的视频信息通过网络传送给远程客户端；另一方面就是作为客户端和机器人的控制中转站，将客户端传送的控制指令转送给机器人本体。按照功能划分为四个模块:网络接口部分、运动控制部分、传感器部分和串口通信部分。
[0054]遥操作机器人平台远程监控的所有数据传输都是通过网络来完成的，因此用到的通信设备都具备网络接口。遥操作机器人平台进行数据传输的设备包括个人PC、无线路由器、网络摄像头、串口通信模块及网桥。
[0055]遥操作机器人平台视频监控系统若采用无线网络摄像头，通信距离为30米左右，市面上卖的所有无线网络摄像头的通信距离都在几十米范围之内，而机器人实际的工作距离为1.5km，显然仅仅采用无线网络摄像头直接与客户端电脑通信的方案则是不可取的。因此，在服务器端采用有线摄像头，通过与无线路由器连接，只要增加无线路由器的通信距离，就可以解决网络摄像头的通信距离。遥操作机器人平台采用的控制指令接收模块为串口转网口通信模块，也称为串口通信模块，目前采用的模块为工业级串口 WiFi无线模块RM04，室内最远100米；室外最远360米。因此串口通信模块也无法直接与与客户端电脑通信，采用的方案与网络摄像头是一样的，同样需要接在服务器端的无线路由器上，通过增加无线路由器的通信距离，就可以解决串口通信模块的通信距离。
[0056]遥操作机器人平台解决网络传输距离的关键是运用网桥。如图5为基于无线网桥的远距离通信示意图。由图5可知，在客户端和服务器端各采用一个网桥，这样可以确保客户端和服务器端的双向通信。在客户端，无线网桥通过网线与PC机连接，此时，网桥电源POE 口连接网桥LAN 口，电源LAN 口连接PC机，PC机可以放在室内，无线网桥要放在室外；在服务器端，由于遥操作机器人平台是不断运动的，转向也是不可避免的，所以服务器端的无线网桥必须采用全向天线，而客户端的无线网桥既可采用全向天线也可以采用定向天线，服务器端的无线网桥电源的POE 口连接网桥LAN 口，电源LAN 口连接路由器，路由器的LAN口再连接各个网络接口设备，比如串口通信模块和网络摄像头等。遥操作机器人平台采用的是YF2300-G23无线网桥，此网桥非常适合实际距离在1500米半径以内无阻挡，需要高宽带应用的环境。比如高清网络摄像头信号的接收主站，高速宽带网络的发射主站。在点对多点的情况下，近距离可以接收12路以上，每路高达5M宽带的高清视频信号。客户端网桥必须和服务器端网桥配合使用，将客户端网桥的IP设置为192.168.11.110，服务器端的网桥IP地址设置为192.168.11.111，两台网桥接通后它发挥的是一条网线的作用，网桥用无线的方式把两端连接好，实现了远程局域网的构建。
[0057]本实施例中遥操作机器人平台采用无线网桥进行桥接之后，可以解决网络的远程通信。采用YF2300-G23无线网桥带宽达到300Mbps，而单个网络摄像头所占的带宽为4Mbps，串口通信模块所占的带宽为230400bps，因此完全满足带宽的要求。
[0058]机器人的自主性是遥操作的基础，是遥操作可行性实施的安全保障。因此在研宄遥操作平台的同时，必须增加机器人的自主性，机器人的自主性离不开传感器信息的采集。遥操作机器人若要始终保证正常工作，控制端用户必须实时监控机器人本体的位置、速度和内部状态，同时，机器人工作环境的动态信息和静态信息也要被感知，这样才能保证机器人能随时适应环境的变化。如图6为机器人自主功能模块框图。
[0059]机器人的自主功能要求对外界环境做出感知，然后决策系统会根据感知结果做出正确的决策，把决策传递给控制系统后，控制系统进行信息处理，控制移动机构进行任务的执行，而控制系统也会对感知系统进行控制。移动机构和外界环境的变化都会被感知系统感知，形成一个闭环控制系统。
[0060]因为单一的传感器功能有限，它采集到的信息往往是片面的、局部的、不完善的甚至偶尔是不正确的，因此针对遥操作机器人平台的具体应用范围，结合传感器技术的不断发展，开发了多种传感器安装在机器人车体上。多传感融合技术要求控制芯片要有较强的处理信息的能力，以对各个传感器之间的工作进行合理的协调。
[0061]本实施例的遥操作机器人的工作环境选择葡萄园种植区，工作任务是对葡萄架进行喷雾，因此有必要实时监测机器人携带的喷雾器的液位，当喷雾器的液位低于某一水平时，需要对喷雾器进行加液。测量喷雾器液位的传感器选用的是压力传感器，型号为KE-260。由于遥操作机器人的工作环境比较复杂，因此有必要使机器人进行自动避障，遥操作机器人平台安装有超声、红外传感器，超声传感器采用的是超声波模块HC-SR04，红外传感器采用的是光电式传感器，型号是E18-D80NK。传感器通过与单片机通信，将传感器采集到的环境信息通过串口传送到串口通信模块HLK-RM04，串口通信模块通过无线网络将传感器系统采集到的数据通过网络发送给远程客户端，客户端电脑通过编写的监控软件将数据接收并实时显示，从而达到远程监控机器人的目的。
【权利要求】
1.一种基于网络视觉反馈主从遥控喷雾机器人平台，其特征在于，包括: 控制器模块；与控制器相连的驱动模块，用于驱动机器人电机；及 传感器模块，用于检测机器人的位置、速度、角速度、加速度和角加速度，并将检测到的信号传输至控制器模块；及 与控制器模块相连的串口通信模块，用于实现控制器模块与Internet之间的通信；与控制器模块相连的喷雾系统；及 与Internet互相通信的远程PC机；视觉模块，用于采集机器人的四周环境信息，并通过Internet传送至远程PC机； 及供电模块，所述供电模块采用串联式混合动力分配系统，所述串联式混合动力分配系统采用两种方式为机器人平台的电机供电，一种是选择电池组；另一种是利用燃油和发动机而产生电能的发电机； 所述视觉模块及其与Internet之间的接口、串口通信模块、传感器模块和驱动模块组成遥控机器人的服务器端；所述远程PC机及其操作者组成客户端，用于对机器人的控制。2.如权利要求1所述的一种基于网络视觉反馈主从遥控喷雾机器人平台，其特征在于，所述远程PC机还分别控制人机界面、手柄及方向盘。3.如权利要求1所述的一种基于网络视觉反馈主从遥控喷雾机器人平台，其特征在于，所述传感器模块，包括测量加速度信号的加速度计；超声波传感器和红外测距传感器，用来获得机器人与障碍物间的绝对距离信息。4.如权利要求1所述的一种基于网络视觉反馈主从遥控喷雾机器人平台，其特征在于，所述传感器模块，还包括压力传感器和液位传感器，用于获得机器人负载的重量信息，并将信息传输至控制器模块。5.如权利要求1所述的一种基于网络视觉反馈主从遥控喷雾机器人平台，其特征在于，所述串口通信模块采用嵌入式串口-以太网-无线网模块HLK-RM04。6.如权利要求1所述的一种基于网络视觉反馈主从遥控喷雾机器人平台，其特征在于，所述客户端和服务器端各采用一个网桥，用于客户端和服务器端之间双向通信。
【文档编号】G05B19-418GK204273017SQ201420732202
【发明者】艾长胜, 武德林, 宁涛, 杨玉振 [申请人]济南大学, 山东众和农业装备技术有限公司