空中海面水下多机器人远程立体协同控制系统及其控制方法与流程

本发明涉及的海洋机器人的技术领域，具体涉及一种空中海面水下多机器人远程立体协同控制系统及其控制方法。

背景技术：

目前，随着我国经济的快速发展，科技的发展和进步，单一的空中空间或是海面空间或是海底空间已经不再能满足人们的科学探索和日常生活中的方方面面的应用，不论是天空，海面还是海底，人类活动越来越频繁，场景现场越发复杂多样化，具备着各种各样功能的机器人应运而生，它们在生产生活各个方面代替着人类扮演着多样化的角色，为社会提供着便利，让人们的安全更有保障。就目前而言，单一功能的机器人已经慢慢融入到了各行各业中，对于日趋智能化的今天，同一个系统中单一功能机器人已经不能满足需要了，协同系统因为具有很不错的适应性和自治性，已经成为控制领域的一个重要方向，多个机器人构成的系统是其应用层面的一个很重要的分支。

现有的海上机器人存在如下不足：(1)常规无人机，无人船，无人艇类机器人工作范围所限，所能到达的工作区域只能仅限于空中，海面或是水下，不能进行很好的轨迹追踪，跟踪拍摄等类型的任务；(2)多机器人由于上述各工作环境的局限性，通过终端各部分单独控制，不能很好的信息交流，或是会出现信息传输处理延误，造成不必要的损失；(3)常规单一功能机器人在海上都有着移动信息交换平台，比如说有人船等大型载体，通讯距离不是很远，使用移动网络或是无线电通信(如cdma、gprs、4g)，但由于使用远程控制，不具备这样的条件，受到通信距离的限制，这种通讯方式不能用于深远海的数据通信；(4)常规无人机，无人船，无人艇类机器人功耗问题是一个难点，海上环境复杂，难以回收后人工充电。

综上所述，由于现阶段应用于海洋方面的机器人领域，应用方式较为单一，只能完成单一项水下工作、海面工作或是空中工作，其中使用的各种各样的机器人控制太过繁琐，功能各异，需要数个控制终端配合着工作，且各单位之间的协调性很差，对于完成工作的所要消耗的人力物力和工作效率都要大打折扣，因此，需要设计一种海洋方面的多机器人协同控制系统。

技术实现要素：

本发明的目的在于克服上述背景技术的不足，而提供一种空中海面水下多机器人远程立体协同控制系统及其控制方法，该系统集成了空中机器人、海面机器人、以及水下机器人，采用远程控制实现各机器人与陆上主机远程控制和信息传输，实现了协同高效工作。

为实现上述目的，本发明提供一种空中海面水下多机器人远程立体协同控制系统，包括空中机器人、海面机器人、以及水下机器人；

所述空中机器人包括空中机器人环境感知模块、空中机器人数据采集模块、空中机器人远程控制模块，所述空中机器人环境感知模块的信号输出端与空中机器人数据采集模块的信号输入端连接，所述空中机器人数据采集模块的输出端与空中机器人远程控制模块的数据输入端连接；

所述海面机器人包括海面机器人环境感知模块、海面机器人数据采集模块、海面机器人远程控制模块以及协同控制模块，所述海面机器人环境感知模块的信号输出端与海面机器人数据采集模块的信号输入端连接，所述海面机器人数据采集模块的数据信号输出端与海面机器人远程控制模块的数据输入端连接；

所述水下机器人包括水下机器人环境感知模块、水下机器人数据采集模块、水下机器人远程控制模块，所述水下机器人环境感知模块的信号输出端与水下机器人数据采集模块的数据输入端连接，所述水下机器人数据采集模块的数据输出端与水下机器人远程控制模块的信号输入端连接；

所述协同控制模块的信号传输端分别与空中机器人远程控制模块、海面机器人环境感知模块、水下机器人远程控制模块的信号传输端连接。

上述技术方案中，还包括陆上远程监测主机，所述陆上远程监测主机的信号传输端通过卫星与协同控制模块的信号传输端连接。

上述技术方案中，所述海面机器人还包括太阳能供电模块，所述太阳能供电模块的电输出端分别与空中机器人、水下机器人的电输入端连接。

上述技术方案中，所述海面机器人还包括释放回收模块，所述释放回收模块的控制信号输入端与协同控制模块的控制信号输出端连接。

上述技术方案中，所述空中机器人环境感知模块、海面机器人环境感知模块、水下机器人环境感知模块均由摄像头单元和声纳单元组成。

上述技术方案中，所述空中机器人数据采集模块由空中机器人微处理器、运动处理传感器单元以及电子罗盘单元组成；所述海面机器人数据采集模块由运动处理传感器单元、电子罗盘单元组成；所述水下机器人数据采集模块由水下机器人微处理器、运动处理传感器单元、电子罗盘单元组成。

上述技术方案中，所述空中机器人远程控制模块、海面机器人远程控制模块、水下机器人远程控制模块均由无线透传单元、卫星通讯单元组成。

上述技术方案中，所述太阳能供电模块由太阳能电池板、蓄电池组以及逆变器组成。

上述技术方案中，所述释放回收模块由两组伺服电机和抓手组成，所述伺服电机的控制信号输出端与抓手的控制信号输入端连接。

本发明还提供一种上述的空中海面水下多机器人远程立体协同控制系统的控制方法，包括如下步骤：

1)空中海面水下三机器人接收任务指令：待机中的空中机器人、海面机器人、以及水下机器人收到陆上远程监测主机发送的前往某区域对具备某特征的目标物进行搜索追踪拍摄任务，激活释放回收模块，驱动两组伺服电机，张开抓手释放空中机器人和水下机器人，确定空中机器人、海面机器人、以及水下机器人三个机器人共同前去执行该任务；

2)空中海面水下三机器人感知环境信息：空中机器人、海面机器人、以及水下机器人运动到指定区域，通过由各自的环境感知模块进行环境信息的获取，并将获取到的该区域的环境信息实时通过各自的远程控制模块送给协同控制模块，用于其判断和决策；

3)协同控制模块判断该区域是否出现符合目标特征的目标物：协同控制模块根据各机器人上传的环境信息判断该区域是否出现了主机发送任务中提及的符合目标特征的目标物体，若目标物未出现，则各机器人继续搜索；若目标物出现，返回目标出现信息；

4)协同控制模块自动命令各机器人前往目标地：处理空中机器人、海面机器人、以及水下机器人三个机器人反馈的环境信息和坐标信息相关数据，自动建立对目标物全角度立体跟踪及拍摄模型，生成各机器人要摆成跟踪拍摄所需三角形阵型所要前往的目的坐标，自行将坐标发送给各机器人命令其前往；

5)机器人到达目的坐标展开跟踪拍摄任务：空中机器人、海面机器人、以及水下机器人持续收到不断更正的坐标信息，展开追踪式三位一体全角度同步拍摄，并同时将坐标和所拍摄内容回传给陆上远程监测主机；

6)是否有机器人电量不足：空中机器人、海面机器人、以及水下机器人在采集所产生的信息的同时，也传输各机器人剩余电量信息，若某机器人电量不足，协同控制模块则通过对应的远程控制模块命令其返回海面机器人上充电；

7)机器人返回充电：协同控制模块持续确认各机器人坐标位置，在到来的机器人就位前，激活释放回收模块，驱动对应的伺服电机，张开对应的抓手，在到来的机器人就位后合上抓手，目的是把空中机器人或水下机器人固定机器人固定在海面机器人船体上，确保充电过程的顺利进行；

8)机器人充电完成：当某机器人充电完成时，返回信息给协同控制模块，查看当前是否有再进行的任务，若无，则不派出该机器人，若有，激活释放回收模块，驱动对应的伺服电机，张开对应的抓手，释放对应机器人，同时，协同控制模块命令该机器人前往目标坐标；

9)机器人是否接收到任务结束指令：若空中机器人、海面机器人、以及水下机器人三个机器人收到来自陆上远程监测主机发来的任务结束指令，即刻结束追踪拍摄任务，空中机器人和水下机器人返回海面机器人上并回收充电，任务完成。

与现有技术相比，本发明具有如下优点：

其一，本发明的空中海面水下多机器人远程立体协同控制系统集成了空中机器人、海面机器人、以及水下机器人，采用远程控制并借助卫星通信实现各机器人与陆上主机远程控制和信息传输，这里主要是陆上远程监测主机对空中海面水下多机器人远程立体协同控制系统的分机远程操控和从空中海面水下多机器人远程立体协同控制系统提取数据回传至陆上远程监测主机的过程，提取的数据包含空中海面水下三机器人反馈的环境信息和坐标信息，从而自动建立对目标物多角度立体跟踪及拍摄系统所得到的位置信息和视频文件。

其二，本发明的空中机器人代替了传统有人机，提高了人员的安全系数，不再需要专门的跑道，有效降低了建造成本，在海面机器人平台上就可以起飞回收有效降低了建造使用成本，机动性和灵活性有效的得到提高。

其三，本发明的海面机器人代替了传统有人船舶，不再需要考虑人员的生活需要，机体大小得到控制，更增添了海面机器人的灵活性，有效降低了建造成本。

其四，本发明的水下机器人代替了有人潜水器，提高了人员的安全系数，极大的降低了补给的需求，机体大小得到控制，机动性和灵活性得到提高，有效降低了建造成本。

其五，本发明的系统避免了人工的对该系统各机器人的日常设备检修，降低了维护成本，采用了更清洁的太阳能发电，降低了人工成本，扩大了使用场景的选择。

附图说明

图1为本发明的空中海面水下多机器人远程立体协同控制系统的结构示意图；

图2为图1中空中机器人的放大结构示意图；

图3为图1中海面机器人的放大结构示意图；

图4为图1中水下机器人的放大结构示意图；

图中，1-空中机器人、2-海面机器人、3-水下机器人、4-陆上远程监测主机、5-卫星、6-空中机器人环境感知模块、7-空中机器人数据采集模块、8-空中机器人远程控制模块、9-海面机器人环境感知模块、10-海面机器人数据采集模块、11-海面机器人远程控制模块、12-水下机器人环境感知模块、13-水下机器人数据采集模块、14-水下机器人远程控制模块、15-协同控制模块、16-太阳能供电模块、17-释放回收模块。

具体实施方式

下面结合实施例详细说明本发明的实施情况，但它们并不构成对本发明的限定，仅作举例而已。同时通过说明本发明的优点将变得更加清楚和容易理解。

一种空中海面水下多机器人远程立体协同控制系统，包括空中机器人1、海面机器人2、水下机器人3、以及陆上远程监测主机4；所述空中机器人1包括空中机器人环境感知模块6、空中机器人数据采集模块7、空中机器人远程控制模块8；所述空中机器人环境感知模块6的信号输出端与空中机器人数据采集模块7的信号输入端连接，所述空中机器人数据采集模块7的输出端与空中机器人远程控制模块8的数据输入端连接；

所述海面机器人2包括海面机器人环境感知模块9、海面机器人数据采集模块10、海面机器人远程控制模块11以及协同控制模块15、太阳能供电模块16以及释放回收模块17，所述海面机器人环境感知模块9的信号输出端与海面机器人数据采集模块10的信号输入端连接，所述海面机器人数据采集模块10的数据信号输出端与海面机器人远程控制模块11的数据输入端连接；所述太阳能供电模块16的电输出端分别与空中机器人1、水下机器人3的电输入端连接；所述释放回收模块17的控制信号输入端与协同控制模块15的控制信号输出端连接。

所述水下机器人3包括水下机器人环境感知模块12、水下机器人数据采集模块13、水下机器人远程控制模块14，所述水下机器人环境感知模块12的信号输出端与水下机器人数据采集模块13的数据输入端连接，所述水下机器人数据采集模块13的数据输出端与水下机器人远程控制模块14的信号输入端连接；所述协同控制模块15的信号传输端分别与空中机器人远程控制模块8、海面机器人环境感知模块9、水下机器人远程控制模块14的信号传输端连接，所述陆上远程监测主机4的信号传输端通过卫星5与协同控制模块15的信号传输端连接。

上述技术方案中，所述空中机器人环境感知模块6、海面机器人环境感知模块9、水下机器人环境感知模块12均由摄像头单元、声纳单元组成。主要功能是空中机器人1用于感知空中环境情况，位于空中机器人数据采集模块7的空中机器人微处理器通过控制空中机器人环境感知模块6中的声纳单元收发超声波确定障碍物位置及距离并将相关信息通过空中机器人远程控制模块8的无限透传单元发送给海面机器人2，海面机器人2通过海面机器人远程控制模块11的无限透传单元接收空中机器人1发送过来的信息，送入协同控制模块15，协同控制模块15的海面机器人微处理器通过处理相关数据产生控制指令通过海面机器人远程控制模块11的无限透传单元发送至空中机器人1从而控制空中机器人1躲避飞鸟等障碍物，若命令中包含拍摄指令则位于空中机器人数据采集模块7的空中机器人微处理器通过控制空中机器人环境感知模块6中的摄像头单元录制视频，所录制的视频在空中机器人数据采集模块7的空中机器人微处理器中直接对所拍摄到的画面进行特征提取，若画面内出现目标物则将此信息报告给海面机器人2的协同控制模块15。水下机器人3用于感知水下环境情况，位于水下机器人数据采集模块13的水下机器人微处理器通过控制水下机器人环境感知模块12中的声纳单元收发超声波确定障碍物位置及距离并将相关信息通过水下机器人远程控制模块14的无限透传单元发送给海面机器人2，海面机器人2通过海面机器人远程控制模块11的无限透传单元接收水下机器人3发送过来的信息，送入协同控制模块15，协同控制模块15的海面机器人微处理器通过处理相关数据产生控制指令通过海面机器人远程控制模块11的无限透传单元发送至水下机器人3从而控制水下机器人3躲避鱼群等障碍物，若命令中包含拍摄指令则位于水下机器人数据采集模块13的水下机器人微处理器通过控制水下机器人环境感知模块12中的摄像头单元录制视频，所录制的视频在水下机器人数据采集模块13的水下机器人微处理器中直接对所拍摄到的画面进行特征提取，若画面内出现目标物则将此信息报告给海面机器人2的协同控制模块15。海面机器人2用于感知海面环境情况，位于协同控制模块15的海面机器人微处理器通过控制海面机器人环境感知模块9中的声纳单元收发超声波确定障碍物位置及距离获取相关信息并处理产生控制指令从而控制海面机器人2躲避漂浮物礁石等障碍物，若命令中包含拍摄指令则直接控制海面机器人环境感知模块9的摄像头单元录制视频，所录制的视频在海面机器人2的协同控制模块15的海面机器人微控制器中直接对所拍摄到的画面进行特征提取，若画面内出现目标物则记录此信息并结合其它机器人反馈的拍摄信息与各机器人坐标信息自动建立对目标物全角度立体跟踪及拍摄模型，并将命令通过远程控制模块的无线透传单元下达给各个机器人。

上述技术方案中，所述空中机器人数据采集模块7由空中机器人微处理器、运动处理传感器单元、电子罗盘单元组成，采用微处制器samsungs3c6410，姿态传感器选用整合9轴组合式传感器gy-86模块，集成了三轴磁场计、三轴陀螺仪、三轴加速度计，对应使用的芯片分别为mpu6050、磁力计hmc5883l，实现的功能主要是位于空中机器人数据采集模块7的空中机器人微处理器直接控制空中机器人数据采集模块7中的运动处理传感器、电子罗盘收集空中机器人的姿态信息，通过空中机器人远程控制模块8的无限透传单元发送给海面机器人2，海面机器人2通过海面机器人远程控制模块11的无限透传单元接收空中机器人1发送过来的信息，送入协同控制模块15，协同控制模块15的海面机器人微处理器通过处理相关数据产生控制指令通过海面机器人远程控制模块11的无限透传单元发送至空中机器人1从而对空中机器人1进行姿态控制。海面机器人数据采集模块10，由运动处理传感器单元、电子罗盘单元组成，采用姿态传感器选用整合9轴组合式传感器gy-86模块，集成了三轴磁场计、三轴陀螺仪、三轴加速度计，对应使用的芯片分别为mpu6050、磁力计hmc5883l。实现的功能主要是位于协同控制模块15的海面机器人微控制器，控制海面机器人数据采集模块10中的运动处理传感器、电子罗盘收集海面机器人的姿态信息，直接回传给协同控制模块15的海面机器人微控制器通过处理相关数据产生对海面机器人2进行姿态控制。水下机器人数据采集模块13由水下机器人微处理器、运动处理传感器单元、电子罗盘单元组成，采用微处制器samsungs3c6410，姿态传感器选用整合9轴组合式传感器gy-86模块，集成了三轴磁场计、三轴陀螺仪、三轴加速度计，对应使用的芯片分别为mpu6050、磁力计hmc5883l。实现的功能主要是位于水下机器人数据采集模块13的水下机器人微处理器直接控制水下机器人数据采集模块13中的运动处理传感器、电子罗盘收集空中机器人的姿态信息，通过水下机器人远程控制模块14的无限透传单元发送给海面机器人2，海面机器人2通过海面机器人远程控制模块11的无限透传单元接收水下机器人3发送过来的信息，送入协同控制模块15，协同控制模块15的海面机器人微处理器通过处理相关数据产生控制指令通过海面机器人远程控制模块11的无限透传单元发送至水下机器人3从而对水下机器人1进行姿态控制。

上述技术方案中，所述空中机器人远程控制模块8、海面机器人远程控制模块11、水下机器人远程控制模块14由无线透传单元、卫星通讯单元组成，具体型号为nrf24l01、explore700。无线透传单元用于空中机器人1、海面机器人2、水下机器人3之间的命令下达和数据上传。卫星通讯单元用于将空中机器人1、海面机器人2、水下机器人3接入网络分别通过卫星通讯与远程监测主机5通讯，还有一个重要的功能是有gps定位功能。各机器人通过卫星通讯单元接受远程监测主机5的命令，并上传定位等信息与所拍摄的视频，这里主要是陆上远程监测主机4对空中海面水下多机器人远程立体协同控制系统的分机远程操控以及从空中海面水下多机器人远程立体协同控制系统提取数据回传至陆上远程监测主机4，以及各机器人通过卫星实现定位。所述卫星5为我国自主研发的卫星通讯系统，优点具有系统容量大、设备铺设费用相对低廉、通讯费用低、信号实时性好、保密性高，具有集安全可靠稳定于一体的特点。所述陆上远程监测主机4是由pc端组成的。

上述技术方案中，所述协同控制模块15由海面机器人微处理器组成，具体型号为samsungs3c6410。协同控制模块15的功能主要是处理来自空中机器人1和水下机器人3上报的数据信息、处理海面机器人本身采集到的数据信息，根据情况给各机器人下达命令，并承担着控制各机器人与卫星通讯的任务。

上述技术方案中，所述释放回收模块17由两组伺服电机和伺服电机上连接的机械芯柔性的抓手组成，所述伺服电机的控制信号输出端与抓手的控制信号输入端连接。释放回收模块17的功能是用于回收空中机器人1和水下机器人3在没有任务时或电量不足返回海面机器人时抓取固定用。具体型号为伺服电机msma022t2u2。

上述技术方案中，所述太阳能供电模块16由太阳能电池板、蓄电池组以及逆变器构成，具体型号为ghgn-150wdjbz、ghgn-120ah、ghgn-ym300w。太阳能供电模块16的功能是太阳能电池板采集太阳能并将其转化为电能，蓄电池组存储电能，逆变器与太阳能电池板和蓄电池组相连接，将所述太阳能板转化的电能存储到所述蓄电池组，由于海上环境潮湿，各机器人都采用防水式独立设计，普通充电方式不行，蓄电池组既承担着给海面机器人2供电的任务外，在释放回收模块回收了空中机器人1或水下机器人3或其二者后，兼并着通过无线充电的方式为其二者供电的任务。

本发明上述空中海面水下多机器人远程立体协同控制系统的控制方法，包括如下步骤：

1)空中海面水下三机器人接收任务指令：待机中的空中机器人1、海面机器人2、以及水下机器人3收到陆上远程监测主机4发送的前往某区域对具备某特征的目标物进行搜索追踪拍摄任务，激活释放回收模块17，驱动两组伺服电机，张开抓手释放空中机器人1和水下机器人3，确定空中机器人1、海面机器人2、以及水下机器人3三个机器人共同前去执行该任务；

2)空中海面水下三机器人感知环境信息：空中机器人1、海面机器人2、以及水下机器人3运动到指定区域，通过由各自的环境感知模块进行环境信息的获取，并将获取到的该区域的环境信息实时通过各自的远程控制模块送给协同控制模块15，用于其判断和决策；

3)协同控制模块15判断该区域是否出现符合目标特征的目标物：协同控制模块根据各机器人上传的环境信息判断该区域是否出现了主机发送任务中提及的符合目标特征的目标物体，若目标物未出现，则各机器人继续搜索；若目标物出现，返回目标出现信息；

4)协同控制模块15自动命令各机器人前往目标地：处理空中机器人1、海面机器人2、以及水下机器人3三个机器人反馈的环境信息和坐标信息相关数据，自动建立对目标物全角度立体跟踪及拍摄模型，生成各机器人要摆成跟踪拍摄所需三角形阵型所要前往的目的坐标，自行将坐标发送给各机器人命令其前往；

5)机器人到达目的坐标展开跟踪拍摄任务：空中机器人1、海面机器人2、以及水下机器人3持续收到不断更正的坐标信息，展开追踪式三位一体全角度同步拍摄，并同时将坐标和所拍摄内容回传给陆上远程监测主机4；

6)是否有机器人电量不足：空中机器人1、海面机器人2、以及水下机器人3在采集所产生的信息的同时，也传输各机器人剩余电量信息，若某机器人电量不足，协同控制模块15则通过对应的远程控制模块命令其返回海面机器人上充电；

7)机器人返回充电：协同控制模块15持续确认各机器人坐标位置，在到来的机器人就位前，激活释放回收模块，驱动对应的伺服电机，张开对应的抓手，在到来的机器人就位后合上抓手，目的是把空中机器人或水下机器人固定机器人固定在海面机器人船体上，确保充电过程的顺利进行；

8)机器人充电完成：当某机器人充电完成时，返回信息给协同控制模块，查看当前是否有再进行的任务，若无，则不派出该机器人，若有，激活释放回收模块，驱动对应的伺服电机，张开对应的抓手，释放对应机器人，同时，协同控制模块命令该机器人前往目标坐标；

9)机器人是否接收到任务结束指令：若空中机器人1、海面机器人2、以及水下机器人3三个机器人收到来自陆上远程监测主机4发来的任务结束指令，即刻结束追踪拍摄任务，空中机器人1和水下机器人3返回海面机器人2上并回收充电，任务完成。

本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。