一种工业机器人的视觉定位系统及方法与流程

本发明涉及智能机器人技术领域，尤其涉及工业机器人定位技术领域，具体是指一种工业机器人的视觉定位系统及方法。

背景技术：

群机器人是特殊的多机器人系统，由许多无差别的自治机器人组成，具有典型的分布式系统特征。群机器人主要研究能力有限的个体机器人通过交互、协调和控制体现群体智能以合作完成相对复杂的规定任务。对于同样的任务，若用一个结构复杂、价格昂贵的单体机器人执行，可能难以胜任或效率低下。

随着传感器技术和移动机器人技术的不断发展，群机器人的控制技术也得到了进一步的提高。传统的群机器人控制器主要是针对多机器人的控制，如通过无线网卡作为通信的主要媒介来控制多机器人运动；但利用现有技术对多机器人的控制无法实现群机器人的集体协作、交互和路径规划等。同时，在大范围内有多个工业机器人时，位置不容易查找，并且传输数据十分困难。

技术实现要素：

本发明提供了一种工业机器人的视觉定位系统及方法，其目的在于克服现有技术中的缺陷，通过工业机器人的双目识别可以获取位置信息，并且通过无人机进行位置校正和数据传输，多个工业机器人可以互相配合，特别适用于大规模群机器人的统一管理。

为了实现上述目的，本发明具有如下构成：

该一种工业机器人的视觉定位系统，其主要特点是，所述系统包括：

多个工业机器人，各个所述工业机器人的顶部安装有无人机安装台，各个所述工业机器人的侧面安装有第一摄像头和第二摄像头，各个所述工业机器人中还设置有第一无线通信模块、第一电源管理模块和第一蓄电池，所述无人机安装台的上表面设置有充电接口，所述充电接口与所述工业机器人的第一蓄电池相连接；

多个与所述工业机器人一一对应的无人机，各个所述无人机可拆卸地安装于所对应的无人机安装台中，所述无人机中还设置有第二电源管理模块和第二蓄电池，所述无人机的侧面安装有第三摄像头，所述无人机的下表面设置有充电插头，所述充电插头与所述第二蓄电池相连接，且所述充电插头与所对应的工业机器人的充电接口相对应，各个所述无人机中设置有gps定位模块、gps信号强度检测模块、无线信号强度检测模块、摄像模块和第二无线通信模块，所述第二无线通信模块分别与所述第一无线通信模块和上位机进行通信；

上位机，所述上位机包括第三无线通信模块、地图更新模块和路径规划模块，所述第三无线通信模块与所述第二无线通信模块进行通信，所述地图更新模块根据所述无人机发送的位置数据更新存储的地图，所述路径规划模块为各个所述工业机器人规划路径，并将路径规划数据发送至所述无人机。

可选地，各个所述工业机器人的侧面还设置有激光定位模块和红外人体感应模块，所述激光定位模块包括激光发生器、激光接收器和距离分析单元，所述红外人体感应模块包括红外线采集器和红外感应分析单元，所述工业机器人的内部还设置有控制模块，所述控制模块分别与所述第一摄像头、第二摄像头、第一无线通信模块、第一电源管理模块、第一蓄电池、距离分析单元和红外感应分析单元相连接。

可选地，所述无人机安装台包括支撑杆、万向球和支撑平台，所述支撑杆的一端安装在所述工业机器人的顶部，所述万向球安装在所述支撑杆的另一端，所述支撑平台安装于所述万向球上，所述支撑平台上设置有一旋转机构，所述旋转机构在水平面内旋转，所述无人机安装于所述旋转机构上；

所述旋转机构包括旋转驱动电机、驱动电机输出轴、下圆盘和上圆盘，所述下圆盘与所述万向球相接触，所述下圆盘和上圆盘之间穿设有所述驱动电机输出轴，且所述驱动电机输出轴与所述下圆盘可转动连接，所述驱动电机输出轴与所述上圆盘固定连接。

本发明还提供一种工业机器人的视觉定位方法，采用所述的视觉定位系统，包括如下步骤：

各个所述工业机器人通过所述第一摄像头和第二摄像头获取拍摄图像，并选择拍摄图像中的标志性建筑物，通过三角测量原理计算工业机器人本身至所述标志性建筑物的距离；

所述无人机获取所述工业机器人本身至所述标志性建筑物的距离，并通过所述gps定位模块获取当前位置数据，并将距离数据和位置数据发送至所述上位机；

所述上位机根据存储的地图中标志性建筑物的位置和所述距离数据判断所述工业机器人的位置，并将判断得到的工业机器人的位置与gps定位模块获取的位置进行比较，当出现大于预设阈值的偏差时，更新存储的地图；

所述上位机根据所述工业机器人的位置计算所述工业机器人规划路线，并将路线规划数据通过所述无人机发送至所述工业机器人。

可选地，所述工业机器人的gps信号强度检测模块检测到gps信号强度小于预设强度最低阈值时，所述无人机自动飞起脱离所述无人机安装平台，并持续检测gps信号强度，当检测到gps信号强度大于预设最低阈值时，重新通过所述gps定位模块获取当前位置数据，并通过所述第三摄像头拍摄所述工业机器人，根据所述第三摄像头的拍摄图像判断所述无人机与所述工业机器人的相对位置，以及计算得到所述工业机器人的当前位置；

所述无人机在脱离所述无人机安装平台后飞行距离大于预设飞行阈值，且检测到gps信号强度仍小于预设最低阈值时，所述无人机通过所述第三摄像头检测预设检测区域内的标志性建筑物，并通过采集标志性建筑物的图像获取所述无人机当前的位置，然后通过所述第三摄像头拍摄所述工业机器人，根据所述第三摄像头的拍摄图像判断所述无人机与所述工业机器人的相对位置，以及计算得到所述工业机器人的当前位置。

可选地，所述无人机通过所述第三摄像头无法检测预设检测区域内的标志性建筑物时，原地旋转360°并持续拍摄，将拍摄得到的视频或全景图像发送至所述上位机，所述上位机根据所述无人机拍摄的视频或全景图像与存储的多种环境数据进行比对，估算所述无人机的位置，根据所述无人机的估算位置查找引导信息，并将估算得到的位置数据和查找的引导信息一起发送至所述无人机。

可选地，所述工业机器人的内部存储器存储容量已满时，所述无人机与距离所述工业机器人最近的其他工业机器人进行通信，获取其他工业机器人的存储容量信息，当其他工业机器人可用存储空间大于待转移存储数据大小时，所述无人机从存储容量已满的工业机器人获取待转移存储数据，并将所述待转移存储数据通过其他工业机器人的无人机传递至对应的工业机器人；

其他工业机器人在成功存取所述待转移存储数据后，将成功存取信息通过对应的工业机器人发送至存储容量已满的工业机器人的无人机，由该无人机通知存储容量已满的工业机器人删除待转移存储数据；

距离所述工业机器人最近的其他工业机器人的可用存储容量小于待转移存储数据时，存储容量已满的工业机器人的无人机继续查找下一个距离最近的工业机器人，并与其进行通信；

存储容量已满的工业机器人的无人机在遍历预设可选区域内的其他工业机器人，无法找到可用存储空间大于待转移存储数据大小的工业机器人时，所述无人机向所述上位机发送返回请求，所述上位机向所述无人机发送路线规划数据，所述工业机器人根据所述路线规划数据返回至基站。

可选地，所述无人机安装台包括支撑杆、万向球和支撑平台，所述支撑杆的一端安装在所述工业机器人的顶部，所述万向球安装在所述支撑杆的另一端，所述支撑平台安装于所述万向球上，所述支撑平台上设置有一旋转机构，所述旋转机构在水平面内旋转，所述无人机安装于所述旋转机构上；

所述旋转机构包括旋转驱动电机、驱动电机输出轴、下圆盘和上圆盘，所述下圆盘与所述万向球相接触，所述下圆盘和上圆盘之间穿设有所述驱动电机输出轴，且所述驱动电机输出轴与所述下圆盘可转动连接，所述驱动电机输出轴与所述上圆盘固定连接；

所述上位机设定预设采集周期，各个所述工业机器人中包括计时模块，所述计时模块对行走时间进行累计，在行走时间达到预设采集周期后，所述工业机器人停止行走，所述无人机通过所述旋转机构旋转360°，并持续拍摄图像或视频，并将拍摄图像或视频或所述gps定位模块获取的位置数据一起发送至所述上位机；

所述无人机拍摄完毕后，所述工业机器人的计时模块将时间清零，所述工业机器人重新开始行走，所述计时模块重新开始行走计时。

可选地，所述工业机器人的第一蓄电池电量小于预设电量阈值时，所述无人机与距离所述工业机器人最近的其他工业机器人进行通信，获取其他工业机器人的第一蓄电池的电量，当其他工业机器人第一蓄电池电量大于待转移电量大小时，所述无人机从该其他工业机器人获取待转移电量，并将所述待转移电量转移至第一蓄电池电量小于预设电量阈值的工业机器人；

距离所述工业机器人最近的其他工业机器人的第一蓄电池电量小于待转移电量大小时，第一蓄电池电量小于预设电量阈值的工业机器人的无人机继续查找下一个距离最近的工业机器人，并与其进行通信。

可选地，第一蓄电池电量小于预设电量阈值的工业机器人的无人机在遍历预设可选区域内的其他工业机器人，无法找到第一蓄电池电量大于待转移电量大小的工业机器人时，所述无人机向所述上位机发送返回请求，所述上位机向所述无人机发送路线规划数据，所述工业机器人根据所述路线规划数据返回至基站。

采用了该发明中的一种工业机器人的视觉定位系统及方法，实现了工业机器人群中多个工业机器人分别自动化控制和精确定位，通过工业机器人的双目识别可以获取位置信息，并且通过无人机通过gps定位获取位置数据，对标志性建筑物在上位机中存储的地图中位置进行校正和数据传输，多个工业机器人可以互相配合，特别适用于大规模群机器人的统一管理，上位机可以实现地图更新和路径规划，结构简单，应用方便，适用于大规模推广应用。

附图说明

图1为本发明的工业机器人的视觉定位系统的结构示意图；

图2为本发明的工业机器人的结构示意图；

图3为本发明的工业机器人的控制模块结构框图；

图4为本发明的工业机器人的无人机安装台的结构示意图；

图5为本发明的无人机安装台的旋转机构的结构示意图；

图6为本发明的工业机器人的视觉定位方法的流程图；

图7为本发明的工业机器人的三角测量位置方法的示意图。

附图标记：

1工业机器人

11无人机安装台

111支撑杆

112万向球

113支撑平台

114旋转驱动电机

115驱动电机输出轴

116下圆盘

117上圆盘

12第一摄像头

13第二摄像头

14充电接口

2无人机

21充电插头

22第三摄像头

3上位机

4标志性建筑物

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

机器人定位是确定移动机器人在所处环境的空间位置的过程。机器人实时定位是指机器人采用的定位方法及其软硬件设备能够及时、正确地确定移动机器人在所处环境的空间位置的能力，满足实时定位要求是机器人控制系统能够正确、及时地控制机器人运动的前提条件之一。

如图1～3所示，本发明提供了一种工业机器人1的视觉定位系统及方法，所述系统包括：

多个工业机器人1，各个所述工业机器人1的顶部安装有无人机安装台11，各个所述工业机器人1的侧面安装有第一摄像头12和第二摄像头13，各个所述工业机器人1中还设置有第一无线通信模块、第一电源管理模块和第一蓄电池，所述无人机安装台11的上表面设置有充电接口14，所述充电接口14与所述工业机器人1的第一蓄电池相连接；

多个与所述工业机器人1一一对应的无人机2，各个所述无人机2可拆卸地安装于所对应的无人机安装台11中，所述无人机2中还设置有第二电源管理模块和第二蓄电池，所述无人机2的侧面安装有第三摄像头22，所述无人机2的下表面设置有充电插头21，所述充电插头21与所述第二蓄电池相连接，且所述充电插头21与所对应的工业机器人1的充电接口14相对应，从而使得第一蓄电池可以为第二蓄电池充电，保证无人机2的电量充足，各个所述无人机2中设置有gps定位模块、gps信号强度检测模块、无线信号强度检测模块、摄像模块和第二无线通信模块，所述第二无线通信模块分别与所述第一无线通信模块和上位机3进行通信；各个无人机2之间也可以彼此进行通信，交互信息，甚至可以相互交互电量；

上位机3，所述上位机3包括第三无线通信模块、地图更新模块和路径规划模块，所述第三无线通信模块与所述第二无线通信模块进行通信，所述地图更新模块根据所述无人机2发送的位置数据更新存储的地图，所述路径规划模块为各个所述工业机器人1规划路径，并将路径规划数据发送至所述无人机2。

采用上述视觉定位系统进行视觉定位的方法将在下面进行详细描述。

在一种优选的实施方式中，各个所述工业机器人1的侧面还设置有激光定位模块和红外人体感应模块，所述激光定位模块包括激光发生器、激光接收器和距离分析单元，所述红外人体感应模块包括红外线采集器和红外感应分析单元，所述工业机器人1的内部还设置有控制模块，所述控制模块分别与所述第一摄像头12、第二摄像头13、第一无线通信模块、第一电源管理模块、第一蓄电池、距离分析单元和红外感应分析单元相连接。

激光定位模块为工业机器人1提供了另一种定位方式，并且可以通过激光检测帮助工业机器人1很好地避开障碍物，避免在行进过程中被撞到。

如图4～5所示，在一种优选的实施方式中，所述无人机安装台11包括支撑杆111、万向球112和支撑平台113，所述支撑杆111的一端安装在所述工业机器人1的顶部，所述万向球112安装在所述支撑杆111的另一端，所述支撑平台113安装于所述万向球112上，所述支撑平台113上设置有一旋转机构，所述旋转机构在水平面内旋转，所述无人机2安装于所述旋转机构上；

所述旋转机构包括旋转驱动电机114、驱动电机输出轴115、下圆盘116和上圆盘117，所述下圆盘116与所述万向球112相接触，所述下圆盘116和上圆盘117之间穿设有所述驱动电机输出轴115，且所述驱动电机输出轴115与所述下圆盘116可转动连接，所述驱动电机输出轴115与所述上圆盘117固定连接。

所述支撑平台113上还可以设置有水平仪，通过万向球112和水平仪可以保证支承平台始终处于水平状态，旋转装置使得摄像头能够获取全方位的视频信号。

如图6所示，本发明还提供一种工业机器人1的视觉定位方法，采用所述的视觉定位系统，包括如下步骤：

s100：各个所述工业机器人1通过所述第一摄像头12和第二摄像头13获取拍摄图像，并选择拍摄图像中的标志性建筑物，通过三角测量原理计算工业机器人1本身至所述标志性建筑物的距离；如图7所示，为三角测量原理的图，其中，两个摄像头12和13采集图像方向为l1和l2，可以得到l3和l4的距离，据此计算得到l5的长度，即为工业机器人1与标志性建筑物4的距离；

s200：所述无人机2获取所述工业机器人1本身至所述标志性建筑物的距离，并通过所述gps定位模块获取当前位置数据，并将距离数据和位置数据发送至所述上位机3；

s300：所述上位机3根据存储的地图中标志性建筑物的位置和所述距离数据判断所述工业机器人1的位置，并将判断得到的工业机器人1的位置与gps定位模块获取的位置进行比较，当出现大于预设阈值的偏差时，更新存储的地图；

s400：所述上位机3根据所述工业机器人1的位置计算所述工业机器人1规划路线，并将路线规划数据通过所述无人机2发送至所述工业机器人1。

在一种优选的实施方式中，所述工业机器人1的gps信号强度检测模块检测到gps信号强度小于预设强度最低阈值时，所述无人机2自动飞起脱离所述无人机2安装平台，并持续检测gps信号强度，当检测到gps信号强度大于预设最低阈值时，重新通过所述gps定位模块获取当前位置数据，并通过所述第三摄像头22拍摄所述工业机器人1，根据所述第三摄像头22的拍摄图像判断所述无人机2与所述工业机器人1的相对位置，以及计算得到所述工业机器人1的当前位置；

所述无人机2在脱离所述无人机2安装平台后飞行距离大于预设飞行阈值，且检测到gps信号强度仍小于预设最低阈值时，所述无人机2通过所述第三摄像头22检测预设检测区域内的标志性建筑物，并通过采集标志性建筑物的图像获取所述无人机2当前的位置，然后通过所述第三摄像头22拍摄所述工业机器人1，根据所述第三摄像头22的拍摄图像判断所述无人机2与所述工业机器人1的相对位置，以及计算得到所述工业机器人1的当前位置。

虽然采用标志性建筑物4的定位方式十分方便，并且通过第一摄像头12和第二摄像头13的双目检测可以进一步提高定位的精度，然而，在实际应用中，标志性建筑物4在存储地图中的位置不一定准确，可能会出现错误记录或者标志性建筑物4移位的情况，这样，可以通过无人机2的gps定位来实现位置校准，上位机3可以更新地图，保证地图的准确性和正确引导性。在地图更新一段时间后，可以无需无人机2再获取gps定位数据，通过标志性建筑物即可以得到较好的定位数据。

标志性建筑物可以是已经存储在上位机3地图中的商场大楼、办公楼、纪念碑等等。

无人机2在无法获取gps数据时，可以通过获取周围环境的图像，并且上位机3通过环境图形估算无人机2的位置，即，在一种优选的实施方式中，所述无人机2通过所述第三摄像头22无法检测预设检测区域内的标志性建筑物时，原地旋转360°并持续拍摄，将拍摄得到的视频或全景图像发送至所述上位机3，所述上位机3根据所述无人机2拍摄的视频或全景图像与存储的多种环境数据进行比对，估算所述无人机2的位置，根据所述无人机2的估算位置查找引导信息，并将估算得到的位置数据和查找的引导信息一起发送至所述无人机2。例如，在实际应用中，无人机2位于一个空旷的地方，周围全是农田，则上位机3可以根据周围的农田图像来获取其大概的位置数据。引导信息可以是周围距离最近的标志性建筑物，周围的工业机器人1位置，周围的充电站位置以及路径规划信息等等，可以为工业机器人1提供正确的引导。

在一种优选的实施方式中，所述工业机器人1的内部存储器存储容量已满时，所述无人机2与距离所述工业机器人1最近的其他工业机器人1进行通信，获取其他工业机器人1的存储容量信息，当其他工业机器人1可用存储空间大于待转移存储数据大小时，所述无人机2从存储容量已满的工业机器人1获取待转移存储数据，并将所述待转移存储数据通过其他工业机器人1的无人机2传递至对应的工业机器人1；

其他工业机器人1在成功存取所述待转移存储数据后，将成功存取信息通过对应的工业机器人1发送至存储容量已满的工业机器人1的无人机2，由该无人机2通知存储容量已满的工业机器人1删除待转移存储数据；

距离所述工业机器人1最近的其他工业机器人1的可用存储容量小于待转移存储数据时，存储容量已满的工业机器人1的无人机2继续查找下一个距离最近的工业机器人1，并与其进行通信；

存储容量已满的工业机器人1的无人机2在遍历预设可选区域内的其他工业机器人1，无法找到可用存储空间大于待转移存储数据大小的工业机器人1时，所述无人机2向所述上位机3发送返回请求，所述上位机3向所述无人机2发送路线规划数据，所述工业机器人1根据所述路线规划数据返回至基站。基站可以是预先设定的充电站、补给站等等。

通过各个工业机器人1之间的电量互传，可以避免距离充电站太远的工业机器人1电量不足以赶到充电站的情况，并且在向充电站行走时，可以实时获取周围其他工业机器人1的电量情况，一旦找到可以提供充电帮助的，即可以停下来，通过无人机2获取补给电量。由于距离基站越近的工业机器人1可能是刚刚充完电的，因此，对于电量不足的机器人来说，在向基站行走的过程中，寻找到其他可以提供帮助的机器人的可能性也越大。

采用这种方式，特别适用于具有很多工业机器人1的机器人群的情况，多个工业机器人1之间可以互相配合，为彼此提供帮助，并且工业机器人1之间通过无人机2进行通信和数据传递，可以不用限制于工业机器人1当前的位置，无人机2随意移动的特性也十分方便。

在一种优选的实施方式中，所述无人机安装台11采用上面的可旋转式的结构，所述上位机3设定预设采集周期，各个所述工业机器人1中包括计时模块，所述计时模块对行走时间进行累计，在行走时间达到预设采集周期后，所述工业机器人1停止行走，所述无人机2通过所述旋转机构旋转360°，并持续拍摄图像或视频，并将拍摄图像或视频或所述gps定位模块获取的位置数据一起发送至所述上位机3；所述上位机3可以根据所述无人机2的gps定位数据和拍摄的周围环境视频或图像来更新和增加上位机3中存储的各种环境数据。

所述无人机2拍摄完毕后，所述工业机器人1的计时模块将时间清零，所述工业机器人1重新开始行走，所述计时模块重新开始行走计时。

在一种优选的实施方式中，所述工业机器人1的第一蓄电池电量小于预设电量阈值时，所述无人机2与距离所述工业机器人1最近的其他工业机器人1进行通信，获取其他工业机器人1的第一蓄电池的电量，当其他工业机器人1第一蓄电池电量大于待转移电量大小时，所述无人机2从该其他工业机器人1获取待转移电量，并将所述待转移电量转移至第一蓄电池电量小于预设电量阈值的工业机器人1；

距离所述工业机器人1最近的其他工业机器人1的第一蓄电池电量小于待转移电量大小时，第一蓄电池电量小于预设电量阈值的工业机器人1的无人机2继续查找下一个距离最近的工业机器人1，并与其进行通信。

在一种优选的实施方式中，第一蓄电池电量小于预设电量阈值的工业机器人1的无人机2在遍历预设可选区域内的其他工业机器人1，无法找到第一蓄电池电量大于待转移电量大小的工业机器人1时，所述无人机2向所述上位机3发送返回请求，所述上位机3向所述无人机2发送路线规划数据，所述工业机器人1根据所述路线规划数据返回至基站。

采用了该发明中的一种工业机器人的视觉定位系统及方法，实现了工业机器人群中多个工业机器人分别自动化控制和精确定位，通过工业机器人的双目识别可以获取位置信息，并且通过无人机通过gps定位获取位置数据，对标志性建筑物在上位机中存储的地图中位置进行校正和数据传输，多个工业机器人可以互相配合，特别适用于大规模群机器人的统一管理，上位机可以实现地图更新和路径规划，结构简单，应用方便，适用于大规模推广应用。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。