一种移动机器人无线集群系统及神经网络视觉导航方法与流程

本发明涉及移动机器人调度技术领域以及视觉导航领域，尤其涉及一种移动机器人无线集群系统及神经网络视觉导航方法。

背景技术：

移动机器人能有效的节约生产时间，大幅度提高生产效率，降低人工劳动成本，在汽车、食品、印刷、物料运输等多个行业有着广泛的应用需求。

移动机器人一项关键技术是导航技术，移动机器人导航已经有多种方式，例如惯性导航、磁带导航、激光导航和机器视觉导航。不同导航方式的移动机器人具有各自的特点，并决定了所构成物流系统的柔性程度及成本费用。机器视觉导航技术与惯性导航相比，具有控制性能好、算法简单等优点；与磁带导航相比，具有路径维护和改造更加方便灵活、不受电磁场干扰等优点；与激光导航方式相比，具有成本较低、系统构建更加容易等优点。所以机器视觉导航移动机器人具有较高的实用价值和广阔的应用前景。

现有的基于二维码及导航带的视觉导航方法虽然简单、快速，但是由于移动机器人实际应用场景中二维码容易被灰尘或污渍影响从而导致二维码读取成功率下降。现有的基于rfid及导航带的视觉导航方法成本较高，从而限制了该导航方法的推广应用。

随着“工业4.0”概念下提出的“智慧工厂”的日益发展，企业对生产现场的设备进行远程监控有迫切需求。移动机器人因工作性质需作位置变换，作为管理端的计算机若要对多个移动机器人进行监控，采用无线通讯是较好选择。

技术实现要素：

本发明的目的在于克服上述现有技术的缺点和不足，提供一种结构简单、操作便捷的移动机器人无线集群系统及神经网络视觉导航方法。

本发明通过下述技术方案实现：

一种移动机器人无线集群系统，包括中央管理计算机1、无线ap服务器2和多个移动机器人3，所述中央管理计算机与无线ap服务器通过网线连接实现数据交互，无线ap服务器与移动机器人通过无线传输实现数据交互；

每个移动机器人均包括车体和控制模块。控制模块设置在车体上，所述控制模块包括无线epa客户端4、微处理器5和相机6；无线epa客户端4与无线ap服务器2通过无线连接实现数据交互，无线epa客户端4与微处理器5通过网线连接实现数据交互，相机6与微处理器5通过有线连接实现数据交互。

工作原理：中央管理计算机与移动机器人的微处理器之间数据交互是通过无线ap服务器与无线epa客户端实现无线通讯的，中央管理计算机向移动机器人发出查询及调度指令，移动机器人在收到指令后返回当前状态数据并执行相应工作指令。各个移动机器人之间也可以经由无线ap服务器进行相互通讯。

优选的，所述无线ap服务器与无线epa客户端采用tcp/ip网络通讯协议。

优选的，所述中央管理计算机向移动机器人发出的数据和指令采用modbustcp协议进行编译。

优选的，所述微处理器选用armcortex-a8、armcortex-a9、armcortex-a12、armcortex-a15。

优选的，所述相机采用usb相机、ccd相机。

一种神经网络视觉导航方法，其包括如下步骤：

步骤一：实时采集移动机器人所在预设环境下的道路图像，并转换为灰度图像，预设环境下的道路中预铺有车道线，车道线的预定位置上设置有多个标识符，标识符均有一个与标识符背景对比度较高的圆环轮廓；

步骤二：将步骤一所得灰度图像作透视变换，将灰度图像转换为相机与地面呈正投影的图像；

步骤三：将步骤二所得相机与地面呈正投影的图像作图像分割，得到仅含标识符感兴趣区域的图像和仅含车道线感兴趣区域的图像；

步骤四：将步骤三所得仅含标识符感兴趣区域的图像，通过识别图像中的标识符得到转向和定位信息；

步骤五：将步骤三所得仅含车道线感兴趣区域的图像通过提取图像中的车道线边缘，得到仅含车道线边缘的图像并对车道线进行跟踪。

步骤一中还包括以下子步骤：

步骤a：根据实际环境调整相机摆放位置及相机配套光源的强度；

步骤b：根据当前调整的光源强度调整相机参数使其能采集到清晰的道路图像；

步骤c：实时采集连续清晰的道路图像传入微处理器内存中进行图像处理。

所述步骤二具体步骤如下：设定完成光源及相机之后，用相机对路面上预设的标定纸进行拍摄，标定纸中画有与标定纸背景对比度较高的正方形线框，通过将所拍图像中矩形的四个顶点坐标变换为正方形的四个顶点坐标得到相关变换参数，即完成透视变换，将灰度图像转换为相机与路面呈正投影的图像。

所述步骤三具体步骤如下：将步骤二所得相机与地面呈正投影的图像分别作圆检测与直线检测进行图像分割，若图像中包含有标识符的圆环轮廓，可分割得到仅含标识符感兴趣区域的图像，直线检测可检测到图像中的车道线边缘，可分割得到仅含车道线感兴趣区域的图像。

所述步骤四具体步骤如下：

运用深度学习方法(yolo)识别步骤三所得仅含标识符感兴趣区域的图像中的标识符，与微处理器中数据库信息进行比对得到转向和定位信息，数据库信息可由中央管理计算机进行增加、删除和更新。

深度学习方法流程包含以下步骤：

步骤s1：首先载入cifar-10数据，cifar-10由60000张32*32的rgb彩色图片构成，共10个分类；50000张用于训练，10000张用于测试(交叉验证)；

步骤s2：创建一个卷积神经网络(以下简称cnn)，所述卷积神经网络主要包括以下几层：图像输入层，中间层，分类输出层。图像输入层定义了cnn可以处理的数据的类型和大小；中间层由多层构成，按先后次序排序表示是由重复层及非重复层构成；重复层是构成cnn的核心构成模块，由重复三次的卷积层、校正线性层(relu)及最大值池化层构成；非重复层由全连接层、relu、全连接层、及softmax层构成；最后一层为分类输出层；

步骤s3：使用cifar-10训练cnn，设置网络训练参数后，将训练算法运行x个迭代周期，x为大于1的整数，训练完成后验证网络；优选的，所述的迭代周期次数x为30至70的整数。

步骤s4：载入标识符训练图数据，载入x张标识符图进行训练，x为大于100的整数；优选的，标识符图张数x为标识符种类的10倍，即一种标识符对应10张同种标识符训练图。

步骤s5：完成yolo检测器，用步骤d载入的标识符训练图数据来训练cnn，设置好训练参数，训练后即完成yolo检测器。

步骤四中运用机器学习方法识别标识符得到转向和定位信息。

步骤五中提取图像中的车道线边缘，是运用全卷积网络方法提取图像中的车道线边缘，再运用循环伴随目标跟踪方法对车道线边缘进行跟踪。

全卷积网络方法(fcn)将传统神经网络cnn的全连接层转化成一个个的卷积层，支持不同大小的图像输入，支持全图端到端(endtoend)得到每个像素的预测结果，在边缘检测领域处于最新水平。

循环伴随目标跟踪算法(以下简称rtt)首先对每一帧的候选区域进行网状分块，对每个分块提取hog特征，最终相连得到基于块的特征。rtt利用前5帧训练多方向循环神经网络(rnn)来学习分块之间大范围的空间关联。通过在4个方向上的向前推进,rnn计算出每个分块的置信度，最终每个块的预测值组成整个候选区域的置信图。受益于rnn的玄幻结构，每个分块的输出值都受到其他关联分块的影响，相比于仅仅考虑当前块的准确度更高，增加可靠目标部分在整体置信图中的影响。rtt还需训练相关滤波器来获得最终的跟踪结果。

本发明相对于现有技术，具有如下的优点及效果：

1、各移动机器人之间可以经由无线ap服务器进行无线通讯，避免冲突，共同完成任务，提高工作效率，突破传统上移动机器人单向接收中央管理计算机控制的局限性。

2、采用深度学习方法对标识符识别准确率高，能够保证标识符在受到一定程度下灰尘、污渍等干扰的情况下的识别率仍然维持在较高水平，提高了视觉导航方法的鲁棒性。

3、采用全卷积网络方法对车道线进行边缘检测，可取得较完整的车道线边缘图像，在此基础上再采用循环伴随目标跟踪方法对每一帧图像进行车道线跟踪，跟踪效果好。

附图说明

图1是移动机器人无线集群系统示意图

图2是视觉导航方法流程示意图

图3是相机透视变换的标定示意图

图4是道路线及标识符示意图

图5是分割后得到仅含道路线感兴趣区域的图像示意图

图6是分割后得到仅含标识符感兴趣区域的图像示意图

图7是yolo方法流程图示意图

图8是边缘检测得到仅含车道线边缘的图像示意图

具体实施方式

下面结合具体实施例对本发明作进一步具体详细描述。

实施例

本发明公开了一种移动机器人无线集群系统，如图1所示，它包括中央管理计算机1、无线ap服务器2和多个移动机器人3，所述中央管理计算机与无线ap服务器通过网线连接实现数据交互，无线ap服务器与移动机器人通过无线传输实现数据交互；

每个移动机器人3均包括控制模块和车体7，控制模块设置在车体上7，所述控制模块包括无线epa客户端4、微处理器5和相机6。无线ap服务器2与无线epa客户端4通过无线连接实现数据交互，无线epa客户端4与微处理器5通过网线连接实现数据交互，微处理器5与相机6通过有线连接实现数据交互。

本实施例中无线ap服务器2型号为phoenixcontactwln5100，无线epa客户端4型号为phoenixcontactflwlaneparsma,微处理器5型号为armcortex-a9,相机6为usb摄像头。

工作原理：中央管理计算机与移动机器人的微处理器之间数据交互是通过无线ap服务器与无线epa客户端实现无线通讯的，中央管理计算机向移动机器人发出查询及调度指令，移动机器人在收到指令后反馈当前状态数据并执行相应工作指令。多个移动机器人之间也可以经由无线ap服务器进行相互通讯，避免冲突，共同完成任务。

本实施例中无线ap服务器2与无线epa客户端4采用tcp/ip网络通讯协议，中央管理计算机向移动机器人发出的指令及来自移动机器人反馈的数据、移动机器人相互通讯的数据均以modbustcp通讯协议进行编译。

本发明神经网络视觉导航方法，如图2所示，可通过以下步骤实现：

步骤s100实时采集所述移动机器人所在预设环境下的道路图像，并转换为灰度图像，所述预设环境下的道路中预铺有车道线，所述车道线的预定位置上设置有多个标识符，所述标识符均有一个与标识符背景对比度较高的圆环轮廓。

本实施例中预铺在道路上的车道线宽度为10cm,标识符圆环轮廓外圆半径为10cm.

关于步骤s100，还包括以下子步骤：

步骤s101根据实际环境调整相机摆放位置及相机配套光源的强度。

本实施例中相机采用usb相机，摆放高度为离地面垂直距离为50cm,拍摄角度为同路面水平方向呈45°角。

步骤s102根据当前调整的光源强度调整相机参数使其能采集到清晰的道路图像。

步骤s103实时采集连续清晰的道路图像传入微处理器内存中进行图像处理。

本实施例中微处理器型号为armcortex-a9。

步骤s200相机透视变换标定。如图3所示，用相机对路面上预设的标定纸进行拍摄，所述标定纸中画有与标定纸背景对比度较高的正方形线框，通过将所拍图像中矩形的四个顶点坐标变换为正方形的四个顶点坐标得到相关变换参数，即完成透视变换，将灰度图像转换为相机与路面呈正投影的图像，如图4所示。

步骤s300将步骤s200所得相机与地面呈正投影的图像作图像分割得到仅含标识符感兴趣区域的图像和仅含车道线感兴趣区域的图像，如图5及图6所示。

关于步骤s300,还包括以下子步骤：

步骤s301，对步骤s200所得相机与地面呈正投影的图像作圆检测，若检测到图像中包含有标识符的圆环轮廓，可分割得到仅含标识符感兴趣区域的图像。

步骤s302,对步骤s200所得相机与地面呈正投影的图像作直线检测，可检测到图像中的车道线边缘，分割得到仅含车道线感兴趣区域的图像。

步骤s400识别步骤s300所得仅含标识符感兴趣区域的图像中的标识符，与微处理器中数据库信息进行比对得到转向和定位信息，所述数据库信息可由中央管理计算机进行增加、删除和更新。

关于步骤s400，是采用深度学习算法“yolo”进行标识符识别，包含以下子步骤：

步骤s401首先载入cifar-10数据，cifar-10由60000张32*32的rgb彩色图片构成，共10个分类。50000张用于训练，10000张用于测试(交叉验证)。

步骤s402创建一个卷积神经网络(cnn)，所述卷积神经网络主要包括以下几层：图像输入层，中间层，分类输出层。图像输入层定义了cnn可以处理的数据的类型和大小。中间层由多层构成，按先后次序排序表示是由重复层及非重复层构成。重复层是构成cnn的核心构成模块，由重复三次的卷积层、校正线性层(relu)及最大值池化层构成。非重复层由全连接层、relu、全连接层、及softmax层构成。最后一层为分类输出层。

步骤s403使用cifar-10训练cnn，设置网络训练参数后，将训练算法运行x个迭代周期，x为大于1的整数，训练完成后验证网络。

本实施例中选取步骤s403的迭代周期个数为50个。

步骤s404载入标识符训练图数据，载入x张标识符图进行训练，x为大于100的整数。

优选的，标识符图张数x为标识符种类的10倍，即一种标识符对应10张同种标识符训练图。

本实施例中s404训练用的标识符图张数为360张。

步骤s405完成yolo检测器，用步骤s404载入的标识符训练图数据来训练cnn，设置好训练参数，训练后即完成yolo检测器。

步骤s500运用全卷积网络算法(fcn)将步骤300所得仅含车道线感兴趣区域的图像提取图像中的车道线边缘，再运用循环伴随目标跟踪算法(rtt)对车道线进行跟踪。

本实施例中的标识符识别率高，车道线跟踪效果好。

如上所述，便可较好地实现本发明。

本发明的实施方式并不受上述实施例的限制，其他任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。