一种智能化仓储巡检机器人控制系统及控制方法

1.本发明属于智能仓储技术领域，具体涉及一种智能化仓储巡检机器人控制系统及控制方法。


背景技术：

2.随着科学技术的发展和社会的进步，仓储行业进入高速发展阶段，仓储空间面积也越来越大，而仓储监管技术并未得到同步发展，导致各地仓储危险事件频频发生，造成巨大损失。仅仅依靠人工管理模式，无论仓储人员是否充足，都很难做到24小时不间断无差错地巡检，而且人体对环境信息的感知不够敏感，环境恶化时巡检人员不易发觉。然而借助设备监控这种管理方式也存在如下问题：仓储区间内定点安装的监控装置存在监控盲区；安装的检测传感器较单一、针对性不强、漏报与误报率较高且系统缺乏智能性；需多点安装监控装置，成本较高等。
3.目前人工管理与借助设备管理的模式，效率低，成本高，可靠性弱等。


技术实现要素：

4.因此，本发明要解决的技术问题在于提供一种智能化仓储巡检机器人控制系统及控制方法，能够解决现有这种人工管理与借助设备管理的模式，效率低，成本高，可靠性弱的问题。
5.为了解决上述问题，本发明提供了一种智能化仓储巡检机器人控制系统，包括机器人本体控制结构单元、机器人应用层和机器人平台展现；
6.机器人本体控制结构单元，用于接受机器人应用层的控制指令，实现机器人应用层到机器人本体控制结构单元的直接共享控制；
7.机器人应用层，与机器人本体控制结构单元各功能模块的映射与协同，且与机器人平台展现人机交互界面的协调规划；
8.机器人平台展现，用于工作人员通过人机交互形式实时监控巡检进程。
9.可选的，机器人本体控制结构单元包括：检测信号转换模块、嵌入式主控系统、本体信号转换模块、电源模块、电机驱动模块、报警模块、超声波模块、传感器模块和温湿度模块；
10.嵌入式主控系统分别与检测信号转换模块和本体信号转换模块信号连接，本体信号转换模块分别与电源模块、电机驱动模块、报警模块、超声波模块、传感器模块和温湿度模块信号连接。
11.可选的，外部信号通过检测信号转换模块与本体信号转换模块，且将该信号转换后输送至嵌入式主控系统；
12.嵌入式主控系统包括控制器stm32、电源电路、晶振电路、复位电路、led电路和jp1/2/3接线端口；
13.电源电路与控制器stm32中vdd_1/2/3任一端口相连接，电源电路中的usb接口接
5v供电，之后降压处理后输出电压为3.3v；
14.晶振电路与控制器stm32中oscin、oscout口相连接，用来给芯片提供时钟信号；
15.复位电路与控制器stm32中nrst口相连接，当nrst引脚被拉低，产生外部复位，并产生复位脉冲，从而使系统复位；
16.led电路与控制器stm32中vbat口相连接，用于外围led供电；
17.jp1/2/3作为接线端口依次排列，其中jp1与控制器stm32中swio、swclk口相连接；jp2/3与控制器stm32中pa10、pa9口相连接。
18.可选的，机器人应用层包括巡检子系统的机器人端管理、网络子系统的web端管理和app子系统的可移动端管理；
19.当定时程序触发机器人执行巡检任务且满足内部巡检条件时，启动初始化程序，调用各项巡检硬件设备，并按任务配置要求开始自动导航巡检，通过巡检子系统和网络子系统的数据融合以及各项硬件设备，监控人员会在app子系统中查看流程与异常信息。
20.可选的，机器人平台展现包括智能巡检平台、大数据平台、物联网平台和移动平台，分别负责机器人的巡检状态监控、数据存储管理以及人机交互的评估。
21.本发明的另一方面提供了一种智能化仓储巡检机器人控制方法，如上述所述的智能化仓储巡检机器人控制系统，控制系统包括机器人本体控制结构单元、机器人应用层和机器人平台展现；机器人本体控制结构单元包括：检测信号转换模块、嵌入式主控系统、本体信号转换模块、电源模块、电机驱动模块、报警模块、超声波模块、传感器模块、温湿度模块；机器人应用层包括巡检子系统的机器人端管理、网络子系统的web端管理和app子系统的可移动端管理；机器人平台展现包括智能巡检平台、大数据平台、物联网平台和移动平台；
22.控制方法包括以下步骤：
23.将机器人本体控制结构单元，机器人应用层和机器人平台展现相互绑定：
24.步骤一：基于机器人本体控制结构单元，完成巡检机器人的信号转换以及各个模块的协调一致配合，且接受来自机器人应用层的共享控制指令；
25.步骤二：基于机器人应用层，进行分层管理巡检机器人子系统、网络子系统与app子系统，协调控制本体结构单元与传递人机交互界面的信息；
26.步骤三：基于机器人平台展现，搭建智能巡检平台，大数据平台，物联网平台以及移动平台，实现智能化仓储巡检机器人控制。
27.可选的，基于yolov3算法直接预测相对位置的方法识别障碍物、烟雾和火焰，使机器人进行巡检避障与路径规划以及采用自适应鲁棒滑模变结构控制算法完成巡检机器人的轨迹跟踪，算法实现仓储巡检机器人控制方法的步骤，以此实现机器人智能化仓储巡检。
28.可选的，基于yolov3算法直接预测相对位置的方法识别障碍物、烟雾和火焰，使机器人进行巡检避障与路径规划，具体步骤如下：
29.步骤一：算法进行训练学习采集的人物数据集2880张、有烟雾和火焰的图片数据集2474张，均包括室内外两种场景；
30.步骤二：基于采集的数据，对采集到的数据集用labelimg软件进行人工标注生成.xml标签文件；
31.步骤三：利用yolov3网络进行500epoch的训练，经过该网络结构的多次预训练学
习，从而达到后期迅速且精确识别障碍物、烟雾和火焰的效果。
32.可选的，采用自适应鲁棒滑模变结构控制算法完成巡检机器人的轨迹跟踪，具体步骤如下：
33.步骤一：建立并给出巡检机器人运动学模型；
34.步骤二：基于上述运动学模型的数学描述，设计机器人x位置控制律、y位置控制律和姿态控制律，并用lyapunov方法证明稳定性；
35.步骤三：利用以上结果进一步的完成其仿真效果分析，说明该方法的可行性与鲁棒性。
36.有益效果：
37.本发明的实施例中所提供的一种智能化仓储巡检机器人控制系统及控制方法，包括：机器人本体控制结构单元，所述机器人以嵌入式主控系统为核心，且结合电源模块、电机驱动模块、报警模块、超声波模块、传感器模块和温湿度模块等完善机器人本体结构功能。机器人应用层，所述机器人主要分为三个应用层：巡检子系统的机器人端管理、网络子系统的web端管理和app子系统的可移动端管理。机器人平台展现，所述机器人搭建智能巡检平台、大数据平台、物联网平台和移动平台。通过上述方案设计一种智能化仓储巡检机器人控制系统，且采用基于yolov3算法直接预测相对位置的方法识别障碍物、烟雾和火焰等，使机器人更优的进行巡检避障与路径规划以及采用自适应鲁棒滑模变结构控制算法完成巡检机器人的轨迹跟踪。本发明能够实现仓储系统的智能化管理，从而提高了效率，强化了自动化仓储监控流程，节省了人力物力成本，保证了仓储安全。
附图说明
38.图1为本发明实施例的智能化仓储巡检机器人控制系统结构框图；
39.图2为本发明实施例的智能化仓储巡检机器人主控系统部分电路原理图；
40.图3为本发明实施例的yolov3算法网络结构图；
41.图4为本发明实施例的基于yolov3算法目标检测的实际效果图；
42.图5为本发明实施例的智能化仓储巡检机器人运动学模型图；
43.图6为本发明实施例的智能化仓储巡检机器人轨迹跟踪结果图。
具体实施方式
44.结合参见图1至图6所示，根据本发明的实施例，一种智能化仓储巡检机器人控制系统。首先，以嵌入式主控系统为核心，且结合电源模块、电机驱动模块、报警模块、超声波模块、传感器模块和温湿度模块等完善机器人本体结构功能；然后，协调好智能化巡检机器人的三个应用管理层，其中在巡检子系统中采用基于yolov3算法直接预测相对位置的方法识别障碍物、烟雾和火焰等，使机器人更优的进行巡检避障与路径规划；最后，巡检机器人搭建各项平台，且在系统控制子模块中通过采用自适应鲁棒滑模变结构控制算法完成巡检机器人的轨迹跟踪。相对于传统模式下仓储系统安防措施的弊端，提出的控制系统在仓储领域可以广泛应用且通过相关算法实现了巡检机器人的智能性，故本发明的提出具有一定的实用推广价值。
45.本发明提供一种智能化仓储巡检机器人控制系统及控制方法，代替部分或全部人
工巡检。其技术方案如下：如图1所示；
46.第一方面：巡检机器人以嵌入式主控系统为核心，且结合电源模块、电机驱动模块、报警模块、超声波模块、传感器模块和温湿度模块等完善机器人本体结构功能。驱动模块、报警模块、超声波模块、传感器模块和温湿度模块等完善机器人本体结构功能；本体控制结构单元是将各功能模块分解为电机动作或其他状态信号的组合，以完成具体执行功能。该单元接受机器人应用层的控制指令，实现机器人应用层到本体控制结构单元的直接共享控制。
47.进一步的，如图2所示为嵌入式主控系统的一部分电路连接图，其中有控制器stm32、电源电路、晶振电路、复位电路、led电路和jp1/2/3接线端口。
48.进一步的，电源电路与控制器stm32中vdd_1/2/3任一端口相连接，即分别对应引脚24、引脚36、引脚48，电源电路中的usb接口接5v供电，之后降压处理后输出电压为3.3v；
49.晶振电路与控制器stm32中oscin、oscout口相连接，即分别对应引脚5、引脚6，用来给芯片提供时钟信号；
50.复位电路与控制器stm32中nrst口相连接，即引脚7，当nrst引脚被拉低，产生外部复位，并产生复位脉冲，从而使系统复位；
51.led电路与控制器stm32中vbat口相连接，即引脚1，用于外围led供电；
52.jp1/2/3作为接线端口依次排列，其中jp1与控制器stm32中swio、swclk口相连接，即分别对应引脚34、引脚37；jp2/3与控制器stm32中pa10、pa9口相连接，即分别对应引脚31、引脚30。
53.进一步的，将外部检测信号与机器人本体检测信号进行转换输送给机器人主控系统，以便进行下一步的行为，机器人主控芯片采用st(stmicroelectronics)公司微控制器中的stm32系列。
54.机器人本体控制结构单元包括：检测信号转换模块、嵌入式主控系统、本体信号转换模块、电源模块、电机驱动模块、报警模块、超声波模块、传感器模块和温湿度模块；
55.嵌入式主控系统分别与检测信号转换模块和本体信号转换模块信号连接，本体信号转换模块分别与电源模块、电机驱动模块、报警模块、超声波模块、传感器模块和温湿度模块信号连接。
56.进一步的，各个分模块之间的连接方式主要分成两部分耦合：机器人本体控制单元和机器人本体结构单元之间的信号连接与机械连接。
57.机器人本体控制单元：首先，电源模块、电机驱动模块、报警模块、超声波模块、传感器模块、温湿度模块是通过机械连接方式进行耦合的；其次，这六个模块不仅对来自本体转换模块的信息进行决策处理，而且对处理决策后的信息通过信号连接的方式传送到机器人结构单元的嵌入式主控系统中。机器人本体结构单元：实时监测当前环境的参数信息，在取得有效数据后通过检测信号转换模块传递至嵌入式主控系统进行处理，两者之间传递方式为信号连接；与此同时嵌入式主控系统将处理后的信息会通过信号连接的方式发送到本体转换模块，进而流向机器人本体控制单元。
58.进一步的，电源电路主要由两部分组成，供电电路(可以使用普通的usb接口电路)和降压电路。
59.进一步的，仓储巡检机器人系统动力部分设计的重点是电机的驱动电路模块，电
机驱动模块一般是晶体管模块、晶闸管(可控硅)模块、igbt模块等通过信号流的方式进行模块信息整合的。本系统选用驱动芯片tb6612fng来驱动电路以控制电机，从而实现机器人的平衡控制、速度控制等，在实现电机控制上，主要采用的是控制器的pwm模块，通过调制占空比来实现调速。
60.进一步的，报警模块是主控芯片通过决策后的模拟信号来控制蜂鸣器模块发声以及其发声的频率。报警模块主要采用的是蜂鸣器报警电路，涉及的有温湿度报警、火情报警和气体烟雾浓度报警等。
61.进一步的，超声波模块是通过主控芯片io端触发，根据接收器接到超声波时的时间差完成测距。hc-sr04超声波测距模块可提供非接触式距离感测功能，测距精度可达3mm，模块包括超声波发射器，接收器与控制电路，在功能上可以及时发现前方的障碍物，使巡检机器人及时转向，避开障碍物。
62.进一步的，传感器模块包括红外检测传感器、姿态角度传感器：两者并行作用，能对外界环境信息进行探测，且可以对机器人本体的姿态角度进行观测，最后将数据通过信号传递。巡检机器人通过对周边环境各种参数的检测来预估环境潜在的危险度是其非常重要的功能，通过搭载多个异型传感器来感知环境中的温度、湿度、有毒、易燃易爆气体浓度是最常用的检测方法。所以采用这种多传感器融合功能来感知环境状态变化，以便机器人决策。
63.红外检测传感器：e18-d80nk这是一种集发射与接收为一体的光电传感器，发射光经过调制后发出，接收头对反射光进行解调输出，有效的避免了可见光的干扰。该传感器具有探测距离远、受可见光干扰小、价格便宜、易于装配、使用方便等特点，可以广泛应用于机器人避障、流水线计件等众多场合。
64.姿态角度传感器：模块内部集成了姿态解算器，配合动态卡尔曼滤波算法，能够在动态环境下准确输出模块的当前姿态，姿态测量精度静态0.05度，动态0.1度，稳定性极高，性能甚至优于某些专业的倾角仪。
65.进一步的，温湿度模块一般是基于独特的湿敏电容单元设计制作而成，微型封装；具有单总线和标准i2c两种信号通讯方式。温湿度模块采用dht12，其具有单总线和标准i2c两种通讯方式、具有超小的体积、较低的功耗，适合多种多样的应用场合。
66.第二方面：巡检机器人主要分为三个应用管理层：巡检子系统的机器人端管理、网络子系统的web端管理和app子系统的可移动端管理。采用基于yolov3算法的直接预测相对位置的方法识别障碍物、烟雾和火焰等，使机器人更优的进行巡检避障与路径规划。
67.进一步的，当定时程序触发机器人执行巡检任务且满足内部巡检条件时，启动初始化程序，调用各项巡检硬件设备，并按任务配置要求开始自动导航巡检。该层主要完成的功能：其一，子任务与本体控制结构单元各功能模块的映射与协同，主要有气体检测、烟、火检测、温湿度检测、语音报警、路径规划、自主避障、数据融合、自主返航等。其二，应用管理层与平台人机交互界面的协调规划，主要有权限、任务、电池、数据、机器人、摄像头、语音、导航、视频监控以及异常事件等各项管理。
68.首先，在巡检过程中，对仓储环境进行不同形式的检测，如气体检测(氧气含量、硫化氢含量、一氧化碳含量和甲烷含量等)、温湿度检测、烟雾/火焰检测等，若发现某一项指标与预设不同，即发生语音报警功能；在巡检过程中机器人会规划合理的路径，从而提高巡
检效率；若碰见异物阻碍巡检进程则自动开启巡检机器人的自主避障功能。
69.然后，在此过程中会通过web端管理巡检流程，如权限，任务，电池充放电，数据存储以及机器人是否故障等问题。
70.最后，通过巡检子系统和网络子系统数据融合以及各项硬件设备(如高清摄像头、语音模块、导航模块和视频显示模块等)，工作人员会在app子系统中查看流程与异常信息。
71.第三方面：巡检机器人搭建智能巡检平台、大数据平台、物联网平台和移动平台，且系统控制子模块中通过采用自适应鲁棒滑模变结构控制算法完成巡检机器人的轨迹跟踪。该机器人平台负责机器人的巡检状态监控、数据存储管理以及人机交互的评估等任务，不仅能够间接控制机器人本体控制结构单元，而且还能通过机器人应用层进行一定的交互任务评估。
72.基于平台监控协调控制和局部自主行为控制相结合的设计思想，根据巡检机器人系统的硬件组成特点，将控制系统体系结构设计为本体控制结构单元、应用层、平台展现三层结构。
73.进一步的，通过机器人展现平台配置机器人相关软、硬件及参数信息，工作人员可以通过这种人机交互形式实时监控巡检进程。
74.一种智能化仓储巡检机器人主要分为三个应用管理层。其中，巡检子系统中采用基于yolov3算法直接预测相对位置的方法识别障碍物、烟雾和火焰等，使机器人更优的进行巡检避障。
75.仓储巡检机器人具备视觉探测能力是智能化的重要体现，视觉图像的检测方法能够对仓储环境进行全面、深度的探测，为巡检机器人的决策提供完善的信息，使机器人的任务执行高效、准确。图像识别不受空间大小的限制，能准确定位、快速识别、支持多种工作环境，增加大空间检测的实时性和可靠性。采用yolov3算法用于目标检测，yolov3算法网络结构如图3所示。yolov3仅使用卷积层，使其成为一个全卷积网络(fcn)，提出一个特征提取网络darknet-53：包含53个卷积层，每个后面跟随着batch normalization层和leaky relu层。无池化层，其使用步幅为2的卷积层替代池化层进行特征图的降采样过程，这样可以有效阻止由于池化层导致的低层级特征的损失。
76.其一，本次该算法进行训练学习采集的人物数据集一共2880张，包括室内外两种场景，对数据集用labelimg软件进行人工标注生成.xml标签文件，利用yolov3网络进行500epoch的训练。当人在仓储区间内走动时，巡检机器人与其在一定范围内相遇时，只要在巡检机器人范围内，它会实时进行识别检测，并发送给机器人的控制结构单元，完成信号转换后机器人的各个模块会采取一定的预动作，从而辅助以及实时的让机器人做出合理的执行动作或警报，避免相撞发生危险。如图4(a)是巡检机器人对该场景下的识别检测效果。
77.其二，在仓储空间内火灾发生初期，一般当温度达不到着火点时，会伴随着烟雾的产生，利用yolov3算法对这些烟雾进行识别，及时进行报警与处理动作，降低损失。本次使用了2474张室内外有烟雾和火焰的图片，并对采集的图片利用labeling进行标注，yolov3网络进行500epoch的训练。由于yolov3算法实时性较快，经过前期大量预训练学习，可以迅速精确识别烟雾进而发出警报，以便及时处理，烟雾识别效果如图4(b)所示。当烟雾到达一定阈值，巡检机器人识别到烟雾，立即停止运动，随即启动应用层管理系统，开启语音报警装置，并通过人机交互界面在智能巡检平台上展现，从而传递仓储区间信息。
78.总之，通过yolov3算法实验验证，证明了该巡检机器人能有效避让行人、检测识别烟雾等。yolov3算法智能检测识别具有独特的优势，可提高仓储巡检机器人的早期预警能力，降低错误报警率，提升避障与火灾预警的准确性。
79.进一步的，一种智能化仓储巡检机器人的系统控制子模块中通过采用自适应鲁棒滑模变结构控制算法完成巡检机器人的轨迹跟踪，验证本发明仓储巡检的可靠性。
80.首先，给出巡检机器人的运动学模型如图5所示：两轮差速巡检机器人由两个独立驱动轮子组成，围绕同一轴线旋转，并带有一个或多个脚轮，使得机器人保持水平面的低摩擦力。其本体控制结构及电机控制也相对简单，机器人灵活性较强，且算法易控制。故仓储巡检机器人的运动学模型数学描述如下公式(1)：
[0081][0082]
其中，[x,y]为巡检机器人的位置，为x的导数，为y的导数；v为机器人的线速度；方向角用θ表示，为θ的导数；w为巡检机器人的角速度。
[0083]
然后，设计自适应鲁棒滑模变结构控制算法：
[0084]
机器人位置用[x,y]表示，理想轨迹用[xd,yd]描述，则由(1)可知位置误差的导数如下公式(2)：
[0085][0086]
其中，为机器人理想轨迹[xd,yd]导数；为机器人位置[x,y]的误差导数。
[0087]
进一步的，设计x位置控制律：令u1＝vcosθ，取滑模变结构函数s1＝xe，求导设计x轴控制律为：即可得
[0088]
构建lyapunov函数求导得：则当k1＞0时，表示系统稳定。
[0089]
其中，u1跟表征意义相同；s1表示所设计的滑模函数，为s1的导数；[xe,ye]表示机器人位置[x,y]与机器人理想轨迹[xd,yd]之差；k1为大于0的常数；v1表示所设计的lyapunov函数，为v1的导数。
[0090]
进一步的，设计y位置控制律：令u2＝vsinθ，取滑模变结构函数s2＝xe，求导设计y位置控制律为：即可得
[0091]
构建lyapunov函数求导得：则当k2＞0时，表示系统稳定。
[0092]
其中，u2跟表征意义相同；s2表示所设计的滑模函数，为s2的导数；[xe,ye]表示
机器人位置[x,y]与机器人理想轨迹[xd,yd]之差；k2为大于0的常数；v2表示所设计的lyapunov函数，为v2的导数。
[0093]
进一步的，由上述得实际位置控制律式中：实际控制角度用θ描述。为使控制角度误差是0，需设计姿态控制律。
[0094]
其中，v在这里表示实际的位置控制律。
[0095]
进一步的，设计姿态控制律：控制角度误差θe＝θ-θd，取滑模函数s3＝θe，求导则滑模姿态控制律为：式中：ξ3(t)＝max(e(t))+ξ表示自适应鲁棒项，且ξ＞0,k3＞0,e(t)＝0.5|s3|。
[0096]
构建lyapunov函数求导得式(3)：
[0097][0098]
由柯西不等式求得：则当k3＞0时，表示系统稳定。
[0099]
其中，θe为控制角度误差即控制角度θ与理想角度θd的差值，为θe的导数；s3为所设计的滑模函数，为s3的导数；k3为大于0的常数；v3表示所设计的lyapunov函数，为v3的导数；δ表示滑模姿态控制律；ξ3(t)表示自适应鲁棒项；ξ为大于0的常数；sgn是数学符号函数；||表示取模；e(t)表示与滑模函数s3之间的数值关系。
[0100]
最后，根据以上实施案例，进行仓储巡检机器人的轨迹跟踪，判断巡检的可靠性。具体实验仿真结果分析如下：
[0101]
在仓储空间内，机器人巡检方向需要在系统控制之下，因此系统会存在一个规定轨迹路线，且机器人巡检平台会实时展现机器人在x轴、y轴以及巡检角度的各方向信息。
[0102]
1、图6(a)能够看出，在实验初始阶段，巡检机器人系统实际轨迹与理想轨迹之间存在较小误差，经过短暂运行后，机器人实际轨迹基本与理想轨迹拟合，没有出现过大误差，轨迹跟踪控制效果较好，表明巡检机器人的实际巡检效果较好。
[0103]
2、图6(b)、(c)能够看出，巡检机器人[x,y]的位置跟踪效果与理想位置效果误差较小，基本拟合。表明巡检机器人在位姿上保持着较好的稳定性，侧面体现控制系统的稳定性。
[0104]
3、图6(d)可以看出，刚开始机器人不在设定的初始位置，在设计的控制策略的作用下，经过一段时间后角度逐渐靠近目标轨迹。航向角的偏差出现波动较小，机器人的角度输出较为稳定。在存在未知扰动，产生速度抖动的情况下仍能保持较好的稳定性。
[0105]
针对巡检机器人的轨迹跟踪问题：首先，建立了机器人的运动学模型，借助运动学模型建立误差模型，依据误差模型推导出误差方程；然后，考虑到经典控制器存在收敛速度慢、抖动较多等情况，提出新的位置和姿态控制律；最后，用lyapunov方法证明所设计控制律的稳定性。仿真结果表明，所设计的巡检机器人能够有效跟踪给定的理想轨迹，同时可以有效减少误差，保持系统的鲁棒性。
[0106]
本发明的实施方式可借助软件算法加以必须的通用硬件平台方式来实现。通过机
器人本体控制结构单元、机器人应用层和机器人平台展现相互连接形成控制系统，并采用基于yolov3算法直接预测相对位置的方法识别障碍物、烟雾和火焰等，使机器人更优的进行巡检避障与路径规划以及采用自适应鲁棒滑模变结构控制算法完成巡检机器人的轨迹跟踪，能够实现仓储系统的智能化管理，从而提高了效率，强化了自动化仓储监控流程，节省了人力物力成本，保证了仓储安全。
[0107]
本领域的技术人员容易理解的是，在不冲突的前提下，上述各有利方式可以自由地组合、叠加。