基于多传感器的智能视觉跟踪轮式机器人及其控制方法
【专利摘要】基于多传感器的智能视觉跟踪轮式机器人及其控制方法，包括机器人本体和机器人控制台；机器人本体包括四轮驱动车底盘、摄像头、车灯、通信模块、控制模块、传感器模块和动力模块；传感器模块包括温度传感器、烟雾传感器、光线传感器和测距传感器；动力模块包括直流马达、双自由度舵机云台和前轮转向舵机；通信模块包括机身Wi-Fi适配器和机身ZigBee适配器；机器人控制台包括内置有Wi-Fi适配器的控制终端和控制终端ZigBee适配器；控制终端的Wi-Fi适配器与机身Wi-Fi适配器建立无线通信，控制终端ZigBee适配器与机身ZigBee适配器建立无线通信。本发明实现对动态目标的动态跟踪，实现多传感器智能视觉跟踪，同时采用Wi-Fi信道与ZigBee信道，使视频数据传输与命令通信分开。
【专利说明】基于多传感器的智能视觉跟踪轮式机器人及其控制方法
【技术领域】
[0001]本发明涉及人工智能机器人视觉领域，具体涉及一种基于多传感器的智能视觉跟踪轮式机器人及其控制方法。
【背景技术】
[0002]机器人下位机的由Arduino Romeo V2控制板实现对接收到的指令进行转化处理，并对动力系统与传感器进行控制，机器人上位机利用CamShift跟踪算法对视觉窗口中选定的目标进行跟踪，CamShift跟踪算法利用目标的颜色直方图模型将图像转换为颜色概率分布图，初始化一个搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，从而定位出当前图像中目标的中心位置，算法共分为三个部分:1)色彩投影图(反向投影)，将RGB颜色空间对光照亮度变化较为敏感，为了减少此变化对跟踪效果的影响，首先将图像从RGB空间转换到HSV空间；然后对其中的H分量作直方图，在直方图中代表了不同H分量值出现的概率或者像素个数，就是说可以查找出H分量大小为h的概率或者像素个数，即得到了颜色概率查找表；将图像中每个像素的值用其颜色出现的概率对替换，就得到了颜色概率分布图。这个过程就叫反向投影，颜色概率分布图是一个灰度图像；2)MeanShift算法是一种密度函数梯度估计的非参数方法，通过迭代寻优找到概率分布的极值来定位目标；3)将MeanShift算法扩展到连续图像序列，就是CamShift算法，它将视频中的所有帧进行MeanShift运算，并将上一帧的结果，即搜索窗的大小和中心，作为下一帧MeanShift算法搜索窗的初始值，如此迭代下去，就可以实现对目标的跟踪，CamShift算法虽然解决了图像上目标跟踪的问题，但是在智能跟踪机器人的视线内并不能准确判断跟踪目标的远近，因而在实际跟踪过程中跟踪效果不好。
【发明内容】
[0003]针对现有技术存在的问题，本发明提供一种基于多传感器的智能视觉跟踪轮式机器人及其控制方法。
[0004]本发明的技术方案是:
[0005]一种基于多传感器的智能视觉跟踪轮式机器人，包括机器人本体和机器人控制台；
[0006]所述机器人本体包括四轮驱动车底盘、摄像头、车灯、通信模块、控制模块、传感器模块和动力模块；所述车灯、通信模块、控制模块、传感器模块和动力模块均设置在四轮驱动车底盘上；
[0007]所述传感器模块包括温度传感器、烟雾传感器、光线传感器和测距传感器；温度传感器的输出端、烟雾传感器的输出端、光线传感器的输出端分别连接控制模块的不同模拟信号接口 ；测距传感器的输出端连接控制模块的数字信号接口 ；
[0008]所述动力模块包括直流马达、双自由度舵机云台和前轮转向舵机；双自由度舵机云台顶端安装摄像头，直流马达、双自由度舵机云台和前轮转向舵机的信号输入端连接控制模块的数字信号接口，前轮转向舵机连接四轮驱动车底盘的前轮；
[0009]所述通信模块包括机身W1-Fi适配器和机身ZigBee适配器；机身W1-Fi适配器和机身ZigBee适配器分别与控制模块连接，机身W1-Fi适配器还与摄像头的输出端连接；
[0010]所述机器人控制台包括内置有W1-Fi适配器的控制终端和控制终端ZigBee适配器；所述控制终端ZigBee适配器与控制终端相连，控制终端的W1-Fi适配器与机身W1-Fi适配器建立无线通信，控制终端ZigBee适配器与机身ZigBee适配器建立无线通信。
[0011]所述控制模块与直流马达之间连接有马达电子调速器。
[0012]所述的基于多传感器协同处理的智能视觉跟踪轮式机器人的控制方法，包括以下步骤，
[0013]步骤1:摄像头采集的视频数据经机身W1-Fi适配器发送到内置有W1-Fi适配器的控制终端，视频数据实时显示到控制终端的显示器上；
[0014]步骤2:温度传感器、烟雾传感器、光线传感器和距离传感器分别实时采集温度信息、气体浓度信息、环境亮度信息及目标距离信息；
[0015]步骤3:控制终端ZigBee适配器与机身ZigBee适配器进行点对点无线通信，传送采集到的温度信息、气体浓度信息、环境亮度信息及目标距离信息；
[0016]步骤4:通过控制终端选定跟踪目标和视觉跟踪区域，利用CamShift算法提取当前帧图像中的目标特征，并记录目标特征、当前帧图像的中心在视觉跟踪区域的位置坐标以及测距传感器采集的当前跟踪目标与机器人本体间的距离信息；
[0017]步骤5:控制双自由度舵机云台向上或向下运动以将跟踪目标调整至视觉跟踪区域的中心位置；
[0018]步骤6:机器人本体运动过程中对跟踪目标进行距离跟踪和视觉跟踪:控制终端根据距离跟踪向机器人本体发送前进、后退或停止指令；控制终端根据视觉跟踪向机器人本体发送左转、右转或转正指令；
[0019]机器人本体运动过程中对机器人本体进行距离跟踪的步骤如下:
[0020]I)记录选定跟踪目标时刻机器人本体与跟踪目标的距离Dtl,并设定最小移动距离，即跟踪目标至少最小移动距离S，机器人本体才进行跟踪；
[0021]2)记录当前时刻机器人本体与跟踪目标的距离Dn，若Dn>DQ+S，则控制终端向机器人本体发送前进指令，控制模块接收该指令并下发至直流马达控制机器人本体前进，若DrKDtl-S,则控制终端向机器人本体发送后退指令，控制模块接收该指令并下发至直流马达控制机器人本体后退，否则，停止运动；
[0022]机器人本体运动过程中对机器人本体进行视觉跟踪的步骤如下:
[0023]I)利用前一帧图像的目标特征与摄像头采集的当前帧图像进行匹配，确定跟踪目标在当前帧图像中的位置，并重新确定视觉跟踪区域；
[0024]2)将视觉跟踪区域分为左转、转正、右转三个区域，控制终端根据跟踪目标所处区域及运动状态发出控制命令；
[0025]当跟踪目标位置处于左转区域且机器人本体处于前进状态时，控制终端通过控制终端ZigBee适配器向机器人本体发送左转命令，机器人本体的控制模块接收该命令并下发至前轮转向舵机控制四轮驱动车底盘上的前轮向左转向；
[0026]当跟踪目标位置处于左转区域且机器人本体处于后退状态时，控制终端通过控制终端ZigBee适配器向机器人本体发送右转命令，机器人本体的控制模块接收该命令并下发至前轮转向舵机控制四轮驱动车底盘上的前轮向右转向；
[0027]当跟踪目标位置处于左转区域且机器人本体处于停止状态时，控制终端通过控制终端ZigBee适配器向机器人本体发送左转命令，机器人本体的控制模块接收该命令并下发至前轮转向舵机控制四轮驱动车底盘上的前轮向左转向；
[0028]当跟踪目标位置处于转正区域且机器人本体处于前进、后退或停止状态时，控制终端通过控制终端ZigBee适配器向机器人本体发送转正命令，机器人本体的控制模块接收该命令并下发至前轮转向舵机控制四轮驱动车底盘上的前轮转正；
[0029]当跟踪目标位置处于右转区域且机器人本体处于前进状态时，控制终端通过控制终端ZigBee适配器向机器人本体发送右转命令，机器人本体的控制模块接收该命令并下发至前轮转向舵机控制四轮驱动车底盘上的前轮向右转向；
[0030]当跟踪目标位置处于右转区域且机器人本体处于后退状态时，控制终端通过控制终端ZigBee适配器向机器人本体发送左转命令，机器人本体的控制模块接收该命令并下发至前轮转向舵机控制四轮驱动车底盘上的前轮向左转向；
[0031]当跟踪目标位置处于右转区域且机器人本体处于后退状态时，控制终端通过控制终端ZigBee适配器向机器人本体发送右转命令，机器人本体的控制模块接收该命令并下发至前轮转向舵机控制四轮驱动车底盘上的前轮向右转向；
[0032]步骤7:控制台是否发出停止对跟踪目标的视觉跟踪及距离跟踪的指令，如果是，结束跟踪，否则重复执行步骤4至步骤6。
[0033]本发明的有益效果:本发明实现对动态目标的动态跟踪，并结合目标距离和视频信息实现多传感器智能视觉跟踪，使跟踪更加灵敏、准确；同时采用W1-Fi信道与ZigBee信道，使视频数据传输与命令通信分开，既利用了 W1-Fi信道数据传输速率高、ZigBee信道数据传输距离远的优点又避免了 W1-Fi使用的Socket通信同一时间只能单向传输、ZigBee传输速率低，无法传输图像数据的缺点；并且解决了传统轮式机器人只能以轮速差原地转向的问题，通过前驱转向舵机实现行进中自由转向功能；本发明实现了视觉实时传输、遥控行进、动态目标跟踪、环境监测和环境拍照等高难度功能，是智能交通实现智能跟踪、驾驶必不可少的组成部分，应用前景较为广泛。
【专利附图】
【附图说明】
[0034]图1是本发明【具体实施方式】的基于多传感器的智能视觉跟踪轮式机器人结构框图；
[0035]图2是本发明【具体实施方式】的TTL与Micro USB端口连接示意图；
[0036]图3是本发明【具体实施方式】的USB转TTL电路原理图；
[0037]图4是本发明【具体实施方式】的控制模块控制直流马达信号转换示意图；
[0038]图5是本发明【具体实施方式】的基于多传感器协同处理的智能视觉跟踪轮式机器人的控制方法流程图；
[0039]图6是本发明【具体实施方式】的机器人本体运动过程中对机器人本体进行距离跟踪的流程图；
[0040]图7是本发明【具体实施方式】的跟踪区域划分示意图；[0041]图8是本发明【具体实施方式】的控制模块及其外围电路连接示意图；
[0042]图9是本发明【具体实施方式】的多线程处理示意图。
【具体实施方式】
[0043]下面结合附图对本发明的【具体实施方式】做详细说明。
[0044]基于多传感器的智能视觉跟踪轮式机器人，包括机器人本体和机器人控制台。
[0045]如图1所示，机器人本体包括四轮驱动车底盘、摄像头、车灯、通信模块、控制模块、传感器模块和动力模块；车灯采用LED灯，摄像头选用天敏S607，控制模块选用ArduinoRomeo V2，芯片型号为ARMEGA32U4，该控制芯片及其外围电路连接如图8所示；车灯、通信模块、控制模块、传感器模块和动力模块均设置在四轮驱动车底盘上。
[0046]传感器模块包括温度传感器、烟雾传感器、光线传感器和测距传感器；温度传感器的型号为LM35，烟雾传感器采用型号为MQ2的烟雾传感器，光线传感器采用光敏电阻，测距传感器型号为Arduino URM37V3.2。温度传感器的输出端、烟雾传感器的输出端、光线传感器的输出端分别连接控制模块的不同模拟信号接口 ；测距传感器的输出端连接控制模块的数字信号接口。
[0047]动力模块包括直流马达、双自由度舵机云台和前轮转向舵机；直流马达选用型号为RC380的高速直流马达，前轮转向舵机型号为MG995，双自由度舵机云台的舵机采用MG995舵机；双自由度舵机云台顶端安装摄像头，前轮转向舵机连接四轮驱动车底盘的前轮。控制模块与直流马达之间连接马达电子调速器，马达电子调速器的信号接收引脚与控制模块的数字信号输出引脚相连接，利用控制模块的数字信号模拟出PWM脉冲信号发送给电子调速器来控制向直流马达发出的电流大小，以此来控制直流马达转速，原理如图4所
/Jn ο
[0048]双自由度舵机云台为摄像头提供了广阔的视角范围，左右可在180度范围内自由调节，上下仰俯角的自由度也能达到135度，所以摄像头的视角范围可以完全覆盖前方180度半球范围；前驱转向舵机是智能跟踪机器人转向动力系统，通过主控板的控制下其左右最大转向角度为45度，可以像真实的机动车一样在行进的过程中自由、灵活地转向。
[0049]通信模块包括机身W1-Fi适配器和机身ZigBee适配器；机身W1-Fi适配器由TP-LINK TL-WR703N 改装:将 TTL 与 Micro USB 端 口连接，使 TP-LINK TL-WR703N 路由器能通过Micro USB端口收发TTL数据，原理如图2所示，USB转TTL电路原理如图3所示。机身W1-Fi适配器和机身ZigBee适配器分别与控制模块连接，机身W1-Fi适配器还与摄像头的输出端连接。
[0050]机器人控制台包括内置有W1-Fi适配器的控制终端和控制终端ZigBee适配器；所述控制终端ZigBee适配器与控制终端相连，控制终端的W1-Fi适配器与机身W1-Fi适配器建立无线通信，控制终端ZigBee适配器与机身ZigBee适配器建立无线通信。
[0051]基于多传感器协同处理的智能视觉跟踪轮式机器人的控制方法，如图5所示，包括以下步骤，
[0052]步骤1:摄像头以每秒20帧采集像素为640*480的视频数据，经机身W1-Fi适配器发送到内置有W1-Fi适配器的控制终端，视频数据实时显示到控制终端的显示器上；
[0053]步骤2:温度传感器、烟雾传感器、光线传感器和距离传感器分别实时采集温度信息、气体浓度信息、环境亮度信息及目标距离信息；
[0054]步骤3:控制终端ZigBee适配器与机身ZigBee适配器进行点对点无线通信，传送采集到的温度信息、气体信息、环境亮度信息及目标距离信息；
[0055]数字/模拟传感器通过导线连接控制模块的数字/模拟接口，控制模块将传感器发回来的数字/模拟信号转化成TTL信号通过机身ZigBee模块发送给控制终端ZigBee模块，控制终端通过解析数据获取传感器信息。
[0056]步骤4:控制终端根据采集到气体浓度信息实时判断环境中的易燃气体，当检测到易燃气体时控制终端在其显示器上进行报警显示；根据采集到的实时环境亮度信息判断是否打开车灯，当环境亮度低于最低设定亮度值时，车灯打开；
[0057]易燃气体的浓度如下:
[0058]
【权利要求】
1.一种基于多传感器的智能视觉跟踪轮式机器人，其特征在于:包括机器人本体和机器人控制台； 所述机器人本体包括四轮驱动车底盘、摄像头、车灯、通信模块、控制模块、传感器模块和动力模块；所述车灯、通信模块、控制模块、传感器模块和动力模块均设置在四轮驱动车底盘上； 所述传感器模块包括温度传感器、烟雾传感器、光线传感器和测距传感器；温度传感器的输出端、烟雾传感器的输出端、光线传感器的输出端分别连接控制模块的不同模拟信号接口 ；测距传感器的输出端连接控制模块的数字信号接口； 所述动力模块包括直流马达、双自由度舵机云台和前轮转向舵机；双自由度舵机云台顶端安装摄像头，直流马达、双自由度舵机云台和前轮转向舵机的信号输入端连接控制模块的数字信号接口，前轮转向舵机连接四轮驱动车底盘的前轮； 所述通信模块包括机身W1-Fi适配器和机身ZigBee适配器；机身W1-Fi适配器和机身ZigBee适配器分别与控制模块连接，机身W1-Fi适配器还与摄像头的输出端连接； 所述机器人控制台包括内置有W1-Fi适配器的控制终端和控制终端ZigBee适配器；所述控制终端ZigBee适配器与控制终端相连，控制终端的W1-Fi适配器与机身W1-Fi适配器建立无线通信，控制终端ZigBee适配器与机身ZigBee适配器建立无线通信。
2.根据权利要求1所述的基于多传感器的智能视觉跟踪轮式机器人，其特征在于:所述控制模块与直流马达之间连接有马达电子调速器。
3.权利要求1所述的基于多传感器协同处理的智能视觉跟踪轮式机器人的控制方法，其特征在于:包括以下步骤， 步骤1:摄像头采集的视频数据经机身W1-Fi适配器发送到内置有W1-Fi适配器的控制终端，视频数据实时显示到控制终端的显示器上； 步骤2:温度传感器、烟雾传感器、光线传感器和距离传感器分别实时采集温度信息、气体浓度信息、环境亮度信息及目标距离信息； 步骤3:控制终端ZigBee适配器与机身ZigBee适配器进行点对点无线通信，传送采集到的温度信息、气体浓度信息、环境亮度信息及目标距离信息； 步骤4:控制终端根据采集到气体浓度信息实时判断环境中的易燃气体，当检测到易燃气体时控制终端在其显示器上进行报警显示；根据采集到的实时环境亮度信息判断是否打开车灯，当环境亮度低于最低设定亮度值时，车灯打开； 步骤5:通过控制终端选定跟踪目标和视觉跟踪区域，利用CamShift算法提取当前帧图像中的目标特征，并记录目标特征、当前帧图像的中心在视觉跟踪区域的位置坐标以及测距传感器采集的当前跟踪目标与机器人本体间的距离信息； 步骤6:控制双自由度舵机云台向上或向下运动以将跟踪目标调整至视觉跟踪区域的中心位置； 步骤7:机器人本体运动过程中对跟踪目标进行距离跟踪和视觉跟踪:控制终端根据距离跟踪向机器人本体发送前进、后退或停止指令；控制终端根据视觉跟踪向机器人本体发送左转、右转或转正指令； 机器人本体运动过程中对机器人本体进行距离跟踪的步骤如下: I)记录选定跟踪目标时刻机器人本体与跟踪目标的距离Dtl,并设定最小移动距离，即跟踪目标至少最小移动距离S，机器人本体才进行跟踪； 2)记录当前时刻机器人本体与跟踪目标的距离Dn，若Dn >队+S，则控制终端向机器人本体发送前进指令，控制模块接收该指令并下发至直流马达控制机器人本体前进，若Dn< Dtl-S,则控制终端向机器人本体发送后退指令，控制模块接收该指令并下发至直流马达控制机器人本体后退，否则，停止运动； 机器人本体运动过程中对机器人本体进行视觉跟踪的步骤如下: 1)利用前一帧图像的目标特征与摄像头采集的当前帧图像进行匹配，确定跟踪目标在当前帧图像中的位置，并重新确定视觉跟踪区域； 2)将视觉跟踪区域分为左转、转正、右转三个区域，控制终端根据跟踪目标所处区域及运动状态发出控制命令； 当跟踪目标位置处于左转区域且机器人本体处于前进状态时，控制终端通过控制终端ZigBee适配器向机器人本体发送左转命令，机器人本体的控制模块接收该命令并下发至前轮转向舵机控制四轮驱动车底盘上的前轮向左转向； 当跟踪目标位置处于左转区域且机器人本体处于后退状态时，控制终端通过控制终端ZigBee适配器向机器人本体发送右转命令，机器人本体的控制模块接收该命令并下发至前轮转向舵机控制四轮驱动车底盘上的前轮向右转向； 当跟踪目标位置处于左转区域且机器人本体处于停止状态时，控制终端通过控制终端ZigBee适配器向机器人本体发送左转命令，机器人本体的控制模块接收该命令并下发至前轮转向舵机控制四轮驱动车 底盘上的前轮向左转向； 当跟踪目标位置处于转正区域且机器人本体处于前进、后退或停止状态时，控制终端通过控制终端ZigBee适配器向机器人本体发送转正命令，机器人本体的控制模块接收该命令并下发至前轮转向舵机控制四轮驱动车底盘上的前轮转正； 当跟踪目标位置处于右转区域且机器人本体处于前进状态时，控制终端通过控制终端ZigBee适配器向机器人本体发送右转命令，机器人本体的控制模块接收该命令并下发至前轮转向舵机控制四轮驱动车底盘上的前轮向右转向； 当跟踪目标位置处于右转区域且机器人本体处于后退状态时，控制终端通过控制终端ZigBee适配器向机器人本体发送左转命令，机器人本体的控制模块接收该命令并下发至前轮转向舵机控制四轮驱动车底盘上的前轮向左转向； 当跟踪目标位置处于右转区域且机器人本体处于后退状态时，控制终端通过控制终端ZigBee适配器向机器人本体发送右转命令，机器人本体的控制模块接收该命令并下发至前轮转向舵机控制四轮驱动车底盘上的前轮向右转向； 步骤8:控制台是否发出停止对跟踪目标的视觉跟踪及距离跟踪的指令，如果是，结束跟踪，否则重复执行步骤5至步骤7。
【文档编号】G05D1/02GK103885449SQ201410136228
【公开日】2014年6月25日 申请日期:2014年4月4日 优先权日:2014年4月4日
【发明者】曲海成, 孟煜, 刘万军 申请人:辽宁工程技术大学