基于手势识别的自动避障小车的制作方法
【专利摘要】基于手势识别的自动避障小车，涉及人机交互智能图像信息处理，属于基于深度相机非接触式三维虚拟空间领域和双目立体视觉领域，其车体前部设置分开的两个摄像头，车体内部设置包含单片机的下位机，车体安置两个无线wifi模块，一个无线wifi模块连接一个摄像头，车体还安置一个蓝牙模块，两个小车后轮分别连接着一个精密直流电机；其深度体感相机连接上位机，上位机设置串口蓝牙和一个无线wifi模块。本实用新型通过手势控制小车并在自动运行模式下实现小车自动避障，操作方便，适合在危险环境下检查周围环境是否有危险和在障碍物多的地形下进行搬运工作。
【专利说明】基于手势识别的自动避障小车
【技术领域】
[0001]本实用新型涉及一种可操控的小车，具体涉及一种基于手势识别的自动避障小车。
【背景技术】
[0002]在现在计算机普遍智能化的时代，人机交互智能图像信息处理已成为计算机视觉领域的重要应用。自上世纪90年代PC出现以来，人机交互这门交叉综合学科，已成为用户体验的主流研究技术，体感交互模式的出现让人机交互技术进入一个新时代。随着用户对层出不穷的移动智能设备的刚性需求，智能图像处理愈趋向庞大复杂的数据处理及多功能应用发展，由此为人机交互平台带来了更大的挑战与机遇。现在，计算机处理的交互信息量越来越庞大，促使日渐高效、稳定、实时的新型交互技术飞速发展。现代交互技术主要分为语言识别技术和身体语言识别技术，其中手势识别是身体语言识别技术的重要分支技术。
[0003]随着科学技术的发展，移动机器人的应用领域越来越广泛，同时对人类生产和生活带来了重大影响。视觉作为机器人获取周围环境信息的重要手段，以信息量大为特点，对移动机器人自动导航和自动避障具有重要意义。避障小车有通过类似红外传感器实现硬件避障，但是这种避障方式只能在近距离避障，而且判断不准确。而双目视觉通过视差获取周围环境的三维点云，可以精确得到障碍物离小车的距离，障碍物的左右边距，可以为自动导航和自动避障提供很好的可行性方案。
实用新型内容
[0004]本实用新型所要解决的技术问题是提供一种基于深度相机的手势控制小车，能在自动运行模式下实现小车自动避障，能有效以多种操作方式控制小车，并能自动避开障碍物，适合在危险环境下检查周围环境是否有危险和障碍物多的地形下搬运工作。
[0005]基于上述，本实用新型的目的是提供一种基于手势识别的自动避障小车。
[0006]本实用新型的基于手势识别的自动避障小车，包括小车和远程控制系统，其特征在于:所述小车的车体前部设置分开的两个摄像头，车体内部设置包含单片机的下位机，车体安置两个无线wifi模块，一个无线wifi模块连接一个摄像头，车体还安置一个蓝牙模块，小车两个后轮各连接着一个精密直流电机；所述远程控制系统包括深度体感相机和上位机，深度体感相机连接上位机，上位机设置与车体蓝牙配对的串口蓝牙和一个可与车体的无线wifi连接的无线wifi模块。
[0007]小车上的无线wifi模块将摄像头获取的视频信号，发送到上位端，上位机通过wifi热点链接到Wifi模块接收视频信号。由于有两个Wifi模块，有两个热点，所以通过网口线，将两个Wifi模块连起来，这样上位机只需连接一个热点，就可获取两路视频信号。这种方案有利于简化结构。
[0008]小车上的蓝牙模块，负责小车运动控制信号的传输。
[0009]两个摄像头是分开的，他们各自获取各自的视频图像，通过图像处理的方法，具体就是双目视觉的方法，获取深度图，这个深度图是实时移动的，因为小车在移动，获取的深度图是为了做自动避障。
[0010]本实用新型中，单片机优选Atmegal28 AVR单片机。
[0011]作为优选，深度体感相机选用Kinect体感相机。
[0012]将上位机的蓝牙与车体蓝牙配对，连接上位机的无线wifi与车体的无线wifi，之后，通过kinect获取发出的手势。
[0013]本实用新型所述手势包括:
[0014]手势5:为停车手势，表示小车立即停止，等待新的手势；
[0015]手势O:为进入手动控制模式手势，移动该手势到合适的位置，小车做相应的移动；同时也是进入手势控制状态的手势，只有检测到手势O后，手势5或者手势2才会进入算法中进行判断；
[0016]手势2:为进入自动控制模式手势，小车按照程序自行移动。
[0017]手势通过kinect获取，在上位机中获取到图像手势识别完以后，只需要发出手势对应的蓝牙输出信号给下位机控制即可。
[0018]当手势O进行移动，并超过移动最小距离3cm时，即进行判断移动方向，根据移动方向，蓝牙输出对应的控制信号。移动方向有以下四种:前进，后退，左拐，右拐。当手势偏离这几个正对方向时，计算向哪边的趋势多，并输出对应控制信号。当检测到手势5时，小车立即停止。也可通过手势5移动手到适合kinect检测的位置。当检测到手势2时，小车进入自动控制模式，小车通过自动避障，进行运动。当再次检测到手势5时，停止自动控制模式，并进入手动控制模式。
[0019]上位机读取下位机传送的电脑视频流后，做双目视差处理，获取图像视差，用视差图得到空间点云，将空间点云中低于15cm的点云设为地面,高于15cm低于10cm的物体作为障碍物；
[0020]具体过程是:通过小车后轮两个精密直流电机，可以精确控制小车走的距离，量出小车轮子的直径(小车轮子直径是通过买来时厂家提供的技术参数获得)，由此可以精确计算小车自行距离和转弯角度。
[0021]由直流电机技术和小车后轮参数可知，小车后轮转一圈，直流电机会产生650个脉冲，所以要使小车转的角度对应的脉冲数=Θ *360/650，小车直行的距离d=脉冲数*2n*R/650。下位机的AVR单片机通过外部中断，获取小车脉冲，并通过定时中断判断小车脉冲数是否到达指定脉冲，计算出的转的角度和自行距离，发送到上位机。
[0022]本实用新型中，控制系统中的深度体感相机获取人发出的手势，上位机识别手势，通过蓝牙传输至下位机，下位机控制小车进行运动。同时下位机实时地将小车坐标通过蓝牙传至上位机，上位机实时更新地图，小车的摄像头采集到的视频流通过wifi传输到上位机，上位机进行双目视差图像处理，获取双目图像视差，用视差图得到空间点云，将点云中低于15cm的点云设为地面，将高于15cm低于10cm的物体作为障碍物，将低于15cm的点集之中最外层的点画在地图上，即为小车经过的外界地形。小车的下位机判别y轴高于15cm，低于10cm的障碍物,提取障碍物点集,判断z轴距离和X轴最左最右距离,控制小车在自动控制模式下进行自动避障。
【专利附图】
【附图说明】
[0023]图1是本实用新型的基于手势识别的自动避障小车的结构框图；
[0024]图2是手势5的手势图；
[0025]图3是手势O的手势图；
[0026]图4是手势2的手势图。
【具体实施方式】
[0027]见图1。
[0028]基于手势识别的自动避障小车，包括小车I和远程控制系统14，所述小车I的车体2前部设置分开的两个摄像头8，车体2内部设置包含单片机6的下位机3，车体2安置两个无线wifi模块9，一个无线wifi模块连接一个摄像头，车体2还安置一个蓝牙模块7，小车两个后轮5各连接着一个精密直流电机4 ;所述远程控制系统14包括深度体感相机10和上位机11，深度体感相机10连接上位机11，上位机11设置与车体蓝牙7配对的串口蓝牙13和一个可与车体的无线wifi连接9的无线wifi模块12。
[0029]小车I上的两个wifi模块通过网口线连。
[0030]单片机6为Atmegal28 AVR单片机。
[0031]深度体感相机10选用Kinect体感相机。
[0032]见图2?图4。手势5:为停车手势，表示小车立即停止，等待新的手势；
[0033]手势O:为进入手动控制模式手势，移动该手势到合适的位置，小车做相应的移动；同时也是进入手势控制状态的手势，只有检测到手势O后，手势5或者手势2才会进入算法中进行判断；
[0034]手势2:为进入自动控制模式手势，小车按照程序自行移动。
【权利要求】
1.基于手势识别的自动避障小车，包括小车和远程控制系统，其特征在于:所述小车的车体前部设置分开的两个摄像头，车体内部设置包含单片机的下位机，车体安置两个无线Wifi模块，一个无线wifi模块连接一个摄像头，车体还安置一个蓝牙模块，小车两个后轮各连接着一个精密直流电机；所述远程控制系统包括深度体感相机和上位机，深度体感相机连接上位机，上位机设置与车体蓝牙配对的串口蓝牙和一个可与车体的无线Wifi连接的无线wifi模块。
2.根据权利要求1所述的自动避障小车，其特征在于:单片机选用Atmegal28AVR单片机。
3.根据权利要求1所述的自动避障小车，其特征在于:两个无线wifi模块通过网口线连接。
4.根据权利要求1所述的自动避障小车，其特征在于:深度体感相机选用Kinect体感相机。
【文档编号】G06F3/01GK203941451SQ201420180921
【公开日】2014年11月12日 申请日期:2014年4月15日 优先权日:2014年4月15日
【发明者】张彤, 芦爱余, 莫建文, 刘鹏, 袁华, 陈利霞, 首照宇, 欧阳宁, 赵晖 申请人:桂林电子科技大学, 桂林宇辉信息科技有限责任公司