专利名称：一种网络摄像头与可穿戴式传感器的人机协作系统的制作方法
技术领域：
该实用新型涉及ー种网络摄像头与可穿戴式传感器的人机协作系统，属于电子技术、传感技术和计算机技术等领域。
背景技术：
随着社会的老龄化趋势越来越明显，对于利用机器人辅助人类日常生活的需要也越来越迫切。机器人只有接收到人发出的指令才能在日常生活中完成许多任务，包括房屋清洗、安全保卫、护理、娱乐等。然而，目前常见的人机交互方式是通过ー些遥控设备，比如键盘、操纵杆等，来实现对机器人的控制。这类传统方法的缺点是需要使用外部计算机来辅助人实现对机器人的操控。因此，需要ー种更为简单有效的方式进行人机交互。目前向机器人传达控制命令的方式有两大类，一类是语音方式，另ー类是人体动作方式。其中基于计算机视觉来识别某种动作，称之为基于视觉的人体动作识别。
发明内容针对现有技术的缺点，本实用新型的目的是提出ー种结构简单、模块化的网络摄像头与可穿戴式传感器的人机协作系统。本系统主要有两大模块组成，第一个模块是安装有Kinect三目摄像头的Pioneer 3DX移动机器人模块，如附图I所示。第二个模块是可穿戴式传感器系统模块，如附图8所示。一种网络摄像头与可穿戴式传感器的人机协作系统硬件主要包括Kinect三目摄像头(I)、三脚架(2)、URG-04LX激光测距仪(3)、上层有机玻璃板(4)、右横梁(5)、下层有机玻璃板(6)、Pioneer 3DX移动机器人(7)、电池(8)、微型计算机FitPC2(9)、左横梁
(10)、迷你冷却风扇(11)、控制面板(12)、前部环形声纳(13)、驱动轮(14)、尾轮(15)、蓄电池检修门(16)、后部环形声纳(17)、插ロ(18)、电源开关(19)、SD存储卡卡槽(20)、RS232接ロ(21)、USB接ロ(22)、电源(23)、WiFi无线局域网(24)、语音输出(25)、网ロ(26)、语音输入(27)、USB ロ(28)、重置键(29)、数字视频系统(30)、3D深度传感器(31)、RGB摄像头
(32)、多声道麦克风(33)、可移动底座(34)、微型控制器(35)、电池(36)、基于ZigBee技术的无线传输模块(37)、微型加速度传感器(38)、微型方向传感器(39)、ZigBee接收器(40)、USB接ロ(41)、可穿戴式方向传感器(42)。移动机器车Pioneer 3DX (7)上部有一个两层的有机玻璃支撑台。利用左右两根钢铁支撑架(10) (5)将上层玻璃挡板⑷和下层玻璃挡板(6)垂直连接并固定在移动机器车Pioneer 3DX (7)上。固定在上层有机玻璃挡板(4)上的是URG-04LX激光测距仪(3)，它的测量范围在20mm到4094mm之间，扫描范围240°，扫描速率100 ms/scan，距离精确度±3%，角分辨率为0. 36° ;固定在下层玻璃挡板(6)和移动机器车Pioneer 3DX (7)之间的是微型计算机FitPC2 (9),它是一台轻巧的微处理计算机；固定在上层有机玻璃挡板(4)和下层玻璃挡板(6)之间的是微型计算机FitPC2(9)的供电电源；由于微型计算机FitPC2 (9)内部没有散热风扇，无法散热。因此为其配备一台冷却风扇(11)，使其能长时间工作。冷却风扇(11)固定在移动机器车Pioneer 3DX (7)上；移动机器人Pioneer 3DX (7)是ー种商业化的移动平台。它通过串ロ读取传感器数据和发送对移动机器人马达的控制命令；另外，将Kinect三目摄像头(I)固定在三脚架(2)的顶端。Kinect三目摄像头(I)是ー种网络型的摄像头，它是微软公司ー款游戏设备Xbox 360操控台的ー个外部设备，通过USB ロ与计算机相连。它具有三项功能，包括3-D成像、音频处理和马达控制。本系统只用到Kinect摄像头(I)部分，包括RGB摄像头和深度传感器。它的有效感应范围在0.4米到4米之内，视角垂直范围是±43°，水平范围±57°，帧频(深度及色彩)30fps。可穿戴式传感器系统主要由可穿戴式方向传感器VN_100(42)和ZigBee接收器
(40)组成,其中可穿戴式方向传感器(42)由微型控制器(35)、电池(36)、基于ZigBee技术的无线传输模块(37)、微型加速度传感器(38)、微型方向传感器(39)五部分组成。可穿戴式方向传感器VN-100 (42)是ー种用于高精度方向测量的传感器，它是航天工业中姿态航向參考系统的一部分。它能提供三个不同的角度测量值(俯、仰、滚)，这三个角度测量值在本系统中用来判断是哪种类型的动作。 一种网络摄像头与可穿戴式传感器的人机协作系统软件部分由机器人操作系统(Robot Operating System, R0S)构成。这是ー种开源的元操作系统,它提供的服务类似于真实操作系统，包括硬件抽象、低端设备控制、常用函数实现、进程之间的信息传输以及软
件包管理。ROS有两个基本的部分，一部分是ROS的核心部分，它的作用相当于ー个“操作系统”。这部分的基本功能是可以跟一台带有无线通信功能并运行ROS操作系统的电脑进行无线通信，井能远程遥控移动机器人运动。另ー个部分的程序包是为整个ROS社区服务。ROS社区指的是所有使用ROS操作系统的个人、研究団体和科研院所都可以将开源的代码共享到ROS社区中。并且这些代码可以很容易的下载并移植到其他移动机器人平台或传感器平台上。利用这些代码就能在这个平台上实现目标检測、目标追踪、目标识别、定位、建图以及自动导航等功能。该装置的有益之处是设计ー种模块化的网络摄像头与可穿戴式传感器的人机协作系统，为移动机器人和人相互协作进行远程遥控、目标检测识别、目标追踪、自动导航等提供了一种新的研究平台。
以下结合附图对本实用新型做进ー步描述。图I安装有Kinect摄像头的Pioneer 3DX移动机器人结构实意图；图2移动机器人Pioneer 3DX主视图(I)和底部俯视图(2);图3微型计算机FUPC2的主视图和背面的主视图；图4 Kinect摄像头主视图；图5可穿戴式方向传感器主视图和背面的主视图；图6 ZigBee接收器主视图；图7 URG-04LX激光测距仪主视图；图8可穿戴式传感器系统示意图；图9 Kinect摄像头与可穿戴式传感器的人机协作系统示意图；
图10手势示意图。图中1是Kinect摄像头，2是三脚架，3是URG-04LX激光测距仪、4是上层有机玻璃板、5是右横梁、6是下层有机玻璃板、7是Pioneer 3DX移动机器人、8是电池，9是微型计算机FitPC2，10是左横梁，11是迷你冷却风扇，12是控制面板，13是前部环形声纳，14是驱动轮，15是尾轮，16是蓄电池检修门，17是后部环形声纳，18是插ロ，19是电源开关，20是SD存储卡卡槽，21是RS232接ロ，22是USB接ロ，23是电源，24是WiFi无线局域网，25是语音输出，26是网ロ，27是语音输入，28是USB ロ，29是重置键，30是数字视频系统，31是3D深度传感器，32是RGB摄像头，33是多声道麦克风，34是可移动底座，35是微型控制器，36是电池,37是基于ZigBee技术的无线传输模块,38是微型加速度传感器,39是微型方向传感器，40是ZigBee接收器，41是USB接ロ，42是可穿戴式方向传感器，43是手臂佩戴有方向传感器的实验者，44是获取姿态，45是Kinect摄像头获取的人体骨架图，46是将人体动作图像送入到微型计算机进行动作识别，47是通过可穿戴式方向传感器获取动作数据，48是俯、仰、滚三个方向的数据，49是通过ZigBee网络送入人体动作角度数据到计算机进行动作识别，50是发送指令控制移动机器人进行相应的动作，51是装有Kinect摄像头的Pioneer 3DX移动机器人,52是向后运动手势,53是向前运动手势,54是停止运动手势。
具体实施方式
參见附图，包括安装有Kinect摄像头的Pioneer 3DX移动机器人(51)包括 Kinect摄像头(I)、三脚架(2)、URG-04LX激光测距仪(3)、上层有机玻璃板(4)、右横梁
(5)、下层有机玻璃板(6)、Pioneer 3DX移动机器人(7)、电池(8)、微型计算机FitPC2 (9)、左横梁(10)、迷你冷却风扇(11);微型计算机FitPC2 (9)包括电源开关(19)、SD存储卡卡槽(20)、RS232 接 ロ (21)、USB 接 ロ(22)、电源(23)、WiFi 无线局域网(24)、语音输出(25)、网ロ(26)、语音输入(27)、USB ロ(28)、重置键(29)、数字视频系统(30) ;Kinect摄像头(I)包括3D深度传感器(31)、RGB摄像头(32)、多声道麦克风(33)、可移动底座(34);可穿戴式传感器系统包括微型控制器(35)、电池(36)、基于ZigBee技术的无线传输模块(37)、微型加速度传感器(38)、微型方向传感器(39)、ZigBee接收器(40) ;URG_04LX激光测距仪
(3)包括 USB 接 ロ (41)；启动微型计算机FUPC2 (9)，启动移动机器人Pioneer 3DX (7)，开启Kinect摄像头(1)，开启URG-04LX激光测距仪(3)，开启可穿戴式方向传感器(42)。首先在已经开启的微型计算机FitPC2 (9)上运行机器人操作系统R0S，并启动Kinect摄像头(I)人体骨架检测程序、ZigBee接收器(40)信号接受程序、人体手势识别程序、移动机器人运动控制程序和障碍物检测避障程序。通过USB ロ与微型计算机FitPC2 (9)相连的Kinect摄像头(I)、URG-04LX激光测距仪(3)和ZigBee接收器(40)都可以在ROS系统中使用。实验者将可穿戴式方向传感器(42)固定在左手手腕上，同时进入Kinect摄像头(I)的视觉范围，做出已经设定好的动作。本系统为实验设定了三种类型的手势动作，如附图10所示。分别是向后运动手势(手臂向后摆动)(52)、向前运动手势(手臂向前摆动)(53)和停止运动手势(手臂左右摆动)(54)。这三种类型的手势动态信息(包括图像和方向信息)作为模板储存在微型计算机FitPC2 (9)的数据库中。Kinect摄像头(I)检测到实验者相应手势以后，将人体手势动作图像送入微型计算机FitPC2 (9)中作为ー个输入量；同时可穿戴式方向传感器(42)不断获取手势的俯、仰、滚三个方向信息，它将这些方向信息通过ZigBee无线通信网络发送到连接在微型计算机FitPC2 (9)上的ZigBee接收器(40)，ZigBee接收器(40)将收到的信息作为另ー个输入量不间断的送入微型计算机FUPC2 (9)。微型计算机FitPC2 (9)首先利用神经网络和隐马尔可夫模型融合图像和方向信息这两种输入量，接着将融合以后的结果与微型计算机FitPC2 (9)数据库中的模板数据进行匹配，得到相应的手势命令。最后根据手势命令，微型计算机FitPC2 (9)控制移动机器人Pioneer 3DX (7)进行相应的运动。另外，使用URG-04LX激光测距仪(3)进行障碍物检测，当前方有障碍物时，移动机器人Pioneer 3DX (7)采取避障运动。Kinect摄像头与可穿戴式传感器的人机协作系统示意图如附图9所示。本实施例中，上层挡板(4)和下层挡板(6)均为有机玻璃制成，具有坚固和重量轻的特点。根据需要可以不断增加挡板的数量，以便放置更多的硬件设备。使用商用的三脚架作为摄像头的支撑架，不但价格便宜、重量轻、利于装卸，而且该种类型的三脚架具有伸缩功能，能根据实际需要升高或降低摄像头的测量高度。本实施例中，Kinect摄像头(I)采用Microsoft公司生产的三摄像头。本实施例中，微型计算机(9)采用CompuLab公司生产的FitPC2微型计算机,该型计算机能运行Windows和Linux两类操作系统。这里用到了 Linux版本的FitPC2微型计算机(9)运行机器人操作系统R0S。本实施例中,可穿戴式方向传感器VN_100(42)采用Vectornav公司生产的VN-100型方向传感器。本实施例中，URG-04LX激光测距仪(3)采用Hokuyo公司的LRF URG-04LX型激光测距仪。本实施例中，FitPC2微型计算机(9)采用12V直流电源供电；可穿戴式方向传感器VN-100(42)采用5V直流电源供电；Kinect摄像头(I)、URG-04LX激光测距仪(3)和ZigBee接收器(40)采用USB接口供电。
权利要求1. 一种网络摄像头与可穿戴式传感器的人机协作系统，其特征是该装置包括Kinect三目摄像头(I)、三脚架(2)、URG-04LX激光测距仪(3)、上层有机玻璃板(4)、右横梁(5)、下层有机玻璃板^)、Pioneer 3DX移动机器人(7)、电池(8)、微型计算机FUPC2 (9)、左横梁(10)、迷你冷却风扇(11)、控制面板(12)、前部环形声纳(13)、驱动轮(14)、尾轮(15)、蓄电池检修门(16)、后部环形声纳(17)、插口(18)、电源开关(19)、SD存储卡卡槽(20)、RS232接口(21)、USB接口(22)、电源(23)、WiFi无线局域网(24)、语音输出(25)、网口(26)、语音输入(27)、USB 口(28)、重置键(29)、数字视频系统(30)、3D深度传感器(31)、RGB摄像头(32)、多声道麦克风(33)、可移动底座(34)、微型控制器(35)、电池(36)、基于ZigBee技术的无线传输模块(37)、微型加速度传感器(38)、微型方向传感器(39)、ZigBee接收器(40)、USB接口(41)、可穿戴式方向传感器(42);移动机器车Pioneer 3DX (7)上部有一个两层的有机玻璃支撑台；利用左右两根钢铁支撑架(10、5)将上层玻璃挡板(4)和下层玻璃挡板(6)垂直连接并固定在移动机器车Pioneer 3DX (7)上；固定在上层有机玻璃挡板(4)上的是URG-04LX激光测距仪(3);固定在下层玻璃挡板(6)和移动机器车Pioneer 3DX (7)之间的是微型计算机FitPC2 (9),它是一台轻巧的微处理计算机；固定在上层有机玻璃挡板(4)和下层玻璃挡板(6)之间的是微型计算机FitPC2(9)的供电电源；由于微型计算机FitPC2 (9)内部没有散热风扇，无法散热；因此为其配备一台冷却风扇(11)，使其能长时间工作；冷却风扇(11)固定在移动机器车Pioneer 3DX (7)上；另外，将Kinect摄像头(I)固定在三脚架(2)的顶端；可穿戴式传感器系统主要由可穿戴式方向传感器VN-100(42)和ZigBee接收器(40)组成，其中可穿戴式方向传感器(42)由微型控制器(35)、电池(36)、基于ZigBee技术的无线传输模块(37)、微型加速度传感器(38)、微型方向传感器(39)五部分组成。
专利摘要该实用新型涉及一种网络摄像头与可穿戴式传感器的人机协作系统，该装置主要包括Kinect摄像头(1)、三脚架(2)、URG-04LX激光测距仪(3)、Pioneer3DX移动机器人(7)、电池(8)和微型计算机FitPC2(9)。实验者将可穿戴式方向传感器(36)固定在手腕上，进入Kinect摄像头(1)的扫描范围，做出设定好的动作。Kinect摄像头(1)检测到实验者手势后，将手势图像送入微型计算机中作为一个输入量；同时可穿戴式方向传感器(36)不断将获取到的手势方向信息送到微型计算机中作为另一个输入量。微型计算机首先利用神经网络和隐马尔可夫模型融合图像和方向信息这两种输入量，接着将融合以后的结果与微型计算机数据库中的模板数据进行匹配，得到相应的手势命令，并根据手势命令控制移动机器人(7)进行相应的运动。
文档编号G05D1/02GK202512439SQ20122006592
公开日2012年10月31日 申请日期2012年2月28日 优先权日2012年2月28日
发明者陶重犇 申请人:陶重犇