基于移动机器人平台的分布式行人检测系统和方法
【专利摘要】本发明公开了一种基于移动机器人平台的分布式行人检测系统和方法。本系统包括移动机器人平台及其搭载的微软公司Kinect摄像机，桌面计算机和网络通信设备。本方法是将当前各种成熟与行人相关的检测算法和机器人操作系统ROS（RobotOperatingSystem）融合起来，采用机器人操作系统ROS分布式计算节点来计算行人的各种特征，主要是梯度直方图HOG（HistogramofGradients），人脸检测节点，上身梯度直方图HOG节点，肤色检测节点，点云检测节点和姿态检测节点，并将计算的各种特征数据综合融合，以达到在机器人移动过程中，能稳定地跟踪行人目标，提高检测的准确率。本发明的实施例主要用于移动机器人图像中的行人检测计算，特别是在移动机器人行人检测计算以便用于人机交互。
【专利说明】基于移动机器人平台的分布式行人检测系统和方法
【技术领域】
[0001]本发明公开了一种基于移动机器人平台的分布式行人检测系统和方法，涉及机器人视觉，模式识别技术和基于机器人操作系统ROS的分布式计算领域。
【背景技术】
[0002]行人检测是将来的智能车辆辅助驾驶系统所必需的，它能有效地辅助在市区环境中驾驶车辆的驾驶员及时地对外界环境做出反应，避免碰撞行人，减少交通事故的发生。人体检测还可以用于视频监控的安全实时系统从连续的视频片断中分析和检测出侵入的行为，保障个人和公共人身财产安全。
[0003]移动机器人平台准确地检测人是移动机器人实时跟踪人的基础，是机器人在人文环境中人机交互的前提条件。行人检测广泛的用于公共安全，视频监控，智能辅助驾驶技术以及交通监管和机器人人机交互等系统。行人的许多变化，如所穿衣服颜色和款式，姿势和光照等等因素，使得很难区分行人和其他物体。
[0004]Kinect XB0X360是微软在2009年6月2日的E3大展上正式公布的XB0X360体感周边外设。它是一种3D体感摄影机，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识等功能。目前，Kinect XB0X360可以通过USB接口与机器人控制器相连，是移动机器人三维视觉数据的有效来源。
[0005]机器人操作系统Robot Operating System(ROS)是开源软件支持商Willow Garage公司发布针对机器人软件开发，简化机器人软件开发的周期，提高机器人研发领域代码复用率。机器人操作系统ROS提供各种库和工具帮助软件开发者开发机器人应用，包括硬件抽象层，硬件驱动，虚拟化工具，消息传递，软件包管理。机器人操作系统ROS集成的开源软件库是机器人视觉处理的必备组件，包括图像处理库OpenCV(Open Computer VisionLibrary)，三维点云处理库 PCL (Point Cloud Library)等。
[0006]在ROS中，程序运行时，所有进程以及他们所进行的数据处理，将会通过一种点对点的网络形式表现出来，其中包括重要的概念:节点(节点就是一些执行运算任务的进程)。ROS利用规模可增长的方式使代码模块化:一个系统就是典型的很多节点组成的。节点也可以被称之为“软件模块”。当许多节点同时运行时，节点之间是通过传送消息进行通讯的。
【发明内容】
[0007]为了克服上述现有技术的不足和利用机器人操作系统ROS的优势，本发明提供了一种基于移动机器人平台的分布式行人检测系统和方法，解决在机器人移动过程中很难区分行人的问题，能稳定地跟踪行人目标，提高检测的准确率。
[0008]为了达到上述目的，本发明的构思是:当前各种成熟与行人相关的检测算法和机器人操作系统ROS (Robot Operating System)融合起来,采用机器人操作系统ROS分布式计算节点来计算行人的各种特征，并将计算的各种特征数据综合融合，以达到在机器人移动过程中，能稳定地跟踪行人目标，提高检测的准确率。[0009]根据上述发明构思，本发明采用下述技术方案:
一种基于移动机器人平台的分布式行人检测系统，包括桌面计算机和微软公司的Kinect XB0X360摄像头,其特征在于:所述桌面计算机无线通信连接一个移动计算控制器，所述微软公司的Kinect XB0X360摄像头安装在移动机器人上面，通过USB接口连接移动机器人控制器，所述移动机器人控制器获取Kinect XB0X360摄像头对行人摄取的RGB彩色和深度图像经过处理之后，再通过图像传输链和数据传输链发送到桌面计算机。
[0010]一种基于移动机器人平台的分布式的行人检测方法，采用上述系统进行检测，其特征在于:其操作步骤如下:
(2.1)创建图像获取节点:利用已知的机器人操作系统ROS的分布式计算特性，在移动机器人控制器携带的嵌入式操作电脑上创建打开Kinect XB0X360摄像头的节点，获取Kinect的图像数据，并发布Kinect XB0X360摄像头的RGB图像数据和深度图像数据；利用Zeroconf技术，移动机器人控制器携带的电脑通过网络连接到桌面计算机；
(2.2)创建各计算节点:Kinect XB0X360摄像头发布的图像数据包含RGB图像，红外图像和深度图像，各计算节点分别从上述图像中计算与行人相关的信息；本步骤(2.2)包含以下计算节点:
①梯度直方图HOG节点:梯度直方图HOG节点订阅KinectXB0X360摄像头发布的RGB图像数据，采用OpenCV图像处理库中集成的HOG算法提取图像局部行人目标的表象和形状的HOG特征，然后利用支持向量机算法SVM进行模式分类，检测行人和确定行人所在的区域；
②人脸检测节点:机器人操作系统ROS中集成OpenCV开源图像处理库，直接调用OpenCV库中人脸检测算法创建人脸检测节点，订阅Kinect XB0X360摄像头发布的RGB图像，计算行人脸部所在的区域；
③行人上半身梯度直方图HOG节点:在室内环境中，人体的下半身容易被遮挡，运用OpenCV梯度直方图HOG算法创建行人上半身检测节点，检测识别Kinect XB0X360摄像头发布的RGB图像中人体的上半身提高室内环境行人检测的准确率；
④肤色检测节点:皮肤的检测是图片中行人存在的重要线索，在机器人操作系统ROS中创建肤色检测节点，调用OpenCV图像库中的肤色检测器检测行人肤色区域；
⑤点云检测节点:根据人体的三维特征信息，创建点云数据检测节点，订阅KinectXB0X360摄像头发布的点云数据，运用PCL点云数据处理库在三维空间位置中检测出行人信息；
⑥姿态检测节点:骨骼追踪技术通过处理深度数据来建立人体各个关节的坐标，骨骼追踪能够确定人体的各个部分，利用Kinect XB0X360摄像头的发布的数据信息，提取人体的骨骼坐标组成人体骨骼框架，作为行人检测的重要因素；
(2.3)创建人体信息融合节点:将步骤(2.2)各计算节点的行人信息融合在一起，最终输出行人检测结果。
[0011]本发明与现有技术相比，具有如下显而易见的突出实质性特点和显著优点:本发明在移动机器人平台上更加准确地检测出行人。这样在移动机器人平台上，机器人能更好地在人的环境中人机交互。【专利附图】
【附图说明】
[0012]图1为本发明的方法框图。
[0013]图2为本发明的一个实施例的系统结构示意图。
【具体实施方式】
[0014]下面结合附图对本发明中的优选实施例进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例。
[0015]实施例一:
参见图2，本基于移动机器人平台的分布式行人检测系统，包括桌面计算机(I)和微软公司的Kinect XB0X360摄像头(3)，其特征在于:所述桌面计算机(I)无线通信连接一个移动计算控制器(2)，所述微软公司的Kinect XB0X360摄像头(3)安装在移动机器人上面，通过USB接口连接移动机器人控制器(2 )，所述移动机器人控制器(2 )获取Kinect XB0X360摄像头(3)对行人(4)摄取的RGB彩色和深度图像经过处理之后，再通过图像传输链和数据传输链发送到桌面计算机(I)。
[0016]实施例二:
参见图1，本基于移动机器人平台的分布式行人检测方法，采用上述系统进行检测，其特征在于将当前各种成熟与行人相关的检测算法和机器人操作系统ROS融合起来，采用机器人操作系统ROS分布式计算节点来计算行人的各种特征，并将计算的各种特征数据综合融合，以达到在机器人移动过程中，能稳定地跟踪行人目标，提高检测的准确率；
其操作步骤如下:
(2.1)创建图像获取节点:利用已知的机器人操作系统ROS的分布式计算特性，在移动机器人控制器(2)携带的嵌入式操作电脑上创建打开Kinect XB0X360摄像头(3)的节点，获取Kinect的图像数据，并发布Kinect XB0X360摄像头(3)的RGB图像数据和深度图像数据；利用ZeiOconf技术，移动机器人控制器(2)携带的电脑通过网络连接到桌面计算机(O;
(2.2)创建各计算节点:Kinect XB0X360摄像头(3)发布的图像数据包含RGB图像，红外图像和深度图像，各计算节点分别从上述图像中计算与行人(4)相关的信息；本步骤(2.2)包含以下计算节点:
①梯度直方图HOG节点:梯度直方图HOG节点订阅KinectXB0X360摄像头(3)发布的RGB图像数据，采用OpenCV图像处理库中集成的HOG算法提取图像局部行人(4)目标的表象和形状的HOG特征，然后利用支持向量机算法SVM进行模式分类，检测行人(4)和确定行人(4)所在的区域；
②人脸检测节点:机器人操作系统ROS中集成OpenCV开源图像处理库，直接调用OpenCV库中人脸检测算法创建人脸检测节点，订阅Kinect XB0X360摄像头(3)发布的RGB图像，计算行人(4)脸部所在的区域；
③行人上半身梯度直方图HOG节点:在室内环境中，人体的下半身容易被遮挡，运用OpenCV梯度直方图HOG算法创建行人(4)上半身检测节点，检测识别Kinect XB0X360摄像头(3)发布的RGB图像中人体的上半身提高室内环境行人(4)检测的准确率；
④肤色检测节点:皮肤的检测是图片中行人(4)存在的重要线索，在机器人操作系统ROS中创建肤色检测节点，调用OpenCV图像库中的肤色检测器检测行人(4)肤色区域；
⑤点云检测节点:根据人体的三维特征信息，创建点云数据检测节点，订阅KinectXB0X360摄像头(3)发布的点云数据，运用PCL点云数据处理库在三维空间位置中检测出行人(4)信息；
⑥姿态检测节点:骨骼追踪技术通过处理深度数据来建立人体各个关节的坐标，骨骼追踪能够确定人体的各个部分，利用Kinect XB0X360摄像头(3)的发布的数据信息，提取人体的骨骼坐标组成人体骨骼框架，作为行人(4)检测的重要因素；
(2.3)创建人体信息融合节点:将步骤(2)各计算节点的行人(4)信息融合在一起，最终输出行人(4)检测结果。
[0017]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围不仅局限于此，任何熟悉本领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化和替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应为所述以权利要求的保护范围为准。
【权利要求】
1.一种基于移动机器人平台的分布式行人检测系统，包括桌面计算机(I)和微软公司的Kinect XB0X360摄像头(3)，其特征在于:所述桌面计算机(I)无线通信连接一个移动计算控制器(2)，所述微软公司的Kinect XB0X360摄像头(3)安装在移动机器人上面，通过USB接口连接移动机器人控制器(2 )，所述移动机器人控制器(2 )获取Kinect XB0X360摄像头(3 )对行人(4 )摄取的RGB彩色和深度图像经过处理之后，再通过图像传输链和数据传输链发送到桌面计算机(I)。
2.一种基于移动机器人平台的分布式行人检测方法，采用根据权利要求1所述的基于移动机器人平台的分布式行人检测系统进行检测，其特征在于:其操作步骤如下: (2.1)创建图像获取节点:利用已知的机器人操作系统ROS的分布式计算特性，在移动机器人控制器(2)携带的嵌入式操作电脑上创建打开Kinect XB0X360摄像头(3)的节点，获取Kinect的图像数据，并发布Kinect XB0X360摄像头(3)的RGB图像数据和深度图像数据；利用ZeiOconf技术，移动机器人控制器(2)携带的电脑通过网络连接到桌面计算机(O; (2.2)创建各计算节点:Kinect XB0X360摄像头(3)发布的图像数据包含RGB图像，红外图像和深度图像，各计算节点分别从上述图像中计算与行人(4)相关的信息；本步骤(2.2)包含以下计算节点: ①梯度直方图HOG节点:梯度直方图HOG节点订阅KinectXB0X360摄像头(3)发布的RGB图像数据，采用OpenCV图像处理库中集成的HOG算法提取图像局部行人(4)目标的表象和形状的HOG特征，然后利用支持向量机算法SVM进行模式分类，检测行人(4)和确定行人(4)所在的区域； ②人脸检测节点:机器人操作系统ROS中集成OpenCV开源图像处理库，直接调用OpenCV库中人脸检测算法创建人脸检测节点，订阅Kinect XB0X360摄像头(3)发布的RGB图像，计算行人(4)脸部所在的区域； ③行人上半身梯度直方图HOG节点:在室内环境中，人体的下半身容易被遮挡，运用OpenCV梯度直方图HOG算法创建行人(4)上半身检测节点，检测识别Kinect XB0X360摄像头(3)发布的RGB图像中人体的上半身提高室内环境行人(4)检测的准确率； ④肤色检测节点:皮肤的检测是图片中行人(4)存在的重要线索，在机器人操作系统ROS中创建肤色检测节点，调用OpenCV图像库中的肤色检测器检测行人(4)肤色区域； ⑤点云检测节点:根据人体的三维特征信息，创建点云数据检测节点，订阅KinectXB0X360摄像头(3)发布的点云数据，运用PCL点云数据处理库在三维空间位置中检测出行人(4)信息； ⑥姿态检测节点:骨骼追踪技术通过处理深度数据来建立人体各个关节的坐标，骨骼追踪能够确定人体的各个部分，利用Kinect XB0X360摄像头(3)的发布的数据信息，提取人体的骨骼坐标组成人体骨骼框架，作为行人(4)检测的重要因素； (2.3)创建人体信息融合节点:将步骤(2)各计算节点的行人(4)信息融合在一起，最终输出行人(4)检测结果。
【文档编号】G06F9/50GK103995747SQ201410196878
【公开日】2014年8月20日 申请日期:2014年5月12日 优先权日:2014年5月12日
【发明者】罗均, 刘恒利, 李恒宇, 赵重阳, 谢少荣 申请人:上海大学