一种可视化且自定义的ROS智能机器人人机交互系统及其控制方法

文档序号:26445317发布日期:2021-08-27 13:45阅读:来源:国知局

技术特征:

1.一种可视化且自定义的ros智能机器人人机交互系统,其特征在于:包括激光探测及测距模块、深度相机及图像处理模块、ros图像话题显示模块、3d可视化rviz建图导航显示模块、ros智能机器人主节点控制模块、速度及电量显示模块和底盘控制模块;

所述激光探测及测距模块用于slam建图、slam导航,并与3d可视化rviz建图导航显示模块进行信息交互;

所述深度相机及图像处理模块用于提供ros智能机器人周围图像信息、运动物体识别检测、视觉巡线、人脸检测及二维码立体检测;

所述ros图像话题显示模块用于显示智能机器人前方图像信息、视觉巡线图像信息、运动物体识别图像信息、人脸识别图像信息及二维码立体检测图像信息,并完成人机交互任务;

所述3d可视化rviz建图导航显示模块用于显示周围环境slam建图及导航结果,并完成人机交互任务;

ros机器人主节点控制模块用于订阅与发布ros话题,并与3d可视化rviz建图导航显示模块进行信息交互;

所述速度及电量显示模块用于ros智能机器人电量与速度的实时显示;所述底盘控制模块用于ros智能机器人不同运动方向控制,同时可进行速度及角度大小调控。

2.根据权利要求1所述的一种可视化且自定义的ros智能机器人人机交互系统,其特征在于:所述激光探测及测距模块由用于探测目标的位置、速度等特征量的激光雷达组成;所述激光雷达用于ros智能机器人在未知的环境中从一个未知位置开始移动,移动过程中根据位置估计和地图进行自身定位,同时构建增量式地图,实现ros智能机器人的自主定位和导航;并将所需显示的建图与导航信息,由ros智能机器人主节点控制模块传输至3d可视化rviz建图导航显示模块。

3.根据权利要求1所述的一种可视化且自定义的ros智能机器人人机交互系统,其特征在于:所述深度相机及图像处理模块包括深度相机模块和图像处理单元;所述深度相机模块由ros智能机器人前端深度相机构成,用于实时拍摄机器人前端图像;所述图像处理单元采用ros中的cv_bridge功能包建立与opencv接口,用于深度摄像头图像的处理,完成人脸识别、动态物体识别和二维码立体检测,并将所需显示的图像信息,由ros智能机器人主节点控制模块传输至ros图像话题显示模块。

4.根据权利要求1所述的一种可视化且自定义的ros智能机器人人机交互系统,其特征在于:所述ros机器人主节点控制模块与ros图像话题显示模块、3d可视化rviz建图导航显示模块进行信息交互,完成ros智能机器人的多功能控制与显示;将机器人运动的图像、建图、导航信息通过图像、3d可视化rviz建图导航显示模块以图像的形式呈现给用户。

5.一种ros智能机器人的控制方法,其特征在于,该控制方法通过权利要求1所述的人机交互系统进行,该控制方法包括以下步骤:

s1:进行ros智能机器人及虚拟机ip地址配置,连接远程机器人并启动,ros智能机器人系统开始工作,其主节点控制模块等待指令并发布相应功能话题;

s2:通过可视化、自定义人机交互系统进行ros智能机器人功能控制,具体通过终端一键控制实现slam建图、slam导航、人脸识别、动态物体识别和二维码立体检测启动命令发布;ros智能机器人主节点控制模块,接收功能指令并发布相应话题消息;驱动相应的激光探测及测距模块、深度相机及图像处理模块、底盘控制模块,实现相应话题功能;

s3:判断是否有话题发布,若有话题发布,则转至步骤s4;若无话题发布,则执行步骤s7,等待话题发布;

s4:判断功能话题类型,如果属于slam建图、slam导航话题类型,则执行步骤s5中的3d可视化rviz建图导航显示模块进行话题订阅,完成信息交互显示;如为人脸识别、动态物体识别或二维码立体检测图像类型话题,则执行步骤s5中的ros图像话题显示模块进行话题订阅,完成信息交互显示;若为速度及电量话题,则执行步骤s5中的速度及电量显示模块进行话题订阅,完成信息交互显示;

s5:由ros图像话题显示模块、3d可视化rviz建图导航显示模块、速度及电量显示模块实时显示不同类型话题消息,实现人机信息交互;

s6:是否结束话题发布,若结束话题发布,执行步骤s2,过终端一键控制实现功能结束命令发布,ros智能机器人主节点控制模块,接收功能指令并关闭相应话题消息;否则,执行步骤s5,继续进行话题订阅,处于人机交互状态;

s7:等待超时,执行步骤s8,结束整个流程;若在等待时间内查阅到发布话题信息,则执行步骤s4。

6.根据权利要求1所述的ros智能机器人的控制方法,其特征在于,用户通过人机交互系统完成ros智能机器人控制过程中人机交互的任务,始终通过屏幕显示的实时图像、建图、导航等话题,查阅智能机器人不同功能结果及运行状态。


技术总结
本发明公开了一种可视化且自定义的ROS智能机器人人机交互系统及其控制方法,包括激光探测及测距模块、深度相机及图像处理模块、ROS图像话题显示模块、3D可视化Rviz建图导航显示模块等模块。本发明通过在ROS环境下利用QtCreator工具开发的一款可视化、自定义人机交互界面,集成librviz库开发、速度仪表盘显示、键盘控制实现、电池电量显示与实现、订阅并显示图像话题、Qt中订阅与发布ROS话题等功能,可实现一键式操作实现ROS智能机器人多功能控制,解决ROS智能机器人在使用过程中涉及较多的命令和Ubuntu终端命令操作,较为复杂且繁琐问题,实现SLAM建图、SLAM导航、人脸识别、动态物体识别、二维码立体检测等终端一键控制功能,可有效实现ROS智能机器人简易控制与操作。

技术研发人员:叶依秀;刘峰;吴平;翁德华;张欢艳;许婧;罗雨淅;庞辰耀;王兴国
受保护的技术使用者:温州大学
技术研发日:2021.05.05
技术公布日:2021.08.27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1