一种基于多传感器信息融合的带电作业机器人自主作业方法与流程

文档序号:12224037阅读:来源:国知局

技术特征:

1.一种基于多传感器信息融合的带电作业机器人自主作业方法,其特征在于,带电作业机器人包括作业系统和监控系统;

所述作业系统包括设置在带电作业机器人平台上的第一机械臂、第二机械臂、辅助机械臂、机械臂专用工具箱和第一工控机;所述监控系统包括双目摄像头、全景摄像头、深度传感器和第二工控机和显示器;第一机械臂、第二机械臂和辅助机械臂末端均安装有双目摄像头;全景摄像头用于监控作业场景;深度传感器为多个,用于获取作业场景深度图像信息;第二工控机和显示器安装在绝缘斗臂车上;

自主作业过程为:

步骤101,全景摄像头拍摄包括带电作业机器人平台的在内的全景图像,通过第二工控机送显示器显示,操作人员通过查看全景图像将带电作业机器人平台送入作业区域;

步骤102,第一工控机控制第一机械臂和第二机械臂进入初始工作姿态,并确保第一机械臂和第二机械臂上的双目摄像头能拍摄到包含作业目标的双目图像;随后控制辅助机械臂进入初始工作姿态,确保辅助机械臂上的双目摄像头能拍摄到包含作业目标、第一机械臂和第二机械臂的双目图像;

步骤103,三个双目摄像头将拍摄的双目图像数据传送给第二工控机,第二工控机对所述双目图像进行处理,以识别出作业目标并判断作业任务类别;

步骤104,第二工控机根据作业目标和作业类别判断作业任务重是否是需要使用专用工具箱中的工具,若果需要获取工具,则通过第一工控机控制第一机械臂和第二机械臂分别从专用工具箱中获取工具,然后进行步骤5,如果不需要获取工具,则直接进行步骤105;

步骤105,第二工控机根据第一机械臂和第二机械臂的位置以及作业任务规划出机械臂空间运动路径,并发送给第一工控机;

步骤106,第一工控机根据机械臂空间运动路径控制第一机械臂和第二机械臂运动完成相应作业任务;在第一机械臂和第二机械臂进行作业过程中,第二工控机根据深度传感器获得的深度信息判断判断各机械臂之间以及各机械臂与周围物体之间是否会发生碰撞,若是,则返回步骤5重新进行械臂空间运动路径规划;若否,则继续进行作业任务直至完成作业任务。

2.如权利要求1所述带电作业机器人自主作业方法,其特征在于,包括四个深度传感器,分别从带电作业机器人平台的上方、前方以及左右两侧获取作业区域深度图像;第二工控机根据深度传感器获得的深度信息判断判断各机械臂之间以及各机械臂与周围物体之间是否会发生碰撞的方法为:

步骤201,对全景摄像头拍摄的作业场景全景图像进行处理将各机械臂与作业环境分离,获取各机械臂像素点位置信息;

步骤202,将作业场景全景图像与四只深度传感器获得的作业区域深度图像进行信息匹配,即将全景图像中的像素点与深度图像中的像素点进行匹配,获得空间中实际该点的三维坐标,从而获取作业现场三维点云并得到各机械臂位置的点云,将第一机械臂、第二机械臂和辅助机械臂点云分别记为第一点云区、第二点云区和辅助点云区;

步骤203,计算各机械臂点云上各点与作业环境点云上各点之间的距离,若该距离小于阈值,则认为机械臂将要与环境物体碰撞;计算第一点云区、第二点云区和辅助点云区上相互两点间的距离,若该距离小于阈值,则认为机械臂之间将要发生碰撞。

3.如权利要求1所述带电作业机器人自主作业方法,其特征在于,第二工控机对双目图像进行预处理,剔除干扰和噪声;然后提取出作业目标,将作业目标与模型库中的目标模型进行匹配,以判断出作业任务类别。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1