一种机械臂末端位姿自动回正的视觉伺服方法与流程

本发明属于计算机视觉与工业机器人自动作业领域，涉及到一种机械臂末端位姿自动回正的视觉伺服方法。

背景技术：

1、随着对智能机器人的深入研究，针对地铁车底轨道巡检的自动作业机器人逐渐兴起。在机器人作业过程中，其底盘和机械臂的运动路径已经规划完成，只要行驶到规定地点拍摄车底零件图像即可完成当前工作。但是列车在停靠站台时，不可能每次都完全停靠在同一位置。列车停车时的加速度也会对各个车厢之间的距离产生影响。因此巡检机器人的作业环境不可能一成不变，单纯依靠底盘和机械臂的固定运动并不能满足图像采集的高精准要求。

技术实现思路

1、针对现有技术中存在的问题，本发明设计的目的在于提供一种基于单目深度相机的机械臂末端位姿自动回正的视觉伺服方法。

2、本发明通过以下技术方案加以实现：

3、一种机械臂末端位姿自动回正的视觉伺服方法，包括以下步骤：

4、1)巡检机器人移动到预定位置，机械臂运动到预定位姿，启动单目深度相机，采集当前位姿下列车底部的rgb图像和深度图像；

5、2)对当前rgb图像和实际目标rgb图像进行sift特征检测与匹配，并对匹配结果进行过滤，剔除误差较大的匹配特征；其中，实际目标rgb图像的数据运存于巡检机器人图片库中；

6、3)将匹配到的平面特征点，转换到对应目标深度图上的像素坐标，并根据单目深度相机内部参数，将目标深度图上的匹配点转换到相机坐标系下的三维点云坐标；其中，目标深度图数据运存于巡检机器人内存中；

7、4)根据当前点云与目标点云的坐标，采用最邻近点迭代算法icp，计算出点云之间的位姿转换矩阵；

8、5)将点云位姿转换矩阵，通过相机的映射关系，转换到相机当前位姿与目标位姿的转换矩阵，再通过机械臂与相机的位姿关系，计算机械臂从当前位姿运动到目标位姿的旋转矩阵与平移矢量。

9、优选地，单目深度相机采用intelrealsense d455单目深度相机，机械臂采用auboi5六自由度机械臂。

10、优选地，当前rgb图像和实际目标rgb图像进行sift特征检测与匹配的具体步骤为：

11、设共有n对匹配的特征点，当前rgb图像上的匹配点像素坐标为(x2i，y2i)，实际目标rgb图像上的匹配点像素坐标为(x1i，y1i)，

12、δxi＝x1i-x2i………………………………………………………………(1)

13、δyi＝y1i-y2i……………………………………………………………………(2)

14、则：

15、

16、

17、

18、

19、当δxi∈(μx-0.5*σx，μx+0.5*σx)且δyi∈(μy-0.5*σy，μy+0.5*σy)时，满足所需特征点条件。

20、本发明采用先平面后立体的方式，结合sift算法与icp算法，在做三维点云空间位置匹配前，先用sift提取平面图像特征点。利用提取的像素特征所对应的点云坐标做icp匹配，计算出目标点云与当前点云的位姿变换矩阵，结合优化sift算法：在特征点过滤上，sift算法本身采用临近特征点的欧氏距离与次临近特征点的欧氏距离的比率ratio处于某个阈值区间来提高匹配的准确性。icp算法受初值影响较大，而在不同角度拍摄的2d图像，其对应像素点的特征描述子往往具有相似的向量变化。为了采集更有效，更精确的特征点，在sift算法本身的基础之上，采用统计学方法在原有的匹配点上，找出对应特征点欧氏距离之差的均值与标准差，缩小匹配点欧氏距离之差的提取区间，进行二次筛选。

技术特征：

1.一种机械臂末端位姿自动回正的视觉伺服方法，其特征在于，该视觉伺服方法包括以下步骤：

2.如权利要求1所述的一种机械臂末端位姿自动回正的视觉伺服方法，其特征在于单目深度相机采用intelrealsense d455单目深度相机，机械臂采用auboi5六自由度机械臂。

3.如权利要求1所述的一种机械臂末端位姿自动回正的视觉伺服方法，其特征在于当前rgb图像和实际目标rgb图像进行sift特征检测与匹配的具体步骤为：

技术总结
本发明一种机械臂末端位姿自动回正的视觉伺服方法，利用深度相机采集目标位置3D点云数据与2D彩色图像，将当前位置2D彩色图像与目标2D彩色图像进行SIFT匹配，得到n个匹配点的像素信息；根据匹配点的像素坐标，找到对应的3D点云坐标做ICP，得到点云转换矩阵；通过计算，转换到机械臂末端变换矩阵。本发明先平面后立体的方式，结合SIFT与ICP算法，用SIFT提取平面图像特征点。利用提取的像素特征所对应的点云坐标做ICP匹配，计算目标点云与当前点云的位姿变换矩阵，结合优化SIFT算法，在原有的匹配点上，找出对应特征点欧氏距离之差的均值与标准差，缩小匹配点欧氏距离之差的提取区间，进行二次筛选。

技术研发人员：周思杭,林贤煊,杜强,李玮,王智丰,李欣蒙
受保护的技术使用者：中数智科（杭州）科技有限公司
技术研发日：
技术公布日：2024/1/11