一种相机姿态自修正和拍照路径自生成的手眼标定方法

本发明涉及机器人手眼标定领域，具体而言，涉及一种相机姿态自修正和拍照路径自生成的手眼标定方法。

背景技术：

1、在机器人应用领域，手眼标定是指将机械臂末端工具位置和相机位置进行标定，即求解相机坐标系和机器人末端工具坐标系之间的矩阵关系，以确保机械臂能够根据相机的视觉信息精确地执行任务，如抓取物体、组装和焊接等。传统方法存在的主要问题有：

2、(1)手动示教、耗费时间长、工作效率低、自动化程度不高；

3、(2)拍照路径依据经验知识，拍摄视场受限和拍摄角度多样性不足等问题，导致标定的精度和鲁棒性较差；

4、(3)即使相机平面与标定板平面初始时已大致平行，但还是存在误差，传统方法未能解决初始拍照姿态修正的问题。

5、因此，本专利提出的一种新的手眼标定方法就是针对这些问题而设计的。以下介绍三种现有的机器人手眼标定方案：

6、专利cn115781698a（分层式手眼标定机器人运动位姿自动生成方法、系统、设备和介质）提出了一种分层式手眼标定机器人运动位姿自动生成方法与系统。识别和提取标定板的尺寸像素长宽，并获得当前物理像素转换系数；根据预设的层数、层高、层长宽、长度方向点数、宽度方向点数和当前机器人能够移动的最大距离，获得机器人的相对运动笛卡尔点位集合；控制机器人移动到目标点位，拍摄标定板照片；根据记录的机器人位姿和相机—标定板位姿执行手眼标定解算。此方案虽然提出了在不同层次进行拍摄，但前期需要输入大量约束条件并且当重投影误差大于预设值时，无法得知是具体哪个设定条件有问题，可能需要重新设定较多的设定条件，较为繁琐。

7、专利cn110202573a（全自动手眼标定、工作平面标定方法及装置）提出了一种全自动手眼标定和工作平面标定方法及装置。获取机械臂的位姿、标定板图像数据，并计算机械臂的下一个位姿；判断是否至少有九张覆盖整个图像视野的标定板图像，如果没有，继续采集位姿和标定板图像，否则，根据位姿数据、标定板图像数据计算手眼矩阵，同时标定出相机内参、当前工作平面，给出重投影误差。此方案采用自动路径规划方法计算位姿，使得标定过程简化，但该方法只在一个平面上运用就会限制拍摄角度的多样性同时还要考虑这个平面的适用性。

8、专利cn107498558a（全自动球面轨迹专利）提出一种全自动手眼标定方法与装置。获取机械臂当前的位姿；根据所述机械臂当前的位姿以及预设的球面运动路径，获取所述机械臂的下一个位姿；获取所述机械臂的每一个位姿下的标定板数据；根据所述机械臂的位姿以及所述标定板数据求得相机与机械臂的手眼标定结果。此方案采用球面运动轨迹使得手眼标定实现简单，但是需要对机器人进行复杂编程和操作，轨迹距离限制等问题。

9、针对上述的相关方案及技术，发明人认为需要提出一种更加自动的、更加省时省力的、更加便于调整的高精度手眼标定方法以改善上述技术问题。

技术实现思路

1、本发明的目的在于提供一种相机姿态自修正和拍照路径自生成的手眼标定方法，以解决上述标定方法存在的手动示教繁琐，标定过程复杂，运动轨迹选取，拍照点选取，相机中心点以及良好拍照平面选取等问题。

2、本发明提供的一种相机姿态自修正和拍照路径自生成的手眼标定方法，包括如下三个模块：

3、第一模块（相机姿态自修正模块）：

4、 步骤1 将标定板固定在工作台面上，系统上电；

5、 步骤2 引导机械臂末端或通过探索运动使相机光轴对准标定板中心，为防止碰撞，调整相机平面距离标定板平面的高度h，即起始拍摄平面；

6、 步骤3 提出一种采用激光测距传感器的相机姿态自修正方法，使相机平面平行于标定板平面；

7、 步骤4 向系统中输入设定三维阿基米德螺线轨迹方程所需的参数，包括

8、x = a * cos(t) * t (1-1)

9、y = a * sin(t) * t (1-2)

10、z = b * t (1-3)

11、其中 a 和 b 是螺线的参数，而 t 是时间参数；

12、第二模块（拍照路径自生成模块）：

13、 步骤1 对于生成的平滑螺线轨迹采用均匀采样算法，得到采样点；使用粒子群算法对采样点进行优化并选取拍照点；

14、 步骤2 如果拍照点的数量大于等于15，则进行下一步骤；如果拍照点数量低于15，则返回到步骤s310修改参数重新采样；

15、 步骤3 机械臂按照规划轨迹运动，运动到拍照点时暂停1秒，机械臂稳定后拍摄照片，继续运动至所有拍照点都完成拍照；

16、 步骤4 机械臂自动回到起始拍摄点；

17、第三模块（图像筛选及方程求解模块）：

18、 步骤1 对于得到的图像，使用surf检测算法进行处理，得到特征点的数量和分布；

19、 步骤2 基于特征点的数量和分布，采用一种多层决策的方法对处理过的图像进行前期筛选；

20、步骤3如果合格图像数量大于等于10张，进行下一步骤；如果小于10张，则返回到步骤s310修改参数重新采样；

21、 步骤4 执行手眼标定方程的解算。

22、以上步骤是对本专利实现的总体介绍，下面对其中几个步骤做出更加具体的解释：

23、第一模块的步骤3中提到的所述激光测距传感器的相机姿态自修正的方法具体实现为：将相机盒子与激光测距传感器固定在一起，使相机平面与激光测距传感器镜头平面处于同一水平面，在起始拍摄平面打开激光测距传感器，测得传感器到标定板平面的距离 d2，将 d2与标定板平面到起始平面的距离 d1输入误差修正系统，系统根据两者之间的差别调整相机的偏斜角度，最终实现将 d2调整到接近 d1并将 d2控制在误差允许范围内。

24、第二模块的步骤1中选点的具体实现为：利用均匀采样算法在轨迹上等间隔地生成采样点，并将其投影到相机平面上，得到对应的特征点的数量和分布；使用粒子群算法对所有的采样点进行优化，将每个采样点看作一个个体，使用特定的目标函数对个体进行评估和优化，以获取最优的拍照点位置。其中粒子群算法的运用实现为：将均匀采样获得的50个采样点作为预设拍照点，将原点作为第一个点，在第一个点前向方向长度为2倍采样长度的区间内随机初始化50个粒子，将粒子与第一个点之间的距离和角度变化作为计算适应度函数的依据得出粒子的适应度，之后通过不断迭代更新粒子的速度和位置得到最优解，将得到的最优解与下一个预设拍照点比较，若两者有较大差距，则将最优解作为第二个拍照点，再重复以上操作得到其余拍照点，最终选取前15个拍照点。

25、第三模块的步骤2中筛选最优图像的具体实现为：将每张图像分成大小相等形状规则的四个长方形区域，统计每个区域内的特征点数量，如果一张图像上的特征点数量大于20且每个区域内的特征点数量差别不低于或不超过第一区域的三分之一，则认为图像是合格的。

26、本发明提供的一种相机姿态自修正和拍照路径自生成的手眼标定方法，控制机械臂使相机光轴对准标定板中心，移动相机到一定的高度，采用激光测距传感器的相机姿态自修正方法使相机平面平行于标定板平面，避免了传统方法中手动示教选择拍摄点及拍摄平面的问题，之后对拍照轨迹进行规划以及使用均匀采样和粒子群算法优化获取拍照点，本发明使用三维阿基米德螺线作为运动轨迹，相比于传统路径有利于获得更好的视野范围、更丰富的数据多样性从而提高标定精度和鲁棒性。此外本发明采用surf检测算法检测特征点，相比于harris算法，surf算法具有更好的旋转不变性、尺度不变性、光照不变性等，可以更好地适应三维阿基米德螺线轨迹的特殊形状，提取出更为准确稳定的特征点。通过多层决策对得到的图像进行方程求解前的筛选，获得足够多的图片数量和更高的精度。最后通过执行手眼标定方程的结算得出内参和外参，即手眼标定结果。