视觉系统与末端执行器相对位置变化的在线自标定方法与流程

本发明涉及盾构机领域，具体地，涉及一种视觉系统与末端执行器相对位置变化的在线自标定方法，尤其是针对盾构机掘进过程中管片拼装机视觉系统与末端执行器相对位置变化的在线自标定法。

背景技术：

1、管片拼装机是盾构机的重要组成部分，盾构机掘进一段距离后，由于被挖掘部分是裸露的，需要管片拼装机将管片拼装成环，对这部分进行支撑。管片拼装过程目前大部分还是由人工完成，人工作业存在工作环境恶劣，效率低，拼装质量依赖于工人自身熟练度等问题。

2、视觉系统是实现管片拼装自动化的重要部分，视觉系统获取管片及其周围环境的图像数据，然后通过识别算法对管片进行识别，定位，然后通过控制系统对管片进行抓取等操作。在进行抓取操作之前，为了将管片位姿信息从视觉系统坐标系转换到控制系统坐标系，研究人员需要对管片拼装机进行手眼标定，得到控制系统坐标系与视觉系统坐标系之间的手眼标定矩阵。

3、但是由于盾构机特殊的机械结构，在其进行掘进过程中，由于机械运动导致管片拼装机的控制系统坐标系与视觉系统坐标系的相对关系发生变化，使得最开始求得的手眼标定矩阵会随着施工的进行而产生偏差。目前，为解决这种问题，均是采用掘进一段距离后进行重新标定的方式，这不仅工作量大，而且在两次标定之间的拼装过程使用的手眼标定矩阵偏差无法被纠正。

4、在手眼目标抓取系统中，自标定法可以有效地解决相机与机械臂相对位置发生变化需要重新标定的问题，现有的技术大致可以分为基于kruppa方程的自标定法、基于二次曲面的自标定法、分层逐步标定法。但目前，国内外没有在自动化管片拼装机的标定过程中采用自标定法，同时现有的自标定方法也无法直接适用于管片拼装机的视觉环境。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种视觉系统与末端执行器相对位置变化的在线自标定方法。

2、根据本发明提供的一种视觉系统与末端执行器相对位置变化的在线自标定方法，包括如下步骤：

3、识别步骤：通过视觉算法识别管片拼装机的末端执行器在不同位姿下的法向量；

4、手眼标定步骤：通过法向量在不同坐标系下的值计算手眼标定矩阵；

5、实时修正步骤：在掘进过程中通过视觉算法识别管片拼装机主杆方向向量并以此数据修正手眼标定矩阵。

6、优选地，所述手眼标定步骤包括初始状态设定步骤：设定相机坐标系、转轴坐标系、主杆坐标系以及末端执行器坐标系，其中：

7、设定转轴坐标系原点在转轴与主杆的交点，x轴与初始状态下的主杆平行，z轴为转轴的法向量；

8、设定主杆坐标系原点在主杆上，x轴一直与主杆平行，z轴与转轴法向量平行；

9、末端执行器坐标系与相机坐标系根据各自的传感器设定。

10、优选地，还包括手眼标定矩阵计算步骤：

11、通过设置在管片拼装机上的位移传感器、角度传感器计算出末端执行器的平面在末端执行器坐标系下的法向量p；

12、通过深度相机计算出末端执行器上的平面在相机坐标系下的法向量q；

13、则：其中：表示手眼标定矩阵。

14、优选地，在手眼标定矩阵的标定过程中，控制末端执行器调整多种位姿，得到多组{pi，qi}，其中i＝1,2,3......n；采用svd奇异值分解法求取

15、其中：

16、n表示{pi，qi}的组数，

17、表示法向量{pi，i＝1,2,3……n}的重心；

18、表示法向量{qi，i＝1,2,3……n}的重心；

19、表示pi与的差值；

20、表示qi与的差值；

21、h是n×n的矩阵，v和u是n×n的正交矩阵。

22、优选地，还包括旋转平移矩阵计算步骤：

23、根据转轴坐标系的设定，通过视觉算法计算出当末端执行器沿主杆方向运动时，末端执行器的方向向量，得到转轴坐标系的x轴在相机坐标系下的方向；

24、掘进一段距离后，主杆沿着转轴旋转θ，运用视觉算法计算出此状态下末端执行器沿主杆方向运动时，末端执行器的方向向量；将此方向向量与初始状态下得到的方向向量叉乘，得到转轴坐标系的z轴在相机坐标系下的方向，得到对去逆得到

25、优选地，还包括中间矩阵计算步骤：

26、根据坐标系设定，初始状态下则：

27、其中：表示主杆坐标系与末端执行器坐标系之间的旋转变换矩阵，i表示单位矩阵。

28、优选地，所述实时修正步骤包括：

29、方向向量计算步骤：运用视觉算法计算出当前状态下末端执行器沿主杆方向运动时，在相机坐标系下的末端执行器的方向向量，该方向向量与初始状态下相机坐标系下的主杆方向向量点乘，根据角度的旋转不变性，得到主杆绕转轴相对于初始状态下的偏转角θ；

30、过程矩阵计算步骤：基于主杆坐标系相对于转轴坐标系绕其z轴定轴旋转，则当前状态下主杆坐标系与转轴坐标系下的旋转变换矩阵

31、

32、

33、修正步骤：修正手眼标定矩阵其中：

34、与现有技术相比，本发明具有如下的有益效果：

35、1、本发明通过多个坐标系之间进行标定的方式，在盾构机构掘进后实现自标定，避免每次都重新标定。

36、2、本发明通过设置相机坐标系、末端执行器坐标系、转轴坐标系以及主杆坐标系，能够直接适用于管片拼装机的视觉环境。

技术特征：

1.一种视觉系统与末端执行器相对位置变化的在线自标定方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的视觉系统与末端执行器相对位置变化的在线自标定方法，其特征在于，所述手眼标定步骤包括初始状态设定步骤：设定相机坐标系、转轴坐标系、主杆坐标系以及末端执行器坐标系，其中：

3.根据权利要求2所述的视觉系统与末端执行器相对位置变化的在线自标定方法，其特征在于，还包括手眼标定矩阵计算步骤：

4.根据权利要求3所述的视觉系统与末端执行器相对位置变化的在线自标定方法，其特征在于，在手眼标定矩阵的标定过程中，控制末端执行器调整多种位姿，得到多组{pi,qi}，其中i＝1,2,3……n；采用svd奇异值分解法求取其中：

5.根据权利要求4所述的视觉系统与末端执行器相对位置变化的在线自标定方法，其特征在于，还包括旋转平移矩阵计算步骤：

6.根据权利要求5所述的视觉系统与末端执行器相对位置变化的在线自标定方法，其特征在于，还包括中间矩阵计算步骤：

7.根据权利要求6所述的视觉系统与末端执行器相对位置变化的在线自标定方法，其特征在于，所述实时修正步骤包括：

技术总结
本发明提供了一种视觉系统与末端执行器相对位置变化的在线自标定法，包括识别步骤：通过视觉算法识别管片拼装机的末端执行器在不同位姿下的法向量；手眼标定步骤：通过法向量在不同坐标系下的值计算手眼标定矩阵；实时修正步骤：在掘进过程中通过视觉算法识别管片拼装机主杆方向向量并以此数据修正手眼标定矩阵。本发明通过多个坐标系之间进行标定的方式，在盾构机构掘进后实现自标定，避免每次都重新标定。通过设置相机坐标系、末端执行器坐标系、转轴坐标系以及主杆坐标系，能够直接适用于管片拼装机的视觉环境。

技术研发人员：贾连辉,柯瑞庭,陶建峰,姜礼杰,陶治同,张培,刘成良
受保护的技术使用者：中铁工程装备集团有限公司
技术研发日：
技术公布日：2024/1/15