一种机械手手眼标定方法、系统和可读存储介质与流程

申请涉及数据处理和数据传输领域，更具体的，涉及一种机械手手眼标定方法、系统和可读存储介质。

背景技术：

1、近年来，外科手术已逐渐转为微创手术(mis)，主要是利用小孔径的切口或是人体孔进行手术，尽可能减少对患者的创伤，这种手术方式由于伤口面积小，对于病患而言有恢复时间短、降低并发症风险、失血和减少疼痛等优点。机器人辅助微创手术(rmis)使用远程操作平台来控制手术器械，从而增强外科医生的可操作性，降低手术人为失误率，并且，这种装置通常会引入计算机辅助干预(cai)，利用计算机在术前计算出手术规划指引，并于术中成像叠加到视频反馈源上监控手术流程，以确保手术的角度与深度正确，同时增强皮肉组织表面下结构和功能解剖信息的可视化。

2、计算机辅助干预是利用正运动学与变换关系将计算机运算后的3d信息从场景投影到相机视图中，很大程度地依赖机械手与相机的手眼标定精度，因此确保手眼标定精度是相当重要的，然而，尽管现有的手眼标定方法相当成熟，精度已满足许多实际应用场景的需求，但是对于机器人辅助微创手术而言却仍有障碍。以操作层面来说，若能提供相机与机械手足够范围的三维空间获取标定板图像，并且在图相清晰可见的情况下尽可能的采集6自由度的位姿数据，此时计算出的标定矩阵具有良好的泛化性，并且精度较高。由上述可知，微创手术主要是利用小孔径的切口进行手术，因此手术机器人在设计时往往会受到结构的限制，只能在远程运动中心(rcm)周围运动，以确保患者伤口能限制在小区域内，这限制了机械手从原本的6自由度降为4自由度(仅能三维旋转和一维平移)，导致不良的手眼约束。

3、目前常见的手眼标定方式是利用机用二维标定板辅助标定，眼在手上是将标定板固定放置在指定位置，机械手带着相机以不同位姿角度去拍摄标定板图像，进而计算出机械手与相机关系，手眼分离是利用机械手带着标定板，以不同位姿供相机拍摄。然而在rcm约束下，机械手的位置与角度受限制，使得相机拍摄到的标定板信息过于相似，导致参数解算时精度下降或失败。

4、综上所述，利用机器人辅助微创手术是一个极具潜力的领域，利用机械手结合3d影像信息可提升手术的成功率与减少手术风险，然而由于平台机械结构自带的rcm约束使得目前现有的手眼标定方式精度低，因此如何提高带有rcm约束的手眼标定是重要的。

5、实际操作中，由于手术机器人存在结构的限制，只允许在远程运动中心(rcm)周围运动，因此在机械手手眼标定过程中相机采集到的位姿数据过于相似，导致参数计算结果不佳。造成此结果不是因为相机或机械手测量精度问题，而是平台机构不良约束造成数据源过于单一。

6、因此现有技术存在缺陷，急需改进。

技术实现思路

1、鉴于上述问题，本发明的目的是提供一种机械手手眼标定方法、系统和可读存储介质，能够能避免因rcm约束带来的不良位姿计算，提高标定精度和鲁棒性。

2、本发明第一方面提供了一种机械手手眼标定方法，包括：

3、获取场景信息；

4、根据所述场景信息进行分析选择相对应的手眼标定方法，所述手眼标定方法包括眼在手上标定和手眼分离标定；

5、若为眼在手上标定，则获取带有rcm约束的机械手姿态数据t1和相机姿态数据t2；

6、根据所述带有rcm约束的机械手姿态数据t1和相机姿态数据t2进行分析，得到手眼标定参数；

7、若为手眼分离标定，则获取带有rcm约束的机械手位置q1和标志点在相机中的位置q2；

8、根据所述带有rcm约束的机械手位置q1和标志点在相机中的位置q2进行分析，得到旋转平移参数；

9、根据所述手眼标定参数或所述旋转平移参数进行分析，得到预测相机坐标数据。

10、本方案中，根据所述带有rcm约束的机械手姿态数据t1和相机姿态数据t2进行分析之前，还包括：

11、获取标定板圆点的世界坐标p1和相机坐标p2;

12、根据所述标定板圆点的世界坐标p1和相机坐标p2进行分析，得到标定板与相机的坐标转换关系，并建立姿态预测数据集；

13、根据所述姿态预测数据集建立姿态预测回归网络模型；

14、通过第一预设损失函数对所述姿态预测回归网络模型进行验证，得到预设姿态预测回归网络模型。

15、本方案中，所述根据所述带有rcm约束的机械手姿态数据t1和相机姿态数据t2进行分析，得到手眼标定参数，包括：

16、在所述带有rcm约束的机械手姿态数据t1中随机生成m1个机械手姿态，得到机械手位姿数据t3；

17、将所述机械手位姿数据t3输入至预设姿态预测回归网络模型进行分析，得到预测相机姿态数据t4；

18、将所述机械手位姿数据t3和所述预测相机姿态数据t4输入至第一预设矩阵中，经过矩阵运算得到手眼标定参数。

19、本方案中，根据所述带有rcm约束的机械手位置q1和标志点在相机中的位置q2进行分析之前，还包括：

20、获取带有rcm约束的机械手三维位置信息p3和标志点的相机坐标p4；

21、根据所述带有rcm约束的机械手三维位置信息p3和标志点的相机坐标p4进行分析，建立点预测回归网络模型；

22、通过第二预设损失函数对所述点预测回归网络模型进行验证，得到预设点预测回归网络模型。

23、本方案中，所述根据所述带有rcm约束的机械手位置q1和标志点在相机中的位置q2进行分析，得到旋转平移参数，包括：

24、在所述带有rcm约束的机械手位置q1中随机生成m2个机械手位置，得到机械手位置数据q3；

25、将所述机械手位置数据q3输入至预设点预测回归网络模型进行分析，得到预测的相机位置q4；

26、将所述机械手位置数据q3和所述预测的相机位置q4添加至第二预设参数矩阵中，得到构造转换矩阵h；

27、通过svd方法对所述构造转换矩阵h进行解耦，得到旋转平移参数。

28、本方案中，通过svd方法对所述构造转换矩阵h进行解耦，具体为：

29、通过svd方法对所述构造转换矩阵h进行解耦，用公式表示为：

30、，

31、其中，h为构造转换矩阵、r为旋转参数、t为平移参数、u和v代表二个相互正交矩阵、s代表一对角矩阵、为u的转置矩阵、α为机械手位置数据q3的质心、β为预测的相机位置q4的质心、为奇异值分解函数。

32、本发明第二方面提供了一种机械手手眼标定系统，包括存储器和处理器，所述存储器中包括机械手手眼标定方法程序，所述机械手手眼标定方法程序被所述处理器执行时实现如下步骤：

33、获取场景信息；

34、根据所述场景信息进行分析选择相对应的手眼标定方法，所述手眼标定方法包括眼在手上标定和手眼分离标定；

35、若为眼在手上标定，则获取带有rcm约束的机械手姿态数据t1和相机姿态数据t2；

36、根据所述带有rcm约束的机械手姿态数据t1和相机姿态数据t2进行分析，得到手眼标定参数；

37、若为手眼分离标定，则获取带有rcm约束的机械手位置q1和标志点在相机中的位置q2；

38、根据所述带有rcm约束的机械手位置q1和标志点在相机中的位置q2进行分析，得到旋转平移参数；

39、根据所述手眼标定参数或所述旋转平移参数进行分析，得到预测相机坐标数据。

40、本方案中，根据所述带有rcm约束的机械手姿态数据t1和相机姿态数据t2进行分析之前，还包括：

41、获取标定板圆点的世界坐标p1和相机坐标p2;

42、根据所述标定板圆点的世界坐标p1和相机坐标p2进行分析，得到标定板与相机的坐标转换关系，并建立姿态预测数据集；

43、根据所述姿态预测数据集建立姿态预测回归网络模型；

44、通过第一预设损失函数对所述姿态预测回归网络模型进行验证，得到预设姿态预测回归网络模型。

45、本方案中，所述根据所述带有rcm约束的机械手姿态数据t1和相机姿态数据t2进行分析，得到手眼标定参数，包括：

46、在所述带有rcm约束的机械手姿态数据t1中随机生成m1个机械手姿态，得到机械手位姿数据t3；

47、将所述机械手位姿数据t3输入至预设姿态预测回归网络模型进行分析，得到预测相机姿态数据t4；

48、将所述机械手位姿数据t3和所述预测相机姿态数据t4输入至第一预设矩阵中，经过矩阵运算得到手眼标定参数。

49、本方案中，根据所述带有rcm约束的机械手位置q1和标志点在相机中的位置q2进行分析之前，还包括：

50、获取带有rcm约束的机械手三维位置信息p3和标志点的相机坐标p4；

51、根据所述带有rcm约束的机械手三维位置信息p3和标志点的相机坐标p4进行分析，建立点预测回归网络模型；

52、通过第二预设损失函数对所述点预测回归网络模型进行验证，得到预设点预测回归网络模型。

53、本方案中，所述根据所述带有rcm约束的机械手位置q1和标志点在相机中的位置q2进行分析，得到旋转平移参数，包括：

54、在所述带有rcm约束的机械手位置q1中随机生成m2个机械手位置，得到机械手位置数据q3；

55、将所述机械手位置数据q3输入至预设点预测回归网络模型进行分析，得到预测的相机位置q4；

56、将所述机械手位置数据q3和所述预测的相机位置q4添加至第二预设参数矩阵中，得到构造转换矩阵h；

57、通过svd方法对所述构造转换矩阵h进行解耦，得到旋转平移参数。

58、本方案中，通过svd方法对所述构造转换矩阵h进行解耦，具体为：

59、通过svd方法对所述构造转换矩阵h进行解耦，用公式表示为：

60、，

61、其中，h为构造转换矩阵、r为旋转参数、t为平移参数、u和v代表二个相互正交矩阵、s代表一对角矩阵、为u的转置矩阵、α为机械手位置数据q3的质心、β为预测的相机位置q4的质心、为奇异值分解函数。

62、本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括一种机械手手眼标定方法程序，所述一种机械手手眼标定方法程序被处理器执行时，实现如上述任一项所述的一种机械手手眼标定方法的步骤。

63、本发明公开的一种机械手手眼标定方法、系统和可读存储介质，本发明通过眼在手上和手眼分离两种方法进行手眼标定,对于眼在手上标定流程,使用预测姿态网络生成机械手与相机位姿加入标定方程,计算手眼标定结果;对于手眼分离标定流程,使用预测对应点网络生成机械手末端与相机坐标的三维坐标,并加入标定方程,计算最终结果。另外，本发明加入了生成及预测网络方法,在标定的三维空间中生成机械手坐标并预测出相应的相机坐标,加入至参数解算矩阵中,降低rcm约束的不良影响,提高参数鲁棒性与精度。