一种角膜移植手术机器人用自主立体视觉导航方法及系统

1.本发明属于医疗手术机器人技术领域，具体涉及一种角膜移植手术机器人用自主立体视觉导航方法及系统。


背景技术：

2.角膜移植手术是用透明的角膜片置换浑浊或有病变部分的角膜，以达到增视、治疗某些角膜病和改善外观的目的。角膜缝合是角膜移植手术中难度最大的、耗时最长的手术环节，角膜缝合主要为将供体角膜植片用缝针和缝线缝合于植床。医生进行环钻和缝合时，手部生理细微抖动以及视觉微弱不易判断角膜刀和缝针的深度，会导致植片和植床的切割边缘不吻合、缝合大小和深度不一致、缝合张力不对称等问题，直接影响角膜移植术后的康复效果。
3.角膜移植手术过程中，缝合不均匀极易造成角膜起皱和变形导致散光，也会引起角膜损伤，严重时则会引起其他的并发症。正常角膜各径线的曲度是一致的，因此折光率相同，如果曲度不均匀，就会引起折光异常，即散光。一般的角膜移植钻切、缝合参数由医生经验进行估计，因此并非最佳值，所以有必要通过手术机器人的高精度操作控制手段将手术参数调整到最优，而对显微眼科手术机器人的视觉感知及其反馈控制是高精度手术操作的前提，也是改善患者术后康复的基础。
4.与传统的医生手术方法相比，角膜移植手术机器人基于视觉导航进行自主缝合更具有优势，主要表现在：
5.①
能够更加全面、准确地呈现局部手术过程影像，实现医生对显微眼科手术过程中手术视野的清晰观察；
6.②
能够稳定、高精度的控制手术器械完成手术操作，降低对眼组织的损伤程度，改善患者术后康复效果；
7.③
解决医生长时间手术易疲劳的问题。


技术实现要素：

8.本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种角膜移植手术机器人用自主立体视觉导航方法及系统，能够感知角膜移植手术过程中深度信息、实现无人辅助下的智能化角膜移植手术的优点。
9.本发明采用以下技术方案：
10.一种角膜移植手术机器人用自主立体视觉导航方法，包括以下步骤：
11.s1、获取立体显微镜相机与世界坐标系oxyz的配准数据以及立体显微镜相机的标定、矫正数据，根据立体显微镜相机采集两幅面部图像，分别作为参考图像r和目标图像t；
12.s2、将步骤s1得到的参考图像r和目标图像t输入卷积神经网络cnn进行特征提取，实时捕捉目标物体的三维信息以及手术工具的位姿信息并进行更新，通过深度学习方法获取参考图像r和目标图像t完成自主立体视觉导航的视觉传感信息；
13.s3、利用步骤s2获取的视觉传感信息，控制角膜移植手术机器人对角膜移植手术缝针刺入和缝线打结进行自主立体视觉导航。
14.具体的，步骤s2具体为：
15.s201、将参考图像r和目标图像t输入卷积神经网络cnn进行特征提取，并用特征图金字塔网络fpn找出图像中的感兴趣区域rois，并生成rois的目标边框；
16.s202、通过关联算法将步骤s201参考图像r和目标图像t相对应的目标边框进行匹配生成视差图，计算相对应的目标边框内三维点云集合f(x，y，z)；
17.s203、通过全卷积神经网络fcn对每一个目标边框内的roi预测实例所属分类生成实例分割掩码；
18.s204、将步骤s203的实例分割掩码与步骤s202的三维点云集合f(x，y，z)相匹配，计算各实例所得目标物体内对应点的三维坐标集合rois(x，y，z)，并由各目标物体的三维点云形成相对应的立体表面surf；
19.s205、在步骤s204的立体表面surf上计算操作工具位姿和被操作对象上目标点位姿，将实时更新的操作工具位姿和被操作对象目标点输入步骤s206；
20.s206、基于步骤s205中实时更新的手术工具当前位姿和目标位姿，对手术工具的轨迹规划tr进行实时更新，手术工具完成规划动作执行后，采集参考图像r和目标图像t，返回步骤s201，进行动作，直至所有动作完成后结束。
21.进一步的，步骤s204中，将实例分割结果与视差图相匹配后转换为感兴趣区域内各目标物体rois的三维点云数据，并由各目标物体的三维点云，采用delaunay三角剖分方法将各目标物体的三维点云构造为三角网格，形成相对应的立体三角网格表面；感兴趣区域rois包括角膜植片、植床、持针钳、镊子、缝针和缝线所在位置的立体表面区域。
22.进一步的，步骤s206中，基于获得的实时感兴趣区域的三维点云rois(x，y，z)，结合专家库的规范化角膜移植手术操作动作序列获得对应手术动作基元u，结合rois(x，y，z)中目标点ptarget及操作工具当前位姿ptool(x,y,z,a,b,c,g)，对角膜移植手术机器人末端手术工具从当前位姿ptool(x,y,z,a,b,c,g)到目标点ptarget的轨迹规划tr进行实时更新。
23.具体的，步骤s3具体为：
24.s301、获得植片置于植床内的原始图像对，目标物体植片、手术工具的三角网格表面，计算植片的极值点、手术工具的当前位姿，使手术工具按预定轨迹由当前位姿运动至目标点ptarget，使用镊子夹持角膜植片；
25.s302、计算角膜的厚度t，根据缝合深度要求预估目标点的位置点pdepth；
26.s303、通过持针钳操作缝针刺入角膜植片，并同时刺入角膜植床；
27.s304、通过持针钳操作缝针拔出角膜植床；
28.s305、打第一个接近环的缠绕动作；
29.s306、打第一个接近环的张紧动作；
30.s307、镊子操作缝线绕持针钳向相反方向绕n圈，打完第二个环；重复操作至镊子操作缝线绕持针钳打完第k个环，一次打结结束；
31.s308、重复步骤s301～步骤s307，对角膜植片和植床完成16～24个点位的缝合，自动化缝合结束。
32.进一步的，步骤s303中，持针钳夹持缝针进入双目立体显微镜的手术视场内，获得目标物体植片、缝针的三维点云，计算植片上距离边界极值点0.8mm～1mm的缝针刺入点位置，角膜植片刺出点位置，结合角膜移植手术要求缝针针尖应与刺入面、刺出面垂直的要求，通过样条插值计算缝针针尖应该走过的位姿轨迹tr，持针钳与缝针相对运动忽略不计，通过对缝针位姿轨迹的其次坐标变换即可求得持针钳的位姿轨迹。
33.进一步的，步骤s304中，获得目标物体植片、缝针的三维点云，计算缝针被持针钳夹持的位置，角膜移植手术机器人操作持针钳松开缝针尾部后运动至缝针头部被夹持点夹起缝针，然后沿角膜斜上方拔出缝针。
34.进一步的，步骤s305中，手术机器人操作持针钳松开缝针后移动至与结垂直位置的上方，获得目标物体缝线线头、持针钳、镊子的三维点云，计算缝线线头被镊子夹持的位置，操作镊子运动至缝线被夹持点夹起缝线，镊子夹住缝线线头绕持针钳旋转m圈。
35.进一步的，步骤s306中，获得目标物体缝线线尾、持针钳、镊子的三维点云，计算缝线线尾被持针钳夹持的位置，持针钳运动至缝线线尾，被夹持点夹起缝线线尾，然后镊子与持针钳分别抓住缝线线头与缝线线尾，向相反方向拉出，缝线张紧后松开，打完第一个接近环。
36.本发明的另一技术方案是，一种角膜移植手术机器人用自主立体视觉导航系统，包括：
37.图像模块，获取立体显微镜相机与世界坐标系oxyz的配准数据以及立体显微镜相机的标定、矫正数据，根据立体显微镜相机采集两幅面部图像，分别作为参考图像r和目标图像t；
38.学习模块，将图像模块得到的参考图像r和目标图像t输入卷积神经网络cnn进行特征提取，实时捕捉目标物体的三维信息以及手术工具的位姿信息并进行更新，通过深度学习方法获取参考图像r和目标图像t完成自主立体视觉导航的视觉传感信息；
39.导航模块，利用学习模块获取的视觉传感信息，控制角膜移植手术机器人对角膜移植手术缝针刺入和缝线打结进行自主立体视觉导航。
40.与现有技术相比，本发明至少具有以下有益效果：
41.本发明一种角膜移植手术机器人用自主立体视觉导航方法，不仅能够识别手术视场内目标物体的二维区域，还可以通过两图像的视差信息得到其深度信息；基于所识别目标物体的点云数据重建其近似的三角网格表面，在该表面上识别被操作物体上的目标点，根据手术工具的当前点和目标点信息规划其运动轨迹，具有能够自主识别、定位并导航角膜移植手术机器人的优势，能够代替/部分代替眼科医生，解决当前医生长时间手术容易疲劳的问题。
42.进一步的，使用生物医学图像对手术过程导航时，仅有二维图像信息缺乏深度信息的情况下，存在着反复试错接近目标点，因而导致视觉导航效率低下的问题，而本发明的步骤s2通过重建手术视场内的三维几何信息，结合神经网络智能识别目标物体的三维面信息，能够精确定位目标物体的三维表面信息，能够快速、准确的完成目标识别、定位和机器人导航。
43.进一步的，步骤s204通过实例分割结果与视差图相匹配的方法，得到感兴趣区域的目标物体区域，剔除不感兴趣区域(如人面部鼻、额头等信息)，能够大幅减少计算量，从
而提高立体视觉导航算法的速度。
44.进一步的，专家库的规范化角膜移植手术操作序列为角膜移植手术机器人完成自主角膜移植实时提供参数化表达的手术路径基元，为轨迹规划提供专家医生级指导，高其智能化水平。
45.进一步的，不同手术步骤角膜移植手术机器人需要得到的目标点位信息是实时变化的，因此立体视觉导航系统所识别的对象不同、对应算法、数据库也不同，本发明将角膜移植手术的立体视觉导航方法简化为分阶段、分步骤的立体视觉识别、定位和导航方法，能够提高立体视觉导航效率。
46.进一步的，本发明将角膜移植缝针刺入角膜的过程进行定量化表达，首先按照专家库的规范化手术操作要求，计算缝针操作角膜的刺入点、刺入角度和刺出点、刺出角度，然后通过样条曲线拟合缝针运动轨迹，能够提高角膜移植手术机器人对操作指令的执行效率。
47.进一步的，缝针刺出角膜时，持针钳要松开针尾、夹起针头，该过程可能造成持针钳与针体的碰撞甚至拖拽，严重损伤角膜，因此，结合持针钳与针尾、针头的三维信息，对持针钳进行轨迹规划，有利于保证病人安全。
48.进一步的，缝针绕持针钳时，缝线太紧会伤害角膜、太松会导致缠绕松脱导致打结失败，因此对缝线绕持针钳打结进行定量化表达，控制缝线缠绕持针钳的长度有利于保证缝线的松紧度，从而保证缝合打结顺利完成。
49.进一步的，此步骤镊与持针钳要同时运动，因此对镊夹线头、持针钳夹线尾与镊、钳向相反方向拉出的运动路径进行定量化表达，控制缝线长度有利于保证缝线的松紧度，从而保证缝合打结顺利完成。
50.综上所述，本发明不仅能够识别手术视场内目标物体的二维区域，还可以通过两图像的视差信息得到其深度信息；基于所识别目标物体的点云数据重建其近似的三角网格表面，在该表面上识别被操作物体上的目标点，根据手术工具的当前点和目标点信息规划其运动轨迹；同时，本发明将角膜移植缝针刺入角膜、缝线打结的过程进行定量化表达，按照专家库的规范化手术操作要求，结合操作中操作工具与被操作对象的拓扑信息，定量化计算手术工具的运动轨迹，能够提高算法效率、提高手术机器人的执行速度。具有能够自主识别、定位并导航角膜移植手术机器人的优势，能够代替/部分代替眼科医生，解决当前医生长时间手术容易疲劳的问题。
51.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
52.图1为本发明双目立体显微相机、角膜移植手术机器人和病人头部及其相对位置关系的示意图；
53.图2为本发明手术过程中通过左右两相机获得的平面图像计算得到三维图像的示意图；
54.图3为本发明基于三维重建目标物体后计算植片上镊子夹持点位置的示意图；
55.图4为本发明使用镊子翻开角膜边缘的三维图像计算角膜厚度的示意图；
56.图5为本发明使用三维图像计算缝针刺入植片位姿及规划缝针、持针钳运动轨迹
的示意图；
57.图6为本发明使用缝针刺出角膜植床后的三维图像计算持针钳夹持的目标点及其运动轨迹的示意图；
58.图7为本发明引导缝线头部缠绕持针钳的示意图；
59.图8为本发明引导缝线头部和尾部被向相反方向拉出的张紧示意图；
60.图9为本发明的流程图。
61.其中：101.左相机；102.右相机；202.角膜植片；203.植床；3.角膜移植手术机器人；301.持针钳；3011.持针钳左瓣；3012.持针钳右瓣；302.镊子；3021.镊子左瓣；3022.镊子右瓣；303.缝针；304.缝线；3041.缝线线头；3042.缝线线尾。
具体实施方式
62.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
63.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
64.还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
65.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
66.在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
67.本发明提供了一种角膜移植手术机器人用自主立体视觉导航方法，使用立体显微镜相机放置在平躺于病床病人的眼角膜上方，获得左相机和右相机的两幅图像，通过对二维图像进行实例分割得出目标物体的x,y坐标，同时通过对二维图像进行立体匹配得出目标物体的深度z信息，二者融合的即预测得出目标物体的三维信息；依照规范化的医生角膜移植手术过程确定缝合过程中缝针刺入、缝线打结的操作途径，并基于手术机器人所重建的目标物体三维几何模型计算手术工具的目标操作点，结合手术工具的当前位姿对手术工具进行运动轨迹规划，实现角膜移植手术机器人在视觉导航引导下自主完成角膜移植手术。本发明能够实现无人辅助下角膜移植手术机器人的规范化角膜移植手术过程、角膜移植手术机器人视觉传感与自主目标识别及定位，具有智能化、精度高，以及减少医生长时间手术疲劳的优点。
68.请参阅图9，本发明一种角膜移植手术机器人用自主立体视觉导航方法，将双目立
体显微镜放置在眼角膜上方，同时获得左相机和右相机的两幅图像，通过对所获得的左相机和右相机的两幅图像进行深度学习完成角膜移植手术缝针刺入、缝线打结等自动化缝合过程中角膜移植手术机器人的自主立体视觉导航。具体步骤如下：
69.s1、将包含左相机101和右相机102的立体显微镜相机放置在眼角膜的上方，获取立体显微镜相机与世界坐标系oxyz的配准数据以及立体显微镜相机的标定、矫正数据，包括相机间距b，相机焦距f，左相机101的镜头中心o
r
，右相机102的镜头中心o
t
，根据立体显微镜相机采集两幅面部图像，令左图为参考图像r，右图为目标图像t，如图1所示；
70.请参阅图1，角膜移植手术机器人3包括两条机械臂，持针钳301为右机械臂末端执行器，镊子302为左机械臂末端执行器，切除角膜病灶后剩余角膜为植床203，健康角膜植片202放置于角膜植床203上，两者边缘对齐。
71.s2、通过深度学习方法对步骤s1获得的两幅图像完成自主立体视觉导航的视觉传感信息获取；
72.s201、将参考图像r和目标图像t输入卷积神经网络cnn进行特征提取，并用特征图金字塔网络fpn找出图像中的感兴趣区域rois，并生成rois的目标边框；
73.感兴趣区域rois包括：角膜植片202、植床203以及持针钳301、镊子302、缝针303和缝线304。
74.s202、通过关联算法将参考图像r和目标图像t相对应的目标边框进行匹配生成视差图，即计算相对应的目标边框内三维点云集合f(x，y，z)；
75.请参阅图2，根据参考图像r中像素坐标(x
r
，y
r
)得到目标边框内各实际点的深度信息z以及三维重建视场内点云集合f(x，y，z)，计算方法为：
[0076][0077][0078][0079]
s203、通过全卷积神经网络fcn对每一个roi预测其不同的实例所属分类生成实例分割掩码；
[0080]
s204、计算已分割实例内点的三维坐标集合rois(x，y，z)；
[0081]
将实例分割结果与视差图相匹配进而转换为感兴趣区域内各目标物体rois的三维点云数据，并由各目标物体的三维点云形成相对应的立体表面；
[0082]
s205、对操作工具和被操作对象的位姿进行实时更新；
[0083]
请参阅图3，在rois(x，y，z)计算被操作对象的目标点ptarget以及操作工具的当前位姿ptool(x,y,z,a,b,c,g)，实时更新立体视觉采集的两图像并计算操作工具和被操作对象的位姿。
[0084]
被操作对象包括角膜植片202、植床203以及缝针303和缝线304，操作工具包括持针钳301和镊子302。
[0085]
s206、基于步骤s205中实时更新的手术工具当前位姿和目标位姿，对手术工具的轨迹规划tr进行实时更新，手术工具完成规划动作执行后，立体显微镜相机采集参考图像r和目标图像t，返回步骤s201，进行下一步手术动作，直至所有手术动作完成后结束；
[0086]
基于获得的实时感兴趣区域的三维点云rois(x，y，z)，结合专家库的规范化角膜移植手术操作动作序列获得对应手术动作基元u，结合rois(x，y，z)中目标点ptarget及操作工具当前位姿ptool(x,y,z,a,b,c,g)，对角膜移植手术机器人末端手术工具从当前位姿ptool(x,y,z,a,b,c,g)到目标点ptarget的轨迹规划tr进行实时更新，同时检测在手术工具的运动轨迹tr，应不与其他物体产生碰撞，即运动轨迹物体三维点云集合f。
[0087]
s3、利用步骤s2获取的视觉传感信息，控制角膜移植手术机器人对角膜移植手术缝针刺入、缝线打结进行自主立体视觉导航。
[0088]
s301、使用镊子302夹持角膜植片202；
[0089]
获得植片202置于植床203内的原始图像对，目标物体植片202、镊子左瓣3021、镊子右瓣3022的三维点云，并计算目标点即植片202的极值点、手术工具的当前位姿即镊子左瓣3021、镊子右瓣3022的尖端位置，使机器人手术工具按预定轨迹由当前位姿运动至目标点ptarget。
[0090]
s302、查看并计算角膜的厚度t；
[0091]
请参阅图4，将镊子302夹持角膜植片202极值点后向上翻开，获得目标物体植片202侧面及镊子左瓣3021、镊子右瓣3022的三维点云，并计算角膜厚度t，根据缝合深度要求85％～90％的角膜厚度)预估目标点即缝针刺出角膜植片的位置点pdepth。
[0092]
s303、持针钳301操作缝针303刺入角膜植片202，同时刺入角膜植床203；
[0093]
请参阅图5，持针钳301夹持缝针303进入双目立体显微镜1的手术视场内，获得目标物体植片202、缝针303的三维点云，计算植片202上距离边界极值点约为1mm的缝针刺入点位置，角膜植片刺出点位置，结合角膜移植手术要求缝针针尖应与刺入面、刺出面垂直的要求，通过样条插值计算缝针针尖应该走过的位姿轨迹tr，持针钳301与缝针303相对运动忽略不计，通过对缝针303位姿轨迹的其次坐标变换即可求得持针钳301的位姿轨迹；
[0094]
s304、持针钳301操作缝针303拔出角膜植床203；
[0095]
请参阅图6，获得目标物体植片202、缝针303(刺出角膜的针头部分)的三维点云，计算缝针303被持针钳301夹持的位置，角膜移植手术机器人3操作持针钳301松开缝针303尾部后运动至缝针303头部被夹持点夹起缝针303(轨迹tr1)，然后沿角膜斜上方(轨迹tr2)拔出缝针303；
[0096]
s305、打第一个接近环的缠绕动作；
[0097]
请参阅图7，手术机器人操作持针钳301松开缝针303后移动至与结垂直位置的上方，保持不动，获得目标物体缝线线头3041、持针钳301、镊子302的三维点云，计算缝线线头3041被镊子302夹持的位置，操作镊子302运动至缝线304被夹持点夹起缝线304，然后角膜移植手术机器人3操作镊子302夹住缝线线头3041绕持针钳301旋转m圈；
[0098]
s306、打第一个接近环的张紧动作；
[0099]
请参阅图8，获得目标物体缝线线尾3042、持针钳301、镊子302的三维点云，计算缝线线尾3042被持针钳301夹持的位置，持针钳301运动至缝线线尾3042，被夹持点夹起缝线线尾3042，然后镊子302与持针钳301分别抓住缝线线头3041与缝线线尾3042，向相反方向拉出，缝线304轻微张紧后松开，此时即打完第一个接近环；
[0100]
s307、打第k个环；
[0101]
镊子302操作缝线304绕持针钳301向相反方向绕n圈，即打完第二个环；类似的，镊
子302操作缝线304绕持针钳301打完第k个环，则一次打结结束；
[0102]
s308、重复步骤s306～步骤s307，对角膜植片202和植床203完成16～24个点位的缝合后角膜移植手术的自动化缝合则结束。
[0103]
本发明再一个实施例中，提供一种角膜移植手术机器人用自主立体视觉导航系统，该系统能够用于实现上述角膜移植手术机器人用自主立体视觉导航方法，具体的，该角膜移植手术机器人用自主立体视觉导航系统包括图像模块、学习模块以及导航模块。
[0104]
其中，图像模块，获取立体显微镜相机与世界坐标系oxyz的配准数据以及立体显微镜相机的标定、矫正数据，根据立体显微镜相机采集两幅面部图像，分别作为参考图像r和目标图像t；
[0105]
学习模块，将图像模块得到的参考图像r和目标图像t输入卷积神经网络cnn进行特征提取，实时捕捉目标物体的三维信息以及手术工具的位姿信息并进行更新，通过深度学习方法获取参考图像r和目标图像t完成自主立体视觉导航的视觉传感信息；
[0106]
导航模块，利用学习模块获取的视觉传感信息，控制角膜移植手术机器人对角膜移植手术缝针刺入和缝线打结进行自主立体视觉导航。
[0107]
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor、dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于角膜移植手术机器人用自主立体视觉导航方法的操作，包括：
[0108]
获取立体显微镜相机与世界坐标系oxyz的配准数据以及立体显微镜相机的标定、矫正数据，根据立体显微镜相机采集两幅面部图像，分别作为参考图像r和目标图像t；将参考图像r和目标图像t输入卷积神经网络cnn进行特征提取，实时捕捉目标物体的三维信息以及手术工具的位姿信息并进行更新，通过深度学习方法获取参考图像r和目标图像t完成自主立体视觉导航的视觉传感信息；利用视觉传感信息，控制角膜移植手术机器人对角膜移植手术缝针刺入和缝线打结进行自主立体视觉导航。
[0109]
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。
[0110]
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实
现上述实施例中有关角膜移植手术机器人用自主立体视觉导航方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
[0111]
获取立体显微镜相机与世界坐标系oxyz的配准数据以及立体显微镜相机的标定、矫正数据，根据立体显微镜相机采集两幅面部图像，分别作为参考图像r和目标图像t；将参考图像r和目标图像t输入卷积神经网络cnn进行特征提取，实时捕捉目标物体的三维信息以及手术工具的位姿信息并进行更新，通过深度学习方法获取参考图像r和目标图像t完成自主立体视觉导航的视觉传感信息；利用视觉传感信息，控制角膜移植手术机器人对角膜移植手术缝针刺入和缝线打结进行自主立体视觉导航。
[0112]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0113]
综上所述，本发明一种角膜移植手术机器人用自主立体视觉导航方法，不仅能够识别手术视场内目标物体的二维区域，还可以通过两图像的视差信息得到其深度信息；基于所识别目标物体的点云数据重建其近似的三角网格表面，在该表面上识别被操作物体上的目标点，根据手术工具的当前点和目标点信息规划其运动轨迹；同时，本发明将角膜移植缝针刺入角膜、缝线打结的过程进行定量化表达，按照专家库的规范化手术操作要求，结合操作中操作工具与被操作对象的拓扑信息，定量化计算手术工具的运动轨迹，能够提高算法效率、提高手术机器人的执行速度。具有能够自主识别、定位并导航角膜移植手术机器人的优势，能够代替/部分代替眼科医生，解决当前医生长时间手术容易疲劳的问题。
[0114]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0115]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0116]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0117]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计
算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0118]
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。