远程手术视觉反馈系统及方法

1.本发明涉及视觉反馈的技术领域，具体地，涉及远程手术视觉反馈系统及方法，尤其涉及一种新型远程手术视觉反馈系统。


背景技术：

2.机器人远程手术具有推动未来医学发展的巨大潜力。例如，可以及时治疗偏远地区的紧急患者。然而，当前的远程手术从患者侧到外科医生侧的视觉反馈是不直观的，例如缺乏深度信息、手术器械阻挡了全局视野等。为了解决这些问题，我们提出了一种新型的远程手术视觉反馈系统，它基于增强现实和人体运动模仿，为医生提供了沉浸式的手术体验，使得病人端的视觉反馈更加直观。在病人端，ar眼镜安装在冗余机械臂的末端执行器上，可以提供不同方向的ar视野，在此基础上，医生端的外科医生能够透视位于患者体内的关键解剖结构和器械。首先，我们设计了一种简单的方法来从3d位置和2d图像位置评估ar眼镜定位的准确性。其次，机械臂的控制是通过人体运动模仿来完成的，不仅人体手部的位姿而且人体手臂的流形都可以映射到机械臂上，使得机械臂的控制更加简便快捷，操作者无需额外的专业训练即可进行操作。
3.申请号为cn202011480937.5的中国发明专利公开了一种远程手术数据融合交互显示系统及方法，其技术方案是将术前和术中多模态数据充分融合并进行裸眼三维显示，但其融合后的数据没有叠加到现实的场景，反馈的视觉信息直观性不够。此外，cn202011480937.5专利的手术操作方式需要医生与操作手柄直接接触，增加了外科医生交叉感染的风险，且操作者需要进行额外的专业训练，操作复杂性和难度较高。
4.因此，需要提出一种技术方案以改善上述技术问题。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种远程手术视觉反馈系统及方法。
6.根据本发明提供的一种远程手术视觉反馈系统，包括：运动捕捉系统、平板电脑、第一pc、冗余机械臂、ar眼镜、单目相机、第二pc、第三pc和监控器；
7.所述运动捕捉系统包含四个imu单元，分别固定于操作者的腰部、大臂、小臂和手部；四个所述imu单元通过蓝牙和平板电脑通信；所述冗余机械臂与第二pc连接；所述ar眼镜、单目相机及监控器和第三pc连接；所述第一pc和第三pc都安装有远程桌面控制软件teamviewer。
8.优选地，所述运动捕捉系统采集的人体动作被平板电脑接收以后利用udp将人体动作信息发送到第二pc，所述第二pc把人体手臂的动作映射为机械臂的运动，所述第二pc将冗余机械臂各关节的运动指令发送给机械臂。
9.优选地，所述机械臂具有七个自由度，通过人体手臂运动映射的方式进行对机械臂进行控制。
10.本发明还提供一种远程手术视觉反馈方法，所述方法应用上述中的远程手术视觉反馈系统，所述方法包括如下步骤：
11.步骤s1：分别从3d位置和2d图像平面对头戴式ar眼镜定位功能的精度进行评估；
12.步骤s2：第三pc利用术前ct扫描的二维平面图重建手术对象解剖结构的三维模型；
13.步骤s3：对系统进行标定，将解剖结构和手术器械的虚拟模型注册到现实场景，在ar眼镜视野内将虚拟模型叠加到相应的位置，并利用单目相机对ar眼镜的视野进行实时采集；
14.步骤s4：操作者佩戴运动捕捉系统，平板电脑实时接收四个imu单元的姿态信息，并根据建立的人体模型实时计算胸腔、上臂、下臂及手部的位姿，最后通过udp方式将人体的运动信息发送到第二pc；
15.步骤s5：第二pc根据接收的信息进行运动学计算，将人体动作映射到机械臂实时求得冗余机械臂各关节的期望角度值；
16.步骤s6：操作者在医生端的第一pc上通过teamviewer登录到第三pc，通过第三pc的界面实时查看单目相机和监控器的视野，操作者根据第三pc的界面信息和医生的要求调整个人的手臂姿态，从而调整ar眼镜的位姿，为医生提供各种不同方位的透视视野。
17.优选地，从3d位置对ar眼镜定位精度进行评估，当ar眼镜固定在机械臂末端时，ar眼镜与机械臂末端之间的变换关系保持不变，将机械臂移动到不同的位置，记录机械臂末端和ar眼镜的位姿，二者的位姿构建以下等式：
[0018][0019]
其中是机械臂末端相对于基座的变换矩阵，是ar眼镜相对于机械臂末端的变换矩阵，是ar眼镜世界坐标系相对于机械臂基座的变换矩阵，是ar眼镜在其世界坐标系下的位姿，i表示不同组别的数据。
[0020]
优选地，式(1)表示为：
[0021][0022][0023]
如果令则得到：
[0024]
ax＝xb
ꢀꢀꢀꢀꢀꢀ
(4)
[0025]
通过求解ax＝xb得到x的值，最后，ar眼镜的位姿从ar眼镜世界坐标系变换到机械臂的基坐标系，并且通过比较变换后的ar眼镜的位姿和机械臂末端的位姿评估ar眼镜定位的准确性。
[0026]
优选地，从2d图像平面对ar眼镜定位精度进行评估，将带有十字架图案的标定板固定在ar眼镜前方，二者相对位置保持不变，由ar眼镜生成一个虚拟的十字架，并将该虚拟十字架图案叠加到标定板上真实的十字架，虚拟十字架的位置是根据真实十字架的初始位
置预先手动设置，如下所示：
[0027][0028]
其中是虚拟十字架在ar眼镜世界坐标系的位姿，是虚拟十字架在ar眼镜坐标系的位姿。
[0029]
优选地，标定板固定在ar眼镜上，是一个根据初始虚拟和真实十字架叠加情况手动设置的常数值，是ar眼镜在世界坐标系的位姿，当ar眼镜运动时，由ar眼镜提供并实时更新，ar眼镜运动过程中，2d定位的准确性通过分析用于采集ar眼镜视野的单目相机的图像平面内虚拟和真实十字架中心点之间的距离来评估。
[0030]
优选地，人体手臂运动映射主要包括建模、流形设计和逆运动学计算。
[0031]
优选地，人体的运动由运动捕捉系统xsens dot捕捉，人体上半身模型从软件kinexyz获取，在模型中获得人体胸部t
ch
、上臂tu、下臂t
l
和手部t
ha
相对于世界坐标系的位姿，将手臂的基坐标系从世界转换到肩部，在肩部设置一个参考系{hb}，它与胸部的参考系平行：
[0032][0033]
其中r
ch
是t
ch
的旋转矩阵，pu和ru是tu的平移向量和旋转矩阵，lu＝[0,lu/2,0]
t
，lu是上臂的长度；将手臂各组件的位姿变换到{hb}：
[0034][0035]
肘部的位置和手腕的位姿为：
[0036][0037]
其中和是的旋转矩阵和平移向量，和是旋转矩阵和平移向量，是的旋转矩阵，l
l
＝[0,l
l
/2,0]
t
，l
l
是下臂的长度。
[0038]
与现有技术相比，本发明具有如下的有益效果：
[0039]
1、本发明的视觉反馈系统能够避免远程手术过程中，监控视野被手术器械遮挡的问题，同时又能够从不同的方向对患者进行观察；
[0040]
2、本发明的系统能从不同方位透视患者体内关键解剖结构和进入体内的手术器械，极大的缓解了远程手术视野不直观的问题，增加了手术的安全性；
[0041]
3、本发明的系统从3d空间位置和2d图像平面位置评估ar眼镜定位功能的精度，整个过程简单可行且评估结果可靠性高；
[0042]
4、本发明的系统通过人体动作模仿的方式对病人端的机械臂进行控制，不仅人体手臂腕部位姿且手臂流形的运动都可以映射到机械臂，增加了远程遥操作的直观性。
附图说明
[0043]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0044]
图1为本发明远程手术视觉反馈系统示意图；
[0045]
图2为本发明ar眼镜定位精度2d图像位置评估图；
[0046]
图3为本发明机械臂模型图；
[0047]
图4为本发明肩部的第三关节角度为零时的人体手臂几何图。
具体实施方式
[0048]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0049]
本发明搭建了远程手术视觉反馈系统及方法，将头戴式ar眼镜安装在冗余机械臂的末端执行器上，通过机械臂的运动提供各种不同方位的ar视角，外科医生能够在医生端透视位于患者体内的关键解剖结构和器械。首先，设计了一种简单可行且精度高的评估方法，从3d空间位置和2d图像平面位置评估ar眼镜定位功能的误差；其次，为增加遥操作的直观性，通过人体动作模仿的方式对病人端的机械臂进行控制，不仅人体手臂腕部位姿且手臂流形的运动都可以映射到机械臂。该视觉反馈系统能够避免远程手术过程中，监控视野被手术器械遮挡的问题，同时又能够从不同的方向对患者进行观察。此外，该系统还能透视患者体内关键解剖结构和进入体内的手术器械，极大的缓解了远程手术视野不直观的问题，增加了手术的安全性。
[0050]
如图1所示，基于增强现实的远程手术视觉反馈系统，主要包括：运动捕捉系统、平板电脑、第一pc、冗余机械臂、ar眼镜、单目相机、第二pc、第三pc和监控器；其中，运动捕捉系统包含4个imu单元，分别固定于操作者的腰部、大臂、小臂和手部，用于捕捉操作者手臂的运动；4个imu单元通过蓝牙和平板电脑通信，冗余机械臂与第二pc连接，ar眼镜、单目相机及监控器和第三pc连接；运动捕捉系统采集的人体动作被平板电脑接收以后利用udp将人体动作信息发送到第二pc，第二pc把人体手臂的动作映射为机械臂的运动，人体手臂腕部六个自由和手臂流形都被映射到机械臂上。最终第二pc将冗余机械臂各关节的运动指令发送给机械臂；单目相机用于代替人体眼睛实时监控ar眼镜的视野，包括虚拟物体和现实物体的叠加场景；监控器用于实时监控机械臂的运动情况，为操作者提供机器人运动的全局视野；第一pc和第三pc都安装有远程桌面控制软件teamviewer,操作者在医生端的第一pc上通过teamviewer登录到第三pc，通过第三pc的界面实时查看单目相机和监控器的视野。
[0051]
本发明的工作流程如下：
[0052]
首先，分别从3d位置和2d图像平面对头戴式ar眼镜定位功能的精度进行评估。
[0053]
然后，第三pc利用术前ct扫描的二维平面图重建手术对象解剖结构的三维模型。
[0054]
然后，对系统进行标定，将解剖结构和手术器械的虚拟模型注册到现实场景，在ar眼镜视野内将虚拟模型叠加到相应的位置，并利用单目相机对ar眼镜的视野进行实时采
集。
[0055]
其次，操作者佩戴运动捕捉系统，平板电脑实时接收4个imu单元的姿态信息，并根据建立的人体模型实时计算胸腔、上臂、下臂及手部的位姿，最后通过udp方式将人体的运动信息发送到第二pc。
[0056]
其次，第二pc根据接收的信息进行运动学计算，将人体动作映射到机械臂实时求得冗余机械臂各关节的期望角度值。
[0057]
最后，操作者在医生端的第一pc上通过teamviewer登录到第三pc，通过第三pc的界面实时查看单目相机和监控器的视野。操作者根据第三pc的界面信息和医生的要求调整个人的手臂姿态，从而调整ar眼镜的位姿，为医生提供各种不同方位的透视视野。
[0058]
由于大多数关于头戴式ar眼镜及其应用的研究高度依赖于设备本身的性能，ar眼镜的定位性能是一个重要因素，评估定位的准确性非常重要。冗余机械臂的末端定位精度远高于ar眼镜的定位精度，在评估过程中，机械臂的位姿可以被视为真值。基于这一情况，本发明设计了一种更简单、精度更高的方法来完成这种评估，包括3d位置和2d图像位置的评估。
[0059]
为了通过比较机械臂末端的位姿和ar眼镜的定位位姿来评估ar眼镜定位的准确性，从3d位置对ar眼镜定位精度进行评估，当ar眼镜固定在机械臂末端时，ar眼镜与机械臂末端之间的变换关系保持不变。该标定被巧妙的表述为手眼标定问题，主要解决ax＝xb的问题。在标定过程中，将机械臂移动到不同的位置，记录机械臂末端和ar眼镜的位姿，二者的位姿可用于构建以下等式：
[0060][0061]
其中是机械臂末端相对于基座的变换矩阵，是ar眼镜相对于机械臂末端的变换矩阵，是ar眼镜世界坐标系相对于机械臂基座的变换矩阵，是ar眼镜在其世界坐标系下的位姿。i表示不同组别的数据。因此，式(1)可以表示为：
[0062][0063][0064]
如果令则可得到：
[0065]
ax＝xb
ꢀꢀꢀꢀꢀꢀ
(4)
[0066]
通过求解ax＝xb即可得到x的值。最后，ar眼镜的位姿可以从ar眼镜世界坐标系变换到机械臂的基坐标系，并且通过比较变换后的ar眼镜的位姿和机械臂末端的位姿评估ar眼镜定位的准确性。
[0067]
从2d图像平面对ar眼镜定位精度进行评估，将带有十字架图案的标定板固定在ar眼镜前方，二者相对位置保持不变，如图2所示。由ar眼镜生成一个虚拟的十字架，并将该虚拟十字架图案叠加到标定板上真实的十字架。虚拟十字架的位置是根据真实十字架的初始位置预先手动设置，如下所示：
[0068][0069]
其中是虚拟十字架在ar眼镜世界坐标系的位姿，是虚拟十字架在ar眼镜坐标系的位姿。由于标定板固定在ar眼镜上，是一个根据初始虚拟和真实十字架叠加情况手动设置的常数值。是ar眼镜在世界坐标系的位姿，当ar眼镜运动时，由ar眼镜提供并实时更新。ar眼镜运动过程中，2d定位的准确性通过分析用于采集ar眼镜视野的单目相机的图像平面内虚拟和真实十字架中心点之间的距离来评估。
[0070]
为了增加交互的便利性，人体运动映射是一种直观的遥操作方法，其学习曲线低。本发明所提出的系统的机械臂具有七个自由度，可以通过人体手臂运动映射的方式进行对其进行控制。然而，该系统的机械臂的结构与人的手臂不同，人体手臂腕部的配置是roll-pitch-yaw(rpy)，而机械臂腕部的配置是roll-pitch-roll(rpr)。如何将人体手臂腕部和流形映射到具有不同结构的机械臂是一个需要解决的问题。由于冗余机械臂的流形对于避开障碍物和关节限制非常重要，因此模仿人体手臂流形的运动对于遥操作具有重要意义。根据冗余机械臂的解析逆运动学，机械臂的姿态取决于流形和末端的位姿。人体手臂运动映射主要包括建模、流形设计和逆运动学计算三个步骤。
[0071]
建模：
[0072]
人体的运动由运动捕捉系统xsens dot捕捉，人体上半身模型可从xsens technologies bv提供的商用软件kinexyz获取。从模型中，我们可以获得人体胸部t
ch
、上臂tu、下臂t
l
和手部t
ha
相对于世界坐标系的位姿。由于运动映射只涉及人体手臂，为了避免胸部的运动影响映射的精度，需要将手臂的基坐标系从世界转换到肩部。因此，在肩部设置一个参考系{hb}，它与胸部的参考系平行：
[0073][0074]
其中r
ch
是t
ch
的旋转矩阵，pu和ru是tu的平移向量和旋转矩阵，lu＝[0,lu/2,0]
t
，lu是上臂的长度。然后，可以将手臂各组件的位姿变换到{hb}：
[0075][0076]
肘部的位置和手腕的位姿为：
[0077][0078]
其中和是的旋转矩阵和平移向量，和是旋转矩阵和平移向量，是的旋转矩阵，l
l
＝[0,l
l
/2,0]
t
，l
l
是下臂的长度。最后，描述人体手臂运动链的一组可能的denavit-hartenberg(dh)参数如表1所示。表1中，由于手臂参考系{hb}平行于胸部的参考系，不符合dh的建模规则。因此i＝0用于对参考系{hb}进行变换，使其满足
基本的dh参数规则。
[0079]
表1人体手臂dh参数表
[0080][0081][0082]
本发明中冗余机械臂模型如图3所示，7个旋转关节排列形成肩、肘、腕。肩部与腕部结构相同，各有三个旋转关节，肘部只有一个旋转关节。当肩部的第三关节为零时，由肩部、肘部和腕部确定的平面称为参考平面。如果肩部的第三关节不为零，则该平面称为臂角平面。臂角平面和参考平面之间的夹角称为臂角，机械臂的流形取决于这个角度。
[0083]
描述机械臂运动链的一组可能的dh参数如表2所示。
[0084]
表2机械臂dh参数表
[0085][0086]
表2中，d
bs
为机械臂基座到肩关节的距离，d
se
为机械臂上臂的长度，d
ew
为机械臂下臂的长度，d
wt
为机械臂腕部到末端的距离。
[0087]
流形设计：
[0088]
由于冗余机械臂的流形取决于臂角，因此人体手臂流形的运动映射意味着机械臂臂角的变化需要与人体手臂保持同步。所以，需要实时计算人体手臂的臂角。人体手臂肘部位置可根据表1计算得到：
[0089][0090]
当肩部的第三关节为零时，手臂的几何形状如图4所示，w'是w在x-y平面中的投影。肩部的第一关节和第二关节可以从几何图形计算得到：
[0091][0092][0093]
其中
[0094]
将(10)和(11)代入(9)，就可以得到参考平面上的肘部位置因此，参考平面通过以下方式计算：
[0095][0096]
臂角平面为：
[0097][0098]
是从方程(8)中获得的。
[0099]
最终，臂角为：
[0100]
ψ＝acos(va·vr
/(||va||||vr||))
ꢀꢀꢀꢀꢀꢀ
(14)
[0101]
机械臂逆运动学求解：
[0102]
获得人体手臂的臂角和手腕位姿后，应将其映射到机械臂。为了保持机械臂的肩关节和腕关节与人体手臂一致，设置d
bs
＝0，d
wt
＝0。由于机械臂的d
se
和d
ew
可能与人体手臂的lu和l
l
分别不同，因此需要对腕部的位置映射进行比例缩放：
[0103][0104]
其中是机械臂腕部的目标位置，是人体手臂参考系{hb}和相对于机械臂基坐标系的旋转矩阵。人体手臂腕部的位姿可以映射到机械臂的腕部上基坐标系的旋转矩阵。人体手臂腕部的位姿可以映射到机械臂的腕部上和用于确保人体手臂末端坐标系与机械臂末端坐标系平行。
[0105]
机械臂肘关节的角度值可以通过余弦定理轻松得到：
[0106]
[0107]
因臂角ψ变化所导致的机械臂末端位姿的改变可以由罗德里格斯旋转公式计算得到：
[0108][0109]
其中是单位矩阵，是的单位向量，是的斜对称矩阵。机械臂肩部的姿态为是当肩部的第三关节为零时肩部相对于机械臂基坐标系的旋转矩阵。由表2的dh参数可得到旋转矩阵如下：
[0110][0111]
其中*表示的元素在此省略。如果机械臂的肩部的第三关节为零，则肩部的第一关节和第二关节可根据图4的几何关系计算，因此可以得到将代入式(18)，则肩关节为：
[0112][0113]
其中a
sij
、b
sij
和c
sij
分别是矩阵as、bs和cs的(i,j)元素。其中，的(i,j)元素。其中，
[0114]
根据表2的dh参数，旋转矩阵为：
[0115][0116]
最终，可得腕关节如下：
[0117][0118]
其中a
wij
、b
wij
和c
wij
是矩阵aw、bw和cw的(i,j)元素。其中，的(i,j)元素。其中，是肘关节坐标系相对于肩部的第三关节的旋转矩阵。当获得所有关节值后，将它们发送给机械臂，机械臂的关节将按照位置指令移动。从
而实现机械臂末端的运动，为操作者提供多方向的透视视野。
[0119]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0120]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。