模拟对患者操作的增强现实系统的制作方法

本发明涉及一种增强现实(ar)系统，该系统包括一副用于观察真实世界和虚拟世界的ar眼镜，其中，该系统设置有传感器以指示ar眼镜的用户的位置和观察方向，并且，该系统能够用于模拟利用包括工具的自主机械臂来模拟对患者的外科手术操作。

背景技术：

1、从ep3482710中已知这样的系统。从us2019000578a1中也已知这样的系统。该系统描述了一种具有用于外科手术操作的手动控制的机械臂的外科手术导航系统。已知系统的用户是将进行操作的外科医生。ar设备是外科医生使用3d眼镜观察的ar显示控制台，即外科医生将控制台上的图像转换为3d图像。该控制台还包括用于机械臂的控制仪表。已知的系统用于机械臂的(重新)设计、外科医生的训练和用于操作的用最佳路径的实验，即以避免机器人上不同仪表的相互影响，以及实验外科医生应如何操纵机械臂以获得最佳结果。使用时，该系统完全处于外科医生的控制之下，即该系统是主从系统。外科医生始终决定并控制机械臂的路径和动作。

2、已知系统的问题是，尽管外科医生总是想要完全控制，但他们确实会感到疲劳，随着年龄的增长，外科医生的手也不那么稳定，而且他们不能长时间连续地工作。具有更自主地工作的机械臂的系统能够帮助克服这些问题，但这样的系统的引入即使不是不可能，也是很困难的，因为外科医生仍然负责手术，他们不想放弃完全的控制。

技术实现思路

1、根据本发明，ar系统能够减慢、停止、增加或倒退模拟操作的进程。

2、有利地，ar系统能够减慢、停止、增加或倒退模拟操作的进程。因此，外科医生能够花时间并按照自己的节奏研究操作的进程。外科医生能够放大进程中的困难阶段，即机械臂接近患者的关键区域。没有理由从已知系统开始提供这些要求保护的功能，因为已知系统中公开的模拟的目的是不同的。

3、利用自主机械臂和工具，机器人在外科手术操作过程中进行操作，而无需来自外科医生的任何指导。外科医生唯一可用的动作是影响机器人的速度，即减慢或停止机器人。完全自主的机械臂与该工具的使用违背了外科医生的所有本能和训练。外科医生被教导他们应该在任何时候都保持对所有动作的完全控制。发明人意识到，说服外科医生使用自主机械臂的唯一方法是让他们在安全的环境中建立信心。与已知系统相比，外科医生在本发明系统中的作用是被动的，即机械臂自主地执行动作。通过ar设备，外科医生只能够观察机械臂的性能。对于ar设备，使用了一副ar眼镜或护目镜，即由用户佩戴的个人观察设备。这使得外科医生可以选择他们自己对机械臂和患者的观点。从各个角度观察机械臂的性能的能力有助于建立对自主机械臂的工作的信心。当外科医生意识到自主机械臂能很好地完成外科手术操作时，他们就获得了信心，并能够被说服让自主机械臂执行真正的操作。因此，本发明的系统是朝着完全自主地工作的外科手术机械臂迈出的一步。

4、优选地，在增强现实系统中，真实世界包括室，并且虚拟世界包括虚拟操作室(or)台、虚拟患者和虚拟机械臂，其中，虚拟患者基于操作前患者数据，并且虚拟机械臂基于真实机械臂的模拟模型。在该实施例中，真实世界中唯一的结构是室。虚拟世界显示在ar眼镜上。与已知系统相比，外科医生的位置不限于站在ar显示器和控制台后面，而是与用于他/她的位置和观察方向的传感器相结合的ar眼镜使得外科医生在虚拟or台周围行走，并从各个角度观察自主机械臂的性能。这使外科医生感觉到操作是真实的，而不仅仅是在他眼前播放的电影。

5、在本发明的增强现实系统的另一个实施例中，真实世界包括or台、具有工具的自主机械臂，并且虚拟世界包括基于操作前患者数据的患者。在该实施例中，使用真实or台和自主机械臂，只有or台上的患者是虚拟的。这可以更接近真实操作的模拟。外科医生可以实时观察机械臂的性能，并查看机械臂如何移动并对虚拟患者执行外科手术操作。

6、在增强现实系统的另一个实施例中，真实世界包括or台、机械臂和患者的3d实体模型，并且虚拟世界包括患者的内部结构的操作前患者数据。该实施例向外科医生展示了机械臂的工具如何在3d实体模型(也称为3d体模)上操作，同时他/她可以观察患者体内的操作进展。

7、优选地，在增强现实系统中，模拟操作基于用于具有工具的机械臂的操作前规划路径。这意味着对患者进行扫描，外科医生规划用于自主机械臂上的工具的路径。然后在用于自主机械臂的算法中对该路径进行编程。因此，外科医生的控制仅限于操作前阶段。一旦规划完成并且操作正在进行，机械臂就自主地遵循规划路径。更有利地，在ar眼镜上的虚拟世界中显示与规划路径的偏差。这些偏差可能由软件不准确引起，但也可能由机械臂本身的机械不准确引起，或由患者的操作前数据/3d扫描中的不准确引起。由于这不是真实的操作，这使得外科医生回到规划阶段并改变机械臂的规划路径。

8、优选地，操作前患者数据包括患者的待操作区域的外部形状、内部结构和关键区域。这些数据可用于限定虚拟患者的外部形状。此外，内部结构(如重要器官或神经)可以显示在ar眼镜上。在操作前规划阶段，也可以由外科医生限定机器人必须完全避开的关键区域。然后可以对机械臂的路径进行编程，以避免并保持与这些关键区域的安全距离。

9、尽管该系统可用于许多不同的操作，但优选地，该系统用于模拟对患者的硬结构(如骨骼、颅骨或椎骨)的操作。在操作前程序中可以很好地限定这些结构。在操作过程中修复这些结构可以在对这些结构的模拟操作和实际操作之间创建非常好的匹配。由于神经、血管和大脑的许多关键区域可能受损，颅骨也是操作复杂的区域。椎骨具有复杂的形状，并且由于靠近脊髓，因此需要高精度。可以高精度避开所有这些区域的自主机械臂对患者是有利的。可以对较软组织进行不同操作的模拟，但这需要更复杂的操作前扫描(例如一段时间内的扫描)以考虑患者的运动，例如由于其呼吸而产生的运动。

10、当然，并不总是需要使用整个患者的模型。当谈到患者时，也可以使用患者的身体部位。例如，为了模拟对足部的操作，不需要制作患者的全身的虚拟模型，足部的模型就足够了。

11、本发明还涉及一种增强现实(ar)系统，该ar系统包括一副ar眼镜，该ar眼镜设置有传感器以指示ar眼镜的用户的位置和观察方向，以监控由包括工具的真实自主机械臂对真实患者执行的外科手术操作，该ar系统用虚拟世界增强，该虚拟世界包括患者的内部结构的操作前患者数据和具有工具的机械臂的位置数据，其中，ar系统可以减慢、停止、增加或倒退机械臂和工具的进程。当外科医生发现机器人的错误动作时，例如当遇到不可预见的情况时，外科医生可以有利地使用该系统。然后，该系统可以减慢、停止、增加或倒退机械臂和工具的进程。例如，外科医生可以修复故障并继续操作。一旦外科医生获得了足够的信心以将外科手术操作委托给自主机器人，就可以在实际操作期间有利地使用ar系统来监控操作的进程。在真实外科手术操作期间，由于血液或身体部位阻碍了清晰视野，操作区域几乎看不见或甚至看不见。ar监控系统然后可以将机械臂和工具的内部结构和不可见部分投影到ar眼镜上，即眼镜基于操作前数据和机械臂与工具的已知运动提供透视图像。机械臂和工具的运动可以从(非光学)传感器推断，或可以基于机械臂和工具的模型推断。这样，如果有必要，外科医生仍然可以停止或减慢操作。

12、本发明还涉及一种使用根据本发明的ar系统来模拟对患者的操作的方法。