一种基于虚拟现实技术的机器人关节置换测试系统的制作方法

本公开涉及虚拟设备技术领域，尤其涉及一种基于虚拟现实技术的机器人关节置换测试系统。

背景技术：

手术机器人研发需要进行临床实验，时间周期长且成本高昂。而且临床实验在安全与伦理等方面有许多限制。广大临床医生在亲自操作设备的情况下，难以发现机器人以及导航系统的细微误差，手术的结果难以测量，数据难以追溯，精度难以验证。同时人工测试难以自动化，无法重复验证。

如果直接利用医用光学设备(如ndi)手术仪器进行模拟以及人体实体模型，重复使用的设备及每次验证的耗材费都造成较大的花费。难以大规模部署，对系统进行充分的测试。

技术实现要素：

有鉴于此，本公开实施例提供一种基于虚拟现实技术的机器人关节置换测试系统，以至少部分解决现有技术中存在的问题。

本公开实施例提供了一种基于虚拟现实技术的机器人关节置换测试系统，包括：

虚拟手术平台，所述虚拟手术平台通过真实的影像数据进行建模，通过系统接口获取用户对于建模数据的操作，从而模拟真实的手术操作过程；

数据交换中心，所述数据交换中心获取虚拟现实手术设备在进行虚拟操作的过程中发送的操作数据，并将该操作数据转发至虚拟手术平台；

虚拟现实手术设备，所述虚拟现实手术设备模拟手术过程中的各种操作，形成操作数据；

手术导航模块，导航系统是一种增强现实的设备。系统将显示正确的手术操作，并实进追踪医生操作。所述手术指导模块通过对关节置换过程中所述虚拟现实手术设备产生的操作分解为多个手术步骤，用来指导用户进行相关的手术操作；

测试数据分析模块，所述测试数据分析模块通过读取手术规划系统的输出数据，将该输出数据与用户在虚拟现实手术设备中的操作进行比较，系统误差分为二部分，一部分是导航软件的算法误差，一部分是虚拟手术操作过程中的操作误差。

根据本公开实施例的一种具体实现方式，所述虚拟手术平台使用真实的影像数据进行建模，所述影像数据通过三维ct、核磁成像以及超声得到。

根据本公开实施例的一种具体实现方式，所述虚拟手术平台在预设的屏幕上显示3d影像，所述3d影像包括需要进行手术的人体部位的3d建模，所述3d影像以30hz的速率进行实时刷新，保证模拟手术过程的流畅。

根据本公开实施例的一种具体实现方式，所述虚拟手术平台基于gpu的服务平台，包括医学影渲染系统、用户接口系统、以及数据记录系统。

所述医学影像渲染系统以接近真实感的方式，渲染医学影像；

所述用户接口系统允许用户操作虚拟环境中的手术器械，用户操作虚拟现实手术设备时数据会在虚拟现实手术设备、手术平台、手术指导模块这三方实时同步；

所述数据记录系统记录整个过程中用户在系统中的每一步操作。

根据本公开实施例的一种具体实现方式，数据交换中心接收到虚拟现实手术设备的操作信息之后，将所述操作信息发送到虚拟手术平台，以便于所述虚拟手术平台在接受到消息后，更新相关的医学影像；

数据交换中心将数据翻译成手术导航设备所需的输入信息，手术导航设备根据用户输出，更新相应的手术方案；

数据交互中心记录虚拟现实手术设备的数据，以便测试后分析手术的效果。

根据本公开实施例的一种具体实现方式，所述数据交互中心采用内存型的非结构化数据库处理所有设备仪器的位姿信息，并进行数据更新。

根据本公开实施例的一种具体实现方式，所述数据中心数据存储方式为key-value，其中，key对应的是手术中需要用到并需要定位的仪器设备和人体部位名称，value对应的是该设备或人体部位的位姿信息。

根据本公开实施例的一种具体实现方式，所述虚拟现实手术设备用于替代人体手术部位手术工具，通过获取虚拟现实手术设备在真实世界的位姿，以供虚拟手术使用；

所述虚拟现实手术设备通过枢轴校准算法对即将模拟手术刀/手术针的vr手柄端部进行校准，得到手柄端部对手柄位姿的相对位移，利用之前已经获取的手柄和头戴设备真实世界的位姿，计算手柄相对头戴设备的位姿，结合手柄端部对手柄位姿的相对位移，得到手柄端部对头戴设备位姿的相对位移。

根据本公开实施例的一种具体实现方式，所述手术指导模块嵌入在软件中，提供接口使虚拟现实手术设备的位姿信息能够实时传入所述手术指导模块，手术指导模块能够智能化处理手术目标，并将手术目标分解为逐个手术步骤，与之前的手术虚拟平台相结合，在手术开始前将虚拟现实手术设备与系统中虚拟临床目标进行配准，达到实时同步的手术指导效果。

根据本公开实施例的一种具体实现方式，所述测试分析模块经同数据库相连，通过读取手术规划系统的输出，并跟用户在虚拟现实中的操作作比较，进而分析用于手术操作的手术误差。

本公开实施例中的方案，包括虚拟手术平台，所述虚拟手术平台通过真实的影像数据进行建模，通过系统接口获取用户对于建模数据的操作，从而模拟真实的手术操作过程；数据交换中心，所述数据交换中心获取虚拟现实手术设备在进行虚拟操作的过程中发送的操作数据，并将该操作数据转发至虚拟手术平台；虚拟现实手术设备，所述虚拟现实手术设备模拟手术过程中的各种操作，形成操作数据；手术指导模块，所述手术指导模块通过对关节置换过程中所述虚拟现实手术设备产生的操作分解为多个手术步骤，用来指导用户进行相关的手术操作；测试数据分析模块，所述测试数据分析模块通过读取手术规划系统的输出数据，将该输出数据与用户在虚拟现实手术设备中的操作进行比较，分析用户在虚拟手术操作过程中的操作误差。通过本公开的处理方案，能够虚拟手术的效率。本发明利用vr设备，达到了与ndi等手术仪器相同的效果，成本低，极大的降低了手术机器人产品的测试与检测成本，提高开发效率。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本公开实施例提供的基于虚拟现实技术的机器人关节置换测试系统的结构示意图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

参见图1，本公开实施例中的一种基于虚拟现实技术的机器人关节置换测试系统，包括：

虚拟手术平台，所述虚拟手术平台通过真实的影像数据进行建模，通过系统接口获取用户对于建模数据的操作，从而模拟真实的手术操作过程；

数据交换中心，所述数据交换中心获取虚拟现实手术设备在进行虚拟操作的过程中发送的操作数据，并将该操作数据转发至虚拟手术平台；

虚拟现实手术设备，所述虚拟现实手术设备模拟手术过程中的各种操作，形成操作数据；

手术指导模块，所述手术指导模块通过对关节置换过程中所述虚拟现实手术设备产生的操作分解为多个手术步骤，用来指导用户进行相关的手术操作；

测试数据分析模块，所述测试数据分析模块通过读取手术规划系统的输出数据，将该输出数据与用户在虚拟现实手术设备中的操作进行比较，分析用户在虚拟手术操作过程中的操作误差。

本发明开发一种基于虚拟现实技术的系统。让临床医生通过虚拟现实技术验证，降低手术机器人开发的测试成本，并且可以实现自动化，提高测试的效率。本发明利用vr设备，达到了与ndi等手术仪器相同的效果，成本低，极大的降低了手术机器人产品的测试与检测成本，提高开发效率。

本发明提供一套完整的解决方案。包括虚拟手术平台，数据交换中心，虚拟现实手术设备，手术指导模块以及验证评估系统。

在测试中，系统导入真实的病人数据对手术环境和过程进行建模。手术规划系统将对病人的身体结构进行测量。并且定制手术方案，典型的操作如安放假体到一个最优的位置。(如关节，钉)

手术方案将被导入虚拟手术平台中。医生利用vr技术，在虚拟现实的环境中对虚拟的人体进行手术操作，如安放假体。

手术操作的数据通过数据交换系统，经过适配器，转换为手术导航系统的输入，被注入到专业的手术导航软件或是开发中的手术机器人，导航或是机器人系统，会计算出假体的最优位置。

手术导航或是机器人完成计算更新手术方案后，数据又通过数据交换中心，实际驱动手术机器人或是虚拟的调整手术方案。

在测试结速后，系统可以分析医生手工操作与导航系统结出方案的误差。并分析导航系统误差与手工操作误差。

虚拟手术平台

虚拟手术平台使用真实的影像数据进行建模。影像数据常用三维ct，核磁成像以及超声得到。

虚拟手术平台将在屏幕上显示3d影像，其中包括需要进行手术的人体部位的3d建模，3d影像以30hz的速率进行实时刷新，保证模拟手术过程的流畅。用户可以在接近于手术室的虚拟空间内，操作手术器械，实施手术。

虚拟手术平台基于gpu的服务平台。包括医学影渲染系统，用户接口系统，以及数据记录系统。

医学影像渲染系统以接近真实感的方法，渲染医学影像。所开发系统运行于linux服务器。硬件要求用高端gpu显卡，系统需支持cuda并行加速。

系统接口允许用户操作虚拟环境中的手术器械，即用户操作vr设备时数据会在vr设备，手术平台，手术指导模块这三方实时同步。同时也允许程序远程控制器模位置。

系统的数据记录系统将记录整个测试过程中用户在系统中的每一步操作。

数据交换中心

本发明使用的数据交换中心，是将虚拟手术平台，手术导航(机器人软件)和vr设备连接的桥梁。

数据交换中心接受到vr设备的信息，将其发送到虚拟手术平台，虚拟手术平台在接受到消息后，更新相关的医学影像。同时数据交换中心会将数据翻译成手术导航设备所需的输入信息。手术导航设备根据用户输出，更新相应的手术方案。在本发明中，数据交互中心还将记录vr设备的数据，以便测试后分析手术的效果。

结合手术的精密和实时性的需求，本发明中采用内存型的非结构化数据库处理所有设备仪器的位姿信息，并进行数据更新。其读取速度110000次/秒，写入速度81000次/秒，并且操作具有原子性，非常稳定。

数据存储方式为key-value：

key对应的是手术中需要用到并需要定位的仪器设备和人体部位名称

value对应的是该设备或人体部位的位姿信息

系统基于linux系统，至少32g的内存空间。数库交换系统与手术导航，vr设备以及虚拟现实手术平台使用高速以太网络链接。网速为1000mb,数据延时低于1ms。

虚拟现实手术设备

本发明使用vr设备在现实中替代人体手术部位和手术刀等手术工具，通过编写脚本获取vr各个设备在真实世界的位姿，以供之后虚拟手术使用。

通过枢轴校准算法对即将模拟手术刀/手术针的vr手柄端部进行校准，得到手柄端部对手柄位姿的相对位移。利用之前已经获取的手柄和头戴设备真实世界的位姿，计算手柄相对头戴设备的位姿，结合手柄端部对手柄位姿的相对位移，即得到手柄端部对头戴设备位姿的相对位移。

以上，从理论上阐述了虚拟现实手术设备的实现原理，使用以上方法即可将手术刀对人体部位的动作同步到vr设备手柄对头戴设备的动作，是本发明实现利用虚拟现实技术模拟手术平台操作的基础。

vr设备使用基于激光定位的绝对定位技术(lighthouse)。代表产品为htcvive，误差1mm以内，速度约为120hz。设备基于steamvr驱动。

手术指导模块

本发明的手术导航系统是一种增强现实系统，作为一个独立的软件存在。导航系统计算出最优手术方案，并实时追踪用户操作，给出医生手术调整的批指导意见。并提供接口使vr设备的位姿信息能够实时传入该指导系统。手术指导模块能够智能化处理手术目标，并将手术目标分解为逐个手术步骤。与之前的手术虚拟平台相结合，在手术开始前将vr设备与系统中虚拟临床目标进行配准，达到实时同步的手术指导效果。

测试数据分析模块

测试分析模块经同数据库相连。读取手术规划系统的输出，并跟医生在虚拟现实中的操作的作比较。手术的误差来源于两个方面，一个是导航软件的误差，一部分是医生手工操作的误差。分析软件将分析误差的成因以及各部分的贡献度。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。