颅底手术模拟教学培训系统的制作方法

本发明涉及虚拟现实技术领域，尤其涉及一种颅底手术模拟教学培训系统。

背景技术：

目前，传统的颅底手术教学培训方式是基于内窥镜直视下狭小空间的认识，而对于解剖区域临近的区域处于盲区，或者仅凭静态的ct(computedtomography，计算机体层摄影)或者mr(magneticresonance，磁共振)影像来判断教学。

但是，由于颅底区域所处解剖部位较深，区域内存在血管、神经等重要结构，解剖结构复杂，空间狭小，手术难度很大，传统的颅底手术教学培训方式受到多媒体设备的限制，不能直观形象的展示解剖区域及其毗邻关系，增加了学习难度，被培训人员很难对颅底手术空间形成直观、立体、全面的认识。而且，由于受到法律、医学伦理、患者安全、尸头获取困难且无法重复使用、解剖教学时间不足等因素的限制，被培训人员难以借助患者或尸头标本进行实际操作，而通过观摩教师手术教学进行学习的机会和时间有限，被培训人员很难快速学会掌握知识。

技术实现要素：

针对现有技术存在的问题，本发明实施例提供一种颅底手术模拟教学培训系统。

本发明实施例提供一种颅底手术模拟教学培训系统，包括：

跟踪模块，用于当手术工具在打印的目标头部模型上进行操作时，实时获取所述手术工具尖端的位姿，以及获取所述手术工具上安装的探头拍摄到的实时图像，并计算所述手术工具尖端的位姿显示在vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像；

融合显示模块，用于将根据所述手术工具尖端的位姿计算确定的显示在所述vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像和所述手术工具上安装的探头拍摄到的实时图像进行实时配准及融合，使所述vr眼镜显示实时融合后的三维图像。

本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：当手术工具在打印的目标头部模型上进行操作时，实时获取所述手术工具尖端的位姿，以及获取所述手术工具上安装的探头拍摄到的实时图像，并计算所述手术工具尖端的位姿显示在vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像；将根据手术工具尖端的位姿计算确定的显示在所述vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像和所述手术工具上安装的探头拍摄到的实时图像进行实时配准及融合，使所述vr眼镜显示实时融合后的三维图像。

本发明实施例提供的颅底手术模拟教学培训系统，通过跟踪模块当手术工具对打印的目标头部模型操作时，实时获取手术工具尖端位姿及获取手术工具探头拍的实时图像，计算手术工具尖端位姿显示在vr眼镜中对应位置颅底组织结构ct/mr三维渲染图像；融合显示模块将根据手术工具尖端的位姿计算确定的显示在所述vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像和所述手术工具上安装的探头拍摄到的实时图像进行实时配准及融合，使所述vr眼镜显示实时融合后的三维图像，由此，能够实现对颅底手术的模拟教学培训，可有效降低教学难度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种颅底手术模拟教学培训系统的结构示意图；

图2为本发明另一实施例提供的一种颅底手术模拟教学培训系统的结构示意图；

图3为本发明一实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明一实施例提供的一种颅底手术模拟教学培训系统的结构示意图，如图1所示，本实施例的颅底手术模拟教学培训系统，包括：跟踪模块11和融合显示模块12；其中：

所述跟踪模块11，用于当手术工具在打印的目标头部模型上进行操作时，实时获取所述手术工具尖端的位姿，以及获取所述手术工具上安装的探头拍摄到的实时图像，并计算所述手术工具尖端的位姿显示在vr(virtualreality，虚拟现实)眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像；

所述融合显示模块12，用于将根据手术工具尖端的位姿计算确定的显示在所述vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像和所述手术工具上安装的探头拍摄到的实时图像进行实时配准及融合，使所述vr眼镜显示实时融合后的三维图像。

具体地，所述跟踪模块11当手术工具在打印的目标头部模型上进行操作时，实时获取所述手术工具尖端的位姿，以及获取所述手术工具上安装的探头拍摄到的实时图像，并计算所述手术工具尖端的位姿显示在vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像；所述融合显示模块12将根据手术工具尖端的位姿计算确定的显示在所述vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像和所述手术工具上安装的探头拍摄到的实时图像进行实时配准及融合，使所述vr眼镜显示实时融合后的三维图像。

可以理解的是，本实施例所述系统借助手术工具进行模拟操作，真实感较高，可使被培训人员可以更加快速地学会操作。

可以理解的是，本实施例所述系统将根据手术工具尖端的位姿计算确定的显示在所述vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像和所述手术工具上安装的探头拍摄到的实时图像进行实时配准及融合，使所述vr眼镜显示实时融合后的三维图像，能够直观且真实的让被培训人员更直观且真实的感受模拟颅底手术的具体操作，更加快速地通过所述系统学会如何操作。

在具体应用中，所述vr眼镜的数量为至少一个。

可以理解的是，本实施例所述系统可以支持多个vr眼镜同时实时显示，能够满足课堂教学的需求。

本发明实施例提供的颅底手术模拟教学培训系统，通过跟踪模块当手术工具对目标头部模型操作时，实时获取手术工具尖端位姿及获取手术工具探头拍的实时图像，计算手术工具尖端位姿显示在vr眼镜中对应位置颅底组织结构ct/mr三维渲染图像；融合显示模块将根据手术工具尖端位姿计算确定的显示在vr眼镜中对应位置颅底组织结构ct/mr三维渲染图像和拍的实时图像实时配准及融合后在vr眼镜显示，由此，能够实现对颅底手术的模拟教学培训，可有效降低教学难度，使被培训人员可以更加快速、容易地学会操作。

进一步地，在具体应用中，所述跟踪模块11和所述融合显示模块12这两个模块可以在图形处理器gpu中采用双线程完成，利用线性一实现当手术工具在打印的目标头部模型上进行操作时，实时获取所述手术工具尖端的位姿，以及获取所述手术工具上安装的探头拍摄到的实时图像，并计算所述手术工具尖端的位姿显示在所述vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像，利用线程二实现将根据手术工具尖端的位姿计算确定的显示在所述vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像和所述手术工具上安装的探头拍摄到的实时图像进行实时配准及融合。

可以理解的是，采用双线程可以提高系统的执行速度。

进一步地，在上述实施例的基础上，所述跟踪模块11可以当手术工具在打印的目标头部模型上进行操作时，采用标志点跟踪方法，实时获取所述手术工具尖端的位姿。

可以理解的是，所述位姿是由姿态与位置构成的。

具体地，当手术工具在打印的目标头部模型上进行操作时，采用标志点跟踪方法，实时获取所述手术工具尖端的位姿，可以包括：当手术工具在打印的目标头部模型上进行操作时，采用标志点跟踪方法，通过实时跟踪所述手术工具尖端预先设置的标志点，来实时计算所述手术工具尖端的位姿。

进一步地，所述跟踪模块11当手术工具在打印的目标头部模型上进行操作时，采用标志点跟踪方法，可以通过光学定位跟踪系统(如ndi光学定位跟踪系统等)实时跟踪所述手术工具尖端预先设置的标志点，来实时计算所述手术工具尖端的位姿。

可以理解的是，采用标志点跟踪方法实时进行手术工具尖端定位，能够提高系统真实度和实用性。

进一步地，可参考图2，在上述实施例的基础上，本实施例所述颅底手术模拟教学培训系统，还可以包括：三维重建模块13、配准模块14、显示模块15和打印模块16其中：

所述三维重建模块13，用于获取目标头部样本的ct/mr扫描影像，对所述ct/mr扫描影像中的颅底组织结构进行自动分割，对分割后得到的颅底组织结构进行三维重建，得到三维颅底模型图像；

所述配准模块14，用于将从三维重建模块中获取的三维颅底模型图像和手术工具上安装的探头拍摄到的实时图像进行配准；

所述显示模块15，用于将所述三维颅底模型图像中的颅底组织结构进行渲染，将渲染后的三维颅底模型图像导入vr眼镜中进行显示；

所述打印模块16，用于根据所述ct/mr扫描影像和三维重建后得到的三维颅底模型的数据，利用3d打印技术，打印目标头部模型。

可以理解的是，本实施例所述系统利用vr眼镜显示三维颅底模型图像，能够提高系统对颅底手术模拟教学培训的真实性和实用性。

可以理解的是，本实施例所述系统借助3d打印技术，打印出与渲染后的三维颅底模型图像配套的目标头部模型，可以满足被培训人员对实际操作练习的要求，使被培训人员可以更加快速地学会操作。

进一步地，在上述实施例的基础上，所述三维重建模块13可利用神经网络算法，对所述ct/mr颅底影像中的各颅底组织结构进行分割。

可以理解的是，目前神经网络算法有多种，在本实施例中可以利用任意一种神经网络算法，本实施并不对其进行限制。

可以理解的是，本实施例利用神经网络算法对所述ct/mr颅底影像中的各颅底组织结构进行分割，能够增加分割准确度，提高模拟手术的精确性，有助于加深被培训人员对颅底组织的认知，可更好的对被培训人员进行教学培训。

进一步地，在上述实施例的基础上，所述三维重建模块13可利用marchingcube(移动立方体)算法，对分割后得到的颅底组织结构进行三维重建。

可以理解的是，marchingcube算法是三维规则数据场等值面生成的经典算法，本实施例并不对其进行详细说明。

可以理解的是，本实施例利用marchingcube算法，对分割后得到的颅底组织结构进行三维重建，能够得到三维重建后的三维颅底模型图像。

进一步地，在上述实施例的基础上，所述配准模块14，可具体用于

采用标志点和划取点云配准算法，通过在手术前划取面部点云或者在面部设置标志点的方法进行特征点匹配，将从三维重建模块中获取的三维颅底模型图像和手术工具上安装的探头拍摄到的实时图像进行实时配准。

需要说明的是，所述显示模块15和所述打印模块16的执行并没有先后顺序，可以先执行所述显示模块15后执行所述打印模块16，也可以先执行所述打印模块16后执行所述显示模块15，也可以所述显示模块15和所述打印模块16同时执行。

在具体应用中，本实施例所述系统可以在构建时，通过硬件运作层与vr眼镜、手术工具、ndi光学定位跟踪系统等设备进行实时数据交换，通过输入输出模块：读取ct/mr影像数据并送入上层模块，通过业务逻辑层对输入的ct/mr影像以及从手术工具获取的实时影像进行分割、配准、重建等处理，通过表示层将经过业务逻辑层处理的影像进行渲染、融合并显示。

本发明实施例提供的颅底手术模拟教学培训系统，能够实现对颅底手术的模拟教学培训，可有效降低教学难度，使被培训人员可以更加快速、容易地学会操作，能够满足课堂教学的需求，满足被培训人员对实际操作练习的要求，使被培训人员可以更加快速地学会操作，真实度和实用性高。

图3示出了本发明一实施例提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括存储器302、处理器301及存储在存储器302上并可在处理器301上运行的计算机程序，所述处理器301执行所述程序时实现：当手术工具在打印的目标头部模型上进行操作时，实时获取所述手术工具尖端的位姿，以及获取所述手术工具上安装的探头拍摄到的实时图像，并计算所述手术工具尖端的位姿显示在vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像；将根据手术工具尖端的位姿计算确定的显示在所述vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像和所述手术工具上安装的探头拍摄到的实时图像进行实时配准及融合，使所述vr眼镜显示实时融合后的三维图像。

本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现：当手术工具在打印的目标头部模型上进行操作时，实时获取所述手术工具尖端的位姿，以及获取所述手术工具上安装的探头拍摄到的实时图像，并计算所述手术工具尖端的位姿显示在vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像；将根据手术工具尖端的位姿计算确定的显示在所述vr眼镜中对应位置的颅底组织结构的ct/mr三维渲染图像和所述手术工具上安装的探头拍摄到的实时图像进行实时配准及融合，使所述vr眼镜显示实时融合后的三维图像。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。