虚拟手术仿真装置及仿真系统

1.本技术涉及虚拟现实技术领域，具体涉及一种虚拟手术仿真装置及仿真系统。


背景技术：

2.虚拟现实(virtual reality,简称vr)技术具有交互性、沉浸感和构想性。基于vr技术开发的颅颌面手术仿真系统可以在多个方面协助临床实践，例如手术方案设计、术后面型预测、手术教学、操作实训等。相较于传统临床教学、实践过程，虚拟手术仿真装置具有高效、经济、便捷的优势，在医学领域有着广阔的发展前景。
3.然而，目前公开发表已开发的颅颌面手术仿真系统绝大多数仅有骨组织模型和手术操作模拟，对于个别具有面部软组织模拟的系统，其软组织模型也不具备真实生物力学特征。基于虚拟现实技术的手术仿真系统两大关键要求即真实性和实时性，虚拟现实中的人机交互途径主要有视觉与触觉。其中触觉的真实性对医护人员获得“手感”、掌握操作技巧十分必要。为了更加真实地模拟颅颌面手术、增加临床实用性，探索构建基于真实生物力学特征的面部软组织物理模型、实现真实的虚拟手术力反馈渲染十分重要。
4.因此，需要对现有技术问题提出解决方法。


技术实现要素：

5.本技术的目的在于，本技术实施例提供一种虚拟手术仿真装置及仿真系统，其旨在通过构建具有解剖特征和生物力学特性的面部软组织物理模型，以实现在虚拟环境下对面部软组织的虚拟手术作业，并且结合反馈设备的支持，提供逼真的视觉渲染及力学反馈，从而符合虚拟手术的需求。
6.根据本技术的第一方面，本技术实施例提供一种虚拟手术仿真装置，其包括：几何建模模块，用于生成虚拟目标对象的三维软组织模型；获得虚拟目标对象的医学数字图像通讯数据，并基于所述医学数字图像通讯数据进行阈值筛选和交互式分割及重建得到所述三维软组织模型；获得三维软组织模型的面网格；软组织物理建模模块，用于对三维软组织模型设定边界条件，以得到虚拟分区；获取不同分区的力学特性；拟合不同分区的力学特性至三维软组织模型的相应分区，以得到三维软组织物理模型；碰撞检测模块，用于判断虚拟手术器械模型与三维软组织物理模型之间是否发生碰撞；当判定发生碰撞时，获取碰撞点的位置信息和深度信息；以及输入位置信息和深度信息至三维软组织物理模型；以及力反馈获得模块，用于计算虚拟目标对象的三维软组织物理模型的面网格在发生变形和穿透的过程中对虚拟手术器械的反馈力；基于计算出的反馈力输出至力反馈装置，以供用户感知相应的力学特性。
7.可选地，在本技术的一些实施例中，所述虚拟手术仿真装置还包括工序辅助模块，所述工序辅助模块用于添加并模拟在进行虚拟手术时的辅助工序。
8.可选地，在本技术的一些实施例中，所述辅助工序包括执行标点操作，以形成虚拟手术路径规划。
9.可选地，在本技术的一些实施例中，所述虚拟手术仿真装置还包括可视化模块，所述可视化模块用于当所述工序辅助模块执行辅助工序时进行颜色和纹理渲染。
10.可选地，在本技术的一些实施例中，所述虚拟手术仿真装置还包括可视化模块，所述可视化模块还用于添加颜色、光照、纹理中的至少一种至三维软组织模型以及虚拟手术器械。
11.可选地，在本技术的一些实施例中，所述虚拟手术仿真装置还包括可视化模块，所述可视化模块还用于实时更新所述三维软组织物理模型的面网格中发生变形的节点的位置信息。
12.可选地，在本技术的一些实施例中，所述虚拟手术仿真装置还包括器械建模模块，所述器械建模模块用于获取虚拟手术器械的激光扫描图像数据；基于虚拟手术器械的激光扫描图像数据，生成虚拟手术器械模型。
13.可选地，在本技术的一些实施例中，所述虚拟手术器械模型和所述三维软组织模型均由三角面片构成。
14.可选地，在本技术的一些实施例中，所述反馈力包括三维软组织在穿刺时的穿刺反馈力和三维软组织在穿刺完成后的切割反馈力，其中三维软组织在穿刺时的穿刺反馈力为三维软组织在发生弹性变形时反馈给虚拟手术器械的反作用力；三维软组织在穿刺后的切割反馈力为三维软组织在被切割时反馈给虚拟手术器械的反作用力。
15.根据本技术的第二方面，本技术一实施例提供了一种仿真系统，所述仿真系统包括本技术任一实施例所述的虚拟手术仿真装置、显示装置、力反馈装置和辅助输入装置；其中显示装置与所述虚拟手术仿真装置的可视化模块连接，用于与所述可视化模块进行视觉交互；力反馈装置与力反馈获得模块连接，用于与力反馈获得模块进行触觉交互；辅助输入装置与工序辅助模型连接，用于与工序辅助模型进行辅助输入交互。
16.本技术实施例提供了一种虚拟手术仿真装置和仿真系统，其旨在通过构建具有解剖特征和生物力学特性的面部软组织物理模型，以实现在虚拟环境下对面部软组织的虚拟手术作业，并且结合反馈设备的支持，提供逼真的视觉渲染及力学反馈，从而符合虚拟手术的需求。此外，本技术实施例所述的虚拟手术仿真装置具有高效、便捷的优点，为手术方案设计、术后面型预测、作业训练提供了有力支持。
附图说明
17.下面结合附图，通过对本技术的具体实施方式详细描述，将使本技术的技术方案及其它有益效果显而易见。
18.图1为本技术一实施例提供的一种虚拟手术仿真装置的框架示意图。
19.图2a为三角面片构成的几何模型的示意图。
20.图2b为增加色彩和纹理信息的几何模型的示意图。
21.图3为软组织分区的示意图。
22.图4a和图4b分别为颏部皮肤穿刺力-位移曲线示意图和穿刺过程的拟合曲线。
23.图5为力反馈装置的计算模型示意图。
24.图6为力反馈渲染的示意图。
25.图7为本技术一实施例体提供的一种仿真系统的示意图。
具体实施方式
26.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.文中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
28.在本技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
29.下文的公开提供了许多不同的实施方式或例子用来实现本技术的不同结构。为了简化本技术的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本技术。此外，本技术可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。
30.本技术实施例提供一种虚拟手术仿真装置，其包括：几何建模模块，用于生成虚拟目标对象的三维软组织模型；获得虚拟目标对象的医学数字图像通讯数据，并基于医学数字图像通讯数据进行阈值筛选和交互式分割及重建得到所述三维软组织模型；获得三维软组织模型的面网格；软组织物理建模模块，用于对三维软组织模型设定边界条件，以得到虚拟分区；获取不同分区的力学特性；拟合不同分区的力学特性至三维软组织模型的相应分区，以得到三维软组织物理模型；碰撞检测模块，用于判断虚拟手术器械模型与三维软组织物理模型之间是否发生碰撞；当判定发生碰撞时，获取碰撞点的位置信息和深度信息；以及输入位置信息和深度信息至三维软组织物理模型；以及力反馈获得模块，用于计算虚拟目标对象的三维软组织物理模型的面网格在发生变形和穿透的过程中对虚拟手术器械的反馈力；基于计算出的反馈力输出至力反馈装置，以供用户感知相应的力学特性。
31.本技术所述虚拟手术仿真装置通过构建具有解剖特征和生物力学特性的面部软组织物理模型，以实现在虚拟环境下对面部软组织的虚拟手术作业，并且结合反馈设备的支持，提供逼真的视觉渲染及力学反馈，从而符合虚拟手术的需求。此外，本技术实施例所述的虚拟手术仿真装置具有高效、便捷的优点，为手术方案设计、术后面型预测、作业训练提供了有力支持。
32.以下将结合附图进一步描述所述虚拟手术仿真装置100的各个模块的功能。
33.几何建模模块110，用于生成虚拟目标对象的三维软组织模型；获得虚拟目标对象的医学数字图像通讯数据，并基于所述医学数字图像通讯数据进行阈值筛选和交互式分割及重建得到所述三维软组织模型；获得三维软组织模型的面网格。
34.具体地，几何建模模块110用于生成虚拟目标对象的三维软组织模型(或称为三维
几何模型)。在虚拟环境下，该三维软组织模型可以作为用户进行模拟手术的对象。
35.需说明的是，本文中的三维软组织模型是指表面模型，并非是体模型。此外，虚拟目标对象是指人体，下文相同。在本实施例中，三维软组织模型是指人体的面部，当然在其他部分实施例中，可以指人体的其他部位。
36.进一步地，几何建模模块110还用于获得虚拟目标对象的医学数字图像通讯数据，并基于所述医学数字图像通讯数据进行阈值筛选和交互式分割及重建得到所述三维软组织模型。其中，医学数字图像通讯数据(dicom数据)可以为ct(computed tomography，电子计算机断层扫描图像)数据，也可以为mri(magnetic resonance imaging，即磁共振成像)数据。需说明的是，三维软组织模型可以通过ct数据或mri数据生成。而三维骨组织模型仅可以通过ct数据生成。在本实施例中，ct数据可以为螺旋ct数据，即spiral computed tomography。通过设置为1.25mm层厚拍摄目标对象的颅顶至颈下区域，以得到相关数据，并存储为dicom格式数据。
37.然后，可以基于mitk(medical imaging toolkit，即医学成像交互工具包)类库，根据所获得的图像数据中骨组织和软组织的灰度值范围不同的特点，进行阈值筛选，以初步分割出电子计算机断层扫描图像中骨组织和软组织部分。其中，阈值筛选可以为基于目标对象的解剖特征而获得分割结果最优的阈值范围，以得到最精准面部的解剖结构。例如软组织分割结果最优的阈值范围为-283至221hu。接着，进行交互式分割，以擦除、填补图像数据中骨组织或软组织与实际解剖学结构不相符的部分。最后，可以基于mc算法(marching cube，为三维离散数据场中提取等值面的算法)，以重建面部的三维软组织模型(其为表面模型)。在重建面部的三维软组织模型过程中，可以采用三角面片网格以最高质量三维重建生成颅面部的三维软组织模型，并且输出保存为stl格式文件，为后续的物理建模等做准备。需说明的是，在本实施例中，三维软组织模型是由多个网格构成，每一个网格为三角面片，如图2a所示。当然，在其他部分实施例中，每一个网格也可以为四角面片。
38.进一步地，几何建模模块110还用于面部的三维软组织模型的面网格划分。在一些实施例中，可以基于开源库进行面部的三维软组织模型的三角面片的优化处理。例如，可以对术区的网格进行增量细化，而对非术区的网格进行网格减量优化，从而保证计算的实时性。进一步地，除了划分三维软组织模型的面网格之外，还可以对面网格进行拉伸和旋转操作，以得到面部的三维软组织模型，并且可以导出相关的节点坐标和单元信息文件，为后续的计算做准备。需要说明的是，上述面部的三维软组织模型是基于医学数字图像通讯数据而构建的。在其他部分实施例中，也可以通过预设的三维几何模库，从该模库中选择虚拟目标对象，作为模拟对象。三维几何模库可以基于hypermesh、arima等软件而建立的。
39.进一步地，几何建模模型与可视化模型配合，用于通过三维立体摄影设备获取目标对象的面部照片，并且将其配准至重建生成的三维软组织模型的表面，以添加色彩纹理信息，从而增加模型的逼真性，如图2b所示。
40.软组织物理建模模块120，用于对三维软组织模型设定边界条件，以得到虚拟分区；获取不同分区的力学特性；拟合不同分区的力学特性至三维软组织模型的相应分区，以得到三维软组织物理模型。
41.具体地，面部软组织包含皮肤、肌肉、黏膜、腺体等多种解剖结构，层次丰富，且不同解剖结构、不同层次的组织间生物力学特征各不相同，若全部逐个建模，产生的计算规模
将非常大，难以满足虚拟手术仿真装置的实时性。因此，在本技术实施例中，先将面部结构简化为单层软组织，对该单层软组织设置边界条件以得到虚拟分区，即用于模拟真实解剖分区。由于分割得到的面部具有一定厚度的软组织，包括皮肤、肌肉等，因此简化为单层软组织的具体方式为将三维软组织模型全部区域按皮肤处理，之后加入的参数也仅为皮肤的参数。
42.上述的边界条件可以通过世界坐标系坐标值在算法中设置划分规则，其中划分规则为尽量使分割的区域包含全部所需的解剖结构，且不包含不需要的解剖结构(例如骨组织)。所述边界条件为三维软组织模型划定了解剖分区，不同分区可以设定不同的力学特性，例如可以为穿刺力方程三次多项式的拟合，或切割反馈力(y,z轴)参数的定义。如图3所示，其为软组织分区，具体为前期预先获得的女性不同区域皮肤。frontal skin表示额部皮肤，masseter skin表示咬肌区皮肤，chin skin表示颏部皮肤。根据前期预先获得的女性不同区域皮肤的穿刺力方程及切割力的相关参数，如图4a、图4b、表一和表二所示(其中在图4a中，横坐标为位移(即displacement),纵坐标为穿刺力(即force)；在图4b中，直线加三角的线条表示拟合曲线，该拟合曲线可以用y＝ax3+bx2+cx+d来表示，a,b,c,d为常数，这些常数可以参考如下的表一来取值，x为位移，y为力，在图4b中的另一线条为真实的实验数据(experimental measurement)；表二用于表示面部不同区域的皮肤的切割力值)，拟合在模型中，以完成物理模型的构建。
43.其中表一如下：
[0044] 额部皮肤咬肌区皮肤颏部皮肤a0.0230.0100.131b-0.235-0.049-0.506c1.0410.2850.229d-0.879-0.2100.432
[0045]
表二如下：
[0046] 额部皮肤咬肌区皮肤颏部皮肤y轴35.644
±
0.86560.755
±
1.20838.258
±
1.693z轴23.984
±
1.60544.264
±
1.81024.704
±
2.831
[0047]
这样，该三维软组织模型为一个比较符合真实情况的非均质建模，而且不同区域具有不同的物理特性。
[0048]
此外，软组织物理建模模块120还用于对面部的三维软组织模型的材料属性进行赋值操作，以及用于对面部的三维软组织模型在外加载荷和约束条件下面网格的节点变形量进行计算；以及用于锁定面部的软组织的变形状态。
[0049]
碰撞检测模块130，用于判断虚拟手术器械模型与三维软组织物理模型之间是否发生碰撞；当判定发生碰撞时，获取碰撞点的位置信息和深度信息；以及输入位置信息和深度信息至三维软组织物理模型。
[0050]
具体地，碰撞检测模块130，用于判断虚拟手术器械模型与三维软组织物理模型之间是否发生碰撞。其中，虚拟手术器械模型是可以基于激光扫描的手术器械的原始数据而建立的，后文将进一步描述虚拟手术器械模型。虚拟手术器械模型也可以由三角面片组成的。进一步地，碰撞检测模块130通过调用碰撞检测模型以检测三角面片间是否发生碰撞。
其中的碰撞检测模型是基于轴对齐围盒(axial aligned bounding box，即aabb)算法而建立的。
[0051]
碰撞检测模块130还用于在执行虚拟穿刺或切割时，在帧循环中检测虚拟手术器械模型与三维软组织物理模型之间发生碰撞的碰撞点，以获得碰撞点的位置信息和深度信息，从而得到软组织网格变形及力反馈需要的输入条件。需要说明的是，帧循环是指通过显示装置的每一帧画面以显示三维软组织物理模型的面网格的实时变化。在一些实施例中，碰撞检测包括粗略检测阶段和详细检测阶段，其中的详细检测阶段又包括逐步求精层和精确求交层两个层次，并采用基于轴对齐围盒结构的方式。碰撞检测模块130还用于当获得碰撞点的位置信息和深度信息之后，将位置信息和深度信息输入至三维软组织物理模型。
[0052]
力反馈获得模块140，用于计算虚拟目标对象的三维软组织物理模型的面网格在发生变形和穿透的过程中对虚拟手术器械的反馈力；基于计算出的反馈力输出至力反馈装置200，以供用户感知相应的力学特性。
[0053]
具体地，力反馈获得模块140用于基于碰撞检测模块130输入至三维软组织物理模型的位置信息和深度信息，计算虚拟目标对象的三维软组织物理模型的面网格在发生变形和穿透的过程中对虚拟手术器械的反馈力。其中所述反馈力包括三维软组织在穿刺时的穿刺反馈力和三维软组织在穿刺完成后的切割反馈力，其中三维软组织在穿刺时的穿刺反馈力为三维软组织在发生弹性变形时反馈给虚拟手术器械的反作用力(仅支持力)；三维软组织在穿刺后的切割反馈力为三维软组织在被切割时反馈给虚拟手术器械的反作用力(即支持力和摩擦力)。
[0054]
进一步地，力反馈获得模块140还用于基于计算出的反馈力输出至力反馈装置200，以供用户感知相应的力学特性，如此用户可以获得真实的手感。
[0055]
上述的力反馈装置200能模拟出相应的力、振动或被动的运动传输给用户，这种激励可以帮助用户从触觉上感受到虚拟环境中的物体，直接感受力与模型的相互作用，从而增加沉浸感。所述力反馈装置200可通过网线接口与计算机等电子设备连接，并且安装开源的openhaptics驱动工具包，在调试参数之后，即可使用力反馈装置200对所计算的反馈力进行代理渲染，并通过显示装置加以显示，如图6所示。
[0056]
如图5所示，所述力反馈装置200的手柄可以代理虚拟环境中的虚拟手术器械，用户手执手柄进行移动即可操控虚拟手术器械。假设力反馈装置的手柄(下文或简称为力反馈装置)具有两个位置信息，分别为力反馈装置的实际位置，以及力反馈装置与虚拟场景中所代理虚拟手术器械的表面的接触点(用代理位置来表示)，物体表面表示三维软组织物理模型的表面。
[0057]
如图5所示，t0时刻表示力反馈装置200的初始状态(还未与模型的表面发生接触或碰撞)，力反馈装置200的实际位置和代理位置在同一个点上(如图5所示的左上角位置的黑色实心圆)。当力反馈装置200在t1时刻后运行至新位置(如图5所示的右下角位置的黑色实心圆)，则力反馈装置200与物体表面已经发生了接触或碰撞，此时设定代理位置不会移动且停留在三维软组织物理模型的表面，力反馈装置200的新位置和代理位置之间的虚拟弹簧和虚拟阻尼器会被拉长。根据胡克定律，此时会产生一定的反馈力。被碰撞的三维软组织物理模型表面的作用力应为：
[0058]
[0059]
其中，k为虚拟弹簧的弹性系数，d为虚拟阻尼器的阻尼系数，x为力反馈装置的新位置与代理位置之间的距离，为接触点(或碰撞点)的法线向量。k,d两个系数的具体数值的设定可以根据三维软组织物理模型计算所得的反馈力进行迭代计算而获得的，这样使得实际反馈力接近真实情况。需要说明的是，由于一些力反馈装置最大模拟力为10-12n，而切割力通常在40-80n，因此，呈现的切割力在前期实验数据上可以等比例地减小至12n以内，使得用户能够真实地感受到相应的力。与此同时，通过可视化模块150与其相连的显示装置300，可以实时地显示出穿刺及切割过程中的切割区域及力反馈数值。
[0060]
继续参阅图1所示，在一些实施例中，所述装置还包括工序辅助模块170，所述工序辅助模块170用于添加并模拟在进行虚拟手术时的辅助工序。所述辅助工序包括执行标点操作，以形成虚拟手术路径规划，从而便于对手术器械的控制，以保证执行穿刺或切割动作时所形成的切口的精准性。其中通过与所述虚拟手术仿真装置相连的输入装置，例如鼠标，以执行标点操作。通过设计工序辅助模块170，可以进一步提高仿真装置的仿真性，从而为手术方案设计、术后面型预测、作业训练提供了有力支持。
[0061]
在本技术的一些实施例中，所述装置还包括可视化模块150，所述可视化模块150用于当所述工序辅助模块170执行辅助工序时进行颜色和纹理渲染。
[0062]
所述可视化模块150还用于添加颜色、光照、纹理中的至少一种至三维软组织模型以及虚拟手术器械。所述可视化模块150还用于实时更新所述三维软组织物理模型的面网格中发生变形的节点的位置信息。
[0063]
具体地，所述可视化模块150可以通过opengl工具库，将虚拟目标对象的面部的三维软组织模型进行颜色、光照、材料属性的设置，并且将面部软组织在发生变形区域的面网络节点进行实时的更新，使得用户可以通过显示装置300(例如显示器、投影装置等)以与虚拟手术仿真装置100之间有个视觉交互，从而改善用户的体验。
[0064]
此外，在本技术的一些实施例中，所述装置还包括器械建模模块160，所述器械建模模块160用于获取虚拟手术器械的激光扫描图像数据；基于虚拟手术器械的激光扫描图像数据，生成虚拟手术器械模型。如上文所述，所述虚拟手术器械模型和所述三维软组织模型均由三角面片构成。
[0065]
基于同一个发明构思，本技术一实施例提供了一种仿真系统1000，如图7所示，所述仿真系统1000包括本技术任一实施例所述的虚拟手术仿真装置100、显示装置300、力反馈装置200和辅助输入装置400；其中显示装置300与所述虚拟手术仿真装置100的可视化模块150连接，用于与所述可视化模块150进行视觉交互；力反馈装置200与力反馈获得模块140连接，用于与力反馈获得模块140进行触觉交互；辅助输入装置400与工序辅助模型170连接，用于与工序辅助模型170进行辅助输入交互。
[0066]
本技术实施例提供了一种虚拟手术仿真装置和仿真系统，其旨在通过构建具有解剖特征和生物力学特性的面部软组织物理模型，以实现在虚拟环境下对面部软组织的虚拟手术作业，并且结合反馈设备的支持，提供逼真的视觉渲染及力学反馈，从而符合虚拟手术的需求。此外，本技术实施例所述的虚拟手术仿真装置具有高效、便捷的优点，为手术方案设计、术后面型预测、作业训练提供了有力支持。
[0067]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0068]
以上对本技术实施例所提供的一种虚拟手术仿真装置及仿真系统进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例的技术方案的范围。