微创心脏外科手术的术前规划及手术虚拟现实模拟方法与流程

本发明属于术前辅助技术领域，尤其涉及一种微创心脏外科手术的术前规划及手术虚拟现实模拟方法。

背景技术：

病率和死亡率都非常高，根据《中国心血管病报告》：我国心血管病患病率处于持续上升阶段，全国估计有心血管病患者2.9亿，且其死亡率极高，2014年，全国每5个死亡人中，就有2个死于心血管病。但是与一般肿瘤手术的治疗相比，心血管病在得到有效的手术治疗后效果显著：术前症状很重的病人，手术后的改变是立竿见影。而为了保证手术的顺利进行，合理可靠的术前规划是必不可少的。目前临床上微创心脏外科治疗主要依据超声、计算机断层摄片术(Computed tomography，CT)、磁共振成像(Magnetic resonance imaging，MRI)等二维影像资料进行术前规划，然而二维影像显示方法仅能提供一系列独立间断的二维信息，相邻扫描层面间的组织毗连关系无法直接观察，医生只能通过观察一组CT、MRI的二维切片图像，依赖自身临床经验去发现病变结构，主观预断病灶的位置和病灶恶化情况进而进行相应的术前规划，缺乏直观、定量的分析。一旦病灶位置预断有误，或者对病灶恶化情况的判断有偏差，相应做的术前规划也将出错，进而导致手术过程不顺利，最终的手术效果达不到预期，治疗效果不佳，手术进行得不彻底而影响疗效甚至发生严重并发症，给病人带来不必要的痛苦。而目前的微创心脏外科手术的术前规划严重依赖于医生的经验及技能，主观性较强，直接影响手术的疗效及病人的术后康复。

综上所述，目前的微创心脏外科手术的术前规划严重依赖于医生的经验及技能，主观性较强。若医生经验不足，在手术过程中对心脏病灶处情况判断不够准确，则手术过程不会十分顺利，手术进行得不彻底，导致手术效果不佳；手术过程中为摸清病灶真实情况，可能会对心脏进行多次开刀操作，使得病人身体承受过多伤害，直接影响手术的疗效及病人的术后康复。

技术实现要素：

本发明的目的在于提供一种微创心脏外科手术的术前规划及手术虚拟现实模拟方法，旨在解决目前的微创心脏外科手术的术前规划主要靠对心脏病灶二维CT图像的观察，由医生根据自身经验对病情进行判断和预估，严重依赖于医生的经验及技能，主观性较强，直接影响手术的疗效及病人的术后康复的问题。

本发明是这样实现的，一种微创心脏外科手术的术前规划及手术虚拟现实模拟方法，利用VR设备提供的虚拟环境，让医生在虚拟空间中对病变心脏的三维模型进行全方位观察，以方便医生对病人病情有充分足够的了解；利用VR设备在虚拟空间中进行的模拟手术操作平台，方便医生在术前进行模拟手术以实现更为具体的术前规划。所述微创心脏外科手术的术前规划及手术虚拟现实模拟方法包括以下步骤：

步骤一，使用eFilm Workstation医学图像处理软件对来自CT或MRI的数据进行预处理，人工分割出不同增强时相的二维图像数据集，建立正常的影像坐标系将CT、MRI、PET扫描的医学影像导入计算机；

步骤二，运用计算机图像处理技术，将获得的二维医学影像，进行二维到三维的转换处理，在三维空间上重建出立体的三维图像；

步骤三，将二维体素级别的医学影像导入Unity3D引擎中，由计算机进行二维图像至三维图像的转换，生成实时动态的三维立体图像；根据三维立体图像中各个部分的灰度值不同，对三维立体图像进行分割，以分割出不同的部分，再对分割出来的不同部分进行单独染色处理，以示区别；

步骤四，使用unity3D引擎构建手术规划及模拟手术的平台：将虚拟现实化的病人数据输入到Unity3D引擎中，利用Unity3D引擎搭建模拟手术平台，在其中对心脏器官、心脏中的病变位置、心脏中的主要血管单独添加碰撞体，以检测手柄对其进行的操作，并在虚拟空间中对手术器械进行建模，以使得医生可以利用VR手柄在虚拟现实空间中模拟手术器械，然后，在Unity3D引擎中对手柄操作进行捕捉，并根据预先设定，对捕捉到的操作进行分析并给出反馈，这样，就组成了模拟手术系统。在模拟手术过程中，模拟手术系统会对医生进行的操作提供即时反馈，对错误或有风险的操作步骤进行警告提醒，同时在术后，根据医生在手术中的正确及错误操作步骤，对设备的操作精准程度，手术完成时间进行综合，参照真实手术中的各项规范和要求，对医生模拟手术的效果进行评估。

进一步，所述三维建模具体包括：

(1)数据符合处理系统用于对采集的二维图像数据进行符合处理，获取重建所需的前向投影数据；

(2)采用迭代重建算法OSEM对数据进行重建，获取多组重建数据；

(3)系统几何偏移向量的获取；

(4)除初始角度重建结果外，其他角度的重建数据以逆系统旋转方向旋转一定角度，实现三维建模。

进一步，所述步骤三中在三维视图中模拟手术过程的交互式方法，包括通过使用VR手柄模拟出的手术器械在虚拟现实环境中对病变器官开刀位置的选择进而实现对切口位置的选择，通过控制VR手柄在切开器官过程中的移动路径长短实现对切口大小进行调整，通过触摸VR手柄上的二维触摸圆盘，对医学影像设备的位置和视野进行调整，通过扣动VR手柄上的扳机按钮实现对模拟手术器械的使用。

进一步，所述步骤四具体包括：

首先，医生根据病人的真实病况，通过病人心脏病灶的模拟3D模型对手术进行术前规划；

然后利用VR眼镜在虚拟现实环境中通过控制手柄进行模拟手术，在模拟手术过程中，系统会对医生进行的操作提供即时反馈，对错误或有风险的操作步骤进行警告提醒，同时在术后对医生的模拟手术效果进行评估；若评估效果一般，则表明该术前规划不合理，应该重新进行术前规划；若评估效果良好，则表明该术前规划合理。

本发明提供的微创心脏外科手术的术前规划及手术虚拟现实模拟方法，能够在术前通过虚拟现实环境进行详细的术前规划及手术模拟。与现有技术相比，具有如下优点：

(1)相比传统操作复杂的电脑软件，VR设备的使用更为便捷，无需专门的培训，只需要对头戴式显示器的配戴进行短暂的适应，掌握手柄的简单操作，即可在虚拟现实环境中实现触摸，使用模拟手术刀等工具的功能，步骤简单；

(2)微创心脏外科手术的术前辅助系统的展现形式是纯数字化的，因此对于同一个病人的医学影像数据，术前规划系统能帮助医生在术前就能直观地获取病人心脏三维立体模型，根据模型呈现出的病灶大小，位置，严重情况，制定合理的手术计划，使得在实施手术过程中能达到最佳的效果。

(3)相比传统的二维医学影像图片，虚拟现实中呈现出的的三维医学影像模型更为真实，医生可以多角度、全方位地对病人的影像数据进行诊断和分析，同时，虚拟现实技术可以实现医生和三维影像数据之间的交互。

(4)通过在三维模型中显示病变器官的病灶大小数据，病灶在器官中的深度值，病灶与器官中主要血管的距离值，帮助医生量化术前规划中依靠个人经验技能判定的不确定参数；在虚拟现实场景中，能通过对病人心脏三维模型的还原，显示出心脏内部的血管分布和病灶位置及大小，即在虚拟环境中清晰观察到正常情况下难以直接观察到的组织器官；并提供模拟手术平台，让医生在手术前利用VR设备进入虚拟手术场景中提前进行模拟手术，让医生在模拟手术过程中对手术风险，难易程度进行评估。

附图说明

图1是本发明实施例提供的微创心脏外科手术的术前规划及手术虚拟现实模拟方法流程图。

图2是本发明实施例提供的实施例1的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的微创心脏外科手术的术前规划及手术虚拟现实模拟方法包括以下步骤：

S101:使用eFilm Workstation医学图像处理软件对来自CT或MRI的数据进行预处理，人工分割出不同增强时相的二维图像数据集，建立正常的影像坐标系将CT、MRI、PET等扫描的医学影像导入计算机；

S102：运用计算机图像处理技术，将获得的二维医学影像，在三维空间上重建出立体的三维图像；

S103：将二维体素级别的医学影像导入Unity3D引擎中，由计算机进行二维图像至三维图像的转换，生成实时动态的三维立体图像；对三维立体图像的各个部分进行分割、建模和渲染；

S104：使用unity3D引擎构建手术规划及模拟手术的平台，将虚拟现实化的病人数据输入，在模拟手术过程中，系统会对医生进行的操作提供即时反馈，对错误或有风险的操作步骤进行警告提醒，同时在术后对医生的模拟手术效果进行评估。

下面结合具体实施例对本发明的应用原理作进一步的描述。

实施例1：

本发明实施例提供的微创心脏外科手术的术前规划及手术虚拟现实模拟方法具体包括以下步骤：

(1)医学影像数据传入：本系统使用eFilm Workstation(Version 2.0.1)医学图像处理软件对来自CT或MRI的数据进行预处理，人工分割出不同增强时相的二维图像数据集，从而建立正常的影像坐标系将CT、MRI、PET等扫描的医学影像导入计算机；

(2)三维建模：运用计算机图像处理技术，将获得的二维医学影像，在三维空间上重建出立体的三维图像。三维建模主要分四步：第一，数据符合处理系统用于对采集的二维图像数据进行符合处理，获取重建所需的前向投影数据；第二，采用迭代重建算法OSEM对数据进行重建，获取多组重建数据；第三，系统几何偏移向量的获取；第四，除初始角度重建结果外，其他角度的重建数据以逆系统旋转方向旋转一定角度。至此，实现了三维建模；

(3)医学影像模型虚拟现实化输出：将二维体素级别的医学影像导入Unity3D引擎中，由计算机进行二维图像至三维图像的转换，生成实时动态的三维立体图像。之后对三维立体图像的各个部分进行分割、建模和渲染，同时提供在三维视图中模拟手术过程的交互式方法，包括对切口大小的设计、切口位置的选择、内窥镜进入路径的调整、内窥镜视野的调整、手术器械的使用，让医生不仅可以用显示器看二维平面图像，更可以在虚拟现实的环境中更真实近距离地观察三维立体图像，并与图像进行交互；

(4)真实病人影像的手术规划和模拟手术：使用unity3D引擎构建手术规划及模拟手术的平台，将虚拟现实化的病人数据输入，其中，系统支持的虚拟现实设备包括HTC VIVE及Oculus Rift。首先，医生根据病人的真实病况，通过病人心脏病灶的模拟3D模型对手术进行术前规划，然后利用VR眼镜在虚拟现实环境中通过控制手柄进行模拟手术，在模拟手术过程中，系统会对医生进行的操作提供即时反馈，对错误或有风险的操作步骤进行警告提醒，同时在术后对医生的模拟手术效果进行评估。若评估效果一般，则表明该术前规划不合理，应该重新进行术前规划；若评估效果良好，则表明该术前规划合理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。