基于虚拟现实和增强现实的智能手术辅助系统的制作方法

本发明属于电子技术领域，更进一步涉及一种智能手术辅助系统，可用于医学影像平台和手术辅助系统中。

背景技术：

临床手术是现代医疗的重要诊疗手段，目前复杂外科手术的实施方案，主要依赖于核磁共振、计算机断层扫描等三维医学影像来制定。但临床手术开刀之后，由于存在血液漫流和器官遮挡等生理因素，医生的手术视野比较有限，手术中所见景象往往血肉模糊，加之术中病灶常常发生形态变化，脉管结构存在复杂畸变，往往难以直观辨认。手术室配备的医疗影像设备使用复杂，往往需要配备专门的医护人员来操作仪器，使用不便，医生很难将术中所见血肉模糊的景象与术前影像学图像关联起来，造成了注意力的分散，这种信息不对称的情形导致解剖结构辨识困难，影响术中决策。

近年来，为了解决复杂外科手术难以有效开展的问题，结合虚拟现实和增强现实技术的最新发展，主要通过术前术中信息，建立无畸变三维立体图像，捕捉术中视野或手术动作，对术中每一阶段的生理状况进行逐一检测和融合，反馈给医生作为指导。

method和bayinnovation合作，在2015年其公布的设备vivi医学专用智能头戴眼镜中以下简称vivi头戴眼镜，使用增强现实技术，在医生做手术的过程中显示病人当前的脉搏、血压及体温等身体数据和补充资料。该设备通过蓝牙与手术室中其他监护设备连接，便携式方案起到了很好的配合作用，避免了在升级现有手术室设备时，器材过多、功能冗杂的问题，医生可以把注意力放回到病人身上，如果出现紧急情况，及时调整手术决策。目前vivi头戴眼镜只能呈现血压血氧等最简单的参数，医生仍需要从其他地方获得更加深入的信息。

北京航空航天大学所申请的发明专利“一种用于增强现实手术导航的腹腔镜视频精准融合方法”中(公开号：cn106327587a，申请号：cn201611019614.x，申请日：2017.01.11)，首先对腹腔镜相机进行标定，确定相机参数，并使用该参数进行3d图形渲染引擎的投影矩阵设置；获取手术对象术中的腹腔镜图像，用3d图形渲染引擎生成对应的无畸变视图，并用畸变模型使其变形为与实际腹腔镜具有同样畸变效果的虚拟视图；通过融合虚拟视图与实际腹腔镜图像，生成虚拟视图的每一个像素点的深度值，最终获得具有正确位置映射关系的精准虚拟-真实融合视频用于手术导航。

深圳市科创数字显示技术有限公司所申请的发明专利“ar和vr相结合的医学培训系统”(公开号：cn106251752a，申请号：cn201610940646.7，申请日：2016.10.25)，通过3d图像采集模块采集手术目标对象以及培训人员使用的手术器械的三维图像，通过动作捕捉模块实时捕捉培训人员的手术动作，通过中央处理器输出纠正信息和指导信息，建立包含3d图像采集模块采集的三维图像、指导信息以及纠正信息的增强现实或虚拟现实模型，培训人员通过ar交互模块实时获取手术目标对象和其使用的手术器械的状况、指导信息以及纠正信息，能够提升医疗培训的真实感与临场感，缩短医疗培训周期，降低医疗培训成本。

上述现有的使用虚拟现实和增强现实的系统仍有以下部分缺陷：

第一，通过拍摄场景加以3d渲染变形，仅能还原器材或病灶的表面情况，不能深入畸变的生理结构内部，提供其任意角度和即时状态的生理信息；

第二，使用者无法快速地进行人机交互，在术中导航难以做到实时有效，只能单一地从机器反馈的信息中矫正自己的动作，有一定的滞后性，无法命令机器达到医生自己术中最需要的效果；

第三，仅捕捉了如相机、手术器材等简单外设的信息，可提供的辅助功能较为单一，不能直接对患者本身病情作出快速指导，使术前规划、术中操作、手术培训的完整过程在一定程度上出现了断层。

技术实现要素：

本发明的目的在于针对上述现有技术的不足，提出一种基于虚拟现实和增强现实的智能手术辅助系统及方法，以对核磁共振、计算机断层扫描这些传统三维医学影像进行直观全面、具体精确地查看与标定，并以语音交互的方式，为手术中医生作出实时指导。

本发明的技术方案是这样实现的：

一、技术原理

本发明采用htcvive作为虚拟现实设备，采用hololens作为增强现实设备，以unity5.3.5作为开发平台，利用c#语言编程，研究开发术前虚拟影像工作室、术中投影显示及交互调用模块。

手术前，根据医生实际需要，分割出患者术前ct图像中的病灶部分，并对其进行三维可视化重建，使用虚拟影像工作室导入病灶模型，通过虚拟现实设备深入病灶模型内部进行直观的规划标注，并将规划标注与病灶模型一起导出为术前规划模型，以供术中使用；

手术中，通过增强现实设备，对病灶周边环境实时建模，使术前规划模型与真实手术病灶得到配准，医生使用指定语音识别词，对模型进行三维旋转缩放，实时获取指导信息，从而解放医生的双手，最大程度地减少医生的注意力损失，使医生更专注于手术实施。

二、实现方案：

根据上述原理，本发明基于虚拟现实和增强现实的智能手术辅助系统，包括：

数据预处理单元，用于通过医学影像处理软件，将医院采集到的原始ct/mri影像信息转化为系统可用的影像材料，重建三维病灶模型，并将其传递给术前规划单元；

术前规划单元，用于通过虚拟现实设备htcvive，搭建虚拟影像工作室，载入本地三维病灶模型，使用者能够深入到病变器官内部的微小立体结构中，以任意角度对病灶进行分析，做出三维手术规划路径，并将规划路径与病灶模型进行合并，导出三维规划模型，以供术中辅助单元随时调用；

术中辅助单元，用于通过增强现实设备hololens获得三维病灶模型的特征点，使其与真实病灶部位得到空间配准，并调取显示三维规划模型提供的方案决策、手术监控设备提供的血氧血压这些基础生理参数，帮助医生辨认组织结构，执行术前规划；

根据上述原理，本发明基于虚拟现实和增强现实的智能手术辅助方法，包括如下步骤：

1)数据读入：

读取格式为.dcm或.raw的原始ct数据，对原始ct数据依次进行平滑、分割的预处理，得出病灶结构，并将病灶结构导出为.vtk或.nii格式；

2)重建病灶模型：

将病灶结构转换为虚拟现实设备可用的.fbx或.obj模型，使其适应于虚拟影像工作室的数据接口，完成三维病灶模型的重建，并据此构建本地模型库；

3)手术前，使用者佩戴虚拟现实设备进入虚拟现实影像工作室，选择ui界面中的对应功能：

3a)导入病灶模型：

通过虚拟现实设备手柄前端射线和按键，在ui界面中选择需要从本地模型库导入的三维病灶模型，并使用虚拟现实设备手柄触摸板，调节病灶模型至不同查看方式所需的大小；

3b)选择病灶查看方式：

使用者根据3a)中病灶模型的不同放大倍数，在ui界面显示的抓取查看和飞行查看这两种方式中选择自己最适宜的查看方式；

3c)进行手术规划：

使用者停止3b)查看过程中的空间移动，在ui界面中选择画笔标注，设置线条颜色和粗细，扣动手柄右侧扳机在需要的空间位置做出注释，扣动手柄左侧扳机擦除错误标注；

3d)导出三维规划模型：

对3c)所得的手术规划标注位点进行实例化，并将其作为子类模型叠加在病灶模型上，共同导出三维规划模型，以供手术中使用；

4)手术中，使用者佩戴增强现实设备启动语音交互和手势识别功能：

4a)启动云端虚拟机，将点击和拖拽的特定手势与虚拟机鼠标动作关联起来，以控制安装于虚拟机上的影像处理软件，执行其内置的影像旋转、放缩、亮度调节和区域分割功能；

4b)发出指定语音识别词，依次自由控制三维规划模型旋转与缩放，初步观察术前规划及病灶结构信息；

4c)将三维规划模型与真实手术病灶配准融合，以显示三维相关切口路径，从而辅助使用者辨认解剖结构，执行术前规划。

本发明与现有的技术相比具有以下优点：

第一，本发明使用的三维重建数据来自核磁共振与计算机断层扫描，相比血氧血压等常规生理参数，以及普通摄像头扫描具有更高空间分辨率，更精确丰富的结构信息。

第二，本发明在手术前，基于虚拟现实设备重建特异性病灶模型，使医生可以深入病灶内部，以任意角度观察细微病变，做出三维手术规划，相较于传统的通过二维切面的规划方式更加直观、立体、准确、全面。

第三，本发明在手术中，基于增强现实设备获得的空间标记点，快速实现虚拟病灶模型与真实病灶位置的配准融合，并直接投影呈现于眼前真实空间，避免了注视显示屏带来的注意力分散。

第四，本发明将语音交互与手势识别相融合，使得人机交互方式便捷，可随时调取并控制影像资料与方案决策，避免了接受单一的模式化指导，使医生能灵活地根据手术实际需要进行辅助，更专注于手术操作。

附图说明

图1是本发明系统的方框图；

图2是本发明方法的总流程图；

图3是本发明方法中在手术前规划过程的子流程图；

图4是本发明方法中在手术进行中辅助过程的子流程图；

图5是本发明方法中在手术前规划过程的ui界面示意图；

图6是本发明装置中在手术前规划过程的画笔标注示意图；

图7是本发明装置中在手术进行中辅助过程的结构配准示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，本发明基于虚拟现实和增强现实的智能手术辅助系统，包含数据预处理单元1、术前规划单元2和术中辅助单元3，其中：

数据预处理单元1，用于通过医学影像处理软件，将医院采集到的原始ct/mri影像信息转化为系统可用的影像材料，重建三维病灶模型，存入本地模型库并将其传递给术前规划单元2；该原始ct/mri影像信息不仅包含病灶部分，还存在无关器官和组织以及噪声干扰，需要进行平滑和分割以提取出较为独立的病灶影像数据，进而重建三维病灶模型，使影像数据立体可视化；该本地模型库中可存储经过数据预处理单元1处理的不同患者不同病灶的三维病灶模型，供使用者在术前规划单元2快速调取；

术前规划单元2，用于通过虚拟现实设备htcvive，搭建虚拟影像工作室，载入本地三维病灶模型，使用者能够深入到病变器官内部的微小立体结构中，以任意角度对病灶进行分析，做出三维手术规划路径，并将规划路径与病灶模型进行合并，导出三维规划模型，以供术中辅助单元3随时调用；该三维病灶模型即为从本地模型库中调取的经过预处理的病灶模型；该三维手术规划路径为手术规划过程中，由画笔标注做出并暂存的三维路径；该三维规划模型为三维病灶模型与三维手术规划路径合并导出，可长期保存并用于术中辅助单元3的手术方案决策；

术中辅助单元3，用于通过增强现实设备hololens获得三维病灶模型的特征点，使其与真实病灶部位得到空间配准，并调取显示三维规划模型提供的手术方案决策、云端虚拟机影像处理软件提供的量化生理数据和手术监控设备提供的血氧血压这些基础生理参数，帮助使用者辨认组织结构，执行术前规划；该量化生理数据和基础生理参数，由特定手势控制云端虚拟机相应软件，执行其内置量化与监控功能获得；该手术方案决策，由特定语音识别词控制三维规划模型空间配准后得出；

数据预处理单元1与术前规划单元2通讯连接，传递三维病灶模型以实现手术操作前的规划；术前规划单元2与术中辅助单元3通讯连接，传递三维规划模型以实现手术操作时的导航。

上述术前规划单元2，包含ui界面模块21、模型控制模块22、抓取查看模块23、飞行查看模块24、画笔标注模块25和数据导出模块26，其中：

ui界面模块21，用于承载虚拟影像工作室的其他各项功能模块，增强其可视化交互性，使用者通过ui界面按钮，从本地模型库中选择不同的三维病灶模型，先依次启动抓取查看模块23、飞行查看模块24和画笔标注模块25，切换病灶模型查看方式，做出三维手术规划路径，再启动数据导出模块26，导出三维规划模型，以供手术中使用；

模型控制模块22，用于通过虚拟现实设备手柄触摸板，对三维病灶模型进行自由缩放，以达到使用者在抓取查看模块23和飞行查看模块24所需的视觉范围；该视觉范围以心脏为例，抓取查看模块23所适用的病灶模型为其1-3倍，飞行查看模块24所适用的病灶模型为其30-50倍；

抓取查看模块23，用于通过虚拟现实设备手柄按键，对相较于真实心脏比例1-3倍的病灶模型进行抓取，并将其拖拽以贴近面部，供使用者查看病灶模型内部和外部的结构信息，避免人为走动；

飞行查看模块24，用于通过虚拟现实设备手柄触摸板，对相较于真实心脏比例30-50倍的病灶模型精确查看，手柄前端自动发出射线表示飞行基线，使用者通过触摸板按键控制相对于基线的左右移动和高度升降，以观察静止病灶模型内部的微小结构；

画笔标注模块25，用于通过虚拟现实设备手柄扳机，对三维病灶模型进行影像数据标注和手术方案规划，即先根据rgb和hsv取色模式，设置线条颜色和粗细，再跟踪所持手柄的空间定位，做出三维标注及错误擦除；该rgb取色模式基于红绿蓝三种色彩通道，hsv取色模式基于色调、饱和度和亮度三种色彩特征。

数据导出模块26，用于获取画笔标注模块25做出的三维手术规划路径，并将其作为子类与三维病灶模型合并，导出为三维规划模型，通过术中辅助单元3的语音交互模块32和结构配准模块33实时显示。

通过ui界面模块21分别对抓取查看模块23、飞行查看模块24、画笔标注模块25和数据导出模块26单向控制，实现对各自功能的快速启动；模型控制模块22、抓取查看模块23、飞行查看模块24和画笔标注模块25在功能上相对独立，使用者可根据实际需要组合使用；画笔标注模块25与数据导出模块26通讯连接，传递标注路径以实现三维规划模型的导出。

上述术中辅助单元3，包含云端控制模块31、语音交互模块32和模型配准模块33，其中：

云端控制模块31，用于将点击和拖拽的特定手势与云端虚拟机鼠标动作关联起来，通过这种手势识别，控制虚拟机上的影像处理软件和手术监护软件，以完成程序内部预设功能；需要注意的是，虚拟机上所配置的程序并非属于本系统，具体实现功能取决于程序本身，手势识别只起到控制作用。

语音交互模块32，用于为使用者设置特定英文语音识别词，通过这种语音交互，投影显示术前规划模型，使模型的空间投影位置可随使用者视野边界的移动而移动，并在随时保持模型可见的同时，自由控制其旋转和缩放；该语音识别词包括“left”、“right”、“smaller”、“bigger”、“back”、“stop”以及整数数字；该旋转缩放有两种呈现方式，第一种为仅控制开始和结束的基础模式，其形式为“left”表示模型绕z轴顺时针开始旋转，“stop”表示模型停止旋转，第二种为含有整数参数的精确控制，其形式为“left，30”表示模型绕z轴顺时针旋转30度，“bigger，2”表示模型放大2倍。

结构配准模块33，用于通过增强现实设备的空间定位感知，使术前规划模型与真实手术病灶得到配准，以进一步隐去术前规划模型中的三维病灶部分，只保留其手术规划路径、三维切口位置及深度信息，做出手术导航；该空间定位感知基于三维空间扫描，以生成环境表面mesh网格；该配准融合的控制基于特定语音识别词“register”和“hind”；

语音交互模块32与结构配准模块33通讯连接，传递语音识别词，实现术前规划模型与真实手术病灶的配准，以及手术规划路径的导航；云端控制模块31与前两者相对独立，通过手势识别控制云端虚拟机，以获取量化生理数据和基础生理参数。

参照图2，本发明基于虚拟现实和增强现实的智能手术辅助方法，其实现步骤如下：

步骤1，数据读入。

以先天性心脏病患者的胸部计算机断层扫描为例，以下简述为胸部ct，读取格式为.dcm或.raw的胸部ct数据，对胸部ct数据依次进行平滑、分割的预处理，得出心脏部位的病灶结构，并将病灶结构导出为.vtk或.nii格式。

步骤2，重建病灶模型。

将病灶结构转换为虚拟现实设备可用的.fbx或.obj模型，使其适应于虚拟影像工作室的数据接口，经烘焙渲染完成三维病灶模型的重建，并据此构建本地模型库。

步骤3，手术前，使用者佩戴虚拟现实设备进入虚拟现实影像工作室，选择ui界面中的对应功能。

参照图3，本步骤的具体实现如下：

3a)导入病灶模型：

通过虚拟现实设备手柄前端射线和按键，在图5所示的ui界面中选择需要从本地模型库导入的三维病灶模型，并使用虚拟现实设备手柄触摸板，调节病灶模型至不同查看方式所需的大小，顺时针为模型放大，逆时针为模型缩小；

3b)选择病灶查看方式：

使用者根据所需观察的病灶部位和手术规划精度，在ui界面显示的抓取查看和飞行查看这两种方式中选择最适宜的查看方式：

当使用者对病灶模型的内部外部都需要分析时，选择抓取查看模式，该模式下的病灶模型为其真实比例的1-3倍，病灶模型初始固定于虚拟影像工作室地面，使用者扣动手柄扳机对其抓取，以实现外部标注，当病灶模型被拖拽至贴近面部时，使用者视线可由外部切换至内部，以实现内部标注；

当使用者仅需要精确分析病灶模型的内部结构时，选择飞行查看模式，该模式下病灶模型为其真实比例的30-50倍，手柄前端自动发出射线表示飞行基线，使用者通过触摸板按键控制相对于基线的左右移动和高度升降，因模型放大比例巨大，使用者观察视线始终在模型内部，可观察到微小细节以精确规划；

3c)进行手术规划：

使用者停止查看过程中的空间移动，在ui界面中选择图6所示的画笔标注，设置线条颜色和粗细，扣动手柄右侧扳机以利用画笔标注在需要的空间位置做出标注，扣动手柄左侧扳机以擦除错误标注，其中用画笔标注空间位置的过程如下：

首先，建立相机空间与世界空间的映射关系，使其在空间位置内相对统一；

其次，选取画笔设置画笔参数：

通过rgb或hsv取色器，选取所呈现线条的颜色；

将线条划过各个像素点的位置，存储为三维向量点连接的阵列；

将线条长度存储为阵列对应行中的点的数量；

统一画笔开始宽度与终止宽度，令阵列第一行和最后一行宽度默认相等；

最后，通过虚拟现实设备openbrush组件的inputmanager接口，将设置的画笔参数预制在虚拟现实手柄中，并调控相应ui按钮，在空间预定位置将线条实例化；

3d)导出三维规划模型：

对3c)所得的已实例化的手术规划标注位点，作为子类模型叠加在病灶模型上，导出可长期保存的完整三维规划模型，以供在手术过程中使用。

步骤4，手术中，使用者佩戴增强现实设备，启动语音交互和手势识别功能。

参照图4，本步骤的具体实现如下：

4a)启动azune云平台的云端虚拟机，将点击和拖拽的特定手势与虚拟机鼠标动作关联起来，以控制安装于windows系统虚拟机上的手术监护软件，跟踪实时血压血氧这些基础生理参数，帮助使用者及时应对突发情况；控制windows系统虚拟机上的影像处理软件，执行内置的影像旋转、缩放、亮度调节和区域分割功能，获取影像的量化生理数据，以弥补基础生理参数过于简单的不足；

4b)发出指定语音识别词，自由控制三维规划模型旋转与缩放，初步观察术前规划方案及病灶结构信息，如“left，30”表示模型绕z轴顺时针旋转30度，“bigger，2”表示模型放大2倍，“left”表示模型绕z轴顺时针开始旋转，“stop”表示模型停止旋转；

4c)基于增强现实设备的空间定位感知，使三维规划模型与真实手术病灶配准融合，以辅助使用者辨认解剖结构，并显示三维切口路径，帮助使用者执行手术前的规划方案，如“register”表示执行虚拟模型与真实空间的配准，“hind”表示隐去病灶模型子类，只保留手术规划路径进行术中导航，其中三维规划模型与真实手术病灶配准，步骤如下：

4c1)调取增强现实设备spatialmapping组件对周围空间进行三维扫描，以实时对环境表面建模，生成三角形拓扑结构的mesh网格，且为不遮挡视线，将网格边缘设置为透明；

4c2)调取增强现实设备spatialunderstanding组件，提取规划标注点的三维空间特征，即捕捉标注点所指向的物体表面，并转译为mesh网格中相应的三角形拓扑位置；将标注点设置为虚拟物体，再通过mesh网格将其放置在真实环境中，使三维规划模型与真实手术病灶得到配准，如图7所示，其中图7a为配准前示意图，图7b为配准后示意图。

由上可知，本发明实例以计算机断层扫描采集到的胸部ct原始数据为基础，通过虚拟现实技术深入结构内部，进行准确有效的术前规划；通过增强现实技术在手术中提供实时指导，避免了注意力的分散；增强现实设备还可对手术中关键操作进行简单录像，便于手术后评估或指导。

以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的原则和精神之内所作的任何修改、等同替换和改进等，均就包含在本发明的保护范围之内。