一种基于术中数据的经皮肾镜取石虚拟手术系统的制作方法

本发明属计算机图形学/虚拟现实领域，具体涉及基于触觉交互的虚拟手术训练设备及系统。

背景技术：

肾结石是人体泌尿系统的高发病之一，目前主要的微创治疗方式为：体外冲击波碎石术、经皮肾镜取石术(pcnl，percutaneousnephrolithotomy)以及输尿管软镜等。pcnl因具有适用范围广、碎石速度快、清石率高等优势而成为复杂结石及较大结石的主要治疗方式[1]。建立合适的经皮肾镜通道是pcnl手术成功的关键，直接影响到手术效果[2]。由于肾脏本身内部解剖结构复杂、动脉供血丰富(占心脏总输出的20％-25％)[3-4]，毗邻脏器个体差异性大，加之患者个体的结石大小、形状、位置分布难以预测等，都延滞了泌尿外科医生熟练掌握pcnl手术技巧的学习曲线。

虚拟手术训练作为一个新兴的研究方向，是集医学、计算机技术、生物力学、光学工程、材料科学、机械力学等诸多学科为一体的交叉研究领域[5-6]，同时作为虚拟现实技术和医学研究结合的重要成果，虚拟手术训练也是当今医学领域研究的热点之一[7]。现有的虚拟手术训练系统主要是基于患者真实医学影像数据，运用计算机图形学构建模拟手术环境，医生可以在虚拟环境完成手术技能训练、术前手术规划等操作[8]，但在触觉交互上存在缺失。国外虚拟手术模拟起步较早，其中斯坦福大学、伦勒斯理工学院等已经设计出相关产品，但国外大部分虚拟手术训练研究都集中在内窥镜手术及近似各向同性器官(肝脏)的手术仿真，对于肾脏微创手术训练的研究，尚未见相关研究报道[9-10]。国内现阶段针对虚拟手术训练研究也逐渐兴起，北京航空航天大学、哈尔滨工业大学、上海交大等都在不同方向、不同程度开展了虚拟手术训练系统的研究，但研究都还处于起步阶段，在触觉交互的真实性、软组织实时形变、系统沉浸感等方面还存在一些问题[11-12]。

参考文献：

[1]于德栋，沈国芳.虚拟现实技术在手术培训中的应用及展望[j].中华口腔医学研究杂志(电子版),2011,5(5):538-541.

[2]付玉锦等，采用仿真手术刀的虚拟外科手术关键技术研究[d].北京:中国科学院自动化研究所,2005.

[3]谭珂，郭光友.一种鼻内窥镜虚拟手术仿真系统[j].计算机工程，2006，32(16):243-276.

[4]machadols,melloan,odonefilhov,etal.virtualrealitysimulationofpediatricbonemarrowharvestfortransplant[j].medicalandpediatriconcology.2002,39(4):282.

[5]kühnapfelu,kuhnch,hübnerm,etal.endoscopicsurgerytrainerasanexampleforvirtualrealityinmedicaleducation[eb/ol].2013.

[6]robertlwilliamsii,mayanksrivastava,robertrconatserjr.etal.implementationandevaluationofahapticplaybacksystem[j/ol].haptics-e,2004,3(3).

[7]mirkoraspolli,carloalbertoavizzno,etal.hermes:anangioplastysurgerysimulator[a].proceedingsofthefirstjointeurohapticsconferenceandsymposiumonhapticinterfacesforvirtualenvironmentandteleoperatorsystems2005[c].washington,dc,2005:148-156.

[8]yoshihirokuroda,makotohirai.constructionoftrainingenvironmentforsurgicalexclusionwithabasicstudyofmulti-fingerhapticinteraction[a].secondjointeurohapticsconferenceandsymposiumonhapticinterfacesforvirtualenvironmentandteleoperatorsystems2007[c],tsukaba,2007:525-530.

[9]shunliang,banerjeeppat,edwarddeepakp.ahighperformancegraphicandhapticcurvilinearcapsulorrhexissimulationsystem[a].31stannualinternationalconferenceoftheieeeembs[c],minneapolis,minnesota,usa,2009:5092-5095.

[10]choikup-sze,soosophia,chungfu-lai.avirtualtrainingsimulatorforlearningcataractsurgerywithphacoemulsification[j].computersinbiologyandmedicine,2009,39:1020-1031.

[11]何健，鲍苏苏，潘家辉.基于phantom的虚拟手术系统的研究[j].计算机与现代化,2011,6:45-51.

[12]张小瑞，孙伟，宋爱国等.双通道力触觉交互的虚拟肺手术仿真系统[j].仪器仪表学报,2012,32(2):421-428.

技术实现要素：

本发明的目的在于提供一种基于术中数据的具有触觉交互的经皮肾镜穿刺(pcnl)的肾结石虚拟手术系统，用以提高泌尿外科医生反复训练获得穿刺技巧的方法。

其主要包括：医学图像三维重建模块，术中手术穿刺实验设计，力学建模模块，视觉渲染模块，触觉渲染模块，虚拟手术训练环境设计模块，具有触觉交互的手术器械设备模块，手术训练数据采集分析模块，增强现实模块和3d打印模块；

医学图像三维重建模块通过导入结石病人术前拍摄的医学图像(dicom)到自主编写图像分析软件中分析，通过专业泌尿外科医师通过区域划分、阈值限定等图像处理方法对生成的数据重复评估矫正，重构患者集合系统精细三维模型；

肾脏软组织样本穿刺实验模块使用将18gpcnl手术套针与6自由度传感器连接，在医生穿刺针真实病人手术过程中，记录摩擦力、阻力及切割力形变曲线，记录实验套装针针尖、针鞘刺破每一层组织瞬间“双峰值”(dual-pop)力学数据；

力学建模模块通过傅里叶级数拟合、修正karnopp模型等拟合实验数据建模重建对阻力、摩擦力、切割力的分别建模以及整体建模；

视觉渲染模块通过3d图形处理软件(3dmax/maya)，在保证患者内脏结构、集合系统空间位置不变情况下，优化视觉效果，包括：细分网格(subdivision)，平滑处理，光照，透明调节，着色(shader)和肾脏结构的分层渲染；

触觉渲染模块将生成的肾脏软组织穿刺力学模型通过vc++语言编写至触觉交互设备，其中“双波峰”力的效果在穿刺过肾皮质外膜及肾髓质外膜时进行渲染，虚拟套针在穿刺通过肾皮质，肾髓质，肾盂的阻力反馈效果分层渲染；

虚拟手术训练环境设计模块随机选择肾盂生成结石后，虚拟手术训练gui显示“手术规划”和“手术训练”两部分，通过连接触觉交互设备完成手术操作；

触觉交互设备模块通过双手操作两台6个自由度的触觉交互输入输出设备(premium6dof)，一只手通过食指与中指按压虚拟物体(虚拟人体躯干)确定穿刺位置，另一只手捏住交互设备进行穿刺；

手术训练数据采集分析模块“手术规划”部分数据和“手术训练”部分，数据进行分析受训者手部和各个指部的位移及旋转的偏移量、速度、加速度、抖动的频率和幅度；同时将采集到的数据同步分析，根据预制的触觉反馈模型分析得出虚拟手术训练学习曲线，为每位训练医师建立跟踪统计模型；

增强现实模块将基于触觉交互的手术训练操作与增强现实技术结合，通过3d头盔，视频眼镜等立体显示设备，实现增强现实的三维手术训练；

3d打印模块将重建后的三维肾脏模型导入3d打印机(stl文件)，1：1比例打印出与真实患者肾脏大小、形态一致的真实肾脏模型，其中肾脏外层结构均设为透明，内部结石颜色为红色，用以协助手术训练医师获得更加直观、真实的手术穿刺路径规划。

本发明所述的基于触觉交互的经皮肾穿刺的肾结石虚拟手术(pcnl)训练系统，具有的显著优点有：

1.取代了传统pcnl手术训练对人体标本及动物组织的依赖，通过搭建逼真的虚拟场景实现手术训练；

2.通过6dof输入输出触觉交互设备与增强现实技术结合，将手术过程中涉及到的所有阻力、摩擦力、切割力、扭矩等实时传送至操作者手中，有效的增加了手术的沉浸感；

3.通过真实结石病患者影像学数据进行三维可视化建模，系统软组织力学特性模型通过18g套状手术针穿刺真实手术术中实验获取，多层力反馈结构；人体组织应力-应变力学实验，构建力学模型。运用弹性力学方程对肾脏软组织的力学模型进行求解建模，并对实验结果进行仿真实验；

4.通过对肾脏内部血管精细分布、肾脏集合系统、肾脏与周围毗邻器官位置等虚拟手术的三维空间构建，从解剖层面上为pcnl的穿刺定位及通道建立提供准确地引导；

5.通过“视觉-触觉”交互界面实时显示手术过程中进针深度、力反馈大小，流血以及错误操作等提示，给训练者提供全真实有效的模拟手术环境；

6.手术训练系统集成度高，软件编写过程中预留有多种plugin接口，方便与现有的虚拟现实、增强现实设备结合使用，如：oculusrift,leapmotion等。

附图说明：

图1为本发明系统结构示意图。

图2为通过真实ct图像重建的集合系统三维立体图。

图3为优化后的虚拟肾结石手术训练系统。

图4为“手术规划”模式下手术路径规划。

图5为“手术训练”模式下手术界面。

图6为pcnl虚拟手术系统gui界面设计。

具体实施方式：

下面结合附图对本发明作详细说明。如图1本发明结构示意图所示，系统搭工作模式分为手术规划和手术仿真：

(1)手术规划模式

步骤一：手术规划模块初始化，通过真实患者ct图像进行三维立体建模，如图2所示，根据实际患者结石位生成位于不同肾盏的结石(图2中卫双肾、每个肾脏8包括个肾小盏)，结石形状包括：长条型、同心圆型及鹿角型；

步骤二：将重建后的三维肾脏模型导入3d打印机(stl文件)，1：1比例打印出与真实患者肾脏大小、形态一致的真实肾脏模型，其中肾脏外层结构均设为透明，内部结石颜色为红色；

步骤三：通过专业泌尿外科医师通过区域划分、阈值限定等图像处理方法对生成的数据重复评估矫正，集合系统空间位置不变情况下，使用3dmax优化视觉效果，包括：细分网格(subdivision)，平滑处理，光照，透明调节，着色(shader)和肾脏结构的分层渲染，最终所的模型如图3所示，包括外层皮肤、肋骨、肝脏、胃、肾脏、脾以及主动脉、静脉；

步骤四：医师通过打印出的真实比例的肾脏模型以及软件自带的辅助功能(距离显示，角度显示，人体躯干、骨骼、肾脏各层透明显示)进行穿刺通道的规划，图4中以人体脊椎线为y轴，11脊椎骨为坐标原点，计算穿刺位置、穿刺角度、穿刺深度，同时对比软件内置最优穿刺路径，评估医师选择的穿刺路径是否精确合理；

步骤五：标定规划好的穿刺位置，记录下穿刺深度及对应坐标角度，进入手术训练模块。

(2)手术训练模式

步骤一：连接并初始化、外部两台6dof触觉交互设备，将通过穿刺生成的肾脏各层力学模型导入场景目标肾脏，将皮肤设置为可形变物体(deformable)属性并设置突破力(break-through)大小，骨骼与其他器官均设置为刚体(rigidbody)；

步骤二：连接外部增强现实设备，将手术图像实时传送至具有立体显示功能的头盔或大屏幕投影显示，用以沉浸感操作及教学；

步骤三：进入模拟手术场景操作，根据手术规划过程中确定的手术路径进行穿刺手术操作，操作过程中视觉、触觉交互实时渲染，计时器，实时进针深度、触觉反馈力显示、穿刺速度显示、流血以及错误操作提示(如：穿刺到其他器官或肋骨)，如图5所示；

步骤四：手术结束后，系统记录手术过程中数据，包括受训者手部和各个指部的位移及旋转的偏移量、速度、加速度、抖动的频率和幅度；同时将采集到的数据同步分析，根据预制的触觉反馈模型分析得出虚拟手术训练学习曲线，为每位训练医师建立跟踪统计模型。