一种腹部外科精准手术引导系统及方法与流程

文档序号：11266413阅读：389来源：国知局

本发明涉及腹部外科手术，具体涉及一种腹部外科精准手术引导系统及方法。

背景技术：

腹部外科手术，特别是针对肝胆胰的腹部外科手术多年来已经取得了极大的发展，从早期的开腹手术发展到了腹腔镜手术以及最新的达芬奇机器人手术。然而，即使是最新的达芬奇机器人手术，也仅仅是在腹腔镜手术上做了视野、手术微量运动等精确控制方面的提升，这类改进的优越性充分体现在以下几个方面：利用电子信息的特点，可以实现远程控制和远程操作；利用机械手臂来执行人手的操作可以避免术者手部颤动带来的负面影响；利用双视野摄像镜头扩大了术者视野，实现了初步的裸眼三维显示，使之更逼近开腹手术的视野。

以上提升虽然极大地提高了术者实施微小动作的精确性和稳定性，但是并没有彻底地改变外科医生手术的基本现状：术者能看到的病患器官仍然仅仅是器官体表，无法利用断层扫描影像来准确定位器官内部的各类关键组织以及器官内部的病灶点。由此，并没有从实质上对术者的手术提升根本的改变。如何利用病患的断层扫描数据，使术者在手术过程中能够精确定位病灶点，有效避开血管等关键管道，是一项亟待解决的问题。

为解决以上问题，专利201710064456.8公开了一种腹部外科精准手术系统及方法，公开了用经由ct、mri断层影像重建得到的三维模型影像与腹腔镜影像叠加的腹部外科精准手术系统及方法。在该技术方案中，以腔镜腹部器官影像表面关键点与三维模型影像表面关键点作为两种影像锁定的基本参考点，只要两种影像的关键点锁定，即可使模型影像与腔镜影像同步旋转移动，达到术中精确定位的目的。在实际操作中，通常在肝脏的边缘选择关键点，由于肝脏属于柔性器官，术中由于操作的原因，在肝脏边缘组织不可避免地会出现相对于肝脏其他部位的相对位置移动，导致术中器官腔镜影像与实体模型影像不一致而产生两种影像难以锁定的情况，只有在肝脏器官不出现柔性变形的条件下才能有效锁定两种影像。这在较大程度上限制了术中精确定位的实现。

技术实现要素：

为解决以上问题，本发明公开了一种腹部外科精准手术引导系统及方法。

本发明的技术方案是：一种腹部外科精准手术引导系统及方法，包含微型3d影像采集和实时生成模块、术中精准引导系统处理计算机、全高清彩色显示器、由ct、mri等断层扫描影像经三维重建得到的病患腹部器官3d实体模型、3d影像关键特征点与3d实体模型影像关键特征点识别、锁定和跟踪的方法，其特征在于，所述微型3d影像采集和实时生成模块的输出端与术中精准引导系统处理计算机的输入端相连接，全高清彩色显示器的输入端与术中精准引导系统处理计算机的输出端相连结，由ct、mri等断层扫描影像经三维重建得到的病患腹部器官3d实体模型存储于术中精准引导系统处理计算机的大容量外部存储器中。

本发明所述的一种腹部外科精准手术引导系统及方法，其特征在于，所述微型3d影像采集和实时生成模块包含近红外摄像头、全高清彩色摄像头、近红外激光投影仪、高速低功耗视觉处理单元；近红外摄像头的输出端与高速低功耗视觉处理单元的输入端相连接，全高清彩色摄像头的输出端与高速低功耗视觉处理单元的输入端相连接，近红外激光投影仪的控制端与高速低功耗视觉处理单元的输出控制端相连结，近红外摄像头、全高清彩色摄像头、近红外激光投影仪、高速低功耗视觉处理单元焊接安装于同一块电路板上。

本发明所述的一种腹部外科精准手术引导系统及方法，其特征在于，所述微型3d影像采集和实时生成模块的近红外摄像头的响应波长范围为700-1000nm。

本发明所述的一种腹部外科精准手术引导系统及方法，其特征在于，所述微型3d影像采集和实时生成模块的近红外激光投影仪的波长范围为700-980nm。

本发明所述的一种腹部外科精准手术引导系统及方法，其特征在于：依据以下步骤实现3d影像关键特征点与3d实体模型影像关键特征点识别、锁定和跟踪：

步骤1腹部手术过程中，在门静脉处注射吲哚箐绿，注射之后，用3d影像采集和实时生成模块采集门静脉及周围组织的近红外3d荧光影像；

步骤2将采集得到的近红外3d荧光影像导入术中精准引导系统处理计算机；

步骤3在全高清彩色显示器上选取由步骤2得到的门静脉近红外3d荧光影像上至少3个关键点（i=1,2,3）作为门静脉3d荧光影像上的关键标识点xi,yi,zi；

步骤4存储门静脉近红外3d荧光影像关键标点的xi,yi,,zi坐标；

步骤5将由ct、mri等断层扫描影像经三维重建得到的病患腹部器官3d实体模型导入术中精准引导系统处理计算机并将3d实体模型影像显示于高清彩色显示器上；

步骤6在经三维重建得到的病患腹部器官3d实体模型影像上选取与步骤3选取部位相同的门静脉上的至少3个点作为3d实体模型影像的关键标识点；

步骤7存储3d实体模型影像门静脉表面上至少3个关键点(i=1,2,3)的xi，yi，zi坐标，关闭显示的3d实体模型影像；

步骤8设定判据阈值fz；

步骤9计算x-x,y-y,z-z的差值，并根据x-x,y-y,z-z的差值修改3d实体模型显示关键点的坐标，使关键点坐标与荧光影像关键点坐标重合，存储关键点的坐标；

步骤10以步骤9得到的关键点坐标作为3d实体模型关键点坐标重新装入实体模型；

步骤11计算并判断关键点i的xi-xi<fz，yi-yi<fz，zi-zi<fz比较各向量差值是否小于设定阈值；

步骤12若3d实体模型影像标识表面上关键点与3d荧光影像标识面上关键点的在各个方向上的差值大于预设的阈值，表明视点和显示比例不一致，锁定不成功，转步骤9，调整3d实体影像的显示视点和显示比例；

步骤13若3d实体模型影像标识表面上关键点与3d荧光影像标识面上关键点的在各个方向上的差值小于预设的阈值，表明视点和显示比例一致，锁定成功，将锁定的3d实体模型影像与全高清影像叠加显示于术中精准引导系统处理计算机的全高清彩色显示

与现有技术相比，采用本发明，可实现增强现实虚拟环境下腹部器官内部各类影像的实时显示，引导外科医生实施精准手术。通过本发明，可以有效降低出血、缩短手术时间，最大限度地保留残存器官。

附图说明

图1为本发明的一种腹部外科精准手术引导系统的原理框图。

图2为本发明的微型3d影像采集和实时生成模块功能原理框图。

图3a至图3c为本发明3d影像关键特征点与3d实体模型影像关键特征点识别、锁定和跟踪方法的步骤图。

具体实施方式

如图1所示，本发明的一种腹部外科精准手术引导系统及方法包含微型3d影像采集和实时生成模块1、术中精准引导系统处理计算机2、由ct、mri等断层扫描影像经三维重建得到的病患腹部器官3d实体模型3、全高清彩色显示器4。

如图2所示，3d影像采集和实时生成模块1包含近红外摄像头11、全高清彩色摄像头12、近红外激光投影仪13、高速低功耗视觉处理单元14，模块主电路板15。

在本实施例中，微型3d影像采集和实时生成模块1为intel公司的realsense3d摄像模块sr300；术中精准引导系统处理计算机2为华硕笔记本计算机n550jv；由ct、mri等断层扫描影像经三维重建得到的病患腹部器官3d实体模型3为经mimics16软件生成的腹部主要器官（肝、胆、胰、门静脉、肝脏下腔静脉、胆总管）模型;全高清彩色显示器4为47英寸led高清彩色显示器。

微型3d影像采集和实时生成模块1的输出端与术中精准引导系统处理计算机2的输入端相连接，全高清彩色显示器4的输入端与术中精准引导系统处理计算机的输出端相连结，由ct、mri等断层扫描影像经三维重建得到的病患腹部器官3d实体模型存储于术中精准引导系统处理计算机的大容量外部存储器中。

在腹部外科手术过程中，微型3d影像采集和实时生成模块1的近红外激光投影仪13在高速低功耗视觉处理单元14的控制下向腹部器官表面照射近红外激光光栅条纹，该激光光栅条纹在腹部器官表面形成包含了表面深度信息的红外光栅条纹影像，3d影像采集和实时生成模块1的红外摄像头11实时采集该红外光栅条纹影像，3d影像采集和实时生成模块1的高速低功耗视觉处理单元14根据公知的单目光栅条纹影像深度算法求出该影像各个坐标点的深度信息，得到包含了腹部器官表面深度信息的红外影像。这些影像数据流以每秒30—200帧的速率经过usb3.0接口传送到术中精准引导系统处理计算机2中。

微型3d影像采集和实时生成模块1的近红外激光投影仪13在高速低功耗视觉处理单元14的控制下不仅可以生成条纹光栅，还可以生成激光扫描面光源对腹部器官表面进行照射，以生成腹部器官表面的红外影像。

在腹部手术过程中，向肝脏门静脉注射吲哚青绿并在波长700—950纳米的近红外激光光源的照射下，将激发门静脉发出波长720—1000纳米的红外荧光，该红外荧光在人体组织中的穿透力小于10毫米，在肝脏边缘外部的门静脉处可以得到高对比度的门静脉荧光影像。由于门静脉位于肝脏组织较厚的区域，相对于柔性的肝脏器官的边缘而言是一个很少发生柔性位移变化的区域，在该区域选取门静脉影像关键点可以得到清晰稳定相对位移变化小的参考点。另一方面，通过静脉造影技术，可以获得高对比度的ct、mri门静脉影像，近红外激光激发的门静脉的红外荧光影像与经由ct、mri重建技术得到的门静脉影像具有良好的一致性，大幅度提高了两种影像锁定和同步跟踪的成功率，有效解决了利用肝脏边缘锁定两种影像锁定成功率低的问题。

微型3d影像采集和实时生成模块1在生成近红外影像数据流的同时，还可以通过微型3d影像采集和实时生成模块1的全高清彩色摄像头12采集得到与近红外影像具有相同视点的（1920x1080）高清晰彩色影像数据流，该高清彩色影像数据流经usb3.0接口传输到术中精准引导系统处理计算机2中。

如图3a至图3c所示，腹部外科手术中，门静脉红外荧光影像与经由ct、mri影像得到的门静脉三维实体模型影像通过本发明公开的以下方法进行锁定后即可实现两种影像的同步锁定和跟踪。