一种微创介入导航系统与方法与流程

1.本发明属于手术导航技术领域，特别涉及一种微创介入导航系统与方法。


背景技术：

2.微创介入技术是在术前医学影像(例如ct)和术中成像技术(例如医学电子内镜、微创介入磁共振、超声成像)共同引导下，以最小的创伤(不用切皮，仅有穿刺针眼)将器具或药物置入到病变组织，对其进行诊断或治疗的外科手术方法，具有不开刀，创伤小，恢复快，效果好的特点。
3.现有的微创介入技术广泛用于各种外科手术过程，微创手术器械如医学电子内镜等成像工具通过人体自然孔径(例如口腔和鼻腔等)或某部位小切口进入人体内部器官某特定区域，进行诊断或治疗。目前，这种微创介入手术过程，主要使用单模态术中影像(例如介入ct、超声或磁共振成像)引导技术，同时加上外科医生的经验，实施手术器械与病人靶区定位。这种引导技术的主要缺点有：(1)手术器械操作困难，难以精确控制与定位；(2)肿瘤区域盲穿及其定位不够精确；(3)术中单模态成像提供人体解剖学结构信息较为有限，图像质量较为低下，也会产生伪影，增加手术器械定位难度；(4)无法自动融合术前医学影像与术中多模态信息；(5)无法提供立体虚拟现实可视化导航。这些缺点会导致无法精准微创介入手术过程，尤其是对于患者人体中微小或细小的肿瘤(5
‑
10mm)无法精确到达与定位。这些缺点会增加微创介入手术风险，降低手术成功率。
4.因此，微创介入手术诊断或治疗过程中，无法自动融合术前医学影像与术中多模态信息和实施三维数字虚拟现实可视化导致难以精确定位、手术工具难以操控等问题越来越成为亟待解决的技术问题。


技术实现要素：

5.针对上述问题，本发明提供一种微创介入导航系统与方法；
6.一种微创介入导航方法，所述方法包括以下步骤：
7.s1：术前医学影像处理，划分出目标区域；
8.s2：基于所述划分出的目标区域进行全自动在线导航初始化确定二维虚拟内窥镜相机的方向；
9.s3：基于所述二维虚拟内窥镜相机的方向进行相对运动预测；
10.s4：基于判别性结构相似性度函数确定所述二维虚拟内窥镜相机在三维术前医学影像空间的位置与方向。
11.进一步地，
12.所述术前医学影像处理，划分出目标区域包括：
13.将所述术前医学影像对应到实时人体中的器官，得到术前医学影像在人体器官中的影像图；
14.对所述影像图的人体器官进行精准提取分割，得到人体器官的二维虚拟内窥镜图
像；
15.对所述二维虚拟内窥镜图像进行三维重建及数字可视化提取分割出目标区域并对所目标区域进行术前标定。
16.进一步地，
17.所述全自动在线导航初始化包括以下步骤：
18.(1)通过所述术前医学影像处理获得器官结构分叉中心线信息，确定二维虚拟内窥镜相机的方向信息；
19.其中，将第一个分叉点处，即主中心线、右主中心线和左主中心线三条中心线的交点，定义二维虚拟内窥镜相机的视线方向，设为z轴方向，为主中心线方向；右主中心线与左主中心线的向量积为二维虚拟内窥镜相机的y轴方向，z轴方向与y轴方向的叉乘方向为二维虚拟内窥镜相机的x轴方向；
20.(2)由主中心线的起点或始点，沿着主中心线方向产生5个三维位置点：
21.二维虚拟内窥镜相机沿z轴方向旋转，每旋转30度，产生一个新方向，共产生12个相机方向，与产生的5个位置组合，共产生60个位姿；
22.(3)利用60个位姿信息，通过体绘制技术，产出60张二维虚拟内窥镜相机图像；
23.(4)计算二维真实内窥镜相机图像与60张二维虚拟内窥镜相机图像之间的相似度，确定最大相似度所对应的二维虚拟内窥镜相机图像，所述二维虚拟内窥镜相机图像所对应的位姿信息就是二维真实内窥镜相机图像的位姿信息。
24.进一步地，
25.所述相对运动预测的方法包括：
26.相机外极线几何方法、分析方法、运动恢复结构、滤波方法和深度学习方法。
27.进一步地，
28.所述s4的方法包括：
29.1)利用hsv色彩模型，在二维真实内窥镜相机图像上提取含有分叉与皱褶判别性结构信息的区域；
30.2)定义判别性结构相似性度函数，也就是优化过程的代价函数，所述判别性结构相似度函数定义为二维真实内窥镜相机图像与二维虚拟内窥镜图像在所述s1中所提取的判别性结构区域里的像素点灰度值的差异；
31.其中，设所述二维真实内窥镜相机图像为r，第i帧图像的二维真实内窥镜相机图像为r
i
，在r
i
上提取m个判别性结构区域，那么判别性结构信息相似度函数定义为s(r
i
，v(p
i
))：
[0032][0033]
其中，v(δp
i
p
i
‑1)是二维虚拟内窥镜图像，是基于二维真实内窥镜相机位姿δp
i
p
i
‑1和体绘制技术自动产生的，p
i
‑1为第i
‑
1帧图像所对应的相机位姿，δp
i
为位姿变量，q(x，y)代表一个以像素(x，y)为中心的判别性结构区域；μ1和μ2分别是二维真实内窥镜相机图像r
i
和二维虚拟内窥镜图像v(δp
i
p
i
‑1)上判别性结构区域q(x，y)的平均像素值，σ
12
是二维真实内窥镜相机图像区域q(x，y)与二维虚拟内窥镜图像区域q(x，y)之间相关度，σ1、σ2分
别是二维真实内窥镜相机图像区域q(x，y)与二维虚拟内窥镜图像区域q(x，y)的像素值方差；常数c1＝6.5，常数c2＝58.5；
[0034]
3)建立优化方程，手术导航二维真实内窥镜相机位姿预测优化方程定义如下：
[0035][0036]
4)优化过程中的位姿初始化，配准优化迭代过程，首先需要初始化δp
i
，利用相对运动预测求得相对运动参数预测结果来初始化δp
i
；
[0037]
5)实施迭代，直到方程收敛：引入优化算法powell方法或levenberg
‑
marquardt算法进行迭代，直到收敛，获得从而得到当前帧相机位姿预测
[0038]
6)进入下一帧相机位姿预测：重复步骤1
‑
5，直到手术器械到达目标区域为止，同时对手术器械，即电子内窥镜与手术导管进行实时定位。
[0039]
进一步地，
[0040]
所述s4的方法还包括三状态呼吸运动导航误差补偿机制，所述误差补偿机制包括：
[0041]
在病患最大呼气状态、正常屏住呼吸状态、最大吸气状态，三次采集术前医学影像数据；
[0042]
通过所述三次术前医学影像数据进行插值，把人体呼吸状态分成12个状态，相当于对于同一个病患有12个术前医学影像数据；
[0043]
通过在所述正常屏住呼吸状态所预测的相机位姿信息在另外11个术前医学影像中产生11张二维虚拟内窥镜相机图像，再计算二维真实内窥镜相机图像与11张二维虚拟内窥镜相机图像之间的相似度；
[0044]
找到所述相似度最大所对应的术前医学影像状态，计算该状态与正常屏住呼吸状态之间的变换关系矩阵；
[0045]
确定最优的相机位姿：
[0046]
最优的相机位姿＝在正常屏住呼吸状态所预测的相机位姿*所述变换关系矩阵。
[0047]
本发明还提供，
[0048]
一种微创介入导航系统，所述系统包括：
[0049]
规划模块：用于术前医学影像处理，划分出目标区域；
[0050]
导航初始化模块：用于基于所述划分出的目标区域进行全自动在线导航初始化确定二维虚拟内窥镜相机的方向；
[0051]
运动预测模块：用于基于所述二维虚拟内窥镜相机的方向进行相对运动预测；
[0052]
定位模块：用于基于判别性结构相似性度函数确定所述二维虚拟内窥镜相机在三维术前医学影像空间的位置与方向。
[0053]
进一步地，
[0054]
所述系统还包括：
[0055]
显示设备：用于显示手术导航软件界面所有的术前与术中的各种导航信息，实施手术导航；
[0056]
数字视频转接器：用于连接微创介入手术导航系统与其他医疗设备系统；
[0057]
手术推车：集成高性能电脑与数字视频转接器和导航仪，方便医生手术操作；
[0058]
手术导管：承载导航仪的微型定位传感器、共聚焦激光显微内镜系统的光学活检探头与目标区域消融治疗系统的消融针。
[0059]
进一步地，
[0060]
所述手术导管为预弯型导管或可调节型导管。
[0061]
进一步地，
[0062]
所述目标区域消融治疗系统包括激光、微波、射频消融和氩氦刀冷冻消融。
[0063]
进一步地，
[0064]
所述系统还包括：
[0065]
医学电子内镜系统：医学电子内镜用于检查患者人体内部的组织异常与否以及电子内镜的工作通道可以承载手术导管或其他微型手术器械；
[0066]
介入影像系统：确认目标区域与二维虚拟视觉图像的相对位置关系，同时利用介入影像实时采集到的人体组织运动形变信息。
[0067]
进一步地，
[0068]
所述医学电子内镜包括软性内镜和硬性内镜；
[0069]
所述介入影像系统包括荧光镜透视、b超、cone
‑
beam ct和介入磁共振。
[0070]
本发明具有以下有益效果：
[0071]
(1)微创介入手术混合导航系统组件采用手术规划软件以及手术导航软件实现实施术前影像信息三维可视化和术中实时导航可视化；
[0072]
(2)提出了一种微创介入手术混合导航技术新方案，融合了视觉运动预测技术与多模图像配准技术的优点，实施微创介入精准混合导航技术策略；
[0073]
(3)基于二维视觉图像与三维术前影像配准的手术导航技术，对第一帧视频图像所对应的内窥镜相机位姿信息采用全自动在线导航初始化方法；
[0074]
(4)基于判别性结构相似性度量增强配准的内镜相机位姿预测的全新方法，无需任何外部传感器定位，直接配准三维术前影像与二维内窥镜视频图像，从而确定二维内窥镜相机在三维术前影像空间的位置与方向；
[0075]
(5)基于三状态术前影像插值的呼吸运动导航误差补偿机制，将集成在手术导航功能软件中，给外科医生提供三维虚拟现实可视化、术中实时导航等功能，引导医生直观、方便、容易与高效地操作手术器械；
[0076]
(6)采用精准微创介入手术导航系统，与医学电子内镜系统、介入影像系统联合使用，以实施精确微创介入诊疗循环一体化手术过程；降低患者人体呼吸运动等形变对手术导航过程的影响，精确诊疗循环过程中的手术器械和肿瘤病灶相对位置，减少操作时间、外科医生负担以及手术风险，提高手术效率与成功率；
[0077]
(7)利用内镜系统中的视频图像信息，引入了人体官腔结构中心线约束，评价了差分进化粒子滤波随机优化算法的鲁棒性，补偿了患者人体运动形变所带来的导航误差。
[0078]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
[0079]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0080]
图1示出了本发明实施例的微创介入导航方法的流程图。
具体实施方式
[0081]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0082]
本发明以肿瘤为例进行示例性说明，本发明提供一种微创介入导航方法，图1示出了本发明实施例的微创介入导航方法的流程图，如图1所示，所述方法包括以下步骤：
[0083]
s1：术前医学影像处理，划分出目标区域；
[0084]
s2：基于所述划分出的目标区域进行全自动在线导航初始化确定二维虚拟内窥镜相机的方向；
[0085]
s3：基于所述二维虚拟内窥镜相机的方向进行相对运动预测；
[0086]
s4：基于判别性结构相似性度函数确定所述二维虚拟内窥镜相机在三维术前医学影像空间的位置与方向。
[0087]
进一步地，
[0088]
所述术前医学影像处理，划分出目标区域包括：
[0089]
将所述术前医学影像对应到实时人体中的器官，得到术前医学影像在人体器官中的影像图；
[0090]
对所述影像图的人体器官进行精准提取分割，得到人体器官的二维虚拟内窥镜图像；
[0091]
对所述二维虚拟内窥镜图像进行三维重建及数字可视化提取分割出目标区域并对所目标区域进行术前标定。
[0092]
具体地，
[0093]
术前医学影像处理主要提取与分割出影像中管状器官各个分叉的中心线、人体解剖结构器官与目标区域，三维重建及数字可视化提取分割出目标区域并对所目标区域进行术前标定；
[0094]
所述提取分割目标区域的方法是基于深度学习卷积神经网络的术前影像自动分割方法，精准目标区域即肿瘤病灶及其周围血管走形的提取和标定，同时获得人体官腔结构中心线信息。
[0095]
进一步地，
[0096]
基于二维虚拟内窥镜图像与三维术前影像配准的手术导航技术，需要对第一帧视频图像所对应的内窥镜相机位姿信息(6个自由度的位置与方向信息)进行初始化；
[0097]
所述全自动在线导航初始化包括以下步骤：
[0098]
(1)通过所述术前医学影像处理获得器官结构分叉中心线信息，确定二维虚拟内窥镜相机的方向信息；
[0099]
其中，将第一个分叉点处，即主中心线、右主中心线和左主中心线三条中心线的交点，定义二维虚拟内窥镜相机的视线方向，设为z轴方向，为主中心线方向；右主中心线与左主中心线的向量积为二维虚拟内窥镜相机的y轴方向，z轴方向与y轴方向的叉乘方向为二维虚拟内窥镜相机的x轴方向；
[0100]
(2)由主中心线的起点或始点，沿着主中心线方向产生5个三维位置点：
[0101]
其中，位置点＝始点+系数*(主中心线的终点
‑
主中心线的起点)*主中心线方向；系数＝0.5，0.6，0.7，0.8，0.9；
[0102]
二维虚拟内窥镜相机沿z轴方向旋转，每旋转30度，产生一个新方向，共产生12个相机方向，与产生的5个位置组合，共产生60个位姿；
[0103]
(3)利用60个位姿信息，通过体绘制技术，产出60张二维虚拟内窥镜相机图像；
[0104]
(4)计算二维真实内窥镜相机图像与60张二维虚拟内窥镜相机图像之间的相似度，确定最大相似度所对应的二维虚拟内窥镜相机图像，所述二维虚拟内窥镜相机图像所对应的位姿信息就是二维真实内窥镜相机的位姿信息。
[0105]
进一步地，
[0106]
电子内窥镜相机的前帧(上一帧)视频图像与后帧(当前帧)视频图像之间具有相对的运动信息(6个自由度的位置与方向)，预测内窥镜相机视频图像之间的相对运动信息，以提高后续的优化性能；
[0107]
所述相对运动预测的方法包括：
[0108]
相机外极线几何方法也称对极几何方法、分析方法、运动恢复结构、滤波方法(比如kalman滤波和粒子滤波)和深度学习方法。下面以外极线几何法为例，计算帧间相对运动参数的步骤如下：
[0109]
利用特征点提取算法(比如sift、affinesift、rootsift等特征点检测方法)，检测两帧(前帧与后帧)图像上的特征点，获得两个点集，通过最近邻匹配法，找到两个点集之间的匹配点；
[0110]
利用匹配特征点，引入优化算法(比如最小二乘法)求解极线约束方程，获得相机基础矩阵；
[0111]
计算相机本质矩阵＝相机外参矩阵*相机基础矩阵，相机本质矩阵所含的参数就是帧间相对运动参数(亦即6个自由度的相对位置与方向信息)。
[0112]
进一步地，
[0113]
手术导航的实质是确定在三维术前影像空间坐标下的电子内镜相机位姿参数，亦即包括相机6个自由度的位置与方向信息；
[0114]
所述基于判别性结构相似性度函数确定所述二维虚拟内窥镜相机在三维术前医学影像空间的位置与方向的方法包括：
[0115]
1)利用hsv色彩模型，在二维真实内窥镜相机图像上提取含有分叉与皱褶判别性结构信息的区域；
[0116]
2)定义判别性结构相似性度函数，也就是优化过程的代价函数，所述判别性结构相似度函数定义为二维真实内窥镜相机图像与二维虚拟内窥镜图像在所述s1中所提取的
判别性结构区域里的像素点灰度值的差异；
[0117]
其中，设所述二维真实内窥镜相机图像为r，第i帧图像的二维真实内窥镜相机图像为r
i
，在r
i
上提取m个判别性结构区域，那么判别性结构信息相似度函数定义为s(r
i
，v(p
i
))：
[0118][0119]
其中，v(δp
i
p
i
‑1)是二维虚拟内窥镜图像，是基于二维真实内窥镜相机位姿δp
i
p
i
‑1和体绘制技术自动产生的，p
i
‑1为第i
‑
1帧图像所对应的相机位姿，δp
i
为位姿变量，q(x，y)代表一个以像素(x，y)为中心的判别性结构区域；μ1和μ2分别是二维真实内窥镜相机图像r
i
和二维虚拟内窥镜图像v(δp
i
p
i
‑1)上判别性结构区域q(x，y)的平均像素值，σ
12
是二维真实内窥镜相机图像区域q(x，y)与二维虚拟内窥镜图像区域q(x，y)之间相关度，σ1、σ2分别是二维真实内窥镜相机图像区域q(x，y)与二维虚拟内窥镜图像区域q(x，y)的像素值方差；常数c1＝6.5，常数c2＝58.5；
[0120]
3)建立优化方程，手术导航二维真实内窥镜相机位姿预测优化方程定义如下：
[0121][0122]
4)优化过程中的位姿初始化，配准优化迭代过程，首先需要初始化δp
i
，利用相对运动预测求得相对运动参数预测结果来初始化δp
i
；
[0123]
5)实施迭代，直到方程收敛：引入优化算法powell方法或levenberg
‑
marquardt算法进行迭代，直到收敛，获得从而得到当前帧相机位姿预测
[0124]
6)进入下一帧相机位姿预测：重复步骤1
‑
s，直到手术器械到达目标区域为止，同时对手术器械，即电子内窥镜与手术导管进行实时定位；
[0125]
所述基于判别性结构相似性度函数确定所述二维虚拟内窥镜相机在三维术前医学影像空间的位置与方向的全新方法，无需任何外部传感器定位，直接配准三维术前医学影像与二维内窥镜视频图像，从而确定内窥镜相机在三维术前影像空间的位置与方向。
[0126]
进一步地，
[0127]
在手术导航过程中，导航精度会受到呼吸运动的影响，为了减小呼吸运动误差，所述基于判别性结构相似性度函数确定所述二维虚拟内窥镜相机在三维术前医学影像空间的位置与方向的方法还包括三状态呼吸运动导航误差补偿机制，所述误差补偿机制包括：
[0128]
在病患最大呼气状态、正常屏住呼吸状态、最大吸气状态，三次采集术前医学影像数据；
[0129]
通过所述三次术前医学影像数据进行插值，把人体呼吸状态分成12个状态，相当于对于同一个病患有12个术前医学影像数据；
[0130]
通过在所述正常屏住呼吸状态所预测的相机位姿信息在另外11个术前医学影像中产生11张二维虚拟内窥镜相机图像，再计算二维真实内窥镜相机图像与11张二维虚拟内窥镜图像之间的相似度；
[0131]
找到所述相似度最大所对应的术前医学影像状态，计算该状态与正常屏住呼吸状态之间的变换关系矩阵；
[0132]
确定最优的相机位姿：
[0133]
最优的相机位姿＝在正常屏住呼吸状态所预测的相机位姿*所述变换关系矩阵。
[0134]
本发明还提供一种微创介入导航系统，所述系统包括：
[0135]
规划模块：用于术前医学影像处理，划分出目标区域；
[0136]
导航初始化模块：用于基于所述划分出的目标区域进行全自动在线导航初始化确定二维虚拟内窥镜相机的方向；
[0137]
运动预测模块：用于基于所述二维虚拟内窥镜相机的方向进行相对运动预测；
[0138]
定位模块：用于基于判别性结构相似性度函数确定所述二维虚拟内窥镜相机在三维术前医学影像空间的位置与方向。
[0139]
具体地，
[0140]
手术导航是指在微创介入手术过程中，引导外科医生操作手术器械或工具，快速高效精确到达肿瘤病灶目标区域的方法；它能够给外科医生提供直观、实时在线、三维数字可视化与虚拟现实的手术环境与视野。
[0141]
本发明中手术导航是利用术前影像及其分割结果、术中医学电子内镜视频图像等多模信息，引入稳健高效的算法，在同一个坐标空间里，同步与融合立体可视化这些多模信息，引导电子内镜以及手术导管到达肿瘤病灶目标区域。该手术导航技术融合了视觉运动预测技术与多模图像配准技术的优点，实施精准混合导航技术策略。
[0142]
进一步地，
[0143]
所述系统还包括：
[0144]
显示设备：用于显示手术导航软件界面所有的术前与术中的各种导航信息，实施手术导航；
[0145]
数字视频转接器：用于连接微创介入手术导航系统与其他医疗设备系统；
[0146]
手术推车：集成高性能电脑与数字视频转接器和导航仪，方便医生手术操作；
[0147]
手术导管：承载导航仪的微型定位传感器、共聚焦激光显微内镜系统的光学活检探头与肿瘤消融治疗系统的消融针。
[0148]
进一步地，
[0149]
所述手术导管为预弯型导管或可调节型导管。
[0150]
进一步地，
[0151]
所述肿瘤消融治疗系统包括激光、微波、射频消融和氩氦刀冷冻消融。
[0152]
进一步地，
[0153]
所述系统还包括：
[0154]
医学电子内镜系统：医学电子内镜用于检查患者人体内部的组织异常与否以及电子内镜的工作通道可以承载手术导管或其他微型手术器械；
[0155]
所述医学电子内镜系统包括电子内镜以及附属手术器械，在微创介入手术过程中，外科医生先操作电子内镜(它的前端有视频相机和工作通道)进入人体内部，通过前端相机传到显示器上的实时图像信息，检查患者人体内部的组织异常与否；除了检查功能以外，电子内镜的工作通道可以承载手术导管或其他微型手术器械；利用了内镜视频图像信息，引入了人体官腔结构中心线约束，评价了差分进化粒子滤波随机优化算法的鲁棒性，补偿了患者人体运动形变所带来的导航误差。
[0156]
介入影像系统：确认肿瘤组织活检消融针或者肿瘤消融针与肿瘤病灶之间的相对位置关系，同时利用介入影像实时采集到的人体组织运动形变信息。
[0157]
进一步地，
[0158]
所述医学电子内镜包括软性内镜和硬性内镜；
[0159]
所述介入影像系统包括荧光镜透视、b超、cone
‑
beam ct和介入磁共振。
[0160]
本发明提出了一种微创介入导航系统与方法，可广泛应用于各种微创介入手术过程。可以有效解决现有技术中存在的定位不精准的难题，从而实现了更精准、更高效、更安全的微创介入手术系统与方法。
[0161]
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。