血管介入手术的增强现实辅助方法及装置与流程

1.本发明涉及一种医学增强现实辅助技术，具体涉及一种血管介入手术的增强现实辅助方法。


背景技术：

2.血管介入手术是治疗心血管疾病的微创手术，在医学影像的辅助下，通过在血管中递入导丝导管，完成血管支架放入等不同操作。血管介入手术中，医生需要时刻知道导丝导管递送的状态。现有技术使用血管造影及ct扫描，医生通过观察二维屏幕上的医学影像，结合解剖学先验知识判断导丝导管的位置。
3.现有技术中存在一些基于增强现实技术的手术辅助方案可用于血管介入手术。然而现有手术导航中的增强现实依然多在二维显示器上进行展示无法保证与真实场景的无缝融合。使用此类方法医生需要在脑中完成从二维ct数据到三维空间再到病患所处位置的映射，影像展示效果不直观，医生记忆负担较重，对医生手术操作需要高度集中注意力，从而也带来了一定的手术风险。另一方面，现有技术使用商用的头戴式增强现实眼镜存在着视野小的问题，在增加了医生在手术中的负担的同时，也难以保证医生及助手实时准确地共享展示的虚拟数据。


技术实现要素：

4.本发明所要解决的技术问题在于克服现有技术不足，提供一种血管介入手术的增强现实辅助方法，可将病患二维ct数据准确且实时地投射至三维实体空间中病患身体上，在病患身体上展示血管几何及介入手术中导丝导管递送过程，医生可在真实物理空间内实时观察导丝导管递送的透视效果，通过就地观察介入手术进程以更好的控制导丝导管的递入过程。
5.本发明具体采用以下技术方案：一种血管介入手术的增强现实辅助方法，在术前，将病患的体数据与模板人体模型进行非刚性匹配，得到病患的静态人体模型，所述模板人体模型包含人体表面三维网格模型以及嵌入在人体表面内的血管几何三维网格模型；在术中，实时获取病患的血管造影图像p及人体表面深度图像，并计算血管造影图像p到静态人体模型的配准变换函数f1以及静态人体模型到人体表面深度图像的配准变换函数f2，然后将血管造影图像p通过映射f2(f1(p))变换后投影至病患身体上，获得与三维物理空间一致且包含导丝导管位置和血管几何信息的血管造影图像三维投影。
6.优选地，所述配准变换函数f1是基于血管骨架的先验知识，使用基于模拟退火的随机采样算法计算得到。
7.进一步优选地，所述基于模拟退火的随机采样算法中的配准打分函数设置如下：以图像中心的骨架分支点为根结点，建立树结构t；对血管造影图像p中的树结构
与静态人体模型中树结构进行树结构匹配搜索，在上一时刻的静态人体模型附近搜索分支点x，遍历其骨架图上的邻居节点，形成树结构t’；在t’中寻找子树与血管造影图像p中获得的树结构进行匹配，若不存在匹配，则配准分数s设置为0；如匹配，则以各分支点之间的坐标差求和的倒数作为配准分数s。
8.进一步优选地，所述基于模拟退火的随机采样算法的搜索方案设置如下：初始化时，在导丝导管递入初始位置附近进行随机采样；初始化之后的配准中，以上一时刻所计算的配准变化f1’为参考值，使用对变换f1’进行随机扰动获得随机采样的配准变换。
9.更进一步优选地，扰动中分别对变换f1’的平移和旋转加上服从高斯分布的噪声，高斯分布的标准差随着模拟退火中温度的降低而变小。
10.进一步地，所述血管介入手术的增强现实辅助方法还包括：在术中，根据导丝导管位置和血管几何信息实时计算导丝导管前端处的血流流量、血压，并将其映射成颜色展示在骨架上，从而得到仿真分析数据；然后使用配准变换函数f2将所述仿真分析数据变换后投影至病患身体上，获得与三维物理空间一致的仿真分析结果投影。
11.优选地，血流流量、血压的计算方法具体如下：根据导丝导管位置和血管几何信息构建血管骨架树(v,e)，其中v为血管骨架树上的顶点集合，e为血管骨架树上顶点的连接边集合；对于每条骨架树上的边e={vi, vj}，其中vi，vj是边e的两个顶点，根据poiseuille模型建立vi、vj处流量qe与血压δpe变化的线性关系qe=keδpe，其中系数ke是与血管半径相关的常数；然后根据血管树的邻接关系，以心脏血压为边界条件，综合每条边上的线性方程，加入分叉点处流量流入流出值相等的线性方程，形成线性方程组；最后通过求解此线性方程组实时获得各血管处的血压分布及血流流量。
12.优选地，通过透明度设置将仿真分析结果投影与血管造影图像三维投影叠加显示。
13.基于同一发明构思还可以得到以下技术方案：一种血管介入手术的增强现实辅助装置，包括：造影模块，用于在术中实时获取病患的血管造影图像p；人体几何采集模块，用于在术中实时获取病患的人体表面深度图像；配准模块，用于在术中实时计算血管造影图像p到静态人体模型的配准变换函数f1以及静态人体模型到人体表面深度图像的配准变换函数f2；所述静态人体模型是通过在术前将病患的体数据与模板人体模型进行非刚性匹配得到，所述模板人体模型包含人体表面三维网格模型以及嵌入在人体表面内的血管几何三维网格模型；投影模块，用于将血管造影图像p通过映射f2(f1(p))变换后投影至病患身体上，获得与三维物理空间一致且包含导丝导管位置和血管几何信息的血管造影图像三维投影。
14.优选地，所述配准变换函数f1是基于血管骨架的先验知识，使用基于模拟退火的随机采样算法计算得到。
15.进一步优选地，所述基于模拟退火的随机采样算法中的配准打分函数设置如下：以图像中心的骨架分支点为根结点，建立树结构t；对血管造影图像p中的树结构与静态人体模型中树结构进行树结构匹配搜索，在上一时刻的静态人体模型附近搜索分支点x，遍历其骨架图上的邻居节点，形成树结构t’；在t’中寻找子树与血管造影图像p中获得的树结构进行匹配，若不存在匹配，则配准分数s设置为0；如匹配，则以各分支点之间的坐
标差求和的倒数作为配准分数s。
16.进一步优选地，所述基于模拟退火的随机采样算法的搜索方案设置如下：初始化时，在导丝导管递入初始位置附近进行随机采样；初始化之后的配准中，以上一时刻所计算的配准变化f1’为参考值，使用对变换f1’进行随机扰动获得随机采样的配准变换。
17.更进一步优选地，扰动中分别对变换f1’的平移和旋转加上服从高斯分布的噪声，高斯分布的标准差随着模拟退火中温度的降低而变小。
18.进一步地，所述血管介入手术的增强现实辅助装置还包括仿真分析模块，用于在术中根据导丝导管位置和血管几何信息实时计算导丝导管前端处的血流流量、血压，并将其映射成颜色展示在骨架上，从而得到仿真分析数据；所述投影模块还用于使用配准变换函数f2将所述仿真分析数据变换后投影至病患身体上，获得与三维物理空间一致的仿真分析结果投影。
19.优选地，血流流量、血压的计算方法具体如下：根据导丝导管位置和血管几何信息构建血管骨架树(v,e)，其中v为血管骨架树上的顶点集合，e为血管骨架树上顶点的连接边集合；对于每条骨架树上的边e={vi, vj}，其中vi，vj是边e的两个顶点，根据poiseuille模型建立vi、vj处流量qe与血压δpe变化的线性关系qe=keδpe，其中系数ke是与血管半径相关的常数；然后根据血管树的邻接关系，以心脏血压为边界条件，综合每条边上的线性方程，加入分叉点处流量流入流出值相等的线性方程，形成线性方程组；最后通过求解此线性方程组实时获得各血管处的血压分布及血流流量。
20.优选地，投影模块通过透明度设置将仿真分析结果投影与血管造影图像三维投影叠加显示。
21.相比现有技术，本发明技术方案具有以下有益效果：本发明通过引入模板人体模型来实现二维ct图像与三维深度图像的配准，可将病患二维ct数据准确且实时地投射至三维实体空间中病患身体上，在病患身体上展示血管几何及介入手术中导丝导管递送过程，医生可在真实物理空间内实时观察导丝导管递送的透视效果，通过就地观察介入手术进程以更好的控制导丝导管的递入过程；本发明还可以基于配准数据实时获得各血管处的血压分布及血流流量仿真分析数据，并将其准确且实时地投影至病患身体上，获得与三维物理空间一致的仿真分析结果投影，从而为医生在术中提供更好的可视化数据支持；并可进一步将仿真分析结果投影与血管造影图像三维投影协同展示，获得更好的手术辅助效果；采用本发明技术方案，医生无需观察屏幕进行手脑协同的间接映射，也不需要佩戴任何头戴式的增强现实显示设备，可以全局地了解导丝导管递送的状态及过程，且可以有效地利用仿真计算结果实时地观察到各种物理信息以辅助操作决策。
附图说明
22.图1为本发明增强现实辅助装置一个优选实施例的结构原理示意图。
具体实施方式
23.针对现有技术所存在的不足，本发明的解决思路是采用投影的方式将二维ct图像转换为三维投影图像实时显示，并通过引入模板人体模型来实现二维ct图像与三维深度图
像的配准，可将病患二维ct数据准确且实时地投射至三维实体空间中病患身体上，在病患身体上展示血管几何及介入手术中导丝导管递送过程，医生可在真实物理空间内实时观察导丝导管递送的透视效果，通过就地观察介入手术进程以更好的控制导丝导管的递入过程。
24.具体而言，本发明所提出的血管介入手术的增强现实辅助方法，包括：在术前，将病患的体数据与模板人体模型进行非刚性匹配，得到病患的静态人体模型，所述模板人体模型包含人体表面三维网格模型以及嵌入在人体表面内的血管几何三维网格模型；在术中，实时获取病患的血管造影图像p及人体表面深度图像，并计算血管造影图像p到静态人体模型的配准变换函数f1以及静态人体模型到人体表面深度图像的配准变换函数f2，然后将血管造影图像p通过映射f2(f1(p))变换后投影至病患身体上，获得与三维物理空间一致且包含导丝导管位置和血管几何信息的血管造影图像三维投影。
25.进一步地，所述血管介入手术的增强现实辅助方法还包括：在术中，根据导丝导管位置和血管几何信息实时计算导丝导管前端处的血流流量、血压，并将其映射成颜色展示在骨架上，从而得到仿真分析数据；然后使用配准变换函数f2将所述仿真分析数据变换后投影至病患身体上，获得与三维物理空间一致的仿真分析结果投影。
26.为了便于公众理解，下面通过一个具体实施例并结合附图来对本发明的技术方案进行详细说明：本实施例的血管介入手术的增强现实辅助装置如图1所示，包括：造影模块，用于在术中实时获取病患的血管造影图像p；人体几何采集模块，用于在术中实时获取病患的人体表面深度图像；配准模块，用于在术中实时计算血管造影图像p到静态人体模型的配准变换函数f1以及静态人体模型到人体表面深度图像的配准变换函数f2；所述静态人体模型是通过在术前将病患的体数据与模板人体模型进行非刚性匹配得到，所述模板人体模型包含人体表面三维网格模型以及嵌入在人体表面内的血管几何三维网格模型；仿真分析模块，用于在术中根据导丝导管位置和血管几何信息实时计算导丝导管前端处的血流流量、血压，并将其映射成颜色展示在骨架上，从而得到仿真分析数据；投影模块，用于将血管造影图像p通过映射f2(f1(p))变换后投影至病患身体上，获得与三维物理空间一致且包含导丝导管位置和血管几何信息的血管造影图像三维投影；并使用配准变换函数f2将所述仿真分析数据变换后投影至病患身体上，获得与三维物理空间一致的仿真分析结果投影。
27.整个实现过程包括术前准备和术中的配准及投影显示，分别说明如下：术前准备：将病患的体数据与模板人体模型进行非刚性匹配，得到病患的静态人体模型，所述模板人体模型包含人体表面三维网格模型以及嵌入在人体表面内的血管几何三维网格模型，本实施例中采用的具体方法如下：1）扫描病患全身ct数据，获得体数据b；2）准备模板人体模型，其包含人体表面三维网格模型b0及嵌入在人体表面内的血管几何三维网格模型v0；使用delaunay四面体网格化算法，以表面三维网格b0为边界条件，对b0进行四面体网格化，获得对应的模板人体模型的四面体网格t0，记其平均变长为e，同时
对t0中的所有顶点建立kd树空间索引结构，便于查找空间中任一点v附近的t0中的顶点；3）对于 v0每个顶点v，使用kd树空间索引结构，以3e为搜索半径获得其附近的t0中的顶点集合p，查找t0中的网格连接信息获得与p中所有顶点邻接的四面体集合tp，使用点在四面体内外的判断计算找到v所在的四面体序号，同时根据重心坐标定义获得所在四面体内的重心坐标；4）计算模板人体表面模型b0到体数据b的非刚性匹配：交互式地标记病患体数据b及模板人体表面模型b0上的对应的关键点{x
i’，xi}，以关键点之间的对应关系使用基于有限元的形变模型建模b0的形变，使其向病患体数据b上配准；形变计算收敛后，对b0上每个顶点沿着其法向搜索附近最近的高梯度值体素形成稠密的对应关系，根据此对应关系再次执行基于有限元的形变，完成模板人体表面模型b0到体数据b的非刚性匹配f
ꢀ’
；此时，根据所记录的血管几何三维网格模型v0，获得病患ct体数据b中配准后的血管顶点信息f
ꢀ’
(v0)，并对f
ꢀ’
(v0)中的每个顶点再次执行沿着其法向搜索附近最近的高梯度值体素形成稠密的对应关系，根据此对应关系再次执行基于有限元的形变，获得体数据及相应血管顶点的几何信息，将此模型记为静态人体模型b’，用于术中配准；最后将投影设备置于患者上方并完成投影设备到病患身体的变换标定。
28.术中配准：造影模块使用血管介入手术中的标准技术，通过打入造影剂ct设备获得导丝前段附近造影血管ct图像p；人体几何采集模块使用深度相机置于患者上方获得人体表面深度图像d；配准模块计算造影血管ct图像p到人体表面深度图像d的映射关系f，用于将造影血管ct图像p投影至真实物理空间中。本实施例中配准模块的具体工作步骤包括：（1）初始化导丝导管递入位置，在静态人体模型b’处标记导丝导管递入初始位置；（2）计算造影血管ct图像p到静态人体模型b’的配准变换函数f1；本实施例中基于血管骨架的先验知识，使用基于模拟退火的随机采样算法计算配准变换函数f1：算法中配准打分函数s设置：以血管骨架作为特征，提取造影血管ct图像中血管骨架与静态人体模型中的骨架，获得骨架分支点，可使用网格收缩或局部柱体拟合方式获得骨架轴线，并在多个骨架的交汇点处按距离轴线最近的点连接；以图像中心的骨架分支点为根结点，建立树结构t；对ct图像中的树结构与模板人体模型中树结构进行树结构匹配搜索，搜索在上一时刻的模板人体模型附近搜索分支点x，遍历其骨架图上的邻居节点，形成树结构t’，在t’中寻找子树与造影图像中获得的树结构进行匹配，若不存在匹配则结构不一致，配准分数s设置为0；获得匹配，即结构一致时，计算各分支点之间的坐标差求和的倒数作为配准分数s；所得到的配准分数s表征了配准变换的准确性，用于优化配准变换；算法中的搜索方案设置：初始化时，在导丝导管递入初始位置附近进行随机采样；初始化之后的配准中，以上一时刻所计算的配准变化f1’为参考值，使用对变换f1’进行随机扰动获得随机采样的配准变换；扰动中分别对变换f1’的平移和旋转加上服从高斯分布的噪声，高斯分布的标准差随着模拟退火中温度的降低而变小，具体实施中可设定初始标准差为平移1～3cm，旋转2～30o，迭代中按比例系数0.98衰减；对所有的随机采样使用模拟退火算法，根据配准分数s对随机采样进行随机接收或拒绝，经过多次迭代计算获得优化后的配准变换f1。
29.（3）计算静态人体模型b’到人体表面深度图像d的配准变换f2：
首先使用刚性点云到三维模型的迭代最近邻算法获得对f2的估计f2’；之后以f2’为初始值，计算静态人体模型b’各顶点到人体表面深度图像d的最近距离，以此距离最为位移输入，使用弹性形变模型最小化此位移输入下人体模型的弹性能量对模板人体模型进行变换，之后迭代计算变换后模型各顶点到人体表面深度图像d的最近距离，执行形变操作，直至形变距离小于一定阈值达到收敛。以上部分在具体实施时，也可使用类似术前准备的非刚性配准方案，使用空间检索结构提高搜索效率。计算最近距离时，将同时加权欧式距离与顶点之间的扩散距离以保证关键点之间有着较好的对应关系，实施中可根据需要调整权重设置，如将欧式距离权重设为0.8，扩散距离权重设为0.2。由于病患在手术操作中基本保持静止，使用投影式增强现实时投影设备也保持静止，此时配准计算操作也可在预计算中完成，术中配准时不再进行大规模迭代计算，进一步保证了配准模块的实时性。完成人体模型b’到人体表面深度图像d的形变配准后，同时也获得了模型内部的形变，使用重心坐标插值计算嵌入在静态人体模型b’中的的血管几何三维网格模型v0各顶点的位置，获得配准后的血管几何三维模型。
30.仿真分析计算：1）完成配准后，可获得导丝导管位置及人体模型中的血管几何信息，在此信息上同时也获得了血管骨架树(v,e)，其中v为血管骨架树上的顶点集合，e为血管骨架树上顶点的连接边集合。具体实施中，可同时根据血管截面拟合以边方向为法向的圆盘可以获得每条边的半径；2）对于每条骨架树上的边e={vi, vj}，其中vi，vj是边e的两个顶点，根据poiseuille模型可建立vi, vj处流量qe与血压δpe变化的线形关系qe=keδpe，其中系数ke是与血管半径相关的常数；根据血管树的邻接关系，以心脏血压为边界条件，综合每条边上的线性方程，加入分叉点处流量流入流出值相等的线性方程，形成线性方程组，求解此线性方程组及可实时获得各血管处的血压分布及血流流量；3）在血管骨架上根据弧长参数线性插值计算导丝导管前端处流速血压，将物理量映射成颜色展示在骨架上，给血管介入手术进一步提供来自于仿真分析的增强现实视觉辅助。
31.术中增强现实显示：本实施例中的投影型增强现实支持以下两种增强现实显示形式：1）血管造影图像形式显示：组合术中配准获得的变换函数f1及f2，将血管造影图像通过映射f2(f1(p))变换后投影至病患身体上，获得与三维物理空间一致的血管造影图像投影；2）仿真分析数据显示形式：使用模板人体到三维物理空间的映射f2将仿真结果映射后投影，获得与三维物理空间一致的仿真分析结果投影。
32.上述两种显示方式可以根据实际需要则宜选用，具体实施中，也可通过设置透明度同时叠加血管造影图像与仿真分析结果投影，从而提供二维、三维数据的协同展示。