一种基于AR增强现实的辅助穿刺导航系统的制作方法

一种基于ar增强现实的辅助穿刺导航系统
技术领域
1.本发明涉及一种基于ar增强现实的辅助穿刺导航系统。


背景技术：

2.穿刺是将穿刺针刺入体腔抽取分泌物做化验，或向体腔注入气体或造影剂做造影检查，或向体腔内注入药物的一种诊疗技术。
3.穿刺过程中，操作者无法直接看到人体内部的情况，入针点a的选取取决于操作者的经验，同时操作者无法确认穿刺针的针端是否扎入患者体内的目标穿刺点，当完成一次穿刺操作后，接下来通过影像学设备采集的图像信息，判断穿刺针是否达到目标穿刺点，穿刺针针端与目标穿刺点的距离、穿刺针针端与目标穿刺点偏离的角度位置，操作者根据采集的图像信息重新调整穿刺针进行穿刺，即整个穿刺手术是需要穿刺操作结合影像学设备采集实现的，可能需要反复多次穿刺、多次采集才能完成穿刺手术，主要依靠操作者的个人操作经验，穿刺时间长，难度高，且患者承担风险高。


技术实现要素：

4.本发明要解决的技术问题是提供一种基于ar增强现实的辅助穿刺导航系统。
5.为了解决上述技术问题，本发明采用的技术方案是：一种基于ar增强现实的辅助穿刺导航系统，包括影像学设备，用于采集患者的图像数据，所述影像学设备上设置有影像学设备原点；介入移动影像工作站，用于接收来自所述影像学设备的图像数据，并将所述图像数据转三维化处理，在匹配所述原点的医学影像三维空间坐标系内，生成并显示医学影像3d图像，供操作者查看和选取入针点a和穿刺点t，并根据选取的入针点a和穿刺点t的位置坐标，生成所述入针点a与所述穿刺点t之间具有穿刺路径的3d图像观察平面，通过查看与/或选定旋转所述直线从而供操作者参考并判断，直至选出一条合适的直线作为穿刺路径，并将确认的穿刺路径的入针点a作为靶点；辅助穿刺导航装置，包括显示屏，所述显示屏上设置有至少三个摄像头，辅助穿刺导航装置的cpu可根据各个所述摄像头采集到的图像数据得到患者靶点位置、影像学设备周围匹配的标志板环境与显示屏位置。
6.在某些实施方式中，所述影像学设备可以为ct扫描仪、磁共振成像设备、超声成像设备、核医学成像设备中的一种。
7.在某些实施方式中，所述影像学设备还包括用于覆盖在患者身上从而能够采集患者包含有图像坐标点的图像数据的ct定位网。
8.在某些实施方式中，所述辅助穿刺导航系统还包括固定设置于所述影像学设备周围能够反映所述影像学设备原点位置的至少一个标志板，所述标志板分布于影像学设备原点、影像学设备手术台面、影像学设备周围空间、天花板、周围墙壁中的至少一个上，三个摄像头中至少一个摄像头用于追踪并采集所述标志板。
9.在某些实施方式中，所述标志板为aruco标识板。
10.在某些实施方式中，所述辅助穿刺导航系统还包括依照张正友标定法进行显示屏
的内参采集从而得到显示屏的内参的棋盘格标定图纸，所述棋盘格标定图纸铺设于基于影像学设备原点的环境标志板坐标系zw＝0的平面上，所述影像学设备原点位于棋盘格标定图纸的固定一角，三个摄像头中至少一个摄像头用于采集棋盘格标定图纸图片。
11.在某些实施方式中，所述显示屏上设置有陀螺仪。
12.在某些实施方式中，所述辅助穿刺导航系统还包括设置于所述靶点上的靶点色贴，所述靶点色贴是颜色与皮肤色和环境色有明显区别的色环贴，所述靶点色贴中心开设有直径2mm的孔洞，三个摄像头中至少两个个摄像头用于采集所述靶点色贴。
13.在某些实施方式中，所述辅助穿刺导航系统还包括穿刺针，所述穿刺针包括针本体、固定于所述针本体上端部的针手柄，所述针本体的上部设置有两个以上能够区别于周边环境色的色环，或者所述针本体的上部和所述针手柄上设置有两个以上能够区别于周边环境色的色环，两个以上所述色环沿着所述穿刺针的长度方向分布，用于采集所述靶点色贴的摄像头同时采集所述穿刺针。
14.本发明的范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案等。
15.由于上述技术方案运用，本发明与现有技术相比具有下列优点：本发明提供一种基于ar增强现实的辅助穿刺导航方法,通过影像学设备采集到的患者信息，通过介入移动影像工作站将体现三维空间的3d图像观察平面显现出来，供操作者选择出一条较佳的穿刺路径，结合显示屏在基于影像学设备原点的物理环境中的位置及内参，将确认的穿刺路径在物理世界的环境标志板坐标系中匹配，即在显示屏上显示的患者靶点处生成对应所述穿刺路径的ar穿刺辅助线的ar图像，从而能够引导操作者进行穿刺手术，操作者进行穿刺时，可以参考显示屏中的ar图像中的穿刺辅助线进行穿刺，本方案在介入移动影像工作站中选择了最佳穿刺路径，根据穿刺辅助线手术，操作简单，更加数据化，穿刺更加精确，穿刺效率高，降低患者穿刺风险。
附图说明
16.附图1为本发明辅助穿刺导航系统示意图；
17.附图2为显示屏与ct床安装位置示意图；
18.附图3为3d图像观察平面结构图；
19.附图4为本发明ct室环境标志板分布示意图；
20.附图5为检测标志板示意图；
21.附图6为使用模拟患者的穿刺路径选择过程示意图；
22.附图7为使用模拟患者的ar显示的穿刺辅助线以及穿刺过程示意图；
23.其中，1、影像学设备；2、介入移动影像工作站；3、辅助穿刺导航装置；4、标志板；5、穿刺针。
具体实施方式
24.如附图1所示，基于ar增强现实的辅助穿刺导航系统，包括影像学设备1，用于采集患者的切片图像数据，影像学设备如ct机放在ct室内，ct扫描电脑主机放在操作间内，ct扫
描电脑主机与ct机可以通过wifi或网线以及rabbitmq管道相连接。本实施例中，影像学设备上设置有影像学设备原点，该原点设置有原点标记，原点标记为aruco标记。
25.基于ar增强现实的辅助穿刺导航系统，还包括介入移动影像工作站2，作为切片图像数据的中转和处理平台，即接收来自影像学设备的图像数据，并将该图像数据转三维化处理，在以影像学设备原点作为坐标系原点的三维空间内生成显示医学影像3d图像，供操作者查看和选取入针点a和穿刺目标点t，并根据选取的入针点a和穿刺目标点t的位置坐标，生成所述入针点a与所述穿刺目标点t之间具有直线的3d图像观察平面，通过查看与/或选定旋转所述直线从而供操作者参考并判断，直至选出一条合适的直线作为穿刺路径，并将确认的穿刺路径的入针点a作为靶点。
26.基于ar增强现实的辅助穿刺导航系统，还包括辅助穿刺导航装置3，本实施例中，该辅助穿刺导航装置3直接为将cpu与显示屏集成为一体的pad，该pad上设置有至少三个摄像头，pad的cpu可根据各个所述摄像头采集到的图像数据得到患者靶点位置、影像学设备原点位置、周围环境、pad位置，使得影像学设备周围环境与以影像学设备原点作为坐标系原点的三维空间相统一。辅助穿刺导航装置也可以是分体式的，包括主机、与主机相连接的显示屏，但是该显示屏上也设置有至少三个摄像头，主机可根据各个所述摄像头采集到的图像数据得到患者靶点位置、影像学设备原点位置、周围环境、显示屏位置。
27.影像学设备周围设置有能够对应影像学设备原点的至少一个标志板，标志板为aruco标识板，aruco标记是一种二进制正方形的基准标志物，标志板分布于影像学设备原点、影像学设备台面、影像学设备周边区域、天花板、周围墙壁上，三个摄像头中至少一个摄像头用于追踪并采集标志板。
28.在进行首次穿刺手术之前，做如下准备：
29.一、首先张贴aruco标记板与天花板和手术台周边区域。
30.二、利用平板摄像头录制影像学设备环境并采集显示屏摄像头内参。
31.利用平板摄像头录制影像学设备环境，环绕室内两周并形成闭环，覆盖影像学设备，天花板，周围墙壁上的所有标志板，并且在在画面的视野里面有两个以上的标志板；
32.依照经典的张正友标定法，进行显示屏摄像头的内参标定，具体步骤为：首先打印一张棋盘格标定图纸，将其贴在平面物体的表面；拍摄一组不同方向棋盘格的图片，可以通过移动相机来实现，也可以移动标定图片来实现；对于每张拍摄的棋盘图片，检测图片中所有棋盘格的特征点(角点，也就是黑白棋盘交叉点)，定义打印的棋盘图纸位于世界坐标系zw＝0的平面上，世界坐标系的原点位于棋盘图纸的固定一角，像素坐标系原点位于图片左上角；因为棋盘标定图纸中所有角点的空间坐标是已知的，这些角点对应在拍摄的标定图片中的角点的像素坐标也是已知的，如果我们得到这样的n>＝4个匹配点对(越多计算结果越鲁棒)，就可以根据lm等优化方法得到其单应矩阵h；最后分解得到显示屏摄像头内参。
33.三、将录制的环境照片和显示屏摄像头内参，导入显示屏建图系统，进行建图和联合优化操作，如图4、5所示，具体的操作流程为：
34.1、标记检测，如果图像中有一些aruco标记可见，则检测过程必须返回检测到的标记列表。每个检测到的标记包括：它的四个角在图像中的位置(按其原始顺序)；标记的id，标记检测过程由两个主要详细步骤为：候选标记的检测。在这一步中，对图像进行分析，以便找到作为候选标记的正方形。该算法首先对图像进行自适应阈值分割，然后从分割后的
图像中提取轮廓线，剔除不凸或不近似正方形的轮廓线。还应用了一些额外的噪声滤波算法(去除过小或过大的轮廓，去除彼此太接近的轮廓等)；在候选标记检测之后，需要通过分析它们的内部编码来确定它们是否真的是标记物。此步骤首先提取每个标记的标记位。为此，首先应用透视变换来获得标准形式的标记。然后，利用otsu对标准图像进行阈值分割，分离出黑白图像。根据标记大小和边框大小将图像划分为不同的单元，并且计算每个单元上的黑色或白色像素的数量以确定它是白色还是黑色位。最后，对位进行分析以确定标记是否属于特定字典，并在必要时采用纠错技术。
35.2.姿态估计：aruco标记有不同的规格，称之为字典，例如dict_6x6_250字典集中的marker维度是6*6,能表示250个marker.maker编码的时候考虑到了方向性，因此无论如何摆放，都可以区分四个不同的角。通过上一步检测到了图像中对应角的2d点坐标，因而有了一组物理世界中的3d点坐标和图像中的2d点坐标，又由于显示屏摄像头内参已知，可以求解下列公式中的r和t，也就是从世界坐标系到相机坐标系的变换关系，具体公式为：
36.sp
i
＝b[r|t]p
w
，其中，s表示深度信息；u,v,是在相机画面里像素的坐标,组成p
i
；f
x
,f
y
是xy平面的焦距；u0,v0是成像平面中心，也即图像坐标系的原点在像素坐标系当中的坐标；公式中3x3的矩阵组成为b，表示从相机坐标系通过成像模型中的相似三角形原理得到图像坐标系；图像坐标系通过平移和缩放得到像素坐标系，r
11
‑
r
33
组成矩阵r,t1‑
t3组成矩阵t，r和t分别表示旋转矩阵和位移向量，表示世界坐标系通过平移和旋转得到相机坐标系，x
w
,y
w
,z
w
表示世界坐标系中的一点，即p
w
。
[0037]
3.建图和优化，根据上一步获取的姿态估计进行创建有向姿势图，其中节点表示标记，边缘表示它们的相对姿势。使用有向姿势图可以如下获得公共参考系统中标记位姿的初始估计。首先，选择一个起始节点作为世界坐标系基准，然后计算图的最小生成树。这个有向姿势图可能包含相对姿态中的误差，当沿着路径传播时，这些误差会导致较大的最终误差。我们的目标是获得一个图其中的相对位姿得以改进。为此，我们将沿着有向姿势图的循环传播错误，这个问题也称为运动平均。
[0038]
首先，我们从图中删除异常连接以防止它们破坏优化。为此，我们计算最小生成树中边的权重的均值和标准差。对于其余的边(不在最小生成树中)，我们从图中删除了均值99％置信区间之外的那些。接着，我们根据上一步的优化结果进行下一步的优化：我们对于有向姿势图分别优化旋转和平移分量，在对于优化旋转的过程中，旋转误差沿图循环的分布是通过在每个循环中独立分布误差，然后对出现在一个以上循环中的边的旋转估计进行平均来实现的。重复这个过程直到收敛。一旦获得了最佳旋转，就需要在优化之前将平移与旋转解耦。解耦平移是通过选择解耦点获得的，该解耦点将作为两个标记的旋转中心。
[0039]
4.得到以标志板为基准的环境参数。
[0040]
四、统一环境标志板坐标系和影像学设备坐标系，利用放置在影像学设备台原点的标志板，确认坐标系转换，将世界坐标系统一至该环境标志板坐标系，也就是环境标志板坐标系与影像学设备坐标系一致，具体的步骤为：
[0041]
1.放置一个已知尺寸的长方体，无图示，将8个直径为2mm的金属球形基准点放置
在每个角落。基准点在环境标志板坐标系中的相对位置，可以被预先校准。将长方体摆放在影像学设备上的某一个标志板上，这个标志板在环境标志板坐标系是已知的，可以通过计算长方体与这个标志板的相对位置关系确认长方体在该环境坐标系中的位置信息。
[0042]
2.将长方体放入影像学设备进行扫描，可以获取金属球形基准点在影像学设备坐标系中的坐标。这样我们获取8个3维坐标的对应关系，通过基于点对点的刚体配准计算，可以获取环境标志板坐标系和影像学设备坐标系的转换矩阵。当ar设备获取到该设备相对于环境标志板坐标系的相对位姿时，可以通过该转换矩阵实时更新为相对于影像学设备坐标系的相对位姿。
[0043]
五、验证环境重建和优化标定结果：1.拆除手术台和墙壁的标志板，保留天花板和影像学设备手术台坐标原点的标志板；2.通过ar设备显示基于标志板识别的金属基准点，与真实环境中的基准点进行比对，计算相对的移动偏差并优化获取的环境标志板坐标系。
[0044]
六、验证完毕之后，将影像学设备的标志板原点，与3d医学图像坐标系进行统一，在手术台固定的情况下，无需再重复标定，将影像学设备原点的标志板也拆除，最终只需保留天花板的标志板即可；如果手术台进行了刚性的位移，输入相应位移坐标调整，即能和原有的坐标系进行统一，理论上也无需重复标定。
[0045]
患者躺在影像学设备的平台上，基于ar增强现实的辅助穿刺导航方法,包括以下步骤：
[0046]
步骤s01、通过经原点定位设置的影像学设备1采集覆盖有ct定位网患者的图像数据；
[0047]
步骤s02、采集完毕后将图像数据同步传输至介入移动影像工作站2，介入移动影像工作站2接收图像数据后，在匹配所述原点的影像学设备坐标系内，生成并显示医学影像3d图像；
[0048]
步骤s03、操作者查看所述医学影像3d图像，并在所述医学影像3d图像上选取入针点a和穿刺目标点t，所述介入移动影像工作站2根据所述入针点a和所述穿刺目标点t，生成所述入针点a与所述穿刺目标点t之间具有穿刺路径的3d图像观察平面，所述穿刺路径为入针点a与穿刺目标点t之间的直线，入针点a与穿刺目标点t详细的坐标变换如下：在医学影像3d图像中手动选取入针点a(i
x，a
，i
y，a
，i
z，a
)和穿刺目标点t(i
x，t
，i
y，t
，i
z，t
)，将所述图像坐标点转换世界坐标位置：
[0049][0050]
中，p
xyz
为体素点i
xyz
的世界坐标，单位为mm，o
xyz
是imagepositionpatient(0020,0032)中的值，是图像左上角体素点的世界坐标，单位为mm，s
xy
是pixelspacing(0028,0030)中列像素分辨率和行像素分辨率，单位为mm，单位为mm,o
x1
，o
y1
，o
z1
是第一层图像的o
xyz
，而o
x2
，o
y2
，o
z2
是第二层图像的o
xyz
，d
x，x
，d
x，y
，d
x，z
是imageorientationpatient(0020,0037)中x方向的余弦值，d
y，x
，d
y，y
，d
y，z
是imageorientationpatient(0020,0037)中y方向的余弦值，d
z，x
，d
z，y
，d
z，z
是imageorientationpatient(0020,0037)中x方向和y方向的余弦值叉乘得到的z方向的余弦
值，从而根据所述入针点a与所述穿刺目标点t各自的世界坐标生成具有所述穿刺路径的3d图像观察平面，如图3所示，3d图像观察平面还包括入针点a，穿刺目标点t，入针点a在穿刺目标点t所在的xz平面上投影形成的投影点a1，入针点a在穿刺目标点t所在的xy平面上投影形成的投影点a2，穿刺目标点t在入针点a所在xy平面上投影形成的投影点t1，穿刺目标点t在入针点a所在yz平面上投影形成的投影点t2，由入针点a、穿刺目标点t、投影点t2组成的斜轴图像平面，由入针点a、投影点a2、穿刺目标点t组成的斜矢图像平面,角度t1aa1，角度taa2，结合体表mark点追踪和呼吸曲线监测(对应肺部体积变化)，动态校准入针点a和穿刺目标点t，推荐操作者在呼吸波形的同一位置，进行扫描和后续操作，这样a和t都在三维空间中保持不变；
[0051]
步骤s04、操作者通过查看与/或选定旋转所述3d图像观察平面内的所述穿刺路径，判断所述入针点a是否合适，如果合适就将该入针点a作为靶点，如果不合适，则操作者选定所述穿刺路径绕所述穿刺目标点t旋转直至选出一条合适的穿刺路径，并将该穿刺路径的入针点a作为靶点，如图6所示，操作者根据靶点在患者身体相应位置处贴上靶点色贴，靶点色贴是颜色与皮肤色和环境色有明显区别的色环贴，靶点色贴中心开设有直径2mm的孔洞；
[0052]
步骤s05、确定靶点后，介入移动影像工作站2将所有信息同步至具有显示屏的辅助穿刺导航装置3，所述显示屏上设置有用于采集患者靶点位置、影像学设备周围匹配的标志板环境与显示屏位置的至少三个摄像头，基于所述原点，结合显示屏在环境标志板坐标系中位置及内参，将确认的穿刺路径在所述环境标志板坐标系中匹配，在显示屏上显示在患者靶点处生成对应所述穿刺路径的ar穿刺辅助线从而能够引导穿刺针5穿入的ar图像，辅助操作者进行穿刺，结合显示屏在环境标志板坐标系中的内参，如图7所示，在显示屏上显示的患者靶点处生成对应穿刺路径的ar穿刺辅助线从而能够引导穿刺针穿入的ar图像，辅助操作者进行穿刺，穿刺针5包括针本体、固定于针本体上端部的针手柄，针本体的上部设置有两个以上能够区别于周边环境色的色环，或者针本体的上部和针手柄上设置有两个以上能够区别于周边环境色的色环，两个以上色环沿着穿刺针的长度方向分布，用于采集靶点的摄像头实时捕捉穿刺针的动态数据并显示在ar图像上。
[0053]
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。