具有人机交互的可穿戴式血管介入手术三维立体图像导航装置的制造方法
【技术领域】
[0001] 本发明属于医疗辅助器械技术领域。
【背景技术】
[0002] 传统的医学影像是通过胶片的方式显示给医生的，或者在图形工作站二维显示器 上显示三维模型，这种显示方式在面向血管介入手术应用中存在以下不足之处：（1)缺乏 深度信息感知，医生需要根据解剖知识和影像信息在头脑中想象术中导管在血管中移动的 场景；（2)缺乏良好的人机交互，由于血管介入手术过程中主刀医生双手进行导管操作，不 便于调整解剖模型的位姿达到期望的观察角度，而助手的操作又往往无法准确理解主刀医 生的诉求；（3)普通二维显示器或三维显示器占用手术室宝贵空间，三维显示器由于可视 角度限制，约束医生移动范围。
【发明内容】
[0003] 本发明的目的是为了解决血管介入手术不便的问题，本发明提供一种具有人机交 互的可穿戴式血管介入手术三维立体图像导航装置。
[0004] 本发明的具有人机交互的可穿戴式血管介入手术三维立体图像导航装置，所述装 置包括穿戴式立体眼镜、MU传感器、服务器和电磁定位系统；
[0005] 穿戴式立体眼镜，将生成的三维立体手术场景进行显示；
[0006] 頂U传感器，设置在虚拟现实眼镜内，用于跟踪使用者的头部运动，采集头部运动 信号；
[0007] 服务器，根据采集的头部运动信号，获得头部姿态信息；根据手术前血管影像信 息、获得的头部姿态信息和手术中导管末端位姿信息，进行空间配准和信息融合，生成三维 立体手术场景；
[0008] 电磁定位系统，用于通过电磁感应，确定手术过程中血管中的导管末端位姿信息。
[0009] 所述服务器，根据手术前血管影像信息、获得的头部姿态信息和手术中导管末端 位姿信息，进行空间配准和信息融合，生成三维立体手术场景包括：
[0010] 将获得的头部姿态信息进行视点变换，映射到虚拟场景中虚拟相机姿态；
[0011] 将获得的手术中导管末端位姿信息与手术前血管影像信息进行信息融合；
[0012] 根据映射得到的虚拟场景中虚拟相机姿态，确定视点和视景体，在视景体范围内， 绘制信息融合后的场景，生成三维立体手术场景。
[0013] 所述服务器，将获得的头部姿态信息进行视点变换，映射到虚拟场景中虚拟相机 姿态为：
[0014] 所述头部姿态信息为人体头部方向信息，获得人体头部坐标系下用四元数向量表 示的人体头部方向信息为1'=[1' 1，1'2，1'3，；1^]1'，根据1'(:=1'(1''）1'。进行视点变换，映射到虚 拟场景中虚拟相机姿态为r。；
[0015] 其中，旋转矩罔
[0016] r。为虚拟场景中虚拟相机的初始位置，r。= [0, 0,d]T，d为虚拟场景中虚拟相机相 对血管模型坐标系原点的距离；r'表示虚拟相机在血管模型标系下用四元数向量表示的 旋转，由于虚拟相机与人体头部的旋转方向是相反的，因此，y= [1^，r2,r3, -rw]T，所述血 管模型为手术前血管影像信息获得的。
[0017] 所述穿戴式立体眼镜，将生成的三维立体手术场景进行显示包括：
[0018] 将生成的三维立体手术场景采用平行轴对称方法建立虚拟场景的左右眼视图，将 左右眼视图分别传递给用户的左右眼。
[0019] 所述頂U传感器包括三轴陀螺仪、三轴加速度计和三轴磁感应计；
[0020] 所述服务器，根据采集头部运动信号，获得头部姿态信息包括：
[0021] 三轴陀螺仪采集的测量数据作为状态方程的输入，加速度计和磁感应计的测量数 据作为测量方程的输入，将状态方程和测量方程进行扩展卡尔曼滤波，获得头部姿态信息。
[0022] 本发明的有益效果在于，本发明利用穿戴式立体眼镜为医生提供血管介入手术过 程中导管在血管中运动场景的三维立体显示图像，由于具有景深的信息，使医生能够在术 中快速的判断导管在血管中的位置信息，降低医生术中认知负担。本发明利用三轴陀螺仪、 加速度计和磁场计，采用基于扩展卡尔曼滤波方法对传感器信息融合，跟踪用户头部位姿， 实现虚拟场景根据用户头部姿态变化进行相应调整的良好人机交互，使医生可以在术中专 心手部的手术器械操作，为医生在手术提供有效的帮助。本发明采用穿戴式立体显示方式， 具有占用空间小、便携性好等优点，而且不受视角范围的影响。
【附图说明】
[0023] 图1为【具体实施方式】中的具有人机交互的可穿戴式血管介入手术三维立体图像 导航装置的原理示意图。
[0024] 图2为基于EKF将頂U传感器采集信息进行融合获得头部姿态信息的原理示意 图；
[0025] 图3为頂U传感器获得的头部姿态信息映射虚拟场景中虚拟相机姿态的相关坐标 系原理不意图。
[0026] 图4为电磁定位系统获得的导管末端位姿信息与手术前血管影像信息进行信息 融合的参考坐标系原理示意图。
[0027] 图5为三维立体手术场景显示的原理示意图。
【具体实施方式】
[0028] 结合图1至图5说明本实施方式，本实施方式所述的具有人机交互的可穿戴式血 管介入手术三维立体图像导航装置，所述装置包括穿戴式立体眼镜、頂U传感器、服务器和 电磁定位系统；使用者佩戴立体眼镜，手持导管操控端，根据立体眼镜中提供的三维立体虚 拟手术场景图象操作导管，通过头部运动以不同角度观察虚拟手术场景，以便于更直观地 观察导管在血管中的位姿。
[0029] 本实施方式的基本原理如图1所示，穿戴式立体眼镜与服务器之间通过蓝牙进行 无线通讯，充分利用两端的硬件环境优势，将任务合理的分配到穿戴式立体眼镜和服务器 上。
[0030] 服务器与电磁定位系统连接，电磁定位系统基本原理是通过磁场发生器在一定空 间范围内产生磁场，将集成电磁传感器的导管末端置于磁场空间中获取导管末端的位姿信 息。服务器与立体眼镜通过蓝牙通讯，主要是获取立体眼镜内頂U传感器采集的头部运动 信号，处理后获得头部姿态信息，根据手术前血管影像信息、获得的头部姿态信息和手术中 导管末端位姿信息，进行空间配准和信息融合，生成三维立体手术场景，再向立体眼镜传输 生成的三维立体虚拟手术场景。
[0031] 穿戴式立体眼镜主要是作为显示终端为用户提供实时的三维立体虚拟手术场景。 穿戴式立体眼镜由两部分组成，显示终端和主机；所述主机包括电源、蓝牙通讯模块和视频 解码模块。穿戴式立体眼镜内置两块TFTIXD显示屏，显示分辨率为854X480像素（WVGA)， 显示比例为16 :9, 24位彩色显示，可视角度为42度。
[0032] 所述頂U传感器包括三轴陀螺仪、三轴加速度计和三轴磁感应计；三轴陀螺仪、三 轴加速度计和三轴磁感应计采集的信号为头部运动信号；
[0033] 所述服务器，根据采集头部运动信号，获得头部姿态信息：
[0034] 三轴陀螺仪测量三个坐标上的角速度，积分之后得到对应轴的相对旋转角度， 实际上由于陀螺仪的漂移和测量噪声的存在，直接积分得到的角度误差很大，需要对其 进行校正，以实现准确的姿态解算。本实施方式采用扩展卡尔曼滤波（ExtendedKalman Filter，EKF)根据頂U传感器的输出进行融合计算，如图2所示。EKF以姿态角和偏移角 作为状态向量，陀螺仪的测量数据作为状态方程的输入，而加速度计和磁感应计的测量数 据作为测量方程输入，状态方程和测量方程进行扩展卡尔曼滤波，最终获得MU传感器的 头部姿态信息，即眼镜的姿态。
[0035] 頂U传感器的陀螺仪需要进行标定，以抵消地球自转产生的角速度部分；加速度 计和磁感应计也需要标定以降低高斯白噪声。
[0036] 頂U传感器自身参考坐标系下，頂U传感器的姿态由四元数向量r表示，即 =(Α，r2,r3,rw)T。IMU传感器的陀螺仪输出为ω= [ωχ,ωy,ωJτ，加速度计的输出 为3=|^^^]1'，磁感应计的输出为111=[1]1)!，1]^，1]1」 1'。陀螺仪，加速度计和磁感应计 的误差噪声建模为零均值高斯白噪声，各传感器高斯白噪声对应的方差分别表示为：
[0037] 本实施方式中，EKF的状态向量由頂U传感器的姿态和旋转角速度构成，即
[0038] xk= (rT，ωτ)τ (1)
[0039] EKF中，状态方程和测量方程分别有函数f和h表示：
[0040] xk=f(xki,wk) =Akxk !+wk (2)
[0041] zk=h(xk, vk) (3)
[0042] 其中Ak为状态转换矩阵，Ak随时间变化，其计算公式为
[0043]
[0044]
[0045] 其中Λt表示采样时间间隔，[ωX]为斜对称矩阵运算符，表示为
[0046] 状态方程中过程噪声^与角速度测量噪声有关，假设为高斯白噪声，则
[0047] wk= [0 1Χ4 0g]T
[0048] 对应的过程噪声协方差矩罔
[0049] 测量方程中观测量由加速度和磁场构成，即zk=[ak，mk]T。测量模型可以表示为
[0050]
(6).
[0051] 其中g和h分别表示重力加速度和地球磁场；V〗和分别表示加速度计和磁感 应计的测量噪声，均假设为高斯白噪声；C(rk)表示地球坐标系向頂U坐标系变换的旋转矩 阵。
[0052]
[0053] 测量方程中，
：对应的测量协方差矩阵 L
m.oa·?」.
[0054] EKF模型循环模型表示为：
[0055] 第一步：预测
[0056] ①根据公式（2)更新系统状态iF(
[0057] ②计算先验误差协方差
[0058]
[0059] 第二步：校正
[0060] ①计算Kalman增益
[0061]
[0062] ②更新状态估计
[0063]
[0064] ③更新误差协方差
[0065]
ψ
[0066] 进而更新头部姿态信息。
[0067] 所述服务器，将获得的头部姿态信息进行视点变换，映射到虚拟场景中虚拟相机 姿态：
[0068] 假设人体头部自然状态下头部正视前方，此时頂U传感器的姿态为其初始状态， 如图3