一种面向微创心血管介入手术的训练场景模拟系统及方法

一种面向微创心血管介入手术的训练场景模拟系统及方法
【专利摘要】本发明公开了一种面向心血管微创介入手术的训练场景模拟系统及方法，所述系统包括：医学信息数据存储系统，其用于存储人体原始医学影像信息和操作记录信息；医学影像处理与分析应用系统，其用于读取某个选定病例的影像序列，对读入影像序列进行预处理、图像分割和特征提取，将处理后的影像序列输出给医学可视化应用系统；医学可视化应用系统，其用于在医学影像处理与分析应用系统所处理的影像信息的基础上，利用体绘制算法，对这些信息进行三维重建，从而得到病例术区的血管立体模型，为模拟手术训练提供操作对象，使操作者能够获得手术器械的实时位置信息以及手术器械与血管之间的相对位置。
【专利说明】一种面向微创心血管介入手术的训练场景模拟系统及方法

【技术领域】
[0001] 本发明涉及一种计算机虚拟现实【技术领域】，特别涉及一种用于微创心血管介入手 术的模拟训练场景的构建方法及系统，为微创心血管介入手术的虚拟训练系统提供其中的 可视化部分。训练对象是将要使用机器人或者按照传统方式进行微创心血管介入手术的医 师。本发明属医疗设备【技术领域】、计算机图形学领域、虚拟现实【技术领域】、医学影像处理、介 入放射学和外科学等领域。

【背景技术】
[0002] 微创介入手术（Minimally Invasive Surgery, MIS)是当代医学的重要领域。它 以其切口小、创伤轻、痛苦少和恢复快的特点，为患者提供了一种安全、可靠、有效的医疗解 决方案。微创介入手术除了以医学和人体解剖学为理论和方法学基础外，还需要现代科学 技术和工程学的支持，后者是微创介入手术安全性和可靠性的保障。随着微创外科手术的 普遍被接受，希望通过这种手术治疗疾病的病患的数量正在不断增长，面对这个日益庞大 的医疗服务需求，外科手术机器人技术应运而生，并在医学界和工程界的长期通力合作下 取得不断的发展和广泛的应用。将特殊设计的机器人应用于传统外科领域，不仅可以显著 提高手术的效率和安全性，而且可以最大限度地降低医师个人技能对手术效果的影响[1]， 从而提高手术成功率。目前我国在医疗手术机器人，尤其是微创介入手术机器人方面的研 究和开发还比较落后，而美国、日本、意大利等国家，由于其起步早、投入大，研究与应用水 平处于国际前列。
[0003] 血管介入治疗手术是当前治疗血管疾病的重要手段。卫生统计数据显示[2]，2008 年，我国城市人口的心血管疾病死亡率高居我国城镇人口主要疾病死亡率第二位，农村人 口的心血管疾病死亡率居我国农村人口主要疾病死亡率第四位。在社会生活的巨大压力的 影响下，罹患心血管疾病的人口数量不断增多，患者通过类似手术治疗的需求随之上升。设 计精良的微创血管介入手术机器人的广泛应用不仅能降低进行此类手术对医生的传统手 工手术技能和个人手术经验的依赖，并提1?手术的效率和治愈率。
[0004] 微创血管介入手术机器人的一般手术过程是：术前，医生通过医学影像设备记录 患者的手术区域的生理情况，并与正常的人体生理结构进行对照，同时对影像进行三维重 建以获得具有仿真物理特性病区血管的可视化模型，医生以此为基础确定病理和手术方 案；术中，医生对病区血管施用显影剂后，进行数字减影血管造影（Digital Subtraction Angiography, DSA)，造影结果用于引导医生通过机器人控制导管的进给；术后，医生对患者 病区进行复查，评估手术效果和患者恢复情况。
[0005] 然而，手术机器人的顺利工作需要受过良好训练的医生来操作，以确保手术的安 全性和可靠性。对利用手术机器人进行微创介入手术的医生进行全面的培训，仅依靠传统 的讲座和资料学习是不能满足需要的，而传统的训练方法是在活体动物或者人类尸体上进 行：活体动物的生理结构与人类的生理结构存在较大差异，且因其价格和动物的死亡率而 受到限制，再者，一只活体动物通常仅能供一名受训者练习一次；人类尸体不仅成本高而且 其生理结构仍与活体存在一定差别。因此，进行机器人手术技术培训需要给受训者提供一 种"浸入的（I_ersive)"、"可发挥想象的（Imaginative) "、"可交互的（Interactive)"感 官环境，让受训者在培训室就能获得与在真实手术场景中进行手术相似的感受。这样可以 使受训者更好地掌握相关的操作技能、适应手术过程中的各种条件。借助现代传感器技术、 控制理论、医学影像技术和计算机图形学，虚拟手术训练系统可以对医学院学员和初级外 科医生进行手术操作技能培训，它可以降低活体动物实验和人类遗体实验的成本和风险； 再者，能更容易地把技能娴熟的医师的操作经验传授给新学员；另外，还可用于临床手术的 术前规划和一些高难度手术的术前方案演练，从而提高机器人微创介入手术的成功率。
[0006] 在目前的已有技术中，清华大学计算机科学与技术系与北京航空航天大学机器人 研究所联合开发了基于虚拟现实的计算机辅助立体定向神经外科手术系统[3]针对的是 神经外科手术，尤其是对人脑的组织结构的三维重建以及在此基础上的脑部虚拟手术。华 南师范大学计算机学院和南方医科大学珠江医院联合开发了用于腹腔外科手术的仿真系 统[4] [5]针对的则是腹腔外科手术，它是一种针对腹腔手术医学影像的特殊性而建立的 手术仿真系统。
[0007] 但是，上述系统只能应用在其相应的领域，而不能简单地移植到心血管系统的手 术仿真领域。由于人血管系统的高度复杂性和血管本身复杂的物理特性和动力学，针对 心血管系统的手术仿真系统就必须要考虑到这些高复杂性的问题，并在虚拟模型中得到具 体、仿真、实时的体现。
[0008] 与本发明专利有关的已有技术或参考文献主要有：
[0009] [l]ff. A. See, Cooper, C. S. Fischer, R. J. , ^Predictors of Laparoscopic Complications After Formal Training in Laparoscopic Surgery"，JAMA,270 (22)： 2689-2692,1993
[0010] [2] 2009 年中国卫生统计年鉴：http ://www. moh. gov. cn/publicfiles/business/ htmlfiles/zwgkzt/pt jnj/200908/42635. htm.
[0011] [3]王子罡，唐泽圣，王田苗，刘达，吕洪波，申皓.基于虚拟现实的计算机辅助立 体定向神经外科手术系统.计算机学报，2000, 23 (9) :931-937.
[0012] [4]陈洁敏，鲍苏苏.基于VTK的腹部医学图像体绘制应用研究.计算机工程与科 学，2010, 32 (2) :82-84.
[0013] [5]鲍苏苏，方驰华，彭丰平，鲁朝敏，潘家辉.一种计算机辅助脏器手术仿真系 统·中国专利 CN 101393654A，3 月 25 日，2009.


【发明内容】

[0014] 本发明的目的就是针对目前已有技术的不足，设计一种专门面向心血管微创介入 手术的模拟训练场景的构建方法，它能够依据真实的心血管病患者的手术区域的医学影像 资料构建出该区域的主干血管系统的三维模型，为一系列心血管微创介入手术的高仿真、 可重复性操作提供环境。
[0015] 为了实现上述功能，本发明提供了一种面向心血管微创介入手术的训练场景模拟 系统，其包括：
[0016] 医学信息数据存储系统，其用于存储人体原始医学影像信息和操作记录信息；
[0017] 医学影像处理与分析应用系统，其用于读取某个选定病例的影像序列，对读入影 像序列进行预处理、图像分割和特征提取，将处理后的影像序列输出给医学可视化应用系 统；
[0018] 医学可视化应用系统，其用于在医学影像处理与分析应用系统所处理的影像信息 的基础上，利用体绘制算法，对这些信息进行三维重建，从而得到病例术区的血管立体模 型，为模拟手术训练提供操作对象，使操作者能够获得手术器械的实时位置信息以及手术 器械与血管之间的相对位置。
[0019] 本发明还提供了一种面向心血管微创介入手术的训练场景模拟方法，其包括：
[0020] 步骤1、存储人体原始医学影像数据和操作记录信息；
[0021] 步骤2、读取某个选定病例的影像序列，对读入影像序列进行预处理、图像分割和 特征提取，并将处理后的影像序列输出；
[0022] 步骤3、利用体绘制算法，对所述处理后的影像序列进行三维重建，从而得到病例 术区的血管立体模型，为模拟手术训练提供操作对象。使操作者能够获得手术器械的实时 位置信息以及手术器械与血管之间的相对位置。
[0023] 本发明的有益效果是：
[0024] 实现一种面向心血管微创介入手术的模拟训练场景系统，为这种高难度手术提供 专业的模拟训练平台，有助于实现心血管微创介入手术的模拟训练的专业化和专用化；
[0025] 本模拟训练场景系统的所有医学影像数据均来源于临床实践中的真实病例，保证 模拟手术训练场景的真实性；术区医学影像的三维重建，实现心血管微创介入手术的医学 可视化，便于医生从多角度、多层次对病变血管进行观察和分析；
[0026] 本模拟训练场景系统的应用，有助于改善手术培训的操作模式，不需要活体动物 或是人类遗体作为操作对象，这样可降低与此相关的成本和风险；
[0027] 由于不需要活体动物和人类遗体，所以手术训练可在模拟训练场景平台上，在无 需特别消毒的环境下、在任何时间、由任何级别的医师或者学员反复进行，这样可以方便相 关人员进行手术培训、提高训练设施的利用率；
[0028] 本模拟训练场景系统还可以用于医师术前规划，对于一些高难度的心血管微创手 术，医师们通过反复的术前推演和论证，可以使手术方案更加稳妥、手术的成功率更高；
[0029] 本模拟训练场景系统可为受训者提供标准化的手术训练方案，从而最大限度地降 低从事微创介入手术对传统手术技能的依赖，这样有利于微创介入手术的推广、以惠及更 多的心血管疾病患者，对提高我国医疗卫生服务的水平和质量都具有积极作用。

【专利附图】

【附图说明】
[0030] 图1是本发明提供的面向心血管微创介入手术的训练场景模拟系统的系统架构 示意图。
[0031] 附图各标号示意如下：
[0032] 1医学信息数据库
[0033] 2术区医学影像信息数据库
[0034] 3操作记录信息数据库
[0035] 4基于ITK的医学影像处理与分析应用程序
[0036] 5 DICOM格式影像序列读取模块
[0037] 6图像处理模块
[0038] 7图像传输模块
[0039] 8基于VTK的医学可视化应用程序
[0040] 9图像接收与场景布置模块
[0041] 10体绘制处理模块
[0042] 11前端显示与对象删除模块

【具体实施方式】
[0043] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明作进一步的详细说明。
[0044] 本发明提出了一种面向心血管微创介入手术的训练场景模拟系统，其包括：
[0045] 医学信息数据存储系统1，其用于存储人体原始医学影像信息和操作记录信息；
[0046] 医学影像处理与分析应用系统4,其用于读取某个选定病例的影像序列，对读入影 像序列进行预处理、图像分割和特征提取，将处理后的影像序列输出给医学可视化应用系 统8 ;
[0047] 医学可视化应用系统8,其用于在医学影像处理与分析应用系统4所处理的影像 信息的基础上，利用体绘制算法，对这些信息进行三维重建，从而得到病例术区的血管立体 模型，为模拟手术训练提供操作对象。使操作者能够获得"手术器械"的实时位置信息以及 "器械"与"血管"之间的相对位置。
[0048] 进一步地，所述医学信息数据存储系统1包括：术区医学影像信息数据存储模块2 和操作记录信息数据存储模块3。术区医学影像信息数据存储模块2和操作记录信息数据 存储模块3可采用数据库来实现数据存储。
[0049] 所述术区医学影像信息数据存储模块2中存有取自临床病例的术区医学影像信 息（DIC0M格式），包括患者的代号（为保护患者隐私，不提供其真实姓名）、性别、年龄和病 理特征的简要描述，所有影像信息可以依据患者的上述特征，即：代号、性别或病理特征分 类，方便使用人员的选择。操作记录信息数据存储模块3存储使用人员在整个操作过程中 的记录，包括：使用人员的个人信息；操作步骤的顺序、执行时间；整个操作过程的术野录 像，这种功能方便使用人员对自己的操作过程回顾和温习，而且方便培训导师对使用人员 的操作进行评估和指导。
[0050] 所述医学影像处理与分析应用系统4包括：影像序列读取模块5、图像处理模块6 和图像传输模块7。
[0051] 所述影像序列读取模块5用于从医学信息数据存储系统1读取某一选定病例的CT 或MRI影像序列，文件格式可以为DICOM格式。
[0052] 可选地，所述影像序列读取模块5通过调用ITK中的⑶CM库，将医学信息数据存 储系统1中的DICOM影像序列导入，此时，系统即获得了关于此病例术区的体数据。
[0053] 以ITK为例，说明所述影像序列读取模块5的实现过程：
[0054] 通过调用函数 SetUseSeriesDetails ()来告知 GDCM类中的 GDCMSeriesFileNames 对象DICOM影像序列的细部信息，并利用这些DICOM文件中的附加信息来区分该路径下的 体数据。
[0055] 调用函数SetDirectoryO来设置目标DICOM影像序列的文件路径，然后，对象 ⑶CMSeriesFiIeNames会为该路径下的DICOM文件进行序列式命名。
[0056] 利用函数Update ()触发读取过程，此时，在计算机内存中已经形成了这组DICOM 信息的体数据。这种形式的数据即可被图像处理模块6进行相关信息处理。
[0057] 所述图像处理模块6用于在三维重建前对所述影像序列读取模块5读取并组织后 的影像信息进行预处理和图像分割。主要过程是：对影像信息的数据类型进行转换，利用分 水岭算法（Watershed Algorithm)进行图像分割，以此对术区中的关键信息（如：心血管微 创介入手术需要经过的血管系统的轮廓及其中心线）进行提取。
[0058] 分水岭分割方法是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把 图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一 个局部极小值及其影响区域称为"集水盆"（Catchment Basin)，而集水盆的边界则形成分 水岭。分水岭的概念和形成可以通过模拟浸入过程来说明：在每一个局部极小值表面，刺穿 一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢 慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭。
[0059] 分水岭的计算过程是一个迭代标注过程。分水岭比较经典的计算方法是由法国学 者L Vincent与1991年提出的。在该算法中，分水岭计算分两个步骤：一个是排序过程，一 个是淹没过程。首先对每个像素的灰度级进行从低到高排序，然后在从低到高实现淹没过 程中，对每一个局部极小值在h阶高度的影响域采用先进先出（First In First Out，FIFO) 结构进行判断及标注。
[0060] 分水岭变换得到的是输入图像的集水盆图像，集水盆之间的边界点，即为分水岭。 显然，分水岭表示的是输入图像的局部极大值点。因此，为得到图像的边缘信息，通常把梯 度图像作为输入图像，即
[0061] 5(.?;，2；) = ▽(./.(：).，")）= {[/(，."）-- /(.r i.//)]2[/(.A ?/) - f{-v, V - I)]2 }0·5
[0062] 其中，f (X，y)表示原始图像，▽{·}表示梯度运算，g(x，y)表示原始图线的梯度图 像，X，y分别表示图像内像素的横坐标与纵坐标。
[0063] 分水岭算法对微弱边缘具有良好的响应，图像中的噪声、物体表面细微的灰度变 化，都会产生过度分割的现象。但同时应当看出，分水岭算法对微弱边缘具有良好的响应， 是得到封闭连续边缘的保证的。另外，分水岭算法所得到的封闭的集水盆，为分析图像的区 域特征提供了可能。
[0064] 通过上述算法对影像信息进行分割，可以得到术区主要血管系统的轮廓，为术区 血管系统的三维重建提供了充足的信息。
[0065] 所述图像传输模块7用于将图像处理模块6处理后的影像信息进行处理，并将这 些信息传输至医学可视化应用系统8。所述处理主要包括数据类型转换，并将模块6处理后 的信息更新、传输至医学可视化应用系统8。
[0066] 所述医学可视化应用系统8,该系统可利用VTK来实现，其包括：图像接收与场景 布置模块9、体绘制处理模块10和前端显示与对象删除模块11。
[0067] 所述图像接收与场景布置模块9,其用于接收来自医学影像处理与分析应用系统 4传来的处理后信息，为图形学对象布置"场景"。以VTK实现为例说明，所述图像接收与场 景布置模块首先通过调用GetOutput O获得来自图像传输模块7中的处理后的影像数据， 然后创建图形学对象，最后设置场景的各种属性，如：环境光照、扩散效果、视角、背景色彩、 线条宽度以及透明度。接着，对图像信息进行重采样（Image Resample),从而使图像放大或 者缩小至与所创建的"场景"相协调的尺度。
[0068] 所述体绘制处理模块10,其用于处理图像接收与场景布置模块9接收并处理后 的数据，进行体绘制，为血管三维模型的前端显示提供数据。本系统可采用传统的Ray Casting体绘制算法来进行血管立体模型的重建。体绘制算法不仅可以显示体数据的 表面信息，还可以显示其内部信息，从而能够实现三维医学影像数据的真实感显示。Ray Casting算法的基本原理是：从投影平面的每一个像素点s发射出一条光线，穿过三维体 数据场，并按照Front-to-Back的顺序进行采样点光属性的混合，最终得到二维投影图像。 Front-to-Back顺序的近似递归公式如下：

【权利要求】
1. 一种面向也血管微创介入手术的训练场景模拟系统，其包括： 医学信息数据存储系统，其用于存储人体原始医学影像信息和操作记录信息； 医学影像处理与分析应用系统，其用于读取某个选定病例的影像序列，对读入影像序 列进行预处理、图像分割和特征提取，将处理后的影像序列输出给医学可视化应用系统； 医学可视化应用系统，其用于在医学影像处理与分析应用系统所处理的影像信息的基 础上，利用体绘制算法，对该些信息进行H维重建，从而得到病例术区的血管立体模型，为 模拟手术训练提供操作对象，使操作者能够获得手术器械的实时位置信息W及手术器械与 血管之间的相对位置。
2. 如权利要求1所述的训练场景模拟系统，其中，所述医学影像处理与分析应用系统 为基于ITK的系统，其中影像信息采用DICOM格式。
3. 如权利要求1所述的训练场景模拟系统，其中，所述医学可视化应用系统为基于VTK 的系统。
4. 如权利要求1所述的训练场景模拟系统，其中，所述医学信息数据存储系统包括：术 区医学影像信息数据存储模块和操作记录信息数据存储模块；所述术区医学影像信息数据 存储模块中存有取自临床病例的术区医学影像信息，包括患者的代号、性别、年龄和病理特 征的简要描述；所述操作记录信息数据存储模块存储使用人员在整个操作过程中的记录， 包括：使用人员的个人信息；操作步骤的顺序、执行时间；整个操作过程的术野录像。
5. 如权利要求1所述的训练场景模拟系统，其中，所述医学影像处理与分析应用系统 包括：影像序列读取模块、图像处理模块和图像传输模块；所述影像序列读取模块用于从 医学信息数据存储系统读取选定病例的CT或MRI影像序列；所述图像处理模块用于在H 维重建前对所述影像序列读取模块读取并组织后的影像信息进行预处理和图像分割；所述 图像传输模块用于将图像处理模块处理后的影像信息进行包括数据类型转换、信息更新处 理，并将该些信息传输至医学可视化应用系统。
6. 如权利要求5所述的训练场景模拟系统，其中，所述图像处理模块对所述影像信息 进行的预处理包括数据类型转换，并采用分水岭分割方法对图像进行分割。
7. 如权利要求1所述的训练场景模拟系统，其中，所述医学可视化应用系统包括图像 接收与场景布置模块、体绘制处理模块和前端显示与对象删除模块；所述图像接收与场景 布置模块用于接收来自医学影像处理与分析应用系统传来的处理后图像信息，创建图形学 对象，最后设置场景的各种属性，对图像信息进行重采样，从而使图像放大或者缩小至与所 创建的场景相协调的尺度；所述体绘制处理模块用于处理图像接收与场景布置模块接收并 处理后的数据，并对其进行体绘制；所述前端显示与对象删除模块用于将体绘制处理模块 的体绘制处理结果进行前端显示，并在显示结束时清空内存。
8. 如权利要求7所述的训练场景模拟系统，其中，所述前端显示与对象删除模块首先 设置显示窗口的尺寸，检查显卡是否支持GPU运算，在支持的情况下显示所述显示窗口；然 后将体绘制处理模块中配置好的几何体放入所述显示窗口中，并设置摄像机的属性，之后 开始撞染显示窗口，显示整个重建后的血管H维模型；当关闭所述显示窗口时，将内存清 空。
9. 一种面向也血管微创介入手术的训练场景模拟方法，其包括： 步骤1、存储人体原始医学影像数据和操作记录信息； 步骤2、读取某个选定病例的影像序列，对读入影像序列进行预处理、图像分割和特征 提取，并将处理后的影像序列输出； 步骤3、利用体绘制算法，对所述处理后的影像序列进行H维重建，从而得到病例术区 的血管立体模型，为模拟手术训练提供操作对象。使操作者能够获得手术器械的实时位置 信息W及手术器械与血管之间的相对位置。
【文档编号】G06T15/08GK104463965SQ201410785434
【公开日】2015年3月25日 申请日期:2014年12月17日 优先权日:2014年12月17日
【发明者】侯增广, 杨帆, 程龙, 边桂彬, 谢晓亮, 王卫群, 谭民, 米韶华, 奉振球 申请人:中国科学院自动化研究所