一种多模态医学图像配准与可视化方法
【专利摘要】本发明涉及一种多模态医学图像配准与可视化方法。该方法基于FLTK、VTK、IRTK技术，提供友好操作界面以及可视化功能，简化复杂的算法参数配置过程，方便配准操作，实现多模态医学图像配准工作；提供图像去燥声预处理，以提高图像质量，减少噪声对配准精度的影响；针对目标图像与源图像存在较大坐标位置差异的情况，提供点集配准方法完成坐标位置粗配准，为后续刚性、仿射以及非线性配准的实施做初始化；支持多种配准方法的级联工作模式，以提高配准效率；采用多线程编程技术，实现配准的中间过程实时动态显示，方便了解和监测配准过程；配准结果自动输出并保存；利用所述配准结果的变换矩阵并加上平滑限制项，可实现微分同胚变换和快速分割功能。
【专利说明】
一种多模态医学图像配准与可视化方法
技术领域
[0001]本发明涉及计算机应用技术与医学图像配准技术领域，具体涉及一种基于IRTK、VTK和FLTK技术的多模态医学图像配准与可视化方法。
【背景技术】
[0002]目前，医学图像在医疗诊断、计划治疗、引导治疗以及疾病监测过程中得到了越来越广泛的应用。得益于丰富多样的医学成像模态(如CT、MR1、PET等)，现代医疗影像技术正改变着传统医疗的诊断和治疗方式。在医学图像分析时，通常需将这些多模态图像信息综合到一起以便进行疾病分析和诊断，在这一过程中，医学图像配准技术发挥着至关重要的作用，所谓的医学图像配准技术就是通过寻找一个最优的几何变换，通过该变换使得来自不同时间或不同条件下的两幅或多幅医学图像达到空间位置上的一致，这种一致是指人体上的同一解剖点或者具有诊断意义的点在两张或者多张匹配图像上相同的空间位置，目的在于检测和修正患者的摆位误差、靶区和正常组织形状改变、移位或者退缩等变化。例如，在肿瘤分次放疗过程中，由于患者摆位的误差、或因治疗反应，导致靶区和危机器官的形状改变、移位和退缩等因素引起放疗剂量分布发生变化，造成靶区受剂量减少而危机器官的受剂量增加的情况，影响放疗效果，增加并发症发生概率。通过医学图像配准技术综合不同图像上的解剖结构信息，可快速判断放疗过程中解剖学部位的移位、退缩和变形情况，并快速计算和评估解剖结构位置的变化对剂量分布的影响，以决定是否修改和重新制定放疗计划。
[0003]多年以来，已有大量的文献致力于医学图像配准算法和技术的研究，并取得了丰富的研究成果;伴随着配准技术的发展，一些医学图像配准方法应运而生，应用于临床上或者协助研究人员进行配准算法的研究。ITK和VTK是目前在医学领域中使用较为广泛的两个算法平台，其中ITK提供丰富的医学图像分割和配准算法，但缺乏可视化;VTK则致力于通用数据可视化过程，具有强大的三维图像功能。在临床应用领域，医学图像配准系统具备前沿、优秀的配准技术，并提供友好的图形操作用户界面及图像数据可视化功能显得非常重要。特别对于不熟悉算法参数配置的使用者，通过简单、易交互的图形操作界面便能够完成复杂的配准工作，不仅提高了配准工作效率，而且通过图像数据可视化功能获得直观、丰富的图像信息，极大方便医生根据呈现在屏幕上的图像信息进行疾病预测、诊断、制定治疗计划以及开展教育教学等工作。不少研究人员和软件开发者直接基于ITK和VTK等算法平台进行新平台的开发。
[0004]经对现有技术的文献检索发现，中国专利公开号CNl 0495 2078A，【公开日】为2015.09.30，专利名称为:一种基于ITK/VTK和QT技术的图像配准方法，该专利自述为:“公开一种图像配准方法，利用ITK算法对三维图像进行配准，利用VTK进行三维显示，QT负责制作程序界面”。其不足之处是:该方法缺乏对图像数据去噪声预处理;配准过程只显示迭代的数据和最后得到的配准结果，而不能实时动态显示中间配准结果;不能提供目标图像和源图像的多种叠加交互显示。该方法不能完成空间坐标位置差异巨大的多模态医学图像配准;该方法不能提供多种配准方法的级联;无法根据配准结果的变换矩阵，快速完成快速分割以及微分同胚变换(即:通过同一变换参数，实现目标图像到源图像的逆向配准过程)。
【发明内容】
[0005]本发明的目是提供一种多模态医学图像配准与可视化方法，该方法基于IRTK、VTK和FLTK技术，具备友好的图像配准操作界面及可视化功能，简化了复杂的算法参数配置过程，提高配准效率。
[0006]为实现上述目的，本发明的技术方案是:一种多模态医学图像配准与可视化方法，包括如下步骤，
S1:提供一多模态医学图像配准与可视化系统，包括用户交互控制单元、图像配准单元、三维重建单元、可交互图像数据显示单元和数据结果输出单元;所述用户交互控制单元用于实现图像数据的输入、输出及预处理;所述图像配准单元用于实现图像数据的配准;所述三维重建单元用于将所述用户交互控制单元输入的图像数据或经所述图像配准单元配准后的图像数据进行三维重建，并传输给可交互图像数据显示单元;所述可交互图像数据显示单元用于交互显示实时图像数据;所述数据结果输出单元用于实现图像数据配准结果和配准结果变换矩阵的输出与保存；
S2:通过所述用户交互控制单元导入三维体数据，在可交互图像数据显示单元的图像数据显示窗口中分别显示三维体数据的横断面、冠状面、矢状面以及经三维重建后的三维图像；
S3:通过用户交互控制单元对导入的目标图像及源图像采用中值滤波法进行去噪声等预处理，减少噪声对配准精度的影响，若图像分辨率超过一预定阈值，还需在去噪声处理之后采用重采样方法，适当降低图像分辨率，减少配准过程的计算量；
S4:通过图像配准单元对经步骤S3处理后的图像数据采用包括点集配准、刚性配准、仿射配准、非线性配准中的一种或多种配准方法级联的方式进行配准，并经数据结果输出单元输出图像数据配准结果及配准结果变换矩阵。
[0007]在本发明一实施例中，所述用户交互控制单元通过FLTK实现，具体包括图像数据输入输出模块、去噪重采样模块和图像操作模块，所述图像数据输入输出模块用于实现图像数据的输入、输出，所述去噪重采样模块用于对输入的图像数据进行去噪重采样处理，所述图像操作模块用于对显示于可交互图像数据显示单元的图像进行旋转、平移、缩放及切换视图模式等操作。
[0008]在本发明一实施例中，所述三维重建单元采用VTK完成三维重构，具有面绘制和体绘制功能。
[0009]在本发明一实施例中，所述图像配准单元是基于IRTK技术实现，配准步骤具体如下:(I)导入目标图像和源图像；(2)确定目标图像和源图像的数据大小和类型；(3)确定是否进行图像数据去燥或重采样预处理;(4)确定配准过程中所采用的变换模型，并根据不同的变换模型设置相应的相似性度量方法、插值方法、以及优化方法的算法参数；(5)确定是否采用多种配准方法级联；(6)确定是否定义感兴趣区域;(7)执行图像配准工作，并输出保存配准结果。
[0010]在本发明一实施例中，所述数据结果输出单元能够通过所述配准结果变换矩阵实现微分同胚变换，即通过配准结果的变换矩阵，加上平滑限制项，完成目标图像到源图像的逆向配准;还能够通过所述配准结果变换矩阵实现快速分割，即对源图像进行分割后，加上配准结果变换矩阵即可得到目标图像的分割图像。
[0011 ]相较于现有技术，本发明具有以下有益效果:
本发明使用了 IRTK/VTK和FLTK技术实现多模态医学图像配准与可视化功能，提供了一款界面友好、易交互、可视化的图像配准系统，通过友好的图形用户操作界面以及图像数据的可视化功能，简化复杂的算法参数配置过程，达到方便、快捷地完成复杂配准工作的目的，改变以往算法工具通过命令行进行图像配准;配准前使用图像去燥预处理方法提高配准精度;支持多模态医学图像配准(如CT和MR1、MRI和MR1、CT和CT等医学图像之间的配准)；提供多种配准方法的级联工作模式，提高配准效率;配准的中间过程实时动态显示，提高了视觉效果和既视感，方便了解和监测配准动态;提供目标图像和源图像多种叠加视图模式，方便观察配准的匹配情况;根据源图像映射到目标图像的变换矩阵，可实现微分同胚变换和快速分割功能。
【附图说明】
[0012]图1为本发明系统整体框图。
[0013]图2为本发明配准流程图。
[0014]图3为本发明系统主界面图。
[0015]图4为本发明同一宫颈癌患者的内、外照射MRI三维图像的点集配准与非线性配准结果图。
[0016]图5为本发明同一患者的二维人脑的Tl-weighted MRI和T2_weighted MRI的带噪声图像(上)、去燥声后的图像(中)和非线性配准结果图像(下)。
[0017]图6为本发明同一患者的三维CT图像和MRI图像的配准结果图。
【具体实施方式】
[0018]下面结合附图，对本发明的技术方案进行具体说明。
[0019]如图1所示，本发明的一种多模态医学图像配准与可视化方法，包括如下步骤，
S1:提供一多模态医学图像配准与可视化系统，包括用户交互控制单元、图像配准单元、三维重建单元、数据结果输出单元和可交互图像数据显示单元;所述用户交互控制单元用于实现图像数据的输入、输出及预处理;所述图像配准单元用于实现图像数据的配准;所述三维重建单元用于将所述用户交互控制单元输入的图像数据或经所述图像配准单元配准后的图像数据进行三维重建后，并传输给可交互图像数据显示单元;所述可交互图像数据显示单元用于交互显示实时图像数据;所述数据结果输出单元用于实现图像数据配准结果和配准结果变换矩阵的输出与保存；
S2:通过所述用户交互控制单元导入三维体数据，在可交互图像数据显示单元的图像数据显示窗口中分别显示三维体数据的横断面、冠状面、矢状面以及经三维重建后的三维图像；
S3:通过用户交互控制单元对读取的目标图像及源图像进行去噪声处理，以减少噪声对配准精度的影响，若图像分辨率超过一预定阈值，还需在去噪声处理之前采用重采样方法，降低图像分辨率；
S4:通过图像配准单元对经步骤S3处理后的图像数据采用包括点集配准、刚性配准、仿射配准、非线性配准中的一种或多种配准方法级联的方式进行配准，并经数据结果输出单元输出图像数据配准结果及配准结果变换矩阵。
[0020]所述用户交互控制单元通过FLTK实现，具体包括图像数据输入输出模块、去噪重采样模块和图像操作模块，所述图像数据输入输出模块用于实现图像数据的输入、输出，所述去噪重采样模块用于对输入的图像数据进行去噪重采样处理，所述图像操作模块用于对显示于可交互图像数据显示单元的图像进行旋转、平移、缩放及切换视图模式的操作。所述三维重建单元采用VTK完成三维重构，具有面绘制和体绘制功能。所述图像配准单元是基于IRTK技术实现，如图2所示，配准步骤具体如下:(I)导入目标图像和源图像;(2)确定目标图像和源图像的数据大小和类型；(3)确定是否进行图像数据去燥或重采样预处理；(4)确定配准过程中所采用的变换模型，并根据不同的变换模型设置相应的相似性度量方法、插值方法、以及优化方法的算法参数；(5)确定是否采用多种配准方法级联；(6)确定是否定义感兴趣区域；(7)执行图像配准工作，并输出保存配准结果。所述可交互图像数据显示单元采用OpenGL实现，用于交互显示实时图像数据。所述数据结果输出单元能够通过所述配准结果变换矩阵实现微分同胚变换;还能够通过所述配准结果变换矩阵实现快速分割，即对源图像进行分割后，通过配准结果变换矩阵即可得到目标图像的分割图像。
[0021]以下为本发明的具体实施过程。
[0022]本发明的一种基于IRTK、VTK、FLTK技术多模态医学图像配准与可视化方法，首先提供了一图像配准与可视化系统，该系统在Windows环境下采用C++语言进行开发，并使用CMake跨平台安装工具进行编译，方便系统在不同环境下移植并稳定运行，避免了重复开发和资源浪费。系统的整体框架如图1所示。
[0023]1、图形用户交互界面和图像数据显示(即上述所述用户交互控制单元和可交互图像数据显示单元):系统采用FLTK(The Fast Light Toolkit)作为用户交互图形界面开发；FLTK是一款跨平台、轻量级的GUI开发库，与其它许多图形接口开发工具包(如MFC、GTK、QT)等相比，FLTK具有体积小、速度快、移植性强等优势，FLTK的界面设计工具FLUID，提供丰富的GUI构件(Widget)每一个GUI构件可自定义其形状、大小和颜色，通过回调函数cal lback(Fl_Widget* ,void *data)可完成相应控件的事件响应。FLTK中的每个界面类都有一个handle(int event)，只要继承这个函数，就可以在其中处理自己的事物，如对用户的错误操作进行提示和正确引导，极大提高系统容错性能。此外，FLTK内置有OpenGL强大的图形库功能，系统在FLTK搭建的图形界面下，结合OpenGL完成图像数据绘制及显示功能。系统主界面如图3所示。
[0024]2、三维重建与可视化(即上述所述三维重建单元):采用￥1'1((￥丨81^1丨231:;[011Toolkit)完成三维重构。VTK是一款进行数据可视化的开发工具包，具有良好的可移植性。其面向通用可视化领域，提供用于三维计算机图形学、图像处理和可视化的开源代码和软件类库，尤其在三维重建(Marching Cubes:面绘制和体绘制)方面具有强大的功能。与面绘制相比，体绘制能够更真实的反映物体结构，但其运算量非常巨大而且复杂，不易实现;面绘制则因其具有运算简单等特点，成为目前医学图像三维重建的主流算法。面绘制采用了分割技术对一系列的三维图像进行轮廓识别、特征提取等操作，利用提取的特征还原出被检测物体的三维模型，并以表面的方式显示出来，其基本步骤如下:读取器-> 提取等值面->数据处理-> 映射器-> 实例化角色-> 绘制器-> 绘制窗口->交互器-> 交换方式。
[0025]3、算法参数选择和配置(即上述所述图像配准单元):IRTK是一款专门处理医学图像配准的算法平台，由D.Rueckert教授等采用C++语言实现，支持夸平台，具有良好的可移植性。目前较为流行的ITK中基于B样条的非线性配准也是基于D.Rueckert等提出的B样条自由形变模型的思想。本发明的配准技术大部分基于IRTK(Image Registrat1n Toolkit)实现，并根据特定的任务对配准算法进行修改。提出使用点集配准方法以实现坐标位置粗配准;提出多种配准方法的级联工作模式，以提高配准效率和配准精度;采用基于B样条的自由形变模型，并使用归一化互信息(匪I)作为相似性度量，实现多模态图像的非线性配准。提出并使用多线程编程技术，通过不同线程来实现图像配准和可视化过程的并行处理，将配准的中间过程实时动态显示，提高配准过程的既视感，方便了解和监测配准过程;根据配准结果的变换矩阵，实现微分同胚变换和快速分割功能。
[0026]4、数据结果输出(即上述所述数据结果输出单元):数据结果主要包含两部分即图像数据配准结果和配准结果的变换矩阵，其中配准结果的变换矩阵是本发明支持多种方法级联的关键。此外该变换矩阵还有许多用途，如实现微分同胚变换和快速分割等。快速分割即对源图像进行分割后，加上该变换矩阵即可得到目标图像的分割图像。因此对数据结果的正确输出和保存具有重要的意义和价值。
[0027]以下为本发明的一具体实施例。
[0028]本实施例结合同一宫颈癌患者的外照射和内照射MRI三维图像数据说明本发明的多模态医学图像配和可视化方法
(I)读取图像及其它操作:通过系统的菜单栏或快捷键将内外照射MRI三维图像数据读入，外照射MRI输入为目标图像，内照射MRI输入为源图像(也称为待配准图像)。导入的图像数据将在图像数据显示窗口中分别显示横断面、冠状面、矢状面以及三维图像，效果如图3所示。在视图控制面板分别显示有目标图像和源图像的文件信息和当前光标位置的图像灰度值，可改变图像的灰度和图像的颜色，设置插值方式，设置目标图像和源图像不同叠加视图模式等功能。
[0029](2)去燥声预处理:对导入的图像数据采用中值滤波法进行去噪声预处理，以提高图像质量，减少噪声对配准精度的影响。当图像数据分辨率过高时，可通过系统提供的重采样方法，适当降低分辨，以减少运算量，在这一过程中用户可自定义三维图像XYZ轴方向的体素间距。
[0030](3)点集配准:因内外照射MRI图像由不同的成像设备获得，导致这两幅图像的坐标位置差异巨大，超出了配准算法的变换域。因此采用点集配准方法，可快速完成坐标位置的预匹配(若目标图像和源图像在同一坐标位置上，则不必采用点集配准，可直接采用刚性、仿射或者非线性配准)。在点集配准方法中，用户可直接在目标图像和源图像上添加、删除和替换对应标记点；也可从外部载入已有的对应标记点文件，进行点集配准，文件格式为.vtk。通过点集配准后，原本坐标位置差异巨大的两幅图像呈现在同一空间位置上，点集配准结果如图4所示(左)。
[0031](4)多种配准方法级联:本发明提供多种配准方法级联的配准模式，通过不同配准方法的级联可提高配准效率。如图1中的算法参数配置所示。这里介绍了点集配准与非线性配准的级联方法。其他级联方法，如点集配准与刚性配准的级联，刚性配准与仿射配准的级联、仿射配准与非线性配准的级联等可采取相同的方式实现。初级配准结果的变换矩阵用于支持不同配准方法之间的级联，即将点集配准结果的变换矩阵作为非线性配准的初始条件，实现点集和非线性配准方法之间的级联。
[0032](5)非线性配准:在算法参数配置方面，本发明提供两种配置模式:即默认参数和自定义参数。在第一种模式下，用户使用系统默认参数即可完成配准工作，值得注意的是该模式并不适用于所有配准任务，只适合一般的配准任务;第二种模式，用户可根据具体的配准任务，对部分默认参数进行修改，如金字塔层数、相似性度量、优化方法等参数;更多参数设置如迭代次数、迭代步长、插值方法等则可在系统提供的默认参数文件中进行修改和设置，用于完成特定的配准任务。然后将参文件导入，以完成参数配置。此外，还可以设置非感兴趣和感兴趣区域，用于确定配准区域，减少配准工作量。算法参数配置完成后，即可执行相应的配准工作。配准的中间过程实时动态显示在可交互图像显示窗口。配准结果和变换参数自动保存到硬盘上，可以自定义输出保存路径。非线性配准结果如图4所示(右)。
[0033](6)微分同胚变换:将目标图像和源图像导入顺序对换，即将原来的目标图像变为源图像，将原来的源图像变为目标图像，利用上述的变换矩阵，计算其可逆矩阵，并加入平滑限制项，即完成目标图像到源图像的逆向配准过程。
[0034]为了说明本发明的其他模态配准功能，图5给出了同一患者二维人脑的Tl-weighted MRI和T2_weighted MRI的带噪声图像(上)、去燥声后的图像(中)和非线性配准结果图像(下)，图6给出了同一患者的三维CT图像和MRI图像的配准结果。
[0035]以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
【主权项】
1.一种多模态医学图像配准与可视化方法，其特征在于:包括如下步骤， S1:提供一多模态医学图像配准与可视化系统，包括用户交互控制单元、图像配准单元、三维重建单元、可交互图像数据显示单元和数据结果输出单元;所述用户交互控制单元用于实现图像数据的输入、输出及预处理;所述图像配准单元用于实现图像数据的配准;所述三维重建单元用于将所述用户交互控制单元输入的图像数据或经所述图像配准单元配准后的图像数据进行三维重建，并传输给可交互图像数据显示单元;所述可交互图像数据显示单元用于交互显示实时图像数据;所述数据结果输出单元用于实现图像数据配准结果和配准结果变换矩阵的输出与保存； S2:通过所述用户交互控制单元导入三维体数据，在可交互图像数据显示单元的图像数据显示窗口中分别显示三维体数据的横断面、冠状面、矢状面以及经三维重建后的三维图像； S3:通过用户交互控制单元对导入的目标图像及源图像进行去噪声等预处理，减少噪声对配准精度的影响，若图像分辨率超过一预定阈值，还需在去噪声处理之后采用重采样方法，适当降低图像分辨率，减少配准过程的计算量； S4:通过图像配准单元对经步骤S3处理后的图像数据采用包括点集配准、刚性配准、仿射配准、非线性配准中的一种或多种配准方法级联的方式进行配准，并经数据结果输出单元输出图像数据配准结果及配准结果变换矩阵。2.根据权利要求1所述的一种多模态医学图像配准与可视化方法，其特征在于:所述用户交互控制单元通过FLTK实现，具体包括图像数据输入输出模块、去噪重采样模块和图像操作模块，所述图像数据输入输出模块用于实现图像数据的输入、输出，所述去噪重采样模块用于对输入的图像数据进行去噪重采样处理，所述图像操作模块用于对显示于可交互图像数据显示单元的图像进行旋转、平移、缩放及切换视图模式等操作。3.根据权利要求1所述的一种多模态医学图像配准与可视化方法，其特征在于:所述三维重建单元采用VTK完成三维重构，具有面绘制和体绘制功能。4.根据权利要求1所述的一种多模态医学图像配准与可视化方法，其特征在于:所述图像配准单元是基于IRTK技术实现，配准步骤具体如下:(I)导入目标图像和源图像；(2)确定目标图像和源图像的数据大小和类型；(3)确定是否进行图像数据去燥或重采样预处理；(4)确定配准过程中所采用的变换模型，并根据不同的变换模型设置相应的相似性度量方法、插值方法、以及优化方法的算法参数；(5)确定是否采用多种配准方法级联；(6)确定是否定义感兴趣区域;(7)执行图像配准工作，并输出保存配准结果。5.根据权利要求1所述的一种多模态医学图像配准与可视化方法，其特征在于:所述数据结果输出单元能够通过所述配准结果变换矩阵实现微分同胚变换，即通过配准结果的变换矩阵，加上平滑限制项，完成目标图像到源图像的逆向配准;还能够通过所述配准结果变换矩阵实现快速分割，即对源图像进行分割后，加上配准结果变换矩阵即可得到目标图像的分割图像。
【文档编号】G06T7/00GK106097347SQ201610419404
【公开日】2016年11月9日
【申请日】2016年6月14日 公开号201610419404.3, CN 106097347 A, CN 106097347A, CN 201610419404, CN-A-106097347, CN106097347 A, CN106097347A, CN201610419404, CN201610419404.3
【发明人】高钦泉, 林绍辉, 高跃明, 杜民
【申请人】福州大学