多模态医学图像配准融合方法、装置及电子设备与流程

1.本发明涉及医学图像处理技术领域，具体涉及一种多模态医学图像配准融合方法、装置及电子设备。


背景技术：

2.医学图像配准技术是针对两幅来自于同一成像设备不同时间或者不同成像设备采集的医学图像，以其中一幅图像作为参考来寻找一种或者一系列的空间变换关系，使得另一幅图像经过空间变换之后，两幅图像之间相对应的点在空间上达到基本一致的一种技术。医学图像配准技术在临床医学上具有相当重要的应用价值，它将不同图像所表达的互补信息进行集成整合，以供医护人员参考，以提高临床诊断的准确率。
3.在现代数字化医疗诊断过程中，医护人员通常需要在进行手术之前利用已采集的患者的多模态三维图像对患者病变部位进行分析，从而制定适宜的手术计划。而术前已采集的患者的多模态图像是指多数量、多类型的图像，如电子计算机断层扫描图像(ct图像)及磁共振成像(mri图像)等等，这些图像在采集设备器材、采集方向角度等方面存在差异，因而各个图像突出显示的图像特征也不同。因此，为了便于医生观察和制定手术计划，则需要对术前采集的多种模态的图像的优点进行综合，即需要进行多模态图像配准，以将不同模态的图像配准至同一角度并将各个图像能提供的患者病变部位的图像特征融合至一张图像上显示。
4.现有的多模态图像配准技术中，主要存在两类方法：1、迭代最近点方法，通过计算图像间变换矩阵确定待配准图像与参考图像之间的变换关系，并将待配准图像按照该变换关系进行空间变换，以实现配准。但是，使用该迭代最近点方法计算图像间变换矩阵，这对各图像初始对齐状况的要求较高，使得其在求解过程中极易陷入局部最优解；该法还需要在求解前预先进行粗配准过程，复杂度较高；而且该法也只能应用于求解刚性配准问题，在已采集的患者的多模态图像的拍摄时间不同、患者姿态不同时，配准融合结果会存在较大误差。2、求解待配准图像间距离函数最优化问题以使待配准图像经变形后距离函数最小的方法，该法虽能适当解决非刚性配准情况，但是，该法需要自动应以图像间的距离函数，导致其对待配准图像间的相似性要求较高，而在在采集的患者的不同模态图像的差异较大时，该法的配准结果的精确度低下；并且，该法在解决非刚性配准的问题时，由于求解参数数量多，该法求解复杂度高，均会导致整体配准过程的时间成本过大。


技术实现要素：

5.本发明提供一种多模态医学图像配准融合方法、装置及电子设备，用以克服现有技术中多模态图像配准精度低、复杂度高、时间成本高以及无法有效应用于非刚性配准情况等的缺陷，实现提升多模态图像融合精准度和可有效应用于非刚性配准情况的效果。
6.本发明提供一种多模态医学图像配准融合方法，包括：
7.获取患者的至少两种模态的二维医学图像；
8.将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
9.将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。
10.根据本发明提供的多模态医学图像配准融合方法，将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像，包括：
11.基于三维图像重建法，将所述各个模态本体位置区域的二维医学图像分别重建为各个模态本体位置区域的三维医学图像；
12.分别基于所述各个模态本体位置区域的三维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态三维医学图像相应的点云集；
13.基于点云配准算法，将各个模态三维医学图像相应的点云集进行点云配准融合，以获得多模态相融合三维医学图像。
14.根据本发明提供的多模态医学图像配准融合方法，所述至少两种模态的二维医学图像包括二维ct医学图像、二维mri医学图像、二维超声医学图像、二维petct医学图像中的至少两种；
15.以及，所述本体包括股骨，所述本体头包括股骨头。
16.根据本发明提供的多模态医学图像配准融合方法，将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出，包括：
17.将所述二维ct医学图像输入至预先训练的ct图像分割网络模型以获得股骨位置区域的ct医学图像；和/或，将所述二维mri医学图像输入至预先训练的mri图像分割网络模型以获得股骨位置区域的mri医学图像；和/或，将所述二维超声医学图像输入至预先训练的超声图像分割网络模型以获得股骨位置区域的超声医学图像；和/或，将所述二维petct医学图像输入至预先训练的petct图像分割网络模型以获得股骨位置区域的petct医学图像。
18.根据本发明提供的多模态医学图像配准融合方法，所述ct图像分割网络模型的预先训练过程，包括：
19.获取多个患者的二维ct医学图像数据集，其中，所述二维ct医学图像数据集中包含有多个二维ct医学图像；
20.采用自动标注、手动标注中的至少一种方式，标注出各个所述二维ct医学图像中的股骨位置区域；
21.将经过标注后的各个二维ct医学图像按照预设比例划分为ct训练数据集和ct测试数据集；
22.基于所述ct训练数据集并结合神经网络算法和深度学习训练出ct图像分割网络模型；
23.或，所述mri图像分割网络模型的预先训练过程，具体包括：
24.获取多个患者的二维mri医学图像数据集，其中，所述二维mri医学图像数据集中包含有多个二维mri医学图像；
25.采用自动标注、手动标注中的至少一种方式，标注出各个所述二维mri医学图像中的股骨位置区域；
26.将经过标注后的各个二维mri医学图像按照预设比例划分为mri训练数据集和mri测试数据集；
27.基于所述mri训练数据集并结合神经网络算法和深度学习训练出mri图像分割网络模型。
28.根据本发明提供的多模态医学图像配准融合方法，基于所述ct训练数据集并结合神经网络算法和深度学习训练出ct图像分割网络模型，或，基于所述mri训练数据集并结合神经网络算法和深度学习训练出mri图像分割网络模型，包括：
29.通过第一图像分割模型对所述ct训练数据集或所述mri训练数据集进行粗分割处理：对所述ct训练数据集或所述mri训练数据集中的图像数据执行多次下采样，以通过卷积层和池化层的处理识别各图像数据的深层特征；对进行下采样后的图像数据执行多次上采样，以通过上采样层和卷积层的处理反向存储所述深层特征至所述图像数据中；利用adam分类优化器进行图像粗分类处理，获得图像粗分割结果；
30.通过第二图像分割模型对所述图像粗分割结果进行精分割处理：从所述深层特征中筛选预设置信度的特征点数据，对所述特征点数据进行双线性插值计算，基于计算后的特征点数据识别所述深层特征的所属类别，获得最终的图像分割结果；
31.基于所述最终的图像分割结果以及所述ct训练数据集或所述mri训练数据集计算损失函数；
32.基于所述损失函数调整所述ct图像分割网络模型或所述mri图像分割网络模型的参数，直至所述ct图像分割网络模型或所述mri图像分割网络模型训练成功。
33.根据本发明提供的多模态医学图像配准融合方法，所述方法还包括：
34.在所述各卷积层后均设置激活函数；
35.和/或，所述通过所述第一图像分割模型对所述ct训练数据集或所述mri训练数据集进行粗分割处理的过程中，最后一次上采样结束后设置有dropout层。
36.本发明还提供一种多模态医学图像配准融合装置，包括：
37.获取模块，用于获取患者的至少两种模态的二维医学图像；
38.二维图像处理模块，用于将所述至少两种模态的二维医学图像输入至预先训练的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
39.三维重建及融合模块，用于将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。
40.根据本发明提供的多模态医学图像配准融合装置，所述三维重建及融合模块，包括：
41.三维图像重建模块，用于基于三维图像重建法，将所述各个模态本体位置区域的二维医学图像分别重建为各个模态本体位置区域的三维医学图像；
42.点集确定模块，用于分别基于所述各个模态本体位置区域的三维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态三维医学图像相应的点云集；
43.配准模块，用于基于点云配准算法，将各个模态三维医学图像相应的点云集进行点云配准融合，以获得多模态相融合三维医学图像。
44.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现根据如上任一项所述多模态医学图像配准融合方法的全部或部分步骤。
45.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现根据如上任一项所述多模态医学图像配准融合方法的全部或部分步骤。
46.本发明提供一种多模态医学图像配准融合方法、装置及电子设备，所述方法通过将同一患者相同部位不同模态的二维医学图像分别进行图像分割处理，再进行三维重建，最后将三维重建后的不同模态的三维医学图像进行精准的点云配准融合，获得多模态相融合三维医学图像该方法多模态图像配准精度高、时间成本低，还能处理较为复杂的多模态融合情况，以及还可应用于非刚性配准情况，配准结果准确，能够为医护人员提供准确的治疗参考依据。
附图说明
47.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
48.图1是本发明提供的多模态医学图像配准融合方法的流程示意图之一；
49.图2是本发明提供的多模态医学图像配准融合方法的流程示意图之二；
50.图3a是本发明提供的股骨位置区域的二维ct医学图像；
51.图3b是本发明提供的股骨位置区域的二维mri医学图像；
52.图3c是本发明提供的股骨坏死位置区域的二维mri医学图像；
53.图4是通过本发明提供的多模态医学图像配准融合方法图像分割和三维重建后的股骨位置区域的三维ct医学图像；
54.图5是通过本发明提供的多模态医学图像配准融合方法图像分割和三维重建后的股骨位置区域的三维mri医学图像；
55.图6是通过本发明提供的多模态医学图像配准融合方法配准融合后的ct模态和mri模态相融合三维医学图像；
56.图7是通过本发明提供的多模态医学图像配准融合方法图像分割和三维重建后的股骨坏死位置区域的三维mri医学图像；
57.图8是通过本发明提供的多模态医学图像配准融合方法配准融合后的股骨位置区域的ct模态以及股骨位置区域和股骨坏死位置区域的mri模态相融合三维医学图像；
58.图9是本发明提供的方法中ct图像分割网络模型的预先训练过程的流程示意图；
59.图10是本发明提供的方法中mri图像分割网络模型的预先训练过程的流程示意图；
60.图11是图9和图10所示训练过程的深度学习训练网络结构图；
61.图12是本发明提供的多模态医学图像配准融合装置的结构示意图之一；
62.图13是本发明提供的多模态医学图像配准融合装置的结构示意图之二；
63.图14是本发明提供的电子设备的结构示意图。
64.附图标记：
65.1110：获取模块；1120：二维图像处理模块；1130：三维重建及融合模块；
66.1131：三维图像重建模块；1132：点集确定模块；1133：配准模块；
67.1310：处理器；1320：通信接口；1330：存储器；1340：通信总线。
具体实施方式
68.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明的技术方案进行清除完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
69.ct医学图像空间分辨率较高，可以清晰地定位刚性的骨骼，但是其对软组织的成像对比度较低，无法清晰地显示病灶本身；mri医学图像虽对软组织、血管、器官等解剖结构有高对比度成像，但空间分辨率低于ct医学图像，缺乏刚性的骨骼结构作为病灶的定位参照。所以，临床应用中，单一模态的医学图像往往不能为相关医护人员提供全面的医学参考信息。
70.而本发明将人工智能图像分割算法与多模态医学图像融合技术相结合，综合多种医学成像技术的优势，提取不同模态的医学图像的互补信息，融合后生成一幅比任何单一模态图像包含有更多有效医学参考信息的合成图像，以帮助相关医护人员对股骨头坏死等多种类型病症进行诊断、分期和治疗。
71.以下结合附图1
‑
图13描述本发明提供的多模态医学图像配准融合方法、装置及电子设备。本发明提供一种多模态医学图像配准融合方法，图1是本发明提供的多模态医学图像配准融合方法的流程示意图之一，如图1所示，所述方法包括：
72.s110、获取患者的至少两种模态的二维医学图像。
73.获取同一患者的针对身体同一部位的两种或者两种以上的模态的二维医学图像，比如对于一位患髋关节疾病的患者，则获取该患者的髋关节股骨部位的二维ct医学图像、二维mri医学图像等多个模态下的二维医学图像。
74.参见图3a
‑
图3c，图3a是本发明提供的股骨位置区域的二维ct医学图像；图3b是本发明提供的股骨位置区域的二维mri医学图像；图3c是本发明提供的股骨坏死位置区域的二维mri医学图像。
75.s120、将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出。
76.将步骤s110中获取的如图3a
‑
图3c所示的多种模态的二维医学图像，逐一地分别输入至预先训练的相应的图像分割网络模型，比如该患者的二维ct医学图像输入至其相对应的针对于ct图像的ct图像分割网络模型中，而将该患者的二维mri医学图像输入至其相对应的针对于mri图像的mri图像分割网络模型中，以分别对应地输出各个模态本体位置区域的二维医学图像。当然，还可以有患者的该同一身体部位的其他二维医学图像，也均输入至其分别相应的图像分割网络模型中进行处理。如果该患者该身体部位并没有任何病症，则各模态的二维医学图像均为正常图像，不会出现关于病灶或坏死情况的图像。而若是该
患者的该身体部位存在着一定的病灶或坏死情况，则在多个模态的二维医学图像中，至少有一种模态本体位置区域的二维医学图像中是能够表示出该模态下该患者的本体坏死位置区域的二维医学图像。比如，所分别输出的ct模态下本体位置区域的二维医学图像和mri模态下本体位置区域的二维医学图像当中，至少有一种，比如是mri模态下本体位置区域的二维医学图像中包括着mri模态下该患者的本体坏死位置区域的二维医学图像，或者也可以将所述mri模态下该患者的本体坏死位置区域的二维医学图像理解为在mri模态下与其mri模态下本体位置区域的二维医学图像并列存在的另一个独立的二维医学图像，但仍将其与同模态下本体位置区域的二维医学图像视作一个整体。
77.s130、将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。
78.可选地，还可以将各个模态本体位置区域的二维医学图像进行点云配准融合后再进行三维重建处理，以获得多模态相融合三维医学图像。
79.将步骤s120中获得的各个模态本体位置区域的二维医学图像分别进行三维重建后获得各个模态本体位置区域的三维医学图像，再将各个模态本体位置区域的三维医学图像进行点云配准融合，以获得多模态相融合三维医学图像。
80.本发明提供一种多模态医学图像配准融合方法、装置及电子设备，所述方法通过将同一患者相同部位不同模态的二维医学图像分别进行图像分割处理，再进行三维重建，最后将三维重建后的不同模态的三维医学图像进行精准的点云配准融合，获得多模态相融合三维医学图像该方法多模态图像配准精度高、时间成本低，还能处理较为复杂的多模态融合情况，以及还可应用于非刚性配准情况，配准结果准确，能够为医护人员提供准确的治疗参考依据。
81.图2是本发明提供的多模态医学图像配准融合方法的流程示意图之二，如图2所示，在图1所示实施例的基础上，所述步骤s130执行将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像时，具体包括：
82.s131、基于三维图像重建法，将所述各个模态本体位置区域的二维医学图像分别重建为各个模态本体位置区域的三维医学图像；
83.基于三维图像重建法(使用三维图像处理库)，将步骤s120输出的各个模态本体位置区域的二维医学图像分别进行三维重建，并分别对应地获得各个模态本体位置区域的三维医学图像。所述三维图像重建法可以参照现有的三维图像开源处理库等技术进行，此处不作赘述。
84.s132、分别基于所述各个模态本体位置区域的三维医学图像，确定其本体标志点集和本体头标志点集分别作为该模态相应的点云集；
85.再分别基于步骤s131重建好的各个模态本体位置区域的三维医学图像，分别根据其确定的本体标志点集和本体头标志点集确定出各个模态相应的点云集。本体标志点和本体头标志点均可以根据实际需求选取参考点来设置。当然，还可以将本体标志点和本体头标志点均选择本体中心点和本体中心点，以确定出各个模态下的本体中心点集和本体头中心点集。本体区域的中心点和本体头的中心点，均能较好地作为参考点，因此以这些点为基础去计算确定出各个模态相应的点云集。
86.s133、基于点云配准算法，将各个模态三维医学图像相应的点云集进行点云配准融合，以获得多模态相融合三维医学图像。
87.最后基于点云配准算法，将步骤s132所确定的各个模态三维医学图像相应的点云集进行综合的点云配准融合，最终获得多模态相融合三维医学图像。
88.根据本发明提供的多模态医学图像配准融合方法，所述至少两种模态的二维医学图像包括二维ct医学图像、二维mri医学图像、二维超声医学图像、二维petct医学图像中的至少两种；
89.以及，所述本体包括股骨，所述本体头包括股骨头。
90.本发明提供的多模态医学图像配准融合方法中，所述至少两种模态的二维医学图像包括二维ct医学图像二维mri医学图像、二维超声医学图像、二维petct医学图像中的至少两种，当然还可以包括其他模态下的二维医学图像。
91.更进一步地，当所应用患者为患髋关节疾病的该类患者时，具体可以采集该类患者的髋关节部位尤其是股骨部位的二维医学图像，以便于医护人员诊断参考。所以，本实施例设置所述本体理解为股骨，相应地，所述本体头则为股骨头。因此，步骤s120中所述通过模型输出的各个模态本体位置区域的二维医学图像，举例为ct模态下和mri模态下的股骨位置区域的二维医学图像。
92.根据本发明提供的多模态医学图像配准融合方法，在上述实施例的基础上，当所述至少两种模态的二维医学图像包括二维ct医学图像、二维mri医学图像、二维超声医学图像、二维petct医学图像中的至少两种时，且优选所述本体包括股骨，所述本体头包括股骨头时，所述方法的步骤s120、将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出，进一步包括：
93.将所述二维ct医学图像输入至预先训练的ct图像分割网络模型以获得股骨位置区域的ct医学图像；和/或，将所述二维mri医学图像输入至预先训练的mri图像分割网络模型以获得股骨位置区域的mri医学图像；和/或，将所述二维超声医学图像输入至预先训练的超声图像分割网络模型以获得股骨位置区域的超声医学图像；和/或，将所述二维petct医学图像输入至预先训练的petct图像分割网络模型以获得股骨位置区域的petct医学图像。
94.本发明实施例以包括二维ct医学图像和二维mri医学图像为例进行说明，其他情况同理。此时，步骤s120具体包括：
95.s121、将所述二维ct医学图像输入至预先训练的ct图像分割网络模型以获得股骨位置区域的ct医学图像，
96.s122、将所述二维mri医学图像输入至预先训练的mri图像分割网络模型以获得股骨位置区域的mri医学图像。
97.且，当患者股骨位置区域存在坏死或病灶情况时，还设置所述股骨位置区域的mri医学图像包括着股骨坏死位置区域mri医学图像，也可以设置为单独获取将带有股骨坏死的二维mri医学图像输入至预先训练的mri图像分割网络模型以获得单独的一个股骨坏死位置区域mri医学图像。
98.即，步骤s120具体包括：将所述二维ct医学图像和二维mri医学图像分别输入至各
自相应的预先训练的图像分割网络模型中，从而分别输出股骨位置区域的ct医学图像，以及股骨位置区域的mri医学图像。并且，所述股骨位置区域的mri医学图像中包括股骨坏死位置区域的mri医学图像，即，输出的股骨位置区域的mri医学图像中包含着mri模态下股骨坏死位置区域的mri医学图像的表示。或者，也可将股骨坏死位置区域的mri医学图像理解为是在mri模态下与股骨位置区域的mri医学图像并存的另一独立的二维医学图像，但仍将需其与股骨位置区域的mri医学图像在逻辑上视作一个整体。
99.而当步骤s130执行步骤s131
‑
s133所述方法时，结合股骨位置区域的mri医学图像包括着股骨坏死位置区域mri医学图像的设置，具体过程说明如下：
100.步骤s131、基于三维图像重建法，将所述各个模态本体位置区域的二维医学图像分别重建为各个模态本体位置区域的三维医学图像。
101.即，基于三维图像重建法，具体是使用三维图像处理库，将股骨位置区域的ct医学图像重建为股骨位置区域的三维ct医学图像，以及将股骨位置区域的mri医学图像(包含股骨坏死位置区域mri医学图像)重建为股骨位置区域的三维mri医学图像(包含股骨坏死位置区域的三维mri医学图像)。其中，所述股骨坏死位置区域的三维mri医学图像既可以理解为是与股骨位置区域的三维mri医学图像并存的另一个独立三维医学图像，也可以理解为是包含在股骨位置区域的三维mri医学图像中与其共同作为一个三维医学图像整体。
102.步骤s132、分别基于所述各个模态本体位置区域的三维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态三维医学图像相应的点云集，具体是确定其本体中心点集和本体头中心点集作为各个模态三维医学图像相应的点云集，包括：
103.即，基于所述股骨位置区域的三维ct医学图像，确定其股骨中心点集和股骨头中心点集作为ct模态下三维ct医学图像相应的第一点云集；基于所述股骨位置区域的三维mri医学图像，确定其股骨中心点集和股骨头中心点集作为mri模态下三维mri医学图像相应的第二点云集；
104.股骨的中心点和股骨头的中心点，均能较好地作为参考点，因此以这些点为基础去计算确定出各个模态三维医学图像相应的点云集。
105.各个模态三维医学图像相应的点云集的确定过程具体包括：
106.基于股骨位置区域的三维ct医学图像，确定其股骨中心点集和股骨头中心点集作为ct模态相应的第一点云集m。根据模型输出的股骨位置区域的二维ct医学图像，其股骨区域是在二维横断面上显示的，股骨头层面是近似圆形的，所以可以直接计算出股骨头中心点，然后在髓腔层面确定每一层的髓腔中心点即可构成股骨中心点。根据该二维图像进行三维重建后的股骨位置区域的三维ct医学图像中也可以得出这些点。而多个股骨位置区域的三维ct医学图像则得出股骨中心点集和股骨头中心点集，进而由其组合构成第一点云集m。
107.同理，再基于股骨位置区域的三维mri医学图像(包含股骨坏死位置区域的三维mri医学图像)，确定其股骨中心点集和股骨头中心点集作为mri模态相应的第二点云集n。
108.步骤s133、基于点云配准算法，将各个模态三维医学图像相应的点云集进行点云配准融合，以获得多模态相融合医学图像.
109.即，基于icp点云配准算法，将所述第一点云集m和所述第二点云集n这两组点云进行点云配准融合，进而获得ct模态和mri模态相融合三维医学图像，配准精确度更高且配准
时间成本低。
110.其中，所述icp点云配准算法，具体可以采用现有的三维点云配准方法：基于主成分析法计算待配准点云集对应的第一参考坐标系以及参考点云集对应的第二参考坐标系；基于第一参考坐标系以及第二参考坐标系，对待配准点云集和参考点云集进行初始配准；再基于多维二叉搜索树算法，在初始配准后的参考点云集中寻找与待配准点云集中距离最近的点，得到多组对应点对；分别计算多组对应点对之间的方向向量夹角；基于预设夹角阈值和方向向量夹角，对待配准点云集和参考点云集进行精配准，最终获得ct模态和mri模态相融合三维医学图像。
111.再结合图4
‑
图8，进行进一步说明，图4是通过本发明提供的多模态医学图像配准融合方法图像分割和三维重建后的股骨位置区域的三维ct医学图像；图5是通过本发明提供的多模态医学图像配准融合方法图像分割和三维重建后的股骨位置区域的三维mri医学图像；而图6是通过本发明提供的多模态医学图像配准融合方法配准融合后的ct模态和mri模态相融合三维医学图像；图7是通过本发明提供的多模态医学图像配准融合方法图像分割和三维重建后的股骨坏死位置区域的三维mri医学图像；图8是通过本发明提供的多模态医学图像配准融合方法配准融合后的股骨位置区域的ct模态以及股骨位置区域的mri模态和股骨坏死位置区域的mri模态相融合三维医学图像。并且，其中图4、5、7分别为对图3a、3b、3c的二维图像进行图像分割和三维重建后获得的相应位置区域的三维医学图像。正如图4
‑
图8所示，图4则是经上述步骤进行三维重建后获得的该患者的股骨位置区域的三维ct医学图像，图5则是经上述步骤进行三维重建后获得的该患者的股骨位置区域的三维mri医学图像，图4和图5可以先进行融合后获得图6，图6表示股骨没有坏死的情况下相融合三维图像，而图7是通过本发明提供的多模态医学图像配准融合方法图像分割和三维重建后的股骨坏死位置区域的三维mri医学图像，也可理解为是独立的股骨坏死位置区域的三维mri医学图像，此时虽是将图7的股骨坏死位置区域的三维mri医学图像与图5的股骨位置区域的三维mri医学图像共同作为一个三维医学图像整体，但是在具体进行点云配准融合处理时本质上还是先将这二者的三维医学图像进行融合处理后作为一个三维医学图像整体，以新的股骨位置区域的三维mri医学图像的整体，再去与股骨位置区域的三维ct医学图像进行进一步的点云配准融合，当然，也可以如图4
‑
图8所示的，先将图4和图5融合获得图6，再将图7和图6融合获得图8，即最终获得股骨位置区域的三维ct医学图像和股骨位置区域的三维mri医学图像以及股骨坏死位置区域的三维mri医学图像，依icp点云配准算法进行配准到一起后所获得的综合结果：ct模态和mri模态相融合三维医学图像。该ct模态和mri模态相融合三维医学图像精准地融合了ct模态和mri模态的图像的不同特征，并且还能体现出该患者真正的股骨坏死位置区域(如图8中股骨头内部上方的异形小区域部位所示)，进而能够为医护人员提供对该患有髋关节疾病的患者进行治疗前的精准的参考依据。需要说明的是，图4
‑
图8中仅示出该患者的股骨位置区域的三维ct医学图像和三维mri医学图像中的股骨形态示意，而在真正进行点云配准融合时所依据的各个点集均需要在计算机系统中结合上述各图像建立相应坐标系及获取相应坐标点值，具体参量均根据实际应用场景进行设置，此处不作任何限制。
112.根据本发明提供的多模态医学图像配准融合方法，各模态下二维医学图像分别相应的各个图像分割网络模型的预先训练过程的原理均相一致，本发明实施例仅以ct图像分
割网络模型的预先训练过程和mri图像分割网络模型的预先训练过程为例进行说明。
113.图9是本发明提供的方法中ct图像分割网络模型的预先训练过程的流程示意图，如图9所示，该方法中所述ct图像分割网络模型的预先训练过程，包括：
114.s610、获取多个患者的二维ct医学图像数据集，其中，所述二维ct医学图像数据集中包含有多个二维ct医学图像；
115.获取大量的患有髋关节疾病患者的二维ct医学图像数据集，其中，所述二维ct医学图像数据集中包含有多个二维ct医学图像。
116.s620、采用自动标注、手动标注中的至少一种方式，标注出各个所述二维ct医学图像中的股骨位置区域；
117.对二维ct医学图像数据集中的各个二维ct医学图像，分别自动或者手动地标注出股骨位置区域，将其作为我们的数据库基础。自动标注时可借助标注软件进行。从而获得经过标注后的各个二维ct医学图像形成的二维ct医学图像数据集。
118.s630、将经过标注后的各个二维ct医学图像按照预设比例划分为ct训练数据集和ct测试数据集；
119.在进行训练数据集和测试数据集划分之前，还需要将经过标注后的二维ct医学图像数据集中的各个二维ct医学图像进行相应的格式转换，如此才能顺利地进入图像分割网络进行处理。具体地，是将经过标注后的二维ct医学图像数据集中的各个二维ct医学图像的二维横断面dicom格式转换成jpg格式的图片。
120.将经过标注并经过格式转换后的各个二维ct医学图像，按照预比例7:3来划分为ct训练数据集和ct测试数据集。所述ct训练数据集用于作为ct图像分割网络的输入，以训练出ct图像分割网络模型。而所述ct测试数据集用于后续对所述ct图像分割网络模型的性能进行测试和优化。
121.s640、基于所述ct训练数据集并结合神经网络算法和深度学习训练出ct图像分割网络模型；
122.基于所述ct训练数据集并结合神经网络算法和深度学习，利用多次下采样识别所述ct训练数据集中图像数据的深层特征，还利用多次上采样将学习到的深层特征反向存储至所述图像数据中，以实现通过第一图像分割网络(主干图像分割网络)获得图像粗分割结果，并再通过第二图像分割网络(从属图像分割网络)对分类不确定的多个点进行精确分割处理，以获得精确分割结果。最终训练出ct图像分割网络模型。
123.或者，图10是本发明提供的方法中mri图像分割网络模型的预先训练过程的流程示意图，如图10所示，该方法中所述mri图像分割网络模型的预先训练过程，包括：
124.s710、获取多个患者的二维mri医学图像数据集，其中，所述二维mri医学图像数据集中包含有多个二维mri医学图像；
125.获取大量的患有髋关节疾病患者(需要与步骤610中为相同患者)的二维mri医学图像数据集，其中，所述二维mri医学图像数据集中包含有多个二维mri医学图像；
126.s720、采用自动标注、手动标注中的至少一种方式，标注出各个所述二维mri医学图像中的股骨位置区域；
127.对二维mri医学图像数据集中的各个二维mri医学图像，分别自动或者手动地标注出股骨位置区域，当然若有股骨坏死情况，还应该一并标注出股骨坏死位置区域，也将其作
为我们的数据库基础。自动标注时可借助标注软件进行。从而获得经过标注后的各个二维mri医学图像形成的二维mri医学图像数据集。
128.s730、将经过标注后的各个二维mri医学图像按照预设比例划分为mri训练数据集和mri测试数据集；
129.在进行训练数据集和测试数据集划分之前，还需要将经过标注后的二维mri医学图像数据集中的各个二维mri医学图像进行相应的格式转换，如此才能顺利地进入图像分割网络进行处理。具体地，是将经过标注后的二维mri医学图像数据集中的各个二维mri医学图像的原格式转换成png格式的图片。
130.将经过标注并经过格式转换后的各个二维mri医学图像，按照预比例7:3来划分为mri训练数据集和mri测试数据集。所述mri训练数据集用于作为mri图像分割网络的输入，以训练出mri图像分割网络模型。而所述mri测试数据集用于后续对所述mri图像分割网络模型的性能进行测试和优化。
131.s740、基于所述mri训练数据集并结合神经网络算法和深度学习训练出mri图像分割网络模型。
132.基于所述mri训练数据集并结合神经网络算法和深度学习，利用多次下采样识别所述mri训练数据集中图像数据的深层特征，还利用多次上采样将学习到的深层特征反向存储至所述图像数据中，以实现通过第一图像分割网络(主干图像分割网络)获得图像粗分割结果，并再通过第二图像分割网络(从属图像分割网络)对分类不确定的多个点进行精确分割处理，以获得精确分割结果。最终训练出mri图像分割网络模型。根据本发明提供的多模态医学图像配准融合方法，基于所述ct训练数据集或mri训练数据集并结合神经网络算法和深度学习训练出ct图像分割网络模型或mri图像分割网络模型，图11是图9和图10所示训练过程的深度学习训练网络结构图，再结合图11所示，所述模型的训练过程具体包括以下几个步骤：
133.(1)通过第一图像分割模型对所述ct训练数据集或所述mri训练数据集进行粗分割处理：对所述ct训练数据集或所述mri训练数据集中的图像数据执行多次下采样，以通过卷积层和池化层的处理识别各图像数据的深层特征；对进行下采样后的图像数据执行多次上采样，以通过上采样层和卷积层的处理反向存储所述深层特征至所述图像数据中；利用adam分类优化器进行图像粗分类处理，获得图像粗分割结果；
134.首先利用第一图像分割模型(unet backbone主干神经网络，简称unet主神经网络)，对所述ct训练数据集或所述mri训练数据集进行粗分割处理(coarse prediction)。第一阶段执行4次下采样来学习所述ct训练数据集或所述mri训练数据集各个图像数据的深层特征。其中每个下采样层中包括2个卷积层和1个池化层，卷积层中的卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128、256、512等。对进行下采样后的图像数据再执行4次上采样，以将下采样所学习的各个图像数据的深层特征重新存储到所述图像数据中。其中每个上采样层中包括1个上采样层和2个卷积层，其中，卷积层的卷积核大小为3*2，而上采样层中的卷积核大小为2*2，每个上采样层中的卷积核个数为512、256、128等。上述的卷积神经网络的采样过程就是对各个图像数据进行特征提取的过程。我们需要在各个原图像中识别出特征部分，具体是通过卷积神经网络不断重复地去学习其深层的特征，最后反向存储到原图像上。利用adam分类优化器进行图像粗分类处理，获
得图像粗分割结果。
135.(2)通过第二图像分割模型对所述图像粗分割结果进行精分割处理：从所述深层特征中筛选预设置信度的特征点数据，对所述特征点数据进行双线性插值计算，基于计算后的特征点数据识别所述深层特征的所属类别，获得最终的图像分割结果。
136.再通过第二图像分割模型(pointrend从属神经网络，简称pointrend从神经网络)，对经unet主神经网络处理后获得的图像粗分割结果进行进一步的精分割处理。通过bilinear双线性插值法对所述图像粗分割结果进行上采样学习计算，以获得各个图像的密集特征图；针对每一个图像的密集特征图，均从中选择多个所属分类未知的点，也即是选择n个所属分类最不确定的点，比如选择多个置信度/概率为0.5的点，然后计算表并提取这n个点的深层特征表示，并利用mlp多层感知器逐点预测这n个点经精分割后各自的所属分类，比如判断该点是属于股骨区域，还是非股骨区域；重复执行上述步骤直至这n个点中的每一个点在精分割后的所属分类逐一预测完毕。其利用mlp多层感知器逐点预测这n个点经精分割后各自的所属分类时使用一个小型的分类器去判断这个点属于哪个分类，这其是等价于用一个1*1的卷积来预测。但是对于置信度接近于1或0的点，其所属分类依然很明确，故而这些点不再需要进行逐点预测。减少了所需预测点的数量，并且从整体上提升了最终图像分割结果的精准度。从而，最终获得最优化的图像精分割结果(optimized prediction)。
137.(3)基于所述最终的图像分割结果以及所述ct训练数据集或所述mri训练数据集计算损失函数；
138.(4)基于所述损失函数调整所述ct图像分割网络模型或所述mri图像分割网络模型的参数，直至所述ct图像分割网络模型或所述mri图像分割网络模型训练成功。
139.其中，设置损失函数的作用是，可以在模型预训练过程中根据所述损失函数的变化对每次训练的样本数的大小进行调整。具体地，在通过unet主神经网络对所述ct训练数据集或所述mri训练数据集进行粗分割处理的过程中，每次训练的样本数batch_size的大小的初始值设置为6，学习率设置为1e
‑
4，优化器使用adam优化器，并设置损失函数dice loss。将ct训练数据集或mri训练数据集全部送入unet主神经网络进行训练时，便可根据训练过程中损失函数的变化情况，实时有效地调整每次训练的样本数batch_size的大小，从而在粗分割处理阶段提升处理精确度。
140.根据本发明提供的多模态医学图像配准融合方法，所述方法还包括：
141.在所述各卷积层后均设置激活函数；
142.其中，所有的卷积层后面还均设有激活函数，比如可以是relu激活函数、sigmoid激活函数、tanh激活函数、leaky relu激活函数等等，以增强卷积神经网络的非线性因素，使得经该卷积神经网络能更好地解决较为复杂的计算处理过程。
143.和/或，所述通过所述第一图像分割模型对所述ct训练数据集或所述mri训练数据集进行粗分割处理的过程中，最后一次上采样结束后设置有dropout层；
144.最后一次上采样结束后，或者说最后一个上采样层之后，设有一个dropout层，用于在深度学习网络的训练过程中，按照一定的概率将一些神经网络单元暂时从网络中丢弃，以进一步提升模型训练的精确度。其中，所述dropout层的概率设置为0.7。
145.下面对本发明提供的多模态医学图像配准融合装置进行说明，所述多模态医学图
像配准融合装置与上述任一实施例所述的多模态医学图像配准融合方法相对应，原理可相互参照，故此处不再重复赘述。
146.本发明还提供一种多模态医学图像配准融合装置，图12是本发明提供的多模态医学图像配准融合装置的结构示意图之一，如图12所示，所述装置包括：获取模块1110、二维图像处理模块1120、三维重建及融合模块1130，其中，
147.所述获取模块1110，用于获取患者的至少两种模态的二维医学图像；
148.所述二维图像处理模块1120，用于将所述至少两种模态的二维医学图像输入至预先训练的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
149.所述三维重建及融合模块1130，用于将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。
150.本发明提供的多模态医学图像配准融合装置，包括：获取模块1110、二维图像处理模块1120、维重建及融合模块1130，各个模块相互配合工作，使得本装置能够通过对同一患者相同部位不同模态的二维医学图像分别进行图像分割处理，再进行三维重建，最后将三维重建后的不同模态的三维医学图像进行精准的点云配准融合，获得多模态相融合医学图像。该装置对多模态图像配准的配准精度高、时间成本低，还能处理较为复杂的多模态融合情况，以及还可应用于非刚性配准情况，能够为医护人员提供准确的治疗参考依据。
151.根据本发明提供的多模态医学图像配准融合装置，图13是本发明提供的多模态医学图像配准融合装置的结构示意图之二，如图13所示，在图12所示实施例基础上，所述三维重建及融合模块1130，进一步包括：三维图像重建模块1131、点集确定模块1132和配准模块1133，其中，
152.所述三维图像重建模块1131，用于基于三维图像重建法，将所述各个模态本体位置区域的二维医学图像分别重建为各个模态本体位置区域的三维医学图像；
153.所述点集确定模块1132，用于分别基于所述各个模态本体位置区域的三维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态三维医学图像相应的点云集；
154.所述配准模块1133，用于基于点云配准算法，将各个模态三维医学图像相应的点云集进行点云配准融合，以获得多模态相融合三维医学图像。
155.本发明还提供一种电子设备，图14是本发明提供的电子设备的结构示意图，如图14所示，该电子设备可以包括：处理器(processor)1310、通信接口(communications interface)1320、存储器(memory)1330和通信总线1340，其中，处理器1310，通信接口1320，存储器1330通过通信总线1340完成相互间的通信。处理器1310可以调用存储器1330中的逻辑指令，以执行所述多模态医学图像配准融合方法的全部或部分步骤，该方法包括：
156.获取患者的至少两种模态的二维医学图像；
157.将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
158.将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。
159.此外，上述的存储器1330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本
发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述多模态医学图像配准融合方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
160.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所提供的多模态医学图像配准融合方法的全部或部分步骤，该方法包括：
161.获取患者的至少两种模态的二维医学图像；
162.将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
163.将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。
164.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上各实施例所述多模态医学图像配准融合方法的全部或部分步骤，该方法包括：
165.获取患者的至少两种模态的二维医学图像；
166.将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
167.将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。
168.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
169.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的多模态医学图像配准融合方法。
170.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。