技术特征：
1.一种多模态医学图像配准融合方法，其特征在于，包括：获取患者的至少两种模态的二维医学图像；将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。2.根据权利要求1所述的多模态医学图像配准融合方法，其特征在于，将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像，包括：基于三维图像重建法，将所述各个模态本体位置区域的二维医学图像分别重建为各个模态本体位置区域的三维医学图像；分别基于所述各个模态本体位置区域的三维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态三维医学图像相应的点云集；基于点云配准算法，将各个模态三维医学图像相应的点云集进行点云配准融合，以获得多模态相融合三维医学图像。3.根据权利要求1或2所述的多模态医学图像配准融合方法，其特征在于，所述至少两种模态的二维医学图像包括二维ct医学图像、二维mri医学图像、二维超声医学图像、二维petct医学图像中的至少两种；以及，所述本体包括股骨，所述本体头包括股骨头。4.根据权利要求3所述的多模态医学图像配准融合方法，其特征在于，将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出，包括：将所述二维ct医学图像输入至预先训练的ct图像分割网络模型以获得股骨位置区域的ct医学图像；和/或，将所述二维mri医学图像输入至预先训练的mri图像分割网络模型以获得股骨位置区域的mri医学图像；和/或，将所述二维超声医学图像输入至预先训练的超声图像分割网络模型以获得股骨位置区域的超声医学图像；和/或，将所述二维petct医学图像输入至预先训练的petct图像分割网络模型以获得股骨位置区域的petct医学图像。5.根据权利要求4所述的多模态医学图像配准融合方法，其特征在于，所述ct图像分割网络模型的预先训练过程，包括：获取多个患者的二维ct医学图像数据集，其中，所述二维ct医学图像数据集中包含有多个二维ct医学图像；采用自动标注、手动标注中的至少一种方式，标注出各个所述二维ct医学图像中的股骨位置区域；将经过标注后的各个二维ct医学图像按照预设比例划分为ct训练数据集和ct测试数据集；基于所述ct训练数据集并结合神经网络算法和深度学习训练出ct图像分割网络模型；或，所述mri图像分割网络模型的预先训练过程，具体包括：获取多个患者的二维mri医学图像数据集，其中，所述二维mri医学图像数据集中包含有多个二维mri医学图像；
采用自动标注、手动标注中的至少一种方式，标注出各个所述二维mri医学图像中的股骨位置区域；将经过标注后的各个二维mri医学图像按照预设比例划分为mri训练数据集和mri测试数据集；基于所述mri训练数据集并结合神经网络算法和深度学习训练出mri图像分割网络模型。6.根据权利要求5所述的多模态医学图像配准融合方法，其特征在于，基于所述ct训练数据集并结合神经网络算法和深度学习训练出ct图像分割网络模型，或，基于所述mri训练数据集并结合神经网络算法和深度学习训练出mri图像分割网络模型，包括：通过第一图像分割模型对所述ct训练数据集或所述mri训练数据集进行粗分割处理：对所述ct训练数据集或所述mri训练数据集中的图像数据执行多次下采样，以通过卷积层和池化层的处理识别各图像数据的深层特征；对进行下采样后的图像数据执行多次上采样，以通过上采样层和卷积层的处理反向存储所述深层特征至所述图像数据中；利用adam分类优化器进行图像粗分类处理，获得图像粗分割结果；通过第二图像分割模型对所述图像粗分割结果进行精分割处理：从所述深层特征中筛选预设置信度的特征点数据，对所述特征点数据进行双线性插值计算，基于计算后的特征点数据识别所述深层特征的所属类别，获得最终的图像分割结果；基于所述最终的图像分割结果以及所述ct训练数据集或所述mri训练数据集计算损失函数；基于所述损失函数调整所述ct图像分割网络模型或所述mri图像分割网络模型的参数，直至所述ct图像分割网络模型或所述mri图像分割网络模型训练成功。7.根据权利要求6所述的多模态医学图像配准融合方法，其特征在于，所述方法还包括：在所述各卷积层后均设置激活函数；和/或，所述通过所述第一图像分割模型对所述ct训练数据集或所述mri训练数据集进行粗分割处理的过程中，最后一次上采样结束后设置有dropout层。8.一种多模态医学图像配准融合装置，其特征在于，包括：获取模块，用于获取患者的至少两种模态的二维医学图像；二维图像处理模块，用于将所述至少两种模态的二维医学图像输入至预先训练的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；三维重建及融合模块，用于将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。9.根据权利要求8所述的多模态医学图像配准融合装置，其特征在于，所述三维重建及融合模块，包括：三维图像重建模块，用于基于三维图像重建法，将所述各个模态本体位置区域的二维医学图像分别重建为各个模态本体位置区域的三维医学图像；点集确定模块，用于分别基于所述各个模态本体位置区域的三维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态三维医学图像相应的点云集；配准模块，用于基于点云配准算法，将各个模态三维医学图像相应的点云集进行点云
配准融合，以获得多模态相融合三维医学图像。10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1至7任一项所述多模态医学图像配准融合方法的全部或部分步骤。
技术总结
本发明提供一种多模态医学图像配准融合方法、装置及电子设备，该方法包括：获取患者的至少两种模态的二维医学图像；将至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。该方法图像配准精度高、时间成本低，还能处理较为复杂的多模态融合情况，以及还可应用于非刚性配准情况，配准结果准确，能够为医护人员提供准确的治疗参考依据。能够为医护人员提供准确的治疗参考依据。能够为医护人员提供准确的治疗参考依据。
技术研发人员：刘星宇 张逸凌
受保护的技术使用者：北京长木谷医疗科技有限公司
技术研发日：2021.06.07
技术公布日：2021/9/28