基于多模态医学影像的帕金森病辅助诊断系统和方法与流程

本发明涉及基于医学影像的计算机分析技术的应用领域，具体涉及一种基于多模态医学影像的帕金森病辅助诊断系统和方法。

背景技术

帕金森病（paekinson’sdisease，pd）又名震颤麻痹，是一种常见的中老年人神经系统变性疾病。帕金森病最主要的病理改变是中脑黑质多巴胺（dopamine，da）能神经元的变性死亡，由此而引起纹状体da含量显著性减少而致病，临床上主要以运动迟缓、强直、静止性震颤和姿势平衡障碍非对称运动症状为主要表现。目前，帕金森的诊断仍主要依据其临床核心症状，然而这些核心症状也并非帕金森病所有，仅根据病史及临床表现很难确诊，因此发展一种早期诊断帕金森病的手段尤其必要。

经颅超声作为一种非侵入性的技术，已成为帕金森病的诊断及与帕金森综合征鉴别诊断的重要工具。最重要的是，它能够探测黑质的高回声，是早期诊断帕金森病及能够鉴别诊断帕金森综合征的关键。

磁共振成像（magneticresonanceimaging，mri）是断层成像的一种，它利用磁共振现象从人体中获得电磁信号，并重建出人体信息。mri对人体没有电离辐射损伤，对软组织结构的显示清晰度也优于其他检查方式，同时其可进行多序列成像形成多种图像类型，为明确病变性质提供更丰富的影像信息。

正电子发射型计算机断层显像（positronemissioncomputedtomography，pet）是核医学领域比较先进的临床检查影像技术，是目前惟一可在活体上显示生物分子代谢、受体及神经介质活动的新型影像技术，具有灵敏度高、特异性高、全身显像以及安全性好等特点，现已广泛用于多种疾病的诊断。

基于计算机辅助诊断（computeraideddiagnosis，cad）的方法给帕金森症诊断带来了巨大帮助，其让神经影像信息的识别能力最大化，能够从影像数据中提取潜在的有效信息。大多数的辅助诊断系统是基于单模态的，但由于各个模态所表征的信息不同，不同模态的提取的有效信息都不是全面的，因此，本发明提出一种基于超声图像、mri和pet影像三种不同模态的数据进行帕金森病辅助诊断的系统和方法，能够获得更好的分类结果，从而为医生提供更准确的辅助诊断。

技术实现要素：

本发明的目的在于针对已有技术的不足，提供一种基于多模态医学影像的帕金森病辅助诊断系统和方法，主要利用经颅中脑超声以及mri和pet三个模态数据，进行特征提取后再进行特征融合，最终利用集成学习的方法进行分类学习，从而为医生提供有效的辅助诊断参考。

为达此目的，本发明采用以下技术方案：

一种基于多模态医学影像的帕金森病辅助诊断系统，包括输入模块、特征提取模块、特征融合模块和诊断模块，所述输入模块连接特征提取模块，特征提取模块连接特征融合模块，特征融合模块连接诊断模块；其中，所述输入模块：主要包含三个模态的输入，主要通过经颅超声获取的黑质区域的超声图像以及mri和pet图像。所述特征提取模块：根据医生的先验知识，本发明提取了整幅超声图像中的中脑目标区域，并将其和mri、pet图像分别进行特征学习，对于不同模态的数据可采用不同的特征学习的方法得到更具有鲁棒性的特征。所述特征融合模块：对特征提取模块提取到的特征进行特征融合，将各个模态的特征进行融合后再进行分类。所述诊断模块：将三个模态的融合特征进行分类最终获得诊断结果。

一种基于多模态医学影像的帕金森病辅助诊断方法，采用上述系统进行操作，包括如下步骤：

（1）读入经颅超声图像、mri影像以及pet影像的三个模态数据并进行预处理；

（2）对经颅超声图像、mri图像和pet图像采用不同的特征提取的方法提取特征；

（3）采用集成学习的方法对三个通道的数据进行集成学习，以获得更高的分类性能；然后采用不同的特征融合的方法对三个通道的特征进行融合；

（4）利用不同类型的分类器对融合特征进行分类，获得辅助诊断结果，供医生进行诊断辅助参考。

本发明与现有技术比较，具有如下显而易见的实质特点和显著优点：

采用了本发明的技术方案，能够将多种模态的所表征的特性相结合，最大化的利用了受检者的信息，并为医生的诊断提供了有效的辅助作用。

附图说明

图1为基于多模态医学影像的帕金森病辅助诊断系统的结构示意图。

具体实施方案

下面结合附图和具体实例对本发明进行详细说明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，一种基于多模态医学影像的帕金森病辅助诊断系统，包括输入模块、特征提取模块、特征融合模块和诊断模块，所述输入模块连接特征提取模块，特征提取模块连接特征融合模块，特征融合模块连接诊断模块；所述输入模块读入经颅超声图像及mri和pet影像，特征提取模块对超声图像、mri和pet图像采用不同的特征提取的方法提取特征，以卷积神经网络为例，不同的卷积核可得到不同的特征，也可采用其他类似方法提取；特征融合模块通过集成学习的方法，将多模态特征进行融合，获得包含更多信息量的融合特征，以此来训练出更具有鲁棒性的模型；诊断模块通过选择不同的分类器对融合特征进行分类，获得辅助诊断结果，供医生进行诊断辅助参考。

一种基于多模态医学影像的帕金森病辅助诊断方法，采用上述系统进行操作，以卷积神经网络为例，包括如下步骤：

（1）读入经颅超声图像、mri影像以及pet影像的三个模态数据并进行预处理；

（2）对经颅超声图像、mri图像和pet图像用卷积的方法提取特征，不同的卷积核可提取不同的表征特征；

（3）采用集成学习的方法对三个通道的数据进行集成学习，以获得更高的分类性能；然后采用不同的特征融合的方法对三个通道的特征进行融合；

（4）利用不同类型的分类器对融合特征进行分类，获得辅助诊断结果，供医生进行诊断辅助参考。

上述步骤（2）中以卷积神经网络提取图像特征为例，具体包括如下步骤：

（2.1）读入中脑区域超声图像，对中脑区域超声图像构建卷积神经网络，卷积的层数以及卷积核的大小，池化层的大小都可根据需求自行设定，最后通过全连接层输出特征向量。

（2.2）读入mri图像，对mri图像构建卷积神经网络，卷积的层数以及卷积核的大小，池化层的大小都可根据需求自行设定，最后通过全连接层输出特征向量。

（2.3）读入pet图像，对pet图像构建卷积神经网络，卷积的层数以及卷积核的大小，池化层的大小都可根据需求自行设定，最后通过全连接层输出特征向量。

（2.4）对步骤（2.1）（2.2）（2.3）得到的特征采用不同的特征融合方法进行融合。

（2.5）对步骤（2.4）中得到的特征分别进行分类，得到结果后，采用voting、adaboost或其他集成算法进行集成学习，来提高最终的分类性能。

（2.6）本实施例中，采用卷积的方法对整幅图像提取特征，并在卷积层之后连接池化曾，卷积层和池化层的大小和数量均可根据实际情况自行调整。卷积核池化的计算性质，使得图像中的平移部分对于最后的特征向量没有影响。从这一角度说，提取到的特征更不容易过拟合。在利用不同的卷积、池化层时，能对最后的输出向量的大小进行控制从而达到控制整体模型的拟合能力，有效的防止过拟合和欠拟合。

针对目前帕金森早期诊断，本发明定量分析多模态数据，对于早期诊断帕金森病具有重要意义，不仅可以提高诊断的准确性，减少操作者的主管判断误差，而且对临床早起干预、减少后期残疾，具有一定的辅助指导意义。