一种基于深度学习的多模态医学影像的方法与流程

本发明涉及多模态医学影像技术领域，具体涉及一种基于深度学习的多模态医学影像的方法。

背景技术：

目前，随着精准医疗及大数据时代的来临，除了诊断文字信息外，影像数据的分析及应用已经成为临床医学更为核心的环节之一。

医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程。它包含以下两个相对独立的研究方向：医学成像系统(medicalimagingsystem)和医学图像处理(medicalimageprocessing)。前者是指图像行成的过程，包括对成像机理、成像设备、成像系统分析等问题的研究；后者是指对已经获得的图像作进一步的处理，其目的是或者是使原来不够清晰的图像复原，或者是为了突出图像中的某些特征信息，或者是对图像做模式分类等等。

医护人员根据需要对这些医学影像进行人工识别，以对相应病情进行诊断。由于医院每日的医学影像数量成千上万，工作量极大，诊断效率较低。为了减少医护人员的工作量。

技术实现要素：

为解决上述问题，本发明提供了一种基于深度学习的多模态医学影像的方法，实现了医学影像检查结果的综合诊断，大大减轻了医护人员的工作量。

为实现上述目的，本发明采取的技术方案为：

一种基于深度学习的多模态医学影像的方法，包括如下步骤：

s1、利用电子计算机断层扫描和磁共振成像设备获取患者待检测部位的医学影像；

s2、根据两幅医学影像的像素点边缘强度生成灰度图，并基于所述灰度图对所得医学影像进行锐化处理，并获取所得的图像的梯度图像；

s3、采用迭代自适应阈值分割法对锐化所得的图像进行二值化处理距离变换，获取待两幅医学影像的距离变换图，并完成距离变换图的转换，获取待分割图像的距离地形图；

s4、提取所得距离变换图中每个连通区域的灰度值最大的一点或点集，作为前景标记；对所得的距离地形图进行分水岭变换，将得到的分水岭脊线作为背景标记；

s5、屏蔽所述梯度图像中的局部极小值，根据所得前景标记和背景标记标记所述梯度图像的局部极小值，得到修正后的梯度图像；

s6、通过深度卷积模型分别对获取的两幅医学影像进行特征提取；

s7、通过欧氏距离求出两幅医学影像修正后的梯度图像的相似度，然后利用自适应的得分融合算法对使用深度学习算法提取到的人脸特征在得分层次进行融合，求出该用户最终的得分；

s8、基于预设的bp神经网络模型利用融合后的得分进行综合分析，输出诊断结果。

进一步地，所述灰度图中每个像素点的灰度为视频图像中对应像素点的边缘强度。

进一步地，所述锐化处理包括：

对所述灰度图进行膨胀操作和/或高斯模糊操作，得到中间图像a；

对所述中间图像a执行腐蚀操作，得到中间图像a1；

基于所述中间图像a1对视频图像进行锐化处理。

进一步地，自适应的得分融合算法公式如下：

fi＝αvi+βni(3)

其中，vi表示电子计算机断层扫描图的得分，ni表示磁共振影像图的得分，其中，α+β＝1，α和β采用自适应的取值方案，公式如(4)和(5)所示：

本发明具有以下有益效果：

利用深度学习算法同时对电子计算机断层扫描图、磁共振影像图进行特征提取，然后通过距离变换获取的前景标记和分水岭变换获取的背景标记来修正图像的梯度图像，再使用融合算法对深度学习模型提取到的特征进行得分层次的融合，提高了图像之间相似度计算的精确性，从而提高了后续诊断结果的准确性；最后使用融合后的图像得分基于bp神经网络模型实现诊断结果的自动输出，大大提供了医护人员的工作效率。

附图说明

图1为本发明实施例一种基于深度学习的多模态医学影像的方法的流程图。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供了一种基于深度学习的多模态医学影像的方法，包括如下步骤：

s1、利用电子计算机断层扫描和磁共振成像设备获取患者待检测部位的医学影像；

s2、根据步骤s1所得的两幅医学影像的像素点边缘强度生成灰度图，并基于所述灰度图对所得医学影像进行锐化处理，并获取所得的图像的梯度图像；所述灰度图中每个像素点的灰度为视频图像中对应像素点的边缘强度；

s3、采用迭代自适应阈值分割法对锐化所得的图像进行二值化处理距离变换，获取待两幅医学影像的距离变换图，并完成距离变换图的转换，获取待分割图像的距离地形图；

s4、提取所得距离变换图中每个连通区域的灰度值最大的一点或点集，作为前景标记；对所得的距离地形图进行分水岭变换，将得到的分水岭脊线作为背景标记；

s5、屏蔽所述梯度图像中的局部极小值，根据所得前景标记和背景标记标记所述梯度图像的局部极小值，得到修正后的梯度图像；

s6、通过深度卷积模型分别对获取的两幅医学影像进行特征提取；

s7、通过欧氏距离求出两幅医学影像修正后的梯度图像的相似度，然后利用自适应的得分融合算法对使用深度学习算法提取到的人脸特征在得分层次进行融合，求出该用户最终的得分；

s8、基于预设的bp神经网络模型利用融合后的得分进行综合分析，输出诊断结果。

本实施例中，所述锐化处理包括：

对所述灰度图进行膨胀操作和/或高斯模糊操作，得到中间图像a；

对所述中间图像a执行腐蚀操作，得到中间图像a1；

基于所述中间图像a1对视频图像进行锐化处理。

自适应的得分融合算法公式如下：

fi＝αvi+βni(3)

其中，vi表示电子计算机断层扫描图的得分，ni表示磁共振影像图的得分，其中，α+β＝1，α和β采用自适应的取值方案，公式如(4)和(5)所示：

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。