一种基于深度学习的多模态医学影像识别方法及装置与流程

本发明涉及图像处理领域，更具体地，涉及基于深度学习的多模态医学影像识别方法及装置。

背景技术：

目前，随着精准医疗及大数据时代的来临，除了诊断文字信息外，影像数据的分析及应用已经成为临床医学更为核心的环节之一。医护人员根据需要对这些医学影像进行人工识别，以对相应病患进行诊断。由于医院每日的医学影像数量成千上万，工作量极大，诊断效率较低。为了减少医护人员的工作量，现急需一种医学影像识别方法。

中国发明专利“CN 104866727 A基于深度学习对医疗数据进行分析的方法及其智能分析仪”通过深度学习的方法对文本诊断数据及二维图像数据进行了分析，提供了基于深度神经网络对医疗数据进行科学分析的方法并发明了一种计算机装置为医院及医学机构更好的服务。该发明中采用了深度神经网络的对文字信息和图像信息进行了训练，从而为医生减轻负担，辅助医生做出正确的判断。但该发明仍存在以下问题：其一，虽然考虑了文字信息与医学影像信息的关联，但未考虑多类医学影像在空间位置上的关系；其二，虽然影像数据通过深度神经网络进行了分析，但是算法没有进行改良，在不同大小图像进行统一尺寸输入的时候，丢失了很多信息，在实际使用时不能很好的得到精度；其三，缺少临床决策功能。由于文中的医疗文本数据与二维影像数据之间的逻辑关系、及信息融合的方法并不明确。

技术实现要素：

本发明提供一种克服上述问题或者至少部分地解决上述问题的基于深度学习的多模态医学影像识别方法及装置。

根据本发明的一个方面，提供一种基于深度学习的多模态医学影像识别方法，该方法包括：S1，基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；S2，基于所述多模态医学影像利用Regions with Convolutional neural network(R-CNN)，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；S3，根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；S4,根据所述确诊的病变区域对应的图像块利用稠密采样方法和Convolutional Neural Network(CNN)获取各预设病种的发生概率。

根据本发明的另一个方面，提供一种基于深度学习的多模态医学影像识别装置，该装置包括：多模态医学影像显示模块，用于基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；病变区域检测模块，用于基于所述多模态医学影像利用R-CNN，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；病变体显示模块，用于根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；预设病种发生概率模块，用于根据所述确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率。

本申请提出的基于深度学习的多模态医学影像识别方法，通过基于患者待检测部位的多模态医学影像利用配准方法将多模态医学影像显示在同一三维空间内建立了人体相关部位的立体直观的模型，便于医生直观观察模型进行诊断判断，通过基于多模态医学影像利用R-CNN，识别多模态医学影像中的病变区域，获取病变区域对应的图像块以及病变区域在多模态医学影像中的坐标，实现了医学影像中病变区域的自动识别，减少了医生的工作量同时加快了识别速度，根据病变区域在多模态医学影像中的坐标在在同一三维空间内显示病变体，以便于医生直观观察模型从而进行诊断，以确定确诊的病变区域，根据确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率，为医生的进一步诊断提供了有效的参考数据。

附图说明

图1为根据本发明实施例基于深度学习的多模态医学影像识别方法的流程图；

图2为本发明本实施例肺部CT影像和X射线影像在同一三维空间内显示的示意图；

图3为根据本发明实施例获取的ROI区域或疑似ROI区域示意图；

图4为根据本发明实施例病变区域的识别过程示意图；

图5为根据本发明实施例确诊的病变区域对应的图像块利用稠密采样方法和CNN获取的各预设病种的发生概率的示意图；

图6为根据本发明实施例基于患者的医生信息、病历信息和治疗方案与各预设病种的发生概率利用多源异构数据融合获取更精确的各预设病种的发生概率的示意图；

图7为根据本发明实施例基于深度学习的多模态医学影像识别装置的示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1的本发明实施例基于深度学习的多模态医学影像识别方法的流程图所示，本发明一个方面提供一种基于深度学习的多模态医学影像识别方法，该方法包括：S1，基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；S2，基于所述多模态医学影像利用R-CNN，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；S3，根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；S4,根据所述确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率。

在本实施例中，为了保证医疗数据及算法的安全性，采取C/S和B/S进行架构。对于高访问量并发及高计算量并行时，需要CPU/GPU具有高稳定性。其中GPU用于图像矩阵的矢量计算，每块显卡计算能力要求大于等于2.0。同时，本发明使用Spark进行多源异构数据融合方法的并行计算，提高准确性及有效性。

本申请提出的基于深度学习的多模态医学影像识别方法，通过基于患者待检测部位的多模态医学影像利用配准方法将多模态医学影像显示在同一三维空间内建立了人体相关部位的立体直观的模型，便于医生直观观察模型进行诊断判断，通过基于多模态医学影像利用R-CNN，识别多模态医学影像中的病变区域，获取病变区域对应的图像块以及病变区域在多模态医学影像中的坐标，实现了医学影像中病变区域的自动识别，减少了医生的工作量同时加快了识别速度，根据病变区域在多模态医学影像中的坐标在在同一三维空间内显示病变体，以便于医生直观观察模型从而进行诊断，以确定确诊的病变区域，根据确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率，为医生的进一步诊断提供了有效的参考数据。

作为一种可选实施例，所述步骤S1进一步包括：对所述多模态医学影像分别提取对应的图像边缘特征、形状特征、颜色特征以及局部特征；根据所述图像边缘特征、形状特征、颜色特征以及局部特征进行所述多模态医学影像的自动匹配，将多模态医学影像显示在同一三维空间内。

作为一种可选实施例，所述S2进一步包括：对所述序列断层医学影像进行预处理并分割，获取病变感兴趣区域(Region Of Interest,ROI)或疑似病变感兴趣区域；基于ROI区域或疑似ROI区域利用R-CNN识别病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述序列断层医学影像中的坐标。

作为一种可选实施例，所述步骤S4进一步包括：基于预设病种的医学影像中病变区域对应的图像块，利用深度学习中改进的CNN模型进行训练，得到预设病种发生概率模型；若输入为自动检测出的病变区域对应的图像块，对其进行均值处理；或者若输入为医生在医学影像上手动标注的病变区域对应的图像块，对所述手动标注的病变区域对应的图像块根据标注边框的中心位置进行稠密采样，对采样后的病变区域对应的图像块进行所述均值处理；将均值处理后的病变区域对应的图像块输入预设病种发生概率模型，获取各预设病种的发生概率。

作为一种可选实施例，在所述步骤S1之前还包括：根据医生信息、患者病历信息和治疗方案建立医疗文本信息可视化数据库；根据从仪器设备中输出的医学影像建立多模态影像可视化数据库；查询多模态影像可视化数据库获取所述患者待检测部位的多模态医学影像，其中，所述多模态医学影像包括序列断层医学影像；查询医疗文本信息可视化数据库获取所述患者的医生信息、病历信息和治疗方案。

作为一种可选实施例，在所述步骤S4之后还包括：基于所述患者的医生信息、病历信息和治疗方案与所述各预设病种的发生概率利用多源异构数据融合，获取融合特征，并根据所述融合特征进一步获取更精确的各预设病种的发生概率。

作为一种可选实施例，在所述获取更精确的各预设病种的发生概率之后包括：根据所述更精确的各预设病种的发生概率生成对应的数据参考报告。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

基于上述方法，本发明提供一种基于深度学习的多模态医学影像识别方法的实施例，该方法包括：

S101,根据医生信息、患者病历信息和治疗方案建立医疗文本信息可视化数据库；

S102,根据从仪器设备中输出的医学影像建立多模态影像可视化数据库；

其中，在建立文本数据库时，可通过聚类、贝叶斯统计方法、SVM、LDA分类器或者深度置信网络方法，对N个预设病种进行详细的分析。具体地，将每份病历中的关键词进行提取，并统计每份病例中关键词的出现次数，按照病历索引生成线性向量，之后通过SVM分类器，对该病种的进行训练生成一份关于该病种内N个分类。另一方面，也可以考虑使用线性回归或者聚类等方法，求解某种疾病与K个病症的相关系数，从而通过待诊断患者疾病的病症向量判定各种疾病发生的可能性，从而辅助医生诊断。此外，这些数据生成后，可以按照每类疾病与K个病症的相关系数，画出柱形或饼形图的图表的形式，方便用户查看，及之后再多源异构信息融合的时候使用。

S103,查询多模态影像可视化数据库获取所述患者待检测部位的多模态医学影像，其中，所述多模态医学影像包括序列断层医学影像；

S104,查询医疗文本信息可视化数据库获取所述患者的医生信息、病历信息和治疗方案；

在本实施例中，具体基于机器学习利用自然语言处理方法(NLP)对文本数据进行分析以实现文本数据的可视化。此外，医学影像为从仪器设备数据中输出的医疗影像，具体可以为CT、MRI、放射、超声、X光片、造影、钼靶、心电图、内窥镜、脑波图、红外线热影像等。

S105，对所述多模态医学影像分别提取对应的图像边缘特征、形状特征、颜色特征以及局部特征；

S106，根据所述图像边缘特征、形状特征、颜色特征以及局部特征进行所述多模态医学影像的自动匹配，将多模态医学影像显示在同一三维空间内；

具体地，在本实施例中采用多模态医疗影像配准技术对所述多模态医学影像进行匹配，进一步地，根据图像边缘特征、形状特征、颜色特征以及局部特征对所述多模态医学影像进行自动匹配，将多模态医学影像显示在同一三维空间内。

在本实施例中，对于肺部多模态医学影像在同一三维空间内的显示，具体通过识别肺部CT影像中有肺叶和无肺叶的两张肺部CT影像，确定肺部CT影像断层中心点位置；识别X射线影像中的肺尖位置；将断层中心点位置与肺尖位置进行匹配，实现两类图像在空间位置上的对应，实现肺部多模态医学影像在同一三维空间内的显示。其中，肺部CT影像和X射线影像在同一三维空间内显示示意图如图2所示。

S107，对所述序列断层医学影像进行预处理并分割，获取ROI区域或疑似ROI区域；

S108，基于ROI区域或疑似ROI区域利用R-CNN识别病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述序列断层医学影像中的坐标；

S109，根据所述病变区域在所述序列断层医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；

其中，具体地，可以选取所述多模态医学影像中医生指定的任一种医学影像来检测患者的病变区域。对于CT断层影像而言，可依靠各个断层面对疑似ROI区域的连通性判断，对X射线而言，可对病变成像位置等进行检测。例如，对肺部CT图像的病变区域检测过程如下：对该肺部CT图像进行了灰度图像和二值化的预处理，接着采用水平集分割的方法对预处理后的图像进行了分割，获取ROI区域或疑似ROI区域。获取的ROI区域或疑似ROI区域如图3所示，即图3中的方框框定的区域。接着采用R-CNN对获取的ROI区域或疑似ROI区域进行检测，将确认发生病变的ROI区域或疑似ROI区域作为所述患者的病变区域，获取所述病变区域对应的图像块。其中，病变区域的识别过程如图4所示。根据识别结果，获取病变区域的坐标；根据病变区域的坐标，在所述同一三维空间中显示病变体，医生通过直观观察排查由计算机导致的病变区域的误判，得到确诊的病变区域。

其中，R-CNN模型由包含ROI区域及非ROI区域的训练集训练而得。该模型的参数的设定及调整需要参考检测的器官、病变类型和医学影像的类型。

S110，基于预设病种的医学影像中病变区域对应的图像块，利用深度学习中的改进的CNN模型进行训练，得到预设病种发生概率模型；

S111，若输入为自动检测出的病变区域对应的图像块，对其进行均值处理；或者若输入为医生在医学影像上手动标注的病变区域对应的图像块，对所述手动标注的病变区域对应的图像块根据标注边框的中心位置进行稠密采样，对采样后的病变区域对应的图像块进行所述均值处理；

S112,将均值处理后的病变区域对应的图像块输入预设病种发生概率模型，获取各预设病种的发生概率。

其中，为了避免计算机漏检某些病变区域，提高诊断的精度，在对病变区域进行分类以得出病变种类时，增加了对医生手动标注的病变区域的分类。由于手动标注的精确度有限，容易存在标注过大或者过小，造成较大误差，所以采取了根据标注边框的中心位置进行稠密采样，采样步长可根据手动标注区域的尺寸大小来确定，再均值处理，通过预设病种发生概率模型获取各预设病种的发生概率。

其中，获取各预设病种的发生概率的过程如图5所示。

S113，基于所述患者的医生信息、病历信息和治疗方案与所述各预设病种的发生概率利用多源异构数据融合，获取融合特征，并根据所述融合特征进一步获取更精确的各预设病种的发生概率。

其中，多源异构数据融合的示意图如图6所示。

具体地，将获取的患者的医生信息、病历信息和治疗方案提取关键字，统计关键字出现次数，生成线性向量，作为文字数据信息；将病变影像进行特征提取，作为医学影像数据信息；对文字数据信息和医学影像数据信息进行数据融合得到融合特征，并对融合特征进行检测。引入的来自患者病历中记载的文字信息，丰富了患者的病情信息，使得用于判断病变种类的数据更加丰富多元，从而能够获取更精确的各预设病种的发生概率。

S114，根据所述更精确的各预设病种的发生概率生成对应的数据参考报告。

在本实施例中，患者的医生信息、病历信息和治疗方案与所述各预设病种的发生概率利用多源异构数据融合，获取融合特征，并根据所述融合特征进一步获取更精确的各预设病种的发生概率，根据所述更精确的各预设病种的发生概率生成对应的数据参考报告。之后医生可以根据数据参考报告，填写电子诊断报告。医生进行电子签名后即可通过水印加工生成该诊断报告。

本申请提出的基于深度学习的多模态医学影像识别方法，通过基于患者待检测部位的多模态医学影像利用配准方法将多模态医学影像显示在同一三维空间内建立了人体相关部位的立体直观的模型，便于医生直观观察模型进行诊断判断，通过基于多模态医学影像利用R-CNN，识别多模态医学影像中的病变区域，获取病变区域对应的图像块以及病变区域在多模态医学影像中的坐标，实现了医学影像中病变区域的自动识别，减少了医生的工作量同时加快了识别速度，根据病变区域在多模态医学影像中的坐标在在同一三维空间内显示病变体，以便于医生直观观察模型从而进行诊断，以确定确诊的病变区域，根据确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率，为医生的进一步诊断提供了有效的参考数据。

本发明另一个方面提供一种基于深度学习的多模态医学影像识别装置，如图7所示。该装置包括：多模态医学影像显示模块10，基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；病变区域检测模块20，用于基于所述多模态医学影像利用R-CNN，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；病变体显示模块30，用于根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域。预设病种发生概率模块40，用于根据所述确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率。

作为一种可选实施例，所述装置还包括：可视化数据建立模块50，用于根据医生信息、患者病历信息和治疗方案建立医疗文本信息可视化数据库，根据从仪器设备中输出的医学影像建立多模态影像可视化数据库；查询模块60，用于根据患者病历信息查询患者在医疗文本信息可视化数据库和多模态影像可视化数据库中的信息。多源异构数据融合模块70，用于基于所述患者的医生信息、病历信息和治疗方案与所述各预设病种的发生概率利用多源异构数据融合，获取融合特征，并根据所述融合特征进一步获取更精确的各预设病种的发生概率。

作为一种可选实施例，所述装置还包括：报告生成模块80，用于根据所述更精确的各预设病种的发生概率生成对应的数据参考报告。

具体地，当输入个人信息，如姓名、身份证号码时，查询模块在医疗文本信息可视化数据库和多模态影像可视化数据库中检索与该患者相关的信息并输出。从而使得不同科室的医生可以共享该患者的检查和诊断信息，以便医生权衡之后做出诊断或调整治疗方案。

本申请提出的基于深度学习的多模态医学影像识别装置，通过多模态医学影像显示模块，基于患者待检测部位的多模态医学影像利用配准方法将多模态医学影像显示在同一三维空间内，建立了人体相关部位的立体直观的模型，便于医生直观观察模型进行诊断判断，通过病变区域检测模块，基于所述多模态医学影像利用R-CNN，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标，实现了医学影像中病变区域的自动识别，减少了医生的工作量同时加快了识别速度，通过病变体显示模块，用于根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域，以便于医生直观观察模型从而进行诊断，以确定确诊的病变区域，通过预设病种发生概率模块，根据所述确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率，为医生的进一步诊断提供了有效的参考数据。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。