基于超声组学和深度学习的疾病智能化分析方法及系统与流程

本发明涉及超声医学技术领域，尤其涉及一种基于超声组学和深度学习的疾病智能化分析方法及系统。

背景技术：

在疾病智能化分析中，现有的分析方法是通过建立单模态医学图像的深度学习模型进行医学图像的分割、分类和识别后，对处理后的医学图像进行人工分析，得到疾病的分析结果。但是当单模态的医学图像数量有限时，训练深度学习模型需要设置较多参数，这样会导致模型过拟合，且基于单模态图像的深度学习网络计算复杂度大，梯度越往后越容易消失，可能导致无法训练出可用模型，并且由于超声图像具有噪声大、操作者依赖性、图像标准化等问题，因此，无法使用现有的深度学习模型对其进行分析，得到疾病的辅助决策分析结果。

技术实现要素：

本发明实施例提出一种基于超声组学和深度学习的疾病智能化分析方法及系统，通过训练好的深度学习网络模型对优化后的多模态超声组学数据进行数据分析后，利用数据分析后的结果进行疾病的辅助决策分析，提高疾病智能化分析的准确率。

为解决上述问题，本发明实施例提供基于超声组学和深度学习的疾病智能化分析方法，适于在计算设备中执行，至少包括如下步骤：

获取病变部位的若干超声数据，得到多模态超声组学数据；

将所述多模态超声组学数据输入训练好的深度学习神经网络，并根据所述多模态超声组学数据调整神经元的连接权重、配比卷积和池化层，得到调整后的多模态超声组学数据；

利用不同模态下的分类器对调整后的多模态超声组学数据中的每个数据进行分类，得到包含每个分类的所有模态的分类概率；

根据判别器给出的模态之间的混淆分数，对所有模态的分类概率进行加权平均处理，得到每个分类的分数；

基于临床结局指标和基因组学数据，根据每个分类的分数，采用传统的逻辑回归法计算有效的高风险指标、采用决策树或adaboost的方法建立分类模型以及采用t检验和pearson/spearman相关性分析，获得预后判断结果、疗效评估结果和辅助诊断结果。

进一步的，所述基于临床结局指标和基因组学数据，根据每个分类的分数，采用逻辑回归法计算有效的高风险指标、采用决策树或adaboost的方法建立分类模型以及采用t检验和pearson/spearman相关性分析，获得预后判断结果、疗效评估结果和辅助诊断结果，具体为：

基于临床结局指标和基因组学数据，根据每个分类的分数，采用逻辑回归法计算高风险指标，并利用所述高风险指标建立诺莫图后，采用决策分析曲线进行预后判断；根据每个分类的分数，建立分类模型，并利用验证组的准确率、错误率或受试者工作曲线下面积进行疗效评估；根据每个分类的分数，采用t检验和pearson/spearman相关性分析，比较分析病理特征、临床分期和基因突变相关性进行辅助诊断。

进一步的，所述获取病变部位的若干超声数据，得到多模态超声组学数据，具体为：

基于所述病变部位的相应疾病模型，根据不同超声成像模式提取相应病理生理模态的超声数据、根据疾病所在器官灌注特征获取相应模态超声数据、根据疾病所在器官随时间动态变化特征获取相应时间序列维度超声数据，以及根据疾病所在器官空间特性获取相应立体维度超声数据，得到所述多模态超声组学数据。

进一步的，所述将所述多模态超声组学数据输入训练好的深度学习神经网络，并根据所述多模态超声组学数据调整神经元的连接权重、配比卷积和池化层，具体为：

将所述多模态超声组学数据进行初分类，结合无监督算法，根据不同病理生理、血流动力学特性、时间和空间特性形成多种特定输入组合，输入所述深度学习神经网络，并根据所述特定输入组合选择神经元的连接权重，并配比对应的卷积和池化层。

进一步的，所述神经元的连接权重，具体为：

根据所述特定输入组合，以相等的神经元的初始连接权重进行分析，得到初始数据后，根据所述初始数据的错误率反馈矫正所述初始连接权重，得到错误率最低的最佳权重作为神经元的连接权重。

进一步的，所述深度学习神经网络的构建方法为：

通过共享特征网络对多模态超声组学数据进行特征建模后，根据多路对抗域适应技术，对所述多模态超声组学数据内的每个模态进行两两组合，对抗学习域不变特征；

对所述多模态超声组学数据内每个模态进行监督学习，从而训练基于不同模态输出下的多个分类器；

通过两两组合对抗学习及监督学习，得到共享特征网络及每个模态分别对应的判别器；

通过所述共享特征网络、所述多个分类器和所述多个判别器，构建所述深度学习神经网络。

进一步的，所述训练基于不同模态输出下的多个分类器，具体为：

以期望输出值为映射，利用各模态的优化参数，训练基于不同模态输出下的多个分类器。

进一步的，所述深度学习网络的训练方法为：

采集不同时间点的所述多模态超声组学数据，输入卷积神经网络后，提取对应的特征图层；

通过卷积运算，增加偏置，激活函数输出对所述特征图层进行处理，并通过全连接层对所述特征图层进行调整分类后，通过反向传播算法和随机梯度下降法，训练所述深度学习网络。

进一步的，所述卷积神经网络的基础为神经元，所述卷积神经网络的要素包括权重、偏置项、超参数和激活函数。

进一步的，本发明的另一个实施例还提供了一种基于多模态的医学超声数据分类系统，包括：

获取模块，用于获取病变部位的若干超声数据，得到多模态超声组学数据；

处理模块，用于将所述多模态超声组学数据输入训练好的深度学习神经网络，并根据所述多模态超声组学数据调整神经元的连接权重、配比卷积和池化层；

分类模块，用于利用不同模态下的分类器对所述多模态超声组学数据中的每个数据进行分类，得到包含每个分类的所有模态的分类概率；

计算模块，用于根据判别器给出的模态之间的混淆分数，对所有模态的分类概率进行加权平均处理，得到每个分类的分数；

分析模块，用于基于临床结局指标和基因组学数据，根据每个分类的分数，采用传统的逻辑回归法计算有效的高风险指标、采用决策树或adaboost的方法建立分类模型以及采用t检验和pearson/spearman相关性分析，获得预后判断结果、疗效评估结果和辅助诊断结果。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的一种基于超声组学和深度学习的疾病智能化分析方法及系统，所述方法包括：获取病变部位的若干超声数据，得到多模态超声组学数据；将多模态超声组学数据输入深度学习神经网络，根据多模态超声组学数据调整神经元的连接权重、配比卷积和池化层，得到调整后的多模态超声组学数据；利用不同模态下的分类器对多模态超声组学数据进行分类，并通过判别器得到每个分类的分数后，基于临床结局指标和基因组学数据，根据每个分类的分数，获得预后判断结果、疗效评估结果和辅助诊断结果。相比于现有利用单模态超声数据进行疾病智能化分析的方法，本发明技术方案利用多模态平衡深度学习神经网络的宽度和深度，降低深度学习神经网络的复杂性，提高准确率的同时降低算力成本的特性，从数据输入和模型设计层面优化深度学习网络，并通过训练好的深度学习网络模型对优化后的多模态超声组学数据进行数据分析后，利用数据分析后的结果进行疾病的辅助决策分析，提高疾病智能化分析的准确率。

附图说明

图1是本发明提供的基于超声组学和深度学习的疾病智能化分析方法的一种实施例的流程示意图；

图2是本发明提供的基于超声组学和深度学习的疾病智能化分析方法的又一种实施例的流程示意图；

图3是本发明提供的基于超声组学和深度学习的疾病智能化分析系统的一种实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2。

参见图1，是本发明提供的基于超声组学和深度学习的疾病智能化分析方法的一种实施例的流程示意图，如图1所示，该分析方法包括步骤101至步骤104。各步骤具体如下：

步骤s11：获取病变部位的若干超声数据，得到多模态超声组学数据。

步骤s12：将多模态超声组学数据输入训练好的深度学习神经网络，并根据多模态超声组学数据调整神经元的连接权重、配比卷积和池化层。

步骤s13：利用不同模态下的分类器对多模态超声组学数据中的每个数据进行分类，得到包含每个分类的所有模态的分类概率。

步骤s14：根据判别器给出的模态之间的混淆分数，对所有模态的分类概率进行加权平均处理，得到每个分类的分数。

步骤s15：基于临床结局指标和基因组学数据，根据每个分类的分数，采用逻辑回归法计算高风险指标、采用决策树或adaboost的方法建立分类模型以及采用t检验和pearson/spearman相关性分析，获得预后判断结果、疗效评估结果和辅助诊断结果。

在本实施例中，步骤s11具体为：基于病变部位的相应疾病模型，根据不同超声成像模式提取相应病理生理模态的超声数据、根据疾病所在器官灌注特征获取相应模态超声数据、根据疾病所在器官随时间动态变化特征获取相应时间序列维度超声数据，以及根据疾病所在器官空间特性获取相应立体维度超声数据，得到所述多模态超声组学数据。

在本实施例中，超声数据可以但不限于通过b型超声、m型超声、彩色多普勒和频谱超声、弹性超声或超声造影进行提取。超声数据的存储格式包括：超声仪器直接导出的射频信号或原始信号来源数据，医学数字成像和通信来源数据以及通过转化得到的静态图像和动态视频。超声数据的维度来源可以但不限于为通过二维超声、三维超声、二维及三维动态超声和四维超声获得的数据。

在本实施例中，多模态超声组学数据的来源可以但不限于从肝脏、乳腺、甲状腺、肾脏、脾脏、心脏、胃肠组织、肌骨神经组织、生殖器及附件、孕期子宫或胎儿中获取。

在本实施例中，步骤s12具体为：将多模态超声组学数据进行初分类，结合无监督算法，根据不同病理生理、血流动力学特性、时间和空间特性形成多种特定输入组合，输入深度学习神经网络，并根据特定输入组合选择神经元的连接权重，并配比对应的卷积和池化层，得到调整后的多模态超声组学数据。

在本实施例中，根据专家先验知识，将多模态超声组学数据中的超声数据进行初分类，结合聚类等无监督算法，形成多种特定输入组合，输入深度学习网络。输入的超声数据可以根据病理、生理、血流分类特点、时间轴分类或局部空间特点进行组合。输入深度学习神经网络的组合初始以相等的神经元的初始连接权重进行分析，得到初始数据后，通过深度学习网络映射输出初始数据，并根据输出的初始数据的错误率反馈矫正初始权重，直至得到错误率最低的最佳权重作为神经元的连接权重，并配比对应的卷积和池化层，从而优化多模态超声组学数据。

在本实施例中，采用高维的多模态超声组学数据输入深度学习神经网络，使深度学习神经网络的网络模型不至于由于深度过深导致梯度消失而无法进行网络模型的训练。多模态数据可以用于平衡深度学习神经网络的宽度和深度，降低深度学习神经网络的复杂性，提高准确率的同时降低算力成本。

在本实施例中，在深度学习神经网络构建时，通过共享特征网络对多模态超声数据进行特征建模后，利用多路对抗域适应技术，对多模态超声组学数据内的每个模态进行两两组合，对抗学习域不变特征，同时每个模态分别进行监督学习，训练基于不同模态输出下的多个分类器。基于对抗学习的建模，得到共享特征网络及每个模态分别对应的判别器。将多模态超声组学数据，利用不同模态输出下的分类器对多模态超声组学数据的每个数据进行分类，得到每个分类的所有模态的分类概率，再根据判别器给出模态之间的混淆分数，对所有模态的分类概率取加权平均，得到多模态超声组学数据的每个分类的分数。将得到的分数通过常规统计法、高级统计法、常规的机器学习方法、深度学习及衍生算法，与临床结局指标和基因组学数据进行对比后，重复进行多模态超声组学数据的每个分类的分数计算，直到得到的每个分类的分数与临床结局指标和基因组学数据的对比误差在允许的范围内，即完成深度学习神经网络的构建。

在本实施例中，多个分类器的训练方法为，以期望输出值为映射，利用各模态的优化参数，训练基于不同模态输出下的多个分类器。可以基于各种卷积神经网络、强化学习和对抗学习训练单模态的分类器，再利用集成学习的方法组合多个分类器。

在本实施例中，深度学习网络的训练方法为，采集不同时间点的多模态超声组学数据，输入卷积神经网络提取对应的特征图层。通过卷积运算，增加偏置，激活函数输出对特征图层进行处理，并通过全连接层对特征图层进行调整分类后，通过反向传播算法和随机梯度下降法，训练深度学习网络。

在本实施例中，卷积神经网络由输出层、卷积层、池化层、全连接层和输出层等构成，网络层数由输入的多模态超声组学数据决定。卷积神经网络以神经元为基础，包括权重、偏置项、超参数、激活函数等要素。实现卷积神经网络的平台可以但不限于为tensorflow、pytorch、caffe、keras、cntk、mxnet、theano。

在本实施例中，在深度学习神经网络内增加特征工程网络，减少特征数量、降维，增强对特征和特征值之间的理解，使深度学习神经网络的网络模型泛化能力更强，减少过拟合。特征工程网络算法基于剔除变化小的特征、pearson相关系数筛选相关度小特征、互信息和最大信息系数筛选和距离相关系数，以及基于学习模型的特征排序、递归特征消除等。

在本实施例中，对于步骤s13，以疾病的病理生理过程为例，将不同模态下的分类器通过疾病不同的病理生理过程，对从病变部位中获取到的多模态超声组学数据中的每个数据进行分类，得到分类结果，并基于每一个病理生理过程，得到包含病理生理过程的所有模态的分类概率。

在本实施例中，对于步骤s14，通过判别器分析多模态超声组学数据，分别给出每一个模态之间的混淆分数后，根据混淆分数对分类概率取加权平均，得到每个分类的分数。

在本实施例中，步骤s15具体为：基于临床结局指标和基因组学数据，根据每个分类的分数，采用逻辑回归法计算高风险指标，并利用所述高风险指标建立诺莫图后，采用决策分析曲线进行预后判断；根据每个分类的分数，建立分类模型，并利用验证组的准确率、错误率或受试者工作曲线下面积进行疗效评估；根据每个分类的分数，采用t检验和pearson/spearman相关性分析，比较分析病理特征、临床分期和基因突变相关性进行辅助诊断。

在本实施例中，在根据每个分类的分数进行分析时，需要处理的数据包括：患者的临床基本信息、实验室检查数据、病理组织结果、基因组学及蛋白组学信息、放化疗敏感性和临床预后随访数据。

由上可见，本发明实施例提供的一种基于超声组学和深度学习的疾病智能化分析方法，包括：获取病变部位的若干超声数据，得到多模态超声组学数据；将多模态超声组学数据输入深度学习神经网络，根据多模态超声组学数据调整神经元的连接权重、配比卷积和池化层，得到调整后的多模态超声组学数据；利用不同模态下的分类器对多模态超声组学数据进行分类，并通过判别器得到每个分类的分析结果，即每个分类的分数后，基于临床结局指标和基因组学数据，根据每个分类的分数，获得预后判断结果、疗效评估结果和辅助诊断结果。相比于现有利用单模态超声数据进行疾病智能化分析的方法，本发明技术方案利用多模态平衡深度学习神经网络的宽度和深度，降低深度学习神经网络的复杂性，提高准确率的同时降低算力成本的特性，从数据输入和模型设计层面优化深度学习网络，并通过训练好的深度学习网络模型对优化后的多模态超声组学数据进行数据分析后，利用数据分析后的结果进行疾病的辅助决策分析，提高疾病智能化分析的准确率。

请参阅图3。

参见图3，是本发明提供的基于多模态的医学超声数据分类系统的一种实施例的结构示意图，如图3所示，该分析方法包括：

获取模块101，用于获取病变部位的若干超声数据，得到多模态超声组学数据。

在本实施例中，获取模块101具体用于，基于病变部位的相应疾病模型，根据不同超声成像模式提取相应病理生理模态的超声数据、根据疾病所在器官灌注特征获取相应模态超声数据、根据疾病所在器官随时间动态变化特征获取相应时间序列维度超声数据，以及根据疾病所在器官空间特性获取相应立体维度超声数据，得到所述多模态超声组学数据。

在本实施例中，超声数据可以但不限于通过b型超声、m型超声、彩色多普勒和频谱超声、弹性超声或超声造影进行提取。超声数据的存储格式包括：超声仪器直接导出的射频信号或原始信号来源数据，医学数字成像和通信来源数据以及通过转化得到的静态图像和动态视频。超声数据的维度来源可以但不限于为通过二维超声、三维超声、二维及三维动态超声和四维超声获得的数据。

处理模块102，用于将多模态超声组学数据输入训练好的深度学习神经网络，并根据多模态超声组学数据调整神经元的连接权重、配比卷积和池化层。

在本实施例中，处理模块102具体用于，将多模态超声组学数据进行初分类，结合无监督算法，根据不同病理生理、血流动力学特性、时间和空间特性形成多种特定输入组合，输入深度学习神经网络，并根据特定输入组合选择神经元的连接权重，并配比对应的卷积和池化层，得到调整后的多模态超声组学数据。

在本实施例中，根据专家先验知识，将多模态超声组学数据中的超声数据进行初分类，结合聚类等无监督算法，形成多种特定输入组合，输入深度学习网络。输入的超声数据可以根据病理、生理、血流分类特点、时间轴分类或局部空间特点进行组合。输入深度学习神经网络的组合初始以相等的神经元的初始连接权重进行分析，得到初始数据后，通过深度学习网络映射输出初始数据，并根据输出的初始数据的错误率反馈矫正初始权重，直至得到错误率最低的最佳权重作为神经元的连接权重，并配比对应的卷积和池化层，从而优化多模态超声组学数据。

在本实施例中，采用高维的多模态超声组学数据输入深度学习神经网络，使深度学习神经网络的网络模型不至于由于深度过深导致梯度消失而无法进行网络模型的训练。

在本实施例中，在深度学习神经网络构建时，通过共享特征网络对多模态超声数据进行特征建模后，利用多路对抗域适应技术，对多模态超声组学数据内的每个模态进行两两组合，对抗学习域不变特征，同时每个模态分别进行监督学习，训练基于不同模态输出下的多个分类器。基于对抗学习的建模，得到共享特征网络及每个模态分别对应的判别器。将多模态超声组学数据，利用不同模态输出下的分类器对多模态超声组学数据的每个数据进行分类，得到每个分类的所有模态的分类概率，再根据判别器给出模态之间的混淆分数，对所有模态的分类概率取加权平均，得到多模态超声组学数据的每个分类的分数。将得到的分数通过常规统计法、高级统计法、常规的机器学习方法、深度学习及衍生算法，与临床结局指标和基因组学数据进行对比后，重复进行多模态超声组学数据的每个分类的分数计算，直到得到的每个分类的分数与临床结局指标和基因组学数据的对比误差在允许的范围内，即完成深度学习神经网络的构建。

在本实施例中，多个分类器的训练方法为，以期望输出值为映射，利用各模态的优化参数，训练基于不同模态输出下的多个分类器。可以基于各种卷积神经网络、强化学习和对抗学习训练单模态的分类器，再利用集成学习的方法组合多个分类器。

在本实施例中，深度学习网络的训练方法为，采集不同时间点的多模态超声组学数据，输入卷积神经网络提取对应的特征图层。通过卷积运算，增加偏置，激活函数输出对特征图层进行处理，并通过全连接层对特征图层进行调整分类后，通过反向传播算法和随机梯度下降法，训练深度学习网络。

在本实施例中，卷积神经网络由输出层、卷积层、池化层、全连接层和输出层等构成，网络层数由输入的多模态超声组学数据决定。卷积神经网络以神经元为基础，包括权重、偏置项、超参数、激活函数等要素。实现卷积神经网络的平台可以但不限于为tensorflow、pytorch、caffe、keras、cntk、mxnet、theano。

在本实施例中，在深度学习神经网络内增加特征工程网络，减少特征数量、降维，增强对特征和特征值之间的理解，使深度学习神经网络的网络模型泛化能力更强，减少过拟合。特征工程网络算法基于剔除变化小的特征、pearson相关系数筛选相关度小特征、互信息和最大信息系数筛选和距离相关系数，以及基于学习模型的特征排序、递归特征消除等。

分类模块103，用于利用不同模态下的分类器对多模态超声组学数据中的每个数据进行分类，得到包含每个分类的所有模态的分类概率。

在本实施例中，以疾病的病理生理过程为例，分类模块103具体用于，将不同模态下的分类器通过疾病不同的病理生理过程，对从病变部位中获取到的多模态超声组学数据中的每个数据进行分类，得到分类结果，并基于每一个病理生理过程，得到包含病理生理过程的所有模态的分类概率。

计算模块104，用于根据判别器给出的模态之间的混淆分数，对所有模态的分类概率进行加权平均处理，得到每个分类的分数。

在本实施例中，计算模块104具体用于，通过判别器分析多模态超声组学数据，分别给出每一个模态之间的混淆分数后，根据混淆分数对分类概率取加权平均，得到每个分类的分数。

分析模块105，用于基于临床结局指标和基因组学数据，根据每个分类的分数，采用传统的逻辑回归法计算有效的高风险指标、采用决策树或adaboost的方法建立分类模型以及采用t检验和pearson/spearman相关性分析，获得预后判断结果、疗效评估结果和辅助诊断结果。

在本实施例中，分析模块105具体用于，基于临床结局指标和基因组学数据，根据每个分类的分数，采用传统的逻辑回归法计算高风险指标，并利用所述高风险指标建立诺莫图后，采用决策分析曲线进行预后判断；根据每个分类的分数，建立分类模型，并利用验证组的准确率、错误率或受试者工作曲线下面积进行疗效评估；根据每个分类的分数，采用t检验和pearson/spearman相关性分析，比较分析病理特征、临床分期和基因突变相关性进行辅助诊断。

在本实施例中，在根据每个分类的分数进行分析时，需要处理的数据包括：患者的临床基本信息、实验室检查数据、病理组织结果、基因组学及蛋白组学信息、放化疗敏感性和临床预后随访数据。

由上可见，本发明实施例提供的一种基于超声组学和深度学习的疾病智能化分析方法及系统，所述方法包括：获取病变部位的若干超声数据，得到多模态超声组学数据；将多模态超声组学数据输入深度学习神经网络，根据多模态超声组学数据调整神经元的连接权重、配比卷积和池化层，得到调整后的多模态超声组学数据；利用不同模态下的分类器对多模态超声组学数据进行分类，并通过判别器得到每个分类的分析结果，即每个分类的分数后，基于临床结局指标和基因组学数据，根据每个分类的分数，获得预后判断结果、疗效评估结果和辅助诊断结果。相比于现有利用单模态超声数据进行疾病智能化分析的方法，本发明技术方案利用多模态平衡深度学习神经网络的宽度和深度，降低深度学习神经网络的复杂性，提高准确率的同时降低算力成本的特性，从数据输入和模型设计层面优化深度学习网络，并通过训练好的深度学习网络模型对优化后的多模态超声组学数据进行数据分析后，利用数据分析后的结果进行疾病的辅助决策分析，提高疾病智能化分析的准确率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。