基于多模态数据的疾病辅助检测设备、方法、装置及介质与流程

本发明涉及医疗技术领域，尤其涉及一种基于多模态数据的疾病辅助检测设备、方法、装置及介质。

背景技术：

目标，对于各种疾病的诊断传统的方法主要是根据专家经验人工判断是否患某种疾病，然而，这种方式受限于医生的主观判断因素。目前也存在一些机器学习的方法来对辅助诊断疾病，比如用临床特征进行预后预测，但是缺乏影像组学的信息。针对影像组学，也有一些方法可以从影像中人工提取结构化特征，并将其与临床特征一起进行预测，这类方法提取的人工特征的信息量也取决于工程人员的设计经验。在深度学习领域，也提出了一些方法，用以从影像中检索病灶，或者直接提取特征图，但这类方法需要提前对影像数据进行人工勾画，需要耗费大量的时间和精力。因此，如何更有效地辅助诊断疾病非常重要。

技术实现要素：

本发明实施例提供了一种基于多模态数据的疾病辅助检测设备、方法、装置及介质，可以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患与所述目标部位关联的疾病的风险概率，有助于更有效地辅助确定疾病。

第一方面，本发明实施例提供了一种基于多模态数据的疾病辅助检测设备，所述设备包括：存储器和处理器；

所述存储器，用于存储程序指令；

所述处理器，用于调用所述程序指令，当所述程序指令被执行时，用于执行以下操作：

获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；

从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；

将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；

获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。

进一步地，所述处理器从所述特征图像中的多个子序列中选取多个目标子序列时，具体用于：

根据与所述目标部位关联的疾病的特点从所述特征图像中的多个子序列中选取多个目标子序列，其中，每个目标子序列包括多个子特征图像。

进一步地，所述处理器对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理时，具体用于：

根据预设尺寸利用线性插值方法对所述多个目标子序列中的每个目标子序列的子特征图像进行裁剪处理；

对裁剪处理得到的每个目标子序列的子特征图像进行归一化处理。

进一步地，所述处理器将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中之前，还用于：

获取训练集中的样本特征图像，其中，所述样本特征图像为患有与所述目标部位关联的疾病的患者对象针对目标部位的核磁共振设备检查得到的特征图像；

对所述样本特征图像添加标签信息，其中，所述标签信息包括患病标签和患病时长标签；

从所述添加标签信息的样本特征图像的多个子序列中选取多个目标子序列，并对从所述样本特征图像中选取的所述多个目标子序列中的每个目标子序列中的每个子样本特征图像进行预处理；

将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型。

进一步地，所述处理器将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型时，具体用于：

将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型中，得到所述每个子样本特征图像对应的卷积特征向量；

将得到的所述每个子样本特征图像对应的卷积特征向量进行拼接处理，得到目标特征向量；

根据所述目标特征向量确定所述样本特征图像对所述患者对象患与所述目标部位关联的疾病的的风险评估概率；

根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。

进一步地，所述处理器根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型时，具体用于：

根据所述风险评估概率和所述样本特征图像的标签信息确定损失函数值；

根据所述损失函数值对所述指定的卷积神经网络模型的参数进行调整，并在调整参数后重新训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。

进一步地，所述处理器将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率之后，还用于：

根据所述待检测对象患与所述目标部位关联的疾病的第二风险概率，确定所述待检测对象患与所述目标部位关联的疾病的风险分级；

将所述待检测对象患与所述目标部位关联的疾病的第二风险概率输入指定的分析模型，得到各预测因子对所述第二风险概率的影响值。

第二方面，本发明实施例提供了一种基于多模态数据的疾病辅助检测方法，包括：

获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；

从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；

将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；

获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。

第三方面，本发明实施例提供了一种基于多模态数据的疾病辅助检测装置，包括：

获取单元，用于获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；

处理单元，用于从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；

第一预测单元，用于将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；

第二预测单元，用于获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第二方面的方法。

本发明实施例可以获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；终端可以从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；以及将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；终端可以获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。通过这种方式可以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患与目标部位关联的疾病的风险概率，有助于更有效地辅助确定疾病。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种疾病辅助检测系统的结构示意图；

图2是本发明实施例提供的一种基于多模态数据的疾病辅助检测方法的示意流程图；

图3是本发明实施例提供的一种基于多模态数据的疾病辅助检测装置的示意框图；

图4是本发明实施例提供的一种基于多模态数据的疾病辅助检测设备的示意框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的基于多模态数据的疾病辅助检测方法可以应用于一种疾病辅助检测系统，在某些实施例中，所述疾病辅助检测系统包括核磁共振设备和终端，其中，所述终端中包括基于多模态数据的疾病辅助检测设备。在某些实施例中，所述核磁共振设备可以与终端建立通信连接。在某些实施例中，所述通信连接的方式可以包括但不限于wi-fi、蓝牙、近场通信（nearfieldcommunication，nfc）等。在某些实施例中，所述核磁共振设备用于对待检测对象进行检查得到特征图像，其中，所述特征图像即为核磁共振（magneticresonance，mr）影像。

下面结合附图1对本发明实施例提供的疾病辅助检测系统进行示意性说明。

请参见图1，图1是本发明实施例提供的一种疾病辅助检测系统的结构示意图。所述疾病辅助检测系统包括：基于多模态数据的疾病辅助检测设备11和核磁共振设备12。在某些实施例中，基于多模态数据的疾病辅助检测设备11与核磁共振设备12可以通过无线通信连接方式建立通信连接；其中，在某些场景下，所述基于多模态数据的疾病辅助检测设备11与核磁共振设备12之间也可以通过有线通信连接方式建立通信连接。在某些实施例中，所述基于多模态数据的疾病辅助检测设备11可以包括但不限于智能手机、平板电脑、笔记本电脑、台式电脑等智能终端设备。

本发明实施例中，基于多模态数据的疾病辅助检测设备11可以获取核磁共振设备12采集的待检测对象针对目标部位的的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；基于多模态数据的疾病辅助检测设备11可以从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；以及将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；基于多模态数据的疾病辅助检测设备11可以获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。通过这种方式，可以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患与目标部位关联的疾病的风险概率，有助于更有效地辅助确定疾病。

下面结合附图2对本发明实施例提供的基于多模态数据的疾病辅助检测方法进行示意性说明。

请参见图2，图2是本发明实施例提供的一种基于多模态数据的疾病辅助检测方法的示意流程图，如图2所示，该方法可以由基于多模态数据的疾病辅助检测设备执行，所述基于多模态数据的疾病辅助检测设备的具体解释如前所述，此处不再赘述。具体地，本发明实施例的所述方法包括如下步骤。

s201：获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像。

本发明实施例中，基于多模态数据的疾病辅助检测设备可以获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像。在某些实施例中，所述特征图像为核磁共振设备检查得到的核磁共振影像。在某些实施例中，所述目标部位可以包括但不限于人的身体部位中的一个或多个，如头部、颈部、胸部等中的一个或多个部分。例如，所述目标部位可以为头颈部，基于多模态数据的疾病辅助检测设备可以获取待检测对象针对头颈部的核磁共振设备检查得到的特征图像。

s202：从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理。

本发明实施例中，基于多模态数据的疾病辅助检测设备可以从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理。

在一个实施例中，基于多模态数据的疾病辅助检测设备在从所述特征图像中的多个子序列中选取多个目标子序列时，可以获取所述特征图像中包括的多个子序列，并根据与所述目标部位关联的疾病的特点从所述特征图像中的多个子序列中选取多个目标子序列，其中，每个目标子序列包括多个子特征图像。

在一个实施例中，基于多模态数据的疾病辅助检测设备在对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理时，可以根据预设尺寸利用线性插值方法对所述多个目标子序列中的每个目标子序列的子特征图像进行裁剪处理，并对裁剪处理得到的每个目标子序列的子特征图像进行归一化处理。

在一个示例中，假设所述预设尺寸为384*384，基于多模态数据的疾病辅助检测设备可以使用线性插值方法，以384*384的尺寸分别对每个目标子序列中的子特征图像进行裁剪处理，并对裁剪处理得到的子特征图像进行归一化处理。

通过对多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理，有助于得到更准确的特征图像对待检测对象患与目标部位关联的疾病的第一风险概率。

s203：将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率。

本发明实施例中，基于多模态数据的疾病辅助检测设备可以将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率。例如，假设目标部位为头颈部，则基于多模态数据的疾病辅助检测设备可以将预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到特征图像对待检测对象患与头颈部关联的鼻咽癌的第一风险概率。

在一个实施例中，基于多模态数据的疾病辅助检测设备在将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中之前，可以获取训练集中的样本特征图像，其中，所述样本特征图像为患有与目标部位关联的疾病的患者对象针对目标部位的核磁共振设备检查得到的特征图像；并对所述样本特征图像添加标签信息，其中，所述标签信息包括患病标签和患病时长标签；基于多模态数据的疾病辅助检测设备可以从所述添加标签信息的样本特征图像的多个子序列中选取多个目标子序列，并对从所述样本特征图像中选取的所述多个目标子序列中的每个目标子序列中的每个子样本特征图像进行预处理；以及将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型。在某些实施例中，所述患病标签可以为1和0，1用于指示患病，0用于指示未患病。

在某些实施例中，所述指定的卷积神经网络模型可以为3维densenet模型，其中，所述3维densenet包括三个卷积模块denseblock和三个传输层transitionlayer。每个卷积模块都从前一个的卷积模块中获取额外的输入，并将其自身的特征图传递给所有的后续卷积模块。

在一个实施例中，基于多模态数据的疾病辅助检测设备在将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型时，可以将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型中，得到所述每个子样本特征图像对应的卷积特征向量；并将得到的所述每个子样本特征图像对应的卷积特征向量进行拼接处理，得到目标特征向量；以及根据所述目标特征向量确定所述样本特征图像对所述患者对象患与所述目标部位关联的疾病的的风险评估概率；从而根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。

在一个实施例中，基于多模态数据的疾病辅助检测设备在根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型时，可以根据所述风险评估概率和所述样本特征图像的标签信息确定损失函数值，并根据所述损失函数值对所述指定的卷积神经网络模型的参数进行调整，并在调整参数后重新训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。

在一个实施例中，在调整参数后重新训练所述指定的卷积神经网络模型，得到所述第一风险预测模型时，可以在调整参数后将预处理得到的每个子样本特征图像对应的图像数据输入调整长参数后的指定的卷积神经网络模型中，当根据该模型输出的风险评估概率和样本特征图像的标签信息确定的损失函数值满足预设条件时，得到所述第一风险预测模型。在某些实施例中，所述损失函数值满足预设条件可以为所述损失函数值满足预设阈值。

在一个示例中，假设指定的卷积神经网络模型为3维densenet模型，基于多模态数据的疾病辅助检测设备可以将预处理得到的多个子序列中的每个子样本特征图像对应的图像数据输入3维densenet模型中，得到所述每个子样本特征图像对应的卷积特征向量；并将得到的所述每个子样本特征图像对应的卷积特征向量进行拼接处理，得到目标特征向量；以及根据所述目标特征向量确定所述样本特征图像对所述患者对象患与所述目标部位关联的疾病的的风险评估概率，根据所述风险评估概率和所述样本特征图像的标签信息确定损失函数值，并根据所述损失函数值对所述指定的卷积神经网络模型的参数进行调整，并在调整参数后重新训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。

通过这种方式可以训练得到第一风险预测模型，并利用训练得到的第一风险预测模型确定特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率，有助于更有效地将第一风险概率与待检测对象的临床结构化数据相结合，更准确地得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。

s204：获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。

本发明实施例中，基于多模态数据的疾病辅助检测设备可以获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。

在一个实施例中，基于多模态数据的疾病辅助检测设备在将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率之后，可以根据所述待检测对象患与所述目标部位关联的疾病的第二风险概率，确定所述待检测对象患与所述目标部位关联的疾病的风险分级，并将所述待检测对象患与所述目标部位关联的疾病的第二风险概率输入指定的分析模型，得到各预测因子对所述第二风险概率的影响值。

在一个实施例中，基于多模态数据的疾病辅助检测设备在根据所述待检测对象患与所述目标部位关联的疾病的第二风险概率，确定所述待检测对象患与所述目标部位关联的疾病的风险分级时，可以根据预设的概率与等级的对应关系来确定所述待检测对象患与所述目标部位关联的疾病的第二风险概率对应的风险分级。

在一个实施例中，基于多模态数据的疾病辅助检测设备在根据所述待检测对象患与所述目标部位关联的疾病的第二风险概率，确定所述待检测对象患与所述目标部位关联的疾病的风险分级时，可以使用决策树算法对第二风险预测模型输出的连续的第二风险概率进行离散化，以确定与所述第二风险概率对应的风险分级。

在一个实施例中，所述指定的分析模型可以为xgboost模型，基于多模态数据的疾病辅助检测设备在将所述待检测对象患与所述目标部位关联的疾病的第二风险概率输入指定的分析模型，得到各预测因子对所述第二风险概率的影响值时，可以将所述待检测对象患与所述目标部位关联的疾病的第二风险概率输入xgboost模型，得到各预测因子对所述第二风险概率的影响值。在某些实施例中，所述预测因子包括但不限于mr图像对患者对象患与所述目标部位关联的疾病的影响概率、各类检查数据、癌症分期等。

例如，假设预测因子包括mr图像对待检测对象患与所述目标部位关联的疾病的第一风险概率、检查数据、癌症分期，如果第一风险概率为80%，第二风险概率为90%，基于多模态数据的疾病辅助检测设备可以将所述待检测对象患与所述目标部位关联的疾病的第二风险概率80%输入xgboost模型，得到第一风险概率对所述第二风险概率的影响值为0.6，检查数据对所述第二风险概率的影响值为0.2，癌症分期对所述第二风险概率的影响值为0.2。

在一个实施例中，在得到各预测因子对第二风险概率的影响值之后，可以将所述第二风险概率和所述各预测因子对第二风险概率的影响值发送给医护终端，以供医护人员查看，有助于辅助医护人员对所述待测试对象的患病情况进行判断。

本发明实施例中，基于多模态数据的疾病辅助检测设备可以获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；终端可以从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；以及将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；终端可以获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。通过这种方式可以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患与所述目标部位关联的疾病的风险概率，有助于更有效地辅助确定疾病。

本发明实施例还提供了一种基于多模态数据的疾病辅助检测装置，该基于多模态数据的疾病辅助检测装置用于执行前述任一项所述的方法的单元。具体地，参见图3，图3是本发明实施例提供的一种基于多模态数据的疾病辅助检测装置的示意框图。本实施例的基于多模态数据的疾病辅助检测装置包括：获取单元301、处理单元302、第一预测单元303、第二预测单元304。

获取单元301，用于获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；

处理单元302，用于从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；

第一预测单元303，用于将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；

第二预测单元304，用于获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。

进一步地，所述处理单元302从所述特征图像中的多个子序列中选取多个目标子序列时，具体用于：

获取所述特征图像中包括的多个子序列；

根据与所述目标部位关联的疾病的特点从所述特征图像中的多个子序列中选取多个目标子序列，其中，每个目标子序列包括多个子特征图像。

进一步地，所述处理单元302对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理时，具体用于：

根据预设尺寸利用线性插值方法对所述多个目标子序列中的每个目标子序列的子特征图像进行裁剪处理；

对裁剪处理得到的每个目标子序列的子特征图像进行归一化处理。

进一步地，所述第一预测单元303将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中之前，还用于：

获取训练集中的样本特征图像，其中，所述样本特征图像为患有与所述目标部位关联的疾病的患者对象针对目标部位的核磁共振设备检查得到的特征图像；

对所述样本特征图像添加标签信息，其中，所述标签信息包括患病标签和患病时长标签；

从所述添加标签信息的样本特征图像的多个子序列中选取多个目标子序列，并对从所述样本特征图像中选取的所述多个目标子序列中的每个目标子序列中的每个子样本特征图像进行预处理；

将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型。

进一步地，所述第一预测单元303将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型时，具体用于：

将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型中，得到所述每个子样本特征图像对应的卷积特征向量；

将得到的所述每个子样本特征图像对应的卷积特征向量进行拼接处理，得到目标特征向量；

根据所述目标特征向量确定所述样本特征图像对所述患者对象患与所述目标部位关联的疾病的的风险评估概率；

根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。

进一步地，所述第一预测单元303根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型时，具体用于：

根据所述风险评估概率和所述样本特征图像的标签信息确定损失函数值；

根据所述损失函数值对所述指定的卷积神经网络模型的参数进行调整，并在调整参数后重新训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。

进一步地，所述第二预测单元304将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率之后，还用于：

根据所述待检测对象患与所述目标部位关联的疾病的第二风险概率，确定所述待检测对象患与所述目标部位关联的疾病的风险分级；

将所述待检测对象患与所述目标部位关联的疾病的第二风险概率输入指定的分析模型，得到各预测因子对所述第二风险概率的影响值。

本发明实施例中，基于多模态数据的疾病辅助检测装置可以获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；终端可以从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；以及将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；终端可以获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。通过这种方式可以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患与所述目标部位关联的疾病的风险概率，有助于更有效地辅助确定疾病。

参见图4，图4是本发明实施例提供的一种基于多模态数据的疾病辅助检测设备的示意框图。如图4所示的本发明实施例中的基于多模态数据的疾病辅助检测设备可以包括：一个或多个处理器401和存储器402。存储器402用于存储计算机程序，所述计算机程序包括程序指令，处理器401用于执行存储器402存储的程序指令。其中，处理器401被配置用于调用所述程序指令执行：

获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；

从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；

将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；

获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。

进一步地，所述处理器401从所述特征图像中的多个子序列中选取多个目标子序列时，具体用于：

获取所述特征图像中包括的多个子序列；

根据与所述目标部位关联的疾病的特点从所述特征图像中的多个子序列中选取多个目标子序列，其中，每个目标子序列包括多个子特征图像。

进一步地，所述处理器401对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理时，具体用于：

根据预设尺寸利用线性插值方法对所述多个目标子序列中的每个目标子序列的子特征图像进行裁剪处理；

对裁剪处理得到的每个目标子序列的子特征图像进行归一化处理。

进一步地，所述处理器401将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中之前，还用于：

获取训练集中的样本特征图像，其中，所述样本特征图像为患有与所述目标部位关联的疾病的患者对象针对目标部位的核磁共振设备检查得到的特征图像；

对所述样本特征图像添加标签信息，其中，所述标签信息包括患病标签和患病时长标签；

从所述添加标签信息的样本特征图像的多个子序列中选取多个目标子序列，并对从所述样本特征图像中选取的所述多个目标子序列中的每个目标子序列中的每个子样本特征图像进行预处理；

将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型。

进一步地，所述处理器401将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型时，具体用于：

将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型中，得到所述每个子样本特征图像对应的卷积特征向量；

将得到的所述每个子样本特征图像对应的卷积特征向量进行拼接处理，得到目标特征向量；

根据所述目标特征向量确定所述样本特征图像对所述患者对象患与所述目标部位关联的疾病的的风险评估概率；

根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。

进一步地，所述处理器401根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型时，具体用于：

根据所述风险评估概率和所述样本特征图像的标签信息确定损失函数值；

根据所述损失函数值对所述指定的卷积神经网络模型的参数进行调整，并在调整参数后重新训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。

进一步地，所述处理器401将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率之后，还用于：

根据所述待检测对象患与所述目标部位关联的疾病的第二风险概率，确定所述待检测对象患与所述目标部位关联的疾病的风险分级；

将所述待检测对象患与所述目标部位关联的疾病的第二风险概率输入指定的分析模型，得到各预测因子对所述第二风险概率的影响值。

本发明实施例中，终端可以获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；终端可以从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；以及将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；终端可以获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。通过这种方式可以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患与所述目标部位关联的疾病的风险概率，有助于更有效地辅助确定疾病。

应当理解，在本发明实施例中，所称处理器401可以是中央处理单元(censralprocessingunis，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digisalsignalprocessor，dsp)、专用集成电路(applicasionspecificinsegrasedcircuis，asic)、现成可编程门阵列(field-programmablegasearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器402可以包括只读存储器和随机存取存储器，并向处理器401提供指令和数据。存储器402的一部分还可以包括非易失性随机存取存储器。例如，存储器402还可以存储设备类型的信息。

本发明实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现图2所对应实施例中描述的基于多模态数据的疾病辅助检测方法，也可实现本发明图3所对应实施例的基于多模态数据的疾病辅助检测设备，在此不再赘述。

所述计算机可读存储介质可以是前述任一实施例所述的基于多模态数据的疾病辅助检测设备的内部存储单元，例如基于多模态数据的疾病辅助检测设备的硬盘或内存。所述计算机可读存储介质也可以是所述基于多模态数据的疾病辅助检测设备的外部存储设备，例如所述基于多模态数据的疾病辅助检测设备上配备的插接式硬盘，智能存储卡（smarsmediacard,smc），安全数字（securedigisal,sd）卡，闪存卡（flashcard）等。进一步地，所述计算机可读存储介质还可以既包括所述基于多模态数据的疾病辅助检测设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述基于多模态数据的疾病辅助检测设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。所述的计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

需要强调的是，为进一步保证上述风险概率的私密和安全性，上述风险概率还可以存储于一区块链的节点中。其中，本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

以上所述，仅为本发明的部分实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。