一种医学图像处理系统、方法及计算机存储介质与流程

文档序号:22616483发布日期:2020-10-23 19:17阅读:101来源:国知局
一种医学图像处理系统、方法及计算机存储介质与流程

本发明涉及医学图像处理技术领域,特别涉及一种医学图像处理系统、方法及计算机存储介质。



背景技术:

磁共振(magneticresonance,mr)成像技术不仅在组织对比度、空间分辨率等方面比较理想,而且其对于软组织也有很好的成像效果,可以提供更加丰富的图像信息,因此被广泛应用。但是磁共振成像技术其成像速度较慢、成像时间过长使得一些患者在成像过程中会不自主的移动从而产生运动伪影,影响了成像质量。

为了能够在短时间得到高质量的mr图像,相关技术中,设备厂商会为mr成像设备配备硬件设备即重建工作站,通过该重建工作站对mr图像进行重建以获得更好质量的重建mr图像,但是这种对mr图像的重建方式不仅重建速度慢,而且需要依赖昂贵的硬件设备,导致mr图像的重建成本很高。



技术实现要素:

为了解决现有技术的问题,本发明实施例提供了一种医学图像处理方法、系统及计算机存储介质。所述技术方案如下:

一方面,提供了一种医学图像处理系统,所述系统包括:

第一终端,用于从医学成像设备获取医学图像,将所述医学图像发送给云服务器;

所述云服务器,用于接收所述医学图像,基于质量评估模型确定所述医学图像的第一质量等级;在所述第一质量等级与预设质量等级相匹配时,基于图像重建模型对所述医学图像进行重建处理,得到重建医学图像;将所述重建医学图像返回给所述第一终端;

其中,所述质量评估模型是基于第一样本医学图像和对应的质量等级标签进行机器学习训练确定的;所述图像重建模型是基于全采样医学图像和所述全采样医学图像对应的欠采样医学图像进行机器学习训练确定的。

可选的,所述云服务器将所述重建医学图像返回给所述第一终端包括:

所述云服务器基于诊断分析模型对所述重建医学图像进行诊断分析,得到所述医学图像对应的诊断分析结果;

所述云服务器确定历史治疗方案库中与所述诊断分析结果相匹配的目标历史治疗方案,所述历史治疗方案库中存储有历史治疗方案与历史诊断分析结果的对应关系;

所述云服务器建立所述重建医学图像、所述诊断分析结果和所述目标历史治疗方案之间的第一映射关系;

所述云服务器将所述第一映射关系返回给所述第一终端;

其中,所述诊断分析模型是基于第二样本医学图像和对应的诊断标签信息进行机器学习确定的;所述诊断标签信息包括疾病类型和/或病灶类型。

可选的,所述诊断分析模型包括对应不同诊断分析任务的多个诊断分析模型;

所述云服务器基于诊断分析模型对所述重建医学图像进行诊断分析包括:

所述云服务器根据所述重建医学图像所对应的肌体部位,确定当前诊断分析任务;

所述云服务器确定所述诊断分析模型中与所述当前诊断分析任务相匹配的目标诊断分析模型;

所述云服务器基于所述目标诊断分析模型对所述重建医学图像进行诊断分析。

可选的,所述云服务器还用于:

在所述第一质量等级与所述预设质量等级不匹配时,基于所述诊断分析模型对所述医学图像进行诊断分析,得到所述医学图像对应的诊断分析结果;

确定历史治疗方案库中与所述诊断分析结果相匹配的目标历史治疗方案,所述历史治疗方案库中存储有历史治疗方案与历史诊断分析结果的对应关系;

建立所述医学图像、所述诊断分析结果和所述目标历史治疗方案之间的第二映射关系;

将所述第二映射关系返回给所述第一终端。

可选的,所述云服务器还用于:基于第一样本医学图像和所述第一样本医学图像对应的质量等级标签训练所述质量评估模型;所述云服务器训练所述质量评估模型包括:

获取第一样本医学图像集;所述第一样本医学图像集中的第一样本医学图像为基于同一欠采样率采样得到的医学图像;每个所述第一样本医学图像标注有质量等级标签;

将所述质量等级标签与所述预设质量等级相匹配的第一样本医学图像确定为正样本医学图像,得到正样本图像集;

将所述质量等级标签与所述预设质量等级不匹配的第一样本医学图像确定为负样本医学图像,得到负样本图像集;

基于所述正样本图像集和负样本图像集对预设第一神经网络模型进行训练,在训练中调整所述预设第一神经网络模型的模型参数至所述预设第一神经网络模型输出的预测质量等级与输入的样本图像相匹配;

将当前模型参数所对应的第一神经网络模型作为所述质量评估模型。

可选的,所述云服务器还用于:基于全采样医学图像和所述全采样医学图像对应的欠采样医学图像训练所述图像重建模型;所述云服务器训练所述图像重建模型包括:

获取全采样医学图像和所述全采样医学图像对应的欠采样医学图像;所述全采样医学图像包括对应所述医学成像设备的多个线圈通道的全采样医学图像;

将所述全采样医学图像和对应的欠采样医学图像作为训练数据对;

基于所述训练数据对,使用预设第二神经网络模型进行图像重建训练,在训练中调整所述预设第二神经网络模型的模型参数至所述预设第二神经网络模型输出的预测图像与输入训练数据对中的全采样医学图像相匹配;

将当前模型参数所对应的第二神经网络模型作为所述图像重建模型。

可选的,所述第一终端还用于:响应于用户对映射关系中诊断分析结果的调整指令,生成调整后的映射关系;将所述调整后的映射关系发送给所述云服务器;

所述云服务器还用于:按照预设时间间隔,使用所述调整后的映射关系对所述诊断分析模型进行训练更新。

可选的,所述第一终端还用于:获取当前治疗方案,将所述当前治疗方案发送给所述云服务器;

所述云服务器还用于:接收所述当前治疗方案;建立所述当前治疗方案与所述诊断分析结果的对应关系;将所述当前治疗方案与所述诊断分析结果的对应关系更新至所述历史治疗方案库中。

另一方面,提供了一种医学图像处理方法,应用于云服务器,所述方法包括:

接收第一终端发送的医学图像,所述医学图像是所述第一终端从医学成像设备获取的;

基于质量评估模型确定所述医学图像的第一质量等级;

在所述第一质量等级与预设质量等级相匹配时,基于图像重建模型对所述医学图像进行重建处理,得到重建医学图像;

将所述重建医学图像返回给所述第一终端;

其中,所述质量评估模型是基于第一样本医学图像和所述第一样本医学图像对应的质量等级标签进行机器学习训练确定的;所述图像重建模型是基于全采样医学图像和所述全采样医学图像对应的欠采样医学图像进行机器学习训练确定的。

可选的,所述方法还包括:基于第一样本医学图像和所述第一样本医学图像对应的质量等级标签训练所述质量评估模型;

所述训练所述质量评估模型包括:

获取第一样本医学图像集;所述第一样本医学图像集中的第一样本医学图像为基于同一欠采样率采样得到的医学图像;每个所述第一样本医学图像标注有质量等级标签;

将所述质量等级标签与所述预设质量等级相匹配的第一样本医学图像确定为正样本医学图像,得到正样本图像集;

将所述质量等级标签与所述预设质量等级不匹配的第一样本医学图像确定为负样本医学图像,得到负样本图像集;

基于所述正样本图像集和负样本图像集对预设第一神经网络模型进行训练,在训练中调整所述预设第一神经网络模型的模型参数至所述预设第一神经网络模型输出的预测质量等级与输入的样本图像相匹配;

将当前模型参数所对应的第一神经网络模型作为所述质量评估模型。

可选的,所述方法还包括:基于全采样医学图像和所述全采样医学图像对应的欠采样医学图像训练所述图像重建模型;

所述训练所述图像重建模型包括:

获取全采样医学图像和所述全采样医学图像对应的欠采样医学图像;所述全采样医学图像包括对应所述医学成像设备的多个线圈通道的全采样医学图像;

将所述全采样医学图像和对应的欠采样医学图像作为训练数据对;

基于所述训练数据对,使用预设第二神经网络模型进行图像重建训练,在训练中调整所述预设第二神经网络模型的模型参数至所述预设第二神经网络模型输出的预测图像与输入训练数据对中的全采样医学图像相匹配;

将当前模型参数所对应的第二神经网络模型作为所述图像重建模型。

另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的医学图像处理方法。

本发明实施例中的医学图像处理系统包括第一终端和云服务器,第一终端用于从医学成像设备获取医学图像并将该医学图像发送给云服务器,云服务器用于接收该医学图像,并基于质量评估模型确定该医学图像的第一质量等级,在该第一质量等级与预设质量等级相匹配时,基于图像重建模型对上述医学图像进行重建处理得到重建医学图像,并将该重建医学图像返回给第一终端,其中的质量评估模型是基于第一样本医学图像和对应的质量等级标签进行机器学习训练确定的,图像重建模型是基于全采样医学图像和该全采样医学图像对应的欠采样医学图像进行机器学习训练确定的。可见上述系统对于医学图像的重建不需依赖昂贵的重建工作站,由云服务器结合其上预先训练得到的机器学习模型来完成,不仅降低了医学图像的重建成本,而且大大提高了重建效率和重建图像的质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种医学图像处理系统的结构示意图;

图2是本发明实施例提供的另一种医学图像处理系统的结构示意图;

图3是本发明实施例提供的云服务器训练质量评估模型的过程示意图;

图4是本发明实施例提供的云服务器训练图像重建模型的过程示意图;

图5是本发明实施例提供的另一种医学图像处理系统的结构示意图;

图6是本发明实施例提供的另一种医学图像处理系统的结构示意图;

图7是本发明实施例提供的另一种医学图像处理系统的结构示意图;

图8是本发明实施例提供的另一种医学图像处理系统的结构示意图;

图9是本发明实施例提供的一种医学图像处理方法的流程示意图;

图10是本发明实施例提供的另一种医学图像处理方法的流程示意图;

图11是本发明实施例提供的一种服务器的硬件结构框图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1,其所示为本发明实施例提供的一种医学图像处理系统的结构示意图。如图1所示,该医学图像处理系统100可以包括第一终端110和云服务器120。

其中,第一终端110与云服务器120可以通过网络进行连接通信,该网络可以是有线网络或者无线网络。本发明实施例中,为了有效提高医学图像数据的传输速度,加快图像重建的效率,第一终端110和云服务器120之间可以基于第五代移动通信技术建立网络连接。第五代移动通信技术具有高数据速率、延迟降低、节约能源以及大规模设备连接等特点,它的数据传输速率远远高于之前的蜂窝网络,最高可达10gbit/s,且网络延迟低于1毫秒。

具体的,第一终端110,可以用于从医学成像设备获取医学图像,将该医学图像发送给云服务器。

其中,第一终端110可以是台式电脑、平板电脑、笔记本电脑等具有各种操作系统的硬件设备。第一终端110中可以运行有图像处理客户端101,用户可以通过第一终端110中的图像处理客户端101登录云服务器120,具体的实施中,该图像处理客户端101可以是web客户端。

医学成像设备可以但不限于是图1所示的磁共振(mr)成像设备,相应的,医学图像可以但不限于为图1所示的磁共振(mr)图像。第一终端110可以通过局域网络与医学成像设备建立内网连接,医学成像设备在完成扫描得到医学图像后,可以基于建立的内网连接将该医学图像发送给第一终端110,相应的,第一终端110接收到该医学图像,之后第一终端110可以通过其上的图像处理客户端101登陆云服务器120,并将该医学图像发送给云服务器120,通过云服务器120对医学图像进行图像重建处理。

云服务器120可以为单独的服务器或者多个服务器组成的服务器集群。云服务器120,可以用于接收第一终端110发送的医学图像,基于质量评估模型确定该医学图像的第一质量等级;在该第一质量等级与预设质量等级相匹配时,基于图像重建模型对该医学图像进行重建处理,得到重建医学图像,并将该重建医学图像返回给第一终端110,从而利用云端资源实现了医学图像的重建。其中,质量评估模型是基于第一样本医学图像和对应的质量等级标签进行机器学习训练确定的,图像重建模型是基于全采样医学图像和所述全采样医学图像对应的欠采样医学图像进行机器学习训练确定的。

具体的实施中,如图2所示,云服务器120可以包括与该web客户端直接通信的web服务器121和医学图像处理服务器122,其中,web服务器121用于接收第一终端110发送的医学图像,并将给医学图像转发给医学图像处理服务器122,由医学图像处理服务器122进行后续的医学图像处理。

本说明书实施例中,预设质量等级是指需要进行重建处理的医学图像所对应的质量等级,也即当某个医学图像的质量等级满足该预设质量等级时,该医学图像为需要进行重建处理的医学图像。具体的实施中,该预设质量等级可以由医生根据医学图像的伪影程度和组织结构清晰程度来确定。

在一个可能的实施方式中,预设质量等级的表现形式可以是一个概括性描述的质量等级,例如预设质量等级为低质量等级,也即低质量等级的医学图像为需要进行重建处理的医学图像。

在另一个可能的实施方式中,预设质量等级的表现形式也可以为一个具体的质量等级数值,例如质量等级1,也即只有质量等级为1的医学图像为需要进行重建处理的医学图像;当然,预设质量等级还可以是一个具体的质量等级数值范围,如质量等级1~3,也即质量等级为1或2或3的医学图像都是需要进行重建处理的医学图像。

本发明实施例中云服务器120基于机器学习算法预先训练好质量评估模型和图像重建模型并进行存储,在接收到医学图像时可以直接调用训练好的模型进行处理。

基于此,本发明实施例中云服务器120还用于基于第一样本医学图像和该第一样本医学图像对应的质量等级标签训练上述的质量评估模型。下面介绍云服务器120训练该质量评估模型的具体过程。

如图3所示,云服务器120获取第一样本医学图像集,该第一样本医学图像集中的第一样本医学图像为基于同一欠采样率采样得到的医学图像,且每个第一样本医学图像标注有对应的质量等级标签。

具体的,对第一样本医学图像标注的质量等级标签需要参考预设质量等级标签的表现形式。例如,当预设质量等级的表现形式为低质量等级时,标注的质量等级标签可以包括高质量等级和低质量等级;当预设质量等级的表现形式为具体的质量等级数值或者质量等级数值范围时,标注的质量等级标签为具体的质量等级数值。实际应中,用户可以根据需要选择质量等级的具体表现形式。具体的实施中,用户可以根据信噪比高低、伪影的明显程度和组织结构的清晰程度来标注第一样本医学图像的质量等级标签。

举例而言,当预设质量等级的表现形式为低质量等级时,用户在标注时可以将信噪比低于预设信噪比阈值,且伪影较为明显,且组织结构不清晰的医学图像标注为低质量等级,将信噪比高于预设信噪比阈值,且基本没有伪影,且组织结构较为清晰的医学图像标注为高质量等级。

需要说明的是,本发明实施例用于训练质量评估模型的第一样本医学图像集中的第一样本医学图像为基于同一欠采样率采样得到的医学图像。采用同一欠采样率采用得到的医学图像作为质量评估模型的训练数据可以排除欠采样操作导致的较差质量图像对质量评估模型评估结果的影响,从而质量评估模型可以筛查出成像过程中由于患者移动或者技师操作不当导致的质量较差的图像,例如筛查出信噪比极低,且伪影较为明显,且组织结构不清晰的医学图像。

也就是说,本发明实施例不将欠采样率的差异作为质量评估模型确定医学图像质量等级的依据,原因是不同的欠采样率一般都会导致医学图像在成像质量上的差异,从而可以使得训练得到质量评估模型能够基于除欠采样率之外的因素对图像质量等级的影响,例如可以考虑伪影、信噪比等因素的影响。

云服务器120在获取到第一样本医学图像集后,对其中的第一样本医学图像进行正负样本的划分。需要说明的是,本发明实施例中的正负样本是从图像重建的角度来划分的,也即确定需要图像重建的样本为正样本,确定不需要图像重建的样本为负样本。

具体的,云服务器120将质量等级标签与预设质量等级相匹配的第一样本医学图像确定为正样本医学图像,得到正样本图像集;将质量等级标签与预设质量等级标签不匹配的第一样本医学图像确定为负样本医学图像,得到负样本图像集。其中,质量等级标签与预设质量等级相匹配,表明对应的第一样本医学图像符合需要进行重建的要求,将其作为正样本医学图像;质量等级标签与预设质量等级不匹配,表明对应的第一样本医学图像不符合需要进行重建的要求,将其作为负样本医学图像。

对第一样本医学图像集进行正负样本划分完后即可得到训练数据,云服务器120利用该训练数据进行质量评估模型的具体训练。具体的,云服务器120基于正样本图像集和负样本图像集对预设第一神经网络模型进行训练,在训练中调整该预设第一神经网络模型的模型参数至该预设第一神经网络模型输出的预测质量等级与输入的样本图像相匹配。

云服务器120将当前模型参数(即预设第一神经网络模型输出的预测质量等级与输入的样本图像相匹配时的模型参数)所对应的第一神经网络模型作为本发明实施例的质量评估模型。

实际应用中,云服务器120需要先构建上述预设第一神经网络模型,该预设第一神经网络模型可以是基于深度卷积神经网络的图像分类模型,例如该图像分类模型可以但不限于为vggnet、resnet等。在一个可能的实施方式中,云服务器120将正样本图像集中的正样本图像和负样本图像集中的负样本图像分别作为图像分类模型的输入,图像分类模型输出对应正样本图像和负样本图像的分类结果即预测质量等级,结合对应输入的样本图像的质量等级标签获取交叉熵损失函数,并通过交叉熵损失函数对该图像分类模型的模型参数进行更新。其中,交叉熵(crossentropy)主要用于度量两个概率分布间的差异性信息,可以通过交叉熵作为损失函数来衡量图像分类模型的预测质量等级与标注的质量等级标签之间的差异,并通过交叉熵损失函数在图像分类模型中进行反向传播,以更新图像分类模型中的模型参数。

具体的,在通过该交叉熵损失函数对图像分类模型中的模型参数进行更新时,可以在根据交叉熵损失函数确定图像分类模型未收敛时,通过该交叉熵损失函数对图像分类模型中的模型参数进行更新。其中,图像分类模型收敛可以是指图像分类模型输出的预测质量等级与对应输入的样本图像的质量等级标签之间的差值小于预定阈值,或者,预测质量等级与输入的样本图像的质量等级标签之间的差值的变化率趋近于某一个较低值(比如趋近于0)。在一个可能的实施方式中,在某一轮迭代训练完成后,通过本轮迭代训练输出的预测质量等级与输入的样本图像的质量等级标签计算交叉熵损失函数,如果计算出的损失函数较小,或者,与上一轮迭代的交叉熵损失函数之间的差值趋近于0,则认为图像分类模型已经收敛。

基于前述描述,本发明实施例中云服务器120还用于基于全采样医学图像和该全采样医学图像对应的欠采样医学图像训练图像重建模型。下面介绍云服务器120训练该图像重建模型的具体过程。

如图4所示,云服务器120获取全采样医学图像和该全采样医学图像对应的欠采样医学图像。其中,全采样医学图像包括对应医学成像设备的多个线圈通道的全采样医学图像。由于多个线圈的灵敏度存在差异,当训练数据中的全采样医学图像包括多个线圈通道的全采样医学图像时,相对于只有单个线圈通道的全采样医学图像而言,可以利用多个线圈灵敏度差异性提高训练得到的图像重建模型的重建效果。以全采样医学图像为全采样mr图像为例,在mr扫描过程中,沿相位编码方向逐条填充k空间数据,得到k空间全采样数据,对该k空间全采样数据全部采集并经过傅里叶逆变换即得到全采样mr图像;对该k空间全采样数据以一定的采样率进行采集并经过傅里叶逆变换即得到全采样mr图像对应的欠采样mr图像。

云服务器120将全采样医学图像和对应的欠采样医学图像作为训练数据对;基于训练数据对,使用预设第二神经网络模型进行图像重建训练,在训练中调整该预设第二神经网络模型的模型参数至该预设第二神经网络模型输出的预测图像与输入训练数据对中的全采样医学图像相匹配。

云服务器120将当前模型参数(即预设第二神经网络模型输出的预测图像与输入训练数据对中的全采样医学图像相匹配时的模型参数)所对应的第二神经网络模型作为本发明实施例中的图像重建模型。

实际应用中,云服务器120需要先构建上述预设第二神经网络模型,该预设第二神经网络模型可以是基于深度学习的图像分割模型,例如该图像分割模型可以但不限于为fcn、unet、unet++等。其中,fcn(全卷积网络模型,fullyconvolutionalnetworks)可以对图像进行像素级的分类,它可以接收任意尺寸的输入图像,采用反卷积对最后一个卷积层进行上采样,使它恢复到输入图像相同的尺寸,从而可以对每个像素都产生一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图中进行逐像素分类,即逐个像素计算softmax分类的损失,相当于每一个像素对应一个训练样本。unet和unet++是在fcn基础上进行改进得到的类似图像分割网络,可以实现多尺度,更适合超大医学图像的处理。

为了提高图像重建模型的表征力,以获得更高质量的重建图像,在一个可能的实施方式中,预设第二神经网络模型可以包括级联的全卷积神经网络模型fcn和循环神经网络模型rnn,通过rnn中参数共享的形式对一组训练数据对进行多次循环迭代的训练,可以有效模拟迭代重建算法的递归迭代阶段,每一个循环迭代都相比前一次增加了对于细节的补充。

具体训练时,云服务器120将由全采样医学图像和对应的欠采样医学图像组成的训练数据对输入至预设第二神经网络模型中,预设第二神经网络模型学习由欠采样医学图像到全采样医学图像的映射关系,将基于欠采样医学图像得到的预测图像与对应的全采样医学图像进行比较,得到计算损失,当计算损失小于预设目标损失时,可以认为输出的预测图像与输入训练数据对中的全采样医学图像相匹配。该预设目标损失可以根据实际情况进行设定;在计算损失超过预设目标损失时,可以采用误差反向传播算法对映射关系中的参数(即模型参数)进行更新,并基于更新后的模型参数继续迭代训练。

实际应用中,为了提高医学图像的重建质量,云服务器120还可以对训练好的质量评估模型和图像重建模型进行自动更新。

在一个可能的实施方式中,云服务器120与第一终端110基于医院的内部网络连接通信,云服务器120可以从连接该内部网络的医学图像数据库中获取对应的样本图像数据对质量评估模型和图像重建模型进行更新训练,从而不断优化模型的预测效果。

在另一个可能的实施方式中,云服务器120可以与医院内部网络之外的网络(即外部网络)连接通信,云服务器120可以按照设定的更新时间从外部网络的医学图像数据库中获取对应的样本图像数据对质量评估模型和图像重建模型进行更新训练。其中,设定的更新时间可以根据实际需要确定,例如可以是每周晚上9:00等等。

本发明实施例通过在云服务器部署质量评估模型和图像重建模型,并在获取到第一终端发送的医学图像后,基于质量评估模型确定该医学图像的第一质量等级,在该第一质量等级与预设质量等级相匹配时,调用图像重建模型对该医学图像进行重建处理得到更高质量的重建医学图像并返回给第一终端,从而提高了医学图像的重建效率以及重建图像的质量,无需依赖昂贵的重建工作站的硬件设备,降低了图像重建的成本。

在另一个可能的实施方式中,为减少医生直接阅片的时间,云服务器120上还可以预先基于第二样本医学图像和对应的诊断标签信息训练好诊断分析模型并进行存储,该诊断标签信息可以包括疾病类型和/或病灶类型,从而云服务器120在将重建医学图像返回给第一终端时可以包括如图5所示的以下步骤:

云服务器120基于诊断分析模型对重建医学图像进行诊断分析,得到该医学图像对应的诊断分析结果。

云服务器120确定历史治疗方案库中与所述诊断分析结果相匹配的目标历史治疗方案。所述历史治疗方案库中存储有历史治疗方案与历史诊断分析结果的对应关系。在一个可能的实施方式中,为了提高云服务器对医学图像的处理效率尽快返回处理结果,历史治疗方案库中针对相同的诊断分析结果可以只存储一个最近的历史治疗方案。在另一个可能的实施方式中,出于向医生推荐更全面的治疗方案,历史治疗方案库中针对相同的诊断分析结果,可以存储预设历史时间段内的预设数量个历史治疗方案,例如每个诊断分析结果对应存储最近1个月内的5个历史治疗方案。

云服务器120建立所述重建医学图像、所述诊断分析结果和所述目标历史治疗方案之间的第一映射关系;将所述第一映射关系返回给所述第一终端。

第一终端110可以向医生展示上述的重建医学图像以及对应的诊断分析结果和目标历史治疗方案,该目标历史治疗方案可以作为医生根据本次诊断分析结果确定本次治疗方案的参考,进而大大减少了医生直接阅片的时间,提高了医生的诊断和治疗方案确定效率。而且由于本发明实施例的重建医学图像的质量得到提高,从而也使得诊断分析模型在确定重建医学图像的诊断分析结果时能够更加准确。

实际应用中,往往涉及到不同的诊断分析任务,而不同的诊断分析任务一般与肌体部位相关联,例如对于心室而言,其对应的诊断分析任务为确定疾病类型(如心力衰竭类型等);而对于肺部而言,其对应的诊断分析任务为确定肺部的病灶类型(如肺结核、肺气肿等)。由于诊断分析任务不同,那么涉及的诊断分析模型的网络结构就存在差异,例如对于诊断分析任务为确定疾病类型时,诊断分析模型为分割网络结构,对于诊断分析任务为确定病灶类型时,诊断分析模型为分类网络结构。

本发明实施例中为了提高医学图像处理系统的适用性,云服务器120可以针对不同诊断分析任务训练好多个诊断分析模型,建立诊断分析任务与诊断分析模型的对应关系,从而云服务器120在基于诊断分析模型对所述重建医学图像进行诊断分析时可以包括:

云服务器120根据所述重建医学图像所对应的肌体部位,确定当前诊断分析任务。例如,针对诊断分析任务为确定疾病类型训练有第一诊断分析模型,针对诊断分析任务的确定病灶类型训练有第二诊断分析模型。若重建医学图像所对应的肌体部位是心室,则云服务器120可以确定当前的诊断分析任务是确定心室的疾病类型;若重建医学图像所对应的肌体部位是肺部,则云服务器120可以确定当前的诊断分析任务是确定肺部的病灶类型。

云服务器120确定所述诊断分析模型中与所述当前诊断分析任务相匹配的目标诊断分析模型。在上述举例中,云服务器120针对当前的诊断分析任务是确定心室的疾病类型,可以将第一诊断分析模型确定为目标诊断分析模型;针对当前的诊断分析任务是确定肺部的病灶类型,可以将第二诊断分析模型确定为目标诊断分析模型。

云服务器120基于所述目标诊断分析模型对所述重建医学图像进行诊断分析。

以重建mr图像所对应的肌体部位是心室为例,云服务器120将重建mr图像输入至第一诊断分析模型中,该第一诊断分析模型对重建mr图像进行分割得到左右心室以及心肌的mr分割数据,并求出体积以及射血分数等参数,依据射血分数分析输出心力衰竭类型,该心力衰竭类型可以作为当前的诊断分析结果。云服务器120根据该心力衰竭类型从历史治疗方案库中查找与该诊断结果相匹配的目标历史治疗方案,并建立重建mr图像、当前的诊断分析结果和目标历史治疗方案之间的第一映射关系,将该第一映射关系返回给第一终端110,由此第一终端110可以将当前的诊断结果和推荐的治疗方案(即目标历史治疗方案)向医生呈现。

基于此,云服务器120还用于基于第二样本医学图像和对应的诊断标签信息训练诊断分析模型。对于第二样本医学图像对应的诊断标签信息可以由医生根据第二样本医学图像对应的肌体部位标注相应的疾病类型和/或病灶类型。

实际应用中,云服务器120可以根据诊断分析模型对应的诊断分析任务构建预设第三神经网络模型。例如对于诊断分析任务为确定疾病类型时,该预设第三神经网络模型可以为基于深度学习的分割网络结构,如可以但不限于是全卷积神经网络fcn;对于诊断分析任务为确定病灶类型时,该预设第三神经网络模型可以为基于深度卷积神经网络的分类网络结构,如可以但不限于是vggnet、resnet。对于分割网络模型的训练,其训练数据可以包括第三样本医学图像、对应的诊断标签信息以及第三样本医学图像对应肌体部位的分割金标准,例如心室分割金标准包括左心室分割、右心室分割以及心肌分割数据。对于分类网络模型的训练,其训练数据包括第三样本医学图像和对应的诊断标签信息。

在另一个可能的实施方式中,如图6所示,云服务器120还用于在所述第一质量等级与所述预设质量等级不匹配时,基于预先训练好的诊断分析模型对所述医学图像进行诊断分析,得到所述医学图像对应的诊断分析结果。具体的,在质量评估模型输出医学图像的第一质量等级与预设质量等级不匹配时,表明该医学图像的质量本身较好,可以不进行图像重建,此时可以直接基于该医学图像进行诊断分析。

云服务器120确定历史治疗方案库中与所述诊断分析结果相匹配的目标历史治疗方案,所述历史治疗方案库中存储有历史治疗方案与历史诊断分析结果的对应关系;

云服务器120建立所述医学图像、所述诊断分析结果和所述目标历史治疗方案之间的第二映射关系;将所述第二映射关系返回给所述第一终端。

由此可见,本发明实施例在评估的质量等级与预设质量等级相匹配也即医学图像质量不高时才进行图像重建,并基于重建医学图像进行智能诊断分析,而在评估的质量等级与预设质量等级不匹配也即医学图像本身质量较好时不进行图像重建,直接基于医学图像进行智能诊断分析,从而在提高云服务器诊断分析效率的同时提高了诊断分析结果的准确性。

在一个可能的实施方式中,为了提高诊断分析模型诊断结果的准确性,如图7所示,第一终端110还用于响应于用户对映射关系(包括前述的第一映射关系和第二映射关系)中诊断分析结果的调整指令,生成调整后的映射关系;将所述调整后的映射关系发送给所述云服务器120。

相应的,云服务器120还用于按照预设时间间隔,使用所述调整后的映射关系对所述诊断分析模型进行训练更新。其中,预设时间间隔可以根据实际需要进行设定,例如可以预设时间间隔可以设定为3天或者1周等等,本发明对此不作具体限定。

本发明实施例中第一终端110通过将医生修改后的映射关系返回给云服务器120,由云服务器120根据映射关系中更正后的诊断分析结果对相应的诊断分析模型训练更新,提高了后续诊断分析模型的诊断分析结果。

在一个可能的实施方式中,如图8所示,第一终端110还用于获取当前治疗方案,将所述当前治疗方案发送给所述云服务器120。其中,当前治疗方案可以是第一终端110根据医生对于推荐的历史治疗方案的修改生成的新的治疗方案。

相应的,云服务器120还用于接收所述当前治疗方案;建立所述当前治疗方案与所述诊断分析结果的对应关系;将所述当前治疗方案与所述诊断分析结果的对应关系更新至所述历史治疗方案库中,从而可以提高推荐的历史治疗方案的有效性。

本发明实施例还提供了一种医学图像处理方法,该方法可以应用于本发明实施例的医学图像处理系统的云服务器,如图9所示,该方法可以包括:

s901,接收第一终端发送的医学图像,所述医学图像是所述第一终端从医学成像设备获取的。

s903,基于质量评估模型确定所述医学图像的第一质量等级。

s905,在所述第一质量等级与预设质量等级相匹配时,基于图像重建模型对所述医学图像进行重建处理,得到重建医学图像。

其中,所述质量评估模型是基于第一样本医学图像和所述第一样本医学图像对应的质量等级标签进行机器学习训练确定的;所述图像重建模型是基于全采样医学图像和所述全采样医学图像对应的欠采样医学图像进行机器学习训练确定的。

s907,将所述重建医学图像返回给所述第一终端。

在一个可能的实施方式中,如图10所示,该方法还可以包括:

s1010,基于第一样本医学图像和所述第一样本医学图像对应的质量等级标签训练所述质量评估模型。

具体的,上述步骤s1010在执行时可以包括以下步骤:

(1)获取第一样本医学图像集;所述第一样本医学图像集中的第一样本医学图像为基于同一欠采样率采样得到的医学图像;每个所述第一样本医学图像标注有质量等级标签;

(2)将所述质量等级标签与所述预设质量等级相匹配的第一样本医学图像确定为正样本医学图像,得到正样本图像集;

(3)将所述质量等级标签与所述预设质量等级不匹配的第一样本医学图像确定为负样本医学图像,得到负样本图像集;

(4)基于所述正样本图像集和负样本图像集对预设第一神经网络模型进行训练,在训练中调整所述预设第一神经网络模型的模型参数至所述预设第一神经网络模型输出的预测质量等级与输入的样本图像相匹配;

(5)将当前模型参数所对应的第一神经网络模型作为所述质量评估模型。

继续参见图10,在一个可能的实施方式中,该方法还可以包括:s1020,基于全采样医学图像和所述全采样医学图像对应的欠采样医学图像训练所述图像重建模型。

具体的,上述步骤s1020在执行时可以包括以下步骤:

(1)获取全采样医学图像和所述全采样医学图像对应的欠采样医学图像;所述全采样医学图像包括对应所述医学成像设备的多个线圈通道的全采样医学图像;

(2)将所述全采样医学图像和对应的欠采样医学图像作为训练数据对;

(3)基于所述训练数据对,使用预设第二神经网络模型进行图像重建训练,在训练中调整所述预设第二神经网络模型的模型参数至所述预设第二神经网络模型输出的预测图像与输入训练数据对中的全采样医学图像相匹配;

(4)将当前模型参数所对应的第二神经网络模型作为所述图像重建模型。

本发明实施例的医学图像处理方法由云服务器结合其上预先训练得到的机器学习模型来完成,在评估的质量等级与预设质量等级相匹配也即医学图像质量不高时才进行图像重建,不仅降低了医学图像的重建成本,而且大大提高了重建效率和重建图像的质量。

由于本发明实施例提供的医学图像处理方法与前述几种实施例提供的医学图像处理系统中云服务器的功能相对应,因此前述医学图像处理系统中关于云服务器功能的相关部分描述也适用于本实施例提供的医学图像处理方法,在本实施例中不再详细描述。

本发明实施例提供了一种服务器,该服务器包括处理器和存储器,该存储器中存储有至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述实施例所提供的云服务器的图像处理功能。

存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及医学图像处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据所述设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。

图11是本发明实施例提供的一种服务器的硬件结构框图,如图11所示,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessingunits,cpu)1110(处理器1110可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器1130,一个或一个以上存储应用程序1123或数据1122的存储介质1120(例如一个或一个以上海量存储设备)。其中,存储器1130和存储介质1120可以是短暂存储或持久存储。存储在存储介质1120的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1110可以设置为与存储介质1120通信,在服务器1100上执行存储介质1120中的一系列指令操作。服务器1100还可以包括一个或一个以上电源1160,一个或一个以上有线或无线网络接口1150,一个或一个以上输入输出接口1140,和/或,一个或一个以上操作系统1121,例如windowsservertm,macosxtm,unixtm,linuxtm,freebsdtm等等。

输入输出接口1140可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1100的通信供应商提供的无线网络。在一个实例中,输入输出接口1140包括一个网络适配器(networkinterfacecontroller,nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口1140可以为射频(radiofrequency,rf)模块,其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解,图11所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器1100还可包括比图11中所示更多或者更少的组件,或者具有与图11所示不同的配置。

本发明的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质可设置于服务器之中以保存用于实现前述医学图像处理方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的医学图像处理方法。

可选地,在本实施例中,上述存储介质可以包括但不限于:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1