从患者的医学图像自动预测生理状况的装置和系统的制作方法
本公开总体上涉及图像处理和分析。更具体地，本公开涉及用于从患者的医学图像自动预测生理状况的装置和系统。
背景技术：
在美国，每年大约225,000人罹患肺癌。早期癌症检测对于患者的存活至关重要。在临床诊断时，诸如放射科医师的有经验的医疗人员通常使用低剂量ct扫描来执行肺癌筛查，其中每次扫描对于单个患者包含约几百幅2d图像。虽然一些机器学习方法被引入辅助放射科医师检测和定位肺结节，但是，通常放射科医师需要为低剂量ct扫描中包含的所有2d图像分析结节的形状、纹理、凝聚性、分叶、周边组织等，以便确定该肺结节是恶性还是良性的，这使之乏味、耗时且易出错。因此，经常需要通过活检的病理分析来确认判断结果。
对于肺癌的诊断的准确性和治疗的效果取决于肺结节的恶性水平预测的质量。对于其他疾病，诸如前列腺癌、中风、冠心病等，诊断的准确性和治疗的效果取决于医学图像分析的质量，尤其对应的目标对象的相关的生理状况预测。具体说来，目标对象包括器官、组织、靶部位等，而生理状况包括恶性还是良性、血管硬化还是健康血管、脑溢血等。
本公开提供一种能够经由学习网络(诸如3d学习网络)从患者的医学图像快速、准确且自动地预测目标对象水平和/或图像(患者)水平的生理状况的系统。用于预测目标对象水平生理状况的学习网络可以被再用于预测图像水平生理状况的学习网络。
技术实现要素：
在一个方案中，本公开涉及一种从患者的医学图像自动预测生理状况的装置，包括存储器、处理器和存储在存储器上的计算机可执行指令，其特征在于，所述处理器当执行所述计算机可执行指令时，执行如下步骤：从所接收的医学图像中检测目标对象并获取相应的目标对象图像块；对各个目标对象图像块使用第一学习网络确定第一参数，所述第一参数表示相应目标对象的生理状况水平，并且所述第一学习网络通过添加一个以上辅助分类层来训练；以及基于来自所述医学图像的数个目标对象图像块使用第二学习网络来确定第二参数，其中，所述第二参数表示所述患者的生理状况水平，并且所述第二学习网络被配置为通过如下来执行多实例学习：对所述数个目标对象图像块的各个目标对象图像块再利用训练好的第一学习网络，以便提取各个目标对象特征作为实例特征。
在一些实施例中，所述数个目标对象图像块基于目标对象检测置信水平来确定。
在一些实施例中，所述基于来自所述医学图像的数个目标对象图像块使用第二学习网络来确定第二参数的步骤包括：将所提取的目标对象特征池化为较低的维度；以及将池化后的特征馈送到分类器以确定所述第二参数。
在一些实施例中，所述第二学习网络配置为通过将所述数个目标对象图像块的各个目标对象图像块馈送到训练好的第一学习网络来获得相应的目标对象特征，来再利用所述训练好的第一学习网络。
在一些实施例中，所述第一学习网络包括数个卷积块和数个全连接层，以及被应用于所述数个目标对象图像块之一的所述训练好的第一学习网络的全连接层的输出被用作相应的目标对象特征。
在一些实施例中，所述分类器是梯度推进机分类器、随机森林分类器和多层感知机中的任何一种。
在一些实施例中，所述分类器是多层感知机，并且所述第二学习网络被配置为通过使用所述训练好的第一学习网络的权重作为用于各个目标对象图像块的所述第二学习网络的共享相同权重的通路的初始权重，来再利用所述训练好的第一学习网络。
在一些实施例中，所述池化包括平均池化、最大池化和特征词袋池化中的任何一种。
在一些实施例中，所述第二学习网络被配置为通过如下来执行多实例学习：对所述数个目标对象图像块的各个目标对象图像块再利用具有所述一个以上辅助分类层的训练好的第一学习网络，以便提取各个目标对象特征。
在一些实施例中，所述数个目标对象图像块的各个目标对象图像块的提取的目标对象特征在池化之前被彼此串联。
在一些实施例中，所述数个目标对象图像块的数量是预定的，如果从所述医学图像中检测出的目标对象图像块的数量小于预定的数量，则剩余数量的目标对象图像块从所述医学图像中随机采样。
在另一方案中，本公开涉及一种从患者的医学图像自动预测生理状况的系统，所述系统包括：接口，其配置为接收由成像装置获取的所述医学图像；以及上述的从患者的医学图像自动预测生理状况的装置。
在另一方案中，本公开涉及一种非暂时计算机可读介质，其上存储有指令，所述指令被处理器执行时，执行如下步骤：从医学图像检测目标对象并获得对应的目标对象图像块；对各个目标对象图像块使用第一学习网络确定第一参数，所述第一参数表示相应目标对象的生理状况水平，并且所述第一学习网络通过添加一个以上辅助分类层来训练；以及基于来自所述医学图像的数个目标对象图像块使用第二学习网络来确定第二参数，其中，所述第二参数表示所述患者的生理状况水平，并且所述第二学习网络被配置为通过如下来执行多实例学习：对所述数个目标对象图像块的各个目标对象图像块再利用训练好的第一学习网络，以便提取各个目标对象特征作为实例特征。
在一些实施例中，所述数个目标对象图像块基于目标对象检测置信水平来确定。
在一些实施例中，所述基于来自所述医学图像的数个目标对象图像块使用第二学习网络来确定第二参数的步骤包括：将所提取的目标对象特征池化为较低的维度；以及将池化后的特征馈送到分类器以确定所述第二参数。
在一些实施例中，所述第二学习网络配置为通过将所述数个目标对象图像块的各个目标对象图像块馈送到训练好的第一学习网络来获得相应的目标对象特征，来再利用所述训练好的第一学习网络。
在一些实施例中，所述第一学习网络包括数个卷积块和数个全连接层，以及被应用于所述数个目标对象图像块之一的所述训练好的第一学习网络的全连接层的输出被用作相应的目标对象特征。
在一些实施例中，所述分类器是多层感知机，并且所述第二学习网络被配置为通过使用所述训练好的第一学习网络的权重作为用于各个目标对象图像块的所述第二学习网络的共享相同权重的通路的初始权重，来再利用所述训练好的第一学习网络。
应该理解的是，前面的一般性描述和下面的详细描述仅仅是示例性和解释性的，并不是对要求保护的本发明的限制。
附图说明
在不一定按尺度绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相似数字可表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候，在所有附图各处使用相同的附图标记指代同一或相似的部分。这样的实施例是例示性的，而并非旨在作为本方法、系统或其上具有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他实施例。
图1示出根据本公开实施例的示例性预测系统；
图2示出根据本公开的实施例的示例性结节水平预测系统；
图3示出根据本公开的实施例的示例性图像水平预测系统；
图4示出根据本公开的实施例的用于结节水平预测的3d学习网络的示意性图示；
图5示出了根据本公开的实施例的用于结节水平预测的3d学习网络的训练方案的示意性图示；
图6示出根据本公开的实施例的用于训练用于结节水平预测的3d学习网络的示例性过程的流程图；
图7示出根据本公开的实施例的用于图像水平预测的3d学习网络的示意性图示；
图8示出根据本公开的另一实施例的用于图像水平预测的3d学习网络的示意性图示；以及
图9示出根据本公开的实施例的示例性医学图像处理装置的框图。
具体实施方式
本文使用的术语“目标对象”可以指受检者身体中的任何解剖结构，诸如组织、器官的一部分或目标部位。例如，目标对象可以是肺结节。本文使用的术语“生理状况”可以指患者或他/她的“目标对象”的任何疾病状况和/或健康状况，诸如肺结节是恶性的或良性的，血管是健康的或其中具有血栓，患者患有脑溢血等。本文使用的术语“生理状况水平”可以指患者/目标对象会发展成该生理状况或已经发展成该生理状况的概率，或该生理状况的发展程度(癌症几期)等。此外，本文使用的术语“学习网络”可以指由各种机器学习方法实现的网络模型。
图1示出根据本公开的实施例的用于从患者的医学图像自动预测生理状况的示例性预测系统101。在该实施例中，肺结节是目标对象。肺结节可成为诸如放疗等治疗的靶部位(靶区)。可以通过胸部ct扫描来获取肺容积ct图像，然后将其输入到结节检测系统100。所述结节检测系统100配置为在容积ct图像中检测和定位肺结节，并可以输出结节图像块(其中存在结节)作为检测结果。该结节检测系统100的数个例子已经在2017年8月9日提交的美国临时申请号62/542,890中提供，其完整内容通过引用结合于此。此外，本文中也可以采用其他结节检测系统100。
预测系统101从结节检测系统100获得结节图像块，预测各个肺结节的恶性水平(诸如恶性概率或恶性得分)和/或患者会患肺癌或已经患肺癌的概率作为预测结果，并输出预测结果。如图1所示，预测系统101可以包括：接口(未示出)，其配置为从结节检测系统100接收结节图像块；结节水平预测系统200和/或图像水平预测系统300。所述结节水平预测系统200可以配置为对各个结节图像块使用训练好的第一3d学习网络来确定第一参数，其中，所述第一参数表示对应结节图像块中的结节的恶性水平。例如，所述第一参数可以是恶性概率、恶性得分等。所述图像水平预测系统300可以配置为利用训练好的第二学习网络基于来自医学图像的数个结节图像块来确定第二参数，所述第二学习网络配置为再利用训练好的第一3d学习网络，其中，所述第二参数表示患者的癌症预测结果(图像水平的癌症预测结果)。例如，所述第二参数可以是患者会患肺癌或已经患有肺癌的概率、指示患者是否已患有肺癌的癌症决定值等。本文中使用的表述“所述第二学习网络配置为再利用训练好的第一3d学习网络”意味着，训练好的第一学习网络(例如其至少部分网络的权重)和/或通过将训练好的第一学习网络应用于所述数个结节图像块的各个结节图像块获得的信息(中间信息或第一参数)在训练好的第二学习网络的图像水平癌症预测管路中被再利用。预测系统101可以提供两种类型的预测结果：各个肺结节的恶性水平；以及患者的癌症预测结果(图像水平癌症预测结果)。患者的癌症预测结果引导放射科医师做出正确的癌症决定。以外，结节水平的恶性水平提供详细的医疗信息，其协助放射科医师确认(复核)所述癌症决定以及起草医疗诊断报告。
在一些实施例中，所述第一学习网络和所述第二学习网络每一个可以利用各种机器学习方法来实现。例如，在医学图像是2d图像的情况下，学习网络可以是2d学习网络；而在医学图像是3d图像的情况下，学习网络可以是3d学习网络。附图中示出的3d卷积神经网络结构仅仅是学习网络的示例，学习网络可以采用其他结构的3d卷积神经网络，也可以采用其他的神经网络。
如图2所示，结节水平预测系统200可以包括：结节恶性预测模型训练单元202，用于训练结节恶性预测模型；和结节恶性预测单元204，用于使用训练好的结节恶性预测模型来检测各个结节的恶性水平。例如，结节恶性预测模型可以利用第一3d学习网络来实现。训练好的结节恶性预测模型可以从结节恶性预测模型训练单元202传输到结节恶性预测单元204，使得结节恶性预测单元204可以将其应用于从所述结节检测系统100接收的各个3d结节图像块。所述结节检测系统100从3d医学图像数据库206获取3d医学图像，从中检测出结节，并输出3d肺结节图像块。
例如，各个结节的恶性预测结果可以表示为从1到n的恶性得分(其中n为自然数)。由此，训练好的结节恶性预测模型可以构成为最后层中具有n个输出节点的分类网络。
训练样本可以存储在训练图像数据库201中，并且可以由结节恶性预测模型训练单元202获取以训练结节恶性预测模型。每个训练样本可以包括结节图像块以及其中结节的恶性得分。
在一些实施例中，各个结节的恶性预测结果可以使用与原始医学3d图像(例如原始的容积ct图像)重叠的热图而可视化。在一些实施例中，恶性预测结果可以通过网络205传输到训练图像数据库201，并且与相应的结节图像块添加到一起作为附加训练样本。以这种方式，可以通过包括新的恶性预测结果来持续更新训练图像数据库201。在一些实施例中，结节恶性预测模型训练单元202可以用更新的训练样本周期性地训练结节恶性预测模型，以提高预测准确度。
图3示出根据本公开实施例的示例性图像水平预测系统300。如图3所示，所述图像水平预测系统300包括：癌症预测模型训练单元302，用于训练癌症预测模型；以及癌症预测单元304，用于使用训练好的癌症预测模型来预测患者是否会患肺癌或是否已经患有肺癌。例如，癌症预测模型可以利用第二3d学习网络来实现。在一些实施例中，所述第二3d学习网络可以再利用上述的第一3d学习网络。例如，所述第二3d学习网络可以再利用上述第一3d学习网络进行特征提取。再例如，所述第二3d学习网络可以聚集和/或池化通过向数个结节图像块应用训练好的第一3d学习网络所确定的第一参数，以便确定第二参数。在一些实施例中，该第一3d学习网络可以为医学图像中的各个结节获得恶性得分，而该第二3d学习网络可以从医学图像中所检测出的所有结节的恶性得分中获得最大的恶性得分，并用此来执行对患者的癌症预测。在一些实施例中，所述第二3d学习网络可以配置为执行多实例学习。各个结节是实例，而来自同个扫描的数个结节形成实例包。基于所述数个结节的特征来获得包特征。
训练好的癌症预测模型可以从癌症预测模型训练单元302传输到癌症预测单元304，以便癌症预测单元304可以将其应用于从结节检测系统100接收的所述数个结节图像块。
训练样本可以存储在训练图像数据库201中，并可以由癌症预测模型训练单元302获取以训练所述癌症预测模型。每个训练样本可以包括一组结节图像块(所述数个结节图像块)以及癌症预测结果(诸如患者是否会患肺癌或是否已经患有肺癌，患者会患肺癌或已经患有肺癌的概率等)。可以对大量数据得到患者(图像)水平标签，由此便利癌症预测模型的训练。
在一个实施例中，用于结节恶性预测模型的所述第一学习网络可以是3d卷积神经网络，如图4中所示。例如，所述3d卷积神经网络可以包括三个卷积块和三个恶性分类层fc1、fc2和fc3。在一些实施例中，fc1、fc2和fc3可以是用于分类任务的全连接层，并且fc3可以依据分类任务具有数个神经元。例如，如果将结节恶性水平表示为从1到10的恶性得分，则fc3层中的神经元数量为10，并且各个输出节点产生对应恶性得分的概率。
图5示出根据本公开实施例的对结节水平预测的3d学习网络(所述第一学习网络)进行训练的方案的示意性图示。如图5中所示，添加一个以上辅助分类层来执行所述第一学习网络的训练。具体说来，在训练阶段中添加所述一个以上辅助分类层以执行多任务(恶性分类任务和辅助分类任务)训练，并且相应的训练好的多通路学习网络包括恶性通路和辅助分类通路。然后，辅助分类层可以被去除，而恶性通路被保留以获得训练好的第一学习网络(也就是结节恶性预测模型)。在该训练方案中，任务在训练过程中彼此调节，以便能够有效避免过拟合问题。
图6示出了根据本公开实施例的用于训练结节水平预测的3d学习网络的示例性过程600的流程图。过程开始于接收训练样本的步骤601。训练样本可以采用各种形式。例如，训练样本可以是图像块训练样本，其由3d结节图像块和其中结节的分类标签(例如恶性标签和辅助分类标签)构成。又例如，训练样本可以由3d训练图像和其中各个结节的分类标签(例如恶性标签和辅助分类结果)构成。在此情况下，该过程可以包括从3d训练图像中检测结节图像块并获得图像块训练样本的步骤(未示出)，其中，每个图像块训练样本由结节图像块和其中结节的相应的分类标签构成。
然后，在步骤602，添加一个以上辅助分类层，以便调节恶性分类任务并协助恶性预测网络的训练。在步骤603，单个图像块连同其相应的分类标签作为训练数据被输入到3d学习网络。在一些实施例中，3d学习网络的权重可能已经被初始化。在步骤604，可以基于训练数据来确定3d学习网络的参数。网络参数的确定可以包括在步骤605针对损失函数进行验证。在一些实施例中，步骤604和605也可以被集成在相同的步骤中，其中可以基于每个图像块，针对损失函数优化网络参数。在一些实施例中，优化过程可以由任何一种常用算法执行，包括但不限于梯度下降算法、牛顿法、共轭梯度算法、拟牛顿法和levenbergmarquardt算法等。在一些实施例中，可以采用交叉熵作为损失函数。例如，在步骤605使用的损失函数可以是：
其中i是训练小批量中图像块的索引，pi是图像块i为恶性结节或为对应标签的预测概率，j是辅助分类任务的索引。pi*是地面真值标签，lcls是交叉熵损失，ncls是小批量中图像块的数量且用于归一化，λ是恶性分类任务和辅助分类任务之间的加权参数。在一些实施例中，可以采用纹理、分叶、凝聚性、毛刺和结节尺寸等的分类任务(层)中的至少一个作为辅助分类任务(层)。
在步骤606，判定是否已经处理完所有图像块，如果是，则在步骤607，从具有当前优化后的分类器参数的训练好的分类网络中去除辅助分类层，并输出剩余的恶性通路作为训练好的模型。否则，过程返回到步骤603以处理后续图像块，直到处理完所有图像块。
在一些实施例中，可以首先通过对数个结节图像块应用用于结节水平预测的训练好的学习网络来获得医学图像中数个结节的恶性预测结果，然后将其聚集和/或池化以便获得患者的癌症预测结果(图像/患者水平预测)，包括但不限于患者是否会患肺癌或患者是否已经患有肺癌。学习网络的训练要求结节水平标签。
在一些实施例中，可以提供用于图像水平预测的第二3d学习网络，以便结合对于大量数据可获取的图像水平标签进行训练。医学图像机器学习任务的主要成本花费在标注数据上，通常放射科医师仅仅对整个扫描标记一个是癌症患者还是非癌症患者的标签，对于第二3d学习网络来说容易获得训练样本，这有效降低了训练成本。所述第二3d学习网络被配置为执行多实例学习，如图7中所示，其中每个结节作为一个实例，来自相同扫描的n个结节图像块形成实例包，各个结节的特征被池化以获得包特征，其然后馈入分类器，以便预测包标签作为图像水平标签。
具体地，可以使用结节检测系统100从3d医学图像获得n个结节图像块，每个结节的特征可以通过利用如图4中所示的训练好的第一学习网络来提取(参见图7)，或可以利用如图5中所示的训练好的具有辅助分类层学习网络来提取(参见图8)。用于结节恶性预测的训练好的学习网络的再利用便利了第二学习网络的训练和构建。
在一些实施例中，如图7中所示，各个结节图像块(1～n)被输入到训练好的第一学习网络。训练好的第一学习网络可以采用不同的结构，例如，其可以包括三个卷积块和数个恶性分类层，并且来自恶性分类层之一的输出被用作结节特征。用于结节特征提取的训练好的第一学习网络的恶性分类层被表示为“特征层”，如图7中所示。然后，利用池化层将n个结节图像块的结节特征池化为较低维度(例如与单个结节特征的维度相同的维度)，然后池化后的特征被馈入到分类器以产生最终决定(患者是否患有肺癌和/或患者是否会患肺癌)。在一个实施例中，全连接层可以用作恶性分类层，并且来自fc1层(其是卷积层后的第一个全连接层)的输出被用作结节特征。在一些实施例中，所述n个结节图像块是通过使用阈值基于结节检测置信度水平所确定的前n个结节。在一些实施例中，池化可以是平均池化、最大池化和特征词袋池化中的任何一种。
在一些实施例中，分类层可以是梯度提升机(诸如xgboost和lightgbm)分类器、随机森林分类器、多层感知(神经网络)或任何能够产生后验概率的分类器。在一些实施例中，不同的线性/非线性机器学习方法可以组合以得到提升后的结果。
在一些实施例中，可以通过如下步骤来执行特征词袋池化。首先，在训练阶段中收集多个结节特征，然后使用k均值算法将其分组到m个聚类中。可以保存聚类中心用于池化阶段。在池化阶段中，识别出所收集的结节特征中相对于保存的聚类中心的k个最近邻。在一个实施例中，利用kd树来识别k个最近邻，以便加速识别过程。由此，利用k最近邻算法向聚类中心投射结节特征，由同个扫描中的前n个结节形成m箱(bin)直方图。在一个实施例中，基于特征到各个聚类中心的距离对直方图进行加权。在另一实施例中，可以使用稀疏编码方法来替代k最近邻方法。
在一些实施例中，如图8中所示，对于n个结节图像块中的每一个，可以利用具有辅助分类层的训练好的学习网络来提取特征。具有辅助分类层的训练好的学习网络可以采用各种结构，例如，其可以包括三个卷积块和数个恶性分类层和辅助分类层，并且来自所述恶性分类层和辅助分类层的一个或更多层的输出可以被用作结节特征。所述用于结节特征提取的训练好的第一学习网络的恶性分类层和辅助分类层被表示为“特征层”，如图8中所示。与图7中所示的为各个结节图像块获得单个特征形成对比，在图8中，对于各个结节图像块获得若干特征，包括但不限于恶性、纹理、结节尺寸、分叶、形状、凝聚性、毛刺等。对于每个结节图像块，所有这些特征随后被组合(串联)为一个特征向量，然后馈送到池化层。该池化和分类运算与图7中所示对各个结节图像块使用单个结节特征的方法相同，因此在此省略以避免冗余。以此方式，多任务特征被结合为结节复合特征向量，以便提升图像水平癌症预测。
在一些实施例中，在图7和图8中的分类器可以设置为多层感知机。另外，固定结节图像块的数量n(也就是实例数量)。例如，可以基于结节检测置信水平来确定前n个结节。如果从图像中检测到的结节图像块的数量不足(也就是小于n)，则可以从同个图像中随机采样得到肺组织图像块，作为结节图像块，从而产生n个结节图像块。在一些实施例中，用于特征提取的训练好的学习网络的每个通路可以共享相同的权重，且初始权重可以从图4或图5中所示的训练好的第一学习网络复制。特别地，可以首先训练用于结节水平预测的第一学习网络，并使用用于结节水平预测的训练好的第一学习网络的权重作为用于图像水平预测的第二学习网络中每个通路的特征提取学习网络的初始权重，以便利和加速第二学习网络的训练。在训练阶段中可以采用交叉熵损失函数。所述第二学习网络执行多实例学习，并充分利用可得到的训练样本，每个样本由同个图像中的n个结节图像块和图像水平标签构成，以便特征层还可适应更多训练样本，并且可以持续提高用于图像水平预测的第二学习网络的预测准确度。所述第二学习网络以端到端的方式来训练，以便训练对于诸如不熟悉机器学习方法(尤其是本领域中具有抽象意义的参数，例如特征向量、网络权重等)的放射科医师的用户来说容易理解和操作。
在一些实施例中，与生理状况相关的一个以上患者信息可以用作附加的非图像特征来与诸如上述的恶性特征和各种辅助特征的图像特征组合，以便获得特征向量以馈送到图像水平分类器。例如，对于肺癌，患者信息可以包括患者的吸烟史、年龄、性别等。以此方式，学习网络可以考虑到患者的综合的特性信息(非图像特征和图像特征)来进行图像水平预测，由此改进了预测准确度。附加的非图像特征可以以各种方式与图像特征组合。例如，附加的非图像特征可以与图像的池化后的图像特征串联成为一个特征向量。在一些实施例中，对于对特征的尺度敏感的分类器，诸如多层感知机，特征可以被归一化以具有0的均值和1的标准差。
在以上实施例中，使用肺结节作为目标对象的示例而恶性和癌症被用作生理状况的示例，但是，本公开不限于此。而是，上述实施例可以通过将肺结节替换为其他目标对象且将恶性和癌症替换为其他相应的生理状况来变型。例如，可以通过使用血管段作为目标对象且使用血管狭窄度作为生理状况，来得到上述实施例的变型。
图9描绘了图示根据本公开的实施例的适于从患者的医学图像自动预测生理状况的示例性医学图像处理设备900的框图。所述医学图像处理设备900可以包括网络接口928，借助于网络接口928，医学图像处理设备900可以连接到网络(未示出)，例如但不限于医院中的局域网或互联网。网络可以将医学图像处理装置900与诸如图像采集装置(未示出)的外部装置、医学图像数据库925、图像数据存储装置926连接。图像采集装置可以是获取对象的图像的任何装置，例如dsa成像设备、mri成像设备、ct成像设备、pet成像设备、超声设备、荧光透视设备、spect成像设备或用于获得患者的医学图像的其他医学成像设备。例如，成像装置可以是肺部ct成像装置等。
在一些实施例中，医学图像处理装置900可以是专用智能装置或通用智能装置。例如，装置900可以是为图像数据采集和图像数据处理任务定制的计算机，或者置于云端的服务器。例如，装置900可以被集成到图像采集装置中。可选地，该装置可以包括或者与3d重建单元协作，3d重建单元用于基于由图像采集装置采集的2d图像来重建3d图像。
医学图像处理装置900可以包括图像处理器921和存储器922，并且可以额外包括输入/输出927和图像显示器929中的至少一个。
图像处理器921可以是包括一个或多个通用处理设备(诸如微处理器，中央处理单元(cpu)，图形处理单元(gpu)等)的处理设备。更具体地说，图像处理器921可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。图像处理器921也可以是一个或多个专用处理设备，例如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、片上系统(soc)等等。如本领域技术人员将理解的，在一些实施例中，图像处理器921可以是专用处理器，而不是通用处理器。图像处理器921可以包括一个或多个已知处理设备，诸如由英特尔公司制造的pentiumtm、coretm、xeontm或itaniumtm系列的微处理器，由amd公司制造的turiontm、athlontm、semprontm、opterontm、fxtm、phenomtm系列的微处理器或太阳微系统(sunmicrosystems)制造的各种处理器的任一种。图像处理器921还可以包括图形处理单元，诸如来自nvidia公司制造的
图像处理器921可以通信地耦合到存储器922并且被配置为执行存储在其中的计算机可执行指令。存储器922可以包括只读存储器(rom)、闪存、随机存取存储器(ram)、诸如同步dram(sdram)或rambusdram的动态随机存取存储器(dram)、静态存储器(例如，闪存、静态随机存取存储器)等，其上以任何格式存储计算机可执行指令。在一些实施例中，存储器922可以存储一个或多个图像处理程序923的计算机可执行指令。计算机程序指令可以被图像处理器921访问，从rom或者任何其他合适的存储位置读取，并加载到ram中供图像处理器921执行。例如，存储器922可以存储一个或多个软件应用程序。存储在存储器922中的软件应用程序可以包括例如用于通用计算机系统的操作系统(未示出)以及软控制设备。此外，存储器922可以存储整个软件应用程序或仅存储软件应用程序的一部分(例如图像处理程序923)以能够由图像处理器921执行。另外，存储器922可以存储多个软件模块，用于实现与本公开一致的从3d图像自动预测患者的生理状况(目标对象水平和/或图像水平)的方法、或训练3d学习网络的过程的各个步骤。例如，如图2中所示的结节恶性预测模型训练单元202、结节恶性预测单元204和结节检测系统100可以实现为在存储器922上存储的软件模块。又例如，至少结节恶性预测单元204可以实现为存储在存储器922上的软件模块，结节恶性预测模型训练单元202和结节检测系统100的每一个可以相对于医学图像处理装置900远程设置，并与结节恶性预测单元204通信以使其能够接收训练好的结节恶性预测模型和检测到的结节图像块，用于预测各个结节图像块的恶性水平。
此外，存储器922可以存储在执行计算机程序时生成/缓存的数据，例如医学图像数据924，其包括从图像采集装置、医学图像数据库925、图像数据存储装置926等发送的医学图像。这样的医学图像数据924可以包括接收到的将要对其实行目标对象和目标对象图像块的自动检测以及另外还有生理水平预测的3d医学图像。此外，医学图像数据924还可以包括3d医学图像连同其的生理水平预测结果。图像处理器921可以执行图像处理程序923以实现用于从3d图像自动预测生理状况的方法。在一些实施例中，当执行图像处理程序923时，图像处理器921可以将对应的3d图像与包括目标对象水平生理状况和/或图像水平生理状况的预测结果相关联，并且将3d图像连同(例如用标记有)预测结果传输到存储器922，以便将其保留作为医学图像数据924。可选地，存储器922可以与医学图像数据库925通信以从中获得图像(其中具有目标对象)或者将3d图像连同检测的目标对象图像块一起发送给医学图像数据库925。以此方式，所检测的目标对象图像块可以存储在医学图像数据库925中，以供其他医学图像处理装置视需要访问、获得和利用。
在一些实施例中，结节恶性预测模型和癌症预测模型，例如，用作这两个预测模型的相应的3d学习网络，可以被存储在存储器922中。可选地，3d学习网络可以被存储在远程设备、分立的数据库(诸如医学图像数据库925)、分布式设备中，并且可以由图像处理程序923使用。3d图像(或目标对象图像块)连同相应的预测结果可以作为新训练样本存储在医学图像数据库925中。
在一些实施例中，可以提供图像数据存储装置926以与医学图像数据库925交换图像数据。例如，图像数据存储装置926可以驻留在其他医学图像采集装置中。
输入/输出927可以被配置为允许医学图像处理装置900接收和/或发送数据。输入/输出927可以包括允许设备900与用户或其他机器和设备通信的一个或多个数字和/或模拟通信设备。例如，输入/输出927可以包括允许用户提供输入的键盘和鼠标。
网络接口928可以包括网络适配器、电缆连接器、串行连接器、usb连接器、并行连接器、诸如光纤的高速数据传输适配器、usb9.0、闪电、无线网络适配器如wifi适配器、电信(9g、4g/lte等)适配器。装置900可以通过网络接口928连接到网络。网络可以提供局域网(lan)、无线网络、云计算环境(例如，作为服务的软件、作为服务的平台、作为服务的基础设施等)、客户端-服务器、广域网(wan)等的功能。
除了显示医学图像之外，图像显示器929还可以显示其他信息，诸如检测到的结节和预测结果。例如，图像显示器929可以是lcd、crt或led显示器。
这里描述了各种操作或功能，其可以被实现为软件代码或指令或被定义为软件代码或指令。这样的内容可以是可直接执行(“对象”或“可执行”形式)的源代码或差异代码(“增量”或“块”代码)。软件代码或指令可以存储在计算机可读存储介质中，并且当被执行时，可以使机器执行所描述的功能或操作，并且包括用于以机器可访问的形式存储信息的任何机构(例如，计算设备，电子系统等)，诸如可记录或不可记录介质(例如，只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光存储介质、闪存设备等)。
前面的描述是为了说明的目的而呈现的。这不是穷尽的，并且不限于所公开的确切形式或实施例。考虑到所公开的实施例的说明和实践，实施例的修改和改变将变得显而易见。
在本文档中，如在专利文献中常见的那样，使用术语“一”或“个”来包括一个或多于一个，独立于“至少一个”或“一个或多个”的任何其他实例或用法。在本文中，除非另外指出，术语“或”用于指非排他性的，或者使得“a或b”包括“a但不包括b”，“b但不包括a”和“a和b”。在本文档中，术语“包括(including)”和“其中(inwhich)”用作相应术语“包括(comprising)”和“其中(wherein)”的通俗英语等同物。而且，在下面的权利要求中，术语“包括(including)”和“包括(comprising)”是开放式的，即，包括除了那些在权利要求中在该术语后列出的要素以外的要素的设备、系统、装置、制品、组成、配方或过程，也被视为落入该权利要求的保护范围内。此外，在下面的权利要求中，术语“第一”、“第二”和“第三”等仅被用作标签，并不旨在对其对象施加数值上的要求。
这里描述的示例性方法可以至少部分地是机器或计算机实现的。一些示例可以包括用指令编码的计算机可读介质或机器可读介质，所述指令可操作以配置电子设备执行如以上示例中所述的方法。这种方法的实现可以包括软件代码，诸如微代码、汇编语言代码、更高级的语言代码等。各种程序或程序模块可以使用各种软件编程技术来创建。例如，可以使用java、python、c、c++、汇编语言或任何已知的编程语言来设计程序段或程序模块。一个或多个这样的软件部分或模块可以被集成到计算机系统和/或计算机可读介质中。这种软件代码可以包括用于执行各种方法的计算机可读指令。软件代码可以形成计算机程序产品或计算机程序模块的一部分。此外，在一个示例中，软件代码可以诸如在执行期间或其他时间有形地存储在一个或多个易失性、非暂时性或非易失性有形计算机可读介质上。这些有形的计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如，光盘和数字视频盘)、磁带盒、存储卡或棒、随机存取存储器(ram)，只读存储器(rom)等。
此外，尽管在此描述了说明性实施例，但是范围包括具有基于本公开的等效元素、修改、省略、组合(例如，跨各种实施例的方案的组合)、调整或变更的任何和所有实施例。权利要求中的要素将基于权利要求中使用的语言进行宽泛地解释，而不限于本说明书中或在本申请的存续期间描述的示例，这些示例将被解释为非排他性的。此外，所公开的方法的步骤可以以任何方式进行修改，包括通过重新排序步骤或插入或删除步骤。因此，意图仅仅将描述视为例子，真正的范围由以下权利要求及其全部等同范围表示。
以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或多个方案)可以彼此组合使用。本领域普通技术人员在查看以上描述时可以使用其他实施例。而且，在上面的详细描述中，各种特征可以被组合在一起以简化本公开。这不应被解释成意图让不要求保护的公开特征对于任何权利要求而言都是必不可少的。而是，发明主题可以在于比一个公开的实施例的所有特征少的特征组合。因此，以下权利要求由此作为示例或实施例并入到具体实施方式中，其中每个权利要求独立作为单独的实施例，并且可以构想的是，这些实施例可以以各种组合或置换来相互组合。本发明的范围应该参考所附权利要求以及赋予这些权利要求的等同物的全部范围来确定。
- 还没有人留言评论。精彩留言会获得点赞！