基于深度学习的图像品质因数预测的制作方法

下文总体上涉及医学成像领域、医学图像解读领域、图像重建领域以及相关领域。

背景技术：

正电子发射断层摄影(pet)成像为肿瘤学和心脏病学的诊断和处置规划提供了关键信息。两类品质因数对pet图像的临床使用很重要：定性品质因数(例如，图像的噪声水平)以及定量品质因数(例如，病变的标准化摄取值(suv)和对比度恢复率)。在pet成像中，这些品质因数是在根据采集的数据集重建的图像上测量的。所获得的图像的品质因数是成像链的最终结果，该最终结果对生成图像的图像链不提供反馈或反馈有限。

在一些参数(例如，患者的体重、扫描时间或重建参数)改变的情况下，用户通常无法预测给定的品质因数将改变多少。解决该问题的常用方法是通过对每个个体案例执行多次重建来使用“试试看”方法。通过多次尝试，用户获知关联性。然而，对于高分辨率图像而言，重建需要5到10分钟左右的时间，因此该过程会花费很多时间和精力。

当要调节包括图像采集参数的成像参数时，难度会更大。在诸如超声之类的成像模态的情况下，采集成像数据并重建图像的过程是快速的，因此基于重建的超声图像来调节超声成像数据采集参数是一种实用的方法。然而，对于pet而言，用这样的试试看方法来调节采集参数是不切实际的。这是因为pet成像数据的采集必须被定时以与要被成像的患者的组织中的施用的放射性药物的驻留时间一致。取决于放射性药物的半衰期和/或通过肾脏或其他身体机能的作用而去除放射性药物的速率，pet成像数据采集时间窗口会很窄。此外，通常需要将放射性药物的剂量保持较低，以避免患者暴露于过多的辐射，这反过来又需要相对较长的成像数据采集时间，以便采集足够的计数来重建临床质量的pet图像。这些因素会妨碍试试看方法采集pet成像数据，重建pet图像，基于重建的pet图像来调节pet成像数据采集参数以及重复上述操作。

下文公开了克服这些问题的新的且改进的系统和方法。

技术实现要素：

在一个公开的方面中，一种非瞬态计算机可读介质存储指令，所述指令能由包括至少一个电子处理器的工作站读取并运行以执行成像方法。所述方法包括：通过将经训练的深度学习变换应用于输入数据来估计针对经重建的图像的一个或多个品质因数，所述输入数据至少包括成像参数但不包括经重建的图像；基于所估计的一个或多个品质因数来选择针对所述成像参数的值；使用所选择的针对所述成像参数的值来生成经重建的图像；并且显示所述经重建的图像。

在另一个公开的方面中，一种成像系统包括：正电子发射断层摄影(pet)图像采集设备，其被配置为采集pet成像数据；以及至少一个电子处理器，其被编程为：通过将经训练的深度学习变换应用于输入数据来估计针对经重建的图像的一个或多个品质因数，所述输入数据至少包括图像采集参数和成像数据的统计信息但不包括所述经重建的图像；基于所估计的一个或多个品质因数来选择针对所述图像重建参数的值；通过使用所选择的针对所述图像重建参数的值重建所述成像数据来生成所述经重建的图像；并且控制显示设备以显示所述经重建的图像。

在另一个公开的方面中，一种成像系统包括：正电子发射断层摄影(pet)图像采集设备，其被配置为采集pet成像数据；以及至少一个电子处理器，其被编程为：通过将经训练的深度学习变换应用于输入数据来估计针对经重建的图像的一个或多个品质因数，所述输入数据至少包括图像采集参数但不包括所述经重建的图像；基于所估计的一个或多个品质因数来选择针对所述图像采集参数的值；通过以下操作来生成所述经重建的图像：使用所述图像采集设备利用所选择的针对所述图像采集参数的值来采集成像数据，并且重建所采集的成像数据以生成所述经重建的图像；并且控制显示设备以显示所述经重建的图像。

一个优点在于提供了在执行复杂的图像重建中消耗计算资源之前对目标品质因数的结果(例如，一般图像噪声水平、标准化摄取值(suv)恢复)生成先验预测的成像系统。

另一个优点在于使用目标品质因数来设计成像协议。

另一个优点在于可以评估能够通过不同的重建方法和参数实现的品质因数，而无需执行对数据集的复杂的图像重建。

另一个优点在于当患者规格发生变化(例如，体重减轻)时可以快速预测成像结果。

给定的实施例可以提供前述优点中的零个、一个、两个、更多个或所有优点，并且/或者可以提供其他优点，这对于阅读和理解了本公开内容的本领域普通技术人员而言将变得显而易见。

附图说明

本公开内容可以采取各种部件和各种部件的布置以及各个步骤和各个步骤的安排的形式。附图仅出于图示优选实施例的目的，并且不应被解释为限制本公开内容。

图1示意性地示出了根据一个方面的成像系统；

图2示出了图1的系统的示例性流程图操作；

图3示出了图1的系统的示例性流程图训练操作；并且

图4和图5示出了图1的系统的示例性流程图操作。

具体实施方式

对于图像数据集而言，当前的高分辨率图像重建需要5-10分钟的时间，而采集所需的时间要长得多。通常，成像期将采用默认的成像采集参数(例如，每单位重量的默认放射性药物剂量、放射性药物的施用与开始pet成像数据采集之间的默认等待时间、每帧的默认采集时间等)和默认的重建参数。期望诸如肝脏中的噪声水平、肿瘤中的平均标准化摄取值(suv均值)、病变的对比度恢复率等的图像品质因数将落在某些目标范围内。如果不是这种情况，则要么利用不合格的经重建的图像来执行临床解读，要么必须利用改进的参数来重复图像重建(甚至采集)。此外，可能难以确定在哪个方向调节给定的参数以改善(一个或多个)图像品质因数。在调节图像重建的参数的情况下，每次调节后都会重复图像重建，如上所述，图像重建的每次迭代需要5-10分钟的时间。在成像数据采集参数的情况下，通常不建议重复pet成像数据采集，因为这样的重复将需要施用第二放射性药物剂量。

以下公开的实施例利用支持向量机(svm)或神经网络(nn)的深度学习，其基于标准输入被训练为预测(一个或多个)品质因数，所述标准输入不包括经重建的图像。

在本文公开的一些实施例中，针对svm或神经网络的输入仅包括在成像数据采集之前可用的信息，例如，患者的体重和/或体重指数(bmi)以及预期的(默认的)成像参数(例如，采集参数(例如，剂量和等待时间)和图像重建参数)。在训练实例上训练svm或神经网络，每个训练实例包括与根据对应的重建训练图像导出的(一个或多个)实际品质因数成对的输入(训练)pet成像数据。该训练优化svm或神经网络，以输出与针对实际的重建训练图像测得的对应的品质因数值最优匹配的(一个或多个)品质因数。在应用中，针对安排的临床pet成像期的可用输入被馈送到经训练的svm或神经网络，所述经训练的svm或神经网络输出对(一个或多个)品质因数的预测结果。在手动方法中，显示预测的(一个或多个)品质因数，并且如果预测值对于临床医生而言是不可接受的，则他或她能够调节默认的成像参数，并且以迭代的方式重新运行通过svm或神经网络，直到实现期望的(一个或多个)品质因数为止。此后，使用经调节的成像参数来执行pet成像，从而高度预期到的结果得到的经重建的图像很可能表现出期望的(一个或多个)品质因数。

在本文公开的其他实施例中，在成像数据采集之后但在图像重建之前执行品质因数预测。在这些实施例中，针对svm或神经网络的输入还包括已经采集的成像数据集的统计信息，例如，总计数、计数/分钟等。训练同样将这些额外的统计信息用于训练成像数据集。能够在成像数据采集之后但在图像重建开始之前再次应用结果得到的经训练的svm或神经网络，并且由于额外提供的统计信息，有可能提供(一个或多个)更准确的品质因数估计结果。在这种情况下，由于已经采集了成像数据，因此要被优化的成像参数限于图像重建参数。

在一些实施例中，通过使得能够在执行任何实际的图像重建之前(甚至在图像采集之前)优化成像参数(例如，采集参数和/或重建参数)，所公开的实施例提高了成像和计算效率。

虽然本文针对pet成像系统进行了描述，但是所公开的方法也能够在计算机断层摄影(ct)成像系统、混合式pet/ct成像系统、单光子发射计算机断层摄影(spect)成像系统、混合式spect/ct成像系统、磁共振(mr)成像系统、混合式pet/mr、功能性ct成像系统、功能性mr成像系统等中进行公开。

参考图1，示出了说明性医学成像系统10。如图1所示，系统10包括图像采集设备或成像设备12。在一个示例中，图像采集设备12能够包括pet成像设备。说明性示例是pet/ct成像设备，该pet/ct成像设备还包括ct机架13，ct机架13适合用于确定解剖信息并根据ct图像来生成衰减图，从而用于校正pet重建中的吸收。在其他示例中，图像采集设备12能够是任何其他合适的图像采集设备(例如，mr、ct、spect、混合式设备等)。患者诊察台14被布置为将患者装载到pet机架12的检查区域16中。

系统10还包括具有典型部件的计算机或工作站或其他电子数据处理设备18，所述典型部件例如为至少一个电子处理器20、至少一个用户输入设备(例如，鼠标、键盘、轨迹球等)22以及显示设备24。在一些实施例中，显示设备24能够是与计算机18分离的部件。工作站18还能够包括一个或多个非瞬态存储介质26(例如，磁盘、raid或其他磁性存储介质；固态驱动器、闪存驱动器、电子可擦除只读存储器(eerom)或其他电子存储器；光盘或其他光学存储设备；其各种组合等)。显示设备24被配置为显示包括一个或多个字段的图形用户接口(gui)28，以从用户输入设备22接收用户输入。

至少一个电子处理器20与存储指令的一个或多个非瞬态存储介质26操作性连接，该指令能由至少一个电子处理器20读取并运行以执行所公开的操作，所述操作包括执行成像方法或过程100。在一些示例中，成像方法或过程100可以至少部分地通过云处理来执行。非瞬态存储介质26还存储用于训练实施经训练的深度学习变换30(例如，svm或nn)的信息。

参考图2，以流程图的形式示意性地示出了图像重建方法100的说明性实施例。在102处，至少一个电子处理器20被编程为通过将经训练的深度学习变换30应用于输入数据来估计针对经重建的图像的一个或多个品质因数，所述输入数据至少包括成像参数但不包括经重建的图像。在一些实施例中，经训练的深度学习变换是经训练的svm或经训练的神经网络。在一个示例中，一个或多个品质因数包括针对解剖区域的标准化摄取值(suv)。在另一示例中，一个或多个品质因数包括针对解剖区域的噪声水平。由于经训练的深度学习变换30不使用经重建的图像作为输入，因此能够在执行计算密集的图像重建之前有利地执行品质因数预测102。

输入数据能够包括患者参数(例如，体重、身高、性别等)、成像数据采集参数(例如，扫描持续时间、摄取时间、活动度等)；并且在一些实施例中，输入数据还能够包括重建参数(例如，迭代重建算法、要执行的迭代次数、子集数量(例如，在有序子集期望最大化osem重建的情况下)、在正则化图像重建的情况下的正则化参数、应用的平滑滤波器的平滑参数或正则化等。

在一个实施例中，输入数据包括成像参数，该成像参数至少包括图像重建参数、成像数据的统计信息(例如，总计数、计数/分钟等)以及在成像数据采集之前可用的信息(例如，患者的体重和/或体重指数(bmi))和预期的(默认的)成像参数(例如，采集参数(例如，剂量和等待时间)、成像系统的类型、成像系统规格(例如，晶体的几何形状、晶体类型、晶体大小)等)。另外，输入数据不包括成像数据。在该实施例中，所述生成包括通过使用所选择的针对图像重建参数的值重建成像数据来生成经重建的图像。

在另一实施例中，输入数据至少包括图像采集参数以及在成像数据采集之前可用的信息(例如，患者的体重和/或bmi)，并且不包括所采集的成像数据的统计信息中的所采集的成像数据。在该实施例中，所述生成包括：使用成像设备12利用所选择的针对图像采集参数的值来采集成像数据，并且重建所采集的成像数据以生成经重建的图像。

现有的用于生成经校正的经重建的图像的方法通常需要将经重建的图像作为针对校正操作的输入数据。如前所述，这在诸如pet之类的某些成像模态中可能是有问题的。在诸如超声之类的成像模态中，成像数据的采集和重建是快速的，并且通常没有限制来阻止多次成像数据的采集。相比之下，pet图像重建的计算很复杂，并且在一些情况下可能需要5-10分钟左右的时间，并且pet成像数据的采集必须利用放射性药物在要被成像的组织中的驻留时间进行定时，这会严重限制其间会发生成像数据采集的时间窗口并且通常是缓慢的过程，这是由于因患者安全考虑而规定的低放射性药物剂量所提供的计数较低。有利地，本文公开的实施例在执行复杂的图像重建中消耗计算资源之前(并且在一些实施例中甚至在采集成像数据之前)利用经训练的深度学习变换30对目标品质因数的结果(例如，一般图像噪声水平、标准化摄取值(suv)恢复)进行先验预测。另外，能够通过经训练的深度学习变换30使用不同的重建方法和参数来估计品质因数，而无需执行对数据集的复杂的图像重建。换句话说，经训练的深度学习变换30能够估计品质因数，而无需将经重建的图像作为必需的输入参数(并且在一些实施例中甚至不需要采集的成像数据)。

在104处，至少一个电子处理器20被编程为基于所估计的一个或多个品质因数来选择针对成像参数的值。为此，至少一个电子处理器20被编程为将所估计的一个或多个品质因数与针对一个或多个品质因数的目标值(即，被存储在一个或多个非瞬态存储介质26中的目标值)进行比较。至少一个电子处理器20然后被编程为基于比较操作来调节成像参数。至少一个电子处理器20然后被编程为通过将经训练的深度学习变换30应用于输入数据来对针对经重建的图像的一个或多个品质因数的估计进行重复，所述输入数据至少包括经调节的成像参数。在一些实施例中，输入数据不包括经重建的图像。

在106处，至少一个电子处理器20被编程为通过使用所选择的针对成像参数的值对所采集的成像数据执行图像重建来生成经重建的图像。如果在成像数据采集之前执行品质因数预测/优化102、104，则步骤106包括采集pet成像数据以及然后执行重建。另一方面，如果在成像数据采集(其中将成像数据的统计信息输入到svm或nn30)之后执行品质因数预测/优化102、104，则步骤106包括执行图像重建。步骤106适当地采用通过品质因数预测/优化102、104调节的成像参数。

在108处，至少一个电子处理器20被编程为控制显示设备24以显示经重建的图像。另外，步骤108可以对经重建的图像执行品质因数评估以确定例如肝脏中的噪声系数、病变中的suv值和/或其他品质因数。由于品质因数预测/优化102、104，根据经重建的图像评估的(一个或多个)品质因数将接近期望值的可能性大大提高。

参考图3，以流程图的形式示意性地示出了经训练的深度学习变换30的训练方法200的说明性实施例。在202处，至少一个电子处理器20被编程为重建训练成像数据以生成对应的训练图像。在204处，至少一个电子处理器20被编程为通过处理训练图像来确定针对训练图像的一个或多个品质因数的值。在206处，至少一个电子处理器20被编程为通过将深度学习变换30应用于输入数据来估计针对训练成像数据的一个或多个品质因数，所述输入数据至少包括图像重建参数以及训练成像数据的统计信息。在208处，至少一个电子处理器20被编程为训练深度学习变换30，以使针对训练成像数据的一个或多个品质因数的估计结果与所确定的值相匹配。训练208可以例如使用已知的反向传播技术来训练包括神经网络的深度学习变换。在训练包括支持向量机(svm)的深度学习变换的情况下，采用用于优化svm的超平面参数的已知方法。

应当注意，在图3的训练过程中，重建202和品质因数确定204在一些实施方式中可以作为临床任务的部分而被执行。例如，图3的训练可以采用被存储在图片存档与通信系统(pacs)中的历史pet成像期。每个这样的pet成像期通常包括经重建的图像以及从那些图像中提取(一个或多个)品质因数，作为pet成像期的临床评估的部分。因此，可以有效的“预先计算”这些数据作为常规临床实践的部分，并且可以从pacs中识别和检索这些数据以用于训练深度学习变换30。

图4和图5以流程图的形式示意性地示出了成像方法100的更详细的流程图。图4示出了成像方法400的实施例，其中，输入数据不包括成像数据。输入能够包括图像采集参数数据(例如，要被成像的目标部分)402、采集过程数据(例如，剂量和等待时间、成像系统的类型、成像系统规格等)404以及重建参数406。输入被输入到经训练的深度学习变换30(例如，神经网络)。在408处，经训练的神经网络30基于输入402-406来估计一个或多个品质因数(例如，噪声、suv均值等)。在410处，将用户期望的品质因数(例如经由图1的一个或多个用户输入设备22)输入到图4的经训练的神经网络30。在412处，至少一个电子处理器20被编程为确定所估计的品质因数相对于用户期望的品质因数是否是可比较的(即，可接受的)。如果不是，则在414处调节采集参数402并且重复操作402-412。如果品质因数是可接受的，则在416处至少一个电子处理器20被编程为控制图像采集设备12以采集成像数据并使用重建参数406来执行对pet图像的重建。

图5示出了成像方法500的另一实施例，其中，针对神经网络的输入数据包括成像数据(但不包括任何经重建的图像)。在502处，根据采集的列表模式pet成像数据导出统计信息(例如，总计数、计数/分钟等)。统计信息被输入到神经网络30。图5的操作504-512基本上对应于图4的操作404-412，为简洁起见，在此不再重复。在514处，如果品质因数是不可接受的，则调节重建参数并将其用于重新采集列表模式pet成像数据。如果品质因数是可接受的，则在516处至少一个电子处理器20被编程为使用重建参数506来执行对pet图像的重建。

已经参考优选实施例描述了本公开内容。在阅读和理解了前面的详细描述之后，其他人可能会想到修改和更改。本发明旨在被解释为包括所有这样的修改和更改，只要它们落入权利要求或其等同物的范围内即可。