基于深度学习的对在断层摄影重建中使用的数据的估计的制作方法

本文所公开的主题涉及断层摄影重建，并且具体地讲，涉及使用深度学习技术来估计重建过程中的缺失、损坏或噪声数据。

非侵入性成像技术允许获得患者/对象的内部结构或特征的图像，而无需对患者/对象执行侵入性过程。特别地，这种非侵入性成像技术依赖于各种物理原理(诸如x射线的穿过目标体积的差分透射、体积内的声波反射、体积内的不同组织和材料的顺磁性、目标放射性核素在体内的分解等)，以获取数据和构建图像或以其他方式表示患者/对象的观察到的内部特征。

以举例的方式，各种成像模态(诸如基于x射线的计算机断层摄影(ct)(例如，多切片ct)和x射线c臂系统(例如，锥形束ct))从关于对象或患者的各种角度或视图测量对象或患者的投影数据。投影数据对应于radon变换、扇形束变换或锥形束变换。通过使用断层摄影重建技术，可根据投影数据估计或“重建”横截面图像或体积图像。例如，就ct而言，可根据投影数据(即，radon变换数据)重建横截面图像。

由于各种原因，用于给定检查的投影数据的一部分可能损坏或丢失(相对于理想的或数学上完整的投影数据集)，这从而可导致图像伪影。传统的内插技术、外插技术或迭代估计技术并不总是能够充分地解决数据缺失或不完整的此类实例，并且在一些情况下，计算速度可能较慢。

技术实现要素：

在一个实施方案中，提供了一种用于估计在断层摄影重建中使用的缺失数据的方法。根据该方法，采集或访问一组扫描数据。这组扫描数据具有一个或多个不完整或不合适的数据的区域。使用一个或多个受过训练的神经网络来处理这组扫描数据。使用一个或多个受过训练的神经网络来生成用于不完整或不合适数据的每个区域的估计数据集。这组扫描数据与该估计数据集一起对应于校正的一组扫描数据。执行校正的一组扫描数据的断层摄影重建以生成一个或多个重建图像。

在另一个实施方案中，提供了一种图像处理系统。根据该实施方案，该图像处理系统包括：处理部件，该处理部件被配置为执行一个或多个存储的处理器可执行例程；和存储器，该存储器存储一个或多个可执行例程。该一个或多个可执行例程在由处理部件执行时使得执行包括以下各项的动作：采集或访问一组扫描数据，其中这组扫描数据具有一个或多个不完整或不合适的数据区域；使用一个或多个受过训练的神经网络来处理这组扫描数据；使用该一个或多个受过训练的神经网络针对不完整或不合适的数据的每个区域生成估计的数据集，其中这组扫描数据与该估计数据集一起对应于校正的一组扫描数据；执行校正的一组扫描数据的断层摄影重建以生成一个或多个重建图像。

在另一个实施方案中，提供了神经网络训练方法。根据该方法，采集或访问多组完整的扫描数据。测量或模拟这组完整扫描数据。每组完整扫描数据内的一个或多个区域被标记为目标输出区域。每组完整扫描数据中未被标记为目标输出区域的一个或多个区域可用作已知数据区域。通过针对每组完整扫描数据向神经网络提供用于已知区域的扫描数据和用于目标输出区域的对应扫描数据来训练神经网络以生成受过训练的神经网络。

在一个实施方案中，提供了神经网络训练方法。根据该方法，采集或访问多组扫描数据。针对每组扫描数据的一个或多个目标区域和每组扫描数据的一个或多个输入区域生成或采集一个或多个图像质量度量。通过向神经网络提供这些组的扫描数据、用于每组扫描数据的目标区域的图像质量度量和用于每组扫描数据的输入区域的图像质量度量，来训练神经网络以生成受过训练的神经网络。

附图说明

当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其它特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：

图1描绘了根据本公开的各方面的用于训练深度学习模型的人工神经网络的示例；

图2是描绘了根据本公开的各方面的计算机断层摄影(ct)成像系统的部件的框图；

图3描绘了根据本公开的各方面的具有对应于偏心金属对象的缺失数据(从而创建了缺失数据或损坏数据的区域)的正弦图的示例；

图4描绘了根据本公开的各方面的具有对应于居中金属对象或缺失检测器区域的缺失数据的正弦图的示例；

图5描绘了根据本公开的各方面的完整ct视图或投影的视图的示例；

图6描绘了根据本公开的各方面的在经轴方向上截断的图5的ct视图或投影；

图7描绘了根据本公开的各方面的在纵向方向上截断的图5的ct视图或投影；

图8描绘了根据本公开的各方面的在经轴方向上和纵向方向上均截断的图5的ct视图或投影；

图9描绘了根据本公开的各方面的处理流程的视觉表示，使用受过训练的神经网络通过该处理流程来估计缺失数据区域中的正弦图数据；

图10描绘了根据本公开的各方面的用于估计正弦图数据的步骤的处理流程图；

图11描绘了根据本公开的各方面的重组操作；

图12描绘了根据本公开的各方面的基于一侧补丁的估计操作；

图13描绘了根据本公开的各方面的基于两侧补丁的估计操作；

图14描绘了根据本公开的各方面的投影数据估计操作的结果的示例；

图15描绘了根据本公开的各方面的基于迹线的估计操作；

图16描绘了根据本公开的各方面的递归估计操作；

图17描绘了根据本公开的各方面的空间变化估计操作；以及

图18描绘了根据本公开的各方面的另选的空间变化估计操作。

具体实施方式

在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，并非实际实施方式的所有特征都要在说明书中进行描述。应当理解，在任何此类实际实施方式的开发中，如在任何工程或设计项目中，必须做出许多实施方式特定的决策以实现开发者的具体目标，诸如遵守可能因实施方式而不同的系统相关和业务相关约束。此外，应当理解，此类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来说仍然是设计、制作(fabrication)和制造(manufacture)的常规任务。

虽然在医学成像的背景中提供以下讨论的各方面，但是应当理解，本技术不限于这样的医学背景。实际上，在此类医学背景中提供示例和解释仅是为了通过提供真实实施方式和应用的实例来便于进行解释。然而，本方法也可以用于其他背景中，诸如用于在制成件或制成品的非破坏性检查(即，质量控制或质量审核应用)和/或包裹、箱盒、行李等的非侵入性检查(即，安检或筛检应用)中使用的工业计算机断层摄影(ct)的断层摄影图像重建。一般来讲，本发明的方法在任何成像或筛选背景或图像处理领域中是期望的，其中一组或一类采集的数据经历重建过程以生成图像或体积，并且其中所采集的数据可能会遭遇原本会影响重建图像的遗漏、噪声或损坏。

虽然本文主要提供ct示例，但应当理解，本发明的方法可用于其他成像模态背景中，在这种背景下，不完整、损坏或噪声数据可能影响下游断层摄影重建过程或所得图像。例如，当前描述的方法也可能适合与其他类型的断层摄影扫描仪一起使用，这包括但不限于利用正电子发射断层摄影(pet)、单光子发射计算机断层摄影(spect)、相衬成像和/或磁共振成像(mri)进行的重建。

在ct背景内(并且在所提及的其他成像模式中可具有推论)，正弦图是轴向投影数据的典型表示，其中所测量的数据以2d构型布置，其中一个轴对应于投影/视角，而另一个轴对应于基本上垂直于投影/视角的空间偏移。例如，在扇形束ct采集中，第一轴对应于机架角度，并且第二轴对应于扇形内的射线的角度(或等同地，对应于检测器阵列内的像素的位置)。因此，在该2d背景中，如本文可以引用的，缺失数据区域是指该正弦图域中测量不完整、损坏和/或原本不具有相同质量的一个或多个连续区域。尽管本讨论集中于2d背景中的示例，但为了简单起见并且为了便于解释，本发明的方法也可在3d背景(例如，锥形束ct)中实现，其中第三轴表示方位角(即，投影射线相对于轴向平面的角度)。因此，在此类3d具体实施中，投影数据具有3个维度：旋转角度(视图数)、检测器列(经轴地)和检测器行(纵向)。在这种情况下，缺失数据的补丁或迹线可以是三维的，并且可用或已知数据的相邻补丁或迹线可以是三维的，并且本发明的概念的针对第三维度的外插对于本领域的技术人员而言应当是显而易见的。

如本文所指出的，出于各种原因，为断层摄影重建(例如，横截面图像或体积图像重建)采集的投影(或其他)数据的一部分可能损坏或缺失，这可能导致重建图像中出现伪影。缺失投影数据的原因的示例包括但不限于：(1)成像体积中的金属对象或高密度对象-由于高衰减和相关物理效应，金属对象的阴影中的投影数据可能损坏并且被认为“缺失”；(2)经轴截断-当成像对象或患者延伸到扫描视场之外时，投影被认为是截断的，即，缺失良好重建所需的一些投影数据；(3)纵向截断-在锥形束重建中，由于检测器行数量有限，重建体积的一部分未被测量到或采样不够充分；以及(4)检测器模块之间的不良检测器像素或间隙-单个或多组检测器像素可能无法可靠地操作并且数据被认为是缺失的。同样，检测器模块或面板之间可能存在间隙，从而导致数据缺失。

为了解决与缺失或不完整投影数据相关的问题，本发明的方法采用深度学习技术(诸如以受过训练的神经网络的形式)来估计各种类型的缺失投影数据。神经网络可使用投影数据进行训练，其中一部分数据被定义为待估计的缺失数据，并且剩余的数据是可用作对网络的输入的可用数据。类似地，本发明的方法也可用于替换或校正损坏或错误的投影数据(与估计缺失的投影数据相反)。例如，可通过该方法使用受过训练的神经网络和本文通常所述的方法，来解决更一般的数据错误(诸如由光束硬化、散射、噪声等引起的数据错误)。在此类实例中，可估计可用于校正不正确数据的一个或多个校正项，而不是估计缺失的投影数据。另选地，可直接估计校正的投影数据，然后该校正的投影数据将替换损坏的投影数据。

考虑到前述的介绍性评论，本文所述的方法利用深度学习技术来估计在断层摄影重建过程(诸如用于生成ct、pet、spect或mr图像的重建过程)中使用的缺失数据。如本文所讨论，深度学习技术(其也可以被称为深度机器学习、分级学习或深度结构化学习)是机器学习技术的分支，其采用数据的数学表示和人工神经网络来进行学习。以举例的方式，深度学习方法可以被表征为它们使用一个或多个网络架构来提取一类感兴趣的数据的高级抽象或对其进行建模。这可使用一个或多个处理层来实现，其中层的数量和配置允许网络处理复杂的信息提取和建模任务。网络的具体参数(在一些背景中称为“权重”和“偏差”)通常通过所谓的学习过程来估计；但在一些实施方案中，学习过程本身也可扩展至网络架构的学习元件。估计/学习参数通常会导致形成以下网络：其中每个层对应于不同的抽象水平，并因此潜在地提取或模拟前一层的初始数据或输出的不同方面，即，此类网络通常可表示层的分级结构或级联。在图像处理或重建背景中，这有时可被表征为对应于数据中的不同的特征级别或分辨率的不同的层。因此，处理可分层进行，即，较早或较高级别的层可对应于从输入数据中提取“简单”特征，然后是将这些简单特征组合为表现出较高复杂度水平的特征的层。在实施过程中，每个层(或更具体地，每个层中的每个“神经元”)可采用一个或多个线性和/或非线性变换(所谓的激活函数)，以将输入数据处理为用于该层的输出数据表示。

如本文所讨论，作为用于解决特定问题的深度学习过程的初始训练的一部分，可采用训练数据集，该训练数据集具有已知输入值(例如，输入图像或输入投影数据值)以及用于深度学习过程的最终输出(例如，目标图像或投影数据值)或深度学习过程的各个层(假定为多层网络架构)中的一者或两者的已知值或期望值。以这种方式，深度学习算法可以(以监督或指导的方式或以无监督或无指导的方式)处理已知或训练数据集，直到看出初始数据与一个或多个期望输出之间的数学关系和/或看出和表征每个层的输入和输出之间的数学关系。学习过程通常使用输入数据(其一部分)并为该输入数据创建网络输出。然后将创建的输出与该数据集的期望(目标)输出进行比较，然后使用生成的输出与期望的输出之间的差异迭代地更新网络的参数(权重和偏差)。一种此类更新/学习机制使用随机梯度下降(sgd)方法来更新网络的参数；也可使用本领域已知的其他方法。类似地，可以采用单独验证数据集，其中输入和期望目标值是已知的，但是仅将初始值提供到受过训练的深度学习算法，然后将输出与深度学习算法的输出进行比较以检验先前训练和/或防止过度训练。

以可视化的方式，图1示意性地描绘了可训练为如本文所讨论的深度学习模型或网络的人工神经网络50的示例。在该示例中，网络50是多层的，其中由输入层52和多个层(包括隐藏层58a、58b、58c等)接收或采集输入数据51，并且输出层60和训练目标64存在于网络50中。在该示例中，每个层均由多个“神经元”56组成。神经元56的数量可以在层之间是恒定的，或如图所示，可以各层不同。每个层的神经元56生成相应输出，该相应输出用作下一分层的神经元56的输入。在实践中，计算具有附加偏差的输入的加权和，以根据激活函数来“激励”或“激活”各层的每个相应神经元，激活函数诸如s形激活函数、修正线性单位(relu)、或以其他方式指定或编程的函数。在此背景中，最后一层的输出构成网络输出60(例如，预测投影数据)，其与目标投影数据值64一起用于计算一些损失或误差函数62，该损失或误差函数将被反向传播以指导网络训练(使用sgd或其他方法)。如本文所讨论，在某些基于投影的背景中，神经网络50的输出60可为单个投影数据编号(即，单个缺失或校正的投影值)、投影数据补丁或投影数据迹线中的一者或多者。虽然图1描绘了简单的完全连接的网络，该网络具有清晰的逐层架构，但是可针对各个层、多层的组合或整个网络选择其他架构。例如，一个或多个层可由卷积神经网络(cnn)或其他架构表示。类似地，该网络的一些部件可利用未根据严格有序的逐层处理架构进行配置的混合架构。例如，一些连接可跳过一个或多个层(即，直接连接驻留在不连续的层中的节点)；或者可选择不对应于清晰的逐层架构的网络架构。

损失或误差函数62测量网络输出(即，预测的投影数据值)与对应的训练目标(即，实际或地面实况投影数据值)之间的差异。在某些具体实施中，损失函数可为均方误差(mse)并且/或者可考虑涉及其他图像或投影数据特征的差异。另选地，损失函数62可以由与所讨论的特定任务相关联的其他度量定义。

在一个实施方案中，虽然神经网络50的配置将由估计问题的先验知识、输入和输出的维数等来引导，但是学习本身被视为“黑匣”，并且主要或完全依赖于根据输入数据实现期望输出数据60的最佳近似值。在此类情况中，网络50中的某些神经元56可对应于数据中的某些特征的事实归功于学习过程，该学习过程通常自然地收敛于此类解决方案。在各种另选的具体实施中，可以利用数据、成像几何结构、重建算法等的某些方面和/或特征来给出神经网络50中的某些数据表示的明确含义。这可能有助于加速训练，因为这创建了在神经网络50中单独训练(或预训练)或定义某些层的机会。

例如，基于经滤波的反向投影重建算法中的斜滤波器对数据的导数(在每个投影图像内)敏感的知识，如本文所述，可预先训练神经网络50的初始层以表示缺失的投影数据的导数；而后续层可用于根据导数重建或估计缺失数据本身。

输入数据和/或目标数据还可经历预处理步骤，使得其中一者或两者被转换为域，在该域中缺失数据更容易估计。在估计缺失数据之后，可应用与预处理步骤相反的后处理步骤以获得最终的估计数据。例如，可作为预处理步骤应用一维或多维的高通滤波器以强调高频。在对缺失数据进行深度学习估计之后，可应用一维或多维的低通滤波器以对高通滤波器的效应进行补偿。

在类似的实施方案中，在应用本发明的深度学习估计技术之前，可通过除以或减去重新投影的正弦图来对正弦图进行归一化。在深度学习估计之后，可通过乘以或加上相同的重新投影的正弦图来取消该归一化。重新投影的正弦图可作为初始重建的重新投影而获得，其中初始重建可使用标准类型的金属伪影抑制来获得。在此类实施方案中，处理的目的不是直接估计缺失数据，而是改进通过来自现有技术的方法获得的结果，例如通过估计校正项，或者基于原始数据和来自现有方法的结果来估计校正的数据。

最后，除了输入数据之外，神经网络还可以将权重(或置信度)数据作为附加输入来接收。权重数据表示输入数据的可靠性。例如，输入数据的每个元素可在权重数据中具有对应的元素。输入数据中较可靠的部分-例如较少的噪声或损坏-可能具有较高的相关权重数据。输入数据中不那么可靠的部分-例如较多的噪声或损坏-可能具有较低的相关权重数据。

类似地，对于本文所讨论的某些数据估计方法(诸如下文更详细讨论的基于迹线的估计)，关于数据的周期性(诸如，如下文所讨论，在对应于输入数据的迹线内以及在对应于待估计的数据的迹线内)、数据的傅立叶变换的知识可用于输入和/或输出。附加层或后续层可任选地用于实现/估算傅里叶变换或傅里叶逆变换。

此外，就本文所讨论的投影数据估计方法而言，可使用多尺度方法来提高噪声的鲁棒性，其中粗尺度投影数据信息与细尺度信息分开处理(在至少一些层中)。粗尺度特征和细尺度特征的组合可再次为单独的层。也就是说，神经网络50的不同层可对应于不同水平的粒度或分辨率，或此类尺度的组合。

类似地，神经网络50的架构的一些元件可被配置、预训练或训练，以利用相应重建方法的元素或方面。以举例的方式，在有限角度重建方法(例如，断层合成)的背景下，可将多尺度处理与非线性处理结合(例如，使用软阈值来最小化条纹伪影)，从而使得所实现的图像质量得到显著改善。在可识别此类重建方法的特征的情况下，可配置网络架构并且/或者可执行训练以模拟或有利于此类重建特征。这样，由神经网络执行的缺失数据估计步骤可与用于根据经处理的投影数据生成3d体积图像的特定重建过程紧密结合，其中重建过程的一些方面(例如，多尺度滤波、斜坡滤波等)已经可以通过本文所公开的处理来执行。以举例的方式，神经网络50的中间层可被配置或训练为表示或对应于所需的预处理(在一些重建方法中)，以基于在所考虑的视角的小角度范围内的来自相邻视图的数据来对金属(或其他不透射线的)区域后面或前面的结构进行有限角度重建。

此外，神经网络50的第一层可被配置或训练为基本上由分析函数组成。例如，第一层的输出可基本上表示具有分析函数的输入补丁内部的数据的标量积。由于理解了正弦图的结构，在一个实施方案中，可以明确地构造此类分析函数(即，反映正弦图所包含的正弦曲线轮廓的特征的函数)。在一个此类具体实施中，训练可以更快，因为不需要学习/训练此类网络50的第一层。

需注意，在这些情况的任一种下，训练过程的后续阶段仍可被配置为更新/修改先前已预先训练或明确建模或选择的网络50的部件，从而进一步提高整个网络的性能。

为了便于阐述使用深度学习技术进行的本发明的缺失数据估计，本公开主要在ct系统的背景中讨论这些方法。然而，应当理解，以下讨论也可以适用于其他图像模态和系统(包括但不限于pet、spect和mri)，并且适用于非医学背景或可采用断层摄影重建步骤根据可能不完整或以其他方式缺失数据的数据集来重建图像的任何背景。

考虑到这一点，图2中描绘了成像系统110(即扫描仪)的示例。在所描绘的示例中，成像系统110是ct成像系统，其被设计为围绕患者(或其他感兴趣的受检者或对象)以各种视图采集扫描数据(例如，x射线衰减数据)，并适合于使用本文所讨论的数据完成技术执行图像重建。在图2所示的实施方案中，成像系统110包括邻近准直器114定位的x射线辐射源112。x射线源112可以是x射线管、分布式x射线源(诸如固态或热离子x射线源)或适合于采集医疗或其他图像的任何其他x射线源。

在所描绘的示例中，准直器114对x射线束116进行成形或限制，该x射线束进入患者/对象118所定位的区域。在所描绘的示例中，x射线116被准直为穿过成像体积的锥形束，即锥束。x射线辐射120的一部分通过患者/对象118(或其他感兴趣的受检者)或穿过其周围并撞击检测器阵列(通常以附图标记122表示)。该阵列的检测器元件产生表示入射x射线120的强度的电信号。获取并处理这些信号以重建患者/对象118体内的特征的图像。

源112由系统控制器124控制，该系统控制器提供用于ct检查序列的功率和控制信号两者，包括采集二维定位器或用于识别患者/对象体内的感兴趣的解剖结构的侦察图像以用于后续扫描方案。在所描绘的实施方案中，系统控制器124经由x射线控制器126控制源112，该x射线控制器可以是系统控制器124的部件。在这样的实施方案中，x射线控制器126可以被配置为向x射线源112提供功率和定时信号。

此外，检测器122耦接到系统控制器124，该系统控制器控制对检测器122中生成的信号的采集。在所描绘的实施方案中，系统控制器124使用数据采集系统128获取由检测器生成的信号。数据采集系统128接收由检测器122的读出电子器件收集的数据。数据采集系统128可以从检测器122接收经采样的模拟信号，并且将数据转换为数字信号，以便由下面讨论的处理器130进行后续处理。另选地，在其他实施方案中，数字-模拟转换可以由检测器122自身上提供的电路执行。系统控制器124还可以关于所获取的图像信号执行各种信号处理和滤波功能，诸如用于动态范围的初始调整、数字图像数据交错等。

在图2所示的实施方案中，系统控制器124耦接到旋转子系统132和线性定位子系统134。旋转子系统132使x射线源112、准直器114和检测器122能够围绕患者/对象118旋转一圈或多圈，诸如围绕患者主要在x,y平面中旋转。应当指出的是，旋转子系统132可以包括机架，相应的x射线发射和检测部件设置在该机架上。因此，在这样的实施方案中，系统控制器124可以用于操作机架。

线性定位子系统134可以使患者/对象118或更具体地支撑患者的工作台能够在ct系统110的孔内移位，诸如相对于机架的旋转在z方向上移位。因此，工作台可以在机架内线性移动(以连续或逐步的方式)以生成患者118的特定区域的图像。在所描绘的实施方案中，系统控制器124经由马达控制器136控制旋转子系统132和/或线性定位子系统134的移动。

一般来讲，系统控制器124命令成像系统110的操作(诸如经由源112、检测器122和上述定位系统的操作)以执行检查方案并处理所获取的数据。例如，系统控制器124经由上述系统和控制器可以使支撑源112和检测器122的机架围绕感兴趣的受检者旋转，使得可以以相对于受检者的一个或多个视图获得x射线衰减数据。在本背景中，系统控制器124还可以包括信号处理电路，用于存储由计算机执行的程序和例程的相关联的存储器电路(诸如用于执行本文所述的数据完成处理或重建技术的例程)，以及配置参数、图像数据等。

在所描绘的实施方案中，由系统控制器124获取和处理的图像信号被提供给处理部件130，以用于根据当前公开的算法重建图像。处理部件130可以是一个或多个通用或专用微处理器。由数据采集系统128采集的数据可以直接地传输到处理部件130，或在存储在存储器138中之后传输。适合于存储数据的任何类型的存储器都可以由这样的示例性系统110使用。例如，存储器138可以包括一个或多个光学、磁性和/或固态存储器存储结构。此外，存储器138可以位于采集系统站点处并且/或者可以包括用于存储用于投影数据完成的数据、处理参数和/或例程的远程存储设备，如下所述。

处理部件130可以被配置为经由操作员工作站140从操作员接收命令和扫描参数，操作员工作站140通常被配备有键盘和/或其他输入设备。操作员可以经由操作员工作站140控制系统110。因此，操作员可以使用操作员工作站140观察重建图像和/或以其他方式操作系统110。例如，耦接到操作员工作站140的显示器142可以用于观察重建图像并控制成像。另外，图像也可以由打印机144打印，该打印机144可以耦接到操作员工作站140。

此外，处理部件130和操作员工作站140可以耦接到其他输出设备，其他输出设备可以包括标准或专用计算机监视器和相关联的处理电路。可以在系统中进一步链接一个或多个操作员工作站140，以用于输出系统参数、请求检查、查看图像等。一般来讲，系统内提供的显示器、打印机、工作站和类似设备可以是数据采集部件本地的，或可以远离这些部件，诸如机构或医院内的其他地方，或位于完全不同的位置，经由一个或多个可配置的网络(诸如互联网、虚拟专用网络等)链接到图像采集系统。

还应注意，操作员工作站140还可以耦接到图片存档和通信系统(pacs)146。pacs146继而可以耦接到远程客户端148、放射科信息系统(ris)、医院信息系统(his)、或内部网络或外部网络，以便不同位置的其他人可以访问原始或经处理的图像数据。

如本文所讨论，本发明的方法使用被实现为受过训练的神经网络的深度学习来估计可用于断层摄影重建的各种类型的缺失投影数据或数据。本发明的方法还可用于针对已知投影空间中存在损坏或噪声的区域生成校正或调整的数据。以举例的方式，在ct具体实施的背景中，本发明的深度学习方法可用于直接估计投影数据域(在ct背景中也称为正弦图)中的缺失数据。可用的或已知的投影数据的合适子集用作神经网络的输入，并且缺失投影数据的估计表示所需的输出。

为了示出与缺失投影数据相关联的问题，示出了表现出数据缺失的正弦图的各种示例。例如，转到图3和图4，位于视场(fov)中的金属对象(或其他不透射线的材料)的效应(即，“阴影”)在正弦图160中示出。该效应在正弦图160中表现为缺失数据的带162，其中，图3的正弦图描绘了其中不透射线的对象在fov内偏离中心的示例，从而追踪到正弦曲线形式；而图4描绘了其中不透射线的对象在fov内居中的示例，从而追踪到穿过正弦图中心的直线或带。当检测器中存在物理间隙时或者在存在一个或多个损坏的检测器单元的情况下，在正弦图中出现具有缺失直带的类似情况。需注意，尽管为了简洁起见并且为了一般地展示概念，缺失数据的带被描绘为恒定(或几乎恒定)宽度的带，但是这些带可例如针对不具有圆形横截面的金属对象在宽度上变化(作为投影角度的函数)。用于估计本文所公开的缺失数据区域中的数据的方法扩展至各种形状的缺失数据区域。

类似地，与对应的完整ct视图或投影166(如图5所示)的参考视图相比较，图5至图8描绘了不同类型的数据截断的示例(图6至图8)。当给定的一个或多个尺寸(例如，经轴方向或纵向尺寸)下的检测器太小而无法测量对象的整个投影时，可能导致数据截断(例如，截断的正弦图)。在此类示例中，相对于截断的ct视图或投影164，数据可在一个或多个带162中缺失。根据成像对象的特征及其相对于成像系统的旋转轴线的位置，数据可能因仅针对扫描的一部分(即，在不跨越正弦图的整个水平长度的角度范围内)的截断而缺失，并且缺失数据区域在检测器阵列的两侧可能不对称。然而，为简洁起见，图6至图8示出了对称示例。在这些示例中，图6描绘了经轴截断的截断ct视图或投影164的示例；图7描绘了纵向截断的截断ct视图或投影164的示例；并且图8描绘了经轴且纵向截断的截断ct视图或投影164的示例。

相对于缺失数据区域162，如图3至图5所示，此类区域的存在、范围和边界可使用一种或多种技术或技术的组合来确定。以举例的方式，缺失数据区域162可使用以下技术中的一种或多种来确定：(1)在投影域中直接进行阈值处理或分割；(2)初始图像重建，然后在图像域中进行阈值处理或分割，然后重新投影，然后进行阈值处理或掩蔽；(3)基于检测器校准实验的不良像素映射；(4)检测器模块或面板之间具有间隙的已知的检测器几何结构；或(5)将固定数量的附加检测器行或列添加至估计的截断投影数据。在一个实施方案中，可通过对局部投影图像质量的评估来识别或估计损坏的数据区域，其本身可使用深度学习方法(或本领域已知的其他方法)来估计采集的投影数据的局部“质量”。还可使用用于识别投影域中缺失/损坏的数据区域的这些方法和其他方法的组合。

标准内插和外插方法在提供对缺失数据162的估计方面通常不那么令人满意，诸如在上述此类情况下。相比之下，本发明的方法替代性地采用被实现为受过训练的神经网络50的深度学习来估计缺失数据162。图9概念性地示出了这一点。在附图的左侧，示出了具有缺失数据162的正弦图160。如果重建，则该正弦图将产生具有金属伪影的重建图像180，此处其明显为以fov中的不透射线的(例如，金属)对象为中心的“星爆”型图案。相反地，在图9的右侧，相同的正弦图被描绘为使用受过训练的神经网络50进行缺失数据估计或替换。在该示例中，将邻近缺失数据162的区域的区域170用作对受过训练的神经网络50的输入，以获得神经网络50的输出172，该输出为对缺失投影值的估计值。可利用估计的缺失值重建正弦图160以生成重建图像182，该重建图像不显示与其中未执行对缺失数据162的估计的图像180相同类型的条纹伪影。

图10进一步示出了这一点，该图描绘了上述步骤的处理流程图。在该示例中，初始提供不完整的正弦图184，该正弦图的全部或一部分用作对受过训练的神经网络50的输入。神经网络50用于估计(步骤186)从正弦图184中缺失(或损坏或以其他方式变得不合适)的投影数据。估计的数据用于生成完整的或校正的正弦图188。然后可使用合适的重建方法来重建完整的或校正的正弦图188(步骤190)以生成重建的图像192。

相对于用于此类方法中的神经网络50，此类神经网络可使用多个(例如，数十个，数百个或数千个)训练数据集进行训练，其中神经网络50的目标输出是已知的。在训练网络50之后，可将其应用于测试数据集，以确定网络的输出是否满足对未用于训练的数据集的期望。

定义训练数据集的一种方法是：从不具有缺失数据(其可使用实际测量的数据并且/或者通过模拟来生成)的数据集(例如，正弦图)开始，并且出于训练网络50的目的而省略数据的一部分(现在被认为是“缺失的”)。因此，“缺失”(即，移除或截留)数据的真实值是已知的。然后对神经网络50进行训练，使得其输出与被移除的数据高度相似。可使用相同的方法来测试神经网络。当成功时，神经网络50的输出将与测试数据集中的缺失数据高度匹配。因此，在训练期间，数据可由未改变的数据组成，其中投影(正弦图)数据中的一些区域被标记为缺失，并且期望的输出由对应于缺失数据的未改变的正弦图数据组成。训练数据可以这种方式包含在实际缺失数据实例中不可用的结构。

在一些情况下，诸如对于患者数据，可能不存在可用的“地面实况”数据集，这种情况中的训练可替代性地基于图像质量度量(例如，使用计算出的图像质量度量、观察者模型或人类观察者)。在另一种情况下，可将不具有“缺失数据”限制的患者数据用作训练数据。例如，在髋关节植入物(其存在时，可能导致投影数据中出现缺失数据区域)的背景下，植入前扫描(其未表现出缺失数据问题)可用作训练数据。在一些实例中，可能期望不仅“学习”广泛适用于多种成像对象/解剖结构的通用数据估计方法，而且还期望针对特定临床应用训练网络(即，专用的受过训练的神经网络)。在髋关节植入物的示例中，髋关节植入物相对于其他解剖结构的位置通常是众所周知的，并且在这种情况下，可优化针对该应用专门训练的网络，以恢复具有特定于患者的成像髋部区域的特征的缺失数据。类似地，可将神经网络训练为解剖结构特定的，以(诸如通过使用针对或特定于特定解剖学背景生成的数据集进行训练)便解决特定解剖区域常见的数据缺失或数据损坏问题。可将解剖特定的因素和专用的因素进行组合，以训练神经网络，或使用特定于特定应用和解剖结构(例如，髋关节植入物)的受过训练的神经网络。也可将神经网络训练为任务特定的，以诸如通过使用针对或特定于数据缺失或数据损坏状况生成的数据集进行训练，来解决特定于某些类型的错误(例如，数据截断、金属伪影等)的数据缺失或数据损坏问题。在另一种情况中，在模拟来自患者数据的投影数据之前，患者图像的二维(2d)或3d区域的一些部分可被“平滑”插值替换(即，该区域不包含任何图像结构)。在髋关节植入物的示例中，植入物本身将是均匀的，并且它们将取代之前存在于该解剖位置中的任何解剖结构。因此，用其中对应的图像结构已被“取出”的数据训练网络表示适合训练的数据集。

考虑到前述内容，可以各种方式使用受过训练的神经网络50来提供数据估计。下文讨论各种具体实施和变型形式以提供有用的示例和进一步的背景。

在讨论使用深度学习进行缺失数据估计的具体实施之前，可以指出的是，许多此类估计，尤其是相对于视场中的金属或不透射线的对象执行的那些估计，可得益于在估计缺失数据162之前如图11所示的对正弦图数据的重组。具体地讲，如果在估计步骤之前执行对与平行光束几何结构对应的数据执行重组(步骤230)，则可简化几何意义。此类重组可与移位组合或以移位方式执行，使得缺失数据区域162在正弦图160中居中。因此，缺失数据区域162的迹线表示为直线(或带)。

这样，可对采集的数据进行重组以表示使用平行光束采集采集的数据，其中缺失数据区域162位于视场的中心处。通过(在重组之后)将金属(或其他不透射线的)对象放置在居中位置处，补丁和迹线的几何结构相对于金属区域的迹线是径直的，因为缺失数据区域162追踪穿过正弦图160的中心直线/带。

考虑到前述内容，在基于深度学习的缺失数据估计的一个示例中，基于补丁的插入可使用受过训练的神经网络50来执行。

在该方法中，基于可获得数据的区域中的数据的相邻补丁202来对缺失数据区域162中的像素或小区域/补丁200处的数据进行估计。在一个具体实施中，来自可获得数据的补丁202的数据被选择为靠近缺失数据区域162的边界，并且靠近待估计的补丁200。

该方法在图12和图13中示出，其中这些附图示出了金属伪影抑制问题的示例。补丁区域200是所估计的正弦值或补丁的示例，并且已知区域202是用作对神经网络50的输入以估计这些相应的缺失数据补丁200的数据。类似的方法可用于其他类型的缺失数据，诸如不良像素校正或截断。

在这些示例中，表示输入数据的补丁202可以是矩形的形状，或者具有“楔形”形状的截面，其可更好地适应正弦图中不同结构的正弦迹线。也可选择其他补丁形状。通常，输入补丁202表示比待估计的补丁200更大的角度范围(即，输入补丁在角度上(即水平方向上)通常“更宽”)，并且基于表示检测器上邻近缺失数据区域162的区域来选择。如果仅将缺失数据区域162的一侧上的数据用作针对给定补丁的估计的输入，则可将其称为“一侧”估计(其示例在图12中示出)。如果将来自缺失数据区域162的两侧上的数据均用作输入，则可将其称为“两侧”估计(其示例在图13中示出)。

通过使用这种方法，可独立地估计缺失数据的单独补丁200，使得所有估计的数据补丁覆盖缺失数据区域的一部分或全部。用于估计数据的补丁200可被选择为是重叠的，然后可利用单独的平滑/合并步骤将重叠区域中的估计结果200组合为缺失数据区域162中的数据的单个平滑总体插值。

转到图14，其描绘了结果的示例。使用基于可获得数据的相邻区域中的矩形补丁的一侧估计，独立地且单独地对小矩形补丁进行估计。因此，在插值数据中存在可见的不连续部210，其中来自两侧的估计值在该不连续部处交汇。这个问题可以通过一个合适的步骤来解决，在这个步骤中将重叠的补丁组合在一起。通过使用例如重叠补丁之间的适当加权的平滑过渡，可将对应的信息组合为平滑的插值区域。例如，可将正弦图中每个像素处的数据选择为该位置处(即，存在多个估计值的重叠区域中)的几个补丁的加权平均值，其中选择权重以确保补丁之间的平滑过渡。另选地，可使用另一个神经网络处理步骤(或现有神经网络50的一个或多个附加层)来组合估计的重叠补丁。

在基于深度学习的插入的另一个示例中，在一个具体实施中，在正弦图迹线被理解为对应于图像空间中的特定区域的正弦图(通常为正弦形状)的一部分的情况下，执行基于迹线的插入。例如，对应于图像空间中的金属对象的区域将导致正弦图中对应的正弦迹线中出现阴影或数据损坏。在此类实施方案中，基于数据可用区域内的两条或多条迹线(例如，直线)来估计缺失数据区域162的一条或多条迹线(例如，在对数据进行适当的重组之后，通过缺失数据区域的正弦曲线或直线，如下文所讨论)，如图15示意性所示。

一般来讲，输入数据202将被选择为对应于最靠近缺失数据区域的迹线。例如，最靠近缺失数据区域的迹线对应于与(此处假定为圆形的)缺失数据区域相切的射线序列。可对网络进行训练以使得其在使用输入数据200时产生对缺失数据迹线200中的投影数据的估计值。由于迹线各自表示360度的数据，每条迹线内的数据均是周期性的-因此在处理的某个阶段利用数据的傅里叶空间表示可能是有利的。

可以理解，可采用基于补丁的方法和基于迹线的方法两者的混合方法。在该限制中，这两种方法均可被认为是等效的，因为在这两种情况下，所有可用数据均可用作输入，并且全部缺失数据均被视为输出。然而，当输入数据或输出数据(或两者)的维数变得过大时，处理和训练可能变得困难和/或缓慢。

虽然先前概述了基于深度学习的估计方法，但是进一步的考虑是，这些方法中的一些或全部可以递归的方式实现。例如，可执行递归估计，其中最初使用一个或多个受过训练的神经网络50仅估计靠近缺失数据区域162的边界的数据的补丁或区域200。在一个示例中，这可包括从已知数据向外逐层估计缺失数据。一旦估计了单个“层”(通过将其估计为单个数据向量，或通过估计其节段并随后进行组合)，则可以使用先前估计的层作为“已知”数据的一部分来估计下一层，直到填充整个缺失数据区域162。该策略可能适用于基于补丁的估计以及基于迹线的估计。图16示出了轴向截断的一个示例，其中首先估计迹线220a。然后，受过训练的神经网络50随后被应用于估计迹线200b，并且迹线200a可成为输入数据的一部分，因为它们相对于迹线200c和200d不再缺失等。

还应当指出的是，虽然前述示例建议使用用于估计缺失正弦图数据的单个(即，空间不变)受过训练的神经网络50，但是在实践中，在特定实例中，可采用针对存在于正弦图中的图案或空间布置受过训练的不同深度学习网络(即，空间变化深度学习网络)。以举例的方式，取决于缺失数据(即，网络的输出)和可用数据(即，对网络的输入)的位置，受过不同训练的深度学习网络可适合于不同的空间情况(例如，适合于不同的结构和/或不同的参数)。例如，在尚未执行重组的扇形束或锥形束正弦图的情况下，正弦图空间中的不同位置具有不同的几何特性，如图17所示，其中已知区域202a、202b和202c对应于在未知补丁200的两侧插值中使用的正弦图的不同几何区域。由于区域之间的几何差异，可针对这些不同区域202a、202b和202c采用受过不同训练的深度学习网络。类似地，如图18所示，其中可能期望受过不同训练的深度学习网络的情况的另一个示例是，所估计的补丁200的距离和/或位置相对于用作输入202d、202e和202f的已知区域而变化。也就是说，深度学习神经网络50可基于相对于缺失数据的区域的空间位置并且/或基于估计的补丁200相对于输入数据202的相对位置、距离和/或取向来进行训练或专门化，使得可基于待估计的缺失数据的特定情况来使用不同的深度学习网络。

本发明的技术效果包括使用受过训练的神经网络来估计各种类型的缺失投影(或其他未重建的)数据。神经网络可使用投影或其他数据进行训练，其中一部分数据被定义为待估计的缺失数据，并且剩余的数据是可用作对网络的输入的可用数据。类似地，本发明的方法也可用于替换或校正损坏或错误的投影数据(与估计缺失的投影数据相反)。例如，可通过该方法使用受过训练的神经网络和本文通常所述的方法，来解决更一般的数据错误(诸如由光束硬化、散射、噪声等引起的数据错误)。在此类实例中，可估计可用于校正不正确数据的一个或多个校正项，而不是估计缺失的投影数据。在这种情况下，损坏的数据本身可用作对网络的附加输入。

该书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明的专利范围由权利要求限定，并且可包括本领域技术人员想到的其它示例。如果此类其它示例具有与权利要求的字面语言没有区别的结构元素，或者如果它们包括与权利要求的字面语言具有微小差别的等效结构元素，则此类其它示例旨在落入权利要求的范围内。