一种用于生成对象的增强断层扫描图像的方法与流程

本发明属于数字射线照相领域，并且更特别地涉及一种用于增强图像质量并减少伪影的方法，更特别地涉及计算机断层扫描（ct）、锥束计算机断层扫描（cbct）或断层合成成像系统。

背景技术：

如图1中所示，在计算机断层扫描（ct）中，x射线源和线性检测器在患者或对象周围旋转以获取正弦图，该正弦图是包含投影的2d数据阵列。然后将该正弦图用于重建步骤（例如，应用本领域中已知的滤波反投影（filteredbackprojection）方法）以获得表示穿过患者或穿过对象的虚拟切片的图像。

锥束计算机断层扫描（cbct）是另一种成像技术，其中锥形的穿透辐射束（x射线）被引导朝向对象或患者。诸如平板检测器之类的二维辐射检测器被用来检测通过对象或患者调制的x射线。

x射线源和检测器相对于要成像的患者或对象进行旋转。

锥形束被引导穿过患者或对象上的关注区域，到达x射线源的相对侧上的检测器上的区域。

在旋转期间，以完整的弧或有时是部分的弧来获取视场的多个顺序平面图像。

所获取的图像被叫做投影图像（图2中图示的）。这些获取的图像类似于常规的低剂量x射线图像。

通过应用重建算法（例如，feldkamp-davis-kress重建），借助于以不同角度记录的投影图像来重建3d图像。

使用平板检测器的另一个应用是断层合成。在这种方法中，x射线源也在对象或患者周围旋转，但是旋转角度是受限制的（例如，30度的旋转）。

过去十年，许多研究都已聚焦于考虑先验知识的高级迭代重建方案上。对于某些高对比度成像任务，迭代重建算法已被示出使剂量减少多达70％。

经典的迭代重建方法求解以下公式：

（公式1）

其中x是要重建的体积，y是投影图像或正弦图，a是正向投影，w定义使用的l^w-范数，并且r（x）是利用参数β给出某个惩罚（penalty）（例如，针对非平滑性的惩罚）的正则化矩阵函数。

通常，在这种方法中，第一项或数据项是观察到的投影数据的拟合模型，而第二项或正则化项通常包含先验知识，诸如噪声特性、关于稀疏性的假设等。如果重建的体积x与投影图像y一致，则第一项被最小化。第二项对重建的体积强制执行某个条件：例如，作为r（x）的总变化（tv）最小化将给出边缘保留非平滑性惩罚，从而强制执行分段（piecewise）恒定条件。

选择某个条件可能会对解决方案具有深远影响，并且调整参数β可能是麻烦的。此外，在预定量的迭代步骤之后或在满足停止标准时，迭代重建停止。在实际的代数重建实现方式中，迭代重建（例如，同时迭代重建技术）与tvmin迭代交替进行。然而，正则化矩阵通常调整起来很麻烦。错误调整（mistuning）可能导致对正则化没有影响，或者甚至更严重地导致删除真实图像内容（诸如结构）。

如今，在上述成像技术中使用的平板检测器能够获取高分辨率图像，该高分辨率图像具有150μm或更小的像素大小。然而，面板的读出速度与图像的分辨率成比例。因此，在要求高获取速度的应用中，必须在像素分辨率与读出速度之间进行权衡。

传统上，这是通过合并（bin）像素来实行的（例如，在2×2合并模式下，可以以两倍的像素大小为代价实现4倍的更高帧速率）。

同样在cbct中，必须在获取速度与分辨率之间进行权衡。

更高的获取速度会导致更短的总扫描时间，这降低了被成像的对象或患者的运动的风险，但是仅以所获取的2d图像的分辨率为代价。

为了补偿分辨率的损失，可以对所获取的图像进行上采样。

实行这种上采样的一种方式是对图像应用线性方法，即，插值。然而，诸如最近邻、双线性或双三次插值之类的插值方法通常会导致伪影，诸如阶梯壳（stair-casing）、模糊和振铃。

在某些情况下，有可能使用非线性方法来恢复超出成像系统频带限制的真实分辨率内容。这被叫做超分辨率。然而，正向或直接问题（下采样）是适定的，而逆向问题（上采样，克服了基本分辨率限制）通常是不适定的。

为了克服这种不稳定性，需要正则化方法来得到好的解决方案。这些正则化方法使用先验信息或信号冗余来补偿信息的损失。

对于医学成像，可以利用关于解剖结构或成像设置的先验知识来改进超分辨率图像的图像质量。然而，不同于摄影成像，医学成像的目的是要便于诊断，而不是产生视觉上令人愉快的图像。因此，图像处理伪影在医学图像中比在摄影应用中要无法容忍得多，这限制了它们当今的突破。

对于超分辨率，需要估计超出奈奎斯特频率的缺失的高频内容（边缘）。

存在不同的算法以获得超分辨率。

在边缘定向算法（例如，nedi、ddci）中，目标是要通过使用统计信息来保留边缘。另一种方式是要通过使用来自多个帧的信息来恢复图像。因此，捕获冗余信息，并且通过子像素图像对准和融合，可以实现更高的空间或时间分辨率恢复。可以应用诸如ml、map和pocs之类的工具。这样的技术被用于视频处理，并且可以容易地适用于利用x射线对患者的动态成像。

另一类的算法是基于示例的方法。它们利用相同种类图像的图像内部相似性，或者基于现有的示例对（examplepair）来学习从低分辨率到高分辨率的映射功能。

dong，chao等人的工作“learningadeepconvolutionalnetworkforimagesuper-resolution”——europeanconferenceoncomputervision，springer，cham，2014年，其最终成为针对利用深度学习的其他sr的基准——开始了用于超分辨率（sr）的深度网络（诸如，卷积神经网络（cnn））的使用的到来。

与通过插值进行上采样或其他基于非深度学习的方法相比，深度学习网络的使用在视觉质量或信噪比测量方面已经被示出有卓越的性能。cnn是一种通过一系列过滤层将输出映射到输入的方法。层可以是卷积层、池化层或完全连接层，它们与非线性激活函数（诸如relu（整流线性单元））组合。通过添加更多的层，实现了更深的网络，并且因此实现深度学习。

cnn还已经示出了在视频序列中实行超分辨率的潜力。在视频中，大多数场景信息由相邻的视频帧所共享。帧之间的相似性提供了可以被利用以获得超分辨率的数据冗余。

相反地，在计算机断层扫描中，场景不由相邻的投影所共享。尽管如此，可以通过从形状中得到信息来获得数据冗余，该形状是从一定范围的已知方向观看的。与3d重建进行组合，该方法可以将解决方案引导至更高的分辨率。

本发明的目的是提供一种用于通过应用重建和经训练的神经网络的组合来生成对象或患者、患者或动物的一部分的高质量断层扫描（tomographic）图像的方法。

技术实现要素：

本发明提供了根据权利要求1的方法。

在从属权利要求中阐述了本发明的优选实施例的具体特征。

根据本发明，从低质量投影图像数据开始并且与神经网络组合地使用迭代重建以增强该质量方面来获得对象或患者的断层扫描图像。利用第一组高质量断层扫描图像数据和第二组低质量断层扫描图像数据来训练神经网络。

在本发明的上下文中，图像质量包括噪声含量、分辨率、伪影的存在等。图像质量可能会受在图像照射下的低剂量的使用、单色/多色照射的使用、散射、图像中不想要的（令人烦扰的）对象的存在等所影响。

将进一步详细描述示例。

高质量指代用户期望在处理后获得的图像中的某个方面的质量。

低质量指代用户在获取图像时可以获得的某个方面的质量。

例如，当该方面是分辨率时，高质量图像将具有比可以通过所使用的图像获取系统获得的分辨率更高的分辨率。经良好训练的cnn可以学习先验信息或检索图像上的冗余信息，从而允许我们获得超出奈奎斯特频率的高频信息。

根据以下描述和附图，本发明的进一步优点和实施例将变得清楚。

附图说明

图1图示了cbct图像获取，

图2示出了在训练中使用的网络的概述，

图3示出了由3个cnn组成的具体实施例，

图4示意性地示出了关于断层扫描图像的训练的具体实施例,

图5示意性地示出了所提出的迭代重建方法的具体实施例。

具体实施方式

图1图示了用于生成一组2d图像的锥束图像获取系统，该一组2d图像在重建算法中被用来生成对象的3d图像表示。

x射线源将辐射锥引导朝向对象（例如患者）。通过以不同角度发射辐射锥，生成了一系列二维图像。例如，在360度的范围内生成了400张图像。

借助于与锥束一起移动的二维直接射线照相检测器来检测穿过对象传输的辐射（关于锥束断层扫描对本发明进行了解释，但是本发明同样适用于其他3d图像获取技术，诸如ct和断层合成）。

在计算机上运行的迭代重建算法（诸如，同时迭代重建技术（sirt））被用来生成对象的3d图像表示。这样的重建算法在本领域中是众所周知的。迭代重建步骤与正则化步骤交替进行。正则化步骤是经训练的神经网络，以改进断层扫描图像的图像质量。

重建的图像然后可以存储在存储器中，或者可以连接到显示设备以用于显示和检查，或者可以被发送到打印机以生成硬拷贝图像，或者发送到数字信号处理器以经受进一步的处理等。

方法

神经网络的监督学习

图2图示了根据本发明的神经网络（cnn）的训练。

典型的cnn具有训练和推断阶段。

在训练期间，网络从由高质量和对应低质量的图像或图像块组成的一组示例中进行学习以增强低质量图像。cnn通过调整卷积内核的权重来进行学习，其旨在优化性能指标。

在推断（和测试）期间，使用经训练的网络来对低质量图像进行变换。存在若干个技术以获得更快且更好的学习：残差学习、各种性能指标（mse、ssim、感知）的使用、批标准化、数据扩张（dataaugmentation）……

可以通过使用多线程来改进计算时间。在这种情况下，通过使用针对深度学习的python和theano传统库，并且在gtxtitanx卡上运行该训练。

图3示出了每一个网络组件的详细配置。

使用以下缩写：conv：卷积层，prelu：参数化整流器线性单元，maxpool：最大池化，bn：批标准化，concat：串联（concatenation），s：步幅（stride）……

实验是使用各种网络配置来实行的：

-自动编码器（编码器-解码器）是用于无监督学习的神经网络。它学习针对一组数据的（稀疏）表示（编码），并且具有在噪声降低方面的应用。类似的架构是u-net。

-生成对抗网络：

o在如图4中图示的本发明的具体实施例中，使用了三个cnn，每个cnn具有指定的角色，即：生成器（gen）、鉴别器（disc）和感知）。

ogen网络起到生成输出（out）的作用，该输出模仿了低质量图像输入的高质量图像版本，而disc和感知网络起到评估所生成图像的质量的作用，并且将其提供作为针对gen网络的反馈，以便改进所生成的图像质量。

ogen和disc网络的使用基于生成对抗网络（gan）[goodfellow，ian，jeanpouget-abadie，mehdimirza，bingxu，davidwarde-farley，sherjilozair，aaroncourville和yoshuabengio.“generativeadversarialnets.”inadvancesinneuralinformationprocessingsystems，第2672-2680页，2014年]，该生成对抗网络利用了竞争以胜过彼此的两个网络的概念，即，生成令人信服的高分辨率（hr）真实感图像的gen，以及在实际hr图像与gen生成的图像之间进行区分的disc。

o感知网络基于[johnson，justin，alexandrealahi和lifei-fei.“perceptuallossesforreal-timestyletransferandsuper-resolution”arxivpreprintarxiv：1603.08155（2016）]的工作，该工作旨在针对所生成的图像质量的评价提供评估指标，该指标与人类视觉感知更一致，而不仅仅是采取像素亮度中的差异（例如，mse）。当前的网络布局设计基于针对照片图像的超分辨率的[alexjc，在https://github.com/alexjc/neural-enhance上]的工作。

-训练：

o重新训练：将网络权重初始化成来自经训练的网络的权重（例如，关于摄影图像的超分辨率）。

o无重新训练：网络权重是随机初始化的。

-输入——输出

o一个低质量图像输入——一个高质量图像输出

多个低质量图像输入，其在序列中包含关注的当前图像以及对应先前图像和接下来的图像（例如，来自相邻获取角度或相邻图像切片的投影图像），以及一个高质量输出。这种方法利用了不同图像中的冗余信息。

-具有从输入到输出的旁路（bypass）连接的残差方法需要网络仅将低质量图像与高质量图像之间的差异进行重建，而不必须进行学习以重建lq图像本身。

-尺度（scale）；

o单尺度输入和输出

o具有用于低通输入到输出的旁路连接的双尺度输入。低质量和高质量图像的低通分量（例如，通过高斯滤波）应该相同，因此该方法要求网络进行学习以生成hr的仅高频分量。

-不同的性能指标：感知、mse、mad

可以使用上述配置的任何组合来设置网络（例如，采取三个低质量图像输入并且使用残差和双尺度连接的网络）。

由于网络的训练使用图像块（即，整个图像的小的子区域，该子区域仅包含成像对象或身体部分的一小部分），因此所预期的是，经学习的网络可以普遍适用于各种身体部分的x射线图像。该假设背后的原因是：即使在所获取的对象不同的情况下，来自一个x射线图像的图像块的内容也将具有与其他x射线图像类似或相同的性质。它与迁移学习的思想是一致的，通常使用经良好训练的大型网络（诸如alexnet或googlenet）来将迁移学习应用于照片图像，该大型网络仅通过重新训练最后一层来用于各种任务。由于在这种情况下，任务是相同的（例如，超分辨率），并且图像中只有对象是不同的，因此如果在没有些许重新训练可适用的情况下，则相同网络应当是直接应用的。为了进一步改进经训练的网络的通用性，可以利用变化的退化程度的图像对来使训练数据多样化。以这种方式，预计经训练的网络能够增加针对不同等级的退化的图像质量。

迭代重建校正（图4和图5）

一般的思想是针对由于使用退化的投影图像而引起的偏差来以迭代方式进行校正。在具体实施例中，在计算机上运行的迭代重建算法（诸如，同时迭代重建技术（sirt））被用来生成对象的3d图像表示。

在迭代重建步骤之后，经训练的神经网络被用来增强断层扫描图像的图像质量。

接下来，在下一次迭代中使用增强的断层扫描图像。

在具体实施例中，一种可能的训练方法是使用迭代重建来从非退化的投影图像获得高质量（hq）断层扫描图像。

在附图中，所提到的质量方面是分辨率（高分辨率hr或低分辨率lr），然而，在本发明的上下文中可以设想如所枚举的更高的不同质量方面。

针对不同数量的迭代步骤（n）根据hq投影图像来计算hq断层扫描图像。这些hq断层扫描图像随后被用作针对迭代步骤n+1的初始猜测。针对迭代步骤n+1，通过使用hq和lq投影图像来计算hq和lq断层扫描图像两者。n+1lq和hq断层扫描图像两者被用作针对神经网络的监督学习的输入。可以针对每个n来训练网络，或者可以针对所有n（迭代步骤的数量）来训练通用网络。

可以通过使现有的hq图像退化（例如，降低分辨率）来模拟lq图像。

另一种方法是通过使用经修改的获取协议（例如，去除防散射网格）来获取lq投影图像。

第三种方法将是模拟hq和lq获取。在适定的正向问题（在这种情况下为正向投影）中使用这样的模型方法的优点是；向该模型添加更具真实感的物理性质（physics）（例如，散射）是简单易行的。神经网络将被训练成解决投影图像中的（不适定）逆向问题（例如，减少散射）并且减少最终重建的断层扫描图像中的伪影。

在实际的实现方式中，针对lq投影图像的重建（例如，sirt）实行迭代。接下来，应用经训练的网络来减少退化的影响。随后，所恢复的结果被用作下一个迭代步骤（利用lq投影图像）中的初始猜测。

下面描述了训练数据以及所实现的增强的一些示例。

1.可以通过使用可用的hq投影图像并且通过使用合并、低通滤波或其他方法将它们下采样（ds）为lq投影图像来获取lq投影图像。

另一种方式是通过使用不同的检测器像素大小从相同的对象获取hq和lq图像两者。这可以在真实对象上或利用计算机模型来完成。

针对不同数量的迭代步骤（n），通过对hq投影数据进行迭代重建来获得hq断层扫描图像。针对下一个迭代步骤，使用lq投影数据来获得lq断层扫描图像数据，并且使用hq投影数据来获得hq断层扫描图像数据。在hq和lq断层扫描图像数据上训练神经网络之后，与直接对lq投影数据进行重建相比，在lq投影数据上的经训练的神经网络和迭代重建步骤的接续组合将导致增加的断层扫描图像分辨率。

2.从hq投影数据获得的hq断层扫描图像可以被用作训练数据集，其具有比lq数据集更多的观看方向。这可以通过去除hq数据中的某些观看方向、或者通过获取相同对象的两个数据集来完成。结果，lq断层扫描图像将具有有限的视图伪影。类似地，在有限角度获取中，可以补偿有限角度伪影。

3.通过使用正常剂量数据作为hq和低剂量数据作为lq来训练网络。

获取低剂量数据的一种方式是通过将噪声添加到高质量投影图像。

另一种方式是通过相应地使用不同剂量设置来从相同对象获取hq和lq投影图像两者。这可以在真实对象上或利用计算机模型来完成。

经训练的网络被用来将断层扫描低剂量图像转换成“虚拟的”正常剂量断层扫描图像。

4.从相同对象获取hq和lq投影图像。hq已经减少/没有散射。这可以通过使用防散射网格来实现。

另一种方式是使用计算机模型方法，并且通过模拟散射（例如，蒙特卡洛模拟、散射内核）来生成lq图像，并且通过不包括散射（例如，射线跟踪）来生成hq。

在从hq和lq投影数据获得的hq和lq断层扫描数据上训练神经网络之后，迭代重建和经训练的神经网络的组合将导致断层扫描图像中的散射伪影减少。

5.从相同对象获取hq和lq投影图像。hq是用单色x射线获取的，并且lq是用不同的x射线谱（诸如多色x射线）获取的。这可以通过使用如下计算机模型来实现，在该计算机模型中，穿过材料的多色透射被包括和排除。在从hq和lq投影数据获得的hq和lq断层扫描数据上训练神经网络之后，迭代重建和经训练的（一个或多个）神经网络的组合将导致断层扫描图像中的射束硬化伪影的减少。

6.从某个（计算机建模的）对象获取hq投影图像，从相同的对象但是在具有某种伪影诱发材料（例如，金属）的情况下获取lq投影图像。在从hq和lq投影数据获得的hq和lq断层扫描数据上训练神经网络之后，迭代重建和经训练的神经网络的组合将导致由伪影诱发材料引入的伪影的减少。

7.可以顺序地推断出上述经训练的网络。还可以结合上述退化来训练该网络。

8.类似的方法可以应用于正弦图。相反地，正弦图中的x轴表示不同的观看方向。为了获得更多信息，可以考虑相邻的正弦图。

在另一个实施例中，可以通过针对一组投影图像使用不同的迭代重建算法（高级的和标准的）来获取hq和lq断层扫描图像。

作为标准的迭代重建，可以采用基础代数重建（例如，sart）。

作为高级的迭代重建，可以使用更高级的方法，诸如具有正则化项的基于模型的迭代方法。本领域已知的一些示例是：总变化最小化、散射校正、射束硬化校正、运动补偿、未对准校正（misalignmentcorrection）、截断（truncation）等。

另一种高级重建方法是基于似然的迭代期望最大化算法。以这种方式，快速地执行重建步骤，并且经训练的神经网络将模拟高级正则化项。

此外，某些补偿需要麻烦的数据相关调整。该调整也可以由网络来训练。

另一种方法是：与高级重建相比，针对标准重建采取更少的迭代或者更大的体素大小，并且让神经网络对此进行补偿。