使用机器学习正则化器的图像重建的制作方法
相关申请
本申请要求2017年9月22日提交的美国临时申请no.62/562,165和2018年1月31日提交的美国临时申请no.62/624,663的优先权，上述申请通过引用并入本文。
背景技术：
断层摄影(temography)是通过使用各种穿透波对3d对象进行切片或切面成像。断层摄影重建是一种用于重建对象3d图像的数学过程。例如，x射线计算机断层摄影可以从多个投影射线照片产生图像。断层摄影重建是一种多维逆问题，涉及从有限数量的投影中得出特定对象的估计值的挑战。数据不足导致重建伪影，该重建伪影的严重性因特定问题、所使用的重建方法和要成像的对象而异。机器学习已经被用于数据不足的断层摄影问题中。然而，与机器学习相关联的挑战是机器学习模型可能引入来自用于训练机器学习模型的学习数据集的偏差。过去，在断层摄影重建的后处理中使用机器学习以改善重建，结果要么接受由机器学习模型引入的训练数据偏差，要么限制可以使用机器学习的积极性。
技术实现要素：
嵌入式机器学习模型可以用作迭代重建方法中的正则化器，以便限制训练数据引入的偏差，同时充分利用成像的对象以提高图像重建的质量。本文描述了一种改善图像重建质量的框架，该框架通过保持与观测的数据的一致性来限制学习数据集的偏差。机器学习模型可以作为正则化器嵌入到重建过程中，以引入可能成像的对象的预期特征和特性，和/或以减少由重建方法引入的伪影。目标函数的最小化使解与观测结果保持一致，并限制了机器学习正则化器引入的偏差，从而提高了重建的质量。该技术可以用作通用框架，该通用框架可以应用于可能受到数据不足限制的任何图像重建问题(例如mr、ct、断层合成、超声等)。
因此，已经相当广泛地概述了本发明的更重要的特征，以便可以更好地理解下面的详细描述，并且可以更好地理解本发明对本领域的贡献。通过下面结合附图和权利要求书对本发明的详细描述，本发明的其他特征将变得更加清楚，或者可以通过本发明的实践而获悉本发明的其他特征。
附图说明
图1是根据本技术的示例的嵌入在迭代重建技术中的深度学习正则化器(nn)的示意图。
图2是示出根据本技术的示例的被配置为使用包括作为正则化器的机器学习模型的迭代重建技术的示例成像系统的框图。
图3是示出根据本技术的示例的包括与成像系统通信的计算环境的示例系统的框图。
图4是示出根据本技术的另一示例的在图像重建过程中使用学习数据集训练机器学习模型并且测试该机器学习模型作为正则化器的示例的流程图。
图5是示出根据本技术的另一示例的用于训练多个机器学习模型的示例方法的流程图，这些机器学习模型可以在迭代重建技术的不同阶段作为正则化器被并入。
图6是示出根据本技术的另一示例的用于使用包括作为正则化滤波器的机器学习模型的迭代重建技术来重建图像和/或减少由目标对象的重建方法引入的伪影的示例方法的流程图。
图7是示出根据本技术的示例的计算设备的示例的框图，该计算设备可以用于执行使用迭代重建技术来重建目标对象的图像的方法。
图8是与本技术的示例实施方式相关联的来自源ct数据集的随机采样，以描绘数据集中的变化。
图9示出与本技术的示例实施方式相关联的使用cnn作为正则化器的断层合成过程的下腰部区域和上胸部区域的视觉结果。
图10示出与本技术的示例实施方式相关联的使用cnn作为正则化器的断层合成过程的上胸部区域的视觉结果。
图11是示出与本技术的示例实施方式相关联的相对于地面实况(groundtruth)的互相关的折线图。
提供这些附图是为了说明本发明的各个方面，并且无意于在尺寸、材料、配置、布置或比例方面限制范围，除非权利要求另有限制。
具体实施方式
尽管充分详细地描述了这些示例性实施例以使本领域技术人员能够实践本发明，但是应当理解，可以实施其他实施例并且可以在不脱离本发明的精神和范围的情况下对本发明进行各种改变。因此，本发明的实施例的以下更详细的描述并非旨在限制所要求保护的本发明的范围，而是仅出于说明而非限制的目的提供本发明，以描述本发明的特征和特性，阐明本发明的最佳操作方式，并且使本领域技术人员充分地实践本发明。因此，本发明的范围仅由所附权利要求书限定。
定义
在描述和要求保护本发明时，将使用以下术语。
除非上下文另外明确规定，否则单数形式“一个”、“一种”和“该/所述”包括复数指示物。因此，例如，对“正则化器”的引用包括对一个或多个这样的特征的引用，并且对“使……经受”的引用是对一个或多个这样的步骤的引用。
如本文所使用的，术语“大约”用于提供与给定术语、度量或值相关联的弹性和不精确性。本领域技术人员可以容易地确定特定变量的弹性的程度。然而，除非另有说明，否则术语“大约”通常表示弹性小于2％，并且通常小于1％，在某些情况下小于0.01％。
如本文中所使用的，“正则化器”是指在不适定的逆问题中用于引入先验信息并且将解偏向一类预期解的模型。断层摄影重建中的典型正则化器是密度约束(例如，正约束)和平滑度约束(例如，总变差)，尽管可以使用其他约束。
如本文所使用的，“机器学习”是指基于建模过程的输入和输出来标识和开发复杂的多参数的过程模型的方法。
如本文所使用的，“深度学习正则化器”或“丰富的先验正则化器”是指多参数正则化器，其足够复杂以便预测解剖结构形状并且使非自然重建伪影最小化。大多数情况下，这些正则化器包含10个以上、20个以上或30个以上的参数，并且在某些情况下，其包含100个以上、1,000个以上或1,000,000个以上的参数。丰富的先验正则化器通常可以使用经由机器学习训练的非线性卷积神经网络。
如本文中所使用的，经由机器学习训练的丰富的先验正则化器被称为机器学习模型。
如本文中所使用的，为了方便，可以在公共列表中呈现多个项目、结构元素、组成元素和/或材料。然而，这些列表应被解释为列表中的每个成员都被单独标识为单独且唯一的成员。因此，在没有相反的指示的情况下，不应仅基于他们在公共组中出现而将此列表中的单个成员解释为相同列表的任何其他成员的事实上的等同物。
如本文中所使用的，术语“……中的至少一个”旨在与“……中的一个或多个”同义。例如，“a、b和c中的至少一个”明确地包括仅a、仅b、仅c以及每一个的组合。
浓度、量和其他数值数据可以在本文中以范围格式呈现。应当理解，这样的范围格式的使用仅是为了方便和简洁，并且应该灵活地解释为不仅包括明确记载为范围极限的数值，而是还包括该范围内涵盖的所有单独的数值或子范围，就好像每个数值和子范围都被明确记载一样。例如，大约1至大约4.5的数值范围应解释为不仅包括明确记载的1至大约4.5的极限值，而是还包括单独的数字(诸如2、3、4)和子范围(诸如1至3、2至4等)。相同的原理适用于仅记载一个数值的范围，例如“小于大约4.5”，应将其解释为包括所有以上记载的值和范围。此外，无论所描述的范围的广度或特性如何，都应采用这种解释。
在任何方法或过程权利要求中记载的任何步骤可以以任何顺序执行，并且不限于权利要求中所呈现的顺序。对于特定权利要求限制，仅在该限制中存在以下所有条件的情况下，才采用装置加功能或步骤加功能的限制：a)明确记载“用于…的装置”或“用于…的步骤”；b)明确记载相应的功能。在本文的描述中明确叙述了支持装置加功能的结构、材料或动作。因此，本发明的范围应仅由所附权利要求及其合法等同物确定，而不是由本文给出的描述和示例确定。
本技术
描述了一种用于成像系统的技术，该成像系统被配置为使用迭代重建技术，该迭代重建技术包括作为正则化器的机器学习模型以重建目标对象的图像。在将机器学习部署到成像系统之前，可以使用多个学习数据集对机器学习模型进行训练，以限制训练数据引入的偏差。然后，机器学习模型可以被部署到成像系统中，在该系统中，机器学习模型可以被包含在迭代重建技术中，以引入成像的目标对象的特征和特性，作为重建目标对象图像的一部分。
在一个示例中，使用至少两个学习数据集来训练机器学习模型，该至少两个学习数据集包括与要使用成像技术成像的对象相对应的图像，该成像技术包括但不限于：医学成像、计算机断层摄影(ct)、断层合成(包括实时锥形束断层合成)、诊断成像、介入和外科手术成像。机器学习模型可以包括但不限于神经网络(nn)模型、卷积神经网络(cnn)模型、深度神经网络(dnn)模型等。学习数据集可以包括高质量(高分辨率)的图像和较低质量(低分辨率)的图像，在某些情况下还包括人造或模拟数据。高质量的图像可以提供用于监督机器学习模型的学习的地面实况数据或对象数据，并且较低质量的图像可以被提供作为机器学习模型的学习输入。因此，可以使用学习数据集训练机器学习模型。此外，这样的机器学习模型可以减少和消除重建伪影、较差的实施算法、编码错误、次优设计等。还可以执行数据扩充以改善训练数据集。数据扩充可以包括但不限于跨中心轴线翻转图像(例如上下、左右等)、缩放、变焦等。类似地，学习数据集和训练数据集可以包括从各种成像模态收集的数据(例如mr数据可以用在ct重建的ml正则化器中)。
经过训练后，机器学习模型可以被提供给成像系统，以在用于重建目标对象的图像的迭代重建技术中用作正则化器。成像系统可以被配置为使用由成像系统获取的成像数据和包括机器学习模型的迭代重建技术执行目标对象的图像重建。例如，成像系统可以配置为使用关于目标对象的先验信息和使用成像模态获得的当前图像数据，以经由迭代重建过程产生目标对象的重建的图像，该迭代重建过程机器学习模型并入以细化重建的图像中的特征。在一些示例中，可以使用由成像系统生成的图像数据经由机器学习模型的细化训练来更新机器学习模型。作为示例，可以在迭代重建技术的一个或多个阶段期间使用由成像系统当前生成的图像数据更新机器学习模型。
本技术解决了与过去使用机器学习以重建图像有关的问题。例如，机器学习模型可以引入来自用于训练机器学习模型的学习数据集的偏差。因此，在过去，用户要么不得不接受由机器学习模型引入的训练数据偏差，要么用户不得不限制使用机器学习以重建图像的积极性。作为本技术的结果，可以最小化或消除由机器学习引入的偏差。例如，当使用机器学习模型时，可以使用迭代重建过程进一步重建正则化的早期图像重建，以恢复数据一致性并消除由机器学习模型引入的偏差，这在后期图像重建中可以是明显的。在恢复数据一致性的同时，当后期图像重建通过后期机器学习模型时，可以消除图像伪影，这可以导致无伪影的无偏差的图像重建。
为了进一步描述本技术，现在参考附图提供示例。图1是包括嵌入在用于重建图像的迭代重建技术100中的深度学习神经网络(nn)正则化器的迭代重建技术100的示意图。在一个示例中，迭代重建技术100可以从图像数据获取102步骤开始，其中图像数据可以从成像模态中获取，成像模态包括但不限于计算机断层摄影(ct)、x射线、超声或核磁共振成像(mri)。例如，可以通过从多个角度获取目标对象的多个投影以从各种角度产生多个图像(例如，用于产生3d图像)来生成图像体积x。目标对象可以包括但不限于人类、动物、人工制品和/或样本的各种解剖结构、结构或组成。
图像体积x可以被前向投影(fpj)以产生二维(2d)投影集或测量数据集(例如原始mri数据)。图像体积x可以提供地面实况数据(例如，观测数据)。图1所示的虚线表示检测器坐标系中的2d投影数据，并且实黑线表示世界坐标系中的三维(3d)体积数据。所获取的图像与图像重建的前向投影之间的差可以被反投影(bpj)到3d空间中，以获得更新体积ε。在将更新添加到图像重建之后，深度学习正则化器(诸如神经网络(nn))可以产生更新后的解
可以训练深度学习nn正则化器以学习关于图像体积x中表示的目标对象的先验信息，并且深度学习nn正则化器可以被嵌入在用于重建图像体积x中所表示的目标对象的图像的迭代重建技术100中。迭代重建过程的每个步骤都可以提高图像重建的质量，并且深度学习nn正则化器可以通过并入关于目标对象的先验知识限制解空间。例如，在迭代重建技术100中可以分别使用正性或平滑性约束以加强被成像的目标对象的图像仅包含正值的知识，或者目标对象的图像具有跨均匀区域的指定平滑度的知识。图1示出除了标准正则化器之外还可以使用nn正则化器。nn正则化器是线性的，并且最终也学习以应用类似的约束。例如，通常可以使用与空气(-1000hu)和水(0hu)之间的水平相对应的正性约束以减少断层合成伪影。可以通过利用总变差(tv)进行正则化施加平滑度。
在迭代重建技术100中包括深度学习nn正则化器可以以加速的速率将解推向合理的物理解，从而产生迭代重建技术100的改进的收敛性。迭代重建技术100能够使用收缩和对称扩展路径来标识上下文特征和局部特征。在一个示例中，深度学习nn正则化器可以在分别来自重建的体积和地面实况的2d切片上使用欧几里得损失函数(euclideanlossfunction)被训练为回归网络。实际上，在迭代重建过程的每次迭代之后，训练深度学习nn正则化器可能是不利的。在锥形束ct或锥形束断层合成中，在3d体积上使用损耗可以更有利地将其训练为回归网络。因此，在一些示例中，在迭代重建过程的多次迭代之后周期性地训练深度学习nn正则化器。作为非限制性示例，可以运行迭代重建过程的10次迭代(迭代总数的1/5)，并且然后可以训练深度学习nn正则化器(例如，使用第二学习数据集)，并且由深度学习nn正则化器输出的预测可以被输入到迭代重建技术100的循环中。然而，作为一般准则，在迭代步骤之间可以发生大约1次迭代到100次迭代，并且在许多情况下，可以发生5次到10次迭代。在一个示例中，第二学习数据集可以包括正被扫描的目标对象的实际图像数据。例如，可以扫描目标对象，并且可以将通过扫描生成的图像数据用于在迭代重建过程的迭代之间进一步训练深度学习nn正则化器。
如后面更详细地描述的，可以使用学习数据集执行训练深度学习nn正则化器，该学习数据集包括与要使用成像模态成像的目标对象有关的图像数据。学习数据集可以包括从例如一群个体收集的目标对象的图像扫描，其中该一群个体可以包括要扫描的个体。图像数据获取102可以通过虚拟地扫描学习数据集(例如，虚拟患者)模拟。在使用学习数据集训练深度学习nn正则化器时，解可以是已知的(例如，学习数据集可以提供目标对象的清晰图片)，并且因此，学习数据集可以在深度学习nn正则化器的训练过程中用作地面实况数据。在训练深度学习nn正则化器之后，训练后的深度学习nn正则化器可以被拟合为迭代重建技术100的图1所示的nn块。
图2是示出被配置为使用上述迭代重建技术的示例成像系统202的框图。如图所示，成像系统202可以包括被配置为生成目标对象的图像数据集的成像模态204、用于承载迭代图像重建模块206和图像显示模块210的计算设备212，该迭代图像重建模块206被配置为执行利用机器学习模型208作为正则化器以重建目标对象的图像的迭代重建技术，图像显示模块210被配置为显示重建的图像。
成像系统202的组件可以被包含在工作站中，或者成像系统202的组件可以被分开定位并且可以被配置为通过网络(例如，局域网(lan)、广域网(wlan)、短距离网络协议等)彼此通信。成像模态204可以是并入有例如x射线射线照相、x射线计算机断层摄影、核磁共振成像、医学超声检测或超声、内窥镜检查、弹性成像、触觉成像、热成像和/或医学摄影和核医学功能成像技术(如正电子发射断层摄影(pet)和单光子发射计算机断层摄影(spect))的任何成像设备。在一个示例中，成像模态204可以是计算机断层摄影(ct)扫描仪、断层合成系统或超声成像系统。应当理解，本文未具体描述的成像模态也在本公开的范围内。例如，诸如在美国专利no.10,070,828和美国申请公开no.2017-0200271-a1中描述的成像系统(二者均通过引用并入本文)是用于图像重建的特别有效的系统。
如所指示的，计算设备212可以被配置为承载迭代图像重建模块206，其在计算设备212上执行时，使用包括作为正则化器的机器学习模型208的迭代重建技术以将对象特征和约束(例如密度、边界、曲线等)引入到要重建的目标对象的图像中，来重建目标对象的图像。在用于重建目标对象的图像的重建过程的一次或多次迭代之后，机器学习模型208的输出可以被提供为重建过程的下一次迭代的输入。在一个示例中，如结合图5所描述的，迭代图像重建模块206可以包括在迭代重建技术的不同阶段用作正则化器的多个机器学习模型208。
可以使用学习数据集训练机器学习模型以标识对象特征，该学习数据集包括与要使用成像模态204成像的目标对象有关的图像数据，并且机器学习模型208可以用作正则化器以将对象特征引入正在重建的目标对象的图像中。在一个示例中，机器学习模型208可以是使用欧几里得损失函数被训练为回归网络的卷积神经网络(cnn)，并且用于训练cnn的学习数据集可以包括重建的图像体积(例如，重建的图像的集合)和地面实况图像体积(例如，包括对象的实际图像的地面实况图像的集合)的3d体积数据和/或2d切片。在一个示例中，如结合图3所描述的，可以使用远程计算资源训练机器学习模型208，并且可以将机器学习模型208部署到计算设备212，以供迭代图像重建模块206使用。
计算设备212可以包括基于处理器的系统，并且可以包括能够从成像模态204接收图像数据并且将重建的图像数据输出到图像显示模块210以及承载迭代图像重建模块206的任何这样的设备。图像显示模块210可以被配置为将重建的图像输出到显示设备214，该显示设备214包括监视器、移动设备或其他类型的显示器，以用于将重建的图像呈现给诸如医学专业人员的用户。
图3是示出如关于图2所描述的包括计算环境302(例如，“云”环境)和成像系统310的示例系统300的框图。计算环境302可以包括用于训练机器学习模型312的计算资源。在一个示例中，计算资源可以被配置为执行可以用于机器学习训练304的虚拟机(例如，计算实例)，其中虚拟机可以是被配置为仿真物理机的机器(即，计算机)的软件实施方式的实例。在一个示例中，计算环境302可以是由计算服务提供商(例如，“云”提供商)提供的管理服务，其中计算资源包括gpu。
在一个示例中，可以使用计算环境302中的学习数据集306和计算资源训练机器学习模型312。学习数据集306可以包括从在学习数据集306中提供较大可变性的机构、扫描设备和个体的不同集合中获得的图像数据(例如，要使用成像系统310扫描的目标对象的ct扫描)。图4示出在图像重建过程中使用学习数据集306训练机器学习模型312并且测试机器学习模型312作为正则化器的示例。如图4所示，ct扫描402可以用于创建地面实况数据404，该地面实况数据404可以被包括在用于机器学习训练304的ct数据集406中。在ct数据集406被虚拟地扫描以模拟对目标对象的扫描的情况下，可以执行模拟获取408。在模拟中，解可以是已知的，并且ct数据集406可以在训练机器学习模型312中用作地面实况。
可以使用ct数据集406执行断层合成410以生成早期图像重建412，该早期图像重建412可以用作训练数据集以训练414机器学习模型312。由训练414生成的正则化早期图像重建416可以用于继续断层合成418。断层合成418生成的后期图像重建420可以用于机器学习模型312的进一步训练422，并且生成正则化后期重建424。在又一可替代方案中，ct扫描402可以用于直接更新，并且在训练414和训练422时作为深度学习正则化器的输入。训练过程可以包括沿着轴向平面对地面实况图像和重建的图像进行切片以生成2d切片，该2d切片可以用于使用欧几里得损失训练机器学习模型312。而且，机器学习模型312可以利用使用利用符号数学库(例如，开源软件库tensorflow)的数据流编程来实施的随机梯度下降进行训练。从具有标准差为
返回图3，在训练之后，机器学习模型312可以被部署到成像系统310。机器学习模型312可以作为正则化器并入迭代图像重建模块314使用的迭代重建技术中以重建图像。而且，在一些示例中，可以使用计算环境302中的计算资源周期性地训练/再训练机器学习模型312，并且可以将机器学习模型312重新部署到成像系统310。
在一个示例中，由成像系统310生成的图像数据集可以被发送到计算环境302中承载的数据存储库316，并且该图像数据集可以用于机器学习训练304。图像数据集可以包括由成像系统310中包括的成像模态生成的图像扫描和/或由成像系统310中包括的迭代图像重建模块314生成的重建的图像。此外，多个成像系统310可以用于更新公共计算环境302。这样，随着更多的成像系统提供进一步细化训练数据集的附加扫描数据，学习数据集306可以不断更新。
在可替代示例中，迭代图像重建模块314可以承载在计算环境302中的计算资源上。成像系统310可以经由网络308与迭代图像重建模块314通信以发送由成像模态生成的图像数据，并且响应于接收到图像数据，迭代图像重建模块314可以使用图像数据和先前描述的迭代重建技术重建目标对象的图像。迭代图像重建模块314可以使重建的图像通过网络308发送到成像系统310，使得重建的图像可用于成像系统310的用户。
计算环境302内包含的各种处理和/或其他功能可以在与一个或多个存储器模块通信的一个或多个处理器上执行。计算环境302可以包括例如布置在一个或多个服务器库或计算机库或其他布置中的多个计算设备。计算设备可以使用管理程序、虚拟机监视器(vmm)、gpu和其他虚拟化软件支持计算环境。术语“数据存储库”可以指能够存储、访问、组织和/或检索数据的任何设备或设备组合，其中可以包括任何组合和数量的数据服务器、关系数据库、面向对象的数据库、集群存储系统、数据存储设备、数据仓库、任何集中式\分布式或群集环境中的平面文件和数据存储配置。数据存储库的存储系统组件可以包括诸如san(存储区域网络)、云存储网络、易失性或非易失性ram、光学介质或硬盘类型的介质之类的存储系统。如可以理解的，数据存储库可以代表多个数据存储库。
可以根据包括但不限于代表性状态转移(rest)技术或简单对象访问协议(soap)技术的不同技术实施与被包括在计算环境302中的模块和服务有关的api调用、过程调用或其他网络命令。rest是分布式超媒体系统的架构样式。restfulapi(也可以称为restfulweb服务)是使用http技术和rest技术实施的web服务api。soap是一种用于在基于web的服务的上下文中交换信息的协议。
网络308可以包括任何有用的计算网络，包括内联网、互联网、局域网、广域网、无线数据网络或任何其他这样的网络或其组合。用于这种系统的组件可以至少部分取决于所选择的网络和/或环境的类型。通过有线或无线连接及其组合可以启用通过网络的通信。
图2至图3示出可以结合该技术讨论某些处理模块，并且这些处理模块可以被实施为计算服务。在一个示例配置中，模块可以被视为是具有在服务器或其他计算机硬件上执行的一个或多个进程的服务。这样的服务可以是集中承载的功能或者是可以接收请求并向其他服务或消费者设备提供输出的服务应用。例如，可以将提供服务的模块视为承载在服务器、虚拟服务环境、网格或群集计算系统中的按需计算。可以为每个模块提供api，以使第二模块能够向第一模块发送请求并且接收来自第一模块的输出。这样的api还可以允许第三方与模块进行接口连接，并且从模块进行请求和接收输出。虽然图2至图3示出可以实施上述技术的系统的示例，但许多其他类似或不同的环境也是可能的。上面讨论和说明的示例环境仅是代表性的而不是限制性的。
图6是示出使用包括作为正则化滤波器的机器学习模型的迭代重建技术来重建目标对象的图像的示例方法的流程图。如在框610中，可以接收使用成像模态生成的目标对象的图像数据集。图像数据集可以从成像模态接收，该成像模态被配置为生成使用该成像模态成像的目标对象的图像数据集。在一个示例中，成像模态可以包括但不限于计算机断层摄影(ct)扫描仪、断层合成系统或超声成像系统。
如在框620中，可以使用迭代重建技术来重建目标对象的图像，该迭代重建技术包括作为正则化滤波器的机器学习模型，该机器学习模型部分地用于重建目标对象的图像。如在框630中，在接收图像数据之前，可以使用具有与要使用成像模态成像的目标对象相关联的图像数据的学习数据集训练机器学习模型，其中学习数据集提供用于训练机器学习模型的对象数据。在一个示例中，机器学习模型可以是被训练为回归网络的卷积神经网络(cnn)。
在一个示例中，训练机器学习模型可以包括使用模拟器和图像体积生成重建的图像，并且使用重建的图像和地面实况图像生成沿轴向平面切片的2d图像，并且使用2d图像训练机器学习模型。重建的图像可以提供用于重建目标对象的图像的中间解，并且重建的图像可以用于调整权重以教导机器学习模型以确定由地面实况图像提供的地面实况。
类似地，可以使用3d图像训练机器学习模型。这对于解决具有仅从2d切片看不到的3d相关性的伪影和图案是有价值的。这样的3d训练数据集对于锥形束ct、锥形束断层合成等尤其有用。
用于训练机器学习模型的学习数据集可以包括至少两个学习数据集，其中第一学习数据集包括提供地面实况数据的较高质量的数据集，并且与第一学习数据集相比，第二学习数据集包括较低质量的数据集，其为机器学习模型提供训练输入数据。在一个示例中，较高质量的数据集可以包括与目标对象相关联的对象的高剂量成像扫描，并且较低质量的数据集可以包括与目标对象相关联的对象的低剂量扫描。
如在框630中，机器学习模型被包括在迭代重建技术中，以将对象特征引入正在重建的目标对象的图像中。在一个示例中，迭代重建技术可以包括：前向投影地面实况图像体积以产生二维(2d)投影集；确定图像数据集与2d投影集之间的差；通过将差反投影到三维空间中来获得更新体积；将更新体积并入到目标对象的图像的重建中；并且将机器学习模型作为正则化滤波器应用到图像的重建中以产生图像的更新后的重建。
在用于重建目标对象的图像的重建过程的迭代之后，可以将机器学习模型的输出作为输入提供给重建过程的下一次迭代。此外，在一个示例中，在执行迭代重建技术期间可以使用由成像模态生成的图像数据更新机器学习模型，其中在迭代重建技术的一个或多个阶段期间可以使用图像数据训练机器学习模型。
在一个示例中，迭代重建技术可以包括在迭代重建技术的不同阶段用作正则化器的多个机器学习模型，并且在一些示例中，迭代重建技术可以包括用作重建目标对象图像的一部分的至少一个非机器学习正则化滤波器。同样，在一些示例中，可以利用与要使用成像模态扫描的患者相关联的患者数据集扩充学习数据集。可以在扫描患者之前、扫描患者之后和/或在扫描患者期间利用患者数据集扩充学习数据集。
图7示出可以在其上执行该技术的服务模块的计算设备710。计算设备710被示出为在其上可以执行该技术的高级示例。计算设备710可以包括与存储器设备720通信的一个或多个处理器712。计算设备710可以包括用于计算设备中的组件的本地通信接口718。例如，本地通信接口718可以是本地数据总线和/或如可以期望的任何相关地址总线或控制总线。
存储器设备720可以包含可由(一个或多个)处理器712执行的模块724和用于模块724提供各种服务的数据。在一个方面中，存储器设备720可以包括用于迭代图像重建模块的模块和其他模块。数据存储库722也可以位于存储器设备720中，用于存储与模块724和其他应用程序有关的数据，连同由(一个或多个)处理器712可执行的操作系统。
其他应用也可以存储在存储器设备720中，并且可由(一个或多个)处理器712执行。本说明书中讨论的组件或模块可以使用高级编程语言以软件的形式实施，该高级编程语言可以使用方法的混合来编译、解译或执行。
计算设备还可以访问计算设备可用的i/o(输入/输出)设备714。i/o设备的示例是可用于显示来自计算设备730的输出的显示屏830。联网设备716和类似的通信设备可以被包括在计算设备中。联网设备716可以是连接到互联网、lan、wan或其他计算网络的有线或无线联网设备。
被示出为存储在存储器设备720中的组件或模块可以由(一个或多个)处理器712执行。术语“可执行”可以意味着呈可以由处理器712执行的形式的程序文件。例如，以更高级语言的程序可以被编译为呈可以被加载到存储器设备720的随机访问部分中并且由处理器712执行的格式的机器代码，或者可以由另一个可执行程序加载源代码并且将其解译，以在存储器的随机访问部分中生成要由处理器执行的指令。可执行程序可以存储在存储器设备720的任何部分或组件中。例如，存储器设备720可以是随机存取存储器(ram)、只读存储器(rom)、闪存、固态驱动器、存储器卡、硬盘驱动器、光盘、软盘、磁带或任何其他存储器组件。
处理器712可以表示包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、fpga或以上的集群的多个处理器，并且存储器设备720可以表示与处理电路并行操作的多个存储器单元。这可以为系统中的进程和数据提供并行处理通道。本地通信接口718可以用作网络以促进多个处理器中的任何一个与多个存储器之间的通信。本地通信接口718可以使用被设计用于协调通信的附加系统，诸如负载平衡系统、批量数据传输系统和类似系统。
示例
当与各种技术一起使用时，本文描述的技术已经显示出提供与图像重建相关联的益处。以下是已经成功实施该技术的示例。锥形束断层合成(cbt)透视是一种提供近实时3d成像的新颖模态。实时性能可以通过在圆形断层合成几何体上生成透视获取并且将透视获取用于快速的基于模型的重建来实现。cbt透视可以用于外科手术或介入放射学中的图像指导。cbt透视的限制是沿断层合成轴线缺乏分辨率。通过使用卷积神经网络(cnn)作为正则化器，作为断层合成过程的一部分以提高图像分辨率，该技术已被用于提高cbt透视的质量。
在重建过程中的不同阶段，不同的cnn可以用作正则化器。早期cnn将更多数据(包括沿断层合成轴线的数据)添加到图像重建，但也可能添加来自学习数据集的偏差。后期cnn细化重建的特征，并限制了学习数据集引入的偏差。该方法可以将解推向可能的物理解，从而使迭代重建技术具有更好更快的收敛性。
通过定量测量断层合成早期阶段和后期阶段的误差，分析了正则化器的性能和重建的质量。已经评估学习数据集引入的偏差，并且已经执行统计分析，以确定机器学习过程降低与观测的数据的一致性的情况的百分比。
实施与学习
通过在cbt透视配置中虚拟扫描ct数据集(例如虚拟患者)模拟获取过程。在模拟中，解是已知的，并且ct数据集被用作cnn的学习过程中的地面实况。由于在重建过程的每次迭代之后与训练cnn相关联的实际考虑，仅以le-2的恒定学习率和0.99的动量训练两个不同的cnn(即早期cnn和后期cnn)。早期重建是使用迭代重建技术的几次迭代生成的，并且早期重建被用作训练早期cnn的训练数据集。沿轴向平面对地面实况和训练数据集进行切片，以生成2d切片，该2d切片用于将cnn训练为回归网络。早期cnn的预测(“cnn正则化的早期重建”)用于继续断层合成过程以生成后期重建(“cnn正则化的后期重建”)。将后期cnn应用于后期重建，以生成cnn正则化的后期重建。
网络架构
在早期cnn和后期cnn的设置中，都使用了包括编码器和解码器的cnn架构作为正则化器。网络包括4层，第一层具有64个特征通道。编码器包括两个3×3卷积，然后是修正线性单元(relu)和2×2max池，步幅为2用于下采样。解码器补充(complemented)编码器，其中每一层包括特征图的上采样，然后是2×2的上卷积，然后是带有relu层的两个3×3卷积。在每个下采样步骤中，特征通道均减少到原来的二分之一，并且在每个上采样后均增加一倍。通过将具有相同数量的特征通道的层连接起来，在编码器和解码器之间建立跳过(skip)连接。上面的架构使得能够使用收缩和对称扩展路径探索上下文特征和局部特征。在卷积中使用零填充，使得每次卷积后图像尺寸保持不变。解码之后，在解码器之后使用l×l卷积计算欧几里得损失，以将解码器的最后一层的输出通道数减少到一个。所使用的欧几里得损失层计算预测值与地面实况的差的平方和，表示为
训练数据
源数据集包含53,000个原始ct扫描，主要来自整个欧盟和拉丁美洲。扫描来自各种机构、扫描仪和个体，在学习数据集中提供大的可变性。源数据集中的差异包括患者尺寸、胸腔区域和患者位置。图8提供源数据集中的数据变化的图形表示。从源数据集中提取大量(即9,700个)的脊柱数据集，并将其均化为256×256×256的尺寸。cnn的训练每次扫描使用三个切片。在9700次扫描中，将8500次扫描用作训练数据集，并且将1200次扫描用作测试数据集，并且将来自训练数据集的945次扫描用于验证目的。
基础设施
位于计算环境(例如“云”环境)中的计算资源用于从ct扫描生成3d体积，训练嵌入在重建过程中的cnn正则化器，并且测试正则化器。
视觉分析
用于评估的典型数据集来自人体的上胸部区域和下腰部区域。在图9中示出来自下腰部区域和上胸部区域的数据集在处理的不同阶段的重建，其中从左到右是：早期重建、cnn正则化的早期重建、后期重建、cnn正则化的后期重建和地面实况。图10示出上胸部区域的数据集，其中从左到右是：早期重建、cnn正则化的早期重建、后期重建、cnn正则化的后期重建和地面实况。
由于数据不足，由断层合成过程引入的早期重建中的伪影减少，从而导致沿cnn正则化的早期重建的断层合成轴的图像复原。然而，cnn的普遍性使cnn正则化的早期重建偏向训练数据集。例如，图9示出在cnn正则化的早期重建中较不可见前椎骨壁的情况。当经由迭代重建过程进一步重建cnn正则化的早期重建时，可以通过消除cnn引入的偏差恢复数据一致性，这可以在后期重建中看到。在恢复数据一致性的同时，还会出现方法伪影(诸如亮角)。当后期重建通过后期cnn时，可以进一步去除断层合成过程引入的伪影，从而得到无伪影或几乎无伪影的无偏差的重建。
定量分析
对重建体积和投影都进行了定量分析和比较分析。重建体积与其地面实况的比较提供了重建的质量的度量。测量的投影与解的重新投影之间的互相关可以指示与测量的数据的一致性。下表1示出重建体积和投影之间的平均和标准差互相关数据。
表1：关于地面实况的互相关
随着重建的发展，重建的质量增加，如图11中的重建的体积所示。从早期重建到cnn正则化的早期重建到后期重建到cnn正则化的后期重建，与测量数据的一致性增加，但是从后期重建到cnn正则化的后期重建的一致性降低。
尽管早期重建投影与cnn正则化的早期重建之间的互相关平均增加，但在医学成像中，确保数据集中每个元素的互相关值增加可以是有益的。如下表2所示，与早期重建投影相比，14.7％的cnn正则化的早期重建投影与地面实况的相关性较低，这可能表明在某些情况下，cnn正则化器导致数据与观测的数据不一致。但是，如表3所示，当测量后期重建投影和早期重建投影之间的互相关时，可以恢复数据一致性，这说明了在断层合成过程中嵌入cnn正则化器以减轻cnn正则化器引入的偏差的益处。
表2：投影尺寸数据集的百分比分析：1200
表3：数据集的体积尺寸的百分比分析：1200
因此，本文描述的使用来自cnn的先验信息的新颖技术改进了数据断层摄影。该技术提供了一个框架，该框架解决在数据不足时执行无伪影重建的挑战。如上所述，该技术已经在具有挑战性的cbt透视中进行了测试，质量度量表明该技术从统计学上改进了图像重建过程。该技术限制了机器学习过程引入的偏差，以提高图像重建与地面实况数据(即观测的数据)的一致性。
尽管针对该技术呈现的流程图暗示特定的执行顺序，但执行的顺序可以与所示的顺序不同。例如，可以相对于所示顺序重新布置两个以上的框的顺序。此外，可以并行地或部分并行地执行连续示出的两个或更多个框。在一些配置中，流程图中示出的一个或多个框可以被省略或跳过。为了增强效用、记账、性能、测量、故障排除或类似原因，可以将任意数量的计数器、状态变量、警告信号标或消息添加到逻辑流中。
本说明书中描述的某些功能单元被标记为模块，以便更具体地强调其实施的独立性。例如，模块可以被实施为硬件电路(包括定制的vlsi电路或门阵列)、现成的半导体(诸如逻辑芯片、晶体管)或其他分立组件。模块也可以在诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等的可编程硬件设备中实施。
模块也可以用软件实施以由各种类型的处理器(诸如，cpu或gpu)混合环境和群集执行。所标识的可执行代码模块可以例如包括一个或多个计算机指令框，其可以被组织为对象、过程或功能。然而，所标识的模块的可执行文件不需要在物理上位于一起，而是可以包括存储在包含模块的不同位置中的不同指令，并且在逻辑上链接在一起时实现模块的所述目的。
实际上，可执行代码的模块可以是单个指令，也可以是多个指令，甚至可以分布在几个不同的代码段上、不同程序之间以及跨越多个存储器设备。类似地，操作数据可以在本文中被标识和被示出在模块内，并且可以以任何合适的形式被体现并且可以被组织在任何合适的数据结构类型内。操作数据可以作为单个数据集被收集，或者可以分布在不同的位置，包括分布在不同的存储设备。模块可以是被动的或主动的，包括可操作以执行期望功能的代理。
本文描述的技术也可以存储在计算机可读存储介质上，该计算机可读存储介质包括易失性和非易失性、可移除和不可移除介质，该介质通过用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任何技术实施。计算机可读存储介质包括但不限于非暂时性机器可读存储介质，诸如ram、rom、eeprom、闪存或其他存储技术、cd-rom、数字通用磁盘(dvd)或其他光学存储、磁盒、磁带、磁盘存储或其他磁性存储设备、或用于存储期望信息和所描述的技术的任何其他计算机存储介质。
本文描述的设备还可以包含通信连接或联网装置以及允许该设备与其他设备进行通信的联网连接。通信连接是通信介质的示例。通信介质通常体现为在已调制数据信号(诸如载波或其他传输机制)中的计算机可读指令、数据结构、程序模块和其他数据，并且包括任何信息递送介质。“已调制数据信号”是指具有以将信息编码到信号中的方式设置或改变其一个或多个特性的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接的有线介质，以及诸如声学、射频、红外和其他无线介质的无线介质。如本文所使用的术语计算机可读介质包括通信介质。
参考附图中所示出的示例，并且本文中使用特定语言描述这些示例。然而，将理解的是，由此并不旨在限制技术的范围。本文所示的特征的改变和进一步修改以及本文所示的示例的附加应用应被认为在说明书的范围内。
此外，所描述的特征、结构或特性可以在一个或多个示例中以任何合适的方式组合。在前面的描述中，提供了许多具体细节，诸如各种配置的示例，以提供对所描述技术的示例的透彻理解。然而，应当认识到，可以在没有一个或多个特定细节的情况下，或者使用其他方法、组件、设备等的情况下实践该技术。在其他实例中，未示出或详细描述众所周知的结构或操作，以避免使技术的各方面不清楚。
尽管已经用特定于结构特征和/或操作的语言描述了主题，但是应该理解，所附权利要求书中定义的主题不必限于上述特定特征和操作。相反，上述特定特征和动作被公开为实施权利要求的示例形式。在不脱离所描述技术的精神和范围的情况下，可以想出许多修改和可替代布置。
- 还没有人留言评论。精彩留言会获得点赞！