用于训练机器学习模型和用于提供患者的估计内部图像的系统和方法与流程

1.本发明涉及一种用于在医疗应用中提供患者的估计图像的方法、计算机程序产品和计算机系统。


背景技术：

2.在放射疗法中，接收治疗的患者通常位于治疗床上，但也可以站着或坐在椅子上。由于诸如呼吸、咳嗽或不适引起的移动等因素，患者的内部可能会移动。此类移动可能会导致辐射错过目标，从而击中另一器官，可能是处于危险中的器官。这可能导致对目标的剂量不足和/或对其他组织或器官的剂量过量，这两种情况都是不希望的，并且可能是有害的。该问题已经用多种不同的方式得到了解决。
3.已经进行了各种尝试来防止此类移动。例如，患者在治疗期间移动的可能性可能受到限制。特别是，患者可能会被指示屏住呼吸，或者被迫只能在一定范围内移动。这会引起不适，并且只有在一定程度上和/或在有限的时间内才有可能。
4.处置该问题的其他尝试包括稳健的计划，其中考虑到了各种关键器官位置的不确定性。这可能会导致计划不是最佳的，因为它们必须适应许多不同的可能情形。
5.还提出了不同的目标跟踪方法。在欧洲专利申请no.18180987号中，提出了一种方法，该方法涉及在呼吸周期的不同阶段期间对患者进行成像，并将总剂量计划为阶段剂量的总和，同时考虑不同阶段中目标和其他器官的不同位置。这需要大量的3d图像，通常是在整个治疗过程中拍摄的患者的ct图像，导致对患者相当大的额外辐射，这是不期望的。一种替代方法是使用mr成像来代替。这不涉及辐射，但是比ct成像慢得多和/或不能给出相同的图像质量。还提出了目标跟踪放射性标记。这仅能够跟踪目标，而不会检测到其他器官的位置变化。


技术实现要素：

6.本发明的目的是在放射疗法治疗计划中考虑在治疗阶段期间患者的周期性或意外移动。
7.根据本发明，该目的通过基于计算机的训练深度学习模型的方法来实现，该深度学习模型被用于基于多个图像集来提供患者内部的估计图像，每一图像集包括在特定时间点的人的内部的第一内部图像和人的外轮廓的轮廓图像，以及人的内部的第二内部图像，该方法包括以下步骤
8.a.将图像集提交给深度学习模型，该深度学习模型被布置成基于轮廓图像和第二内部图像输出估计图像
9.b.训练该模型以建立优化参数化转换函数g，该函数基于图像集来指定人的内部与人的外轮廓之间的相关性，对于至少一个图像集，将该模型应用于图像集的轮廓图像和第二内部图像，将输出与第一内部图像进行比较，并使用比较的结果来训练该模型。
10.本发明还涉及一种提供在第一时间点的患者内部的估计图像的方法，包括以下步骤
11.·
将在第一时间点之前的第二时间点的患者内部的内部图像提供给深度学习模型，该深度学习模型包括基于人的轮廓和内部之间的相关性的优化参数化转换函数，
12.·
将在第一时间点的患者的轮廓的轮廓图像提供给深度学习模型
13.·
从深度学习模型输出基于内部图像、轮廓图像和优化参数化转换函数g的患者的估计图像。
14.根据本发明的方法基于以下事实，即在许多情况下，患者的外部轮廓与内部结构之间存在相关性，包括一个或多个内部结构如器官或组织的位置。用于提供内部数据的一个或多个图像通常是在治疗计划和治疗过程中为患者拍摄的一个或多个图像，诸如一个或多个部分图像和/或计划图像。在训练深度学习模型的方法中，优选地，对所有图像集重复这些步骤。每一轮廓图像可以基于与对应内部图像相同的图像，例如患者的ct扫描。可替代地，轮廓图像可以基于单独的图像数据，例如基于从表面扫描设备获得的数据。通常，估计图像被用于计划需要关于患者内部的信息的医疗过程，例如放射疗法治疗计划，或者用于修改现有计划。如果重复执行表面扫描，则来自后续表面扫描的轮廓数据可以被用于产生由对应于不同时间点的一系列3d图像组成的4d图像。在一些实施例中，每一图像集的第一内部图像和轮廓图像是4d图像，并且模型被训练以输出合成4d图像。
15.基本上与轮廓图像同时拍摄的第一内部图像用作当基于轮廓图像和第二内部图像时模型的输出应该是什么的目标。因此，该训练是基于来自模型的输出(即，第一估计图像)与第一内部图像的比较。第二内部图像可以是在早期时间点拍摄的图像，诸如患者的计划图像或部分图像，或者可以是来自训练模型中的前一步骤的估计图像。有利的是，第二内部图像在时间上靠近轮廓图像拍摄，例如，在与轮廓图像相同的部分之前拍摄的部分图像，或者由训练模型中的前一步骤产生的估计图像。
16.在提供估计图像的方法中，轮廓图像优选地基于从表面扫描设备获得的数据。此类表面扫描设备通常在医院中可用，例如在放射疗法递送系统中，用于其他目的，诸如确保每一治疗部分的患者的正确定位。因此，表面扫描数据通常可以在不需要额外设备的情况下获得。此外，可以在不将患者暴露于附加剂量的情况下获得表面扫描数据。
17.因此，本发明能够提供患者的一个或多个估计的内部图像，这将减少获得患者的实际图像的需要，例如用于在一定数量的治疗部分之后更新治疗计划。本发明使得有可能在不获得患者的新图像的情况下估计每一部分期间递送给患者的剂量。这将减少为了获得不同时间点的图像而将患者暴露于辐射的需要。在进一步成像会导致患者不适的情况下，这也是有用的。
18.机器学习系统是可用的，它基于大数据集，可以确定不同类型数据之间的相关性，并使用这些相关性来处理输入数据。根据本发明，人的外部轮廓和内部之间的相关性，特别是患者体内器官或其他目标的位置，可以基于轮廓和内部都已知的先前数据集来确定。该相关性以参数化转换函数g的形式表示，该转换函数被布置成将轮廓图像转换成患者内部的估计图像。
19.在训练方法的优选实施例中，该训练步骤包括
20.·
获得初始参数化转换函数g，其被布置成基于多个图像集中的第一图像集将轮
廓图像转换成患者的内部的估计图像；
21.·
通过将参数化转换函数g应用于第一图像集的轮廓图像和第二内部图像来获得第一估计内部图像
22.·
在第一比较步骤中，将第一估计内部图像与第一图像对的内部图像进行比较，
23.·
以及基于该比较调整初始参数化转换函数g，以形成第一参数化转换函数g1。
24.在此情况下，训练步骤可以还包括：
25.·
将第一参数化转换函数g1应用于第二图像集的轮廓图像，以获得第二估计图像；
26.·
将第二估计图像与第二图像对的内部图像进行比较，并调整初始参数化转换函数g以形成第二参数化转换函数g2。
27.通常，执行一系列此类训练步骤。初始参数化转换函数g可以针对每一训练步骤进行调整，或者可以在多个训练步骤之后进行调整。
28.在后者情况下，训练步骤可以还包括：
29.·
通过将参数化转换函数g应用于第二图像集的轮廓图像而获得第二估计内部图像
30.·
在第二比较步骤中，将第二估计内部图像与第二图像对的内部图像进行比较，
31.·
以及基于第一和第二比较步骤来调整初始参数化转换函数g，以形成第一参数化转换函数g1
32.每一图像集的第一和第二内部图像可以是分割图，在这种情况下，模型被训练以输出分割图。然后，估计图像也将是分割图。可替代地，每一图像集的内部图像可以是诸如ct或mr图像的图像，并且模型被训练以分别输出合成ct图像或合成mr图像作为估计图像。换句话说，该模型通常被训练成输出与内部图像具有相同模态、格式和细节水平的合成图像。当然，可以添加额外的转换步骤来获得另一模态或格式的图像。
33.除了内部图像和轮廓图像之外，每一图像集还可以包括mr图像的至少一个切片，以提供关于患者内部的附加信息。
34.本发明还涉及一种计算机程序产品，当在计算机的处理器中执行时，被布置成使计算机执行根据前述权利要求中的任一项所述的方法。该计算机程序产品可以被存储在存储装置上，诸如非暂时性存储装置。
35.本发明还涉及一种包括处理器和程序存储器的计算机系统，所述程序存储器包括根据上文所述的计算机程序产品。
附图说明
36.下文将通过示例并参考附图更详细地描述本发明，其中
37.图1示出可以被用于本发明的成像系统
38.图2示出了患者轮廓的移动和患者体内内部器官的对应移动。
39.图3是用于训练根据本发明使用的深度学习模型的方法的流程图
40.图4是使用根据图3的方法获得的深度学习模型来创建患者的估计图像的方法的流程图。
41.图5示出了根据本发明可以使用的机器学习模型
具体实施方式
42.图1是用于放射疗法治疗和/或治疗计划的系统10的概述。如将理解，此类系统可以以任何合适的方式设计，并且图7所示的设计只是示例。患者1位于治疗床3上。该系统包括成像/治疗单元，该成像/治疗单元具有安装在台架7中的辐射源5，用于向位于治疗床3上的患者发射辐射。通常，治疗床3和台架7可以在几个维度上相对于彼此移动，以尽可能灵活和正确地向患者提供辐射。这些零件及其功能是本领域技术人员众所周知的。通常存在被提供用于在横向和深度上使射束成形的许多设备，并且本文不再详细论述。该系统还包括可以用于放射疗法治疗计划和/或用于控制放射疗法治疗的计算机21。如将理解，计算机21可以是未连接到成像/治疗单元的独立单元。
43.计算机21包括处理器23、数据存储器24和程序存储器25。优选地，还存在一个或多个用户输入装置28、29，其形式为键盘、鼠标、操纵杆、语音辨识装置或任何其他可用的用户输入装置。用户输入装置还可以被布置成从外部存储器单元接收数据。
44.当系统被用于计划时，数据存储器24包括临床数据和/或用于获得治疗计划的其他信息。通常，数据存储器24包括要在治疗计划中使用的一个或多个患者图像。出于训练目的，数据存储器保存输入数据的训练集，如将在下文更详细地论述。每一输入数据集包括大致同时拍摄的患者的至少一部分的轮廓图像和轮廓内部的内部图像，以及可以有助于训练的可能其他数据。为了产生估计的内部图像，数据存储器至少包括患者的初始内部图像和在不同于内部图像的时间拍摄的患者的轮廓图像。程序存储器25保存被布置成使处理器执行根据图3或图4的方法的至少一个计算机程序。程序存储器25还保存计算机程序，该程序被布置成使计算机执行结合图3或图4论述的方法步骤，以使计算机控制患者的放射疗法治疗。
45.取决于训练集中使用的内部图像的细节，估计图像可以包括不同的细节水平。它可以是分割图像，简单地展示患者体内一个或多个器官或结构的位置和形状，或者它可以具有与ct图像相当的细节水平。
46.如将理解，仅示意性展示和论述数据存储器24和程序存储器25。可以有几个数据存储器单元，每一数据存储器单元保存一个或多个不同类型的数据，或者一个数据存储器以适当结构化的方式保存所有数据，并且程序存储器也是如此。一个或多个存储器还可以被存储在其他计算机上。例如，计算机可以被布置成仅执行其中一种方法，还有另一计算机用于执行优化。
47.图2展示了患者躯干40的一部分，以示出患者在呼吸周期内的移动与患者体内处于危险中的结构42(诸如肿瘤或器官)的位置之间可能的相关性。结构42的第一位置用实线指示。当患者吸气和呼气时，患者前部的外轮廓44将向外和向内移动，用第一箭头46指示。同时，结构42将沿不同于轮廓的方向移动，通常向下和向外，如第二箭头48所示。轮廓和结构变化位置的示例如虚线所示。
48.根据本发明，机器学习被用于使用4d图像和对应的表面轮廓来训练深度学习模型。在优选实施例中，4d图像是ct图像，但它们可以使用任何合适的成像技术获取，包括mri。输入数据优选地是图像对，在第一时间点t0拍摄的第一表面图像和第一ct图像，以及在第二时间点t1拍摄的第二表面图像和第二ct图像，等等。图3中展示此类训练方法的示例。
49.在第一步骤s31中，提供多对图像，每对图像由基本上同时拍摄的人的一个表面轮廓和人内部的一个3d内部图像组成。如上文论述，从分割图像到完整的ct图像，内部图像可以包括取决于所得估计图像的期望细节水平的细节水平。可以从成像装置附近可用的表面扫描仪提供表面轮廓，或者可以从3d图像获得用于训练的轮廓数据。在第二步骤s32中，图像对被用于机器学习，以建立表面轮廓与人体内部至少一个感兴趣区域的位置之间的关系。如现有技术中常见的，这涉及产生优化的参数化函数，用于将表面轮廓的图像转换成轮廓内部的估计图像。通常，这通过将第一表面图像提交给函数来实现，通常与患者的早期内部图像、可能的其他图像数据和激活数据集一起提交。将该函数的输出与在第一表面图像的同时拍摄的第一ct图像进行比较。比较的结果用来细化该函数。不是在每一训练步骤之后细化函数，而是在一定数量的步骤之后，或者仅在过程结束时细化函数。接着，提交第二表面图像，并且可能细化的函数连同上文使用的早期内部图像、或者另一早期内部图像以及激活数据集一起，被用于提供第二输出数据。将第二输出数据与第二ct图像进行比较，并且来自该比较的结果被用来再次细化该函数和激活数据集。对于多组表面图像和ct图像重复这一过程。该过程的结果是函数o31，该函数可以用来将患者的轮廓数据转换成轮廓内患者内部的估计图像。
50.优选地，使用递归卷积神经网络(rcnn)。rcnn考虑来自先前步骤的信息，并因此提供关于在先前时间点的表面或图像的信息。建立使同时获得的一对图像相关的函数，并且该函数可以被用于后续的过程中，以创建其他患者的估计或合成图像。
51.当已经训练了深度学习模型时，也就是说，已经产生了优化的参数化函数，关于患者轮廓变化的知识可以用于确定患者体内内部器官的位置。该过程的输入数据是与患者的表面轮廓和内部图像(通常是部分图像)相关的信息。特别地，来自不同时间点的表面数据可以用作输入数据，以返回患者在不同时间点的估计或合成图像。基于图3中建立的函数来创建估计图像，使轮廓与深度学习模型中定义的内部ct图像相关。因此，图4具有第一步骤s41和第二步骤s42，在第一步骤s41中，来自患者的轮廓数据被提供给诸如在图3中创建的模型，在第二步骤s42中，使用在步骤s32中建立的函数创建基于轮廓的患者内部的估计或合成图像。
52.可以使用任何类型的递归神经网络架构。所有递归神经网络的共同点是，模型中并入早期时间点的信息。图5示出了递归神经网络的基本示例。如现有技术中常见的，该模型被布置成将输入数据序列x
<t>
用于参数化函数，每一参数化函数由矩形表示。每一函数的执行被称为步骤。矩形内的每一圆形表示优化参数化函数的一部分，也称为层，包括权重和运算。该模型可以用于基于输入数据和激活数据向量a<t>来产生输出数据集在每一情况下，标签<t>表示数据相关的时间点。因此，例如x<1>包括最初拍摄的患者图像，即在t＝0时拍摄的患者图像，以及在t＝1时拍摄的轮廓图像。类似地，是基于输入数据x<1>和激活数据a<0>的在t＝1时的患者内部的估计图像，如本领域中已知的，其可以是零向量，但是也可以是合适的输入激活数据集。如本领域中已知的，与基本递归卷积神经网络相关的等式是(其中*表示卷积)：
53.a
0<t>
＝g0(w
a0
*a
0<t
‑
1>
+w
x0
*x
<t>
+b
a0
)
54.a
1<t>
＝g1(w
a0
*a
1<t
‑
1>
+w
x0
*a
0<t>
+b
a1
)
55.…
56.a
n<t>
＝g
n
(w
an
*a
n<t
‑
i>
+w
xn
*a
n
‑
1<t>
+b
an
)
57.…
[0058][0059]
其中
[0060]
g
n
表示可以不同或相同的函数，
[0061]
a
n<t>
表示在时间t+1用于水平n的激活数据
[0062]
w
an
表示作用于来自早期时间点处的激活的权重，
[0063]
w
xn
表示作用于来自先前层激活的权重，以及
[0064]
w
yn
表示作用于来自最后一层激活的权重。是在时间t的输出，并且b
an
和b
y
是偏置值。
[0065]
w和b中的值是正在优化的值。
[0066]
在训练模型时，权重w和偏置b被更新，通常在每一步骤之后，即图5中的每一矩形之后，但是可替代地在多个步骤之后，或者在最后一个步骤之后。估计图像与输入内部图像的比较通常表示为在优化参数时使用的成本函数中的惩罚项。这是基于如上文结合步骤s32所论述的在每一比较中识别的差异的总和
[0067][0068]
其中运算符
‑
表示某种比较，不一定是减法。参数被优化以最小化该差异。
[0069]
另一可能的惩罚项是基于分类函数d的使用，它试图区分真实图像和产生的图像。该网络可以结合g进行优化。d被优化以最小化真实和产生图像的分类误差。g被优化以最大化该分类误差。
[0070]
应注意图5中展示的示例性模型仅仅是示例。如本领域技术人员所知，有几种类型的神经网络，并且根据本发明可以使用任何合适的神经网络。优选使用递归卷积神经网络(rcnn)，并且发现被称为长短期存储器(lstm)的一种类型的rcnn特别适用于根据本发明的方法。