用于表面运动跟踪的方法和装置与流程

优先权要求

本国际申请要求于2018年1月18日提交的美国申请序列号15/874,511的优先权的权益，其全部内容通过引用并入本文中。

本公开内容的各方面总体上涉及放射疗法治疗系统，并且具体地，涉及用于合并身体的表面区域和内部区域的图像的方法和系统。

背景技术：

辐射疗法(也被称为放射疗法)可以用于对癌症或其他病症的治疗。放射疗法涉及向患者的靶区域(例如向肿瘤或其他癌组织)递送规定的剂量的辐射。可以在实施放射疗法之前对靶区域进行成像，并且可以基于例如靶的大小、位置和/或取向以及周围结构等来制定治疗计划。然后可以使用线性加速器(直线加速器)或其他合适的辐射递送装置将辐射递送至患者的靶区域。直线加速器可以将光子(例如，x射线)、电子或其他亚原子粒子朝向诸如肿瘤的靶引导。

在获取靶的初始图像之后，靶区域的位置和/或取向可能改变。例如，患者可能在转移至治疗室期间、在治疗室内移动(例如，定位在诊查台、床或桌上)期间或在实施放射疗法期间移位。例如，患者可能由于规律的生物过程——包括例如呼吸、吞咽、眨眼、颤搐、蠕动、消化、心脏跳动、咳嗽、排气或其他运动——而具有自动或无意的移动。

此外，由于患者可能在每个辐射疗法治疗期段(session)(被称为分段(fraction))之间减轻或增加体重，靶区域(例如，肿瘤)可能改变大小(例如，缩小或变大)或者靶区域周围的解剖结构可能会影响靶区域的位置(例如，患者膀胱的体积可能会跨分段而改变，从而影响周围结构的位置)，因此跨不同的分段跟踪解剖结构可能会是复杂的。

靶区域的位置和/或取向的改变可能降低放射疗法的功效。例如，如果靶区域的实际取向或位置不同于基于先前成像和/或与先前成像不准确对准的假设取向或位置，则可能无法将正确剂量的辐射递送至预期靶区域。此外，替代预期靶区域或者除了预期靶区域之外，周围的健康结构也可能会接收辐射。将错误的区域暴露于辐射可能最终会伤害或杀死周围的健康细胞。此外，可能期望将跨分段拍摄的患者的解剖结构的图像进行匹配和/或与对患者拍摄的原始ct图像进行匹配，以跟踪剂量递送的位置以及递送至患者的总剂量。

对于放射疗法可能期望准确的图像对准和跟踪技术来应对在治疗过程(例如，跨分段的计划、预备)中以及在分段期间辐射被递送至患者时解剖结构的移动(例如，肿瘤的移动或周围健康结构的移动)和解剖结构的改变(例如，肿瘤大小的改变或体重的增加或减少)。还会期望跟踪剂量递送的位置和所递送的总剂量。因此，需要提高对在不同时间点处拍摄的患者的图像进行对准和比较的能力的系统和方法。

技术实现要素：

本公开内容的实施方式可以涉及一种图像处理系统，该图像处理系统被配置成接收在第一时间处拍摄的受试者的身体的区域的医学图像，并且接收在第一时间处拍摄的受试者的身体区域的外部部分的表面图像。图像处理还可以被配置成接收在第二时间处拍摄的受试者的身体的区域的医学图像，并且配准在第一时间处拍摄的医学图像、在第一时间处拍摄的表面图像和在第二时间处拍摄的医学图像。

系统的各种实施方式可以包括以下特征中的一个或更多个：配准医学图像可以包括使用可变形配准；第二时间可以先于第一时间；在第二时间处拍摄的医学图像可以是计划计算机断层扫描图像；在第一时间处拍摄的医学图像可以是磁共振图像或锥束计算机断层扫描图像；该系统还可以被配置成在第一时间处获得医学图像并且在第一时间处获得表面图像；表面图像可以是光学图像、红外图像、热图像或立体图像中的一个；可以同时配准在第一时间处拍摄的医学图像、在第一时间处拍摄的表面图像和在第二时间处拍摄的医学图像；配准步骤可以包括配准在第一时间处拍摄的医学图像和在第一时间处拍摄的表面图像以形成组合图像，以及然后将该组合图像与在第二时间处拍摄的医学图像配准；以及在第二时间处拍摄的医学图像可以包括受试者的身体的区域的外部部分的至少一部分。

本公开内容的实施方式还可以涉及一种计算机实现的图像处理方法。该方法可以包括：接收在第一时间处拍摄的受试者的身体区域的第一医学图像；接收在第一时间处的受试者的身体的区域的外部部分的第一表面图像；以及使用可变形配准或成像系统校准来配准第一医学图像和第一表面图像以形成第一组合图像。该方法还可以包括：接收在第二时间处拍摄的受试者的身体的区域的第二医学图像；接收在第二时间处的受试者的身体的区域的外部部分的第二表面图像；以及使用可变形配准或成像系统校准来配准第二医学图像和第二表面图像以形成第二组合图像。该方法还可以包括配准第一组合图像和第二组合图像。

该方法的各种实施方式可以包括以下特征中的一个或更多个：第一医学图像和第二医学图像可以是磁共振图像或锥束计算机断层扫描图像；第一表面图像和第二表面图像可以是光学图像、红外图像、热图像或立体图像；以及第一时间和第二时间两者都可以发生在单个放射疗法治疗分段(fraction)期间。

本公开内容的实施方式还可以涉及一种存储指令的非暂态计算机可读介质，该指令在由处理器执行时使处理器执行图像处理方法。该方法可以包括：接收在第一时间处拍摄的受试者身体的内部区域的医学图像；接收在第一时间处拍摄的受试者的身体的内部区域的外部部分的表面图像；以及接收在第二时间处拍摄的受试者身体的内部区域的医学图像。该方法还可以包括：使用可变形配准来配准在第一时间处拍摄的医学图像、在第一时间处拍摄的表面图像和在第二时间处拍摄的医学图像。

该方法的各种实施方式可以包括以下特征中的一个或更多个：表面图像可以是光学图像、红外图像、热图像或立体图像中的一个；在第二时间处拍摄的医学图像可以是计划计算机断层扫描图像，以及在第一时间处拍摄的医学图像可以是磁共振图像或锥束计算机断层扫描图像；计划计算机断层扫描图像还可以包括受试者的身体的内部区域的外部部分的至少一些；第二时间可以发生在计划阶段期间，以及第一时间可以发生在放射疗法治疗分段期间；以及可以同时配准在第一时间处拍摄的医学图像、在第一时间处拍摄的表面图像和在第二时间处拍摄的医学图像。

实施方式的附加目的和优点将部分地在下面的描述中阐述，并且根据描述将部分地是明显的，或者可以通过实施方式的实践来获知。应当理解，前面的一般性描述和下面的详细描述两者均只是示例性和说明性的，而不是对权利要求进行限制。

如本文所使用的，术语“包括”、“包含”或其任何其他变型旨在涵盖非排他性包含，使得包括元素列表的过程、方法、物品或装置不仅包括那些元素，还可以包括未明确列出的或该过程、方法、物品或装置固有的其他元素。

附图说明

并入在本说明书中并构成本说明书的一部分的附图示出了所公开的实施方式，并且与说明书一起用于说明所公开的实施方式的原理。在附图中：

图1示出了计算机断层扫描图像与锥束计算机断层扫描图像之间的比较。

图2示出了根据本公开内容的实施方式的示例性辐射疗法系统。

图3示出了包括被配置成递送辐射疗法束的辐射疗法输出的示例性辐射疗法系统。

图4a是描绘根据本公开内容的各种实施方式的示例性成像方法的流程图。

图4b是描绘根据本公开内容的各种实施方式的示例性成像方法的流程图。

图5是描绘根据本公开内容的各种实施方式的示例性成像方法的流程图。

图6示出了组合的辐射疗法系统和成像系统。

图7示出了组合的辐射疗法系统和成像系统的局部剖视图。

具体实施方式

现在将详细参考下面所描述的并且在附图中示出的本公开内容的示例性实施方式。在任何可能情况下，在整个附图中将使用相同的附图标记来指代相同或相似的部分。术语“示例性”是在“示例”而非“理想”意义上使用的。

如以上所讨论的，在放射疗法期间和/或跨放射疗法的治疗分段跟踪患者解剖结构的位置促进准确的辐射递送。然而，因为患者可能会在分段之间减轻或增加体重，靶区域(例如，肿瘤)可能会改变大小(例如，缩小或变大)，或者靶区域周围的解剖结构可能会影响靶区域的位置(例如，患者膀胱的体积可能会跨分段而改变，从而影响周围结构的位置)，因此跨分段跟踪解剖结构可能是复杂的。然而，可能期望将跨分段拍摄的患者解剖结构的图像进行匹配和/或与对患者拍摄的原始计算机断层扫描(ct)图像进行匹配，以跟踪剂量递送的位置和所递送的总剂量。例如，可以在治疗期间和/或在定位患者时拍摄锥束ct(cbct)图像，并且这些cbct图像可以与患者的原始ct图像匹配。可能还期望适应性调整放射疗法递送以适应图像中检测到的解剖结构的改变。

对于诸如自适应放射疗法的放射疗法，经常执行对患者的成像，以在可以包括单个治疗期段(分段)或多个分段的治疗过程中跟踪患者的解剖或功能改变。例如，cbct或mr成像可以用于相对于辐射递送机器定位患者，使得在放射疗法期间辐射被递送至预期的靶区域。许多线性加速器(直线加速器)具有在治疗之前和/或期间在每个治疗分段处生成患者的3dcbct图像的能力。作为另一示例，磁共振图像直线加速器(mril)机器可以能够在实施治疗期间获取患者的实时mr图像。

本公开内容的实施方式可以允许通过除了医学成像之外还使用表面成像来配准同一受试者的不同图像和/或不同图像类型，以改善对准和/或跟踪。在示例性实施方式中，可以将表面图像与捕获的医学图像(例如，ct、cbct、mr、超声、x射线、正电子发射断层扫描(pet)、单光子发射计算机断层扫描(spect)或任何其他合适类型的医学成像)配准或对准(例如，使用可变形图像配准或通过成像系统校准)，以改善与其他医学图像的对准以及比较。如本文所使用的，“配准”和“对准”可以互换地使用以组合来自两个不同图像的数据。

例如，可以执行cbct或mr图像的配准以确定放射疗法过程中的解剖改变以及/或者评估递送至患者的累积辐射剂量。可以将cbct和/或mr图像与放射疗法之前(例如，在治疗计划期间)拍摄的原始ct图像进行比较，以在放射疗法治疗之前和/或期间对准和/或跟踪患者解剖结构的位置。要配准的cbct和/或mr图像可以在治疗当日被拍摄，并且可以与来自先前治疗日或同一治疗日的较早时间的一个或更多个相似图像(例如，受试者的相似区域的图像)组合；或者cbct和/或mr图像可以与参考ct或mr图像配准，该参考ct或mr图像可以是在治疗计划期间拍摄的；或其组合。在本公开内容的实施方式中，如下面将进一步描述的，这些图像也可以与患者身体的表面的图像配准，以更准确地跟踪患者的解剖结构。

由于时间约束和/或其他限制，在治疗分段期间，与用于诊断或治疗计划的典型ct或mr图像相比，cbct或mr图像(通常被称为“在线”cbct或mr图像)可能具有更有限的患者身体的视场。在线cbct或mr图像通常仅包含患者身体的内部部分。例如，位于患者肺部中的感兴趣区域的cbct图像可能仅显示患者的肺部，并且可能不示出皮肤或示出关于患者皮肤的不完整信息。图像所缺失的诸如患者身体的表面(例如，皮肤表面)的解剖结构可能使将cbct和/或mr图像与参考图像或一个或多个类似(例如，对类似的身体区域拍摄的)先前获取的图像准确地对准变得困难。例如，皮肤表面可以限定患者身体的外部边界。在无法可视化皮肤表面的情况下，可能不清楚患者身体在何处终止，这使得对准图像、确定放射疗法的路径、确定剂量等变得更加困难。

cbct和mr图像可以主要地或仅示出感兴趣区域的内部解剖结构，但是可能需要全身图像来计算递送至患者的放射疗法的剂量。例如，如果患者减轻了体重，则皮肤的位置可能会改变，并且皮肤表面限定患者身体的外部范围。在不知道皮肤表面的位置的情况下，可能无法知道患者身体的位置和/或定位或者递送的辐射通过身体的完整路径。作为另一示例，如果患者的膀胱在第一个治疗分段期间是满的，而在另一个治疗分段期间不是满的，则在从两个不同分段成像时，膀胱周围的器官或结构可能位于略微不同的位置。同样，在不知道患者皮肤表面的位置的情况下，可能难以正确地对准两个医学图像。

尽管一些cbct图像提供了清晰的皮肤表面边界，但是许多cbct图像可能会切掉或删除患者身体的区域，使得捕获的cbct图像中缺失患者身体的某些部分。例如，这可能由于患者的大小而发生(例如，患者的解剖结构可能太大而无法在图像场中被完全捕获)，或者图像的视场可能会被医疗保健提供者故意减小，以减少散射和/或提高图像质量。例如，图1在右侧描绘了ct图像2，在左侧描绘了cbct图像1。在ct图像示出患者的限定表面(例如，皮肤)的同时，cbct图像中的患者表面的某些部分被切除或不清楚。

然而，将患者身体的外表面(例如，患者的皮肤)的图像与使用cbct捕获的内部解剖结构的图像组合(例如，利用可变形配准或系统校准)可以允许关于患者的位置和/或移动的更完整的图像信息以及因此通过允许皮肤被跟踪而允许更好的器官跟踪。为了将内部解剖结构的cbct图像与患者身体的外表面的图像组合，这两种图像可以彼此配准或经由系统校准彼此对准。患者身体的表面的图像可以驱动与后续图像的可变形配准的过程，并且可以在外表面全部或部分地从cbct图像缺失的情况下，使用表面图像与内部器官图像的对准或配准。利用经由与表面成像的配准而提供的缺失的cbct图像信息，然后可以将组合图像与同一患者的第二医学图像(例如，计划ct图像)配准。

在mr图像中，与以ct图像(例如，来自治疗计划的ct图像)所捕获的患者皮肤的表面相比，患者皮肤的表面可能包括几何变形不准确。mr图像可能不提供限定的表面边界，并且mr图像的边缘可能会模糊，从而使边缘变得模糊，因此使得难以限定皮肤的外表面边界。然而，将mr图像与使用3d摄像机拍摄的患者身体的外表面的一个或更多个图像组合可以减少或消除mr失真。通过利用皮肤表面作为约束来驱动图像配准，消除失真可以改善mr图像与其他图像(例如，ct或超声)的配准。此外，与cbct图像一样，mr图像可能缺少关于身体外表面的信息。可能在mr图像和cbct图像两者中都缺少信息。

由于该缺失的和/或不准确的皮肤表面信息，因此mr或cbct图像与ct图像的配准可能不正确，并且可能需要数学内插以试图应对这些不准确。然而，本公开内容的实施方式提供了替选解决方案。通过使用表面成像系统来捕获患者的表面图像，可以解释mr和/或cbct图像中丢失的信息，并且更精确的图像配准是可能的。与医学图像(例如，cbct/mr图像)数据组合的身体表面图像数据可以引起患者解剖结构与计划的ct或mr图像或与同一日或先前治疗日获取的类似图像更准确地对准。身体表面成像可以用作cbct和/或mr图像的补充数据，并且组合的数据可以用于引导cbct或mr图像配准到具有(在cbct/mr的情况下)或不具有(在ct的情况下)其自身的表面成像数据的另一组3d数据。

在本公开内容的实施方式中，表面成像可以与第一医学图像组合，并且组合的数据可以用于引导第一医学图像与具有或不具有其自身表面成像数据的第二医学图像的图像配准。可以使用定位在患者外部的三维(3d)和/或二维(2d)摄像机获取皮肤的表面跟踪图像，从而允许对患者皮肤的表面进行成像和/或跟踪。在表面成像技术(例如，一个或更多个摄像机)的帮助下，可以在获取内部区域的医学图像(例如，cbct、ct和/或mr图像)的同时获取患者身体的外表面的一个或更多个实时图像。通过同时获取表面图像以及cbct、ct和/或mr图像，可以在拍摄医学图像时知道患者身体的外边界的位置，并且表面成像可以提供引导对一个或更多个cbct、ct和/或mr图像的配准的约束。例如，不是试图将cbct图像与ct图像对准，而是另外可以使用表面成像，以通过提供用于对准图像的已知表面边界来引导配准。尽管在以上示例中讨论了cbct、ct和mr成像，但是可以设想，本公开内容的实施方式可以被吸引到使用患者的表面成像来对准任何合适类型的一个或更多个医学图像，例如ct、cbct、mr、超声、x射线、pet、spect或任何其他类型的医学成像。

可以使用任何合适类型的摄像机或摄像机的组合来获取患者的外表面的图像。例如，可以使用光学、红外、立体(例如，红色、绿色、蓝色(rgb)立体)、热成像、飞行时间和/或结构光摄像机。在一些实施方式中，可以使用包括彩色视频图形阵列(例如，rgb)摄像机和深度传感器(包括红外投影仪)的kinect技术。投影仪可以将图案投射到房间中，并且可以读取所投射的图案的摄像机(例如，深度传感器)可以用于确定运动、位置和/或深度。在一些实施方式中，可以使用一个或更多个静态摄像机，而在其他实施方式中，可以使用一个或更多个视频摄像机，或其组合。实际上，可以使用具有任何合适的图像获取速率的一个或更多个摄像机。

在一些实施方式中，两个或更多个外部摄像机可以在放射疗法之前、期间和/或之后获得患者的图像。在一些实施方式中，可以使用三个摄像机，或者可以使用四个或更多个摄像机。可以将表面成像摄像机定向在与诸如直线加速器或mril的放射疗法递送装置相同的坐标系中。例如，可以将摄像机安装至放射疗法递送装置，使得表面图像数据自动与cbct或mr数据对准，这可以使成像信息的接收者知道所拍摄的图像的中心点的位置。在一些实施方式中，可以将一个或更多个摄像机安装在放射疗法递送系统的其他部分(例如，患者被定位在其上的表面)上，以及/或者可以将一个或更多个摄像机安装在治疗区域内，例如，在房间的天花板、地板和/或墙壁上。一个或更多个摄像机相对于彼此、相对于放射疗法递送装置和/或相对于患者的特定布置可以至少部分地取决于所利用的表面成像系统的类型。

为了将表面成像与医学成像(例如ct、cbct、mr、超声或其他成像)相结合，可以将皮肤表面的图像与内部患者解剖结构的医学图像配准。可以在获取医学图像的同时使用表面摄像机系统(例如，一个或更多个2d或3d摄像机)来获取患者身体的表面(例如，患者的皮肤)的实时图像。由于表面成像是与医学成像同时进行的，因此在进行医学成像的同时，表面成像可以提供对患者身体的边界位置的更准确限定。可以将表面成像与当时所进行的医学成像相结合，以提供关于患者的边界(例如，皮肤表面)的信息，这些信息可能在内部医学成像中丢失、不完整或不准确。通过向医学成像提供准确的表面成像信息，然后可以将结合的医学成像与计划的ct、mr图像或其他医学成像更准确地对准，该计划的ct、mr图像或其他医学成像可以包括部分或完整的患者表面信息。因此，通过结合同时进行的表面成像和医学成像，可以实现患者解剖结构与计划的ct、mr图像或在不同时间(例如，在同一治疗日的较早时间或不同治疗日)获取的其他图像的更准确对准。通过在拍摄医学图像时知道患者边界的位置(例如，患者身体的表面的位置)，可以通过跨医学图像对准患者的边界(例如，对准皮肤的表面)来更容易对准患者的内部结构的医学图像。

通过例如系统校准的可变形配准或对准可以用于将表面图像与医学图像组合以重新创建医学图像中缺失的信息和/或校正医学图像中的信息。可以将患者身体的表面的图像与(例如，器官、肿瘤或其他解剖结构的)内部区域的一个或更多个医学图像配准或对准，以提供更完整的图像信息以及改善的对患者内部解剖结构的跟踪。可以将表面成像与内部医学成像配准，其中医学成像中全部或部分地缺失表面信息。例如，在利用较小的视场以减少散射并提高图像质量的情况下，皮肤表面可能会被切掉，或者患者身体的全部可能都未被纳入到视场中。组合的表面图像和医学图像在本文中被称为组合图像，其可以包括患者的表面和/或内部区域的全图像以及/或者一个或更多个数据点。表面图像可以用作驱动向一个或更多个其他医学图像(例如，计划ct)的后续可变形配准的约束，这些其他医学图像可以具有使用图像分割方法可提取的表面信息。

两个或更多个图像的配准可以涉及确定用于图像变换的优化式。一个变换可以对准一对图像。可以找到变换的映射函数以关联两个图像之间的点。在数学上，图像配准的目标可以是找到两个图像(例如，图像i和j)的点之间的最佳映射t：r³→r³(其中，t表示变换，并且t可以是线性或非线性的)，使得在给定图像i中的点x的情况下，y＝t(x)限定图像j中的对应点。找到任意给定两个图像i和j的最佳t通常可以被表述为优化问题，例如：

topt＝argmintc(t；i，j)+w1r(t)，

其中，c(t；i,j)度量在变换t下两个图像之间的未对准(即“相异性”)，r(t)度量变换t的不规则性，而w1表示控制这两项的相对重要性的加权因子。c(t；i,j)的一些示例包括采用平方差和(ssd)、互信息(mi)、互相关或其他合适的成像度量。医学图像中存在的对比度(contrast)的量可以至少部分地取决于所使用的成像类型(例如，mri、ct、cbct等)。取决于所使用的成像类型，不同的图像度量可以使合适的。例如，在一些实施方式中，可以针对cbct图像使用互相关，并且在一些实施方式中，可以针对mr图像使用mi。成像度量可以用于使正在被配准的两个图像看起来彼此更加相似，以辅助匹配不同的图像。r(t)的示例包括弯曲能、弹性能、t的梯度大小、t的曲率等。以上示例通常被吸引到两个图像的基于强度的比较，但也可以设想到，可以通过特征提取(例如，经由使用定位在患者皮肤上的点或基准点)或其他合适的方法对图像进行配准。

如前所提及的，如果图像i或图像j是cbct或在线mr图像，则它可能仅包含患者身体的部分(内部)区域。因此，也可能仅针对有限区域找到最佳变换t。对于患者的表面(例如，皮肤)上的点可能找不到对应。然而，在使用表面成像系统的本公开内容的实施方式中，有可能获取患者的表面数据。利用可用的表面数据，然后可以通过同时的图像和表面配准来获得两个不同时间点的患者解剖结构之间的变换的更准确和更完整的估计：

topt＝argmintc(t；i，j)+w1d(t；si，sj)+w2r(t)

项d(t；si,sj)度量两个表面的未对准，两个图像中的每个图像各一个。例如，d(t；si,sj)可以被限定为两个表面的对应点之间的平均距离。变量w1和w2是两个加权因子。在本公开内容的实施方式中，可以假设表面(si和/或sj)对应于患者的皮肤表面。如果图像i(或j)是已经包含患者身体的皮肤表面的计划的ct或mr图像，则可以通过图像分割方法(自动或手动分割)直接从图像中提取si(或sj)。如果图像i(或j)是不包含患者身体的皮肤表面的cbct或在线mr图像，则可以使用合适的图像处理方法从在cbct或mr图像的相同时间捕获的表面成像数据中获取和提取si(或sj)。

虽然本公开内容的一些实施方式旨在将在线cbct或mr成像与表面成像相结合，以使组合的图像与计划ct对准，但是本公开内容的一些实施方式例如可以用于自适应放射疗法治疗。因此，代替将在线cbct或mr成像与表面成像对准到计划的ct，可以对准一系列cbct或mri和表面成像对以用于在线自适应或跟踪。例如，在治疗期间(在同一日期间或跨多日)，可以对患者拍摄多个医学图像(例如，多个cbct图像或多个mri图像)。同时，可以对患者的皮肤表面拍摄多个表面图像。然后，可以将同时拍摄的成对cbct图像和表面图像或同时拍摄的成对mri和表面图像与在不同时间点拍摄的其他cbct/表面或mri/表面配对进行比较。因为成像对(同时拍摄的成对医学图像和表面图像)包括表面数据，因此它们可能更易于彼此对准。因此，cbct或mr图像中的一个或更多个图像可能包含缺失或不准确的关于患者的表面的信息可能并不重要，因为与医学图像同时拍摄的表面图像可以提供该缺失的信息。以这种方式，图像对可以用于间歇地或连续地跟踪治疗期间患者的移动。在一些实施方式中，如果检测到太多移动，则可以停止和/或更改治疗。

在一些实施方式中，代替解决组合的表面和图像配准问题，可以分别解决表面和图像对准问题。例如，可以将来自第一时间的医学图像和表面图像例如经由系统校准进行对准，或者进行配准，并且然后可以将组合的图像与来自第二时间的第二医学图像配准。可以通过组合两个结果来获得最终的变换。然而，在一些方面，图像和表面配准的同时优化可以引起更稳定和更准确的结果。

除了提供患者解剖结构的更准确的对准之外，本公开内容的实施方式还可以使用表面成像数据来帮助校正mr图像失真。例如，mr图像可以包含关于外部身体区域的信息，并且可以从mr图像自身提取皮肤表面。然而，mr图像可能遭受几何失真，并且从mr图像提取的表面可能不能准确地匹配患者的真实物理表面。根据本公开内容使用表面成像可以通过针对以下表面到表面匹配问题找到最佳(非线性)变换t，来提供估计和校正mr失真的能力：

topt＝argmintd(t；si，sj)+w1r(t)，

其中，si可以被假设为是直接从mr图像提取的失真的皮肤表面，而sj是从表面成像器提取的正确的皮肤表面。

图2示出了用于向患者提供辐射疗法的示例性放射疗法系统10，可以利用该系统使用和/或执行本公开内容的实施方式。放射疗法系统10包括图像处理装置12。图像处理装置12可以连接至网络20。网络20可以连接至因特网22。网络20可以将图像处理装置12与数据库24、医院数据库26、肿瘤信息系统(ois)28、辐射疗法装置30、图像获取装置32、显示装置34和/或用户接口36中的一个或更多个连接。图像处理装置12可以被配置成生成要由辐射疗法装置30使用的一个或更多个辐射疗法治疗计划42。

图像处理装置12可以包括存储器16、图像处理器14和/或通信接口18。存储器16可以存储计算机可执行指令，例如操作系统43、一个或更多个辐射疗法治疗计划42(例如，原始治疗计划和/或适应性调整的治疗计划)、软件程序44(例如，人工智能、深度学习、神经网络和/或放射疗法治疗计划软件)和/或要由图像处理器14执行的任何其他计算机可执行指令。在一些实施方式中，软件程序44可以通过产生诸如伪ct图像的合成图像来将一种格式(例如，mri)的医学图像转换为另一格式(例如，ct)。例如，软件程序44可以包括图像处理程序以训练用于将一种模态的医学图像46(例如，mri图像)转换为不同模态的合成图像(例如，伪ct图像)的预测模型；替选地，经训练的预测模型可以将ct图像转换为mri图像。在一些实施方式中，如本文的实施方式中所讨论的，软件程序44可以将一个或更多个医学图像和一个或更多个表面图像进行配准。存储器16可以存储数据，包括医学图像46、表面图像、患者数据45以及/或者创建和/或实现辐射疗法治疗计划42所需的其他数据。

除了存储软件程序44的存储器16或代替存储软件程序44的存储器16，可以设想可以将软件程序44存储在可移动计算机介质上，可移动计算机介质例如硬盘驱动器、计算机盘、cd-rom、dvd、hd、蓝光dvd、usb闪存驱动器、sd卡、记忆棒或任何其他合适的介质。软件程序44当被下载到图像处理器14时可以由图像处理器14执行。

图像处理器14可以通信地耦接至存储器16，并且图像处理器14可以被配置成执行存储在其上的计算机可执行指令。图像处理器14可以将医学图像46或表面图像发送至存储器16或从存储器16接收医学图像46或表面图像。例如，图像处理器14可以经由通信接口18和网络18从图像获取装置32或另一图像获取装置接收医学图像46或表面图像以将其存储在存储器16中。图像处理器14还可以将存储器16中存储的医学图像46或表面图像经由通信接口18发送至网络20以将其存储在数据库24和/或医院数据库26中。

此外，图像处理器14可以利用软件程序44(例如，治疗计划软件)以及医学图像46、表面图像和/或患者数据45来创建和/或修改辐射疗法治疗计划42。医学图像46可以包括以下信息，该信息例如为与感兴趣的患者解剖区域、器官或体积分割数据相关联的成像数据。患者数据45可以包括以下信息，例如：(1)功能性器官建模数据(例如，串行器官与平行器官、适当剂量响应模型等)；(2)辐射剂量数据(例如，剂量体积直方图(dvh)信息)；或(3)关于患者和治疗过程的其他临床信息(例如，其他手术、化学疗法、先前的放射疗法等)。表面图像可以包括捕获关于患者的外表面(例如，围绕感兴趣区域的患者皮肤)的信息的任何合适的成像类型。

此外，图像处理器14可以利用软件程序来生成中间数据，例如，如由神经网络模型使用的更新的参数，或者生成中间2d或3d图像，然后该中间2d或3d图像可以随后被存储在存储器16中。然后，图像处理器14可以将可执行的辐射疗法治疗计划42经由与网络20的通信接口18发送至辐射疗法装置30，辐射疗法装置可以执行辐射疗法治疗计划42以利用辐射对患者进行治疗。此外，图像处理器14可以执行软件程序44以实现如下功能，例如图像转换、图像分割、深度学习、神经网络和/或人工智能。例如，图像处理器14可以执行训练医学图像和/或对医学图像绘制轮廓的软件程序44。这样的软件程序44在被执行时可以训练边界检测器和/或利用形状字典。

图像处理器14可以是处理装置，包括例如一个或更多个通用处理装置如微处理器、中央处理单元(cpu)、图形处理单元(gpu)和/或加速处理单元(apu)。更特别地，在一些实施方式中，图像处理器14可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、实现其他指令集的处理器或实现指令集的组合的处理器。图像处理器14还可以由一个或更多个专用处理装置来实现，专用处理装置例如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、片上系统(soc)或其他合适的处理器。如本领域技术人员将理解的，在一些实施方式中，图像处理器14可以是专用处理器，而不是通用处理器。图像处理器14可以包括一个或更多个已知的处理装置，例如来自由intel^tm制造的pentium^tm、core^tm、xeon^tm或itanium^tm系列，由amd^tm制造的turion^tm、athlon^tm、sempron^tm、opteron^tm、fx^tm、phenom^tm系列的微处理器或者由sun微系统公司制造的各种处理器中的任何处理器。图像处理器14还可以包括图形处理单元，例如来自由nvidia^tm制造的系列、由intel^tm制造的gma、iris^tm系列或者由amd^tm制造的radeon^tm系列的gpu。图像处理器14还可以包括加速处理单元，例如由amd^tm制造的desktopa-4(6，8)系列或者由intel^tm制造的xeonphi^tm系列。所公开的实施方式不限于以其他方式被配置成满足识别、分析、维护、生成和/或提供大量数据或操纵这些数据以执行本文公开的方法的计算需求的任何类型的处理器。

此外，术语“处理器”可以包括多于一个的处理器，例如，多核设计或各自具有多核设计多个处理器。图像处理器14可以被配置成执行计算机程序指令的序列，例如存储在存储器16中的那些指令的序列，以执行根据本公开内容的示例性实施方式的各种操作、处理和方法。

存储器16可以存储医学图像46和/或表面图像。在一些实施方式中，医学图像46可以包括例如一个或更多个mr图像(例如，2dmri、3dmri、2d流式传输mri、4dmri、4d体积mri、4d电影mri等)、功能性mri图像(例如，fmri、dce-mri、扩散mri)、ct图像(例如，2dct、cbct、3dct、4dct)、超声图像(例如，2d超声、3d超声、4d超声)、pet图像、x射线图像、荧光透视图像、放射疗法射野图像、spect图像和/或计算机生成的合成图像(例如，伪ct图像)。此外，医学图像46可以包括医学图像数据，例如，训练图像、地面真值图像(groundtruthimage)和/或轮廓图像。存储在存储器16中的图像可以包括配准和/或未配准的图像，并且图像可以已经被预处理或者可以是原始的未处理的图像。在一些实施方式中，可以从图像获取装置32接收医学图像46。相应地，图像获取装置32可以包括mr成像装置、ct成像装置、pet成像装置、超声成像装置、荧光透视装置、spect成像装置、集成的直线加速器和mr成像装置或者用于获得患者的医学图像的其他医学成像装置。可以以图像处理装置12可以使用以执行符合所公开的实施方式的操作的任何类型的数据或任何类型的格式来接收和存储医学图像46。

存储器16可以是非暂态计算机可读介质，例如只读存储器(rom)、相变随机存取存储器(pram)、静态随机存取存储器(sram)、闪速存储器、随机存取存储器(ram)、动态随机存取存储器(dram)(如同步dram(sdram))、电可擦除可编程只读存储器(eeprom)、静态存储器(例如，闪速存储器、闪存盘、静态随机存取存储器)或者任何其他合适类型的随机存取存储器，例如高速缓冲存储器、寄存器、致密盘只读存储器(cd-rom)、数字通用盘(dvd)或其他光存储装置、盒式磁带、其他磁性存储装置或者可以用于存储包括能够被图像处理器14或任何其他类型的计算机装置访问的(例如，以任何格式存储的)图像、数据或计算机可执行指令的信息的任何其他非暂态介质。计算机程序指令可以被图像处理器14访问、从rom或任何其他合适的存储器位置被读取并被加载到ram中以供图像处理器14执行。例如，存储器16可以存储一个或更多个软件应用。存储在存储器16中的软件应用可以包括例如用于公共计算机系统以及用于软件控制的装置的操作系统43。此外，存储器16可以存储整个软件应用或者仅软件应用中的可以由图像处理器14执行的部分。例如，存储器16可以存储一个或更多个辐射疗法治疗计划42。

图像处理装置12可以经由通信接口18与网络20通信，通信接口18可以通信地耦接至图像处理器14和存储器16。通信接口18可以提供图像处理装置12与放射疗法系统10部件之间的通信连接(例如，允许与外部装置交换数据)。例如，在一些实施方式中，通信接口18可以具有适当的接口电路以连接至用户接口36，用户接口36可以是例如用户可以通过其将信息输入至放射疗法系统10中的硬件键盘、小键盘和/或触摸屏。

通信接口18可以包括例如网络适配器、线缆连接器、串行连接器、usb连接器、并行连接器、高速数据传输适配器(例如，光纤、usb3.0、雷电接口(thunderbolt))、无线网络适配器(例如，wifi适配器)、电信适配器(例如，3g、4g/lte)或其他合适的接口中的一个或更多个。通信接口18可以包括一个或更多个数字和/或模拟通信装置，其可以允许图像处理装置12经由网络20与其他机器和装置如远程定位的部件进行通信。

网络20可以提供例如局域网(lan)、无线网络、云计算环境(例如，软件即服务、平台即服务、基础设施即服务等)、客户端服务器或者广域网(wan)的功能。例如，网络20可以是lan或wan，其可以包括其他系统s1(38)、s2(40)和s3(41)。系统s1、s2和s3可以与图像处理装置12相同，或者可以是不同的系统。在一些实施方式中，网络20中的一个或更多个系统可以形成可以协作地执行本文描述的实施方式的分布式计算/模拟环境。在一些实施方式中，一个或更多个系统s1、s2和s3可以包括获得ct图像(例如，医学图像46)的ct扫描仪。此外，网络20可以连接至因特网22以与远程驻留在因特网上的服务器和客户端进行通信。

因此，网络20可以允许图像处理装置12与多个不同的其他系统和装置如ois28、辐射疗法装置30和/或图像获取装置32之间的数据传输。此外，由ois28和/或图像获取装置32生成的数据可以被存储在存储器16、数据库24和/或医院数据库26中。根据需要，数据可以通过通信接口18经由网络20被发送/接收以由图像处理器14根据需要访问。

图像处理装置12可以通过网络20与数据库24进行通信以发送/接收数据库24上存储的多种不同类型的数据。例如，数据库24可以包括机器数据，该机器数据包含与辐射疗法装置30、图像获取装置32和/或与放射疗法有关的其他机器/装置相关联的信息。机器数据信息可以包括辐射束大小、弧布置、束开启和关闭的持续时间、控制点、段(segment)、多叶准直器(mlc)配置、台架(gantry)速度、mri脉冲序列和/或其他合适的信息。数据库24可以是存储装置。本领域技术人员将理解，数据库24可以包括以中央式或者分布式方式定位的多个装置。

在一些实施方式中，数据库24可以包括处理器可读存储介质(未示出)。虽然一些实施方式中的处理器可读存储介质可以是单个介质，但是术语“处理器可读存储介质”应该被理解成包括存储一个或更多组计算机可执行指令或数据的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。术语“处理器可读存储介质”还应被理解为包括能够存储和/或编码用于由处理器执行并且使处理器执行本公开内容中的任何一种或更多种方法的一组指令的任何介质。相应地，术语“处理器可读存储介质”应该被理解成包括但不限于固态存储器、光学和磁介质。例如，处理器可读存储介质可以是一个或更多个易失性、非暂态或者非易失性有形计算机可读介质。

图像处理器14可以与数据库24进行通信以将图像读取到存储器16中和/或将图像从存储器16存储到数据库24。例如，数据库24可以被配置成存储数据库24从图像获取装置32或其他图像获取装置接收到的多个图像(例如，3dmri、4dmri、2dmri切片图像、ct图像、2d荧光透视图像、x射线图像、来自mr扫描或ct扫描的原始数据、医学数字成像与通信(dimcom)数据等)。数据库24可以存储当执行软件程序44时和/或当创建辐射疗法治疗计划42时要由图像处理器14使用的数据。图像处理装置12可以从数据库24、辐射疗法装置30(例如，mri-直线加速器)和/或图像获取装置32接收医学图像46(例如，2dmri切片图像、ct图像、2d荧光透视图像、x射线图像、3dmr图像、4dmr图像等)以生成治疗计划42。

在示例性实施方式中，放射疗法系统100可以包括图像获取装置32，该图像获取装置被配置成获取患者的医学图像(例如，mr图像，如3dmri、2d流式传输mri或4d体积mri、ct图像、cbct、pet图像、功能性mr图像(例如，fmri、dce-mri和扩散mri)、x射线图像、荧光透视图像、超声图像、放射疗法射野图像、spect图像等)。图像获取装置32例如可以是mr成像装置、ct成像装置、pet成像装置、超声装置、荧光透视装置、spect成像装置或者用于获得患者的一个或更多个医学图像的任何其他合适的医学成像装置。由图像获取装置32获取的图像可以作为成像数据和/或测试数据被存储在数据库24内。作为示例，由成像获取装置32获取的图像也可以作为医学图像数据46由图像处理装置12存储在存储器16中。

放射疗法系统100还可以包括如上所述的一个或更多个表面成像系统，其可以与成像获取装置32分离或并入成像获取装置中。由表面成像系统获取的图像可以作为成像数据和/或测试数据被存储在数据库24中。作为示例，由表面成像系统获取的图像也可以由图像处理装置12作为表面成像数据存储在存储器16中。

在一些实施方式中，例如，图像获取装置32可以与辐射疗法装置30集成为单个设备(例如，与直线加速器组合的mri装置，也被称为“mri-直线加速器”)。这样的mri-直线加速器例如可以用于确定患者中的靶器官或靶肿瘤的位置，以根据辐射疗法治疗计划42将辐射疗法准确地引导至预定靶。

图像获取装置32可以被配置成获取感兴趣区域(例如，靶器官、靶肿瘤或两者)处患者的解剖结构的一个或更多个图像。每个图像通常是2d图像或切片，可以包括一个或更多个参数(例如，2d切片厚度、取向、位置等)。在一些实施方式中，图像获取装置32可以获取任何取向的2d切片。例如，2d切片的取向可以包括矢状取向(sagittalorientation)、冠状取向(coronalorientation)或轴向取向。图像处理器14可以对诸如2d切片的厚度和/或取向的一个或更多个参数进行调整以包括靶器官和/或靶肿瘤。在示例性实施方式中，可以根据诸如3dmri体积的信息来确定2d切片。这样的2d切片可以在例如使用辐射疗法装置30的情况下患者正在经受辐射疗法治疗的同时由图像获取装置32“实时”获取。“实时”可以意味着在毫秒(例如，500毫秒或300毫秒)或更短的时间内获取数据。

图像处理装置12可以针对一个或更多个患者生成并存储辐射疗法治疗计划42。辐射疗法治疗计划42可以提供关于要施加给每个患者的特定辐射剂量的信息。辐射疗法治疗计划42还可以包括其他放射疗法信息，例如束角度、剂量直方图体积信息、疗法期间要使用的辐射束的数量、每束的剂量或其他合适的信息或其组合。

图像处理器14可以通过使用软件程序44例如治疗计划软件(例如由瑞典斯德哥尔摩的elektaab公司制造的)来生成辐射疗法治疗计划42。为了生成辐射疗法治疗计划42，图像处理器14可以与图像获取装置32(例如，ct装置、mri装置、pet装置、x射线装置、超声装置等)进行通信以访问患者的图像并描画诸如肿瘤的靶。在一些实施方式中，可能需要描画一个或更多个危及器官(oar)，例如围绕肿瘤或紧邻肿瘤的健康组织。因此，在oar靠近靶肿瘤的情况下可以执行对oar的分割。此外，如果靶肿瘤靠近oar(例如，紧邻膀胱和直肠的前列腺)，则通过将oar与肿瘤分割开，治疗规划装置110不仅可以研究靶中的剂量分布，还可以研究oar中的剂量分布。

为了从oar描画出靶器官或靶肿瘤，可以由图像获取装置32获得经受放射疗法的患者的医学图像，例如mr图像、ct图像、pet图像、fmr图像、x射线图像、超声图像、放射疗法射野图像、spect图像或其他医学图像，以揭示身体部位的内部结构。基于来自医学图像的信息，可以获得相关解剖部分的3d结构。此外，在治疗计划过程期间，可以考虑多个参数以实现对靶肿瘤的有效治疗(例如，使得靶肿瘤接受到足够的辐射剂量以实现生效疗法)与对oar的低照射(例如，oar接受到尽可能低的辐射剂量)之间的平衡。可以考虑的其他参数包括靶器官和靶肿瘤的位置、oar的位置和/或靶相对于oar的移动。例如，可以通过在mri或ct图像的每个2d层或切片内对靶绘制轮廓或对oar绘制轮廓并且将每个2d层或切片的轮廓进行组合来获得3d结构。可以手动地(例如，由医师、剂量师或医护人员)或自动地(例如，使用诸如由瑞典斯德哥尔摩的elektaab制造的基于atlas的自动分割软件abas^tm的程序)生成轮廓。在某些实施方式中，可以由治疗计划软件自动生成靶肿瘤或oar的3d结构。

在已经定位并描画了靶肿瘤和oar之后，剂量师、医师或医护人员可以确定要对靶肿瘤施加的辐射剂量，以及邻近该肿瘤的oar(例如，左右腮腺、视神经、眼睛、晶状体、内耳、脊髓、脑干或其他解剖结构)可以接收的任何最大量的剂量。在针对相关解剖结构(例如，靶肿瘤、oar)确定了辐射剂量之后，可以执行被称为逆向计划的过程以确定将实现期望的辐射剂量分布的一个或更多个治疗计划参数。治疗计划参数的示例包括体积描画参数(例如，其限定靶体积、轮廓敏感结构等)、靶肿瘤和oar周围的余量、束角度选择、准直器设置和/或束开启时间。在逆向计划过程期间，医师可以限定剂量约束参数，剂量约束参数设置oar可以接受多少辐射的界限(例如，限定对肿瘤靶的全剂量和对任何oar的零剂量；限定对靶肿瘤的95％的剂量；限定脊髓、脑干和视觉结构分别接受≤45gy、≤55gy和<54gy)。逆向计划的结果可以构成可以存储在存储器16或数据库24中的辐射疗法治疗计划42。这些治疗参数中的一些可以是相关的。例如，尝试改变治疗计划而调整一个参数(例如，不同目标的权重，例如增加对靶肿瘤的剂量)可能影响至少一个其他参数，这进而可能引起发展出不同治疗计划。因此，图像处理装置12可以生成具有这些参数的定制的辐射疗法治疗计划42，以便辐射疗法装置30向患者提供放射疗法治疗。

此外，放射疗法系统10可以包括显示装置34和用户接口36。显示装置34可以包括被配置成向用户显示医学图像、接口信息、治疗计划参数(例如，轮廓、剂量、束角度等)治疗计划、靶、定位靶和/或跟踪靶或者任何合适的信息的一个或更多个显示屏。用户接口36可以是键盘、小键盘、触摸屏或者用户可以向放射疗法系统10输入信息的任何类型的装置。替选地，显示装置34和用户接口36可以集成到装置中，该装置例如为智能电话、计算机或平板计算机如applelenovosamsung等。

此外，放射疗法系统10的任何部件和所有部件可以被实现为虚拟机(例如，vmware、hyper-v等)。例如，虚拟机可以是用作硬件的软件。因此，虚拟机可以包括一起用作硬件的至少一个或更多个虚拟处理器、一个或更多个虚拟存储器以及/或者一个或更多个虚拟通信接口。例如，图像处理装置12、ois28和/或图像获取装置32可以被实现为虚拟机。考虑到可用处理能力、存储器和计算能力，可以将整个放射疗法系统10实现为虚拟机。

图3示出了示例性辐射疗法装置102，其可以包括诸如x射线源或直线加速器的辐射源、多叶准直器(未示出)、诊查台116、成像检测器114和辐射疗法输出部104。辐射疗法装置102可以被配置成发射辐射束108以向患者提供疗法。辐射疗法输出部104可以包括一个或更多个衰减器或准直器，例如多叶准直器(mlc)。

返回参照图3，可以使用桌或诊查台116将患者定位在区域112以使患者接收根据辐射疗法治疗计划的辐射疗法剂量。辐射疗法输出部104可以被安装或附接至台架106或其他机械支承件。当诊查台116被插入治疗区域时，一个或更多个底盘马达(未示出)可以使台架106和辐射疗法输出部104围绕诊查台116旋转。在实施方式中，当诊查台116被插入治疗区域时，台架106可以是围绕诊查台116可连续旋转的。在另一实施方式中，当诊查台116被插入治疗区域时，台架106可以旋转至预定位置。例如，台架106可以被配置成使辐射疗法输出部104绕轴线(“a”)旋转。诊查台116和辐射疗法输出部104两者均能够独立地移动到患者周围的其他位置，例如，能够沿横向方向(“t”)移动、能够沿侧向方向(“l”)移动，或者能够绕一个或更多个其他轴旋转，例如绕横轴(表示为“r”)旋转。通信地连接至辐射疗法装置102的一个或更多个部件的控制器(未示出)可以控制诊查台116的移动和/或旋转，以根据辐射疗法治疗计划将患者适当地定位在辐射束108内或外。如果诊查台116和台架106两者可以以多个自由度彼此独立地移动，则这可以允许患者被定位成使得辐射束108可以精确地瞄准肿瘤。

图3中示出的坐标系(包括轴线a、t和l)可以具有位于等中心(isocenter)110处的原点。等中心110可以被限定为辐射疗法束108与坐标轴的原点相交的位置，例如以将规定的辐射剂量递送至患者身上或者患者体内的位置。例如，等中心110可以被限定为以下位置，在该位置处，辐射疗法束108从由台架106围绕轴线a定位的辐射疗法输出部104的各个旋转位置与患者相交。

台架106也可以具有附接的成像检测器114。成像检测器114可以位于辐射源104的对面，并且在一些实施方式中，成像检测器114可以位于疗法束108的场内。

成像检测器114可以与辐射疗法输出部104相对地安装在台架106上，以保持与辐射疗法束108的对准。成像检测器114可以随着台架106旋转而绕旋转轴旋转。在一些实施方式中，成像检测器114可以是平板检测器(例如，直接检测器或闪烁器检测器)。以这种方式，成像检测器114可以用于监视辐射疗法束108，以及/或者成像检测器114可以用于例如经由射野成像对患者的解剖结构进行成像。辐射疗法装置102的控制电路可以被集成在系统10内或者可以远离系统10。

在说明性实施方式中，诊查台116、辐射疗法输出部104或台架106中的一个或更多个可以被自动定位，并且辐射疗法输出部104可以根据用于特定疗法递送实例的指定剂量来建立辐射疗法束108。可以根据辐射疗法治疗计划，例如使用台架106、诊查台116或疗法输出部104的一个或更多个不同取向或位置，来指定疗法递送的序列。疗法递送可以依序发生，但是可以在患者身上或患者体内的期望的疗法位点例如在等中心110处相交。由此，可以向疗法位点递送辐射疗法的规定的累积剂量，同时减少或避免对疗法位点附近的组织的损害。

可以以图4a所示的方式执行本公开内容的示例性方法。首先，如步骤50所示，可以在第一时间获得受试者的医学图像。医学图像可以包括ct、cbct、mr、超声、x射线、pet或spect图像中的一个或更多个，或任何其他合适类型的医学成像。医学图像可以由并入在辐射递送装置中的图像获取系统来拍摄，或者可以由与辐射递送装置分开的图像获取系统来拍摄。医学图像例如可以是2d或3d图像。第一时间可以在放射疗法治疗分段之前、期间或之后，或者可以在先前的分段期间或在治疗计划或患者准备期间已经发生。同样在第一时间，例如，可以使用表面成像摄像机系统获得受试者的表面图像(步骤51)，该系统可以包括一个或更多个摄像机。表面图像例如可以是2d或3d图像。表面成像摄像机系统可以与辐射递送装置分离或者可以被并入到辐射递送装置中。

一旦获得医学图像和表面图像，则可以例如经由系统配准将医学图像和表面图像彼此对准，或彼此配准以形成组合图像，步骤52。在一些实施方式中，可以使用可变形配准将表面图像和医学图像配准。组合图像可以包括一个或更多个数据点或其他非图像信息，以指示表面图像和/或医学图像在组合图像中的位置。如下面进一步所述，可以使用可以被上传和/或存储在任何合适的处理器上的任何合适的图像处理技术来执行配准。然后，可以使用例如可变形配准将组合图像与来自第二时间的受试者的第二医学图像配准，步骤53。第二时间可以与第一时间不同。在一些实施方式中，第一时间可以在治疗分段期间的放射疗法的递送之前、期间或之后，并且第二时间可以是先前的治疗分段、稍后的治疗分段或者治疗计划或患者准备阶段。第二时间也可以是同一治疗分段期间的不同的时间。还应注意的是，第一时间不需要在第二时间之前；实际上，第二时间可以先于第一时间。术语“第一”和“第二”仅表示两个分开的时间。

在一些实施方式中，在第一时间获得的医学图像可以是在治疗分段期间(例如，在该分段期间的放射疗法的递送之前、期间或之后)获得的cbct或mr图像。如上所述，表面图像可以是3d或2d图像，并且可以使用光学、红外、立体(例如，rgb立体)、飞行时间或结构光表面成像系统拍摄，或者可以使用kinect技术拍摄。第二医学图像可以是例如在计划或治疗准备阶段期间拍摄的ct或mr图像。

图4b描绘了与参考图4a描述的方法类似的方法，除在图4b的方法中，来自第一时间的医学图像和表面图像的对准或配准与来自第二时间的第二医学图像的配准同时发生。相应地，获得第一时间的受试者的医学图像(步骤55)，获得在第一时间的受试者的表面图像(步骤56)，并且然后将该医学图像、该表面图像和来自第二时间的受试者的第二医学图像一起配准(步骤57)。

图5描绘了本公开内容的另一示例性方法。在图5的实施方式中，在第一时间获得受试者的医学图像，步骤60。医学图像可以包括ct、cbct、mr、超声、x射线、pet或spect图像中的一个或更多个，或任何其他合适类型的医学成像。医学图像可以由并入在辐射递送装置中的图像获取系统来拍摄，或者可以由与辐射递送装置分开的图像获取系统来拍摄。医学图像例如可以是2d或3d图像。第一时间可以例如在放射疗法治疗分段之前、期间或之后，或者在分段期间的放射疗法递送之前、期间或之后。替选地，第一时间可以在先前的分段期间或在治疗计划或患者准备期间已经发生。同样在第一时间，例如，可以使用表面成像摄像机系统获得受试者的表面图像(步骤61)，该系统可以包括一个或更多个摄像机。表面图像例如可以是2d或3d图像。表面成像摄像机系统可以与辐射递送装置分离或者可以被并入到辐射递送装置中。

一旦获得医学图像和表面图像，则可以将来自第一时间的医学图像和表面图像彼此对准或配准以形成第一组合图像，步骤62。组合图像可以包括一个或更多个数据点或其他非图像信息，以指示表面图像和/或医学图像在组合图像中的位置。在一些实施方式中，可以使用可变形配准将表面图像和医学图像配准。如下面进一步所述，可以使用可以被上传和/或存储在任何合适的处理器上的任何合适的图像处理技术来执行配准。

也可以获得第二时间的受试者的医学图像，步骤63；并且可以在第二时间获得受试者的表面图像，步骤64。第二时间可以与第一时间不同。在一些实施方式中，第二时间可以是同一治疗分段期间的不同时间。在一些实施方式中，第一时间可以在治疗分段期间的放射疗法的递送之前、期间或之后，并且第二时间可以在同一治疗分段、先前的治疗分段、稍后的治疗分段期间的放射疗法的递送或者治疗计划或患者准备阶段前、期间或之后。还应注意的是，第一时间不需要在第二时间之前；实际上，第二时间可以先于第一时间。术语“第一”和“第二”仅表示两个分开的时间。

可以对来自第二时间的医学图像和表面图像进行配准以形成第二组合图像，步骤65。然后可以将第一组合图像与第二组合图像配准，步骤66。在一些实施方式中，可以使用可变形配准可将表面图像和医学图像配准以及/或者将第一组合图像和第二组合图像配准。如下面进一步所述，可以使用可以被上传和/或存储在任何合适的处理器上的任何合适的图像处理技术来执行配准。

在一些实施方式中，图5的方法可以用于患者跟踪和/或自适应跟踪，例如，用于跨分段或在分段期间实施放射疗法之前、期间和/或之后跟踪患者和/或感兴趣区域的移动。例如，医学图像可以是在放射疗法治疗之前、期间和/或之后拍摄的mr或cbct图像。每个mr或cbct图像可以和与mr或cbct图像同时拍摄的表面图像配对并配准。然后，可以将同时拍摄的组合的经配准医学图像和表面图像用于与其他表面/医学图像对进行比较，以评估患者和/或靶区域的移动。在一些实施方式中，如果检测到超过阈值水平的移动，则可以改变和/或停止放射疗法治疗。

关于实施方式的示例性方法，无论是在第一时间还是第二时间处拍摄的医学图像都可以包括例如ct、cbct、mr、超声、x射线、pet或spect图像中的一个或更多个，或任何其他合适类型的医学成像。无论在第一时间还是第二时间处拍摄的表面图像都可以包括使用光学、红外、热、立体(例如，rgb立体)、飞行时间或结构光表面成像系统拍摄的一个或更多个图像，或者如上所述，可以使用kinect技术来拍摄。医学图像和表面图像可以是3d或2d的。

尽管本文所述的图4a、图4b和图5提及“获得”医学图像和/或表面图像，但可以设想的是，动词“获得”可以用“接收”这样的图像替换。例如，放射疗法系统可以获得并且配准图像，从而执行所列出的每个步骤，或者图像处理器可以仅仅接收通过单独的医学和/或表面成像系统获得的图像(无论这些成像系统是单独的还是彼此集成)，并且然后可以配准所接收到的图像。因此，可以由图像处理器接收在第一时间处拍摄的图像和/或在第二时间处拍摄的图像以进行配准，并且该方法可能不包括图像的主动获取。

如本文所讨论的，可以使用任何合适的设备来执行本公开内容的实施方式。因此，表面成像系统(包括，例如光学、红外、热、立体(例如，rgb立体)、飞行时间、结构化光、kinect技术或其他成像系统)可以结合任何合适的医学成像系统使用——或并入到任何合适的医学成像系统使用——并且可以用于执行所公开的方法。已经参照图2、图3、图6和图7描述了可以与表面成像系统一起使用的一些示例性医学成像系统。

图6示出了可以组合直线加速器和成像系统的示例性辐射疗法装置202。例如，图6的装置可以包括ct成像系统。ct成像系统可以包括可以提供例如千电子伏特(kev)能量范围中的x射线能量的成像x射线源218。成像x射线源218可以提供指向诸如平板检测器的成像检测器222的扇形和/或锥形束220。辐射疗法装置202可以类似于关于图3所描述的辐射疗法装置102；例如，该辐射疗法装置可以包括辐射疗法输出部204、台架206、平台216和平板检测器214。x射线源218可以提供用于成像的相对较低能量的x射线诊断束。

在图6的说明性实施方式中，辐射疗法输出部204和x射线源218可以被安装在同一旋转台架206上，彼此旋转分开90度。在另一示例中，两个或更多个x射线源可以沿台架206的周界安装，例如，每个x射线源可以具有其自身的检测器布置，以同时提供多个诊断成像角。类似地，可以提供多个辐射疗法输出部204。

在本文中呈现的辐射疗法装置的图示对于本公开内容内容不是限制性的。诸如将辐射疗法装置与成像系统(例如，核mr成像系统(例如，本领域中被称为mr-直线加速器))组合的装置的其他已知装置符合所公开的实施方式。这样的装置如磁共振图像直线加速器(mril)机器能够在实施治疗期间获取患者的实时mr图像。

图7描绘了示例性辐射疗法系统300，其可以将辐射疗法装置和成像系统(例如符合所公开的实施方式的核mr成像系统(例如，在本领域中被称为mr-直线加速器))组合。如所示的，系统300可以包括诊查台310、图像获取装置320和辐射递送装置330。系统300可以被配置成例如根据放射疗法治疗计划向患者递送辐射疗法。在一些实施方式中，图像获取装置320可以对应于图2中的图像获取装置32，其可以获取第一模态的原始图像(例如，mr图像)或第二模态的目的地图像(例如，ct图像)。诊查台310可以在治疗期段期间支承患者(未示出)。在一些实现方式中，诊查台310可以沿水平平移轴线(标注为“i”)移动，使得诊查台310可以将躺在诊查台310上的患者移入和/或移出系统300。诊查台310还可以围绕横向于平移轴的中心竖直旋转轴线进行旋转。为了允许这样的移动或旋转，诊查台310可以具有使得诊查台能够在各个方向上移动以及沿各个轴线旋转的马达(未示出)。控制器(未示出)可以控制这些移动或旋转以根据治疗计划适当地定位患者。

在一些实施方式中，图像获取装置320可以包括用于在治疗期段之前、期间和/或之后获取患者的2d或3dmr图像的mri机器。图像获取装置320可以包括磁体321，该磁体用于生成用于磁共振成像的主磁场。由磁体321的操作生成的磁场线可以基本上平行于中心平移轴线i延伸。磁体321可以包括其轴线平行于平移轴线i延伸的一个或更多个线圈。在一些实施方式中，磁体321中的一个或更多个线圈可以相间隔，使得磁体321的中心窗323没有线圈。在其他实施方式中，磁体321中的线圈可以足够薄或具有减少的密度，使得线圈对于由放射疗法装置330生成的波长的辐射基本上是透射的。图像获取装置320还可以包括一个或更多个屏蔽线圈，该一个或更多个屏蔽线圈可以在磁体321外部生成具有大致相等幅度和相反极性的磁场，以消除或减少磁体321外部的任何磁场。如下所述，放射治疗装置330的辐射源331可以被安置在磁场至少被消除至一阶或者被减少的区域中。

图像获取装置320还可以包括两个梯度线圈325和326，该两个梯度线圈和可以生成叠加在主磁场上的梯度磁场。线圈325和326可以在合成磁场中生成梯度，该梯度允许对质子的空间编码，使得可以确定质子的位置。梯度线圈325和326可以绕与磁体321的公共中心轴线被定位，并且可以沿该中心轴线被移位。该移位可以在线圈325与线圈326之间产生间隙或窗。在磁体321还包括线圈之间的中心窗323的实施方式中，两个窗可以彼此对准。

放射疗法装置330可以包括辐射源331，例如x射线源或直线加速器，以及多叶准直器(mlc)333。辐射疗法装置330可以安装在底盘335上。当诊查台310被插入治疗区域时，一个或更多个底盘马达(未示出)可以将底盘335围绕诊查台310旋转。在实施方式中，当诊查台310被插入治疗区域时，底盘335能够围绕诊查台310连续旋转。底盘335还可以具有附接的辐射检测器(未示出)，其位于辐射源331的对面，并且其中，底盘335的旋转轴线被定位在辐射源331与该检测器之间。此外，装置330可以包括控制电路(未示出)，该控制电路用于控制例如诊查台310、图像获取装置320和/或放射疗法装置330中的一个或更多个。

图3、图6和图7一般地示出了被配置成向患者提供放射疗法治疗的辐射疗法装置的示例，其包括其中辐射疗法输出部可以绕中心轴线(例如，轴线“a”)旋转的配置。也可以使用其他辐射疗法输出配置。例如，辐射疗法输出部可以安装到具有多个自由度的机器人臂或操纵器上。在又一示例中，辐射疗法输出部可以是固定的，例如位于与患者侧向分开的区域中，并且可以使用支承患者的平台来将辐射疗法等中心与患者体内的指定靶位点对准。

根据详细说明，本公开内容的许多特征和优点是明显的，并且因此所附权利要求旨在涵盖落入本公开内容的真实精神和范围内的本公开内容的所有这样的特征和优点。此外，由于本领域技术人员将容易想到许多修改和变化，因此不期望将本公开内容限制于所示出和所描述的确切结构和操作，并且因此可以采用落入本公开内容的范围内的所有适当的修改和等同物。

此外，本领域技术人员将理解，本公开内容所基于的构思可以容易地用作设计用于实现本公开内容的若干目的的其他结构、方法和系统的基础。因此，权利要求不应被视为受前述描述的限制。