用于测量由患者监测系统生成的模型的准确度的方法和设备与流程

本发明涉及用于测量由患者监测系统生成的模型的准确度的方法和设备。更具体地，本发明的实施例涉及测量患者监测系统生成的模型的准确度，其基于捕获的、光图案投射在其上的患者的图像生成患者表面的模型。本发明特别适合与用于在放射治疗期间监测患者定位的监测系统一起使用，其中高度准确的定位和患者移动的检测对于成功治疗很重要。

放射治疗包括将辐射束投射到患者身体的预定区域以破坏或消除其中存在的瘤。这样的治疗通常周期性及反复地进行。在每次医疗干预时，为了以最高可能准确度辐照所选区域，辐射源必须相对于患者定位，以避免辐照辐射束辐照在其上将有害的相邻组织。为此，已提出多种用于在放射治疗期间帮助患者定位的监测系统，例如在visionrt的早前专利及专利申请中描述的那些监测系统，例如参见美国专利7,889,906、7,348,974、8,135,201、9,028,422和美国专利申请2015/265852和2016/129283，所有这些通过引用组合于此。

在visionrt的监测系统中，有斑点的光图案被投射在患者表面上以有助于识别患者表面的从不同角度捕获的对应部分。患者的图像被获得并连同识别捕获图像的摄像机的相对位置的数据一起进行处理，以确定对应于患者表面上的多个点的大量点的3d位置。这样的数据可与在先前时候产生的数据比较并用于以一致的方式定位患者或者在患者移动到不适当位置时提供警报。通常，前述比较包括进行普鲁克(procrustes)分析以确定使通过基于现场图像产生的数据确定的患者表面上的点与通过先前时候产生的数据确定的患者表面上的点之间的位置差异最小化的变换。其它放射治疗患者监测系统通过将光线或光栅图案或其它预定图案形式的结构光(如激光)投射到患者表面上并基于投射的图案在捕获的图像中的出现生成所监测的患者表面的模型来监测经受放射治疗的患者的位置。

患者监测系统生成的模型的准确度受多个不同因素影响。在许多系统中，模型的准确度取决于患者被观察的角度。如果患者的一部分以斜角进行观察，生成的模型的准确度通常比以不太斜的角度观察患者的各部分时的准确度低。许多监测系统试图通过从多个角度捕获患者的图像来减轻该问题。如果使用多个摄像机，任何特定摄像机的观察均可能有较大机会被阻挡，因为放射治疗设备在治疗过程期间移动。如果特定摄像机的观察被阻挡，可能使用来自另一摄像机的图像数据对患者表面的一部分建模。然而，当这种情形出现时，生成的模型可能不精确地对应于先前生成的模型，这可能错误地指明患者在治疗期间已移动，从而可能导致操作员停止治疗直到患者被重新定位为止。

在治疗过程中能够识别前述错误的移动检测何时可能出现将有帮助。

更一般地，能够识别生成的患者表面的模型的可靠性和准确度及该准确度在治疗计划过程期间怎样变化将有帮助。

根据本发明的一方面，提供一种由用于基于投射到患者表面上的光图案的图像生成患者模型的患者监测系统生成的患者模型的准确度的测量方法。

在这样的系统中，光图案投射到其上的患者表面的模拟图像通过对患者表面的模型进行纹理渲染而生成。之后，模拟图像被处理以生成患者表面的模型，及生成的模型之后与用于生成模拟图像的模型比较。生成的模型与用于生成模拟图像的模型的不同程度指明在使用治疗期间监测患者的建模系统对患者表面建模时出现的误差。

在一些实施例中，通过对患者表面的模型进行纹理渲染而生成光图案投射到其上的患者表面的模拟图像可包括通过对患者表面的模型进行纹理渲染而生成光图案投射到其上的患者表面的多个模拟图像。多个图像可包括光图案已投射到其上的患者表面从多个不同观察点观察到的模拟图像，及处理模拟图像以生成患者表面的模型可包括处理模拟图像以识别出现在模拟图像中的、光图案投射到其上的患者的模拟表面的对应部分。

在一些实施例中，模拟的光图案可包括光散斑图案。在其它实施例中，模拟的光图案可包括结构光的图案如光栅图案或激光光线图案或其它预定光图案。

在一些实施例中，生成光图案投射到其上的患者表面的模拟图像还可包括生成根据定位指令定位的治疗设备的模型，其中生成光图案投射到其上的患者表面的模拟图像包括生成光图案投射到其上的患者表面及根据定位指令定位的治疗设备的模拟图像。

在一些实施例中，将生成的模型与用于生成模拟图像的模型进行比较可包括确定指明生成的模型与用于生成模拟图像的模型之间的隐含距离的偏移值。

在一些实施例中，生成患者表面的模型可包括选择将要处理的一个或多个模拟图像的一部分来生成患者表面的模型。

在一些实施例中，处理模拟图像以生成患者表面的模型可包括操纵模拟图像以表示图像和/或透镜失真和/或摄像机未校准。

在一些实施例中，生成的模型与用于生成模拟图像的模型之间的比较可用于基于治疗过程期间治疗设备的移动和/或患者的重新定位来识别模型的准确度怎样变化。

在一些实施例中，生成的模型与用于生成模拟图像的模型之间的比较可用于选择将用于在治疗期间监测患者运动的图像部分。

本发明的另外的方面提供用于测量患者监测系统生成的模型的准确度的模拟设备及用于导致可编程计算机执行上面描述的由患者监测系统生成的患者模型的准确度的测量方法的计算机可读介质。

现在将结合附图更详细地描述本发明的实施例，其中：

图1为治疗设备和患者监测器的示意性立体图；

图2为图1的患者监测器的摄像机吊舱的前向立体图；

图3为图1的患者监测器的计算机系统的示意性框图；

图4为根据本发明实施例的模拟设备的示意性框图；

图5为由图4的模拟设备进行的处理的流程图；

图6为患者和治疗设备的建模表面的模拟图像的示意性图示。

在描述通过患者建模系统生成的患者模型的准确度的测量方法之前，首先将结合图1-3描述示例性的患者监测系统及可模拟的放射治疗设备图像。

图1为包括摄像机系统的示例性患者监测系统的示意性立体图，摄像机系统包括安装在多个摄像机吊舱10内的多个摄像机，图1中示出了摄像机吊舱10之一，其通过布线(未示出)连接到计算机14。计算机14还连接到治疗设备16，诸如用于施加放射治疗的线性加速器。提供机械诊察台18作为治疗设备的一部分，患者20在治疗期间躺在该诊察台18上。治疗设备16和机械诊察台18布置成使得在计算机14的控制下，机械诊察台18和治疗设备16的相对位置可以横向、垂直、纵向和旋转地变化，如由图中靠近诊察台的箭头所指示的。在一些实施例中，另外地，机械诊察台18也能够调整患者20的倾斜度、偏航和翻转。

治疗设备16包括主体22，机架24从该主体22延伸。准直器26设置在机架24的远离治疗设备16的主体22的端部处。为了改变辐射照射患者20的角度，在计算机14的控制下，机架24布置成围绕穿过治疗设备16的主体22的中心的轴线旋转，如图中所示。另外，治疗设备的照射方向也可以通过在机架24的端部处旋转准直器26来改变，同样如图中箭头所示。

为在患者监测系统中获得合理的视场，包含监测患者20的摄像机的摄像机吊舱10通常距一定距离(例如距被监测的患者1-2米)观察患者20。在图1的示例性图示中，图1中所示的摄像机吊舱10的视场由远离摄像机吊舱10延伸的虚线标示。

如图1中所示，前述摄像机吊舱10通常从治疗室的天花板悬吊并远离机架26定位，使得摄像机吊舱10不干扰机架26的旋转。在一些系统中，使用仅包括单一摄像机吊舱10的摄像机系统。然而，在其它系统中，摄像机系统优选包括多个摄像机吊舱10，因为在机架26或机械诊察台18处于特定定向时，机架26的旋转可能完全或部分阻挡观察患者20。提供多个摄像机吊舱10还有助于从多个方向对患者进行成像，这可增加系统的准确度。

图2是示例性摄像机吊舱10的前向透视图。

在该例子中，摄像机吊舱10包括壳体41，该壳体41经由铰链44连接到支架42。支架42使得摄像机吊舱10能够在固定位置附接到治疗室的天花板，同时铰链44允许摄像机吊舱10的方向相对于支架42进行定向，以使得摄像机吊舱10可布置成观察机械诊察台18上的患者20。一对透镜46安装在壳体41的前表面48的任一端。这些透镜46定位在壳体41内包含的图像捕获装置/摄像机(诸如cmos有源像素传感器或电荷耦合器件(未示出))的前面。摄像机/图像检测器布置在透镜46后面以便经由透镜46捕获患者20的图像。

在该例子中，散斑投影仪52设置在图2中所示的摄像机吊舱10中的两个透镜46之间即壳体41的前表面48的中间。在该例子中，散斑投影仪52布置成用非重复散斑图案的红光照射患者20，以使得当安装在摄像机吊舱10内的两个图像检测器捕获患者20的图像时，可以更容易地区分所捕获图像的对应部分。为此，散斑投影仪包括诸如led的光源和胶片，其中在胶片上印刷有随机散斑图案。在使用中，来自光源的光经由胶片投射，并且因此，由亮区和暗区组成的图案被投射到患者20的表面上。在一些监测系统中，散斑投影仪52可用设置成将光线或光栅图案形式的结构光(如激光)投射到患者20的表面上的投影仪替代。

图3是图1的患者监测器的计算机14的示意性框图。为了计算机14处理从摄像机吊舱10接收的图像，计算机14由在盘54上提供的软件或通过经由通信网络接收电信号55到多个功能模块56-64中来配置。在该例子中，功能模块56-64包括：3d位置确定模块56，用于处理从摄像机吊舱10接收的图像；模型生成模块58，用于处理由3d位置确定模块56生成的数据，并将数据转换为成像计算机表面的3d丝网模型；生成模型存储器60，用于存储成像表面的3d丝网模型；目标模型存储器62，用于存储先前生成的3d丝网模型；以及匹配模块64，用于确定将生成的模型与目标模型匹配所需的旋转和平移。

在使用中，当由摄像机吊舱10的图像捕获装置/摄像机获得图像时，这些图像由3d位置确定模块56处理。该处理使得3d位置确定模块能够在多对图像中识别患者20的表面上的相应点的3d位置。在示例性系统中，这通过3d位置确定模块56识别由摄像机吊舱10获得的多对图像中的对应点，然后基于所获得的多对图像中的对应点的相对位置和针对摄像机吊舱10的每一图像捕获装置/摄像机存储的摄像机参数确定这些点的3d位置来实现。

由3d位置确定模块56生成的位置数据被传送到模型生成模块58，该模型生成模块58处理位置数据以生成由立体摄像机10成像的患者20的表面的3d丝网模型。3d模型包括三角形丝网模型，其中模型的顶点对应于由3d位置确定模块56确定的3d位置。当已经确定这种模型时，将其存储在生成模型存储器60中。

在其它系统中，如基于将结构光投射到患者表面上的系统，不是处理多对图像来识别多对图像中患者表面上的对应点，而是基于结构光图案在图像中出现的方式生成患者表面的模型。

当存储了患者20的表面的丝网模型时，然后，调用匹配模块64以确定在基于由立体摄像机10获得的当前图像的所生成的模型与存储在目标模型存储器62中的患者的先前生成的模型表面之间的匹配平移和旋转。然后，可以将确定的平移和旋转作为指令发送到机械诊察台18，以使得诊察台将患者20相对于治疗设备16定位在与他们先前接受治疗时所处位置相同的位置。

随后，摄像机吊舱10的图像捕获装置/摄像机可以继续监测患者20，并且可以通过生成另外的模型表面并将那些生成的表面与存储在目标模型存储器62中的目标模型进行比较来识别位置的任何变化。如果确定患者20已经移出位置，则可以停止治疗设备16或者可触发警报并且重新定位患者20，从而避免照射患者20的错误部分。

图4为根据本发明实施例的模拟设备70的示意性框图。与患者监测器的计算机14一样，模拟设备70包括由软件配置的计算机，软件或被提供在盘66上或通过经通信网络将电信号68接收到多个功能模块56-62、74-78内，在该实施例中，功能模块包括：与患者监测器的计算机14中的那些功能模块一样的3d位置确定模块56、模型生成模块58、生成模型存储器60及目标模型存储器62，以及摄像机数据存储器72、位置指令存储器74、图像生成模块76和模型比较模块78。

在该实施例中，摄像机数据存储器72存储识别监测系统的摄像机的位置的数据；位置指令存储器74存储识别治疗设备16和诊察台18在治疗期间被指令采用的定向的数据；及图像生成模块76设置成处理目标模型存储器62、摄像机数据存储器72和位置指令存储器74内的数据以生成光图案被投射在其上的患者表面的模拟图像；及模型比较模块78用于将模型生成模块58生成的模型表面与目标模型存储器62中存储的目标模型进行比较。

模拟设备70进行的处理在图5的流程图中示出。

作为初始步骤100，图像生成模块76基于位置指令存储器74中的指令及目标模型存储器62生成治疗设备及患者表面的丝网模型。在治疗设备16的模型的情形下，这将是用于定位和治疗患者20的治疗设备16和机械诊察台18的预定表示，其中被建模的治疗设备16和机械诊察台18的位置和定向对应于通过针对建模的位置和定向的位置指令识别的位置和定向。在对患者表面进行建模的情形下，使用存储在目标模型存储器62中的患者模型，该模型以通过机械诊察台18的定向识别的方式绕治疗室等中心旋转，机械诊察台的定向通过针对建模的位置和定向的位置指令识别。

在已生成患者20的表面及处于特定方向的治疗设备16和诊察台18的丝网模型后，在步骤102，图像生成模块76从与摄像机数据存储器72中的数据所识别的摄像机位置对应的观察点生成丝网模型的多个纹理渲染的图像。

前述模拟图像的生成以传统方式使用纹理渲染软件实现。在图像中，在该实施例中，与摄像机吊舱的散斑投影仪52投射的散斑图案对应的散斑图案用于对所生成的丝网模型进行纹理渲染。

患者的建模表面与治疗设备的模拟图像的示意性图示在图6中示出。

在所示例子中，治疗设备200的模型被图示处于该设备已绕其轴旋转使得准直器202定位成相对于治疗室的等中心成角度的位置。图6中还示出了机械诊察台206的模型及患者表面部分的一部分的目标模型204。如图6中所示，这些模型的表面尤其是目标模型表面204及治疗设备200和机械诊察台206的相邻部分被示为进行纹理渲染，散斑图案为从摄像机数据存储器72内的数据所识别的点投射的预定散斑图案的投影。

由于纹理渲染，光图案投射在所定义的计算机模型的表面上可非常快速地进行，对于患者表面20、治疗设备16和机械诊察台18的由位置指令存储器74中的位置指令表示的多个模型，可重复该过程。

在一些实施例中，除基于光图案的表示投射在按特定位置定向的患者和治疗设备的模型上而生成图像之外，模拟设备70还可配置成生成这些图像然后处理这些图像以模拟监测系统中可能存在的图像和/或透镜失真和/或摄像机未校准。

在已创建从与摄像机数据存储器72内的数据所识别的摄像机位置对应的观察点查看的纹理渲染的模型的一组图像的基础上，在步骤104，模拟设备70调用3d位置确定模块56和模型生成模块58处理模拟图像以生成出现在模拟图像中的患者204的表面的模型表示。

更具体地，在监测患者时，当图像被处理时，3d位置确定模块56处理图像以基于所获得的多对图像中的对应点的相对位置从与各个摄像机吊舱10中的摄像机位置对应的观察点识别所述模型的多对模拟图像中的对应点。3d位置确定模块56生成的位置数据之后被传给模型生成模块58，其处理位置数据以生成出现在模拟图像中的患者204的表面的3d丝网模型。当这样的模型已被确定时，其存储在生成模型存储器60中。

在基于模拟图像生成的模型已被存储在生成模型存储器60中之后，在步骤106，模型比较模块78将生成的模型表面与目标模型存储器62中存储的目标模型进行比较以确定二者怎样不同。

由于模拟设备70生成的模拟图像基于已知定义的目标模型表面创建，目标模型表面与任何生成的模型之间的任何差异表示因治疗期间患者和治疗设备的位置和定位变化引起的误差和不确定性，例如因机架和准直器的运动妨碍从各个摄像机吊舱查看患者和/或图像和/或透镜失真和/或摄像机未校准引起的误差和不确定性。

因此，生成的模型与初始目标模型的比较可突出作为监测患者20的位置的手段可能不太可靠的模型部分，或者作为备选，可突出由于建模软件处理患者20和治疗设备16处于不同位置时的图像可能出现的位置预期变化。

前述测量结果或可用于帮助识别应被监测的患者20的表面上的最佳感兴趣区域，或帮助设定出现的可接受的检测到的运动的极限边界，即使在患者20在机械诊察台18上完全保持不动。

因而，例如，针对特定的一组模拟图像生成的丝网模型可被生成并与用于生成模拟图像的初始丝网模型进行比较。之后，可针对生成的模型的每一部分确定距离测量结果，其指明表面的该部分与用于生成模拟图像的初始模型之间的距离。在生成的模型表面与目标模型存储器中存储的初始目标模型之间的距离大于阈值量时，表明生成的模型的那些部分不可靠。当为监测患者20的位置生成模型时，导致模型的那些部分的模拟图像部分则可被忽略。

除了识别导致生成患者模型的不太可靠部分的图像部分之外，模型比较模块78进行的比较还可用于识别模型对用于监测患者的摄像机校准的灵敏度。

因而，例如，不是简单地从特定观察点生成处于特定位置的患者的表面的单一模拟图像，图像生成模块76可设置成从个别模拟图像生成一组图像，其中该组图像包括初始模拟图像的失真版以表示多种不同的图像和/或透镜失真和/或摄像机未校准。之后，模型表面可利用生成的多组图像生成，及生成的模型表面的变化可被识别，从而提供监测系统对因多种不同的图像和/或透镜失真和/或摄像机未校准出现的失真的灵敏度。

除利用模拟设备70识别监测系统对图像和/或透镜失真和/或摄像机未校准的失真的灵敏度及帮助识别导致生成不太可靠的表面模型的图像部分之外，模拟设备70还可用于生成处于多个定向的患者20表面和治疗设备16的图像，其之后可被处理以生成具有患者表面的患者20及根据符合特定治疗计划的定位指令定位的治疗设备16的模型表面。这些生成的模型与根据定位指令定向的目标表面之间的差可被用于识别在治疗过程期间患者表面的建模准确度怎样变化，例如因从特定观察点查看的表面部分被治疗设备妨碍而引起的变化。生成前述模型可用于识别模型的不太可靠的方面，此外，识别任何预期的明显运动，其可能在随患者和监测设备处于不同位置而建立模型表面时出现。

因而，例如，在治疗过程期间，由于患者20和治疗设备16按不同位置定向，当患者20的特定部分因治疗设备16的运动而被妨碍时，这可导致将利用来自不同摄像机吊舱10的数据生成的表面模型的特定部分。利用处于不同定向的患者表面和治疗设备的模拟图像生成模拟模型可模拟这些模型预期可怎样随时间变化。生成的模型与目标模型表面的相对位置和定向可进行计算。这可识别生成的模型的不太可靠的部分。此外，可以与通过监测系统的匹配模块64确定偏移同样的方式，通过比较目标模型表面和生成的模型表面，确定偏移测量结果。因而，这样，可确定随患者和治疗设备处于特定定向预期可能出现的预期偏移。随后，当在治疗期间监测患者时，在试图确定患者20是否已实际上移动到不适当位置时，可考虑患者20的预期明显运动。

尽管在上面描述的实施例中，已描述模拟设备70，其中模型基于识别光散斑图案投射到患者表面上的模拟图像的对应部分而生成，应意识到，上面描述的发明可用于确定在其它形式的患者监测系统中出现的误差。

因而，例如，如先前已注意到的，在一些患者监测系统中，不是匹配散斑图案投射到其上的患者表面上的点，患者20的位置通过测量投射到患者20的表面上的结构光图案如线或光栅图案或其它结构光图案的变形来确定。在这样的系统中，潜在的建模误差可通过调整上面描述的方法识别，其生成前述结构光图案投射到目标模型表面上的模拟图像、基于投射的图案在模拟图像中的出现对表面进行建模、及将生成的模型与用于生成模拟图像的目标模型进行比较。

尽管结合附图描述的本发明的实施例包括计算机设备及计算机设备中进行的处理，本发明还延伸到适于实施本发明的计算机程序，尤其是载体上或载体中的计算机程序。计算机程序可以是源代码或目标代码的形式或者适合用于实施根据本发明的处理的任何其它形式。载体可以是能够承载程序的任何实体或装置。

例如，载体可包括存储介质如rom例如cdrom或半导体rom，或者磁性记录介质如软盘或硬盘。此外，载体可以是可传送的载体如电或光信号，其可经电缆或光缆或者通过无线电或其它手段进行传输。当程序被体现在可通过线缆或其它装置或手段直接传输的信号中时，载体可由前述线缆或其它装置或手段构成。作为备选，载体可以是程序嵌入于其中的集成电路，该集成电路适于执行有关处理或者在执行有关处理时使用。