用于辅助的患者定位的系统和方法与流程

本公开的方面总体上涉及医学成像期间的患者监视，并且更具体地涉及医学成像期间的患者定位。

背景技术：

针对移动而确保适当的患者定位、识别和/或校正是医学成像（诸如，计算机断层扫描（ct扫描）、正电子发射断层（pct）扫描、磁共振成像（mri）和/或其他医学成像）的关键要素。在一些实例中，相机可以被安装到医学成像设备，以在医学成像扫描期间提供患者的位置和移动数据。然而，被安装到医学成像设备的相机提供有限的视野，这限制了在扫描期间这种图像在图像分析学中的使用。

附加地，当前系统要求操作者执行到可移动床的一个或多个调整，以在发起医学成像扫描之前适当地定位患者。不适当的定位导致医学图像中的误差或伪像。然而，操作者调整可能是耗时的，且要求操作者花费时间远离其他任务（诸如扫描监视、患者准备等）以执行这种调整。

技术实现要素：

在各种实施例中，公开了一种用于生成医学图像的方法。所述方法包括下述步骤：经由相机来获得患者的至少一个表面图像。使用至少一个空间信息模块来根据所述至少一个表面图像确定所述患者的姿势。经由可移动床将所述患者定位在成像起始位置处，并且使用医学成像模态来获得所述患者的医学图像。

在各种实施例中，公开了一种生成医学图像的系统。所述系统包括：成像模态，被配置成获得患者的医学图像；成像设备，被配置成获得患者的至少一个表面图像；以及处理器，被配置成实现空间信息模块、时间信息模块或其组合中的至少一个。所述处理器被配置成：接收所述患者的所述至少一个表面图像；以及验证患者姿势或身体区域中的至少一个。所述处理器进一步被配置成：当所述患者姿势或身体区域被验证时，使用所述成像模态来执行医学成像过程。

在各种实施例中，公开了一种利用计算机可执行指令编码的非瞬变计算机可读介质。所述计算机可执行指令在由用于获得医学图像的系统中的计算机执行时使所述用于获得医学图像的系统执行下述步骤：接收患者的至少一个表面图像；以及使用至少一个空间信息模块来根据所述至少一个表面图像确定所述患者的姿势。经由可移动床将所述患者定位在成像起始位置处，并且经由医学成像模态来获得所述患者的医学图像。

附图说明

以下内容将从附图的要素中明显可见，附图是出于图示性目的而提供的，且不必然按比例绘制。

图1图示了根据一些实施例的包括成像设备的医学成像系统，该成像设备耦合到机架的外表面且具有有限的视野。

图2图示了根据一些实施例的识别患者的身体姿势并将患者定位在起始位置处的方法。

图3图示了根据一些实施例的图2的方法的处理流程。

图4图示了根据一些实施例的被配置成识别患者姿势和/或身体区域边界的单帧分析学的方法。

图5图示了根据一些实施例的被配置成实现图4中图示的方法的空间信息模块的处理流程。

图6图示了根据一些实施例的包括致密块沙漏（dbhg）网络的堆叠编码器-解码器网络。

图7图示了根据一些实施例的具有与所识别的身体区域相对应的多个段的患者的图像。

图8图示了根据一些实施例的被配置成捕获集成到堆叠编码器-解码器网络中的时间信息的递归神经网络（rnn）。

图9图示了根据一些实施例的被配置成从多个输入图像生成复合图像的多帧分析学的方法。

图10图示了根据一些实施例的被配置成实现图9中图示的方法的时间信息模块的处理流程。

图11图示了根据一些实施例的在患者床的移动期间相对于患者的运动轨迹的点图360。

图12图示了根据一些实施例的从多个输入图像生成的致密化点云。

图13图示了根据一些实施例的通过将图12的致密化点云投影到虚拟相机上而生成的复合图像。

图14图示了根据一些实施例的使用被配置成应用具有粗几何拟合的基于图像的绘制的基于图像的绘制方法而生成的经合成的图像。

图15图示了根据一些实施例的用于生成医学图像的系统的框图。

具体实施方式

示例性实施例的该描述是意在结合附图来阅读的，附图应被视为整个所编写的描述的一部分。

本公开的各种实施例通过下述操作来解决与医学成像（诸如例如，计算机断层扫描（ct））中的患者定位和监视相关联的前述挑战：使用由被安装到成像设备的外表面的相机获得的一个或多个二维（2d）图像，以在发起医学成像过程之前定位患者并在该过程期间针对移动而监视患者。

图1图示了医学成像系统2的一个实施例。医学成像系统2包括至少针对在第一机架16中提供的第一医学成像模态12的扫描仪。第一模态12包括多个检测器，该多个检测器被配置成检测湮没光子、伽玛射线和/或其他医学成像事件。在各种实施例中，第一模态12是ct检测器、正电子发射断层扫描（pet）检测器、单光子发射断层扫描（spect）检测器和/或任何其他合适检测器。患者17躺在可移动患者床18上，可移动患者床18可以是相对于一个或多个机架16可移动的。在一些实施例中，医学成像系统2包括针对在第二机架中提供的第二医学成像模态的扫描仪。第二医学成像模态可以是任何合适成像模态，诸如例如pet、单光子发射断层扫描（spect）、ct和/或任何其他合适成像模态。

在一些实施例中，成像设备70被安装到医学成像系统2的外部表面，诸如医学成像系统2的外壳、一个或多个机架16的外壳和/或任何其他合适表面。成像设备70可以包括二维（2d）成像设备，诸如例如数码相机（诸如，电荷耦合设备（ccd）、互补金属氧化物半导体（cmos）设备和/或任何其他合适设备）。成像设备70被配置成生成患者17的位于机架16外的部分17a的一个或多个图像。在一些实施例中，成像设备70包括能够对患者17的位于成像模态12外的子部分进行成像的有限视野。成像设备70可以被配置成提供患者17的连续（即，视频）和/或离散图像。

来自第一模态12（和/或第二模态，如果被包括的话）的扫描数据被存储在一个或多个计算机数据库40处且由计算机30的一个或多个计算机处理器60处理。在一些实施例中，来自成像设备70的图像数据也可以由计算机30存储和/或处理，例如，被存储在数据库40中和/或由处理器60处理。图1中的计算机30的图形描绘仅作为图示而提供，并且计算机30可以包括一个或多个分离的计算设备。成像数据集可以直接由第一模态12、第二模态和/或成像设备70提供给计算机30，和/或可以作为分离的数据集而提供，诸如例如从耦合到计算机30的存储器提供。计算机30可以包括用于处理从该多个成像模态12之一和/或成像设备70接收到的信号的一个或多个处理电子装置。在一些实施例中，并且如下面更详细描述的那样，处理器60被配置成：执行一个或多个计算机可执行指令，并执行用于识别患者姿势、将患者定位在起始位置处以及生成至少一个医学图像的一个或多个步骤。

图2图示了根据一些实施例的识别患者17的身体姿势并将患者17定位在起始位置处的方法100。图3图示了根据一些实施例的图2的方法100的处理流程150。在步骤102处，将患者17定位在相对于包含至少一个医学成像模态12的至少一个机架16可移动的患者床18上。患者17可以以一个或多个姿势（或姿势的组合）（诸如，脚朝前、头朝前、仰卧、俯卧等）而定位在床上。在一些实施例中，患者17的姿势与要执行的成像过程相关。例如，在一些实施例中，患者17可以有利地针对所选成像过程而摆姿势，诸如，以头朝前、仰卧姿势、头朝前俯卧姿势、脚朝前仰卧姿势或脚朝前俯卧姿势定位。尽管本文讨论了具体姿势，但应当领会，患者17可以以任何合适姿势而定位在患者床18上。

在步骤104处，使用耦合到医学成像系统2的外表面的成像设备70来获得患者17的一个或多个表面图像152a-152c。图像152a-152c可以是由成像设备70获得的离散图像和/或连续图像（即，视频）。在一些实施例中，该一个或多个图像152a-152c具有有限的视野，使得患者17的仅部分17a在由成像设备70获得的每一个图像中可见。例如，患者17的成像可以被限于一个或多个身体区域，诸如例如头部、胸部、腹部、骨盆、腿部等。由成像设备70获得的图像152a-152c可以进一步被一个或多个堵塞（诸如，住院服和/或其他遮盖物）影响、受照明条件影响和/或被伪像和/或失真影响。在一些实施例中，成像设备包括2d成像设备，诸如，被配置成获得患者17的离散和/或连续图像的2d红-绿-蓝（rgb）成像设备或黑白成像设备。

在步骤106处，将该一个或多个图像提供给预处理模块154，预处理模块154被配置成执行一个或多个校正和/或以其他方式预处理由成像设备70捕获的图像152a-152c。例如，预处理模块154可以被配置成移除伪像、校正失真和/或提供任何其他合适校正。在一些实施例中，预处理模块154可以被配置成应用图像滤波（例如低通滤波、高通滤波、双边滤波、傅里叶滤波等）、线性变换（例如恒等、反射、比例、旋转、剪切等）、非线性变换（例如，基于从相机校准获得的透镜失真参数的非失真）和/或任何其他合适图像预处理。预处理模块154针对由成像设备70获得的每一个图像152a-152c生成经处理的图像156。

在可选步骤108处，将经处理的图像156中的每一个提供给时间信息模块160，时间信息模块160被配置成：对来自多个经处理的图像156的信息进行合计，以通过时间网络学习来生成经缝合的图像和/或改进患者身体区域估计。时间信息模块160可以包括：一个或多个个体网络和/或模块，被配置成同时和/或顺序地分析多个经处理的图像156以生成合计图像。时间信息模块160可以被配置成应用多帧分析学处理以改进身体区域估计，被配置成组合多个经处理的图像156以生成具有比任何单个经处理的图像156大的视野的合计图像，和/或被配置成执行附加的或可替换的图像合计过程。时间信息模块160可以包括一个或多个神经网络，如下面更详细讨论的那样。

在步骤110处，将每一个经处理的图像156提供给空间信息模块158，空间信息模块158被配置成识别患者姿势（例如头朝前/脚朝前、仰卧/俯卧等）和/或识别被包含在经处理的图像156内的具体患者区域（例如头部、胸部、腹部、下体等）。空间信息模块158可以包括：一个或多个个体网络和/或模块，被配置成分析图像156以识别具体患者姿势和/或身体区域。在一些实施例中，空间信息模块158被配置成应用单帧分析学处理以识别患者姿势和/或身体区域（诸如，一个或多个神经网络），如下面更详细讨论的那样。尽管步骤106-110被图示为有区别的步骤，但应当领会，在一些实施例中，预处理、空间信息分析和/或时间信息分析可以由单个网络执行且被组合成单个步骤。

在步骤112处，将患者17定位在对于要执行的一个或多个医学成像扫描而言优化和/或理想的起始位置处。例如，在一些实施例中，患者床18被移动以将要在医学成像模态12的视野内扫描的患者17的部分17a定位在与医学成像模态12相关联的起始位置处和/或定位在任何其他有利位置中。医学成像系统2可以使用与医学成像系统2集成地形成的移动设备（诸如，操作地耦合到患者床18的一个或多个电动机）来定位患者17。患者17的理想起始位置与要执行的想象过程相关，并且在发起医学成像扫描之前，患者17被自动地（例如，在没有用户交互的情况下）定位在理想起始位置中。定位可以由医学成像系统2基于由计算机30执行的患者姿势和/或身体区域识别来自动地执行。

在一些实施例中，医学成像系统2被配置成：使用所生成的身体姿势和/或身体区域估计，以验证患者的适当姿势、将患者17定位在起始位置处和/或自动地发起医学成像过程。例如，在一些实施例中，医学成像系统2（诸如计算机30）被配置成：将由空间信息模块158生成的身体姿势估计与针对一个或多个所选医学成像过程而要求和/或对于一个或多个所选医学成像过程而言最优的预定姿势进行比较。如果姿势估计匹配于预定姿势，则医学成像系统2生成患者姿势对于所选成像过程而言适当的指示。如果姿势估计不匹配于预定姿势，则医学成像系统2可以向操作者和/或患者生成在发起医学成像过程之前校正患者姿势的指示。

在一些实施例中，医学成像系统2被配置成：将患者17定位在与针对一个或多个预定医学成像过程的所选和/或理想起始位置相对应的预定起始位置处。例如，在一些实施例中，医学成像过程可以对应于一个或多个身体区域（诸如头部、胸部、腹部、骨盆、腿部等）的成像。医学成像系统2被配置成：从由成像设备70获得的多个图像中识别一个或多个身体区域，并定位患者17以使得所选身体区域被定位在针对医学成像过程的理想起始位置处，诸如，被定位在针对第一成像模态12的视野的起始处。医学成像系统2可以直接确定所选身体区域的位置（例如，在一个或多个图像中可见且相对于机架16定位的身体区域）和/或间接确定所选身体区域的位置（例如，不可见但可通过在一个或多个图像中可见的附加身体区域而计算的身体区域）。在一些实施例中，患者17一般可以由操作者定位，并且医学成像系统2可以在开始医学成像过程之前执行较小和/或附加的定位。

在步骤114处，使用与医学成像系统2集成地形成的医学成像模态12中的一个或多个来获得医学图像162。医学图像162可以是根据任何预定成像处理（诸如例如，连续床运动（cbm）成像（例如cbmct、cbmpet等）、步进式（step-and-shoot）成像和/或固定位置成像）来获得的。医学图像162可以是根据用于生成患者的预定部分的医学图像的任何已知方法来处理的。在一些实施例中，医学成像系统2被配置成在将患者17定位在起始位置处之后自动地发起医学成像过程。

图4图示了根据一些实施例的被配置成识别患者姿势和/或身体区域边界的单帧分析学的方法200。图5图示了根据一些实施例的被配置成实现图4中图示的方法200的空间信息模块158a的处理流程250。在步骤202处，由空间信息模块158a接收至少一个图像152d。在一些实施例中，空间信息模块158a包括被配置成处理由成像设备70获得的每一个图像152d（即，帧）的单帧分析学网络。

在步骤204处，将每一个图像152d提供给图像处理网络252，并且在步骤206处，图像处理网络252输出患者姿势和/或身体区域估计。图像处理网络252可以至少包括被配置成识别每一个图像152d中的患者姿势和/或身体区域的神经网络。例如，在一些实施例中，图像处理网络252包括完全卷积神经网络（fcnn）252a。fcnn252a包括多个层，诸如一个或多个输入层254、一个或多个输出层256和/或一个或多个隐藏层258-264。隐藏层中的每一个可以包括卷积层、池化层、完全连接层和/或归一化层中的一个或多个。

在一些实施例中，卷积层258中的每一个将卷积操作和/或互相关操作应用于输入。卷积层258的输出被提供给后续层，诸如池化层260。卷积层258具有多个参数，该多个参数包括具有小感受野（即，小视野）的可学习滤波器（被称作内核）集合，该小感受野延伸通过输入体积的全部深度。可以跨宽度和/或高度对输入体积进行卷积，以在滤波器的入口与输入之间生成输出，诸如点积输出。卷积生成2d激活图。在一些实施例中，卷积层258针对沿深度维度的所有滤波器而堆叠激活图，以形成卷积层258的全部输出体积。输出中的每一个入口可以被解释为输入中的小区域（即，神经元）的输出，并与激活图中的神经元共享参数。在一些实施例中，fcnn252a可以包括被配置成控制每一个卷积层中的自由参数的数目的参数共享方案。fcnn252a可以标示图像的深度维度内的2d切片，并针对切片内的每一个神经元而使用相同权重和/或偏置。

在一些实施例中，fcnn252a包括被配置成执行非线性下采样的至少一个池化层260。每一个池化层260可以包括一个或多个非线性函数，诸如例如最大池化函数、平均池化函数、l2范数池化函数和/或任何其他合适池化函数。例如，在包括最大池化的实施例中，每一个池化层被配置成将输入图像分割成非重叠矩形的集合，并最大化针对每一个非重叠矩形的输出。池化层260可以被配置成渐进地减小表示的空间大小，减少参数的数目和网络中的计算的量，和/或控制过拟合。在一些实施例中，池化层260被配置成在输入的每一个切片上独立地操作，例如执行空间大小调整。

在一些实施例中，fcnn252a包括一个或多个完全连接层262。完全连接层262被配置成提供去往前一层258、260中的所有经激活的神经元的连接。可以利用矩阵乘法和/或偏置偏移来计算激活，以将附加输入提供给后续卷积层。在各种实施例中，可以实现一个或多个fcnn网络，例如，alexnet、vggcnn、resnet和/或任何其他合适cnn网络的经修改的版本。

在一些实施例中，fcnn252a包括如图6中图示的堆叠完全卷积编码器-解码器网络270，其被配置成通过跨不同比例合计中间结果和特征来渐进地改善患者姿势和/或身体区域的预测。堆叠完全卷积编码器-解码器网络270是空间递归网络，其从前一迭代（或级）272a接收预测作为对每一个后续级272b的输入，以经由信息合计和误差反馈机制来渐进地改善预测。

在一些实施例中，fcnn252a被配置成通过对一个或多个身体区域进行空间建模来实行结构性推论。如图7中图示，在一些实施例中，fcnn252a将患者身体17分段成多个区域282a-282e，例如，以便生成树形结构280。树形结构可以由以下等式表征，其中在一些实施例中，i标示输入图像152a并且x标示l个身体区域边界的位置（其中x={x1,x2,…,xl}）。由θ参数化的条件概率p{x|l,θ)可以被建模为：

其中z是归一化因子，被定义为。基于患者17的树形结构280，无向图，其中ν指定身体区域边界的位置，并且ε标示将身体区域相连接的边的集合。此外，能量函数可以被表达如下：

其中一元能量分量测量在xi处第i个身体区域边界的位置的逆似然性，并且成对能量分量测量身体区域配置xi和xj之间的相关性。在一些实施例中，一元能量分量由fcnn252a确定（例如，预测），例如作为针对每一个身体区域282a-282e的热图，并且成对能量项可以由弹簧模型表征，尽管应当领会，可以使用用于估计和/或确定一元和/或成对能量项的其他方案。

在一些实施例中，单个网络可以被配置成联合地估计患者的姿势和身体区域。例如，在一些实施例中，神经网络252包括：多任务学习框架，被配置成针对不同监督信号而共享一个或多个层中的特征。神经网络252可以使用共享的特征以联合地估计图像152a-152c内的患者17的姿势和/或身体区域。

再次参考图6，在一些实施例中，堆叠编码器-解码器网络270包括致密块沙漏（dbhg）网络270。每一个dbhg270包括多个级272a、272b，每一个级具有作为包括编码器部分276和解码器部分278的致密块（或其他合适网络）而生成的至少一个沙漏274。例如，在一些实施例中，堆叠编码器-解码器网络270包括堆叠2dbhg，其中每一个沙漏274具有预定深度（例如，为4的深度），并且每一个致密块具有四个瓶颈连接（如图8中图示）。尽管本文描述了具体实施例，但应当领会，堆叠编码器-解码器网络可以包括被配置成识别患者17的姿势和/或身体区域的任何合适结构。

在一些实施例中，时间信息模块160被配置成在患者姿势和/或身体区域估计期间同时考虑多个帧。时间信息模块160a可以被配置成：处理由成像设备70捕获的每一个帧，以通过对来自多个帧的信息进行合计来获得鲁棒估计。例如，在一些实施例中，每一个帧可以由空间信息模块158（诸如，上面讨论的空间信息模块158a）个体地分析，且由时间信息模块160合计，以生成单个姿势和/或身体区域估计。时间信息模块160可以被配置成：针对每一个帧生成每一个可能姿势的概率，并生成来自多个帧的统计值（诸如，截尾均值或中位数），以生成针对患者姿势的最终估计。

在一些实施例中，可以使用随时间的序列预测上的平滑方法（例如，卡尔曼滤波）来针对身体区域边界估计而对时间信息（例如，多个帧）进行合计。可替换地和/或附加地，在一些实施例中，递归神经网络（rnn）160a被配置成捕获时间信息。在一些实施例中，rnn160a被集成到堆叠编码器-解码器网络270a中，如图8中图示。当rnn160a与堆叠编码器-解码器网络270a集成时，与由堆叠编码器-解码器网络270a对每一个个体帧的处理同时地，rnn160a识别时间信息。在一些实施例中，rnn160a包括长短期存储器（lstm）网络。

图9图示了根据一些实施例的被配置成从多个输入图像生成复合图像的多帧分析学的方法300。图10图示了根据一些实施例的被配置成实现图9中图示的方法300的时间信息模块160a的处理流程350。在步骤302处，由时间信息模块160a接收多个图像152a-152c。时间信息模块160a包括多帧分析学模块352。图像152a-152c中的每一个具有相对于位于可移动床18上的患者17的有限视野。例如，再次参考图1，在一些实施例中，耦合到机架16的外表面的成像设备70（诸如，相机）具有包括患者17的仅部分的有限视野80。随着可移动床18在扫描方向82上前进，患者17的被包含在视野80内的部分改变。在一些实施例中，多帧分析学模块352被配置成生成具有比成像设备70的视野80大的视野的复合图像。

在步骤304处，多帧分析学模块352组合所接收到的图像152a-152c中的两个或更多个，以生成复合图像360。例如，在一些实施例中，多帧分析学模块352被配置成组合包含患者17的部分的两个或更多个离散图像152a-152c，以生成具有比个体离散图像152a-152c中的任一个大的视野的单个复合图像360。在一些实施例中，多帧分析学模块352被配置成：利用运动结构法则（sfm,structurefrommotion）技术，以估计患者床18运动和/或深度图，以便从所接收到的图像152a-152c生成患者17的3d表面。多个所生成的3d表面被组合以生成患者17的单个3d表面图像。在一些实施例中，多帧分析学模块352被配置成实现同时定位与地图构建（slam,simultaneouslocalizationandmapping）技术，如下面更详细讨论的那样。在一些实施例中，所生成的复合图像360被提供给空间信息模块158，以用于确定姿势和/或身体区域边界。

在一些实施例中，多帧分析学模块352被配置成通过组合来自从成像设备70获得的连续图像流（例如，视频）和/或离散图像流的多个帧，来扩展成像设备70的视野。例如，在一些实施例中，多帧分析学模块352实现两步处理，其包括相对运动恢复模块354和图像合成模块356。在一些实施例中，如果相对运动与图像获取同步，则可以从患者床读数推断相对运动。在一些实施例中，并且如下面更详细讨论的那样，同时定位与地图构建（slam）技术可以用于相对运动恢复，并且反向投影几何估计可以用于图像合成，尽管应当领会，任何合适技术可以用于相对运动恢复和/或图像合成。

在一些实施例中，相对运动恢复模块354被配置成实现一个或多个运动结构法则（sfm）方法、slam方法和/或任何其他合适运动恢复方法。例如，在包括两个或更多个成像设备70的实施例中，sfm方法针对由成像设备70获得且由时间信息模块160a处理的所有可能对的视频帧而应用帧匹配。sfm方法能够处置无序且异构的数据（例如，由不同相机在各种环境条件下捕获的图像）。

在包括单个成像设备70的一些实施例中，相对运动恢复模块354包括slam实现方式。时间信息模块160a被配置成跨连贯帧（诸如，由连续成像设备70提供的帧）而跟踪信息。在一些实施例中，slam方法实现一种或多种统计技术以近似患者17的位置且近似医学成像环境的图。例如，slam方法可以实现卡尔曼滤波、粒子滤波（例如，蒙特卡洛滤波）、扫描匹配、光束法平差（bundleadjustment）和/或任何其他合适技术中的一种或多种。在一些实施例中，slam模块被配置成生成点图360（参见图11）。

在具体实施例中，slam方法可以受一个或多个所施加的参数限制。例如，在一些实施例中，所施加的参数可以包括对患者床18的移动的到预定移动范围（例如，一个或多个自由度）的限制，该预定移动范围诸如是包括进/出机架16的高度和/或纵向移动中的平移的两度移动范围。作为另一示例，在一些实施例中，所施加的参数可以包括：静态背景的限制，使得可以经由从视频的第一视图帧累积的帧区别来检测背景区域；以及患者17正随患者床18一起向机架16移动的假设。

在一些实施例中，相对运动恢复模块354被配置成输出一个或多个关键帧和伴随的点图360。例如，在一些实施例中，相对运动恢复模块354被配置成以固定间隔和/或基于所估计的移动来输出点图和对应帧（例如，在患者17已经移动预定距离之后输出帧）。该一个或多个关键帧被配置成基于来自成像设备70的所提供的帧来提供患者17的良好空间覆盖。在一些实施例中，关键帧被选择成使得附近关键帧之间的重叠允许由图像合成模块306对背景和/或前景元素的几何估计，如下面更详细讨论的那样。

在一些实施例中，点图360包括与患者17的所检测到的几何结构相对应的多个点（诸如，网格点）。例如，如图11中所示，点图360可以是相对于患者17在患者床18的移动期间的运动轨迹362而生成的。点图360包括多个点，每一个点对应于由相对运动恢复模块354检测到的患者17的部分。

在一些实施例中，相对运动恢复模块354将针对一个或多个关键帧的点云360（诸如，稀疏点云）提供给图像合成模块356。图像合成模块356被配置成针对每一个所接收到的帧和对应点云而估计患者的3d身体几何结构。在一些实施例中，图像合成模块356被配置成从输入帧（即，关键帧）生成经合成的图像。图像合成模块356可以实现任何合适图像合成方法，诸如，基于多视图立体匹配的深度图融合方法和/或基于粗深度估计的基于图像的绘制方法。

在一些实施例中，实现包括深度图融合方法的图像合成模块356。深度图融合方法被配置成：通过使用一个或多个多视图立体处理，根据针对每一个所接收到的帧的每一个帧而估计的深度图估计合计经扩展的致密图。例如，在一些实施例中，多视图立体处理使用具有点云360中的点的重叠数目的一个或多个附加帧，以针对每一个个体帧而估计致密图。针对每一个帧的个体深度图被合并在一起作为图12中图示的致密化点云366。致密化点云被投影到虚拟相机上，以生成具有患者17的经扩展的视野的经合成的图像370，如图13中图示。与由成像设备70获得的个体图像中的任一个相比，图13的经合成的图像370具有经扩展的视野。

在一些实施例中，图像合成模块356包括：基于图像的绘制方法，被配置成应用具有粗几何拟合的基于图像的绘制。在一些实施例中，基于图像的绘制被配置成：应用粗几何结构作为代理，以通过使用基于图像的绘制、经由该代理（例如，粗几何结构）将输入图像投影到具有经扩展的视野的虚拟相机上。在一些实施例中，粗几何结构是从由相对运动恢复模块354生成的点云360导出的。图14图示了根据一些实施例的使用基于图像的绘制方法而生成的经合成的图像380的一个实施例，该基于图像的绘制方法被配置成应用具有粗几何拟合的基于图像的绘制。

参考回到图9，在步骤306处，时间信息模块160被配置成输出复合图像370、380。在一些实施例中，时间信息模块160被配置成：将复合图像370、380提供给空间信息模块158，以用于在姿势和/或身体区域估计中使用。例如，在一些实施例中，空间信息模块158被配置成：将复合图像370、380提供给上面讨论的网络中的一个或多个，诸如例如，完全卷积神经网络252a。空间信息模块158可以被配置成：输出来自所提供的复合图像370、380的姿势和/或身体区域估计和/或提供附加信息（诸如，经更新的点云）到时间信息模块160，以用于附加处理。

在一些实施例中，空间信息模块158和/或时间信息模块160中包括的神经网络可以是在发起患者姿势和/或身体区域确定之前训练的，和/或可以是从预先生成和/或预先训练的神经网络中选择的。例如，在一些实施例中，系统（诸如，图1中图示的计算机系统30）接收训练数据集。训练数据集包含多个训练图像，该多个训练图像至少包括患者的部分和标识与训练图像相关的信息（诸如，图像内包含的患者的姿势、图像内包含的（一个或多个）身体区域、对至少部分地在训练图像上生成的复合图像的引用和/或任何其他合适信息）的关联数据。在一些实施例中，系统30接收多个训练数据集，每一个训练数据集包含具有关联数据的多个训练图像。例如，系统30可以接收仅包含第一姿势和/或身体区域的第一训练数据集、仅包含第二姿势和/或身体区域的第二训练数据集、仅包含第三姿势和/或身体区域的第三训练数据集等。该（一个或多个）训练数据集可以是从单个源接收的和/或可以是从多个源接收的。在其他实施例中，系统30被配置成从储存库（诸如，存储器和/或网络连接的储存设备）加载一个或多个预先生成的神经网络。

在一些实施例中，系统30被配置成使用训练数据集（诸如例如fcnn网络252a、rnn160a、多视图立体网络等）来生成神经网络。每一个神经网络可以是通过将训练数据集中的训练图像中的每一个提供给学习网络来生成的，该学习网络诸如是图像到图像学习网络、深度强化学习网络、残余网络、致密连接的卷积网络和/或任何其他合适学习网络。学习网络检查训练图像中的每一个并试图识别一个或多个参数，诸如患者姿势、身体区域等。

在一些实施例中，学习网络是经监督的学习网络。经监督的学习网络接收训练数据集，并试图识别由训练数据集暗示且将输入（即，训练图像）集合最佳地映射到正确输出的神经网络映射（例如，神经网络地形）。例如，被提供有包含各种患者姿势和/或身体区域的训练数据集的经监督的学习网络生成将每一个图像最佳地映射到一个或多个姿势和/或身体区域类别的神经网络。成本函数关于所选映射与训练数据集之间的失配。该成本函数可以包括任何合适成本函数，诸如均方误差函数或分类交叉熵损失函数。在一些实施例中，学习网络使用反向投影算法，以计算在训练期间神经网络中的每一个神经元（例如，节点）的误差贡献。该成本函数被配置成基于训练数据集来识别最佳神经网络地形。

图15是用于生成医学图像的系统500的框图。系统500包括医学成像系统2和计算机系统30a。在一些实施例中，可以使用计算机系统30a，例如以用于实现对医学成像系统2进行控制的系统30。计算机系统30a可以包括一个或多个处理器60a。每一个处理器60a连接到通信基础设施506（例如，通信总线、跨接条或网络）。处理器60a可以被实现为中央处理单元、嵌入式处理器或微控制器、专用集成电路（asic）、和/或被配置成执行用于执行一个或多个步骤的计算机可执行指令的任何其他电路。处理器60a类似于上面讨论的处理器60，并且类似的描述不在本文中重复。计算机系统30a可以包括：显示接口522，其转发来自通信基础设施506（或来自帧缓冲器，未示出）的图形、文本和其他数据以用于在显示单元524上显示给用户。

计算机系统30a还可以包括主存储器504（诸如随机存取存储器（ram））和辅存储器508。主存储器504和/或辅存储器508包括动态随机存取存储器（dram）。辅存储器508可以包括例如硬盘驱动器（hdd）510和/或可移除储存驱动器512，其可以表示固态存储器、光盘驱动器、闪速驱动器、磁带驱动器等等。可移除储存驱动器512从可移除储存单元516读取和/或向可移除储存单元516写入。可移除储存单元516可以是光盘、磁盘、软盘、磁带等等。可移除储存单元516可以包括计算机可读储存介质，该计算机可读储存介质中有形地存储有（或者该计算机可读储存介质上体现有）数据和/或计算机可执行软件指令，例如以用于使（一个或多个）处理器执行各种操作和/或一个或多个步骤。

在可替换实施例中，辅存储器508可以包括用于允许计算机程序或其他指令被加载到计算机系统30a中的其他设备。辅存储器508可以包括可移除储存单元518和对应的可移除储存接口514，可移除储存接口514可以类似于可移除储存驱动器512，具有其自身的可移除储存单元516。这种可移除储存单元的示例包括但不限于通用串行总线（usb）或闪速驱动器，这允许软件和数据从可移除储存单元516、518传送到计算机系统30a。

计算机系统30a还可以包括通信接口（例如，联网接口）520。通信接口520允许指令和数据在计算机系统30a与医学成像系统2之间传送。通信接口520还提供与其他外部设备的通信。通信接口520的示例可以包括调制解调器、以太网接口、无线网络接口（例如射频、ieee802.11接口、蓝牙接口等等）、个人计算机存储卡国际协会（pcmcia）槽和卡等等。经由通信接口520而传送的指令和数据可以以信号的形式存在，该信号可以是能够由通信接口520接收的电子信号、电磁信号、光信号等等。这些信号可以经由通信路径（例如，信道）而提供给通信接口520，该通信路径可以是使用导线、线缆、光纤、电话线、蜂窝链路、射频（rf）链路和其他通信信道来实现的。

本文描述的方法和系统可以至少部分地以计算机实现处理和用于实践这些处理的装置的形式体现。所公开的方法还可以至少部分地以利用计算机可执行程序代码编码的有形非瞬变机器可读储存介质的形式体现。介质可以包括例如ram、rom、cd-rom、dvd-rom、bd-rom、硬盘驱动器、闪速存储器或者任何其他非瞬变机器可读储存介质，其中当计算机程序代码被加载到计算机中且由计算机执行时，该计算机变为用于实践该方法的装置。该方法还可以至少部分地以计算机程序代码被加载和/或执行到其中的计算机的形式体现，使得该计算机变为用于实践该方法的专用计算机。当被实现在通用处理器上时，计算机程序代码段将该处理器配置成创建用于实现本文公开的方法的具体连接、电路和算法。

装置和处理不限于本文描述的具体实施例。附加地，每一个装置的部件和每一个处理可以是与本文描述的其他部件和处理独立且分离地实践的。

实施例的先前描述被提供以使本领域技术人员能够实践本公开。对这些实施例的各种修改对本领域技术人员来说应当容易可见，并且本文限定的一般原理可以在不使用创造性能力的情况下被应用于其他实施例。不意在将本公开限于本文示出的实施例，但应向本公开给予与本文公开的原理和新颖特征一致的最宽范围。