本发明涉及一种生成针对生物力学组件的复合模型的系统、一种生成针对生物力学组件的复合模型的方法、一种计算机程序单元和一种计算机可读介质。
背景技术
乳腺癌是西方世界妇女遭受的最常见的癌症类型。
患者有若干处置选择，例如手术，其中，移除乳房组织的受影响部分。在联合决策制定的背景下，已经开发出生物力学方法以提前模拟乳房手术的结果。该模拟为患者或医务人员提供了手术结果的视觉表示，以更好地理解后果。
目前，生物力学组件(例如人体躯干)的这种模拟产生基于针对特定患者和从这样的影像构建的模型中的任一个采集的mr或ct图像。换言之，在可以计算针对给定患者解剖结构的模拟之前，需要首先采集特定患者的内部的影像。然而，这样的影像的采集要么非常昂贵，要么在x辐射的情况下自身由于辐射剂量而构成健康风险。
技术实现要素：
因此，可能需要备选系统或方法来促进或更安全地产生用于模拟生物力学组件的模型。
通过独立权利要求的主题解决了本发明的目的，其中，另外的实施例并入在从属权利要求中。应当注意，本发明的以下描述的方面同样适用于生成复合模型的方法、计算机程序单元和计算机可读介质。
根据本发明的第一方面，提供了一种生成针对生物力学组件的复合模型的系统，包括：
输入接口，用于接收i)针对力学组件的相应解剖部件的至少两个输入部件模型，以及ii)由所述生物力学组件的外层的相机采集的表面图像；以及
组合器，被配置为基于所述表面图像将所述至少两个输入部件模型组合成针对所述生物力学组件的组合力学模型。
在一个实施例中，模型部件是3d或体积模型部件，相对于相机，部件中的一个位于另一个部件之后，并且两者位于外层(例如皮肤)后面。这样的至少两个解剖部件在视觉上从相机中遮挡。相机优选使用非电离辐射进行表面成像。至少局部地，外层的形状至少部分地符合解剖部件中的至少一个的至少部分的形状。部件彼此耦合和/或它们中的至少一个耦合到外层。更具体地并且根据一个实施例，生物力学组件是动物或人体躯干，并且解剖部件包括a)乳房和b)胸壁的至少部分。
如本文所提出的，根据两个或更多个子模型生成复合超模型允许捕获更宽范围的解剖改变，并且从而实现更逼真的生物力学模拟，而不是旨在作为整体建模生物力学组件中的部件的整体模型构造。
根据一个实施例，所述至少两个输入部件模型中的至少一个是先前从针对内部部件中的相应一个的通用模型被调整的。
根据一个实施例，至少两个输入模型是已经从相应的通用模型中如此被调整的，其中，所述通用模型是分别从相应的不同训练集学习的。这允许避免使用具体mri影像，因此节省了准备模拟的时间和成本。
根据一个方面，组合器包括求解器部件，其被配置为：
在所述输入部件模型中的第二输入部件模型的初始位置处将所述输入部件模型中的第一输入部件模型接合到所述第二输入部件模型，以如此获得候选组合力学模型；
执行候选组合模型的力学模拟以获得候选组合模型的第一配置；
比较候选组合模型的所述配置与表面图像，以获得偏离的量度；并且
基于所述偏离的量度，改变所述初始位置以获得第二候选组合模型。
根据一个实施例，在多个力学自由度(dof)上执行生物力学模拟。dof包括旋转、平移和/或变形。更高水平的真实性是可以实现的。
根据一个实施例，所述初始位置的所述改变仅针对所述多个所述力学自由度的子集被执行。这允许减少计算时间。
根据一个实施例，求解器在迭代步骤中迭代地行进通过一系列候选组合模型，其中，所述力学自由度的数量随所述迭代步骤而改变。这允许减少计算时间。
根据另一方面，提供了一种生成针对生物力学组件的复合模型的计算机实施的方法，包括以下步骤：
接收：i)针对所述力学组件的相应解剖部件的至少两个输入部件模型，以及ii)由相机采集的所述生物力学组件的外层的表面图像；并且
基于所述表面图像将所述至少两个输入部件模型组合为针对所述生物力学组件的组合力学模型。
根据一个实施例，所述至少两个输入部件模型中的至少一个是先前根据针对内部部件中的相应一个的通用模型被调整的。
根据一个实施例，至少两个输入模型是已经根据相应的通用模型被调整的，其中，所述通用模型是分别根据相应的不同训练集学习的。
根据一个实施例，组合步骤包括以下子步骤：
根据至少两个输入部件模型，在所述输入部件模型中的第二输入部件模型的初始位置处将所述输入部件模型中的第一输入部件模型接合到所述第二输入部件模型，以如此获得候选组合力学模型；
执行候选组合模型的力学模拟以获得候选组合模型的第一配置；
比较候选组合模型的所述配置与表面图像，以获得偏离的量度；并且
基于所述偏离的量度，改变所述初始位置以获得第二候选组合模型。
根据一个实施例，力学模拟在多个力学自由度上被执行。
根据一个实施例，所述初始位置的所述改变仅针对所述多个所述力学自由度的子集被执行。
根据一个实施例，该方法在迭代步骤中迭代地行进通过一系列候选组合模型，其中，所述力学自由度的数量随所述迭代步骤而改变。
根据一个实施例，力学组件是动物或人的躯干。
根据一个实施例，内部部件包括a)乳房和b)胸壁。
根据另一方面，提供了一种计算机程序单元，其当由处理单元执行时适于执行上述实施例中的任一个的方法。
根据又一方面，提供了一种计算机可读介质，其上存储有程序单元。
简而言之，根据一个实施例，提出了一种系统和相关方法，其使得能够纯粹基于在一个优选实施例中可以从光学表面扫描获得的躯干的表面的表示生成用于尤其是人体躯干的生物力学模拟的模型，而不需要mr或ct成像。
附图说明
现在将参考以下附图(不一定按比例绘制)描述本发明的示范性实施例，其中：
图1是力学生物医学组件的解剖部件的示意图；
图2示出了用于生成力学生物医学组件的复合模型的系统的示意性框图。
图3示出了生成生物力学组件的解剖部件的通用输入模型的方法的流程图；
图4a、b示出了生成针对生物力学组件的复合模型的方法的流程图；以及
图5示出了将表面图像配准到模型的方法的图示。
具体实施方式
本文提出了计算机化模型生成器系统cmg，用于基于两个或更多个输入模型生成生物力学组件的复合模型。每个输入模型表示生物力学组件的相应解剖部分。在更详细地解释复合模型生成器系统cmg的操作之前，首先参考下面的图1(其未必按比例绘制)来图示示范性生物力学组件可能是有益的。
图1a示出了生物力学组件的轴向视图，例如女性人体躯干tor。另一方面，图1b提供了所述躯干tor的矢状视图(侧视图)。在图1a、b中，附图标记l和r分别指示左和右，而附图标记t和b分别指代躯干tor的顶部和底部部分。在结构上，躯干tor具有分层组成，一层布置在另一层之后，具有暴露的外层ol，挡住躯干tor内的层的皮肤。两个乳房被形成为由下层乳房组织膨胀到皮肤ol中引起的皮肤ol的膨胀部分。乳房组织耦合到躯干内的胸壁c的一部分。具体地，该部分在本文中称为胸壁元件c。更具体地，乳房组织耦合到胸腔壁元件。壁元件c是骨(肋)和胸肌组织的混合物。还存在另外的中间层或内层il，其部分地位于皮肤/乳房组织与壁元件之间和/或部分地围绕(即，邻近于)乳房组织。该内层il由结缔组织形成，但也由乳房组织和脂肪组织形成。被视为生物力学组件的女性躯干的主要部件因此包括外层(皮肤)、下层乳房组织、胸壁c，所述胸壁c形成乳房组织经由位于乳房组织与胸腔之间的中间层耦合到的壁。图1中的虚线示出胸壁c的特定形状。
现在参考图2，其中，示出了所提出的复合模型生成器系统cmg(本文中也简称为“复合模型生成器”)的示意性框图。该系统任选地包括表面相机dsc(例如，microsoftkinect相机)，尽管这不是严格必需的，因为表面图像sc也可以被检索作为先前从图片或图像存储系统采集的影像而不是由相机dsc直接提供。其他光学技术，诸如立体成像、激光扫描器系统(有或没有飞行时间)也被设想为非光学技术，例如回声定位等，尽管光学系统因其较高的准确度而是优选的。
复合模型生成器cmg系统的处理部件可以被实施为通用计算单元pu上的软件模块，例如在手术规划工作站中。在备选实施例中，图2中的ips的模块布置在分布式架构中并且连接在合适的通信网络中。模块可以在硬件中被布置为适当编程的fpga(现场可编程门阵列)或硬连线集成电路。该系统还可以被实施为用于各种平板电脑或智能手机平台(例如谷歌眼镜、androidtm或ios平板电脑等)的“app”。
尽管本文中将主要参考如上面图1中描述的躯干t来解释复合模型生成器cmg的操作，但这不一定是限制性的，因为本文还预期将所提出的复合模型生成器cmg应用于人类或动物中的其他生物力学组件。
输入模型m(c)和m(b)可以被采取为分别表示胸壁c以及乳房b中的一个。该方法可以很容易地扩展到两个乳房，其中，复合模型包括胸壁和两个乳房，在这种情况下，输入由三个(或更多)模型形成。
输入模型m(c)和m(b)以及生成的复合模型m(t)是相应解剖结构的计算机化表示，并且可以形成为网格模型。模型可包括表面模型或体积模型。模型由fea(有限元分析)中已知的几何元素形成，例如三角形或其他几何元素。在体积模型的情况下，元素形成为诸如四面体或其他的3d几何元素。元素一起定义了相应的网格模型m(b)、m(c)或m(t)。体积/表面元素在其边缘/面处接合在一起。可以标记元素中的一些或每个以将解剖信息进行编码。每个元素可以经受“虚拟”力学力以模拟变形、运动或其他dof(自由度)。为了实现更逼真的(生物)力学模拟，相应网格的一些或每个元素可寻址以编码局部材料参数(例如局部弹性参数)，以如此定义负载下的整体动态行为，这是要建模的特定解剖结构(乳房b、胸壁c等)的特性。
复合模型生成器cmg将两个单独的输入模型mc和mb构成，即基本上融合成单个模型聚集，即复合模型mt。复合模型mt然后可以经历常见的生物力学模拟，以模拟例如在诸如重力场的力场的影响下组合组件m(t)的外观，或者模拟从躯干移除物质以如此模拟手术流程。
继续参考图2，在输入端口in处接收分别针对乳房b和胸壁c的两个(或更多个)输入模型m(c)、m(b)。作为原则问题，复合模型生成器cmg可以接收任何类型的输入模型作为输入，无论它们是如何生成的。然而，在一个实施例中，以特定方式生成两个输入模型，如下面将参考图3进一步详述的。
继续参考图2，由通过相机dsc采集的表面图像sc形成另一输入，如上面在图1中所解释的。(一幅或多幅)输入表面图像cs(或“扫描”)是先前沿着如图1所示的一个或多个成像方向d采集的。一幅或多幅表面图像sc优选地对皮肤ol的空间深度信息进行编码。这样一来，乳房b和胸壁c这两个解剖结构在视觉上从相机的视觉被遮挡，但是皮肤ol至少部分地跟随乳房组织b的轮廓和胸壁c的横向于乳房耦合于胸壁c中之处的部分。相机优选使用非电离辐射进行表面成像。
基于表面图像sc，生成器cmg的组合器σ模块将两个输入模型m(c)和m(b)组合成复合模型m(t)，所述复合模型然后在输出端口out处输出。
复合模型m(t)存储在合适的数据结构中，例如指针结构等。输出复合模型mt可以存储在存储系统中或者可以以其他方式处理。
例如，如先前指示的，组合模型m(t)可以传递到生物力学模拟包sp。这种包的非限制性范例是开源系统“niftysim”，其基于总拉格朗日显式动态求解器算法tled，由kmiller等人在“totallagrangianexplicitdynamicsfiniteelementalgorithmforcomputingsofttissuedeformation”(commun.numer.meth.engineering，第23卷，第121–134页(2007))中进行了报告。然而，也可以代替使用其他fem(有限元方法)包。基于用户指定的状况(例如，运动方程的规范、适用的力场，例如重力场，以及希望模拟的期望的力学自由度)，模拟包sp然后生成模拟(尤其是作为移动图片)的图形表示，其可以被绘制以在诸如监测器mt的显示设备上显示。预定义的运动方程以时间增量进行积分，从初始配置到最终配置逐步行进。与其他积分器相比，tled算法从固定的初始配置在每个步骤中进行积分，而不是从一系列中间配置中的每个。优选地，使用用于运动方程的拉格朗日公式，但也可以设想其他公式。代替于显示模拟的时间演变，能够期望在时间积分结束时仅显示最终配置的静止图像。
如下面将更详细解释的，表面图像和输入模型mc和mb中的一个或两个可以表示相对于力场，尤其是相对于重力场的不同取向的解剖结构和躯干。例如，乳房模型可以表示仰卧或俯卧的乳房解剖结构(或实际上在无力场(例如，无重力)配置中)，而胸壁表示在与表面扫描sc已由相机dsc记录的直立位置类似的直立位置中的乳房解剖结构。
所提出的复合模型生成器cmg不要求两个输入模型和/或表面图像sc均在相对于重力场的相同取向中被记录。具体地，三个取向中的至少一个可以是不同的，或者实际上取向中的每个可以相对于指定力场不同。
然而，在更详细地解释复合模型生成器cmg的操作之前，现在参考图3，其中，概述了分别用于获得乳房b和胸壁c的输入模型m(b)、m(c)的流程，理解的是，提出的系统cmg不一定依赖于该流程，而是接受以任何方式生成的输入模型。
更具体地，并且根据一个实施例，即时输入模型m(b)、m(c)间接地从针对相应部分解剖结构(乳房b和胸壁c)的相应通用模型g(b)和g(c)获得。更具体地，图3流程图示出了针对生成两个部件解剖结构躯干t的乳房b和胸壁c的相应(在该非限制情况下，两个)通用模型g(b)和g(c)的方法。
更具体地说，提出了针对相应通用模型g(b)、g(c)的训练流程，并且这些训练流程彼此解耦，如图3中的水平虚线指示的。换言之，乳房性质和躯干/胸壁的性质在相应的不同训练集ts(b)和ts(c)上独立训练，因为乳房的形状、大小和组织成分不一定与躯干尺寸相关。在一个实施例中，并且如图3左侧示意性图示的，训练集由先前从患者群体和/或其相关联的元数据采集的历史图像数据形成。相关联的元数据或描述符包括群体中个体的额外的信息(在裸图像的顶部)，例如年龄、bmi、绝经状态、种族等。
在该范例中，训练集影像由俯卧乳房mri数据形成，但是本文也预期能够进行软组织对比的其他取向和/或其他模态。将理解，乳房和胸壁的相应训练集可以包括在相同的图像(系列)中，但是在两个训练流程中将分别考虑图像的不同部分。在其他实施例中，影像的不同集合用于每个解剖结构。训练集有利地包括从相应解剖结构的群体接收的3d图像数据。训练步骤可以从如由医院或其他医学机构维护的医院信息系统(his)或图片归档存储系统(pasc)获得。
从上面将理解，两个通用模型的产生实质上是一次性操作。然后仅存在对内部解剖结构的“昂贵”图像材料，诸如尤其是mri影像的依赖。然后，可以通过个性化器模块ps对这些通用模型进行个性化，以获得上述输入模型m(b)和m(c)，用于输入到复合模型生成器cmg中。具体而言，不需要mri影像来构建针对个性化输入模型m(b)、m(c)以及最终复合模型m(t)要被生成的给定/即时患者(躯干t)的输入模型。通过“个性化”，我们理解从通用模型获得适于患者/躯干t的表面扫描sc的特定输入模型m(c)、m(b)的步骤，其中，复合模型m(t)最终要由生成器cmg生成。
由于关于部件解剖结构b、c的解耦，用于生成通用模型的方法实质上是多叉流程。首先转到针对通用乳房模型gb的训练叉，在步骤s310b处，将多个网格模型拟合到来自相应的语料库ts(b)的多幅图像(例如，mri)。该网格拟合步骤可以包括额外的步骤，例如噪声滤波、分割和标记训练集ts(b)的(原始)图像数据(诸如3dmri图像数据)。
在乳房或其他解剖结构的情况下，可以存在材料分析器步骤s315b，以基于训练集的mri图像中编码的信息来分析组织分布。
在一个实施例中，采取统计方法来提取要构建通用模型g(b)的信息。具体地，在步骤s320b处，由统计分析器sa执行统计分析，以学习取决于用于选定的模型的几何图元的形状模型参数的概率分布。例如，在一个实施例中，使用半椭圆模型(或更一般地，椭圆帽)作为乳房g(b)的原始形式，并且然后参数包括椭圆的主轴的长度。统计分析可以包括估计均值和/或方差(或更高的矩)或其他统计数据来描述分布。
在步骤s330b处，将在步骤s320b中学习的统计形状数据与相应组ts(b)中的元数据相关。换言之，建立了元数据或测量结果与形状参数之间的依赖性。例如，可以获得具有特定年龄范围和bmi范围的女性的乳房的均值周长。对除了周长之外的形状参数进行了类似的分析。代替于与元数据的相关，可以将诸如依据步骤s315b的乳房组织成分或胸肌到乳房距离(基于历史的x射线乳房摄影)等的可用测量结果与统计形状信息相关。
输出是通用乳房模型g(b)，其然后可以被个性化(在下面进一步)到要生成复合模型m(t)的特定躯干的个人数据。换言之，可以基于针对个体患者测量的元数据或非图像数据的值来个性化通用模型g(b)的形状参数。
代替于统计分析或除了统计分析之外，机器学习流程ml被用于提取信息以构建通用模型。在早期的统计方法中，训练集被视为“样本”，其是根据更广泛的女性人口绘制的。在机器学习方法中，采取略微不同的视角。具体地，训练集ts(a)、ts(b)现在被理解为如由图像数据编码的形状与相应患者的相应元数据之间的函数关系的相应范例的实例。来自训练语料库ts(b)(或胸壁情况的ts(c))的每个个体的图像数据和相关联的元数据定义训练对(元数据对形状)。然后可以将这些训练对中的每一个馈送到机器学习算法中以学习元数据和形状配置之间的函数关系。合适的机器学习算法包括决策树、支持向量机、神经网络等。
在机器学习用于学习广义模型g(b)、g(c)的情况下，这些将相应形状与已在训练流程中使用的描述符或元数据之间的函数关系进行编码。通用模型是允许计算给定元数据或测量结果(统称为md)、形状s的函数f，f(md)＝s。函数f通常不是封闭的分析描述，但是该函数隐含地编码在查找表中或机器学习算法的参数的特定配置中，所述参数在训练期间已被调节。
在步骤s310c至步骤s330c中执行与上述乳房流程步骤a310a-s330a解耦的类似流程，以导出胸壁c的通用模型g(c)。胸壁c的几何图元在一个实施例中是圆柱(具体地，其侧表面的至少一部分)，具有椭圆截面。
除了生成针对乳房b和胸壁c的两个通用子模型g(b)和g(c)之外，还可以学习内层il的相应通用模型，如由步骤s310a指示的(其余步骤未示出，因为这些完全类似于上面的步骤s320a、b和s330a、b)。备选地，在步骤s310a处获得的针对内层的网格数据可以与在步骤s310c处针对胸壁学习的网格模型融合，并且然后可以在步骤s320c-s330c处一起处理这两个网格模型，如图3所示，得的针对胸部的广义模型然后包括关于内层il的信息作为“子-子”部件。
分离地对内层il建模并将这作为额外解剖部件包括到复合模型m(t)中是有利的，因为这允许实现躯干的特别真实的生物力学模拟。内层il有效地围绕或嵌入连接到胸壁c的乳房组织的该部分。申请人已经观察到该内层的形状和/或尤其是厚度的知识，以实现高度逼真的生物力学模拟。此外已经发现，内层的厚度估计可以基于从类似于上面已经关于乳房模型m(b)或胸部模型m(c)所解释的躯干的群体获得的先验知识。
一旦根据上面的图3获得通用模型gc、gb和需要的情况下的g(il)，这些通过个性化部件ps基于要生成复合模型的躯干t的特定元数据来个性化。再次，元数据或描述符包括例如bmi(身体质量指数)、年龄或其他数据或要生成复合躯干模型m(t)的即时患者的测量结果。
在一个实施例中，个性化器ps可以利用直立表面扫描sc并且还可以使用额外的图像材料，例如x射线乳房摄影和基本元数据，其可以从患者文件中取出或者可以由临床医生通过个性化器ps的合适用户接口提供。
具体地，并且根据一个实施例，通用胸壁模型g(c)的个性化可以通过sc表面扫描在直接流程中获得，因为表面扫描sc和训练数据(通用胸部模型g(c)所基于的)两者已经相对于重力场以相同的取向被采集。具体地，对应于皮肤表面ol的胸壁模型g(c)的模型部分直接拟合于患者的直立3d扫描sc。为了估计下层胸壁形状，患者的元数据(例如bmi)中的一些用于估计从胸壁c到皮肤ol的距离。可以从先前的知识和统计分析或机器学习中获得该皮肤胸壁距离的信息。
关于通用乳房模型g(b)到即时躯干t的个性化，这可能不一定直接通过几何拟合来完成，因为3d表面扫描sc和模型可以涉及相对于重力场的不同取向。具体地，3d表面扫描已经在直立位置中采集，而广义乳房模型依据训练集ts(b)在俯卧mri数据上训练。代替地，通用乳房模型g(b)形状参数的个性化可以通过与从躯干t收集的测量结果相关来导出，诸如基于根据同样可以从x射线乳房摄影测量的乳房密度估计确定的乳房组织的x射线乳房摄影的胸肌到乳房距离或者组成。额外地或代替地，相关性可以基于与即时躯干相关的元数据，例如bmi、年龄、绝经状态等。一旦已经通过相关确定了形状参数，这些可以被传递到网格生成器(cad组件)以实现形状m(b)的经调整的网格模型的绘制，然后可以将其用作复合模型生成器cmg的输入。
备选地，对通用形状g(b)运行生物力学模拟，以使其与依据表面扫描的取向对齐，使得两者现在相对于重力场处于相同的取向中。本文设想的这种重新取向变换的一种方法在以下文献进行了描述：beiben等人的“biomechanicallyguidedprone-to-supineimageregistrationofbreastmriusingaestimatedreferencestate”，发表于“internationalsymposiumonbiomedicalimaging(isbi),2013ieee10th”，sanfrancisco，california，usa，7-11april2013，ieee，2013。
在已经训练机器学习算法的情况下，个性化特别容易实现。元数据或测量结果(统称为md)通过配置的机器学习算法传递以获得形状参数s，并且然后使用这些(如上所述)对对应的网格进行cad绘制。
如可以看出的，在任何情况下，对于给定患者(躯干t)，可以在没有(直接)使用mri数据的情况下通过个性化器ps实现个性化。
将理解，如果应用于人体解剖结构的其他部分，其中，通用模型和可用表面扫描具有相对于重力场的所有相同取向，则可以简化上述个性化实施例。
个性化工具ps可以作为预处理器集成到复合模型生成器中，或者可以完全用作单独的独立工具。在另一种情况下，个性化器对相应通用模型的相应功能关系进行编码，并且优选地包括输入模块以提供元数据和/或图像信息，例如x射线、乳房摄影等，以进行个性化。可以使用合适的用户接口工具，图形、数字或以其他方式。如前所述，元数据也可以通过与医院信息系统的数据库系统等接合的适当编程的接口自动取出。
现在参考图4a中的流程图，其中，现在描述计算机化复合模型生成方法的步骤。方法步骤提供了关于生成器cmg的操作的另外的细节。然而，本领域技术人员将理解，该方法的以下描述也可以单独阅读，并且不一定与图1中描述的架构相关联。
在步骤s10处，在一个实施例中，接收乳房m(b)和对应的胸壁m(c)的两个输入模型作为输入。在几何学上，乳房模型m(b)是椭圆形帽形状的网状物，并且胸壁模型m(c)大致是椭圆面的圆柱的侧表面。除此之外，接收躯干t的表面扫描sc(不一定在同一时间并且在相同的输入端口处)。
在步骤s20中，将两个输入模型mb和mc组合成躯干t的复合或组合模型m(t)。
在步骤s30处，然后存储或以其他方式处理如此组合的模型m(t)。例如，组合躯干模型mt可以用于生物医学模拟，并且这图形地表示在显示设备mt上。
如先前在图3中所解释的，在一个实施例中，两个输入模型已经在来自针对两个解剖部件b、c的相应通用模型的单独学习流程中获得。在一个实施例中，针对两个模型的相应训练集可以包括在mri影像中或者从其他合适的软组织成像模态获得。
参考图4b，现在更详细地解释组合步骤s20。
在初始步骤s2010中，乳房模型m(b)在初始位置处接合到胸部模型m(c)。具体地，模型m(b)的控制点被设置在胸部模型m(c)的表面上的所述初始位置处。这可以由用户在交互式图形环境中手动完成，其中，输入模型m(b)、m(c)在公共坐标系中以图形方式表示。用户使用指针工具(例如，计算机鼠标等)将模型中的一个移向另一个以实现接合操作。还能够需要旋转以确保乳房模型m(b)的纵轴垂直于胸部模型圆柱m(c)的纵轴。在其他实施例中，自动实现接合操作s2010。在一个实施例中，这可以通过检测其取向/位置是模型的表征部分的特性部分来实现。例如，在初始步骤中，乳房模型可以通过检测光学表面扫描中的乳头位置并将其与模型m(b)中的乳头表示对齐来自动定位。
概括地说，如本文所提出的，组合步骤在一个实施例中包括迭代优化流程并且需要一组初始优化参数。在一个实施例中，要优化的参数是控制点的空间分量x、y和z。在一个实施例中，控制点是乳房中心，但也设想了其他实施例。具体地，如在该实施例中，仅在所提出的方法中估计单个控制点，从而将胸部m(b)正确地空间定位在胸壁m(c)上。在另一个实施例中，可以使用除乳房中心之外的不同优化参数和/或可以使用多个控制点进行优化。初始地，控制点坐标利用初始值填充。乳房中心可以采取为乳房网格m(b)的体积中心，或者优选地，其被定义为半椭圆/椭圆帽乳房模型m(b)的椭圆基底表面的中心点。
步骤s2010实质上等于将两个输入模型m(b)和m(c)融合成单个网格模型。尽管这种融合或接合模型在技术上是单个网格，但是在一个实施例中执行标记。换言之，描述符标签与接合模型中的网格元素中的一些或全部相关联以识别结构，例如，左乳房表面。模型的标记可以有益地使用，以实现良好的初始猜测，因为假设乳房中心位于乳房模型的后边界上，即胸肌/胸壁边界上。
步骤s2010处的接合操作的结果构成了要生成的最终组合躯干模型的初始猜测。换言之，该初始“候选”组合模型m(t)j＝0在以下步骤中在一次或多次迭代中被细化，从而到达最终组合躯干模型m(t)最终。
组合模型生成继续到步骤s2020，在步骤s2020处，基于候选组合模型m(t)j运行生物力学模拟。在生物力学模拟结束时，生成候选生物力学模型m(t)j的第一配置。可以使用前面提到的tled模拟包等。生物力学模拟优选地在gpu(图形处理单元)上运行以进一步增加响应性。
在一个实施例中，模拟被配置为考虑前面提到的情况，其中，输入模型中的一个(或两个)和表面图像相对于可应用的力场(例如重力场)具有不同的取向。换言之，候选组合模型m(t)j被变换为对应于相对于已经记录表面图像的重力场的相同取向的配置。更具体地，在一个实施例中，乳房模型m(t)和胸壁模型m(t)中的至少一个，优选地两者表示仰卧或俯卧位置的几何结构。同样地，然后候选组合模型m(t)j同样以仰卧位置或俯卧位置表示，而表面扫描sc已记录在患者的直立位置。在这种情况下，模拟步骤s2020允许根据表面扫描将m(t)j的配置变换为一个直立位置。在步骤s20的一个实施例中，方法被选择为类似于上述eiben等人的参考文献中报道的方法。在eiben的方法中，两个输入模型首先从加载状态转换为表示零重力环境的“无负载状态”。这通过实质上反转重力场分量来实现。一旦对于两个输入模型实现零重力配置(一起被认为是候选组合模型m(t)j)，通过实现相对于重力场的直立取向来模拟新的加载状态。备选地并且作为该方法的“对偶”，可以能够使用类似的方法将直立扫描变换为俯卧位置或仰卧位置。在模拟之后，候选模型m(t)j现在“重力地”与表面图像sc对准。模拟步骤s2020用作关于在迭代期间生成的候选组合模型m(t)j是否实际朝向表面扫描sc收敛的质量检查。换言之，即使扫描和模型已经具有相对于重力场的相同取向，优选地仍然完成步骤s2020中的(一个或多个)模拟。
在步骤s2030中，然后确定表面扫描sc和候选组合模型m(t)j偏离的量。为此定义了合适的偏离量度或成本函数。根据表面扫描和候选组合模型m(t)j或|d|2的某些其他函数(可能对于空间坐标x，y，z具有不同的权重αj(例如，α1(δx)2+α2(δy)2+α3(δz)2)))，成本函数可以与两个乳房中心之间的欧几里德表面距离的平方|d|2一样简单。还设想了其他成本函数。如果发现成本函数返回低于预定阈值的值，则该方法终止，并且当前存储的候选模型作为最终组合躯干模型m(t)最终被输出。候选组合模型m(t)j与表面扫描sc之间的距离可以使用来自标记的分配的结构标签以及表面在公共坐标系中彼此对准(配准)的事实来计算(下面将在步骤s2025处对配准进行更详细解释)。
然而，如果发现偏离超过预定阈值，则该方法继续到步骤s2040，其中，生成新的第二后续候选组合模型m(t)j+1。在一个实施例中，这通过改变原始地在步骤s2010处设置的初始附接位置来实现。
一旦已经设置了新的附接位置，方法流程现在通过在优化步骤s2040中确定的不同位置处将初始乳房模型重新附接到胸壁模型而返回到步骤s2010。该方法现在进入后续迭代步骤迭代j+1。然后基于新的后续候选组合模型m(t)j+1重新运行步骤s2020处的生物力学模拟，该模型通过改变在步骤s2040中确定的附接点而定义先前候选模型m(t)j的新配置。
因此，可以看出所提出的方法可在双回路方案中实施，其中，通过重复比较成本函数通过步骤s2030形成外环，同时通过步骤s2040形成内环，其中，乳房和胸壁之间的附接点是根据优化方案变化。如上面关于图4b所解释的优化步骤s2040的操作下层的合适优化方案包括nelder-mead、共轭梯度、newton-raphson等的局部优化器，或者更全局的方法，例如差分进化、受控随机搜索等。
在一个实施例中，步骤s2040处的优化循环可以如下实施：模型m(t)j中的乳房部分的元素(例如，表面三角形)在一个或多个dof中改变，例如被转变成相对于后边界上的初始中心点的新候选位置。然后使用成本函数评价该新配置中的(新)中心乳房距离。在步骤s2010处，将其位置最小化到表面网格的距离的新乳房中心用作模型组成的新乳房中心位置。乳房模型m(b)的乳房中心点的位置相对于胸部模型m(c)改变，并且然后在步骤s2010处重新组合模型，并且在整个迭代中重复这。因此，当迭代返回到步骤s2010时，新的乳房中心是新的附接点。如将意识到的，在该实施例中，控制点和附接点是相同的(即乳房中心)，但是在控制点和附接点不同的其他实施例/解剖结构中可能不是这样。
步骤s2020的模拟在其上运行的自由度可以通过迭代的过程而不同。例如，在给定对两个子模型m(b)和m(t)初始彼此附接的附接点的初始猜测的情况下，在第一次迭代中允许更大的力学自由度集合，例如旋转、平移和变形等。然而，为了在重新访问生物力学模拟以测试候选模型和表面扫描之间的对应性时在后续迭代中节省cpu时间，仅允许有限的力学自由度集合来简化生物力学模拟。在一个实施例中，可允许的自由度例如是仅仅平移。在其他实施例中，在生物力学模拟s2020的后续或稍后的迭代中仅允许旋转。
额外地或替代地，在优化步骤s2040中用于改变附接点/控制点(初始在步骤s2010处设置)的dof也可以限于例如某些超平面或者施加其他动态限制。例如，仅允许具有指定标记的网格元素的预定义边界的改变，从而确保遵守先前的解剖学知识。再次，以这种方式限制附接点可变性有助于减少cpu时间。当根据模型m(t)j和表面扫描sc搜索乳房中心点之间的最佳距离时，在步骤s2040中也可以以类似的方式利用由标记赋予的该解剖知识。
步骤s2040中的优化可以不必返回全局最小值而仅返回局部最小值。此外，最终的复合模型m(t)最终甚至可能不是局部最小值，因为在一些实施例中，一旦成本函数返回低于预定义质量阈值的值或一旦在迭代期间生成的后续候选者模型彼此相差小于预定义的阈值，就可以简单地中止迭代。单个迭代步骤能够足够，但该方法通常可能需要多次迭代。
尽管已经关于最小化问题解释了上述问题，其中，成本函数要被最小化，但这不是限制性的，因为在其他背景下，在最大化问题(其中，效用函数要被最大化)方面的重新制定可能更适合并且在本文中特别类似地设想这些变化。
为了定义成本函数，具体地，为了在迭代中的任何给定阶段处计算候选模型m(t)j和表面扫描sc之间的表面距离，需要配准步骤s2025，其现在将参考图5中的图示更详细地被描述。
在一个实施例中，几何配准可以通过将表面扫描简化为更简单的几何结构来实现，所述几何结构粗略地表示胸部模型的几何结构。具体地，仅关于胸部模型进行配准。具体地，在该实施例中，候选组合模型作为整体不用于配准，但是如果需要，这仍然可以在其他实施例中完成。
更具体地，已经发现针对胸壁m(c)的合适的表面网是具有椭圆截面的圆柱。然后，任务是将表面扫描简化为这样的圆柱。为了在第一步骤中实现表面扫描的简化，虚拟地从直立扫描sc移除乳房部分。然后生成没有乳房网格元素(例如三角形)的新表面网格，然后将这拟合成圆柱以近似躯干形状。优化了简单形状的平移、旋转和偏心，并且对此可以使用标准优化算法。然后可以通过对齐相应椭圆截面的主轴来记录如此简化的表面扫描和胸部模型mc。然后，这自动地引起原始扫描sc和模式mc之间的配准。
从表面扫描中移除乳房部分以实现简化圆柱网格的步骤可以以多种不同的方式实施，其中之一将在下面更详细地描述，应理解这不是必然的限制。
在该方法中，识别表面扫描上的控制点，其粗略地表示希望构造的简化圆柱的表面点。然后相对于该控制点定义线的系统。然后使用这些线围绕表面扫描的至少部分传播控制点，从而“剪掉”多余的体积，从而限定简化的圆柱形状。
初始地，选择3d表面扫描器的适当子部分(例如，没有臂的全宽度，大约从颈静脉切口到肚脐)。这在图5a)中被图示。
在一个实施例中，胸骨s用作控制点，并且这可以通过使用曲率和位置信息来找到。之前提到的线系统然后在一个实施例中被定义为三条线的系统(应当注意，下面的“线”的概念是曲面上的线)：一条线s从顶部到底部穿过胸骨s延伸，如图5b)图示的。另一条线b以约10％的高度延伸，由与平行于地板的平面的相交定义，如图5c)图示的。第三线t以约90％的高度延伸，由与平行于地板的平面的相交定义，如图5c)图示的。“顶部”和“底部”线t和b被重新采样到相同数量的点。这些线与胸骨线s一起允许定义局部坐标系。在下文中，通过与标量i∈[0,1]相乘：对于i＝0，沿着相应线参数化三条线中的任何一条上的特定点，参数化点位于相应线段的一端，而对于i＝1，参数化点位于另一端。通过改变参数i来实现胸骨s的传播。然后通过以下子例程生成辅助表面a(如图5d图示的)：通过将它们的相交与线s匹配来对齐线b和t。对于线b上的每个点，到线t上的对准点的平移向量被计算为(t–b)。比如，从线b开始，通过沿着线s应用以下变换并在两个线形之间插值来生成额外的线：i*s+i*(t-b)。
接下来，计算从表面sc到表面a的距离，如图5e)中的阴影图示的。使用在相应点/网格元素处计算的距离和曲率来生成扫描sc中的每个点的特征向量。具有3个类(或其他量化或聚类技术)的k均值聚类用于识别属于乳房部分的点，如图5f)图示的，其中，乳房部分现在与由阴影图示的其余躯干隔离。然后移除这些“乳房网格元件”(在图5f中以深色阴影绘制的)，并获得没有乳房三角形的期望新表面n网格。
尽管在本文中设想为优选实施例，但是将理解，人体女性躯干仅仅是生物力学组件的一个实施例。也就是说，所提出的成像处理系统还可以有益地应用于人(或动物)解剖结构的其他部分。
在本发明的另一示范性实施例中，提供了一种计算机程序或一种计算机程序单元，其特征在于适于在适当的系统上执行根据前面的实施例之一所述的方法的方法步骤。
因此，计算机程序单元可以存储在计算机单元上，该计算机单元也可以是本发明实施例的部分。该计算单元可以适于执行以上描述的方法的步骤或诱发以上描述的方法的步骤的执行。此外，其可以适于操作以上描述的装置的部件。所述计算单元能够适于自动地操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。所述数据处理器由此可以被装备为执行本发明的方法。
本发明的该示范性实施例涵盖从一开始就使用本发明的计算机程序和借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。
更进一步地，所述计算机程序单元能够提供实现如以上所描述的方法的示范性实施例的流程的所有必需步骤。
根据本发明的另一示范性实施例，提出了一种计算机可读介质，例如cd-rom，其中，所述计算机可读介质具有存储在所述计算机可读介质上的计算机程序单元，所述计算机程序单元由前面部分描述。
计算机程序可以存储和/或分布在合适的介质上(特别地，但不一定是非暂时性介质)，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质。但也可以以其他形式分布，例如经由因特网或其他有线或无线电信系统分布。
然而，计算机程序也可以存在于诸如万维网的网络上并能够从这种网络中下载到数据处理器的工作存储器中。根据本发明的另一示范性实施例，提供了一种用于使得计算机程序单元可用于下载的介质，其中，所述计算机程序单元被布置为执行根据本发明之前描述的实施例之一所述的方法。
必须指出，本发明的实施例参考不同主题加以描述。具体而言，一些实施例参考方法类型的权利要求加以描述，而其他实施例参考设备类型的权利要求加以描述。然而，本领域技术人员将从以上和下面的描述中了解到，除非另行指出，除了属于一种类型的主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也被认为由本申请公开。然而，所有特征能够被组合以提供超过特征的简单加和的协同效应。
尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述被认为是说明性或示范性的而非限制性的。本发明不限于所公开的实施例。通过研究附图、公开和从属权利要求，本领域的技术人员在实践请求保护的本发明时能够理解和实现所公开的实施例的其他变型。
在权利要求中，词语“包括”不排除其他单元或步骤，并且，词语“一”或“一个”并不排除多个。单个处理器或其他单元可以履行权利要求书中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应被解释为对范围的限制。