用于处理电子图像以确定用于乳房手术的经修改的电子图像的系统和方法与流程

文档序号:26009941发布日期:2021-07-23 21:29阅读:144来源:国知局
用于处理电子图像以确定用于乳房手术的经修改的电子图像的系统和方法与流程

相关申请的交叉引用

本申请要求于2018年10月3日提交的第62/740,861号美国临时申请和于2019年5月28日提交的第62/853,548号美国临时申请的优先权,其全部内容通过引用并入本文。

本公开涉及用于处理诸如医学图像的图像以确定一个或多个经修改的图像的系统、方法和计算机可读介质。



背景技术:

可植入医疗设备可以出于各种原因被植入患者体内,包含例如改善患者的临床状况、替代天然患者组织或出于美学目的。在许多情况下,可植入医疗设备被植入具有严重、复杂或慢性的医学状况的患者体内。例如,乳房植入物可以用于乳房切除术后(例如,在癌症诊断、乳房组织的手术切除、放射治疗和/或化疗之后)的重建手术中。乳房植入物也可以用于美学目的的外科手术中,例如用于隆乳术或缩乳术(改变乳房的大小)中。

在一些这样的手术中,整形外科医生在受试者的身体的期望区域处插入合适的植入物。在某些情况下,受试者可能必须等到手术结束后才能看到手术的结果。本公开的实施例可以减轻以上讨论的问题和/或本领域中的其它问题。



技术实现要素:

本公开的实施例涉及对医疗手术有用的系统、方法和计算机可读介质,包含例如与乳房相关的整容和重建外科手术。本公开的各个方面可能有助于规划、模拟和/或评估整容外科手术、重建外科手术和/或其它医疗手术过程的结果。

公开了运行用于处理图像以确定经修改的图像的指令的系统、方法和计算机可读介质,包括:接收与受试者相关联的简档数据,所述简档数据包括对应于所述受试者的躯干的至少一部分的三维图像数据。可以基于所述简档数据确定三维模型,并且可以基于所述三维模型确定乳房体积模型,所述乳房体积模型包括多个四面体。可以为所述乳房体积模型的所述多个四面体中的每个四面体确定参考四面体,每个参考四面体对应于具有零应变和零基准总势能的状态。可以由所述乳房体积模型来确定所述多个四面体中的每个四面体的弹性势能,并且可以基于所述乳房体积模型的所述多个四面体中的每个四面体的所述弹性势能来确定所述乳房体积模型的总弹性势能。可以通过最小化所述乳房体积模型的所述总弹性势能来确定所述乳房体积模型的静止平衡位置,并且可以基于所述乳房体积模型的所述静止平衡位置来确定所述受试者的至少一个乳房的经修改的三维模型。

所公开的实施例的附加目的和优点将部分地在下面的描述中阐述,并且部分地将从描述中显而易见,或者可以通过所公开的实施例的实践来了解。所公开的实施例的目的和优点将通过在所附权利要求中特别指出的元件和组合来实现和获得。

应当理解的是,前面的总体性描述和下面的详细描述都仅仅是示例性和解释性的,而不是对所公开的实施例的限制,如要求保护那样。

附图说明

并入本说明书并构成其一部分的附图示出了本公开的示例性实施例。在这些附图中,在适当的情况下,示出相似元件的附图标记被类似地标记。为了说明的简洁性和明确性,附图描绘了各种实施例的总体结构和/或构造方式。众所周知的特征和技术的描述和细节可以省略,以避免模糊其它特征。附图中的元件不一定按比例绘制。一些特征的尺寸可能相对于其它特征被夸大,以提高对示例性实施例的理解。例如,本领域普通技术人员理解,横截面视图不是按比例绘制的,并且不应被视为表示不同层之间的比例关系。进一步,即使在文本中没有具体提及,参考一个实施例描述的各方面也可以适用于其它实施例,并且可以与其它实施例一起使用。

图1示出了根据本文呈现的技术的示例性成像系统和网络环境;

图2是示出了使用图1的成像系统扫描受试者的示例性方法的流程图;

图3是可以使用图1的一个或多个系统并根据本文呈现的技术生成的图形用户界面的示例性方面;

图4是根据本文呈现的技术可以被显示在图形用户界面上的示例性躯干扫描;

图5是根据本文呈现的技术可以被显示的示例性测量数据图形用户界面;

图6是根据本文呈现的技术可以被显示的示例性手术过程模拟图形用户界面;

图7是根据本文呈现的技术的x、y平面的三角测量的示例图;

图8是根据本文呈现的技术显示张力线的示例躯干;

图9a至图9c示出了根据本文呈现的技术可以在几何结构的构造中使用的三角形;

图10显示了根据本文呈现的技术的用于模拟皮肤的示例三角形几何形状;

图11显示了可以在本文的其它地方参考的乳房组织的内部结构;

图12显示了根据本文呈现的技术的表示植入物的示例四面体与表示乳房组织的四面体重叠;

图13示出了根据本文呈现的技术的具有平均弯曲的特性的示例三角形;

图14示出了由于切向应变引起的结构变化的非共形映射;

图15是示出了根据本文呈现的技术的三维乳房模型的示例确定的流程图;

图16是示出了根据本文呈现的技术的切向弛豫的示例确定的流程图;

图17是根据本文呈现的技术的用于确定三维乳房模型的流程图;以及

图18是根据本公开的示例性实施例的被配置为用于运行图1至图17的方法的设备的计算机的简化功能框图。

具体实施方式

下面将更详细地描述本公开的各个方面。本文使用和阐明的术语和定义旨在表示本公开内的含义。如果与通过引用并入的术语和/或定义相冲突,则以本文提供的术语和定义为准。

在下面的讨论中,诸如“大约”、“基本上”、“近似”等相关术语用于指示所陈述的数值中可能出现的±10%的变化。应当注意的是,本文阐述的描述本质上仅仅是说明性的,并不旨在限制本主题的实施例,或者这些实施例的应用和用途。本文中描述为示例性的任何实施方式不应被解释为相对于其它实施方式是优选的或有利的。相反,术语“示例性”是在示例或说明的意义上使用。术语“包括”、“包含”、“具有”、“带有”及其任何变体同义地用来表示或描述非排它性包含。由此,使用这些术语的过程、方法、系统或设备不仅包含那些步骤、结构或元件,还可以包含没有明确列出的或是这些过程、方法、系统或设备固有的其它步骤、结构或元件。进一步地,诸如“第一”、“第二”等术语如果在本文使用的话通常不表示任何顺序、数量或重要性,而是用于将一个元件与另一个元件区分开来。

在一些实施例中,本公开可以包含可以用于例如整容或重建外科手术(或另一医疗手术过程)的成像系统。所述成像系统可以用于可视化和/或模拟由于乳房植入物的植入、移除或替换而导致的受试者的外观上的预期变化。进一步地,例如,所述成像系统可以用于基于植入物的尺寸、形状、表面纹理、凝胶弹性、凝胶流变学和/或外壳弹性的至少一个或多个参数来设计定制乳房植入物。本文的成像和模拟技术可以用于选择期望的植入参数,并模拟定制植入物对受试者的身体的影响。本文讨论的技术可以进一步用于模拟医疗手术和/或来自医疗手术(诸如乳房固定术手术)的预期结果,这将在本文中进一步讨论。

根据本公开的一些方面,例如,根据下面描述的技术,乳房植入物的所选择的制造商和模型或定制乳房植入物可以被表示为四面体模型。所述四面体模型可以具有基于所期望的植入物的尺寸、形状、表面纹理、凝胶弹性、凝胶流变学和/或外壳弹性的参数中的一个或多个的模型参数(例如,可以针对不同四面体而变化的每个四面体的弹性模量),从而实现乳房植入物的模拟。然后,可以根据本文描述的成像方法来操纵或测试这种模拟。所述模拟可以包括一个或多个变量或参数,诸如重力组织松弛因子、组织弹性、皮肤弹性、胸壁不对称性、外科手术过程、植入物尺寸和/或植入物位置。

图1示出了本公开的示例性成像系统和网络环境100。成像系统100可以包含成像扫描仪10(以下称为扫描仪10),所述成像扫描仪被配置为获得定位在扫描仪10的前面的受试者(例如,考虑各种医疗手术过程的人类患者)的一个或多个数字图像。扫描仪10可以耦合到被配置为操纵和控制扫描仪10的操作的一个或多个控制器70。成像系统100还可以包含可操作地耦合到控制器70和扫描仪10的计算机系统90和/或一个或多个网络服务器97。当在本文讨论计算机系统90的操作时,应当理解的是,这些操作中的一个或多个可以替代地由一个或多个网络服务器97来执行。计算机系统90可以被配置为直接地或通过网络95指导控制器70和/或扫描仪10的操作,并从扫描仪10接收图像数据。计算机系统90可以直接耦合到控制器70和/或扫描仪10,或者可以经由网络95间接耦合。计算机系统90可以使用从扫描仪10接收的数据来帮助创建受试者的3d数字图像或模型(类似于数字人体模型)。在一些实施例中,计算机系统90和控制器70两者可以都是扫描仪10的一部分或嵌入在所述扫描仪中(例如,物理上是一个部件)。在一些这样的实施例中,显示设备和用户输入设备(键盘、鼠标等)可以例如使用线缆耦合到集成扫描仪10。一个或多个网络服务器97可以附加地与扫描仪10、控制器70和/或计算机系统90通信以控制这些设备,从这些设备接收数据,和/或帮助这些设备中的一个或多个进行处理、计算、存储等。

在下面的讨论中,计算机系统90和控制器70被描述为分离的部件。然而,这只是示例性的。在一些实施例中,计算机系统90和控制器70两者可以是一个部件。例如,控制器70的特征和功能可以被并入计算机系统90中,或者计算机系统90的特征和功能可以被并入控制器70中。

图2是示出使用扫描例程扫描受试者的示例性方法200的流程图。示例性的相对应步骤可以参见第wo2017/175055号国际公开,其全部内容通过引用并入本文。用户可以首先在计算机系统90上选择或创建受试者的简档(步骤205)。在一些实施例中,现有受试者(例如,客户或患者)的姓名可以呈现在显示设备92上,并且用户可以点击受试者的姓名来选择受试者的简档。如果没有受试者的现有简档(例如,之前没有对受试者进行过扫描),则可以使用输入设备(例如,键盘、鼠标、触摸屏等)将新的受试者简档输入到计算机系统90中。图3示出了由计算机系统90生成的用于添加新受试者简档的示例性提示。在输入并保存受试者的简档(姓名、出生日期等)后,用户可以开始扫描。

在一些实施例中,可以向用户呈现询问用户是想要开始新扫描还是想要查看旧扫描(例如,查看与先前扫描相关联的图像)的弹出窗口(或gui)。用户可以通过点击显示设备92上的相关联的图标(例如,通过在标记为“开始新扫描”和/或“确定”的图标上进行点击)来开始新的扫描。在一些实施例中,计算机系统90可以提示用户确认先前的选择。例如,询问“是否要执行扫描?”的弹出窗口可以出现在显示设备92上,并且用户可以点击“是”以继续新扫描。然后,计算机系统90可以询问用户以选择扫描类型(步骤210)。例如,可以向用户呈现带有被编程到计算机系统90中的定制扫描例程(例如,躯干扫描、面部扫描、全身扫描等)的列表的弹出窗口。在选择期望的扫描类型时,计算机系统90可以启动与所选择的扫描类型相关联的扫描api,所述扫描api可以具有用于所述扫描api所需的任何参数的默认(或预编程)值(步骤215)。这些参数可以包含成像区域的宽度、高度和深度、照明模式(例如,用于实现期望的冷/暖照明模式的led照明模式)、光的强度等。例如,如果用户选择“躯干扫描”作为期望的扫描类型(即,在步骤210中),则可以利用所述api所需的参数的默认值来启动用于躯干扫描的扫描仪api(在步骤215中)。在一些实施例中,用户可以改变api中的参数的默认值。

然后,所启动的扫描仪api可以激活扫描仪10,并在计算机系统90的显示设备92上显示与所选择的扫描类型相关联的指示符(例如,增强现实目标线)(步骤220)。然后用户将受试者定位在扫描仪10前面的扫描区域中,并且计算机系统90可以在显示设备92上显示受试者的实时图像(步骤225)。如果所显示的指示器没有位于受试者的实时图像的适当位置,则用户可以调整受试者相对于成像设备的相对位置(步骤230)。例如,如果胸骨切迹的指示器不与受试者胸骨切迹的图像(在显示设备92上)重叠,则成像设备和/或受试者可以被重新定位,直到指示符和图像重叠。指示符也可以是人体或其一部分(例如躯干)的轮廓。

在受试者被正确定位后(步骤230),用户可以在计算机系统90中发起扫描例程(步骤235)。在一些实施例中,用户可以点击图形用户界面(graphicaluserinterface,gui)的“开始扫描”按钮/图标来发起扫描。当用户发起扫描例程时(在步骤235中),计算机系统90可以运行在步骤215中启动的扫描仪api中编码的指令。响应于这些指令,扫描仪10可以执行由扫描仪api定义的图像捕获过程(步骤240)。在一些实施例中,扫描仪api可以向控制器70和/或照相机发送指令(例如,使用串行通信)以开始所选择的扫描类型。

然后,扫描仪10可以将所获取的图像数据发送到计算机系统90(步骤245)。在一些实施例中,计算机系统90可以实时的方式(即,在扫描发生时)从成像设备接收图像数据。在一些实施例中,成像设备或控制器70可以缓冲(或存储)实时图像数据,并且以周期性方式或在扫描结束时将所缓冲的数据发送到计算机系统90。当计算机系统90从扫描仪10接收图像数据(例如,.obj、.mtl、.png、.jpg文件,如下所述)时,这些文件可以保存在(位于本地或远程的)数据库中,并与受试者的简档相关联(步骤250)。在一些实施例中,在完成扫描之后,计算机系统90可以通过根据所接收的图像数据重建图像来创建受试者的所扫描的特征(例如,躯干)的3d图像,并且在显示设备92上显示重建的图像以便用户观看。如果用户对扫描满意,则可以在计算机系统90中开始图像处理过程(步骤255)。

计算机系统90和/或网络服务器97可以处理来自扫描仪10的图像数据,以创建受试者的所扫描的特征的3d图像(或数字3d模型),并准备用于模拟的3d图像。计算机系统90可以检索和处理保存在数据库中的图像数据,或者可以处理从扫描仪10接收的图像数据。在一些实施例中,图像处理可以包含将分离的图像数据文件转换成含有所有数据的单个文件,以产生3d图像。例如,扫描仪10可以以不同文件格式收集和保存图像数据。这些文件格式可以包含obj文件、mtl文件和png文件(例如,分别具有.obj、.mtl和.png扩展名的文件),和/或适于存储、传送和/或传输图像数据的其它文件格式的其它数据。

在根据obj、mtl和png文件重建3d图像的示例中,obj文件可以包含3d图像的网格数据。这个文件可以包含用于重建所扫描的特征的3d图像的一些或所有体积信息。png文件可以包含关于例如所扫描的特征的不同区域的纹理和颜色的信息。并且,mtl文件可以包含配置信息(例如,png文件和obj文件之间的关系)。例如,对于躯干扫描,png文件可能含有与受试者的躯干的不同区域中的皮肤的颜色、纹理等相关的细节。在一些实施例中,mtl文件可以包含3d网格和颜色/纹理的正确对准的坐标,以产生3d图像。png文件可以包含所扫描的受试者的纹理和颜色信息。

在一些实施例中,由扫描仪10获得的图像数据(例如,obj、png和mtl文件)可以由计算机系统90(使用软件)转换成ax3格式的单个文件(例如,具有.ax3文件扩展名的文件)。在一些实施例中,ax3文件可以转换和压缩数据,以存储为十六进制二进制大对象(hexadecimalbinarylargeobject,blob)。ax3文件可能含有生成所扫描的特征的3d图像所需的一些或全部信息。例如,ax3文件可以组合和存储来自obj、mtl和png文件的数据,这些文件中的每一个包含不同类型的图像相关信息。

计算机系统90可以使用ax3文件(或其它类似的成像文件)重建和显示所扫描特征的3d图像(或数字3d模型),并且在显示设备92上显示所述图像。然后,计算机系统90可以提示用户标识或标记与特征在所显示的3d图像中的受试者的身体区域相关的各种解剖特征。在一些实施例中,计算机系统90可以在显示设备92上按顺序显示数字3d模型的不同视图,并提示用户(例如,使用gui或一个或多个弹出窗口)在所显示的图像上标记(或以其它方式标识)相关解剖特征。

图4示出了来自受试者的躯干扫描的、指示由用户在图像上标记(在图4中标记为“x”)的解剖特征中的一些的示例性图像。计算机系统90可以首先显示躯干的图像,并提示用户在图像上标记(或以其它方式标识)对应于所选择的特征(例如,右侧向)的位置。

以类似的方式,计算机系统90可以提示用户标识躯干上的不同解剖特征(例如,与分析相关的所有特征)。这些特征可以包含右侧向、右底部、右乳头、右乳晕半径、右胸骨、胸骨切迹、左胸骨、左底部、左乳头、左乳晕、左侧向等中的一些或全部。由于每个特征都由用户标记,所以这个特征在所显示的图像上的位置可以利用标识所述位置的标记(和/或在一些实施例中标记所标识的特征的文本)来指示。在全部相关解剖特征被标识或标记之后,所有被标记的特征的用户标识的位置可以在图像上示出,并且可以提示用户批准、改变和/或保存所标识的位置(例如,通过按下保存等)。

在一些实施例中,当连续的图像被显示时,计算机系统90可以基于用户的输入,以图形方式或者作为所显示的图像上(或者显示设备92上的其它地方)的文本来计算和显示各种参数。例如,在用户标识或标记右胸骨位置之后,计算机系统90可以基于先前标识的特征的位置计算左乳房的体积,并将这个体积显示在图像上(例如,躯干的下一个所显示的图像)。替代性地或附加地,在一些实施例中,计算机系统90可以标识或突出显示由图像上的先前标识的特征的位置所包围的区域。

在一些实施例中,如图5所示,自动计算的参数可以以图形方式呈现在显示设备92上。一般而言,模拟的结果可以以任何形式呈现。在一些实施例中,模拟结果可以被呈现在显示设备92上(例如,以文本的方式、以图形的方式等),并且所显示的结果可以包含从模拟获得的左乳房和右乳房的所计算的组织体积。在一些实施例中,如图5所示,自动测量的概要以及左乳房和右乳房的组织体积的计算值也可以被呈现在显示设备92上。

受试者现有乳房植入物以及植入物的放置类型(胸大肌下方、乳腺下方等)可能会被标识。在一些实施例中,计算机系统90可以从受试者的简档中提取这个信息,或者使用扫描仪10的rfid传感器从嵌入式植入物中获取这个信息。在一些实施例中,计算机系统90可以提示用户输入这个信息(例如,通过弹出窗口等)。在一些实施例中,可以提示用户从包含关于通常可用的不同植入物的信息的数据库中,或者从显示设备92上呈现的植入物的列表中选择植入物的类型。基于现有植入物的信息(尺寸等),计算机系统90在受试者的躯干的重建3d模型中计算或限定虚拟植入物,并呈现数据。例如,基于受试者的现有植入物的体积和位置信息,计算机系统90可以将重建的3d模型中的体积归因为被植入物占据,并将这个数据呈现给用户。虽然可以以任何方式呈现数据,但是在一些实施例中,可以在显示设备92上显示的受试者躯干的数字3d模型中标识所计算的现有植入物体积和位置,如将在下面进一步讨论的那样。

如果用户对所表示的虚拟植入物满意,则用户可以激活计算机系统90中的植入物移除模拟功能。在一些实施例中,用户可以点击在显示设备92上呈现的按钮或图标,以激活或启动与植入物移除功能相关联的算法(或子程序)。这个算法可以运行虚拟组织移除功能,并执行模拟,所述模拟将乳房的总体积减少等于现有植入物体积的量,以模拟从乳房移除植入物。然后,结果可以例如在显示设备92上呈现给用户。

在上面讨论的模拟(其可能涉及模拟现有植入物的移除)之后,如本文将进一步讨论的,用户可以执行其它模拟,诸如例如模拟隆胸外科手术。隆胸是外科手术,在所述外科手术中将乳房植入物放置在受试者的胸肌或乳房组织下,以增加乳房的大小、形状和/或丰满度。在已知受试者正在考虑的植入物类型的情况下,隆胸外科手术模拟可以创建植入物的虚拟3d模型,重建其中嵌入有植入物的受试者躯干的3d模型,并将结果呈现给用户。所呈现的结果可以包含其中嵌入有所选择的植入物的受试者躯干的数字3d模型(例如,使用扫描仪10获得的或者作为先前模拟的结果获得的原始3d图像的修改)。基于这些结果,受试者可以决定继续进行外科手术或选择另一植入物或放置/取向信息以便进行模拟。

在隆胸外科手术模拟中,用户(或受试者)可以首先选择用于模拟的植入物,并向计算机系统90提供植入手术过程(例如,胸大肌下方植入、乳腺下方植入等)的细节。如前所述,植入物的细节(尺寸、型号等)可以由用户提供给计算机系统90,或者可以从包含不同类型的植入物细节的数据库中选择植入物。图6是包含不同尺寸(例如,迷你尺寸、全尺寸、半尺寸、紧身尺寸等)的可用植入物的示例性列表的数据库的图示。在一些实施例中,计算机系统90可以生成考虑受试者的详细情况(例如,躯干的尺寸、现有乳房组织的体积和/或类型等)的植入物的列表。例如,计算机系统90可以从所呈现的列表中排除落在被确定为适合给定受试者的植入物大小的范围之外的植入物(例如,基于所定义的标准)。用户可以从所呈现的可用植入物列表中(例如,从图6的列表中)选择期望的植入物。如下文将进一步讨论的,使用植入物和植入手术过程的细节,模拟算法可以计算虚拟植入物,并重建其中嵌入有植入物的躯干的数字3d模型。模拟的结果可以被呈现在显示设备92上。用户可以查阅和验证结果,或者修改参数并利用经修改的参数启动重新计算。

一般而言,可以使用成像系统100来模拟任何类型的乳房组织/植入物/假体移除或添加的效果。在一些实施例中,可以执行模拟来可视化和研究乳房切除术或部分乳房切除术(例如,由于乳腺癌)后乳房重建的效果。除了乳房植入物之外,在一些实施例中,成像系统100可以被配置为模拟用于准备胸部组织以接收植入物的组织扩张器。例如,成像系统100可以执行考虑受试者的现有乳房组织的体积计算,然后允许用户模拟一个或多个组织扩张器和/或在乳房重建外科手术期间使用的组织扩张器之后的一个或多个乳房植入物。

模拟外科手术的结果

现在将讨论用于模拟可能的乳房外科手术的技术。需要一种能够对交互式应用做出足够快的响应同时保持与物理理论的明确关系的弹性材料(如乳房和乳房及植入物)的计算模型。根据本文的一些方面,与利用预定义输入运行的用于随后检验结果的自主模拟相比,响应时间可以被计算为毫秒的量级,例如为用户(例如,受试者)提供交互式体验。交互式物理建模可以采用不依赖于弹簧网络的算法(弹簧网络可能不能很好地表示诸如剪切阻力或面积的不可压缩性的因素),但相比于小数位数的精度速度可能仍然受到重视。本申请描述了用于直接基于乳房组织和乳房假体手术的简单细分来模拟与乳房组织和乳房假体手术相关的力学特性的技术。这些技术充分准确地对个体(特定患者)组织的力学特性进行建模,以有助于预测外科手术的结果。

本文的方法可以使用特定于受试者的数据,例如可以提供更真实的模拟。例如,可以从简档(例如,特定于受试者的简档)中检索与受试者相关联的一个或多个特征。示例性简档数据可包含但不限于重力组织松弛因子、组织弹性、皮肤弹性、胸壁不对称性或其组合。进一步地,简档数据可以包含受试者的医生或其它医疗专业人员的联系信息和/或先前执行的医疗手术的日期和类型。根据本公开的一些方面,简档数据可以包含受试者是否具有现有的植入物和关于植入物的信息(诸如例如,制造商、型号、类型、尺寸、年龄、完整性、体积、表面纹理、唯一的设备标识符(例如,rf应答器)和/或填充材料的类型(例如,硅胶)以及其它植入物参数)。简档数据可选地可以例如存储在数据库中并且在作为模拟的一部分的图像的处理之前、之后和/或期间被检索。例如,简档数据可以保存在本地网络和/或基于云的网络中。

在与本文讨论的乳房组织和乳房假体植入手术过程相关的技术中,所述模型至少有四个部件:

1.刚性骨骼基础(诸如胸壁)(例如,其中参数可以标记为固定的)。

2.表面皮肤,其被视为柔性和可扩展的二维表面。

3.大块组织,其中可以忽略精细结构(血管、韧带等)。细分中的每个四面体可以被视为均匀的同质(尽管不一定是各向同性)材料。

4.引进的外来材料(诸如填充剂、植入物等),其可以针对每类应用分别地进行处理。

根据本文技术的一些方面,首先指定分配给这些模型部件的几何形状,然后指定材料属性,最后指定力学特性。

例如,模型部件的几何形状、材料属性和力学特性可以用于例如基于与受试者相关联的简档数据(其可包括通过如上所述的扫描获得的三维图像数据)确定受试者的身体的至少一部分的三维模型。这个三维模型可以用于确定乳房体积模型,其中乳房体积模型的参数可以被修改(例如,根据本文的方法进行数学操控),以确定经修改的三维模型。如下文进一步描述的,经修改的三维模型可以包含将乳房植入物模型(例如,反映乳房植入物的预期尺寸、形状、体积、样式的参数)结合到乳房体积模型中。因此,例如,本文涵括的模型可以允许受试者在植入手术之后模拟受试者的外观,包括例如组织的自然运动、皮肤的拉伸、重力对组织的影响等。

几何形状——坐标

物理空间的坐标可以取为正交的(x,y,z),其中x侧向穿过患者的胸部,y从腹部到下巴,并且z从胸部向前:在具有相同(x,y)的两个点中,具有较高的z的点将被称为z上方的点。这个框架连同标准内积可以称为e3。两个向量v和w的标准内积将由vw或g(v,w)表示,其中多个内积函数在讨论中。

几何形状——空间中的位置

模型的位置f可以完全由每个顶点的(x,y,z)的坐标列表指定:所有边、三角形和四面体的位置可以跟随。f到另一位置f’的变化表示运动或变形。长度、角度、面积等都可以改变。这不同于下面描述的不变的“参考几何形状”,所述不变的参考几何形状在整个计算过程中可能是固定的。

一般而言,人们可能要求f是“嵌入”式的(例如,没有两个“单形”—点、边、三角形、四面体—具有在参考模型中共享它们给出的共同点),并在代码使得f演进时采取步骤来检查这一点。它可能被预期是正确的,并保持如此,而不会减慢检查代码。

几何图形——刚性边界

模型可以接受诸如胸部的刚性表面边界的估计。例如,这可以从扫描中提取,或者可以从与扫描匹配的预定的胸部形状集合中提取,或者由技术人员的眼睛判断以适合患者。例如,本文中呈现的技术中的几何形状可以是三角形或四面体,因此这个表面可以被三角化。例如,可以使用多个四面体来描述乳房体积模型,并且可以使用多个三角形来描述与乳房体积模型相关联的乳房表面模型(例如,包括与乳房体积模型的多个四面体的相对应的表面三角形面共同的多个三角形的乳房表面模型)。小区域可以描述为“高度图”zs(x,y),并且所述高度图足以在具有顶点(xij,yij)的xy平面的相关部分u(见图7)上取正三角形(边长一或几毫米)并且使用具有相对应的顶点(xij,yij,zs(xij,yij))的相对应的三角形。因为区域u不必是矩形的,所以以单个索引k来引用顶点可能比以数组索引i和j来引用更方便。

除了对更快计算有用的边的任何列表等之外,这个部件的拓扑和几何形状数据可能包含:

·由列表索引k索引的、具有其双精度坐标(x,y,z)的顶点vk的集合;以及

·三角形的集合,其中其角的索引为ko(l)、k1(l)、k2(l):不是直接的(x,y,z)数据。

注意,这个列表可能会在对皮肤几何形状建模后减少。

几何形状——皮肤

皮肤可以在模型中(例如,在乳房表面模型中)表示为三角形和顶点的集合,但是获取这些模型可能是困难的。如果重力对形状具有较大的影响,重力可以被归一化。这个部件的拓扑数据(皮肤的模型三角形网格m皮肤)可能包括以下的集合:

1.顶点vi皮肤,其由列表索引i进行索引。

2.三角形tis,其中在它们的边的#3中索引k=eso(l)、es1(l)、es2(l)。

3.边eks,其中它们的端部的索引为k0皮肤(l)、k1皮肤(l)。

这个网格可能在刚性模型表面上方略z形的曲线处结束。其边(相邻三角形不匹配的三角形边的并集)可以扩展到达这个表面的网格mst。一种方法是找到与e皮肤的每个顶点最近的刚性表面顶点,标识穿过所有这些点的表面三角形边的最短环路并用三角形带连接e皮肤和然后,位于之外的刚性表面的三角形可以被丢弃。从拓扑上来说,在利用上面的第一种方法的情况下,这是(x,y)空间中(修剪的)三角形集合的结构。接下来,将讨论从三角形的边的参考状态导出的三角形tls的参考状态。

参数l(eks)(或简写为lks)可以被定义为当端部周围的皮肤松弛时或端部周围的皮肤松弛的情况下,边eks的端部之间的距离。分离的较小块的皮肤(如在被移除用于其它地方的移植的皮瓣)近似于这种松弛。

只要在身体上,皮肤就不松弛。实际上,由于张力方面的差异,移植物从供体部位移除时的收缩通常包含移除比其将缝合在其中的目标更大的面积。

而且,存在张力不是各向同性的情况。本文中,术语“兰格线”或皮肤张力线用于指皮肤的最大延伸线,如兰格的最初的实验所建议的那样。图8示出了乳房中最大静止皮肤张力的线a和线b(也称为动态kraissl线)。方向场可以由平均化表面上每个点p处的单位切向量l(p)来表示(定义到符号)。单位法线n(p)的估计给出单位切向量l(p)为l(p)xn(p)。可能期望具有沿p处的兰格椭圆孔的长轴的拉伸量a(p),并且对于沿短轴的b(p)类似。这些可以通过适当的设备进行测量,或者根据典型的兰格线和患者的人口统计的拉伸值进行估计。(例如,年龄降低拉伸值;怀孕或植入物暂时地增加这些拉伸值,但是一旦消除了拉伸的原因,长期拉伸使这些值低于以前。)

如果边eks(从vi皮肤到vf皮肤)已经测量了端部位置pi和pj;(近似地)存在切线向量其可以如等式(2)所述被分解:

这是从长度的正交分量拉伸而来的,因此可以根据等式(3)来设置参考长度:

这些长度决定了三角形的参考形状。从出生前开始经过发育中的所有的形状变化,皮肤就一直处于张力下而不是处于松弛状态,并可能以这样的参考长度生长。皮肤被理解为适应它含有的生长的肉。

在图10的右侧上示出了由某个位置f构成的、中的相对应的三角形。在f改变计算(通常是在从通过猜测或测量获得的初始位置到平衡位置的步骤中)时,这个三角形表示中的参考三角形的位置,在没有f情况下其可能没有参考三角形的位置。以tli、l0、l1和l2(简写)以及顶点v0、v1和v2表示参考三角形及其边,网格m皮肤的几何形状数据可以包含:

·嵌入的而不是参考三角形的顶点的双精度坐标(xj,yj,zj)皮肤。

·网格边的参考长度简写为

·三角形的面积a1=面积如三角形边的参考长度所示。

与其中记录位置数据的(x,y,z)空间不同,在某些情况下,图10中的b1b2平面没有原点或轴,尽管它可以具有长度和角度的度量。选择v0作为原点,边向量w1和w2可以如所示出那样。因此,根据等式(4)至(6):

通过余弦公式,同时w1和w2为基本w,上的标准内积具有简写为以下的矩阵

为了测量位置f如何扭曲总体向量,根据等式(8)也预先定义正交基可能是方便的:

其中b2与w2位于b1的相同侧上。在此基础上,可以对每个三角形进行参考面积a1的计算。在这个基础b上,相同内积具有矩阵

并且w1、w2可以具有分量形式

从w到b(反之亦然)的基于变化的矩阵可以分别是

其中

向量上的单位矩阵指的是然后

以上所有内容都可以是用于参考几何形状的设置计算。f的几何形状可能会随着其迭代而改变。在中其用适当的(x,y,z)坐标(v0、v1和v2缺少所述坐标,所述坐标不在中)将“抽象”参考vo、v1和v2映射到顶点fvo、fv1和fv2。

可能存在如下在等式(16)和(17)中示出的相对应的显式向量:

w1=f(v1)-f(v0)(16)

w2=f(v2)-f(v0)(17)

中具有矢量的(x,y,z)基础的情况下,根据参考向量是指还是,在这个三角形上f可以具有等式(18)和(19)中示出的矩阵

等式(20)的矩阵

以{w1,w2}为基础表示嵌入的三角形占据的平面内的标准内积然而,在计算能量时,描述来自图10中的参考三角形的应变可能是有帮助的。因此,为了将其与共享基础中的gb进行比较,可以通过相同的变换(从参考长度导出)将其回推,如等式(14)中所示以产生等式(21):

比较等式(5)和等式(20)示出了长度如何变化。矩阵

可以以独立于特定三角形的形状的方式表示变形。当f改变时(例如,模型“移动”),只有等式(20)至(22)表示用于更新t应变的新计算。矩阵可以通过参考长度固定。

在描述弯曲和曲率能量的方法之前,下面讨论三维中的应变能。

静止几何形状

现在将更详细地讨论执行组织模拟的上述技术的细节。重力具有对乳房形状的较大影响,重力可能需要归一化。微重力环境通常不可用,并且可能会生成自身的扭曲。为了获得更多信息,扫描受试者至少两次可能是有益的,例如一次在身体仰卧(面朝上躺着)并且乳房不被支撑的情况下进行,并且第二次在身体俯卧(面朝下躺着)同时乳房在锁骨和腹部区域的支撑之间的间隙中的情况下进行。附加地或替代性地,可以在直立位置(站着)扫描受试者。扫描期间的这些位置在本文中可被称为基准位置。坐姿扫描可以与俯卧、仰卧和/或直立扫描相协调,并且可以标识相对应的点。这可以提供对“垂度”的整体估计,并且因此提供弹性响应,以改进对最终形状的预测。这可以是补充,而不是替代。

在至少一个实施例中,激光扫描可以生成表面z仰卧(x,y)和z俯卧(x,y)。更具体地,扫描软件可以生成至少一个点云,然后可以生成三角网格——即,在这种情况下,生成分段线性(在三角形片上)函数z(x,y)。

这种方法可以使用等式(23)

给出受影响较小的形状并对其进行三角化(例如,通过上面的刚性边界部分中使用的方法,或者通过由软件为被视为函数的z俯卧(x,y)给出的三角形),通过上面的等式调整顶点上的z以及被构建到z仰卧(x,y)中的线性插值。

因为点在x和y方向以及竖直地移动,所以这种方法近似于无重力形状(这可能比单独采用俯卧、仰卧或坐姿更好)。

在另一实施方式中,当俯卧和仰卧扫描数据难以获得时,可以通过反向施加重力作为向上的力来获得静止的无重力形状。这种形状的精度将取决于获得组织的有效弹性的合理值。

在某些情况下,扫描可能涉及类似于用于整合多个摄影视图和重新创建物体表面的纹理图的那些技术的技术。例如,所发现的每个点(x,y,z)扫描可能有与其一起记录的其它数据,诸如颜色和/或纹理信息。这个信息可以使得能够针对点(xi,yi,zi)仰卧标识具有相同的属性,并且因此在变形后具有皮肤上的相同材料点i的最近的点例如,表面与表面的配合(从而最小化整体失配)在某些情况下可能是期望的,而不是点与点匹配。然后函数可以根据表示为以下的等式(24)进行描述:

并且被用于对这个点云进行三角测量。这个部件的拓扑数据(乳房皮肤的模型三角形网格m皮肤)可能包含以下的集合:

1.顶点,其由列表索引i进行索引。

2.三角形其中在它们的边的#3中索引

3.边其中它们的端部的索引为

这个网格可能在刚性胸部模型表面上方略z形的曲线处结束。其边(相邻三角形不匹配的三角形边的并集)因此可以扩展到达胸部的网格m胸部。一种方法是找到与e皮肤的每个顶点最近的胸部顶点,标识穿过所有这些点的胸部三角形边的最短环路并用三角形带连接e皮肤和

位于之外的胸部的三角形可以被丢弃。从拓扑上来说,在利用上面的第一种方法的情况下,这对应于(x,y)空间中(修剪的)三角形集合的结构(图7)。

四面体几何形状

在三维中(其中四面体代替二维空间的三角形),本领域技术人员可以直接写出类似的公式。因此,我们在三维中具有相对应的应变张量,遵循完全类似于上面的几何形状-皮肤中的那些公式的公式,但扩展到三维向量和3×3矩阵。

植入物膜

乳房植入物以各种形状和内部结构出现。根据本文中的方法模拟各种植入物对乳房组织的影响的一种可能的技术是忽略植入物的内部成分方面的变化,而不是形状,例如对结果有影响的形状。这个框架可以考虑乳房组织材料和/或植入物内容物的力学特性和剪切力。

如上所讨论的,根据本公开的一些方面,用户可以从列表中选择植入物模型,例如乳房植入物模型。每个模型可以具有例如由制造商以诸如iges或step的格式供应的参考植入前坐标(u,v,w)的几何规格。替代性地,可以在内部测量植入物尺寸,并且可以生成三角网格。为了将(u,v,w)顶点坐标转换成身体坐标(x,y,z),可以提供预期位置,例如通过其到达所述位置和姿态的指定旋转和平移的4x4矩阵a给出:(x,y,z,1)=a(u,v,w,1)。

在使用中,这可以由三维用户界面生成,通过所述三维用户界面,外科医生可以相对于当前皮肤几何形状的三维再现(如在上面的“皮肤模拟的细节”和“皮肤模拟”部分中获得的)可视地计划将植入物放置在哪里。同样,当肉具有剪切力时,可以使用这种方法。对于植入物的移除/替换,可以使用原位扫描植入物来限定植入物的体积(即使在目录号已知的情况下,所述植入物的体积也可能已经改变)。一种方法是超声波扫描,从而产生类似皮肤的三角网格。还可以确定植入物是否在受试者的身体的俯卧和仰卧位置之间显著改变形状。

这个网格m植入物的几何数据可能包含

·由列表索引j索引的、具有其双精度坐标(x,y,z)的顶点的集合;和/或

·三角形的集合,其中它们的角的索引为j0(l)、j1(l)、j2(l)。

以上三角形变形几何的分析在此同样适用。因此,例如,本文中处理图像的方法可以包含:接收乳房植入物模型;确定乳房植入物模型的总弹性势能;以及通过使用乳房植入物模型的总弹性势能来最小化乳房植入物模型的总能量来确定乳房植入物模型的静止平衡位置。乳房植入模型可以基于一个或多个植入物参数。示例性植入物参数包含但不限于植入物尺寸、植入物形状、植入物表面纹理、凝胶填充材料的弹性、凝胶填充材料的流变性、植入物外壳的弹性及其组合。

乳房体积

乳房体积是指胸部、皮肤和乳房植入物的表面(例如,乳房植入物的外壳或膜)之间的空间。对于本文讨论的技术,图11中示出的内部组织结构可以被忽略,包含库珀韧带、血管等。替代地,闭合表面三角网格可以取自m胸部、m皮肤和m植入物的并集、被均匀地分散隔开几毫米(或者一些其它预定密度)的点,并用四面体填充。

这个网格m组织的拓扑数据可能包含以下的列表:

·顶点,其由列表索引j进行索引;

·四面体其中它们的角的索引为j0(l)、j1(l)、j2(l)、j3(l)。

·与胸部共享的三角形(四面体面);

·指向与皮肤共享的三角形的指针;

·指向与膜共享的三角形的指针;和/或

·四面体的参考体积

根据执行四面体化的坐标,每一个的体积可以取为从公共角开始的三个边缘向量的行列式的1/6。不需要存储边的长度(可能除了与皮肤和膜三角形共享的边)。可以确定乳房的总体积(vb)。

乳房组织的可压缩性可以通过检验四面体的体积变化来处理。然而,可能更习惯于使用两个独立的不变量(其系数因此是各向同性体模量和剪切模量的组合),即tr(t应变)2和tr(t2应变)。可以使用这些不变量来代替体积表达式,所述体积表达式可以用例如tr[t应变-itr(t应变)/3]2来扩充。尽管如此,在连续体极限中消失的离散情况下,这两个表达式之间可能有区别。然而,体积变化的直接表达可能服务于另一目的,即用于抑制四面体的反转。这些考虑也可以适用于植入物体积。假设旋转下的不变性可以将皮肤的材料属性(尽管不是应变)视为各向同性。然而,真皮中胶原纤维的自然取向可能使弹性系数具有方向性。可以暂时假设各向同性,等待这种方向性的测量。

植入物体积

植入物体积是指封闭在植入物外壳或膜m植入物内的空间。在至少一个实施例中,可以忽略植入物的内部结构(例如,填充材料的细节)。点可以均匀地分散在其中,隔开几毫米(或另一预定距离/密度),并且利用四面体填充。

这个网格m填充物的几何数据可能包含

·由列表索引j索引的、具有其双精度坐标(x,y,z)的顶点的集合;

·四面体的集合,其中它们的角的索引为j0(l)、j1(l)、j2(l)、j3(l)。

·与植入膜共享的三角形(四面体面)的子列表,具有指向膜三角形的指针;和/或

·四面体的参考体积

让植入物的总体积表示为vi。

植入物插入

将植入物容纳在乳房组织内的过程可以通过以下手术过程实施。根据上述内容,已经确定了植入物的放置坐标和体积。由图12的二维示例示出的一个考虑是植入物“四面体”是否可以与乳房体积的那些四面体重叠。

在至少一个实施例中,植入物插入可以以两个阶段进行,其中在每个阶段具有能量最小化。在第一阶段,具有预定形状的刚性植入物可以以递增的方式插入。在本文中的方法的一些示例中,重力不包括在第一阶段中。当使用加速方法(诸如动量法)时,刚性边界可能包含对梯度下降的较小修改。在每次迭代开始时,可以针对与刚性边界的碰撞而检查表面顶点。碰撞顶点可以被移出到刚性边界上的最近的表面点。如果碰撞顶点被标记为“固定的”,它的状态可能被更改为“自由”。这允许顶点在模拟期间根据需要与边界相切地滑动。

在移动碰撞顶点后,可以在每个顶点v处计算能量梯度de[v]。为了限制碰撞顶点向后移动越过边界的趋势,法向于边界的碰撞顶点的de[v]的分量可以被设置为零。然后,每个顶点的增量步长可以使用这个修改后的de来计算,并可以像往常一样应用于顶点位置。因为碰撞顶点可能被允许与边界相切地移动,所以在这个步骤中它们可能会穿过进入边界。因此,碰撞器返回到边界表面的第一步骤可以应用于每次迭代中。

边界本身可以逐渐朝向其最终位置移动,从而允许模拟在每次迭代时调整碰撞点到边界的恢复。第二方法可以与本文讨论的至少一些实施例一起使用。植入物边界最初可以被定位在后面(垂直于胸壁),使得它正好在乳房组织模型之外。然后,模型可以在每次迭代中以递增的方式向前移动,直到其到达最终位置。模拟可以继续进行附加迭代,以允许乳房组织模型达到平衡。

乳房四面体的全局运动因此可以被执行以适应所插入的体积,随后进行能量最小化以获得平衡。以这样的方式,刚性植入物可以被完全插入。

第二阶段可以涉及允许植入物是柔性的并被赋予其自身的弹性属性。这可以通过确定界面处和界面附近的相互渗透力并移动界面来实现,使得由相互渗透产生的力相等且相反。然后内部点可以被平衡。然后,这个过程可以交替松弛界面和内部点,直到达到平衡。

更详细地,所述方法可以如下继续。双体变形算法可以假设从两个四面体化的体积模型开始,并且两个体积的表面中的每一个的子集处于接触状态。在我们的实施方式中,可以供应每个模型的接触表面顶点集合作为输入(因为它们可以从前面的植入物插入步骤中得知)。然而,这些顶点可以替代性地从数据中计算。可以假设这两个模型开始在平衡状态的预定度量内。因此,可以假设两个表面不需要“滑动”(彼此相切地移动)。表面可能显著变形,但它们可能一起变形,而不会拉开、相互渗透或滑动。

让两个四面体模型为tm1和tm2,并且它们的接触表面顶点集合为cv1和cv2。对于cv1中的每个顶点v,可以确定tm2中最近的表面三角形(即,表面处的四面体的面)t,也可以确定v相对于t的重心坐标(用于计算和存储重心映射的方法可以已经构建到dsd类vertexmap中,其可以用于映射多分辨率体积,以及用于将所扫描的表面映射回四面体模型)。映射可以在能量最小化之前计算一次。

在变形迭代中,可以在模型中的每个顶点处计算能量梯度,并且每个顶点可以在减小能量的方向上移动(预定大小的)较小步骤。在两体变形中,非接触顶点仍可以以这样的方式处理。cv1中的接触顶点仍然可以计算它们的能量梯度。但是它们可以通过使用所存储的重心坐标映射从cv2的顶点内插它们的新位置来移动。因此,cv1中的顶点可以总是保持在cv2的表面处。

解决cv1的顶点处的能量梯度(力)可能是有利的。这些力可能会推动cv2的表面。从cv1顶点到cv2的顶点的重心映射可能已经可用,它详细说明了如何将来自每个cv1顶点的力分配到cv2中的三个顶点的最近的集合。从cv1推到cv2的这些力可以从它们自己的四面体模型tm2加到cv2能量梯度上。因此,tm1的在tm2上推动的力可以以tm2中的点的变形进行解释。在cv2中的顶点的迭代步骤之后,cv1的顶点可以通过从新的cv2位置插入它们的位置来移动。

这个算法的实施例可以总结如下:

·输入:tm1、cv1、tm2、cv2

·初始化:可以计算从cv1中的每个顶点v到cv2中的表面点的映射m[v]=(t,b0,b1,b2)。在这个映射中,t可能是含有或最接近v的tm2的表面三角形。(b0,b1,b2)可以是v相对于t的重心坐标。也就是说,如果u0、u1和u2是三角形t的顶点,那么v=b0*u0+b1*u1+b2*u2。注意,当使用重心坐标时,b2=1–b0–b1。

·迭代:可以在tm1和tm2中的每个顶点v处计算能量梯度de[v]。对于cv1中的每个顶点v,能量梯度可以分布到cv2中的其映射的顶点u0、u1和u2:de[ui]+=de[v]*bi,i∈{0,1,2}。

·可以在所有顶点(不包括cv1)当中计算最大能量梯度demax。

·tm1中的所有非碰撞顶点v(即,不在cv1中)可以被步进:v+=de[v]*(stepsize/demax)。

·tm2中的所有顶点u可以被步进:u+=de[u]*(stepsize/demax)。

材料属性

属性可以根据处于特定状态时的实体所拥有的能量来指定。从长期来看,这种状态可能包括位置和动量。在下面的讨论中,只计算准静态平衡,所以只考虑位置数据。在一些示例中,没有解决粘性力,例如,因为它们可能只影响达到最小能量配置c的瞬态,而不是c本身。可能存在给出诸如三角形的弹性实体的能量的两个方面。一个方面可能是作为其相对于参考或“松弛”配置的变形的函数的能量,具有最小能量(不失一般性,取零),并且另一方面可能是指定这个配置本身。在某些情况下,参考状态可以取为所测量的初始配置。下面的讨论例示了一组实施例,其中组织和植入物特性可以被认为是各向同性的:对各向异性弹性的概括是通过本领域技术人员已知的方法来执行的。

关于边界表面,这个网格可以是固定的,使得不需要指定位置相关的能量。

材料属性——皮肤

上面部分“几何形状-皮肤”描述了皮肤的参考几何形状,并概述了如何获得它。变形能的三种不同形式是平均弯曲、切向应变和高斯曲率弹性能。在网格形式中,这些可能存在于网格的不同维度元素上。可以提供皮肤三角形的单位法线,如由当前f嵌入的。这些可以被计算为在f下的三角形的图像的边向量中的任何两个的归一化叉积。使用图10的符号,其法线可以由等式(38)描述:

其中标记所讨论的特定三角形的索引已被省略。通过在数据结构中一致地定向列表,它们可以被布置成一致地向外指向。本部分可能会省略代表皮肤的上标s。

皮肤——平均弯曲

平均弯曲是相对于相邻三角形的f位置的属性,例如如图13所示。以h表示点处的平均曲率,表面弯曲的一种形式是h的变化,就像纸卷成圆筒一样。在至少一个实施例(其中每个三角形保持平坦)中,这种弯曲可以沿着三角形之间的边发生,尽管在更平滑的描述中,这可能是单位面积效应。皮肤对这种弯曲可能具有非常小的阻力,因此在某些情况下,例如在初始模型中,它可能被忽略。

可能存在对共享边的三角形面积上的h2的积分的泛化。对于长度为l的每条边,共享区域a1、a2的面,其中a:=1/2(a1+a2),这个能量∫h2ds为每条边

其中θ=π-α,并且a是这个边处的两个相邻三角形之间的(两面)角。(如果几乎没有弯曲,则两面角接近π,所以θ→0)。情况可能是,例如,相对于其计算能量的参考状态本身可能具有平均曲率,使得可以使用∫(h-href)2ds的离散表达式,积分在共享边的面上进行。可以使用简化。对于二阶,θ/2可以与||n1xn2||成比例,并且此外,可以使用δα=||n1n2||-||n1xn2||从这个中减去参考角度。能量随着任一方式的弯曲而增加,使得对于每个边固定的某个μ,它可以被取为μ(δα)2。μ的值可能取决于材料,并且可能取决于边的方向。例如,与真皮中的胶原纤维的自然取向对齐的边可能比穿过它们的边更容易弯曲,这可能包括各个纤维的弯曲。如果对局限在边中的弯曲的这种抗性被想象成一种保持刚性三角形的角弹簧,能量可以被指定为与边长度成比例。但由于它可能是三角形自身中发生的弯曲的局部表示,所以它可能被制成与在这个边处相交的三角形的面积的总和成比例。这个面积已经被计算出来作为等式(38)中的分母。可以确定所有边的总和,并且因此比例系数(弹性模量)可以具有单位面积的能量的大小。

高斯曲率应变能

顶点i处的高斯曲率应变能可以由等式(48)描述:

其中在上面的高斯曲率部分中定义。系数y高斯与y长度有关,因为平坦化凸台可能涉及径向收缩和/或圆周延伸。它可以被认为凭经验进行估计。与单位面积切向应变能(子三角形上的附加应变能)不同,在简单网格细分中引入的顶点处的角度对于参考几何形状和嵌入几何形状两者来说可能总和为常数2π,因此可能没有以周围三角形的大小对加权。所述项可以在设置阶段计算并存储以供重复使用。

植入物外壳/膜

关于在本文讨论的一些方法中使用的乳房植入物模型,植入物外壳或膜可以具有类似于皮肤的属性。因此,能量可能与其切向、平均弯曲和高斯应变相关联,可能地使用与皮肤相同的形式(尽管可能不是相同的系数)。

四面体能量

根据本文方法的一些方面,可以首先确定与四面体相关联的能量的梯度方向,开始时将所述方法限制在各向同性能量。例如,假设是初始定向的四面体的体积(参见上面的乳房体积部分)。对于每个四面体,在各向同性情况下可能有三个能量项,由等式(49)至(51)描述:

其中可能是所讨论的四面体的不变质量(因此),并且zc可能是当前四面体的质心在以地球重力取向的框架中的竖直高度。前两个是弹性应变能(例如,与应变矩阵相关联),并且第三个是重力势能。重力势能可以解释在受试者自然运动(例如,站立、行走、躺下等)时,乳房组织和/或乳房植入物由于重力导致的自然运动。因此,例如,所述方法可以包含通过确定每个四面体的重力势能来确定乳房体积模型的重力势能。进一步地,乳房体积模型的总重力势能可以被确定为多个四面体的重力势能的总和。重力势能可以基于多个四面体中的每个四面体的重量、体积和/或重心的竖直位置来确定。可以确定的是

但是由于本文讨论的技术迄今为止已经根据局部坐标系表示了顶点位置,所以可以推迟zc的显式表达。它也可以根据等式(53)和(54)定义如下:

e剪切:=tr[t应交-itr(t应交)/3]z(53)

=e2-e1/3(54)

等式(53)和(54)中的e可以是无量纲的,而等式(49)至(51)中的e可以是能量(对于每个四面体)。可以计算这些项中的每一项相对于所讨论的四面体的四个顶点vμ中的任意一个的运动的梯度。因为特定的顶点可以在几个四面体当中共享,所以可以添加对应于所述顶点的梯度项,所讨论的四面体中的每一个有一个梯度项。四面体的上标i在某些情况下可以省略。总能量可能是所有四面体上的所陈述的三种能量的总和。项λ1和λ2可以是弹性模量,而ρ可以表示四面体中材料的密度,并且g可以是由于重力引起的加速度的幅值。每个四面体通常可以具有其自身的弹性模量和密度(对于足够不均匀的材料),尽管如下所述,本文中的技术可以假设各向同性的弹性属性。这一部分的其余部分可能被限制在一个四面体中,因为所有能量都可以被添加(并且因此所有梯度也可以被添加)。然而,如果任何特定的顶点被选择为移动,则可能只有有限数量的四面体将具有所述顶点,但是它们全部可以被考虑用于所述顶点的移动。顺序算法可以一个接一个四面体地工作,因为顶点最终看到它是其一部分的所有四面体。另一方面,并行算法可以包含每个顶点的邻接结构。例如,对于每个顶点,可以确定共享这个顶点的所有四面体。变量可以根据等式(55)和(56)定义为:

其中是初始定向的四面体的体积,并且vlft是四面体f(vlt)的体积,其可以是四面体的f下的图像,也与初始(或参考)四面体中的顶点的取向一致地被定向。换句话说,两个体积可以是正的或者负的,尽管符号改变可能指示已经反转的四面体。为了表达组织处于由皮肤保持的血压下的事实,对于大于1的某个常数k,每个初始四面体的平衡值可以被估计为使得括号内的分母可以是参考四面体(例如相对于初始四面体扩展)。组织的这个体积模量(但见下文)可以由等式(57)描述:

k组织=λ+2μ/3(57)

然而,这可能在描述中引入冗余,例如e0和e1两者。然而,e0的优点是,当θ=+1时,它在其它能量项中的一个的情况下是多余的(尽管考虑了应变中的更高阶),它也可能是用于防止四面体的反转的惩罚项。因此,总能量可以由等式(58)描述

其中等式(57)中的k和等式(58)中的g分别是每个四面体的体积和剪切模量。这些项中的每一项可以在所讨论的所有四面体上求和。应该理解的是,弹性模量(诸如g、k)可以是有效模量,使得它们不需要与对乳房组织或肌肉中的至少一部分测量的相同量相关。这些模量可以表示乳房所有组成部分(包含肌肉、脂肪、韧带等)的聚集或适当平均的效果。

经修改的三维模型可以反映组织的扩张或拉伸,例如,以适应植入物和/或脂肪移植的放置。在本文中的一些示例中,确定经修改的三维模型可以包含扩展乳房体积模型的乳房组织。因此,例如,所述方法可以包括扩展与乳房体积模型相关联的多个参考四面体中的一个或多个参考四面体的体积。可选地,扩展可以基于对脂肪移植的外科注射的模拟,例如在植入手术或其它外科手术期间。在这种情况下,最小化乳房体积模型的总能量可以至少部分地基于一个或多个参考四面体的扩展体积。

根据本公开的一些方面,可以例如通过将乳房体积模型的总弹性势能和总重力势能相加来确定乳房体积模型的总势能。进一步地,可以例如通过最小化总势能来确定乳房体积模型的静止平衡位置。在一些示例中,所述方法包括确定减少能量的方向,以将乳房体积模型的多个四面体中的每个四面体移动到最小值。

如上所述,确定经修改的三维模型可以包含调整乳房表面模型的参数。例如,乳房表面模型的多个三角形中的每个三角形的弹性势能可以由以下方式确定:(a)通过确定乳房表面模型的多个三角形的总和来确定二维应变能;(b)基于每个三角形的面相对于相邻三角形的面的弯曲角度确定弯曲能;和/或(c)基于乳房表面模型的多个三角形的每个顶点处的角度和的角度亏损来确定曲率能。

进一步地,所述方法可选地可以包含例如模拟受试者的一个或两个乳房和/或躯干的运动,以评估受试者运动时受试者的组织的自然响应。这个模拟可以包含:确定与经修改的三维模型相关联的一个或多个基准点的运动的时间轨迹,以及确定在预定时间点运动期间受试者的乳房的多个平衡位置。进一步地,可以例如实时显示基于所确定的多个平衡位置的乳房和/或躯干的至少一个三维时间相关配置。

梯度

由于三角形和四面体的能量可以根据形成各自单纯形的边的向量来表示(通过以上面的w表示),所以可以计算相对于w的梯度。然后,相对于顶点位置的梯度可以通过微分链规则获得。因此,可以建立四面体和三角形的整个复合体的梯度条目的(稀疏)矩阵。

也可以执行将各向异性弹性引入到四面体。

组合应变能

在上文中,表面应变和弯曲能是分别地进行描述。在某些情况下,总的点态能量q可以被认为是切向项和弯曲项的总和,尽管它的展开中的一些交叉项可能由于对称性而被排除。(例如,“平均延伸”(t11+t22)/2和平均曲率的乘积可能在反射和用于s的任意取向的反转下改变符号,因此这个项可能不属于q的二次部分—尽管它的平方可能给出合法的四次贡献。)一种可能性是使用附加组合,同时设计其中更精细的q可以很容易地插入的应力/应变模块。

对于乳房植入物的橡胶或其它弹性体的薄外壳,将q定义为获得连续介质力学特性可能是有意义的,并通过针对薄的限值的标准方法导出其形式和系数。对于生物表面(诸如皮肤和乳房组织),这可能不太清楚。最初,q的选择可能是启发式和现象学的。对其形式和所涉及的系数值的细化可以通过系统标识和参数估计技术从对较大片进行的测量中完成,如通过试图标识膜内连续块的弹性常数;如此之小,以至于它们只是非常近似地存在,不可能会被切下用于实验,并且可能不均匀地跨越它们的边界相互作用,结合恰好位于这些边界。即使在更宏观的原因(诸如皮肤)中,生物表面也可能具有比经典理论中假设的更复杂的内部结构。本文呈现的示例性技术将能量直接与顶点位置相关,使得顶点上的时间力可以被求和并用于以比其它可能的技术更快的速度移动它。

乳房固定术和外科模拟手术过程

上述方法可以包括计算它处于当前状态下的四面体的应变,所述四面体位于与其它四面体邻接的三维空间中,所述其它四面体共同定义了乳房或具有植入物体积模型的乳房。所述方法可以计算四面体相对于参考四面体的应变,所述参考四面体由其它方式定义,诸如以上针对无重力状态所述。参考四面体可以单独定义,并且可以不必与任何其它参考四面体邻接。这允许计算方法可以容易地用于外科手术,诸如例如通过移植增加组织的体积,或者例如在乳突固定术中的体积减少。在体积增加的第一种情况下,所述方法可以定义一组具有增加的体积的参考四面体(与乳房体积模型相关联的多个参考四面体中的一个或多个参考四面体的扩展体积),参考四面体是根据体积增加的计划区域选择的。类似地,对于乳房组织的体积减小,人们可以定义体积上减小(包含在某些情况下体积上的显著减小)的参考四面体的集合,以允许组织的移除。例如,确定乳房组织的体积减少可以通过减少乳房体积模型的多个参考四面体中的一个或多个参考四面体的体积来执行。

类似的考虑可能适用于其中皮瓣被移除和再缝合的手术过程。参考三角形的集合可以被定义为具有非常小的面积,以允许周围的皮肤三角形利用张力被缝合。因此,例如,确定乳房皮肤表面积的减少可以通过确定乳房表面模型的多个参考三角形中的一个或多个参考三角形的面积的减少来执行。面积的减少可以至少部分地基于与医疗手术相关联的皮肤的模拟的移除和/或再缝合来确定。进一步地,模拟乳房皮肤表面积的减少可以包含例如通过碰撞检测来监控乳房体积模型的多个四面体,以确定多个四面体中的每个四面体保持在乳房表面模型的表面内。进一步地,乳房表面模型的静止平衡位置可以通过例如根据与乳房组织的完整性相关联的预定约束最小化乳房表面模型和乳房体积模型的总能量来确定。在本文的一些方面中,约束可以基于特定于受试者的简档数据,或者可以基于聚集数据,例如,对于身体相似的受试者。

用于能量最小化的数值方法

为了在变形或外科手术后获得关于乳房组织的信息,可能需要确定位置f,如在三角形几何形状部分中,使得嵌入三角形的网格处于能量最小值,其中能量e是上面定义的所有能量的总和。为此,至少一个实施例可以使用梯度下降或相关方法,诸如nesterov加速度、动量法等。在这两种情况下,可以使用获得的初始配置fo(fov的集合),并且可以确定一系列fi,使得能量减少。

梯度下降可以涉及选择fi+1,使得向量{fi+1v-fiv}(表示三维中各个向量的集合的花括号)可以是相对于非固定顶点位置的梯度的特定倍数。牛顿方法可以将寻找fi+1的问题线性化,使得(这种线性化可以涉及e在f处的一阶和二阶导数,它们在此是可分析计算的),这允许更大的步长。对于二次问题,它可能在单个步骤中收敛,而不是跟随梯度曲线。虽然能量在这些向量中可能不是二次的,但是不太可能的是局部最小值是问题。

这些步骤可以概括为:

1.获取输入扫描和表面三角测量。

2.计算表面三角测量以获得闭合的表面,随后进行组织体积四面体化以及。

3.描述特定于应用的手术过程(例如,乳房植入物模拟)。

4.如果需要的话,重新四面体化组织体积。

5.根据需要计算收缩的参考三角形。

6.评估体积和切向应变、弯曲、体积应变和曲率能量,以及至少它们相对于f的一阶导数。

7.使用梯度下降或其它方法(见下文),从而收敛到平衡f。

8.输出新的四面体和表面三角形和纹理。

梯度下降

根据本公开的一些方面,最小化乳房体积模型的总能量使用梯度下降技术。例如,最小化乳房体积模型的总能量可以使用梯度下降技术,所述梯度下降技术通过动量法、nesterov加速度和/或通过插值、平滑化和/或近似所计算的运动来加速,以允许乳房体积模型的多个四面体和/或乳房表面模型的多个三角形的运动。这种运动可能具有小于预定总能量的能量。梯度下降算法可以通过沿着能量的梯度移动来进行。在下文中,出于以下原因,四面体能量和三角形能量可以被分别地处理。在软件实施期间使用的数据结构可以针对四面体被以四面体的方式进行组织,但是对于三角形,可以利用每个顶点与其所属的三角形的邻接。换句话说,每个四面体的数据结构可能含有属于它的顶点和边,而顶点不含有属于它的四面体。另一方面,对于三角形,邻接关系可能是双向的。这可能意味着顶点在应变能的最陡下降方向上的移动可能在已经遇到顶点后立即被认为是不完整的,因为相同的顶点对于不同的四面体可能会重新出现。任何顶点的移动可能是完整的,例如只有在已经检查全的四面体之后。换句话说,外环路可以移动穿过四面体,内环路穿过顶点。

在三角形的情况下,环路的顺序可以倒转。但是,下面将方法写为两部分。对于三角形应变能,已经保留了与三维结构相同的顺序,即外环路可以移动穿过三角形。在某些情况下,对于弯曲能,这可能是反向的。

梯度下降可能具有由局部极小值引起的某些考虑。尽管在几个应用中,最值得注意的是“深度学习”,但是这些似乎不会引起太多问题。如果证明梯度下降是不合适的,那么可以利用非线性共轭梯度的方法。简而言之,它涉及,在第一步以外的每一步,(i)在作为如上计算的最陡下降(或负梯度)方向和先前移动的线性组合的方向上的移动;以及(ii)在最陡下降方向上的步长不是任意的,而是通过最小化沿着由最陡下降方向给出的线的能量来计算的。

上面已经讨论了提高模拟手术过程的收敛性的其它方法,诸如nesterov加速法或动量法。

提高模拟手术过程的收敛性的方法还可以包含对四面体和三角形节点的移动进行平滑化和平均化过程,使得大量的节点参与移动,但是模态位移的选择可以是具有较低总能量的那个。这些过程包含parzen估计、径向(和其它)基函数、通过离线计算刚度矩阵的相对应特征向量来选择低能量模式等。因此,在本文所述的植入物插入的手术过程中,不仅是界面节点被移动以适应相互渗透力,还有界面的管状邻域内的那些节点,随着距离具有平滑下降的力。

如上所述,本文的方法可以包含使用由受试者可选地选择的乳房植入物模型用于执行一个或多个模拟。根据本公开的一些方面,所述方法可以包含确定乳房体积模型和乳房植入物模型的总势能;以及例如通过最小化乳房体积模型和乳房植入物模型的总势能来确定乳房体积模型和乳房植入物模型的静止平衡位置。在一些示例中,确定乳房植入物模型的静止平衡位置包括将乳房植入物模型相对于胸壁模型定位。附加地,例如,方法可以包括确定与胸壁模型相关联的多个三角形;以及将与胸壁模型相关联的多个三角形标记为固定的。

本文公开的任何三维模型和/或经修改的三维模型可以例如在模拟之前、期间和/或之后显示。示例性显示器(本文也称为显示设备)包含例如计算机监控器、电视屏幕、投影仪、平板设备、智能手机等。

示例性模拟

现在将在模拟患者体内的乳房植入物的示例实施方式中讨论以上讨论的技术。图15和图16是示出本文中的方法的非限制性示例实施例的流程图。在附加示例中,根据本文公开的原理,可以省略所述方法的各种步骤和/或可以执行附加的步骤。

在图15和图16的示例中,可以使用人体躯干的三维(3d)模型。应当理解的是,图15和图16中的各个步骤是示例性的,并且可以是可选的。此外,根据本文别处讨论的技术,可以执行替代性的或附加的步骤。在步骤1503,3d模型可以从诸如obj文件的文件导入。obj文件可以由扫描仪10获得的图像生成和/或从其中导出。可以使用任何其它合适的成像设备或成像系统来生成在本文的方法中使用的3d模型。可以基于3d模型生成称为乳房体积模型的四面体模型。

特别地,在步骤1506,可以确定3d模型是否向后面向。如果是,在步骤1510,可以反转水平和深度顶点(x,z)。如果3d模型不是向后面向的,则在步骤1513,顶点可以被缩放,例如缩放1000倍以从米缩放到毫米。

在步骤1516,可以确定正顶点和负顶点(3d模型的左侧和右侧)两者的最大投影点。可以在步骤1513中确定的最大投影点周围的预定距离处标记多个点,例如八(8)个点。在步骤1520,可以例如使用dijkstra的最短路径算法将这些点联结成环路。在步骤1526,可以确定哪些三角形含有在步骤1523中确定的环路内(其可以是前表面)。为了确定胸壁表面,在步骤1530,可以向内投射在步骤1523中确定的环路,后退预定距离,例如50mm。这个投影可以表示胸壁表面。

在步骤1533,可以确定哪些三角形含有在步骤1523中确定的环路内。这些三角形可能表示背表面。然后,按照步骤1536,可以生成三角形,以便将前表面和背表面联结在一起。这可以通过遵循附近三角形的边来完成。

3d模型可以包含除乳房之外的躯干的各部分。因此,所述方法可以包括分析3d模型以确定3d模型的哪些部分是乳房,以及构建一个或多个乳房表面模型以表示所确定的部分。在图15中示出的示例中,前表面、胸壁表面和背表面的乳房表面模型是从3d模型生成的。在步骤1540,这些模型(也称为乳房子模型)可以用于生成乳房体积模型。乳房体积模型可以包括四面体,并且可以被认为是四面体的容器。

乳房体积模型的每个四面体可以由多个四个顶点(例如四个顶点)以及四面体的其它属性定义。顶点中的每一个可以由三维空间中的位置(例如,x、y和z坐标)定义。当执行模拟时,乳房体积模型的每个四面体可以被表示为存储在存储器中的对象(例如,变量或数据结构)。所述对象可能具有包含定义四面体的四个顶点的属性的集合。每个四面体的每个顶点本身可以是存储在存储器中的对象,所述对象具有包含顶点在三维空间中的位置的属性的集合。顶点的对象也可以具有附加属性,诸如指示顶点是否“固定”的属性。下文中稍后将讨论“固定”的属性。

在步骤1543,可以通过施加反向重力来对乳房体积模型去应力。这个过程可以根据本文讨论的方法来执行,并且可以导致对无重力状态的估计。例如,确定反向重力模型可以包含利用一个或多个预定的组织弹性模量来模拟反向重力的效果,所述一个或多个预定的组织弹性模量可以是特定于患者的和/或从聚集的参考数据中获得的,例如,诸如对身体相似的多个受试者平均化的组织弹性数据。在本文中的一些示例中,可以将反向重力模型与受试者在扫描期间使用的一个或多个基准位置(例如,俯卧、仰卧和/或直立位置)的三维图像数据进行比较。

在步骤1546,可以例如从obj文件导入植入物的3d模型。

附加地,在步骤1550,还生成表示乳房植入物的四面体模型,称为植入物体积模型。可以基于例如乳房植入物的选定特性来生成植入物体积模型。此类特征可以包含大小、形状、表面纹理、凝胶弹性、凝胶流变性和/或外壳弹性。前面段落中针对乳房体积模型讨论的数据结构也可以用于植入物体积模型。也就是说,四面体和每个四面体的每个顶点可以由具有属性的相应对象来表示。

乳房体积模型和植入物体积模型可以各自是以上讨论的形式的四面体模型。也就是说,一般而言,本文所讨论的模拟方法可以应用于在各种条件下模拟乳房体积模型和植入物体积模型。特别地,当经受表示乳房植入物的插入的条件时,本文所述的模拟技术可以用于通过计算乳房体积模型和植入物体积模型的平衡状态来对乳房植入物的放置进行建模。

使用乳房体积模型和植入物体积模型,可以模拟植入物的插入和放置。这个模拟过程可以包含通过将植入物推靠在胸壁表面(的模型表示)上来定位植入物(的模型表示)(例如,图15中的步骤1553);将背表面中的四面体标记为“固定的”(例如,图1中的步骤1556);将植入物体积模型距离分成参数化数量的步长(例如,图15中的步骤1560),以及背离植入物体积模型以所计算的步长大小的距离移动四面体(例如,图15中的操作1563)。

在图15的步骤1553中,可以以这样的方式定位植入物体积,即植入物体积模型的尖端(或面)触摸乳房体积模型的背表面(背面)。

步骤1556可以包含穿过乳房体积模型的所有四面体的至少一部分或所有顶点,并找到(标识)符合乳房背表面的那些顶点。当定义胸壁表面时,可以创建符合乳房的后表面的顶点;因此,这些顶点可以与允许它们的标识的属性相关联,或者可以是乳房体积模型中包含的顶点的列表的一部分。一旦符合乳房的后表面的顶点被标识,它们可以被设置为“固定的”。例如,表示顶点的对象可以被设置为具有指示固定顶点的属性(例如,将属性“isfixed”设置为值“是”)。当顶点是“固定的”时,顶点的位置在四面体松弛期间可能不会更新。四面体松弛可以涉及更新四面体顶点的位置一定量。

当植入物体积模型在适当位置时,植入物体积模型可能倾向于向前移动。随着植入物体积模型移动,它可能会推动移动中的乳房体积模型的四面体。推动可能表指示将四面体移动到已经被其它四面体占据的位置。这个推动过程可以在多次迭代中进行模拟。在这个推动过程期间,在步骤1556中固定的乳房体积模型的顶点可以保持在相同的位置(即,它们的位置不变)。因此,其位置改变的乳房体积模型的四面体可以在步骤1556中不固定的乳房体积模型的四面体中。

如上所述,如步骤1563、1566、1570和1573所示,可以在多次迭代中模拟推动过程。对于迭代模拟,如步骤1560所示,可以将植入物体积模型的距离分成参数化数量的步长。也就是说,植入物体积模型的距离可以被分成多个较小的距离,这些距离是步长的大小。例如,这些较小的距离可以是相同的距离(例如,步长大小是恒定的)。与每一步相关联的距离是在四面体松弛过程的每次迭代中推动乳房体积模型的四面体的距离。

在步骤1563中,对于四面体松弛关系的每次迭代,乳房体积模型的四面体可以背离植入物体积模型以步长大小的距离移动。四面体的“移动”可以呈现更新正被移动的四面体顶点的位置(例如,x,y,z坐标)的形式。

在步骤1566,可以执行四面体松弛。四面体弛豫可以使用图16中示出并且如本文别处所讨论的过程来执行。

当四面体松弛已经达到最终迭代时,可以触发模拟完成事件,如步骤1576所示。在步骤1580,可以使用来自乳房模型的四面体的新位置来更新三角形表面模型。在步骤1583,3d模型可以进一步利用经更新的三角形表面模型进行更新。如图15所示,四面体松弛由此导出模拟乳房植入物的存在的人体躯干的经修改的3d模型。经修改的3d模型可以被存储和/或显示在屏幕或其它显示器上。

所述方法可以包含变量,诸如:重力组织松弛因子、组织弹性、皮肤弹性、胸壁不对称性、外科手术过程、植入物尺寸和/或植入物位置。这些变量可以在方法的不同步骤或状态期间被应用或结合到方法的算法中。

与一个乳房(或周围组织)相关联的过程也可以对另一乳房(或周围组织)执行。例如,乳房体积模型的生成可以执行两次(每个乳房一次),使得可以创建两个植入物体积模型(每个乳房一个)并分别模拟它们的放置。因此,在图15中示出的过程结束时生成的修改的3d模型可以模拟两个植入物的存在。

现在将描述图16的四面体松弛技术。在步骤1605,可以确定第一四面体。在步骤1610,可以计算移动四面体所需的能量。在步骤1615,可以使用梯度来确定将能量降低到最小的方向。在步骤1620,四面体可以在所选择的方向上被松弛参数化的距离。在步骤1625,迭代计数器可以递增1。

如果没有达到可在步骤1630确定的最大迭代数量,则可以在步骤1635确定能量是否可以被最小化。如果能量可以被进一步最小化,则在步骤1640,可以确定模拟是否在能量容限阈值之上。如果在预定的能量容限阈值之上,则解决方案可以迭代回到步骤1620。如果已经达到最大迭代数量,或者能量没有进一步最小化,或者模拟没有在能量容限阈值之上,则算法可以前进到步骤1645。如果还没有到达最终的四面体,则在步骤1650,算法可以指向下一四面体,并且从步骤1610开始再次迭代这些步骤。因此,图16的四面体松弛步骤可以迭代,直到所有四面体都被解决并且可能地被松弛。

虽然图16示出了四面体松弛以模拟四面体背离植入物体积模型的运动,但是图16中示出和本文所述的四面体松弛过程可以用于模拟其它过程。例如,四面体关系过程可以用于模拟植入物体积模型和乳房体积模型彼此之间的效果。四面体弛豫过程可以反过来用于模拟移除植入物、放置具有较小体积的植入物或乳房缩小。

根据本公开的用于模拟植入物放置的方法,例如,图15和图16中示出的乳房植入物模拟的示例,可以由被配置为执行所述方法的一个或多个处理器来执行。一个或多个处理器可以耦合到或访问存储指令的存储器,这些指令在被一个或多个处理器运行时使得一个或多个处理器执行用于模拟乳房植入物的放置的方法。所述一个或多个处理器例如可以是或包含cpu、gpu和/或多个cpu和/或gpu。存储器可以包括非暂时性计算机可读存储介质。在一些实施例中,指令可以被存储在独立于任何处理器或计算机系统的非暂时性计算机可读存储介质上。

根据本公开的一些实施例,用于模拟医用植入物(例如,乳房植入物)的放置的方法可以通过wo2017/175055(其通过引用并入本文)中公开的医学成像系统来执行。例如,在上面的段落中讨论的一个或多个处理器可以是图1中示出的计算机系统90的一部分,并且可以与计算机系统90的其它部件或与在wo2017/175055中公开的成像系统结合操作。

注意,虽然图15和图16以流程图的形式示出了各种操作,但是操作的顺序不必局限于具体描述的顺序。进一步地,所述方法的其它示例可以包含比图15和图16中示出的操作更少或更多的操作。

图17公开了根据本文提出的技术处理图像以确定经修改的图像的示例性方法的流程图。在步骤1705,可以接收与受试者相关联的简档数据,所述简档数据包括对应于受试者的躯干的至少一部分的三维图像数据。在步骤1710,可以基于简档数据确定三维模型。在步骤1715,可以基于三维模型确定乳房体积模型,所述乳房体积模型包括多个四面体。在步骤1720,可以确定乳房体积模型的多个四面体中的每个四面体的参考四面体,每个参考四面体对应于具有零应变和零基准总势能的状态。在步骤1725,可以确定乳房体积模型的多个四面体中的每个四面体的弹性势能。在步骤1730,可以基于乳房体积模型的多个四面体中的每个四面体的弹性势能来确定乳房体积模型的总弹性势能。例如,弹性势能可以对应于由于每个四面体的应变矩阵而产生的能量。在步骤1735,可以通过最小化乳房体积模型的总弹性势能来确定乳房体积模型的静止平衡位置。在步骤1740,可以基于乳房体积模型的静止平衡位置来确定受试者的至少一个乳房的经修改的三维模型。

现在将讨论关于技术、软件和硬件实施例的附加注释。参照图1,计算机系统90(连同其相关联的软件)可以在扫描受试者时控制扫描仪10,对从扫描仪10接收的图像数据进行图像处理,和/或对所得图像进行模拟。在下面的描述中,虽然计算机系统90将被描述为执行这些和其它功能,但是如本领域技术人员将理解的,在计算机系统90的硬件部件(例如,微处理器等)上运行的软件算法实际上可以执行这些功能。进一步地,尽管图1中的计算机系统90被示为单个台式计算机,但这仅仅是示例性的。一般而言,计算机系统90可以包含任何类型的计算设备(例如,单板计算机、微控制器、通用计算机、个人计算机等),图18中示出了所述计算系统的示例。

图18是根据本公开的示例性实施例的用于运行方法的计算机系统的简化功能框图,所述计算机系统可以被配置为扫描仪10、控制器70、系统90和/或服务器97。具体而言,在一个实施例中,用户设备、服务器和/或交换机中的任何一个可以是硬件组件,例如系统1800,包含例如用于分组数据通信的数据通信接口1860。平台还可以包含呈一个或多个处理器形式的、用于运行程序指令的中央处理单元(“cpu”)1820。平台通常包含内部通信总线1810、程序存储装置和用于由平台处理和/或通信传送的各种数据文件的数据存储装置,诸如rom1830和ram1840,尽管系统1800通常通过网络通信接收程序和数据。系统1800还可以包括输入和输出端口1850以连接输入和输出设备(诸如键盘、鼠标、触摸屏、监控器、显示器等)。当然,各种系统功能可以在许多类似的平台上以分布式方式实施,以分配处理负载。替代性地,系统可以通过一个计算机硬件平台的适当编程来实现。

可以在计算机系统90中使用的计算设备的示例可以包含但不限于edison微控制器、arduino微控制器和下一代计算单元(nuc)。在一些实施例中,计算机系统90可以包含彼此呈有线或无线通信的多个电子设备(计算机、服务器、智能手机、平板电脑、个人数字助理(pda)等)。例如,在一些实施例中,计算机系统90可以包含与控制器70直接通信的计算机和通过互联网或其它已知通信网络95(lan、plan等)无线耦合到计算机的多个其它电子设备(服务器系统、存储数据库的存储系统、智能手机、pda等)。在一些实施例中,计算机系统90可以包含被配置成执行不同专门功能的多个计算设备。例如,这些多个设备可以包含配置为微控制器(所述微控制器控制扫描器10的传感器、致动器、马达和其它扫描相关系统)的第一计算机,以及控制系统的图像处理和管理(保存、编目、检索等)方面的第二计算机。第一计算机可以包含诸如模拟数字转换器(adc)和脉宽调制(pwm)部件的部件。在一些实施例中,第一计算机可以包含被配置为针对身体的不同部分(诸如例如,躯干等)优化扫描仪10的扫描能力的软件模块,并且第二计算机可以包含被配置为优化图像处理和数据管理能力的软件模块。第一计算机可以通过一个或多个通信端口与第二计算机(例如,pc)通信。在一些实施例中,第一计算机和第二计算机可以是分离的部件,而在其它实施例中,第一计算机和第二计算机可以是同一计算机系统的一部分。

计算机系统90可以包含使得用户(医生、技术人员等)能够向计算机系统90提供输入的相关联的输入设备(例如,键盘、鼠标、触摸屏等)。使用这些输入设备,用户可以将新受试者的相关信息(姓名、地址、身高、体重、尺寸和其它相关信息)输入到计算机系统90中。这个信息可以被存储在与计算机系统90(即,位于本地或远程)相关联的数据库中作为受试者的简档。受试者的简档可以包含标识受试者的任何信息(例如,受试者的名字、姓氏、出生日期)和扫描类型(例如,躯干扫描、面部扫描、其它扫描)。在一些实施例中,简档可以包含关于受试者病史的信息(例如,先前的医学手术过程、服用的药物等)和/或关于受试者可能具有的任何医疗植入物的信息。例如,受试者简档可以指示受试者是否具有任何乳房植入物或其它植入物或假体、每个植入物的类型及其位置、植入物制造商、制造日期、保修信息和/或每个植入物的序列号。附加地或替代性地,患者简档可以包含医学数据,诸如血压和存在或不存在任何过敏或其它医学状况。用户可以查看(并在需要时修改)存储在数据库中的简档。当扫描预先存在的受试者(即,已经为其创建了简档的受试者)时,用户可以从数据库中选择受试者的简档。

计算机系统90可以包括图像扫描例程(或扫描算法),这些图像扫描例程在被激活时将指令导向扫描仪10的部件(成像设备、手推车、led等)以进行扫描。这些扫描例程可以包含使用任何类型的计算机语言编写的软件模块。在一些实施例中,扫描例程可以包含一个或多个应用编程接口(api)。计算机系统90还可以包含被配置用于处理从扫描仪10接收的图像数据的软件算法或模块、被配置用于从图像提取期望特征(尺寸等)的计算模块、以及被配置为执行期望的模拟(在本文中进一步解释)的一个或多个模拟模块。这些软件模块中的每一个可以在显示设备92上生成使得用户能够向计算机系统90提供输入的一个或多个图形用户界面(gui)或窗口。虽然控制扫描、图像处理和模拟的软件模块被描述为包含在计算机系统90上,但是这仅仅是示例性的。在一些实施例中,这些模块中的一个或多个可以位于可由计算机系统90访问的远程(例如,在云服务器中、或在网络服务器97上)。控制器70可以充当计算机系统90和扫描仪10的部件之间的接口。例如,控制器70可以将计算机系统90和扫描仪10之间的信号转换成将被每个部件识别的形式。

在一些实施例中,控制器70可以基于来自扫描仪10的传感器(例如,传感器)的输入来控制成像设备的移动(在x、y和z轴上的平移和/或旋转)。控制器70可以被配置成同时或以串行方式控制成像设备的水平和垂直平移(和/或旋转)。例如,获得图像可以包含沿着成像设备的轨道(例如,wo2017/175055中的轨道32)移动手推车(例如,wo2017/175055中的手推车34),其中移动包含将手推车移动到轨道的第一端,并将手推车从第一端移动到第二端。将手推车移动到第一端的操作可以包含在一个或多个轴线上将一个或多个摄像机(例如,wo2017/175055中公开的摄像机)旋转大约5至45度之间的角度,或者大约30至45度之间的角度。

在一些实施例中,控制器70可以充当使得扫描仪10能够与不同类型的计算机系统90(例如,智能手机、服务器系统等)一起操作的标准化硬件部件。在一些实施例中,控制器70可以被定制以增强特定计算机系统90的能力(例如,增强edison的能力)。尽管计算机系统90和控制器70被描述和示出为分离的部件,但是这仅仅是示例性的。在一些实施例中,计算机系统90和控制器70两者的功能可以被集成到单个部件中。在一些实施例中,计算机系统90、控制器70和/或扫描仪10之间的通信可以通过串行通信链路(例如,使用pc操作系统中的通信(comm)端口)进行。这些串行通信可以从扫描仪api提供给计算机系统90,反之亦然。

虽然图中未示出,但是成像系统100可以包含被配置为向系统的部件(扫描仪10、控制器70、计算机系统90等)提供外部电力的一个或多个电源。可以使用能够提供足够的电流和电压来操作这些部件的任何类型的电源。电源可以与部件一体,或者可以是电耦合到部件的分离的零件。虽然不是必需的,但是在一些实施例中,外部24v电源可以耦合到控制器70的外围控制器,并且外部12v电源连接到所述控制器的马达控制器。在一些实施例中,这些外部电源可以被独立控制,使得它们不直接连接到控制器70。在一些方面,外部9v电源也可以连接到计算机系统。在一些实施例中,成像系统100的一些或所有部件(例如,扫描仪10、控制器70、计算机系统90等)也可以包含为这些部件提供电力的内部电源(例如,一个或多个电池)。例如,当外部电源不可用(例如停电等)或不稳定(例如电压波动等)时,可以使用内部电源。这种内部电源还可以有助于成像系统100在不同位置的运输和/或使用。

成像系统100可以被配置成使用扫描仪10执行任何类型的扫描(躯干扫描等)或者对受试者进行的扫描的组合。用户可以通过计算机系统90请求对受试者进行扫描。在一些实施例中,用户可以使用输入设备(例如,键盘、鼠标、触摸屏等)将扫描所需的参数手动输入到计算机系统90中(例如,输入到图形用户界面中),并启动扫描(例如,通过按键盘上的键、选择gui中的图标等)。在一些实施例中,各种定制的扫描例程(例如,面部扫描、躯干扫描等)可以被预编程到计算机系统90中,并且用户可以选择这些定制的扫描例程中的一个来扫描受试者。这些扫描例程可以规定扫描仪10在扫描受试者的同时使用的各种参数。

在扫描期间影响由成像设备捕获的图像的任何变量都可以是参数。这些参数包含例如wo2017/175055(其通过引用并入本文)中描述的参数。例如,参数可以包含影响所获得图像的质量的变量,诸如例如颜色、纹理、地标、深度、扫描类型、扫描区域(宽度、高度、深度)等。这些参数还可以包含成像设备在扫描期间的轨迹(例如,x、y、z平移等)、扫描速度的设置(例如,x、y、z平移的速度等)、led的设置(要打开哪些led、何时打开led、光的波长等)、照相机的设置等。在一些扫描应用中,受试者的目标区域的单个扫描可能足以生成合适的图像,而在其它应用中,对于合适的图像可能需要多次扫描。因此,在一些实施例中,扫描例程还可以定义对特定区域进行扫描的数量,以及用于在图像处理中使用的变量(例如,用于将从多次扫描获得的数据组合成单个图像文件)。

在本文的一些示例中,成像系统可以与转台结合使用。例如,转台可以用于旋转受试者,使得扫描仪能够生成受试者的360°图像。转台可以被提供以便受试者就座。也就是说,座位可以放置在转台上,以允许受试者旋转360°。附加地或替代性地,成像系统可以是便携式的,例如,使得操作者可以在受试者周围移动成像系统或其部件(诸如成像系统的扫描仪或扫描仪的成像部件),以获得受试者的360°图像。在这样的示例中,轨道可以省略。

(扫描仪10的)成像设备可以获取被定位在扫描仪10前面的受试者的实时图像,并将所述图像显示在计算机系统90的显示设备92上。用户可以在获取图像之前使用这个实时图像来调整扫描仪10的前面的受试者的位置。在一些实施例中,计算机系统90可以包含帮助用户正确定位受试者的特征。例如,诸如线、网格或“其它指示符”的增强现实特征可以与受试者的实时图像一起呈现在显示器上,以帮助用户正确定位受试者。这些指示符在显示设备92上的位置可以基于对受试者的参考解剖特征的计算。例如,基于受试者简档中的信息(高度、特征的大小等),可以计算对应于相关身体特征(例如,用于躯干扫描的胸骨切迹等)的指示符的位置,并在显示设备92上对其进行标识。使用所显示的指示符作为指南,用户可以调整成像设备/扫描仪10(或成像设备/扫描仪10前面的受试者)的位置,使得指示符被定位在受试者的图像上的正确位置处。

计算机系统90可以包含用户可以从其中进行选择的任意数量的定制扫描例程。例如,在一些实施例中,可以在计算机系统90中提供定制的软件模块(ax3)。ax3软件模块可以被配置为执行扫描(例如,激活和控制扫描仪以从扫描仪获得图像),并对所得到的图像执行图像处理和模拟。例如,ax3软件模块可以控制执行扫描例程以捕获3d图像的扫描仪api(子例程)。在一些实施例中,3d图像可以包含每个图像三个文件。ax3模块可以将一个图像的3个文件转换为单个文件。在一些实施例中,ax3模块可以执行剖析tbs(组织行为系统),其中诸如皮肤弹性、肌肉和腺体组织属性的属性被分配给图像的部分和所计算的结果。在一些实施例中,ax3模块还可以使得用户能够从一个或多个制造商的植入物的目录(例如,motiva植入物目录)中选择期望的植入物(植入物目录选择)、执行模拟、实现自动解剖测量,使患者能够在计算机系统90的显示设备92上查看分析的结果(所扫描的图像和/或在身体上植入所选择的植入物的预期结果)。

在一些实施例中,可用的扫描例程以使得用户能够选择一个以便应用于受试者的方式呈现在显示设备92上。所选择的扫描例程可以用于对受试者成像而不进行修改,或者用户可以在启动扫描之前修改与所选择的扫描例程相关联的参数。在一些实施例中,计算机系统90可以具有用于不同的扫描例程的不同api。例如,计算机系统90的显示设备92可以列出可用的扫描例程(例如,躯干扫描、面部扫描、全身扫描等),并允许用户选择所期望的扫描例程。然后,计算机系统90可以运行与所选择的扫描例程相关联的api。

虽然本文的附图和公开内容描述了系统、组件、植入物和方法的几个示例性配置,但是本领域普通技术人员将理解,许多其它配置和方法的变化是可能的,并且可以适合于给定的植入物、患者、手术过程或应用,例如基于植入物大小、形状、取向和患者体内的预期位置。本文中的设备、系统和方法的示例旨在是示例性的,而不是全面的。本领域的普通技术人员还将理解,在本公开中也设想了对本文中的所公开的设备、系统和方法的一些变化。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1