本发明大体上涉及计算机化的医学模拟，更具体地，涉及用于医学培训目的的虚拟现实和/或增强现实模拟装置和系统。
背景技术：
虚拟现实/增强现实医学模拟
医学成像在多种医学应用中越来越多地用于诊断/检查和治疗目的，所述医学应用例如用于手术的内窥镜检查、或用于体外受精(ivf)的胚胎移植过程等各种妇科和/或产科应用的超声成像。这些新技术可能需要专门的培训，以便内科医生和外科医生除了医疗实践中可能遇到的多种患者解剖用常规医疗仪器和程序以外，还掌握成像系统所需的间接手眼协调能力以及成像工具的操作。计算机化的医疗程序培训模拟器可以使内科医生和受训者在手术室中的实际操作前在虚拟现实环境中培养和改进他们的实践能力。
高级医疗程序模拟器可以虚拟现实(“vr”)和/或混合或增强现实(“ar”)模拟装置为基础，通过该装置，医生可以试验医疗程序场景。vr/ar系统可以根据医生的手势和动作来计算和显示解剖结构的视觉vr/ar模型，以提供各种反馈，诸如视觉反馈。在vr系统中，可以模拟整个图像以向用户显示，在ar系统中，可以将模拟图像与实际图像重叠或以其他方式合并从而显示给用户。可以选择具有不同病理的各种患者模型。因此，可以在压缩的时间段内为用户模拟执业医生多年来遇到的多种自然变型以达到培训的目的。可以记录和排练医疗模拟程序以达到评估的目的。vr/ar模拟系统还可以计算和提供各种评估和统计数据。
vr/ar模拟系统，诸如美国专利8992230中描述的vr/ar模拟系统，包括真实尺寸的一套器官的人体解剖模型。vr/ar模拟系统还可以包括医疗仪器以更真实地模拟医疗程序。该模型还适用于跟踪解剖模型和医疗仪器的位置和/或取向的传感器。如us8992230所述，还可以使用校准单元来自动设置vr/ar模拟系统并将其与多种解剖模型和医疗程序培训场景对准，而不需要在每次新模型适配于系统时都进行繁琐的手动校准程序。
被动反馈vr/ar模拟系统，诸如例如美国专利8992230中描述的被动反馈vr/ar模拟系统，也可以用于各种医疗程序培训场景，其中一些场景可能导致受训者接触的解剖模型表面与vr/ar模拟系统计算并呈现在屏幕上的虚拟环境表面不匹配。为了进一步改善被动触觉体验并增加这种医学培训场景中的真实感，vr/ar模拟系统可进一步适用于美国专利申请us20140071165中描述的空间扭曲(spacewarping)方法和系统。
超声成像模拟
大多数现有技术中的超声模拟方案都是基于例如许多商业超声培训模拟器medsim(http://www.medsim.com/)、echocom(http://www.echocom.de)以及medcom/sonofit(http://www.sonofit.de)等所使用的插补超声模拟开发的。这些现有技术中的模拟器针对每种病例使用一组收集的2d图像，该2d图像在离线“病例生成”阶段重构为每个病例的3d体，而在如何生成3d体及其相应图形模型的各个方法之间存在细微差异。例如，droraiger和danielcohen-or在“实时超声成像模拟(real-timeultrasoundimagingsimulation)”，实时成像(real-timeimaging)，4(4)：263-274，1998中描述了使用可变形配准(deformableregistration)技术从较小的扫频扫描生成大的3d体。在“用于二维超声心动描记术培训的增强现实模拟器(augmentedrealitysimulatorfortrainingintwo-dimensionalechocardiography)”，计算机和生物医学研究(computersandbiomedicalresearch)，33：11-22,2000中，m.weidenbach、c.wick、s.pieper、k.j.quast、t.fox、g.grunst和d.a.redel提出将记录的患者特定体与通用的3d解剖心脏模型配准，其由此称之为增强培训。所有上述方法均向用户呈现了用于解剖的不可变形模型。换句话说，虽然图像可能会随着传感器在某些模拟器中的位置/取向而变化，但这些图像并不会根据受训者与人体模型或虚拟模型的互动而改变，这会对模拟真实性产生负面影响。
可变形的交互超声模拟
与不可变形的方案相比，可变形的交互超声模拟可以产生更好的模拟器真实感，并由此使受训者更加投入。在“可变形3d介质中的b超成像模拟(b-modeultrasoundimagesimulationindeformable3-dmedium)”，ieeetransmedicalimaging，28(11)：1657-69，nov2009中，o.goksel和s.e.salcudean引入第一插补模拟器，其通过使用用于待模拟图像像素的快速映射技术允许从变形的模拟组织坐标变形到记录的标称体积坐标系。此方法将输入(重构的)3d体与交互的、体积组织变形模型结合，例如有限元法，并已进一步应用于orcungoksel，kirillsapchuk和septimiue.salcudean，“用模拟针头和探针相互作用触觉模拟前列腺近距离放射治疗(hapticsimulatorforprostatebrachytherapywithsimulatedneedleandprobeinteraction)”，ieeetranshaptics，4(3)：188-198，may2011发表的前列腺近距离放射治疗模拟中。其也已经应用于orcungoksel，kirillsapchuk，williamjamesmorris和septimiue.salcudean，“用模拟超声和透视成像培训前列腺近距离放射治疗(prostatebrachytherapytrainingwithsimulatedultrasoundandfluoroscopyimages)”，ieeetransbiomedicalengineering，60(4)：n2002–12，apr2013发表的通过透视成像的经直肠超声培训应用中。
但是，后面goksel等人的方法为简单起见仅使用虚拟患者模型。在被动触觉vr/ar医学模拟器中，生理解剖模型(人体模型)进一步与医疗工具或仪器一起使用，以尽可能逼真地模拟医疗程序培训。例如，在图1所示的现有技术胚胎移植ivf医疗程序状态下，可以使用诸如超声探针130、窥器120以及胚胎移植导管112等工具。正如http://www.advancedfertility.com/ivf-embryo-transfer-catheter.htm等所描述的，首先使用较硬的外部护套(导管引导件)来引导柔软的柔性内胚胎移植导管112通过宫颈管到达子宫腔100中的合适位置。一旦处于正确的位置，将胚胎115载入移植导管112，通过胚胎移植注射器110将胚胎115推进到子宫腔100中。整个过程都需要姿态非常小心，因为任何错位或对子宫的创伤都可能导致ivf失败，这对患者而言是非常昂贵且耗时的过程。ivf胚胎移植程序通过腹部超声探针130在超声成像监督下进行。用户通过将腹部超声传感器130按压在腹部皮肤上并将其定位和定向来对其进行操纵以优化超声成像采集。超声凝胶或胶冻用于促进超声传播以及操作超声传感器与患者皮肤接触。一般而言，适度充盈的膀胱140对于更好的超声成像质量是可取的，其将随着探针在上述患者皮肤上的压缩而或多或少地变形。窥器工具120通常由金属制成，因此成为超声波的屏障，这也导致特定伪影进入超声图像中。
如本领域技术人员所知晓的，为了确保实际的虚拟-实体二元性，模拟这种复杂超声程序可能会引起某些具体问题，例如，只有当超声探针物理接触解剖模型时，图像才会出现，而且仅从接触的曲面发出。超声图像的变形及其皮肤(高度压缩)、膀胱(中等压缩)和子宫、窥器和导管(无压缩)等组成部分需要与用户对超声探针的操作同步，使得后者的相互作用尽可能保持真实。
在“软组织变形的患者特异性交互式超声图像模拟(patient-specificinteractiveultrasoundimagesimulationwithsoft-tissuedeformation)”，phd论文，加州大学洛杉矶分校(universityofcalifornialosangeles)，2013中，k.petrinec提出调整市场上可买到的超声模拟器(www.sonosim.com)以进一步基于goksel的方法模拟软组织与超声探针接触时的变形。在这种模拟器中，只使用3-dof运动跟踪器跟踪超声探针取向，也就是说，假设探针位于人体模型上的给定三维静态位置，并且系统不跟踪其平移运动。
最近，如us20150154890中所述，sonosim通过添加平移传感器作为可应用于活体或解剖模型上的贴片并结合电子标签，进一步引入用于该模拟器的5-dof跟踪方案，从而可进一步跟踪曲面上的探针平移。从被动触觉的角度来看，这种方案的一个主要缺点为与真正的超声程序相比，在操作探针时缺乏真实感，这是因为根据其使用说明书(http://sonosim.com/support/)，没有超声凝胶可以与该探针一起使用。特别是，当用户不得不推动探针来压紧皮肤并获得更好的超声图像时，刚性塑料虚拟探针尖端在解剖模型表面上的摩擦显著增加。在使用超声凝胶或胶冻来改善超声采集的实际程序中，这种摩擦要低得多，但通常，由于其清洁所需的总开销，不期望在培训设置中使用任何液体或凝胶。
因此，需要更好的超声模拟装置、方法和系统，其使得多种超声培训程序便利，而无需昂贵的硬件设置和繁琐的配准和校准程序。
技术实现要素：
本公开的目的为提供一种用于在显示器上呈现解剖模型的超声图像的超声模拟方法，所述方法包括：
利用至少一个解剖模型传感器获取解剖模型的位置和/或取向；
利用至少一个探针复制品传感器获取超声成像探针复制品的位置和/或取向，所述超声成像探针复制品与至少一个解剖模型表面以低摩擦相互作用，所述解剖模型由于超声成像探针复制品对解剖模型表面的压力而变形；
将vr/ar模型与解剖模型和超声成像探针复制品的跟踪位置和取向对准；
根据解剖模型和超声成像探针复制品的跟踪位置和取向，通过经重构的标准3d超声体采样插补2d超声切片。
插补2d超声切片还可以包括：在解剖模型表面变形之前，测量变形深度作为超声成像探针复制品表面位置与初始解剖模型表面位置之间的距离；以及根据变形深度，通过经重构的标准3d超声体采样插补2d超声切片。插补2d超声切片也还可以包括：识别将要经重构的标准3d超声体采样的至少一个解剖元素，识别解剖元素的变形特性，以及根据变形深度和解剖元素的变形特性，通过经重构的标准3d超声体采样在2d超声切片中插补解剖元素区域。
超声模拟方法还可以包括以下步骤：根据解剖模型和工具的跟踪位置和取向，计算未在重构的3d超声体中表示的另外的vr/ar模型元件的超声模拟图像；将2d超声切片和超声模拟图像混合成混合的超声图像；将混合的超声图像呈现在显示器上。超声模拟方法也可以包括以下步骤：根据解剖模型和超声探针复制品的跟踪位置和取向，计算渐暗的模拟超声图像，并且将渐暗的模拟超声图像呈现在显示器上。
附图说明
图1示出了现有技术中已知的ivf胚胎移植程序。
图2示出了适于模拟ivf胚胎移植程序的超声模拟器。
图3示出了对应于在ivf胚胎移植医疗实践中可能遇到的一些解剖形状的四种宫颈和子宫解剖模型。
图4示出了适于提供逼真的被动触觉反馈而无需在解剖模型上使用超声凝胶的示例性超声模拟探针的工程视图。
图5示出了针对ivf胚胎移植程序培训而呈现的超声模拟的第一屏幕截图。
图6示出了针对ivf胚胎移植程序培训而呈现的超声模拟的第二屏幕截图。
图7示出了根据可能的不同实施例的超声模拟方法的流程图。
图8示出了可能实施例的某些实验结果，其中针对由超声探针的(a)；低b)中；c)高)压力在解剖模型表面上产生的3种不同的表面压缩水平分别呈现不同的超声图像。
图9示出了腹部超声模拟的屏幕截图，其中在可能的超声截图边界处，超声探针复制品向左或向右倾斜。
图10示出了针对超声探针复制品在解剖模型表面上的各种压缩水平而呈现的腹部超声模拟的屏幕截图。
具体实施方式
如图1所示，现参照ivf胚胎移植程序的示例性医学模拟对柔性超声模拟装置、方法和系统的实施例进行更详细地描述。根据本发明实施例，图2示出了超声模拟器系统的局部示意图，其包括数据处理单元200、显示屏210以及解剖模型220。为了便于说明，在图2中示出了女性人体解剖结构的骨盆模型220，但也可以使用其它模型。模型的实例可以在例如limbs&things，bristol，uk的专业解剖模型供应商的目录中找到。有些模型可以代表人体解剖结构。其它模型可以代表例如用于兽医培训的动物解剖结构。
解剖模型220可以由塑料或任何其它合适的材料制成。优选地，解剖模型220由诸如柔性塑料等的柔性材料制成，使得其可以在压力下变形。
在某些实施例中，解剖模型220或解剖模型的部分可以与对应于不同模拟患者特征或病理的另一种类似解剖模型互换。例如，在ivf胚胎移植培训模拟器中，宫颈管模型(直的、弯的、具有内陷的(withatrap)......)和子宫类型(轴向的、前倾的、后倾的……)的各种组合可用于模拟或多或少具有挑战性的患者骨盆器官解剖结构的变化。图3示出了四种不同的子宫颈模型：a)伴有轴向子宫的基本宫颈病例，b)在前倾子宫中向下偏转40度的宫颈入口，c)伴有轴向子宫的弯的s形宫颈，以及d)伴有20度前倾子宫的内陷宫颈(trapcervix)。
在某些实施例中，可通过使用制造单元在培训室中制造解剖模型220或解剖模型的部分，例如ob/gyn培训应用中的宫颈管和/或子宫。这种制造单元的实例对于快速原型领域的技术人员而言是公知的；其可以增材制造(例如3d打印)或减材制造(例如cnc铣削)为基础。
在某些实施例中，解剖模型也可以根据特定的患者解剖结构制造。在新兴医学应用中使用的制造单元的实例例如在popescu，a.t.；stan，o.；miclea，l.，“3d打印医学成像数据所提取的骨模型(3dprintingbonemodelsextractedfrommedicalimagingdata)”，2014ieee国际自动化、质量和测试会议(ieeeinternationalconferenceonautomation,qualityandtesting)，机器人学(robotics)，vol.，no.,pp.1,5,22-24may2014中有所描述。患者特定的解剖模型也可以包括特定的患者病理。可以制造患者特定的解剖模型并与解剖模型220互换。患者特定的解剖模型可以使内科医生和受训者在实际执行医疗程序之前在虚拟现实环境中培养和改进他们的实践能力。此外，为了支持具有超声成像的其它医疗程序，可以将患者特定的解剖模型与解剖模型220例如膀胱、子宫、上躯干、下躯干或关节模型等互换。在某些实施例中，患者特定的模型可以包括解剖模型220的部分。患者特定的模型可以由制造单元制造。在某些实施例中，患者特定的模型可以利用增材制造(例如3d印刷)或减材制造(例如cnc铣削)来创建。
数据处理单元200可以包括例如一个或多个中央处理单元(“cpu”)、存储器模块、控制模块和/或通信模块。其它实施例可以包括具有硬件和软件元件的其他配置和组合的数据处理单元200。可使用分布式数据处理单元。在某些实施例中，数据处理200的通信模块可连接到制造单元。在某些实施例中，数据处理单元和制造单元可组合在单个单元中。数据处理单元200中的某些或全部组件可用于估算可对应于选择的医疗程序培训场景的vr/ar模拟模型并将其显示在显示屏210。也可以使用多个显示屏。显示屏210可包括在模拟练习过程中为内科医生提供界面的触摸界面。在其它实施例中(未示出)，模拟器匣(simulatorcart)还可包括照相机。
在图2中，解剖模型220可包括至少一个位置和取向传感器(未示出)。如us8992230中所述，所述位置和取向传感器可与至少一个校准单元相关联。例如，可以使用六个自由度(“6dof”)的小型磁性跟踪传感器。其它实施例也可以，例如，可使用光学跟踪或运动跟踪。解剖模型220可通过usb连线、其它标准的有线或无线连接件或其它的通信连线等连接件而连接到数据处理单元200。数据处理单元200可从解剖模型220接收传感器信息，并可根据传感器的测量结果来计算虚拟的解剖模型220的位置和取向。数据处理单元200可使用计算出的模型220的位置和取向来生成视觉模型并将该视觉模型显示在显示屏210上。如us8992230中所述，通过将从至少一个解剖模型传感器接收到的绝对的传感器的测量结果与从校准单元得到的预先估算的校准数据进行组合，数据处理单元200可估算vr/ar模型的位置和取向，其中校准单元与用于模拟的vr/ar模型的所述传感器相关联。
如本领域技术人员所知晓的，基于对解剖模型实际位置和/或取向的假设，vr/ar模型可与解剖模型3d对准。解剖模型传感器可附接到解剖模型，使得可以通过vr/ar模拟器导出与3d空间中的解剖模型匹配的vr/ar模型的绝对位置和取向。
诸如内窥镜模拟器、关节镜模拟器以及超声成像模拟器等的医学成像vr/ar模拟器还可包括成像探针复制品，其在由受训者操纵的同时与解剖模型进行实时相互作用。成像探针复制品传感器可附接到探针复制品，使得成像探针的位置和/或取向可由vr/ar模拟器导出。根据获取的解剖模型传感器位置和/或取向以及获取的成像探针传感器位置和/或取向，vr/ar模拟器可相应地插补将要在vr/ar模拟器屏幕上呈现的vr/ar模型的图像，后者的成像探针位置和/或取向限定了相对于解剖模型的深度和视野。
图2进一步示出了可用于模拟超声成像截图的超声探针230的复制品。为了便于说明，在ivf胚胎移植模拟的情况下，图2的超声探针复制品230复制凸起的腹部超声传感器的形状。在例如用于内部超声检查的经阴道或经直肠探针等其它超声培训程序中，可复制其它探针。复制品可能不需要为超声探针的精确复制品，但其可给出类似于真实探针的真实触觉反馈。超声探针复制品230可由受训者操纵并与解剖模型表面接触。如在真实成像程序中那样，受训者还可用超声探针复制品230推压解剖模型220表面，并且解剖模型220表面可相应地变形。如us8992230中所述，超声探针复制品230可适于包括至少一个位置和取向传感器，其可能与校准单元相关联。数据处理单元200可从超声探针复制品230接收传感器信息，并可分别根据模型传感器测量结果和探针复制品传感器测量结果来计算vr/ar模型位置和取向。
图2进一步示出了附加到解剖模型220的医疗工具240。为了便于说明，在ivf胚胎移植模拟的情况下，图2的医疗工具240为可通过解剖模型的外阴口插入到骨盆模型220中的窥器。也可使用其他工具，例如胚胎移植导管、胚胎移植注射器、持钩、hegra扩张器......。医疗工具240可为适用于各种医疗程序的标准医疗工具，例如可用于妇科或外科手术的持钩工具。如us8992230中所述，在某些实施例中，该工具可适于包括至少一个位置和取向传感器以及与位置和取向传感器相关联的一个校准单元。在其它实施例中，该工具的位置和取向可从模拟器系统中的另一元件的位置和取向导出，所述另一元件例如无任何剩余自由度地、机械地绑定有所述工具的内部元件；例如，在宫内节育器插入过程中用于稳定宫颈和子宫的持钩一旦将其稳定通常就会绑定于宫颈位置和取向。因此，在模拟器系统的某些实施例中，解剖模型的一部分(例如宫颈)，而非工具(例如持钩)，可适于包括至少一个位置和取向传感器以及与位置和取向传感器相关联的一个校准单元，如us8992230中针对股骨或胫骨部位所描述的。其他实施例也可以使vr/ar超声模拟器适用于各种医疗实践、解剖模型和工具。
数据处理单元200可分别从解剖模型220、探针复制品230和工具240中接收传感器信息。因此，数据处理单元200可分别根据解剖模型传感器测量结果、探针复制品传感器测量结果和工具传感器测量结果来计算vr/ar模型位置和取向。
在可能的实施例中，超声探针复制品230的尖端可机械地适于包括滚压件235例如滚球，所述滚压件235可在超声探针复制品230的尖端与解剖模型220表面相互作用时模拟更逼真的低摩擦运动。图4示出了滚球235可能的机械实施例的工程视图，其中，滚球235减小了超声探针复制品230在解剖模型220表面上针对不同平移和旋转运动产生的摩擦。除滚球之外的其它实施例也是可以的，例如，可在超声探针复制品230的尖端235处或在解剖模型220表面上使用的低摩擦材料。
数据处理单元200可使用计算出的vr/ar模型位置和取向来生成视觉模型并将该视觉模型显示在显示屏210上。如本领域技术人员所知晓的，vr/ar模型与解剖模型220、超声探针复制品230或医疗工具240的位置和取向的初始对准可能也需要校准。us8992230中所描述的用于内窥镜模拟系统的方法和系统可用于校准vr/ar超声模拟系统。
在超声模拟系统中，超声图像也需要尽可能逼真地呈现。数据处理单元200可使用计算出的vr/ar模型位置和取向来识别将要从重构的3d超声体或3d超声生成模型呈现的切片并将模拟的超声图像实时呈现到显示屏210上。
图5示出了在胚胎移植程序中由数据处理单元200在显示屏210上呈现的超声图像和vr/ar模型的屏幕截图。胚胎移植导管工具540呈现到左侧的超声图像以及右侧的vr/ar模型计算机图形表现上的子宫腔500中。如在真实的超声截图中一样，在超声图像中也可见适度充盈的膀胱520和腹部皮肤层510。
图6示出了在胚胎移植程序的下一步中由数据处理单元200在显示屏210上呈现的超声图像的屏幕截图和vr/ar模型，其中受训者将胚胎600从胚胎移植导管移植到子宫腔中。
在可能的实施例中，数据处理单元200可适于实施goksel等人提出的插补超声模拟方法，而通过将2d切片插补在由先前配准的超声图像记录(诸如mr或ct数据记录)重构的3d超声体中结合由于用户与超声模拟器系统的相互作用而产生的实时诱导变形来呈现逼真的超声图像。也可以使用其它方法，例如，超声模拟可使用除超声模拟领域的技术人员已知的插补超声模拟方法以外的、分割的、基于射线产生的超声模拟。多种不同的患者vr/ar模型也可用作多种超声实践培训场景的依据，例如以表示不同的病理。为了进一步改善被动的触觉体验并增加该多种医学培训场景的真实感，而无需设置太多不同的基础解剖模型，vr/ar超声模拟系统和方法可进一步适用于如美国专利申请us20140071165中所述的空间扭曲方法和系统。
对于本领域技术人员将显而易见的是，与现有技术的模拟器设置相比，探针复制品230与解剖模型220表面之间低摩擦的相互作用对于逼真的成像呈现方法提出了特定挑战。事实上，当用户以与解剖模型220表面低摩擦的相互作用来操纵探针复制品230时，探针复制品很可能会覆盖宽泛的区域，可能超出所记录的超声体图像。特别地，解剖模型220表面可以如在真实检查中那样真实地变形，导致由模拟探针230产生的不同程度的腹部压缩，由此需要尽可能逼真地模拟不同的结果图像。所提出的模拟器系统可能不再依赖成像截屏位置和取向的相对静态位置。
图7示出了提出的vr/ar超声模拟方法的总体流程图，该方法包括以下步骤：
·获取例如解剖模型部件、超声探针复制品以及与超声程序培训相关的任何医疗工具等vr/ar模拟器元件的位置和取向；
·将vr/ar模型与vr/ar模拟器元件的跟踪位置和取向对准；
·生成与vr/ar模型匹配的超声图像；
·将超声图像和vr/ar模型的计算机图形表现呈现在显示屏上。
在可能的实施例中，生成超声图像的步骤包括：
·根据vr/ar模拟器元件的跟踪位置和取向，通过经重构的标准3d超声体采样插补2d超声切片；
·根据vr/ar模拟器元件的跟踪位置和方向，生成例如未在重构的3d超声体中表示的窥器和导管工具等另外的静态vr/ar模型元件的超声模拟图像，这些元件不会随着超声探针复制品的压缩而变形；
·将2d超声切片和超声模拟图像混合成模拟超声图像。
在可能的实施例中，静态vr/ar模型元件的超声模拟图像可表示为用于匹配的vr/ar模拟器元件的不同跟踪位置和取向值的2d叠加。在替代实施例中，可针对静态vr/ar模型元件预先记录3d模型，可基于匹配的vr/ar模拟器元件的跟踪位置和取向从3d模型导出超声模拟图像。
在某些实施例中，可根据由于超声探针复制品230的终端用户对解剖模型220表面的压力导致的解剖模型220的变形(解剖模型表面压缩)来调整2d超声切片的插补。
在可能的实施例中，数据处理单元200可另外应用以下步骤：
·在与vr/ar模拟器元件的实际位置和取向对准的vr/ar模型中，测量变形深度作为超声复制品探针230的网格与解剖模型表面220的外部网格(在初始静态位置，与解剖模型表面对应，即没有施加任何变形的外部网格)之间的距离；
·根据变形深度，通过经重构的标准3d超声体采样插补2d超声切片。
在又一可能的实施例中，插补2d超声切片可包括：识别将要经重构的标准3d超声体采样的至少一个解剖元素，识别解剖元素的变形特性，以及根据变形深度和解剖元素的变形特性，通过经重构的标准3d超声体采样在2d超声切片中插补解剖元素区域。图8示出了某些实验结果，其中根据变形深度以及将要在2d超声切片中插补的解剖元素的预定义的刚度特性，针对由超声探针复制品230在解剖模型220表面上的(a)低；b)中；c)高)压缩产生的3种不同的表面压缩水平分别呈现不同的超声图像。通过比较屏幕截图a)、b)、c)可以看出，在超声探针复制品230压缩在解剖模型220表面上的压力下，腹部皮肤510层适度地变形(刚度适中)，适度充盈的膀胱520变形很多(刚度低)，而子宫腔(刚度高)没有显著变形。对于本领域技术人员来说显而易见的是，根据不同解剖元素(如图8中的皮肤、膀胱和子宫元素)的深度来建模组织压缩是较为正式的如有限元法(fem)等物理模拟方法的低复杂度替代方案，由此对场景设置的复杂性和模拟器性能产生了积极作用，同时保持了高水平的真实感。
在可能的实施例中，针对附加的vr/ar模型元件的超声模拟叠加图像建模步骤考虑了vr/ar模型的物理特性，例如诸如窥器240等金属工具可以在超声图像中根据其相对于超声探针复制品230的位置投射一些屏蔽阴影530。
在某些实施例中，受训者可在解剖模型220的曲表面之上平移超声探针复制品的位置，将超声探针复制品提升而不与解剖模型220表面接触，和/或将超声探针复制品取向从真实的视野区域倾斜。因此超声图像视野可适于依靠超声探针复制品相对于模型的实际位置和取向以进行更逼真的超声培训体验。在又一可能的实施例中，超声图像可根据超声探针复制品的实际倾斜或者当达到3d体数据边缘时渐暗，如图9a)(右倾斜)和b)(左倾斜)所示。渐暗可能在于逐步用黑色图像或用与典型的超声成像噪声对应的噪声图像替换了超声图像。可如图8a)上可见的那样相应地调整工具遮光罩的设置。图10)还示出了当模拟腹部超声截图时，三种不同的用户与解剖模型220表面上的超声复制品探针230的相互作用所呈现出的渐暗：a)探针与解剖模型表面简单接触，没有任何压力或变形，这在医疗实践中阻止了良好的超声截图，因此得到非常暗和/或模糊的图像；b)探针在解剖模型表面上的压力很小，这对图像有轻微改善；c)探针在解剖模型表面上的压力正常，这如在腹部超声实践中预期的那样会产生令人满意的超声图像。
在某些实施例中，医疗工具240由金属等材料制成，其成为超声波的屏障。因此，根据超声探针复制品相对于工具的实际位置和取向，工具屏障在超声图像上相应地投射其阴影。在又一可能的实施例(未示出)中，工具，例如窥器，在培训程序中也可以由用户移动。由于具有位置和取向传感器的超声探针复制品、解剖模型和工具的准确跟踪，模拟系统和方法可准确地检测实际的模拟器配置并相应地调整其呈现形式。
本文公开的方法和系统可进一步适用于多种其他的超声培训场景中。例如，解剖模型220表面可通过另外的与另一工具或用户的手的用户相互作用(例如用另一只手按压腹部)而进一步变形。解剖模型也可通过呼吸而进一步变形。尽管本公开主要描述了诸如在胚胎移植程序中应用的腹部超声检查，但也可以模拟其他的超声检查程序，例如常规妇科实践中的经阴道超声检查。
对于医学超声成像领域的技术人员来说显而易见的是，已配准的超声体的视野(fov)受限可能将3d超声数据的使用限制在对器官和结构小部分或仅有的部分进行成像。现有技术中fov受限的模型不允许自由探索完整的解剖结构，而自由探索完整的解剖结构对之后诊断患者可能很重要。例如，在许多obgyn超声成像模拟场景中，基础体需要覆盖例如整个腹部以提供用于培训终端用户的逼真设置。可通过将几个小的超声体拼接到一个大的、可作为单个参照超声体来进行预先估算并记录的超声体来实现扩展fov。或者，可以将几个3d超声体附接到某些解剖模型元素(例如obgyn检查模拟中的子宫颈)的跟踪位置和取向以覆盖比每个超声体单独覆盖更宽的视野，通过经变形的组合超声体采样可插补2d超声切片。
在某些超声应用中，变形也可能由心脏跳动或消化道的肌肉运动引起。尽管在本公开中已经描述了基于压缩深度测量结果和解剖元素的预定义的刚度的简单变形模型，但也可以使用各种替代的变形模型，例如goksel等人所提出的有限元法(fem)。
虽然为了便于对本公开进行更好的说明，已经在本文中将用于ivf胚胎移植程序的vr/ar超声模拟器作为实施例进行了详细的描述，但所提出的方法和系统可以概括为任何类型的超声模拟。
虽然为了便于对本公开进行更好的说明，已经在本文中将被动触觉vr/ar超声模拟器作为实施例进行了详细的描述，但所提出的方法和系统可概括为任何类型的硬件模拟器设置。尤其是，可使用各种位置和取向的跟踪装置，诸如磁性或光学跟踪系统或这些系统的组合。也可以使用各种校准程序。主动触觉硬件也可以集成到vr/ar超声模拟器中。
虽然为了便于对本公开进行更好的说明，已经将利用从重构的3d超声体中插补的vr/ar超声模拟方法作为实施例进行了详细的描述，但所提出的方法和系统可概括为任何类型的超声成像模拟。尤其是，基于生成射线的模拟系统和方法也可以用于超声图像建模。
虽然已经对ivf胚胎移植模拟器的各种实施方式进行了描述，但应该理解的是，其已经通过实施例而非限制的方式进行了介绍。对相关领域的技术人员将显而易见的是，所提出的方法和系统可以概括为任何类型的超声模拟。在不脱离本发明的精神和范围的情况下，可以对其进行各种形式和细节上的改变。实际上，在阅读了以上描述之后，对相关领域的技术人员将显而易见的是如何实施替代的实施方式。因此，本发明的实施方式不应被任何上述实施例的限制。
另外，还应该理解的是，任何突出显示功能和优点的附图为仅出于示例性目的而进行的介绍。所公开的方法和系统每一种都足够灵活且可配置，从而其可以通过所示出的方式以外的方式进行利用。
虽然在说明书、权利要求书以及说明书附图中经常使用术语“至少一个”，但是“一个”、“该”、“所述”等术语在说明书、权利要求书以及说明书附图中也表示“至少一个”或“所述至少一个”。
最后，申请人的意图为，只有包含明确的用语“用于......的装置”或“用于......的步骤”的声明才能根据35u.s.c.112，第6段进行解释。没有明确包括短语“用于......的装置”或“用于......的步骤”的声明不应根据35u.s.c.112，第6段进行解释。