用于现实交互式超声模拟的射线追踪方法与流程
本文描述的方法一般涉及超声图像模拟，并且更具体地涉及例如在医学领域中用于超声练习训练模拟目的的虚拟现实超声图像建模。
背景技术：
医学成像模拟器
超声波的应用既需要在操纵成像设备方面的高水平专业知识又需要在分析和解释作为结果的图像方面的高水平专业知识，例如在医疗领域中用于进行准确的诊断和干预指导。因此，学习这种模式的正确执行需要对超声专家进行长时间的训练。
为了便于医学学生和医生的培训，可以使用先进的医疗程序模拟器，诸如在美国专利8’992’230中描述的模拟器。这样的模拟器可以基于虚拟现实(“vr”)和/或混合或增强现实(“ar”)模拟装置，医师可以通过该装置在医疗过程场景中进行实验。vr/ar系统可以根据医师的手势和动作来计算和显示解剖结构的视觉vr/ar模型，以提供各种反馈，诸如视觉反馈。在vr系统中，可以模拟整个图像来显示给用户，并且在ar系统中，可以将模拟图像与实际图像重叠或以其它方式与实际图像结合以显示给用户。可以选择具有不同病理的各种患者模型。因此，为了训练的目的可以在压缩的时间段内为用户模拟由练习医疗人员多年来遇到的自然变化。
超声成像模拟
已经基于插值超声模拟开发了早期的超声模拟技术方案，诸如，例如在“b-modeultrasoundimagesimulationindeformable3-dmedium”，ieeetransmedicalimaging，28(11):1657-69，2009年11月[goksel2009]中所描述的、由o.goksel和s.e.salcudean开发的方法。插值方法通常可以生成现实的图像，但只能在没有方向性图像伪像(artifact)并且对于来自有限视野的图像的情况下生成。如某些超声应用(诸如腹部超声)所要求的，为了处理不同的视野并更好地模拟某些伪像，需要其它方法。
生成式模拟
生成式(generative)模拟(诸如基于波的或基于射线的超声模拟)通过实时地使用分析和数值技术方案的组合，旨在模拟将通过变换器(transducer)位置/方位进行配准的超声信号。但是，模拟所有可能的超声组织相互作用现象仍然是未解决的理论问题。例如，超声纹理(散斑)是主要由亚波长粒子(诸如细胞核、其它细胞器等)散射的超声波的相长干涉和相消干涉的结果。但是，没有已知方法可以以具有细胞结构的这样细微细节来观察到足够大的组织区域(对于ob/gyn超声检查，40-150mm)。
超声变换器由若干(例如，128个或512个)压电元件组成，这些压电元件可以通过电和振动之间的转换来发送和接收超声波(us)。然后，发送的压力波(超声波)与具有不同声阻抗的解剖结构相互作用，其中任何反射信号再次被相同的元件数字化，以用于生成底层组织的图像。us与组织的相互作用以两种不同的方式发生：
·一方面，比us波长(≈300欧姆)小得多的结构吸收us能量，并且全方位地重新发射(散射)它作为点源，诸如细胞核、大蛋白质等。这种干涉模式确实是超声波的典型噪声纹理(被称为散斑)的来源。
·另一方面，阻抗差异的任何宏观界面都会导致us波在其入射角处被反射和折射。因此，us可以以类似于光的方式既呈现波状特性又呈现射线状特性。虽然可以在整个域中例如使用有限差分方法模拟波特性，但是由于主要超声能量集中在某个方向上，因此其波前也可以被建模为组织中的射线传播。
用于模拟us与亚波长粒子的相互作用的常见模型是假设组织填充有许多(但可数数量的)散射体。这些散射体可以具有变化的散射振幅，并且充当入射超声信号的球形散射源。t.varslot在varslott.，taraldaeng.：“computersimulationofforwardwavepropagationinsofttissue”，ieeetransactionsonultrasonics,ferroelectrics,andfrequencycontrol52,9(2005年9月)，1473-1482或在varslott.，“forwardpropagationofacousticpressurepulsesin3dsoftbiologicaltissue”，modeling,identificationandcontrol(2006)中开发了现有技术的性能优化，并且karamalisa.等人在“fastultrasoundimagesimulationusingthewesterveltequation”，proceedingsofmiccai(2010)，第243-250页中开发了gpu加速，但这种超声的波模拟仍然不够快，无法实时处理临床超声的复杂性。这种波模拟的计算复杂性限制了它们用于如在例如用于变换器设计和图像处理算法开发和验证的具体应用中所使用的离线模拟。但是，在训练模拟器的背景下，这些方法不适用，因为以交互速率生成us图像是必要的并且因此是高度感兴趣的。全波模型的可行近似是用于超声散斑的卷积模型，其中通过将散射体与该位置处的入射超声能量的点扩散函数(psf)卷积来获得超声的接收强度。假设psf在3个轴上可分离并且离散网格近似，那么散射体的快速可分离卷积被证明在现代gpu上交互地模拟散斑(gaoh.等人在“afastconvolution-basedmethodologytosimulate2-d/3-dcardiacultrasoundimages”，ieeetransactionsonultrasonics，ferroelectrics，andfrequencycontrol56,2(2009年2月)，404-409[gcc*09])。
但是，基于散射体的方法固有地并未考虑在大规模结构之间的界面处的超声波束的反射和失真，诸如声学阴影、重影和多次反射之类的伪像源。这些确实是病理鉴别诊断的重要线索，因此应成为现实模拟的一部分。在超声波束成形中，非相干(异相)超声波消除了彼此的贡献，从而产生聚焦的超声波束。因此，可以通过计算机图形学中已知的射线追踪技术很好地捕获波束形成的超声与如骨骼或器官表面的宏观结构的相互作用。因此，现有技术方法将用于波状干涉的可分离卷积与快速基于表面的射线追踪相结合，特别是利用专用的基于gpu的网格表示的渲染框架(诸如nvidiaoptix)，如例如由bennybürger、saschabettinghausen、matthiasradle和jürgenhesser在“real-timegpu-basedultrasoundsimulationusingdeformablemeshmodels”，ieeetransactionsonmedicalimaging，32(3)：609-618,2013[bbrh13]中和salehi等人在“patient-specific3dultrasoundsimulationbasedonconvolutionalray-tracingandappearanceoptimization”，proceedingsofmiccai(2015)，pp.510-518[sap*15]中所描述的。这些现有技术的基于表面的射线追踪方法利用递归射线追踪方案：每当射线终止于表面时，根据斯涅尔(snell)定律在二叉树结构中投射新的折射射线和新的反射射线，直到射线的贡献小于阈值为止。这种确定性方案假设大规模结构表现得像具有无限锐利反射和折射的完美镜子。这对于数字体模(phantom)和人造组织模仿材料可能适用；但是，在实际的解剖结构中，完美的反射和折射这种情况从来就不存在，因此这些方法通常产生与实际患者超声不能相比的人造玩具样图像。例如，最先进的方法[bbrh13，sap*15]仅在本地评估漫反射项(类似于计算机图形学中的镜面反射)，但没有考虑非镜面间接贡献，因此遭受“硬”阴影、锐利反射和过于清晰(crisp)的结构边界-在真实的us成像中不典型。[sap*15]进一步尝试通过后处理步骤来解决这些问题，以使图像在视觉上更接近预期；但是，这并不涉及错误的初始假设的主要问题，并且只能部分地改善真实性，同时需要额外的后处理而牺牲整体计算效率并且具有复杂性。
我们还观察到，对于来自粗糙(不完美)表面的反射，必须考虑来自许多方向的贡献。在确定性射线追踪的框架中，有可能在父射线的每个交叉点处投射多条射线，以便整合它们各自的贡献。这些确定性射线追踪方法的一个主要限制是更深的递归水平需要对指数增长的数量的射线求和，尽管这些射线对最终图像的贡献越来越少。因此，这些算法很快变得计算效率低下。此外，这种方法表现出差的并行性，因为后续级别上的多条射线依赖于单亲射线。在七十年代后期引入的这种确定性方法长期以来被证明不如用于自然场景的随机技术，诸如蒙特卡罗(monte-carlo)路径追踪方法。但是，令人惊讶的是，为了超声图像模拟的目的，尚未在文献中研究随机技术。最近，蒙特卡罗技术已被用于医学超声的其它用途，诸如koskelaj.等人的“stochasticraytracingforsimulationofhighintensityfocalultrasoundtherapy”，thejournaloftheacousticalsocietyofus136，3(2014)，1430-1440[kvdg*14]中的聚焦超声治疗，其中它们已证明优异的性能和内在的并行性。但是，后一申请的目的不是仿真超声机器的图像形成过程，并且由于治疗超声频率不能用于图像生成，因此这些方法不能直接用于模拟射频或b-模式图像。特别地，在用于超声模拟的现有技术工作中尚未研究生成具有针对不同解剖学组件特性的适当反射和折射的现实超声图像的具体问题。
因此，需要改进的射线追踪方法和系统来建模和计算(漫射)多个反射，该方法和系统可以在gpu体系架构上并行化，以促进实时、现实的交互式超声成像模拟。
技术实现要素：
本说明书的目的涉及一种用于利用处理器渲染模拟超声图像的计算机实现的方法，该方法包括：
-对于在几何交叉点pt0处击中3d解剖模型上的几何表面的传入射线，识别至少一个可变表面参数作为基础解剖对象组织的特性，以将表面表征为部分漫射表面；
-利用随机射线追踪方法计算从作为可变表面参数的函数分布的多个交叉点pt的多个射线追踪路径；
-通过组合来自计算出的多个射线追踪路径的一个或多个贡献来渲染超声图像。
根据所提出的方法实施例，射线追踪器单元可以适于计算多个射线追踪路径反射和折射。射线追踪器单元可以是适用于例如医学超声训练应用的超声成像模拟系统的一部分。
现在将在下面的部分中进一步详细描述不同的可能实施例。
附图说明
图1表示根据本公开的一些实施例的射线追踪器单元。
图2比较了分别根据a)现有技术的确定性射线追踪方法和b)现有技术的随机射线追踪方法的射线追踪路径。
图3图示了根据本公开的若干实施例的不同表面模型参数。
图4图示了体内(in-vivo)妊娠超声模拟的示例性应用中的可能的分层模型。
图5示出了根据本公开的可能的其它实施例的可能的分层超声b-模式图像采集方案。
图6示出了比较所提出的随机射线追踪方法与现有技术确定性射线追踪方法的计算效率的实验测量。
图7示出了胚胎模型a)根据现有技术的确定性射线追踪模拟图像，b)根据所提出的方法的蒙特卡罗射线追踪模拟图像，以及c)可比较的实际体内超声图像，d)用于模拟超声图像真实性的主观评估。
图8示出了有限表面厚度参数对模拟超声图像的真实性的影响。
图9示出了表面粗糙度分布模型对球形物体以及高回波后部区域的亮度的影响。
图10示出了根据所提出的蒙特卡罗射线追踪方法的另一个实施例的大规模散斑变化对妊娠场景的模拟超声图像的影响。
图11图示了重叠网格的两个具体情况以及通过处理组织优先级更好地解决这些具体情况的可能的另一个实施例的结果。
具体实施方式
超声成像模拟系统
图1表示超声成像模拟系统，其包括与3d模型105相关的射线追踪器单元100，3d模型105包括多种解剖对象和表征超声体积模型105中的解剖对象的不同超声组织特性的表面模型参数115。射线追踪器单元100可以包括至少一个中央处理单元(“cpu”)电路、至少一个存储器、控制模块和通信模块，以重建与超声体积模型的不同视图对应的模拟超声图像135。在可能的实施例中，射线追踪器单元可以是超声模拟系统(未示出)中的渲染单元的一部分，并且模拟超声图像可以被实时地显示在超声模拟系统(未示出)的屏幕上。这种示例性超声系统例如在于2016年10月14日提交的专利申请wo2017064249“ultrasoundsimulationmethods”中描述，但是对于医学训练模拟领域的技术人员来说清晰的是其它实施例也是可能的。在另一个可能的实施例中，射线追踪器单元可以是离线超声成像系统中的渲染单元的一部分，该超声成像系统可以用于针对各种场景预先计算样本超声图像并将它们配准到超声图像库135中，超声图像库135然后可以由插值超声模拟系统使用。
射线追踪器单元100可以适于处理多种解剖对象表面模型115，因为取决于要解决的超声模拟场景的多样性，可能需要不同数量的统计参数化和操作。
在可能的实施例中，射线追踪器单元100也可以连接到如可以由散射体发生器准备的散射体库125，散射体发生器是诸如在于2016年7月25日提交的pct专利申请wo2017017051“methodandapparatusforgeneratinganultrasoundscattererrepresentation”中描述的散射体发生器，但其它实施例也是可能的。
随机表面射线追踪方法
在本公开的可能实施例中，所提出的射线追踪器单元100可以通过考虑用于模拟波束形成的超声信号的可变表面模型115、通过为击中部分漫射表面的每个模拟传入射线计算组织边界之间的随机射线段来采用作为表面下组织层的特性115的函数的改进的随机表面射线追踪方法。对于现有技术的射线追踪的确定性方法，由传入射线1产生的所得射线段的示例在图2a)中示为段11、110、111、1110和1111。如对于计算机图形领域的技术人员来说清晰的是，对于现有技术的射线追踪的随机方法，可以为类似的几何形状生成多得多的独特段，如图2b中所示。多个射线路径必须被计算、被采样(例如利用射线行进)，并且它们的贡献必须被组合以计算总体强度和渲染最终图像。
超声3d模型105可以被表示为例如由在[bbrh13]中的可变形三角形网格表示的3d对象的集合，但是不同的实施例也是可能的。在超声成像模拟的背景下，每个3d解剖对象可以具有一个或多个不同的解剖组织特性，这导致射线追踪方法的不同行为。3d模型105中的每个对象可以由3d网格表示，并且每个网格表面可以与作为可变参数115的基础超声组织特性相关联，这些特性然后可以由射线追踪器单元100使用以更高效和现实地计算各个射线段贡献以生成模拟超声图像135。
如计算机图形领域的技术人员将理解的，组织属性可以与每个3d对象全局相关联并因此应用于3d对象105的所有表面，或者，取决于对象的具体特性，组织属性可以分别与3d对象体积105内用于更细粒度的不同体素相关联，例如，由不同材料形成的骨头、囊肿或医疗工具可以表现出不同的全局和局部超声回波特性。注意的是，在整个本公开中，我们对待模拟的各种对象无差别地采用术语“组织”，但是该术语实际上可以包括不同的材料，而不仅仅是有机软组织或硬组织。
在常规的超声成像设置中，通过在若干元件处记录超声回波然后将这些信号组合(波束成形)为作为时间t的函数的超声信号强度i的单个读数来创建射频(rf)信号。因此，i表示沿着波束形成的rf线的组织内容，通常在变换器元件的前面对齐。如超声信号处理领域的技术人员已知的，根据斯涅尔定律，超声信号经历与其在两个组织之间的界面处的阻抗比成比例的失真(例如，反射或折射)，其与射线追踪背景下的射线-表面交叉巧合。在本公开的优选实施例中，提出了一种新的表面模型115，其使用由传入射线击中的每个几何表面的可变参数(射线-表面交叉)，使得失真不是确定性的，而是受到随机扰动。
如果跟随不同路径的回波在同一时间t到达变换器，则它们的部分贡献产生干涉，从而累加到在该rf线处接收到的强度。类似地，如果超声信号在射线-表面交集之后在若干方向上分散，则它们各自的部分贡献加起来为该rf线的回波读数。特别地，当要计算在时间t＞t的点pt处的表面交叉之后在rf线原点o处接收到的us信号振幅i(t，o)时，以表面法线为中心来自表面半球ω的所有方向ω的部分贡献可以被整合为(式1)：
it＞t(t，o)＝∫ωi(t，pt，ω)cos(ω)dω
其中i(t，pt，ω)表示源自射线表面交叉点pt的方向ω的回波贡献。在另一个交叉点pt′处，每个射线路径可以再次分裂，即(式2)：
it＞t′(t，pt，ω)＝∫ω′i(t，pt′，ω′)cos(ω′)dω′
计算在时间t＞t’时原点o处的回波干涉需要求解形式的积分的高维递归(式3)：
it＞t′(t，o)＝∫ω∫ω′i(t，pt′，ω′)cos(ω′)dω′cos(ω)dω
积分的维数与遇到的表面交叉的数量成正比。在实践中，式1可以被离散化为(式4)：
其中每个单独的贡献i(ri(pt，ωi))是通过在有限数量的n个方向ωi上从表面交叉点pt追踪射线ri来计算的，其可以从所有可能的半球方向上的分布中得出。
如对于计算机图形领域的技术人员来说清晰的，现有技术的确定性算法不适合于数值求解这种高维积分，同时还导致关于递归次数的指数运行时间。因此，在优选实施例中，随机算法(诸如基于蒙特卡罗统计方法的随机算法)可以用于将多维积分减少为易处理的采样问题。在后一种方法中，如图2b)所示，与图2a)中所示的现有技术确定性二进制射线追踪方法相比，射线追踪器单元100可以生成许多根据概率分布被扰动的随机射线路径，直到它们收敛到正确的解。通过这种随机射线追踪方法，那么利用gpu的并行性是直截了当的，以允许更高效地实现射线追踪器单元100，因为每个单个射线路径可以单独地且并行地处理。因此，可以在gpu上并行处理多得多的射线，从而最大化吞吐量并且产生更好质量的所得超声模拟图像。
表面模型
如图3a)所示的先前工作使用无限薄的、镜面的、确定性的表面模型。沿着方向v的每个传入入射射线在击中点pt处与表面相互作用，从而产生沿着方向vr的一个反射射线和沿着方向vi继续其穿过表面的路径的一个折射射线。这些模型没有考虑从其可以投射多个反射和多个折射射线的部分漫射表面。因此，现有技术模型导致在超声模拟应用中的所得重建射线追踪图像缺乏真实性。因此需要更好的表面建模方法。
·表面厚度
首先，我们意识到所提出的随机射线追踪方法还允许模拟变化的表面“厚度”，即，射线在击中组织表面之后可以穿透它的模糊过渡区域。为此，反射/折射射线路径的模拟起始点pt可以沿着如图3b)上所示的表面厚度分布。在可能的实施例中，高斯分布可以用于将可变表面厚度建模为沿着表面厚度的击中点pt位置的变化，但是也可以使用其它分布。对于在位置pt0处以归一化方向
其中q是正态分布随机变量，并且h是特定于组织的厚度参数。
如图3b)上所示，对于3d解剖模型中的每个对象，作为表征基础组织特性的表面厚度参数值的函数，击中表面的传入射线可以产生从所得到的分布式交叉点开始的不同的出射射线路径(而不是如现有技术方法中的单个可预测的一对反射/折射路径)。
在如图3b)上所示的可能的实施例中，偏移τ可以是正偏移，因此交叉点分布在几何表面交叉点pt0下方，但是其它实施例也是可能的，例如(未示出)交叉点可以分布在几何表面交叉点pt0的下方和上方。
·表面粗糙度
作为优于现有技术表面模型的另一种可能的改进，我们已经发现，取决于实际的表面粗糙度特性，可以应用重要性采样来计算交叉点处的表面积分。可以在从-180°到+180°的范围内的角度分布随机地对扰动法线进行采样。在实际场景中，扰动法线以实际几何表面法线
如图3c)所示，对于3d解剖模型中的每个对象，作为表征基础组织特性的表面粗糙度的函数，击中表面的传入射线可以基于所得到的分布式交叉点(而不是如现有技术方法中的单个可预测的一对反射/折射路径)而采用不同的路径。
·射线衰减
在另一个可能的实施例中，每个穿透射线可以根据特定于组织特性的衰减参数α进一步衰减。在可能的实施例中，组织中的衰减超声强度可以使用比尔-朗伯(beer-lambert)定律，对于在组织中行进的距离l和特定于组织的吸收系数α值计算为ie-|l|α。例如，骨骼具有非常高的衰减参数α，因此超声波在强度急剧下降之前只能穿透少量，从而导致超声图像中骨骼反射的典型外观。
·重要性采样
是否要在交叉点处生成反射或折射射线也可以使用重要性采样来确定。生成反射(折射)射线的概率可以由计算出的反射(折射)强度jr(ji)直接给出，因为由于能量守恒，两个项必须加起来为1。使用随机决策变量x，如果x<jr，则可以生成反射射线，而否则的话可能生成折射射线。这确保了反射射线与折射射线的比率与反射(折射)强度成比例，因此每个单独射线对n条射线的总超声强度的贡献可以因此通过常数1/n进行简单地加权，即，每条单独的射线具有相同的权重。该方法不同于其中在每个交叉点处计算并跟随反射和折射射线两者的现有技术的确定性射线追踪方法。我们在实验中观察到重要性采样产生渲染积分计算的更快收敛，同时仅用少量蒙特卡罗样本就提供极好的超声物理近似。
·光束相干
由于波束成形引起的异相超声反射的消除是重要的超声特性，其具有非相干超声波束导致减小回波强度的破坏性干涉的效果。为了模拟这种效果，在可能的另外的实施例中，加权因子可以用于式4中沿着扰动射线路径r的每个点处的贡献。可以使用不同的加权函数。在可能的实施例中，我们用因子wr衰减路径贡献，该因子wr与表示中心光束方向，即，由斯涅尔定律给出的方向
其中p是r的原点，并且p'是沿着r的任意点，而c1是可以在[0.01...0.1]范围内选择的用户定义的全局常数，并且d是该点射线距离(式7)：
·入射us能源
在每个组织交叉pt处，然后可以使用类似于计算机图形领域的技术人员已知的phong阴影的局部照明模型来计算反射回变换器的us回波jlocal(式8)：
其中
微观散斑和组织特性的模拟
与现有技术多少有些低级的表面建模方法相比，所提出的考虑表面厚度和/或表面粗糙度和/或可能的路径加权的表面模型使得能够更好地模拟在大规模表面界面处的超声信号的定向反射。典型的超声散斑纹理通过行进超声波与组织中散射入射的超声功率的亚波长粒子的相互作用产生。在超声模拟中，观察到的反射超声波(rf信号)可以通过用(散射)点扩散函数(psf)卷积组织中的散射体来近似。在射线追踪框架中，散射体可以被表示为表征组织的3d纹理，使得它们可以由射线追踪器单元100通过以特定间隔采样射线(射线行进)来检索。在另一个可能的实施例中，可以通过对由于组织中的微小散射体引起的散射强度的附加贡献因子建模来进一步改进射线追踪器单元100，如图1中的散射体模型库125所表示的。在段的采样期间，可以一直沿着射线路径(即，沿着表面“厚度”区域以及更远的区域)使用散射体。
·卷积模型
在现有技术的超声散斑卷积模型中，散射强度r(l,a,e)是通过给定加性随机噪声ε将表示组织特性g(l,a,e)的函数与超声psfh(l,a,e)卷积而获得的，即，(式9)
r(l，a，e)＝g(l，a，e)*h(l，a，e)+ε
其中l表示横向，a表示轴向，并且e表示高程变换器轴。如pct专利申请wo2017017051“methodandapparatusforgeneratinganultrasoundscattererrepresentation”中所述，h(l,a,e)可以通过在fc的采集中心频率(通常在2到14mhz之间用于临床用途)处调制的高斯包络来近似。然后，它是(式10)的形式：
这是可分为横向、轴向和高程分量的函数。通过实现单独的1d卷积而不是单个3d卷积的并行计算，这极大地加速了卷积计算。
·散射体参数化
在可能的实施例中，散射体单元可以使用[bbrh13]的高效参数散射体模型和散射体建模以及可能的pct专利申请wo2017017051的psf自动估计方法，但是其它实施例也是可能的，例如psf可以是手动设置或通过在脱气水中成像亚波长合成特征(例如线)实验测量。对于每种组织类型，该参数散射体模型具有3个值来表征散射体的随机分布，其负责卷积之后特定的散斑外观：对(μs，σs)描述散射体振幅的正态分布，而ρ是所谓的散射体密度，其给出概率阈值，高于该概率阈值，散射体将提供图像贡献(即，将对该散射体执行卷积)。每个组织由这三个值表征，使用这三个值可以从每个点处的随机纹理变量生成散射体值。
如对于计算机图形领域的技术人员清晰的，计算出的射线追踪路径的交叉点之间的所有段然后可以从3d解剖模型中检索并且通过使用缩放的采样坐标作为(一个或多个)3d散射体纹理中的查找索引来对其进行采样。在可能的实施例中，为了应用具有低存储器占用空间和高运行时性能的该方法，我们遵循[bbrh13]的方法，其中随机高斯变量ξ与3d散射体纹理相关联地存储并且用于在射线行进期间进行查找。对于ξ(x，y，z)＞ρs，散射体值可以被定义为δ(x，y，z)＝μs+ξ(x，y，z)σs，否则δ(x，y，z)＝0。为了在保持散射体分辨率高的同时减少存储器需求，3d散射体纹理可以仅覆盖超声体积的一小部分并且被复制用于其余部分，例如它可以被设置为例如2563的易于管理的尺寸。其他实施例也是可能的，例如，可以使用pct专利申请wo2017017051中描述的方法自动生成散射体模型。
·多尺度散射体参数化
为了表示平滑的小到大尺度的散斑变化，参数散射体模型也可以使用存储在较低分辨率3d纹理中的一个或多个附加高斯变量
其中x，y，z是超声体积中的当前位置。如本领域技术人员将理解的，这种较低分辨率的变化可以使得能够编码可能未在较低分辨率组织几何形状中建模的小解剖细节。这种多尺度散射体表示也可以与不同的散射体建模方法一起使用。
交错体积模型
在医学超声模拟应用中，解剖学场景由参与复杂射线相互作用的若干组织层组成。例如，在图4a)中描绘了us平面中的组织层的近似分割。这个特定场景由七个交错层组成：子宫、胎盘、妊娠囊、羊膜囊、胚胎体、骨架、脑和内脏。每当当前射线与表面交叉时，必须从当前交叉点开始直到射线击中另一个表面边界为止，跟踪组织模型特征以及可能的在下一段中使用的散射体参数化。如对于射线追踪领域的技术人员来说清晰的，用于记录当前组织特性的可能实施例可以使用经典的射线追踪方法，诸如构造实体几何法(csg)。为了找到特定射线段正在其中行进的组织类型(以及因此用于超声散斑模拟的对应参数)，我们提出了基于堆栈的系统，其中堆栈表示先前遍历过的表面层的组织特性。在可能的实施例中，该射线追踪单元基于堆栈的系统可以基于三个简单的规则操作，如图4b)所示，但是其它实施例也是可能的：
·进入
当前射线是折射射线，并且该射线正在进入当前对象。在这种情况下，表面法线正面向与射线相反的方向；例如，参考图4b)，当射线从t1到t2击中边界时，表面法线正面向法线n2。组织t1的特性被推送到堆栈上。
·退出
当前射线是折射射线，并且该射线正在退出当前对象。在这种情况下，表面法线正面向与射线相同的方向；例如，参考图4b)，当射线从t2到t1击中边界时，表面法线正面向法线n2。组织t1的特性从堆栈中弹出。
·反弹
如果当前射线是反射射线，它仅从组织表面反弹，因此当前组织区域以及因此其特性保持不变。
为了避免由于数值误差引起的组织分类误差，如在常规的射线追踪应用中常见的，可以使用恒定的表面偏移δ＝10-4，以避免光泄漏或阴影伪像，但是其它实施例也是可能的。此外，交错的表面网格可以被约束为：不包含孔、具有一致的法线方位，并且不相互交叉或接触。最后，我们注意到，如对于本领域技术人员来说清晰的，所提出的分层模型可以无差别地应用于确定性或蒙特卡罗射线追踪模拟。
超声图像生成的应用
图5中描绘了2d超声模拟方案的实际图示。超声变换器400相对于3d解剖模型105定位。在所谓的变换器平面410中获取超声信号(图5a)。射线从k个变换器元件中的每一个开始并在组织内连续行进，从而产生沿着该扫描线的回波信号(图5b)。为了考虑可能导致不可忽略的平面外效应的有限变换器厚度，可以沿着变换器的高程(平面外)轴在若干采集层处对射线进行实例化，如图5c)中所绘出的，这一策略也用于先前的工作[bbrh13，sap15]中。为了初始化我们的蒙特卡罗射线追踪方案，k个射线路径按照正态分布源自每个扫描线/高程层的中心点，如图5d)所示。它们对变换器元件的强度贡献根据式4被积累。这种分层采样方案也避免了由于高程层的定期采样而导致的混叠效应。
为了找到沿着所有参与射线的散斑贡献并形成超声b-模式图像，我们使用以下步骤。首先，我们的表面射线追踪模型用于找到组织边界之间、对应于当前正在其中行进的组织的射线路径段。然后我们沿着射线段逐步行进，从而对在每个样本点周围的小体积中我们改进的组织模型的散射体贡献进行平均。结果被存储在3d网格g(l,a,e)中，包括n个横向扫描线，m个轴向采样点和l个高程层。g(l,a,e)中的每个轴向采样点对应于沿着射线段在时间ti＝1..m行进的距离。时间步长由要模拟的期望rf采样频率给出，其通常为大约20至100mhz，并且每个时间步长行进的距离由当前组织中的声速给出。g(l,a,e)的规则结构使得我们能够使用式9并行地运行用psfh(l,a,e)的快速可分离psf卷积。结果是r(l,a)，即，变换器平面中模拟的波束形成的us射频(rf)图像。模拟典型的临床成像系统，然后我们将此rf图像输入到后处理流水线(包络计算、时间增益补偿、对数压缩，以及如果正在模拟凸面变换器，则扫描转换为笛卡尔坐标)，这会产生在us机器上显示的最终灰度b-模式图像。
实验结果
我们的方法是用c++开发的，使用nvidiaoptix作为基于网格的射线追踪的框架，并且使用nvidiacudav7.0用于超声后处理(图像形成)流水线。所有实验均使用3gb的nvidiagtx780tigpu。各种模拟场景和时序比较的详细统计如图6中的表1和表2所示。
对于确定性射线追踪和蒙特卡罗射线追踪(mc)两者，为最多12个递归级别记录图6中表1中的时序。用于蒙特卡罗射线追踪的每个变换器元件/高程级别的射线的数量从5到40不等。对于每个元件5个高程级别，这意味着每个元件的25-200个射线投射，从而导致每帧192条扫描线的总共480-38400个射线路径。注意的是，对于更多数量的生成射线，每秒射线的吞吐量增加，从而表现出增加的并行性级别。虽然胚胎模型具有较少的三角形，但是胚胎模型与心脏模型相比较慢的渲染时间可归因于特别复杂的平面内和平面外超声相互作用。
图6中的表2描述了递归级别数量和渲染时间之间的关系。二进制射线追踪受这个因素的影响很大，这不出意料是由于算法复杂度对递归数量的指数依赖性。另一方面，蒙特卡罗射线追踪几乎不受影响。
图7示出了对于具有255k三角形的基于表面的胚胎模型105的妊娠的超声(us)模拟(图7a)，确定性二元射线追踪(图7b)与所提出的蒙特卡罗方法(图7c)的比较。胚胎被设计为解剖学上正确的3d表面模型，而妊娠囊、子宫和附近的骨骼从扫描的3d图像体积注释并输出为表面网格。图7d)中所示的实际体内超声图像是该扇形扫描体积的单个切片，在平面外方向上具有跨120度的总共215个切片。胚胎模型具有详细的解剖，诸如大脑、胃、眼睛和骨架。这证明有必要模拟实际胚胎的视觉丰富内容，这正如预期的那样，这是孕期检查期间实习生关注的焦点。
我们请专业超声波检查专家根据真实性以及根据与体内图像的感知相似性(忽略胚胎的不同年龄)对图7中的图像从1至7进行评分(7是非常现实的)。在这两方面的考虑中，专家将确定性射线追踪评为2分，并且在两方面的考虑中，将用我们的方法生成的图像评为6.5分，从而证实了我们提出的图像模拟方法的高真实性和临床可行性。专家指出，对于图7b)来说，妊娠和周围环境都不太现实，而在图7c)中，妊娠是非常现实的并且周围环境接近真实。这表明我们的蒙特卡罗射线追踪方法可以比现有技术工作更现实地再现超声成像的物理特性。
图8和图9分别展示了我们的具有有限厚度的表面模型和粗糙度表面模型的效果。在图8a)中，忽略厚度参数导致平坦且非现实的骨骼外观。增加有限厚度参数会影响骨骼的外观，对于较大的厚度值，骨骼的外观会变得更具塑性和有机性(图8b-d)。实现了厚骨骼段的现实衰减，因为我们的模型考虑了相对于射线在骨骼内部行进的穿透距离的正确衰减。
图9a)和9b)对应于完美的镜面表面，不同之处在于图9a)对应于现有技术的确定性射线追踪，其中完美的镜面表面是默认的(无表面模型)，而图9b)使用所提出的蒙特卡罗射线追踪方法的其它扩展(如有限厚度表面建模)，但仍然没有粗糙度。对于图9c)和图9d)的图像，被扫描对象的表面被设定为变得越来越粗糙。这导致更柔和的折射阴影和更模糊的对象边界。为了模拟特定组织，可以根据专门的实验或通过手动试错来凭经验设定表面粗糙度的适当值。
在图10)中，我们通过比较没有散斑变化的图像模拟(图10a)和具有散斑变化的图像模拟图10b)来证明具有散射体参数化模型的改进实施例对妊娠场景的影响。大尺度的变化给出了图像中缺少实际几何细节的部分中复杂性的错觉。在没有任何真正几何形状的情况下，可以在图像的右上部分最佳地观察到增加的视觉复杂性。此外，它为存在几何形状但不够详细的图像部分给出了更详细的外观。例如，当比较两个图像中子宫的外观(图像中心的亮带)时，可以看到这一点。虽然散斑变化不能完全取代实际几何形状的复杂性，但是在面对实际患者内部难以应对的复杂性时，它仍大大简化了建模者的任务。
其它实施例和应用
–稳健的体积组织模型
在到目前为止描述的模型中，对表面网格为非重叠的基础假设需要仔细建模，以避免对当前使用的组织的分类错误。此外，如对于计算机图形领域的技术人员来说清晰的，不允许交叉网格是对可以在实际应用中建模的场景类型的相当强的约束。例如，在医学应用中，具有不同超声组织特性的不同解剖学3d模型105可以分层布置，例如，胚胎的硬组织颅骨内的胚胎的软组织脑。在另一个实施例中，可以为不同的对象网格分配优先级以改进基于堆栈的体积渲染的稳健性。该机制可以自动校正由于来自连续层级的两个网格的表面交叉而可能发生的组织分类中的不清楚的情况。在可能的实施例中，优先级编号可以与每个组织的参数115相关联地存储，从而表示场景中对应对象的层级，即，对象嵌入的表面层的数量。例如，在妊娠超声模拟中，因为胚胎大脑位于颅骨内，因此胚胎大脑可能比骨架与更高的优先级相关联。可以通过检查优先级是弱排序和升序，并且≤当前渲染的组织的优先级，来识别未损坏的堆栈。通过检查当前组织的优先级i是否高于分配给交叉表面网格的组织的优先级j，基于当有疑问时总是更高优先级的组织优先的简单规则来避免错误情况。如对于计算机编程领域的技术人员来说清晰的，其它实施例也是可能的，例如可以使用降序而不是升序。
在射线进入交叉表面的情况下(图11b和图11d)，可以将当前渲染的组织推到堆栈上，并且可以将分配给交叉表面网格的组织设置为要渲染的下一个组织。但是，如果我们发现优先级pj<pi，那么我们可以交换组织的角色并首先渲染较高优先级的组织ti(从而维持正确的堆栈)。
在射线离开交叉表面的情况下(图11c和图11e)，当前组织可以用堆栈的顶部替换并且堆栈被弹出。再次，我们检查优先级是否为pj<pi，在这种情况下，可以容易地验证非交叉表面的假设已经被违反并且下一个组织不在堆栈上。替代地，当前(较高优先级)组织ti可以用于渲染下一段。
–计算优化-使用侦察(scout)射线的自适应采样
在不存在太多几何形状的区域中，或者在射线不会偏离原始路径太多的情况下，可能需要每个元件更少的射线以收敛到合理的视觉外观。因此，通过使用每个元件恒定数量的射线，许多射线被不必要地发射。替代地，对于每个渲染帧，我们首先射发射所谓的侦察射线以探测几何形状并在使用指定的射线数开始实际超声模拟之前找到每个扫描线/层的最佳射线路径数nopt以实现收敛。
每个扫描线/层位置元件首先发射单个侦察射线，其递归地一次穿透一个表面交叉。对于每个穿透表面，模拟该表面交叉所需的射线样本的数量ni可以被计算为影响会聚的因素的函数，例如与该表面交叉的射线路径将偏离直线轨迹以及表面厚度的程度。在可能的实施例中，可以使用5个单独项的组合(式12)，但是其它实施例也是可能的：
其中：
–h表示组织ti的厚度参数。
–s表征组织ti的光泽度，根据由斯涅尔定律定义的确定性射线路径对预期偏差进行建模。该因子乘以与预期反射强度成比例的项，其中z1和z2分别表征组织ti和ti-1的阻抗。
–c2，c3，c4和c5是用户定义的各个项的加权因子，其可以在[0..1]的范围内进行选择。[0..1]中的结果然后乘以表示可以为每个后续表面交叉添加的最大样本数的数字c6。在我们的应用中，我们根据经验将这些值固定为c2＝0.45，c3＝0.95，c4＝0.10，c5＝0.03，c6＝20，但其它值也是可能的。
然后可以将元件/层所需的射线路径nopt的总数计算为(式13)：
虽然上面的详细描述包含许多特征，但是这些不应该被解释为限制实施例的范围，而是仅仅提供若干实施例中的一些实施例的说明。
特别地，作为蒙特卡罗射线追踪技术的替代，射线追踪器单元100可以采用不同的随机射线追踪技术，例如，metropolis采样或双向路径追踪，如对于计算机图形学射线追踪领域的技术人员来说清晰的。
所提出的实施例已经通过实验示出，以从良好的表面模型和合适的组织参数化生成合理的超声图像，因为可以基于每个应用情况逐个(例如这里的妊娠模拟)容易地设置。但是，创建足够复杂的表面模型并找到这些组织参数可能意味着需要相当长时间的繁琐的手动任务并且对其它应用的大量微调。为了将所提出的实施例泛化为更多样化的表面和组织特性，还可以应用基于图像的技术来自动参数化各个组织或者用于在后处理阶段自动改善与目标图像的相似性。
虽然以上已经描述了各种实施例，但是应当理解的是，它们已经通过示例而非限制的方式呈现。对于相关领域的技术人员将清晰的是，在不脱离精神和范围的情况下文中可以进行形式和细节上的各种改变。实际上，在阅读以上描述之后，如何实现替代性实施例对于相关领域的技术人员将是清晰的。
如对于数字数据通信领域的技术人员将清晰的，本文描述的方法可以无差别地应用于各种数据结构，诸如数据文件或数据流。因此，在整个说明书中，术语“数据”、“数据结构”、“数据字段”、“文件”或“流”可以无差别地使用。
虽然以上详细描述包含许多特定细节，但是这些不应该被解释为限制实施例的范围，而是仅仅提供几个实施例中的一些实施例的图示。
此外，应该理解的是，突出显示功能和优点的任何附图仅是出于示例的目的呈现。所公开的方法足够灵活和可配置，使得它们可以以与所示出不同的方式被利用。
虽然在说明书、权利要求和附图中经常使用术语“至少一个”，但是术语“一”、“该”、“所述”等也在说明书、权利要求和附图中表示“至少一个”或“该至少一个”。
在整个说明书中，多个实例可以实现被描述为单个实例的组件、操作或结构。虽然一个或多个方法的独立操作被图示和描述为单独的操作，但是可以同时执行独立操作中的一个或多个，并且不要求以图示的顺序执行操作。在示例配置中作为单独组件呈现的结构和功能可以被实现为组合结构或组件。类似地，呈现为单个组件的结构和功能可以被实现为单独的组件。这些和其它变化、修改、添加和改进都落入本文主题的范围内。
本文将某些实施例描述为包括逻辑或多个组件、模块或机制。模块可以构成软件模块(例如，实现在机器可读介质上或者传输信号中的代码)或者硬件模块。“硬件模块”是能够执行某些操作的有形单元，并且可以以某种物理方式进行配置或布置。在各种示例实施例中，一个或多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件模块(例如，处理器或一组处理器)可以由软件(例如，应用或应用部分)配置为操作来执行如本文所述的某些操作的硬件模块。
在一些实施例中，硬件单元可以被机械地、电子地或其任何合适的组合来实现。例如，硬件单元可以包括被永久配置为执行某些操作的专用电路系统或逻辑。例如，硬件单元可以是专用处理器，诸如现场可编程门阵列(fpga)或asic。硬件模块还可以包括由软件临时配置以执行某些操作的可编程逻辑或电路系统。例如，硬件模块可以包括包含在通用处理器或其它可编程处理器内的软件。将认识到的是，可以由成本和时间考虑来驱动在专用和永久配置的电路系统中或者在临时配置的电路系统(例如，由软件配置)中机械地实现硬件模块的决定。
本文描述的示例方法的各种操作可以至少部分地由临时配置(例如，由软件)或永久配置为执行相关操作的一个或多个处理器执行。无论是临时配置还是永久配置，这样的处理器都可以构成操作来执行本文描述的一个或多个操作或功能的处理器实现的模块。如本文所使用的，“处理器实现的模块”是指使用一个或多个处理器实现的硬件模块。
类似地，本文描述的方法可以至少部分地由处理器实现，处理器是硬件的示例。例如，方法的操作中的至少一些操作可以由一个或多个处理器或处理器实现的模块来执行。
本文讨论的主题的一些部分可以根据对作为比特或二进制数字信号存储在机器存储器(例如，计算机存储器)内的数据的操作的算法或符号表示来呈现。这样的算法或符号表示是由数据处理领域的普通技术人员用来将其工作的本质传达给本领域其他技术人员的技术的示例。如本文所使用的，“算法”是导致期望结果的操作或类似处理的自一致的序列。在这种情况下，算法和操作涉及物理量的物理操纵。
虽然已经参考特定示例实施例描述了本发明主题的概述，但是在不脱离本发明的实施例的更宽泛的精神和范围的情况下，可以对这些实施例进行各种修改和改变。例如，本领域的普通技术人员可以将其各种实施例或特征进行混合和匹配或使实施例或特征成为可选的。在本文中可以仅仅是为了方便起见，单独地或共同地通过术语“发明”来引用本发明主题的这样的实施例，并且如果实际上公开了多于一个发明或发明性概念(实际上公开了多于一个发明或发明性概念)，那么术语“发明”不旨在将本申请的范围自愿地限制到任何单个发明或发明性概念。
本文图示的实施例据被认为足够详细地进行了描述，以使本领域技术人员能够实践所公开的教导。可以使用其它实施例并从其中导出，使得可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。因此，具体实施方式不应该被认为是限制性意义的，并且各种实施例的范围仅由所附权利要求以及这些权利要求被赋予的等同物的全部范围来限定。
而且，可以为本文描述的作为单个实例的资源、操作或结构提供多个实例。此外，各种资源、操作、模块、引擎和数据存储库之间的边界在某种程度上是随意的，并且在特定说明性配置的上下文中图示了特定操作。可以设想功能的其它分配并且其可以落入本发明的各种实施例的范围内。通常，在示例配置中作为单独资源呈现的结构和功能可以被实现为组合结构或资源。类似地，作为单个资源呈现的结构和功能可以被实现为单独的资源。这些和其它变化、修改、添加和改进都落入由所附权利要求表示的本发明的实施例的范围内。因此，说明书和附图被认为是说明性的而不是限制性的。
最后，申请人的意图是，只有包含表达语言“用于......的装置”或“用于......的步骤”的权利要求才根据35u.s.c.112，第6段进行解释。没有明确包括短语“用于...的装置”或“用于...的步骤”的权利要求不应该根据35u.s.c.112，第6段进行解释。
- 还没有人留言评论。精彩留言会获得点赞！