相关申请本专利文档要求保护2016年3月28日提交的临时美国专利申请序列号62/314,300根据35u.s.c.§119(e)的提交日的权益，通过引用将其合并在此。本实施例涉及超声成像。特别地，确定在超声成像中使用的阵列的姿态（pose）。
背景技术：
：：跟踪系统被用在诊断图像获取和图像引导干预中。跟踪系统提供临床环境中阵列的位置和取向（姿态）的估计。电磁跟踪解决方案生成磁场来对发射器和线圈传感器之间的距离作三角测量。对于不能视线接近反射标记的在体腔内进行导航的超声导管的情况，电磁跟踪是最主要的。光学红外跟踪解决方案要求对可能被遮挡的反射标记的严格视线接近。通常，因为由铁磁性对象引起的局部场畸变，电磁解决方案的准确性会低于光学解决方案。这些电磁和光学跟踪解决方案花费数千美元。对于导管来说，另一方法是嵌入不透射线的标记并且利用荧光透视术成像来检测标记的分布。这样的方法是切实可行的，因为这些超声导管设备常常与荧光透视引导联合使用。然而，众所周知使用标记的图案（例如六个或更多不透射线的珠）的姿态恢复的准确性取决于图案的最小尺度的量值。对于超声导管来说，归因于导管的物理约束，最小尺度可以是大约3-4mm。因此，理论限制被置于姿态恢复的可实现的准确性。所述方法的另一缺点是所涉及的辐射量，因为设备跟踪依赖于具有电离辐射的x射线成像。技术实现要素：通过介绍的方式，下面描述的优选实施例包括用于超声换能器的姿态恢复的方法、系统、指令和计算机可读介质。在一种方法中，惯性测量单元被定位在超声换能器上。来自惯性测量单元的测量结果与来自另一位置传感器（例如x射线、电磁或光学）的姿态或测量结果一起使用以改进准确性和/或以更大速率提供姿态信息。在另一方法中，将曲线、线或其他连接形状的发光二极管合并到换能器中。利用对发光二极管特定的滤波器的使用连接的形状图案的光学跟踪被用来确定姿态。在第一方面中，提供一种用于超声换能器的姿态恢复的系统，其中惯性测量单元与超声换能器连接。位置传感器被定位成感测超声换能器。处理器被配置成基于来自位置传感器和惯性测量单元的输出来确定超声换能器的姿态。在第二方面中，提供一种用于超声换能器的姿态恢复的系统，其中发光二极管被定位在超声换能器的手持外罩上。发光二极管形成邻近、视觉上连接的光源的几何图案。摄像机被定位成捕获发光二极管的图像。滤波器被配置成减少在不同于发光二极管的发射频率的频率处的所述图像中的信号。处理器被配置成基于由滤波器输出的图像和来自几何图案的模型的二维投影之间的差异的最小化来确定姿态。在第三方面中，提供一种用于使用具有声学换能器元件阵列、惯性传感器和不透射线标记的导管的姿态恢复的系统。x射线成像器被配置成在导管在患者体内的同时对导管成像。处理器被配置成利用来自x射线成像器的图像和惯性传感器的输出来确定阵列的姿态。本发明由下面的权利要求限定，并且所述部分中没有内容应被视为对那些权利要求的限制。本发明的另外的方面和优点在下面结合优选实施例来讨论，并且稍后独立地或组合地进行保护。附图说明部件和图不一定按照比例来绘制，而是将重点放在说明本发明的原理上。此外，在图中，相似的参考数字贯穿不同视图指定对应部分。图1是用于超声换能器的姿态恢复的系统的一个实施例的框图；图2图示超声导管上的不透射线标记和惯性测量单元的两个示例布置；图3图示由发光二极管形成的连接的形状的六个示例图案；图4是由图3的形状的光学检测提供的姿态中的示例准确性的表；图5示出具有嵌入式发光二极管的示例手持换能器和图案的对应光学捕获；图6示出合并嵌入式发光二极管和惯性测量单元的示例腹腔镜；图7示出合并惯性测量单元的另一示例腹腔镜；图8示出基于无线射频传输的示例位置传感器；图9示出使用位置传感器和惯性测量单元的姿态恢复的示例处理器实施方式；图10是使用点基准、图案基准以及图案基准和惯性测量结果的组合的示例准确性的表；图11示出使用多个位置传感器和惯性测量单元的姿态恢复的示例处理器实施方式；图12示出使用发光二极管的光学检测的姿态恢复的示例处理器实施方式；图13是用于使用x射线成像和惯性测量结果的组合来恢复姿态的方法的一个实施例的流程图；以及图14是用于使用发光二极管来恢复姿态的方法的一个实施例的流程图。具体实施方式在一种姿态恢复的方法中，惯性测量单元（imu）与其他位置传感器一起使用。例如，imu包括多个微机电系统（mems）并且结合嵌入在超声导管上的特定不透射线图案的x射线成像来使用以便提供超声导管的姿态的准确且鲁棒的估计。尽管imu在提供取向方面越来越准确，但是仅使用从这些mems传感器获得的线性加速度的整合（integration）的位置恢复对于临床环境中的引导的目的可能不是充分的。多传感器融合通过合并来自由特定不透射线图案的x射线成像或其他位置感测恢复的姿态的附加输入来克服该限制。使用一个或多个imu是相对紧凑的、成本有效的（更低的数量级）、高度准确且鲁棒的。随着智能消费类产品（即智能电话、手表等等）的出现，高性能传感器和设备（诸如惯性测量单元（imu））已经变成了不昂贵的现成传感器。仅间歇性地获得x射线成像。因此，当来自x射线成像的姿态恢复可能不可用时在临床程序期间可能存在时间间隙。此外，在该时段期间，设备可能已经被明显移动，从而导致丢失后续x射线图像中的跟踪。对于位置信息的附加源可以被合并以填充时间间隙。一种这样的源是超声数据自身的去相关（decorrelation）。另一源是基于无线的室内定位系统，其基于窄带rf信号的三角测量来提供位置信息。可替代地或另外地，imu在时间间隙中提供姿态信息。多个姿态恢复方法之间共享的双向信息可能导致不可以由单独的方法独自递送的总体准确性。在可以与多个位置传感器的融合一起使用或不与其一起使用的另一种方法中，商业摄像机观察被照亮的紧凑发光二极管（led）图案。基于单眼视觉的姿态恢复系统跟踪医学设备（例如超声探测器（probe）、指针、针等等）的三维（3d）位置和取向。用装配有颜色带通滤波器的单个摄像机来观察附于超声换能器的被照亮的紧凑led图案。滤波器消除或减少以led颜色为中心的窄带之外的频率处的信号，所以当与在整个可视频谱中进行跟踪的摄像机相比时其对图像噪声和照明变化是更鲁棒的。重复（duplicate）摄像机和目标配置可以被添加以将系统从单眼扩展到立体。具有目标图案的冗余视图的多摄像机设置可以改进性能和对杂乱的鲁棒性。可以通过使用唯一图案和不同颜色频率和滤波器来同时跟踪多个目标。摄像机和led图案方法可以是鲁棒的、不昂贵的替代，其在解决当前临床系统的缺点的同时实现所需的临床准确性。与传统的电磁和光学系统相比，商业摄像机和led解决方案是相对紧凑的，花费数量级较低，并且可以被配置成克服遮挡和不同临床环境。图1示出用于超声换能器16的姿态恢复的系统10。系统10包括存储器12、超声系统14、换能器16、imu18、位置传感器20、处理器26和显示器28。可提供附加的、不同的、或更少的部件。例如，提供网络或网络连接，诸如用于与医学成像网络或数据归档系统联网。作为另一示例，提供用户接口。在又一实施例中，提供一种用于利用不同模态（例如磁谐振或计算机断层扫描系统）来进行扫描的系统。在一些实施例中，可以不提供超声系统14，诸如在跟踪针、非超声导管或另一设备的情况下。在又一实施例中，不提供imu18。处理器26和显示器28是医学成像系统（诸如超声系统14、其他图像模态系统或另一系统）的部分。可替代地，处理器26和显示器28是归档和/或图像处理系统的部分，诸如与医学记录数据库工作站或服务器相关联。在其他实施例中，处理器26和显示器28是诸如台式或膝上型之类的个人计算机、工作站、服务器、网络或其组合。超声系统14是任何现在已知或稍后开发的超声成像系统。例如，超声系统14是基于车的、便携式的或另一医学诊断超声扫描仪。在另一示例中，超声系统14是治疗超声系统。超声系统14包括用于在声能和电能之间转换的一个或多个换能器16。换能器16可释放地连接到超声系统14上的端口。超声系统14由软件、硬件和/或固件来配置以获取表示患者的超声数据的一个或多个帧。发射和接收波束形成器针对换能器16中的阵列的不同元件使信号相对延迟和变迹（apodize）。声能被用来扫描平面和/或体积。例如，通过顺序扫描多个邻近平面来扫描体积。可以使用任何格式或扫描技术。被扫描的体积可以横贯或包括所有患者体积。b模式、多普勒或其他检测器检测来自被波束形成的信号的信息。可以提供扫描转换器、存储器、三维成像处理器和/或其他部件。以极坐标或扫描转换的笛卡尔坐标格式来输出超声数据。换能器16包括压电或电容膜元件的一维、二维或多维阵列。在一个实施例中，该阵列是弯曲的线性或相控阵。换能器16被用来利用超声扫描患者。换能器16具有各种形状因子中的任一种或者是各种类型的超声探测器中的一个。在一个实施例中，换能器16是心内心回波描记术导管。长的柔性导管合并远端上的声学换能器元件阵列。该导管还包括用于姿态恢复的其他部件。在图2的示例中，导管23包括imu、阵列和多个不透射线标记或者基准，其被包括为x射线可检测的界标（landmark）。在导管上以图案形成不透射线标记（25）。经由压印、丝网印刷、喷墨或热转印将不透射线图案涂墨（ink）到超声阵列组件上。在一个实施例中，使用基于流的微喷技术（在其中通过注射器或类似的尖端来挤压出不透射线材料）经由将不透射线材料直接转印在超声阵列子组件上来形成该图案。该技术直接产生用于图案的三维几何形状（例如三维二次曲线（conic））。可以使用嵌入式结构或其他形成。不透射线图案由对x射线能量不透明且因此在荧光透射图像中显现为深色的点界标（例如球形珠）来形成。使用点界标的准确姿态恢复可能会被图案的最小尺度所限制。对于超声导管来说，导管的直径大约3-4mm。可以使用几何标记（25）（例如二次曲线、椭圆或圆柱）。超声阵列在远尖端处的位置保持没有不透射线的材料以便提供用于超声成像的声窗。在图2的示例中，不透射线图案在超声阵列的任一端处的两部分中。两个二次曲线和两个珠在任一端处。二次曲线、点和线的任何组合可以被部署在图案的任一端上。在imu的帮助下成功姿态恢复的最小图案是在每一端处的一个珠或在每一端处的一个二次曲线，而更复杂的图案为姿态恢复提供关于部分遮挡和图像噪声的更多灵活性和鲁棒性。这些部分中的每一个相对于彼此的位置以及相对于超声成像阵列的位置是通过校准或机械制造约束而已知的。在另一实施例中，超声换能器16具有手持外罩，诸如针对用于从患者的外部手动扫描的探测器的手持外罩。该外罩被定形成可被超声波检查医师舒适地握住。提供邻近于阵列的声窗，以使得超声波检查医师将声窗靠着患者放置以进行扫描。探测器可以是无线的。可替代地，线缆将探测器连接到超声系统14。手持外罩可以包括led。该led被嵌入在外罩内，诸如被嵌入在槽或孔中或者被形成在外罩中。led在外部外壳或者外部线缆或者应变消除组件中。被嵌入的led提供没有凸块或突起的外罩的平滑或平坦外表面。可替代地，led在连接到手持外罩外侧的部分中。用户握住的把套或部分在不同于led的位置以便使遮挡最小化。因为外罩的表面在3d中变化，所以led的图案具有3d分布。可替代地，led可以被嵌入在外罩的平面部分中。在一个实施例中，led图案绕外罩的上部的中心轴环绕90-360度延伸。led均是点光源。可替代地，使用光导、透镜、散光器或其他结构来促使led以非点形状（诸如互连光的线、曲线或区域（即2d）形状）从外罩发射光。或者通过邻近彼此的放置（例如接触led或在led的一个宽度内）或者通过光散射（diffusion）结构（例如半透明覆盖物），led在外罩上形成如以一维、二维或三维分布的线、曲线或其他区域形状的图案。通过led来形成不具有或仅具有包括在该图案中的一些点光源的几何图案。邻近led的几何图案导致一个或多个连接光源的视觉外观。被照亮的图案的设计是灵活的并且可以被修改成适应换能器16的人类工程学。图3示出各种各样简单的几何图案（即线、圆圈、椭圆等等）。在图4中总结了这些图案以及来自模拟1000个随机姿态恢复的实验的它们的误差分析。通过使用探测器的计算机辅助设计（cad）模型，使用3d打印机来创建镶嵌半透明图案并且利用可以被集成到线性腹部超声探测器的上半部分内（图5的中间）的绿色led来背部照亮该镶嵌半透明图案。rgb深度摄像机被用来捕获具有led图案的换能器。在图5的示例中，摄像机被定位成用于捕获换能器16以用于准备用于头部和颈部手术的经颈（transcervical）图像获取。实验使用500mm到700mm的深度范围；仰俯±75°；滚动±20°；摆动±20°；以及高斯模糊噪声。在图5的最左列中，上面的照片示出了在520nm中心波长带通滤波器21（在半最大值通过区域处10nm全宽度）之前（上面的）和之后（下面的）led图案的由1600x1200像素摄像机捕获的图像。led图案是3d照亮的对象，具有围绕换能器16360°可见的唯一图案，不像在±90°处开始自遮挡的大多数刚性体标记。与依赖于点源信号的光学跟踪（在其中单个标记点的干扰导致目标对象的不可恢复姿态）相比，可以仅使用局部视图来恢复被照亮的图案的刚性变换。图6示出换能器16的另一实施例。该换能器16是腹腔镜。该腹腔镜的部分被插入不是开阔可见的吹气的体腔内。可使用经食管、术中的或其他超声探测器。该腹腔镜包括手持部上的led图案。该手持部被刚性连接到刚性轴。末端或远端包括超声阵列。该远端可以相对于刚性轴旋转。imu在远端中或远端上。远端和刚性轴的部分可插入到患者内用于从患者内扫描患者。led和手柄仍在患者外。由光学和imu测量结果的组合来确定阵列的姿态（例如位置和取向）。led图案具有相对于腹腔镜的已知位置和取向。imu是位于将在手术期间与感兴趣的器官接触的灵活位置中的微机电传感器（mems）芯片。imu输出角度测量结果。一个或两个摄像机被安装在手术区之外以便使用放置于轴和手柄上的基准标记物（例如led图案）提供针对腹腔镜的外部相对定位的信息。放置在阵列的任一端处的一个或多个imu芯片提供从（0,0）校准点的角度变化信息。测量在阵列被首先插入到体腔中之后的角度变化。陀螺仪输出（即相对于重力的角度）和磁性输出（即相对于地球的磁场的角度）可以被用来计算在空间中阵列相对于led定位的手柄和刚性轴的位置。在其他实施例中，在身体之外的手柄上和/或通过身体中的阵列使用其他位置传感器。参考图1，imu18与超声换能器16连接。该连接是固定的，诸如被安装在换能器16的外罩内。该连接可以是可释放的，诸如被夹到换能器16上。在图2和6的实施例中，imu18在导管23内并且在外罩下面。imu18邻近换能器元件阵列，诸如在阵列的边缘的1cm之内。可以提供多于一个imu18。可以使用更远离阵列的位置，诸如以便确定针对换能器16的其他部分的相对旋转或位置。imu18可以被提供用于换能器16的不同部分，诸如可彼此相对移动的部分。在图5的实施例中，imu18可以被添加到换能器16上或其中。imu18是mems设备，但是可以由分离的部件来形成。可以使用任何加速度计、陀螺仪和/或磁力计。在一个实施例中，imu18包括用于测量沿着三个正交轴的线性运动的加速度计和用于测量绕三个正交轴的旋转运动的陀螺仪。可以提供用于测量相对于地球的磁极的取向的磁力计。在一些实施例中，仅使用加速度计。在此类实施例中，为了冗余，三个或更多3轴加速度传感器的组合提供九个或更多测量结果。可以使用任何适当的整合方案来从加速度和/或角速度测量结果获得姿态估计。使用fir或iir类型滤波器21的时间滤波可以被采用来改进来自imu18的不同部件的测量结果或姿态估计的信噪比。来自不同传感器的测量结果可以被融合或组合。该过程导致在一个时间处的姿态相对于另一时间处的姿态的估计。传感器融合提供相对于来自陀螺仪和磁力计的任意坐标系的设备的取向的鲁棒估计。此外，可以提供在去除来自重力的加速度之后设备的线性加速度的鲁棒估计。可以估计转动速率。在图2的实施例中，在临床环境中部分地使用imu18准确地确定超声导管23的阵列的姿态（位置和/或取向）。此类环境可以包括用于在体腔内部引导超声导管23的x射线系统。归因于大金属对象和磁性干扰源（例如x射线检测器）的存在，姿态估计和跟踪的电磁和光学方法可能对提供亚毫米和分度（sub-degree）位置和取向估计不是充分准确的。同样地，通过使用x射线不透射线图案恢复的姿态的准确性被限制，这归因于嵌入超声导管23内的图案的小尺寸。与来自其他方法（例如x射线图像、超声数据和/或无线窄带信号）的姿态融合的来自imu18的测量结果和/或估计可以增加准确性。就在给定参数空间（例如平移、旋转和/或深度）中提供姿态估计中的准确性、速度和/或鲁棒性来说，每个信息源都具有其自己的优点和缺点。通过融合来自不同类型的源的所有信息，可以以灵活且成本有效的配置来可靠和高效地执行超声导管23的姿态估计。在其他实施例中姿态信息的多个源可以被用来辅助，诸如图6的腹腔镜。可以使用图5的led和摄像机源。图1的位置传感器20是除imu18之外的姿态信息的附加源或不同的源。位置传感器20被定位成感测超声换能器16。取决于实施例，定位可以提供具有最小遮挡的视线（例如被定位在定向向下的顶板上或戴在超声波检查医师的头上）。定位可以在患者倚靠在其上的平台（table）上、在台架（stand）上、在成像系统上或在另一位置处。在一个实施例中，位置传感器20是x射线成像器。x射线源被定位在患者的一侧上并且x射线检测器被定位在患者的另一侧或相对侧上。所生成的x射线通过患者和超声换能器16，但是被超声换能器16上的不透射线标记（25）更强地衰减。例如，通过当导管23在患者中时对其进行x射线成像，x射线图像中的标记（25）可以示出阵列的姿态。在另一实施例中，位置传感器20是摄像机。可以使用任何摄像机，诸如数字帧摄像机（例如电荷耦合设备）、线摄像机或深度摄像机（rgbd）。摄像机捕获换能器16的图像，可以从所述图像来确定姿态。可以使用多于一个摄像机，诸如立体摄像机布置。为了与led一起使用，位置传感器20是具有滤波器21的摄像机，所述滤波器21被配置成将信息与led的频率范围隔离。通过电路或处理器来实施滤波器21，所以滤波器21可以在与摄像机容纳在一起的或与摄像机分离的部件中。摄像机捕获led的图像，并且滤波器21减少图像中的不同于led的发射频率的频率处的信号（将图5的右上角上的所捕获的图像与图5的右下角上的经过滤波的图像相比较）。在另一实施例中，位置传感器20是超声扫描仪或系统14。任何两个超声获取之间的相关性是各帧之间的距离和取向的函数。对于体积超声换能器，可以经由两个所获取的回声体积之间的3d到3d体积图像配准来建立其在两个连续获取之间的相对位置。在体积的重叠区足够大的情况下，配准指示准确的对准。对于1d超声换能器，给定两个2d获取中的一对对应拼片（patch），其可能包含相干和非相干信号，可以建立将拼片之间的1自由度（df）平面外距离关联到拼片之间的相关系数的校准曲线。例如使用斑点（speckle）形成的莱斯逆高斯（rilg）随机过程的经过校准的模型可以被用来获得该曲线。基于投票的方法（例如ransac）可以被用来使用许多这样的1-df测量结果来确定两个帧之间的6-df刚性运动。在一个实施例中，使用许多小拼片的选择。计算连续帧之间的这些拼片中的每一个的1-df运动。roi的估计的运动是作为大多数拼片的共识的运动。为了适应在目标roi中具有变化的图像强度的获取图像，使用来自roi内的和之外二者的样本拼片。从roi之外采样的拼片用作参考，并且指示何时该区内部的拼片需要更新。其运动与数据的大部分一致的拼片被保留，而其他的被修剪（prune）并且被从相应区采样的相等数量的拼片所替换，并且连续重复该过程。该过程产生一个帧相对于另一个的姿态的估计。因此，可以通过链接第0个帧和第i-1个帧之间的相对姿态来计算第i个帧的姿态。归因于该计算的累积性，姿态中的误差也会随着每个后续帧而增加。此外，校准曲线仅提供距离的绝对值并且不会包括各帧之间的运动的方向。在另一实施例中，位置传感器20是室内无线位置传感器（例如室内“gps”）的位置传感器或接收器。图8示出一个示例。每个基站发射经编码的射频信号，诸如以超宽带频率。标签是接收信号并处理信号以确定离基站的距离的接收器和天线。通过三角测量来提供位置。找到多个地点处的位置可以改进准确性。此类技术的准确性当前被限于米的分数（大约0.3m）。如果关于相同感兴趣区中的另一身体进行测量，则测量的准确性是大约2-5mm。图8示出为了该目的的参考标签。该参考标签保持静止并且充当已知位置处的参考。另一标签被附着到超声换能器16。在无线换能器的情况下，换能器无线通信信道自身可以被利用作为用于距离计算的接收器。处理器26是通用处理器、中央处理单元、控制处理器、图形处理器、数字信号处理器、三维渲染处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合、或用于恢复超声换能器的姿态的其他现在已知或稍后开发的设备。处理器26是单个设备或者以串行、并行或独立操作的多个设备。处理器26可以是计算机（诸如膝上型或台式计算机）的主处理器，或者可以是用于在较大系统（诸如超声系统14或位置传感器20）中处理任务的处理器。处理器26由软件、固件和/或硬件来配置。处理器26被配置成确定超声换能器16的姿态。imu18和/或位置传感器20中的一个或多个被用来确定姿态。姿态被确定一次或以持续的方式被确定，诸如跟踪绝对姿态和/或地点和/或取向中的变化。imu18和/或位置传感器20的相同或不同集合被用于确定初始位置。处理器26被配置成初始化姿态的确定。该初始化提供绝对姿态或者提供姿态的指示或估计，然后从其来确定绝对姿态。不同的初始化可以被用于不同的实施例。对于使用imu18和作为位置传感器20的x射线成像器来确定导管23中的阵列的姿态的示例，可以使用之前的姿态估计或通过将运动模型应用于之前的姿态来初始化当前姿态。运动模型或者来自于学得的滤波器（例如期望最大化，诸如卡尔曼滤波器）或者是由从imu传感器18获得的线性加速度值导出的。另一方法使用多检测器布置以致获得从不同角度的x射线投影。初始姿态是使用多个图像确定的，从而导致通过背投影（backprojection）来解决x射线成像的深度歧义。深度估计可以具有一些不确定性，这归因于诸如检测器的校准中的误差和生理运动之类的因素。可以使用其他初始化。imu18和基于x射线的系统被校准。imu18提供关于固定但任意坐标系的测量结果，而从x射线成像恢复的姿态关于x射线系统自己的固定坐标系。x射线坐标系通常关于c臂旋转的等角点被校准。这两个参考坐标系之间的相对变换对于每一个c臂系统被确定至少一次作为校准。可以通过将imu18附着到在已知机械约束位置中具有不透射线图案的校准体模（phantom）来执行校准。不透射线图案被设计得充分大以便在典型操作条件下覆盖视场并且以多个姿态被成像以增加校准的准确性。因为在典型临床场景中，关于x射线而不是导管设备的姿态来确定超声图像的姿态，所以执行imu18、x射线系统和超声图像的参考坐标之间的另一校准（例如具有已知位置的阵列到超声图像）。可以通过使用多模态校准体模来完成该校准。可以使用其他校准。在图5的基于led的姿态恢复系统或图6的腹腔镜实施例中，处理器26初始化姿态。可以使用之前的姿态估计或通过将从来自imu18的线性加速度值导出的运动模型应用于之前的姿态来初始化当前姿态。在另一种方法中，摄像机是深度或立体摄像机，所以捕获深度图。换能器16和/或握住换能器16的手的3d点云被提供为深度图（即各种地点处的从摄像机到可见表面的距离）。深度图可以被用来确定换能器16的姿态。可以使用其他初始化方法。基于led的系统被校准。可以应用任何摄像机校准来获得在姿态恢复中使用的光学参数以生成3dled模型的2d投影。可选地，如果配置多个摄像机，则校准可以要求对于静态设置的一次过程或者通过对应性（correspondence）的在线自校准。为了建立通信，可以使用以点对点的方法以及基于特征的方式。超声到视频校准配准超声和视频坐标系。具有在超声和视频二者中可见的特征的多模态体模可以被用来建立直接的点对点对应性。可以使用其他校准方法。处理器26被配置成基于来自位置传感器20和/或惯性测量单元18的输出而确定超声换能器16的姿态。该姿态被确定为初始姿态或后续姿态。该姿态是一个或多个自由度（例如3）的位置和/或一个或多个自由度（例如3）的取向。缩放是基于校准而确定的，但是可替代地可由处理器26根据imu18和/或位置传感器20输出来确定。在一个实施例中，根据来自作为位置传感器20的x射线成像器的图像的图像处理来确定姿态。该姿态被确定为由x射线成像器输出的图像和来自不透射线标记（25）的几何图案的模型的二维投影之间的差异的最小化。x射线图像可以在空间上被滤波或者通过阈值或其他过程被滤波以便突出（highlight）标记（25）和/或减少来自除标记（25）之外的结构的信号。标记（25）的模型被渲染或投影以模拟来自不同视向的x射线图像。通过找到最佳匹配实际导管23的x射线图像的模型的投影，根据匹配的模型投影的视角和位置来确定姿态。该模型可以是计算机生成的物理模型或者可以是体模中或者不在患者体内但来自不同角度的导管23的x射线图像。可以使用任何姿态恢复。例如，将来自不同姿态的模板图案与测量结果相比较。作为另一示例，机器学习分类器或卡尔曼滤波器（或其他类型的期望最大化）基于输入测量结果而恢复姿态。在一个实施例中，将标记（25）图案的姿态的恢复用公式表示为具有以下非凸公式化的优化问题：（1）其中是目标函数，并且是作为特殊欧几里得群的参数化的变换参数。空间的n（例如n=6）个自由度的任何表示可以被用来对变换进行参数化。参数可以被分解成旋转参数和平移参数。单位四元数或欧拉角被用来表示，但是可以使用其他表示。在一个实施例中，函数由以下描述：（2）其中由通过参数化的刚性变换来对模型进行变换。由给出x射线成像器所输出的经滤波的图像。使用p-范数，其中p可以是1、2或无穷大。对于p=2和n=2的值，函数被缩减成差平方和（ssd）量度，如由以下表示：（3）运算符p对图案的x射线衰减的累积建模并且被应用于提供模型的更现实投影以用于测量匹配。可以使用在不同角度和地点处的模型的投影的相似性的其他度量（例如不同刚性变换），诸如绝对差和（例如n=1）或相关性。在另一实施例中，使用距离加权的匹配，如由以下表示：（4）其中是经滤波的x射线图像的骨架化。用函数来计算距离图。距离图函数将输入图像中的每个点变换成取决于图像点和经滤波的图像的骨架上的最近点之间的距离的浮点数。距离映射还被应用于经变换或投影的模型。使用欧几里得距离范数，但是可以使用欧几里得距离范数的分数幂或其他距离度量。可以使用用来进行匹配的其他方法。在一个实施例中，用于led和摄像机位置传感器20的目标函数计及发光效应。不是使用衰减模型，而是应用光散射的模型g，如通过其中用g来代替p的等式（3）来表示的：（5）图案的光散射被应用于提供模型的更现实投影。运算符g可取决于图案的旋转参数。运算符g可以被实施为高斯或拉普拉斯内核的卷积，但是可以使用其他散射建模。可以另外或可替代地应用骨架化方法。在使用位置的多个检测器（例如来自不同方向的多个x射线图像）的情况下，等式（1）可以被修改成等式（5）：（6）在该多检测器的情况下，目标函数f(x)是针对每一个检测器的目标的线性组合。可选地，x射线检测器对之间的极线约束（epiploarconstraint）可以被合并为。多个检测器的使用提供更好的准确性和对遮挡的鲁棒性。在其他实施例中，多个检测器具有不同的类型，诸如x射线成像器和imu18。将针对每个检测器或类型的目标函数所提供的姿态组合。可以使用imu18、x射线成像器、超声系统14、室内无线、光学（例如基于led的或其他）或电磁的其他组合。图7示出对图6的腹腔镜的姿态求解的一个实施例。处理器26被配置成确定使用光学图案（标记为坐标系1）的手柄的姿态以及手柄上的imu的imu测量结果（标记为坐标系2），超声图像的中心线的姿态（标记为坐标系3），使用imu的远端上的腹腔镜的姿态（标记为坐标系4）和超声图像的中心（标记为坐标系5）。阵列的姿态（平移和角度测量）取决于阵列的角度操纵，并且由下式给出：（7）其中p是位置，r是旋转，并且上标表示其中得到测量结果的坐标系且下标表示其测量结果被估计的坐标系。通过跟踪光学图案或基于光学图案和imu测量结果（例如传感器输出或来自imu的融合信息）来提供。由下式给出：（8）z1和z2是在组装期间设置的或作为校准的部分测量的值。手柄上的imu以及远端上的imu的位置被表示为：（9）（10）其中来自imu18的读数是关于重力g的。通过led姿态和imu读数的融合来确定rimu。通过校准来提供或在组装期间设置和。然后由下式给出阵列的位置和旋转：（11）（12）结果是超声图像的中心的位置或姿态t5：（13）基于校准或在组装期间相对于被设置，并且合并来自imu的姿态跟踪。在一个实施例中，处理器26被配置成融合来自多个源的姿态信息。一个示例是腹腔镜中的led和imu18的上面使用的融合。在另一示例中，来自x射线图像的图像处理（见上面的等式（3）或（4）的目标函数）、来自led的摄像机的图像处理（见上面的等式（5）的目标函数）、来自超声、光学摄像机跟踪、电磁度量和/或imu输出的图像处理被组合。在一个实施例中，使用如等式（6）中提供的组合。来自不同源的姿态被组合，诸如被平均（例如来自多个源的沿着给定轴的平均位置）。在另一实施例中，从不同源选择姿态的不同部分。例如，imu提供更准确的旋转和深度位置信息，并且来自超声和/或x射线的图像处理提供更准确的2d位置。使用来自imu的旋转和深度位置姿态以及来自x射线的2d位置。来自每一个的对应度量被组合以提供姿态。在另一实施例中，imu测量结果被用来辅助图像处理以确定姿态。imu测量结果限制搜索空间。例如，来自imu18的不太准确的平移信息被用来限制x射线或超声数据的图像处理中的位置搜索。针对姿态的搜索空间被imu输出所限制。可以使用其他反馈系统，图像处理可以包括基于来自先前姿态的反馈的来自惯性测量单元的针对某个阶段的姿态信息。基于由该阶段的imu姿态或姿态测量结果定义的准静态运动模型通过这些姿态参数随着时间的整合来重复地获得位置估计。单独基于imu度量的估计可以包括大的不确定性，这归因于整合过程期间偏置误差的累积。使用反馈来去除或减小偏置误差。在使用imu18的实施例中，要从x射线图像估计的变换的参数的搜索空间可以被缩减成，其中仅通过平移参数来对变换参数化。用更准确的imu旋转测量结果或输出来对旋转参数化。图9示出处理器26使用imu18（例如mems-ins34）来向图像处理30提供信息以用于姿态恢复。使用来自x射线图像30的x射线图像处理32和imu18（例如mems-ins34）源的信息的融合来恢复姿态。imu18的瞬时测量结果（例如加速度计、陀螺仪和/或磁力计输出）被输入到与由图像处理32确定的姿态的融合36。该融合36将来自mems-ins34的信息（例如旋转）和来自x射线图像处理32的信息（例如平移）组合以确定姿态38。用相对于参考坐标系的正确姿态38为由阵列获取的每个超声帧加标签（tag）。对于反馈，在x射线成像和imu传感器之间共享的信息是双向的。基于x射线图像处理和imu输出的姿态是反馈。x射线图像处理使用imu输出。姿态使用imu输出和x射线图像处理输出。双向信息共享被用来细化（refine）姿态的估计。至少部分基于图像处理32的姿态38被用来预测40生理周期的当前阶段。融合36输出低频、高确定性姿态测量结果40，其被用作反馈来重置与mems-ins传感器相关联的漂移误差。该输出与生理周期的阶段有关并且是取决于应用的。例如，在心脏应用中，当冠状动脉的运动是最小值时可以在心动周期的阶段给出输出。姿态被作为低频惯性自我状态（ego-state）（即每个周期解剖姿态或对于该姿态的阶段一次）被传递给mems-ins34。先前姿态被用于估计心动周期的状态。基于该阶段来触发来自mems-ins34的导出的线性加速度和/或角加速度。当到达周期的特定阶段时，imu（例如mems-ins）34被触发以指示在该阶段的基于imu的姿态。来自阶段的先前重复的值被求平均或被低通滤波42以便确定准静态分量44。该准静态分量44是来自模型的姿态信息。该模型基于针对该阶段的滤波器的输出来适合，但可以基于以滤波为基础的该阶段的姿态。准静态分量44被输出为感兴趣的解剖结构（例如，心脏）的自我状态以用于图像处理32。其他对象（例如解剖结构或设备）的状态、环境或静止对象（例如骨头）的状态以及具有标记（25）的x射线图像被处理以确定姿态或姿态的至少一些分量（例如平移）。可以使用任何图像处理，诸如上面描述的那些。在一个实施例中，通过在该参数中从具有最小不确定性的测量结果选取每个参数来构造由六个分量参数化的传感器融合块的最终经校正的姿态估计。例如，在通过x射线对超声导管23成像的场景中，从由imu提供的估计选取针对平面外旋转的两个参数，从x射线姿态估计选取平面内平移和平面内旋转参数，并且从超声去相关测量结果选取平面外平移。在该场景下，这些中的每一个都提供相应参数中的最小不确定性。在另一实施例中，这些测量源之间的信息的交换提供更好的估计。融合36假设运动模型（例如准静态）并且将姿态估计用公式表示为预测-校正问题。从每一个源估计的测量结果被用来迭代地校正所预测的位置以便使经校正的姿态中的不确定性最小化。传感器融合块可以使用l2范数（扩展卡尔曼滤波器（ekf）方法）来确定每一个参数中的不确定性，例如确定在期望不确定性水平内的经校正的姿态和与图像获取的时间分辨率相匹配的时间分辨率。迭代的预测-校正方法不限于该范数，并且还可以使用任何其他适当的范数，诸如l1。各范数之间的权衡在对噪声的鲁棒性和问题的计算成本之间。当使用单平面x射线图像时，归因于准静态分量的输入的缩减的搜索空间对准确的姿态估计具有高重要性，因为来自单个x射线图像的平面外旋转和深度估计是极其困难的。相比之下，当仅要估计参数的子集时（例如深度），可以通过从其他未知参数（例如旋转）去除复杂因素来显著提升鲁棒性和准确性。例如，在x射线的情况下，应用诸如所预测的旋转之类的一些参数连同根据惯性测量结果估计的深度。x射线图像然后用来针对这些预测中的误差进行校正。因为惯性单元在估计角度而不是深度方面显著准确，所以与深度的校正量相比角度中的校正量可能是不显著的。在图10中示出关于通过使用点基准、图案基准和图案基准+imu传感器可实现的准确性的示例比较。通过使用具有0.27mm的基准误差的噪声模型进行模拟来获得准确性值。在括号中以中值（median）示出误差的百分之90。在多检测器设置的情况下或当单平面系统从多个视点观察导管23时，根据单独的图像的背投影的深度估计可以基于这些深度估计的已知不确定性模型来进一步约束平移参数xt的搜索空间。图11示出通过具有用于图像处理32的附加输入的处理器26的姿态恢复。来自多个传感器和图像模态（x射线30、超声46、和室内无线48）的信息的组合被利用来准确地确定超声导管23的姿态。在存在x射线成像器的情况下利用导管23。在不存在此类成像器的情况下，来自x射线的来自姿态恢复的位置和角度（具有某个水平的不确定性）的输入不可用。在这种情况下，通过使用来自其他传感器的信息，基于融合36的全姿态恢复可以继续。在x射线源被间歇式地接通的情况下，这也是有效的。在图9和11的方法中，在不同速率或时间，不同的姿态信息是可用的。基于加速度计和陀螺仪的组合的mems-ins传感器34（imu18）提供高频测量结果。这些测量结果可以被分解成取向估计和位置估计。取向估计是准确且鲁棒的，但是位置估计仅短期有效并且在那之后具有显著的误差。超声图像自身可以提供姿态估计。归因于图像获取和图像处理的过程，这些测量结果被时间延迟并且具有低更新速率。图像处理可以使用加速度测量结果的经低通滤波的准静态分量44来用于处理。这是将方向性分量分配给使用相关或匹配获得的距离测量结果以在图像处理32中找到姿态。来自无线“gps”的测量结果没有时间延迟并且通常长期不漂移，但是在测量结果中具有高不确定性。通过不透射线标记（25）的检测和跟踪的来自x射线源30的来自姿态恢复的测量结果可以具有低更新速率，但是关于平面内参数（即平面内平移和旋转）具有高准确性。此外，基于x射线的姿态可以是间歇性的，因为在典型的临床环境中限制临床医师和患者二者的x射线暴露是优选的。来自这些各种传感器的测量结果被输入到传感器融合块。可以使用在具有或不具有其他输入的情况下的来自imu和超声图像的输入的任何组合。考虑到不同的频率，卡尔曼滤波器、其他期望最大化、或其他图像过程在比最低频率更高的频率确定姿态。图像处理器32可以包括来自摄像机的输入，诸如来自led的图案的捕获的输入。在其他实施例中，由处理器26以不同方式来处理被摄像机捕获的led的图像以确定姿态。可以在具有或不具有来自其他位置传感器（例如imu18）的输入的情况下确定姿态。在一个实施例中，使用后处理滤波。具有加性噪声的非线性离散时间系统被表示为：（14）（15）其中是状态，是测量结果，并且和为独立且同分布的噪声。时间系统可以被简化成以下形式：（16）（17）函数和是由函数、以及、和的统计量来参数化的。这些采用观察值并且基于其内部状态和所使用的算法来产生估计。对于扩展卡尔曼滤波器，包括所估计的均值和协方差。对于粒子滤波器（particalfilter），包括在滤波器的计算中使用的所有粒子以及其权重。估计是空间的六个自由度的典型表示。内部状态由在空间中描述的惯性系的位置、速度和加速度组成，其取决于用于描述的参数，即，并且状态-空间模型是：（18）。通过系统的特定实施例来确定观察值。在不使用imu的实施例中，观察值是优化器的输出（即刚性变换）。在使用imu18的实施例中，观察值是优化器的输出（即刚性变换以及imu的加速度计和陀螺仪读数）。因为imu18速率可以是比视频速率更高的数量级，所以可以如图12中所示的那样部署多级多速率。观察值以不同速率到达，并且相应地改变观察模型。对于当来自视频的变换信息可用时的时间样本，观察向量被定义为：（19）。对于当来自视频的变换信息不可用时的时间样本，在观察模型矩阵和观察向量中对应于的行和列被设置成0。对于上述情况，观察向量的向量如下：xvideo是从视频处理器输出的变换的参数化，yacc是来自imu18的加速度读数，ymag是来自imu的磁力计读数（如果可用的话），ygyr是来自imu的陀螺仪读数（如果可用的话），ximu是从imu反馈回路输出的变换的旋转分量，并且是从imu反馈回路输出的线性加速度。在使用imu的实施例中，变换的参数的搜索空间可以被缩减至，其中仅由平移参数来对变换参数化。另外，由深度图提供的信息（例如来自结构光摄像机、飞行时间摄像机或密集立体重构）可以进一步基于这些深度图的已知不确定性模型来约束变换参数的搜索空间。再次参考图1，显示器28是监视器、lcd、投影仪、等离子体显示器、crt、打印机或用于输出视觉信息的其他现在已知或稍后开发的设计。显示器28从处理器26、存储器12或超声系统14接收图像、图形或其他信息。输出到显示器28的显示缓冲器将显示器28配置成显示图像。显示表示患者的区域的一个或多个图像。该图像可以表示姿态。例如，x射线图像中的导管23的地点和取向被突出（例如着色或图形叠加）。在邻近显示的超声图像的情况下，用户可以感知相对于x射线图像的视场。作为另一示例，姿态被用于在超声成像系统14和另一成像系统（例如x射线）之间变换坐标。使用变换将来自两个模态的图像组合或融合。存储器12是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓存存储器、硬驱动器、光学介质、磁介质、闪速驱动器、缓冲器、数据库、其组合、或用于存储数据或视频信息的其他现在已知或稍后开发的存储器设备。存储器12是成像系统（例如超声系统14）的部分、与处理器26相关联的计算机的部分、数据库的部分、另一系统的部分或独立的设备。可以存储任何类型的数据，诸如医学图像数据（例如超声和x射线）。存储器12存储数据集（例如帧），每一个都表示三维患者体积或二维患者区域。患者体积或区域是患者的一个区，诸如胸部、腹部、腿、头部、臂或其组合内的一个区。患者区域或体积是被超声系统14扫描的一个区。存储位置数据，诸如摄像机图像、imu测量结果或其他姿态信息。该数据表示在一个时间的患者或者表示随着时间（诸如在治疗或其他程序之前或期间）的患者。可替代地或另外，存储器12或其他存储器是存储表示可由编程处理器26执行以用于姿态恢复的指令的数据的非瞬时计算机可读存储介质。在计算机可读存储介质或存储器（诸如高速缓存、缓冲器、ram、可移除介质、硬驱动器或其他计算机可读存储介质）上提供用于实施本文讨论的过程、方法和/或技术的指令。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或其上的一个或多个指令集来执行图中图示的或本文描述的功能、动作或任务。所述功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独或组合进行操作的软件、硬件、集成电路、固件、微代码等等来执行。同样地，处理策略可以包括多处理、多任务、并行处理等等。在一个实施例中，指令被存储在可移除介质设备上以供本地或远程系统读取。在其他实施例中，指令被存储在远程位置中以便通过计算机网络或通过电话线来传送。在又其他实施例中，指令被存储在给定计算机、cpu、gpu或系统内。图13和14示出两个示例方法。图9和11示出如由处理器的配置实施的示例方法。图9和11的方法可以由其他设备来执行。可以使用除图9、11、13和/或14中示出的动作之外的附加、不同或更少的动作。由图1的系统或不同系统来实施方法。图13示出用于使用x射线图像和imu的姿态恢复的方法的一个实施例的流程图。首先，x射线图像被滤波50以增强不透射线图案以被检测52。经检测的图案被输入到姿态恢复的优化54。利用来自先前帧的结果或者如在多检测器设置中检测的参数来初始化56位置估计。3d姿态的优化54使重投影误差最小化，其将经滤波的图像与图案的3dcad模型58的2d投影相比较。此外，来自其他传感器（诸如imu系统）的信息被利用60来提供取向。该取向针对增强的准确性而约束目标图案的位置的搜索空间，尤其在深度方向上。输出基于优化的恢复的姿态62。在另一实施例中，具有紧凑不透射线图案以及一个或多个惯性传感器的超声导管23被用来恢复阵列相对于参考坐标系的姿态（位置和/或取向）。该不透射线图案包括一个或多个固定几何形状，其包括线和/或二次曲线（例如圆圈、椭圆等等）。通过来自若干源的信息的融合来恢复目标对象的3d姿态，所述若干源包括但不限于x射线图像、惯性传感器、超声回声数据（iq或b模式）、和/或无线窄带信号。为了与多检测器x射线系统一起使用，图像处理被重复。多个x射线成像器对目标对象的覆盖的增加会降低姿态恢复中的误差并且增加对遮挡的鲁棒性。从一个或多个x射线图像获得的不透射线图案的表面点云和/或分析描述被用来初始化姿态估计。可以仅从不透射线标记（25）的图案的局部视图恢复姿态，其中足够的标记（25）是可见的以允许求解。来自这些多个传感器的读数的组合被用来细化姿态恢复中的取向和/或优化针对平移中的z深度（沿着x射线系统的视向的距离）的搜索空间参数。使用该方法恢复的姿态被用来跟踪超声图像关于任意参考坐标系的位置。姿态可以被用来从目标解剖结构的徒手扫掠（sweep）重构超声的3d体积。姿态指示超声数据的所获取的帧的相对位置。恢复的姿态可以被用在覆盖分析中。姿态和患者的边界或模型被用来向用户指示已经被扫描或者保持要被扫描以确保已进行了充分的图像获取的目标解剖结构的分数。图14示出用于使用led图案的摄像机捕获的姿态恢复的方法的一个实施例的流程图。首先，2d彩色摄像机图像被滤波70以强调相对于另一信号的led图案。通过图像处理来检测72led图案。可以利用来自先前帧的结果或如在可选深度摄像机中检测到的参数来初始化74位置估计。3d姿态的优化76使重投影误差最小化，其将经滤波的图像与led图案的3dcad模型78的2d投影相比较。可选地，诸如imu系统80之类的其他传感器可以被集成以提供取向和/或约束目标图案的位置的搜索空间。输出经优化或恢复的姿态82。在另一实施例中，使用单眼视觉系统和紧凑的被照亮图案来关于参考坐标系恢复姿态。被照亮图案具有一个或多个固定几何形状，其包括线和/或二次曲线（例如圆圈、椭圆等等）。通过使摄像机所捕获的被照亮图案的帧与图案的已知几何模型的2d投影之间的差异最小化来恢复目标对象的3d姿态。可以通过使用多个摄像机来增加目标对象的覆盖，从而降低姿态恢复中的误差并增加对遮挡的鲁棒性。从深度摄像机获得的被照亮图案的表面点云被用来初始化姿态估计。来自一个或多个imu传感器的读数的组合可以被用来细化姿态恢复中的取向和/或优化针对平移中的z深度（沿着视觉系统的视向的距离）的搜索空间参数。使用该方法恢复的姿态被用来跟踪超声图像关于任意参考坐标系的位置。姿态可以被用来从目标解剖结构的徒手扫掠重构超声的3d体积。被恢复的姿态可以被用在覆盖分析中以便向用户指示已经被扫描或者保持要被扫描以确保已进行了充分的图像获取的目标解剖结构的分数。在一些实施例中，被照亮的图案被附接到直的针状介入设备（例如活检针、消融设备等等）以提供设备的末端相对于固定坐标系的姿态估计。该附接可以通过夹式部件来完成，该夹式部件附于针状设备的轴或者被合并为诸如手柄之类的设备的整体部件。imu可以可替代地或者另外以相对于被照亮的图案以及针状设备的轴的固定已知配置被附接以用于姿态恢复。可以从3d被照亮图案的局部视图恢复姿态。虽然上面已经参考各种实施例描述了本发明，但是应该理解可以在不偏离本发明范围的情况下作出许多改变和修改。因此，意图在于前述详细描述被视为说明性而非限制，并且要理解下面的权利要求（包括所有等同物）意图于限定本发明的精神和范围。当前第1页12当前第1页12