具有压缩和/或CMOS开窗的高速光学跟踪的制作方法

相交申请的交叉引用

本申请要求于2017年2月14日提交的较早的美国临时申请ussn62/458,697的优先权，该较早申请的内容通过全文引用的方式并入本申请中。

本发明大体上涉及高速光学跟踪，并且更具体地涉及具有压缩和cmos开窗的高速光学跟踪，其用于跟踪在递送姿势(定向和位置)数据时要求高速和/或低等待时间的应用。

背景技术：

通常，此类光学跟踪系统用在计算机辅助外科或牙科、机器人辅助外科或牙科、康复和其它类似医学应用领域中。在更一般的水平上，所述系统用在工业零件检查或需要跟踪的其它应用的领域中。

传统的光学姿势跟踪系统包括两个或更多个相机。他们使用三角测量来确定空间中光生成元件的3d位置。这些光生成元件可以是有源的(他们发射光(例如，led))或者无源的(他们反射光(例如，反射盘或球))或有源和无源的组合。在无源的情况下，常常在位于光学跟踪系统的相机周围的led环上生成光。所发射的光又在被跟踪对象上反射，并由相机感测。

此类跟踪系统能够计算(即，确定)每个光生成元件的3d位置。如果测量具有已知相对位置的至少3个光生成元件，则还可以计算(即，确定)3d定向。这样的对象被称作标记，并且标记固定在要被系统跟踪的目标对象/主体上。

在医学应用背景下，使用者(例如，外科医生)使用对象(例如，探头或外科器械)的远端尖端接触患者身体上的感兴趣区域。跟踪系统查看附接到对象的标记，并能够检索其姿势。接着，基于标记的定位和对象尖端的定位之间的已知关系，标记跟踪系统确定对象的尖端的坐标以及其定向。这些信息可例如由应用程序使用，以便在进行术前计划时记录患者和/或在插入活检针时指引介入放射学家。

而且，医学应用，特别是外科应用，要求标记是无菌的。常见的无源标记通常是一次性的、可高压灭菌的或两者的组合。

在公开wo2017/208186和us2017/0086941中给出了跟踪系统和方法的示例。

技术实现要素：

本发明大体上涉及一种高速光学跟踪，其包括光学跟踪系统(10)，所述光学跟踪系统(通过扩展标记20)感测基准(22)。基准(相应地是标记)可以集成在由操作员(例如，外科医生)(50)操作的工具(20)上或者固定在要被跟踪的对象/主体(例如，患者)(40)上。优选地在跟踪系统内实现低水平处理(101，107，140)。计算姿势数据(127)，并将其传送到pc/监视器(30，31)或者传送到平板电脑(60)以由终端用户应用程序(130)使用。

因此，已经相当广泛地概括了本发明的一些特征，以便可以更好地理解其详细描述，并且可以更好地认识到本发明对现有技术的贡献。将在下文中描述本发明的许多附加特征。

在此方面，在详细地解释本发明的至少一个实施例之前，要理解本发明在其应用中不局限于以下描述中陈述或附图中图示的部件的构造或布置细节。本发明能够有其它实施例，并且可根据不同的实施例实践和执行。同样，要理解本文中使用的措词和术语是出于描述的目的，不应认为是限制性的。

在第一方面，本发明的目标和目的是改进已知的装置和方法。

另一目标是提供用于跟踪应用的具有压缩和/或cmos开窗的高速光学跟踪，所述跟踪应用在递送姿势(定向和位置)数据时要求高速和/或低等待时间。

另一目标是提供能提高跟踪速度并降低姿势数据递送的等待时间的具有压缩和/或cmos开窗的高速光学跟踪。

另一目标是提供具有压缩和/或cmos开窗的高速光学跟踪，其在嵌入式处理内实现高速/低等待时间，原因是相对于常规解决方案(没有这些特征)要处理的数据较少。

另一目标是提供能在压缩形式内传送和处理原始数据的具有压缩和/或cmos开窗的高速光学跟踪。

另一目标是提供具有压缩和/或cmos开窗的高速光学跟踪，其使用cmos开窗和基于图像的对象跟踪来加速图像传感器的读出阶段。

另一目标是提供具有压缩和/或cmos开窗的高速光学跟踪，其使用在图像传感器前方的附加微透镜阵列来实现光场应用(例如，同时采集2d图像和3d深度图)。

另一目标是提供相对于常规解决方案加速数据采集的具有压缩和/或cmos开窗的高速光学跟踪。

本发明的其它目标和优点对于读者来说将变得显而易见，并且这些目标和优点旨在包括在本发明的范围内。为了实现上述目标和相关目标，本发明可以附图中图示的形式实施；不过要注意附图只是示意性的，并且在本申请的范围内可对图示和描述的具体构造做出变化，本申请的范围不局限于本文中描述的示范性实施例。

在一个实施例中，本发明涉及一种用于高速跟踪光学基准和标记的方法，其中，

-)将至少一个基准附接到设置在对象和/或人上的标记上，所述基准由至少一个光学传感器检测，所述光学传感器提供传感器数据；

-)由所述传感器数据的数据处理步骤确定由所述光学传感器检测的所述标记的位置和/或定向；

-)通过通信装置将所确定的位置和/或定向作为经处理的数据传输到应用程序以进行进一步处理；

其中，在所述数据处理步骤中，将所述传感器数据传送到压缩模块以压缩所述传感器数据，并且其中，从所述压缩数据确定所述标记的所述位置和/或定向。

在实施例中，传感器数据读出是部分的，意味着只读取一部分传感器数据并用于后续处理，由此所述读出包含确定要被跟踪的基准的充足信息。

在实施例中，为确定所述标记的所述位置和/或定向，不压缩所述基准的部分传感器数据。

在本发明的实施例中，数据可以被压缩或者不被压缩，和/或是部分的或者不是部分的。优选地，处理(例如，压缩和/或部分，即开窗)所采集的数据以减小数据的总尺寸并减少处理时间。

在实施例中，在所述方法的数据处理步骤中，根据像素的强度，对压缩或未压缩数据分段。

在实施例中，在所述数据的分段之后，在分段图像中检测斑点并确定斑点的位置。

在实施例中，在3d重构点云和对象的几何形状之间进行几何形状匹配。

在实施例中，对数据的进一步处理包括用于跟踪光学基准和/或标记的导航应用。

在实施例中，所述数据用来控制机器人结构。

在实施例中，所述机器人结构用在外科应用中。

在实施例中，所述机器人结构由操作员，诸如外科医生，抓握。例如，机器人结构可以是智能工具，诸如由smithnephew公司制造的navio^tm外科系统，其例如在以下链接http://www.smith-nephew.com/professional/microsites/navio/中公开。

其它机器人和装置当然可以使用本发明，此示例是非限制性的。

本发明还涉及根据前述权利要求中的一项权利要求所述的用于高速跟踪光学基准和标记的装置，包括：

-)至少一个基准，所述至少一个基准附接到设置在对象和/或人上的标记，

-)具有光学传感器的光学跟踪系统，所述光学传感器通过传感器数据检测所述基准或所述标记，

-)电子装置，所述电子装置包括至少存储器和传感器数据处理装置，所述传感器数据处理装置用于通过处理传感器数据确定由所述传感器检测的所述标记的位置和/或定向，

-)通信装置，所述通信装置将所确定的所述标记的位置和/或定向传送到应用程序以进行进一步处理，

其中，所述数据处理装置至少包括用于压缩所述传感器数据的压缩模块，并且其中，由所述处理装置从所述压缩数据确定所述标记的位置和/或定向。

在实施例中，所述处理装置从所述传感器的窗口接收部分传感器数据。

在实施例中，所述装置包括接收所确定的位置和/或定向的电子装置，所述电子装置是计算机装置。

在实施例中，所述计算机装置是平板电脑或另一等同装置。

在实施例中，所述对象是标记。

在实施例中，数据的传送是通过无线方式进行的。当然，传输也可以通过有线或有线和无线的组合进行。

在实施例中，所述光学传感器包括至少一个相机。

在实施例中，使用所述装置来控制机器人结构。

在实施例中，所述机器人结构用在外科应用中。

在实施例中，所述机器人结构是智能工具，并可以由操作员，诸如外科医生，抓握。机器人结构可以是上文公开的navio^tm外科系统或另一等同结构/装置。

在实施例中，在所述方法和装置中使用的至少一个光学传感器可以是全光相机。

在实施例中，所述全光相机可以包括设置在传感器阵列前方的微透镜阵列，每个微透镜和所述传感器阵列上的底层像素形成微型相机。

在实施例中，在所述方法中读取的所述部分传感器数据可以被限定为只检索特定的微型相机像素。

在实施例中，可以使用来自至少一个微型相机的信息限定图像中基准的粗略位置。

在下面对本发明及其特征的描述中将更详细地描述本发明的实施例的所有技术手段。

附图说明

当结合附图考虑时，本发明的各种其它装置、目标、特征和伴随优点将被完全理解并被更好地理解，在附图中，相同的附图标记在若干视图中表示相同或相似的部分，并且其中：

图1：图1是使用光学跟踪对于典型配准步骤的计算机辅助外科(cas)设置的上部透视图。光学跟踪系统(10)由两个相机(11)组成，这两个相机被红外光环(11)包围。装置通过电缆(32)(例如，usb、以太网等)连接至计算机。光学跟踪系统(10)检测处于相机的视场中的基准(22)(例如，反射材料或红外发光二极管)。刚性附接在已知位置处的基准限定标记(21)。指示器(20)是具有工具尖端的标记，该工具尖端用于指向解剖界标。标记(21)(例如，用螺丝、胶带等)刚性地固定在患者(40)上。指示器由外科医生(50)抓握，其记录患者(40)身上的解剖界标。对应的界标同时在屏幕(31)上可见。屏幕通过电缆(33)连接至pc。虚拟界标和指向界标之间的对应性被称作配准，并允许知道标记在虚拟参考中的位置。在cas应用中使用配准以使计划和真实患者一致。

图2：图2是使用光学跟踪对于典型配准步骤的紧凑型计算机辅助外科设置的上部透视图。除了嵌入程度更高，更紧凑之外，该过程类似于图1。在此示例中，光学跟踪系统(10)已经嵌入计算能力(13)。不是连接至外部计算机，相机(11)和嵌入式计算单元之间的连接是在内部(34)进行的，例如，在系统(10)内。注意，图像上的电缆仅用于图示。此链接实际上且优选地将集成在电子电路中。在内部姿势计算之后，数据(例如，通过wifi、bluetooth^tm或lifi连接)被无线传送(61)到平板pc(60)。终端用户应用程序(app)在平板电脑上运行。

图3：图3是常规光学跟踪系统的流程图。基准(22)由相机传感器(例如，cmos-11)感测。对于每个相机，整个图像的像素或其子部分被读出(105)到存储器(110)。然后，数据处理单元(120)或者通过与外部pc的有线链接(见图1)或者在嵌入式处理器的情况下通过内部总线(见图2)检索图像。数据处理单元首先根据像素的强度对图像分段(121)，检测分段图像中的斑点(122)，寻找其质心、左右对应(123)并通过三角测量进一步确定其3d位置(124)。可选地执行3d点云和标记的几何形状之间的对应。此步骤被称作几何匹配(125)。如果标记(21)包括三个或更多个基准(22)，则可以计算其姿势(位置和定向-126)。最后将姿势数据(127)传送到导航应用程序(130)(例如，图1中描述的配准软件应用程序)。

图4：图4是图示本发明的实施例的总体操作的流程图。基准(22)由相机传感器(11)感测(即，检测)。相机传感器连接至低水平跟踪引擎(101)，其确定在由传感器(11)提供的图像中的一个窗口或几个窗口，其中，标记(20，21)(相应地是要跟踪的基准(22))定位在窗口中。从传感器读出局部图像(106)，并进一步传送到图像压缩模块(107)，该图像压缩模块将减小由窗口限定的子图像的存储器足迹(大小)。此压缩也能够稍后处理图像，而无需对他们进行解压缩(140)。压缩图像被进一步存储在存储器(110)中。压缩数据处理单元(140)检索部分压缩的图像。它首先根据像素的强度直接使用压缩图像对图像分段(无需任何初步解压缩)(141)，检测分段图像外部的斑点(142)，限定其质心，寻找左右对应(143)并通过三角测量确定其3d位置(144)。可选地执行3d点云和标记的几何形状之间的对应。此步骤被称作几何匹配(145)。姿势数据(127)最终被传送到导航应用程序(130)。如上文提到的，在一个实施例中，读出局部图像，并且压缩相应数据。在另一实施例中，可以设想压缩整个图像的数据(而不只是局部图像)，或者替代性地直接使用局部图像的数据，而不压缩数据。根据系统的性能和功能，这可能足以确保所需的跟踪速度。然而，如果可能，压缩部分数据是优选的方法。

图5：图5呈现了常规传感器(上)相对使用开窗的传感器(下)的时间图。注意，对于使用开窗的传感器，传感器积分时间相同，但读出被大大降低。在两种情况下，读出时间与要检索的有效像素的数量成正比。

图6：图6是使用光学跟踪的机器人辅助外科设置的上部透视图。除人类操作员(50)由机械臂(51)取代之外，该过程类似于图2。机器人(52)的末端执行器抓握标记(20)和外科工具(53)。标记和外科工具之间的几何关系是已知的。注意，患者(通过标记)和外科工具之间的转换用于在操作过程中引导机器人。这使得能够控制机器人的运动，即使患者的解剖结构在移动。需要光学姿势估计有低等待时间和快速更新速率以安全准确地控制机器人。它还对可提高的操作速度有影响。

图7：图7是在使用光学跟踪的计算机辅助外科设置中的智能工具(54)的上部透视图。智能工具被定义为手持机器人。智能工具由外科医生抓握并且根据标记和患者位置之间的关系移动。因此，除了机器人的基部不固定并由操作员抓握之外，这类似于图6的设置。

图8：图示了cmosiscmv2000的读出过程。

图9：图示了工作中的仿真器。白色圆盘是被跟踪的斑点，红色区域(或清晰线条)是行-窗口，黑色(或暗色)区域是帧的不可见部分。

图10：图示了仿真器的html输出。上面的图示出了捕获期间的读出比的曲线。用户可以使用鼠标查询事件，以查看截屏。下面的图是评估读出比的分布的直方图。

具体实施方式

a.综述

现在叙述性地转到附图，其中，相似的附图标记在若干视图中表示相似元件，这些附图图示了感测基准(22)的光学跟踪系统(10)。标记(20)由一起固定在已知方位处的三个或更多个基准形成。标记可以集成在由操作员(例如，外科医生或机器人)(50)抓握的工具(20)中/上，或者固定在要跟踪的对象/主体(例如，患者)(40)上。优选地，在跟踪系统内实现低水平处理(101，107，140)。姿势数据(127)在内部计算，并发送至平板电脑(60)或传送到外部pc(30)并在其上计算。姿势最终由终端用户应用程序(130)使用。例如，整个系统被设计成通过降低在处理期间要传送的数据量来提高总体性能(例如，提高速度、减少等待时间)，并由此赢得时间。

b.光学跟踪系统

光学跟踪系统包括一个或多个相机(11)。装置，例如，使用围绕每个红外相机的irled，从环(12)发射红外光。相机正感测设置在对象/主体上的基准(22)，以跟踪类似标记(20，21)。主要有两种类型的基准，在本发明的实施例中两种都可行，或者作为替代解决方案或者组合：

1.用回归反射材料涂布的无源基准，其包含将光(例如来自环12的irled)反射回透镜的小球，使得基准表现为红外图像中的亮点。

2.作为光源(例如，红外发光二极管-ir-led)的有源基准。当专门使用此类基准时，环(12)则是不必要的。

原始数据被进一步处理(101，107，140)，以提供基准的3d位置。当三个或更多个检测的基准为标记的部分时，可以计算其姿势。

更常用的跟踪系统是立体相机(包括两个相机的系统)，其固定在基线上。从一个相机到另一相机的转换通常由厂家校准，或者替代性地在现场校准。一旦基准被两个相机同时检测到，可以通过三角测量计算其3d位置。例如，常用的无源光学跟踪系统的示例有atracsysinfinitrack^tm、fusiontrack^tm、sprytrack^tm、northerndigitalpolaris^tm和axioscambar^tm。

光学跟踪系统通常在近红外光谱中操作，但可以替代性地设计成用于可见光谱或任何其它光谱。

光学跟踪系统可以替代性地检测标签或已知图案。诸如claronav公司的artoolkit^tm(http://artoolkit.org)或microntracker^tm的系统正跟踪具有特定标签的对象。标签/图案不被认为是基准。标签/图案具有特征点(见维基百科(wikipedia)上对特征点的解释)。这些特征点则形成基准，而在本发明的背景下标签/图案将被认为是标记。在本发明的范围内，其它等同标记手段(基准或标记)当然是可行的。

替代性地，具有三个或更多个相机的光学跟踪系统在本发明的其它实施例中是可行的。

其它类型的设置也是可行的，例如，将单个跟踪相机固定在房间中并且具有额外的校准步骤以限定其相应的转换。此方法通常用于运动捕获应用。替代性地，可以将几个多相机跟踪系统(具有已知基线)固定在房间中。

捕获有源基准(例如，红外led)的系统不需要具有图1和图2描述的led环(12)，但他们可以存在(但不使用)以便提供标准产品。

光学跟踪系统可以具有嵌入式处理功能(例如，图2)或者委托处理(例如，图1)。通过委托处理，来自原始信号的姿势计算部分地在跟踪系统内实现，并且部分地在诸如pc的外部cpu上实现。可根据情况选择一种配置或另一种配置。

c.被跟踪的工具

被跟踪的工具包括刚性地固定到(相应地集成在)仪器(20)的标记。标记(20，21)在文献中也称作刚性主体，其包括刚性地固定在一起的几个基准(22)。形成标记的基准的相对位置称作几何形状，且应当是众所周知的，以便根据3d点云估计标记的姿势。在跟踪过程(140)期间，这些基准被检测(142)、识别(143)，并且由跟踪系统借助三角测量计算其3d位置(144)。如果检测到至少三个基准，则可以使用arun配准算法(“两个3-d点集的最小二乘拟合(least-squaresfittingoftwo3-dpointsets)”，arun,1987)在跟踪系统参考中计算标记的姿势(位置+转换)。注意，被跟踪的工具可包括少于三个基准。在这种情况下，跟踪系统只可以检索减少的空间信息(小于6个自由度)。在外科应用中，被跟踪的工具被设计成是可高压灭菌的或部分/完全一次性的。

被跟踪的工具可以是用于配准目的的数字化仪，或者任何外科工具，包括钻头、活检针或诸如超声波探头、内窥镜、ct-扫描器、mri、机器人、智能工具等的术中成像。

被跟踪的工具可以由人类操作员(例如，外科医生)或机器人(见图6)、智能工具(见图7)以自动、半自动或手动方式操作。机器人的一个示例是stryker公司的makosystem^tm。智能工具的一个示例是smith&nephew公司的navio^tm。

d.pc系统

替代性地称作导航pc(30)的pc系统检索经处理的数据(32)，计算标记(20，21)的姿势，前提是此过程还没有在跟踪系统(13)中进行。pc连接至(33)(触摸)屏(31)以显示终端用户应用程序(130)。

手术室(or)中使用的典型pc系统(包括屏幕)设置在手推车上，并用框架固定在电极上以瞄准跟踪区。

pc可运行任何操作系统(windows、linux等)。

用于pc的输入装置是任何合适的系统，诸如触摸屏、鼠标、键盘、kinect等。

e.被跟踪的主体

被跟踪的主体(40)通常是手术中的患者。标记(21)(尽可能刚性地)固定在手术所针对的解剖结构上。例如，在髋骨节置换手术中，标记可固定在steinmann的指甲上。

不同的外科过程使用导航，例如植入物放置、图像引导的外科手术、神经、ent、脊柱、上颌面、肝脏手术、牙科，并且可以受益于本发明。标记(21)(用螺丝、胶带等)固定在要跟踪的解剖结构上。在实现配准步骤之后，标记应保持固定到解剖结构，否则需要重新配准。

f.操作员

操作员(50)抓握被跟踪的器械。在图1的应用中，外科医生使用数字化仪(20)指向患者(40)身上的解剖界标。在外科应用中，操作员是外科医生、助手和/或护士。替代性地，操作员可以是机器人或者在智能工具情况下是两者的组合。

g.平板电脑

除了数据传送(61)通常无线执行之外，平板电脑(60)类似于具有触摸屏的pc。

平板电脑可以是便携式pc(例如，lenovo)、phablet()、平板电脑或任何包括触摸屏的移动计算机。

平板电脑通常是医用等级和/或包裹在无菌袋中，以避免在or的无菌区内造成污染。

h.相机传感器

相机传感器(11)包括图像传感器和控制它的电子器件。例如，cmos(互补金属氧化物半导体)图像传感器(100)将光转换成电荷，并将其处理成电子信号。使用此技术，每个像素具有其自身的电荷-电压转换，并且传感器通常还包括放大器、噪声校正和数字化电路，使得芯片输出是数字位。cmos成像器将电荷转换成像素处的电压，大多数功能被集成到芯片中。cmos技术具有只读出图像的一部分的能力(也称作开窗机制)(106)。此技术用来提高总体帧速率以及减小等待时间，因为只有感兴趣的小区域(像素)被读出，并且通常可以用在本发明中。

传感器链接到专用数字电子器件，以控制芯片(例如，设置积分时间，设置像素深度检索等)以及估计基准(22)在图像(101)内的位置，以设置cmos传感器内的相应感兴趣区域(窗口)。因为较少像素被读出，智能开窗启发法能够将cmos传感器的读出时间减小通常范围从1.5到3的倍数，使得能够大大加速整个采集过程。启发法的一个示例在本描述中稍后呈现，并可在本发明的实施例中应用。

在本发明的实施例中，可以替代性地使用任何具有开窗功能的图像传感器技术。

来自图像传感器的局部图像读出被进一步压缩(107)。图像压缩算法被设计成使得图像分段过程(141)可以在不需要解压缩(任何/全部)图像的情况下完成。所产生的压缩图像进一步传送(108)到共享存储器(110)。

相机传感器可包括cmos图像传感器，其连接至微控制器或fpga控制电路。控制cmos的电子电路可以替代性地嵌入在芯片上(asic)。相机传感器可以完全被设计成用于此任务，这意味着它将包括有效的像素阵列，开窗能力和低水平跟踪引擎(101)。

相机透镜可包括经典主透镜或可由附加微透镜阵列组成，允许图像传感器通过单次捕获来记录场景的2d图像和3d深度信息(例如，https://raytrix.de/technology/,https://www.lytro.com)。将附加微透镜阵列设置在图像传感器前方修改了传感器上捕获的光。单个微透镜在传感器上创建单个图像，该图像的大小等于单个微透镜(也称作微型相机)后方的像素的大小。该捕获的子图像代表具有特定视角的场景。传感器上该图像的足迹局限于微透镜的尺寸。这意味着在该情况下，当局部读出从唯一的微透镜捕获像素，场景的完整的2d概览视图是可访问的。该类型的透镜可以安装在跟踪系统上，在一个或多个相机上，以帮助低水平跟踪引擎微调开窗算法。开窗算法可使用该局部读出来甚至以更低的分辨率可视化完整视场。使用预定义的有限读出时间可以容易地识别噪声视场。

此外，这种光场(又称全光)相机允许在后捕获上重新聚焦场深。对于来自唯一的单次捕获的每个所捕获的部分数据，开窗算法可在运行中重新配置场景的焦点。可以考虑不同的标准，诸如斑点的光学抖动或其尺寸，其相对距离，或所见3d标记的视角。

该透镜可以安装在ir限制的或可见光光谱范围的图像传感器上。在不分析3d深度信息的情况下可以只处理2d图像局部或完整数据。即使用有限的分辨率，3d深度信息也可以被部分地重构。

该光场相机可以替代性地被用作与其它相机同步或不同步的附加数据源(2d和/或3d图像)。

可以替代性地使用任何其它光场技术(例如，多相机阵列)。

i.存储器

存储器(110)存储来自相机传感器模块(100)的压缩局部图像。如果处理是嵌入式的，则主处理器将(通过内部总线)访问这些局部图像以进行进一步处理。如果处理是在外部pc上进行的，则局部图像数据由通信信道(32)传送到pc。此通信信道可以是有线的(例如，usb、以太网等)或无线的(例如，li-fi、wi-fi、蓝牙等)。

需要快速存储器来存储数据的实时流。例如，通常使用ram(例如，ddr2、ddr3)。

j.终端用户应用程序

典型的终端用户应用程序专用于图像引导外科手术、计算机辅助外科手术或机器人辅助外科手术。

用于运动捕获或康复的替代应用可以受益于所提出的发明。

还可以设想在质量控制和反向工程领域的替代性工业应用。

其它通用计量应用可以受益于本发明。

k.压缩的局部图像处理

压缩的局部图像处理(140)的目标是从原始压缩的局部图像以最小cpu资源且尽可能快速地计算标记(146)的姿势估计。整个过程在文献中是众所周知的，且例如，可以在论文“用于虚拟现实和增强现实的平价红外光姿势跟踪(affordableinfrared-opticalpose-trackingforvirtualandaugmentedreality)”tomaspintaric,2007中找到，其通过引用的方式并入本申请中。所提出的方法的创意是不需要对图像数据进行初步解压缩而执行处理。其具有需要较少的带宽来传送和处理数据的优点，这将提高更新速度，降低总等待时间。

该处理可以基本上定义如下：压缩的局部图像首先被分段(141)以寻找斑点。斑点通常是基准的图像(但替代性地可以是某种噪声)。此压缩算法的一个示例稍后在本申请中描述。然后，使用标准图像处理技术计算每个候选斑点(142)的质心。斑点被进一步识别(143)以便确定他们来自哪个基准/标记。由于已知相机传感器的几何形状(本征和非本征参数)(100)，所以可以借助三角测量(144)寻找每个基准的3d位置。该系统还试图在这些重构的3d点(145)内寻找标记的几何形状。最后，计算(146)标记的姿势(定向和位置)和/或个别基准的3d位置，并进一步传送(127)到终端用户应用程序(130)。

此处理在诸如fpga(现场可编程门阵列)、soc(片上系统)、微控制器、cpu、dsp的嵌入式处理器中进行，或直接在专用asic芯片内进行。

移动到存储器中的被捕获局部图像数据可以利用由平台提供的多种优化法。典型的优化法是触发在移动到存储器中的每组部分数据上的中断信号。一组数据可以是重构单个斑点的像素的聚集。

处理单元可以是socfpga，其具有单独的硬件fpga电路(配置有预定义操作)和硬件处理器，诸如基于arm的hps，执行诸如图像斑点分析的软件算法。fpga单元将在部分数据一准备好被处理并推入存储器中时触发信号。接着，在等待包括其它斑点位置的其它数据组之前，硬件/软件处理器可开始其软件计算。还可以并行化整个过程。

l.本发明的主元件和子元件的连接

在典型的光学跟踪设置中，光学跟踪系统(10)的每个相机(11)正感测处于视场中的基准。相机传感器(通常是cmos)连接至低水平跟踪引擎(101)，所述低水平跟踪引擎既检测图像中新基准的位置，又跟踪之前检测到的基准。通过估计预期基准所在图像中的几个窗口的位置来实现此动作。在本说明书下面详细描述的章节“用于相机传感器图像中的标记跟踪的启发性示例”提出了这种算法的可能的实施方案。从传感器(106)读出局部图像，并进一步传送到图像压缩模块(107)，该图像压缩模块将减小图像的存储器足迹(大小)。此压缩还将使得能够稍后处理图像，而不需要局部/完全解压缩(140)。下面的章节“检索压缩的局部图像中的基准质心的算法的示例”提出了此算法的可能的实施方案。压缩的局部图像被进一步传送到主存储器(110)。在嵌入式处理(13)的情况下通过内部信令系统，或者在外部pc(30)上实现处理的情况下通过传输装置(usb、以太网、wi-fi等)通知处理模块新数据可用。压缩数据处理单元(140)首先根据像素(141)的强度直接使用压缩图像作为输入对图像分段，而不解压缩数据，检测分段图像外的斑点(142)，定义其质心，寻找左右对应(143)，并借助三角测量(144)确定其3d位置。如果基准被附接到标记(20，21)，则进一步执行3d点云和标记的几何形状之间的对应。此步骤被称作几何匹配(145)。计算(146)姿势数据，并进一步传送(127)到终端用户应用程序(130)。终端用户应用程序将根据接口格式化测量值。例如，它将活检针的轨迹、数字化仪(20)相对于患者(40)的位置等告知外科医生。

m.本发明的替代性实施例

如果本发明只包括开窗机制，则它能够减少读出时间。这具有减小总体等待时间和/或提高更新速率的结果。如稍后呈现的，由于传送图像的通信时间，没有开窗的典型配置将以32hz运行。从几个实验设置，根据基准配置，添加开窗机制将使帧速率增加包括在30％到100％之间的倍数(41.6hz到64hz)。

如果本发明只包括压缩机制，则与没有压缩的32hz相比，它能够以更高的帧速率(通常为使用atracsysfusiontrack^tm系统的335hz，具有4毫秒等待时间)传送图像。高帧速率使新型应用成为可能，例如，将光学跟踪集成在机器人系统的控制回路中。

组合开窗和压缩机制(也称作超速驱动(overdrive)模式)能够使用中档部件并且只对常规跟踪系统进行几处硬件修改而获得高端系统(对于atracsysfusiontrack^tm，通常为1000hz，具有3毫秒等待时间)的性能。这允许硬件的总成本降低。

在本发明的实施例中，超速驱动模式可用来在常规单眼或立体相机上增加跟踪特征。通过常规方法，一个普通灰度或彩色相机采集完整图像并在可见光光谱和/或近ir光谱中工作。这些相机可具有或不具有围绕其透镜的照明环。在此实施例中，跟踪图像在标准相机图像之间交错。在单个相机配置中，例如“25行代码中基于模型的对象姿势(model-basedobjectposein25linesofcode)>>dementhon,1995”的算法可用来基于4个或更多个位于要跟踪对象/主体上的基准估计对象的姿势。通过使用超速驱动模式，跟踪将需要相机电子电路的较少处理和低传输带宽。因此，此混合跟踪/常规相机的总帧速率将基本上是常规相机的帧速率。另一方面，如果在常规相机中集成了双跟踪和标准采集，则全局更新速率将降低两倍(因为在无压缩情况下整个跟踪图像都需要被传送)。

应用之前的实施例的一个示例是用单个(或替代性立体)相机的头部跟踪。用户戴上附接了多个基准的眼镜。具有超速驱动模式的相机能够以快速更新速率/低等待时间跟踪头部运动(相应地跟踪眼睛位置)。混合相机可用于跟踪并同时采集图像。混合采集可用来同时操作眼镜的跟踪和视频采集(例如，视频会议)。眼睛位置的估计可用来驱动自动立体3d屏幕。

相似的混合方法可用于利用定位在头部(例如，眼镜、帽子等)上的一个或多个基准跟踪用户的头部，并同时使用对常规图像的图像处理以检测诸如眼睛、鼻子、嘴的其它特征。这些新检测的特征能够细化跟踪的初始姿势估计。替代性地，基准的跟踪能够引导图像中的特征检测和/或使其更快。

在本发明的实施例中，不是使环照亮反射基准，有源led可以被无线地同步(光学同步、wi-fi、蓝牙、li-fi等)到相机采集，使得led只在相机正感测光子时是有源的。此机制能够通过只使用现有的相机硬件得到如之前描述的混合相机(跟踪/图像采集)。这种相机可以是网络摄像机、工业相机、安全相机等。

在本发明的实施例中，混合相机用于安全应用。执行跟踪以检查对象(配备有一个或多个基准)是否已经移动，或估计视场内的特定参数(例如，地板、门、限制区域等的位置)。

在本发明的实施例中，不是跟踪之前描述的有源/无源基准，所述系统使用开窗机制在局部图像上以高帧速率提取和跟踪sift(缩放不变性特征转换)特征。混合模式将能够采集与局部图像交错的完整图像。两种速率都可被独立地配置(同步或异步)。可以替代性地使用任何其它图像特征(例如，轮廓/边缘描述符，颜色/纹理描述符等)。

在本发明的实施例中，不是跟踪基准，所述系统可以捕获高速通用1d信号(例如，光谱)。使用2d传感器(如本发明中提出的)来代替1d传感器对能够并行化处理(例如，在2d传感器上具有多个1d信号)和/或能够校正图像传感器上用1d传感器不可行的信号的完美对准可能是有趣的。超速驱动机制能够提高总更新速率(数据速率)并减少等待时间。

在本发明的实施例中，开窗启发法可输入由诸如惯性测量单元(imu)的外部传感器提供的信息。imu具有以较高帧速率或使用交错式数据采集工作的能力。因此，可以在相机参考帧中内插基准的位置以便缩小开窗搜索。此方法将减少搜索区(窗口)，使得检测启发法更鲁棒，并实现更高的帧速率/减小等待时间。

在本发明的实施例中，所描述的光学跟踪系统可以用于医学机器人应用中。基准(相应地是标记)可设置在机器人(例如，在其末端执行器上)和患者上。机器人控制包括来自高速、低等待时间的光学跟踪系统的数据，例如，以实时补偿手术期间患者的运动。

在本发明的实施例中，所描述的光学跟踪系统可以用在智能工具机器人应用中。此配置非常类似于之前的配置，除了外科医生将抓握机器人之外。除了之前的益处，此设置能够使外科医生更快速地(并且更自然地)移动，因为减少了等待时间并且提高了更新速率。

本文已经描述和图示的是本发明的优选实施例及其一些变形。本文中使用的术语、描述和附图仅以图示的方式提出，并不意味着限制。本领域技术人员将认识到在本发明的精神和范围内许多变形是可行的，其中，除非另有说明，否则所有术语均以其最宽泛、合理的意义解释，。本说明书中使用的任何标题只是出于方便，不具有任何法律或限制作用。

已经描述了示范性实施例，以提供对本文中公开的系统和方法的结构、功能、制造和使用的原理的整体理解。这些实施例中的一个或多个示例在附图中图示。本领域技术人员将理解本文中具体描述并在附图中图示的系统和方法是非限制性示范性实施例，并且本发明的范围不只由权利要求书限定。结合一个示范性实施例图示或描述的特征可以与其它实施例的特征组合。这种修改和变形旨在包括在本发明的范围内。常规方法和系统的许多问题在本文中被谈到，并且本文中公开的方法和系统可以解决这些问题中的一个或多个。描述这些问题，不旨在对本领域的知识做任何承认。本领域普通技术人员将认识到本发明的范围不如此受到限制。而且，尽管已经结合许多实施例描述了本发明，但显然许多替代、修改和变形将或对可应用领域的普通技术人员是显而易见的。因此，旨在包括在本发明的范围内的所有这些替代、修改、等同和变形。

元件索引

10：光学跟踪系统

11：相机

12：irled环

13：内部cpu资源

20：被跟踪的工具

21：标记

22：基准

30：pc系统

31：(触摸)屏

32：与pc的有线连接

33：屏幕和pc之间的连接

34：与嵌入式cpu的内部连接

40：被跟踪的主体

50：操作员

51：机器人

52：机器人的末端执行器

53：外科工具

54：智能(机器人)工具

60：平板电脑

61：到光学跟踪系统的无线连接

70：n/a

80：n/a

90：n/a

100：相机传感器

105：像素读出到存储器

106：局部图像读出到图像压缩器

107：图像压缩器

108：压缩图像传送到存储器

110：存储器

120：数据处理

121：图像分段模块

122：斑点检测模块

123：斑点识别模块

124：三角测量模块

125：几何匹配模块

126：姿势计算模块

127：姿势数据传送到应用程序

130：终端用户应用程序

140：压缩的局部图像处理

141：具有局部压缩图像的图像分段模块

142：斑点检测模块

143：斑点识别模块

144：三角测量模块

145：几何匹配模块

146：姿势计算模块

147：姿势数据传送到应用程序

附件1：用于在相机传感器图像中标记跟踪的启发性示例

在外科应用中机器人的使用处于上升阶段。与计算机辅助外科系统的传统应用相比，这些新应用在设计上受等待时间约束更多。实际上，机器人需要较少的等待时间以准时对外部事件作出反应。这在人类生命危在旦夕的外科应用中尤其关键。atracsys公司的高端跟踪解决方案称作fusiontrack^tm。它能够以超过330hz流化并处理立体图像。尽管其帧速率相当高，但客户指出其4毫秒的平均等待时间并不满足实时需要。为了将其降低到3毫秒，我们将：

1.粗略地分解fusiontrack^tm的等待时间的贡献因素，以说明瓶颈是cmos传感器的读出(第1部分)；

2.设计启发式开窗预测器来以更高的帧速率跟踪斑点(第2部分)。

a1.fusiontrack^tm的等待时间分解

我们将立体跟踪系统的等待时间定义为图像曝光与处理后其递送到用户应用之间经过的时间。在fusiontrack^tm上，此时间可以大致划分为曝光时间、读出时间、压缩时间、存储器存取时间、传输时间和处理时间。这些贡献因素中的一些被管道化：例如，图像在从传感器读出时由硬件压缩并存储在存储器中。然而，我们必须付出传感器读出、传输和处理时间的全部代价。

cmosiscmv200，即在fusiontrack^tm中使用的cmos传感器，已经尝试通过提供16个读出通道读取2048×1088×10位帧来分摊读出成本。更精确地讲，10位像素从每个通道以128个相邻列的批处理按顺序迸发。图8概括了此读出过程。

读出时钟是240-mhzddr时钟，因此，读出单个像素的时间是：

10比特/像素×2.083纳秒/比特＝20.8纳秒。

因此，读取整行的时间是：

10比特/像素×128像素/脉冲×2.083纳秒/比特＝2.7微秒。

读取整帧的总时间如下：

1088行/帧×(20.83+2667)纳秒/行＝2.9毫秒。

总之，读出时间约占4毫秒等待时间的75％。通过amdahl定律，分解剩余的贡献因素是不必需的，因为我们需要完全消灭它以达到3毫秒等待时间的目标。

a2.将他们排除在外的高度行

cmosiscmv2000以行-开窗功能为特色。更精确地讲，邻接行的8个范围可从传感器读出，而不是完整图片。我们的想法是基于当前帧通过预测下一帧的感兴趣的行-窗口(即包含被跟踪斑点的那些行-窗口)限制正被读出的帧的部分。此工作基于以下假设：

1.读取帧的1/n将粗略地将读出时间除以n，意味着：

a.写入以及传感器采用新的行-开窗配置的时间是可忽略的，以及

b.可在当前帧的读出期间计算下一帧的行-开窗。

这些假设中的每一个将在下面部分中讨论。

a2.1.配置开销

行-开窗配置存储在通过spi编程的传感器的寄存器中。spi时钟具有48-mhz频率，并且高达34个8位寄存器需要被编程(2个规定总的16位行数被读出，并且每个窗口4个)。写入8位寄存器需要写入16位(1个r/w位，7个地址位和8个数据位)。由于多个spi写入可能是迸发的，更新行-开窗配置的时间可以估计如下：

34个寄存器×16位/寄存器×20.833纳秒/位＝11.3微秒

小于当前读出时间的超过270倍，这似乎验证了假设1a。

a2.2.用于光学跟踪的行-开窗启发法

在该部分中，我们设计了用于行-开窗光学跟踪的启发法。因为它将在可编程硬件中实现，所以该启发法必须足够简单以限制实施成本。

作为起点，简单的方法是将帧均匀地分成8个行-窗口，并基于帧i的内容激活帧i+1上的内容。换言之，对于8个均匀划分的行-窗口中的每一个，如果帧i上的内容包含被跟踪斑点，则我们激活帧i+1上的内容。尽管此方法奏效，但它具有许多缺点，其中第一个是如果被跟踪斑点与均匀行-窗口的高度相比很小，则其缺乏有效性。为了解决此问题，我们可查看帧i上给定行-窗口的内容，并更新其边界，使得其被钳制到帧i+1上的内容。尽管这将提高启发法的性能，但会大大降低其可靠性，因为移动的斑点将快速地丢失。因此，必须执行边界钳制，以便在给定行-窗口的内容的顶部和底部分配安全区。确定此安全区的高度取决于用户应用。更精确地讲，它将取决于斑点的速度和传感器的光学抖动。

最后，另一个问题是未被跟踪的斑点可能出现在帧的不可见区域中，原因是预测器没有访问整个帧。第一种解决方案可以是忽略此问题，并确保在实验的持续时间内从不引入新的斑点。此情景导致所有斑点被跟踪之前只在初始化阶段中有开销等待时间。然而，无论是因为其速度还是因为其超出工作体积，在不期望的斑点丢失的情况下，这将迫使用户返回初始化阶段。总之，选择是否解决不可见斑点的问题将留给使用者。因此，我们考虑两种方法：

1.在给定间隔，可以捕获一个完整帧，或者

2.滑动的行-窗口可以连续地扫描帧。

第一种方法在读出期间产生尖峰。这意味着在帧的持续时间内，所述系统可能回退到其原始的4毫秒等待时间。这是不可接受的，因为如果它与用于机器人控制器的感兴趣事件重合，则将导致不一致的反馈等待时间。因此，我们将研究限制到第二种方法。

最后，注意，尽管这可能验证假设1b，但我们仍需要证明此方法在实践中奏效，并提出一种并行化帧读出和上面详述的预测的设计。

a2.3.结果

为了评估在a2.2部分中描述的行-开窗启发法的影响，我们已经实施了仿真器。它试图基于帧i的内容预测帧i+1的行-开窗配置。对于量化评估，它实时地用图形显示了行-窗口和被跟踪的斑点，并保存需要进一步注意的事件的截屏(读出比，即被读出的帧部分或不可见斑点，的改变)。最后，它输出自动化html报告，其显示了读出比曲线，直方图和丢失的斑点。图9显示了仿真器的截屏，即工作中的仿真器，其中，白色圆盘是被跟踪的斑点，红色/清晰区域或线条是行-窗口，黑色/暗色区域是帧的不可见部分。图10显示了所生成的报告的一个示例。

总之，我们证明了只要环境可控，用于行-开窗的光学跟踪的启发法是有价值的。为了克服环境风险，除了行-开窗预测器之外，必须对采集管道增加读出时间监测机制。这将允许终端用户根据专用时间约束检测决定是否基于过时的数据。

图10图示了仿真器的html输出。上面的图形示出了在捕获期间读出比的曲线图。用户可以使用鼠标查询事件以看到截屏。下面的图形是评估读出比的分布的直方图。

附件2.检索压缩的局部图像中的基准质心的算法的示例

在委托处理中(如图1中呈现)，图像数据完全在计算机上处理。这不是现代处理器的局限，因为仍遵循摩尔定律。唯一的缺点是数据从跟踪系统传输到计算机。如果我们考虑吉比特以太网连接(其现在可用在任何pc上)以及由两个full-hd灰度相机组成的系统，其中，像素深度为8位，我们得到最大理论更新速率为：

1024^3/(8*2*1920*1080)＝32hz

提高更新速率的一种好方法是压缩跟踪系统中的图像，并在计算机中对他们进行解压缩。遗憾的是，此方法需要计算机上更多的数据处理装置，因为在被进一步处理之前，图像必须被首先解压缩。

现代光学跟踪要求精度和速度。通过使用具有高分辨率的相机来实现精度，并且需要快速更新速率来减少应用中真实运动和其对应测量之间的等待时间。

举例来说，由光学跟踪驱动的机器人系统的速度与跟踪系统的更新速率和等待时间直接关联。

我们提出通过提供不需要任何解压缩能够直接由处理单元(例如，pc)使用的压缩表示，来解决计算机上的解压缩开销的缺点。

●此方法的第一优点是更新速率受压缩效率的限制(因为在处理链中传输是最弱的环节)。

●我们的发明的另一优点是由于压缩图像能够更高效地存储在处理器的高速缓存中，所以它将被更快地处理。

实际上，使用我们开发的压缩法，在典型配置(参见图a1.2)中得到提高了10倍的最大更新速率。此压缩算法只能够压缩完整的8位图像。它表示如下：

压缩算法产生以下输出：

●输出数据包括8位，msb区分白色像素和黑色像素：

○1意味着7个lsb是原始像素强度除以2；

○意味着7个lsb是连续黑色像素的数量。存在以下例外：

■0x80意味着128个连续黑色值；

■0x00之后是在2个字节上编码的值(小字节序，即首先是lsb)指示完全黑色线条的数量。此0x00字节的地址必须是16的倍数；

●任何其它0x00被忽略(这是非操作指令字符，由必须写入16字节的倍数的fpga使用)。

这种压缩方法的优点是易于直接在压缩图像(不需要解压缩)中得到斑点的(x，y)坐标。

这种表示能够通过使用线-扫描填充算法的适应性版本高效地从压缩图像中提取斑点。扫描线填充算法(https://en.wikipedia.org/wiki/flood_fill#scanline_fill)是洪水填充算法的优化。不是将每个潜在未来的像素坐标推送到栈，它检查相邻线(前一条线和下一条线)来寻找可以在未来传递中填充的相邻分段；线段的坐标(或者是开头或者是结尾)被推送到栈。在大多数情况下，此扫描线算法比按像素算法快至少一个数量级。

我们能够以335hz的速度运行所描述的配置，其比非压缩版本快超过10倍。