用于探测和追踪图像姿态的图像导航系统的制作方法_3

文档序号:9653302阅读:来源:国知局
照相机提供可视参考点以进行探测,以供计算机系统使用从而追踪该追踪组件的位置和运动,进而追踪该口腔夹具的位置和运动。在实施例中,该追踪图案可以包括追踪组件200的表面上分隔开的一系列不可重复的快速参考(non-r印etitiveQuick Reference)或QR码。申请序列号为14/209,500的申请描述了一些可以用于本申请的追踪图案。图10绘不了可以用于本申请的2D追踪图案。
[0051]也可以使用条形码、Aztec码或其它2D码或图形图像。优选地,该图案使用有鲜明对比的颜色,诸如黑色(密集的交叉影线示出的)和白色,以便于系统探测和识别。设置棋盘方格(checkerboard squares)的布局使其可以很容地和快速地被识别。应当预计,也可以使用其他机制提供需要的参考数据,该参考数据包括LED、数据矩阵、数据图像或者类似于盲文的高或低的特征(raised or lowered features)。该追踪图案208可以形成在粘附于该追踪组件的框上的材料层上。可选地,该追踪图案可以塑造在或刻蚀在或者直接放置在该框上。
[0052]预计为了便于探测,可以配置夹具追踪组件200提供逆光或其它机理以增加追踪图案210的对比。如果追踪组件是背光的,那么优选地,追踪图案210由至少部分透明的或半透明的材料制成,从而增强对比。预计也可以使用荧光材料以便于探测。
[0053]现在参考图7-9,示出了根据一个实施例的手术工具追踪组件300,其安装在手术牙科工具302诸如钻子上或安装在手术牙科工具302的一部分上。该工具追踪组件300包括工具底座304,其配置为将工具图案表面306固定至该工具302。该工具底座304包括开口 308,其以固定的方式安装在工具302的体310周围,使得该追踪组件与该手术工具一起移动。可以利用本领域公知的很多不同的机械装置完成该附接。例如,该工具追踪组件附接有例如夹头或类似公知的机械装置,可以将该夹头或机械装置可拆卸地拧到或压制到该工具体,从而将该工具追踪组件固定到该工具。可以包括孔以允许冲洗管子和照相机线。
[0054]类似于该夹具追踪图案210,工具追踪图案308放置在或形成在该工具图案表面306上。工具追踪图案308是光学可视图案,其配置以为外部安装的照相机提供可视参考点从而进行探测,以供计算机系统使用从而追踪该工具追踪组件300的位置和运动。图10中不出的图案可以用作工具追踪图案。
[0055]现在参考图11,其示出了追踪贴片400的实施例。在该实施例中,追踪贴片400包括追踪图案210的部分。更具体地,当四个追踪贴片设置为如图11所示时,这四个贴片的交叉点限定了如由虚线指示的该追踪图案210。在该绘示的实施例中,轻的交叉影线框(lightly crosshatched boxed)在本发明的范围内即可以是黑色的也可以是白色的。对轻的交叉影线框以及贴片400上的其他框的颜色的选择允许唯一地限定贴片,使得系统可以识别单个贴片400。
[0056]使用追踪贴片400会有几个优点。第一,平均每个贴片包括大概50%的强度(即50%亮的和50%暗的)。这会提高计算机系统通过照相机对贴片中的框的探测能力,可以通过允许计算机系统调整照相机的增益和曝光来最大化探测性能。同样,当将四个贴片400设置为如图11所示时,每个追踪贴片400包括至少13个定义点402,其在优选的实施例中是X-角,即具有相反颜色(即黑色(密集的交叉影线)和白色)的相邻框之间的两条交线的中心点。选择如所定义点的X-角的优点为,可以将中心点的位置定位至亚像素精度,并且该位置在典型的图像退化下是稳定的,尤其在照明过度和照明不足以及传感器噪声中。然而,可以利用其它类型的定义点以及不同类型的定义点的结合,例如圆或其它形状的质心,以及在形状上具有明显角度的区域的拐点。更具体,并且参照图11A,其是四个相邻框具有相反颜色的放大视图,线408将具有相反颜色(404为白色,406为黑色(密集的交叉影线))的相邻框分开。在一个实施例中,编程系统使其探测两个截然不同的颜色,本例中为白色和黑色,并且在具有这些颜色的相邻框之间设置线。例如,当系统探测到两个相邻的截然不同的颜色时,其在这些截然不同的颜色框中寻找一系列两个或多个相邻点A、B,并且在该系列点A、B之间定义线408,进而在两个相邻的块404、406之间定义线408。为了探测具有交替的、截然不同颜色的四个相邻框,系统会分析该模式,该四个相邻框形成了图11A中的方块。两个框之间的线408的交点穿过定义点402。探测图像中X-角的可选方法为本领域技术人员公知的通过分析Harris角探测器中的图像结构张量。在最广泛的实施例中,每个贴片都是图案的唯一可识别(不模糊的)的子集。同样预测,贴片可以与其它贴片重叠,并且不需要将其定形成一系列方块形,而可以是奇怪的形状。
[0057]在具有不是X-角的定义点的实施例中,可以使用对定义点的特定形状敏感的替代探测算法。例如,如果定义点包括圆形特征点质心,可以使用这样的算法,诸如拉普拉斯-高斯算法、高斯差分或海森行列式算法。
[0058]如上讨论的,当将四个贴片400设置为如图11时,每个追踪贴片400包括至少13个定义点402。该系统包括多个图案上的查找表或存储的数据,包括框的尺寸和设置(例如位置)以及不同图案中的定义点。该系统还包括用于将图案数据转换成目标坐标系统的变换(变换矩阵)。优选地,该变换是刚体变换或3D仿射变换,包括3D旋转、平移、缩放以及反变换。预计该变换可以包括非线性变形以使该设置符合非平面表面。
[0059]更具体地,在一个实施例中,每个贴片具有以下特征:(i)其包含具有两种(或更多种)截然不同颜色(优选地,白色和黑色)的方格;(ii)定义点只出现在该格的位置(交点),并且(iii)印在平面表面上,这意味着在透视成像下(即当由记录图像的照相机在任意方向上观察到的),贴片似乎由局部仿射变换(意味着印刷的方形贴片将在图像中看似被拉伸和歪曲成棱形)进行了变形。
[0060]对于使用了平面贴片的情况(即贴片上的格印刷在平面表面上),诸如图3中的图案贴片设置,该系统对每个定义点做如下分析:
[0061]a.定位相邻的定义点。更具体地,在一个实施例中,定义点可以是简单的另一个定义点的邻居(基于欧几里得距离)。在另一个实施例中,临近距离可以由沿着高对比度边缘的距离替代。可以考虑很多其他距离函数。
[0062]b.利用被分析的定义点和临近的定义点,确定该定义点和其临近的定义点中的两个之间的一对基向量。
[0063]c.然后利用该基向量计算校正的仿射变换,其将会将棱形图像路径(image path)变换成方形图像路径,这些角中的三个是定义点和其两个临近的定义点(即将探测到的图像中定义点的位置转换成在平面印刷的贴片中使用的方格的变换)。
[0064]d.然后,假设探测到的该三个点在贴片的角和边缘处,那么系统利用该反射变换来预测每个格的位置将会位于图像中什么位置(实质上根据该仿射变换在具有歪曲格的图像上创建了覆盖部分)。
[0065]e.在每个预测的格位置分析该图像以计算描述符(descriptor)。描述符描述了局部区域。在一个实施例中,它是表示贴片的9 X 9矩阵,该矩阵中的每个元素是X-角类型。该X-角类型应用至局部2D坐标系统中,即该基向量定义了局部坐标系统,该局部坐标系统允许用“右”和“上”定义。在该坐标系统中,如果左上方的图像路径是亮的(并且右上方式暗的),那么该X-角就是向左的,如果出现相反的图案,那么就是向右的。因此,矩阵中的每个元素或者是向左的、向右的,或者没有探测到X-角。
[0066]f.然后,计算出分数,该分数表示该描述符与存储的编码方案的匹配程度。在本发明中,可以在景象的部分位置探测到X-角,这些部分位置不在图案之内。同样地,很多选择的三个临近的定义点的结合事实上也可能不与贴片的角和边缘对应。为了分析这些伪探测,需要证实该X-角的结构与所选的编码方案的内部关系是一致的。在优选的实施例中,不同格的位置之间具有定义的关系(例如,每个贴片在已知的位置(即点,由于选择的编码方案X-角,该点保证会出现)具有四个配准标记R,所有标记具有与这四个贴片角中的每一个相同的方向),这会便于测试该假设,即三个特征分别位于贴片角和2个临近的贴片边缘。配准标记是贴片的一部分,无论特定的贴片的编码的标识是什么,该标记都是恒定的。因此,该9X9矩阵的元素之间具有预定的关系。例如,在一个实施例中,贴片角(元素[0,0] ;[8,0] ;[0,8] [8,8]以及配准标记(元素[2,2] ; [6,2] ; [2,6] ;[6,6])都是具有相同X-角类型(向左或向右)的X-角)。具有与这些预定的关系不一致的结构的描述符是被拒绝的。
[0067]g.一旦系统证实已知的关系存在,那么为了确定对被观察的贴
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1