用多个微型摄像头和微型图案投射器的口内3D扫描仪的制作方法

文档序号:34362840发布日期:2023-06-04 18:15阅读:49来源:国知局
用多个微型摄像头和微型图案投射器的口内3D扫描仪的制作方法

本发明大体涉及三维成像,更具体地说,涉及使用结构光照射的口内三维成像。


背景技术:

1、受试者的口内三维表面(例如牙齿和牙龈)的牙印模用于规划牙处置。使用填充有受试者咬合的印模材料(例如pvs或藻朊酸盐(alginate))的牙印模托盘来制作传统牙印模。然后,印模材料固化成牙齿和牙龈的负印记,由此可以形成牙齿和牙龈的三维模型。

2、数字牙印模利用口内扫描来生成受试者的口内三维表面的三维数字模型。数字口内扫描仪通常使用结构光三维成像。受试者牙齿的表面可以是高反射性的并且有些半透明,这可以降低从牙齿反射的结构光图案中的对比度。因此,为了改善口内扫描的捕获,当使用利用结构光三维成像的数字口内扫描仪时,在扫描之前,受试者的牙齿经常涂有不透明的粉末,以便于结构光图案的对比度达到可用级别,例如,为了将表面转变成散射表面。虽然利用结构光三维成像的口内扫描仪已经取得了一些进展,但是可以具有额外的优点。


技术实现思路

1、结构光三维成像的使用可能导致“对应问题”,其中,需要确定结构光图案中的光点与观察图案的摄像头所看到的光点之间的对应关系。解决该问题的一种技术是基于投射“编码的”光图案并从一个或更多个视点成像照射场景。对发射的光图案进行编码使得光图案的各个部分在被摄像头系统捕获时是唯一且可区分的。由于图案被编码,因此可以更容易地找到图像点和投射图案的点之间的对应关系。可以对解码的点进行三角测量并恢复三维信息。

2、本发明的应用包括与三维口内扫描装置有关的系统和方法,该三维口内扫描装置包括一个或更多个摄像头以及一个或更多个图案投射器。例如,本发明的某些应用可以涉及具有多个摄像头和多个图案投射器的口内扫描装置。

3、本发明的其他应用包括用于解码结构光图案的方法和系统。

4、本发明的其他应用可以涉及利用非编码结构光图案的三维口内扫描的系统和方法。例如,非编码结构光图案可以包括均匀的光点图案。

5、例如,在本发明的一些特定应用中,提供了一种用于口内扫描的装置,该装置包括在远端具有探头的细长的手持棒。在扫描期间,探头可以被配置为进入受试者的口腔内。一个或更多个光投射器(例如,微型结构光投射器)以及一个或更多个摄像头(例如,微型摄像头)结合到设置在探头远端内的刚性结构。每个结构光投射器使用光源(例如激光二极管)发射光。每个光投射器可以被配置为当光源被激活时投射由多个投射器光线限定的光图案。每个摄像头可以被配置为捕获多个图像,这些图像描绘了口内表面上投射的光图案的至少一部分。在一些应用中,结构光投射器可具有至少45度的照射场。可选地,照射场可以小于120度。每个结构光投射器还可以包括图案生成光学元件。图案生成光学元件可以利用衍射和/或折射来生成光图案。在一些应用中,光图案可以是离散的未连接的光点的分布。可选地,当光源(例如,激光二极管)被激活以发射通过图案生成光学元件的光时,光图案在距离图案生成光学元件1mm和30mm之间的所有平面处保持离散的未连接的光点的分布。在一些应用中,每个结构光投射器的图案生成光学元件可以具有至少80%(例如,至少90%)的光通量效率,即落在图案生成器上进入图案的光的比例。每个摄像头包括摄像头传感器和包括一个或更多个透镜的物镜光学器件。

6、在一些应用中,激光二极管光源和衍射和/或折射图案生成光学元件可以提供某些优点。例如,激光二极管和衍射和/或折射图案生成光学元件的使用可以帮助维持能量有效的结构光投射器,以防止探头在使用期间升温。此外,这些部件可以通过不需要在探头内进行主动冷却来帮助降低成本。例如,现今的激光二极管可以使用小于0.6瓦特的功率,同时以高亮度连续发射(例如与现今的发光二极管(led)相比)。当根据本发明的一些应用进行脉冲时,这些现今的激光二极管可能使用甚至更少的功率,例如,当以10%的占空比进行脉冲时,激光二极管可以使用小于0.06瓦特(但是对于一些应用,激光二极管可以使用至少0.2瓦特同时以高亮度连续发射,并且当进行脉冲时,可以使用甚至更少的功率,例如,当以10%的占空比进行脉冲时,激光二极管可以使用至少0.02瓦特)。此外,衍射和/或折射图案生成光学元件可以被配置为利用大部分(如果不是全部的话)发射光(例如与阻止一些光线达到对象的掩模相比)。

7、特别地,基于衍射和/或折射的图案生成光学元件通过光的衍射、折射或干涉或上述的任何组合生成图案,而不是通过透明或透射掩模进行的光调制。在一些应用中,这可能是有利的,因为光通量(throughput)效率(进入图案的光与落在图案生成器上的光的比例)接近100%(例如,至少80%,例如,至少90%),而与“基于面积的占空比”模式无关。相反,透明掩模或透射掩模图案生成光学元件的光通量效率与“基于面积的占空比”直接相关。例如,对于所需的100:1的“基于面积的占空比”,基于掩模的图案生成器的通过效率将是1%,而基于衍射和/或折射的图案生成光学元件的效率保持接近100%。此外,由于激光器固有地具有较小的发射面积和发散角,导致每单位面积更亮的输出照射,所以激光器的光收集效率比具有相同总光输出的led高至少10倍。激光器和衍射和/或折射图案生成器的高效率可以帮助实现热效率配置,其限制探头在使用期间显著升温,从而通过潜在地消除或限制探头内的主动冷却的需要来降低成本。虽然在一些应用中激光二极管和doe可能是特别优选的,但它们单独或组合使用不是必要的。包括led的其他光源和包括透明和透射掩模的图案生成元件可以在其他应用中使用。

8、在一些应用中,在不使用诸如用不透明粉末涂覆牙齿等对比度增强方式的情况下,为了改善结构光照射下的口内场景的图像捕获,发明人已经意识到离散的未连接的光点的分布(例如而不是线条)可以在提高图案对比度同时保持有用的信息量之间提供改进的平衡。在一些应用中,未连接的光点具有均匀(例如,不变)的图案。一般而言,更密集的结构光图案可以提供更多的表面采样,更高的分辨率,并且能够更好地拼接从多个图像帧获得的相应表面。然而,结构光图案太密集可能导致更复杂的对应问题,因为存在更多数量的光点要解决对应问题。另外,更密集的结构光图案可能由于系统中更多的光而具有较低的图案对比度,这可能是由(a)杂散光和(b)渗透(percolation)的组合引起的,该杂散光从牙齿的有些光滑的表面反射出来并且可能被摄像头捕捉到,渗透即为一些光进入牙齿,在牙齿内沿多个路径反射,然后在许多不同的方向上离开牙齿。如下文进一步描述的,提供了方法和系统用于解决由离散的未连接的光点的分布所呈现的对应问题。在一些应用中,来自每个投射器的离散的未连接的光点可以是非编码的。

9、在一些应用中,每个摄像头的视场可以是至少45度,例如,至少80度(例如85度)。可选地,每个摄像头的视场可以小于120度,例如小于90度。对于一些应用,一个或更多个摄像头具有鱼眼透镜或提供高达180度视角(viewing)的其他光学器件。

10、在任何情况下,各种摄像头的视场可以相同或不同。类似地,各种摄像头的焦距可以相同或不同。本文使用的每个摄像头的术语“视场”指的是每个摄像头的对角视场。此外,每个摄像头可以被配置为聚焦在距离与相应的摄像头传感器相距最远的透镜1mm到30mm之间,例如,至少5mm和/或小于11mm,例如9mm-10mm的对象焦平面处。类似地,在一些应用中,每个结构光投射器的照射场可以是至少45度并且可选地小于120度。发明人已经认识到,通过组合所有摄像头的各个视场而实现的大视场由于减少的图像拼接错误量可以提高准确度,尤其是在无牙区域中,其中牙龈表面光滑并且可能存在更少的清晰的高分辨率三维特征。具有更大的视场使得诸如牙齿的整体曲线等大的光滑特征能够出现在每个图像帧中,这提高了拼接从多个这样的图像帧获得的各个表面的精度。在一些应用中,各种摄像头(例如,口内扫描仪)的整个组合的视场沿细长手持棒的纵轴在约20mm和约50mm之间,并且沿z轴约20-40mm,其中z轴可以对应于深度。在其他应用中,视场沿纵轴可以是至少20mm、至少25mm、至少30mm、至少35mm或至少40mm。在一些实施例中,组合的视场可随深度(例如,随扫描距离)而变化。例如,在大约4mm的扫描距离处,视场沿纵轴可以是大约40mm,在大约14mm的扫描距离处,视场沿纵轴可以是大约45mm。如果口内扫描仪的大部分运动是相对于扫描仪的长轴(例如,纵轴)完成,则扫描之间的重叠可能是大量的。在一些应用中,组合的摄像头的视场不连续。例如,口内扫描仪可以具有以固定间隔与第二视场分离的第一视场。固定间隔可以例如沿细长手持棒的纵轴。

11、在一些应用中,提供了一种方法,用于生成口内表面的数字三维图像。应注意,作为在本技术中使用的短语的“三维图像”是基于三维模型(例如点云),从该三维模型构建三维口内表面的图像。所得到的图像虽然通常显示在二维屏幕上,但是包含与被扫描对象的三维结构有关的数据,因此通常可以被操纵以便从不同的视图和视角显示被扫描的对象。另外,可以使用来自三维图像的数据来制作被扫描对象的物理三维模型。

12、例如,可以驱动一个或更多个结构光投射器以在口内表面上投射离散的未连接的光点的分布,并且可以驱动一个或更多个摄像头以捕获投射的图像。由每个摄像头捕获的图像可以包括至少一个光点。

13、每个摄像头包括具有像素阵列的摄像头传感器,对于每个像素,在三维空间中存在源自该像素的相应光线,该光线的方向朝向被成像的对象;当在传感器上成像时,沿这些光线中的特定的一个的每个点将落在传感器上其对应的相应像素上。如在本技术全文中所使用的,包括在权利要求中,用于此的术语是“摄像头光线”。类似地,对于来自每个投射器的每个投射光点,存在相应的投射器光线。每个投射器光线对应于至少一个摄像头传感器上的相应的像素路径,即,如果摄像头看到由特定投射器光线投射的光点,则该光点必须由与该特定投射器光线对应的像素的特定路径上的像素检测。(a)与每个摄像头的摄像头传感器上的每个像素相对应的摄像头光线的值以及(b)与来自每个投射器的每个投射的光点相对应的投射器光线的值可以在校准过程期间存储,如下所述。

14、基于存储的校准值,处理器可以用于运行对应算法,以识别表面上每个投射光点的三维位置。对于给定的投射器光线,处理器“查看”其中一个摄像头上的相应摄像头传感器路径。沿该摄像头传感器路径的每个检测的光点将具有与给定投射器光线交叉的摄像头光线。该交叉点定义了空间中的三维点。然后,处理器在其他摄像头上的与给定投射器光线相对应的摄像头传感器路径中进行搜索,并识别有多少其他摄像头在它们的与给定投射器光线对应的相应摄像头传感器路径上还检测到光点,该光点的摄像头光线在空间中与三维点相交。如本技术全文所使用的,如果两个或更多个摄像头检测到其相应的摄像头光线与给定投射器光线在空间中的相同三维点处相交的光点,则认为摄像头“同意”该光点位于该三维点处。因此,处理器可以基于两个或更多个摄像头同意在某些交叉点处存在投射器光线投射的光图案来识别投射的光图案的三维位置。沿摄像头传感器路径对额外的光点重复该过程,并且将摄像头“同意”的最大数量的光点识别为从给定投射器光线投射到表面上的光点。因此,针对该光点计算表面上的三维位置。

15、一旦确定了特定光点在表面上的位置,则可以不考虑投射该光点的投射器光线以及与该光点相对应的所有摄像头光线,并且可以对下一个投射器光线再次运行对应算法。最终,识别的三维位置可以用于生成口内表面的数字三维模型。

16、在另一示例中,生成口内表面的数字三维模型的方法可以包括使用设置在口内扫描仪远端的探头中的一个或更多个光投射器将离散的未连接的光点的图案投射到患者的口内表面上,其中离散的未连接的光点的图案是非编码的。该方法还可以包括使用设置在探头中的两个或更多个摄像头捕获未连接的光点的投射的图案的多个图像,解码投射的图案的多个图像以便确定口内表面的三维表面信息,并且使用三维表面信息生成口内表面的数字三维模型。解码多个图像可以包括访问将对应于两个或更多个摄像头的每一个的摄像头传感器上的像素的摄像头光线与多个投射器光线相关联的校准数据,其中多个投射器光线的每一个与其中一个离散的未连接的光点相关联。解码还可以包括使用校准数据确定投射器光线和对应于投射的离散的未连接的光点的图案的摄像头光线的交叉点,其中投射器光线和摄像头光线的交叉点与空间中的三维点相关联。解码还可以包括基于两个或更多个摄像头同意在某些交叉点处存在投射器光线投射的离散的未连接的光点来识别离散的未连接的光点的图案的三维位置。

17、因此,根据本发明的一些应用,提供了用于口内扫描的装置,该装置包括:

18、细长的手持棒,包括在手持棒的远端处的探头;

19、刚性结构,设置在探头远端内;

20、一个或更多个结构光投射器,结合到刚性结构;以及

21、一个或更多个摄像头,结合到刚性结构。

22、在一些应用中,每个结构光投射器可以具有45-120度的照射场。可选地,一个或更多个结构光投射器可以使用激光二极管光源。此外,结构光投射器可以包括光束整形光学元件。此外,结构光投射器可以包括图案生成光学元件。

23、图案生成光学元件可以被配置为生成离散的未连接的光点的分布。当光源(例如,激光二极管)被激活以发射通过图案生成光学元件的光时,在距离图案生成光学元件1mm和30mm之间的所有平面处可以生成离散的未连接的光点的分布。在一些应用中,图案生成光学元件(i)利用衍射和/或折射来生成该分布。可选地,图案生成光学元件具有至少90%的光通量效率。

24、此外,在一些应用中,每个摄像头可以(a)具有45-120度的视场。摄像头可以包括摄像头传感器和包括一个或更多个透镜的物镜光学器件。在一些应用中,摄像头可以被配置为聚焦在距离与摄像头传感器相距最远的透镜1mm和30mm之间的对象焦平面处。

25、对于一些应用,一个或更多个摄像头中的每一个被配置为聚焦在距离与摄像头传感器相距最远的透镜5mm和11mm之间的对象焦平面处。

26、对于一些应用,一个或更多个投射器中的每一个的图案生成光学元件被配置为当光源(例如,激光二极管)被激活以发射通过图案生成光学元件的光时,在距离图案生成光学元件4mm和24mm之间的所有平面处生成离散的未连接的光点的分布。

27、对于一些应用,一个或更多个摄像头中的每一个被配置为聚焦在距离与摄像头传感器相距最远的透镜4mm和24mm之间的对象焦平面处。

28、对于一些应用,每个结构光投射器具有70-100度的照射场。

29、对于一些应用,每个摄像头具有70-100度的视场。

30、对于一些应用,每个摄像头具有80-90度的视场。

31、对于一些应用,该装置还包括至少一个均匀光投射器,被配置为将白光投射到被扫描的对象上,并且至少一个摄像头被配置为使用来自均匀光投射器的照射来捕获对象的二维彩色图像。

32、对于一些应用,光束整形光学元件包括准直透镜。

33、对于一些应用,结构光投射器和摄像头被定位成使得每个结构光投射器面向放置在其照射场中的棒(wand)外部的对象。可选地,每个摄像头可以面向放置在其视场中的棒外部的对象。此外,在一些应用中,至少20%的离散的未连接的光点位于至少一个摄像头的视场中。

34、对于一些应用,探头的高度为10-15mm,其中光通过探头的下表面(或感应表面)进入探头,并且从探头的下表面到与下表面相对的探头的上表面测量探头的高度。

35、对于一些应用,一个或更多个结构光投射器恰好是一个结构光投射器,并且一个或更多个摄像头恰好是一个摄像头。

36、对于一些应用,图案生成光学元件包括衍射光学元件(doe)。

37、对于一些应用,每个doe被配置为生成离散的未连接的光点的分布,使得当光源被激活以发射通过doe的光时,对于照射场中的每个正交平面,照射面积与非照射面积的比率是1:150-1:16。

38、对于一些应用,每个doe被配置为生成离散的未连接的光点的分布,使得当光源被激活以发射通过doe的光时,对于照射场中的每个正交平面,照射面积与非照射面积的比率是1:64-1:36。

39、对于一些应用,一个或更多个结构光投射器是多个结构光投射器。在一些应用中,特定doe生成的每个光点都具有相同的形状。可选地,由至少一个doe生成的光点的形状不同于由至少一个其他doe生成的光点的形状。

40、对于一些应用,一个或更多个投射器的每一个包括设置在光束整形光学元件和doe之间的光学元件,该光学元件被配置为当激光二极管被激活以发射通过光学元件的光时生成贝塞尔(bessel)光束,使得离散的未连接的光点通过以doe为中心并且半径在1mm和30mm之间的球体的每个内表面保持小于0.06mm的直径。

41、对于一些应用,光学元件被配置为当激光二极管被激活以发射通过光学元件的光时生成贝塞尔(bessel)光束,使得离散的未连接的光点通过以doe为中心并且半径在1mm和30mm之间的几何球的每个内表面保持小于0.02mm的直径。

42、对于一些应用,一个或更多个投射器中的每一个包括设置在光束整形光学元件和doe之间的光学元件。光学元件可以被配置为当光源被激活以发射通过光学元件的光时生成贝塞尔(bessel)光束,使得离散的未连接的光点在整个深度范围内保持小直径。例如,在一些应用中,离散的未连接的光点可以通过距离doe在1mm和30mm之间的每个正交平面保持小于0.06mm的直径。

43、对于一些应用,光学元件被配置为当激光二极管被激活以发射通过光学元件的光时生成贝塞尔(bessel)光束,使得离散的未连接的光点通过距离doe在1mm和30mm之间的每个正交平面保持小于0.02mm的直径。

44、对于一些应用,光学元件被配置为当激光二极管被激活以发射通过光学元件的光时生成贝塞尔(bessel)光束,使得离散的未连接的光点通过距离doe在4mm和24mm之间的每个正交平面保持小于0.04mm的直径。

45、对于一些应用,光学元件是轴锥透镜。

46、对于一些应用,轴锥透镜是衍射轴锥透镜。

47、对于一些应用,光学元件是环形光圈。

48、对于一些应用,一个或更多个结构光投射器是多个结构光投射器,并且至少两个结构光投射器的光源被配置为分别发射两个不同波长的光。

49、对于一些应用,至少三个结构光投射器的光源被配置为分别发射三个不同波长的光。

50、对于一些应用,至少三个结构光投射器的光源被配置为分别发射红光、蓝光和绿光。

51、在一些应用中,光源包括激光二极管。

52、对于一些应用,一个或更多个摄像头是结合到刚性结构的多个摄像头,使得至少两个摄像头的两个相应光轴之间的角度是0-90度。

53、对于一些应用,至少两个摄像头的两个相应光轴之间的角度是0-35度。

54、对于一些应用,一个或更多个结构光投射器是结合到刚性结构的多个结构光投射器,使得至少两个结构光投射器的两个相应光轴之间的角度为0-90度。

55、对于一些应用,至少两个结构光投射器的两个相应光轴之间的角度是0-35度。

56、对于一些应用,每个摄像头具有多个离散的预设焦点位置,在每个焦点位置处,摄像头被配置为聚焦在相应的对象焦平面处。

57、对于一些应用,每个摄像头包括自动聚焦致动器,被配置为从离散的预设焦点位置选择焦点位置。

58、对于一些应用,一个或更多个摄像头中的每一个包括光学光圈相位掩模,被配置为延伸摄像头的焦深(depth of focus),使得由每个摄像头形成的图像在距离与摄像头传感器相距最远的透镜1mm和30mm之间的所有物距上保持聚焦。

59、对于一些应用,光学光圈相位掩模被配置为延伸摄像头的焦深,使得由每个摄像头形成的图像在距离与摄像头传感器相距最远的透镜4mm和24mm之间的所有物距上保持聚焦。

60、对于一些应用,一个或更多个摄像头中的每一个被配置为以每秒30-200帧的帧速率捕获图像。

61、对于一些应用,一个或更多个摄像头中的每一个被配置为以至少每秒75帧的帧速率捕获图像。

62、对于一些应用,一个或更多个摄像头中的每一个被配置为以至少每秒100帧的帧速率捕获图像。

63、对于一些应用,一个或更多个投射器的每一个的激光二极管被配置为发射椭圆形光束。一个或更多个投射器的每一个的光束整形光学元件可以包括准直透镜。可选地,图案生成光学元件包括衍射光学元件(doe),其被分割成布置为阵列的多个子doe片。每个子doe片可以在照射场的不同区域中生成离散的未连接的光点的相应分布,使得当光源被激活以发射通过分割的doe的光时生成离散的未连接的光点的分布。

64、对于一些应用,准直透镜可以被配置为生成长轴为500-700微米、短轴为100-200微米的椭圆光束。

65、对于一些应用,当激光二极管被激活以发射通过分割的doe的光时,子doe片阵列可以被定位成包含在椭圆形光束内。

66、对于一些应用,每个子doe片的横截面是具有30-75微米长度的边的正方形,且横截面垂直于doe的光轴。

67、对于一些应用,多个子doe片被布置成矩形阵列,包括16-72个子doe片并且具有500-800微米的最长尺寸。

68、对于一些应用,准直透镜和分割的doe是单个光学元件,光学元件的第一侧包括准直透镜,以及与第一侧相对的光学元件的第二侧包括分割的doe。

69、对于一些应用,一个或更多个投射器的每一个的至少一个光源是多个激光二极管。在一些应用中,多个激光二极管可以被配置为发射相同波长的光。

70、对于一些应用,多个激光二极管可以被配置为发射不同波长的光。

71、对于一些应用,多个激光二极管是两个激光二极管,两个激光二极管被配置为分别发射两个不同波长的光。

72、对于一些应用,多个激光二极管是三个激光二极管,三个激光二极管被配置为分别发射三个不同波长的光。

73、对于一些应用,三个激光二极管被配置为分别发射红光、蓝光和绿光。

74、对于一些应用:

75、一个或更多个投射器的每一个的光束整形光学元件包括准直透镜,以及

76、图案生成光学元件包括具有100-400nm的周期结构特征尺寸的复合衍射周期结构。

77、对于一些应用,准直透镜和复合衍射周期结构是单个光学元件,光学元件的第一侧包括准直透镜,以及与第一侧相对的光学元件的第二侧包括复合衍射周期结构。

78、对于一些应用,该装置还包括设置在准直透镜和复合衍射周期结构之间的轴锥透镜,该轴锥透镜具有0.2-2度的轴锥头角。

79、对于一些应用,准直透镜具有1.2-2mm的焦距。

80、对于一些应用:

81、一个或更多个投射器的每一个的光束整形光学元件包括准直透镜,以及

82、图案生成光学元件包括具有0.2-0.7的数值孔径的微透镜阵列。

83、对于一些应用,微透镜阵列是六边形微透镜阵列。

84、对于一些应用,微透镜阵列是矩形微透镜阵列。

85、对于一些应用,准直透镜和微透镜阵列是单个光学元件,光学元件的第一侧包括准直透镜,以及与第一侧相对的光学元件的第二侧包括微透镜阵列。

86、对于一些应用,该装置还包括设置在准直透镜和微透镜阵列之间的轴锥透镜,该轴锥透镜具有0.2-2度的轴锥头角。

87、对于一些应用,准直透镜具有1.2-2mm的焦距。

88、对于一些应用:

89、一个或更多个投射器的每一个的光束整形光学元件包括准直透镜,该准直透镜具有1.2-2mm的焦距,

90、一个或更多个投射器中的每一个包括设置在准直透镜和图案生成光学元件之间的光圈环,以及

91、图案生成光学元件包括具有100-400nm的周期结构特征尺寸的复合衍射周期结构。

92、对于一些应用:

93、一个或更多个投射器的每一个的光束整形光学元件包括透镜,该透镜(a)设置在激光二极管和图案生成光学元件之间,并且(b)在透镜的第一侧上具有平面表面并在与第一侧相对的透镜的第二侧上具有非球面表面,该非球面表面被配置为当激光二极管被激活以发射通过透镜和图案生成光学元件的发散光束时,直接从发散光束生成贝塞尔光束,使得离散的未连接的光点在距图案生成光学元件1mm和30mm之间的任何正交平面处具有基本均匀的尺寸。

94、对于一些应用,透镜的非球面表面被配置为当激光二极管被激活以发射通过透镜和图案生成光学元件的发散光束时,直接从发散光束生成贝塞尔光束,使得离散的未连接的光点在距图案生成光学元件4mm和24mm之间的任何正交平面处具有基本均匀的尺寸。

95、对于一些应用,图案生成光学元件包括具有100-400nm的周期结构特征尺寸的复合衍射周期结构。

96、对于一些应用,图案生成光学元件包括具有0.2-0.7数值孔径的微透镜阵列。

97、对于一些应用:

98、(a)光束整形光学元件包括在透镜的第一侧上的非球面表面,和(b)在与第一侧相对的透镜的第二侧上的平面表面被成形为限定图案生成光学元件,以及

99、非球面表面被配置为当激光二极管被激活以发射通过透镜的发散光束时,直接从发散光束生成贝塞尔光束,使得当激光二极管被激活以发射通过透镜的发散光束时贝塞尔光束被分成离散的贝塞尔光束阵列,使得离散的未连接的光点在距透镜1mm和30mm之间的所有平面处具有基本均匀的尺寸。

100、对于一些应用,透镜的平面表面被成形为限定图案生成光学元件,使得当激光二极管被激活以发射通过透镜的发散光束时贝塞尔光束被分成离散的贝塞尔光束阵列,使得离散的未连接的光点在距图案生成光学元件4mm和24mm之间的所有平面处具有基本均匀的尺寸。

101、对于一些应用,该装置和方法还可以包括:

102、至少一个温度传感器,结合到刚性结构并被配置为测量刚性结构的温度;以及

103、温度控制单元。

104、温度控制电路可以被配置为(a)从温度传感器接收指示刚性结构的温度的数据,以及(b)基于接收的数据激活温度控制单元。温度控制单元和电路可以被配置为将探头和/或刚性结构保持在35和43摄氏度之间的温度。

105、对于一些应用,温度控制单元被配置为将探头保持在37和41摄氏度之间的温度。

106、对于一些应用,温度控制单元被配置为防止探头的温度变化超过阈值温度变化。

107、对于一些应用,该装置还包括:

108、目标,例如漫反射器,包括设置在探头内的多个区域,使得:

109、(a)每个投射器在其照射场中具有至少一个漫反射器区域,

110、(b)每个摄像头在其视场中具有至少一个漫反射器区域,并且

111、(c)多个漫反射器区域在其中一个摄像头的视场中,并且在一个投射器的照射场中。

112、在一些应用中,温度控制电路可以被配置为(a)从摄像头接收指示漫反射器相对于离散的未连接的光点的分布的位置的数据,(b)将接收的数据与存储的漫反射器的校准位置进行比较,(i)指示漫反射器位置的接收的数据和(ii)存储的漫反射器的校准位置之间的差异指示探头的温度变化,以及(c)基于接收的数据与存储的漫反射器的校准位置的比较调节探头的温度。

113、根据本发明的一些应用,还提供了一种用于生成数字三维图像的方法,该方法包括:

114、驱动一个或更多个结构光投射器的每一个,以在口内三维表面上投射离散的未连接的光点的分布;

115、驱动一个或更多个摄像头的每一个以捕获图像,该图像包括至少一个光点,一个或更多个摄像头的每一个包括摄像头传感器,该摄像头传感器包括像素阵列;

116、基于存储的校准值,其指示(a)与一个或更多个摄像头的每一个的摄像头传感器上的每个像素相对应的摄像头光线,以及(b)与来自一个或更多个投射器的每一个的每一个投射的光点对应的投射器光线,从而每个投射器光线对应于在至少一个摄像头传感器上的相应像素路径:

117、使用处理器,运行对应算法:

118、(1)对于每个投射器光线i,针对对应于光线i的摄像头传感器路径上的每个检测到的光点j,识别有多少其他摄像头在它们的与光线i相对应的相应摄像头传感器路径上,检测到与相应摄像头光线对应的相应光点k,所述相应摄像头光线与光线i和对应于检测到的光点j相对应的摄像头光线相交叉,从而光线i被识别为生成检测到的光点j的特定投射器光线,对于该检测到的光点j,最大数量的其他摄像头检测到相应光点k;以及

119、(2)以投射器光线i与对应于检测到的光点j和相应的检测到的光点k的相应摄像头光线的交叉点计算口内表面上的相应三维位置。。

120、对于一些应用,使用处理器运行对应算法还包括,在步骤(1)之后,使用处理器进行:

121、不再考虑投射器光线i,以及与检测到的光点j和各个检测到的光点k对应的各个摄像头光线;以及

122、对于下一个投射器光线i再次运行对应算法。

123、对于一些应用,驱动一个或更多个结构光投射器的每一个以投射离散的未连接的光点的分布包括驱动每个结构光投射器以将400-3000个离散的未连接的光点投射到口内三维表面上。

124、对于一些应用,驱动一个或更多个结构光投射器的每一个以投射离散的未连接的光点的分布包括驱动多个结构光投射器每个均投射离散的未连接的光点的分布,其中:

125、(a)至少两个结构光投射器被配置成发射不同波长的光,以及

126、(b)对于每个波长,存储的校准值表示对应于摄像头传感器上的每个像素的摄像头光线。

127、对于一些应用,驱动一个或更多个结构光投射器的每一个投射离散的未连接的光点的分布包括驱动多个结构光投射器每个均投射离散的未连接的光点的分布,其中从特定结构光投射器投射的每个光点具有相同的形状,并且从至少一个结构光投射器投射的光点的形状不同于从至少一个其他结构光投射器投射的光点的形状。

128、对于一些应用,该方法还包括:

129、驱动至少一个均匀的光投射器将白光投射到口内三维表面上;以及

130、驱动至少一个摄像头使用来自均匀光投射器的照射来捕获口内三维表面的二维彩色图像。

131、对于一些应用,该方法还包括使用处理器运行表面重建算法,该算法将使用来自结构光投射器的照射捕获的至少一个图像与使用来自均匀光投射器的照射捕获的多个图像组合以生成口内三维表面的三维图像。

132、对于一些应用,驱动一个或更多个结构光投射器的每一个包括驱动多个结构光投射器以同时在口内三维表面上投射相应的离散的未连接的光点的分布。

133、对于一些应用,驱动一个或更多个结构光投射器的每一个包括驱动多个结构光投射器以在不同的各个时间在口内三维表面上投射相应的离散的未连接的光点。

134、对于一些应用,驱动多个结构光投射器以在不同的各个时间在口内三维表面上投射相应的离散的未连接的光点包括驱动多个结构光投射器以预定顺序在口内三维表面上投射相应的离散的未连接的光点。

135、对于一些应用,驱动多个结构光投射器以在不同的各个时间在口内三维表面上投射相应的离散的未连接的光点包括:

136、驱动至少一个结构光投射器以在口内三维表面上投射离散的未连接的光点的分布;以及

137、在扫描期间确定接下来驱动多个结构光投射器中的哪一个来投射离散的未连接的光点的分布。

138、对于一些应用:

139、驱动一个或更多个结构光投射器的每一个包括驱动恰好一个结构光投射器以在口内三维表面上投射离散的未连接的光点的分布。

140、对于一些应用,驱动一个或更多个摄像头中的每一个包括以每秒30-200帧的帧速率驱动一个或更多个摄像头使得每个均捕获图像。

141、对于一些应用,驱动一个或更多个摄像头包括以每秒至少75帧的帧速率驱动一个或更多个摄像头使得每个均捕获图像。

142、对于一些应用,驱动一个或更多个摄像头包括以每秒至少100帧的帧速率驱动一个或更多个摄像头使得每个均捕获图像。

143、对于一些应用,使用处理器包括基于从温度传感器接收的指示结构光投射器和摄像头的温度的数据,在对应于结构光投射器和摄像头的多个相应温度的多组存储的校准数据之间进行选择,每组存储的校准数据针对相应的温度指示(a)与来自一个或更多个投射器的每一个的每个投射的光点对应的投射器光线,以及(b)与一个或更多个摄像头中的每一个的摄像头传感器上的每个像素对应的摄像头光线。

144、对于一些应用,使用处理器包括基于从温度传感器接收的指示结构光投射器和摄像头的温度的数据,在多组存储的校准数据之间进行插值,以针对对应于每组校准数据的相应温度之间的温度获得校准数据。

145、对于一些应用:

146、驱动一个或更多个摄像头的每一个包括驱动一个或更多个摄像头的每一个以捕获图像,该图像还包括具有多个区域的漫反射器的至少一个区域,使得:

147、(a)每个投射器在其照射场中具有至少一个漫反射器区域,

148、(b)每个摄像头在其视场中具有至少一个漫反射器区域,并且

149、(c)多个漫反射器区域在其中一个摄像头的视场中,并且在其中一个投射器的照射场中。

150、处理器可以用于(a)从摄像头接收指示漫反射器相对于离散的未连接的光点的分布的位置的数据,(b)将接收的数据与存储的漫反射器的校准位置进行比较,(i)指示漫反射器位置的接收数据与(ii)存储的漫反射器的校准位置之间的差异指示投射器光线和摄像头光线与它们各自存储的校准值的偏移,以及(c)基于投射器光线和摄像头光线与它们各自存储的校准值的偏移来运行对应算法。

151、在一些实施例中,例如任何以上描述的那些或整个说明书,组合结构照射使用光场成像可以提供高动态范围三维成像。条纹图案可以被投射到场景上并由场景深度调制。然后,可以使用光场记录装置检测结构光场。结构光场包含关于光线方向和相位编码深度的信息,通过该信息可以从不同方向估计场景深度。多方向深度估计可以有效地实现高动态三维成像。

152、本发明的应用还可以包括与三维口内扫描装置有关的系统和方法,该三维口内扫描装置包括一个或更多个光场摄像头以及一个或更多个图案投射器。例如,在一些实施例中,提供了口内扫描装置。该装置可以包括细长的手持棒,该手持棒包括位于远端的探头。探头可以具有近端和远端。在口内扫描期间,探头可以放置在受试者的口腔中。根据本发明的一些应用,结构光投射器和光场摄像头可以设置在探头的近端,镜子设置在探头的远端。结构光投射器和光场摄像头可以被定位成面向镜子,并且镜子被定位成(a)将来自结构光投射器的光直接反射到被扫描的对象上,以及(b)将来自被扫描对象的光反射到光场摄像头。

153、探头近端中的结构光投射器包括光源。在一些应用中,光源可以具有至少6度和/或小于30度的照射场。结构光投射器可以将来自光源的光聚焦在距光源至少30mm和/或小于140mm的投射器焦平面处。结构光投射器还可以包括图案生成器,该图案生成器设置在光源和投射器焦平面之间的光路中,当光源被激活以发射通过图案生成器的光时,图案生成器在投射器焦平面处生成结构光图案。

154、在一些应用中,探头近端中的光场摄像头可以具有至少6度和/或小于30度的视场。光场摄像头可以聚焦在距光场摄像头至少30mm和/或小于140mm的摄像头焦平面处。光场摄像头还可以包括光场摄像头传感器,该光场摄像头传感器包括(i)包括传感器像素阵列的图像传感器,以及(ii)设置在图像传感器前面的微透镜阵列,使得每个微透镜透镜设置在传感器像素的子阵列上。设置在光场摄像头传感器前面的物镜将被扫描对象的图像形成到光场摄像头传感器上。

155、根据本发明的一些应用,一个或更多个结构光投射器和一个或更多个光场摄像头设置在探头的远端。结构光投射器和光场摄像头被定位成使得每个结构光投射器直接面向放置在其照射场中的棒外部的对象,并且每个摄像头直接面向放置在其视场中的棒外部的对象。来自每个投射器的投射结构光图案的至少40%在至少一个摄像头的视场中。

156、探头远端中的一个或更多个结构光投射器各自包括光源。在一些应用中,相应的结构光投射器可以各自具有至少60度和/或小于120度的照射场。每个结构光投射器可以将来自光源的光聚焦在距离光源至少30mm和/或小于140mm的投射器焦平面处。每个结构光投射器还可以包括图案生成器,该图案生成器设置在光源和投射器焦平面之间的光路中,当光源被激活以发射通过图案生成器的光时,图案生成器在投射器焦平面处生成结构光图案。

157、在一些应用中,在探头远端中的一个或更多个光场摄像头可以各自具有至少60度和/或小于120度的视场。每个光场摄像头可以聚焦在距光场摄像头至少3mm和/或小于40mm的摄像头焦平面处。每个光场摄像头还可以包括光场摄像头传感器,该光场摄像头传感器包括(i)包括传感器像素阵列的图像传感器,以及(ii)设置在图像传感器前面的微透镜阵列,使得每个微透镜设置在传感器像素的子阵列上。设置在每个光场摄像头传感器前面的物镜将被扫描对象的图像形成到光场摄像头传感器上。

158、因此,根据本发明的一些应用,提供了用于口内扫描的装置,该装置包括:

159、(a)细长手持棒,包括位于手持棒远端的探头,该探头具有近端和远端;(b)结构光投射器,设置在探头的近端,该结构光投射器:

160、(a)具有6至30度的照射场,

161、(b)包括光源,以及

162、(c)被配置为将来自光源的光聚焦在距离光源30mm和140mm之间的投射器焦平面处,并且

163、(d)包括设置在光源和投射器焦平面之间的光路中的图案生成器,该图案生成器被配置为当光源被激活以发射通过图案生成器的光时,在投射器焦平面处生成结构光图案。

164、(c)光场摄像头,设置在探头近端,该光场摄像头:

165、(a)具有6至30度的视场,

166、(b)被配置为聚焦在距离光场摄像头30mm至140mm之间的摄像头焦平面处,

167、(c)包括光场摄像头传感器,该光场摄像头传感器包括(i)包括传感器像素阵列的图像传感器,以及(ii)设置在图像传感器前面的微透镜阵列,使得每个微透镜设置在传感器像素的子阵列上,以及

168、(d)包括物镜,设置在光场摄像头传感器的前面,并被配置为将被扫描

169、对象的图像形成到光场摄像头传感器上;以及

170、(d)镜子,设置在手持棒的远端,

171、结构光投射器和光场摄像头被定位成面向镜子,并且镜子定位成(a)将来自结构光投射器的光直接反射到被扫描的对象上,以及(b)将来自被扫描对象的光反射到光场摄像头中。

172、对于一些应用,光源包括发光二极管(led),并且图案生成器包括掩模。

173、对于一些应用,光源包括激光二极管。

174、对于一些应用,图案生成器包括衍射光学元件(doe),被配置为生成结构光图案,作为离散的未连接的光点的分布。

175、对于一些应用,图案生成器包括折射微透镜阵列。

176、对于一些应用,探头的高度为14-17mm,探头的宽度为18-22mm,该高度和宽度限定了垂直于棒的纵轴的平面,光线通过探头的下表面进入探头,并且从探头的下表面到与下表面相对的探头的上表面测量探头的高度。

177、对于一些应用,该装置被配置为与输出装置一起使用,该装置还包括:

178、控制电路,被配置为:

179、(a)驱动结构光投射器将结构光图案投射到棒外部的对象上,

180、(b)驱动光场摄像头捕获由从对象反射的结构光图案生成的光场,该光场包括(i)从对象反射的结构光图案的强度,和(ii)光线的方向;以及

181、至少一个计算机处理器,被配置为基于捕获的光场重建被扫描对象的表面的三维图像,并将图像输出到输出装置。

182、对于一些应用:

183、(a)棒外部的对象是受试者口内的牙齿,

184、(b)控制电路被配置为驱动光场摄像头在牙齿上不存在粉末的情况下捕获由从牙齿反射的结构光图案生成的光场,并且

185、(c)计算机处理器被配置为基于在牙齿上没有粉末的情况下捕获的光场来重建牙齿的三维图像,并将图像输出到输出装置。

186、对于一些应用,在图像传感器的中心区域中的每个传感器像素的子阵列包括比在图像传感器的外围区域中的每个传感器像素的子阵列少10-40%的像素,图像传感器的中心区域包括传感器像素总数的至少50%。

187、对于一些应用,(a)设置在图像传感器的外围区域中的传感器像素的子阵列上的每个微透镜被配置为聚焦的深度比(b)设置在图像传感器的中心区域中的传感器像素的子阵列上的每个微透镜被配置为聚焦的深度大1.1-1.4倍。

188、根据本发明的一些应用,还提供了一种装置,包括:

189、(a)细长手持棒,包括位于手持棒远端的探头,该探头具有近端和远端;(b)一个或更多个结构光投射器,设置在探头的远端,每个结构光投射器:

190、(a)具有60至120度的照射场,

191、(b)包括光源,以及

192、(c)被配置为将来自光源的光聚焦在距离光源3mm和40mm之间的投射器焦平面处,并且

193、(d)包括设置在光源和投射器焦平面之间的光路中的图案生成器,该图案生成器被配置为当光源被激活以发射通过图案生成器的光时,在投射

194、器焦平面处生成结构光图案;以及

195、(c)一个或更多个光场摄像头,设置在探头远端,每个光场摄像头:

196、(a)具有60至120度的视场,

197、(b)被配置为聚焦在距离光场摄像头3mm至40mm之间的摄像头焦平面处,

198、(c)包括光场摄像头传感器,该光场摄像头传感器包括(i)包括传感器像素阵列的图像传感器,以及(ii)设置在图像传感器前面的微透镜阵列,使得每个微透镜设置在传感器像素的子阵列上,以及

199、(d)包括物镜,设置在光场摄像头传感器的前面,并被配置为将被扫描对象的图像形成到光场摄像头传感器上;以及

200、结构光投射器和光场摄像头被定位成使得(a)每个结构光投射器直接面向放置在其照射场中的棒外部的对象,(b)每个摄像头直接面向放置在其视场中的棒外部的对象,以及(c)来自每个投射器的结构光图案的至少40%位于至少一个摄像头的视场中。

201、对于一些应用,探头的高度为10-14mm,探头的宽度为18-22mm,该高度和宽度限定了垂直于棒的纵轴的平面,光线通过探头的下表面进入探头,并且从探头的下表面到与下表面相对的探头的上表面测量探头的高度。

202、对于一些应用,一个或更多个结构光投射器恰好是一个结构光投射器,并且一个或更多个结构光场摄像头恰好是一个光场摄像头。

203、对于一些应用,一个或更多个结构光投射器是多个结构光投射器,并且一个或更多个光场摄像头是多个光场摄像头。

204、对于一些应用,该装置被配置为与输出装置一起使用,该装置还包括:

205、控制电路,配置为:

206、(a)驱动一个或更多个结构光投射器的每一个将结构光图案投射到棒外部的对象上,

207、(b)驱动一个或更多个光场摄像头捕获由从对象反射的结构光图案生成的光场,该光场包括(i)从对象反射的结构光图案的强度,和(ii)光线的方向;以及

208、至少一个计算机处理器,被配置为基于捕获的光场重建被扫描对象的表面的三维图像,并将图像输出到输出装置。

209、对于一些应用:

210、一个或更多个结构光投射器的至少一个是单色结构光投射器,被配置为将单色结构光图案投射到被扫描对象上,

211、一个或更多个光场摄像头的至少一个是单色光场摄像头,被配置为捕获由从被扫描的对象反射的单色结构光图案生成的光场,以及

212、该装置还包括:(a)光源,被配置为将白光发射到被扫描的对象上;以及(b)摄像头,被配置为捕获被扫描对象的二维彩色图像。

213、对于一些应用,单色结构光投射器被配置为以420-470nm的波长投射结构光图案。

214、根据本发明的一些应用,还提供了一种装置,包括:

215、(a)细长手持棒,包括位于手持棒远端的探头,该探头具有近端和远端;(b)结构光投射器,设置在探头的近端,该结构光投射器:

216、(a)具有照射场,

217、(b)包括光源,以及

218、(c)被配置为将来自光源的光聚焦在投射器焦平面处,并且

219、(d)包括设置在光源和投射器焦平面之间的光路中的图案生成器,该图案生成器被配置为当光源被激活以发射通过图案生成器的光时,在投射器焦平面处生成结构光图案;

220、(c)光场摄像头,设置在探头近端,该光场摄像头:

221、(a)具有视场,

222、(b)被配置为聚焦在摄像头焦平面处,

223、(c)包括光场摄像头传感器,该光场摄像头传感器包括(i)包括传感器像素阵列的图像传感器,以及(ii)设置在图像传感器前面的微透镜阵列,使得每个微透镜设置在传感器像素的子阵列上,以及

224、(d)包括物镜,设置在光场摄像头传感器的前面,并被配置为将被扫描对象的图像形成到光场摄像头传感器上;以及

225、(d)镜子,设置在手持棒的远端,

226、结构光投射器和光场摄像头被定位成面向镜子,并且镜子定位成(a)将来自结构光投射器的光直接反射到被扫描对象上,以及(b)将来自被扫描对象的光反射到光场摄像头中。

227、根据本发明的一些应用,还提供了一种装置,包括:

228、(a)细长手持棒,包括位于手持棒远端的探头,该探头具有近端和远端;(b)一个或更多个结构光投射器,设置在探头的远端,每个结构光投射器:

229、(a)具有照射场,

230、(b)包括光源,以及

231、(c)被配置为将来自光源的光聚焦在投射器焦平面处,并且

232、(d)包括设置在光源和投射器焦平面之间的光路中的图案生成器,该图案生成器被配置为当光源被激活以发射通过图案生成器的光时,在投射器焦平面处生成结构光图案;以及

233、(c)一个或更多个光场摄像头,设置在探头远端,每个光场摄像头:

234、(a)具有视场,

235、(b)被配置为聚焦在摄像头焦平面处,

236、(c)包括光场摄像头传感器,该光场摄像头传感器包括(i)包括传感器像素阵列的图像传感器,以及(ii)设置在图像传感器前面的微透镜阵列,使得每个微透镜设置在传感器像素的子阵列上,以及

237、(d)包括物镜,设置在光场摄像头传感器的前面,并被配置为将被扫描对象的图像形成到光场摄像头传感器上;以及

238、结构光投射器和光场摄像头被定位成使得(a)每个结构光投射器直接面向放置在其照射场中的棒外部的对象,(b)每个摄像头直接面向放置在其视场中的棒外部的对象,以及(c)来自每个投射器的结构光图案的至少40%位于至少一个摄像头的视场中。

239、从以下结合附图对其应用的详细描述,将更全面地理解本发明。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1