专利名称：三维成像系统的制作方法
三维成像系统
背景技术：
多项专利，其中每一项都包括Gharib作为发明者并被转让给加州理工学院(California Institute of Technology),覆盖了用于执行采用与单成像仪镜头以及一个或多个相机/成像仪相结合的多孔径散焦的轮廓测定(prof ilometry)的有用硬件配置。这些专利包括编号为6，278，847,7, 006，132,7, 612，869和7，612，870的美国专利，所有这些专利都由于此的受让人所许可，并且通过引用在其整体上结合到本文中。参考这些专利可以理解散焦原理，其中二维扫描数据被用于生成三维坐标信息。本文描述了用于应用这些散焦原理的进一步改进的硬件。不管这种硬件改进，对于聚集通过散焦所确定的三维信息以便映射对象的表面，灵敏的位置信息是必需 的。该位置信息一通常被称为相机“姿态” 一可以通过不同方式所获得。对于Zhang (转让给3M)的编号为7，605，817的美国专利描述一种方法，以及对于Gharib (转让给加州理工学院)的编号为2009/0295908的美国专利描述另一种。两种方法都无法提供本文所描述的姿态技术的优点。
发明内容
因此，可选地，公开了用于执行对象的轮廓测定的硬件和软件配置。描述了有优势的成像装置(即，成像仪、相机或扫描仪)。同样描述了有优势的用以确定成像仪位置的方法。虽然最好一起使用，但所述的每一个方面都可以不依赖于其他方面而被使用。而且，该教导可以在包括速度测量等的其他领域中得到应用。三维信息可以通过使用手持成像仪/相机/扫描仪来获得。有时，要扫描的主体大于扫描仪的视场，和/或将该主体从不同的有利位置进行扫描。为捕获这种信息，扫描仪装置的姿态在不同的时刻改变。然后，可以与跨越任意数量的图像场景，在空间相关的基础上确定相机姿态相结合来准备组合或聚集的图像场景。在给定相机姿态确定的保真度的情况下，其在下文中称为相机的“真实姿态”。用于通过比较场景来确定相机位置操作的这种实现是潜在可匹配的，对于该场景，指示场景的信息已经被确定。(其中匹配可以通过各种技术执行，包括互相关、最小均方、超分辨率PIV或下文进一步详细阐述的包括扭曲/反扭曲的方法)。最终或实际(即，出于组合用于系统输出的数据集的目的)的相机位置的真实姿态的确定在图像捕获后的后处理设定中执行。基于在图像捕获过程中(S卩，如以“实时”)执行的粗略精确的相机位置确定(Sr粗略姿态”)，场景被指示为潜在可匹配的。执行以“实时”进行的处理和其他行动，使得用户无法识别系统性能中的滞后。当可能时，通过匹配(如上述)基于数据集的给定暂定姿态信息来生成粗略姿态。要在确定粗略姿态(并不再依赖)方面使用的初始相机位置信息(S卩，“暂定姿态”)可以以多种方式被生成。一般地，采用稳健的过程来找到暂定姿态。一种方法是使用将得自于一帧的可易识别特征的简化数据集与来自后继帧的可易识别特征的简化数据集进行比较的标准技术。例如，参见在110010处的美国专利公开2008/0201101 (描述申请优先权日之前的本领域技术现状)。然而，通过将当前帧中的这种特征与从先前(例如，20至100)帧累积或聚集的那些特征进行比较，这样的方法可以被改变和增强。在任何情况下，暂定姿态本身不以任何方式被使用于所述的方法中以用于组合主体数据以产生扫描仪输出。对于按需要提供用于牙冠产生和/或其他高精度轮廓测定应用的可运用图像文件输出，其分辨率远达不到本系统的要求。然而，在某些情况下，暂定姿态数据在通过空间/全局匹配执行真实姿态确定方面可以替代粗略姿态数据。使用一个比喻，暂定姿态提供位置数据，类似于为美国邮递指明州。更接近的位置一类似于调出区域的邮政编码一通过粗略姿态过程进行确定。真实姿态一类似于特定的邮政信箱位置一被单独用于提供最终交付。使用真实姿态用于图像聚集，从而避免了误差叠加以及与不精确地址信息相关联的数据/包丢失。使用暂定或粗略姿态使得找到真实姿态在计算上是可行的(当在较长扫描中一如在完整下颌的扫描中一采用粗略姿态时尤其如此，为此粗略姿态空间精度上的增强更加明显)。更直接地，“暂定姿态”是暂时被使用的位置信息，但是其是相当不确定和初步的。“粗略姿态”仍是不确定的，但在描述相机位置方面是更加精确的(粗略精确)。“真实姿态”是相机位置的确定，其精确到为出于预期目的而满足系统规范所需的程度。作为一个例子，此精度是这样的，使得其可以提供具有以下规范的轮廓测定输出文件:对于单个牙齿约35微米或更好的RMS误差，以及对于3个牙齿约40微米或更好的RMS误差。在提供这种结果方面，于此的发明人已发现，当可能时，对于在确定真实姿态方面进一步利用，改进暂定姿态以生成粗略姿态是重要的，因为对按顺序/时间生成的位置信息(即，暂定姿态)的依赖导致误差的叠加或积累。当扫描重要/相关区域(如在用于牙冠产生的扫描中)时，生成的误差可能太大以至于无法精确地聚集信息以产生相关模型。这里考虑的另一方面是执行匹配本身的方式。采用了各种技术。这些技术包括如下所述的互相关技术，以及在总体“基于姿态匹配”的过程中可选地结合旋转元件。旋转一帧以更紧密地匹配具有某种程度上已知的(即，暂定或粗略了解的)空间关系的另一帧允许了互相关，此互相关不能以其他方式发生。就有优势的硬件实现而言，在进行所引用的方法时，其采用具有多孔径的单镜头。优选的实施例，采用了商业上可获得的传感器的不同颜色通道，以利用简化的硬件来捕获不同波长的光(可选地由诸如LED的单色光源所发射)。如此，不需要额外的光束分离器、带锁定的对准控制器或其他繁琐的硬件，从而允许产生高度紧凑和稳健(防震动、热循环等)的成像仪机头。本发明包括主体装置和方法，包括体现了其的硬件和软件。更详细的讨论结合下文中的附图来呈现。此申请要求2010年9月3日提交的标题为“具有多次确定的三维图像系统”的美国临时专利申请61/380094的权益，该申请通过引用在其整体上被结合到本文中。
本文所提供的附图不一定按比例绘制，为清晰放大了某些组件和特征。从所描绘的实施例可以想到本发明的变形。因此，附图中本发明的方面和元件的描绘并不意在限制本发明的范围。在附图中，图1A示出了实施例的硬件的框图，以及图1B说明了与商业上可获得的颜色传感器相关联的过滤器特性；图2示出了概要流程图；图3八-3(:示出了图2中实时活动的更详细的流程图；图4A和4B详细描述了互相关匹配；图4C是说明3-D点位置确定的流程图；图5图解说明了扫描过程；图6说明了结合获取主体牙齿的图像的多个不同库的使用；图7示出了执行全局匹配的方式；图8说明了在参考图3C和图7时基于姿态的扭曲的过程中的帧查找和平移；以及图9在功能上详细描述了基于姿态的扭曲的技术。
具体实施例方式本发明的各种示例性实施例在以下被描述。以非限制性的意义来对这些示例做出引用。它们被提供来说明本发明的更广泛可适用的方面。在不脱离本发明的真实精神和范围的情况下，可对所描述的发明做出各种改变以及可替换等同物。此外，可以做出许多修改，来针对本发明的一个或 多个目标、精神或范围，适应特定的情况、材料、物质的组成、过程、一个或多个过程动作或步骤。这种修改意在处于本文所做出的权利要求的范围之内。成像硬件
图1A示出了硬件实施例的框图。手持式扫描仪100被用于对对象99成像。扫描仪100具有容纳多个光学和电气物品的外部壳体102。扫描仪可包括任何类型的相机140或接收光学信息并将该光学信息转换成电信息的任何其他装置。例如，这可能包括CCD相机、CMOS图像传感器或将可见光子转换成电信号的任何其他种类的光电传感器。相机140产生指示二维信息和/或三维信息中其一或二者的输出信息。二维信息可指的是X和y坐标，被定义为垂直于在成像装置和正被成像的对象之间的ζ轴方向111的坐标。第三维信息可以包括正交于X和y坐标并指示相机110与正被成像的对象之间的距离的ζ轴坐标。如常规一样，坐标轴也可以被倾斜和/或反转，因为不意图限于此特定的坐标布局。图像信息可被存储为x、y和ζ坐标，或可以按照任何其他形式被存储，诸如三维点云、三维网格或可以表示二维和/或三维信息的任何其他形式。窗口 105被形成于允许扫描三维对象99的扫描仪100的一部分中。在一个实施例中，这可以被用于扫描牙科对象，例如牙齿，以形成牙齿图。虽然实施例描述扫描牙齿，但被成像的对象99可以是任何对象、对象的集合、对象的部分或其他标的物。例如，在牙科成像应用中，对象99可以包括牙齿、牙齿的四分之一圆周、或从其期望虚拟牙印模的牙齿的完整集合。在其他实施例中，对象可能是某些其他医疗主体，例如，眼、鼻、头、耳或其他。包括不同颜色光元件115、116的照明器将光提供到牙齿99上。被照明对象的图像同样通过窗口 105被接收。隅角镜120将所接收的辐射反射到光学系统125。在其他实施例中，系统可以在没有隅角镜的情况下进行操作。光学系统可以包括透镜130，以及具有多个孔径135的掩模。孔径135可以被颜色编码，即一个孔径可以仅传递或主要传递蓝颜色的光，而另一个孔径可仅传递其中具有红颜色的光。照明115、116可提供匹配掩模颜色的颜色，这里蓝色照明来自115而红色照明来自116。这产生信息的两个不同通道，各通过两个孔径中的每个。本文所描述的在这两个不同通道之间进行区分，以获得来自两个通道的不同信息。
通过孔径135的光被提供给电子相机140，其产生指示通过孔径所接收的光的电输出。相机通过电缆145被连接到包括用于驱动相机和分析信息的软件的计算装置150。电线145可以包括用于驱动相机的电力，并且还可以接收来自相机的信息。计算装置150可以是具有根据所存储的程序进行操作的微处理器153的通用处理器，该程序根据本申请的技术而被描述。计算装置还可以或可替代地包括图形处理单元或GPU 155，例如，在驱动显示器160的视频卡中。例如，GPU 155可以是ATI或Nvidia的视频卡。计算装置还可以或可替代地包括现场可编程存储器(例如门阵列)或任何定制的硬件或定制的逻辑。在一个实施例中，图1A中的便携手持式扫描仪可以被移动，同时仍获得关于被扫描区域的信息。由于相机在多个不同时刻中每一个移动，所以获得了关于该新相机位置的新信息。这允许了最终被成像的总体对象99大于窗口 105。相机140可以是标准彩色相机(例如,Micron Technology, Inc所生产的1/3-英寸SOC百万像素CMOS数字图像传感器)，其使用已经是相机140内的图像传感器的一部分的颜色过滤器阵列来分离颜色。相机140的颜色过滤器阵列部分上的过滤器在彩色射线(此处为红色和蓝色通道)之间进行分离，以获取信息并在由孔径135上的颜色过滤器所传递的彩色射线之间进行区分。来自每一个颜色过滤孔径的信息仅由相机140的适当的过滤器部分所拾取。颜色过滤器阵列可以是Bayer过滤器，例如在编号为3，971，065的美国专利中所描述的，或者可替代地可以是不同种类的颜色过滤，例如CYGM过滤器和RGBE过滤器或定制的过滤器阵列(例如，如果存在被编码为蓝色和红色的两个孔径，则该过滤器阵列将具有蓝色和红色的交替过滤器)。结合定制的两色过滤器的相机将具有结合两色两孔径系统使用全部可用传感器区域的优点。然而，在这种标准成像仪的使用中，仅使用了三个通道颜色(RGB)中的两个(R，B)。这意味着光电传感器的部分资源实质上被浪费了:未使用的颜色所处的区域。理论上，这样的方法将系统的动态范围减少了相当于不能被使用的光电传感器表面的量的比率。对于传统的Bayer过滤器，这粗略地总计为传感器面积的一半。令人惊讶的是，这样的方法还是被有利地实现了。记录次优数据集的传统顾虑不会有问题地阻碍系统实体。事实上，从处理的观点来看，通过仅选择红色和蓝色通道，比如果记录第三个绿色编码孔径和绿色通道的情况引入了更少的噪声。参照图1B来说明此事实。即，所说明用于传感器的红色(R)和蓝色(B)过滤器的分离本质上确保(对于给定的强度截止或阈值而言)穿过红色编码孔径的光只被记录在传感器的红色通道上，而对于蓝色反之亦然。如果引入绿色通道，来自绿色孔径的光将被红色和蓝色传感器通道中的每个更容易地吸收，并且由于透射光谱重叠，绿色传感器通道(G)将更容易吸收(再次，在给定的阈值下)来自红色和蓝色编码孔径中的每个的光。已经发现，避免这种“串音”是为了相比对像素计数中的(有效)减少进行补偿的更干净的传感器数据。基本上，通道的次选择能够产生具有低成本(因为它们是现成可获得的)传感器组件的高质量图像系统。虽然发明的硬件方面集中在上文，但应当理解，发明性软件和相关联的方法可以采用不同数量的孔径和/或颜色。无论哪种情况下，都可以采用复合颜色(例如琥珀色或白色)，即使上文讨论了谨慎着色的发射器。值得注意的是，放弃使用绿色通道，以实现最终被使用的颜色通道之间的进一步分离，可能在此最后阶段具有更加显著的好处。散焦
如本文中一般所提及的，许多参考文献(包括对于Gharib所提到的专利)讨论了“散焦”的概念。在最广泛的意义上，“散焦”涉及通过已知空间关系的多个针孔相机类型的孔径来进行成像。孔径限制了由相机传感器系统所接收的图像。无论使用单一传感器还是多个协调传感器，比较从通过每个孔径所接收到的图像所识别出的特征的X，y坐标中的差异，以确定那些特征的ζ坐标值。将被记录在距被扫描对象的某一距离处的特征之间的标量差，与在另一距离处的那些标量差进行比较。例如，通过孔径的三角形布置成像所得的三角形图案之间的差异，被用于确定ζ轴的差异。另外，校准集可以被用于改善结果的精度。通过对已知的网格图案进行成像，并存储校准表，所记录图像数据的非线性可由“反扭曲”图像特征位置说明。边缘定义
在扫描不规则体(例如，一个或多个牙齿)以产生三维数据输出文件(例如，用于牙冠制造中使用的STL文件)时，定义填充三维扫描数据所到达的边界是有用的。这样的边界(或“边缘”)定义，可能有助于定义将用户注意力集中在区域上的扫描活动以生成完整扫描的程度。而且，在某些情况下，其中扫描是未完成的，但边缘已经被定义，可以通过插值对未扫描区域的近似值替代地进行填充。更进一步，良好定义的边界有助于离群点过滤(pointoutlier filtering)(即，表面内侧的计算中不考虑边缘视图之外的点)。对边缘的用户定义提供了某些好处。当通过在正被扫描或已被扫描的对象的数字表示上(使用指挥棒、触摸屏界面或其他装置)数字化绘制线或线段来执行时，用户可以基于观察和经验做出判断呼叫 。以这种方式利用人的能力，可以帮助避免对昂贵或繁琐植入设计的需要和/或引入用户的定性的“眼睛”可能以其他方式避免的误差。在如上所述的用户产生的边缘定义的方法中，X和y坐标信息被记录在屏幕的参考平面中。在这样做时，一条或多条线或曲线由用户绘制在所显示(已被扫描或将被扫描的)实体的图像上。因此，此平面中的每个(比方说，蓝色通道)x、y点与多个潜在的ζ值相交。然后，结合来自扫描和校准集的密集点云/集信息，真实的x、y、z可以被确定。因此，活动基于用户输入的二维信息来生成三维特征。图像确定软件综述
图2示出了图像确定和处理的操作的一般流程图。在200处，系统获得在第一时间tl的图像信息。在一个实施例中，此信息是以允许在孔径之间进行区分的方式，通过多个孔径来对多个图像的捕获。在以上所说明的实施例中，颜色过滤器被用于在通道之间进行分离。孔径中的一个可与红色过滤器相关联，以仅传递或主要传递红色光，以及另一个孔径可与蓝色过滤器相关联，以仅传递或主要传递蓝色光。这种方法形成信息的两个通道，各已穿过两个分离孔径中的每个。根据另一个实施例，不是按颜色来分离通道，而是将孔径以特定的布置(诸如等边三角形)进行布置，并且处理器153在最终图像中识别出该等边三角形，以找到可因孔径导致的图像部分。根据另一个实施例，不同通道可以通过修改不同通道的偏振而形成，通过将不同的偏振置于不同的孔径和相机传感器上，从而在孔径和相机二者上使用偏振。此实施例使用那些不同的偏振作为不同的通道。可以通过提供不同的物理掩模形状(有形孔径)，或通过按时间分割改变孔径(例如，通过将其从一处移动到另一处)，来以不同的方式形成通道。不管实现方式，在205处，稳健的特征检测器(例如，稳健的特征检测器可以使用现成的“SIFT”软件或简单实现的定制软件)被用于通过使用(在此示例中)来自蓝色通道的简化数据集，来确定对当前图像帧的参考。注意到，在任何一次所获得的图像帧都将小于总的图像帧。该参考在本文中被称为“关键点”，但可以使用在不同图像中可被识别的任何参考。稳健的特征检测器找到关键点位置的二维信息U，y)以及用于那些关键点的特征向量样式描述符。该特征向量样式描述符在对点的任何尺度的旋转和照明下将保持不变。特征向量样式描述符可以通过提取对象上的感兴趣点来获得，以提供对象的“特征描述”。此描述具有足够的信息，当试图在包含其他对象的其他图像中定位对象时和/或当从不同的视点/有利位置进行成像时，该足够的信息可被用于识别该对象。从训练图像所提取的特征被选择为对于图像尺度、噪声、照明中的变化以及局部几何失真是稳健的，以执行可靠的识别。例如，这可以使用编号为6，711，293的美国专利中所述的技术。商业上可获得的尺度不变特征变换(SIFT)软件可被用于这种检测。通过使用本文所描述的和美国专利N0.6，278，847和7，006, 132中所描述的类型的散焦原理和方程，对于每个关键点的二维点息也被确定。在210处，获得下一帧，其中下一帧可以是在t2时刻的第2号帧。通常，帧可以被递增以获得下一帧。在215处，由不同ts形成暂定姿态图。它匹配了与关键点相对应的三维信息的不同部分，以便获得t’ s之间的变换T(平移和旋转)。这表示核心时刻t与任何其他时刻tn之间的变换，通过被组合的信息，tn可包括多个n，例如，(tnl，..)。在220处，获得针对每个所获得的帧tn的密集点云。通过使用应用了上文所述的技术的散焦，密集点云可以获得三维图像信息。可以并行确定密集集合的查找(点及其位置)和稳健特征的识别。稳健特征的3D坐标的查找可以在其他信息已被确定之后完成。在225处，与不同时刻之间的暂定姿态相关联的线性变换T被用于在图像的16x16像素窗口之间进行变换和/或互相关，这些像素窗口围绕在不同时刻所获得的密集点云，以获得粗略姿态。这通过将当前的密集点集(例如，围绕中心点的16x16像素窗口)与先前的密集点集进行互相关，或通过在稀疏点集(例如，蓝色通道)上使用稳健特征检测来匹配帧的先前集合以找到匹配，而被完成。因此，在225处，3D信息和粗略姿态两者都已被获得。基于粗略姿态，在230处，确定当前信息是否足够接近于使两帧互相关的参考帧。如果是这样，则执行互相关。如果没有帧是足够接近的，则当前帧被拒绝。如果当前信息足够接近于使两帧互相关的参考帧，但在235处，新帧在某阈值距离之外，则其同样被拒绝，但作为新参考帧而被添加。然后，姿态恢复操作可被用于建立或改善暂定姿态。在操作中，处理器被编程为与散焦方程一起处理点集合以获得3-D图像。如本文所述，将红色和蓝色通道用多网格进行互相关。在226处，按位置对帧进行组织。在227处，表示扫描仪的粗略姿态的变换信息通过后处理而被确定，以便获得不同的和更精确的信息位置信息(即，“真实姿态”)。相比对于先前的姿态确定中任一种所采用的技术，后处理可以使用较不稳健但更精确的技术。例如，较不稳健的技术可能使得匹配超过一定量的像素差异在计算上更昂贵，但可能提供关于该匹配的更多信息。发明人发现，互相关技术可以是极为稳健的，并且可以提供不同变换之间的非常精确的值。然而，使用这种更稳健的技术来恢复在姿态之间具有大像素偏移的姿态(由此是使用粗略姿态对比纯暂定姿态的值)在计算上是不可行的。使用当前的Nvidia GPU，在姿态之间超过64个或128个像素的偏移将在实时计算上将是不可行的。在227处的后处理认识到，一旦这些帧“被变换”以具有偏移，使得存在很少的像素偏移，则更精确的技术可被用于后处理。因此，在一个实施例中，步骤200至225被实时执行，以及226和227是非实时的，其在实时粗略姿态已被计算后。这样，操作的第一部分实时计算出暂定姿态和粗略姿态，而下一部分改善那些姿态估计。互相关
整个说明书中所引用的互相关或“Ce”操作在图4A中被图示。这可以是稳健的互相关操作(例如，当使用稳健特征时)，或者其可被用来匹配点云数据。例如，可以在诸如微处理器153或GPU 155的处理器中，执行图4A的操作。在415中的第一时刻/姿态以及416中的第二时刻/姿态示出项目400。例如，不同的时刻/姿态可以是相同帧的不同颜色通道，或可以使用其他通道分离技术。点可以是自然点，或例如可以由固定的照明器所施加，或可以通过使用造影剂所施加。这同样可以研究任意位置，其是具有一定亮度、对比度和外表的表面的区域。每一帧415、416被细分成多个子部分，诸如401。415中的子部分401被示出与416中的另一子部分411进行比较。图4A中示出了正被比较时的这两个子部分401/411，但应当理解，为多个子部分中的每一个都执行此操作。在420处，两个子部分401、411被相关。每一个相关表示图像的多个不同移位。每一个相关在425处创建包括多个像素的相关图像。相关图像中的每一个像素表示一个相关移位的结果。例如，将401和411进行互相关给出表示所有移位的单个cc图像425。注意，所使用的互相关技术可以是任何种类的互相关类型，包括圆形、零填塞的、基于快速傅立叶变换(FFT)的或任何其他种类。例如，像素427表示在X方向上移位为零，但向下的移位(在y方向上)为3的像素。相关图像中的每一个像素值表示一个整体移位以及相关图像中的像素位置中乘以该量的一个整体倍增。这些值中的每一个都可以例如在GPU的着色器中或在处理器中，或在诸如门阵列或定制硬件的专用逻辑中被计算。相关平面中的最亮像素被找到。这是通过研究该像素所完成的，并且周围像素被用于找到峰值的子像素位置。以这种方式，可以使用多种不同峰值拟合技术中的任意。最常见的峰拟合假设了 Gausssian形状。可以使用子像素Gausssian峰值拟合。图4B示出如何使用此技术来找到蓝色通道中的点与第二通道中其对应点的网格对应性。在445处，相关图像的网格中最亮的像素表示图像之间最佳匹配的位置。此匹配被用于表示图像之间的偏移。双三次样条可被用于在网格点之间插值。在450处，粗偏移(在445处)的集合已被找到。图像之一(例如，红色)然后在450处基于该偏移而被扭曲以看起来像其他图像(例如，蓝色)。这创建复合图像455。在460处，图像已被扭曲为更接近彼此。获得了更精细的细分网格。然后，重复相关操作420、425，以得到用于更精细网格的图像之间的新扭曲。接着再次形成表示更精细的细分的新网格。完成该过程一定次数(例如4)，在本实施例中，这反映了与在465处可获得的计算精度相平衡的期望精度。或者，迭代可以针对一些其他数量的迭代(例如，直到达到16x16像素大小为止)而继续。在这点上，在470处，获得最终图像信息。它包括x、y (或表达为用于蓝色通道信息的位置信息的“bx、by”)和dx、dy (蓝色和红色通道之间在位置上的移位)。3-D点位置分辨率
在一个实施例中，结合互相关技术(由图3A中的325)生成3-D点云。通常，在蓝色和红色通道之间采用互相关来找到这些通道之间的大量对应图像像素。利用通过互相关(例如，按照上述)所获得的点位置信息，结合扫描仪校准信息可以获得对应的3-D点位置。对于校准过程，执行初始操作以基于校准网格定义校准集或表。更具体而言，对于在多个“ζ值”的每一 个处被成像的校准网格，将蓝色通道中的值与红色通道中的值进行比较。例如，蓝色通道中的位置0，O将具有在红色通道中的对应位置。此校准集/表表示从蓝色通道到红色通道的偏移。这些偏移dx和dy (其为对于红色通道的偏移)在475处已知。对于每一个值，到x、y、z位置的平移从校准过程中同样是已知的。因此，对于任何bx，by (B卩，蓝色通道中的X和y)和dx，dy，通过应用线性代数使用校准表来确定对应的X、y、ζ值。除非另有说明，采用(bx,by, dx, dy),由图4B中480,可以通过回溯追踪用于匹配蓝色和红色图像的变形来确定ζ。S卩，在图4B中，每一个扭曲/变形迭代(450至465)表示从先前图像到下一个变形的差异。这些变形被添加到彼此，以在470处获得最终图像信息(可选地按照x、y、dx、dy进行表达)。在480处，校准集被用作应用于此信息的函数，以获得定义密集点云中的X、y和ζ位置信息。从而，通过使用校准信息从四维降低到三维，提高了精度，该校准信息对于特定相机是个别的。基于姿态的扭曲
互相关技术还提供结合“投影平面”特征的工具。“基于姿态的扭曲”可被视为对平面进行投影并然后进行互相关的动作。当图像由于重大移动(例如，巨大的平面内/外的旋转和/或平移)而不能被直接互相关时，使用互相关或其他类似的图像匹配算法来恢复姿态在计算上变得不可行。利用R和T的某些知识(例如，当前方法中依赖于实现点的暂定或粗略姿态)，即使当偏移大于64像素时，在调整图像之一为互相关之后，互相关也是可能的。结合图8描述用于执行调整的投影平面特征。在800处，临近的向量被识别。在802处，识别尽可能远的向量用于互相关。在805处，基于较少改善的姿态信息，一帧被移位(平移/旋转)以看起来像途中的其他帧，以确定更加改善的姿态信息。更具体来说，对于第一和第二图像(I1、12)，生成图像12’作为对12在Il的平面中看起来将像什么的预测。所以，在12’中取一个代表点，其在三维空间中(使用校准集、可用姿态信息和密集点云信息)被平移和旋转(即，被投影)，以在12中找到其位置。对于所考虑的全部整数点，f (x, y)表示作为连续函数的这种活动。最终，可选地被用于确定粗略和真实姿态的基于姿态的扭曲中的投影平面操作，具有的目标是从看起来彼此更相像的多个不同图像创建数据以用于互相关。例如，看图6，相机的不同姿态可以是正在看同一物品和甚至该物品上的同一位置，但是从不同的视点。例如，姿态I (R1，T1)处的图像I可能已在650处被找到。然而，姿态2 (R2，T2)处的图像2可能已在652处被找到。虽然这些可能都在看同一实际物品，但650可能看起来如651中所示，而652看起来如653中所示。在这点上，这些值可能差别太大和相距太远以至于无法互相关。由图9，函数f(x，y)被用于将图像2’映射到图像2中，其中图像2’具有与图像I相似的姿态参数(如投影平面过程800中所表示的)。然后，通过互相关过程400，流程图单元900找到将图像2’扭曲到图像I的坐标系中的函数，以将图像I和图像2’两者提供在同一坐标系中。在依照单元905的注释中，在将图像I互相关到图像2’时，图像2’已经被反转，所以无需为此函数寻找逆函数。这创建简化的扭曲。这样的扭曲假定所有的Z值都为零。然而，由于通常不是这种情况，在900处f (X，y)的计算也可以通过将最小二乘平面拟合到变换f(x，y) -> (X’，y’，ζ’)来说明不同的ζ轴深度,其中
X，i; = ax Xi; + bx Yi; + cxy' i； = ay Xi; + by Yi; + cy
Z ^...这可被写成矩阵形式。然后，通过使用新的X、1、ζ对应性创建点的新网格，形状可以被平滑。基于样条(“Sp”)解释，点的新网格创建f(x，y)与(x，y，z)之间的关系。这使用该关系
(X，y) -> X Spx(X，y) -> y Spy (X，y) -> z Spz
因此，平面映射为被平滑的3-D样条。正如上文所引用的，使用针对相机所获得校准集，用于蓝色通道的点可被转换为X、1、Zo由于姿态随着X、1、Z改变而改变放大倍率，该变换不是完全线性的函数。通过以矩阵形式计算这些值，可以以这种方式对非线性的量进行补偿。图像捕获和实时姿态确定细节
图3A至3C定义了在处理器153和/或GPU 155上运行的程序的实现方式中的流程图或实时活动。在300处,在时间帧t0处,系统在那一个时间帧t0中捕获两个图像。这两个图像形成本文中所使用的两个通道。在获得两个图像(在此情况下，是颜色编码的)后，处理的两个并行路径305和306被执行。路径305被用于(按照图3B)确定相机姿态和执行相机信息的粗略确定，并因此找到初步的平移信息(即，暂定姿态)。路径306被用于确定密集3-D信息。尽管本申请将这些计算描述为被并行执行，但应当理解这些计算可以在任何时间被执行。在310处，使用更稳健但较不精确的技术，例如上面提到的尺度不变特征变换“SIFT”软件或其他手段，来获得关键点。无论如何，通常为多个关键点中的每一个确定特征向量描述符。该特征向量描述符描述了关键点看起来像什么。所选择的特征对于图像平移、缩放和旋转是不变的，对于照明改变是部分不变的，且对于局部几何失真是稳健的。例如，这可以通过使用在尺度空间中应用于一系列被平滑和重采样图像的Gaussians函数的差值结果的最大值和最小值来被完成。在一个实施例中，成像可以通过使用着色(painted-on)特征来执行,例如利用对比度而被应用的特征。在一个实施例中，对比度可以为利用气雾剂喷洒的白色和黑色粒子所使用。在一个实施例中，在蓝色通道图像上执行关键点的提取。然后，在315处，来自其他颜色通道(这里是红色通道)的信息可被用于找到对应的特征。这种特征查找可以采用如本文所述的互相关。在320处，已按照这种方式获得的关键点具有关于使用散焦在当前时间帧中所确定的它们3-D位置的信息。因此，处理每一个关键点，以获得与该关键点相对应的三维信息，以及与其相关联的描述符。此信息形成具有针对时间帧to的描述符的一组稀疏关键点。与暂定姿态确定路径305并行，执行密集点云路径306来确定密集3_D信息，然而没有描述符。对于时间段t0，步骤325通过使用被散焦的信息确定密集3-D点云开始。这可通过在330处的蓝色和红色通道之间进行互相关，以找到这些通道之间的许多对应点或图像像素来完成。在335处获得这些点的3-D位置。来自两个通道的被散焦信息被用于确定此3D信息。在340处，姿态和3-D点云确定都已被执行。在时间帧t0处，现在有两组3_D点云:具有描述符的稀疏集(来自路径305)以及没有描述符的密集云(来自路径306)。在345处，操作的下一部分进行，其找到下一个t，称为tl。此过程继续迭代以在多个不同的时间帧处找到多个不同的值。根据该操作，对于总体对象，存在多个不同的密集和稀疏点集的库。例如，图6示出了这将如何被用于获得扫描主体的牙齿的图像，例如600、602、604、606及其他。在610处的第一库I表示可以根据单个扫描从扫描仪所获得的视场。这可以对例如牙齿600、602进行成像。然而，牙齿604不在库I (610)内的扫描仪的视场内。因此，如620所示的库2可被用于捕获牙齿604、606的图像。不同的库均可代表不同的参考。姿态方法概述
初始相机位置确定(产生“暂定姿态”)提供了在t维度中实时匹配的旋转和平移R &T。这采用了接受点间差异的一个或多个稳健匹配技术(例如，通过如上文所述的互相关和/或通过比较关键点而执行)。在此活动之后，可选地，特征匹配通过基于姿态的扭曲来改善可匹配帧之间的姿态(产生粗略姿态)。后处理通常使用该粗略姿态信息。粗略姿态通过到一个或多个空间相关帧的基于姿态的扭曲，提供关于所选帧的更多信息，并再次一可选地，允许完全匹配，以通过利用附加的先验知识来确定更精确的姿态点(产生“真实姿态”)。暂定姿态确定
在图3B中，开始了确定暂定姿态的操作。在350处，通过互相关技术将当前点集与先前的点集进行比较。在355处，如果点集之间存在互相关或“CC”匹配，则做出确定。如果是这样，那么360确定存在两个匹配的密集点云，且将控制传递给节点3C，步骤390，其执行如图3C中所示的表示库的比较和形成的处理操作。如果在355处没有CC匹配，则将控制传递以便在365处使用先前帧组的稳健描述符(例如，SIFT描述符)，其中帧组可以在，例如，20帧和100帧之间。在370处，如果对先前的20至100帧和当前帧存在匹配，则确定。如果是这样，则其在375处的稀疏点云之间建立匹配，并且将控制传递给库节点3C (图3C)。如果当前帧和先前20至100帧之间不存在匹配，则使用所存储的关键点库上的描述符在380处执行姿态恢复。这将稳健的描述符与已被创建的整个关键点库进行比较。如果存在匹配，则其被取作暂定姿态，且将控制传递到3C处的库确定。如果在385处不存在匹配，这意味着在386处所有参考帧都与当前帧距离太远。在这点上，当前帧被拒绝(即，被丢弃)。粗略姿态确定
图3C通过使用 在图3B中已找到的暂定姿态来继续姿态确定。这开始于步骤391，其获得暂定姿态信息，并然后在392处确定是否存在接近的CC帧。如果392处的动作的结果是不存在足够接近的CC帧，则所有帧都距离太远且该帧被丢弃。或者，它可以作为库参考被添加以用于未来的CC活动。然而，如果存在足够接近的CC帧，则它在393处被获取且新帧被扭曲到较旧的帧(即，在393处投影该帧并在394处对其进行互相关)。一般地，该操作试图找到，对于多个不同向量(场景位置值)，哪个向量最接近。目的是互相关距离尽可能远的向量，只要它们仍然可校准。图8以图形化方式详细说明如上文所引用的在对平面进行投影中所涉及的帧查找和平移。返回到图3C，在393处投影后，R0^T0被用于将当前帧互相关到所找到的帧。这被用于找到新的姿态(粗略姿态)R和T。如果在395处可以找到R和T，则出于在用户接口装置(例如，计算机监视器)上显示的目的，此更加改善的姿态可被用于在399处聚集3-D点云数据。不然的话，则在396处将当前帧与SIFT参考进行比较。如果在此阶段397处未找到R和T，则其在398处作为SIFT参考被添加。否则，处理被完成，并且操作进行以获取步骤3A处的下一个点。上文中提到，当前帧中的三维点和关键点通过描述符与在多个不同先前时间帧中的关键点相匹配。也就是说，对于每一个核心帧tn，每一个关键点与多个先前帧t(n-x)中的每一个相匹配，其中X可以是集合编号。例如，取决于可用的处理能力和存储器，X可被设置为O到10000之间的任何数。在该实施例中，其被描述为处于20和100帧之间。这从而将多个帧中的每一帧与核心帧相匹配。在350处，该匹配被用于查找从当前帧到先前帧的变换。此操作确定帧η与将与帧η进行比较的所有其他帧之间的变换Tn (平移和旋转)。此相同信息也表示用于密集点的变换。以这种方式，所有帧最后处于被称为参考坐标系的单个坐标系中。参考坐标系是任意的，但一般来说遍及所有参考帧保持相同。如本文所述，当相机的运动导致主体的图像已经从其最初位置移动太远时，参考帧可以不时改变。根据另一个实施例，许多不同帧可以被用作基本帧/参考帧，使得存在许多不同的变换。例如，每个指定时间都可以有新的基本帧。在又一实施例中，变换可以被找到，以便可以存在中间帧。在又一实施例中，可以使用变换的平均来代替将变换进行组合。在360 (图3Β中)，在参考帧与任何其他帧tn之间进行变换。这形成全部在相同坐标系中的数据的库。所有数据都在单个坐标系中，其中该坐标系在本质上是随机选择的。这种系列变换可以最小化针对给定帧而被组合的变换的数量，以便从而最小化误差传播。在密集集合已被变换以能够产生图3A至3C中的全分辨率图像之后(例如，出于显示的目的仅在扫描期间当用户在处理期间反馈时)，如图7中所示执行姿态的后处理。当最小化误差传播以找到如上文所定义的真实姿态，并提供最终扫描输出产品(例如，包含在计算机可读介质中的STL文件)时，该后处理可使用“全局匹配技术”来允许更好的帧匹配，以用于通过CNC或其他生产技术从代表数据产生物理对象。进一步改善的/真实姿态确定
作为描述这种全局匹配方法的开端，图5示出当相机对更大的区域成像时，相机如何可以在不同的位置之间被移动。图5中的顶部部分示出了在方向500上移动的相机，而所示的底部部分在方向505上行进。按所示顺序获得帧:1，2，3，...254，255，256。当相机正在顺序地通过图像时，其可以按每秒10次来取得图像。虽然帧I和2在时间上接近，但实际上帧I和256之间可能有更多相似之处。例如，相机在1/256中可能比在1/2在空间上更接近。本方法说明了通过在比较图像数据方面追求最佳的空间匹配，以确定用来组合图像的相机姿态信息的这种可能性。在确定姿态方面，其他系统(例如，Zhang)聚焦于最接近时间匹配(即，相继帧)。在实际实践中，发明人发现，确实无法提前预测不同帧中的哪一个会产生最佳的空间匹配。最佳信息实际上是通过找到暂定/临时匹配，并接着将该暂定匹配改善为不同帧的集合来获得的。认识到此问题时，全局地执行所引用的后处理。本实施例的处理查看不同帧的整个库，而不是自动地将一帧与下一帧进行比较。例如，你可以从旧帧得到关于当前帧的更多信息，因为它在空间上更接近。发明人发现了意料之外的结果，即与多个帧同时进行匹配比与连续帧进行匹配产生更好的结果。本质上，这种全局匹配系统查看整个点库，以保持追踪跨越多个帧的相同点直到可被完成，并对该信息进行平均。可以对该整个库中的所有描述符进行比较，以找到“最佳描述符”来比较具有那些最佳描述符的点。由于该点在正被成像的物品上，因此对跨越多个帧的点进行平均提供了关于该点的更多信息。因为进行平均，多个帧均贡献姿态信息给其他空间上邻近的帧。通过消除各种种类的随机噪声，平均也可以被用于更精确地找到它们的真实位置。后处理在来自尽可能远的不同帧之间使用全局匹配。包含相同点的不同视图的不同帧表示该相同点。由于那些点总是相同的，在它们之间进行平均将增加它们的精度。根据本系统，在没有积累帧之间的点位置的误差的情况下，对点进行平均。参照图7的流程图详细示出了这种后处理。在700处，最佳的现有旋转和平移R，T (通常是粗略姿态)已被获得。这已创建了在所有时刻相机所在的所有位置的图。每个时刻处的每个位置都与特定的3D姿态相对应。在705处，选择姿态作为用于该库的根节点。本质上这可以被随机选择，例如通过选择列表中的第一个姿。可替代地，可以选择标准，例如通过把质心点视为根节点姿态。在710处，操作继续为找到靠近所选姿态的所有近邻。该操作创建表示基于接近度的所有3D姿态的图表的信息。
首先，在706处执行基于姿态的扭曲，来使姿态扭曲以便看上去更像彼此。参照本文中的图9详细描述了基于姿态的扭曲。进行扭曲后，在710处找到在起始姿态的Tl内的所有近邻姿态。这些近邻姿态中的每个都被移除和标记。Tl是被选择为最大的可用距离以减少误差传播的值，但是仍然被计算的可行性所限制。在715处，在近邻姿态已被移除后，第二阈值T2被用于查找子女姿态。余下的所有姿态都不是根节点的近邻。阈值T2是这样的，使得在不同参考平面中的图像之间存在最小重叠或没有重叠。T2大于Tl，且被选择为你可以通过基于姿态的扭曲找到姿态的最大距离。到根节点的在T2之内的点被称为子女节点。超过T1+T2的任何点都离根节点太远，并且因而子女的Tl将不会受到亲体的影响。所有点都以这种方式进行分析。流程图单元720表示继续此操作，直到所有子女都被找到。在725处，库内的所有节点或者是子女或者是近邻。在这点上，此子过程被称作“完成”。在730处，将对于根节点的近邻中的每个都与根节点中进行平均。对于子女的近邻中的每个也都与它的所有子女进行平均。这创建了已与形成平均姿态值的多个不同的近邻进行平均的高权重(heavyweight)节点。这时，子女和根节点之间的平移被确定。子女被平移以确定子女节点在亲代节点中的何处。然后，高权重子女节点被平移并与亲代节点进行平均。该动作形成了基于许多不同姿态的非常高权重的节点。以这种方式被平均的姿态提供了已通过进行平均而被改进的非常精确的根节点描述。在735处所获得的新R，T是如705的所选根节点与它的所有近邻和子女之间的高权重平均。该新R和T被用作被后处理的姿态(最改善的，真实姿态)，以重新计算具有更高精度的3-D值。此系统的优点是，在没有由时间技术将可能发生的误差叠加的情况下，来自多个帧的相同点可以与彼此进行平均。而且，仅一层深地执行该操作，因此误差不会层层传播。这意味着互相关点识别误差不会传播。变化形式
一个实施例执行图像处理的某些部分，包括通过使用双三次样条函数在值之间进行插值。根据一个实施例，双三次样条函数形成一组样条系数。每个系数都被用于计算下一个系数。系数列表是有因果关系的，因为一个系数影响其他系数的值。根据一个实施例，通过仅使用一些先前数量的系数的作为跨越样条系数的滑动窗口，来简化双三次样条函数。发明人发现，可以将该滑动窗口(此处由16块)选择为不影响双三次样条计算的值。例如，通过使用16块，系数中的误差可以小于浮点变量的精度。然而，通过以这种方式简化结果，可以在GPU的着色器中同时计算每一个项目。这允许大规模并行处理，使得每个单个着色器可以以这种方式仅使用16个系数来计算一部分，因此，允许每个着色器为一个像素计算一个值。重要的是，发明人发现，当诸如此的过程在GPU上被完成时，将所有值保持在着色器中是重要的。例如，诸如双三次样条的某些计算可以在着色器上被更快地执行，但诸如分类和比较的其他计算可以在处理器上被更快地执行。然而，发明人发现，着色器和主处理器之间的写入消耗更多时间，并因而在着色器中做每件事情都更快，即使是在着色器中执行起来效率较低的那些事情。根据一个实施例，基于姿态的扭曲使用如上所述的双三次样条计算，且此计算的部分或全部也可以在GPU中被更有效地执行。在CC操作之前被执行的另一个操作，可以相比其他值对中心、左侧和右侧的值更多地加权。另一个操作可以作为互相关操作的一部分而执行来取得最终16X16正方形中的所有值的标准偏差。高于图像的规定峰值的任何标准偏差值都被截去，使得那些峰值不对数据产生偏向。这移除了异常明亮的像素以避免对数据产生偏向。另一个操作可以利用蓝色/红色孔径仅以一维进行移位的已知数值。因此，对于互相关细分，这种一维移位可以表示可能发生的最大位移。比此更大的任何位移都可以在互相关细分中被检测到，并被用来对最终值加权。虽然只有几个一些实施例已在上文中被详细公开，但其他实施例是可能的，并且发明人意在将这些实施例包括在此说明书之内。说明书描述特定示例来实现可以按照另一种方式被实现的更一般的目标。本公开意在是示例性的，并且权利要求意在覆盖对于本领域一般技术人员而言可以预测的任何修改或替代。例如，可以使用除互相关外的其他形式的匹配。所属领域的技术人员将进一步了解，结合本文中公开的实施例所描述的各种说明性的逻辑块、模块、电路以及算法步骤，可以被实现为电子硬件，计算机软件或二者的组合。为了清楚说明硬件和软件的这种可交换性，上文已经在其功能性方面一般性地对各种说明性的组件、块、模块、电路和步骤进行了描述。这种功能性被实现为硬件还是软件取决于特定的应用以及施加在整个系统上的设计约束。本领域技术人员可以针对每个特定的应用以变化方式来实现所描述的功能性，但这种实现决策不应被解释为导致了脱离本发明的示例性实施例的范围。结合本文中公开的实施例所描述的各种说明性的逻辑块、模块和电路，可以利用被设计来执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、特定应用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或它们的任何组合，来实现或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器可以是计算机系统的一部分，该计算机系统还具有与用户接口进行通信的用户接口端口，且该计算机系统接收由用户输入的命令，具有至少一个存储器(例如，硬盘驱动器或其他相当的存储装置，以及随机存取存储器)，其存储电子信息，包括在处理器控制下进行操作并通过用户接口端口进行通信的程序，以及该计算机系统具有视频输出，其通过任何种类的视频输出格式(例如，VGA、DV1、HDMI )、显示端口或任何其他形式产生其输出。处理器也可以被实现为计算装置的组合，例如:DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或多个微处理器，或任何其他此类配置。这些装置也可以被用来为如本文中所描述的装置选择值。结合本文中公开的实施例所描述的方法或算法的步骤，可被直接体现在硬件中、由处理器所执行的软件模块中、或二者的组合中。软件模块可驻留在随机存取存储器(RAM)、闪速存储器、只读存储器(ROM)、电可编程ROM (EPR0M)、电可擦除可编程ROM(EEPROM)、寄存器、硬盘、可移除磁盘、⑶-ROM、或本领域中已知的任何其他形式的存储介质中。示利性存储介质被耦合到处理器，使得处理器可以从存储介质读取信息，并将信息写入到存储介质。在替代方案中，存储介质可以与处理器一体。处理器和存储介质可以驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。在一个或多个示例性实施例中，所描述的功能可以在硬件、软件、固件或其任何组合中被实现。如果被实现在软件中，则功能可以作为一个或多个指令或代码被存储在计算机可读介质上或通过其传送。计算机可读介质包括计算机存储介质和通信介质两者，该通信介质包括有助于从一个位置到另一个位置传送计算机程序的任何介质。存储介质可以是可由计算机访问的任何可用介质。作为示例，而非限制，这种计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储装置、磁盘存储装置或其他磁性存储装置，或者任何其他介质，这些介质可以被用来携带或存储以指令或数据结构形式的所期望的程序代码，并可以由计算机所访问。存储器储存装置也可以是旋转磁性硬盘驱动器、光盘驱动器或基于闪速存储器的存储驱动器或其他这种固态、磁性或光学存储装置。而且，任何连接都可以适当地称为计算机可读介质。例如，如果软件是通过使用同轴电缆、光纤电缆、双绞线、数字订户线路(DSL)或诸如红外、无线电和微波的无线技术来从网站、服务器或其他远程来源所传送的，那么所述同轴电缆、光纤电缆、双绞线、DSL或诸如红外、无线电和微波的无线技术被包括在介质的定义中。如本文所使用的磁盘和光盘包括致密盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光来光学地再现数据。上述的组合也应当被包括在计算机可读介质的范围内。如本文中所描述的操作可以在网站上或通过网站而执行。网站可以在服务器计算机上操作，或例如通过被下载到客户端计算机而在本地操作，或通过服务器场进行操作。网站可以通过移动电话或PDA或任何其他客户端进行访问。网站可以使用以任何形式的HTML代码，例如，MHTML或XML，以及通过诸如级联样式表(“CSS”)或其他的任何形式使用。同样，发明人意在的是，只有使用词语“装置用于”的那些权利要求旨在根据35USC 112的第六段进行解释。而且，没有来自说明书中的限制意在被加上另外的意思于任何权利要求中，除非那些限制被明确地包括在权利要求书中。本文中所描述的计算机可以是任何种类的计算机，或是通用计算机，或是某些专用计算机，例如工作站。程序可以以C、Java、Brew或任何其他编程语言进行编写。程序可以驻留在存储介质上，例如，磁性或光光学的，例如，计算机硬盘驱动器、可移除盘或介质，诸如记忆棒或SD介质或其他可移除介质。程序也可以通过网络运行，例如，利用服务器或其他机器发送信号到本地机器，这允许该本地机器执行本文中所描述的操作。在特定数值在本文中被提及之处，应当认为该值可以被增加或减少20%，而仍保留在本申请的教导之内，除非特别提及某些不同的范围。尽管这些实施例中的许多讨论了64位，但可以替代地使用128或256位的处理器或处理。在使用指定的逻辑意义之处，也意在包括相反的逻辑意义。提供对所公开的示例性实施例的先前描述，以使任何本领域技术人员能够制造或使用本发明。对这些示例性实施例的各种修改对本领域技术人员来说是显而易见的，并且在不脱离本发明的精神或范围的情况下，本文中所定义的一般原理可被应用于其他实施例。因此，本发明并不意在被限于本文中所示出的实施例，而是被给予与本文中所公开的原理和新颖性特征相一致的最广范围。
权利要求
1.利用对象的扫描图像帧来为扫描仪输出确定相机位置的方法，所述图像帧表示三维密集数据集，所述方法包括: 根据在时间上依次取得的多个图像帧确定暂定相机位置；以及 通过在由所述暂定相机位置所提供的能够被匹配的位置中的两个图像帧之间执行密集信息集匹配，来确定粗略相机位置。
2.根据权利要求1的方法，其中通过执行密集信息集匹配来确定所述暂定相机位置。
3.根据权利要求2的方法，其中所述三维数据集具有相关联的三维关键点数据集，其中: 在没有实现密集信息集匹配来建立暂定相机位置信息的情况下，其是通过基于它们的关键点数据集对帧进行匹配来确定的。
4.根据权利要求1的方法，进一步包括: 通过使用粗略相机运动确定来产生密集数据集的仅显示聚集。
5.根据权利要求1的方法，其中确定暂定相机位置和粗略相机位置是在计算机处理器上被实时确定的。
6.根据权利要求1的方法，进一步包括: 通过使用粗略相机位置来确定改善的相机位置。
7.根据权利要求6的方法，其中确定改善的相机位置是通过后处理来执行的。
8.根据权利要求6的方法，其中确定改善的相机位置包括: 在第一阈值距离处对多个三维密集数据集进行匹配； 将另外的多个三维密集数据集与在第一距离处被匹配的多个中的一个进行匹配； 将另外的多个三维密集数据集与在第一级处被匹配的多个中的另一个进行匹配，直到至少基本上所有感兴趣的帧都如此被匹配；以及 确定所匹配的集的相对位置。
9.根据权利要求8的方法，进一步包括: 产生计算机可读扫描输出以用于通过使用改善的运动确定来从密集数据集的聚集产生物理模型。
10.一种改进的成像设备，该设备包括图像传感器；孔径的阵列，以具有指定形状的图案进行布置，布置在所述成像传感器和场景之间；透镜部分，所述透镜部分、成像传感器和孔径被布置以捕获从场景的大量孤立可区分点反射或由其发射的光，所述光穿过多个孔径中的每一个并在图像传感器处作为多个孤立可区分点图像而被接收，所述孤立可区分点图像均包括数目与多个孔径的数目相同的多个图像点；以及处理器，其用以在来自图像传感器的每一个孤立可区分点图像中分析每一个图像点，来确定场景中每一个孤立可区分点相对于场景中每一个其他孤立可区分点的相对位置，以映射场景的完整三维图像，其中所述改进包括: 具有三个颜色通道的图像传感器；以及 由两个孔径组成的孔径的阵列；每一个孔径被编码为两个照明元件颜色中的一个，以将场景的可区分点隔离到对应的图像传感器颜色通道上.10.根据权利要求9的设备，包括只有两个颜色的多个照明元件。
11.根据权利要求10的设备，其中图像传感器的颜色通道是红色、绿色和蓝色，以及照明元件的颜色是红色和蓝色。
12.—种改进的方法，包括使用以指定形状的图案进行布置的多个孔径，通过允许来自场景的光只穿过所述多个孔径到成像仪上，来对场景进行成像；将孔径中的每个与成像仪的不同且分离的部分相关联，使得穿过每个孔径的光被成像到成像仪的不同部分上；捕获从场景的大量孤立可区分点反射或由其发射的光，所述光穿过所述多个孔径中的每一个并在成像仪处作为多个孤立可区分点图像而被接收，所述孤立可区分点图像均包括数目与所述多个孔径的数目相同的多个图像点；以及在来自成像仪的每一个孤立可区分点图像中分析每一个图像点，来确定场景中每一个孤立可区分点相对于场景中每一个其他孤立可区分点的相对位置，以映射场景的完整三维图像，所述改进包括: 对成像仪提供三个颜色通道以用于成像；以及 只利用两个孔径和三个通道中的两个来实现成像。
13.根据权利要求12的方法，其中所提供的三个通道是红色、绿色和蓝色，以及所利用的两个通道是红色和 蓝色。
全文摘要
可选地，公开了用于执行对象的轮廓测定的硬件和软件配置。描述了有优势的成像装置。还描述了有优势的确定成像仪位置的方法。所描述的每一个方面都可以不依赖于其他方面来被使用。而且，该教导可以在包括速度测量等的其他领域中得到应用。
文档编号G06T7/00GK103221975SQ201080068903
公开日2013年7月24日 申请日期2010年11月19日 优先权日2010年9月3日
发明者M.格哈里布, A.哈佛, J.卢, S.谢 申请人:加州理工学院