具有运动补偿的激光投影系统及方法
【专利摘要】本发明公开了一种具有运动补偿的激光投影系统及方法。一种把激光图像图案精确地投影在工作表面上并且连续地补偿激光器与工作表面之间的相对动态移动的方法，其包括：通过在摄影机图像中定位各个目标而确立摄影机在三维中相对于工作表面的位置；利用激光器相对于摄影机的固定位置而确立激光器相对于工作表面的位置；以及响应于由摄影机确定的激光投影仪相对于工作表面的动态移动，利用计算机连续地调节激光投影仪反射镜的旋转。在一个实施例中，计算机连续地跟踪激光投影仪相对于工作表面的至少两个先前位置并且预测激光器的下一个位置，从而补偿激光器相对于工作表面的移动。
【专利说明】具有运动补偿的激光投影系统及方法
[0001]相关申请
[0002]本申请要求2013年I月28日提交的临时专利申请序列号61/757，412的优先权。
【技术领域】
[0003]本申请涉及一种把激光图像精确地投影在目标或工作表面上并且连续地补偿激光投影仪与目标的表面之间的相对动态移动的方法。
【背景技术】
[0004]当前，激光投影仪被利用来在工作表面上组件各个部件，比如组件桁架(truss)的各个部件，正如在本发明人的美国专利号5，646，859中所公开的那样。至少四个目标(其通常是反光目标)相对于工作表面被固定，并且激光投影仪周期性地扫描各个目标以便校准工作表面与激光投影仪之间的相对位置。这在当前是通过测量相对于工具的坐标系的目标坐标并且随后利用后方交会(resect1n)处理(即计算去到目标的已知激光射线在该处经过已知3-D目标坐标的投影仪位置)定位投影仪相对于工具的位置而实现的。一旦确立了激光投影仪的相对位置，就可以计算激光投影仪扫描反射镜的所需偏转角度，以便描记激光点经过工具或工作表面的已知三维轮廓上的所期望的模板图案。模板图案被投影为一系列矢量移动，其中激光顺序地描记经过所述图案的各项特征。如果描记经过图案特征的操作以足够高的频率发生，则可以在没有可见的闪烁伪像的情况下显示所述图案。
[0005]通过在目标的表面上的格栅图案中扫描激光点来确立反光校准目标的精确位置。通过定位四个或更多目标的位置允许校准相对投影仪位置。在传统的处理中，主计算机计算投影仪位置和所需的扫描矢量反射镜移动以便描记经过所定义的3-D模板图案，并且随后把所得到的两个轴扫描反射镜的移动的矢量显示列表传送到连续地回描所期望的扫描序列的投影仪中的内嵌计算机。周期性地停止扫描序列并且定位目标，以便检查由于投影仪相对于目标或工具表面的位置的改变而导致的投影图案位置的变化，或者补偿其他因素，比如由于环境中的温度变化而导致的漂移。如果检测到变化，则重新定位各个目标，计算新的扫描序列并且将其传送到投影仪。
[0006]但是必须顺序地施行利用投影仪扫描目标位置的操作，并且每秒最多可以扫描很少几个目标。其结果是只能间歇性地施行针对投影漂移的测试，并且对于投影仪图案的校正导致所投影图案中的明显的中断。虽然这种传统的方法可以有效地补偿缓慢改变的环境条件或者间歇性发生的情况(比如刻意重新定位目标或工具表面)，但是其无法校正更加动态的改变，比如随着装料吊车移动或者响应于阵风或打开进料台的门导致的气压改变发生的建筑物移动而导致的天花板安装的激光投影仪的振动。
[0007]现有技术确实包括提出利用摄影机来采集系统相对于目标的表面的姿态，从而补偿投影仪相对于目标表面的移动。利用摄影机来跟踪投影仪具有两个重要优点，即(i)现今的摄影机可以在高速下操作从而每秒数百次定位目标，以及(ii)目标检测与投影无关并且不会与所投影图像的动态运动发生干扰。但是一般来说，在现有技术中公开的投影仪是视频投影仪(即在例如每秒30或60帧的固定刷新速率下显示光栅图像)。与此相对，本发明的方法对通过扫描激光产生的动态显示的矢量图像进行校正。虽然整个激光图案可能仅仅更加缓慢地被刷新(例如每秒40次)，但是所描记的单独各点则被每秒更新超过10000次，正如后面进一步描述的那样。在Keitler等人的已公布PCT申请W0201213645中公开了一种例外，该申请声明其所公开的动态跟踪方法可以被用于视频或激光投影仪；但是其所公开的方法依赖于特别对于激光投影仪来说在商业上尚未被证明是可行的独特地配置的目标。
【发明内容】
[0008]所述把激光图像图案精确地投影在目标或工作表面上并且连续地补偿激光投影仪与工作表面之间的相对动态移动的方法包括一种激光投影仪和摄影机系统，所述系统具有:至少一台激光投影仪，其具有激光束源和把激光束重定向到工作表面上的旋转反射镜；相对于激光投影仪固定的至少一台高分辨率摄影机；处在相对于工作表面的固定位置处的各个目标；以及与激光投影仪和摄影机通信的计算机。本发明的方法随后包括:通过在摄影机图像中定位各个目标，确立摄影机在三维中相对于工作表面的位置。所述方法随后包括:利用激光投影仪相对于摄影机的固定位置，确立激光投影仪相对于工作表面的位置。在一个优选实施例中，本发明的方法随后包括:响应于由摄影机确定的激光投影仪相对于工作表面的动态移动，利用计算机连续地调节激光投影仪反射镜的旋转，从而连续地校正工作表面上的激光束的位置。在一个优选实施例中，本发明的方法包括:在三维中连续地跟踪激光投影仪相对于工作表面的至少两个先前位置并且预测激光投影仪的下一个位置，所述计算机从而补偿激光投影仪相对于工作表面的移动；也就是激光投影仪相对于工作表面的相对速度。还可以通过连续地跟踪激光投影仪相对于工作表面的至少三个先前位置并且随后预测激光投影仪的下一个位置来确定三维中的激光投影仪相对于工作表面的加速度(即速度改变)，从而补偿激光投影仪相对于工作表面的加速度。
[0009]本发明的方法可以包括:通过首先利用激光投影仪扫描各个目标并且随后当激光投影仪相对于目标稳定时利用摄影机定位所述目标来确立摄影机相对于激光投影仪的位置。当所述方法包括把闪光导向反光目标并且利用摄影机定位被照明的反光目标，以便相对于激光投影仪和摄影机系统非常精确地定位反光目标和所述目标的表面时，所述目标可以是反光目标，并且所述系统可以包括例如LED闪光灯组件之类的闪光组件。正如前面所阐述的那样，所述目标处在相对于工作表面的固定位置处，并且在该实施例中发射或反射光源。本发明的方法还可以包括:在工作表面上描记校正后的图案时，通过利用计算机把三维图案坐标转换成激光投影仪中的投影矢量反射镜定义坐标来确定激光投影仪相对于工作表面的位置。本发明的方法还可以包括:利用摄影机直接观察激光投影仪的元件，比如由激光投影仪投影的斑点或一系列斑点，并且利用计算机来计算摄影机相对于激光投影仪的位置。
[0010]通过前面对于本发明的方法的描述将会理解，本发明的方法特别适用于部件的精确组装，比如在动态条件下要求至少0.50mm (0.0197英寸)的精度的飞机碳纤维布局的组装。如前所述，激光投影每秒刷新在图案中描记的单独各点超过10000次。因此，通过在每一个图案内而不是在图案之间进行卷曲(warping)，有可能利用本发明的方法以高得多的保真度进行校正(例如如果必须对于50cm/秒的移动校正投影，则50hz的校正在图案中产生Icm的误差，而10000Hz则校正到0.005cm (或者大约0.002英寸)，这是察觉不到的误差并且可以被用于例如飞机碳纤维布局之类的精确组装任务)。“卷曲”对于3-D透视是校正，对于二维是伸展。动态地局部校正所描记的激光投影仪矢量图案是本发明的一项重要特征。
[0011 ] 如前所述，动态跟踪是本发明的一项重要特征，也就是说，本发明的方法把激光投影仪与工作表面的相对移动拟合到被描述为时间的函数的测量，并且随后预测在实际对所投影的显示应用校正的精确未来时刻对象将位于何处(以便例如校正几毫秒的处理延迟)。这样就允许其中所施加的力是合理地连续的非常自然的移动。但是如果所述相对移动碰到固定对象，则其将立即停止，并且所投影的图案将以千分之几秒“弹”过该位置。
[0012]通过后面对于本发明的优选实施例的描述，本发明的把激光图像图案精确地投影在工作表面上的方法的其他优点和有利特征将会得到更加全面的理解。但是应当理解的是，除了如在所附权利要求书中所阐述的那样，该方法不限于所描述的实施例。
【专利附图】
【附图说明】
[0013]参照后面结合附图考虑的详细描述将会更容易认识到并且会更好地理解本发明的其他优点，其中:
[0014]图1是把激光模板投影在工作表面上的现有技术商用方法的示意图；
[0015]图2是精确地投影激光图像的一种改进的方法的示意图；
[0016]图3是针对投影激光图像的方法的进一步改进的示意图；
[0017]图4进一步示出了图3中所示的方法的实施例；
[0018]图5示出了包括激光投影仪的一个优选实施例的本发明的方法；以及
[0019]图6是摄影机的一个实施例的端视图，其示出了本发明的方法的另一个实施例。
【具体实施方式】
[0020]如前所述，在【背景技术】部分和本发明人的美国专利号5，646，859中，当前的商用组件激光投影系统包括激光投影仪20和处在相对于工件或工作表面24的固定位置处的多个(至少四个)目标(其通常是反光目标)22，正如图1中所示出的那样。激光投影仪20周期性地扫描各个目标22，以便通过后方交会处理定位激光投影仪相对于工具的位置。可以对激光投影仪扫描反射镜进行计算，以便将激光点描记经过工具的已知三维轮廓上的所期望的模板图案。但是这种方法存在几个缺点，其中包括必须中断在工具上的模板的投影以便确认激光投影仪与工具表面的相对位置，并且其无法校正激光投影仪相对于所述目标的表面的更加动态的改变或移动。
[0021]图2中所示的本发明的激光投影系统的一个实施例包括激光投影仪26、相对于激光投影仪26固定或者被集成到激光投影仪外罩中的高分辨率或高清晰度摄影机28，正如图中所示出的那样。目标30相对于工件32固定。在该实施例中，激光投影仪26和摄影机被用来确立固定摄影机28位置与激光投影仪之间的相对位置。最初，所述系统利用激光投影仪26和摄影机28来定位目标30，以便确立固定摄影机位置与投影仪系统坐标原点之间的相对对应性。这是通过在系统稳定时扫描所述目标或者通过补偿激光目标的扫描位置而实现的，其中补偿激光目标的扫描位置是通过在每一个所扫描的目标之间的间隔期间监测摄影机之间的相对位置而实现的。一旦确立了激光器与摄影机之间的相对对应性，就可以完全基于摄影机位置来计算激光投影仪26相对于工作工具32的相对位置而不会有所显示的激光投影的任何中断。通过基于更新后的摄影机位置修改激光投影位置允许对校正后的投影列表进行评估，以便独立于激光投影仪26或工作工具32的移动而保持光学模板在工具表面上的固定位置。图2中所示的激光投影系统的优选实施例提供了两种方法来更新相关联的矢量显示列表，从而允许与现有的激光投影系统集成，并且利用为了直接支持校正处理而开发的增强的投影仪来提供优化的性能。
[0022]图3示出了利用动态补偿来增强现有的激光投影装置的激光器和摄影机投影系统。在这种配置中，外部摄影机36通过物理方式附着到现有的激光投影仪34。摄影机36具有利用高速通信链接的集成LED闪光灯38 (后面关于图7讨论)，例如可以从Basler AG获得的工业摄影机型号acA2500-14gm通过千兆字节以太网进行通信，以便从远离主计算机的距离提供高速分辨率图像的快速传送。所检测到的位置42随后可以被用来计算激光投影仪34的相对位置。主计算机40随后可以基于当前所投影的模板的3-D范围来计算相对扫描矢量偏移量。所述矢量偏移量可以被发送到投影仪34，并且在描记当前存储的矢量显示列表时被动态地应用，以便校正投影仪相对于目标表面或工具(未示出)的运动。但是图3中所示的系统并不是最优的，这是因为矢量显示的简单变换例如不允许相对于工具的复杂动态运动，并且只能近似对于所显示模板的所需校正。举例来说，对于精确的补偿，显著地更加靠近投影仪的模板的分量将需要更大的矢量角度校正。
[0023]图4中所示的增强的投影仪设计允许更加灵活的性能。图4中所示的投影系统的实施例包括激光投影仪44和高分辨率摄影机46。如图所示，通过记录所显示模板的源3-D坐标而强化了矢量显示列表48。所嵌入的处理器随后在利用激光点描记矢量图案时动态地应用当前评估的投影仪变换50以便把矢量显示列表48转换成校正后的矢量显示列表52，从而在存在任意相对运动的情况下提供经过完全校正的模板投影54。相对投影的图像处理和计算可以在主计算机中发生，或者优选的是，摄影机46和用以定位反光目标及评估摄影机姿态的图像处理软件被直接集成到投影仪中。
[0024]为了计算作为激光投影仪的两个扫描反射镜(图5中的60和62)的旋转角度的矢量，首先确定激光投影仪44相对于将激光投影到其上的工作表面的位置。一旦确定了投影仪相对于工作表面的位置，计算机就计算扫描反射镜的必要旋转以便把投影仪位置改变到使得激光被投影到所述表面上的期望点，正如后面进一步讨论的那样。一旦如前面所讨论的那样通过观察所述目标相对于工作表面定位了摄影机46，就通过已知的机械关系或者通过需要所计算的激光投影仪相对于所述表面的位置的扫描来确定激光投影仪44相对于摄影机的位置。当计算出激光投影仪相对于所述表面的位置时，所述位置被用来确定所需的反射镜旋转矢量。
[0025]主计算机监测所计算的矢量相比于初始计算的矢量的改变，并且发出以2-D增量偏移所投影的图案的针对反射镜旋转角度的校正，作为第二更加先进的实例，所述校正是3-D坐标的更新后的数值，正如后面进一步描述的那样。
[0026]图5示出了适用于本发明的把激光图像图案精确地投影在工作表面上的方法的激光投影仪和摄影机组件56。所述组件包括激光器或激光源58，分别安装在旋转电流计电动机64、66上的旋转反射镜60、62。激光束68被旋转电流计反射镜60、62重定向，其把激光束偏转到圆柱形工件72上，从而在该工件上描记图案70。所述工件包括至少四个目标74，其优选地是处在圆柱形工件72上的预定位置处的反光目标。应当理解的是，工件72可以具有任何形状并且不限于圆柱形。所述组件还包括高清晰度摄影机78，并且目标74由光源76照明，其优选地是LED光源或LED闪光灯阵列76。处理板80检测摄影机78的图像中的各个目标位置和摄影机以便计算投影仪关于目标72的相对位置，并且确定在部件上的恒定位置处描记所述图案必要的经过修改的反射镜偏转，而不管由于目标72、投影仪或全部二者的移动所导致的投影仪相对于目标的表面的任何移动。因此，摄影机78连续地更新组件56相对于工件72的位置而不会中断激光投影。在一个优选实施例中，计算机连续地调节激光投影反射镜60和62的旋转，这是通过响应于由摄影机78确定的激光投影仪相对于工作表面的动态移动来控制旋转电流计电动机64、66来实现的。计算机可以被用来连续地跟踪激光投影仪78相对于工作表面72的至少两个先前位置，并且预测激光投影仪的下一个位置，从而补偿激光投影仪与工作表面72的相对移动。本发明的方法还可以被利用来补偿激光投影仪58相对于工作表面72的加速度(即速度改变)，这是通过在三维中连续地跟踪激光投影仪58相对于工作表面的至少三个先前位置，预测激光投影仪的下一个位置，并且针对激光投影仪相对于工作表面的移动而对其进行补偿。本发明的方法还可以被利用来跟踪激光投影仪或者激光投影仪和摄影机组件56相对于工作表面72的加速度(速度改变)。本领域技术人员将理解的是，激光投影仪和摄影机组件56通常被安装在高架起重机、横梁和桥式台架上，从而会受到由于风或地面移动而导致的不规则移动。类似地，工件72相对于激光投影仪可能是可移动的。在其中精度至关重要的某些应用中，比如用于构造特定飞机的飞机碳纤维布局，激光投影中的误差必须小于0.5mm或者0.01968英寸。即使在动态条件下，利用本发明的方法也可以达到这一精度。
[0027]图6是图5(和图3)中所示的摄影机78的端视图，其中摄影机78被LED闪光灯阵列76围绕。如前所述，LED闪光灯阵列76照明由摄影机78观看的图5中的反光目标74，从而改进了测量或确定摄影机和激光投影仪相对于工作表面的相对位置的精度。
[0028]本领域技术人员将理解的是，在所附权利要求书的范围内，可以对本发明的把激光图像图案投影在工作表面上的方法的各个实施例做出许多修改。仅仅作为举例，在本发明的方法中可以利用两台或更多台摄影机，并且可以通过任意措施把摄影机相对于激光投影仪固定，其中包括如图5中所示把摄影机放置在激光投影仪的外罩内，或者利用托架或条杆把摄影机与激光投影仪间隔开。前面描述了本发明的方法，后面将申明所述方法的保护范围。
【权利要求】
1.一种利用激光投影仪和摄影机系统把激光图像图案精确地投影在工作表面上并且连续地补偿激光投影仪与工作表面之间的相对动态移动的方法，所述激光投影仪和摄影机系统包括至少一台激光投影仪、相对于激光投影仪固定的至少一台高分辨率摄影机、处在相对于工作表面的固定位置处的各个目标以及与激光投影仪和摄影机通信的计算机，其中所述至少一台激光投影仪具有激光束源以及把激光束重定向到工作表面上的旋转反射镜，所述方法包括: 通过在摄影机图像中定位所述目标而确立摄影机在三维中相对于工作表面的位置； 利用激光投影仪相对于摄影机的固定位置而确立激光投影仪相对于工作表面的位置；以及 响应于由摄影机确定的激光投影仪相对于工作表面的动态移动，利用计算机连续地调节激光投影仪反射镜的旋转，从而连续地校正工作表面上的激光束的位置。
2.如权利要求1所述的方法，其中，计算机在三维中连续地跟踪激光投影仪相对于工作表面的至少两个先前位置并且预测激光投影仪的下一个位置，从而补偿激光投影仪相对于工作表面的移动。
3.如权利要求1所述的方法，其中，所述方法包括:通过利用激光投影仪扫描所述目标并且当激光投影仪相对于所述目标稳定时利用摄影机定位所述目标来确立摄影机相对于激光投影仪的位置。
4.如权利要求1所述的方法，其中，所述目标是反光目标，并且所述系统包括导向所述反光目标的闪光组件，所述方法包括:把闪光导向反光目标并且利用摄影机定位被照明的反光目标，以便精确地定位所述反光目标和目标表面。
5.如权利要求4所述的方法，其中，所述摄影机包括LED闪光灯阵列，并且所述方法包括JELED闪光灯阵列导向工作表面上，并且摄影机通过在摄影机图像内定位被照明的反光目标而在三维中精确地确立摄影机相对于工作表面的位置。
6.如权利要求1所述的方法，其中，通过以下操作确立摄影机相对于激光投影仪的位置:利用激光投影仪扫描所述目标，并且通过同时利用摄影机定位激光投影仪来单独地补偿每一项扫描。
7.如权利要求1所述的方法，其中，处在相对于目标表面的固定位置处的所述目标各自发射一个光源，所述方法包括:利用摄影机对被照明的目标进行成像，并且利用摄影机定位激光投影仪。
8.如权利要求1所述的方法，其中，在工作表面上描记校正后的激光图案时，激光投影仪相对于工作表面的位置被计算机利用来把三维图案坐标转换成激光投影仪中的投影矢量反射镜偏转坐标。
9.如权利要求1所述的方法，其中，所述方法包括:通过利用摄影机直接观察激光投影仪的元件来精确地确立摄影机相对于激光投影仪的位置。
10.如权利要求9所述的方法，其中，由摄影机观察的激光投影仪的所述元件是由激光投影仪投影的斑点，并且所述方法包括:利用摄影机观察由激光投影仪投影的斑点，并且利用计算机计算摄影机相对于投影仪的位置。
11.如权利要求10所述的方法，其中，所述方法包括:通过利用摄影机观察由激光投影仪投影在工作表面上的斑点来确定摄影机相对于激光投影仪的位置。
12.一种利用激光投影仪和摄影机系统把激光图像图案精确地投影在工作表面上并且连续地补偿激光投影仪与工作表面之间的相对动态移动的方法，所述激光投影仪和摄影机系统包括至少一台激光投影仪、相对于激光投影仪固定的至少一台高分辨率摄影机、处在相对于工作表面的固定位置处的多个反光目标以及与激光投影仪和摄影机通信的计算机，其中所述至少一台激光投影仪具有激光束源以及把激光束重定向到工作表面上的旋转反射镜，所述方法包括: 把闪光光源导向所述反光目标上； 通过在摄影机图像中定位被照明的反光目标而确立摄影机在三维中相对于工作表面的位置； 利用激光投影仪相对于摄影机的固定位置而确立激光投影仪相对于工作表面的位置；以及 修改由激光投影仪投影的图案以便补偿激光投影仪相对于工作表面的所计算位置。
13.如权利要求12所述的方法，其中，所述摄影机包括LED闪光灯阵列，并且所述方法包括JELED闪光灯阵列导向工作表面上，利用摄影机对被照明的反光目标进行成像，以及通过在摄影机图像内定位被照明的反光目标而精确地确立激光投影仪在三维中相对于工作表面的位置。
14.如权利要求12所述的方法，其中，所述方法包括:响应于由摄影机确定的激光投影仪相对于工作表面的动态移动，利用计算机连续地调节激光投影仪反射镜的旋转，从而连续地校正工作表面上的激光束的位置。
15.如权利要求14所述的方法，其中，计算机在三维中连续地跟踪激光投影仪相对于工作表面的至少两个先前位置并且预测激光投影仪的下一个位置，从而补偿激光投影仪相对于工作表面的移动。
【文档编号】G01B11/25GK104180792SQ201410040404
【公开日】2014年12月3日 申请日期:2014年1月28日 优先权日:2013年1月28日
【发明者】K·D·鲁博 申请人:维蒂克影像国际公司