本专利申请要求于2015年6月24日提交的美国专利申请序列号14/749057的优先权。美国专利申请序列号14/749057的全部内容通过引用并入本文。
背景技术：
焊接操作员和配备有传统光学相机的焊接机器人在恶劣的电弧焊接环境下存在视觉模糊的情况。焊接电弧与周围环境的强烈光强对比度使得难于以良好的清晰度看到焊缝、在焊缝内的电极放置、焊炬和行程角度、液体熔池的形状和位置，以及完工焊缝的大小和位置。某些焊丝、气体和焊接工艺的过多烟和飞溅物使该问题更加严重。
激光扫描器克服了电弧亮度和烟阻塞，但却苦于高成本和有限的视野，且通常被用于焊缝寻找和跟踪应用。
技术实现要素：
本发明提供了用于焊接机器视觉的飞行时间相机的方法和系统，其基本上如附图中的至少一个所示和/或如结合附图中的至少一个所述，如在权利要求中更完整地阐述。
附图简要说明
图1A示出利用飞行时间(ToF)成像对制作工作间场景的监控。
图1B示出使用飞行时间相机的深度测量。
图2示出ToF相机的示例实施方案。
图3A示出使用一个或多个ToF相机对手动焊接场景的监控。
图3B示出使用一个或多个ToF相机对机器人焊接场景的监控。
图4为示出使用ToF相机来监控和管理焊接工件变形的示例过程的流程图。
图5示出使用由监控制作间的一个或多个ToF相机收集的空间数据进行的焊接排序控制。
图6示出使用ToF相机以用于适应性多道焊接。
图7示出在ToF相机和非ToF相机之间的光学组件的共享。
具体实施方式
图1A示出了利用飞行时间(ToF)成像对制作工作间场景(包括焊接和焊接前和焊接后活动，以及其他非焊接制作活动，诸如切割、加热、硬焊、感应加热、软焊等)的监控。示出了从各种距离和角度监控焊接场景的多个ToF相机102a至102d。ToF相机102a至102d产生3D空间数据(例如，“点云”)并经有线和/或无线网络将该数据传送至数字信号处理电路系统106。焊接系统106包括焊接设备，焊接设备可以包括例如，焊接电源、焊丝送丝器、焊接气体流量调节器、焊炬、用于定位待焊接的工件的焊接夹具、自动化焊接机器人、焊接可穿戴物(例如，电子头戴件、腕带、包等)、用于监控焊接过程的计算机工作站、计算机系统，该计算机系统除了存储例如焊接工艺规程、CAD图形/数据、工作订单、关于焊接操作员的信息等之外还用于存储/记录源于ToF相机102a至102d的焊接数据。
ToF相机102a和102e被安装在靠近焊缝处(例如，被整合至焊工头盔中，至焊工的衣服或可穿戴物诸如手套中，至焊炬或焊接工具中，被整合在机器人臂上的机器人的末端执行器中，被安装至夹持工件24a和24b的夹具，至工件24a或24b本身，或至焊矩44)以产生焊缝和焊缝附近区域的3D图。对于整合到焊接头盔中的ToF相机，诸如102e来说，头盔可以具有支持电路系统以预处理深度图像图、压缩图像并将图像无线传输至焊接设备。ToF相机102b、102c、102d被安装在更远的距离处(例如，如果在室内，则安装在天花板上，或如果在室外，则安装在灯具或建筑结构上)，以及在各种角度上以整体地产生在工作区域中的物体的图。这样的图可以用于跟踪工件、焊接操作员(活动)、焊接设备、焊接耗材等。因此，对于手动焊接大型挖掘机的挖斗110的工人的所示示例来说，可以产生挖斗110的3D图并将其用于确保在挖斗上的焊缝108没有缺陷，按正确的顺序完成等。
现在参考图1B，示出了ToF相机102，该相机代表ToF相机102a至102e中的每一个。光源154(例如，激光器)用主动调制的光或光脉冲(由线110表示)照亮焊接场景(由3D表面160表示)。制作工作间的3D表面160发出的反射光112是经检测器156进行接收的。ToF相机102的信号处理电路系统152随后测量在照明光110和反射光112之间的相移158。相移158取决于光的飞行时间，且因此电路系统152能够将其转换成用于图像的每个点的3D空间信息。以这种方式，ToF相机102可以立刻捕获整个场景。
ToF相机在低光照和明亮光条件下都可以运行良好，这有助于当存在焊接电弧时查看场景。由于深度测量是从ToF的相移中获得，因此与在使用结构光时的情况相比，在电弧和周围环境之间的强度对比对测量的影响较小。ToF相机可能涉及较低的实施复杂度，提供较快的响应时间(较高的帧速)，为紧凑的、成本有效的，没有移动部分且无需对透射光诸如在扫描光、结构光和/或在电弧焊接环境中可能起作用的其他这种类型的3D测量相机中的透射光进行整形和/或扫描。
ToF相机成像器可以具有CMOS像素阵列，其被设计为响应于照明光源的光谱，而照明光源的光谱可能不同于焊接电弧的光谱峰(忽略低于在ToF相机成像器测量的光源光谱峰的量大于某个确定的阈值量的峰)，从而能够几乎完全地阻挡电弧辐射和发射(或成像器不响应于此)，从而实现了大大改进的信噪比。例如，光源可以是LED或激光二极管。例如，研究已显示，在纯氩气GTAW焊接中，10％CO2和90％氩气混合的GMAW焊接和5％O2和95％氩气的钢焊接中，除了可见光谱中的峰之外，电弧的近红外光谱还在914nm附近显示有峰。因此，在这个示例中，如果ToF相机的照明激光被设置为在980nm波长(比电弧光谱中的914nm峰更长的波长)或替代地，在850nm(比电弧光谱中的914nm峰更短的波长)具有单个峰，以使得从ToF光源接收的功率是比成像器的通带中的从电弧光接收的功率高某个阈值量，系统则可以有效地阻挡由电弧发射的可见和近红外电弧光谱且具有对焊接场景的可靠3D映射。
使用反射光的另一个好处是只有固态物体而非气态物体诸如电弧等离子体能有效地反射光。电弧物体不反射照明光，以及固态物体，例如焊丝(在熔融前后)、飞行中的熔融金属、飞溅球、接触尖端、接头、熔池表面和焊缝等。因此，电弧对于ToF相机来说通常是不可见的。然而，电弧光确实提供了可能远高于ToF照明光源功率的照明功率水平。这种问题的一个示例解决方案是使用非整合型ToF传感器，该传感器不随时间整合光且使用近红外检测器(诸如InGaAs)来捕获反射的短激光脉冲。可以通过使场景的电弧所在区域中的激光功率适应地增加来改进深度分辨率，其中强度信息被用作置信度量度以用成像处理算法，诸如卡尔曼滤波器来提高精确度。
用ToF相机监控在制作间中的活动在各种方式中都可能是有益的。例如，经ToF相机捕获的数据能够用于监控增值活动(例如，焊接、切割、研磨等)和/或非增值活动(例如，检测由工人走来走去以拿起工具、放下工具、固定工具、等待材料到达和离开、等待其他职工，诸如电工将其焊接设备接通电源或叉车操作员移动WIP(半制品)等导致的低效率)。通过使用3D空间数据对这些活动进行跟踪和整理可以有助于制造商使制作操作“线性化”或流线化，减少MOH，改进吞吐量、质量、生产能力、安全性和人体工程学。
在一个示例实施方案中，系统还可以包括一个或多个非ToF相机130，其中非ToF相机可以进行操作以捕获，例如可见光谱和/或红外线的2D或3D(对于立体相机而言)图像。数字信号处理电路系统106可以进行操作以使用源于ToF相机102的3D空间数据来补充由非ToF相机130捕获的图像。例如，可以使用ToF数据和可见光谱图像的组合来产生增强现实用户界面，其中从ToF 3D图获得的场景理解可以被叠加至高动态范围的可见光谱图像上。作为另一个示例，可以使用ToF数据和IR图像的组合来产生3D图，其具有色彩映射以指示温度。在一个示例实施方案中，非ToF相机和ToF相机可以共享如下面参考图7所述的光学元件(照明器，诸如216c(未在图7中示出)可以与共享的光学元件相邻)。
图2示出ToF相机的示例实施方案。示例ToF相机102包括ToF图像传感器216A、模拟前端216B、照明器216C、ToF控制器216D和通信接口206。
ToF图像传感器216A可以包括，例如可寻址CMOS像素阵列，其中调整每种像素材料以响应于特定光学波长。可以选择波长以匹配由照明器216C发射的波长且其不同于由焊接电弧发射的波长。
模拟前端216B可以包括，例如采样和保持电路和高速模数转换器(ADC)的阵列以用于由ToF图像传感器216A输出的数据的模数转换和序列化。
照明器216C可以包括，例如发光二极管(LED)、激光二极管和/或其它光源。
ToF控制器216D可操作用于控制像素扫描，计算每个像素的深度测量并执行解混叠、去噪、频率调谐和温度补偿。ToF控制器216D可以是，例如控制和同步216A、216B和216C的操作的状态机。在一个示例实施方案中，控制器216D可以获取源于AFE 216B的序列化的空间数据成为3D点的集合，每个点被称为体素，从而形成深度图。ToF控制器216D可以将深度图渲染成称为点云的3D空间且可以通过被称为表面重建的过程将点云转换成网格模型。ToF控制器216D可以将空间数据(例如，网格模型或点云)传输到数据处理电路系统206(例如，FPGA、CPLD或SoC，诸如赛灵思公司(Xilinx)的Zync)进行3D点云的数字图像处理。作为ToF相机102的示例实施方案，源于德州仪器(Texas Instrument)的3芯片组解决方案能够用于实施图2。其可以包括TOF成像传感器(OPT81x0)、模拟前端(VSP5324)和TOF控制器(OPT91xx)。源于TI、SoftKinetic、Point-Cloud Library和OpenCV的软件能够用于ToF相机图像处理。其他实施方案，诸如使用源于英飞凌(Infineon)的3D深度感测电子器件也是可能的。
图3A示出了由ToF相机监控的示例焊接场景。ToF相机102a和102b从多个距离和角度捕获焊接场景。由相机102a和102b中的一个相机捕获的空间数据被中继到资源302(例如，单个计算装置、边缘装置或组联网的计算装置)。在另一个示例实施方案中，用于分析空间数据的电路系统可以被整合至ToF相机102和/或102b，或可以在ToF相机102和/或102b中执行某种低复杂度的处理以及可以在资源302中执行更高级的处理。
资源302可操作用于处理空间数据以识别和/或跟踪在焊接场景中的各种物体，且基于在空间数据中所检测到的物体采取适当的动作。对于物体跟踪而言，资源302可以使用已知信息来对被遮蔽物体的位置进行建模/预测。这可以包括，例如，在视野中的各种物理性物体(例如，工件、焊缝、焊炬、电极、熔池等)的最后一次看到的位置和速度，用于视野中的各种物理性物体的机械/CAD数据，用于各种物理性物体的化学或组成数据，焊接设备设置和/或输出(例如，电压、电流、气体速度等)。预测物理性物体的位置还可以包括对障碍物诸如烟、飞溅物、电弧亮度等的位置进行建模/预测。
除了解析被遮蔽物体外，焊接场景的先验知识(例如，在工厂的特定“制作间”中执行的焊接操作的知识，在特定制作间中可供使用的焊接设备的知识，被授权在特定的制作间中工作的焊接操作员的知识等)可以总体上有助于“场景理解”。与源于一个或多个ToF相机102的空间数据一起，资源302能够基于外生和/或先验知识具有更全面的场景分析。例如，概率图模型(PGM)能够用于破译场景中的物体及其行为，而不是仅仅依赖于源于ToC相机的空间数据。例如，资源302可以被配置成认定源于焊丝一端下方的电弧且以高速向外飞溅的光条纹可能是飞溅球。作为另一个示例，资源302可以具有关于在接头中存在的平头焊的存在(以及可能的位置)的信息且可以在其焊缝跟踪算法中考虑该信息(例如，用于引导手动焊接操作员18和/或控制焊接机器人，诸如在图3B中所示的)。作为另一个示例，资源302可以被配置为具有对物理能力和/或参数的预定限制(例如，实际上，焊炬44不能超过某个速度来物理行进等)。作为另一个示例，资源302可以存储与各种焊接工艺/参数相关联的声学特征(例如，长电弧可以发出具有第一组频率、幅度等的声音；短电弧可以发出具有第二组频率、幅度等的声音；以及理想的电弧可以发出具有第三组频率、幅度等的声音)。这样的多维、多变量的先验知识可以被共同地用于图像分割、3D物体重建以及场景解释。PGM可以采用像贝叶斯网络和马尔可夫随机场的方法或离散的数据结构来编码和操纵在多维空间中的概率分布。
基于空间数据的处理结果，资源302可以，例如为焊接操作员产生警报；产生控制信号以用于控制焊接场景的装置，诸如焊接设备12(例如，电源、送丝器、保护气阀等)，以及ToF相机102a和102b(例如，聚焦、摇摄、俯仰等)；和/或发送警报、控制信号和/或数据至远程位置(例如，至网络存储器，至远程监控站等)。对操作员的警报可以，例如经资源302的音频和/或视频接口输出和/或被通信至可穿戴装置，诸如操作员18的头盔20。
在所示的示例实施方案中，第一ToF相机102a被定位成以良好的精确度捕获工件的相对窄的视野，诸如在单个焊接接头内的焊炬移动，且相机102b被定位成用于“鸟瞰图”以跟踪较大的物体，诸如在整个工件中的多个焊接接头。以这种方式，ToF相机的不同角度和/或距离可以提供更少的“盲点”和/或更高的分辨率，其中这样的分辨率可能是有价值的。源于两个相机102a和102b的数据可以单独使用和/或可以进行组合以渲染焊接场景的单个且更完整的映射。在其他示例实施方案中，可以使用不同数量和/或不同位置的ToF相机。
资源302可以，例如，处理空间数据以识别正被焊接的工件24a和24b，以确定工件是否正确地位于测试夹具304中，以识别正在使用的设备(例如，哪个焊炬44和哪个电源12以及哪个可消耗性电极，诸如52)等。部件或工件识别可以帮助消除焊接错误，且能够用于自动焊接程序的产生和/或先前产生的焊接程序的选择。夹具识别可以用于手动焊接中以确保操作员按适当的顺序执行焊接(例如，用于管理工件的变形，如下面参考图4所述的)。可以使用焊接工具识别来确保适当的工具被用于在特定位置上的特定焊接。资源302可以，例如，处理空间数据以识别焊接操作员18。例如，ToF相机102a和/或102b可以按足够的分辨率捕获场景，以使得能够根据由ToF相机输出的空间数据来执行面积识别。数据可以，例如依照被授权的操作员的面部的空间图的数据库进行比较。作为另一个示例，每个焊接操作员可以被赋予具有独特形状的标签或可以基于源于ToF相机的空间数据而更容易识别的某个其他物理性物体。一旦识别了操作员18，他或她的焊接凭证，诸如WPQ(焊工技术鉴定)就可以从数据库检索出来(例如，用于质量控制)。资源302可以，例如，处理空间数据以识别正使用的焊接耗材。例如，假定制造车间具有两种用于生产的焊丝，035焊丝和045焊丝。035焊丝可以具有矩形标签，而045具有圆形标签。至少一个ToF相机被定位成看到焊丝52上的标签且能够区分矩形标签与圆形标签，从而识别正被使用的焊丝52。能够使用类似的方法来识别其他耗材，诸如保护气气瓶54。一般而言，图3A中的鸟瞰相机102b可以捕获在整个焊接场景中的焊接关键材料和物体(包括合适的耗材52)并依照规定的焊接工艺规程(WPS)对物体进行视觉检查，检查焊接操作员的技术鉴定记录(WPQ)并在允许继续进行焊接之前标出不合规的地方。与焊接材料、物体和操作员ID的条形码扫描相比较，ToF相机可以减少人员交互或劳动以确保符合WPS/WPQ。
资源302可以，例如，处理空间数据以检测24a和24b的正确的几何特性(大小、形状、厚度)并确定是否在对工件进行焊接之前将正确的工件加载在焊接夹具304中。在装配线中，该检测对于确保在允许执行当前步骤之前在先的工作站在工作流程中对工件正确地执行制作工艺来说是很重要的。
资源302可以，例如，处理空间数据以在允许对24a和24b进行焊接之前检测24a和24b的配合状况以及检测其是否正确地被组装在一起。
资源302可以，例如，处理空间数据以帮助机器人“找到”焊缝或焊接的起点，其中配合和/或部分变形可能导致焊接位置的空间变化。
资源302可以，例如，处理空间数据以特别地从被安装在俯视焊炬和人类操作员移动的固定位置中的ToF相机测量焊炬44的行进速度、工作角度、行进角度和焊接位置。可能的情况是，焊炬44可以包含红外反射器306a，其反射与ToF相机的照明波长相匹配的波长。焊炬能够用于生产中的焊接或焊炬可能是用于焊接操作员训练的训练工具。除了捕获焊炬的运动参数之外(或代替它)，ToF相机102a和/或102b还可以捕获丰富的操作员技术和灵巧度，诸如她/他握住焊炬44和电缆14的方式以及她/他是如何移动手臂、手指、背部、头部、肘部或脚部的。在焊接夹具上具有和不具有IR反射器306c的情况下，被安装至头盔20的ToF相机102可以能够使用固定的焊接夹具304来计算至固定夹具304和工件24a和24b的焊炬移动参数，诸如焊炬角度、行进角度和行进速度。这允许在，例如，360度管道焊接中进行焊炬运动跟踪，其中可以通过头盔的有利位置，而不是围绕管道的一排固定相机来最方便地获得至焊炬44的视线。在一个示例中，ToF相机102a和/或102b可以被配置成具有不同的波长和不同的IR反射器(诸如在焊炬44上的306a、在操作员的衣服上的306b、以及在焊接夹具上的306c)，且可以具有用于不同工具或活动的不同的匹配波长，以提高信噪比并降低图像处理复杂度。例如，相机102a可以具有成像器，其被调谐至980nm以跟踪具有980nm反射器306a的焊炬44的位置和移动。相机102b可以具有成像器，其被调谐到985nm以跟踪在操作员18的衣服上的985nm反射器306b的位置和移动以跟踪在工作间内的操作员。在其他情况下，可能存在额外的相机102和反射器306。例如，相机102c(未在图3A中示出)可以具有成像器，其被调谐到990nm以跟踪在用于在工作间中进行研磨操作的研磨器(未在图3A中示出)上的990nm反射器的位置和移动。一般而言，可以跟踪所有的车间场所移动，诸如人员、制作的部件、半制品(WIP)、手工工具、自动化的工具或机器人、焊接耗材等。通过跟踪在制作间内的工具和材料的人员交互，由ToF相机捕获的数据能够被用于1)使人员交互或处理或非增值活动，诸如来回走动最小化；2)设计或结合“线性化”技术以改进工作流程；3)改进安全性和人体工程学；4)观察和防止错误或功亏一篑或潜在危险；5)改进周期时间、制造效率和生产力；6)训练工人。
资源302可以，例如，处理空间数据以检测焊接夹具304的状况(例如，在焊接前工件24a和24b被压住，其是否处于良好的顺序中以及是否接合了所有夹具)。
资源302可以，例如，处理至工件24a和24b之间的平头焊的空间数据且判断其是否确实被焊接(未经检测)且在焊接前是否处于良好的顺序中。此外，在焊接过程期间，如果电弧正在越过之前焊接的平头焊，则可以使用源于ToF相机的空间数据对焊接设备进行自动前馈控制以使焊接参数或焊炬位置/取向适应于在平头上越过。
资源302可以，例如，处理空间数据以在焊接之前检测焊接耗材的充分供给，例如，留在线轴52上的足够的焊丝，以及在料斗(hopper)中的或向下流动的焊剂足以覆盖子电弧焊炬以进行子电弧焊接(未示出)。
资源302可以，例如，处理空间数据以在焊接之前检测焊炬44是否弯曲，例如，由于机器人碰撞。资源302可以，例如，处理空间数据以在机器人的活动焊接周期期间机器人相对于其周围环境移动中保持警觉且自动采取行动(例如，关闭或重新路由机器人)以防止将要发生的碰撞。
资源302可以，例如，处理空间数据以检测焊炬44的喷嘴、焊炬44的接触尖端和/或焊接夹具304是否已收集了太多的飞溅物。资源302可以，例如，处理空间数据以检测MIG焊丝内衬是否弯曲或破裂，或气体软管是否被挤压，或电缆14是否磨损或裂开。在检测到这些或任何其他不良状况中的任一个之后，资源302可以立即自动产生警报和/或采取行动(例如，闭锁焊炬44的触发器)以防止事故、损坏等。
资源302可以，例如，处理空间数据以检测不良的物理焊接接地电缆连接、大小、布置和实践以避免电弧偏吹、电弧干扰和电弧不稳定性。
资源302可以，例如，处理空间数据以检测工件24a和/或24b的厚度并自动控制焊接设备以配置与由ToF相机102看到的工件厚度相称的焊接设备(例如，从程序数据库中选择焊接程序)。
资源302可以，例如，处理空间数据以检测工件上的接头类型(例如，圆角、凹槽、平接等)，并在被存储在焊接设备/机器人中的焊接数据库中自动选择与由ToF相机102看到的接头类型相称的焊接程序。
资源302可以，例如，处理空间数据以检测焊炬(例如，1F、2F、3F、1G、2G、3G、4G、5G、PA、PB、PC、PD、PE、PF、PG)的焊接位置并自动选择与由ToF相机102看到的焊接位置相称的焊接程序。替代地，焊接位置以及焊炬角度、行进角度、行进速度测量可以用于适应地将焊接参数调整为焊接进程，例如，在全位置管道焊接中。
资源302可以，例如，处理空间数据以检测手势并使用手势作为用户界面来控制焊接参数或选择焊接程序或焊接排序系统，诸如Miller Insight CenterPoint或通常与焊接系统进行交互。
资源302可以，例如，处理空间数据以将深度图馈送到机器学习(ML)算法，诸如用于监督学习中的焊接质量检查和预防性维护以及用于无监督学习中的异常检测的神经网络。
资源302可以，例如，处理空间数据以检测正使用的适当的安全预防措施。例如，资源302可操作用于分析空间数据以检测操作员18是否正佩戴合适的安全设备(例如，个人防护设备，诸如头盔20、安全眼镜或头盔40、手套308和鞋类310)的合规性，以及适当的支架是否在位，灭火器是否在其指定的地点等。
资源302可以，例如，处理空间数据以测量实际焊接长度和宽度，且对整个工件共同进行这种测量。例如，可以检测和记录下漏焊、偏离接缝的焊接、尺寸过小的焊缝和尺寸过大的焊缝。在这个方面，与扫描光、结构光和/或除了局部扫描焊接且没有足够宽的视角/视野的其他技术相比，位于适当位置的ToF相机能够查看，例如，整个工件和夹具，测量焊接长度和宽度，计算焊接数量，识别完成焊接的位置，识别待执行的焊接的位置等。资源302随后可以可操作用于比较这种测量CAD图、工作规范等(例如，用于质量控制)。
资源302可以，例如，处理空间数据以执行焊接质量的目视检查。例如，除了重大问题，诸如漏焊之外，其可以用于检测可观察到的缺陷，诸如烧穿、未熔合、表面孔隙、表面裂纹、严重咬边、严重飞溅物。
资源302可以，例如，处理空间数据以测量总的工件变形。
资源302可以，例如，处理空间数据以在焊接期间测量熔池大小。然后，可以使用熔池的大小来适应地控制焊接设备以控制熔透和防止烧穿和/或缺陷。资源302可以，例如，处理空间数据以在手动焊接和自动化焊接中的焊接期间测量和控制配合和熔透。可能的情况是，可以看到在熔池前方的间隙开口用于自动的前馈控制以减少热量并避免烧穿；或看到在固化熔池中的孔用于反馈控制以接合编织或其他工具以减少热量或散发出热量。
资源302可以，例如，处理空间数据以监控焊接操作员18的动作。例如，如果焊接操作员进行移动或采取指示她/他正尝试执行失序焊接的动作，资源302可以向操作员18产生警报和/或发送信号以禁用焊炬44，从而能够避免在错误顺序中的焊接的人为错误。
资源302可以，例如，处理空间数据以跟踪由焊接操作员或者在焊接操作员的控制下的机器人(例如，使用示教盒)示出的示教点以记录/产生焊接程序，其能够随后在不需要手动指导的情况下由机器人进行实施。
图3B示出使用一个或多个ToF相机对机器人焊接场景进行的监控。如在图3B中所示，机器人焊工502正焊接工件504的接缝506。机器人焊工502是由基于源自ToF相机102的空间数据引导机器人焊工502的资源302进行控制的。定位相机102，以捕获在电弧周围的区域的具有足够高分辨率的空间数据，以使得资源302能够可靠地根据空间数据检测接缝506并引导机器人焊工502。机器人为自动化装置的一个示例。自动化装置可以是硬自动化装置、软自动化装置或灵活的自动化装置。
在另一个示例中，工件504是要由机器人502进行修复的一种独特工件，且不存在用于修复在之前焊接的接缝506中的缺陷的机器人程序。根据由相机102捕获的ToF数据产生504的3D图，相机102和/或资源302处理该图以识别缺陷并为机器人502制作定制的专用程序以适应地修补该缺陷。配备ToF相机的机器人焊接单元允许机器人502基于在机器人之前加载的定制工件的ToF分析来适应地进行定制加工。
焊接程序定制的一个特定示例是多道焊接和多道包覆。即，可以使用ToF相机来执行适应性多道焊接。由于实际的焊道形状和厚度可能会发生变化，源于之前焊道的实际焊道堆积可以由ToF相机进行捕获并与图指定的完工焊缝的几何形状进行比较。例如，参考图6，当完成焊道602、604和606时，ToF相机102可以捕获堆积的3D图，且适应性填充算法可以使用捕获的3D图来为剩余的焊道做规划，诸如，其用于填充剩余空间的位置和大小。在这个示例中，算法为剩余的焊道608、610和612做规划。当，例如，焊道602、604和606较小时，则可以使焊道608、610和612更大以进行补偿。
在另一个示例中，机器人焊工502可以不被安装在固定的基座上，而是自主的移动机器人，诸如由田纳西州的机器人技术公司(RTT)制造的机器人，其不具有用于避免人员接触的外围围栏或安全装置。ToF相机可以被安装在这种机器人上，该机器人在非结构化的工作环境，诸如造船厂中进行操作以确保靠近的人类工人的安全性。
图4为示出用于使用ToF相机来监控和管理焊接工件变形的示例过程的流程图。在方框402中，使用用于工件和焊接工艺的有限元热力学模型来模拟在焊接期间工件的变形并确定要用于控制(例如，最小化)工件的变形的参数(例如，焊接设备的热输入设置，要对工件执行的各种焊接的顺序等)。在方框404中，一个或多个ToF相机被定位成在焊接期间从一个或多个角度捕获工件。在方框406中，ToF相机在焊接期间捕获工件的空间图，并使用空间数据来测量工件的变形。与扫描或结构光或其他扫描技术相比，使用ToF相机可以使得能够捕获工件的全部或至少很大部分，这可以使得能够进行变形测量。在方框408中，从由ToF相机捕获的空间数据提取各种参数(实际测量的变形，其已完成焊接等)。然后，工艺返回至方框402，其中使用更新的信息(即，提取的参数)重新运行模拟。以这种方式，可以在焊接过程期间改进焊接排序、焊接设备设置和/或影响变形的其他因素。焊接参数和模拟的结果也可以用于改进用于未来模拟的模型。
图5示出使用由监控制作间的一个或多个ToF相机收集的空间数据的焊接排序控制。图5示出使用由监控制作间的一个或多个ToF相机收集的空间数据的焊接排序控制。在图5中，工件510为具有12个边缘焊接的盒子，其是按顺序焊接的以避免工件102的变形。当焊工完成焊接502时，ToF相机连续地捕获和更新工件510的3D图，以确定哪些焊接已经完成，哪些正在进行中，以及接下来应该执行哪些。对接下来应该执行哪个焊接的确定可以，例如，基于如在3D图上测量的工件510的历史数据和/或当前变形。替代地，对下个焊接的确定是基于根据制作图或规范所规划的焊接顺序。然后，可以使用音频和/或视觉警报(例如，发送给操作员的头盔)来引导操作员至下一个焊接。在一个示例实施方案中，如果操作员进行指示她/他正尝试执行失序焊接的移动、设备准备等，这可以根据制作间的3D图进行检测，且可以发送信号(例如，由ToF相机或资源，诸如302发送)以禁用焊炬的触发器，以使得能够避免在错误顺序中的焊接的人为错误。
现在参考图7，示出了一个示例实施方案，其中ToF相机102和非ToF相机(例如，可见光谱和/或红外线相机)710共享光学元件，以使得两个相机的成像器同时被暴露于相同的图像。光学元件包括透镜710和分束器712，以使得光束702被透镜710聚焦到分束器712上。光束702的第一部分由分束器712进行反射，以作为光束706到达非ToF相机710。光束702的第二部分通过分束器712，以作为光束706到达ToF相机102。
根据本公开的示例实施方案，机器视觉辅助的焊接系统包括焊接设备(例如，焊炬144、设备12、气瓶54、夹具304、机器人504等)、可操作用于产生焊接场景的三维(3D)深度图的第一飞行时间(ToF)相机(例如，102a)、可操作用于从3D深度图提取焊接信息的数字图像处理电路系统(例如，206和/或资源302的电路系统)以及可操作用于基于所提取的焊接信息控制焊接设备的功能的电路系统(例如，资源302的电路系统)。该焊接系统可以包括图像传感器(例如，216A)，其包括多个像素，其中的每一个像素可操作用于将入射在其上面的光能转换成电信号；以及电路系统(例如，216D和/或206)，其可操作用于为像素中的每一个像素测量使光从光源(例如，216C)行进至焊接场景并返回至像素中的一个所需的时间。焊接设备可以包括，例如，在焊接操作期间形成电弧的电弧焊接设备，且第一ToF相机的光源(例如，216C)可以发光，其光谱包括以第一波长为中心的峰，其中选择第一波长，以使得峰的功率(如在从焊接场景反射出之后以及在第一ToF相机中的任何滤光之后由第一ToF相机的成像器的像素中的至少一个测量的)至少为比源于在第一波长的电弧的光的功率(如在第一ToF相机中的任何滤光之后由在第一ToF相机的成像器的像素中的至少一个像素测量的)高的阈值量(即，足够的信噪比，其中源于光源的功率是信号，且源于电弧(和其他环境光)的功率是噪声)。为了提取焊接信息，数字图像处理可操作用于使用源于除了第一ToF相机之外的来源的数据来执行概率图建模以解释3D深度图。该系统可以包括第二ToF相机，其中第一ToF相机和第二ToF相机在聚焦场、安装位置、所使用的光的波长和所查看目标中的一者或多者上有所不同。
所提取的焊接信息可以表征在焊接场景中的人和机器中的一者或两者的活动。该活动可以包括下列中的一者或多者：焊接操作、焊接前操作(例如，接头准备以及将工件加载至焊接夹具中)以及焊接后操作(例如，从夹具卸载工件以及消除焊接飞溅物和熔渣)。该功能可以包括活动跟踪、基于跟踪的活动的周期时间改进以及基于跟踪的活动的工作流程流线型化。该功能可以包括表征在制作间中的人员受伤的风险(例如，机器人伤害人员的风险，由于不良人体工程学而导致人员受伤的风险等)。
所提取的焊接信息可以包括对下列中的一者或多者的识别：焊接设备、焊接耗材和焊接操作员，且该功能可以包括下列中的一者或多者：验证符合焊接工艺规程(WPS)、焊工技术鉴定(WPQ)以及产生警报以用于预防错误。
所提取的焊接信息可以识别要在焊接场景中的工件上进行的焊接序列，且该功能可以包括下列中的一者或两者：经焊接设备的用户界面指示在该序列中的下一个焊接的位置；以及产生警报并触发闭锁以防止错误的焊接序列。
所提取的焊接信息可以包括在焊接场景中的工件的接头配合状况，且该功能可以包括基于配合状况对焊接设备使用的焊接参数(例如，电流、电压、焊丝速度、接触尖端的位置、电极类型、填充材料的类型等)适应性变化。
所提取的焊接信息可以包括实际的接缝位置，且该功能可以包括引导焊接设备的机器人以确保焊接工具的中心点沿着该接缝。
所提取的焊接信息可以指示焊接设备的维护状况，且该功能可以包括下列中的一者或两者：预防性维护服务和基于状况的维护服务跟踪和产生警报。
所提取的焊接信息可以指示焊接耗材的剩余存量，且该功能可以包括产生警报以补充焊接耗材的供给。
所提取的焊接信息可以指示在焊接场景中的焊接工件内的标识和接头位置，且该功能可以包括基于焊接工件内的标识和接头位置自动选择要用于焊接该工件的焊接程序。
所提取的焊接信息可以指示由焊接场景中的工人做出的手势，且该功能可以包括基于手势来控制焊接设备。
该功能可以包括获取用于机器学习和预测分析的焊接场景的3D深度数据。
所提取的焊接信息可以包括下列中的一者或多者：焊缝的存在或缺乏、焊缝大小、焊缝长度、焊缝位置、工件变形和焊缝外观，且该功能可以包括对焊接质量的焊接后的视觉检查。
所提取的焊接信息可以是在电弧焊接过程期间形成的熔池的表面振荡的频率和/或幅度，且该功能可以包括控制电流、电压、接触尖端到工作的距离、行进速度、焊丝速度和/或基于表面振荡的其他电弧焊接参数，以便控制焊接的熔透并防止烧穿。
该功能可以包括显示信息(例如，在计算机显示器和/或在焊工的头戴件内部安装的显示器上)，且该功能可以通过基于所提取的焊接信息来调整显示器的屏幕上的图形和/或特征(例如，对比度、颜色、数字变焦/裁剪等)进行控制。
如本文所使用的，术语“电路”和“电路系统”是指物理电子组件(即，硬件)和任何软件和/或固件(“代码”)，其可以配置硬件，由硬件执行和/或以其他方式与硬件相关联。如本文所使用的，例如，特定的处理器和存储器在执行第一种一行或多行代码时可以包括第一“电路”而在执行第二种一行或多行代码时可以包括第二“电路”。如本文所使用的，“和/或”表示由“和/或”连接的在列表中的项目中的任一者或多者。作为一个示例，“x和/或y”表示三元素集合{(x),(y),(x,y)}中的任何元素。换句话说，“x和/或y”表示“x和y中的一者或两者”。作为另一个示例，“x，y和/或z”表示七元素集合{(x),(y),(z),(x,y),(x,z),(y,z),(x,y,z)}中的任何元素。换句话说，“x，y和/或z”表示“x，y和z中的一者或多者”。如本文所使用的，术语“示例性”表示用作非限制性示例、实例或说明。如本文所使用的，术语“诸如”和“例如”列出了一个或多个非限制性示例、实例或说明的列表。如本文所使用的，电路系统“可操作”用于每当电路包括要执行功能的必要硬件和代码(如果任何硬件和代码是必要的话)时执行该功能，而不管是禁用还是未启用该功能的执行(例如，通过用户可配置的设置、工厂修整等进行)。
本公开的方法和/或系统可以用硬件、软件或硬件和软件的组合来实现。本公开的方法和/或系统可以在至少一个计算系统中以集中式方式实现，或者以分布式方式实现，其中不同的元件遍布在几个互连的计算系统上。适应于实施本文所述的方法的任何种类的计算系统或其他装置是合适的。硬件和软件的典型组合可以是具有程序或其他代码的通用计算系统，该程序或其他代码在被加载和执行时，控制计算系统，以使得其实施本文所述的方法。另一个典型的实施方案可以包括专用集成电路或芯片。一些实施方案可以包括非临时性机器可读(例如，计算机可读)介质(例如，FLASH驱动器、光盘、磁存储盘等)，已在其上存储了可由机器执行的一行或多行代码，从而使机器执行如本文所述的方法。
虽然已经参考某些实施方案描述了本发明的方法和/或系统，但是本领域的技术人员将理解，在不脱离本发明的方法和/或系统的范围的情况下，可以进行各种改变且可以替换等同物。另外，在不脱离其范围的情况下，可以做出许多修改以使特定的情况或材料适应本公开的教导。因此，本发明的方法和/或系统旨在不限于所公开的特定实施方案，而是本发明的方法和/或系统将包括落在所附权利要求的范围内的所有实施方案。