用于介导现实焊接的方法及系统与流程

技术领域

本发明大体上涉及使用介导现实在焊接操作期间改进操作员视觉。介导现实是指借助于用于扩增、故意削弱且更一般来说以其它方式改变感官输入的装置来人工修改人类感知的通用框架。可穿戴计算是发明、设计、构建或使用身体负担计算及感测装置的研究或实践。可穿戴计算机可穿戴于衣服下、衣服上、或衣服中，或其本身可为衣服。介导现实技术可用于创建可穿戴计算应用。可穿戴计算的前景具有从根本上改进我们的生活质量的能力。

背景技术：

根据来自自由共同安全研究所(Liberty Mutual Research Institute for Safety)的研究，眼外伤占全部焊接损伤的四分之一，从而使其成为对焊工来说目前最常见的损伤。所有最常见类型的焊接(屏蔽金属弧焊接、焊条焊接或气焊)都潜在地产生有害的紫外、红外及可见光谱辐射。来自紫外光的损伤可非常快速地发生。紫外辐射(UVR)通常在眼睛的角膜及晶状体中被吸收，其通常会导致电弧眼或电弧闪光，这是十分痛苦但在很少情况下是永久性的损伤，其特征为眼胀、眼睛流泪及眼睛疼痛。控制眼睛损伤的最佳方式也是最简单的：适当地选择焊接面罩及使用由焊接面罩提供的眼睛保护。

焊接面罩可具有固定的暗度或可变的暗度。通常，固定暗度的面罩最佳用于在相同电流电平下需要相同类型的焊接的日常工作，且可变面罩最佳用于具有可变焊接任务的工人。面罩暗度在某一暗度级范围内，其从9变化到14，其中14最暗，所述暗度级取决于面罩手动或自动进行调整。为确定用于工作的最佳面罩，应选择提供对“熔池”的舒适且准确的观察以保证优质焊接的透镜罩。与焊接面罩成一体的是自动变光匣，其通过使用暗度控制提供眼睛保护。

现今使用的现代焊接面罩在1937年由使用固定暗度的威尔逊(Wilson)产品首次引入。马克·戈登(Mark Gordon)在1973年12月26日向美国专利局提交当前自动变光面罩技术。标题为“具有目镜控制的焊接面罩(Welding Helmet with Eye Piece Control)”的第3,873,804号美国专利在1975年3月25日颁予戈登，且其揭示一种当传感器检测到明亮的焊接弧时自动变暗的LCD电子快门。

随着电子自动变光面罩的引入，焊工不再必须准备好焊接且接着点动其头部以使面罩戴在其脸上。然而，与传统固定暗度的“玻璃”相比，这些电子自动变光面罩在实际焊接期间不能帮助穿戴者更好地进行观察。当焊接弧发生时，“玻璃”就像其具有固定暗度那样变暗，所以主要优点是在电弧发生之前或之后的瞬间能够更好地进行观察。在1981年，名叫霍内尔(Hornell)的瑞典制造商引入了Speedglas，其为戈登(Gordon)的专利的首个真正的商业实施方案。自1981年以来，用于改进操作员在焊接期间的视线的技术进展有限。如今，自动变光面罩仍旧是用于眼睛保护的最受欢迎的选择。

技术实现要素：

本发明在优选实施例中预期一种通过在焊接操作期间改变视觉感知的用于介导现实焊接的方法及系统，其包含：获得当前图像；确定背景参考图像；确定前景参考图像；通过以下操作处理所述当前图像：(i)组合所述当前图像与所述背景参考图像及(ii)将所述前景参考图像代入到所述组合图像上；及显示经处理的当前图像。

应理解，前述一般描述及以下详细描述两者都是示范性且仅是示范性的，且不限制如所主张的本发明。

附图说明

并入说明书中且构成说明书的一部分的附图说明本发明的优选实施例。附图与描述一起用于解释本发明的目的、优点及原理。在图式中：

图1A是现有技术自动变光焊接面罩的前透视图；

图1B是图1A的现有技术自动变光焊接面罩的后透视图，其展示所述面罩的内部；

图2A是现有技术自动变光焊接面罩匣的前立视图；

图2B是图2A的现有技术自动变光焊接面罩匣的后立视图；

图3A是根据本发明的介导现实焊接面罩的前透视图；

图3B是图3A的介导现实焊接面罩的后透视图，其展示所述面罩的内部；

图4A是根据本发明的介导现实焊接面罩匣的前立视图；

图4B是图4A的介导现实焊接面罩匣的后立视图；

图5是根据本发明的用于介导现实焊接中的示范性焊缝的图；

图6是根据本发明的用于介导现实焊接面罩匣中的计算机硬件的框图；

图7A是在本发明的优选实施例中的发生以捕获、处理及显示介导现实焊接流式视频的动作的流程图；

图7B是从图7A的流程图继续并完成图7A的流程图的流程图；

图8是在本发明的优选实施例中在介导现实焊接流式视频的并行处理中发生的动作的流程图；

图9是在本发明的优选实施例中的发生以合成介导现实焊接流式视频的动作的流程图；

图10A是在本发明的优选实施例中用于合成介导现实焊接流式视频中的背景参考图像的图片；

图10B是在本发明的优选实施例中用于合成介导现实焊接流式视频中的第一暗图像的图片；

图10C是在本发明的优选实施例中与背景参考图像合成于介导现实焊接流式视频中的第一暗图像的图片；

图10D是在本发明的优选实施例中的经捕获以在随后用于处理介导现实焊接流式视频中的手套前景参考图像中的最后亮焊枪及操作员的手的图片；

图11A是在本发明的优选实施例中的发生以产生焊接熔池向量以用于由介导现实焊接流式视频进行进一步处理的动作的流程图；

图11B是从图11A的流程图继续并完成图11A的流程图的流程图；

图12A是在本发明的优选实施例中的应用于用于计算焊接熔池向量以用于由介导现实焊接流式视频进行进一步处理的焊接熔池的二元阈值的图片；

图12B是在本发明的优选实施例中的用于计算焊接熔池向量以用于由介导现实焊接流式视频进行进一步处理的焊接熔池边界及质心的图片；

图12C是在本发明的优选实施例中的用于由介导现实焊接流式视频进行进一步处理的示范性焊接熔池向量的图片；

图13A是在本发明的优选实施例中发生以提取焊枪及手套中的操作员的手以用于由介导现实焊接流式视频进行进一步处理的动作的流程图；

图13B是从图13A的流程图继续并完成图13A的流程图的流程图；

图13C是在本发明的优选实施例中发生以确定焊枪及手套中的操作员的手的初始向量以用于由介导现实焊接流式视频进行进一步处理的动作的流程图；

图14A是在本发明的优选实施例中的用于由介导现实焊接流式视频进行进一步处理的焊枪及手套中的操作员的手的参考图像的图片；

图14B是在本发明的优选实施例中的应用于用于由介导现实焊接流式视频进行进一步处理的焊枪及手套中的操作员的手的参考图像的二元阈值的图片；

图14C是在本发明的优选实施例中的用于由介导现实焊接流式视频进行进一步处理的所提取的焊枪及手套中的操作员的手的图片；

图15A是在本发明的优选实施例中发生以构造介导现实焊接流式视频的动作的流程图；

图15B是从图15A的流程图继续并完成图15A的流程图的流程图；及

图16是在本发明的优选实施例中所产生的介导现实焊接流式视频的图片。

具体实施方式

本发明涉及一种用于介导现实焊接的方法及系统。如下文所论述，本发明的方法及系统使用介导现实在焊接操作期间改进操作员或机器视觉。

图1A描绘现有技术自动变光焊接面罩H，其包含前面具1及在焊接期间保护操作员的面部及眼睛的现有技术电池供电的自动变光匣CTG的前部2。

图1B进一步描绘现有技术焊接面罩H，其包含焊接面罩H的内部3、现有技术自动变光匣CTG的背部4及可调整操作员头带5，所述头带5允许控制操作员的面部与透镜之间的距离的头部大小、倾斜及向前/向后调整。

图2A描绘现有技术自动变光匣CTG的前部2。保护透明透镜L覆盖自动变光滤光镜6以保护滤光镜6免受焊接飞溅及刮划伤害。现有技术焊接面罩H在焊接开始时将自动从亮态(暗度3.5)改变到暗态(暗度6到13)。现有技术自动变光匣CTG含有传感器以检测来自焊接弧的光，从而导致透镜变光到所选择的焊接暗度。现有技术自动变光匣CTG由可更换电池(未展示)及太阳能电池7供电。电池通常位于匣的底角处。

图2B进一步描绘现有技术自动变光匣CTG的背部4。现有技术自动变光匣CTG的控制件包含：暗度范围开关8；延迟旋钮控制件9，其经设计以保护操作员的眼睛免受焊接之后的强烈的剩余射线的伤害；灵敏度旋钮10，其在面罩在存在过多环境光的情况下使用时调整光敏度；暗度刻度盘11，其用于设置所期望的暗度；及测试按钮12，其在焊接之前预览暗度选择。工业标准自动变光匣大小是4.5英寸宽乘5.25英寸高。

图3A展示经修改的焊接面罩H′。经修改的焊接面罩H′包含现有焊接面罩H的许多特征，但焊接面罩H′已经修改以适应介导现实焊接匣MCTG的使用。

经修改的面罩H′包含前面具1，其已经修改以接受介导现实焊接匣MCTG。在图3A及4A中，展示在透明的保护盖后具有摄像机(或图像传感器)14及在焊接期间保护操作员的面部及眼睛的自动变光滤光镜F的介导现实焊接匣MCTG的前部13。介导现实焊接匣MCTG匣由可更换电池(未展示)及太阳能电池7供电。电池通常位于匣的底角处。

图3B进一步展示经修改的焊接面罩H′的内部3，其已经修改以接受介导现实焊接匣MCTG。如图3B及4B中所展示，介导现实焊接匣MCTG的背部15包含显示器屏幕19及操作员聚焦控制件16以使摄像机(或图像传感器)14聚焦以供操作员使用放大按钮17或缩小按钮18观察在显示器屏幕19上显示的被焊接的工件。介导现实焊接匣MCTG的背部15还包含：操作员控制件20，其用于存取包含暗度调整、延迟、灵敏度、及测试的匣设置。使用介导现实焊接应用软件对介导现实焊接匣MCTG进行编程，且操作员控制件20还用于存取介导现实焊接应用软件。操作员控制件20具有触觉反馈按钮，其包含：“返回”按钮21；“菜单”按钮22；鼠标23，其含有“上”按钮26、“下”按钮24、“右”按钮25、“左”按钮27及“选择”28按钮；及“主页”29按钮。

图5展示在本发明的优选实施例中的具有焊缝31的示范性钢件30，其将用于说明介导现实焊接。

图6是用于介导现实焊接匣MCTG中的计算机硬件的框图。匣的硬件及软件捕获、处理并显示实时流式视频，且提供操作员设置及介导现实焊接应用软件。来自德州仪器AM335x西塔拉微处理器系列(Texas Instruments AM335x Sitara microprocessor family)的微处理器32可用于优选实施例中。AM335x是基于ARM(高级精简指令集机器)Cortex-A8处理器且以图像、图形处理及外围装置增强。用于优选实施例的计算机硬件中的操作系统是嵌入式Linux变体。

AM335x具有必要的内建功能性以介接到兼容的TFT(薄膜晶体管)LCD(液晶显示器)控制器或显示器。显示器屏幕19可为能够以WQVGA(四分之一宽视频图形阵列)分辨率显示480乘272RGB(红、绿、蓝)像素的夏普(Sharp)LQ043T3DX02LCD模块。显示器屏幕19连接到AM335x，且从支持驱动LCD显示器的AM335x接收信号33。举例来说，AM335x输出包含原始RGB数据(红/5、绿/6、蓝/5)及控制信号垂直同步(VSYNC)、水平同步(HSYNC)、像素时钟(PCLK)及启用(EN)的信号33。

此外，AM335x还具有必要的内建功能性以与摄像机(或图像传感器)14介接，且摄像机(或图像传感器)14可为CMOS数字图像传感器。用于优选实施例中的Aptina成像MT9T001P12STC CMOS数字图像传感器14是具有HD(高清晰度)视频捕获能力的3百万像素传感器。可针对帧大小、曝光、增益设置、电子平移(放大、缩小)及其它参数对摄像机(或图像传感器14)进行编程。摄像机(或图像传感器)14使用AM335x(微处理器32)的通用存储器控制器(GPMC)特征34执行所捕获的视频到呈512MB DDR3L(DDR3低电压)DRAM(动态随机存取存储器)36的示范性形式的存储器36的DMA(直接存储器存取)转移。DDR3或双倍数据速率类型的三同步动态随机存取存储器是具有高带宽接口的现代类型的DRAM。AM335x提供16位多路复用双向地址及数据总线(GPMC/16)，所述数据总线用于将流式摄像机视频数据转移到512MB的DDR3L DRAM且用于转移GPMC控制信号，其包含时钟(GPMC_CLK)、地址有效/地址锁存启用(GPMC_ADV)、输出启用/读取启用(GPMC_OE)、写入启用(GPMC_WE)、芯片选择(GPMC_CS1)及DMA请求(GPMC_DMAR)。

针对按钮按下，由十二条通用输入/输出线、GPIO/10及GPIO/2扫描操作员控制件20及操作员焦点控制件16的触觉反馈按钮。如果按钮被按下，那么中断信号(INTR0)35发信号到微处理器32以确定哪个按钮被按下。

嵌入式Linux操作系统、启动加载器及文件系统以及介导现实应用软件被存储于呈2千兆字节eMMC(嵌入式多媒体卡)存储器的示范性形式的存储器37中。存储器37是促进介导现实应用软件的存储及执行的非暂时性计算机可读媒体。提供通用串行总线(USB)主机控制器38以与主机系统(例如，膝上型个人计算机)进行通信以用于诊断、维护、特征增强及固件升级。此外，微型安全数字(uSD)卡接口39集成到匣中，且提供用于记录介导现实焊接视频、特征及固件升级的可装卸非易失性存储装置。

实时流式视频应用在计算上要求较高。如上文所论述，本发明的优选实施例依赖于将ARM处理器用于微处理器32。然而，替代优选实施例可结合ARM处理器使用单核或多核数字信号处理器(DSP)以卸载计算密集型图像处理操作。数字信号处理器是专用微处理器，其架构针对信号处理应用的操作需要进行优化。数字信号处理算法通常需要对一系列数据样本快速且重复地执行大量数学运算。信号(可能来自音频或视频传感器)被不断地从模拟形式转换成数字形式，以数字方式操纵，且接着从数字形式转换回到模拟形式。许多DSP应用对延时具有约束；即，为使系统运转，DSP操作必须在某一固定时间内完成，且延期(或分批)处理是不可行的。德州仪器C667x DSP系列是可用于替代优选实施例中的DSP的类型及种类的实例。

除ARM处理器及DSP外，加速器芯片上系统(SoC)可用于优选实施例的框架内以提供替代优选实施例。专用加速器芯片上系统模块的实例包含特定编码解码器的编码译码器。编码解码器是能够对数字数据流或信号编码或解码的装置或软件。编码解码器对数据流或信号编码以用于发射、存储或加密或对其解码以用于回放或编辑。编码解码器用于视频会议、流式媒体及视频编辑应用。用于介导现实匣的计算机硬件可取决于性能及特征而要求包含ARM、DSP及SoC硬件组件的任何组合。此外，包含但不限于平视显示器等等的不同类型的摄像机及显示器可由于优选实施例中。

图7A及7B涉及在优选实施例中的发生以捕获、处理及显示介导现实焊接流式视频的动作的流程图。所述处理在框40处在系统初始化、嵌入式Linux操作系统启动及介导现实焊接应用软件加载之后开始。在框41处，由摄像机(或图像传感器)14捕获一或多个视频帧并将其存储于存储器36中。在框42处，为针对操作员头部移动进行调整，使用视频稳定化算法。视频稳定算法使用块匹配或光学流处理存储器36中的帧并将结果存储于其中。

在框43处，使用简单的运动检测算法确定操作员的焊枪及手套是否出现于帧中(图10D)。如果在框44处确定焊枪及手套出现于帧中，那么过程从框44继续到框45，在框45处，执行用于从被焊接的材料的背景图像提取RGB焊枪及手套前景图像的算法。在框47处，将所提取的RGB焊枪及手套参考图像(图14C)存储于缓冲器中以用于进一步处理。如果在框44处确定未检测到焊枪及手套图像(即，焊枪及手套不出现于帧中)，那么过程从框44继续到框46，在框46处，将当前图像存储于缓冲器中作为RGB参考图像(图10A)以在框54处用于合成算法中。

在框48处计算亮度。亮度计算用于确定焊接弧何时致使面罩暗度从亮转变到暗(图10A及10B)。如果在框50处确定亮度小于阈值，那么重复框41到50。否则，如果在框50处确定亮度大于阈值，那么视频帧捕获在框51处继续。

取代在框48处以软件使用亮度计算执行框51到57，可在焊接面罩暗度从亮转变到暗时使用硬件中断。焊接面罩自动变光滤光镜具有现有光学感测电路，其检测从亮到暗的转变且可提供运行执行框51到57的中断例程的中断。

如所论述，如果在框50处确定亮度大于阈值，那么视频帧捕获在框51处继续。在框51处，由摄像机(或图像传感器)14捕获一或多个视频帧并将其存储于存储器36中。在框53处，为针对操作员头部移动进行调整，使用视频稳定化算法(例如，块匹配或光学流)以处理存储器36中的帧并将结果存储于其中。

在框54处，将当前捕获的RGB帧(图10B)与RGB合成参考图像(图10A)进行合成。合成过程允许两个图像混合在一起。在介导现实焊接的情况中，将RGB参考图像用于合成。此参考图像是在焊接弧使暗度变暗之前已知的不具有由摄像机(或图像传感器)14所捕获的焊枪及手套的最后亮图像(图10A)。一旦暗度变暗，那么摄像机(或图像传感器)14逐帧捕获暗图像(图10B)且将暗图像与亮参考图像进行合成。结果是，暗图像现在作为在焊接操作期间极大地改进操作员可视性的焊接弧之前的亮图像在显示器屏幕19上显示给操作员。此时，亮图像(图10C)缺乏焊枪及手套(图10D)。在框55处，通过在当前暗图像(图10B)的焊接熔池上使用二元掩模(图12A)，焊接熔池(图12B)的质心可用于计算将提供某一位置的向量(wx,wy)，在框56处，可在所述位置处将来自所提取的焊枪及手套参考图像(图14B、14C)的焊枪尖端的中心添加回到当前合成图像(图10C)中。在框57处，在显示器屏幕19上将所得图像(图16)显示给操作员，且在框50处，开始重复过程。

实时流式视频应用是计算密集型的。图8说明通过并行执行焊接向量计算55、图像合成54及焊枪及手套插入56的动作以促进在框57处显示所得图像的图7A及7B的替代优选实施例。这可使用由操作系统抢先调度的多个独立过程以软件实现，或可使用单核或多核ARM处理器或将图像处理操作卸载到专用单核或多核DSP上以硬件实施。也可使用软件与专用硬件的组合。当可能时，实时视频流的并行处理将增加系统性能并减少在焊接操作期间由操作员潜在经历的在显示器屏幕19上的延时。此外，还期望用于减少显示器屏幕19上的延时的涉及参考图像的任何预处理操作。

在图9中展示将当前暗图像(图10B)与在引入焊枪及手套(图10D)之前的最后亮参考图像(图10A)合成于视频帧中的详细动作。合成是将来自单独源的视觉元素组合到单个图像中，通常用于产生全部那些元素是相同场景的部分的错觉。由摄像机(或图像传感器)14捕获的视频帧可被分类为“亮”帧及“暗”帧。“亮”帧是如由焊接面罩自动变光滤光镜在由操作员触发焊枪以开始焊接操作之前所见的图像。“暗”帧是如由自动变光滤光镜在由操作员触发焊枪以开始焊接操作之后所见的图像。选择参考背景图像(图10A)来合成“暗”帧(图10B)以使其在焊接操作期间呈现为“亮”帧以极大改进操作员的视觉环境。每一“暗”帧与参考图像(图10C)合成且被保存以用于进一步处理。

所选择的特定参考图像是在焊枪及操作员的手套开始在下一帧中显露之前可用的最后亮帧(图10A)。检查在框46及47处所存储的帧的缓冲器以检测焊枪及手套的存在，使得可实现参考图像的实时选择。一旦焊枪被触发，就在实时流式视频处理中使用所保存的合成参考图像(图10A)及焊枪及手套参考图像(图10D)。中断驱动方法(其中由自动变光传感器在从“亮”到“暗”的转变时产生中断)可调用中断处置器，其可保存含有焊枪及手套的最后“亮”图像。

在图9中，合成过程在框58处开始，且在框59处获得当前暗图像B(图10B)。框60通过读取当前图像B(图10B)及来自框61的参考图像F(图10A)两者中的每一RGB像素开始。框62在逐像素基础上使用(在框63处被存储于存储器中的)合成阿尔法值α及方程式C＝(1-α)B+αF执行合成。在框64处，将合成像素C存储于存储器中。如果在框65处确定需要处理当前RGB图像中的更多像素，那么过程在框60处继续；否则，在框66处将合成图像(图10C)保存到存储器中以用于进一步处理。图9的合成过程在67处结束直到需要合成下一帧。

图11A、11B及11C揭示在优选实施例中的发生以产生焊接熔池向量用于由介导现实焊接流式视频进一步处理的动作的流程图。虽然合成视频极大增强操作员的视觉焊接体验的发光度，但主要缺乏例如焊枪及手套的细节。此外，焊接熔池本身是图像的最亮部分，正如以前一样。因为最后“亮”焊枪及手套图像(图10D)是剩余的可用于添加回到合成视频中的唯一“亮”图像，所以需要从此图像提取焊枪及手套且使其与焊接熔池一起移动。可通过对每一帧使用二元阈值以隔离焊接熔池，接着测量所得图像区域的数学性质，且接着计算质心以确定焊接熔池中心的x及y坐标而有利地使用明亮的焊接熔池。

质心是指定区域质量的几何中心的向量。应注意，质心的第一元素是质量中心的水平坐标(或x坐标)，且第二元素是质量中心的垂直坐标(或y坐标)。质心的全部其它元素是按尺寸顺序。针对每一帧计算质心，且其用于构造焊接熔池移动的x-y向量。此向量将随后用于添加回移动中的图像上的焊枪及手套图像，以允许焊枪及手套与焊接熔池一起移动。在图12A、12B及12C中展示此操作的结果。

此外，通过测量焊接熔池面积，有可能改进对操作员的关于焊接质量的反馈。显示给操作员的有用信息还可包含：1)焊接速度、2)焊接深度、3)焊接温度及4)从焊枪尖端到材料的距离。全部这些前述因素对焊接质量有极大影响。

在图11中，焊接熔池向量的计算在框68处开始。在框69处，从存储器36读取当前RGB暗图像(图10B)，且在框70处，将RGB暗图像(图10B)转换成灰度图像。将图像转换成灰度以便允许通过算法进行更快的处理。当将RGB图像转换成灰度时，获得每一像素的RGB值，且产生反映那个像素的亮度的单个值。一种此方法是从每一通道获得贡献平均值：(R+G+B)/3。然而，因为所感知的亮度通常是由绿色分量主导，所以一种不同的更“人性化”的方法是获得加权平均值：0.3R+0.59G+0.11B。因为图像将被转换成二元(即，每一像素将会是黑色或白色)，所以可使用公式(R+G+B)/3。随着每一RGB像素在框70处被转换成灰度像素，在框71中，将灰度图像存储到存储器36中。如果在框72处确定在RGB图像中存在更多像素待被转换72，那么处理在框70处继续；否则，已经完成RGB到灰度转换。

在转换到灰度之后，接着需要在框74处开始将图像从灰度转换成二元。将图像转换成二元通常用于找出ROI(所关注区域)，其是为进一步处理而关注的图像的部分。意向是二元的，“是的，此像素是所关注像素”或“不是，此像素不是所关注像素”。在检测斑点(blob)时此变换是有用的，且其减少计算复杂性。在框74处，比较每一灰度像素值(0到255)与来自框73的存储器中所含的阈值。如果在框74处确定灰度像素值大于阈值，那么在框76处将当前像素设置为0(黑色)；否则，在框75处将当前像素设置为255(白色)。在框77处，逐像素地存储转换的结果直到在框78处已将全部灰度像素转换成二元像素。

在框80处，对所得二元图像执行接下来的数学运算。一旦已通过将图像转换成二元检测到区域边界，测量未由边界分隔的区域就是有用的。未由边界分隔的任何像素集合被称为连接的。所连接的像素的每一最大区域被称为经连接的分量，其中经连接的分量的集合将图像划分成片段。在框81处确定所得二元图像中的经连接的分量的情况可为直截了当的，这是因为焊接熔池通常产生最大的经连接的分量。在框82处，可通过测量每一经连接的分量的面积来实现检测。然而，为使处理加速，算法使用阈值以进一步测量或忽略其中具有某一数目个像素的分量。接着，在框83处，操作通过从二元图像移除较小对象来快速识别二元图像中的焊接熔池。在框84处，过程继续直到二元图像中的全部像素都被检验。此时，在框85处，计算焊接熔池的质心。质心是通过计算形状中的全部点的算术平均位置的二维区域的几何中心。图12A展示检测到的焊接熔池及处于所述焊接熔池的中间中的质心的二元图像、所得区域。图12B说明叠加于被处理的图像上的焊接熔池的面积及对应质心。在框86处，将当前焊接熔池质心(wx,wy)存储到存储器36中以用于进一步处理，且在框87处，已完成计算算法直到下一图像被处理。出于说明目的，图12C标绘在图5中所展示的简单的焊接操作的焊接向量。在优选实施例的实时流式视频应用中，每一向量计算在其随后出现于处理动作中时被单独使用。

图13A、13B及13C从最后“亮”焊枪及手套图像提取焊枪及手套。图10D是剩余的可用于添加回到合成视频中的唯一“亮”图像。使用以下过程提取焊枪及手套：1)使用i)将焊枪及手套(图10D)引入到下一帧中之前的最后背景参考图像(图10A)，且接着ii)减去最后“亮”焊枪及手套图像(图14A)，来使前景图像减去背景图像；2)二元阈值化所减去的图像以针对焊枪及手套(图14B)的提取产生掩模；及3)提取RGB焊枪及手套图像。在图14C中展示结果。计算所得图像的质心。此初始质心(ix,iy)将用于获得焊枪及手套且使其沿着焊接熔池向量(wx,wy)移动以产生介导现实焊接流式视频(图16)所需的计算中。

在图13A中，在框88处开始，在框91处从存储器36读取RGB焊枪及手套参考图像(图10D)，且将所述RGB焊枪及手套参考图像(图10D)转换成如先前在框90处所论述的灰度图像。在框89处，将结果作为前景(fg)图像存储回到存储器36中。在框95处，从存储器36读取合成的RGB参考图像(图10A)，在框94处将所述合成的RGB参考图像转换成灰度图像，且在框93处将灰度图像存储回到存储器36中。在框92处，计算前景(fg)图像减去背景(bg)图像的绝对值(图14A)，从而提取焊枪及手套用于在框97处进一步处理。在框98处，通过从存储器36读取阈值将所提取的图像转换成二元图像(图14B)，且在框97处，比较灰度图像中的像素。如果灰度像素大于阈值，那么在框99处将像素设置为白色，否则在框96处将像素设置为黑色。在框100处，逐像素地存储结果作为二元掩模直到在框101处将全部灰度像素被转换成二元像素。如果转换完成，那么处理继续到图13B；否则，处理在框97处继续。

接着，在图13B中，从存储器36读取且通过框103获得来自框104的焊枪及手套RGB参考图像(图10D)，且从存储器36读取且通过框105获得来自框106的焊枪及手套二元掩模(图14B)。为提取RGB焊枪及手套，从存储器36读取且通过框109获得二元掩模。接着，在框108处开始将所提取的RGB焊枪及手套放置于白色背景上，其中按行及列(r，c)处理每一RGB及掩模像素。如果在框108处确定二元掩模中的当前像素是白色，那么在框107处将来自RGB图像的对应像素放置于所提取的图像中；否则，在框110处将RGB图像中的像素设置为白色。接着，在框111处，存储经处理的每一像素，且如果在框112处确定在RGB图像中存在更多像素，那么处理在框108处继续；否则，无需处理更多像素且算法在框113处结束。图13A及13B的算法的结果产生所提取的焊枪及手套RGB图像图14C。

在准备所提取的图像供随后使用时的最后动作是使用质心计算焊枪的尖端的位置。执行一次图13C的算法以确定所述质心。在图13C中，动作114到121类似于先前已论述的图11B的动作80到85。在框122处，存储所提取的焊枪及手套图像的初始质心(ix,iy)，且处理在框123处结束。出于说明目的，质心被叠加于图14A到14C上。所属领域的一般技术人员应了解，例如视频修复、纹理合成或抠图等等的技术可用于前述算法(图13A、13B)中以实现相同结果。

在图15A及15B中描绘用于产生实时介导现实焊接流式视频的动作。在图15A中，在框124处开始，从存储器36读取且通过框126获得来自框127的所提取的RGB焊枪及手套图像(x)及来自125的初始质心(ix,iy)。从存储器36读取且通过框128获得来自框129的当前焊接熔池向量(wx,wy)。从存储器36读取且通过框128获得来自框137的当前图像(CI)。在框130处，计算确定应将焊枪及手套放置于当前合成帧(CI)上的何处的x-y坐标(bx、by)值。框130处的计算从初始x-y焊枪及手套向量减去当前合成帧的x-y焊接熔池向量：bx＝wx–ix及by＝wy–iy。需要这些向量来调整焊枪及手套图像，使得可将其插入到当前合成帧(CI)中。所提取的焊枪及手套图像的列调整在框131处开始。如果在框131处确定bx等于零，那么在131处无需对列进行处理，且焊枪及手套图像的列调整完成，且处理继续到图15B。如果在框131处确定bx不等于零，那么需对列进行调整。在框132处确定调整的类型。如果在框132处确定bx小于零，那么在框133处，从左前部的焊枪及手套参考图像x减去像素列bx，且在框134处将白色像素列bx添加到右前部的图像x，从而保证经调整的焊枪及手套图像大小与原始图像大小相同。否则，在框135处，将白色像素列bx添加到左前部的图像x，且在框136处，从右前部的焊枪及手套参考图像x减去像素列bx。接着，焊枪及手套图像的列调整完成，且处理继续到图15B。

在图15B中，所提取的焊枪及手套图像的行调整在框138处开始。如果在框138处确定by等于零，那么无需对行进行处理，且焊枪及手套图像的行调整完成且处理继续到框144。如果在框138处确定by不等于零，那么需要对行进行调整。在框139处确定调整的类型。如果在框139处确定by小于零，那么在框140处将白色像素行by添加到图像x的底部，且在框141处从焊枪及手套参考图像x的顶部减去像素行by。否则，在框142处，将白色像素行by添加到图像x的顶部，且在框143处，从焊枪及手套参考图像x的底部减去像素行by。接着，焊枪及手套图像的行调整完成且处理继续到框144。

在框144处开始将经调整的焊枪及手套RGB图像放置回到当前合成图像(ci)上。按行(r)及列(c)读取两个图像(x、ci)的像素。如果在框144处确定经调整的焊枪及手套图像x的当前像素并非是白色像素，那么在框145处使用公式ci(r,c)＝x(r,c)用来自焊枪手套图像的像素代替当前合成图像(ci)上的像素，且在框146处将所得像素r存储于存储器36中。否则，如果在框144处确定经调整的焊枪及手套图像x的当前像素是白色像素，那么像素代替是不必要的，且在框146处，将当前合成像素ci存储于存储器36中。如果在框147处确定存在更多待处理的像素，那么算法在框144处继续；否则，在框148处，在显示器屏幕19上将介导现实视频帧显示给操作员，且过程在框149处结束，且等待下一合成图像帧(CI)。所属领域的一般技术人员应了解，例如视频修复、纹理合成、抠图等等的技术可用于前述算法(图15A及15B)中以实现相同结果。

针对每一摄像机(或图像传感器)帧实时执行图7A、7B、8、9、11A、11B、13A、13B、13C、15A及15B以便在逐帧基础上显示流式视频。

可在不偏离本发明的情况下，互换使用不同实施例的各种元件。此外，所属领域的技术人员从对说明书的考虑及本文中所揭示的本发明的实践将明白本发明的其它实施例。希望将说明书及实例认为仅是示范性的，其中由所附权利要求书指示本发明的真正范围及精神。