基于虚拟现实的焊接教学系统及方法与流程

本发明是涉及技能培训技术领域，尤其涉及一种基于虚拟现实的焊接教学系统及方法。

背景技术：

vr是virtualreality的缩写，中文的意思就是虚拟现实技术。虚拟现实是多媒体技术的终极应用形式，它是计算机软硬件技术、传感技术、机器人技术、人工智能及行为心理学等科学领域飞速发展的结晶。主要依赖于三维实时图形显示、三维定位跟踪、触觉及嗅觉传感技术、人工智能技术、高速计算与并行计算技术以及人的行为学研究等多项关键技术的发展。人们戴上立体眼镜、数据手套等特制的传感设备，面对一种三维的模拟现实，似乎置身于一个具有三维的视觉、听觉、触觉甚至嗅觉的感觉世界，并且人与这个环境可以通过人的自然技能和相应的设施进行信息交互。

焊接是现代制造业关键技术，是一种“可靠、低成本，采用高科技连接材料的方法”。但是传统焊接人才培养方式存在例如消耗大量的焊条(丝)、焊件和保护气体等材料；对学员的培训过程难以准确掌握；对学员的焊接水平难以评价；培训过程环境污染严重，有害健康；培训过程安全性差等诸多不足。

因此，我们将先进的vr技术和传统焊接培训方法相结合，通过虚拟焊接的方式来训练学生的焊接操作技能，从而避免传统焊接教学方式所带来的不足。

技术实现要素：

为了解决现有技术中存在的技术问题。本发明实施例提供了一种基于虚拟现实的焊接教学系统及方法，具体的：

根据第一方面，本发明提供一种基于虚拟现实的焊接教学系统，包括：立体视觉焊接模拟子系统，用于模拟焊接场景，并采集焊接操作数据；焊接评价子系统，用于获取焊接操作数据，并基于预设规则对所述焊接操作数据进行评价，得到评价结果；教学子系统，包括互相通信连接的教师终端和学生终端，其中，所述教师终端，用于发起教学任务，所述学生终端用于接收教学任务，并通过所述立体视觉焊接模拟子系统进行焊接操作，所述立体视觉焊接模拟子系统采集焊接操作数据并发送至所述焊接子系统对所述操作数据进行评价，所述教师终端用于接收所述评价结果。

可选地，所述立体视觉焊接模拟子系统包括：虚拟现实系统、现实焊枪以及设置在所述虚拟焊枪上的定位追踪器；所述定位追踪器分别与所述虚拟现实系统和现实焊枪无线通信，将现实焊枪在现实空间中的现实状态数据映射至虚拟空间，得到虚拟焊枪的虚拟状态数据，所述虚拟现实系统基于所述虚拟状态数据生成焊接操作数据。

可选地，焊接教学系统还包括：服务器，分别与所述立体视觉焊接模拟子系统、所述焊接评价子系统和所述教学子系统通信。

根据第二方面，本发明实施例提供了一种基于虚拟现实的焊接教学方法，包括：获取虚拟焊枪状态数据；基于所述状态数据生成虚拟焊接操作数据；基于预设评分规则对所述操作数据进行评价。

可选地，所述获取虚拟焊枪状态数据包括：追踪所述现实焊枪在现实空间中的现实使用状态；将所述现实使用状态映射至虚拟空间，得到虚拟焊枪的虚拟使用状态；根据所述虚拟使用状态生成所述状态数据。

可选地，所述状态数据包括焊枪位置、焊枪与焊条角度、焊条与母材角度、焊枪运动轨迹以及焊枪移动速度中的至少之一。

可选地，所述焊接操作数据包括：虚拟焊道数据；所述基于所述焊枪运动数据生成焊接操作数据包括：获取虚拟焊的虚拟焊接条件数据，所述虚拟焊接条件数据包括：焊接电流和/或电压数据、保护气体流量数据、焊料规格数据中的至少之一；基于所述焊枪状态数据和所述虚拟焊接条件数据生成虚拟焊道数据。

可选地，所述焊接操作数据包括：焊接动作、焊接姿势、焊接运弧中的至少一个。

可选地，所述基于预设评分规则对所述操作数据进行评价包括：基于预设规则分别对所述焊接动作、焊接姿势、焊接运弧和所述虚拟焊道进行评价。

根据第三方面，本发明实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行上述第二方面任意一项所述的基于虚拟现实的焊接教学方法。

本申请具有如下有益效果：

立体视觉焊接模拟子系统，用于模拟焊接场景，并采集焊接操作数据；焊接评价子系统，用于获取焊接操作数据，并基于预设规则对所述焊接操作数据进行评价，得到评价结果；教学子系统，包括互相通信连接的教师终端和学生终端，其中，所述教师终端，用于发起教学任务，所述学生终端用于接收教学任务，并通过所述立体视觉焊接模拟子系统进行焊接操作，所述立体视觉焊接模拟子系统采集焊接操作数据并发送至所述焊接子系统对所述操作数据进行评价，所述教师终端用于接收所述评价结果，通过对学员的操作数据进行采集，并实时记性评价，可以对学员的培训过程准确掌握；对学员的焊接水平精准评价。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的基于虚拟现实的焊接教学系统示意图；

图2为本发明实施例提供的基于虚拟现实的焊接教学方法示意图；

图3为本发明实施例提供的电子设备示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种基于虚拟现实的焊接教学系统，如图1所示，该系统包括：立体视觉焊接模拟子系统10，用于模拟焊接场景，并采集焊接操作数据；焊接评价子系统20，用于获取焊接操作数据，并基于预设规则对所述焊接操作数据进行评价，得到评价结果；教学子系统30，包括互相通信连接的教师终端310和学生终端320，其中，所述教师终端310用于发起教学任务，所述学生终端320用于接收教学任务，并通过所述立体视觉焊接模拟子系统10进行焊接操作，所述立体视觉焊接模拟子系统10采集焊接操作数据并发送至所述焊接子系统20对所述操作数据进行评价，所述教师终端310用于接收所述评价结果；服务器40，分别与所述立体视觉焊接模拟子系统10、所述焊接评价子系统20和所述教学子系统30通信。

其中，所述立体视觉焊接模拟子系统包括：虚拟现实系统、现实焊枪以及设置在所述虚拟焊枪上的定位追踪器；所述定位追踪器分别与所述虚拟现实系统和现实焊枪无线通信，将现实焊枪在现实空间中的现实状态数据映射至虚拟空间，得到虚拟焊枪的虚拟状态数据，所述虚拟现实系统基于所述虚拟状态数据生成焊接操作数据。

具体的，服务器可以为云平台，可以用于焊接模拟器的数据服务，服务器基于java技术体系，保证系统的安全性、可靠性、可移植性。并采用分布式架构、模块化设计，保证了系统的良好的扩展性，使得系统能够很容易地进行维护和扩展。利用bs架构在减轻了系统维护与升级的成本和工作量的同时降低了用户的总体成本。流媒体、vr等视觉技术为学生提供了切实的直观感受，让学生能够身临其境地进行学习，极大地提高学习效率和效果。

作为示例性的实施例，虚拟现实系统即vr系统主要涉及到三维光影可视化技术、vr防眩晕技术等主要技术，来保证场景的逼真效果，贴近焊接生产实际情况。其中，

三维光影可视化技术：可以使用例如纹理映射、凹凸映射、反射贴图、视差映射等进行三维物体的基本渲染。进一步可以应用屏幕空间环境光遮蔽等技术实现更为真实的动态阴影效果。

部分静态物件使用render-to-texture技术进行预先烘焙以节约宝贵的计算资源。

采用多种全屏postprocessing(后期处理)效果增强画面体验。

postprocessing效果包括但不限于：vignetting：实现场景中的聚焦，以及对中心之外的物体做模糊处理；tonemapping：色调映射技术，改变camera渲染后的整个色调；sunshafts：模拟强光中的光影效果；bloom：表现画面细节，增强比对度，替代hdr(high-dynamicrange)，性能消耗更低；colorcorrection：调节画面色调饱和度；lensflares：镜头光晕效果。例如太阳的光晕或金属反射出的光晕所形成的视觉光斑。

vr防眩晕技术：

针对4核乃至8核处理器，将系统数据并行计算算法通过系统分级和数据分组，将工作量尽可能地分摊到所有的内核上，从而获得完整提升的数据并行效率。刷新率得到提高，从而降低使用者的眩晕感、增强沉浸感体验。

采用cinematicblink(即眨眼式瞬移)和first-personperspectivewalk(第一人称视角行走)两种移动方案。经过一些产品验证，采取类似的视角和移动模式可以有效地防止用户因加速度运动和场景的突然切换而产生眩晕感。在cinematicblink模式下需要移动的场景出现在体验者的视野范围内，然后按下控制器上的按钮，一下子就转移到新场景上。由于体验者预先看到了目标场景，切换时不会感觉太突然。而first-personperspectivewalk模式下，行走、弯腰、下蹲完全由体验者身体自然的动作控制。

作为可选的实施例，采用真实焊枪与定位追踪器相结合的方式，通过采集在虚拟焊接操作过程中焊枪的位置数据来评价焊接质量，利用行为识别技术来定量分析焊枪姿态角度，并给出标准指导意见，完成不同焊接材料不同焊接形状以及不同焊接要求的焊接训练，将收集的数据与实际生产操作过程中的数据相对比，从而对此次操作进行评价。

作为可选的实施例，在局域网环境中，建立学生端与教师端的联系，教师可通过教师端向学生端下发焊接实训任务和考试任务，学生在学生端接受到相关任务后，通过vr系统进行焊接操作，系统会记录学生的操作过程数据和操作得分，并将数据回传到教师端。

本申请提供的教学系统可以有效地和周围真实的环境进行互动，让训练者处于高度逼真的环境中，有效促进操作者完全投入到当前的任务中。焊接训练模拟技术适用于新一代焊接人员的培训和焊接就业教育，在一般的培训教室即可进行培训工作。并且本产品可以精确地测量到操作信息，训练者可以从中学到要点并能简便有效地将这些焊接技能转化到实际的焊接工作中。

本发明实施例提供了一种基于虚拟现焊接教学方法，如图2所示，该方法可以包括如下步骤：

s11.实获取虚拟焊枪状态数据。具体的，追踪所述现实焊枪在现实空间中的现实使用状态；将所述现实使用状态映射至虚拟空间，得到虚拟焊枪的虚拟使用状态；根据所述虚拟使用状态生成所述状态数据。在本实施例中，状态数据包括焊枪位置、焊枪与焊条角度、焊条与母材角度、焊枪运动轨迹以及焊枪移动速度中的至少之一。在本实施例中，可以通过在显示焊枪中绑定定位追踪器，定位追踪器与现实焊枪和vr系统之间建立无线、无延迟连接，达成现实空间与虚拟空间的映射定位关系。当现实焊枪在现实世界中移动或被使用时，虚拟焊枪在vr场景中同步，从而得到虚拟焊枪的状态数据。

s12.基于所述状态数据生成虚拟焊接操作数据。所述焊接操作数据包括：虚拟焊道数据；以虚拟焊道数据为例，虚拟焊道生成可以通过如下方式：获取虚拟焊的虚拟焊接条件数据，所述虚拟焊接条件数据包括：焊接电流和/或电压数据、保护气体流量数据、焊料规格数据中的至少之一；基于所述焊枪状态数据和所述虚拟焊接条件数据生成虚拟焊道数据。具体的，融化点位置液态金属混合物的产生/滴落速度受实时电流大小、实时电压大小、实时保护气体流量、焊条(焊丝)材质、焊条(焊丝)直径等因素影响。学员操作时移动实物焊枪，其空间位置变化将被子系统捕捉到，导致虚拟焊枪同步移动，此过程中融化点位置将不断生成虚拟液态金属，滴落并随时间凝固，最终形成焊道。此外，焊接数据还可以包括焊接动作、焊接姿势、焊接运弧中的至少一个。作为示例性的实施例，焊接动作、焊接姿势、焊接运弧可以通过在焊接过程中，学院的焊枪位置，放置焊条时，焊枪与焊条角度、焊条与母材角度，在焊接时，焊枪运动轨迹以及焊枪移动速度确定焊接动作、焊接姿势、焊接运弧。

s13.基于预设评分规则对所述操作数据进行评价。

在本实施例中，可以基于预设规则分别对所述焊接动作、焊接姿势、焊接运弧和所述虚拟焊道进行评价。

示例性的，可以通过表1中的评分规则对操作数据进行评价：

表1

作为示例性的实施例，在得到评价结果后，可以针对评价结果对学院的训练状态进行分析，从而对真对各个学院的状态给出对应的指导。

本发明实施例提供了一种电子设备，如图3所示，该电子设备包括一个或多个处理器31以及存储器32，图3中以一个处理器33为例。

该控制器还可以包括：输入装置33和输出装置34。

处理器31、存储器32、输入装置33和输出装置34可以通过总线或者其他方式连接，图3中以通过总线连接为例。

处理器31可以为中央处理器(centralprocessingunit，cpu)。处理器31还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的基于虚拟现实的焊接教学方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的基于虚拟现实的焊接教学方法。

存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置33可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置34可包括显示屏等显示设备。

一个或者多个模块存储在存储器32中，当被一个或者多个处理器31执行时，执行如图2所示的方法。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各基于虚拟现实的焊接教学方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；存储介质还可以包括上述种类的存储器的组合。

最后，本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。