一种交互式的焊接环境建模系统及方法与流程

本发明涉及焊接，特别涉及一种交互式的焊接环境建模系统及方法。

背景技术：

1、焊接虚拟仿真技术是通过建立虚拟仿真模型的方式来实现焊接环境的模拟、焊接结果的预测以及焊接工艺的优化等目的的技术。随着芯片技术以及人工智能技术的飞速发展，在高性能图形处理芯片的处理能力大幅提升的同时，人工智能技术的引入也为虚拟仿真技术带来了新的生命力，使得焊接虚拟仿真技术不再受限于低效率的人工手绘模型，极大地提高了焊接虚拟仿真建模的效率。然而焊接虚拟仿真技术主要被应用于实验室条件下的模拟、验证用途，焊接虚拟仿真建模效率的提升对工业生产质量和工业生产效率的提升无法起到有效的促进作用。

技术实现思路

1、本发明正是基于上述问题，提出了一种交互式的焊接环境建模系统及方法，能够有效促进工业生产质量和工业生产效率的提升。

2、有鉴于此，本发明的第一方面提出了一种交互式的焊接环境建模系统，包括焊接设备，所述焊接设备包括用于放置焊接对象的焊接平台、用于对所述焊接平台上的焊接对象进行焊接的焊接头以及用于固定并控制所述焊接头运动的数控机械臂，所述焊接环境建模系统还包括固定设置在所述焊接平台一侧的至少两个扫描方向不平行的用于对建模空间进行扫描建模的结构光扫描装置、用于采集所述建模空间的实体影像的影像采集装置以及用于显示所述建模空间的动态模型的显示装置，所述结构光扫描装置包括结构光发射单元和结构光接收单元，所述焊接环境建模系统还包括用于控制所述焊接设备、所述结构光扫描装置、所述影像采集装置以及所述显示装置的控制装置，所述控制装置被配置为：

3、在结构光扫描范围内构建建模空间，所述结构光扫描范围为两个或两个以上的结构光扫描装置所覆盖的扫描范围的并集区域，所述建模空间落入所述两个或两个以上的结构光扫描装置的扫描范围的交集区域，所述建模空间覆盖焊接设备的焊接平台；

4、在静态条件下控制所述结构光扫描装置对所述建模空间进行扫描以生成所述建模空间的静态模型，所述静态条件为所述建模空间内的物体处于静止状态；

5、在工作状态下，控制所述结构光扫描装置以预设的高频扫描周期对所述建模空间进行周期性扫描得到所述建模空间内的结构光周期性扫描图像，所述结构光周期性扫描图像包括每一个扫描周期对应的结构光扫描装置同步扫描得到的结构光扫描图像；

6、通过所述结构光周期性扫描图像判断所述建模空间内的物体是否发生运动或者发生变化；

7、当所述建模空间内的物体发生运动或者发生变化时，基于所述结构光周期性扫描图像生成所述建模空间的动态模型；

8、对所述静态模型和所述动态模型执行物体识别以获取所述静态模型和所述动态模型中的物体类型和数量；

9、当所述动态模型中的物体类型和数量与所述静态模型不一致时，确定所述动态模型中每一个新增物体模型的位姿；

10、根据所述动态模型中每一个新增物体的位姿执行对应的交互操作。

11、本发明的第二方面提出了一种交互式的焊接环境建模方法，包括：

12、在结构光扫描范围内构建建模空间，所述结构光扫描范围为两个或两个以上的结构光扫描装置所覆盖的扫描范围的并集区域，所述建模空间落入所述两个或两个以上的结构光扫描装置的扫描范围的交集区域，所述建模空间覆盖焊接设备的焊接平台；

13、在静态条件下控制所述结构光扫描装置对所述建模空间进行扫描以生成所述建模空间的静态模型，所述静态条件为所述建模空间内的物体处于静止状态；

14、在工作状态下，控制所述结构光扫描装置以预设的高频扫描周期对所述建模空间进行周期性扫描得到所述建模空间内的结构光周期性扫描图像，所述结构光周期性扫描图像包括每一个扫描周期对应的结构光扫描装置同步扫描得到的结构光扫描图像；

15、通过所述结构光周期性扫描图像判断所述建模空间内的物体是否发生运动或者发生变化；

16、当所述建模空间内的物体发生运动或者发生变化时，基于所述结构光周期性扫描图像生成所述建模空间的动态模型；

17、对所述静态模型和所述动态模型执行物体识别以获取所述静态模型和所述动态模型中的物体类型和数量；

18、当所述动态模型中的物体类型和数量与所述静态模型不一致时，确定所述动态模型中每一个新增物体模型的位姿；

19、根据所述动态模型中每一个新增物体的位姿执行对应的交互操作。

20、优选的，在上述的焊接环境建模方法中，确定所述动态模型中每一个新增物体模型的位姿的步骤具体包括：

21、根据物体识别结果从所述静态模型和所述动态模型中分别提取独立的物体模型；

22、对所述静态模型和所述动态模型中物体模型的位置和形状进行匹配；

23、建立所述静态模型和所述动态模型中相同物体的物体模型的对应关系，所述相同物体的物体模型为基于现实环境中的同一物体在所述静态模型和所述动态模型中生成的物体模型；

24、将所述动态模型中没有与所述静态模型中的物体模型建立对应关系的物体模型确定为新增物体模型；

25、从所述动态模型中获取所述新增物体模型的位置和姿态数据。

26、优选的，在上述的焊接环境建模方法中，根据所述动态模型中每一个新增物体模型的位姿执行对应的交互操作的步骤具体包括：

27、读取预先配置的焊接对象信息，所述焊接对象信息包括焊接对象的标准模型、焊接位置以及焊接参数；

28、将所述新增物体模型与所述焊接对象的标准模型进行匹配；

29、根据匹配结果判断所述新增物体模型是否包含所述焊接对象的模型；

30、当所述新增物体模型包含所述焊接对象的模型时，根据所述焊接对象的模型的位姿、所述焊接位置以及所述焊接参数控制所述焊接头对所述焊接对象进行焊接。

31、优选的，在上述的焊接环境建模方法中，在基于所述结构光周期性扫描图像生成所述建模空间的动态模型的步骤之后，还包括：

32、通过影像采集装置采集所述建模空间的实体影像；

33、根据物体识别结果读取所述动态模型中的物体的材质信息；

34、对所述实体影像进行解析以得到所述实体影像的视角信息、对应所述动态模型中的物体的色彩信息以及焊接环境的光源信息；

35、基于所述材质信息、所述视角信息、所述色彩信息以及所述光源信息对所述动态模型中的物体模型进行渲染以生成所述动态模型的虚拟影像；

36、在所述焊接设备的显示装置上显示所述虚拟影像；

37、基于所述高频扫描周期更新所述显示装置上显示的所述虚拟影像。

38、优选的，在上述的焊接环境建模方法中，根据所述动态模型中每一个新增物体的位姿执行对应的交互操作的步骤具体包括：

39、读取预先配置的交互对象信息，所述交互对象信息包括交互对象的标准模型、运动姿态以及与所述运动姿态关联的交互指令；

40、将所述新增物体模型与所述交互对象的标准模型进行匹配；

41、根据匹配结果判断所述新增物体模型是否包含所述交互对象的模型；

42、当所述新增物体模型包含所述交互对象的模型时，控制所述焊接设备进入交互状态。

43、优选的，在上述的焊接环境建模方法中，所述建模空间中包括交互区域和焊接区域，所述交互区域为所述建模空间中远离所述焊接平台和所述焊接头的用于执行人机交互的区域，所述焊接区域为所述建模空间中覆盖所述焊接平台和所述焊接头的用于对焊接对象进行焊接的区域，控制所述焊接设备进入交互状态的步骤具体包括：

44、在所述焊接设备的显示装置上显示所述实体影像；

45、获取所述显示装置上显示的所述实体影像中的所述交互区域的尺寸；

46、对所述虚拟影像中的所述焊接区域进行缩放以和所述实体影像中的所述交互区域的尺寸相匹配；

47、将所述虚拟影像中的所述焊接区域显示在所述显示装置上对应所述实体影像中的所述交互区域的位置。

48、优选的，在上述的焊接环境建模方法中，根据所述动态模型中每一个新增物体的位姿执行对应的交互操作的步骤还包括：

49、获取所述交互对象在所述实体影像中的所述交互区域的第一位姿；

50、获取所述焊接对象在所述虚拟影像中的所述焊接区域的第二位姿；

51、在将所述虚拟影像中的所述焊接区域显示在所述显示装置上对应所述实体影像中的所述交互区域的位置之后，获取所述第一位姿和所述第二位姿在所述实体影像中的所述交互区域的位置关系；

52、根据所述交互对象的所述第一位姿和所述焊接对象的所述第二位姿在所述实体影像中的所述交互区域的位置关系识别所述交互对象的所述第一位姿对应的交互操作。

53、优选的，在上述的焊接环境建模方法中，在根据所述交互对象的所述第一位姿和所述焊接对象的所述第二位姿在所述实体影像中的所述交互区域的位置关系识别所述交互对象的所述第一位姿对应的交互操作的步骤之后，还包括：

54、当识别到所述交互操作为预测焊接结果时，将当前焊接参数与焊接状态输入预先训练的焊接结果预测模型中预测焊接结果；

55、根据所述预测焊接结果生成所述焊接对象完成焊接后的焊接结果模型；

56、在所述动态模型中将所述焊接对象模型替换为所述焊接结果模型；

57、生成包含所述焊接结果模型的所述动态模型的虚拟影像；

58、将所述虚拟影像中的所述焊接区域显示在所述显示装置上对应所述实体影像中的所述交互区域的位置。

59、优选的，在上述的焊接环境建模方法中，在根据所述交互对象的所述第一位姿和所述焊接对象的所述第二位姿在所述实体影像中的所述交互区域的位置关系识别所述交互对象的所述第一位姿对应的交互操作的步骤之后，还包括：

60、当识别到所述交互操作为修改焊接参数时，将所述焊接结果模型中的预测部分配置为可修改状态，所述预测部分为所述焊接对象结果模型中与所述实体影像中的所述焊接对象实体的差异部分；

61、根据所述交互对象在所述实体影像的所述交互区域中的运动状态修改所述预测部分的形状或位置；

62、根据交互操作或者外部控制指令控制所述焊接设备退出交互状态；

63、根据所述预测部分的修改结果生成对应的焊接参数；

64、控制所述焊接设备以修改后的焊接参数对所述焊接对象进行焊接。

65、本发明提出一种交互式的焊接环境建模系统及方法，通过设置用于对建模空间进行扫描建模的结构光扫描装置、用于采集所述建模空间的实体影像的影像采集装置、用于显示所述建模空间的动态模型的显示装置以及控制装置，所述控制装置在焊接设备处于非工作状态时通过所述结构光扫描装置对建模空间进行扫描建模以生成相应的静态模型，在焊接设备处于工作状态时通过所述结构光扫描装置对建模空间进行扫描建模以生成相应的动态模型，基于所生成的动态模型和静态模型之间的差异来判断是否存在新增物体以及基于新增物体模型的位姿执行对应的交互操作，从而可以基于交互操作实时了解焊接情况以及修改焊接参数，能够有效促进工业生产质量和工业生产效率的提升。