航空机匣铸造砂型砂芯智能识别与远程测温系统及方法

本发明涉及航空机匣铸造砂型砂芯铸造领域，具体涉及航空机匣铸造砂型砂芯智能识别与远程测温系统及方法。

背景技术：

1、在机械制造和加工设备行业中，铸件的生产占据非常重要的地位，其中温度是铸件生产过程中的一个重要因素。在航空镁铝合金机匣砂型砂芯铸造的过程中，针对使用树脂材质(材质为树脂砂、树脂材料一般为pep-set，树脂砂舂制成型，密度在1.6左右，表面粗糙度一般在ra6.3-ra12.5之间)的砂型、砂芯，在铸造过程中，若对生产温度把控不当，容易使砂型产生吸潮、变形、缺肉等缺陷，这些缺陷又会使合金液在浇筑过程中形成卷气、夹杂、多肉以及重要特征缺失，使得浇筑生产出的铸件机械性能降低，严重的还会造成铸件的报废，因此实现对温度的准确把控在航空镁铝合金机匣砂型砂芯铸件铸造生产过程中影响重大。

2、在铸造领域中，美国亚什兰公司生产的pep-set材料的树脂在航空铝镁合金砂型铸造中被大量应用，随着航空工业的快速发展，采用pep-set树脂制造的铝镁合金航空机匣铸件也面临着许多生产问题，比如使用pep-set树脂材料的铝镁合金砂型在铸造过程中温度的监测问题，尤其是在铸造流程中砂型合型过程中目标形状的重构及工人遮挡等问题造成识别率低下的问题。

3、现有的测温方式主要分为接触式测温与非接触式测温。为了避免破坏铸体完整性，和减少布置温度传感器对温度场分布的影响，采用非接触式测温的方法对铸件进行温度的监控，传统的非接触式手持测温仪需要工人手持测温，操作过程繁琐，只能测量砂型的局部温度，测量效率低且无法24小时测温。

4、目前目标识别技术在现实生活中有着广泛的应用，特别应用在汽车无人驾驶、视频检测、工业检测以及航空航天等领域，目标识别技术通过使用计算机视觉技术和图像处理算法，对铸件进行识别，准确地检测目标铸件的温度，并且可以适应不同形状和尺寸的铸件。因此结合目标识别和非接触测温对于铸造领域是非常有必要的。

技术实现思路

1、为了解决航空机匣铸造过程中砂型砂芯的识别准确率低下以及温度变化导致的铸造缺陷问题，本发明提供了航空机匣铸造砂型砂芯智能识别与远程测温系统及方法。

2、航空机匣铸造砂型砂芯智能识别与远程测温系统，包括：航空机匣铸件砂型砂芯图像采集模块、温湿度数据采集模块、航空机匣铸件砂型砂芯识别模块、环形光源、计算机和显示器；

3、其中，计算机通过航空机匣铸件砂型砂芯识别模块对图像采集模块采集到的现场砂型可见光图像进行预处理得到特征图像，将特征图像输入到基于深度学习的砂型砂芯识别模型中进行识别，将识别到的砂型砂芯边界框信息通过可见光图像与热成像图像之间的坐标关系映射到热成像图像上，对热成像图像中映射出的砂型砂芯边界框进行图像处理，得到热成像图像中目标砂型砂芯图像，结合热成像温度数据，提取目标砂型砂芯图像的温度数据，记录温度数据；

4、所述航空机匣铸件砂型砂芯图像采集模块通过热成像双光谱相机采集可见光图像和热成像图像，并将可见光图像和热成像图像以电信号的形式传输给计算机；所述双光谱相机安装在距目标砂型作业区域一段距离墙壁处，以减少现场作业对相机采集图像的干扰；

5、所述温湿度数据采集模块通过温湿度传感器采集现场温湿度数据，并将现场环境的温湿度数据传输给计算机，所述温湿度传感器以阵列形式并联布置在砂型、砂芯四周，与所述计算机串口连接，以减少传输距离对数据传输性能的影响；

6、所述航空机匣铸件砂型砂芯识别模块用于识别目标航空机匣铸件砂型砂芯；采用yolov5网络模型；所述航空机匣铸造砂型砂芯识别模块构造航空机匣铸件图像的数据集，将采集到的图像数据划分为训练集、验证集、测试集；

7、所述环形光源用于现场航空机匣铸件砂型砂芯的打光；

8、所述计算机用于对系统程序的运行以及图像的识别与处理；

9、所述显示器用于展示采集到的图像信息以及温度数据。

10、航空机匣铸造砂型砂芯智能识别与远程测温方法，基于上述航空机匣铸造砂型砂芯智能识别与远程测温系统实现，包括以下步骤：

11、步骤1：对目标航空机匣铸造砂型砂芯进行识别前，开启环形光源；利用图像采集模块的热成像双光谱相机对铸造现场采集可见光图像和热成像图像；并将其传输给计算机；通过温湿度传感器采集铸造现场温湿度数据，并传输给计算机；

12、步骤2：计算机对可见光图像进行图像预处理，包括对图像使用灰度化、图像增强与高斯滤波的方法增强图像特征；

13、步骤3：建立航空机匣铸造砂型砂芯深度学习识别网络模型，将特征图像输入到航空机匣铸造砂型砂芯深度学习识别网络模型中，对图像进行识别，若识别到目标砂型，则在可见光图像中显示目标砂型的识别框，保存识别框的参数并执行步骤4，若否，则执行步骤6；

14、所述航空机匣铸造砂型砂芯深度学习识别网络模型的建立，包括以下步骤：

15、步骤s1、计算机控制热成像双光谱相机，相机以设定的采集频率对目标航空机匣砂型砂芯的铸造流程的可见光图像进行采集；

16、步骤s2、多次重复步骤s1采集大量图像样本；

17、步骤s3、计算机对航空机匣铸造砂型砂芯可见光图像进行图像预处理，包括对图像使用灰度化、图像增强与高斯滤波的方法增强图像特征；

18、步骤s4、增广图像数据，通过对预处理后的可见光图像分别进行旋转、缩放、添加椒盐噪声、添加高斯噪声以及图像明暗化处理的图像处理方式，增加图像的数量，以此提高网络模型的泛化能力；

19、步骤s5、计算机通过labelimg软件对增广后的可见光图像中目标航空机匣铸造砂型砂芯进行目标图像边界框的标注，获得标注后的图像以及图像标注数据；

20、步骤s6、计算机随机将标注图像以及对应的图像标注数据中的70％作为训练集，20％作为验证集，10％作为测试集；

21、步骤s7、将图像的训练集输入yolov5的网络模型中，训练砂型砂芯识别模型，输出训练误差和训练权重数据，达到训练网络的目的；

22、步骤s8、重复上述步骤，对已有目标航空机匣铸造砂型砂芯的图像样本重复多次制作训练集、验证集与测试集，并进行模型训练；每次迭代都进行损失函数的计算，并更新参数值，使损失函数的值最小，直到模型收敛；

23、步骤s9、保存训练后的航空机匣铸造砂型砂芯模型的权重参数，利用测试集图像进行测试，达到模型的训练结果；

24、步骤4：计算机输出可见光图像中目标砂型的识别框参数，包括边界框的中心点像素坐标(urgb,vrgb)、边界框的长hrgb和宽wrgb；通过可见光图像与热成像图像的坐标映射关系公式，从而获得热成像图像中的目标砂型的边界框数据，目标砂型的边界框以点(uir,vir)作为边界框的中心点像素坐标(uir,vir)，以hir与wir作为边界框长和宽；坐标映射关系公式以及边界框长宽关系公式如下：

25、

26、

27、其中，krgb，kir分别为热成像双谱相机中内置的可见光相机与热成像相机的内参矩阵；ergb，eir分别为可见光相机与热成像相机的外参矩阵；zrgb与zir为尺度因子；prgb为可见光图像下的坐标，prgb＝[urgb,vrgb,1]t；pir为热成像图像下的坐标，pir＝[uir,vir,1]t；a，b为可见光图像与热成像图像之间x方向与y方向上的缩放比例；

28、对热成像图像的目标边界框进行图像处理，得到目标砂型砂芯图像，结合热成像图像本身温度数据，准确提取目标砂型砂芯图像的温度数据，并计算平均温度值：

29、

30、其中tavg为目标的平均温度；n为识别区域的有效像素点个数；ti为有效像素点的热成像温度；所述图像处理具体为：图像灰度化、直方图均衡化对热成像边界框区域进行图像处理得到目标砂型砂芯图像；

31、步骤5：判断航空机匣铸造砂型砂芯的平均温度tavg是否大于预设在计算机系统中的正常温度值，若大于，则为异常温度数据，若否，则为正常温度数据；

32、步骤6：计算机控制显示器显示采集到的航空机匣铸造砂型砂芯的图像及温度数据，同时，生成温度数据表格保存在本地数据库中。

33、本发明有益技术效果：

34、本发明航空机匣铸造砂型砂芯智能识别与测温方法，采用非接触式测温，相较于传统的人工温度采集方法，增加了目标温度采集的稳定性，降低了人工成本，采用热成像相机对目标铸件砂型进行温度采集，并通过运用机器视觉技术准确识别目标航空机匣铸件砂型砂芯，进一步减少人工测温的误差，提高识别效率。

35、利用视觉检测的技术实现了准确且不间断的实时监测，相较于传统的模板匹配识别方法，应用目标识别技术可以做到帮助机器准确地辨别和定位待铸件的位置和形状，提高产业的自动化程度以及生产效率，保证铸件质量，减少人工错误。

36、基于深度学习的yolov5的网络模型通过对大量的铝镁合金航空机匣铸件砂型砂芯图像进行训练，构建铝镁合金航空机匣铸件砂型砂芯的网络模型，极大提高了目标的识别精度，并且对铸造现场复杂的光线照射有着较高的鲁棒性，能够实现对目标的快速识别以及对遮挡图像的准确识别，提高了铸造生产的自动化程度。