本发明属于图像识别技术的应用领域,涉及一种基于双分支倒残差网络模型的钢化玻璃检测方法及系统。
背景技术:
1、在我们日常生活中,玻璃窗、玻璃门和玻璃墙等随处可见,大多都是采用玻璃材质,由于玻璃是透明表面,对于玻璃在生产环节对其质量控制尤为重要,如202310172528.6一种玻璃的检测装置及检测方法,其是当玻璃在传送带上匀速前进,不同位置的摄像头从不同角度自动对玻璃进行缺陷扫描,将扫描结果传输到计算机设备内,通过操作人员对扫描结果画面的官产判断玻璃的四个边缘是否有破损。但是其主要是利用红外技术对其表面缺陷或破损进行照射后采集图像,该技术主要针对表面有较为严重或者明显的缺陷进行识别,容易出现漏检或者误检,检测结果无法精确保证。
2、随着深度学习理论与计算设备的更迭,图像识别作为计算机视觉的重要应用领域,其已经与人们的生活息息相关,其在在工业制造中用于分析制成品的图像。它可以比人工检查员更准确、更快速地识别缺陷和与质量标准的偏差。同样在医疗方面,它可以通过对x光、mri和其他医学图像进行识别,从而辅助医生进行诊断,实现早期发现和治疗。
3、深度学习从一开始的lenet到alexnet,再到后来的vgg、googlenet、resnet、densenet等等。随着这些典型模型的不断提出,图像识别的准确率也越来越高,应用越来越广泛。
4、但是当前对于玻璃检测技术中的图像处理还存在以下问题:(1)高性能的网络模型,参数庞大,计算设备要求较高,推理时间过长;(2)模型参数小的网络,便于移动部署,但准确率不足的问题。
5、因此,将深度学习网络模型应用于钢化玻璃检测的技术仍处于探索阶段,仍有需要应用缺陷。
技术实现思路
1、针对现有玻璃生产质量检测技术所存在的缺陷,本发明提供一种基于轻量型双分支倒残差网络模型的钢化玻璃检测方法及对应的系统,其具有准确率高、参数量小、能够快速检测等优势。
2、为了实现上述目的,本发明采用的技术方案是:
3、一种基于轻量型双分支倒残差网络模型的钢化玻璃产品检测方法,其包括以下步骤:
4、1)构建轻量型双分支倒残差网络模型;
5、2)利用超声波对比非线性系数方法来测量玻璃内残余应力变化,获得钢化玻璃产品的内残余应力时域数据;
6、3)对玻璃应力的时域图像进行短时傅里叶变换得到时频域图像,建立数据集;
7、4)将步骤3)的数据集中的图像数据进行增强处理,得到原始矩阵p;
8、5)将步骤4)的原始矩阵p输入到轻量型双分支倒残差网络模型中训练,提取图像的特征,得到权重模型文件;
9、6)将步骤5)训练好的权重模型文件载入预测程序中,输入待检的钢化玻璃应力的时频域图像,按照步骤4)~5)的方法经过模型识别预测,得到钢化玻璃样本的检测结果。
10、进一步限定,步骤1)所述的轻量型双分支倒残差网络模型包括依次连接的预处理单元、特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元和分类单元;所述特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元均包含一个或多个双分支倒残差模块;
11、所述双分支倒残差模块包括并列的分支一和分支二;预处理后的数据在第一分支内经过3*3的深度卷积处理后,经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强,输出主要特征矩阵;在第二分支内经5*5的深度卷积处理后,经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强,输出大感受野矩阵;主要特征矩阵和大感受野矩阵在通道维度上合并,输出合并矩阵;同时将上述主要特征矩阵和大感受野矩阵进行求和得到求和矩阵;将合并矩阵与求和矩阵进行通道拼接,完成新型特征融合。
12、进一步限定,所述步骤2)具体为:
13、2.1)将超声波发射装置和超声波接受装置成对的安装在间距可调整的多个金属导轨上,相互平行的金属导轨之间构建成具有一定数量和间距排布的超声换能器矩阵;超声波发射装置和超声波接受装置分别由相应的伺服电机控制,可独自沿着x坐标、y坐标、z坐标三个方向运动;
14、2.2)判断超声波发射装置和超声波接受装置是否加载至钢化玻璃的待测点位,若否,则重新调整位置;若是,则进行下一步;
15、2.3)由超声图像处理单元产生周期性脉冲正弦信号输入到发射装置发出脉冲超声波,经过玻璃后由接受装置接受;
16、2.4)将接收到的超声波信号输入系统,根据相对非线性系数值与无应力的标准钢化玻璃应力成正比,进而得到钢化玻璃对应的相对非线性系数;
17、2.5)超声图像处理单元将步骤(2.4)所得的非线性系数与其对应的应力关联,绘制非线性系数随应力变化的曲线,得到钢化玻璃内残余应力变化图像,进而获得钢化玻璃产品的内残余应力时域数据。
18、进一步限定,所述步骤4)具体为:
19、将步骤3)所得的数据集按照8:1:1的比例分为训练集、验证集、测试集,将获取的数据依照重置大小、随机大小裁剪和标准化,进行增强处理。
20、进一步限定,所述步骤5)具体为:
21、5.1)将原始矩阵p输入预处理单元中,依次经5*5卷积、3*3池化的去噪后得到特征矩阵p0;
22、5.2)将特征矩阵p0输入特征提取第一单元,经过一个双分支倒残差模块进行特征提取,得到倒残差特征p1;
23、5.3)将倒残差特征p1输入特征提取第二单元,经过两个串联的双分支倒残差模块进行特征提取,得到倒残差特征p2;
24、5.4)将倒残差特征p2输入特征提取第三单元,经过三个串联的双分支倒残差模块进行特征提取,得到倒残差特征p3;
25、5.5)将倒残差特征p3输入特征提取第四单元,经过两个串联的双分支倒残差模块特征提取,得到倒残差特征p4;
26、5.6)将倒残差特征p4输入自适应平均池化层中,之后输入全连接层,对提取的分布特征进行组合,形成一维特征向量,并对特征向量进行加权求和后输出权重模型文件;
27、上述步骤(5.2)、(5.3)、(5.4)、(5.5)双分支倒残差模块输出的特征为:
28、
29、其中,pi(x)表示第i层所输出的特征,i=1,2,3,4;i为iremulbnet网络,mish为激活函数,fi为中间隐层的卷积关系示意,p04和p05分别表示特征提取中对特征矩阵维度拼接和求和的结果。
30、进一步限定,所述步骤5.2)具体训练过程为:
31、5.2.1)将特征矩阵p0经过1*1第一卷积进行维度操作得到矩阵p01;
32、5.2.2)矩阵p01分别输入第一分支、第二分支,在第一分支内经过3*3的深度卷积处理后,经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强,输出主要特征矩阵p02;在第二分支内经5*5的深度卷积处理后,经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强,输出大感受野矩阵p03;
33、5.2.3)将步骤5.2.2)提取图像的主要特征矩阵p02、大感受野矩阵p03在通道维度上合并得到合并矩阵p04,同时将上述p02和p03求和得到求和矩阵p05,将合并矩阵p04与求和矩阵p05进行通道拼接,经1*1第二卷积逐点卷积,降低维度,得到双路信息矩阵p07;
34、5.2.4)将步骤5.2.3)的双路信息矩阵p07与经过维度变换的特征矩阵p0求和,得到倒残差特征p1。
35、进一步限定,所述步骤6)之后还包括步骤7),所述步骤7)具体为:判断钢化玻璃样本的检测结果中当表面应力小于70mpa时,玻璃应力状况不合格,属于残次品;当表面应力为70~90mpa时,玻璃应力状况符合半钢化玻璃国家标准要求;当表面应力大于90mpa时,玻璃应力状况符合钢化玻璃国家标准要求,属于合格产品。
36、本发明还提供一种基于轻量型双分支倒残差网络模型的钢化玻璃产品检测系统,其包括超声波检测装置和超声图像处理单元;
37、超声波检测装置,设置在待测玻璃的两侧,包括超声波发射装置和超声波接收装置,超声波发射装置发出脉冲超声波信号,穿过玻璃后经超声波接收装置接收并将接收的信号传输给超声图像处理单元;
38、超声图像处理单元,用于向超声波检测装置的超声波发射装置发出周期性的脉冲正弦信号,同时接收超声波检测装置的超声波接收装置的超声信号,利用权利要求1所述的轻量型双分支倒残差网络模型的钢化玻璃产品检测方法对信号进行处理,输出钢化玻璃的检测结果。
39、进一步限定,所述超声图像处理单元包括中心处理模块、信号预处理模块、双分支倒残差信号处理模块;
40、中心处理模块:用于发出周期性的脉冲正弦信号,并接收超声信号,将接收的超声信号传输给信号预处理模块,并接收双分支倒残差信号处理模块传输的玻璃应力值,输出;
41、信号预处理模块:接收中心处理模块发送的超声信号,将时域数据进行短时傅里叶变换得到时频域图像,提取时频域图像的特征信息并将信息转发给双分支倒残差信号处理模块;
42、双分支倒残差信号处理模块:对增强处理后的图像信息在双分支倒残差网络模型中训练,提取出权重模型文件,并将权重模型文件载入预测程序中,与待检的玻璃应力的信息进行比对,将比对得到的玻璃应力值传输给中心处理模块。
43、进一步限定,所述轻量型双分支倒残差网络模型包括依次连接的预处理单元、特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元和分类单元;所述特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元均是由一个或多个双分支倒残差模块组成;
44、所述双分支倒残差模块包括并列的分支一和分支二;预处理后的数据在第一分支内经过3*3的深度卷积处理后,经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强,输出主要特征矩阵;在第二分支内经5*5的深度卷积处理后,经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强,输出大感受野矩阵;主要特征矩阵和大感受野矩阵在通道维度上合并,输出合并矩阵;同时将上述主要特征矩阵和大感受野矩阵进行求和得到求和矩阵;将合并矩阵与求和矩阵进行通道拼接,完成新型特征融合。
45、与现有技术相比,本发明的有益效果是:
46、1、本发明的钢化玻璃质量检测采用的轻量型双分支倒残差网络模型重构了一个倒残差结构,其结合双路结构、倒残差结构和注意力机制等技术,在大幅度减少模型的参数量和计算量情况下,提升分类准确率,提高钢化玻璃检测的结果准确率以及检测效率。
47、2、本发明钢化玻璃质量检测利用倒残差结构的输出减少通道数,同时在特征提取层卷积使用深度分离卷积,其中不同大小卷积的操作能增加特征的多样性,同时改变网络的宽度,有效减少了模型的参数量与计算量,大大提高钢化玻璃的检测效率。
48、3、本发明钢化玻璃质量检测在特征提取阶段,使用特征融合,将两个分支中处理所得的特征信息进行拼接和求和操作,接下来对上述的两个结果进行通道维度上的拼接,其输出的特征矩阵中所含特征信息更加丰富且复杂,有效增强了特征提取能力,保证检测结果的准确性。
49、4)本发明钢化玻璃质量检测能够实现上述的检测效率提升和检测结果准确的基础上,还能够保证检测手段的无损、连续检测,保证玻璃生产的安全、高效。