一种通过改进GAN增强红外热图像的方法

一种通过改进gan增强红外热图像的方法
技术领域
1.本发明属于图像处理技术领域，更为具体地讲，涉及一种通过改进生成式对抗网络(gan)增强红外热图像的方法。


背景技术：

2.裂纹检测在预防由裂纹缺陷设施引起的偶发危险事件中起着极其重要的作用。随着现代工业科技的快速发展，工业中设施装备逐渐向着高精度发展，其对组件的安全性也有着极高的要求，裂纹的出现和扩展不仅会严重影响设施装备的性能，在扩展到一定程度后甚至会导致组件的断裂，引起设施的安全问题，从而造成极其严重的后果。因此有必要在早期对工业组件进行裂纹的检测。
3.目前的无损检测技术主要包括射线检测、涡流检测、磁粉检测、超声检查等。射线检测检测成本高且存在安全问题；磁粉检测仅适合开口缺陷且检测过程复杂；超声检测需要耦合。综合来看，涡流检测因其检测速度快，操作难度低、多种多样的应用方式等优点受到广泛关注。随着涡流检测技术发展,其在简单缺陷的检出及空间定位方面都已经比较成熟，且逐渐向精确测量和成像检测方向发展。其中脉冲涡流热成像技术集合了涡流检测与热成像技术两方面的优势，其主要特点如下：
4.(1)、采用红外辐射测量物体表面温度，检测距离较大，热像仪具有分辨率较高的优点。
5.(2)、检测效率高，热像仪可以在几毫秒内测出目标的温度，相对于涡流磁光成像来说检测范围更大。
6.(3)、成像效果直观，可以通过热图像温度分布直接确定缺陷位置，便于后期处理。
7.(4)、具有涡流检测的优点，与射线检测相比更安全；与超声检测技术相比无需耦合且不必接触；且相对于磁粉法及渗透法操作更为简单
8.因其诸多优点，脉冲涡流成像技术十分适合缺陷的检测，也因此吸引了大量学者的关注，在红外热图像的处理和增强方面也取得了一系列的进展。脉冲涡流热成像技术的主要原理在于：高频的脉冲激励源使试件表面和内部感应出高频涡流，涡流在试件中的流动总是选择阻抗最低的环路，当试件内部存在缺陷时，内部孔洞或者裂缝的存在使得缺陷处的阻抗变大，因此当涡流遇到缺陷时，会绕过缺陷从缺陷的边缘处流过，使得缺陷边缘处的涡流密度变大。由焦耳定律可知，导体中产生的热量与电流的平方成正比，因此缺陷边缘处的温度要高于其他无缺陷区域，通过观察红外热图像中的颜色差异即可判断出缺陷的轮廓。
9.通过对采集到的红外热图像或热图像序列进行处理，可以得到关于试件表面和亚表面部分的缺陷信息。因此很多学者们对热图像和热图像序列的处理进行了研究，目前对热图像的处理都只是将热图像看作一幅普通的可见光图像，许多学者通过在空间域或者频率域对热图像中的各个像素进行处理，消除噪声，提高图像质量从而达到使缺陷轮廓更加清晰，达到便于缺陷检测的目的。但是，由于不能准确地估计检测最佳红外图像的时间，因
此难以获得有效的红外图像。为了使用图像检测裂纹，通常根据经验在固定的检测时间手动选择可行图像。基于人工选择的图像，提出了各种用于裂纹检测的高级图像处理算法，例如k均值聚类算法，离散小波变换，热阻效应模型方法以及其他一些特殊方法和算法。这些图像处理算法的目的在于根据可行的图像选择方法，使用静态热图像来增强裂纹图像。实际上，脉冲涡流红外图像中的大量信息包含在瞬态模式中，因此，传统的图像方法无法充分利用脉冲涡流热成像技术的特点进行裂纹检测。目前，许多学者也研究了大量的瞬态响应特征以更加深入地提取和增强裂纹信息。当前，基于模式热图像序列处理算法主要有以下几种：应用基于傅立叶变换的频率模式提取方法，旨在通过相位图来增强图像对比度；通过使用主成分分析(pca)和独立成分分析(ica)的模式提取方法，基于原始图像序列提高裂纹检测的能力；此外，在热图像序列处理中还存在其他一些算法，例如单通道盲源分离和鲁棒主成分分析(rpca)方法。
10.热成像检测技术中裂纹检测的挑战在于，由于多种及动态的影响因素，很难建立与物理过程相关的精确模型，且由于噪声的存在，很难建立具有良好泛化性能的模型。因此，开展新的分析角度和方法，构建性能良好的泛化模型并完成对缺陷信息的有效检测有很大的研究意义。


技术实现要素：

11.本发明的目的在于克服现有技术的不足，提供一种通过改进gan增强红外热图像的方法，基于时域特征到空域特征的映射来充分利用红外热图像序列的信息，有效提高缺陷区域与背景区域之间的对比度，完成了红外热图像的重构。
12.为实现上述发明目的，本发明一种通过改进gan增强红外热图像的方法，其特征在于，包括以下步骤：
13.(1)、获取红外热图像序列；
14.利用脉冲涡流热成像无损检测平台对常温状态下存在已知缺陷的试件进行加热，并采集整个加热阶段的p帧红外热图像，组成红外图像时间序列s，其中，每帧红外热图像的大小为m
×
n，m、n分别为红外热图像长、宽；
15.(2)、主成分分析；
16.(2.1)、在红外图像时间数据序列s中，任意设置一像素点作为目标点，提取目标点及其8邻域共计9个像素点的温度
‑
时间数据进行pca处理，将主成分分析后的第一主成分作为该目标点的温度
‑
时间数据，其中，对于边界像素点的邻域点用0补齐；
17.(2.2)、按照步骤(2.1)的方法将温度
‑
时间数据序列s中所有像素点处理完成后，得到长度为p的目标点时序数据序列s1，然后对目标点时序数据序列s1进行时序间的均匀采样，得到长度为p'的目标点时序数据序列s2；
18.(3)、gan训练数据的生成；
19.(3.1)、二值化处理；
20.通过人工检索的方式从目标点时序数据序列s2中挑选出一帧缺陷区域明显的红外热图像，并进行二值化处理，得到二值化图像，其中，二值化处理后缺陷区域的像素值为1，而非缺陷区域的像素值为0；
21.(3.2)、对目标点时序数据序列s2进行数据扩充；
22.从目标点时序数据序列s2中随机选取一帧红外热图像，并随机标记红外热图像中缺陷区域相邻的两个空间像素位置，记为(i1，j1)、(i2，j2)；
23.在p'帧红外热图像中，计算每一帧红外热图像在(i1，j1)、(i2，j2)出的温度均值，获得一个温度随时间变化的一维序列，其长度为p'；
24.(3.3)、对二值化图像进行数据扩充；
25.以空间像素位置(i1，j1)、(i2，j2)为基准，在二值化图像中，在(i1，j1)和(i2，j2)之间创造一个点值；
26.(3.4)、重复步骤(3.2)、(3.3)共计k次，获得k个一维序列和k个点值；
27.(3.5)、对k个一维序列及目标点时序数据序列s2进行归一化处理；
28.(3.6)、提取目标点时序数据序列s2中每个像素点的温度
‑
时间序列数据，共计获得mn个一维序列，再与扩充的k个一维序列共计构成mn+k个一维温度
‑
时间序列s3；
29.提取二值化图像中所有的像素点值，再与扩充的k个点值共计mn+k个点值，构成一维点值序列s4；
30.(4)、训练改进gan模型
31.(4.1)、从温度
‑
时间序列s3中选取k个一维序列，并作为改进gan模型中生成网络g的输入，记为z，其输出记为g(z)；
32.(4.2)、将选取的k个一维序列对应的k个点值记为x，然后将x及g(z)同时作为改进gan模型中判别网络d的输入，其输出d(x)、d(g(z))分别为判别网络判断输入x及g(z)属于一维点值序列s4的概率；
33.(4.3)、根据概率值计算判别网络的损失函数值v(d)；
[0034][0035]
其中，p
data
(x)表示输入点值集合x的分布，表示求logd(x)的期望，p
z
(z)表示输入温度
‑
时间序列z的分布，表示求log(1
‑
d(g(z)))的期望；
[0036]
(4.4)、根据损失函数值v(d)梯度增大的方向更新判别网络，当更新完成后，将g(z)再次输入至更新后的判别网络，并根据输出结果d(g(z))判别g(z)属于一维点值序列s4的概率；
[0037]
(4.5)、根据概率值计算生成网络的损失函数值v(g)；
[0038][0039][0040]
其中，λ1是平衡参数，σ(*)表示sigmoid型函数，λ2和λ3是sigmoid型函数的参数，var(*)是方差函数，c为常数；
[0041]
(4.6)、根据损失函数值v(g)梯度减小的方向更新生成网络；
[0042]
(4.7)、重复步骤(4.1)
‑
(4.6)，直到改进gan模型收敛，从而得到训练完成的改进
gan模型；
[0043]
(5)、利用改进gan模型进行图像增强
[0044]
(5.1)、按照步骤(1)所述方法采集待测试件的红外热图像序列t；
[0045]
(5.2)、按照步骤(2)所述方法对红外热图像序列t进行主成分分析，得到每个像素点的时序数据序列；
[0046]
(5.3)、将每个像素点的时序数据序列依次输入至改进gan模型，经生成网络输出每个像素点增强处理后的像素值；
[0047]
(5.4)、将增强后的所有像素点按照原位置排列，获得缺陷增强后的红外图像。
[0048]
本发明的发明目的是这样实现的：
[0049]
本发明一种通过改进gan增强红外热图像的方法，首先对采集到的红外热图像序列任意一个目标点及其周围8邻域的9个像素点进行主成分分析，并选取其第一主成分分量；为了减少数据冗余和提高计算效率，再对第一主成分分量进行采样并与其经处理得到的单幅二值图像一起作为训练集；然后分别通过融合相邻域内的像素点，获得更多热时序信号及其二值像素点，扩充训练集数据；最后利用热图像温度
‑
时间序列训练改进gan模型，并通过改进gan模型对红外热图像进行图像增强处理，有效提高缺陷区域与背景区域之间的对比度，完成了红外热图像的重构。
[0050]
同时，本发明一种通过改进gan增强红外热图像的方法还具有以下有益效果：
[0051]
(1)、本发明对采集到的数据进行主成分分析并选用第一主成分作为训练数据，这样的处理有效消除了红外图像数据中的冗余信息；
[0052]
(2)、由于红外热图像中存在大量的高频噪声，会对热响应曲线带来干扰，通过均匀采样的方式对热响应数据进行滤波，消除了热响应数据中的噪声带来的影响；
[0053]
(3)、由于热传导的特性，连续的空间点的温度同样是连续的，在热时序图像中相邻(上下/左右)的像素点是离散的，因此，本发明基于热传导特性，对相邻的空间点进行融合取其均值，生成了更多的训练数据，从而保证了gan训练需要的数据量。
[0054]
(4)、本发明中根据红外图像数据的特点，对现有的生成式对抗网络进行改进，提高了gan技术的性能，减少了泛化误差，并且增强了缺陷的对比度。
附图说明
[0055]
图1是本发明一种通过改进gan增强红外热图像的方法流程图；
[0056]
图2是进行pca处理和均匀采样的过程示意图；
[0057]
图3是训练数据的一帧红外图像；
[0058]
图4是训练数据的二值图像数据；
[0059]
图5是测试数据的一帧红外图像；
[0060]
图6是用普通gan进行特征提取得到的红外图像三维图；
[0061]
图7是利用改进后的gan对未经pca处理消除噪声的数据进行特征提取获得的红外图像；
[0062]
图8是利用本专利改进的gan算法进行特征提取获得的红外图像；
[0063]
图9是图8的三维图。
具体实施方式
[0064]
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0065]
实施例
[0066]
图1是本发明一种通过改进gan增强红外热图像的方法流程图。
[0067]
在本实施例中，如图1所示，本发明一种通过改进gan增强红外热图像的方法，包括以下步骤：
[0068]
s1、获取红外热图像序列；
[0069]
利用脉冲涡流热成像无损检测平台对常温状态下存在已知缺陷的试件进行加热，并采集整个加热阶段的p帧红外热图像，组成红外图像时间序列s，其中，每帧红外热图像的大小为m
×
n，m、n分别为红外热图像长、宽；
[0070]
s2、主成分分析；
[0071]
s2.1、在红外图像时间数据序列s中，任意设置一像素点作为目标点，提取目标点及其8邻域共计9个像素点的温度
‑
时间数据进行pca处理，将主成分分析后的第一主成分作为该目标点的温度
‑
时间数据，其中，对于边界像素点的邻域点用0补齐；
[0072]
s2.2、按照步骤s2.1的方法将温度
‑
时间数据序列s中所有像素点处理完成后，得到长度为p的目标点时序数据序列s1，然后对目标点时序数据序列s1进行时序间的均匀采样，得到长度为p'的目标点时序数据序列s2；
[0073]
在本实施例中，由于采样率较高，热像仪在短时间内就可以获取上千幅图像。而因热传导是一个缓慢的过程，一些像素点在时域相邻的图像上像素值极为接近，造成了数据的冗余造成计算量的增大。因此，如图2所示，可采取均匀采样的方法减少冗余数据，通过均匀帧抽取实现。
[0074]
s3、gan训练数据的生成；
[0075]
本发明基于热传导特性，对相邻的空间点进行融合取其均值，生成了更多的训练数据，从而保证了gan训练需要的数据量。这样处理的原理在于，由于热传导的特性，连续的空间点的温度同样是连续的，在热时序图像中相邻(上下/左右)的像素点是离散的，因而可以通过插值的方法获得相邻像素点间的温度。进行数据扩充的原因在于，尽管可以检测到大量的数据，但是绝大部分是重复的难以用于gan训练，而包含裂纹缺陷的热时序信号相对来说极为稀缺。
[0076]
下面我们对具体的处理过程进行描述：
[0077]
s3.1、二值化处理；
[0078]
通过人工检索的方式从目标点时序数据序列s2中挑选出一帧缺陷区域明显的红外热图像，并进行二值化处理，得到二值化图像，其中，二值化处理后缺陷区域的像素值为1，而非缺陷区域的像素值为0；
[0079]
s3.2、对目标点时序数据序列s2进行数据扩充；
[0080]
从目标点时序数据序列s2中随机选取一帧红外热图像，并随机标记红外热图像中缺陷区域相邻的两个空间像素位置，记为(i1，j1)、(i2，j2)；
[0081]
在p'帧红外热图像中，计算每一帧红外热图像在(i1，j1)、(i2，j2)出的温度均值，
获得一个温度随时间变化的一维序列，其长度为p'；
[0082]
s3.3、对二值化图像进行数据扩充；
[0083]
以空间像素位置(i1，j1)、(i2，j2)为基准，在二值化图像中，在(i1，j1)和(i2，j2)之间创造一个点值；
[0084]
点值的大小为：如果(i1，j1)和(i2，j2)对应的像素值均为1，则创造点值的大小为1，否则创造点值的大小为0。
[0085]
s3.4、重复步骤s3.2、s3.3共计k次，获得k个一维序列和k个点值；
[0086]
s3.5、对k个一维序列及目标点时序数据序列s2进行归一化处理；
[0087]
s3.6、提取目标点时序数据序列s2中每个像素点的温度
‑
时间序列数据，共计获得mn个一维序列，再与扩充的k个一维序列共计构成mn+k个一维温度
‑
时间序列s3；
[0088]
提取二值化图像中所有的像素点值，再与扩充的k个点值共计mn+k个点值，构成一维点值序列s4；
[0089]
在本实施例中，如图3所示，训练数据的某一帧图像，经过经验方法处理得到图4所示的二值图。
[0090]
用于gan训练的输入数据通常有两种：作为生成器输入数据的噪音及作为判别器输入数据的真实图像。而在本实施例中，通过步骤s3.6获得的多组维温度
‑
时间序列将作为生成器的训练数据，其数据形式为某一个像素点的归一化后的温度随时间变化曲线；通过步骤s3.6获得的二值数据为作为判别器输入，其数据形式为二值图中某一像素点的值，且与生成器的训练数据在空间位置上一一对应。
[0091]
s4、训练改进gan模型
[0092]
s4.1、从温度
‑
时间序列s3中选取k个一维序列，并作为改进gan模型中生成网络g的输入，记为z，其输出记为g(z)，g(z)表示生成器产生的生成数据；
[0093]
s4.2、将选取的k个一维序列对应的k个点值记为x，然后将x及g(z)同时作为改进gan模型中判别网络d的输入，其输出d(x)、d(g(z))分别为判别网络判断输入x及g(z)属于一维点值序列s4的概率；
[0094]
s4.3、根据概率值计算判别网络的损失函数值v(d)；
[0095][0096]
其中，p
data
(x)表示输入点值集合x的分布，表示求logd(x)的期望，p
z
(z)表示输入温度
‑
时间序列z的分布，表示求log(1
‑
d(g(z)))的期望；
[0097]
s4.4、根据损失函数值v(d)梯度增大的方向更新判别网络，当更新完成后，将g(z)再次输入至更新后的判别网络，并根据输出结果d(g(z))判别g(z)属于一维点值序列s4的概率；
[0098]
s4.5、根据概率值计算生成网络的损失函数值v(g)；
[0099]
[0100][0101]
其中，λ1是平衡参数，σ(*)表示sigmoid型函数，λ2和λ3是sigmoid型函数的参数，var(*)是方差函数，c为常数；
[0102]
在本实施例中，不同空间点时序信号的温度随时间变化的分布曲线是不同的，越接近裂纹的像素点温度变化更剧烈，因而其经过采样得到的值相较其他像素点更为分散，即方差更大。因此，热时序信号的方差是其一个重要的特征表现，因此为提高模型能力降低泛化误差，结合热时序信号方差与sigmiod函数非线性的特点设计了新的损失函数，这样对现有的生成式对抗网络进行改进，提高了gan技术的性能，减少了泛化误差，并且增强了缺陷的对比度。
[0103]
通过以上改进的gan对提取的热时间序列信号的特征进行训练可以生成像素点增强后的分布值，估计其是否属于裂纹，其中裂纹区域的像素值相对接近1，非缺陷区域的像素值较低接近0。当g(z)大约为0.5时，很难确定该空间点是否属于裂纹区域，通过调节参数λ2和λ3，可以将g(z)的值减小到较低的值，以提高裂纹的对比度。
[0104]
s4.6、根据损失函数值v(g)梯度减小的方向更新生成网络；
[0105]
s4.7、重复步骤s4.1
‑
s4.6，直到改进gan模型收敛，从而得到训练完成的改进gan模型；
[0106]
s5、利用改进gan模型进行图像增强
[0107]
s5.1、按照步骤s1所述方法采集待测试件的红外热图像序列t；
[0108]
s5.2、按照步骤s2所述方法对红外热图像序列t进行主成分分析，得到每个像素点的时序数据序列；
[0109]
s5.3、将每个像素点的时序数据序列依次输入至改进gan模型，经生成网络输出每个像素点增强处理后的像素值；
[0110]
s5.4、将增强后的所有像素点按照原位置排列，获得缺陷增强后的红外图像。
[0111]
图5是用于测试的一帧红外图像，图6是利用未经改进的原始gan算法进行特征提取重构出的红外图像的三维图，图9是用改进的gan对经过pca和均匀采样等预处理过程的实验数据进行特征提取得到的结果图，从这两幅图的对比中能够看到，因为缺陷区域的存在而产生的干扰区域仍然存在，这部分区域的像素值被认为是1，即被原始gan认为是缺陷区域。由此我们可以看到，未经改进的原始gan算法虽然能够给出每个像素点像素值，但是像素值的准确度不高，从而无法消除加热线圈对背景区域的加热作用带来的干扰，而本论文提出的改进的gan算法则很好地对加热线圈带来的虚假高温部分进行了抑制，背景区域的像素值基本为0，使缺陷轮廓与背景区域之间的对比度得到了明显提升。
[0112]
图7是利用改进的gan对未经pca消除噪声处理的数据进行特征提取的结果；图8是利用改进的gan对经过pca和均匀采样等预处理过程的实验数据进行特征提取得到的结果图。
[0113]
从图7和图8的对比中能够看到，未经pca处理得到的结果图的背景区域中存在许多像素值为1的点，这是因为这些点存在大量高频噪声，对温度
‑
时间数据的方差带来了影响，导致gan认为该点是缺陷数据；而经过pca预处理后，pca方法及后续的采样过程使得温
度
‑
时间数据中的高频噪声得到了很好的抑制，从而利用gan进行特征提取时能够有效识别缺陷区域和背景区域，获重构出清晰的红外图像，且缺陷轮廓也变得非常明显。
[0114]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。