一种用于无缺陷样本条件下的混凝土表面缺陷检测方法

本发明涉及缺陷检测，尤其是涉及一种用于无缺陷样本条件下的混凝土表面缺陷检测方法。

背景技术：

1、混凝土结构表面存在裂缝、风化、剥落、露筋等多种病害，影响其使用寿命和安全。因此，缺陷检测是混凝土结构后期管养中的一项重要任务。然而，传统的缺陷检测方法严重依赖人工，不但检测效率低下，而且容易受检测人员主观经验的影响，从而出现错检、漏检的情况。传统的缺陷检测方法越来越难以满足当前混凝土结构监测的需求。而随着计算机视觉技术与深度学习技术的快速发展，智能化的目标检测技术已经应用于诸多领域，为混凝土表面缺陷检测方法提供了新的思路。但深度学习模型通常需要大量的缺陷样本进行训练，而采集并标注混凝土缺陷比较困难，尤其是服役时间较短的混凝土结构。因此，基于计算机视觉技术与深度学习技术，提出在缺少缺陷样本条件的高效且准确的混凝土表面缺陷检测方法成为当前混凝土结果表观缺陷检测领域的迫切需求。

2、基于视觉的混凝土表面缺陷检测方法研究多采用有监督的卷积神经网络，利用在缺陷样本上训练的模型识别或分割图像中的缺陷。cn116109616a公开了一种基于yolov5的路面裂缝检测及小面元拟合检测方法，利用改进的yolov5网络模型检测路面混凝土裂缝并利用vit模型拟合裂缝以自动化识别裂缝并计算裂缝面积的算法。cn116246063a公开了一种基于无人机的铁路隧道洞口墙体裂缝定量检测方法，利用改进u-net网络检测隧道混凝土裂缝的算法，为采集训练样本，该专利采用无人机进行裂缝样本采集，并用gan模型对训练集进行扩充。这些研究表明基于视觉的混凝土表面缺陷检测方法具有效率高、精度高的优点，但是已有的相关研究大多依赖于训练集，必须采集大量的缺陷图片以供模型的训练，在缺少混凝土缺陷的图片样本时会导致模型过拟合，其准确率和泛化能力大幅降低，目前缺乏针对混凝土表面缺陷检测的无监督方法。

技术实现思路

1、本发明的目的是为了提供一种用于无缺陷样本条件下的混凝土表面缺陷检测方法，利用无缺陷样本数据集对模型进行训练，并通过重建误差进行缺陷检测，解决了现有技术依赖于大量有缺陷样本以避免模型过拟合的问题，且保证较高的检测精度。

2、本发明的目的可以通过以下技术方案来实现：

3、一种用于无缺陷样本条件下的混凝土表面缺陷检测方法，包括以下步骤：

4、步骤1)构建基于vq-vae-2网络的图像重建模型，并利用正常混凝土表面数据集进行训练，实现正常的混凝土表面图像的重建；

5、步骤2)将待检测的图像进行几何变换后输入图像重建模型，计算几何变换后的待检测图像与输出图像的图块级重建误差特征图；

6、步骤3)根据图块级重建误差特征图计算图像的重建误差指标以判断是否为混凝土缺陷图像，并对判断为混凝土缺陷的图像形成缺陷的热力图表示，实现缺陷定位。

7、所述正常混凝土表面数据集通过以下方式获取：使用摄像设备对无表观缺陷的混凝土结构表面进行拍摄，并对采集到的图像进行预处理，划分为多个预设大小的正方形图像，形成正常混凝土表面数据集。

8、所述图像重建模型在训练过程中，输入图像经下层第一编码器和上层第二编码器进行连续编码，上层对第二编码器的输出通过矢量量化(vector quantize，简称vq)得到上层潜变量，上层潜变量通过第一解码器解码后，与下层第一编码器的输出结合并通过矢量量化得到下层潜变量，对上层潜变量进行上采样后与下层潜变量共同输入第二解码器，得到重建图像。

9、所述第一编码器依次由1个卷积层、2个残差块和1个卷积层组成，第二编码器依次由2个残差块和1个卷积层组成，第一解码器依次由2个残差块、1个卷积层和1个反卷积层组成，第二解码器依次由2个残差块、1个卷积层和2个不同尺寸的反卷积层组成。

10、所述图像重建模型的损失函数为：

11、

12、式中：e1(x)、e2(x)分别表示上、下层编码器的输出，e1、e2是矢量量化后的上、下层潜变量，β是超参数，sg为停止计算梯度运算符号，的具体计算公式如下：

13、

14、式中：是第t次迭代中被量化成ei的编码器输出值的数量，是的指数滑动平均值，是第t次迭代中被化成ei的编码器输出值的指数滑动平均值，γ是权重参数；

15、lr为mse函数、ssim函数和gmsd函数的混合函数：

16、

17、其中，mse函数、ssim函数和gmsd函数均是表征原始图像和重建图像相似度的评价指标，x为原始图像，为重建图像。

18、所述mse函数用于评估重建图片与原始图片之间像素级别上的平均差异程度，其值越低则两张图片相似程度越高，mse函数计算公式如下：

19、

20、其中，m、n分别是图像的像素行数和列数，mn表示图像像素总数，g(i,j)为图像g第i行第j列的像素值，k(i,j)为图像k第i行第j列的像素值。

21、所述ssim函数对比图片的三种视觉特性：亮度、对比度和结构，其中，亮度采用平均灰度评估，对比度采用标准差评估，结构采用标准化后的图像评估，即ssim函数是亮度对比函数i(x,y)、对比度对比函数c(x,y)和结构对比函数s(x,y)三个函数的组合，计算公式如下：

22、

23、

24、

25、

26、其中，xi和yi分别是图像x和图像y的第i个像素的值；n为图像的像素总数，c1、c2、c3均为常数以防止分母为0；α、β、γ是三个函数在ssim中的权重参数，本专利中α＝β＝γ＝1。

27、所述gmsd函数是图像感知相似度评价指标，其根据gms特征图确定，gms特征图根据局部位置i的横向梯度幅值mr(i)和纵向梯度幅值md(i)确定：

28、

29、其中，c为常数以防止分母为0，

30、

31、横向梯度图r和纵向梯度图d采用prewitt算子hx、hy对两张图像进行卷积操作来计算，prewitt算子的计算公式如下：

32、

33、gms特征图反映图块的相似程度，整张图像的相似指标通过gms特征图的标准差来评价，即gmsd：

34、

35、其中，gmsm为gms(i)的均值。

36、所述步骤2)包括以下步骤：

37、步骤21)将待检测的图像分割成第一预设数量的多个图块，打乱图块的顺序后重组成一张新的图像作为模型的输入图像；

38、步骤22)将输入图像输入至训练好的图像重建模型中，输出重建图像；

39、步骤23)将重建图像分割成第一预设数量的多个图块，计算重建图像的图块与对应的输入图像图块之间的重建误差，生成图块级重建误差特征图，其中，重建误差采用混合函数lr计算。

40、所述步骤3)包括以下步骤：

41、步骤31)将图块级重建误差特征图进行最大池化作为图像级重建误差指标，对比重建误差指标与预设阈值，若重建误差指标大于预设阈值，则判断图像中包含缺陷，反之则为正常图像；

42、步骤32)对判断为包含缺陷的混凝土缺陷图像，将其图块级重建误差特征图恢复原始排序后进行上采样，对上采样后的特征图进行颜色映射，形成缺陷的热力图表示，实现缺陷定位。

43、与现有技术相比，本发明具有以下有益效果：

44、(1)本发明利用深度学习模型依赖于训练集的特性，利用容易获取的无缺陷的混凝土图片训练深度学习模型，强迫其学习重建无缺陷的混凝土图片的能力，使其在重建混凝土缺陷图片是会产生很大的重建误差，最终利用其重建无缺陷的混凝土图片和混凝土缺陷图片的重建误差差异实现缺陷图像的分类，无需依赖于大量的含缺陷图像数据集，数据获取容易。

45、(2)本发明采用vq-vae-2网络实现图片的重建，同时以图块级的混合函数重建误差特征图的最大池化值作为图片的重建误差指标，并在检测阶段对待检测图片进行随机网格重组变换，使两类图片的重建误差具备显著差异，提高模型的检测精度。