一种基于侧方位相机的车辆表面异常检测方法与流程

1.本发明属于车辆表面检测技术领域，尤其涉及一种基于侧方位相机的车辆表面异常检测方法。


背景技术：

2.随着人工智能与计算机视觉等技术的迅速发展，智慧交通在智慧城市中发挥了重要作用，智慧交通涵盖了城市中道路的方方面面，在智慧交通中大家比较容易忽视的一个问题是车辆表面的异常检测，如轻微划痕、破损等，人眼往往会忽略或难以发现这些异常，如果长时间不处理会影响到车的使用，目前，对于车辆表面瑕疵的检测方法，例如cn110596116a公开了一种车辆表面瑕疵检测方法及检测系统；其中，车辆表面瑕疵检测方法，包括以下步骤：s1、对车辆的待测表面均匀打光，然后利用相机对车辆的待测表面连续采集图像，以获取采样图像；s2、对所有采样图像进行图像融合，以得到拼接图像；s3、对拼接图像进行图像处理，以显示瑕疵区域，该技术除了摄像头外还引入了新的检测设备，比如对车辆表面整体打光后进行检测，而这些技术只能检测到车辆表面大的划痕和大的凹凸等，对于车辆表面的细小瑕疵和小的划痕难以检测，而且新的检测设备的引入对于现场部署来说提高了部署难度。因此，亟需设计一种新型的车辆表面异常检测方法，在利用现有设备的基础上，精确的检测出车辆表面异常区域。


技术实现要素：

3.本发明的目的在于克服现有技术存在的缺点，设计提供一种基于侧方位相机的车辆表面异常检测方法，先利用路侧停车的侧方位相机采集视频图像，将视频图像进行标注后再进行分割训练将车辆表面分割出来，对分割出来的车辆表面图像按照一定的规则进行掩膜处理和修复，利用原始图像和修复后的图像进行对比，如果原始图像和修复后的图像相差超过一定的阈值则认为该区域存在异常（如划痕或破损等），如果没有超过阈值则认为该区域正常，遍历整个车辆表面即可完成该车辆是否存在表面异常的检测。
4.为实现上述目的，本发明实现车辆表面异常检测的具体过程为：（1）构建车辆分割数据集：收集路侧停车场侧方位相机的视频图像，并对图像中的车辆表面进行分割标注，将图像中的像素分类成车辆表面类和背景类得到分割数据集，再将分割数据集根据实际需要划分为训练集、验证集和测试集；（2）利用分割网络对车辆表面图像进行分割：将车辆表面图像的像素缩放到1333*800，选用图像分割网络对车辆表面图像进行分割，并设定其能量损失；（3）对车辆表面图像进行掩膜处理和修复：将步骤（2）得到的每个车辆表面图像缩放到512*256分辨率大小，对于鱼眼摄像头采集到的图像中如有分割到两个车的情况，依次对每个车进行掩膜处理，掩膜大小为64*32像素，从左上角往右下角依次进行掩膜处理，背景部分不进行处理，每辆车辆掩膜最多有64个；从掩膜处理后的图像中选择64张图像一起输入卷积神经网络进行修复得到掩膜修复后的图像；
（4）原始图像与掩膜修复后的图像进行对比：利用步骤（3）得到的掩膜修复后的图像与原始图像做对比，对64个做图像修复的每个位置进行相似度判断，如果原始表面图像与修复的图像之间相似则判断该位置没有残损，如果表面图像与修复图像之间不相似，则判断有残损；（5）训练网络得到训练好的参数模型：利用步骤（2）中的分割结果制作数据集，选用1000张分割后的图像进行缩放后将每张图像从左上角到右下角依次掩膜后作为网络的输入训练样本，网络输出为未经过掩膜处理的图像，再采用绝对值损失计算损失误差，通过反向传播更新参数，经过设定次数（500次）完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，即得到训练好的图像修复网络参数；（6）通过推理得到结果：将侧方位监控相机的视频图像输入到步骤（5）训练好的图像修复网络中进行前向推理得到修复后的车辆表面图像，再通过步骤（4）判断拍摄的车辆是否存在表面异常。
5.进一步的，步骤（2）中所选取的图像分割网络模型为动态并快速语义分割模型（参考solov2: dynamic and fast instance segmentation（2020 neurips）），网络结构和分割能量损失均为该文献中采用的结构和损失函数。
6.进一步的，步骤（3）中所述卷积神经网络包括九个卷积模块，自左至右依次为卷积模块1、卷积模块2、卷积模块3、卷积模块4、卷积模块5、卷积模块4、卷积模块3、卷积模块2和卷积模块1，最左侧卷积模块1中第一层卷积层的卷积核为192*3*3，192表示64张彩色图像作为图像组一起输入到卷积神经网络，3*3表示在图像坐标平面内是采用3*3卷积，该层共有64个卷积核，卷积模块1中的第二个卷积层的卷积为64*3*3，得到的特征层的大小为64*512*256，64为特征层的厚度，512*256为特征层平面的维度，在卷积模块2、3、4、5中，卷积核的个数依次为128、256、512和512。
7.进一步的，步骤（4）中所述相似度判断采用结构相似性准则（ssim）进行判断，ssim计算过程如下：，其中和分别为原始图像ig与修复图像id的像素平均值，和分别为原始图像ig与修复图像id的标准差，为协方差，c1与c2为常数，c1取6.5025，c2取58.5225；ssim取值范围在0~1，越接近1说明修复得到的图像越接近原来的真实图像，如果ssim≥0.8，则判断原始表面图像没有异常，如果ssim《0.8，则判断原始的车辆表面存在残损，进行报警提示。
8.进一步的，步骤（5）中输入的训练样本图片尺寸为，按照批次尺寸b，依次输入到网络中，整个网络的输入为。
9.与现有技术相比，本发明的有益效果是：通过构建数据集训练图像分割网络，然后对分割后的图像构建图像修复数据集，构建图像修复网络模型，对原始图像掩膜处理后再进行修复处理，通过结构相似性准则计算原始图像与修复后的图像之间的相似度，如果小于阈值则认为该处存在异常，如果大于等于阈值，则认为不存在异常，从左上角遍历到右下角，如果所有图像块修复后与原始图像相似，则认为该车辆可见部分不存在异常，如果有异常的块，则认为该车辆表面存在异常，通过这种方法可快速有效的检测到车辆表面的异常。
附图说明
10.图1为本发明所述图像修复网络结构图。
11.图2为本发明所述车辆表面掩膜中其中一个掩膜示意图，图中6为车辆，7为掩膜。
12.图3为本发明的工作流程示意图。
具体实施方式
13.下面通过实施例并结合附图对本发明进一步描述，但不以任何方式限制本发明的范围。
14.实施例：本发明实施例基于侧方位相机进行车辆表面异常检测的具体过程如图3所示，具体包括以下步骤：（1）车辆分割数据集构建：收集路侧停车场侧方位相机的视频图像，并对图像中的车辆表面进行分割标注，把图像中的像素分类成汽车表面类和背景类，由于要检测车辆表面异常，所以分割标注的时候车胎不标注为汽车表面，而且因为异常车辆异常表面样本相对稀少，车辆表面的异常图像数据不需要单独采集，将采集到的分割数据集划分为训练集、验证集和测试集；（2）利用实例分割网络对车辆表面图像进行分割：利用步骤（1）构建的车辆分割数据，选用图像分割网络对车辆表面区域进行分割，并设定其能量损失，选用的图像分割网络模型为：动态并快速语义分割模型（参考solov2: dynamic and fast instance segmentation（2020 neurips）），网络结构和分割能量损失都是该文献中采用的结构和损失函数；由于原始的侧方位相机采集的图像的分辨率大小为1920*1080，在进行分割前先把图像进行缩放，缩放到1333*800，输出的分割结果图像大小像素也为1333*800；（3）对车辆表面图像进行掩膜处理并进行修复：将步骤（2）中得到的每个车辆表面图像缩放到512*256分辨率大小，对于鱼眼摄像头，图像中若出现分割到两个车的情况，依次对每个车进行掩膜处理，掩膜大小为64*32像素，从左上角往右下角依次进行掩膜处理，背景部分不需要处理，这样每辆车辆掩膜最多有64个；构建如图1所示的图像修复网络，将64张图像一起输入卷积神经网络，不同于一般的图像修复，一般的图像修复算法是输入一张带掩膜的图像，输出为掩膜修复后的图像，而我们的算法是一次输入64张带掩膜的图像，输出为掩膜修复后的图像，图像修复网络的最左侧卷积模块1中，第一层卷积层的卷积核为192*3*3，192表示64张彩色图像作为图像组一起输入到卷积神经网络，3*3表示在图像坐标平面内是采用3*3卷积，该层共有64个卷积核，卷积模块中的第二个卷积层的卷积为64*3*3，得到的特征层的大小为64*512*256，64为特征层的厚度，512*256为特征层平面的维度；卷积模块2、3、4、5中的卷积核的个数依次为128、256、512、512；（4）将原始图像与修复后的图像结果对比进行车辆表面异常检测：将步骤（3）得到的修复结果与原始图像做对比，对64个做图像修复的位置中每个位置进行相似度判断，如果原始表面图像与修复的图像之间相似则判断该位置没有残损，
如果表面图像与修复图像之间不相似，则判断有残损，相似性判断选用为结构相似性准则（ssim），ssim计算方法如下：，其中和分别为原始图像ig与修复图像id的像素平均值，和分别为原始图像ig与修复图像id的标准差，为协方差，c1与c2为常数，c1取6.5025，c2取58.5225；ssim取值范围在0~1，越接近1说明修复得到的图像越接近原来的真实图像，如果ssim≥0.8，则判断原始表面图像没有异常，如果ssim《0.8，则判断原始的车辆表面存在残损，进行报警提示；（5）训练网络，得到训练好的参数模型：利用步骤（2）中的分割结果制作数据集，选用1000张分割后的图像进行缩放后，每张图像从左上角到右下角依次掩膜后，作为网络的输入训练样本，网络输出为未经过掩膜处理的图像，输入的图片尺寸为，按照批次尺寸（b），依次输入到网络中，整个网络的输入，再采用绝对值损失计算损失误差，通过反向传播更新参数，经过500次完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，即得到训练好的图像修复网络参数；（6）通过推理得到结果：把侧方位监控相机的视频图像输入到步骤（5）中训练好的网络中进行前向推理得到修复后的车辆表面图像，并通过步骤（4）判断拍摄的车辆是否存在表面异常。
15.本文中未详细说明的技术均为本领域通用或现有技术。
16.需要注意的是，本实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。