基于正样本的异物检测方法及存储介质与流程

1.本发明涉及视觉表面异常检测技术领域，具体涉及一种基于正样本的异物检测方法及存储介质。


背景技术：

2.当前，随着交通智慧化建设的推进与发展，轨道交通在越来越多的城市里面应用，列车作为的轨道交通的重要组成部分，列车在运行过程中，由于环境中的垃圾、悬挂物、树叶等造成列车部件被异物覆盖、遮挡，对轨道交通列车的正常运行带来隐患。因此对可能包含异物的部件进行检测识别有助于发现异物，消除潜在隐患，对轨道交通的安全具有重要的意义。
3.传统的检修模式依赖检修人员晚间巡检，但轨道系统带电存在安全隐患且仅依靠检修人员经验的模式难以真正及时地排除可能存在的隐患，开发自动异物识别方法迫在眉睫。目前，异物识别的方法按照发展历史可分为深度学习之前与深度学习之后，其中：
4.深度学习之前，传统图像处理研究的主要问题是，获得浅层后图像的特征，如灰度值，sift和hog，尝试开发不同的检测方法基于统计或传统机器学习的机制方法，如密度估计，一类分类等。然后，如果图像或特征不符合相应的分布模型，它们将被识别为异常，但是铁路现场的环境相对复杂，图像预处理步骤繁多、针对性较强，鲁棒性差，且多种算法计算量惊人。
5.随着深度学习的发展，用于异物检测的方法可分为有监督和不监督两个方向，有监督的深度学习异常检测模型，如目标检测，对明确异常类型场景识别率较高，网络训练相对简单。但缺点在于：
6.其一，需要大量样本学习，训练需要最少几千乃至几万的数据量，成本较高，而且由于场景异物样本的稀缺性，收集样本工作量太大，手动注释可能过于耗时。
7.其二，目标检测对类别要求很高，模型无法穷举所有的异常种类，具有局限性。
8.不监督的自动编码器和gan重构办法，能够使用无异常图像来学习强大的重构子空间。但是仅从无异常数据中学习模型，没有针对判别异常检测进行明确优化，并且确定是否存在与正常外观没有显着差异的异常仍然具有挑战性，因为有些异常通常可以很好地重构。进而使用合成异常来训练判别分割方法，但这会导致对合成外观的过度拟合，使学习到的决策边界无法很好地推广到真实异常。


技术实现要素：

9.本发明提出的一种基于正样本的异物检测方法，可解决上述技术问题。
10.为实现上述目的，本发明采用了以下技术方案：
11.一种基于正样本的异物检测方法，包括以下步骤：
12.s1、采用机器人定点拍摄方式获取待测设备同一部位的待测图像与模板图像；
13.s2、将待测图像与模板图像进行配准，得到待测图像中异物待检区域；
14.s3、将异物待检测区域作为预先训练好的异物检测网络输入，得到精确的异物分割图；
15.s4、对异物分割图像进行后处理，进行异常定位与检测。
16.进一步的，步骤s3将异物待检测区域作为预先训练好的异物检测网络输入，得到精确的异物分割图，还包括，
17.将异物检测区域在原图中通过平移、旋转、缩放、改变光照强度这些方式进行图像增强，接着将增强后的异物检测区域转换成1024*1024尺寸的图像，作为异物检测网络输入。
18.进一步的，所述预先训练好的异物检测网络包括异常模拟生成器、异物重构网络与异物分割判别网络，其中，异常模拟生成器的处理步骤如下：
19.6)使用柏林噪声生成器生成噪声，捕获各种形状异常；
20.7)通过随机均匀选取阈值，将噪声二值化为异常图；
21.8)从与输入图像分布无关的异常源图像数据集中采样的异常纹理源图像a；
22.9)使用随机增强采样方法，从集合{后处理、锐度、日晒、均衡、亮度变化、颜色变化、自动对比度}中随机选择三种操作对a进行增强；
23.10)增强的纹理图像a、异常图ma以及原始图像i混合用来生成刚刚超出分布的异常；最终模拟异常生成器生成异常图像ia定义为，
[0024][0025]
其中a为增强后纹理图像，ma为异常掩码图、i为输入原图，是ma图像取反，
⊙
是元素乘法运算，β是混合中的不透明度参数，从[0.1,1.0]区间中均匀采样。
[0026]
进一步的，所述的异物重构网络采用编码-解码架构，其中异物检测网络使用一种编码-解码架构，编码器包括依次连接的第一到第四的卷积层与池化层；解码器包括依次连接的第一到第四卷积变换层与上采样层以及第五卷积层，第五层卷积层的输出作为重构图像ir输出；
[0027]
编码器包含多层卷积层、激活层、池化层，解码器包含多层卷积层，激活层、上采样层，解码器和编码器都学习正常样本的编码，然后从降维编码中仅可能生成接近原始输入。
[0028]
进一步的，所述的异物分割判别网络采用类似u-net架构并具有跳跃连接的编码-解码架构，其中编码器包括依次连接的第一到第四的卷积层与池化层；解码器包括依次连接的第一到第四的卷积变换层与上采样层以及第五层卷积层，并将编码器第四层池化层上采样与解码器第一层卷积变换层连接，将编码器第三层池化层上采样与解码器第二层卷积变换层连接，将编码器第二层池化层上采样与解码器第三层卷积变换层连接，将编码器第一层池化层上采样与解码器第四层卷积变换层连接，解码器第五层卷积层输出异物分割掩码图；
[0029]
编码器包含多层卷积层、激活层、池化层，解码器包含多层卷积层，激活层、上采样层，编码与解码采用跳跃连接的编码，全面捕捉高维图像空间中正态数据分布的多尺度分布。
[0030]
进一步的，所述的s4对异物分割图像进行后处理，进行异常定位与检测，包括：
[0031]
所述的将异物分割图像进行后处理，得到异物概率与区域，其中使用异常检测掩码直接进行异常定位，同时使用均值滤波器卷积层对像素级异常检测掩码进行平滑处理，
聚合局部异常响应信息，通过取平滑异常分数图的最大值η来计算图像级异常分数，进行异常检测，η定义为：
[0032]
η＝max(mo*f
sf
×
sf
)
[0033]
其中f
sf
×
sf
是大小为sf
×
sf的均值滤波器，*是卷积算子。
[0034]
进一步的，对异物检测网络的训练步骤如下：
[0035]
在列车车下箱体环境中，在需要进行异物检测点中采中用机器人定点拍摄方式采集各部件的正常图像；
[0036]
其中，采集各部件正常图像用于异物训练以及作测试时的模板图像，分别提取采集图像各部件异物待检测区域，作为异物检测网络的输入；
[0037]
基于正样本进行异物检测，无需定义标签；其中异物重构网络利用各部件采集异物待检测样本、柏林噪声生成器以及与异物待检测区域样本输入图像分布无关的异常纹理源图像，对异物重构网络进行训练；接着异物分割判别网络利用异物重构网络输出与原始异物待检测样本通道连接进行网络训练，得到所述的预先训练好的异物检测网络；
[0038]
异物检测网络不需要模拟生成目标域中真实的异常外观，而是生成刚刚超出正常分布的外观，进而学习适当的距离函数以通过偏离正常分别来识别异常；
[0039]
所述的异物检测网络分为异物重构网络与异物分割判别网络，其中的异物重构网络损失函数为：
[0040]
l
rec
(i,ir)＝λ1l
ssim
(i,ir)+λ2l
gms
(i,ir)+l2(i,ir)
[0041]
其中i、ir分别为原始图像与异物重构网络生成图，λ1、λ2是重构损失平衡超参数,λ1l
ssim
(i,ir)、l
gms
(i,ir)以及l2(i,ir)分别为原始图像与重构图像的ssim、gms、l2损失函数，其中l
ssim
(i,ir)定义为：
[0042][0043]
其中h和w分别是图像i的高度和宽度，np为i中像素数；ssim(i,ir)(i,j)是以图像坐标(i,j)为中心的ssim值；ssim(i,ir)是一个0到1之间的数，越大表示输出图像和无失真图像的差距越小，即图像质量越好，定义为：
[0044][0045]
其中μi、分别代表i、ir的平均值，δi、分别代表i、ir的标注差，δ
iir
代表i、ir的协方差；c1、c2分别为常数，避免分明为0带来的系统误差，gmsd从图像梯度信息出发，提取结构信息，不同结构重构时会有不同的梯度变化，
[0046]
l
gmsd
(i,ir)定义为:
[0047][0048]
其中gmsd(i,ir)(i,j)是i和ir以图像坐标(i,j)为中心的gmsd值，h和w分别是图像i的高度和宽度，np为i中像素数；
[0049]
其中使用焦点损失函数增强难例的定位精度，公式定义为：
[0050]
l
seg
(m,ma)＝-(1-mam)
γ
log(mam)
[0051]
其中ma和m分别是ground truth和异常分割掩码，因此异物检测网络的整体损失函数为：
[0052]
l(i,ir,ma,m)＝l
rec
(i,ir)+l
seg
(m,ma)。
[0053]
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
[0054]
由上述技术方案可知，本发明的基于正样本的异物检测方法，采用机器人定点拍摄方式获取样本，简化了检测定位难点，适用于基于正样本重构判别异物检测方法。仅需收集正常样本且无需人工标注，大大降低了训练样本收集制作难度；另外基于正样本的异物检测算法，通过使用异物模拟生成器、异物重构网络以及异物分割判别网络，适用于所有的异物类型，检测精度较高，泛化能力强。
附图说明
[0055]
图1是一种基于正样本的异物检测方法的流程图；
[0056]
图2是异物检测网络的结构图；
[0057]
图3是异物模拟生成器异物合成流程图；
[0058]
图4是异物模拟生成器单一纹理图像生成多种异常效果图；
[0059]
图5是待测图与模板图，图5(a)为待测图，5(b)为模板图；
[0060]
图6是配准后待测图与模板图，图6(a)为配准后待测图，6(b)为配准后模板图；
[0061]
图7是正常图与异物图检测效果图，图7(a)为测试图，图7(b)为重构图，图7(c)为分割掩码图，图7(d)为掩码图jet格式图；
[0062]
图8是异物分割掩码检测流程图。
具体实施方式
[0063]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
[0064]
如图1所示，本实施例公开了一种基于正样本的异物检测方法，包括如下步骤s1至s4：
[0065]
s1、采用机器人定点拍摄方式获取待测设备同一部位的待测图像与模板图像；
[0066]
需要说明的是，本实施例通过在列车车下箱体环境中设置采样点，在每个采样点机器人定点拍摄两张图片，在拍摄两张图片过程中设置了同样的云台距离、角度、变倍系数，拍摄得到的图片具有较一致的分辨率及视野，如图5所示。
[0067]
s2、将待测图像与模板图像进行配准，得到待测图像中异物待检区域；
[0068]
需要说明的是，由于机器人定点拍摄过程中导航与云台会存在一定的定位偏差，为了弥补该项偏差，将待测图像与模板图像进行配准，使得待测图像与模板图像的对应位置的像素点进一步对齐，配准成功之后提取待测图片与模板图片中异物待测区域对应区域，作为待测图片的异物待检区域，匹配后的待测图片与模板图片如图6所示。本实施例中通过对待测图像和模板图像进行图像配准操作，减少了像素偏移过大造成的影响。
[0069]
s3、将异物待检测区域作为预先训练好的异物检测网络输入，得到精确的异物分
割图；
[0070]
s4、将异物分割图像进行后处理，得到异物概率与区域；
[0071]
本实施例利用机器人定点拍摄法实现图片拍摄视角的一致，简化了识别难点；将配准后图像的异物待检测区域作为预先训练好的异物检测网络输入，利用重构网络和分割判别网络得到精确的异物分割图，然后对异物分割图进行图像后处理，得到异物区域与概率，适用于任意类型异物检测，泛化能力更具有优势。与传统目标检测算法相比，本方法仅需对正常样本进行训练，无需进行异物样本的收集与标注，与基于传统配准差分的方法相比，本方法在在复杂环境下的检测定位精确度与鲁棒性均有较大大幅度提升。
[0072]
在上述步骤s3：将异物待检测区域作为预先训练好的异物检测网络输入，得到精确的异物分割图，还包括：
[0073]
将异物检测区域在原图中通过平移、旋转、缩放、改变光照强度等方式进行图像增强，弥补图像配准误差对异物检测造成的影响，提高异物检测网络的鲁棒性。接着将增强后的异物检测区域转换成1024*1024尺寸的图像，作为异物检测网络输入。
[0074]
上述步骤s3：将异物待检测区域作为预先训练好的异物检测网络输入，得到精确的异物分割图，如下图2异物检测网络的结构图所示，包括异常模拟生成器、异物重构网络与异物分割判别网络。
[0075]
需要说明的是，异物检测网络不需要模拟生成目标域中真实的异常外观，而是生成刚刚超出正常分布的外观，进而学习适当的距离函数以通过偏离正常分别来识别异常。异常模拟生成器遵循以下步骤。
[0076]
11)使用柏林噪声生成器生成噪声，可捕获各种形状异常
[0077]
12)通过随机均匀选取阈值，将噪声二值化为异常图
[0078]
13)从与输入图像分布无关的异常源图像数据集中采样的异常纹理源图像a。
[0079]
14)使用类似随机增强采样方法，从集合{后处理、锐度、日晒、均衡、亮度变化、颜色变化、自动对比度}中随机选择三种操作对a进行增强。
[0080]
15)增强的纹理图像a、异常图ma以及原始图像i混合用来生成刚刚超出分布的异常，从而有助于收紧训练网络中的决策边界。因此，最终模拟异常生成器生成异常图像ia定义为，合成流程图如图3：
[0081][0082]
其中a为增强后纹理图像，ma为异常掩码图、i为输入原图，是ma图像取反，
⊙
是元素乘法运算。β是混合中的不透明度参数，从[0.1,1.0]区间中均匀采样，如图4。
[0083]
如图2所示，所述的异物重构网络采用编码-解码架构，其中异物检测网络使用一种编码-解码架构，编码器包括依次连接的第一到第四的卷积层与池化层；解码器包括依次连接的第一到第四卷积变换层与上采样层以及第五卷积层，第五层卷积层的输出作为重构图像ir输出。
[0084]
编码器包含多层卷积层、激活层、池化层，解码器包含多层卷积层，激活层、上采样层。解码器和编码器都学习正常样本的编码，然后从降维编码中仅可能生成接近原始输入。
[0085]
需要说明的是本方法使用异常模拟生成器生成的人为损坏的异常图像ia作为异物重构网络输入，利用ia中真实的正常区域重构正常样本，同时隐式检测异常区域。
[0086]
如图2所示，所述的异物分割判别网络采用类似u-net架构并具有跳跃连接的编
码-解码架构，其中编码器包括依次连接的第一到第四的卷积层与池化层；解码器包括依次连接的第一到第四的卷积变换层与上采样层以及第五层卷积层，并将编码器第四层池化层上采样与解码器第一层卷积变换层连接，将编码器第三层池化层上采样与解码器第二层卷积变换层连接，将编码器第二层池化层上采样与解码器第三层卷积变换层连接，将编码器第一层池化层上采样与解码器第四层卷积变换层连接，解码器第五层卷积层输出异物分割掩码图。
[0087]
编码器包含多层卷积层、激活层、池化层，解码器包含多层卷积层，激活层、上采样层，编码与解码采用跳跃连接的编码，全面捕捉高维图像空间中正态数据分布的多尺度分布。
[0088]
需要说明的是本方法中将异物重构网络输出ir和原始输入图像i的通道连接作为判别子网络的输入ic，由于异物重构网络对正常样本具有恢复特性，因此i和ir的联合外观差异很大，为异常分割提供了必要的信息，通过判别可以输出精确的异物分割掩码图。
[0089]
如图7所示，所述的将异物分割图像进行后处理，得到异物概率与区域，其中使用异常检测掩码直接进行异常定位，同时使用均值滤波器卷积层对像素级异常检测掩码进行平滑处理，聚合局部异常响应信息，通过取平滑异常分数图的最大值η来计算图像级异常分数，进行异常检测，η定义为：
[0090]
η＝max(mo*f
sf
×
sf
)
[0091]
其中f
sf
×
sf
是大小为sf
×
sf的均值滤波器，*是卷积算子。正常图与异物图检测效果如图7所示。
[0092]
本实施例在进行设备的异物检测之前还需对异物检测网络进行训练，具体为：
[0093]
在列车车下箱体环境中，在需要进行异物检测点中采中用机器人定点拍摄方式采集各部件的正常图像；
[0094]
其中，采集各部件正常图像用于异物训练以及作测试时的模板图像。分别提取采集图像各部件异物待检测区域，作为异物检测网络的输入；
[0095]
本文基于正样本进行异物检测，无需定义标签；其中异物重构网络利用各部件采集异物待检测样本、柏林噪声生成器以及与异物待检测区域样本输入图像分布无关的异常纹理源图像，对异物重构网络进行训练；接着异物分割判别网络利用异物重构网络输出与原始异物待检测样本通道连接进行网络训练，得到所述的预先训练好的异物检测网络。
[0096]
其中，异物检测网络不需要模拟生成目标域中真实的异常外观，而是生成刚刚超出正常分布的外观，进而学习适当的距离函数以通过偏离正常分别来识别异常。
[0097]
所述的异物检测网络分为异物重构网络与异物分割判别网络，其中的异物重构网络损失函数为：
[0098]
l
rec
(i,ir)＝λ1l
ssim
(i,ir)+λ2l
gms
(i,ir)+l2(i,ir)
[0099]
其中i、ir分别为原始图像与异物重构网络生成图，λ1、λ2是重构损失平衡超参数,λ1l
ssim
(i,ir)、l
gms
(i,ir)以及l2(i,ir)分别为原始图像与重构图像的ssim、gms、l2损失函数，其中l
ssim
(i,ir)定义为：
[0100][0101]
其中h和w分别是图像i的高度和宽度，np为i中像素数。ssim(i,ir)(i,j)是以图像
坐标(i,j)为中心的ssim值。ssim(i,ir)是一个0到1之间的数，越大表示输出图像和无失真图像的差距越小，即图像质量越好，定义为：
[0102][0103]
其中μi、分别代表i、ir的平均值，δi、分别代表i、ir的标注差，代表i、ir的协方差。c1、c2分别为常数，避免分明为0带来的系统误差。gmsd从图像梯度信息出发，提取结构信息，不同结构重构时会有不同的梯度变化。
[0104]
l
gmsd
(i,ir)定义为:
[0105][0106]
其中gmsd(i,ir)(i,j)是i和ir以图像坐标(i,j)为中心的gmsd值，h、w、np含义同上。
[0107]
其中使用焦点损失函数增强难例的定位精度，公式定义为：
[0108]
l
seg
(m,ma)＝-(1-mam)
γ
log(mam)
[0109]
其中ma和m分别是ground truth和异常分割掩码。因此异物检测网络的整体损失函数为：
[0110]
l(i,ir,ma,m)＝l
rec
(i,ir)+l
seg
(m,ma)
[0111]
以下通过一具体实施例对本实施例的异物检测方法进行具体说明如下：
[0112]
1)机器人按照计划任务定点拍摄待检测的巡检点位图片，作为模板图片。
[0113]
2)机器人开始巡检，按照计划任务巡检到待检测的巡检点位，采用1)中同样的云台距离，角度，变倍系数拍摄图片作为待测图片，待测图片与模板图片具有较一致的分辨率和相似的视野，由于机器人导航与云台的定位偏差，待测图片与模板图片存在一定的偏移，如图4所示。
[0114]
3)将待测图片与模板图片进行图像配准，使得两幅图的对应位置的像素点进一步对齐，并提取待测图片中与模板图片中对应的异物待测区域作为异物检测区域。
[0115]
4)将异物待检区域偏移增强，且将图像设置为1024*1024的尺寸。
[0116]
5)利用异物待检区域通过异常模拟生成器生成异常图片，作为异物重构网络输入，训练得到异物重构子网络。
[0117]
6)将异物重构网络与原始异物待检区域通道连接作为异物分割判别网络出入，训练得到异物分割判别子网络。
[0118]
7)对待测图像的识别，将异物待测区域输入异物检测网络；得到精确的异物分割掩码图。
[0119]
8)对异物分割掩码图进行平滑处理，聚合局部异常响应信息。
[0120]
9)通过取平滑异常分数图最大值作为异物检测置信度。
[0121]
10)通过取平滑异常分数图轮廓外接矩形作为异物位置。
[0122]
上述实施例公开了基于一种正样本异物检测系统，在上述实施例的基础之上，本发明还提供了相应的电子设备和存储介质，电子设备包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器之间通过通信总线完成相互间的通信。在存储介
质中存储有计算机程序，当程序被处理器执行时，使得处理器执行基于一种正样本异物检测系统的步骤。
[0123]
在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一方法的步骤。
[0124]
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
[0125]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0126]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0127]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。