一种滤波增强深度学习的被动式太赫兹图像目标检测方法与流程

1.本发明属于被动式太赫兹图像目标检测领域，特别是涉及一种滤波增强深度 学习的被动式太赫兹图像目标检测方法。


背景技术：

2.太赫兹波是指频率在0.1～10thz范围内的电磁波。太赫兹波的波段能够覆 盖半导体、等离子体，有机体和生物大分子等物质的特征谱，具有良好的穿透性。 其次，太赫兹能量小，几乎不会对人体产生影响。太赫兹技术可广泛应用于雷达、 遥感、国土安全与反恐、高保密的数据通讯与传输、大气与环境监测、实时生物 信息提取以及医学诊断等领域。
3.被动式太赫兹成像技术，相比于主动式太赫兹成像技术，无需主动太赫兹辐 射源，通过被动接受人体自身发出的太赫兹波完成成像，具有成本较低、安全无 辐射、无接触隐蔽等优点，在安防安检领域有更加良好的应用前景。在传统的安 防安检中，对于目标的检测通常是人工完成，十分考验检查人员的耐心和毅力。 随着深度学习的蓬勃发展，目前的算法已经能在光学图像上进行有效的目标检 测，但是在太赫兹图像尤其是被动式太赫兹图像中，相关方法还有待完善，目前 主要存在以下几类问题：
4.1.由于被动式太赫兹扫描系统没有使用辐射源，目标物自身辐射的太赫兹 波功率低，且成像过程中引入各类噪声干扰，使得被动太赫兹图像样本信噪比很 低、图像很模糊，影响对图像内容的有效识别；
5.2.传统深度学习算法未针对含噪的太赫兹样本识别问题进行改进，太赫兹 样本因为噪声差异、目标形态差异等问题，难以通过简单固定的图像滤波预处理 达到对所有样本目标的高精度识别。
6.基于上述客观问题，被动式探测的样本质量低，对人工标注和模型训练造成 很大影响，通过传统深度学习方法无法针对噪声严重的图像样本产生显著识别效 果，而采用固定的图像滤波方法进行预处理，依然难以保证输出的去噪样本均适 合深度学习算法获得高精度的识别效果。
7.基于上述市场需求与技术问题，亟需一种基于多尺度滤波增强的被动式太赫 兹图像目标检测方法，以深度学习算法为基础改进创新，通过多尺度滤波完成深 度学习对不同噪声程度的增强学习，再通过空间几何变换完成深度学习对不同转 向形态的增强学习，从而大幅度提升对不同噪声程度、不同转向形态的太赫兹目 标的识别检测率。


技术实现要素：

8.本发明公开了一种滤波增强深度学习的被动式太赫兹图像目标检测方法，通 过多尺度去噪和空间几何变换增强扩增深度学习样本集，得到不同去噪强度、目 标形态的样本，大幅度滤除条纹噪声的同时更好地保留图像细节同时具有目标旋 转不变性，提升深度学习对于不同噪声程度、不同转向形态的目标识别的鲁棒性。 为了解决上述技术问题，本发明旨在提供一种滤波增强深度学习的被动式太赫兹 图像目标检测方式，包括以下步骤：
9.采用多尺度滤波去除样本噪声，采用多方位空间几何变换，联合生成多尺度 滤波增强样本；
10.采用卷积神经网络提取特征，训练模型参数，进行深度学习训练；
11.对去噪样本进行多通道特征预测，对多通道的预测结果进行融合，得到最终 的目标检测结果。
12.作为优选，所述采用多尺度滤波去除样本噪声，其中，邻域像素值为f(k,l)， 输出图像的像素值为g(i,j)，g(i,j)为邻域像素值f(k,l)的加权值组合， 其中(i,j)和(k,l)代表像素点的坐标，w(i,j,k,l)为 等于空域核ws和值域核wr的乘积，其中σ
s
和σ
r
分别为空域和值域的滤波平滑参数，不同去噪阈值样本l
x
与空间空域和 值域的滤波平滑参数σ
s
与σ
r
的关系是l
x
＝l0·
w(σ
s
,σ
r
)，其中σ
s
＝x， σ
r
＝13x，分别取不同的x,x∈(0,2]，获取多尺度去噪样本，进行多尺度滤波增 强。
13.作为优选，采用多方位空间几何变换，联合生成多尺度滤波增强样本，包括 对样本图像进行旋转和翻转处理，滤波增强后图像的原始像素值坐标为(x0,y0), 图像中心旋转后得到的坐标为(x1,y1)，其中θ为逆时针旋转的角度，图像以y轴翻转后的坐标为(x2,y2)， (x2,y2)＝(2w-x0,y0)，其中w是图像的宽度。
14.作为优选，所述采用卷积神经网络提取特征，其中，网络由n-1个卷积层和 1个全连接层组成，首先是1个32个过滤器的卷积核，然后是n组重复的残差 单元，每个单元由1个单独的卷积层与一组重复执行的卷积层构成，重复执行的 卷积层分别重复g1次、g2次、...、g
n
次；单独的卷积层使用步长为2的卷积作 降采样处理，在每个重复执行的卷积层中，先执行1x1的卷积操作，再执行3x3 的卷积操作，过滤器数量先减半，再恢复，共计n-1层。
15.作为优选，所述训练模型参数，进行深度学习训练，包括通过损失函数对参 数模型进行训练优化，训练前先将图片分解成为s
×
s个网格，每个网格含有a 个预选框和b个预测框，损失函数由坐标预测损失函数，置信度损失函数和类别 损失函数组成，如下式所示：
16.17.其中i、j表示第i个网格第j个预测框， b
x
,b
y
,b
w
,b
h
分别表示直接预测的预测框的中心点坐标和长宽，g
x
,g
y
,g
w
,g
h
分别 表示真实框的中心点坐标和长宽，c
x
,c
y
,a
w
,a
h
分别表示当前网格左上角到图像左 上角的距离和锚点框的长宽，t
x
,t
y
,t
w
,t
h
为需要学习的参数；
18.当网格内的预测框负责预测真实框时，否则
19.当预测框负责预测该网格内的目标时，否则
20.当某个预测框不负责对应网格中真实框的预测，但是又与该真实框的重叠率大于 设定的阈值时，g
ij
＝0，否则g
ij
＝1；
21.其中，第i个网格第j个预测框的置信度pr(object)表示 当前预测框是否有对象的概率，表示真实框和预测框的重叠率，和 分别为预测种类c时的类别概率和真实概率。
22.作为优选，所述对去噪样本进行多通道特征预测，包括将去噪样本l输入到 卷积神经网络分别在2
n
倍、2
n-1
倍、
…2n-m
倍进行多通道下采样和特征预测，其 中m为通道数；将2
n-i
倍的特征图作上采样处理，和2
n-i+1
倍特征图作特征融合， i∈[1,m]，完成多通道同时预测。
[0023]
采用上述技术方案带来的有益效果是：
[0024]
(1)针对被动式太赫兹图像噪声严重、细节模糊、目标差异的问题，通过 多尺度双边滤波扩展被动式太赫兹图像在不同去噪尺度下的去噪样本，可以对不 同质量的样本滤除噪声保留图像细节；
[0025]
(2)针对同一目标旋转形态不一的问题，进行空间几何变换增强，扩展被 动式太赫兹图像在不同转向形态下的变换样本，对目标旋转形态差异具有鲁棒 性；
[0026]
(3)将扩展样本输入特征提取网络里提取特征，学习训练预训练权重，用 训练好的模型对去噪样本进行预测，完成数据增强的深度学习对太赫兹样本目标 的识别，从而大幅度提升对不同噪声程度、不同转向形态的太赫兹目标的识别检 测率，不仅可以滤除严重的条纹噪声，又可避免过度去噪导致的图像细节丢失，。
附图说明
[0027]
图1为本发明的整体流程示意图；
[0028]
图2包括场景1和场景2的原始被动式太赫兹图(a1)和(a2)，场景1和 场景2的多尺度双边滤波图(b1)和(b2)，(c1)和(c2)，(d1)和(d2)；
[0029]
图3包括滤波增强后的被动式太赫兹图(a1)，空间几何变换增强后的图(a2) 和(a3)；
[0030]
图4为本发明的特征提取网络结构图；
[0031]
图5为本发明的损失函数参数说明图；
[0032]
图6为本发明的多尺度预测结构图；
[0033]
图7包括多尺度滤波增强前的识别效果图(a1)和多尺度滤波增强后的识别 效果图(a2)。
[0034]
图8包括空间几何变换增强前的识别效果图(a1)和空间几何变换增强后的 识别效果图(a2)。
具体实施方式
[0035]
以下将结合附图，对本发明的技术方案进行详细说明。
[0036]
一种基于多尺度滤波增强深度学习的被动式太赫兹图像目标识别方法，其处 理流程如图1所示。具体步骤如下：
[0037]
(1)采用多尺度滤波去除样本噪声，并采用多方位空间几何变换，联合生 成多尺度滤波增强样本。
[0038]
(2)采用卷积神经网络提取特征，训练模型参数，进行深度学习训练。
[0039]
(3)对去噪样本进行多通道特征预测，对多通道的预测结果进行融合，得 到最终的目标检测结果。
[0040]
步骤(1)具体过程如下：
[0041]
(1-1)对带有标签的被动式太赫兹图像样本进行双边滤波。输出图像的像素值 g(i,j)为邻域像素值f(k,l)的加权值组合，其中 (i,j)和(k,l)代表像素点的坐标，w(i,j,k,l)为等于空域核ws和值域核wr的乘积， 其中σ
s
和σ
r
分别为空域和值域的滤波 平滑参数。不同去噪阈值下的样本l
x
与空间空间域和值域的滤波平滑参数σ
s
与 σ
r
的关系是l
x
＝l0·
w(σ
s
,σ
r
)，其中σ
s
＝x，σ
r
＝13x。分别取不同的x获取 多尺度去噪样本进行数据增强。实施例中，分别取x＝0.5，1，1.5，其去噪效果 分别如图2中的(b1)和(b2)，(c1)和(c2)，(d1)和(d2)所示。可见 噪声得到有效的滤除。
[0042]
(1-2)空间几何变换增强。对样本图像进行旋转和翻转处理，滤波增强后图像 的原始像素值坐标为(x0,y0),图像中心旋转后得到的坐标为(x1,y1)， 其中θ为逆时针旋转的角度。图像以y 轴翻转后的坐标为(x2,y2)，(x2,y2)＝(2w-x0,y0)，其中w是图像的宽度。实施 例中，分别取θ＝180
°
，w＝64。其旋转和翻转效果如图3中的(a2)和(a3) 所示。
[0043]
进一步地，步骤(2)的具体过程如下：
[0044]
(2-1)卷积神经网络特征提取。卷积神经网络由n-1个卷积层和1个全连接层 组成，首先是1个32个过滤器的卷积核，然后是n组重复的残差单元，每个单 元由1个单独的卷积层与一组重复执行的卷积层构成，重复执行的卷积层分别重 复g1次、g2次、...、g
n
次；单独的卷积层使用步长为2的卷积作降采样处理， 在每个重复执行的卷积层中，先执行1x1的
卷积操作，再执行3x3的卷积操作， 过滤器数量先减半，再恢复，一共是n-1层。实施例中，使用darknet53网络， 其中n＝53，n＝5，g1＝1，g2＝2，g3＝8，g4＝8，g5＝4。其结构图如图 4所示。
[0045]
(2-2)由损失函数对参数模型进行训练优化，训练前先将图片分解成为s*s个 网格，每个网格含有a个预选框和b个预测框，yolov3的损失函数由坐标预测损 失函数，置信度损失函数和类别损失函数组成，如下式所示：
[0046][0047]
其中i、j表示第i个网格第j个预测框， b
x
,b
y
,b
w
,b
h
分别表示直接预测的预测框的中心点坐标和长宽，g
x
,g
y
,g
w
,g
h
分别 表示真实框的中心点坐标和长宽，c
x
,c
y
,a
w
,a
h
分别表示当前网格左上角到图像左 上角的距离和锚点框的长宽，t
x
,t
y
,t
w
,t
h
为需要学习的参数。当网格内的预测框 负责预测真实框时，否则当预测框负责预测该网格内的目标 时，否则当某个预测框不负责对应网格中真实框的预测，但是 又与该真实框的重叠率大于设定的阈值时，g
ij
＝0，否则g
ij
＝1。第i个网格第j 个预测框的置信度pr(object)表示当前预测框是否有对 象的概率，表示真实框和预测框的重叠率。和分别为预测种 类c时的类别概率和真实概率。其部分参数解释如图5所示。
[0048]
进一步地，步骤(3)的具体过程如下：
[0049]
(3-1)对去噪样本进行多通道特征预测，对多通道的预测结果进行融合，得到 最终的目标检测结果。对去噪样本进行多通道特征预测，是将去噪样本l输入到 卷积神经网络分别在2
n
倍、2
n-1
倍、
…2n-m
倍进行多通道下采样和特征预测，其 中m为通道数；然后将2
n-i
倍的特征图作上采样处理，和2
n-i+1
倍特征图做特征融 合，i∈[1,m]，完成多通道同时预测。其结构图如图6所示。
[0050]
最终的识别效果如图7所示，图7(a1)和图7(a2)分别为数据滤波增强 前的识别效果和数据滤波增强后的识别效果，滤波前的平均精度均值87.45％， 滤波后提升到92.16％。明显看出传统的方法，在不明确合适的去噪尺度时，识 别效果中存在漏检和误检的情况，去噪滤波数据增强后的识别效果有明显的提 升。图8(a1)和图8(a2)分别为空间几
何变换增强前后的识别效果，增强后 的平均精度均值为94.27％。明显看出使用空间几何变换增强后的对目标物体旋 转性有更好的鲁棒性和适应性。
[0051]
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是 按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明 保护范围之内。