一种基于卷积神经网络的海面目标图像背景抑制方法
【专利摘要】本发明公开了一种基于卷积神经网络的海面目标图像背景抑制方法。包括：选取复杂场景下海面目标的成像数据，预处理后按照一定的比例分成训练集L1和验证集L2；用训练集L1训练卷积神经网络，并用验证集L2对网络模型调优，得到背景预测模型B?Mod；对待抑制的海面目标图像，预处理后输入背景预测模型B?Mod，计算出每个像素的背景抑制分量；将每个像素的所有背景抑制分量加和平均得到背景抑制量；利用背景抑制量进行适当的函数映射,可以得到背景抑制后的图像。本发明根据海面目标图像中目标和背景的差异性，利用深度学习的方法获取图像中每个像素的背景抑制量，通过实验验证了该方法对海面目标图像的背景具有显著的抑制效果。
【专利说明】
一种基于卷积神经网络的海面目标图像背景抑制方法
技术领域
[0001] 本发明属于图像处理技术领域，更具体地，涉及一种基于卷积神经网络的海面目 标图像背景抑制方法。
【背景技术】
[0002] 自动目标检测是目前智能武器系统研制中的重要组成部分。而红外技术因灵敏度 和帧频高、隐蔽性好、不受使用时间限制，被广泛应用于自寻的武器系统中。一般而言，红外 探测器角分辨率有限，当目标距离较远时，探测器接收到的目标辐射能量较低，同时接收到 了视场内其他物体的辐射，因此成像后的图像中大部分为空间分布不平稳的复杂背景杂波 (如云背景、地面背景、海天背景等），目标不仅信噪比较低，而且面积较小。为尽量降低背景 杂波的影响，提高目标的信噪比，在检测任务之前首先进行背景抑制。已有的背景抑制方法 可以分为基于变换域的方法、基于时域的方法和基于空域的方法。总的来说，基于变换域的 方法是将原始图像进行傅立叶或小波变换后，通过滤除低频的背景并保留高频的目标来达 到抑制背景的目的。基于时域的方法是以背景像素在时域上表现出较强的相关性，而运动 目标所在像素在时域上会形成尖峰为依据，使用以前的图像对当前图像背景进行预测，然 后用原始图像减去预测图像，完成静止背景的抑制。基于空域的方法根据背景在空间上相 关性较强而目标呈现出"奇异点"的特点，在空域内对背景进行预测，然后用原始图像减去 预测图像，完成背景抑制。基于变换域和基于时域的方法虽然可以获得良好的背景抑制效 果，但在实际武器系统中，成像帧频往往较高U 60HZ)，从探测器采集、传输到信息处理单 元完成对图像所有的处理（目标检测、跟踪、识别等)一般只有几毫秒到十几毫秒，对算法的 实时性要求很高；同时，武器系统自身的姿态变化将导致帧间图像存在抖动，像素在时域上 的相关性很难保证。相比之下，基于空域的背景抑制方法具有更好的实用价值。
[0003] 用深度学习做背景抑制的方案就是一种基于空域的实现，当然这从深度学习特别 是卷积神经网络自身所适合应用的场景来看是很自然的。2006年，Geoffrey Hinton提出了 深度学习，之后深度学习受到广泛关注。神经网络能够重新焕发青春的原因有几个方面。首 先是大数据的出现在很大程度上缓解了训练过拟合的问题。其次是计算机硬件的飞速发展 提供了强大的计算能力，使得训练大规模神经网络成为可能。此外神经网络的模型设计和 训练方法都取得了长足的进步。深度学习在计算机视觉领域最具影响力的突破发生在2012 年，Hinton的研究小组采用深度学习赢得了 ImageNet图像分类的比赛。ImageNet是当今计 算机视觉领域最具影响力的比赛之一。它的训练和测试样本都来自于互联网图片，训练样 本超过百万，任务是将测试样本分成1000类。自2009年，包括工业界在内的很多计算机视觉 小组都参加了每年一度的比赛，各个小组的方法逐渐趋同。在2012年的比赛中，排名2到4位 的小组都采用的是传统的计算机视觉方法，手工设计的特征，相互间准确率的差别不超过 1 %。而Hinton的研究小组是首次参加比赛，他们拿出的模型(现称AlexNet)是一个8层的卷 积神经网络，结果准确率比第二名超出了 10%以上，这在计算机视觉领域产生了极大的震 动，掀起了深度学习的热潮。深度学习特别是卷积神经网络被陆续应用于目标检测，目标识 另IJ，人脸识别，图像分割等计算机视觉的各个领域，并且都取得了非常好的成绩。
[0004] 虽然深度学习在很多领域取得了成功，但是却没有见到深度学习用于背景抑制。 一个原因可能是背景抑制已经有了很多成熟的算法，并且主要偏向应用，十分强调实时性， 而深度学习虽然可以解决类似的问题，但是一般需要很大的计算量，在硬件有限的条件下 难以保证实时性。
【发明内容】
[0005] 本发明提供了一种基于卷积神经网络的海面目标图像背景抑制方法，目的在于解 决不同干扰、不同大气环境参数条件下，同一成像高度下的海面目标的图像背景抑制问题。 该方法利用大量海面目标的图像数据，构建了卷积神经网络模型，从大量数据中学习背景 的先验知识，完成灰度变换，降低背景杂波，提高目标的信噪比，从而实现背景抑制。本方法 对模型预测进行了加速处理，为背景抑制实时性要求提供保证，并且具有适应较强海面干 扰的特点。
[0006] -种基于卷积神经网络的海面目标图像背景抑制方法，包括以下步骤：
[0007] (1)选取云遮挡、海杂波等复杂场景下海面目标的成像数据，以固定大小的图像片 截取数据中的典型区域作为样本信息，所有图像对应的样本信息构成学习集L;
[0008] (2)将学习集L中的数据进行预处理，即对学习集L中的每个图像片减去自身的均 值；
[0009] (3)将数据预处理后的学习集L按照一定的比例分成训练集L1、验证集1^ 2，使用训练 集1^中的样本训练卷积神经网络，得到正/负两类属性样本的CNN分类器模型；用验证集L2样 本测试CNN分类器性能，统计每个样本通过CNN分类器模型分类之后的类别属性，根据给定 的样本标签信息，计算 CNN分类器模型的精确率Pprecisicin、召回率Precall;如果 CNN分类器性能 不能达到设定的性能指标，需要调整模型超参数，重新训练，直到满足性能指标为止;将满 足性能指标的最终CNN分类器模型，作为背景预测模型B-Mod;
[0010] (4)对于待抑制的图像，进行数据预处理，处理后的数据通过步骤(3)的背景预测 模型B-Mod预测出待抑制图像中第k个图像片Patch k属于正/负类别的概率ρ?、PD并将ρ? 作为第k个图像片Patchk中每个像素的背景抑制分量a k(X，y);
[0011] (5)把每个像素的背景抑制分量ak(x，y)加和取平均得到该像素的背景抑制量α (x，y)，再乘以该像素原来的灰度值f(x，y)，以其作为每个像素新的灰度值，并将整幅图像 归一化处理后，得到背景抑制图像。
[0012] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效 果：
[0013] 在现有技术中，关于图像背景抑制的方法尚未形成成熟的解决方案，大部分任务 是通过人工设计的模型完成的，通常难以满足实际应用的需求。本发明利用训练得到卷积 神经网络模型，通过从大量数据中统计学习得到待抑制图像每个像素的背景抑制量α( χ， y)，据此完成背景抑制，使得抑制效果更加精确。克服了人工主观设计背景抑制模型的缺 陷，提高了稳定性，改善了海面目标图像背景抑制的质量。
[0014] 本发明提供了一种基于卷积神经网络的海面目标图像背景抑制方法，该方法对海 面目标图像提取典型区域信息，训练卷积神经网络模型，将训练好的分类模型在预测阶段 用于图到图的背景抑制变换，具体是将利用分类模型预测出的图像片Patchk属于正/负类 别的概率Pf，得到每个像素的背景抑制分量#(1，3〇,通过加和取平均得到该像素的 背景抑制量a(x，y)，再乘以该像素原来的灰度值f(x，y)，以其作为每个像素新的灰度值，并 将整幅图像归一化处理后，得到背景抑制图像。本发明根据海面目标图像中目标与背景在 特征上的显著差异，使用了机器学习和模式识别方法，实现了对海面目标图像中每个像素 背景抑制量的预测，形成一套系统的海面目标图像背景抑制量的预测方法，有效地改进了 基于人工模型设计的方法，提高了海面目标图像背景抑制的准确性，并且对模型预测进行 了加速处理，为背景抑制实时性要求提供保证，并且具有适应较强海面干扰的特点。
【附图说明】
[0015] 图1为本发明一种基于卷积神经网络的海面目标图像背景抑制方法的流程图；
[0016] 图2为具体实施过程中使用的训练集和待抑制图像；
[0017] 图3为构建的卷积神经网络结构的示意图；
[0018] 图4为卷积神经网络超参数选择的示意图；
[0019] 图5为模型在测试集上的背景抑制效果图；
[0020] 图6为消除卷积中冗余计算的示意图。
【具体实施方式】
[0021] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要 彼此之间未构成冲突就可以相互组合。
[0022] -种基于卷积神经网络的海面目标图像背景抑制方法，具体实施过程的流程如图 1所示：
[0023] 1背景学习阶段
[0024] 1.1数据准备阶段
[0025]收集探测器对云遮挡、海杂波等复杂场景的成像数据:为保证数据多样，收集数据 需要考虑海面目标的不同形态、云层和烟雾干扰、海况、反光等各种海面可能会遇到且对成 像质量造成影响的因素，保证数据不失一般性。
[0026] 1.1.1学习集 L
[0027] 从收集的海面目标数据中，以m*n大小的图像片截取数据中的典型区域作为样本 信息，所有图像截取之后对应的样本数据，对收集的样本数据进行清洗，去除不完整的、错 误的、重复的以及不相关的数据，构成学习集L。
[0028] 1.1.2正负类别属性
[0029] 根据图像片包含目标与不包含目标，给样本标记类别属性。具体是，取完全包含目 标的图像片作为正样本，并标记为+1;取不包含目标的海面背景为负样本，并标记为-1;从 而保证正负样本分别能尽可能地表示目标和背景的信息。
[0030] 1.2数据预处理
[0031]对学习集L中的图像片进行预处理，设学习集L中的图像片矩阵Z = {Z1，Z2，···， Ζρ···，Ζη}，预处理后的矩阵为X，则：
[0032]
[0033] 其中，Zj是一个m维的列向量。
[0034]原始数据经过上述去中心化预处理之后，可以去除样本的相关性，能够使模型训 练更快地收敛，也有利于图像重点特征的学习。对学习集L预处理之后，按照一定比例分成 训练集L1、验证集L 2，典型比例为3:1。
[0035] 1 · 3背景预测模型B-Mod
[0036] 1.3.1模型结构和超参数设置
[0037] 考虑实际应用中，由于不同的海况、天气下对海面成像数据的影响，导致成像数据 的不同，CNN分类器模型结构要根据这些实际情况作适当调整。本专利在自己采集的数据 (如图2所示)上，通过验证集1^对模型结构选优得到最佳的模型结构（如图3所示）。该结构 共有5层，其中2个卷积层、1个下采样层和2个全连接层(包括输出层）；卷积层的卷积模板数 目为12，卷积模板尺寸为3 X 3,步长stride选为1，并在图像块边界处进行补零处理； pool ing层的方法选择的是2 X 2无重叠的最大池化方法，全连接层单元数为60;激活函数选 双曲正切tanh函数，输出层选用softmax分类器，目标函数选择交叉熵损失函数;将卷积模 板权值初始化为[-/Vi，-/VH ]内均匀选取的值，其中η为上一层中节点个数，偏置项初 始化为〇;最优化算法选择的是批量梯度下降法，每次迭代的样本量选64，冲量momentum为 0.9,学习率learning rate为0.01;采用Dropout(如图4(b)所示）、Weight decay和数据扩 充的方法防止过拟合，其中Dropout参数设为0.5 ,Weight decay参数设为le-6，数据扩充的 具体做法是对图像做翻转和平移生成新的图像。
[0038] 1.3.2模型性能评估方法
[0039]用精确率Pprecisicin、召回率PrecaIi测试CNN分类器性能，具体为:统计CNN分类器在验 证集L2上的预测情况，根据样本的标签信息，将正类预测为正类的数目记为"TP"，将正类预 测为负类的数目记为"FN"，将负类预测为正类的数目记为"FP"，将负类预测为负类的数目 记为"TN"，则：
[0040]
[0041]
[0042] 1 · 3 · 3获得背景预测模型B-Mod
[0043]使用训练集L1中的样本训练卷积神经网络，得到正/负两类属性样本的CNN分类器 模型；用验证集1^样本测试CNN分类器性能，统计每个样本通过CNN分类器模型分类之后的 类别属性，根据给定的样本标签信息，计算CNN分类器模型的精确率Pprecisicm、召回率P recaIl ; 如果CNN分类器性能不能达到设定的性能指标，需要调整模型超参数，重新训练，直到满足 性能指标为止。将满足性能指标的最终CNN分类器模型，作为背景预测模型B-Mod。
[0044] 2背景抑制阶段
[0045] 利用背景预测模型B-Mod预测每个像素的背景抑制量，完成背景抑制。
[0046] 2.1全图预处理
[0047] 对于待抑制的图像，进行数据预处理时，考虑全图预处理，而不是逐个图像片地预 处理，这可以消除卷积中大量的冗余计算（如图6)，加快了模型预测速度，保证了背景抑制 算法的实时性。具体为：
[0048]遍历待抑制图像，把每个像素点的灰度值减去它周围一定范围内的灰度均值。设f (x，y)为待抑制图像任一像素点，P(Xd)为待抑制图像预处理后与f(x，y)对应的像素点， 矩阵U= {ui，U2，···，Uj，···，uc}为以f (x，y)为中心的r*c大小的领域矩阵，则:
[0049]
[0050] 其中，Uj是一个r维的列向量。
[0051] 2.2每个图像片属于正/负类别的概率pf、JpG
[0052]对于待抑制的图像，在用背景预测模型B-Mod进行前向预测时，将模型前面的卷积 层和下采样层直接作用于图像，而不是对其遍历得到的图像片，得到数据立方体;按照对图 像进行逐个图像片遍历的顺序，将背景预测模型B-Mod的全连接层作用于数据立方体中对 应于该图像片的小立方体，计算得到每个图像片属于正/负类别的概率ρ?、P/了；
[0053] 2.3每个像素的背景抑制量€[(^50
[0054] 将图像片Patchk属于正类的概率ρ?作为第k个图像片Patchk中每个像素的背景抑 制分量 <^(1，5〇，即
[0055]
[0056] 把每个像素的背景抑制分量hk(x，y)加和取平均得到该像素的背景抑制量α(χ， y)，具体方法为：
[0057] 设遍历待抑制图像共得到K个图像片，则：
[0058]
[0059]
[0060]
[0061 ] 2.4背景抑制
[0062]将每个像素的背景抑制量a(x，y)，乘以该像素原来的灰度值f(x，y)，以其作为每 个像素新的灰度值h(x，y);在得到每个像素新的灰度值之后，需要将整幅图像归一化处理， 得到背景抑制图像，具体方法为：
[0063] h(x，y)=a(x，y)*f(x，y)
[0064] 设背景抑制后的图像为g(x，y)，则h(X，y)4g(x，y)的映射关系如下：
[0065]
[0066] 其中，|^(1，7)111￡?，8(1，7)11^]为设定的归一化区间，对于灰度图像，典型值为[0， 255];h(x，y) max为所有像素中背景抑制量最大值;h(x，y)min为所有像素中背景抑制量最小 值。图5为本发明对四张原始图像背景抑制后的效果图。
[0067] 本发明在对图像进行背景抑制时，首先将大量图像进行背景学习，然后根据学习 出来的背景知识，进行灰度变换，完成背景抑制。传统的图像背景抑制方法都是经过人为的 经验，根据背景的低频或者相关性强等性质，进行相应的灰度变换，从而实现背景抑制，这 往往遗漏掉数据中很多高价值的背景知识。深度学习作为近年来计算机视觉领域出现的新 方法，能够较好的从大量数据中自动地学习背景知识，相比于传统人为设计的方法，基于深 度学习的背景学习方法更能准确的区分背景和目标的特征，计算出图像上每个图像片属于 目标或者背景的概率，为作进一步背景抑制的灰度变换提供了非常有价值的先验知识。
[0068] 图5所示为本发明实施例中使用的待抑制图像与它们被本发明图像背景抑制的结 果对比图。对比发现，本发明提出的图像背景抑制方法，能够从大量数据中学习目标和背景 知识，从而实现背景抑制，降低了背景杂波的影响，大大提高了目标的信噪比，能够适应较 强的海面干扰，且能够满足背景抑制算法实时性要求高的特点。
[0069] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以 限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。
【主权项】
1. 一种基于卷积神经网络的海面目标图像背景抑制方法，其特征在于，所述方法包括： (1) 选取复杂场景下海面目标的成像数据，W固定大小的图像片截取数据中的典型区 域作为样本信息，W完全包含目标的样本为正样本，W不包含目标的样本为负样本，从所有 图像数据中截取到的样本数据构成学习集L (2) 将学习集L中的数据进行预处理，即对学习集L中的每个图像片减去自身的均值； (3) 将数据预处理后的学习集L按照一定的比例分成训练集b、验证集L2,使用训练集^ 中的样本训练卷积神经网络，得到正/负两类属性样本的CNN分类器模型；用验证集L2样本 测试α^Ν分类器性能，统计每个样本通过分类器模型分类之后的类别属性，根据给定的 样本标签信息，计算C順分类器模型的精确率Pprecisinn、召回率Precall ;如果C順分类器性能不 能达到设定的性能指标，需要调整模型超参数，重新训练，直到满足性能指标为止;将满足 性能指标的最终CNN分类器模型，作为背景预测模型B-Mod; (4) 对于待抑制的图像，进行数据预处理，处理后的数据通过步骤（3)的背景预测模型 B-Mod预测出待抑制图像中第k个图像片化tchk属于正/负类别的概率挺、祐，并将扣作 为第k个图像片化tchk中每个像素的背景抑制分量ak(x，y); (5) 把每个像素的背景抑制分量ak(x，y)加和取平均得到该像素的背景抑制量a(x，y)， 再乘W该像素原来的灰度值f(x，y)，W其作为每个像素新的灰度值，并将整幅图像归一化 处理后，得到背景抑制图像。2. 如权利要求1所述的方法，其特征在于，所述步骤(2)中对学习集L中的图像片进行预 处理的具体方法为： 设学习集L中的图像片矩阵Z={Z1，Z2,…，Zj，…，Zn}，预处理后的矩阵为X，则：其中，Zj是一个m维的列向量。3. 如权利要求1或2所述的方法，其特征在于，所述步骤(3)中将数据预处理后的学习集 L按照一定比例分成训练集b、验证集L2，具体方法为:从收集的海面目标数据中，Wm*n大小 的图像片截取数据中的典型区域作为样本信息，给予运些样本正/负标签信息，并将其随机 分成一定比例的两个集合，作为训练集b、验证集L2。4. 如权利要求1或2所述的方法，其特征在于，所述步骤(3)中用验证集L2样本测试α^Ν分 类器性能，其中CNN分类器模型的精确率?。,6。131。。、召回率片6。311的计算具体为： 统计分类器性能在验证集L2上的预测情况，根据样本的标签信息，将正类预测为正 类的数目记为"ΤΡ"，将正类预测为负类的数目记为"FN"，将负类预测为正类的数目记为 "FP"，将负类预测为负类的数目记为叮Ν"，则：5. 如权利要求1或2所述的方法，其特征在于，所述步骤(4)中，对于待抑制的图像，在用 背景预测模型B-Mod进行前向预测时，将模型前面的卷积层和下采样层直接作用于图像，得 到数据立方体;按照对图像进行逐个图像片遍历的顺序，将背景预测模型B-Mod的全连接层 作用于数据立方体中对应于该图像片的小立方体，计算得到每个图像片属于正/负类别的 概率 Pk+、6. 如权利要求1或2所述的方法，其特征在于，所述步骤(4)中，对于待抑制的图像，进行 数据预处理时，考虑全图预处理，具体为： 遍历待抑制图像，把每个像素点的灰度值减去它周围一定范围内的灰度均值，设f(x， y)为待抑制图像任一像素点，f/(x，y)为待抑制图像预处理后与f(x，y)对应的像素点，矩阵 u= {山，112，···，Uj，···，Uc}为Wf (x，y)为中屯、的r*c大小的领域矩阵，贝ij:其中，uj是一个r维的列向量。7. 如权利要求1或2所述的方法，其特征在于，所述步骤(4)中，数据预处理之后，用背景 预测模型6-1〇(1预测出待抑制图像中第1^个图像片化*加^属于正/负类别的概率转^ |7;，并 将ρ?"作为第k个图像片化tchk中每个像素的背景抑制分量ak(x，y)，即8. 如权利要求1或2所述的方法，其特征在于，所述步骤(5)中，把每个像素的背景抑制 分量hk(x，y)加和取平均得到该像素的背景抑制量a(x，y)，再乘W该像素原来的灰度值f ^，7)，^其作为每个像素新的灰度值11^，7)，具体方法为： 设遍历待抑制图像共得到K个图像片，则：9. 如权利要求1或2所述的方法，其特征在于，所述步骤(5)中，在得到每个像素新的灰 度值之后，需要将整幅图像归一化处理，得到背景抑制图像，具体方法为： 设背景抑制后的图像为g(x，y)，贝化(x，y)^g(x，y)的映射关系如下：其中，^山7)。3、，邑山7)"1。]为设定的归一化区间，对于灰度图像，典型值为[〇,255]山 (X，y)max为所有像素中背景抑制量最大值;h(X，y)min为所有像素中背景抑制量最小值。
【文档编号】G06K9/62GK105844627SQ201610159838
【公开日】2016年8月10日
【申请日】2016年3月21日
【发明人】杨卫东, 丁中干, 曹治国, 桑农, 颜露新, 黎云, 蒋哲兴, 齐航
【申请人】华中科技大学