太赫兹图像中目标物体的检测分割方法及计算机存储介质与流程

本发明涉及一种目标物体的检测分割方法及计算机存储介质，特别是涉及一种太赫兹图像中目标物体的检测分割方法及计算机存储介质。

背景技术：

在安检中，检测隐藏在衣服一下的物体是一个关键的任务。然而现行的手工安检手段十分低效，而且有较高的漏检率。太赫兹成像技术提供了一种非接触式的方案。太赫兹是一种波长位于0.1×10¹²-10×10¹²hz之间的电磁波，它通过测量人体不同部分的辐射热量来获得隐藏在衣物下物体的图像。而且相比于x-射线，这种电磁波对人体无害。

在标记数据有限的情况下，我们不仅需要判断出图像中是否包含隐藏的物体，还需要将检测到的目标准确地分割出来。然而由于太赫兹成像内在的物理因素，图像的对比度和信噪比往往很低。在像素数值上隐藏的物体和人体部分的差异并不明显，而且物体边缘几乎和人体混在一起，无法分辨。同时图片还有较多的背景噪声。因此，在这样糟糕的条件下，导致标准的目标分割和显著性检测的算法都没有较好的解决难题。早期的工作聚焦于统计模型，shen(shen,x.,dietlein,c.,grossman,e.n.,popovic,z.,meyer,f.g.:detectionandsegmentationofconcealedobjectsinterahertzimages.ieeetransactionsonimageprocessing17(2008)2465-2475)提出通过混合高斯模型来对辐射温度进行建模的多层次阈值的分割算法。首先使用各项异性扩散算法来去除噪声，然后去追踪随着阈值的变化而改变的边界，从而完成分割任务。lee(lee,d.,yeom,s.,son,j.,kim,s.:automaticimagesegmentationforconcealedobjectdetectionusingtheexpectation-maximizationalgorithm.opticsexpress18(2010)10659-10667)同样使用混合高斯模型。通过两次的期望最大化算法求取贝叶斯边界来分割人体和人体包含的目标。类似的，yeom(lee,d.s.,son,j.y.,jung,m.k.,jung,s.w.,lee,s.j.,yeom,s.,jang,y.s.:real-timeoutdoorconcealed-objectdetectionwithpassivemillimeterwaveimaging.opticsexpress19(2011)2530-2536)使用基于混合高斯模型的多尺度分割算法，同时为实现实时性，在期望最大化算法之前使用矢量量化的技术。然而这些传统算法都不具备检测的能力，即都是在当前图片包含物体的前提下进行分割操作，同时在这样差的成像条件下，没有好的分割结果。

当前基于深度卷积神经网络的实例分割算法具有很好的潜力来解决这个难题。这一类方法可以大致分为两类，一类是基于r-cnn推荐的方法。他们使用自下而上的流程，分割的结果依赖于r-cnn的推荐区域，再去为这些结果分类。另外一类方法是基于语义分割的方法。这些方法实现实例分割是依赖于语义分割的结果的，即先得到语义分割的结果，再去将像素分到不同的实例中去。一个最新的实例分割算法mask-rcnn(he,k.,gkioxari,g.,dollar,p.,girshick,r.b.:maskr-cnn.internationalconferenceoncomputervision(2017)2980-2988)共享卷积层的特征，能够同时完成检测，分类和分割的任务。但这些方法一般将分割和检测作为两个独立的单元，从而使得模型结构很复杂，处理时间长以及不鲁棒等。而且这一类方法需要大量的数据才能训练出可用的模型，显然这一类方法不适合太赫兹场景的目标检测和分割任务。

技术实现要素：

发明目的：本发明要解决的技术问题是提供一种太赫兹图像中目标物体的检测分割方法及计算机存储介质，克服现有技术中需要目标物体和背景反差较大或者需要采集和标注大量的高质量样本等缺陷，在信噪比很低、目标物体和背景在像素密度上极其相似并且训练样本数量较少的情况下，获得精确的检测和分割效果，同时具有高的处理速度，使其能够应用到实时安检系统中。

技术方案：本发明所述的太赫兹图像中目标物体的检测分割方法，包括以下步骤：

(1)将训练集中的原始太赫兹图像x作为训练样本，采用人工方式将x中的目标物体区域标注出来，得到真实分割掩膜y，同时对x和y进行预处理，将图像中的所有像素值转换到-1到1之间；

(2)将所述的原始太赫兹图像x和随机噪声z输入到生成器中，生成器生成假分割掩膜；

(3)将真实分割掩膜和对应的原始太赫兹图像组成真实样本对，将假分割掩膜和对应的原始太赫兹图像组成假样本对，共同输入到判别器中进行评判；

(4)分别计算生成器和判别器的损失函数，利用梯度下降算法对生成器进行优化，使生成器的损失函数尽可能小，梯度上升算法对判别器进行优化，使判别器的损失函数尽可能大，直到模型收敛，回到步骤(1)，遍历完训练集后进入步骤(5)；

(5)回到步骤(1)，直到达到设定的迭代次数；

(6)保存上述步骤训练好的模型，将新的待检测图片输入到生成器中，得到与之对应的检测和分割结果。

为了保持目标区域同时舍弃其他无用细节，获得简单高效的网络结构，可以选择性地连接编码器和解码器的部分层，所述的生成器为二维神经网络g，包含8个卷积层和8个转置卷积层,其中所有卷积层和转置卷积层的滤波器大小和移动步长都为5*5和2*2，8个卷积层的深度依次为64、128、256、512、512、512、512、1024，8个转置卷积层的深度依次为512、512、512、512、256、128、64、1。

为了使得生成器的输出更加多样化，增加模型鲁棒性，所述的随机噪声z由生成器中dropout操作产生，分别在所述转置卷积层的前三层进行，每个节点被保留的几率为50％。

进一步的，所述的判别器为二维神经网络d，包含3个卷积层和1个全连接层，3个卷积层的滤波器大小均为5*5，步长均为2*2，滤波器深度分别为64、128、256，全连接层使用sigmoid作为激活函数，输出结果为一维标量。

为了在召回率和虚警率之间做出很好地权衡，所述判别器的损失函数为：

所述生成器的损失函数为：

其中，ls＝‖g(x,z)‖1，‖·‖1为l1范数的表达式；d(x,y)是判别器的输出，g(x,z)是生成器的输出，为真实样本对的概率分布的期望，为假样本对的概率分布的期望，λ和β分别是和ls对整个损失函数影响的权值。

进一步的，步骤(1)中人工标注的方法是将每张太赫兹图形中的目标区域标注出来，将目标区域的像素值标为255其余位置为0，所述的预处理过程是将所有像素值转换到-1到1之间，转换公式为：p/127.5–1，其中p为具体的像素值。

本发明所述的计算机存储介质，其上存储有计算机程序，所述的计算机程序被计算机处理器执行时实现上述任一项所述的方法。

有益效果：本发明能够能够在训练样本数量很少而且图片的信噪比很低的情况下训练出一个精确的检测和分割模型，并且该模型具有很快的处理速度和很高的时效性，可以应用在实时安检系统中，从而降低人工安检的劳动强度，提高效率。

附图说明

图1是选取的太赫兹图像示意图；

图2是本方法模型训练和测试过程示意图；

图3是使用的模型结构和其他方案的对比示意图；

图4是本发明的模型详细结构。

具体实施方式

太赫兹图像示意图如图1所示，其中目标物体部分用矩形框包围。本方法的具体过程如图2所示，分为训练过程和测试过程，训练过后目的是建立一个训练好的模型，测试过程将待测试图片输入模型，检验本方法的效果。本发明所采用的生成对抗网络是一种生成模型，通过对抗的过程能够实现由一张图片到另一张图片变换的过程。一个标准的生成对抗网络包含一个生成器和一个判别器。其中，是生成器的任务是根据输入信息，产生足够逼真的假样本来欺骗判别器，另一方面，判别器同时接受真正的从数据集中采样的样本和生成器产生的假样本然后去判断哪些样本是真实的哪些是假的。最终生成器能够产生判别器无法判别真伪的样本，即生成器捕捉到训练样本的分布。基于条件的生成对抗网络通过额外的信息来约束生成器，即使在很小样本量的条件下也能根据用户的标记数据生成不错的结果，这是本发明所采取的设计思想。

在训练过程中，为每一个样本提供正确的检测和分割结果，每张图片对应的给出相同尺寸的，所有像素的值为0的图片，对于包含武器的样本，在武器出现的区域将那些像素的值标记为255；而不包含任何武器的样本，则不做任何修改。具体地是，通过人工标注的方法将每张太赫兹图形中的目标区域标注出来，标注工具使用一个免费的标注工具colabeler，将目标区域的像素值标为255其余位置为0，得到真实的分割掩膜。将原始的太赫兹图像和标注图片缩放到长宽都为256个像素后，然后开始图像预处理。预处理过程是将所有像素值都设置于于-1到1之间，转换公式为：p/127.5–1(p为具体的一个像素值)。将随机噪声z输入到生成器中，同时将缩放后的原始待检测图像作为条件x也输入到生成器中。生成器学习从输入图片到检测和分割结果的映射函数，输出对应的检测、分割结果g(x,z)。判别器的输入包含两个部分，一个是真实的样本对：原始太赫兹图像x和其真实的分割、检测结果即真实分割掩膜y,记为(x,y)；另一个是假的样本对：原始太赫兹图像x和生成器的输出假分割掩膜g(x,z)，记为(x,g(x,z))。对于判别器来说，它需要给真实的样本对较高的分数，相反给假的样本对较低的分数，而对生成器来说，它需要生产越来越真实的样本g(x,z)来欺骗判别器，从而使(x,g(x,z))获得更高的分数，并且最终判别器无法分辨这两对输入哪个是假的，这样生成器就学习到了隐含的从太赫兹图像到检测分割图像的映射。在测试过程中，将待检测的图片输入到训练好的生成器中，那么模型就会将人体，背景噪声等多余的信息丢弃，最终分割出隐藏的物体。检测和分割同时完成。

为了实现这样的目标，本发明首先定义了合适的损失函数。

判别器的损失函数为：

ls＝‖g(x,z)‖1(3)

所述生成器的损失函数为：

其中，‖·‖1为l1范数的表达式；d(x,y)是判别器的输出，数值在0到1之间，g(x,z)是生成器的输出，为真实样本对的概率分布的期望，为假样本对的概率分布的期望，λ和β分别是和ls对整个损失函数影响的权值。x,y都采样于真实的样本分布，判别器通过让d(x,y)尽可能的接近1，同时d(x,g(x,z))尽可能的接近0，来使得期望最大化即公式(1)实现最大化，相反地，生成器则企图将d(x,g(x,z))尽可能地接近1，来使得期望最小化。噪声z被表示为生成器中dropout操作(在训练过程中随机地将部分结点的权值赋0值)，使得生成器的输出更加多样化，更多的假样本，从而使得生成器更加容易获得原始数据分布，增加模型鲁棒性。同时x作为条件被分别加入到两个网络中，构成条件生成对抗网络，约束生成器的输出与输入进行一一配对，否则检测和分割的结果将会是随机的。

由于公式(1)只考虑了生成对抗网络的损失函数，其目标是生成判别器无法判别真伪的图片。然而能够生成逼真的图片，并不一定代表是好的分割结果。所以公式(2)使用曼哈顿距离来衡量重构误差。加入这一项的约束，要求生成的图片不仅仅要足够真实，同时要与正确的分割结果足够接近，即精确的分割结果。另外，使用曼哈顿距离而不是常用的l2范数，在于l2约束往往导致生成图片的模糊。

和许多目标检测分割的任务一样，隐藏的武器相对于整张图片来说只占据很小的部分，所以公式(3)要求生成的图片也应该是稀疏的。本发明使用l1范数作为稀疏性约束而不是理论上的l0范数和常用的l2范数，原因在于，前者需要求解np难的问题，而后者只能将各项逼近到很小的数值，并不能保证大部分元素是0.

生成器的损失函数为公式(4)。λ和β分别是和ls对整个损失函数影响的权值，实际使用时，λ和β分别为800和5。条件x和重构误差能够监督生成过程，保证生成的图片与输入的太赫兹图片是一一对应的，否则是随机的，不满足目标检测和分割的任务。同时通过最小化曼哈顿距离维持了精确的分割结果。作为先验知识，稀疏性约束降低了虚警率。

模型的训练使用梯度上升算法来优化判别器，梯度下降算法来优化生成器。在训练生成器时，需要保持判别器的参数不变，最小化公式(4)；而当训练判别器时则保持生成器当前的参数不变，最大化公式(1)。在迭代过程中交替地来训练判别器和生成器，直到模型收敛。具体实施过程中，将学习率设置为0.00012，minibatch为8，遍历完整个训练集为一次迭代，总共进行200次迭代，得到最终模型。

在网络结构方面进行了改进，如图3所示，相比于传统的“encoder-decoder”结构，该发明增加了部分解码层和编码层的连接，其中具体的生成器结构如图四所示，从而得到低层次的特征，这些特征能够提高模型对小目标的检测能力。相比于“u-net”，(ronneberger,o.,fischer,p.,brox,t.:u-net:convolutionalnetworksforbiomedicalimagesegmentation.medicalimagecomputingandcomputerassistedintervention(2015)234-241)新的模型去除了部分和输出层很近的连接。如图3所示，u-net编码器前几层的输出包含大量的边缘和背景信息，如果将这些层连接到离输出层很近的解码层时，会导致较高的虚警，所以本发明去除了这部分连接，在召回率和虚警率之间找到均衡。根据以上的损失函数和对应的模型结构，使用梯度下降算法迭代求取优化结果，得到最终模型参数。所述的判别器包含3个卷积层和一个全连接层，3个卷积层的滤波器大小均为5*5，步长均为2*2，滤波器深度分别为64，128，256。全连接层使用sigmoid作为激活函数输出结果为一维标量。如图4所示，所述的生成器包含8个卷积层和8个转置卷积层。其中所有卷积层和转置卷积层的滤波器大小和移动步长都为5*5和2*2，8个卷积层的深度和8个转置卷积层的深度依次为：64，128，256，512，512，512,512,1024，512,512,512,512,256,128,64,1。噪声z由dropout操作产生，分别在转置卷积层的前三层进行，每个节点被保留的几率为50％。

利用以上步骤训练好的模型，输入新的待检测图片到生成器中，得到与之对应的检测和分割结果。在实际测试中，本发明的模型能够将虚警率控制在11.35％的同时，将召回率提高到88.46％，明显优于现有的检测、分割算法。

本发明的实施例还提供了一种计算机存储介质，其上存储有计算机程序。当所述计算机程序由处理器执行时，可以实现前述控制的方法。例如，该计算机存储介质为计算机可读存储介质。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。