异物检测方法、安检设备及具有存储功能的装置与流程

本申请涉及安检技术领域，特别是涉及一种异物检测方法、安检设备及具有存储功能的装置。

背景技术：

利用毫米波技术对人体进行检测是一种比较有效的检测手段。目前的检测方法一般是由发射天线阵列对检测对象辐射毫米波信号，接收天线阵列接受反射回来的毫米波，然后得到一组回波数据。在检测时，先对回波数据进行成像处理，然后再使用目标检测算法对图片进行异物检测。在这个过程中，不仅需要耗费时间，还会损失被扫描对象的空间信息。此外，异物检测的准确度严重依赖于成像和图片处理的技术。

技术实现要素：

本申请主要提供一种异物检测方法、安检设备及具有存储功能的装置，能够实现更快速准确的异物检测。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种异物检测方法，包括：获取被检对象反射的毫米波信号；将反射的毫米波信号输入三维异物识别网络，并获取三维异物识别网络的识别结果，以检测被检对象是否携带异物；其中，三维异物识别网络是预先训练好的三维卷积神经网络。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种安检设备，包括：相互连接的接收天线和处理器；处理器利用接收天线获取被检对象反射的毫米波信号，并执行程序以实现如上所述的异物检测方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种具有存储功能的装置，存储有指令，该指令被执行时实现如上所述的异物检测方法。

本申请的有益效果是：区别于现有技术的情况，本申请的实施例中，在获取被检对象反射的毫米波信号后，直接将反射的毫米波信号输入预先训练好的三维异物识别网络中，即可以获取三维异物识别网络的识别结果，实现检测被检对象是否携带异物的目的，不需要进行成像处理和对图片的特征提取和目标检测，从而可以最大限度保留被检对象的空间结构信息和细节信息，实现更快速准确的检测。

附图说明

图1是本申请异物检测方法第一实施例的流程示意图；

图2是本申请异物检测方法应用于一种人体安检仪的场景示意图；

图3是本申请异物检测方法第二实施例的流程示意图；

图4是利用3d卷积核进行特征提取的示意图；

图5是图3中步骤s131的具体流程示意图；

图6是利用同一3d卷积核对多个通道的数据进行特征提取的示意图；

图7是图3中步骤s132的具体流程示意图；

图8是本申请异物检测方法第三实施例的流程示意图；

图9是本申请安检设备一实施例的结构示意图；

图10是本申请具有存储功能的装置一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，本申请异物检测方法第一实施例包括：

s12：获取被检对象反射的毫米波信号。

其中，被检对象可以是人体，也可以是物体。由于毫米波(例如太赫兹波)的电磁辐射功率小，因此人体安检中广泛采用毫米波人体安检仪进行安检。本申请的实施例中被检对象以人体为例进行说明。

若被检对象携带有异物，例如金属刀具、粉末或液体等违禁物品，由于不同材料的异物对毫米波的吸收程度不同，且异物与人体皮肤或衣物对毫米波的吸收程度也不同，因此被检对象反射的毫米波信号可以反映被检对象是否携带异物。

可选地，如图1所示，步骤s12之前，还包括：

s11：向被检对象发射毫米波信号。

在接收被检对象反射的回波信号，即反射的毫米波信号前，需要先对被检对象发射毫米波信号。

具体地，在一个应用例中，结合图2所示，人体安检仪可以如图2所示的圆柱形安检仪，该圆柱形安检仪设置有扫描天线阵列，扫描天线阵列11包括发射天线阵列和接收天线阵列，发射天线阵列包括多个发射天线，接收天线阵列包括多个接收天线，各发射天线和各接收天线一一对应，以发送毫米波发射信号和接收回波信号。在需要对人体a进行安检时，可以控制扫描天线阵列旋转，旋转过程中，发射天线阵列向人体a发射毫米波信号，接收天线阵列接收人体a反射的毫米波信号(即回波信号)。

其中，针对每个被检对象的一次扫描结果，接收到的被检对象反射的毫米波信号可以保存为一个多维矩阵。例如，由发射天线阵列对检测对象辐射毫米波信号，接收天线阵列接受反射回来的毫米波信号，对每一个被扫描对象，其反射回来的毫米波信号可以保存得到一个250*415*96的矩阵。

s13：将反射的毫米波信号输入三维异物识别网络，并获取三维异物识别网络的识别结果，以检测被检对象是否携带异物。

其中，该三维异物识别网络是预先训练好的三维卷积神经网络，该三维卷积神经网络可以根据输入的毫米波信号直接进行异物识别，其识别结果可以直接显示被检对象是否携带异物。

具体地，在一个应用例中，获取被检对象反射的毫米波信号后，由于该毫米波信号中具有反映被检对象是否携带有异物的信息，将该毫米波信号输入预先训练好的三维异物识别网络中，该三维异物识别网络即可对输入的该毫米波信号进行处理，识别出该毫米波信号中是否携带有异物的特征信息，若该毫米波信号中携带有异物的特征信息，则其输出的识别结果中将显示被检对象携带有异物，否则显示被检对象未携带异物。此外，在其他应用例中，该三维异物识别网络还可以同时识别出异物的位置，并在识别结果中同时输出异物的位置，例如在识别结果中显示异物位于被检对象的腰部等。

本实施例中，在获取被检对象反射的毫米波信号后，直接将反射的毫米波信号输入预先训练好的三维异物识别网络中，即可以获取三维异物识别网络的识别结果，实现检测被检对象是否携带异物的目的，不需要进行成像处理和对图片的特征提取和目标检测，从而可以最大限度保留被检对象的空间结构信息和细节信息，而且由于该三维异物识别网络是预先利用大量样本数据进行训练的三维卷积神经网络，其可以直接输出识别结果，进而有助于实现更快速准确的检测。

如图3所示，本申请异物检测方法第二实施例是在本申请异物检测方法第一实施例的基础上，进一步限定步骤s13包括：

s131：对反射的毫米波信号进行特征提取，以获得被检对象的至少一种特征信息。

其中，该反射的毫米波信号中携带有被检对象的轮廓，被检对象携带的物品的轮廓、材质等多种特征信息。该三维异物识别网络具有特征提取层，可以对输入的毫米波信号进行特征提取，其可以提前至少一种特征信息，例如材质特征。

可选地，在提取特征时，可以采用3d卷积核进行特征提取。

具体地，可以利用至少一个三维空间卷积核对反射的毫米波信号进行特征提取，以获得被检对象的至少一种特征信息。例如图4所示，每个被检对象反射的毫米波信号可以形成一个多维矩阵401(如250*415*96的三维矩阵)，每个三维空间卷积核(如3*3*3的卷积核)的卷积框402可以依次从左到右、从上到下和从前到后滑过整个矩阵401，在没有填充以及步长为1的情况下，会得到一个248*413*94的矩阵403，即一种特征信息。

一个卷积核使用一套权值以便“扫视”矩阵每一处时以同样的方式抽取特征，最终得到的是一种特征。采用多个卷积核可以抽取多种特征，从而可以达到提取被检对象至少一种特征信息的目的。

可选地，在提取特征之前，获取的毫米波信号可能具有多个通道的数据，此时针对每个通道，可以利用相同的3d卷积核进行特征提取。具体如图5所示，步骤s131包括：

s1311：利用同一三维空间卷积核对反射的毫米波信号的不同通道数据进行特征提取，以获得不同通道的特征信息。

该反射的毫米波信号可以包括横坐标梯度、纵坐标梯度等不同通道数据。该三维异物识别网络在特征提取层(如卷积层)之前，还可以包括通道提取层，该通道提取层先从反射的毫米波信号中提取出不同通道的数据，然后再将不同通道的数据依次输入特征提取层中进行特征提取。

s1312：将不同通道的特征信息进行合成，以得到该三维空间卷积核对应的被检对象的特征信息。

具体地，在一个应用例中，结合图6所示，该反射的毫米波信号中可以提取出三个通道的数据，如图6中三个矩阵601、602和603，针对三个矩阵数据，可以利用同一3d卷积核604对每个矩阵进行特征提取，即利用具有相同权值的3d卷积核的卷积框依次从左到右、从上到下和从前到后滑过每个矩阵，进而获得三个通道对应的三个特征信息。由于每个3d卷积核只能得到被检对象的一个特征信息，当得到三个通道的三个特征信息后，可以将三个特征信息进行合成，例如直接将三个特征信息进行叠加，即将三个特征信息中相同位置的元素相加之后，即可以得到该3d卷积核对应的被检对象的特征信息(特征矩阵610)。当然，在其他应用例中，对不同通道的特征信息进行合成时，也可以进行加权叠加或直接求和后加偏置数据等方式进行合成。

在对反射的毫米波信号进行特征提取前，还可以先进行下采样，减少数据量后再进行特征提取，从而可以减少特征提取的数据处理量，加快特征提取速度，最终加快异物识别速度。

s132：将该至少一种特征信息进行分类，以获取识别结果。

该三维异物识别网络还包括分类器，该分类器是预先训练好的用于对输入的特征信息进行分类以区分被检对象是否携带异物。该分类器可以是线性分类器。每个分类器可以区分被检对象是否携带有某种特定种类的异物，该三维异物识别网络可以包括多个分类器，以区分被检对象是否携带有多种异物。

具体地，获取一种特征信息后，例如获取特征矩阵后，将其输入分类器中，该分类器即可以对该特征信息进行分类，以区分该特征信息中是否包括异物的特征信息，例如金属刀具的特征信息，若该特征信息中包括异物的特征信息，则输出的识别结果中该被检对象携带有异物，同时还可以在识别结果中输出该异物的类型。

可选地，每个分类器中可以预先设置有预设异物特征信息，分类时将输入的特征信息与该预设异物特征信息进行比对，即可以进行分类。具体如图7所示，步骤s132包括：

s1321：将该至少一种特性信息与预设异物特征信息进行比对。

其中，该预设异物特征信息可以是在训练或学习分类器时，采集得到的异物特征信息样本，也可以是在训练或学习分类器过程中总结或学习得到的异物特征信息。该预设异物特征信息包括金属刀具、陶瓷刀具、打火机、酒精、粉末等多种违禁物品的特征信息，或者多种违禁物品放置于人体不同部位时采集的特征信息。

具体地，在一个应用例中，当将提取的被检对象的至少一种特征信息输入分类器后，分类器可以将输入的特征信息与预设异物特征信息进行比对，若输入的特征信息中包括预设异物特征信息，或者部分特征信息与该预设异物特征信息一致或者差异在容许误差范围内时，则表示该至少一种特征信息与预设异物特征信息相匹配，否则二者不匹配。

若该至少一种特征信息与预设异物特征信息相匹配，则执行步骤s1322，否则执行步骤s1323。

s1322：将被检对象划分为携带有异物，并输出被检对象携带有异物的识别结果。

s1323：将被检对象划分为未携带异物，并输出被检对象未携带异物的识别结果。

具体地，若输入分类器的至少一种特征信息与预设异物特征信息相匹配，则该分类器会将被检对象划分为携带有异物，该三维异物识别网络会输出被检对象携带有异物的识别结果；否则，分类器将被检对象划分为未携带异物，该三维异物识别网络会输出被检对象未携带异物的识别结果。

可选地，在被检对象被划分为携带有异物的情况下，该三维异物识别网络还可以识别出异物的位置。具体如图7所示，步骤s1322之后，还包括：

s1324：识别异物的位置，以获取异物的空间位置信息。

异物的空间位置信息可以是异物与被检对象的相对空间位置信息，例如异物在被检对象的大臂内侧等。

具体地，在分类器将被检对象划分为携带有异物时，表示输入该分类器的特征信息与预设异物特征信息相匹配，此时，可以根据该特征信息中与预设异物特征信息一致或者二者差异在容许误差范围内的部分特征信息对应的空间特征信息(如空间位置信息)，识别得到该被检对象携带的异物的位置，以得到异物的空间位置信息。例如，分类器在进行分类时，该预设异物特征信息中即包括有异物的位置信息，分类器在对输入的特征信息进行分类时，可以同时识别异物的位置。

当然，在其他实施例中，也可以根据该特征信息中与预设异物特征信息一致或者二者差异在容许误差范围内的部分特征信息，获取被检对象反射的毫米波信号中与该部分特征信息对应的数据，以得到该毫米波信号中对应的数据的空间位置数据，进而得到异物的空间位置信息。

s1325：在识别结果中输出异物的空间位置信息。

具体地，在得到异物的空间位置信息后，在三维异物识别网络输出的识别结果中，可以同时输出该异物的空间位置信息。例如，识别结果中可以包括：被检对象的小臂内侧携带有陶瓷刀具。

其中，该三维异物识别网络的识别结果可以采用文字、语音或者图像的方式呈现。

本实施例中，利用预先训练好的三维异物识别网络对反射的毫米波信号进行特征提取和分类，即可以获取被检对象是否携带有异物的识别结果，若携带有异物，还可以直接得出该异物的位置，不需要进行成像处理和对图片的特征提取和目标检测，从而可以最大限度保留被检对象的空间结构信息和细节信息，而且由于该三维异物识别网络是预先利用大量样本数据进行训练的三维卷积神经网络，其可以直接输出识别结果，进而有助于实现更快速准确的检测。

如图8所示，本申请异物检测方法第三实施例是在本申请异物检测方法第一实施例的基础上，进一步限定步骤s11之前，还包括：

s101：采集多个被检对象携带及不携带异物的样本数据。

其中，样本数据中，该多个被检对象包括不同性别的人体，该被检对象携带异物包括至少一种类型，例如被检对象一次可以携带一种或多种异物；该被检对象携带的异物的位置每次也可以不同，例如本次将异物放置在腰部，下次将异物放置在小臂。

s102：利用样本数据训练得到三维异物识别网络。

在利用三维异物识别网络进行异物识别前，需要先对该三维异物识别网络进行训练学习，以得到该三维异物识别网络采用的识别模型的参数，例如3d卷积核的权重值以及分类器的参数等。

具体地，在对该三维异物识别网络进行训练前，需要先采集训练所需的样本数据，此时可以采集多个被检对象携带及不携带异物的样本数据，将该样本数据输入到随机初始化后的三维异物识别网络后，即可以对该三维异物识别网络进行训练，例如利用在线bp(backpropagation，反向传播)算法进行训练，最终训练得到识别准确率符合要求(如90％以上)的三维异物识别网络。

在其他实施例中，在运用该三维异物识别网络对输入的特征信息进行识别过程中，也可以根据识别结果和真实结果的反馈实时训练调整该三维异物识别网络的模型参数，以不断完善该三维异物识别网络，提高异物识别的准确性。

如图9所示，本申请一种安检设备一实施例中，安检设备80包括：相互连接的接收天线801和处理器802。

该接收天线801可以是接收天线阵列，包括有多个接收天线单元，还可以包括有开关阵列，每个接收天线单元连接有开关阵列中的一个开关，该开关阵列可以控制接收天线801的工作状态，以用于接收被检对象反射的毫米波信号。

该处理器802可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该处理器802利用接收天线801获取被检对象反射的毫米波信号，并执行程序以实现如本申请异物检测方法第一至第三实施例中任一实施例或其不冲突的组合所提供的方法。

可选地，该安检设备80进一步包括：与处理器802连接的发射天线803，用于向被检对象发射毫米波信号。

该发射天线803可以是发射天线阵列，发射天线阵列包括多个发射天线单元，各发射天线单元和各接收天线单元一一对应，以发送毫米波发射信号和接收回波信号。

在其他实施例中，该安检设备80还可以包括存储器804，用于存储处理器802所需的数据和程序指令。

该存储器804可以是安检设备80的内部存储单元，例如安检设备80的硬盘或内存。存储器804也可以是安检设备80的外部存储设备，例如安检设备80上配备的插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)等。进一步地，存储器804还可以既包括安检设备80的内部存储单元，也包括外部存储设备。存储器804还可以用于暂时地存储已经输出或者将要输出的数据。

本领域技术人员可以理解，图9仅仅是安检设备80的示例，并不构成对安检设备80的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如安检设备还可以包括输入输出设备、网络接入设备、总线等。

本实施例中，安检设备在获取被检对象反射的毫米波信号后，直接将反射的毫米波信号输入预先训练好的三维异物识别网络中，即可以获取三维异物识别网络的识别结果，实现检测被检对象是否携带异物的目的，不需要进行成像处理和对图片的特征提取和目标检测，从而可以最大限度保留被检对象的空间结构信息和细节信息，而且由于该三维异物识别网络是预先利用大量样本数据进行训练的三维卷积神经网络，其可以直接输出识别结果，进而有助于实现更快速准确的检测。

如图10所示，本申请具有存储功能的装置一实施例中，具有存储功能的装置90内部存储有指令901，该指令901被执行时实现如本申请异物检测方法第一至第三实施例中任一实施例或其不冲突的组合所提供的方法。

该具有存储功能的装置90具体可以为u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等可以存储程序指令的介质，或者也可以为存储有该程序指令的服务器，该服务器可将存储的程序指令发送给其他设备运行，或者也可以自运行该存储的程序指令。

在一实施例中，具有存储功能的装置90还可以为如图9所示的存储器。

本实施例中，具有存储功能的装置内部存储的指令被执行时，通过获取被检对象反射的毫米波信号，可以直接将反射的毫米波信号输入预先训练好的三维异物识别网络中，即可以获取三维异物识别网络的识别结果，实现检测被检对象是否携带异物的目的，不需要进行成像处理和对图片的特征提取和目标检测，从而可以最大限度保留被检对象的空间结构信息和细节信息，而且由于该三维异物识别网络是预先利用大量样本数据进行训练的三维卷积神经网络，其可以直接输出识别结果，进而有助于实现更快速准确的检测。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。