一种基于深度神经网络的安检系统及方法与流程

本发明属于安检技术领域，具体涉及一种基于深度神经网络的安检系统及方法。

背景技术：

随着经济快速发展，高铁，飞机等已经成为了人们日常出行必不可少的交通工具，然而乘客有意或者无意地携带危险品乘坐交通工具却成了交通运输安全的最大威胁。x射线安检机对于危险品安全检测和保障交通运输工具运行安全方面有着重要的作用。但是传统的x射线安检机需要工作人员认真仔细地查看x射线行李图像来判别是否含有危险物品，装置智能化程度低，人工检查所需的成本较高，同时也可能会出现误判漏判情况，从而对人们的安全出行造成极大的威胁，甚至于酿成重大事故。

专利申请公布的“一种违禁品安检自动识别装置”(cn201710233696.6)将图像由rgb颜色空间转换到hsv颜色空间并复制三份，分为三种颜色进行识别，在优化图像质量后，将三种不同颜色识别后的图案与预存的相应颜色下违禁品模板并行处理，进行surf特征匹配，匹配率在55％以上则认为行李存在违禁品。

surf特征匹配主要是将x射线图像与预存的违禁品图像模板中的surf描述子数量进行匹配，只能识别出相同样式及颜色的物体，对于外形相似物品的检测准确率低(例如玩具手枪和真实枪的形状是一样的)，泛化能力差，类别分类不明确。对于行李物品中旋转，伸缩，变形的物体具有一定的检测能力，但是对于杂乱堆放的行李物品或者重叠在一起的物体难以进行准确的检测和区分。

专利申请公布的“一种x光安检机行李危险品快速自动检测报警装置及方法”(cn201610748757.8)，首先，采用高斯滤波法对图像去噪，其次，使用非线性增强方法进行图像增强和危险品图像分割，最后，对疑似危险品图像进行特征提取和特征分析，若发现危险品则圈出危险品并将图像数据通过网口传输到计算机并将其显示在液晶显示器上，选择设置发出声音和led灯的闪烁报警。

现有危险品检测技术采用图像处理技术，主要是根据物体颜色进行分割然后对图像物体特征提取分析，在分割的过程中对于不同材质的同一物体不能很好处理，例如：剪刀的尖端为蓝色特征，而把手通常为桔黄色特征，这样分割物体只得到了物体的局部特征导致物体准确率低且物体类别不明确，对于行李物品中旋转，伸缩，变形的物体检测准确率低，并且因为行李物品堆放杂乱，对重叠在一起的物体难以进行准确的检测。

随着人工智能技术的飞速发展，融入深度学习算法的智能化安检机系统将会大大提高安检装置的智能化程序，提高危险物品识别的准确率，同时还能有效减轻安检工作人员的压力，大大提升安检通道的通过效率，减少拥堵，最大程度上保障人们的交通与出行安全。

技术实现要素：

针对现有x射线行李检测技术中存在的物体检测定位准确率低，危险品类别不明确，检测过程智能化程度较低等问题，提出一种基于颜色分割和多平面深度神经网络的x射线智能安检装置和方法，解决日常行李包裹中携带物品的检测与识别问题。基于x射线图像的颜色特征分割并合成多平面的检测图像，建立深度神经网络检测模型，并运用大数据对常见物品进行特征训练与学习，实现检测器对旋转、伸缩和变形的物体的识别与分类。特别对于杂乱堆放、互相缠绕重叠在一起的行李物品进行细致的检测与甄别，深入学习其颜色、外形和纹理特征，以达到准确识别和分类的效果，提高危险物品识别的准确率，提升x射线安检过程的智能程度和安检通道的通过效率，减少拥堵，减轻安检人员的工作强度，最大程度地保障人们的交通出行安全。

为达到上述目的，本发明所述一种基于深度神经网络的安检系统包括x光成像模块、检测模型训练学习模块、物体识别模块和安全管理模块，所述x光成像模块的输出端和物体识别模块的输入端连接，物体识别模块和检测模型训练学习模块双向连接，物体识别模块的输出端和安全管理模块的输入端连接；所述x光成像模块用于得到物品的x图像视频序列，然后经过模数转换得到数字图片，并将得到的数字图片传递至物体识别模块；所述检测模型训练学习模块用于进行图片训练，得到学习模型，并将学习模型传递至物体识别模块；所述物体识别模块用于加载检测模型训练模块中的学习模型，并对物品进行分类与定位，将检测识别出的物体的种类和坐标信息传送到安全管理模块；所述安全管理模块中用于根据物体识别模块识输出的物体种类和坐标信息将物品输送至不同的物品运送通道中。

进一步的，还包括物体传输模块，物体传输模块包括物品进入通道、危险品输出通道和非危险品输出通道。

进一步的，安全管理模块包括信息管理模块、警示模块、行李控制模块和显示模块；其中，信息管理模块用于接收物体识别模块发送的物体分类与位置信息，并根据接收到的物体分类与位置信息判别物体是否为危险物品；报警模块用于报警；行李控制模块用于将行李输送至物体传输模块中的不同通道中，显示模块用于显示x射线图片和检测结果。

一种基于深度神经网络的安检方法，首先利用图片训练出图像学习模型，在物品检测时，采集待检测物品的x图像视频序列，x图像视频序列经过模数转换得到数字图片；然后加载图像学习模型，利用图像学习模型识别数字图片中物品的种类和坐标；然后根据物品的种类和坐标将物品按照种类划分至不同的输送通道。

具体包括以下步骤：

步骤1、利用x射线发射装置透过物品后的成像，得到x图像视频序列，x图像视频序列经过模数转换得到数字图片；

步骤2、加载图像学习模型，通过图像学习模型来对数字图片进行物品的识别与定位；所述图像学习模型通过训练得到，具体训练方法为：首先采用卷积神经网络的卷积层，池化层和全连接层搭建物体训练模型；然后将前期获得的x射线图片按安检物体类别分类，并标注出物体的类别和坐标信息，其中坐标信息包括物体中心点的坐标x,y和目标框的长w和宽h；然后设置训练模型的参数，包括学习率，批处理尺度，学习策略等；然后将标注好的图片送入卷积神经网络中，用搭建好的卷积神经网络对标注过的图片进行训练，得到图像学习模型；然后验证图像学习模型，若达到预期效果，则将图像学习模型保存到模型学习库；若未达到预期效果，则调整卷积神经网络的参数，继续训练，直到图像学习模型达到预期效果。

步骤3、根据物品的种类和坐标将物品按照种类划分至不同的输送通道。

进一步的，步骤2中，用于训练学习模型的图片采用不同角度、位置的图片。

进一步的，将标注好的图片送入卷积神经网络中，用搭建好的卷积神经网络对标注过的图片进行训练，包括以下步骤：

s1、根据x射线背景特点将数字图片分割出待检测区域，将有颜色的区域为检测区域，所述数字图片为rgb图像；

s2、将数字图片的r通道、g通道和b通道取出来存放到将要输入卷积神经网络的图片前三位通道；再将rgb图像模型转换为hsv颜色模型，提取出hsv模型的h通道、s通道和v通道，并存放到输入图片的rgb后面三个通道；通过hsv颜色模型的色调h，纯度s以及明亮度v的值，将hsv模型分为有机物橙色，无机物蓝色，混合物绿色，及其他颜色分割成4个颜色通道，存放至输入图片的后四位通道，将10个通道的训练图片输入至卷积神经网络中；

s3、利用卷积运算对待检测区域进行特征提取，卷积后的特征表示为：

其中，n_in是张量的最后一维的维数。xk代表第k个输入矩阵。wk代表卷积核的第k个子卷积核矩阵。s(i,j)即卷积核w对应的输出矩阵的对应位置元素的值，b是偏执量；

s4、进行池化；

s5、使用softmax对每个目标框进行分类，得到分类之后的bbox；

s6、损失函数采用focalloss损失函数，

fl(pt)＝-αt(1-pt)^γlog(pt)

γ为focusingparameter，γ>＝0，1-pt称为调制系数，αt用于调节正样本和负样本的比例，前景类别使用αt时，对应的背景类别使用1-α，pt是不同类别的分类概率；

s7、选取置信度最高的bbox作为检测结果输出。

进一步的，s2中，当h的值在20°～60°,s的值在0.4～1.0,v的值在0.4～1.0时，为有机物橙色通道；当h的值100°～140°,s的值0.4～1.0,v的值0.4～1.0时，为混合物绿色通道；当h的值220°～260°,s的值0.4～1.0,v的值0.4～1.0时，为无机物蓝色通道；当h的值不在所述橙色通道、绿色通道和蓝色通道范围内时，s的值0.4～1.0,v的值0.4～1.0，为其他颜色通道。

进一步的，s5中，采用最大池化的方法进行池化。

进一步的，s7中，α＝0.25，γ＝2。

与现有技术相比，本发明至少具有以下有益的技术效果:

(1)基于x射线图像的颜色特征分割并合成多平面的检测图像，提高了物品识别的准确率。

(2)在物体检测算法中对不同物体图片进行分类，通过搭建模型，调整参数，利用卷积神经网络进行特征学习，可以明确的分类行李中的物体类别；

(3)在x射线图像检测中匕首，枪支，刀具等都具有蓝色特征，汽油，打火机，弹药等具有绿色特征，酒精，汽油具有桔黄色特征，危险品的颜色特征主要为蓝色，绿色和桔黄色，将物体几何特征，纹理特征和颜色特征有机结合，可以大大地降低玩具手枪，挂饰对危险品检测时干扰，提高物体检测与定位准确度。

(4)在x射线图像学习过程中采用大量(至少500张)不同角度、位置的图片数据进行学习，对于模糊，旋转，变形的物体也能够准确识别，有效地提高物体检测的准确率。

(5)物体分类明确：对于物体检测方面主要分为七种类别，易燃易爆类物体主要包括：煤油，液化石油气，固体酒精，压缩气体，鞭炮，礼花，烟花等；枪支弹药类物体主要包括：仿真枪，钢珠枪，电击枪，枪式打火机，子弹，空包弹，子弹夹等；爆炸物类物体主要包括：鳞片状tnt，塑料炸药，导火索，导爆管，定时爆竹装置等；管制刀具类物体主要包括：匕首，弹簧刀，三棱刀，锁刀等；危险物品类物体主要包括：剪刀，斧头，菜刀，弹弓等；警械类物品主要包括：电击棒，双节棍，手铐，烟雾弹等；

日常行包类物品主要包括：瓶装水，瓶装酒，液态酒精，玻璃胶等。物体分类明确，有效的辅助工作人员进行安全排查并且可以根据实际情况添加物体类别，提高安全性。

(6)针对不同场景要求下的安检系统，设置危险品种类的报警阈值，从模型训练库中选择合适的物体检测模型传输到物体检测模块中，具有一定的实时连动性。

附图说明

图1为是基于深度神经网络的x射线智能安检系统模块图；

图2为是物体识别检测模块和安全管理模块的流程图；

图3是模型训练模块的流程图；

图4是颜色分割算法流程图；

图5为x射线原图；

图6a为r平面图；

图6b为g平面图；

图6c为b平面图；

图7a为h平面图；

图7b为s平面图；

图7c为v平面图；

图8a为混合物平面图；

图8b为有机物平面图；

图8c为无机物平面图；

图8d为其他平面图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

参照图1，一种基于深度神经网络的安检系统包括物体传输模块、x光成像模块、检测模型训练学习模块、物体识别模块和安全管理模块。其工作流程为物体传送模块将行李物品传入x光成像机模块的检测范围内，x光成像机模块发出x射线，透过行李后的x射线成像，得到x图像视频序列，然后经过模数转换得到数字图像，加载安检物品学习模型，利用卷积神经网络进行物体分类与定位，输出图片识别的类别和位置发送到安全管理模块，由安全管理模块决定行李所流向的通道。

其中，物体传输模块主要是传送安检时的行李物品；

x光成像模块主要是利用x光发射管产生的x射线穿透通道中的行李物品得到x图像视频序列，然后经过模数转换得到数字图片；

检测模型训练学习模块用于采集并标注物体图片，然后送入卷积神级网络学习，最终得到学习好的物体检测的模型，并将训练好的模型传递至物体识别模块；

物体识别模块用于加载检测模型训练模块的x射线图片学习模型，利用内置的物体检测算法进行物体识别与定位，将检测识别出的物体种类和坐标信息传送到安全管理模块；

安全管理模块中的报警模块和行李控制模块用于根据物体识别模块识输出的物体种类和坐标信息确定是否需要报警及将物品传送到危险品通道。安全管理模块包括信息管理模块、警示模块、行李控制模块和显示模块。

其中，信息管理模块用于接收物体识别模块发送的物体分类与位置信息，并根据接收到的物体分类与位置信息判别被检测物体是否为危险物品，报警模块用于报警，行李控制模块用于将行李输送至物体传输模块中的不同通道中，显示模块用于显示安检机工作过程中的x射线图片和检测出来的结果图片。

本系统可以作为新型智能安检系统，也可将物体识别模块，模型训练模块，安全管理模块更新到现有的安检系统中，对现有的安检系统进行智能升级改造。

智能安检方法主要包含检测区域提取、图像平面处理、检测器学习训练和危险物品智能检测4个部分。

检测区域提取过程为：根据x射线背景特点分割出待检测区域，对于大量白色的候选检测区域直接丢弃，避免了后续耗时的识别操作，提高了物品检测的速度。

图片平面处理：预处理主要是将图片由rgb模型转换到hsv模型，hsv模型包括h、s和v三个颜色平面再通过色调h将图片再分割出橙色、绿色、蓝色和其他颜色四个平面；

通常输入卷积神经网络的图片是由rgb颜色模型表示,由r、g、b3个颜色平面组成。本发明中除了这3个颜色平面外，增加了预处理阶段获得的h、s、v颜色平面，以及经过色彩分割后生成的橙色、绿色、蓝色和其他颜色共10个颜色平面，经过平面数据融合处理后，输入卷积神经网络进行目标识别。

检测器学习训练：智能安检系统采用大量不同角度、位置的x射线物体图片，对采集获得的x射线图像进行分类与标注，标注物体的种类及坐标，并且按8:2的比例将其分为学习图片集与测试图片集，根据采集获得的x射线图像的原始图片生成算法所需的.xml标注格式(包括物体类别、大小及其在x射线图像中的坐标位置等)。

搭建学习模型并且调整合适参数，通过卷积神经网络进行物体几何特征，纹理特征和颜色特征学习，保存学习模型，然后将训练好的x射线物体学习模型通过网络通信接口传送到物体识别模块。行李物品由传输模块传送到x光成像模块，x射线发射装置透过行李后的成像，得到x图像视频序列，x图像视频序列经过模数转换得到数字图片，加载x射线学习模型，将检测到的物体种类和坐标通过通信接口传到安全管理模块，根据安全管理模块设置的报警策略和置信度阈值判定系统是否报警及是否传送到危险品通道，置信度阈值可根据安检需要自己设置，阈值设为百分之70，若物体检测置信度大于阈值则报警。

在原有安检系统的基础上更新物体检测模块并将通过网络通信接口传到安检机，采用x射线学习模型将物体的种类及坐标信息通过通信接口输出到已有的安检屏幕中，设置危险品的报警阈值，若检测到危险品则暂停物体传送带。

参照图3，检测器学习训练包括以下步骤：

步骤1、采用卷积神经网络的卷积层，池化层和全连接层搭建物体训练模型。

步骤2、将x射线图片库中的图片按安检物体类别分类，并人工标注出图片中物体的类别和坐标信息。

步骤3、设置训练模型的参数，参数包括学习率，批处理尺度，学习策略等。

步骤4、将标注好的图片送入卷积神经网络中。

步骤5、采用搭建好的卷积神经网络对标注好的图片进行训练，得到学习模型。

步骤6、学习模型验证，若达到预期效果，则将学习模型保存到模型学习库；若未达到预期效果，则调整卷积神经网络的参数，继续训练，直到学习模型达到预期效果。物体检测的map(meanaverageprecision)，若值达到百分之80，则可达到预期效果。

步骤4包括以下步骤：

步骤4.1检测区域提取

根据x射线背景特点分割出待检测区域，对于大量空白背景的候选检测区域直接丢弃，有颜色的区域为检测区域，避免了后续耗时的识别操作，提高了物品检测的速度。

步骤4.2图像平面处理

将输入的hsv根据色调，纯度，明亮度的取值范围分为有机物橙色通道，无机物蓝色通道，混合物绿色通道及其他颜色的通道。

当h的值在20°～60°,s的值在0.4～1.0,v的值在0.4～1.0时，为有机物橙色通道；当h的值100°～140°,s的值0.4～1.0,v的值0.4～1.0时，为混合物绿色通道；当h的值220°～260°,s的值0.4～1.0,v的值0.4～1.0时，为无机物蓝色通道；当h的值不在所述橙色通道、绿色通道和蓝色通道范围内时，s的值0.4～1.0,v的值0.4～1.0，为其他颜色通道。

步骤4.3将图片的r,g,b通道取出来存放到将要输入卷积神经网络的图片前三位通道，再将rgb图像模型转换为hsv颜色模型，提取出hsv模型的h,s,v三个通道存放到输入图片的rgb后面三个通道，通过hsv色调，纯度，明亮度的不同取值范围，将图片分为有机物橙色，无机物蓝色，混合物绿色，及其他颜色分割成4个颜色通道，存放至输入图片的后四位通道，将10个通道的训练图片输入至卷积神经网络中。

检测模型训练学习模块基于x射线图像的颜色特征分割图像，合成集r、g、b、h、s、v和材质信息于一体的多平面检测图像，提高了检测物品识别的准确率。

步骤5包括以下步骤：

步骤5.1.利用卷积运算对待检测区域进行特征提取

输入图片大小416*416，通道为10，使用3*3和1*1的卷积层进行卷积运算。卷积后的特征表示

其中，n_in是张量的最后一维的维数。xk代表第k个输入矩阵。wk代表卷积核的第k个子卷积核矩阵。s(i,j)即卷积核w对应的输出矩阵的对应位置元素的值，b表示偏执量。

步骤5.2.池化：

采用最大池化的方法，即对2*2的池化区域选取最大值作为特征值，核步长为1。

步骤5.3.使用softmax对每个bbox进行分类；

步骤5.4.损失函数采用focalloss损失函数

fl(pt)＝-αt(1-pt)^γlog(pt)

γ称作focusingparameter，γ>＝0，(1-pt)称为调制系数，αt用于调节positive和negative的比例，前景类别使用αt时，对应的背景类别使用1-α，pt为不同类别的分类概率；当α＝0.25，γ＝2时效果最好。α用于调节positive和negative的比例，前景类别使用时α，对应的背景类别使用1-α，pt是不同类别的分类概率。

步骤5.5.采用局部最大值的方法，即选取置信度最高的bbox(包含物体的矩形区域)作为检测结果输出，即被检测物体的位置信息。其中，bbox信息包含5个数据值，分别是x,y,w,h,和confidence。其中x,y是指当前格子预测得到的物体的boundingbox的中心位置的坐标。w,h是指当前格子预测得到的物体的boundingbox的宽度和高度，confidence是指预测物体的置信度。

为便于理解，给出了图片示意图，其中图5为灰度化后的x射线图、图6a为x射线图的r平面图，图6b为g平面图；图6c为x射线图的b平面图；图7a为x射线图的h平面图；图7b为x射线图的s平面图；图7c为x射线图的v平面图；图8a为x射线图的混合物平面图；图8b为x射线图的有机物平面图；图8c为x射线图的无机物平面图；x射线图的其他平面图。

参照图2，安检系统工作包括以下步骤：

第一步:设置不同物体的报警阈值。

第一步：通过物体传输模块的传送带传入行李物品。

第二步：x光成像模块发出x射线，透过行李的x射线成像得到x图像视频序列。

第三步：经过模数转换得到行李物品的数字图片。

第四步：加载模型训练模块的x射线图像学习模型。

第五步：利用学习模型对物体进行分类与定位。

第六步：输出图片中的物体种类及坐标信息并发送到安全管理模块。

第七步：由安全管理模块的报警模块决定是否报警及行李控制模块决定行李流向的通道。本发明的技术主要是采用深度学习进行物体识别和定位，在物体特征学习过程中将物体的几何特征，纹理特征与x射线图像中物体颜色有机结合。采用大量不同角度和不同位置的图片数据进行学习，不仅可以很好的检测识别模糊，旋转，变形的图像，而且可以实时将训练好的模型更新到一系列安检机中。在管理模块中，管理员可以根据物体的危险程度设定物体种类阈值，类别及坐标。基于深度学习的智能安检系统主要将传统安检系统中的人工判别危险品改进为依靠深度学习来辅助安检人员工作的流程，大大地减少人工成本，使得安检系统更加智能化。

在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。