一种基于X射线图像的智能危险品检测方法及系统与流程

本发明属于人工智能与计算机图形学领域，具体涉及一种基于x射线图像的智能危险品检测方法及系统。

背景技术：

基于x光的安检机广泛应用于机场、火车站、地铁站、汽车站、政府机关大楼、大使馆、会议中心、会展中心、酒店、商场、大型活动、邮局、学校、物流行业、工业检测等。在安检行业中，普遍采用x光对箱包、行李进行检测，x射线安检仪借助于输送带将被检查行李送入x射线检查通道而完成检查；安检时，x射线机发出x射线，x射线透过被检箱包后，在x射线探测箱上形成x射线透视图，人工观察透视图即可分辨出危险品。

然而，目前安检行业存在安检视频需要人工逐一查看的问题，稍有不慎就会漏掉危险品，效率不高。同时，人工检查会极大地限制包裹通过的速度，从而造成人流拥堵等情况。在物流行业中，运输安全主要依赖物流收派员的鉴别，这也导致相当多安全生产事故的发生，因此一种危险品图像检测算法非常有利于降低人工重复劳动的强度。

目前基于x光的自动检测方法，均存在如下不足之处：(1)对x光图像的针对性优化不足，对x光图像的语义利用率低下，导致模型性能较差，难以用于实际生产。(2)只能识别少数种类的物体，对于增加物品类别和数据集扩充十分繁琐，与实际生活中使用需求不符。(3)对预设的阈值和参数十分敏感，模型泛化性能差，对一些随机噪声和颜色变化存在较为明显的反应，实际性能表现不稳定。

技术实现要素：

发明目的：本发明提供一种基于x射线图像的智能危险品检测方法及系统，针对x光图像特点，增加多种数据增强方法，并改进损失函数和非极大抑制函数，有效改善了模型性能，实现对x光图像危险品的实时检测。

发明内容：本发明所述的一种基于x射线图像的智能危险品检测方法，包括以下步骤：

(1)读取输入的x光图像为m*n*3的浮点张量,并将其大小重置为300*300*3的张量tinit，并减去tave后生成tinput，检查是否属于训练状态，若是则转到步骤(2)，否则转到步骤(3)；

(2)对tinput进行图像增强预处理，并替换原tinput为处理后的浮点张量；

(3)将tinput依次在神经网络十一个卷积神经网络块中进行传播，进行不同维度的特征抽取，得到一系列的特征图fm；

(4)在得到的特征图fm中抽取其中六层的特征图fmclassify，然后在特征图的每个点上生成若干默认框db；

(5)对每个特征图进行卷积计算得到默认框的类别置信度box_conf和位置偏移量loc_offset；

(6)对所有默认框的box_conf进行降序排序，取大于0.5的所有默认框得到dbselected；

(7)对每张图像的dbselected与真实框按照匹配策略执行匹配，若其交并比大于0.5则认为是正样本，反之则为负样本，检查是否处于训练状态，若是则转到步骤(8)，否则转到步骤(9)；

(8)对所有图像中的dbselected根据损失函数计算损失值，并根据反向传播算法和设定学习率对网络参数进行更新；

(9)将所有的dbselected进行非极大抑制筛选，得到最终结果框dbresult。

进一步地，步骤(1)所述的tave是数据集上全部图像的三个颜色通道的均值。

进一步地，步骤(2)所述图像增强预处理描述如下：

随机90度双向翻转，坐标变换由以下公式给出：

随机180度翻转，坐标变换公式如下：

以上的公式中xmin，ymin分别表示标注框的左下角的横坐标和纵坐标，xmax，ymax分别表示标注框右上角的横坐标和纵坐标；然后进行随机对比度变化和随机裁剪和缩放。

进一步地，步骤(7)所述的匹配规则如下：

对于图片中每个真实框，找到与其交并比最大的默认框，与其进行匹配，以保证每个真实框一定与某个先验框匹配；

对于剩余的未匹配默认框，若与某个真实框的交并比大于0.5，那么该默认框也与这个真实框进行匹配。

进一步地，步骤(7)所述损失函数描述如下：

整个损失函数由两部分组成，x是匹配结果的三维矩阵，c是神经网络输出置信度的三维矩阵，lloc是位置损失函数，lconf是置信损失函数，其中α是位置损失与置信损失的平衡权重项，取值为1，n是在执行所述权利要求3的匹配策略后与真实框相匹配的默认框个数；

在置信损失函数中pos是所有的正样本，neg是所有的负样本，是第i个默认框和第j个真实框对于危险品类别p是否匹配的指示变量，取值为1时表示匹配，取值为0表示不匹配，表示神经网络对类别p输出的置信度，权重项β＝0.25；

在位置损失函数中，仅计算正样本所造成的损失，预测框的位置信息，是真实框的位置信息，cx,cy是检测框的左下角的横坐标与纵坐标，w,h分别是检测框的宽度和高度。

进一步地，所述步骤(9)通过以下公式实现：

其中，si是对每个类别的概率矩阵，σ是权重项，bi是第i个默认框，m是当前类别中置信度最高的默认框。

本发明还提供一种基于x射线图像的智能危险品检测系统，包括x光安检机，流媒体服务器，gpu服务器和监控报警终端；x光安检机对物体发出x射线，并根据射线透过率，生成x光图像视频流，并传输至监控报警终端和所流媒体服务器；流媒体服务器对x光视频流进行编码和压缩后通过网络传送至gpu服务器；gpu服务器对视频流进行解码后基于x射线图像的智能危险品检测方法进行预测，生成结果元组，并传输给报警终端；报警终端获取x光图像视频流和结果元组并显示。

进一步地，检测系统还包括远程传输服务器，将视频流传到云端并从云端获取返回结果元组。

有益效果：与现有技术相比，本发明的有益效果：本发明增加了创新的数据增强方法和改进的损失函数以及改进的非极大抑制方法；在目标检测算法中充分考虑到x光图像中物体位置和形态的不确定性和重叠的情况，使用了针对性的数据增强技术，有效地提升了准确率，有效地克服了过拟合现象；为了解决正负样本的不平衡问题，我们改进了损失函数，提升了困难样本挖掘能力，提升了准确率和收敛速度；为了解决重叠目标一定程度上遗漏的问题，我们改进了非极大抑制方法，对密集目标有一定的改进效果；本发明还基于目标检测算法搭建了检测系统，系统包括拍照通信预测存储报警等模块，能实现实时拍照实时预测的功能。

附图说明

图1为基于x射线图像的智能危险品检测方法的流程图；

图2为基于x射线图像的智能危险品检测方法所使用的网络结构图；

图3为基于x射线图像的智能危险品检测系统报警终端界面示意图；

图4为基于x射线图像的智能危险品检测系统架构图；

图5为于x射线图像的智能危险品检测系统包含远程服务器的架构图；

图6为使用改进后损失函数和原损失函数的提升对比图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

x光图像和一般图像有所不同，x射线是一种可以穿透木材、纸板、皮革等不透明物体的电磁波。安检仪能根据物体对x射线的吸收程度，在荧屏上呈现不同颜色的影像。一般来说，x光成像具有以下特性：角度决定形状，距离决定形状，亮度决定密度，颜色表示成分。在颜色模式下、有机物显示为不同的橙色和黄色、无机物显示深浅不同的绿色、高密度物品显示为黑色和深红色。

实际上安检人员在检查物品时主要依靠颜色和层次分析两个方面来识别可疑物品。颜色分析即通过物品的成分组成来推断出大致的物体属性，同时再通过层次分析大致勾勒出物体的轮廓，结合实际经验即可推断出物体的类别。与一般物体最大的不同则体现在x光图像具有穿透性，而且包裹的摆放形态很大程度影响了成像效果。穿透性会导致在一个目标框中可能同时存在多个类别的物体或是多个物体交叉的情况，此时对于神经网络的特征提取将变得十分困难。这要求卷积神经网络必须能提取更高层的图像语义，对模型整体性能挑战非常大。因此在模型改进和数据预处理过程中要充分考虑x光图像的这些特点。

具体如图1，图2所示，本发明设计了一种基于x射线图像的智能危险品检测方法，用于检测x光图像中的危险品，实际应用中，具体包括如下步骤：

(1)读取输入的x光图像为m*n*3的浮点张量,并将其大小重置为300*300*3的张量tinit，并减去tave后生成tinput，检查是否属于训练状态，若是则转到步骤(2)，否则转到步骤(3)。tave是数据集上全部图像的三个颜色通道(r,g,b)的均值。

(2)对tinput进行图像增强预处理，并替换原tinput为处理后的浮点张量。

随机90度双向翻转，坐标变换由以下公式给出：

随机180度翻转，坐标变换公式如下：

随机对比度变化；其他常用的目标检测增强方法，包括但不限于随机镜像，随机裁剪，随机缩放。

(3)将tinput依次在神经网络十一个卷积神经网络块(b1-b11)中进行传播，进行不同维度的特征抽取，得到一系列的特征图fm。

(4)在得到的特征图fm中抽取其中六层的特征图fmclassify，然后在特征图的每个点上生成若干默认框db。

(5)对每个特征图进行卷积计算得到默认框的类别置信度box_conf和位置偏移量loc_offset。

(6)对所有默认框的box_conf进行降序排序，取大于0.5的所有默认框得到dbselected。

(7)对每张图像的dbselected与真实框按照匹配策略执行匹配，若其交并比大于0.5则认为是正样本，反之则为负样本，检查是否处于训练状态，若是则转到步骤(8)，否则转到步骤(9)。

对于图片中每个真实框，找到与其交并比最大的默认框，与其进行匹配，以保证每个真实框一定与某个先验框匹配；

对于剩余的未匹配默认框，若与某个真实框的交并比大于0.5，那么该默认框也与这个真实框进行匹配。

(8)对所有图像中的dbselected根据损失函数计算损失值，并根据反向传播算法和设定学习率对网络参数进行更新。

损失函数描述如下：

整个损失函数由两部分组成，x是匹配结果的三维矩阵，c是神经网络输出置信度的三维矩阵，lloc是位置损失函数，lconf是置信损失函数，其中α是位置损失与置信损失的平衡权重项，取值为1，n是在执行所述权利要求3的匹配策略后与真实框相匹配的默认框个数。

在置信损失函数中pos是所有的正样本，neg是所有的负样本，是第i个默认框和第j个真实框对于危险品类别p是否匹配的指示变量，取值为1时表示匹配，取值为0表示不匹配，表示神经网络对类别p输出的置信度，权重项β＝0.25。

在位置损失函数中，仅计算正样本所造成的损失，预测框的位置信息，是真实框的位置信息，cx,cy是检测框的左下角的横坐标与纵坐标，w,h分别是检测框的宽度和高度。

反向传播算法为自适应矩估计算法，学习率初始值为0.001，batch_size设置为32，设定为每一万轮衰减50％。且在开始训练前使用预训练模型和迁移学习的方法，可提高模型收敛速度和准确率。

(9)将所有的dbselected进行非极大抑制筛选，得到最终结果框dbresult。。

非极大抑制方法由如下公式给出：

其中，si是对每个类别的概率矩阵，σ是权重项，这里取0.45，bi是第i个默认框，m是当前类别中置信度最高的默认框。危险品检测系统报警终端界面示意图如图3所示。

如图4所示，检测系统主要由四部分组成，第一部分是传统的x光安检机；x光安检机对物体发出x射线，并根据射线透过率，生成x光图像视频流，并传输至监控报警终端和所流媒体服务器；第二部分是流媒体服务器，对x光视频流进行编码和压缩后通过网络传送至gpu服务器，负责视频采集和回传；第三部分是本地gpu计算服务器，对视频流进行解码后基于x射线图像的智能危险品检测方法进行预测，生成结果元组，并传输给报警终端；第四部分是监控报警终端，获取x光图像视频流和结果元组并显示，负责显示回传画面和报警提醒功能。该系统针对长期使用需求的场景，例如火车站、机场、地铁站的场景，我们推荐使用本地搭建服务器的方式，这种方式具有一次投资长期使用的特点，成本较低速度较快，稳定和可靠性高。如图5所示为包含云端模块的检测系统。针对短期使用需求的场景，我们推荐使用云服务器的方式，这种方式具有部署灵活开销小的特点，成本较低。但对网络依赖程度较高。此系统除了包含上述四部分外，还包括远程传输服务器，负责将视频流传到云端并从云端获取返回结果元组。

构建实验硬件软件环境如下：

·cpu:intel(r)xeon(r)gold5118cpu@2.30ghz*2

·内存:16g

·gpu:nvidiageforcertx2080ti*2

·os:ubuntu16.04lts

·python3.7.4

·pytorch1.3.0

·cuda10.2

使用adam优化器，设置初始学习率为0.0001，并设置了在10000，20000,40000轮之后学习率衰减为原来的10％。最终模型在50000轮左右到达最优点。结果表明，对比原始模型，本发明在x光图像危险品检测上效果显著，如图6所示，模型的收敛速度和精度都有一定程度的提高，其中在测试集上的map由72.24％提升至80.11％，改进明显。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。