本公开涉及对辐射检查技术，具体涉及一种检查设备和检测行李物品中的枪支的方法。
背景技术：
枪支作为具有直接杀伤力、破坏力的器械，违法携带枪支行为具有很大的潜在危险性和社会隐患性，直接影响社会安定和人民群众生命财产安全。在民航、地铁以及轨道交通系统中每日客流量较大，现有的人工检测速度较慢且严重依赖工作人员，因此提高枪支检测系统的自动化程度和检测速度也是当今关注的重点问题。
目前缺乏检测枪支的有效手段。据研究，枪支主要是通过行李运送，辐射成像通过对货物、行李透视成像，达到无侵犯性检查的目的。这种技术已经在机场、车站、快递站点等场所广泛应用，是违禁品安检领域最为重要的手段。在小型物品机检查的过程中，虽然已经得到了行李内部图像，但由于物品种类千差万别，判图员经验参差不齐，危险品枪支出现概率又比较低，使得人工判断效果差强人意。
技术实现要素：
考虑到现有技术中的一个或多个问题，提出了一种检查设备及检查行李物品中枪支的方法。
在本公开的一个方面，提出了一种检测行李物品中的枪支的方法，包括步骤：对行李物品进行x射线检查，得到透射图像；利用训练的枪支检测神经网络确定所述透射图像中的多个候选区域；利用所述检测神经网络对所述多个候选区域进行分类，以确定所述透射图像中是否包含枪支。
根据本公开的实施例，计算各个候选区域中包含枪支的置信度，并且在所述置信度大于特定阈值的情况下判断所述候选区域中包括枪支。
根据本公开的实施例，在多个候选区域中都包括相同枪支的情况下，对各个候选区域中的枪支图像进行标注，并且融合所述多个候选区域中的枪支图像，以得到枪支的位置。
根据本公开的实施例，所述枪支检测神经网络是通过如下的操作训练的：建立枪支的样本透射图像；将局域建议网络(rpn)和卷积神经网络(cnn)的卷积层融合得到初始检测网络；利用样本透射图像对初始检测网络进行训练，得到枪支检测神经网络。
根据本公开的实施例，训练初始检测网络的步骤包括：在局域建议网络和卷积神经网络之间不共享卷积层数据的情况下，利用从样本透射图像中确定的多个样本候选区域调节初始检测网络；在局域建议网络和卷积神经网络共享卷积层数据的情况下，训练局域建议网络；保持局域建议网络和卷积神经网络自检的共享卷积层数据不变的情况下调节所述初始检测网络至收敛，得到枪支检测神经网络。
根据本公开的实施例，所述训练初始检测网络的步骤还包括：将多个样本候选区域中与人工标注的枪支的矩形框的重叠面积小于阈值的样本候选区域删除。
根据本公开的另一方面，提出了一种检查设备，包括：x射线检查系统，对行李物品进行x射线检查，得到透射图像；存储器，存储所述透射图像；处理器，配置为：利用训练的枪支检测神经网络确定所述透射图像中的多个候选区域；利用所述枪支检测神经网络对所述多个候选区域进行分类，以确定所述透射图像中是否包含枪支。
根据本公开的实施例，处理器配置为计算各个候选区域中包含枪支的置信度，并且在所述置信度大于特定阈值的情况下判断所述候选区域中包括枪支。
根据本公开的实施例，处理器配置为在多个候选区域中都包括相同枪支的情况下，对各个候选区域中的枪支图像进行标注，并且融合所述多个候选区域中的枪支图像，以得到枪支的位置。
根据本公开的实施例，所述存储器中存储有枪支的样本透射图像，所述处理器配置为通过如下操作训练得到所述枪支检测神经网络：将局域建议网络(rpn)和卷积神经网络(cnn)的卷积层融合得到初始检测网络；利用样本透射图像对初始检测网络进行训练，得到枪支检测神经网络。
利用上述方案，可以更为准确地确定行李物品中是否包含枪支。在其他的实施例中，通过上述的方法检查出枪支后，在图像中做出标注，提示判图员，从而降低人工判图的工作量。
附图说明
为了更好地理解本发明，将根据以下附图对本发明进行详细描述：
图1示出了根据本公开实施例的检查设备的结构示意图；
图2是描述如图1所述的检查设备中包括的计算设备的结构的示意图；
图3是描述根据本公开实施例的创建训练用数据库的过程的示意图；
图4是描述创建枪支检测网络模型的过程的示意图；
图5是详细描述根据本公开的实施例创建枪支检测网络模型的示意性流程图；
图6示出了根据本公开实施例的检测枪支的过程的示意性流程图；以及
图7示出了根据本公开实施例的检测到行李物品中的枪支的示意图。
具体实施方式
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的结构、材料或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
鉴于现有技术中的问题，本公开的实施例提出了一种检测行李物品中的枪支的方法。利用训练的枪支检测神经网络确定所述透射图像中的多个候选区域，然后利用所述枪支检测神经网络对所述多个候选区域进行分类，以确定所述透射图像中是否包含枪支。这样更为准确地检测到行李物品中是否包含枪支。
根据本公开的实施例提出的枪支自动技术涉及三个部分：1)建立枪支检测数据库，2)自动检测模型建立，3)枪支自动检测过程。具体来说，建立枪支检测数据库包括图像获取、图像预处理以及感兴趣区域提取三个部分，枪支自动检测主要包括图像预处理、判决以及对嫌疑区域标记三个部分。
在枪支检测模型建立之前，要建立枪支检测数据库，其中包含图像获取、图像预处理以及感兴趣区域提取三个部分。图像获取例如包括采集相当数量的小型物品机枪支图像，使图像数据库包含各个摆放形式、不同数量下的枪支图像。图像预处理例如具体涉及归一化处理。不同的扫描设备由于射线源的能量/剂量不同，探测器尺寸不同，所以得到的图像不尽相同，为减少这个差异，可以对图像归一化处理。此外，感兴趣区域提取涉及在扫描得到的灰度图像中，以枪支为单位，手工标注枪支位置，并给出枪支所处的坐标(x,y,w,h)，其中x和y表示枪支外接矩形框的左下顶点的坐标，w为宽，h为高。
自动检测模型建立过程是利用深度学习理论来建立的。例如，在本申请中，主要使用深度学习的理论来进行枪支检测，在计算机视觉领域中，神经网络的种类有很多，但是卷积神经网络(convolutionalneuralnetwoks，cnn)是应用最广泛的深度学习模型。本公开的实施例以cnn为实施例进行候选区域提取和cnn分类，其中候选区域提取采用的是区域建议网络(regionproposalnetworks，rpn)，实现端到端的网络进行枪支检测。
枪支检测过程涉及使用训练的cnn直接产生候选区域，并对其进行分类，即可得到该区域是否存在枪支。此外，对该候选区域存在枪支的具体位置进行回归，确定枪支所在的坐标，可以给出以矩形框形式标注的检测结果。
图1示出了根据本公开实施例的检查设备的结构示意图。如图1所示，根据本公开实施例的检查设备100包括x射线源110、探测器130、数据采集装置150、控制器140、和计算设备160，对诸如集装箱卡车之类的被检查物体120进行安全检查，例如判断其中是否包含了枪支。虽然在该实施例中，将探测器130和数据采集装置150分开描述，但是本领域的技术人员应该理解也可以将它们集成在一起称为x射线探测和数据采集设备。
根据一些实施例，上述的x射线源110可以是同位素，也可以是x光机或加速器等。x射线源110可以是单能，也可以是双能。这样，通过x射线源110和探测器150以及控制器140和计算设备160对被检查物体120进行透射扫描，得到探测数据。例如在被检查物体120行进过程中，操作人员借助于计算设备160的人机交互界面，通过控制器140发出指令，命令x射线源110发出射线，穿过被检查物体120后被探测器130和数据采集设备150接收，并且通过计算设备160对数据进行处理，可以获得透射图像，存储在存储器中，并且然后利用训练的枪支检测神经网络确定透射图像中的多个候选区域，同时利用枪支检测神经网络对多个候选区域进行分类，以确定所述透射图像中是否包含枪支。
图2示出了如图1所示的计算设备的结构示意图。如图2所示，探测器130探测的信号通过数据采集器采集，数据通过接口单元167和总线163存储在存储器161中。只读存储器(rom)162中存储有计算机数据处理器的配置信息以及程序。随机存取存储器(ram)163用于在处理器165工作过程中暂存各种数据。另外，存储器161中还存储有用于进行数据处理的计算机程序，例如图像处理程序、枪支识别卷积网络程序等等。内部总线163连接上述的存储器161、只读存储器162、随机存取存储器163、输入装置164、处理器165、显示装置166和接口单元167。
在用户通过诸如键盘和鼠标之类的输入装置164输入的操作命令后，计算机程序的指令代码命令处理器165执行预定的数据处理算法，在得到数据处理结果之后，将其显示在诸如lcd显示器之类的显示装置167上，或者直接以诸如打印之类硬拷贝的形式输出处理结果。此外计算机中的处理器165可以被配置为执行软件程序，计算各个候选区域中包含枪支的置信度，并且在所述置信度大于特定阈值的情况下判断所述候选区域中包括枪支。此外，处理器165可以被配置为执行软件程序来在多个候选区域中都包括相同枪支的情况下，对各个候选区域中的枪支图像进行标注，并且融合所述多个候选区域中的枪支图像，以得到枪支的位置。
根据本公开的实施例，在本公开中使用的枪支自动检测的方法主要是基于深度学习的理论，利用cnn网络进行训练，以获得检测模型。例如，利用卷积神经网络自动检测辐射图像中的枪支区域。在训练卷积网络之前，需要建立枪支检测数据库，对卷积网络进行训练。
图3是描述根据本公开实施例的创建训练用数据库的过程的示意图。如图3所示，建立枪支检测数据库主要分为图像采集、图像预处理以及感兴趣区域提取三个部分。
在步骤s310，获取样本图像。例如，采集相当数量的小型物品机枪支图像，使图像数据库包含各个摆放形式、不同数量下的枪支图像，获取枪支图像库
在步骤s320，对图像进行预处理。例如为了适用于各类小型物品机扫描设备，可以在获取图像时对图像进行归一化。具体而言，设原始二维图像信号为x，按照扫描设备物理参数，将x分辨率缩放到5mm/像素，并进行灰度拉伸，即可得到归一化图像
在步骤s330，提取感兴趣区域(roi，regionofinterest)。例如，检测
图4是描述创建枪支检测网络模型的过程的示意图。如图4所示，在本公开的实施例中，采用的是区域建议方法，通过使用rpn网络，将候选区域提取同cnn分类结合在一起，实现端到端的枪支检测网络的建立。在步骤s410，获取枪支的样本透射图像。例如从上述建立的枪支样本图像数据库中取得样本透射图像。在步骤s420，将局域建议网络(rpn)和卷积神经网络(cnn)的卷积层融合得到初始检测网络，然后在步骤s430，利用样本透射图像对初始检测网络进行训练，得到枪支检测神经网络。
根据本公开的实施例，本算法中使用rpn模块和cnn检测模块。训练方式有两种，其一是交替训练方式，其二为融合训练方式，融合训练方式同交替训练方式的区别在于，在反向回归过程中，两个网络共享层要将rpn网络损失要与cnn检测网络损失结合在一起。图5示出了交替训练方式的实例，交替训练方式的具体训练过程如下所述。
在步骤s510，进行初始化。首先将输入图像缩放到短边600像素以内的尺寸，利用预训练模型对rpn网络和cnn检测网络中的权重进行初始化，其中可见层和隐藏层的初始偏置为a,b，初始权值矩阵为w，偏置和权值矩阵的增量为δa,δb,δw。采用预训练模型初始化网络的优点，在于该模型在一定程度上接近最优，比随机初始化更省时间以及资源。
在步骤s520，提取候选区域。在cnn网络的最后一层所提取的特征图上，利用n*n的滑动窗口生成长度为m维度的全连接特征，在每一个滑窗中同感兴趣区域结合，利用不同的尺度和图像纵宽比生成候选区域
在步骤s530，正负样本标定。在提取候选区域后，要对候选区域进行正负样本标定，标定规则为：当候选区域的矩形框同真实值重叠部分大于0.7，认为其为正样本，当候选区域矩形框同真实值的重叠部分小于0.3，标定其为负样本，剩余丢弃，不进行训练使用。
在步骤s540，将得到的候选区域同所得的cnn检测网络结合，微调检测网络，在这一步，两个网络不共享卷积层数据。
在步骤书550，利用训练好的网络初始化rpn，训练rpn网络，在这步固定卷积层数据，仅仅微调属于rpn那部分网络层。在这一步，两个网络共享卷积层。
在步骤s560，保持共享卷积层不变，继续微调cnn检测网络，更新偏置和权值矩阵：
直至收敛，建立最终的枪支检测网络模型。其中ns为训练样本的个数，可见层和隐藏层的初始偏置为a,b，初始权值矩阵为w，偏置和权值矩阵的增量为δa,δb,δw，η为更新网络偏置和权值的学习率，取值范围在(0,1)之间。
图6示出了根据本公开实施例的检测枪支的过程的示意性流程图。如图6所示，枪支检测过程主要分为图像预处理和枪支检测两个部分。在步骤s610，利用如图1所示的检查系统对行李物品进行x射线检查，得到透射图像。例如在这一步还可以对图像进行预处理。通过前述的图像预处理方式对采集到的枪支图像信息进行预处理。例如为了适用于各类小型物品机扫描设备，可以在获取图像时对图像进行归一化。具体而言，设原始二维图像信号为x，按照扫描设备物理参数，将x分辨率缩放到5mm/像素，并进行灰度拉伸，即可得到归一化图像
然后在步骤s620，利用训练的枪支检测神经网络确定所述透射图像中的多个候选区域。例如，将所得的枪支预处理图像输入检测网络中，检测网络是模型建立网络的一个子集，在输入图像中生成多个候选区域。通常，检测得到的包含同一枪支的多个候选区域，并且候选区域的大小不相同。此外如果行李物品中包括多个枪支，则针对每个枪支都可以产生多个候选区域。
在步骤s630，利用枪支检测神经网络对所述多个候选区域进行分类，以确定所述透射图像中是否包含枪支。例如通过枪支检测神经网络对候选区域进行枪支分类，如果该区域枪支的置信度大于特定阈值，例如0.9，则认为该区域存在枪支。
图7示出了根据本公开实施例的检测到行李物品中的枪支的示意图。如图7所示，可以进行矩形框标定，最后将所有存在枪支的候选区域进行融合，得到最终的枪支位置。
上述实施例的枪支自动检测技术能够对小型物品机扫描图像进行枪支检测，可以避免传统方式的检测漏洞与人工判图效果较差的问题，对于打击违法携带枪支有重要意义。
以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了检查设备和检测行李物品中的枪支的方法的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(cd)、数字通用盘(dvd)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。
虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。