一种基于双能X光安检机的违禁品识别方法及装置与流程

本发明属于计算机技术领域，尤其涉及一种基于双能x光安检机的违禁品识别方法及装置。

背景技术：

x光安检机常设于机场、车站、地铁等人流较大的公共场所，被用来检查箱包等随行物品中是否有携带违禁品，如枪支、管制刀具、易燃易爆品等。x光安检机可分为单能x光安检机和双能x光安检机，双能x光安检机与单能x光安检机相比，具有更高的穿透力，并且具有更清晰的成像效果和更加丰富的色彩，更加有利于安检员对物品的判断。因此，双能安检机在机场、车站、地铁等安全性要求较严格的场所时使用较多。

传统的违禁品识别方法是由安检员对x光安检机图像进行观察识别，判断出随行包裹中是否存在违禁品，但是由于安检员专业水平差异和长时间观察会导致注意力下降而引起违禁品误识和漏识情况也时有发生。

近年来，随着深度学习技术的兴起，且深度学习技术相较于人工识别来说具有更高的识别准确率，因此现有技术已经引入了通过训练后的神经网络来识别违禁品。然而在神经网络的训练过程中，输入样本通常采用的是原始的x光安检图像即rgb图像，由于rgb图像不能很好地表达出违禁品的语义信息，因此造成训练后的神经网络也不能具备很好的识别效果，使得对违禁品的误识别率高。

技术实现要素：

有鉴于此，本发明实施例提供了一种基于双能x光安检机的违禁品识别方法及装置，以解决现有技术中违禁品的误识别率高的问题。

本发明实施例的第一方面提供了一种基于双能x光安检机的违禁品识别方法，包括：

获取带标注信息的多通道图像集合，所述多通道图像集合包括hls图像、等效原子序数图像及x射线接收能量图像，所述标注信息包括违禁品的位置信息和类别信息；

将所述多通道图像集合输入到卷积神经网络进行训练；

利用训练完成后的卷积神经网络对待检测图像进行识别，输出违禁品的位置和类别。

本发明实施例的第二方面提供了一种基于双能x光安检机的违禁品识别装置，包括：

图像集合获取模块，用于获取带标注信息的多通道图像集合，所述多通道图像集合包括hls图像、等效原子序数图像及x射线接收能量图像，所述标注信息包括违禁品的位置信息和类别信息；

训练模块，用于将所述多通道图像集合输入到卷积神经网络进行训练；

识别模块，用于利用训练完成后的卷积神经网络对待检测图像进行识别，输出违禁品的位置和类别。

本发明实施例的第三方面提供了一种安检设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述方法的步骤。

本发明实施例与现有技术相比存在的有益效果是：通过采用将带有违禁品的位置和类别标注信息的多通道图像集合作为卷积神经网络的输入，其中所述多通道图像集合包括hls图像、等效原子序数图像及x射线接收能量图像，由于hls图像相较于rgb图像，更能表示出物品的类别和轮廓信息，等效原子序数图像可有效表示物品的物质组成成分，而x射线接收能量图像可视为与渗透率等效，能够有效区分图像的前景和背景，因此经过训练之后的卷积神经网络能够具有更低的违禁品误识别率，采用经过训练的卷积神经网络识别待检测图像时，可提高违禁品的识别准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于双能x光安检机的违禁品识别方法的流程示意图；

图2是本发明实施例提供的多通道图像集合的形成示意图；

图3是本发明实施例提供的利用训练完成后的卷积神经网络进行违禁品识别的效果示意图；

图4是本发明实施例提供的又一种基于双能x光安检机的违禁品识别方法的流程示意图；

图5是本发明实施例提供的一种基于双能x光安检机的违禁品识别装置的示意图；

图6是本发明实施例提供的一种安检设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1为本实施例提供的一种基于双能x光安检机的违禁品识别方法的流程示意图，包括以下步骤s101-s103：

s101：获取带标注信息的多通道图像集合，所述多通道图像集合包括hls图像、等效原子序数图像及x射线接收能量图像，所述标注信息包括违禁品的位置信息和类别信息。

所述多通道图像集合的获取方式，可通过获取安检图像，并对该安检图像进行处理，得到所述多通道图像集合。其中，安检图像是指用户携带的物品经过双能x光安检机时，双能x光安检机扫描用户携带的物品所生成的图像，现有的安检图像通常采用的是rgb图像。所谓rgb图像，是指图像中的每个像素点的值由三个分量即r、g和b三个通道上的值所决定。所述hls图像，包括三个通道的图像，即色相h(hue)分量图像、亮度l(lightness)分量图像和饱和度s(saturation)分量图像。

所述hls图像的获取方式，可利用获取到的安检图像进行变换得到。其中，h分量图像表示物体的颜色信息，由于现有的安检相关标准规定，安检图像需将有机物显示为橙色、无机物显示为蓝色、混合物显示为绿色，因此h分量图像可用于表示物体的类别信息；而l分量图像和s分量图像可表示物体的边界和轮廓等图像的语义信息。

所述等效原子序数序数图像，可用于表示物质组成成分。通常来说，有机物的等效原子序数小于10，无机物的等效原子序数大于24。而所述x射线接收能量图像可视为与渗透率等效，能够有效区分图像的前景和背景，因而在训练时，卷积神经网络可直接从等效原子序数序数图像及x射线接收能量图像这两个分量数据上获得检测目标的相关信息，提取到相关特征。

需要说明的是，所述等效原子序数图像和所述x射线接收能量图像的获取方式，可以按照安检机成像原理对安检图像进行逆变换得到，也可以直接由双能x光安检机的x射线接收模块直接获取得到。其中，所述双能x光安检机成像原理，是指安检图像是由等效原子序数和接收到的x射线能量计算得到的。

图2为多通道图像集合的生成示意图，即获取安检图像，经过变换得到对应的hls图像，经过逆变换得到等效原子序数图像和x射线接收能量图像，hls图像、等效原子序数图像和x射线接收能量图像组合在一起，即可得到多通道图像集合。

所述违禁品的位置信息是指违禁品在图像中的位置坐标信息，类别信息是指违禁品所属类别，如管制刀具、易燃易爆物品、金属工具、液体等。

s102：将所述多通道图像集合输入到卷积神经网络进行训练。

进一步地，所述卷积神经网络包括基础网络和目标检测网络；其中，所述基础网络为resnet50网络，所述目标检测网络为u-net网络。

所述卷积神经网络，可包括基础网络和目标检测网络。其中，所述基础网络用于目标特征的提取，可采用resnet50网络，还可采用squeezenet网络构建成seresnet50网络作为基础网络。而所述目标检测网络，则可采用u-net网络，u-net网络由下采样单元、上采样单元及相同尺度下特征图跨层连接单元组成。

需要说明的是，在卷积神经网络的训练过程中，带违禁品位置和类别标注的多通道图像集合将作为所述基础网络的输入，所述基础网络将输出提取到的特征图，而提取到的特征图则被作为目标检测网络的输入，最终目标检测网络将输出违禁品的位置和类别预测概率。

在结束对卷积神经网络的训练之后，将模型参数保存，以便在下次使用时，可直接加载模型参数，即可使用训练完成后的卷积神经网络进行违禁品识别。

s103：利用训练完成后的卷积神经网络对待检测图像进行识别，输出违禁品的位置和类别。

所述待检测图像，是指需要检测是否有违禁品以及违禁品所在位置和所属类别的图像，其通常为没有标注信息的安检图像。

进一步地，所述利用训练完成后的卷积神经网络对待检测图像进行识别，输出违禁品的位置和类别，包括以下步骤a1-a2：

a1.获取待检测图像，并对所述待检测图像进行处理，得到所述待检测图像的多通道图像集合；

a2.利用所述训练完成后的卷积神经网络对所述待检测图像的多通道图像集合进行识别，输出违禁品的位置和类别。

对所述待检测图像进行变换，即可得到对应的hls图像，以及对所述待检测图像进行逆变换，可得到对应的等效原子序数图像及x射线接收能量图像，进而得到所述待检测图像所对应的多通道图像集合。再使用训练完成后的卷积神经网络对所述待检测图像对应的多通道图像集合进行检测识别，即可得到违禁品的位置和类别，如图3所示，图3是本实施例提供的利用训练完成后的卷积神经网络进行违禁品识别的效果示意图，使用训练完成后的卷积神经网络对用户的背包进行识别，将违禁品的位置和类别标注出来。

本发明实施例中，通过采用将带有违禁品的位置和类别标注信息的多通道图像集合作为卷积神经网络的输入，其中所述多通道图像集合包括hls图像、等效原子序数图像及x射线接收能量图像，由于hls图像相较于rgb图像，更能表示出物品的类别和轮廓信息，等效原子序数图像可有效表示物品的物质组成成分，而x射线接收能量图像可视为与渗透率等效，能够有效区分图像的前景和背景，因此经过训练之后的卷积神经网络能够具有更低的违禁品误识别率，采用经过训练的卷积神经网络识别待检测图像时，可提高违禁品的识别准确率。

实施例二：

图4是本发明实施例提供的又一种基于x光双能安检机的违禁品识别方法的流程示意图，包括以下步骤s401-s404：

s401：获取多个带标注信息的安检图像，并将所述多个带标注信息的安检图像作为样本集进行划分，得到训练集、验证集和测试集。

所述标注信息包括违禁品的位置信息和类别信息。所述安检图像为包含违禁品的rgb图像，并对安检图像进行标注，即标注违禁品的位置和类别。在对安检图像进行标注时，可采用旋转、截取、色彩变换、模糊处理等数据增强方法，对安检图像进行处理，以使得训练后的卷积神经网络更具有通用性。

获取大量的带标注信息的安检图像作为样本集，并将所述样本集划分为训练集、验证集和测试集。其中，所述训练集是指用于卷积神经网络训练的样本集，所述验证集是指用于优化卷积神经网络的模型参数的样本集，而所述测试集则是指用于对优化后的卷积神经网络进行识别准确率测试的样本集。

s402：对所述训练集中带标注信息的安检图像进行处理，得到带标注信息的多通道图像集合。

其中，多通道图像集合包括hls图像、等效原子序数图像及x射线接收能量图像。

具体地，所述对所述训练集中带标注信息的安检图像进行处理，得到带标注信息的多通道图像集合，包括以下步骤b1-b2：

b1.对所述训练集中带标注信息的安检图像进行变换，得到与所述带标注信息的安检图像对应的hls图像；

其中，所述hls图像包括色相h分量图像、亮度l分量图像和饱和度s分量图像。

进一步地，对所述训练集中带标注信息的安检图像进行变换，得到与所述带标注信息的安检图像对应的hls图像，包括以下步骤c1-c2：

c1.获取所述带标注信息的安检图像中的每个像素点在rgb空间上红色r、绿色g和蓝色b三个通道的值；

c2.利用所述红色r、绿色g和蓝色b三个通道的值按照下式进行变换：

vmax＝max(r，g，b)

vmin＝min(r，g，b)

上式中，r、g和b分别表示像素点在红色r、绿色g和蓝色b三个通道的值，vmax和vmin分别表示r、g和b三个值中最大的值和最小的值，l、s和h分别表示计算得到的hls图像中的l分量、s分量和h分量的值。

通过上述式子，可将rgb图像变换为hls图像，而hls图像又可以分为h分量图像、l分量图像和s分量图像。其中，h分量图像可表示物体的类别信息，l分量图像和s分量图像可表示物体的边界和轮廓等信息。

b2.对所述训练集中带标注信息的安检图像进行逆变换，得到与所述带标注信息的安检图像对应的等效原子序数图像及x射线接收能量图像。

所述等效原子序数图像及x射线接收能量图像，可根据安检机成像原理对安检图像进行逆变换得到，当然，也可以直接由安检机的x射线接收模块直接获取得到。其中，所述安检机成像原理，是指安检图像是由等效原子序数和接收到的x射线能量计算得到的。

s403：将所述多通道图像集合输入到卷积神经网络进行训练。

所述卷积神经网络，可包括基础网络和目标检测网络。其中，所述基础网络用于目标特征的提取，可采用resnet50网络，还可采用squeezenet网络构建成seresnet50网络作为基础网络。而所述目标检测网络，则可采用u-net网络，u-net网络由下采样单元、上采样单元及相同尺度下特征图跨层连接单元组成。

需要说明的是，在卷积神经网络的训练过程中，带违禁品位置和类别标注的多通道图像集合将作为所述基础网络的输入，所述基础网络将输出提取到的特征图，而提取到的特征图则被作为目标检测网络的输入，最终目标检测网络将输出违禁品的位置和类别预测概率。

进一步地，所述将所述多通道图像集合输入到卷积神经网络进行训练，包括以下步骤d1-d2：

d1.利用所述验证集对所述卷积神经网络进行参数优化；

d2.利用所述测试集对优化后的卷积神经网络进行测试，直到所述优化后的卷积神经网络的识别准确率达到阈值为止，停止训练，得到训练完成后的卷积神经网络。

所述阈值可以根据需要进行设定，在利用测试集对优化后的卷积神经网络进行测试、且所述优化后的卷积神经网络的识别准确率达到阈值之后，即可停止训练，并将模型参数保存下来。

s404：利用训练完成后的卷积神经网络对待检测图像进行识别，输出违禁品的位置和类别。

所述待检测图像，是指需要检测是否有违禁品以及违禁品所在位置和所属类别的图像，其通常为没有标注信息的安检图像。

进一步地，所述利用训练完成后的卷积神经网络对待检测图像进行识别，输出违禁品的位置和类别，包括：

获取待检测图像，并对所述待检测图像进行处理，得到所述待检测图像的多通道图像集合；

利用所述训练完成后的卷积神经网络对所述待检测图像的多通道图像集合进行识别，输出违禁品的位置和类别。

对所述待检测图像进行变换，即可得到对应的hls图像，以及对所述待检测图像进行逆变换，可得到对应的等效原子序数图像及x射线接收能量图像，进而得到所述待检测图像所对应的多通道图像集合。再使用训练完成后的卷积神经网络对所述待检测图像对应的多通道图像集合进行检测识别，即可得到违禁品的位置和类别，如图3所示，图3是本实施例提供的利用训练完成后的卷积神经网络进行违禁品识别的效果示意图，使用训练完成后的卷积神经网络对用户的背包进行识别，将违禁品的位置和类别标注出来。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

实施例三：

图5是本发明实施例提供的一种基于双能x光安检机的违禁品识别装置的示意图，该装置包括图像集合获取模块51、训练模块52和识别模块53，其中：

所述图像集合获取模块51，用于获取带标注信息的多通道图像集合，所述多通道图像集合包括hls图像、等效原子序数图像及x射线接收能量图像，所述标注信息包括违禁品的位置信息和类别信息；

所述训练模块52，用于将所述多通道图像集合输入到卷积神经网络进行训练；

所述识别模块53，用于利用训练完成后的卷积神经网络对待检测图像进行识别，输出违禁品的位置和类别。

优选地，所述装置还包括安检图像获取模块54，用于获取多个带标注信息的安检图像，并将所述多个带标注信息的安检图像作为样本集进行划分，得到训练集、验证集和测试集；

进一步地，所述图像集合获取模块51具体用于：对所述训练集中带标注信息的安检图像进行处理，得到带标注信息的多通道图像集合。

更进一步地，所述图像集合获取模块51包括：

变换单元511，用于对所述训练集中带标注信息的安检图像进行变换，得到与所述带标注信息的安检图像对应的hls图像；

逆变换单元512，用于对所述训练集中带标注信息的安检图像进行逆变换，得到与所述带标注信息的安检图像对应的等效原子序数图像及x射线接收能量图像。

优选地，所述hls图像包括色相h分量图像、亮度l分量图像和饱和度s分量图像，

所述变换单元511具体用于：

获取所述带标注信息的安检图像中的每个像素点在rgb空间上红色r、绿色g和蓝色b三个通道的值；

利用所述红色r、绿色g和蓝色b三个通道的值按照下式进行变换：

vmax＝max(r，g，b)

vmin＝min(r，g，b)

上式中，r、g和b分别表示像素点在红色r、绿色g和蓝色b三个通道的值，vmax和vmin分别表示r、g和b三个值中最大的值和最小的值，l、s和h分别表示计算得到的hls图像中的l分量、s分量和h分量的值。

可选地，所述训练模块52包括：

参数优化单元521，用于利用所述验证集对所述卷积神经网络进行参数优化；

测试单元522，用于利用所述测试集对优化后的卷积神经网络进行测试，直到所述优化后的卷积神经网络的识别准确率达到阈值为止，停止训练，得到训练完成后的卷积神经网络。

进一步地，所述识别模块53包括：

待检测图像获取单元531，用于获取待检测图像，并对所述待检测图像进行处理，得到所述待检测图像的多通道图像集合；

识别单元532，用于利用所述训练完成后的卷积神经网络对所述待检测图像的多通道图像集合进行识别，输出违禁品的位置和类别。

实施例四：

图6是本发明一实施例提供的安检设备的示意图。如图6所示，该实施例的安检设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如基于双能x光安检机的违禁品识别程序，以及gpu显卡63。所述处理器60执行所述计算机程序62时实现上述各个基于双能x光安检机的违禁品识别方法实施例中的步骤，例如图1所示的步骤s101至s103。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块51至53的功能。

示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述安检设备6中的执行过程。例如，所述计算机程序62可以被分割成图像集合获取模块、训练模块、识别模块，各模块具体功能如下：

图像集合获取模块，用于获取带标注信息的多通道图像集合，所述多通道图像集合包括hls图像、等效原子序数图像及x射线接收能量图像，所述标注信息包括违禁品的位置信息和类别信息；

训练模块，用于将所述多通道图像集合输入到卷积神经网络进行训练；

识别模块，用于利用训练完成后的卷积神经网络对待检测图像进行识别，输出违禁品的位置和类别。

所述安检设备6可以是桌上型计算机及云端服务器等计算设备。所述安检设备可包括，但不仅限于，处理器60、存储器61以及gpu显卡63。本领域技术人员可以理解，图6仅仅是安检设备6的示例，并不构成对安检设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述安检设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器60可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器61可以是所述安检设备6的内部存储单元，例如安检设备6的硬盘或内存。所述存储器61也可以是所述安检设备6的外部存储设备，例如所述安检设备6上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器61还可以既包括所述安检设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述安检设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。