基于X射线安检设备的物品类别识别方法、装置及设备与流程

基于x射线安检设备的物品类别识别方法、装置及设备
技术领域
1.本发明涉及计算机视觉技术领域，特别是涉及一种基于x射线安检设备的物品类别识别方法、装置及设备。


背景技术：

2.一些场景中，需要对人员携带的物品进行识别。例如安检场景中，通常设置一些x射线安检设备，通过这些x射线安检设备来识别人员携带物品的类别，进而根据物品的类别，可以判断其是否携带了不允许携带的物品。
3.一些相关的识别方案通常包括：x射线安检设备发射x射线照射待识别物品，由于不同物品对x射线的吸收程度不同，不同物品在x射线安检设备的显示屏上呈现不同颜色。例如，食品、塑料等会呈现为橙色，书本、陶瓷等会呈现为绿色，金属会呈现为蓝色，等等。安检员可以根据x射线安检设备的显示屏显示的不同颜色的物品，凭经验确定该物品的类别。
4.然而，上述方案中，需要安检员凭经验人工识别物品的类别，耗费了较多人力，需要提供一种可以对物品类别进行自动识别的方法。


技术实现要素：

5.本发明实施例的目的在于提供一种基于x射线安检设备的物品类别识别方法、装置及设备，以实现对物品类别进行自动识别。具体技术方案如下：
6.为达到上述目的，本发明实施例提供了一种基于x射线安检设备的物品类别识别方法，包括：
7.获取待识别x射线图像；
8.将所述待识别x射线图像输入至预先训练的识别模型，得到所述识别模型输出的所述待识别x射线图像中包含的物品的类别信息；
9.其中，所述识别模型为以样本x射线图像为训练数据，以所述样本x射线图像变换得到的彩色图像的标注信息为监督，对预设结构的神经网络训练得到的。
10.可选的，所述待识别x射线图像包括：待识别高能x射线图像、待识别低能x射线图像、以及通过对所述待识别高能x射线图像和所述待识别低能x射线图像进行双能分辨得到的待识别原子序数图像；
11.所述样本x射线图像包括：样本高能x射线图像、样本低能x射线图像、以及通过对所述样本高能x射线图像和所述样本低能x射线图像进行双能分辨得到的样本原子序数图像。
12.可选的，采用如下步骤获取所述彩色图像：
13.获取针对同一场景采集的样本高能x射线图像和样本低能x射线图像，作为目标样本高能x射线图像和目标样本低能x射线图像；
14.将所述目标样本高能x射线图像和所述目标样本低能x射线图像进行双能分辨，得到目标样本原子序数图像；
15.将所述目标样本高能x射线图像和所述目标样本低能x射线图像进行灰度融合，得到灰度融合图像；
16.根据所述目标样本原子序数图像对所述灰度融合图像进行彩色化，得到彩色图像。
17.可选的，所述将所述目标样本高能x射线图像和所述目标样本低能x射线图像进行灰度融合，得到灰度融合图像，包括：
18.确定所述目标样本高能x射线图像和所述目标样本低能x射线图像中的匹配像素点对，所述匹配像素点对中包括所述目标样本高能x射线图像中的像素点和所述目标样本低能x射线图像中的像素点；
19.将每对匹配像素点对中的像素点的灰度值进行融合，得到灰度融合图像。
20.可选的，所述根据所述目标样本原子序数图像对所述灰度融合图像进行彩色化，得到彩色图像，包括：
21.根据所述目标样本原子序数图像中的原子序数，确定所述目标样本原子序数图像中包含的每种物品成分；
22.分别确定所述每种物品成分对应的颜色；
23.针对每种物品成分，确定该种物品成分映射至所述灰度融合图像中的区域，利用该种物品成分对应的颜色，对所述区域进行上色，得到彩色图像。
24.可选的，所述利用该种物品成分对应的颜色，对所述区域进行上色，得到彩色图像，包括：
25.根据所述区域的灰度值，确定该种物品成分对应的颜色的深浅程度；
26.根据所述颜色的深浅程度，对所述区域进行上色，得到彩色图像。
27.可选的，所述获取待识别x射线图像包括：
28.利用高能级x射线照射物品，得到待识别高能x射线图像；
29.利用低能级x射线照射所述物品，得到待识别低能x射线图像；
30.通过对所述待识别高能x射线图像和所述待识别低能x射线图像进行双能分辨，得到待识别原子序数图像。
31.为达到上述目的，本发明实施例还提供了一种基于x射线安检设备的物品类别识别装置，包括：
32.第一获取模块，用于获取待识别x射线图像；
33.识别模块，用于将所述待识别x射线图像输入至预先训练的识别模型，得到所述识别模型输出的所述待识别x射线图像中包含的物品的类别信息；其中，所述识别模型为以样本x射线图像为训练数据，以所述样本x射线图像变换得到的彩色图像的标注信息为监督，对预设结构的神经网络训练得到的。
34.可选的，所述待识别x射线图像包括：待识别高能x射线图像、待识别低能x射线图像、以及通过对所述待识别高能x射线图像和所述待识别低能x射线图像进行双能分辨得到的待识别原子序数图像；
35.所述样本x射线图像包括：样本高能x射线图像、样本低能x射线图像、以及通过对所述样本高能x射线图像和所述样本低能x射线图像进行双能分辨得到的样本原子序数图像。
36.可选的，所述装置还包括：
37.第二获取模块，用于获取针对同一场景采集的样本高能x射线图像和样本低能x射线图像，作为目标样本高能x射线图像和目标样本低能x射线图像；
38.双能分辨模块，用于将所述目标样本高能x射线图像和所述目标样本低能x射线图像进行双能分辨，得到目标样本原子序数图像；
39.融合模块，用于将所述目标样本高能x射线图像和所述目标样本低能x射线图像进行灰度融合，得到灰度融合图像；
40.彩色化模块，用于根据所述目标样本原子序数图像对所述灰度融合图像进行彩色化，得到彩色图像。
41.可选的，所述融合模块，具体用于：
42.确定所述目标样本高能x射线图像和所述目标样本低能x射线图像中的匹配像素点对，所述匹配像素点对中包括所述目标样本高能x射线图像中的像素点和所述目标样本低能x射线图像中的像素点；
43.将每对匹配像素点对中的像素点的灰度值进行融合，得到灰度融合图像。
44.可选的，所述彩色化模块，包括：
45.第一确定子模块，用于根据所述目标样本原子序数图像中的原子序数，确定所述目标样本原子序数图像中包含的每种物品成分；
46.第二确定子模块，用于分别确定所述每种物品成分对应的颜色；
47.上色子模块，用于针对每种物品成分，确定该种物品成分映射至所述灰度融合图像中的区域，利用该种物品成分对应的颜色，对所述区域进行上色，得到彩色图像。
48.可选的，所述上色子模块，具体用于：
49.根据所述区域的灰度值，确定该种物品成分对应的颜色的深浅程度；
50.根据所述颜色的深浅程度，对所述区域进行上色，得到彩色图像。
51.可选的，所述获取模块，具体用于：
52.利用高能级x射线照射物品，得到待识别高能x射线图像；
53.利用低能级x射线照射所述物品，得到待识别低能x射线图像；
54.通过对所述待识别高能x射线图像和所述待识别低能x射线图像进行双能分辨，得到待识别原子序数图像。
55.为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；
56.存储器，用于存放计算机程序；
57.处理器，用于执行存储器上所存放的程序时，实现上述任意一种基于x射线安检设备的物品类别识别方法。
58.应用本发明所示实施例，获取待识别x射线图像；将待识别x射线图像输入至预先训练的识别模型，得到识别模型输出的待识别x射线图像中包含的物品的类别信息；其中，识别模型为以样本x射线图像为训练数据，以样本x射线图像变换得到的彩色图像的标注信息为监督，对预设结构的神经网络训练得到的。可见，第一方面，本方案中，利用预先训练的识别模型对待识别x射线图像中的物品类别进行识别，实现了对物品类别进行自动识别；第二方面，本方案中，将样本x射线图像进行变换得到彩色图像，对该彩色图像进行标注得到标注信息，以该标注信息为监督训练得到识别模型，彩色图像的视觉效果比样本x射线图像
更好，因而相比于直接对样本x射线图像进行标注，对彩色图像进行标注得到的标注信息更准确，利用该标注信息训练得到的识别模型准确率更高。
59.当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
60.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
61.图1为本发明实施例提供的基于x射线安检设备的物品类别识别方法的第一种流程示意图；
62.图2为本发明实施例提供的一种神经网络的结构示意图；
63.图3为本发明实施例提供的一种神经网络的训练流程示意图；
64.图4为本发明实施例提供的基于x射线安检设备的物品类别识别方法的第二种流程示意图；
65.图5为本发明实施例提供的一种基于x射线安检设备的物品类别识别装置的结构示意图；
66.图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
67.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
68.为了达到上述目的，本发明实施例提供了一种基于x射线安检设备的物品类别识别方法、装置及设备，该方法及装置可以应用于各种电子设备，例如x射线安检设备，或者与x射线安检设备相连接的其他设备，具体不做限定。下面首先对该基于x射线安检设备的物品类别识别方法进行详细介绍。
69.图1为本发明实施例提供的基于x射线安检设备的物品类别识别方法的第一种流程示意图，包括：
70.s101：获取待识别x射线图像。
71.举例来说，本发明实施例可以应用于安检场景中，例如，火车站、机场、会展中心等各种安检场景。待识别x射线图像可以为x射线安检设备采集的图像。这些x射线安检设备可以分为发射高能级x射线的安检设备和发射低能级x射线的安检设备。其中，x射线的能量范围可以为：0.1kev(千电子伏特)至200kev，x射线的高能级与低能级为相对而言，高能级x射线的能量高于低能级x射线的能量，举例来说，高能级x射线的能量范围可以为100kev至200kev，低能级x射线的能量范围可以为0.1kev至10kev，具体高能级x射线的能量范围和低能级x射线的能量范围不做限定。s101中获取的待识别x射线图像，可以为利用高能级x射线
照射物品得到的高能x射线图像，或者也可以为利用低能级x射线照射物品得到的低能x射线图像，具体不做限定。
72.一种实施方式中，待识别x射线图像可以为多通道图像，其可以包括：待识别高能x射线图像、待识别低能x射线图像、通过对待识别高能x射线图像和待识别低能x射线图像进行双能分辨得到的待识别原子序数图像。
73.举例来说，可以利用高能级x射线照射物品，得到待识别高能x射线图像；利用低能级x射线照射所述物品，得到待识别低能x射线图像；通过对所述待识别高能x射线图像和所述待识别低能x射线图像进行双能分辨，得到待识别原子序数图像。
74.其中，高能x射线图像可以理解为：表达被照射物品对高能级x射线的吸收程度的图像，或者也可以理解为：表达被照射物品在高能级x射线下的衰减系数的图像。低能x射线图像可以理解为：表达被照射物品对低能级x射线的吸收程度的图像，或者也可以理解为：表达被照射物品在低能级x射线下的衰减系数的图像。
75.举例来说，可以预先建立双能分辨表，表中包含了高能x射线图像中像素点的像素值、低能x射线图像中像素点的像素值与原子序数三者之间的对应关系。上述待识别高能x射线图像和待识别低能x射线图像为照射同一物品得到的图像，这两种图像中的像素点之间可以存在一一对应的关系。以任意一个像素点为例来说，假设以待识别高能x射线图像中的像素点a1来说，像素点a1对应的待识别低能x射线图像中的像素点为a2，确定像素点a1的像素值和像素点a2的像素值，然后通过查找该双能分辨表确定像素点a1和像素点a2对应的原子序数。
76.本实施方式中，通过对高能x射线图像和低能x射线图像进行双能分辨得到的原子序数图像，这样，相比于将x射线图像转换成彩色图像，再通过彩色图像获取原子序数图像，减少了多重图像变换过程带来的信息损失。
77.s102：将待识别x射线图像输入至预先训练的识别模型，得到识别模型输出的待识别x射线图像中包含的物品的类别信息；识别模型为以样本x射线图像为训练数据，以样本x射线图像变换得到的彩色图像的标注信息为监督，对预设结构的神经网络训练得到的。
78.彩色图像可以为rgb(red green blue，红绿蓝)图像，彩色图像的具体形式不做限定。
79.上述一种实施方式中，待识别x射线图像为多通道图像，其包括：待识别高能x射线图像、待识别低能x射线图像和待识别原子序数图像，相比于单通道图像(这三种图像中的任意一种)来说，该多通道图像携带的信息更丰富，利用该识别模型对该多通道图像进行识别，准确率更高。
80.可以理解，识别模型的训练过程与使用过程的输入数据类型一致，这种实施方式中，训练过程中使用的样本图像也为多通道图像，其可以包括：样本高能x射线图像、样本低能x射线图像、以及通过对所述样本高能x射线图像和所述样本低能x射线图像进行双能分辨得到的样本原子序数图像。
81.待训练的神经网络与训练完成后得到的识别模型的结构是相同的，训练过程可以理解为对神经网络中的参数进行迭代调整的过程。神经网络及识别模型的具体结构不做限定。
82.举例来说，参考图2所示，该神经网络中可以包括卷积神经网络、以及分别与卷积
神经网络相连接的分类网络和回归网络。输入图像进入卷积神经网络进行卷积处理，卷积神经网络输出的特征图分别输入分类网络和回归网络，分类网络用于物品分类，分类网络输出物品的类别信息，回归网络用于坐标回归，回归网络输出物品的位置信息。
83.举例来说，分类网络可以为resnet(residual network，残差网络)，回归网络可以为线性回归网络，具体分类网络及回归网络不做限定。训练过程中，分类网络的损失函数可以为crossentropyloss(交叉熵损失函数)；回归网络的损失函数可以为mseloss(mean-squared loss，均方损失函数)。在随着训练次数增加，损失函数的值趋于稳定的情况下，可以判定神经网络训练完成。分类网络及回归网络的具体损失函数不做限定。
84.一种情况下，上述卷积神经网络的结构可以如下表1所示。假设输入图像的分辨率为224*224，利用该卷积神经网络得到特征图的过程可以包括：将分辨率为224*224的图像输入至卷积神经网络，经过一个卷积层得到输出图像的分辨率为32*224*224，之后经过一个最大池化层，得到输出图像的分辨率为32*112*112，此后，依次经过一个卷积层、一个最大池化层、三个卷积层、一个最大池化层、三个卷积层、一个最大池化层、五个卷积层、一个最大池化层、七个卷积层，得到输出图像的分辨率为1024*7*7，这些层级的filters(过滤器)、size/stride(尺寸/步长)及输出图像的分辨率参考表1中所示。
85.假设需要识别的物品的类别数量为5，预设框的数量为9，则表1中最后一个卷积层的过滤器的数量可以为9
×
(5+1+4)＝90，其中，1表示用1维数据表示前景背景分类，例如，可以用1表示像素点属于前景像素点，用0表示像素点为背景像素点，4表示用4维数据表示预设框的位置，例如，可以用预设框的长度、宽度以及预设框指定点(如中心点、左上角点、右下角点等等)的横坐标和纵坐标这4维数据表示预设框的位置，5表示需要检测的物品类别数量为5。预设框可以为根据需要识别的物品预先设定的矩形框，或者，预设框的形状也可以为其他形状，例如圆形、椭圆形，等等，预设框的具体形状不做限定，最后经过上述一个滤波器数量为90的卷积层，得到分辨率为90*7*7的特征图。
86.表1
87.[0088][0089]
在本发明实施例中，对神经网络进行训练时，以样本x射线图像变换得到的彩色图像的标注信息为监督。获取彩色图像的方式有多种，下面对获取彩色图像的多种方式进行举例说明：
[0090]
上述一种实施方式中，样本x射线图像为多通道图像，包括：样本高能x射线图像、样本低能x射线图像和样本原子序数图像，这种实施方式中，可以获取针对同一场景采集的样本高能x射线图像和样本低能x射线图像，作为目标样本高能x射线图像和目标样本低能x射线图像；将所述目标样本高能x射线图像和所述目标样本低能x射线图像进行双能分辨，得到目标样本原子序数图像；将所述目标样本高能x射线图像和所述目标样本低能x射线图像进行灰度融合，得到灰度融合图像；根据所述目标样本原子序数图像对所述灰度融合图像进行彩色化，得到彩色图像。
[0091]
一种情况下，根据所述目标样本原子序数图像对所述灰度融合图像进行彩色化，得到彩色图像，可以包括：根据所述目标样本原子序数图像中的原子序数，确定所述目标样本原子序数图像中包含的每种物品成分；分别确定所述每种物品成分对应的颜色；针对每种物品成分，确定该种物品成分映射至所述灰度融合图像中的区域，利用该种物品成分对应的颜色，对所述区域进行上色，得到彩色图像。
[0092]
举例来说，原子序数图像中每个像素点的像素值可以为该像素点对应的原子的原子序数。这样，可以根据样本原子序数图像中的原子序数，确定样本原子序数图像中包含的每种物品成分，如样本原子序数图像中某个像素点对应的原子序数为26，那么可以确定样
本原子序数图像中包含铁。针对每种物品成分，可以根据该种物品成分在原子序数图像中的区域，确定该种物品成分映射至灰度融合图像中的区域。可以利用铁对应的颜色，对该区域进行上色，得到彩色图像。
[0093]
一种实施方式中，可以直接利用该种物品成分对应的颜色，对区域进行上色，得到彩色图像。
[0094]
举例来说，若物品成分为金属，可以确定金属对应的颜色，确定金属映射至灰度融合图像中的区域，利用金属对应的颜色，对区域进行上色，得到彩色图像。例如，若金属对应的颜色为蓝色，那么可以对金属映射至灰度融合图像中的区域填充蓝色，得到彩色图像。
[0095]
或者，另一种实施方式中，利用该种物品成分对应的颜色，对区域进行上色，得到彩色图像，可以包括：根据区域的灰度值，确定该种物品成分对应的颜色的深浅程度；根据颜色的深浅程度，对区域进行上色，得到彩色图像。
[0096]
举例来说，若物品的厚度较大，则x射线穿透该物品的深度较小，对应至灰度融合图像中的灰度值较低，若物品的厚度较小，则x射线穿透该物品的深度较大，对应至灰度融合图像中的灰度值较高。也就是说，灰度融合图像中的灰度值越小，表示物品越厚。物品越厚，在灰度融合图像中对该物品上色时，物品的颜色越深。应用这种实施方式，得到的彩色图像能够通过颜色的深浅程度表达物品的厚度，视觉效果更佳。
[0097]
可见，应用这种实施方式，彩色图像通过不同颜色能够区分不同材质的物品，通过及颜色的深浅程度能够表达物品的厚度，视觉效果更佳。
[0098]
上述其他实施方式中，样本x射线图像为单通道图像，例如，样本高能x射线图像、或者样本低能x射线图像，这种实施方式中，可以根据样本高能x射线图像、或者样本低能x射线图像中表达的x射线穿透的深浅程度，确定相应的颜色。
[0099]
可以理解，x射线穿透不同物品的深浅程度是不同的，可以根据该深浅程度确定物品的类别，并基于该物品的类别确定相应的颜色。
[0100]
上述一种实施方式中，以多通道图像为训练数据，以彩色图像的标注信息为监督，对预设结构的神经网络进行训练得到识别模型，下面参考图3，对这种实施方式进行介绍：
[0101]
s301：获取针对同一场景采集的样本高能x射线图像和样本低能x射线图像，作为目标样本高能x射线图像和目标样本低能x射线图像；将目标样本高能x射线图像和目标样本低能x射线图像进行双能分辨，得到目标样本原子序数图像。
[0102]
上述目标样本高能x射线图像和目标样本低能x射线图像为照射同一物品得到的图像，这两种图像中的像素点之间可以存在一一对应的关系。
[0103]
举例来说，可以预先建立双能分辨表，表中包含了高能x射线图像中像素点的灰度值、低能x射线图像中像素点的灰度值与原子序数三者之间的对应关系。以任意一个像素点为例来说，假设以目标样本高能x射线图像中的像素点a1来说，像素点a1对应的目标样本低能x射线图像中的像素点为a2，确定像素点a1的像素值和像素点a2的像素值，然后通过查找该双能分辨表确定像素点a1和像素点a2对应的原子序数。
[0104]
s302：将目标样本高能x射线图像和目标样本低能x射线图像进行灰度融合，得到灰度融合图像。
[0105]
一种实施方式中，s302可以包括：确定目标样本高能x射线图像和目标样本低能x射线图像中的匹配像素点对，匹配像素点对中包括目标样本高能x射线图像中的像素点和
目标样本低能x射线图像中的像素点；将每对匹配像素点对中的像素点的灰度值进行融合，得到灰度融合图像。
[0106]
举例来说，匹配像素点对中可以包括目标样本高能x射线图像中的一个像素点和目标样本低能x射线图像中的一个像素点；或者，匹配像素点对中可以包括目标样本高能x射线图像中的两个像素点和目标样本低能x射线图像中的两个像素点，具体匹配像素点对中包含的像素点的数量不做限定。
[0107]
以匹配像素点对中包括目标样本高能x射线图像中的一个像素点和目标样本低能x射线图像中的一个像素点为例，可以针对目标样本高能x射线图像中的每个像素点，确定该像素点在目标样本低能x射线图像中相匹配的像素点，将该像素点及其在目标样本低能x射线图像中相匹配的像素点确定为匹配像素点对；将每对匹配像素点对中的像素点的灰度值进行融合，得到灰度融合图像。
[0108]
将每对匹配像素点对中的像素点的灰度值进行融合方式有多种，例如，可以计算每对匹配像素点对中的像素点的灰度值的均值，或者对每对匹配像素点对中的像素点的灰度值进行加权融合。加权融合可以理解为：对匹配像素点对中的各像素点分配权重，根据所分配的权重对各像素点的灰度值进行加权计算。
[0109]
以将每对匹配像素点对中包括两个像素点为例来说，可以根据如下算式，对每对匹配像素点对中的像素点的灰度值进行加权融合：
[0110]
融合灰度值＝灰度值a
×
权重1+灰度值b
×
权重2
[0111]
其中，融合灰度值表示灰度融合图像中像素点的灰度值，灰度值a表示目标样本高能x射线图像中像素点的灰度值，权重1表示目标样本高能x射线图像中像素点对应的权重，灰度值b表示目标样本低能x射线图像中对应的像素点的灰度值，权重2表示目标样本低能x射线图像中像素点对应的权重。
[0112]
若被x射线照射的物品较厚，那么该物品的高能x射线图像相比于该物品的低能x射线图像而言，物品轮廓的清晰度更高；若被x射线照射的物品较薄，那么该物品的低能x射线图像相比于该物品的高能x射线图像而言，物品轮廓的清晰度更高。在本实施方式中，对高能x射线图像和低能x射线图像进行灰度融合，使得不同薄厚程度的物品的轮廓都能够在融合图像中清晰地呈现，这样，在后续对图像进行标注的过程中，可以更清晰地划分不同物品的区域。
[0113]
s303：根据样本原子序数图像对灰度融合图像进行彩色化，得到彩色图像。
[0114]
一种情况下，s303可以包括：根据所述目标样本原子序数图像中的原子序数，确定所述目标样本原子序数图像中包含的每种物品成分；分别确定所述每种物品成分对应的颜色；针对每种物品成分，确定该种物品成分映射至所述灰度融合图像中的区域，利用该种物品成分对应的颜色，对所述区域进行上色，得到彩色图像。
[0115]
举例来说，原子序数图像中每个像素点的像素值可以为该像素点对应的原子的原子序数。这样，可以根据样本原子序数图像中的原子序数，确定样本原子序数图像中包含的每种物品成分，如样本原子序数图像中某个像素点对应的原子序数为26，那么可以确定样本原子序数图像中包含铁。针对每种物品成分，可以根据该种物品成分在原子序数图像中的区域，确定该种物品成分映射至灰度融合图像中的区域。可以利用铁对应的颜色，对该区域进行上色，得到彩色图像。
[0116]
一种实施方式中，可以直接利用该种物品成分对应的颜色，对区域进行上色，得到彩色图像。
[0117]
举例来说，若物品成分为金属，可以确定金属对应的颜色，确定金属映射至灰度融合图像中的区域，利用金属对应的颜色，对区域进行上色，得到彩色图像。例如，若金属对应的颜色为蓝色，那么可以对金属映射至灰度融合图像中的区域填充蓝色，得到彩色图像。
[0118]
或者，另一种实施方式中，利用该种物品成分对应的颜色，对区域进行上色，得到彩色图像，可以包括：根据区域的灰度值，确定该种物品成分对应的颜色的深浅程度；根据颜色的深浅程度，对区域进行上色，得到彩色图像。
[0119]
举例来说，若物品的厚度较大，则x射线穿透该物品的深度较小，对应至灰度融合图像中的灰度值较低，若物品的厚度较小，则x射线穿透该物品的深度较大，对应至灰度融合图像中的灰度值较高。也就是说，灰度融合图像中的灰度值越小，表示物品越厚。物品越厚，在灰度融合图像中对该物品上色时，物品的颜色越深。应用这种实施方式，得到的彩色图像能够通过颜色的深浅程度表达物品的厚度，视觉效果更佳。
[0120]
可见，应用这种实施方式，彩色图像通过不同颜色能够区分不同材质的物品，通过及颜色的深浅程度能够表达物品的厚度，视觉效果更佳。
[0121]
s304：获取彩色图像的标注信息。
[0122]
举例来说，可以在彩色图像上，对彩色图像中物品的位置及类别信息进行人工标注，得到标注信息。或者，也可以利用图像标注算法对彩色图像中物品的位置及类别信息进行标注，得到标注信息，本发明实施例对具体的图像标注算法不做限定。
[0123]
由于彩色图像是将目标样本高能x射线图像、目标样本低能x射线图像以及目标样本原子序数图像进行图像变换得到的，所以彩色图像中物品的位置和目标样本高能x射线图像、目标样本低能x射线图像以及目标样本原子序数图像中物品的位置是一一对应的。因此，彩色图像的标注信息可以适用于目标样本高能x射线图像、目标样本低能x射线图像以及目标样本原子序数图像。
[0124]
s305：以目标样本高能x射线图像、目标样本低能x射线图像、以及目标样本原子序数图像为训练数据，以彩色图像的标注信息为监督，对预设结构的神经网络进行训练，得到识别模型。
[0125]
应用本发明实施例，第一方面，利用预先训练的识别模型对待识别x射线图像中的物品类别进行识别，实现了对x射线安检设备照射物品的类别进行自动识别。
[0126]
第二方面，将样本x射线图像进行变换得到彩色图像，对该彩色图像进行标注得到标注信息，以该标注信息为监督训练得到识别模型，彩色图像的视觉效果比样本x射线图像更好，因而相比于直接对样本x射线图像进行标注，对彩色图像进行标注得到的标注信息更准确，利用该标注信息训练得到的识别模型准确率更高。
[0127]
第三方面，一种实施方式中，待识别x射线图像为多通道图像，其包括：待识别高能x射线图像、待识别低能x射线图像和待识别原子序数图像，相比于单通道图像(这三种图像中的任意一种)来说，该多通道图像携带的信息更丰富，利用该识别模型对该多通道图像进行识别，准确率更高。
[0128]
第四方面，一种实施方式中，通过对高能x射线图像和低能x射线图像进行双能分辨得到的原子序数图像，这样，相比于将x射线图像转换成彩色图像，再通过对彩色图像获
取原子序数图像，减少了多重图像变换过程带来的信息损失。
[0129]
第五方面，上述实施例中既可以将多通道图像变换得到彩色图像，又可以将单通道图像变换得到彩色图像，也就是说，本方案中，可以通过双能x射线安检设备同时采集高能x射线图像和低能x射线图像，也可以通过单能x射线安检设备只采集一种x射线图像，对x射线安检设备的类型没有限定。
[0130]
图4为本发明实施例提供的基于x射线安检设备的物品类别识别方法的第二种流程示意图，包括：
[0131]
s401：获取针对同一场景采集的样本高能x射线图像和样本低能x射线图像，作为目标样本高能x射线图像和目标样本低能x射线图像；将目标样本高能x射线图像和目标样本低能x射线图像进行双能分辨，得到目标样本原子序数图像。
[0132]
上述目标样本高能x射线图像和目标样本低能x射线图像为照射同一物品得到的图像，这两种图像中的像素点之间可以存在一一对应的关系。
[0133]
举例来说，可以预先建立双能分辨表，表中包含了高能x射线图像中像素点的灰度值、低能x射线图像中像素点的灰度值与原子序数三者之间的对应关系。以任意一个像素点为例来说，假设以目标样本高能x射线图像中的像素点a1来说，像素点a1对应的目标样本低能x射线图像中的像素点为a2，确定像素点a1的像素值和像素点a2的像素值，然后通过查找该双能分辨表确定像素点a1和像素点a2对应的原子序数。
[0134]
s402：确定目标样本高能x射线图像和目标样本低能x射线图像中的匹配像素点对，匹配像素点对中包括目标样本高能x射线图像中的像素点和目标样本低能x射线图像中的像素点；将每对匹配像素点对中的像素点的灰度值进行融合，得到灰度融合图像。
[0135]
举例来说，匹配像素点对中可以包括目标样本高能x射线图像中的一个像素点和目标样本低能x射线图像中的一个像素点；或者，匹配像素点对中可以包括目标样本高能x射线图像中的两个像素点和目标样本低能x射线图像中的两个像素点，具体匹配像素点对中包含的像素点的数量不做限定。
[0136]
以匹配像素点对中包括目标样本高能x射线图像中的一个像素点和目标样本低能x射线图像中的一个像素点为例，可以针对目标样本高能x射线图像中的每个像素点，确定该像素点在目标样本低能x射线图像中相匹配的像素点，将该像素点及其在目标样本低能x射线图像中相匹配的像素点确定为匹配像素点对；将每对匹配像素点对中的像素点的灰度值进行融合，得到灰度融合图像。
[0137]
将每对匹配像素点对中的像素点的灰度值进行融合方式有多种，例如，可以计算每对匹配像素点对中的像素点的灰度值的均值，或者对每对匹配像素点对中的像素点的灰度值进行加权融合。加权融合可以理解为：对匹配像素点对中的各像素点分配权重，根据所分配的权重对各像素点的灰度值进行加权计算。
[0138]
以将每对匹配像素点对中包括两个像素点为例来说，可以根据如下算式，对每对匹配像素点对中的像素点的灰度值进行加权融合：
[0139]
融合灰度值＝灰度值a
×
权重1+灰度值b
×
权重2
[0140]
其中，融合灰度值表示灰度融合图像中像素点的灰度值，灰度值a表示目标样本高能x射线图像中像素点的灰度值，权重1表示目标样本高能x射线图像中像素点对应的权重，灰度值b表示目标样本低能x射线图像中对应的像素点的灰度值，权重2表示目标样本低能x
射线图像中像素点对应的权重。
[0141]
若被x射线照射的物品较厚，那么该物品的高能x射线图像相比于该物品的低能x射线图像而言，物品轮廓的清晰度更高；若被x射线照射的物品较薄，那么该物品的低能x射线图像相比于该物品的高能x射线图像而言，物品轮廓的清晰度更高。在本实施方式中，对高能x射线图像和低能x射线图像进行灰度融合，使得不同薄厚程度的物品的轮廓都能够在融合图像中清晰地呈现，这样，在后续对图像进行标注的过程中，可以更清晰地划分不同物品的区域。
[0142]
s403：根据目标样本原子序数图像中的原子序数，确定目标样本原子序数图像中包含的每种物品成分；分别确定每种物品成分对应的颜色。
[0143]
举例来说，原子序数图像中每个像素点的像素值可以为该像素点对应的原子的原子序数。这样，可以根据目标样本原子序数图像中的原子序数，确定目标样本原子序数图像中包含的每种物品成分，如目标样本原子序数图像中某个像素点对应的原子序数为26，那么可以确定目标样本原子序数图像中包含铁，可以确定铁对应的颜色。
[0144]
s404：针对每种物品成分，确定该种物品成分映射至灰度融合图像中的区域，根据区域的灰度值，确定该种物品成分对应的颜色的深浅程度；根据颜色的深浅程度，对区域进行上色，得到彩色图像。
[0145]
举例来说，若物品的厚度较大，则x射线穿透该物品的深度较小，对应至灰度融合图像中的灰度值较低，若物品的厚度较小，则x射线穿透该物品的深度较大，对应至灰度融合图像中的灰度值较高。也就是说，灰度融合图像中的灰度值越小，表示物品越厚。物品越厚，在灰度融合图像中对该物品上色时，物品的颜色越深。应用本实施例，得到的彩色图像能够通过颜色的深浅程度表达物品的厚度，视觉效果更佳。
[0146]
s405：获取彩色图像的标注信息。
[0147]
举例来说，可以在彩色图像上，对彩色图像中物品的位置及类别信息进行人工标注，得到标注信息。或者，也可以利用图像标注算法对彩色图像中物品的位置及类别信息进行标注，得到标注信息，本发明实施例对具体的图像标注算法不做限定。
[0148]
由于彩色图像是将目标样本高能x射线图像、目标样本低能x射线图像以及目标样本原子序数图像进行图像变换得到的，所以彩色图像中物品的位置和目标样本高能x射线图像、目标样本低能x射线图像以及目标样本原子序数图像中物品的位置是一一对应的。因此，彩色图像的标注信息可以用于目标样本高能x射线图像、目标样本低能x射线图像以及目标样本原子序数图像。
[0149]
一些相关方案中，直接对样本高能x射线图像、样本低能x射线图像以及样本原子序数图像中的物品的位置及类别信息进行标注，然而这些方案中，对样本高能x射线图像、样本低能x射线图像以及样本原子序数图像中的物品的位置及类别信息的标注准确率较低。在本实施方式中，对目标样本高能x射线图像、目标样本低能x射线图像以及目标样本原子序数图像进行图像变换，得到彩色图像，利用彩色图像中的不同颜色对彩色图像中的不同物品进行区分，之后对彩色图像中物品的位置及类别信息进行标注，提高了标注准确率。
[0150]
s406：以目标样本高能x射线图像、目标样本低能x射线图像、以及目标样本原子序数图像为训练数据，以彩色图像的标注信息为监督，对预设结构的神经网络进行训练，得到识别模型。
[0151]
s407：利用高能x射线照射物品，得到待识别高能x射线图像；利用低能x射线照射物品，得到待识别低能x射线图像；通过对待识别高能x射线图像和待识别低能x射线图像进行双能分辨，得到待识别原子序数图像。
[0152]
其中，高能x射线图像可以理解为：表达被照射物品对高能级x射线的吸收程度的图像，或者也可以理解为：表达被照射物品在高能级x射线下的衰减系数的图像。低能x射线图像可以理解为：表达被照射物品对低能级x射线的吸收程度的图像，或者也可以理解为：表达被照射物品在低能级x射线下的衰减系数的图像。
[0153]
举例来说，可以预先建立双能分辨表，表中包含了高能x射线图像中像素点的像素值、低能x射线图像中像素点的像素值与原子序数三者之间的对应关系。上述待识别高能x射线图像和待识别低能x射线图像为照射同一物品得到的图像，这两种图像中的像素点之间可以存在一一对应的关系。以任意一个像素点为例来说，假设以待识别高能x射线图像中的像素点a1来说，像素点a1对应的待识别低能x射线图像中的像素点为a2，确定像素点a1的像素值和像素点a2的像素值，然后通过查找该双能分辨表确定像素点a1和像素点a2对应的原子序数。
[0154]
s408：将待识别高能x射线图像、待识别低能x射线图像、以及待识别原子序数图像输入至识别模型，得到识别模型输出的待识别高能x射线图像、待识别低能x射线图像、以及待识别原子序数图像中包含的物品的类别信息。
[0155]
应用本发明实施例，第一方面，利用预先训练的识别模型对待识别x射线图像中的物品类别进行识别，实现了对物品类别进行自动识别。
[0156]
第二方面，将样本x射线图像进行变换得到彩色图像，对该彩色图像进行标注得到标注信息，以该标注信息为监督训练得到识别模型，彩色图像的视觉效果比样本x射线图像更好，因而相比于直接对样本x射线图像进行标注，对彩色图像进行标注得到的标注信息更准确，利用该标注信息训练得到的识别模型准确率更高。
[0157]
第三方面，待识别x射线图像为多通道图像，其包括：待识别高能x射线图像、待识别低能x射线图像和待识别原子序数图像，相比于单通道图像(这三种图像中的任意一种)来说，该多通道图像携带的信息更丰富，利用该识别模型对该多通道图像进行识别，准确率更高。
[0158]
第四方面，通过对高能x射线图像和低能x射线图像进行双能分辨得到的原子序数图像，这样，相比于将x射线图像转换成彩色图像，再通过对彩色图像获取原子序数图像，减少了多重图像变换过程带来的信息损失。
[0159]
与上述方法实施例相对应，本发明还提供一种基于x射线安检设备的物品类别识别装置，如图5所示，包括，
[0160]
第一获取模块501，用于获取待识别x射线图像；
[0161]
识别模块502，用于将所述待识别x射线图像输入至预先训练的识别模型，得到所述识别模型输出的所述待识别x射线图像中包含的物品的类别信息；其中，所述识别模型为以样本x射线图像为训练数据，以所述样本x射线图像变换得到的彩色图像的标注信息为监督，对预设结构的神经网络训练得到的。
[0162]
一种实施方式中，所述待识别x射线图像包括：待识别高能x射线图像、待识别低能x射线图像、以及通过对所述待识别高能x射线图像和所述待识别低能x射线图像进行双能
分辨得到的待识别原子序数图像；
[0163]
所述样本x射线图像包括：样本高能x射线图像、样本低能x射线图像、以及通过对所述样本高能x射线图像和所述样本低能x射线图像进行双能分辨得到的样本原子序数图像。
[0164]
一种实施方式中，所述装置还包括：第二获取模块、双能分辨模块、融合模块、彩色化模块(图中未示出)，其中，
[0165]
第二获取模块，用于获取针对同一场景采集的样本高能x射线图像和样本低能x射线图像，作为目标样本高能x射线图像和目标样本低能x射线图像；
[0166]
双能分辨模块，用于将所述目标样本高能x射线图像和所述目标样本低能x射线图像进行双能分辨，得到目标样本原子序数图像；
[0167]
融合模块，用于将所述目标样本高能x射线图像和所述目标样本低能x射线图像进行灰度融合，得到灰度融合图像；
[0168]
彩色化模块，用于根据所述目标样本原子序数图像对所述灰度融合图像进行彩色化，得到彩色图像。
[0169]
一种实施方式中，所述融合模块，具体用于：
[0170]
确定所述目标样本高能x射线图像和所述目标样本低能x射线图像中的匹配像素点对，所述匹配像素点对中包括所述目标样本高能x射线图像中的像素点和所述目标样本低能x射线图像中的像素点；
[0171]
将每对匹配像素点对中的像素点的灰度值进行融合，得到灰度融合图像。
[0172]
一种实施方式中，所述彩色化模块，包括：第一确定子模块、第二确定子模块、上色子模块(图中未示出)，其中，
[0173]
第一确定子模块，用于根据所述目标样本原子序数图像中的原子序数，确定所述样本目标原子序数图像中包含的每种物品成分；
[0174]
第二确定子模块，用于分别确定所述每种物品成分对应的颜色；
[0175]
上色子模块，用于针对每种物品成分，确定该种物品成分映射至所述灰度融合图像中的区域，利用该种物品成分对应的颜色，对所述区域进行上色，得到彩色图像。
[0176]
一种实施方式中，所述上色子模块，具体用于：
[0177]
根据所述区域的灰度值，确定该种物品成分对应的颜色的深浅程度；
[0178]
根据所述颜色的深浅程度，对所述区域进行上色，得到彩色图像。
[0179]
一种实施方式中，所述获取模块，具体用于：
[0180]
利用高能x射线照射物品，得到待识别高能x射线图像；
[0181]
利用低能x射线照射所述物品，得到待识别低能x射线图像；
[0182]
通过对所述待识别高能x射线图像和所述待识别低能x射线图像进行双能分辨，得到待识别原子序数图像。
[0183]
应用本发明实施例，获取待识别x射线图像；将待识别x射线图像输入至预先训练的识别模型，得到识别模型输出的待识别x射线图像中包含的物品的类别信息；其中，识别模型为以样本x射线图像为训练数据，以样本x射线图像变换得到的彩色图像的标注信息为监督，对预设结构的神经网络训练得到的。可见，第一方面，本方案中，利用预先训练的识别模型对待识别x射线图像中的物品类别进行识别，实现了对物品类别进行自动识别；第二方
面，本方案中，将样本x射线图像进行变换得到彩色图像，对该彩色图像进行标注得到标注信息，以该标注信息为监督训练得到识别模型，彩色图像的视觉效果比样本x射线图像更好，因而相比于直接对样本x射线图像进行标注，对彩色图像进行标注得到的标注信息更准确，利用该标注信息训练得到的识别模型准确率更高。
[0184]
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601和存储器602，
[0185]
存储器602，用于存放计算机程序；
[0186]
处理器601，用于执行存储器602上所存放的程序时，实现上述任意一种基于x射线安检设备的物品类别识别方法。
[0187]
举例来说，该电子设备可以为x射线安检设备，或者，也可以为与x射线安检设备相连接的数据处理设备，该电子设备的具体类型不做限定。
[0188]
上述电子设备提到的存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0189]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0190]
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一基于x射线安检设备的物品类别识别方法的步骤。
[0191]
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于x射线安检设备的物品类别识别方法。
[0192]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0193]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖
非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0194]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、设备实施例、计算机可读存储介质实施例、以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0195]
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。