图像关联方法、装置、设备和介质与流程

1.本公开一般涉及计算机视觉技术领域，具体涉及目标检测技术领域，尤其涉及一种图像关联方法、装置、设备和介质。


背景技术：

2.x光安检仪可以应用于机场、火车站或者地铁安检。例如，当乘客选择搭乘地铁出行时，在刷卡进站前要将随身包裹进行安检。
3.现有技术中，当乘客搭乘地铁出行时，可以将随身包裹放置在x光安检仪传送带上，传送带可以将包裹传送至安检仪x光通道，由于包裹内的物品对x光的吸收程度不同，使得物品在与安检仪关联的液晶显示屏上显示出不同的颜色。当物品显示出不同颜色时，安检人员可以通过人眼捕捉到到违禁物品对应的颜色（例如，刀具显示为蓝色）。同时，位于安检机顶部的声光报警器会发出警报声，并且闪烁灯光。此时，安检人员可以根据违禁包裹，现场询问或者通过回看监控视频，确定携带该违禁包裹的乘客人脸信息后，找到该乘客并与其沟通后，对违禁包裹进行开包查验。
4.然而，当声光报警器报警后，携带该违禁包裹的乘客可能会弃包而逃，直接刷卡进站，或者，乘客不主动承认，安检人员花费大量的时间根据监控中的人脸信息查找该乘客，使得安检效率较低。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种图像关联方法、装置、设备和介质，可以基于违禁包裹x光图像（即目标x光图像）确定违禁包裹自然光图像（目标自然光图像），实现违禁包裹与乘客的关联，安检人员可以基于违禁包裹自然光图像快速识别出携带该包裹的乘客，大大提高了安检效率。
6.第一方面，提供一种图像关联方法，该方法包括：获取目标x光图像以及与目标x光图像相关的多个自然光图像；目标x光图像包括目标监控对象；对目标x光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标x光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。
7.第二方面，提供了一种图像关联装置，该装置包括：获取单元，获取目标x光图像以及与目标x光图像相关的多个自然光图像；目标x光图像包括目标监控对象；提取单元，对目标x光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；预测单元，将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个
自然光图像中与目标x光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。
8.第三方面，提供了一种计算机设备，包括存储器、处理器以及存储不在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序时，实现上述第一方面以及第一方面任意一种可能的实现方式的方法的步骤。
9.第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述第一方面以及第一方面任意一种可能的实现方式的方法的步骤。
10.第五方面，提供一种计算机程序产品，计算机程序产品包括指令，当指令被运行时，实现上述第一方面以及第一方面任意一种可能的实现方式的方法的步骤。
11.采用本技术的图像关联方法，可以基于违禁包裹x光图像确定违禁包裹自然光图像，使得安检人员可以通过人眼从违禁包裹自然光图像中捕捉出携带该包裹的乘客人脸信息，大大提高了安检效率。具体地，通过获取目标x光图像以及与目标x光图像相关的多个自然光图像；目标x光图像包括目标监控对象；对目标x光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标x光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。采用本技术的方法，当x光安检机识别出违禁包裹（即目标监控对象）时，可以获取x光安检机记录的违禁包裹x光图像（即目标x光图像），以及摄像机拍摄的多张包裹自然光图像。通过对x光图像和多张自然光图像进行预处理，并分别将处理后的x光图像和多张自然光图像输入预测模型，通过模型确定违禁包裹自然光图像（即目标自然光图像），自然光图像中包括违禁包裹外形信息（即目标监控对象）以及乘客的人脸信息，以便安检人员基于违禁包裹自然光图像快速识别出携带该包裹的乘客。现有技术中当x光安检机识别出违禁包裹时，安检人员需要回看监控，花费大量的时间和精力才能确定出携带违禁包裹的乘客。相比而言，采用本技术的方法，避免了现有技术需要耗费安检人员大量的时间和精力查找违禁包裹的自然光图像，借助机器学习模型输出包含违禁包裹的自然图像，使得安检人员可以通过人眼确定违禁包裹与乘客的关联关系，避免了安检人员花费大量的时间和精力回看监控才能查找出违禁包裹自然光图像，大大提高了安检效率。另外，借助机器学习模型替代人工查找违禁包裹自然光图像，在避免人为查找受主观因素影响的同时，还能够提高查找效率，即缩短查找时长，提高查找准确率。
附图说明
12.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：图1为本技术实施例提供的图像关联系统的示意图；图2为本技术实施例提供的图像关联方法的流程示意图；图3为本技术实施例提供的图像关联方法的另一流程示意图；图4为本技术实施例提供的图像关联方法的另一流程示意图；图5为本技术实施例提供的图像关联方法的另一流程示意图；图6为本技术实施例提供的图像关联方法的另一流程示意图；图7为本技术实施例提供的模型训练的流程示意图；
图8为本技术实施例提供的模型结构的示意图；图9为本技术实施例提供的图像关联装置的结构示意图；图10为本技术实施例提供的计算机设备的结构框图。
具体实施方式
13.下面结合实施例和附图对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
14.需要说明的是，在不冲突的情况下，本技术中的实施例即实施例的特征可以互相结合。下面将参考附图并结合实施例来详细说明本技术。
15.目前，当x光安检机识别出违禁包裹时，需要安检人员通过回看监控视频，从而确定上述违禁包裹的自然光图像，安检人员可以通过人眼辨别出上述违禁包裹自然光图像中的人脸信息，从而完成查找携带违禁包裹乘客。当人流量较大时，安检人员需要耗费大量的时间和精力确定携带违禁包裹的具体乘客，使得安检效率较低。
16.基于此，本技术提出一种图像关联方法、装置、设备和存储介质，能够通过模型预测与违禁包裹x光图像关联的自然光图像，基于上述自然光图像确定携带违禁包裹的具体乘客，大大提高安检效率。
17.本技术提供的图像关联方法，可以应用于如图1所示的图像关联系统中。参考图1，该图像关联系统可以包括x光安检机10、摄像机20以及计算机设备30 。x光安检机10可以记录包裹的x光图像，例如，可以是违禁包裹x光图像。摄像机20可以拍摄包裹的自然光图像，例如，可以是违禁包裹的自然光图像。计算机设备30可以获取将上述违禁包裹x光图像和多张自然光图像，并将其输入到预测模型，模型预测得到与违禁包裹x光图像关联的自然光图像，安检人员可以基于上述违禁包裹自然光图像确定携带该包裹的具体乘客，大大提高了安检效率。
18.其中，x光安检机可以中的x射线具有穿透性，包裹具有材料密度和厚度的差异，当x射线透过包裹不用部位时，不同部位对x射线的吸收程度不同，经过显像处理后可以得到不同的影像，例如，食品、塑料等有机物在安检机荧屏上显示为橙色，书本、陶瓷等在荧屏上显示在绿色，金属显示为蓝色。
19.摄像机20可以录制顾客放置包裹的视频，也可以拍摄顾客放置包裹的图像。示例性的，顾客放置包裹的图像可以是上述包裹的正视图、侧视图或者俯视图。
20.计算机设备30可以是独立的服务器，还可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（content delivery network，cdn）、以及大数据和人工智能平台等基础云计算服务的云服务器。
21.前文图1介绍了本技术的应用场景图。在本技术的另一实施例中，提供了一种图像关联方法，该方法可以应用于图1所示的计算机设备30。如图2所示，该方法包括如下步骤：步骤201、获取目标x光图像以及与目标x光图像相关的多个自然光图像；目标x光图像包括目标监控对象；本技术实施例提供了一种图像获取方案，当x光安检机识别出违禁包裹时，可以获
取x光安检机记录的违禁包裹x光图像，以及摄像机拍摄的多张包裹自然光图像，以便后续将上述两种模态（即x光模态或者自然光模态）下拍摄的图像输入模型预测，确定违禁包裹的自然光图像。示例性的，图1中的计算机设备可以获取上述违禁包裹x光图像和多张包裹自然光图像。
22.具体地，目标x图像可以违禁包裹的x光图像。例如，可以枪支、弹药、管制刀具或者危险物品的x光图像。示例性的，危险物品可以是爆炸性、易燃性、放射性、毒害性或者腐蚀性物品。与目标x光相关的多个自然光图像可以是与目标x光图像在同一时空内的图像。例如，可以是与目标x光图像时间邻近或者在同一空间内的自然光图像。示例性的，可以是同一安检通道的监控和同一安检通道的安检机在同一段时间内分别拍摄的多个自然光图像和违禁包裹x光图像。
23.与违禁包裹处于同一时间段或者同一x光安检机检测的自然光图像。目标监控对象可以是违禁包裹。
24.一种可能的实现方式，x光安检机记录违禁包裹x光图像p
x
，摄像机拍摄与违禁包裹在同一段时间和同一x光安检机进行检测的多张自然光图像（p
vis1
~p
vis20
）。计算机设备可以获取上述违禁包裹x光图像p
x
和多张自然光图像（p
vis1
~p
vis20
），以便后续对上述两种模态的图像进行预处理，并将处理后的两类图像输入到模型中预测，得出违禁包裹的自然光图像（例如，可以是p
vis1
）。
25.步骤202、对目标x光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；本技术实施例提供了一种图像全局特征提取方案，当步骤201中获取得到违禁包裹x光图像p
x
和多张自然光图像（p
vis1
~p
vis20
）后，可以对上述两种模态的图像进行预处理，使得上述两种模态的图像可以成为模型可以识别和处理的图像。
26.具体地，特征提取可以是将违禁包裹x光图像p
x
和多张自然光图像（p
vis1
~p
vis20
）输入resnet 50网络（residual network 50，具有49个卷积层和1个全连接层的深度残差网络），得到p
x
的全局特征图f
x
（即第一全局特征图）和多张自然光图像的全局特征图f
vis1
~f
vis20
（即第二全局特征图）。第一全局特征图用于表征违禁包裹x光图像p
x
的全局特征。第二全局特征图用于表征多张自然光图像p
vis1
~p
vis20
的全局特征。
27.一种可能的实现方式，将x光图像p
x
和多张自然光图像p
vis1
~p
vis20
输入resnet 50网络中，resnet 50网络可以对上述两种模态的图像进行卷积运算、正则化处理、激活函数运算以及最大池化运算后，得到x光图像p
x
的第一全局特征图f
vis
，以及多张自然光图像p
vis1
~p
vis20
的第二全局特征图p
vis1
~p
vis20
。
28.步骤203、将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标x光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。
29.本技术实施例提供了一种通过模型预测违禁包裹自然光图像的方案，当步骤202中得到x光图像p
x
的第一全局特征图f
vis
，以及多张自然光图像p
vis1
~p
vis20
的第二全局特征图p
vis1
~p
vis20
后，可以将上述两种模态的特征图输入到预测模型，模型输出违禁包裹的自然光图像（包括违禁包裹和乘客人脸信息）。
30.具体地，预测模型可以对x光图像p
x
的第一特征图f
vis
，以及多张自然光图像p
vis1
~p
vis20
的第二特征图p
vis1
~p
vis20
处理，得到违禁包裹的自然光图像（例如，可以是p
vis1
）。
31.一种可能的实现方式，可以将x光图像p
x
的第一特征图f
vis
，以及多张自然光图像p
vis1
~p
vis20
的第二特征图p
vis1
~p
vis20
输入预测模型，预测模型可以通过对上述两个模态的特征图处理，得到违禁包裹x图像关联的自然光图像（包括违禁包裹和乘客人脸信息）。
32.本技术的图像关联方法中，计算机设备30通过获取目标x光图像以及与目标x光图像相关的多个自然光图像；目标x光图像包括目标监控对象；对目标x光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标x光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。上述步骤中，当x光安检机识别出违禁物品（即目标监控对象）时，计算机设备30可以获取违禁包裹x光图像（即目标x光图像）以及多张包裹的自然光图像（即与目标x光图像相关的多个自然光图像），通过对上述两种模态的图像进行预处理，使得上述两种模态的图像转变为预测模型可以识别和处理的图像，模型最终输出违禁包裹的自然光图像（即目标自然光图像），安检人员可以基于违禁包裹自然光图像快速识别出携带该包裹的乘客。相较于现有技术中，需要安检人员耗费大量的时间和精力对比多张自然光图像和违禁包裹的x光图像后，才能确定违禁包裹的自然光图像的技术方案来说，本技术能够通过预测模型输出违禁包裹的自然光图像，也正是基于这种模型预测方法，大大提高了安检效率。
33.前文所述的实施例中，介绍了通过模型预测违禁包裹自然光图像的技术方案。在本技术的另一实施例中，介绍了如何获取多个自然光图像。例如，前文步骤涉及的“获取与目标x光图像相关的多个自然光图像”的具体实施如图3的步骤：步骤301、获取与x光图像属于同一场景的多个候选自然光图像；本技术实施例提供了获取与违禁包裹x光图像属于同一场景的自然光图像的方案，上述场景可以是同一个摄像机拍摄的正常包裹图像或者违禁包裹图像，以便后续预测模型可以识别出违禁包裹的自然光图像。
34.具体地，同一场景用于表征摄像机监控的同一个安检通道，例如，上述安检通道可以是通道1。候选自然光图像用于表征摄像机拍摄的同一个安检通道下的正常包裹图像和违禁包裹图像。示例性的，可以是摄像机在安检通道1下拍摄的正常包裹图像可以是正常包裹的俯视图，违禁包裹图像也可以是违禁包裹的俯视图。需要说明的是，相比于主视图和侧视图，俯视图能够体现出包裹更多的细节特征。
35.一种可能的实现方式，摄像机可以通过拍摄获取与违禁包裹x光图像属于同一安检通道的多个正常包裹图像或者违禁包裹图像。示例性的，正常包裹图像可以是正常包裹的俯视图，违禁包裹图像可以是的俯视图。
36.步骤302、确定每一候选自然光图像的拍摄时间与目标x光图像的拍摄时间的时间间隔；本技术实施例可以确定x光安检机未识别出违禁包裹的某一具体时刻与识别出违禁包裹的另一具体时刻之间的时间间隔。在上述时间内摄像机拍摄的自然光图像可以是乘客将正常包裹或者违禁包裹放置在x光安检机传送带进行安检的场面，以便后续将上述两种模态的图像输入预测模型，通过模型识别出违禁包裹的自然光图像。
37.具体地，候选自然光图像的拍摄时间可以是x光安检机未识别出违禁包裹的某一具体时刻，示例性的，上述某一具体时刻可以是t1、t2、t3。目标x光图像的拍摄时间可以是x
光安检机识别出违禁包裹的另一具体时刻，例如，上述另一具体时刻可以是t0。时间间隔可以是x光安检机未识别出违禁包裹的某一具体时刻与识别出违禁包裹的另一具体时刻之间的间隔。示例性的，上述时间间隔可以是t
0-t1、也可以是t
0-t2、还可以是t
0-t3。
38.一种可能的实现方式，摄像机可以将x光安检机未识别出违禁包裹的具体时刻t1与识别出违禁包裹的另一具体时刻t0之间的时间差t
0-t1作为时间间隔。
39.一种可能的实现方式，摄像机可以将x光安检机未识别出违禁包裹的具体时刻t2与识别出违禁包裹的另一具体时刻t0之间的时间差t
0-t2作为时间间隔。
40.一种可能的实现方式，摄像机可以将x光安检机未识别出违禁包裹的具体时刻t3与识别出违禁包裹的另一具体时刻t0之间的时间差t
0-t3作为时间间隔。
41.步骤303、将多个候选自然光图像中时间间隔小于阈值的候选自然光图像，确定为与目标x光图像相关的多个自然光图像。
42.本技术实施例可以将x光安检机识别出违禁包裹的时间间隔小于某一具体数值的时刻作为摄像机拍摄候选自然光图像的时刻，以便后续将上述候选自然光图像输入预测模型，模型输出违禁包裹的自然光图像。
43.具体地，若t0为上午11时25分35秒，t1为上午11时25分15秒，t2为上午11时25分10秒，t3为上午11时25分5秒，则多个候选自然光图像中时间间隔可以是t
0-t1的间隔20s、也可以为t
0-t2的间隔25s，还可以是t
0-t3的间隔30s。阈值用于表征预设的x光安检机未识别出违禁包裹到识别出违禁包裹的最可能时间段。例如，上述时间段可以是21s。
44.一种可能的实现方式，t
0-t1的间隔20s小于阈值21s，摄像机可以拍摄t1时刻至t0时刻的多个候选自然光图像作为与违禁包裹x光图像（即目标x光图像）相关的多个自然光图像。
45.前文所述的实施例中，介绍了如何获取多个自然光图像的技术方案。在本技术的另一实施例中，介绍了如何获取违禁包裹的自然光图像。例如，前文步骤涉及的“将第一全局特征图以及第二全局特征图输入预测模型，获得多个自然光图像中与目标x光图像匹配的目标自然光图像”的具体实施包括图4的步骤：步骤401、将第一全局特征图以及多个第二全局特征图输入预测模型进行特征提取，获得第一全局特征图的多个局部特征图，以及每一第二全局特征图的多个局部特征图；本技术实施例提供了一种图像局部特征提取方案，当步骤203中将第一全局特征图f
x
和第二全局特征图f
vis1
~f
vis20
输入预测模型后，可以得到第一全局特征图f
vis
的多个局部特征图，以及第二全局特征图f
vis1
~f
vis20
的多个局部特征图，以便后续确定两种模态中的特征对应关系，使得模型可以输出违禁包裹的自然光图像。
46.具体地，特征提取可以是采用卷积核对全局特征图进行卷积运算，从而提取更为细节的特征。例如，可以采用1*1卷积核对上述第一全局特征图f
x
作窗口滑动，即卷积运算，从而得到全局特征中更为细节的特征。局部特征图用于表征全局特征图中更为细节的特征。例如，对第一全局特征图f
x
进行卷积运算后，可以得到四个局部特征图f
xl1
、f
xl2
、f
xl3
、f
xl4
，也可以对第二全局特征图f
vis1
作卷积运算，得到第二全局特征图f
vis
的四个局部特征图f
vis1l1
、f
vis1l2
、f
vis1l3
、f
vis1l4
。
47.一种可能的方式，可以将第一全局特征图f
x
输入模型后进行卷积运算，得到f
x
的四个局部特征图f
xl1
、f
xl2
、f
xl3
、f
xl4
，以及将第二全局特征图f
vis1
输入模型后作卷积运算，得到fvis
的四个局部特征图f
vis1l1
、f
vis1l2
、f
vis1l3
、f
vis1l4
。
48.步骤402、根据第一全局特征图、第一全局特征图的多个局部特征图、多个第二全局特征图以及每一第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图；第一稳定特征图为目标x光图像对应的特征图中与拍摄模态无关的特征图，第二稳定特征图为自然光图像对应的特征图中与拍摄模态无关的特征图；本技术实施例提供了一种确定稳定特征图的方案，可以获取在两种拍摄模态下均可以显影的特征，即上述特征可以在两种拍摄模态下共生。
49.具体地，第一稳定特征图为目标x光图像对应的特征图中与拍摄模态无关的特征图。需要说明的是，拍摄模态可以是采用不同的设备拍摄的同一包裹的图像。例如，可以是x光安检机拍摄的包裹x光图像，也可以是摄像机拍摄的包裹自然光图像。与拍摄模态无关的特征图可以是针对同一包裹，随着拍摄模态的变化，包裹对应的特征图变化不大，可以理解为特征图之间的相似程度较高。示例性的，目标x光图像可以是违禁包裹x光图像。例如，目标x光对应的特征图中与拍摄模态无关的特征图可以是在x光模态和自然光模态下均可以显影的特征。第二稳定特征图为自然光图像对应的特征图中与拍摄模态无关的特征图。例如，自然光图像可以是正常包裹的自然光图像，也可以是违禁包裹的自然光图像。示例性的，自然光图像对应的特征图中与拍摄模态无关的特征可以是在x光模态和自然光模态下均可以显影的特征。
50.一种可能的实现方式，可以根据第一全局特征图f
x
、f
x
的四个局部特征图f
xl1
、f
xl2
、f
xl3
、f
xl4
、第二全局特征图f
vis1
以及f
vis
的四个局部特征图f
vis1l1
、f
vis1l2
、f
vis1l3
、f
vis1l4
可以确定第一稳定特征图为f
vis
（j）以及第二稳定特征图为f
x
（j）。其中，j为特征图对应矩阵的列。
51.步骤403、根据第一稳定特征图以及第二稳定特征图，获得多个重建特征图，根据多个重建特征图确定目标x光图像与自然光图像之间的相似度；本技术实施例提供了一种根据稳定特征图确定违禁包裹x光图像与多个自然光图像相似度的方案，以便后续模型确定违禁包裹具体对应的自然光图像。
52.具体地，重建特征图用于表征两种模态下特征对应的准确度。示例性的，可以分别构建违禁包裹x光图像（即目标x光图像）与多个自然光图像的重建特征图，基于上述两类重建特征图计算相似度，以便后续模型可以确定违禁包裹的自然光图像。相似度用于表征违禁包裹x光图像与多个自然光图像中针对同一包裹，两种模态的图像的相似程度。
53.一种可能的实现方式，可以根据确定第一稳定特征图为f
vis
（j）以及第二稳定特征图为f
x
（j）。分别构建违禁包裹x光图像的重建特征图
ḟ
x
、多个自然光图像的重建特征图。以构建一个自然光图像的重建特征图为例，一个自然光图像的重建特征图为
ḟ
vis1
、
ḟ
visl1
~
ḟ
visl4
。可以通过计算违禁包裹x光图像的重建特征图
ḟ
x
与一个自然光图像的重建特征图为
ḟ
vis1
、
ḟ
visl1
~
ḟ
visl4
这两种模态的图像针对同一包裹的相似程度。示例性的，可以采用欧式距离计算相似度，得到相似度为s1。
54.步骤404、将多个自然光图像中相似度最大的图像确定为目标自然光图像。
55.本技术实施例提供了一种根据相似度确定违禁包裹的自然光图像（即目标自然光图像）的方案，以便后续模型可以将上述相似度最大的自然光图像输出为违禁包裹的自然光图像。
56.具体地，违禁包裹x光图像与多个自然光图像的相似度分别可以是s1~s20，若其中s1的相似度数值最大，则将s1作为违禁包裹的自然光图像（即目标自然光图像）。
57.前文的实施例中，介绍了如何获取违禁包裹的自然光图像的技术方案。在本技术的另一实施例中，介绍了如何确定两种模态下的稳定特征图中特征的对应关系，即第一稳定特征图和第二稳定特征图中特征的对应关系。例如，前文步骤涉及的“根据第一全局特征图、第一全局特征图的多个局部特征图、多个第二全局特征图以及每一第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图”的具体实施包裹图5的步骤：步骤501、对特征图f
vis
和特征图f
x
进行乘运算，获得运算结果p；本技术实施例提供了一种第一全局特征图和第二全局特征图中特征对应关系的方案，以便后续通过上述对应关系构建重建特征图，从而确定违禁包裹的自然光图像（即目标自然光图像）。
58.具体地，特征图f
vis
用于表征自然光图像经过特征提取后得到的全局特征图，上述特征图可以是一个i行*j列的矩阵。例如，特征图f
vis
的行可以表示为f
vis
(i)。特征图f
x
用于表征违禁包裹x光图像经过特征提取后得到的全局特征图，上述特征图也可以是一个j行*i列的矩阵。例如，特征图f
x
的列可以表示为f
x
(j)。
59.一种可能的实现方式，特征图f
vis
和特征图f
x
本质上来说是两个i行*j列的矩阵，由于特征图f
vis
的列数j和特征图f
x
的行数j相同，所以特征图f
vis
和特征图f
x
可以相乘。示例性的，若p（i,j）=f
tvis(i)·fx
(j)，即对应关系p为特征图f
vis
的行的转置f
tvis
(i)与特征图f
x
的列f
x
(j)做乘运算得到的结果。
60.步骤502、若p满足：p∈r
hw
×
hw
，则确定特征图f
x
为第一稳定特征图，特征图f
vis
为第二稳定特征图；其中，特征图f
x
为第一全局特征图以及第一全局特征图的多个局部特征图中的任意一个，p∈r
hw
×
hw
为所述特征图f
vis
和所述特征图f
x
乘运算的运算结果p，与所述特征图的二维矩阵hw与所述特征图的二维矩阵hw经过矩阵乘法运算的运算结果相同，则所述特征图f
vis
与所述特征图f
x
对应，所述r为特征图的二维矩阵的尺寸，h为特征图的二维矩阵的高，w为特征图的二维矩阵的宽。
61.本技术实施例提供了两种模态特征图间特征对应关系p，以便后续可以通过对应关系p构建重建特征图，使得模型可以通过计算相似度确定违禁包裹的自然光图像。
62.具体地，若p∈r
hw
×
hw
，其中，hw为特征图的二维矩阵，即若特征图间的特征对应关系p满足二维矩阵相乘关系，则表明两种模态的特征图间的特征对应。
63.一种可能的实现方式，若p∈r
hw
×
hw
，则表明特征图f
x
为第一稳定特征图，特征图f
vis
为第二稳定特征图。
64.前文所述的实施例中，介绍了如何确定两种模态下的稳定特征图中特征的对应关系，即第一稳定特征图和第二稳定特征图中特征的对应关系的技术方案。在本技术的另一实施例中，介绍了如何根据第一稳定特征图和第二稳定特征图构建自然光的重建特征图。例如，前文步骤涉及的“根据第一稳定特征图以及第二稳定特征图，获得多个重建特征图”包括：将所述特征图f
vis
和所述特征图f
x
代入如下公式，获得所述特征图f
vis
对应的重建特征图
ḟ
vis
：
其中，m
vis
(i)为特征图的响应强度，p(i,j)为特征图间的特征对应关系，f
x
(j)为特征图f
x
的列数，f
vis
(i)为特征图f
vis
的行数。
65.本技术实施例提供了一种利用第一全局特征图f
x
和第二全局特征图f
vis
构建重建特征图
ḟ
vis
的方案，以便后续计算相似度，使得模型可以确定违禁包裹的自然光图像。
66.具体地，m
vis
(i)∑p(i,j)f
x
(j)用于表征可以在x光和自然光两种模态下都可以显影的特征，即在上述两种模态下可以存在的特征。[1-m
vis
(i)]f
vis
(i)用于表征仅在自然光模态下可以显影的特征，即仅在自然光模态下存在的特征。
[0067]
一种可能的实现方式，可以通过得在两种模态下均可以存在的特征m
vis
(i)∑p(i,j)f
x
(j)和仅在自然光模态下存在的特征[1-m
vis
(i)]f
vis
(i)，即可得到自然光的重建特征图
ḟ
vis
。
[0068]
前文所述的实施例中，介绍了如何根据第一稳定特征图和第二稳定特征图构建自然光图像的重建特征图的技术方案。在本技术的另一实施例中，介绍了如何根据第一稳定特征图和第二稳定特征图构建x光图像的重建特征图。例如，前文步骤涉及的“根据第一稳定特征图以及第二稳定特征图，获得多个重建特征图”包括：将所述特征图f
vis
和所述特征图f
x
代入如下公式，获得所述特征图f
x
对应的重建特征图
ḟ
x
：
ḟ
x=mx
(i)∑p(i,j)f
vis
(j)+[1-m
x
(i)]f
x
(i)其中，m
x
(i)为特征图的响应强度,p(i,j)为特征图间的特征对应关系，f
vis
(j)为特征图f
vis
的列数，f
x
(i)为特征图f
x
的行数。
[0069]
本技术实施例提供了一种利用第一全局特征图f
x
和第二全局特征图f
x
构建重建特征图
ḟ
x
的方案，以便后续计算相似度，使得模型可以确定违禁包裹的自然光图像。
[0070]
具体地，m
x
(i)∑p(i,j)f
vis
(j)用于表征可以在x光和自然光两种模态下都可以显影的特征，即在上述两种模态下可以存在的特征。[1-m
x
(i)]f
x
(i)用于表征仅在x光模态下可以显影的特征，即仅在x光模态下存在的特征。
[0071]
一种可能的实现方式，可以通过得在两种模态下均可以存在的特征m
x
(i)∑p(i,j)f
vis
(j)和仅在x光模态下存在的特征[1-m
x
(i)]f
x
(i)，即可得到自然光的重建特征图
ḟ
x
。
[0072]
前文介绍了如何根据第一稳定特征图和第二稳定特征图构建x光图像的重建特征图的技术方案，在本技术的另一实施例中，介绍了如何根据重建特征图确定相似度数值。例如，前文步骤涉及的“根据多个重建特征图确定目标x光图像与自然光图像之间的相似度”的具体实现包裹图6的步骤：步骤601、对目标x光图像对应的重建特征图进行向量化处理，对获得的向量进行融合处理，获得第一向量；本技术实施例提供了一种通过重建特征图计算相似度的方案，以便后续模型将相似度数值最大的自然光图像作为违禁包裹的自然光图像。
[0073]
具体地，目标x光图像对应的重建特征图可以是
ḟ
x
、
ḟ
xl1
~
ḟ
xl4
。向量化处理可以是对上述重建特征图进行池化处理，得到
ḟ
x
、
ḟ
xl1
~
ḟ
xl4
。融合处理可以是对上述重建特征向量
ḟ
x
、
ḟ
xl1
~
ḟ
xl4
进行求和运算，得到第一向量
ḟ
x
'。
[0074]
步骤602、对自然光图像对应的重建特征图进行向量化处理，对获得的向量进行融合处理，获得第二向量；具体地，自然光图像对应的重建特征图可以是
ḟ
vis
、
ḟ
visl1
~
ḟ
visl4
。向量化处理可以是对上述重建特征图进行池化处理，得到
ḟ
vis
、
ḟ
visl1
~
ḟ
visl4
。融合处理可以是对上述重建特征向量
ḟ
vis
、
ḟ
visl1
~
ḟ
visl4
进行求和运算，得到第二向量
ḟ
vis
'。
[0075]
步骤603、根据第一向量和自然光图像对应的第二向量，确定目标x光图像与自然光图像之间的相似度。
[0076]
具体地，相似度用于表征第一向量和第二向量之间的相似程度。例如，可以采用余弦相似度计算相似值。示例性的，第一向量
ḟ
x
'和第二向量
ḟ
vis
'的相似度数值可以是s1。前文已经说明自然光图像个数范围为p
vis1
~p
vis20
，即20个自然光图像，则得到s1~s20相似度数值。
[0077]
前文介绍了如何根据重建特征图确定相似度数值的技术方案，在本技术的另一实施例中，介绍了在运用模型预测违禁包裹的自然光图像前，如何对模型进行训练，使得模型可以用来预测违禁包裹的自然光图像。图7为本技术提供的模型训练过程，参见图7，流程图中的具体执行步骤如下：s1、获取包裹x光图像p
x1
和自然光图像p
vis1
。
[0078]
需要说明的是，包裹x光图像包括正常包裹x光图像和违禁包裹x光图像。对于违禁包裹x光图像，可以对其进行标注，标注结果为该x光图像为违禁包裹x光图像。自然光图像也包裹正常包裹x光图像和违禁包裹x光图像，使得模型可以输出违禁包裹的自然光图像。
[0079]
s2、将包裹x光图像p
x1
和多个自然光图像p
vis1
输入到resnet 50网络进行预处理，得到p
x1
的第一全局特征图f
x
和p
vis1
的第二全局特征特征图f
vis1
。
[0080]
s3、将第一全局特征图f
x
和第二全局特征特征图f
vis1
输入模型进行特征提取，得到f
x
的四个局部特征图f
xl1
、f
xl2
、f
xl3
、f
xl4
，以及f
vis1
的局部特征图，上述局部特征图分别为f
vis1l1
、f
vis1l2
、f
vis1l3
、f
vis1l4
。
[0081]
s4、计算f
x
、f
xl1
~f
xl4
的特征对应关系p，并根据对应关系p重建特征图
ḟ
x
、
ḟ
xl1
~
ḟ
xl4
，以及f
vis1
、f
visl1
~f
visl4
的特征对应关系p，并根据对应关系p重建特征图
ḟ
vis
、
ḟ
visl1
~
ḟ
visl4
。
[0082]
s5、对重建特征图
ḟ
x
、
ḟ
xl1
~
ḟ
xl4
进行池化运算，得到特征向量
ḟ
x
、
ḟ
xl1
~
ḟ
xl4
，以及重建特征图
ḟ
vis
、
ḟ
visl1
~
ḟ
visl4
进行池化运算，得到特征向量
ḟ
vis
、
ḟ
visl1
~
ḟ
visl4
。
[0083]
s6、对特征向量
ḟ
x
、
ḟ
xl1
~
ḟ
xl4
进行融合处理，得到第一向量
ḟ
x
'，以及特征向量
ḟ
vis
、
ḟ
visl1
~
ḟ
visl4
进行融合处理，得到第二向量
ḟ
vis
'。
[0084]
s7、计算第一向量
ḟ
x
'和第二向量
ḟ
vis
'之间的相似度，得到相似度数值s1。
[0085]
s8、计算出相似度数值s1时，模型会有一个损失值，该损失值是由三个损失函数（即id loss、triplet loss以及smoothap loss）共同作用而生成。
[0086]
需要说明的是，上述三个损失函数会反馈给网络，网络可以调节参数，使得损失函数的数值会不断减小，可以理解的是，损失函数值越小，模型训练越优良。其中，可以通过id loss、triplet loss联合限制全局特征向量
ḟ
x
和
ḟ
vis
，可以通过smoothap loss限制局部特征向量
ḟ
xl1
~
ḟ
xl4
、
ḟ
visl1
~
ḟ
visl4
。
[0087]
前文的实施例中，介绍了在运用模型预测违禁包裹的自然光图像前，如何对模型进行训练，使得模型可以用来预测违禁包裹的自然光图像的技术方案。在本技术的另一实
施例中，介绍了本技术的图像关联方法的完整实施模型结构图，图8为本技术实施例提供的一个模型结构图，参见图8。
[0088]
在一个实施例中，如图9，提供了一种图像关联装置，包括：获取单元901、编码单元902、确定单元903。其中：获取单元901，用于获取目标x光图像以及与目标x光图像相关的多个自然光图像；目标x光图像包括目标监控对象；提取单元902，用于对目标x光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；预测单元903，用于将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标x光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。
[0089]
在一个实施例中，获取单元901，用于获取与x光图像属于同一场景的多个候选自然光图像；确定每一候选自然光图像的拍摄时间与目标x光图像的拍摄时间的时间间隔；将多个候选自然光图像中时间间隔小于阈值的候选自然光图像，确定为与目标x光图像相关的多个自然光图像。
[0090]
在一个实施例中，预测单元903，用于将第一全局特征图以及多个第二全局特征图输入预测模型进行特征提取，获得第一全局特征图的多个局部特征图，以及每一第二全局特征图的多个局部特征图；根据第一全局特征图、第一全局特征图的多个局部特征图、多个第二全局特征图以及每一第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图；第一稳定特征图为目标x光图像对应的特征图中与拍摄模态无关的特征图，第二稳定特征图为自然光图像对应的特征图中与拍摄模态无关的特征图；根据第一稳定特征图以及第二稳定特征图，获得多个重建特征图，根据多个重建特征图确定目标x光图像与自然光图像之间的相似度；将多个自然光图像中相似度最大的图像确定为目标自然光图像。
[0091]
在一个实施例中，用于对特征图f
vis
和特征图f
x
进行乘运算，获得运算结果p；若p满足：p∈r
hw
×
hw
，则确定特征图f
x
为第一稳定特征图，特征图f
vis
为第二稳定特征图；其中，特征图f
x
为第一全局特征图以及第一全局特征图的多个局部特征图中的任意一个，p∈r
hw
×
hw
为所述特征图f
vis
和所述特征图f
x
乘运算的运算结果p，与所述特征图的二维矩阵hw与所述特征图的二维矩阵hw经过矩阵乘法运算的运算结果相同，则所述特征图f
vis
与所述特征图f
x
对应，所述r为特征图的二维矩阵的尺寸，h为特征图的二维矩阵的高，w为特征图的二维矩阵的宽。
[0092]
在一个实施例中，用于将特征图f
vis
和特征图f
x
代入如下公式，获得特征图f
vis
对应的重建特征图
ḟ
vis
：其中，m
vis
(i)为特征图的响应强度，p(i,j)为特征图间的特征对应关系，f
x
(j)为特征图f
x
的列数，f
vis
(i)为特征图f
vis
的行数。
[0093]
在一个实施例中，将特征图f
vis
和特征图f
x
代入如下公式，获得特征图f
x
对应的重建特征图
ḟ
x
：其中，m
x
(i)为特征图的响应强度，p(i,j)为特征图间的特征对应关系，f
vis
(j)为特征图f
vis
的列数，f
x
(i)为特征图f
x
的行数。
[0094]
在一个实施例中，用于对目标x光图像对应的重建特征图进行向量化处理，对获得的向量进行融合处理，获得第一向量；对自然光图像对应的重建特征图进行向量化处理，对获得的向量进行融合处理，获得第二向量；根据第一向量和自然光图像对应的第二向量，确定目标x光图像与自然光图像之间的相似度。
[0095]
关于图像关联装置的具体限定可以参见上文中对于图像关联方法的限定，在此不在赘述。上述图像关联装置的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各个模块可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0096]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取目标x光图像以及与目标x光图像相关的多个自然光图像；目标x光图像包括目标监控对象；对目标x光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标x光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。
[0097]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取与x光图像属于同一场景的多个候选自然光图像；确定每一候选自然光图像的拍摄时间与目标x光图像的拍摄时间的时间间隔；将多个候选自然光图像中时间间隔小于阈值的候选自然光图像，确定为与目标x光图像相关的多个自然光图像。
[0098]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将第一全局特征图以及多个第二全局特征图输入预测模型进行特征提取，获得第一全局特征图的多个局部特征图，以及每一第二全局特征图的多个局部特征图；根据第一全局特征图、第一全局特征图的多个局部特征图、多个第二全局特征图以及每一第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图；第一稳定特征图为目标x光图像对应的特征图中与拍摄模态无关的特征图，第二稳定特征图为自然光图像对应的特征图中与拍摄模态无关的特征图；根据第一稳定特征图以及第二稳定特征图，获得多个重建特征图，根据多个重建特征图确定目标x光图像与自然光图像之间的相似度；将多个自然光图像中相似度最大的图像确定为目标自然光图像。
[0099]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对特征图f
vis
和特征图f
x
进行乘运算，获得运算结果p；若p满足：p∈r
hw
×
hw
，则确定特征图f
x
为第一稳定特征图，特征图f
vis
为第二稳定特征图；其中，特征图f
x
为第一全局特征图以及第一全局特征图的多个局部特征图中的任意一个，p∈r
hw
×
hw
为所述特征图f
vis
和所述特征图f
x
乘运算的运算结果p，与所述特征图的二维矩阵hw与所述特征图的二维矩阵hw经过矩阵乘法运算的运算结果相同，则所述特征图f
vis
与所述特征图f
x
对应，所述r为特征图的二维矩阵的尺寸，h为特征图的二维矩阵的高，w为特征图的二维矩阵的宽。
[0100]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将特征图f
vis
和特征图f
x
代入如下公式，获得特征图f
vis
对应的重建特征图
ḟ
vis
：其中，m
vis
(i)为特征图的响应强度，p(i,j)为特征图间的特征对应关系，f
x
(j)为特征图f
x
的列数，f
vis
(i)为特征图f
vis
的行数。
[0101]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将特征图f
vis
和特征图f
x
代入如下公式，获得特征图f
x
对应的重建特征图
ḟ
x
：其中，m
x
(i)为特征图的响应强度，p(i,j)为特征图间的特征对应关系，f
vis
(j)为特征图f
vis
的列数，f
x
(i)为特征图f
x
的行数。
[0102]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对目标x光图像对应的重建特征图进行向量化处理，对获得的向量进行融合处理，获得第一向量；对自然光图像对应的重建特征图进行向量化处理，对获得的向量进行融合处理，获得第二向量；根据第一向量和自然光图像对应的第二向量，确定目标x光图像与自然光图像之间的相似度。
[0103]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-only memory，rom）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random access memory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。
[0104]
本技术实施例提供一种计算机程序产品，该计算机程序产品包括指令，当该指令被运行时，使得如本技术实施例描述的方法被执行。例如，可以执行图2所示的图片识别方
法的各个步骤。
[0105]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0106]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。