一种基于多摄像机融合的X光安检方法及安检装置与流程

一种基于多摄像机融合的x光安检方法及安检装置
技术领域
1.本发明涉及安检机技术领域，尤其涉及一种基于多摄像机融合的x光安检方法及安检装置。


背景技术：

2.以x光为核心技术的安检机在地铁、机场、火车站、大型活动会场、物流等场景早已普及，但在安全的背后，现有的安检系统存在人力成本高、效率低、功能单一等痛点。在车站、机场、码头等处的行李安检场合，常会遇到相似的行李物品被误拿、行李安检完成后找不到行李物主的情况，另外，当行李中携带有违禁品时，难以迅速、准确地在第一时间找到行李物品的所有人。通常行李安检时设有专职工作人员进行寻找追踪，但在长时间工作情况下，该工作的效率和准确率不高。
3.安检的另一个痛点则在地铁场景。据了解，地铁安检工作人员平均每天在岗12小时以上，虽然采用轮班制度，但作息混乱使很多人处于亚健康状态，工作也没有积极性。由于安检时要求人员保持专注，而工作时间过长就会导致注意力分散，所以在高峰时段很多安检口实行半小时轮换制度，这样就浪费了很多人力成本。如果安检机能够拥有分辨危险品的能力，那么这些成本就可以节省下来了。


技术实现要素：

4.针对上述背景技术中的问题，本发明的一个目的在于，提供一种基于多摄像机融合的x光安检方法，在传统x光安检功能基础上，增加人包自动关联功能，通过图像关联技术将行李与其所属人员进行绑定，从而帮助安检工作人员更快速有效地实施安检工作。
5.为实现上述目的，本发明的技术方案具体如下：
6.一种基于多摄像机融合的x光安检方法，具体步骤如下：
7.s1、旅客将行李放置至x光安检仪时，时间点为ta，触发红外感应器检测到有行李放置，安检入口处第一图像采集终端a采集该时间ta时包含旅客与行李的图片信息，并抓取旅客面部图像信息a1与行李外部图像信息a2，发送信息存储请求；
8.s2、分析服务器接收第一图像采集终端a的存储请求，建立与时间点ta相应的数据存储空间，储存时间点信息并生成数据存储空间的地址信息，存储所述的旅客面部图像信息a1与行李外部图像信息a2，生成旅客与行李相关联的第一关联数据；
9.s3、x光安检仪对行李进行扫描，获取ta至tb时间段内行李的x光图像信息a3，所述tb为x光图像集的最终生成时间；
10.s4、分析服务器接收x光安检仪的存储请求，获取ta对应的数据存储空间的地址信息，并存储行李的x光图像信息a3至数据存储空间，生成旅客面部图像信息a1、行李外部图像信息a2与x光图像信息a3相关联的第二关联数据；
11.s5、分析服务器通过x光图像信息a3对行李内的违禁品进行识别，并对x光图像中的违禁品进行标识，判断行李内违禁品等级，根据违禁品等级触发相应等级的警报，并将标
识后的x光图像与旅客面部图像相关联，并发送至后台显示器进行显示；
12.s6、安检出口处行李提取人提取行李，时间点为tc，第二图像采集终端b采集行李图片信息、包含行李提取人与行李的图片信息，并抓取行李提取人面部图像信息b1与行李外部图像信息a2；
13.s7、分析服务器接收第二图像采集终端b的存储请求，获取ta对应的数据存储空间的地址信息，并存储时间点信息、行李提取人面部图像信息b1与行李外部图像信息a2，生成行李提取人与行李相关联的第三关联数据，并与第一关联数据进行比对；
14.若第三关联数据与第一关联数据的图像信息不符，则触发警报。
15.进一步地，在步骤s6中基于时间点tc与时间点ta的差值
△
t，确定行李提取人的人脸图像信息b1：
16.根据x光安检仪的传送速度设定阈值，若差值
△
t小于设定阈值，则认为采集的行李提取人的面部图像与行李的关联度最高，并将对应的面部图像作为行李提取人的人脸图像信息b1。
17.更进一步地，若差值
△
t大于设定阈值，则采集时间点tc所有包含行李提取人与行李的图片信息，将抓取对应的面部图像作为行李提取人的面部图像b1信息。
18.进一步地，以数据存储空间的地址信息为关联中介，将旅客面部图像信息a1、行李外部图像信息a2与x光图像信息a3进行关联形成第二关联数据。
19.进一步地，以行李外部图像信息为关联中介，将包含旅客面部图像信息a1、行李外部图像信息a2的第一关联数据与包含行李提取人面部图像信息b1与行李外部图像信息a2的第三关联数据进行关联比对。
20.更进一步地，在分析比对第一关联数据与第三关联数据时，行李外部图像信息a2与行李外部图像信息a2一致，若行李提取人面部图像信息b1与旅客面部图像信息a1不符或未匹配到行李提取人面部图像信息b1，则认为旅客错拿或漏拿行李，发出警报。
21.进一步地，所述分析服务器中采用卷积神经网络结构，经过大量图像数据识别后，建立人工智能识别模型，通过比对对行李内的违禁品进行识别
22.通过对行李的x光可见图像比对，识别行李的x光可见图像中的违禁品或危险品，并针对不同违禁品或危险品采用不同色彩的矩形框以及标签进行标识，同时将标识后的x光可见图像显示至显示器进行显示。
23.本发明的另一目的在于，提供一种基于多摄像机融合的x光安检装置，包括第一图像采集终端a、x光安检仪、第二图像采集终端b、分析服务器、显示器与声光报警器；
24.所述x光安检仪，用于生成x光图像信息a3，在x光安检仪入口处设置有红外感应器，用于检测旅客行李放置，触发图像采集终端与x光安检仪工作；
25.所述第一图像采集终端a，用于采集行李放置至x光安检仪，时间点ta时，包含旅客与行李的图片信息，并抓取旅客面部图像信息a1与行李外部图像信息a2；
26.所述第二图像采集终端b，用于采集安检出口处行李提取人提取行李，时间点tc时，包含行李提取人与行李的图片信息，并抓取行李提取人面部图像信息b1与行李外部图像信息a2；
27.所述分析服务器，包括预处理模块、数据存储模块、数据关联模块与数据处理模块；
28.所述预处理模块，用于接收存储请求，生成相应的数据储存空间并记录行李放置至x光安检仪的时间点为ta、x光图像集的最终生成时间点tb、行李提取人提取行李的时间点为tc；
29.所述数据存储模块，用于存储图像采集终端与x光安检仪发送的图像信息；
30.所述数据关联模块，包括第一关联单元、第二关联单元与第三关联单元；
31.所述第一关联单元，用于生成旅客面部图像信息a1与行李外部图像信息a2相关联的第一关联数据；
32.所述第二关联单元，用于生成旅客面部图像信息a1、行李外部图像信息a2与x光图像信息a3相关联的第二关联数据；
33.所述第三关联单元，用于生成行李提取人面部图像信息b1与行李外部图像信息a2相关联的第三关联数据；
34.所述数据处理模块，用于分析识别行李x光图像信息a3中的违禁品，并将标记后的x光图像信息发送至显示器，并根据违禁品情况触发声光报警器；
35.所述数据处理模块，还用于分析比对第一关联数据与第三关联数据，若关联数据信息不符，则触发声光报警器。
36.进一步地，所述x光安检装置还包括温度检测器，用于对通过安检的旅客进行体温检测，所述温度检测器与声光报警器相连接。
37.更进一步地，所述声光报警器设置有3个，分别对应设置为违禁品警报器、行李错误警报器与体温报警器。
38.与现有技术相比，本发明具有以下优点：
39.本发明中在传统x光安检功能基础上，增加人包自动关联功能，通过图像关联技术将行李与其所属人员进行绑定，从而帮助安检工作人员更快速有效地实施安检工作。
40.当被检查的旅客人员放置行李至x光安检仪上时，会实时采集人员图像，随后用x光扫描行李包裹，后台将该阶段的人员信息与行李x光图像绑定，储存数据的同时将行李扫描的x光可见图像和过安检的旅客人员一一对应，当后台分析服务器识别到违禁品或危险品时，安检人员能够更快捷找到携带违禁品或危险品的旅客。同时以数据存储空间的地址信息、行李外部图像信息作为关联中介，将旅客人员与行李之间的数据信息进行关联存储，便于通过图像追溯，调取、查看、查询已过安检的行李x光可见图像，以及带有该行李的旅客人员信息与图像信息，过程方便且直观，便于追溯查看。
41.本发明安检装置中采用卷积神经网络结构，经过大量图像数据识别后，建立人工智能识别模型，自动分辨行李中的违禁物品。本发明安检装置可自动对枪支、子弹、刀具、剪刀、液体、压力容器、充电宝等禁止或限量携带的物品进行探测、识别、提示，提高安检效率、减轻识图人员的工作强度。
附图说明
42.图1为本发明基于多摄像机融合的x光安检方法的流程图；
43.图2为违禁品识别的流程示意图；
44.图3为违禁品识别标记对比图；
45.图4为行李错误识别与预警流程示意图；
46.图5为本发明基于多摄像机融合的x光安检装置的示意图；
47.图6为本发明中分析服务器的结构示意框图。
具体实施方式
48.下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
49.实施例1
50.如图1所示，一种基于多摄像机融合的x光安检方法，具体步骤如下：
51.s1、旅客将行李放置至x光安检仪时，时间点为ta，触发红外感应器检测到有行李放置，安检入口处第一图像采集终端a采集该时间ta时包含旅客与行李的图片信息，并抓取旅客面部图像信息a1与行李外部图像信息a2，发送信息存储请求；
52.s2、分析服务器接收第一图像采集终端a的存储请求，建立与时间点ta相应的数据存储空间，储存时间点信息并生成数据存储空间的地址信息，存储所述的旅客面部图像信息a1与行李外部图像信息a2，生成旅客与行李相关联的第一关联数据；
53.s3、x光安检仪对行李进行扫描，获取ta至tb时间段内行李的x光图像信息a3，所述tb为x光图像集的最终生成时间；
54.s4、分析服务器接收x光安检仪的存储请求，获取ta对应的数据存储空间的地址信息，并存储行李的x光图像信息a3至数据存储空间，生成旅客面部图像信息a1、行李外部图像信息a2与x光图像信息a3相关联的第二关联数据；
55.在此过程中，选择以数据存储空间的地址信息为关联中介，将旅客面部图像信息a1、行李外部图像信息a2与x光图像信息a3进行关联形成第二关联数据。
56.关联依据：固定的时间差。安检仪传送带的滚动速度是固定的，因此从行李放入到生成x光图像信息的时间差是固定的，即(tb-ta)，因此在此时间差内的生成的x光图像集与行李的相关联，依此为依据实现人包关联。
57.违禁品识别与预警：
58.如图2所示：
59.s5、分析服务器通过x光图像信息a3对行李内的违禁品进行识别，并对x光图像中的违禁品进行标识，判断行李内违禁品等级，根据违禁品等级触发相应等级的警报，并将标识后的x光图像与旅客面部图像相关联，并发送至后台显示器进行显示；
60.所述分析服务器中采用卷积神经网络结构，经过大量图像数据识别后，建立人工智能识别模型，通过比对对行李内的违禁品进行识别；
61.如图3所示，通过对行李的x光可见图像比对，识别行李的x光可见图像中的违禁品或危险品，并针对不同违禁品或危险品采用不同色彩的矩形框以及标签进行标识，同时将标识后的x光可见图像显示至显示器进行显示。
62.行李错误识别与预警
63.如图4所示：
64.s6、安检出口处行李提取人提取行李，时间点为tc，第二图像采集终端b采集行李图片信息、包含行李提取人与行李的图片信息，并抓取行李提取人面部图像信息b1与行李外部图像信息a2；
65.具体的，基于时间点tc与时间点ta的差值
△
t，确定行李提取人的人脸图像信息b1：
66.根据x光安检仪的传送速度设定阈值，若差值
△
t小于设定阈值，则认为采集的行李提取人的面部图像与行李的关联度最高，并将对应的面部图像作为行李提取人的人脸图像信息b1；若差值
△
t大于设定阈值，则采集时间点tc所有包含行李提取人与行李的图片信息，将抓取对应的面部图像作为行李提取人的面部图像b1信息。
67.因x光安检仪传送带的滚动速度是固定的，因此从行李放入到生成x光图像信息的时间差是固定的，基于此时间差加上预留的旅客提取行李的时间，设定合理的阈值范围，若时间点tc与时间点ta的差值
△
t小于设定阈值，判断当前行李被提取人及时拿取，认为此时采集的行李提取人的面部图像与行李的关联度最高，并将对应的面部图像作为行李提取人的人脸图像信息b1；若差值
△
t大于设定阈值，判断当前被安检旅客人员被耽误，使其未能及时提取行李，此时为避免被耽误的安检旅客集中出现在安检口提取行李，导致难以确定最大关联度的旅客人员，因此采集时间点tc所有包含行李提取人与行李的图片信息，将抓取对应的面部图像作为行李提取人的面部图像b1信息。
68.s7、分析服务器接收第二图像采集终端b的存储请求，获取ta对应的数据存储空间的地址信息，并存储时间点信息、行李提取人面部图像信息b1与行李外部图像信息a2，生成行李提取人与行李相关联的第三关联数据，并与第一关联数据进行比对；
69.若第三关联数据与第一关联数据的图像信息不符，则触发警报。
70.在此过程中，选择以行李外部图像信息为关联中介，将包含旅客面部图像信息a1、行李外部图像信息a2的第一关联数据与包含行李提取人面部图像信息b1与行李外部图像信息a2的第三关联数据进行关联比对。
71.在分析比对第一关联数据与第三关联数据时，行李外部图像信息a2与行李外部图像信息a2一致，若行李提取人面部图像信息b1与旅客面部图像信息a1不符或未匹配到行李提取人面部图像信息b1，则认为旅客错拿或漏拿行李，发出警报。
72.实施例2
73.如图5所示，一种基于多摄像机融合的x光安检装置，包括第一图像采集终端a、x光安检仪、第二图像采集终端b、分析服务器、显示器与声光报警器；
74.所述x光安检仪，用于生成x光图像信息a3，在x光安检仪入口处设置有红外感应器，用于检测旅客行李放置，触发图像采集终端与x光安检仪工作；
75.所述第一图像采集终端a，用于采集行李放置至x光安检仪，时间点ta时，包含旅客与行李的图片信息，并抓取旅客面部图像信息a1与行李外部图像信息a2；
76.所述第二图像采集终端b，用于采集安检出口处行李提取人提取行李，时间点tc时，包含行李提取人与行李的图片信息，并抓取行李提取人面部图像信息b1与行李外部图像信息a2；
77.如图6所示，所述分析服务器，包括预处理模块、数据存储模块、数据关联模块与数据处理模块；
78.所述预处理模块，用于接收存储请求，生成相应的数据储存空间并记录行李放置至x光安检仪的时间点为ta、x光图像集的最终生成时间点tb、行李提取人提取行李的时间点为tc；
79.所述数据存储模块，用于存储图像采集终端与x光安检仪发送的图像信息；
80.所述数据关联模块，包括第一关联单元、第二关联单元与第三关联单元；
81.所述第一关联单元，用于生成旅客面部图像信息a1与行李外部图像信息a2相关联的第一关联数据；
82.所述第二关联单元，用于生成旅客面部图像信息a1、行李外部图像信息a2与x光图像信息a3相关联的第二关联数据；
83.所述第三关联单元，用于生成行李提取人面部图像信息b1与行李外部图像信息a2相关联的第三关联数据；
84.所述数据处理模块，用于分析识别行李x光图像信息a3中的违禁品，并将标记后的x光图像信息发送至显示器，并根据违禁品情况触发声光报警器；
85.所述数据处理模块，还用于分析比对第一关联数据与第三关联数据，若关联数据信息不符，则触发声光报警器。
86.在本发明中，所述x光安检装置还包括温度检测器，用于对通过安检的旅客进行体温检测，所述温度检测器与声光报警器相连接。
87.具体的，所述声光报警器设置有3个，分别对应设置为违禁品警报器、行李错误警报器与体温报警器。
88.分析服务器根据分析结果控制对应的违禁品警报器、行李错误警报器或体温报警器工作。
89.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。