一种基于传送带标识的可见光和X光图像匹配方法及装置与流程

一种基于传送带标识的可见光和x光图像匹配方法及装置
技术领域
1.本发明属于安防中的安检领域，涉及可见光成像、x光成像、图形图像处理、计算机视觉等技术，在传送带上设置标识，使可见光采集的物品图像和x光采集的物品图像能够匹配，提高安检效率。


背景技术：

2.安检在日常生活中已经很常见，比如在地铁口、机场和重要场馆等场景，都会配备安检机。安检机通常利用主动x光技术，通过传送带将被检测的物品(通常是包裹)送入扫描区，接着通过x光对物品进行扫描得到x光图像(透视图像)，进而对物品里是否包含禁限带品进行判别，如果有疑似禁限带品，则需要对物品进行人工复核，此时则需要通过x光图像去搜索对应的物品(包裹)。安检员通常是根据物品的特征，比如物品的大小、拉链或者装饰物的形状等去判断，这种方法取决于安检员的辨识能力，效率很低。因此，需要图像自动匹配的方法，最基本的想法就是在x光扫描物品时，抓拍一张可见光的图像，然而，由于x光有辐射，安检机扫描模块在机器内部，在里面安装可见光摄像机有难度，而且很难补光，x光对摄像机也有干扰导致成像不佳。所以，通常在安检机的传送带物品入口处上方安装可见光摄像机，在物品被放置到传送带上或者物品即将经过安检机铅帘时，对物品进行抓拍，这就存在一个问题：物品的可见光图片先被抓拍，过了一段时间才是x光机扫描出物品的x光图像，这两张图像如何进行对应匹配呢？有厂家基于传送带是匀速运行的假设，所以物品可见光抓拍时刻和x光扫描时刻之间是固定的时间差，通过时间差来进行搜索匹配，这种方法无法解决传送带调速的场景，而且传送带有时需要暂停用于复查物品，这会导致可见光抓拍时刻和x光扫描时刻的时间差不确定；还有厂家通过轮廓匹配的方法，事实上，由于x光扫描是透视，会导致很多情况下物品的轮廓线非常模糊，如图1和图2所示，图1是摄像机抓拍的可见光图像，显示一个塑料购物袋，图2是图1物品对应的x光扫描图像，里面装着鞭炮，塑料袋的边缘在x光扫描下已经非常模糊，这种情况下通过轮廓匹配已不可行。


技术实现要素：

3.本发明为了解决安检机场景可见光拍摄物品图像和x光扫描物品图像匹配问题，提出了一种基于传送带标识的可见光和x光图像匹配方法及装置。如图3所示，在已有安检机主体301，基座302和传送带308基础上，本发明装置包括顶部箱体支撑板303、两侧支撑板304、网络高清摄像机模组305、可见光采集补光灯板306、传送带标识条307。物品通过传送带往前运动，物品和传送带保持相对静止。网络高清摄像机模组对传送带上的物品进行拍摄，输出的视频流通过网络传输到图像匹配服务模块，图像匹配服务模块对视频流进行解码输出一帧帧可见光图像，然后在可见光图像上检测是否有物品，检测到物品存在，则启动抓拍，抓拍的可见光图像放入可见光图像队列中，同时记录可见光图像的抓拍时间和物品在可见光抓拍图像上的图像坐标。安检机x光扫描模块对传送带上的物品进行扫描，扫描出的x光图像通过网络传输到图像匹配服务模块，图像匹配服务模块在x光图像上检测是否有
物品，检测到物品存在，则把该x光图像放入x光图像队列，同时记录x光图像的扫描时间和物品在x光图像上的图像坐标。从x光图像队列中取出一张x光图像，以此x光图像抓拍时间为起始点，向前推移一段时间dt得到时刻t，dt通常是物品由可见光摄像机位置通过传送带移动到x光扫描点的时间，以时刻t为基准，从可见光图像队列中取出t前后一段时间内的可见光图像。将取出的x光图像和可见光图像，通过事先标定标识条检测区域，对传送带标识条检测区域内图像，利用以残差网络为模型的卷积神经网络进行数字识别，识别出每个数字，同时可以得到每个数字的图像坐标。把x光图像上物品根据坐标在传送带前进方向(标识条数字前进方向)上进行垂直投影，计算出投影左侧离得最近的数字、投影右侧离得最近的数字、投影中心离得最近的数字，即x光图像上物品左侧坐标对应的标识条上数字num
xl
、物品右侧坐标对应的标识条上数字num
xr
和物品中心坐标对应的标识条上数字num
xc
。把从可见光图像队列中取出的图像上物品根据坐标在传送带前进方向(标识条数字前进方向)上进行垂直投影，计算出投影左侧离得最近的数字、投影右侧离得最近的数字、投影中心离得最近的数字，即可见光图像上物品左侧坐标对应的标识条上数字num
cl
、物品右侧坐标对应的标识条上数字num
cr
和物品中心坐标对应的标识条上数字num
cc
。计算num
xl
和num
cl
的距离d
l
，num
xr
和num
cr
的距离d
r
，num
xc
和的num
cc
距离d
c
，如果d
l
、d
r
、d
c
之和小于设定的阈值，则认为x光图像中物品和可见光图像中物品匹配。
4.x光图像和可见光图像上物品检测算法都采用基于深度聚焦卷积残差网络，如图8所示。输入图像通过聚焦结构把图像各颜色通道子图分成切片(slice)，然后经过张量拼接(concat)和卷积模块(conv)生成特征图，经过bn(batch normalization)和leaky relu激活函数等之后输出给跨阶段局部网络，此跨阶段局部网络由conv、bn、leaky relu、resnet(残差网络模块)、concat、合并后bn、合并后leakyrelu等模块组成，包括两个路径的特征图生成过程。紧接着通过空间金字塔池化模块(spp:spatial pyramid pooling)，最终输入到fpn(feature pyramid networks)和pan(path aggregation network)相结合的结构中，采用自顶向下和自底向上的特征金字塔，通过pan结构从不同的特征层进行特征信息传输和聚合。最终通过预测层(prediction)进行物品检测。x光图像和可见光图像在成像原理上有很大的不同，这就导致同样类别的物品在x光图像和可见光图像上的特征表现有很大的区别，因此，本发明用x光图像的样本训练x光物品检测模型，用可见光图像的样本训练可见光物品检测模型。
5.传送带检测区域内图像上数字识别算法采用以残差网络为模型的卷积神经网络，如图9所示。该卷积神经网络以残差网络模块为核心，将卷积层(conv)、激活层(relu)、池化层(pooling)、残差网络模块(res net)和全连接层(full connection)等组合起来，最终识别出数字。
6.顶部箱体支撑板303为透明亚格力材质，位于可见光装置顶层，与x光机机身固定，补光灯板发出的光可透过支撑板303照射到传送带物品上。
7.支撑板304，与顶部箱体支撑板303和x光机底部固定连接，保证可见光采集装置稳固。
8.网络高清摄像机模组305位于顶部箱体支撑板303中心，通过定位孔固定，垂直向下照射，采集传送带上的物品的图像。
9.可见光采集补光灯板306由柔和的led灯板组成，光线亮度可以根据环境光照强度
自动调节。
10.传送带标识条307为固定于传送带308上表面，位于两侧外边缘的细条，尽量保证不被传送带的包裹遮挡，长度与传送带长度一致，用于标识送带的位置。传送带标识条307由夹层金属标识条401和传送带标识条保护层402组成，如图4所示。夹层金属标识条401长度与传送带长度相同，由金属构成连续的数字，数字之间有固定间隔，方便图像识别，金属数字在x光探测中可见，呈现x光图像。传送带标识条保护层402由透明材质的橡胶或者塑料制作，x光线可穿透材质，可见光摄像机可拍摄到金属数字，不影响夹层金属标志的识别，同时耐磨性强。
附图说明
11.图1是本发明可见光摄像机对物品的抓拍图例。
12.图2是本发明安检机对物品进行x光扫描图例。
13.图3是本发明装置图。
14.图4是本发明传送带标识条组成示意图。
15.图5是本发明可见光抓拍图像示意图。
16.图6是本发明x光扫描图像示意图。
17.图7是本发明流程图。
18.图8是本发明x光图像和可见光图像上物品检测算法网络结构图。
19.图9是本发明数字识别算法网络结构图。
具体实施方式
20.下面结合附图和具体实例对本发明进行进一步解释。应该指出的是，下文所描述的实例旨在更好的理解本发明，只是本发明中的一部分，并不因此而限制本发明的保护范围。
21.如图3和图7所示，本发明在已有安检机主体301，基座302和传送带308基础上，加装顶部箱体支撑板303、两侧支撑板304、网络高清摄像机模组305、可见光采集补光灯板306、传送带标识条307，在不同的时刻，用可见光对传送带上的物品进行拍摄，用x光对传送带上的物品进行扫描，对拍摄到的可见光图像和扫描到的x光图像，用基于深度聚焦卷积残差网络的物品检测算法进行检测，在检测到传送带上有物品时，启动可见光图像和x光图像匹配过程。匹配用传送带标识条上的数字进行，可见光图像和x光图像上的数字识别采用以残差网络为模型的卷积神经网络。
22.步骤701中，安检机传送带将被检测物品送入安检通道，由控制单元触发射线光源发出x射线，射线穿过传送带上的物品，落到双能探测器上，探测器把接收到的信号转换为电信号，再通过模拟到数字的信号转换，形成数字信号，传送到安检机内嵌的计算单元，由计算单元进行图像去噪、锐化、上色等处理，最终生成高质量的x光扫描图像。安检机x光在扫描物品的同时，也会扫描传送带上的数字标识条，因为标识条是金属材质，所以在x光扫描图像上清晰可见，上色后通常是蓝色，即x光扫描图像上带有标识条上的数字。
23.步骤702中，在安检机入口，垂直正对着传送带的网络高清摄像机模组对传送带上的物品进行拍摄。因此，对于同一个物品，摄像机拍摄的可见光图像在时间上要早于x光扫
描图像。摄像机拍摄时，可见光采集补光灯板根据环境光照强度自动调节补光强度。摄像机拍摄过程中，物品跟随传送带处于运动中，因此采用较短的曝光时间和较大的光圈，以减少运动模糊。摄像机在拍摄物品的同时，也会拍摄到传送带上的数字标识条，即可见光视频和图像上带有标识条上的数字。
24.步骤703、步骤704、步骤705和步骤706，可见光视频流和x光扫描图像序列通过网络传输到图像匹配服务模块，将可见光视频流解码成图像，图像匹配服务模块对可见光图像和x光图像进行物品检测，x光图像和可见光图像上物品检测算法都采用基于深度聚焦卷积残差网络，可见光图像物品检测采用的是可见光图像样本训练的模型，x光图像物品检测采用的是x光图像样本训练的模型。在训练图片输入时，采用随机缩放、随机裁剪、随机组合等将几张图片组成一张图片以扩大样本量。训练样本分辨率统一到640x640像素。
25.步骤707、步骤708、步骤709和步骤710，可见光图像上检测到物品存在后，则将该图像作为抓拍图像放入可见光图像队列中，同时记录可见光图像的抓拍时间和物品在可见光抓拍图像上的图像坐标，抓拍时间精确到毫秒。x光图像上检测物品存在后，则将则把该x光图像放入x光图像队列，同时记录x光图像的扫描时间和物品在x光图像上的图像坐标。可见光图像队列和x光图像队列中的图片按时间先后进行存放，以方便后续匹配时读取使用。队列的长度通常以物品从传送带入口运行到出口的时间的两倍时间来计算，即在这两倍时间范围外的图像将被新的图像替代。
26.步骤711和步骤712，从x光图像队列中取出一张x光图像，以此x光图像抓拍时间为起始点，向前推移一段时间dt得到时刻t，以时刻t为基准，从可见光图像队列中取出t前后一段时间内的可见光图像。dt通常是物品由可见光摄像机位置通过传送带移动到x光扫描点的时间，传输带的速度和传送带运动的距离是确定的，因此距离除以速度可以得到运动时间dt，这是个估算值，不能通过dt精确索引哪张可见光图像和x光图像匹配。将取出的x光图像和可见光图像，通过事先标定标识条检测区域，对传送带标识条检测区域内图像，利用以残差网络为模型的卷积神经网络进行数字识别，识别出每个数字，同时可以得到每个数字的图像坐标。标识条中的数字采用印刷体字体，由0到9组成，卷积神经网络模型的训练样本也采用印刷体数字生成的图像样本，而不是手写体数字图像样本。
27.步骤713、步骤714、步骤715、步骤716和步骤717，以传送带前进方向为坐标横轴，以垂直于前进方向为坐标纵轴，x光图像上物品和可见光图像上物品的坐标包含外围矩形框的左上角坐标、右下角坐标和中心坐标。把x光图像上物品根据坐标在传送带前进方向(标识条数字前进方向)上进行垂直投影，计算出投影左侧离得最近的数字、投影右侧离得最近的数字、投影中心离得最近的数字，即x光图像上物品左侧坐标对应的标识条上数字num
xl
、物品右侧坐标对应的标识条上数字num
xr
和物品中心坐标对应的标识条上数字num
xc
。把从可见光图像队列中取出的图像上物品根据坐标在传送带前进方向(标识条数字前进方向)上进行垂直投影，计算出投影左侧离得最近的数字、投影右侧离得最近的数字、投影中心离得最近的数字，即可见光图像上物品左侧坐标对应的标识条上数字num
cl
、物品右侧坐标对应的标识条上数字num
cr
和物品中心坐标对应的标识条上数字num
cc
。计算num
xl
和num
cl
的距离d
l
，num
xr
和num
cr
的距离d
r
，num
xc
和的num
cc
距离d
c
，如果d
l
、d
r
、d
c
之和小于设定的阈值，则认为x光图像中物品和可见光图像中物品匹配。
28.本发明一种基于传送带标识的可见光和x光图像匹配方法及装置，在x光安检机入
口上方安装网络高清摄像机模组，在传送带两侧安装金属材质的数字标识条，用深度聚焦卷积残差网络对可见光抓拍图像和x光扫描图像进行物品检测，用以残差网络为模型的卷积神经网络对图像上的数字进行自动识别，接着通过可见光抓拍图像和x光扫描图像的数字匹配来实现可见光和x光物品图像的匹配，从而让安检员能更便捷得确认x光物品图像对应的可见光物品图像，提高安检效率。