一种基于全段模糊匹配的包包关联方法与流程

1.本发明涉及图片数据处理技术领域，具体涉及一种基于全段模糊匹配的包包关联方法。


背景技术：

2.现有技术中，地铁、机场或其他安检场景进行包裹安检时，当乘客把包裹放到传送带进入安检机后，会对包裹进行违禁品识别，当包裹中识别出违禁品时，需要马上确定对应的包。所以需要把安检机包裹图片和包的rgb图片进行关联，才方便安检员确认。现有的解决思路是通过x光图片成像时间，和包裹从入包口运动到x光图片成像位置的时间，倒推回去找到包裹在传送带上的时间从而找到对应的包裹可见光图片。这种方法存在以下问题：1、由于包裹的长度不统一，加上传送带运行的速度会有偏差，所以包裹从入包口运行到x光图片成像位置的时间是在变化的，如果固定为某一值，会带来匹配偏差。2、同时包裹的可见光图片是个全景图图片，可能包含了其他的包裹，对包裹匹配会带来干扰。针对以上问题，本发明提出了一种基于全段模糊匹配的包包关联方法。


技术实现要素：

3.本发明是提供一种基于全段模糊匹配的包包关联方法，利用包裹x光图片与缓存的包裹图像数据队列m中的包裹图像数据进行模糊匹配，得到适配度最好的包裹图像数据，根据匹配出的包裹图像数据与所述包裹x光图片进行包包关联，到达当包裹x光图片中识别出违禁品时，马上能确定对应的包裹的目的。
4.本发明的上述技术目的是通过以下技术方案得以实现的：
5.一种基于全段模糊匹配的包包关联方法，应用于安检机系统，安检机中设置有x光成像区，安检机入口前的传送带上方安装有摄像机，所述摄像机的摄像方向与所述传送带垂直且摄像机的摄像范围完全覆盖传送带，所述方法包括以下步骤：
6.s1：不间断获取当前摄像机图片并提取包裹图像数据，缓存所述包裹图像数据，得到包裹图像数据队列m，m包括(t
‑△
t，t)时间段的包裹图像数据，其中，
△
t为包裹图像数据缓存时间，且
△
t为包裹从传送带一端运行到另一端的时间，t 为提取获取当前摄像机图片的时刻点；
7.s2：获取安检机中完全成像的包裹x光图片，并提取所述包裹x光图片成像时间，记为时刻点t2；
8.s3：根据时刻点t2与时刻点t进行时间间隔运算，获得(t2
‑△
t，t2)时间段，其中时刻点t位于(t2
‑△
t，t2)时间段内；
9.s4：在时刻点t2时，包裹图像数据队列m更新为包裹图像数据队列m’，m’包括(t2
‑△
t，t2)时间段的包裹图像数据，利用(t2
‑△
t，t2)时间段内的包裹图像数据与所述包裹x光图片进行模糊匹配；
10.s5：根据模糊匹配结果，得到适配度最好的包裹图像数据作为最终包包关联图像
信息，将所述最终包包关联图像信息与所述包裹x光图片进行包包关联绑定。
11.进一步地，执行s1时，包括以下步骤：
12.s11：获取当前摄像机图片组成像素的rgb值；
13.s12：根据rgb值得到包裹图像数据，所述包裹图像数据包括但不限于包裹外部轮廓、包裹可见光图片、包裹在当前摄像机图片中的最左侧和最右侧的坐标以及包裹在当前摄像机图片中的长度。
14.进一步地，还包括以下步骤：
15.s1a：获取初始时刻的包裹图像数据b；
16.s1b：从摄像机图片上跟踪包裹并更新包裹图像数据，得到用于进行模糊匹配的包裹图像数据b’。
17.进一步地，设置初始时刻为t0，初始时刻的包裹图像数据b包括：
18.b＝{id,img0,x
l0
,x
r0
,lb,t0}，其中id为包裹id，img0为t0时刻摄像机图片中提取的包裹可见光图片，x
l0
为包裹在t0时刻摄像机图片中的最左侧坐标，x
r0
为包裹在t0时刻摄像机图片中的最右侧坐标，lb为包裹在t0时刻摄像机图片中的长度， lb＝x
r0-x
l0
；
19.从摄像机图片上跟踪包裹，在t1时刻得到包裹图像数据b’，b’＝{id,img1,x
l1
,x
r1
, l
b1
,t1}，其中id为包裹id，img1为t1时刻摄像机图片中提取的包裹可见光图片， x
l1
为包裹在t1时刻摄像机图片中的最左侧坐标，x
r1
为包裹在t1时刻摄像机图片中的最右侧坐标，l
b1
为包裹在t1时刻摄像机图片中的长度，l
b1
＝x
r1-x
l1
；
20.当l
b1
》lb时，对包裹图像数据进行更新，此时用于进行模糊匹配的包裹图像数据为包裹图像数据b’，缓存到包裹图像数据队列。
21.进一步地，执行s4时，还包括以下步骤：截取m’在(t2
‑△
t，t)时间段的包裹图像数据，利用(t2
‑△
t，t)时间段内的包裹图像数据与所述包裹x光图片进行模糊。
22.本发明还提供了一种基于全段模糊匹配的包包关联的电子设备，包括：
23.一个或多个处理器；
24.存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至5中任意一项所述的一种基于全段模糊匹配的包包关联方法。
25.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现根据权利要求1至5中任意一项所述的一种基于全段模糊匹配的包包关联方法。
26.本发明的有益效果：本发明利用包裹x光图片与缓存的包裹图像数据队列m 中的包裹图像数据进行模糊匹配，得到适配度最好的包裹图像数据，根据匹配出的包裹图像数据与所述包裹x光图片进行包包关联，到达当包裹x光图片中识别出违禁品时，马上能确定对应的包裹的目的。
附图说明
27.图1为本发明的方法流程示意图；
28.图2为获取当前摄像机图片时的示意图；
29.图3为t0时刻获取当前摄像机图片时的示意图；
30.图4为t0时刻获取的当前摄像机图片；
31.图5为t1时刻获取当前摄像机图片时的示意图；
32.图6为t1时刻获取的当前摄像机图片。
具体实施方式
33.为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清查、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有实施例,都在本发明的保护范围之内。
34.以下结合附图并附具体实施例详细说明本发明，
35.实施例一
36.如图1和图2所示，安检机中设置有x光成像区，传送带上方装有一个摄像机，摄像机的摄像方向与传送带垂直，同时摄像机的摄像范围刚好覆盖传送带。这样可以拍摄到传送带上的包裹，摄像机的拍摄方向也是与包裹垂直，得到的摄像机图片中包裹可见光图片为包裹的俯视图。
37.本实施例中，传送带的运行方式是从a至d，a、d为传送带的两端，传送带的运行速度为v，b为安检机的入包口，ab的长度为l，c为安检机的出包口， bc段的传送带在安检机的内部。点x表示包裹到此位置时，开始扫描进行x光图片的成像。bx的长度为s。在入包传送带ab上方有个摄像机，摄像机能够全部把ab传送全部照进去。
38.一种基于全段模糊匹配的包包关联方法，包括以下步骤：
39.s1：不间断获取当前摄像机图片并提取包裹图像数据，缓存所述包裹图像数据，得到包裹图像数据队列m，m包括(t
‑△
t，t)时间段的包裹图像数据，其中，
△
t为包裹图像数据缓存时间，且
△
t为包裹从传送带一端运行到另一端的时间，假设一个包裹从a运动到d，那么
△
t＝l/v是包裹在传送带上运行的最长时间，t 为提取获取当前摄像机图片的时刻点；
40.具体的，将提取的包裹图像数据记为b，m＝{b0,b1,b2
…
bi
……
bn}。其中提取包裹图像数据时，可先获取当前摄像机图片组成像素的rgb值，然后根据rgb 值计算得到包裹图像数据，所述包裹图像数据包括但不限于包裹外部轮廓、包裹可见光图片、包裹在当前摄像机图片中的最左侧和最右侧的坐标以及包裹在当前摄像机图片中的长度。
41.s2：获取安检机中完全成像的包裹x光图片，并提取所述包裹x光图片成像时间，记为时刻点t2；
42.s3：根据时刻点t2与时刻点t进行时间间隔运算，获得(t2
‑△
t，t2)时间段，其中时刻点t位于(t2
‑△
t，t2)时间段内；
43.具体的，记包裹从当前时刻点t到包裹x光图片成像完成时经历的时间为t1， t1＝t2-t；(t
‑△
t，t)时间段经历时间t1后变为(t
‑△
t+t1，t+t1)，带入t1＝t2-t，可得到(t2
‑△
t，t2)时间段，由于t1是包裹从传送带上一点移动到开始扫描进行 x光图片的成像的起始点x，所示时刻点t是位于(t2
‑△
t，t2)时间段内的。
44.s4：在时刻点t2时，包裹图像数据队列m更新为包裹图像数据队列m’，m’包括(t2
‑△
t，t2)时间段的包裹图像数据，利用(t2
‑△
t，t2)时间段内的包裹图像数据与所述包裹x光图片进行模糊匹配；
45.具体的，包裹图像数据在进行缓存的同时还在实时进行数据清除，清除方法如下：
46.for bi in m:
47.if bi的时间ti《(t
‑△
t):
48.清除包裹信息bi。
49.故在时刻点t2时，包裹图像数据队列会清除t2
‑△
t之前的包裹图像数据，但由于时刻点t是位于(t2
‑△
t，t2)时间段内的，所以时刻点t时获取的包裹图像数据是位于更新后的包裹图像数据队列m’中，利用m’中的包裹图像数据与包裹x光图片进行模糊匹配，记获得x光图片为xb,max_conf作为最大匹配度，max_conf 初始化为0，bb最为适配最好的可见光包裹信息
50.for bi in m’:
51.计算bi和xb之间的相似度conf，分别从尺寸，面积等维度比较。
52.当conf》max_conf时，
53.max_conf＝conf
54.bb＝bi
55.最后把bi从m’中去除，避免重复匹配。
56.此外，为了减少用于进行模糊匹配的包裹图像数据，缩短遍历时间，可以截取m’在(t2
‑△
t，t)时间段的包裹图像数据，利用(t2
‑△
t，t)时间段内的包裹图像数据与所述包裹x光图片进行模糊。
57.s5：根据模糊匹配结果，得到适配度最好的包裹图像数据作为最终包包关联图像信息，将所述最终包包关联图像信息与所述包裹x光图片进行包包关联绑定。
58.实施例二
59.本实施例中的技术方案与实施例一主要区别在于提取包裹图像数据时，为了获得准确的包裹图像数据，如图3和图4所示，由于包裹实际尺寸的影响，在包裹刚进入传送带时，获取的摄像机图片并没有完全将包裹拍摄在内，导致摄像机图片中提取的包裹可见光图片，并没有包括包裹的全部，或者获取的摄像机图片中包裹并没有在摄像头的正下方，导致获取的包裹图像数据有所误差，为了避免此情况，因此采用了对摄像机图片中的包裹进行追踪的技术思想，如图5和图6所示，其技术方案如下：
60.s1a：获取初始时刻的包裹图像数据b；
61.具体的，如图3和图4所示，设置初始时刻为t0，初始时刻的包裹图像数据 b包括：b＝{id,img0,x
l0
,x
r0
,lb,t0}，其中id为包裹id，img0为t0时刻摄像机图片中提取的包裹可见光图片，x
l0
为包裹在t0时刻摄像机图片中的最左侧坐标， x
r0
为包裹在t0时刻摄像机图片中的最右侧坐标，lb为包裹在t0时刻摄像机图片中的长度，lb＝x
r0-x
l0
；
62.s1b：从摄像机图片上跟踪包裹并更新包裹图像数据，得到用于计算时刻点t 的包裹图像数据b’。
63.具体的，如图5和图6所示，从摄像机图片上实时跟踪包裹，在t1时刻得到包裹图像数据b’，b’＝{id,img1,x
l1
,x
r1
,l
b1
,t1}，其中id为包裹id，img1为t1时刻摄像机图片中提取的包裹可见光图片，x
l1
为包裹在t1时刻摄像机图片中的最左侧坐标， x
r1
为包裹在t1时刻摄像机图片中的最右侧坐标，lb为包裹在t0时刻摄像机图片中的长度，l
b1
＝x
r1-x
l1
；
64.当l
b1
》lb时，对包裹图像数据进行更新，此时用于计算时刻点t的包裹图像数据为
包裹图像数据b’。
65.重复此步骤，获取t2、t3
……
tn时刻的包裹图像数据，当发现后续时刻的包裹在摄像机图片中的长度不再变化是，取最初的t1时刻得到包裹图像数据b’用于后续进行模糊匹配。
66.本发明还提供了一种基于全段模糊匹配的包包关联的电子设备，包括：
67.一个或多个处理器；
68.存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至5中任意一项所述的一种基于全段模糊匹配的包包关联方法。
69.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现根据权利要求1至5中任意一项所述的一种基于全段模糊匹配的包包关联方法。
70.上述计算机可读存储介质可以在任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
71.本领域的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件发面的实施例的形式。而且，本发明可采用在一个或多个其中包括计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
72.本发明是参照根据本发明实施例的方法、设备、和计算机程序产品的流程图和\或方框图来描述的。应理解可由计算机程序指令实现流程图和\或方框图中的每一流程和\或方框、以及流程图和\或方框图中的流程和\或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个或多个流程和\或方框图一个方框或多个方框中指定的功能的装置。
73.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指定装置的制造品，该指令装置实现在流程图一个流程或多个流程和 \或方框图一个方框或多个方框中指定的功能。
74.这些计算机程序指令也可以装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和\或方框图一个方框或多个方框中指定的功能的步骤。
75.在一个典型的配置中，计算设备包括一个或多个处理器、输入\输出接口、网络接口和内存。
76.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram) 和\或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质
的示例。
77.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器 (eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
78.还需要说明的是，术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
79.以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容，并不用于限制本发明的保护范围，本发明的技术方案不限制于上述具体实施方式内。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。