图像处理方法及装置、X光安检系统与流程

图像处理方法及装置、x光安检系统
技术领域
1.本发明涉及图像处理技术领域，具体涉及一种图像处理方法及装置，还涉及一种x光安检系统。


背景技术：

2.x光安检机在轨道交通、机场、物流等领域具有广泛的应用，x光安检机的工作原理是借助于传送带将被检查行李送入履带式通道。行李进入通道后，触发射线源发射x射线束，x射线束穿透传送带上的行李物品落到探测器上，探测器将接收到的x射线变为电信号，传送到控制计算机做进一步处理，得到高质量的图像。传统x光图像的判图一直依赖于人工，不仅工作量大、效率低，而且质量无法保证，漏检问题时有发生。
3.近些年来，随着人工智能技术的发展、以及对安检的速度和要求的提高，在x光安检机领域也带来全新的影响，出现了许多智能识别安检系统。相对于传统安检方式，如图1所示，智能识别x光安检系统中由智能识别专用设备12将从安检机11接收的x光图像视频流进行逐帧或抽帧检测，再将检测结果标注出来，最后再送到显示器13上显示。现有的智能x光安检机中，对图像的识别大都是针对每帧x光图像单独处理，即任意拍一张照片就直接识别，这种做法比较方便、直接。由于x光机安检领域的帧图像是线扫出来的，当物品在皮带上滑动前行时，虽然获得了很多x光图像，但这些图像存在大量重复的区域，按照现有的图像处理方式，不仅会使造成计算量剧增、效率低、可扩展性和显示帧率差，现有产品往往只能适配低分辨率显示，如360p。而且由于很多图像不完整，会造成识别效果发生波动，即时好时差。


技术实现要素：

4.本发明实施例一方面提供一种图像处理方法及装置，以提高图像处理效率及图像识别质量。
5.本发明实施例另一方面提供一种x光安检系统，以提高系统的智能性及对物品识别的效率。
6.为此，本发明实施例提供如下技术方案：
7.一种图像处理方法，所述方法包括：
8.接收连续帧图像；
9.逐帧对所述图像进行物品区域分割，得到一个或多个物品图像；
10.确定所述物品图像对应的物品是否已完整出现；
11.如果是，则获取所述物品的完整图像的检测结果，并将所述完整图像的检测结果标记在当前帧的显示图像中输出；
12.如果否，则对所述物品图像进行检测，并将检测结果标记在当前帧的显示图像中输出。
13.可选地，所述逐帧对所述图像进行物品区域分割，得到一个或多个物品图像包括：
14.确定所述图像中的空白区域；
15.从所述图像中提取出所述空白区域，得到分割后的一个或多个物品区域；
16.根据所述物品区域从当前帧图像中提取出物品图像。
17.可选地，所述确定所述图像中的空白区域包括：
18.计算所述图像中每个像素点的值，并根据该值计算所述图像中每一列像素值的均值；
19.如果所述均值大于等于设定阈值，则确定该列为空白列；
20.根据所有空白列，确定空白区域。
21.可选地，所述确定所述物品图像对应的物品是否已完整出现包括：
22.检查是否有对应所述物品图像对应的物品的完整出现标识；
23.如果有，则确定所述物品图像对应的物品已完整出现；
24.否则，确定所述物品图像左右是否均出现空白列；
25.如果是，则设置对应所述物品图像对应的物品的完整出现标识，并将所述物品图像作为所述物品的完整图像；
26.否则，确定所述物品图像对应的物品还未完整出现。
27.可选地，所述方法还包括：
28.如果所述物品图像为所述物品的完整图像，则保存所述完整图像的检测结果。
29.可选地，所述连续帧图像为x光安检机输出的线扫阵列图像或视频流。
30.一种图像处理装置，所述装置包括：
31.接收模块，用于接收连续帧图像；
32.图像分割模块，用于逐帧对所述图像进行物品区域分割，得到一个或多个物品图像；
33.检查模块，用于确定所述物品图像对应的物品是否已完整出现；
34.图像检测模块，用于在所述检查模块确定所述物品图像对应的物品已完整出现的情况下，获取所述物品的完整图像的检测结果，并将所述完整图像的检测结果标记在当前帧的显示图像中输出；在所述检查模块确定所述物品图像对应的物品还未完整出现的情况下，对所述物品图像进行检测，并将检测结果标记在当前帧的显示图像中输出。
35.可选地，所述图像分割模块包括：
36.空白区域确定单元，用于确定所述图像中的空白区域；
37.分割单元，用于从所述图像中提取出所述空白区域，得到分割后的一个或多个物品区域；
38.提取单元，用于根据所述物品区域从当前帧图像中提取出物品图像。
39.可选地，所述空白区域确定单元包括：
40.计算单元，用于计算所述图像中每个像素点的值，并根据该值计算所述图像中每一列像素值的均值；
41.判断单元，用于在所述均值大于等于设定阈值时，确定该列为空白列；
42.空白区域处理单元，用于根据所有空白列，确定空白区域。
43.可选地，所述检查模块包括：
44.标识查询单元，用于检查是否有对应所述物品图像对应的物品的完整出现标识；
如果有，则确定所述物品图像对应的物品已完整出现；否则触发空白列检查单元；
45.所述空白列检查单元，用于确定所述物品图像左右是否均出现空白列；如果是，则触发检查结果处理单元；否则确定所述物品图像对应的物品还未完整出现；
46.所述检查结果处理单元，用于在所述空白列检查单元确定所述物品图像左右均出现空白列的情况下，设置对应所述物品图像对应的物品的完整出现标识，并将所述物品图像作为所述物品的完整图像。
47.可选地，所述装置还包括：
48.缓存单元，用于在所述物品图像为所述物品的完整图像时，保存所述完整图像的检测结果。
49.可选地，所述连续帧图像为x光安检机输出的线扫阵列图像或视频流。
50.一种x光安检系统，所述系统包括：x光安检机、智能识别设备、显示器；所述智能识别设备包括前面所述的图像处理装置；
51.所述x光安检机，用于对滚动传送带上的物品进行x光扫描，向所述智能识别设备输出线扫阵列图像；
52.所述智能识别设备，用于接收所述线扫阵列图像，对所述线扫阵列图像中的各帧图像进行检测，输出对应各帧图像的检测结果；
53.所述显示器，用于显示所述对应各帧图像检测结果。
54.一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行前面所述的方法的步骤。
55.一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行前面所述方法的步骤。
56.本发明实施例提供的图像处理方法及装置，逐帧对连续帧图像中的各帧图像进行物品区域分割，得到一个或多个物品图像；在所述物品图像对应的物品完整出现之前，对每帧图像中相应的物品图像进行检测，并将检测结果标记在当前帧的显示图像中输出，在所述物品完整出现后，对后续各帧图像检测中，不再对该物品对应的图像进行检测，而是直接将该物品的完整图像的检测结果标记在后续各帧显示图像所述物品所在位置上，从而提高图像处理效率及图像识别质量。
57.本发明实施例提供的基于上述图像处理装置的x光安检系统，能够自动识别连续帧图像中的各物品图像对应的物品是否已完整出现，并针对已完整出现的物品，在对后续各帧图像进行检测时，不再针对该物品的物品图像进行检测，而是直接将该物品的完整图像的检测结果标记在后续各帧显示图像所述物品所在位置上，不仅提高了安检效率，而且提升了检测结果的显示效果。
附图说明
58.图1是现有技术中智能识别x光安检系统的整体结构图；
59.图2是本发明实施例图像处理方法的一种流程图；
60.图3是本发明实施例中计算每列像素值之和的示意图；
61.图4是图3所示图像进行分割处理得到两个物品图像的示意图；
62.图5是本发明实施例中物品图像动态变化示意图；
63.图6是本发明实施例图像处理方法的另一种流程图；
64.图7是本发明实施例图像处理装置的一种结构框图；
65.图8是本发明实施例图像处理装置中图像分割模块的一种结构框图；
66.图9是本发明实施例x光安检系统的结构框图。
具体实施方式
67.为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
68.x光安检机的工作方式是线扫描方式，x光射线发生器、探测器(探测盒)的空间位置是固定的，靠控制电机操作转台位置从而使传感器按照检测需求移动来实现线扫描。当皮带带动物体经过这个位置会有个过程，从成像上看，就表现出滑动、线扫的效果。
69.基于x光安检机的危险物品自动检测可以归结为人工智能中的目标检测问题，根据不同危险物品特征对检测目标进行分类和定位。
70.现有的x光机智能识别一般对每个视频帧图像都单独处理，即每一张图像的识别流程都是相同的，便于构造神经网络的训练集和推理测试流程，但是这样会使计算量显著增加，通常x光机线扫阵列图片中单帧图像的分辨率比较大，如1280*720，以神经网络主要算子卷积为例，其计算量为：
71.(2
×ci
×k2-1)
×h×w×co
72.其中，h、w分别为特征图的高、宽，ci为特征图的输入通道数，co为特征图的输出通道数，k为卷积核的大小。
73.目前主流的目标检测算法上限不过608
×
608，这就意味着卷积的计算量明显增加到2.5倍，对专用智能设备的算法、功耗都提出了更高的要求。另外，由于每张图像都存在着大量空白，实际物品呈现区域占比不多，大部分情况下，有效计算量都不超过一半，从而造成智能识别效率低，相应地造成相当多的无效计算量、功耗等资源浪费。进一步地，由于算法计算时间长、识别效率低造成智能通用设备的可扩展性比较差、显示帧率较低，如很难扩展到更高分辨率应用，如1920
×
1080，现有产品往往只能适配低分辨率显示，如360p。
74.在一些场景，比如x光机安检场景下，物品是滚动的，相当多情况下，包含完整物品形态的图像不多，而且输出的连续帧图像中存在大量的空白区域是无效的。
75.针对这一特点，本发明实施例提供一种图像处理方法及装置，逐帧对连续帧图像中的各帧图像进行物品区域分割，得到一个或多个物品图像；在所述物品图像对应的物品完整出现之前，对每帧图像中相应的物品图像进行检测，并将检测结果标记在当前帧的显示图像中输出，在所述物品完整出现后，对后续各帧图像检测中，不再对该物品对应的图像进行检测，而是直接将该物品的完整图像的检测结果标记在后续各帧显示图像所述物品所在位置上，从而提高图像处理效率及图像识别质量。
76.如图2所示，是本发明实施例图像处理方法的一种流程图，包括以下步骤：
77.步骤201，接收连续帧图像。
78.所述连续帧图像比如可以是x光安检机输出的线扫阵列图像或视频流。
79.步骤202，逐帧对所述图像进行物品区域分割，得到一个或多个物品图像。
80.具体地，首先确定所述图像中的空白区域，然后从所述图像中提取出这些空白区域，即可得到分割后的一个或多个物品区域，然后再根据所述物品区域从当前帧图像中提取出物品图像。
81.在确定图像中的空白区域时，可以通过计算图像中每一列的像素值，根据该像素值确定是否为空白列。
82.比如图3所示的图像，计算图像中每一列中所有像素点的值之和，有物品的区域其像素值之和不会出现连续，空白区域则会连续，因此可以判断出空白区域和物品图像区域。
83.具体地，计算图像中每列中所有像素值之和，就需要知道每个像的计算如下：
84.通常，所述x光安检视频流中每帧的图像为rgb三通道图像，将其简化处理成一通道图像，即r、g、b三个值按照系数取和，如下所示：
[0085][0086]
其中，λr、λg、λb分别为r、g、b三个通道像素值的加权系数，r、g、b为三个通道的像素值，o表示当前像素点的值。
[0087]
通过上述计算，如608
×
608
×
3图像，就会变成608
×
608的图像，类似获得了灰度图。
[0088]
对于空白像素点，r＝g＝b＝255，所以o＝255，即像素点的值达到最大值255。如果某一列为空白列，则这一列的像素值为608
×
255，均值为255。
[0089]
为此，在本发明实施例中，可以设定阈值为254。如果某一列像素值的均值≥254，则视为该列为空白列。在有物品的区域，由于r、g、b必然＜255，如黑色的，r＝g＝b＝0，必然不满足所述阈值要求。因此，通过上述计算及阈值的设定，可以判断所述图像中每一列是否为空白列。如果连续若干列均为空白列，则这几列就形成了空白区域。也就是说，根据所述图像中的空白列即可确定所述空白区域。
[0090]
从所述图像中提取出所述空白区域，由于物品图像区域不满足空白要求，因此可得到分割后的一个或多个物品区域，然后根据所述物品区域从当前帧图像中提取出物品图像。
[0091]
例如图3所示图像，对其进行分割处理后可得到两个物品图像，如图4所示。
[0092]
步骤203，确定所述物品图像对应的物品是否已完整出现。如果是，则执行步骤204；否则，执行步骤205。
[0093]
由于针对同一物品的物品图像往往是滚动、向前移动，逐渐从不完整变成完整，再从不完整变为不完整，最后完全离开安检机，其动态变化过程如图5所示。
[0094]
基于上述特点，在确定所述物品图像对应的物品是否已完整出现时，需要根据相应物品图像各帧的变化情况来判断。比如，可以针对每帧图像分割出的物品图像，检查其左右是否均出现空白列，如果是，则确定对应的物品已完整出现。
[0095]
步骤204，获取所述物品的完整图像的检测结果，并将所述完整图像的检测结果标记在当前帧的显示图像中输出。
[0096]
步骤205，对所述物品图像进行检测，并将检测结果标记在当前帧的显示图像中输出。
[0097]
需要说明的是，图2中仅示出了对当前帧图像的检测过程，由于x光安检测视频流中是由连续的各帧图像组成的，因此，不论是上述步骤204、还是步骤205，执行完毕后均应返回步骤202，继续对下一帧图像进行处理。
[0098]
需要说明的是，上述步骤203中确定所述物品图像对应的物品是否已完整出现时，一旦检测到物品已完整出现，则后续无需再针对该物品图像进行检测，确定对应的物品是否已完整出现。为此，在本发明另一实施例中，可以在检测到所述物品已完全出现后，设置对应该物品的完整出现标识，在对后续帧图像进行分割并对分割后的物品图像进行检测前，先检查是否有对应相应物品的所述完整出现标识。如果没有，再继续进行物品完整性判断。具体过程将在后面实施例中详细说明。
[0099]
图6是本发明实施例图像处理方法的另一种流程图，包括以下步骤：
[0100]
步骤601，接收连续帧图像。
[0101]
步骤602，逐帧对所述图像进行物品区域分割，得到一个或多个物品图像。
[0102]
步骤603，检查是否有对应所述物品图像对应的物品的完整出现标识；如果有，则执行步骤607；否则，执行步骤604。
[0103]
步骤604，确定所述物品图像左右是否均出现空白列；如果是，则执行步骤605；否则，执行步骤606。
[0104]
步骤605，设置对应所述物品图像对应的物品的完整出现标识，并将所述物品图像作为所述物品的完整图像。
[0105]
步骤606，对所述物品图像进行检测，并将检测结果标记在当前帧的显示图像中输出。然后返回步骤602，进行下一帧图像检测。
[0106]
进一步地，在步骤606中，还可以对所述完整图像的检测结果进行保存，以便后续在所述物品完整出现后，直接提取保存的该检测结果进行显示。
[0107]
步骤607，获取所述物品的完整图像的检测结果，并将所述完整图像的检测结果标记在当前帧的显示图像中输出。然后返回步骤602，进行下一帧图像检测。
[0108]
需要说明的是，对于一种特例，比如某物品的长度超出了x光安检机传送带的长度，在这种情况下，始终不会检测到该物品完整出现，则需要对其对应的各帧分割出的相应物品图像进行检测，将检测结果实时显示在对应帧的显示图像中。
[0109]
本发明实施例提供的图像处理方法，逐帧对连续帧图像中的各帧图像进行物品区域分割，得到一个或多个物品图像；在所述物品图像对应的物品完整出现之前，对每帧图像中相应的物品图像进行检测，并将检测结果标记在当前帧的显示图像中输出，在所述物品完整出现后，对后续各帧图像检测中，不再对该物品对应的图像进行检测，而是直接将该物品的完整图像的检测结果标记在后续各帧显示图像所述物品所在位置上，从而提高了图像的处理效率及图像识别质量。
[0110]
相应地，本发明实施例还提供一种图像处理装置，如图7所示，是该装置的一种结构框图。
[0111]
在该实施例中，所述图像处理装置包括以下各模块：
[0112]
接收模块701，用于接收连续帧图像；所述连续帧图像比如可以是x光安检机输出的线扫阵列图像或视频流。
[0113]
图像分割模块702，用于逐帧对所述视频流中的图像进行物品区域分割，得到一个
或多个物品图像；
[0114]
检查模块703，用于确定所述物品图像对应的物品是否已完整出现；
[0115]
图像检测模块704，用于在所述检查模块703确定所述物品图像对应的物品已完整出现的情况下，获取所述物品的完整图像的检测结果，并将所述完整图像的检测结果标记在当前帧的显示图像中输出；在所述检查模块703确定所述物品图像对应的物品还未完整出现的情况下，对所述物品图像进行检测，并将检测结果标记在当前帧的显示图像中输出。
[0116]
如图8所示，在一种具体实施例中，所述图像分割模块702可以包括以下各单元：
[0117]
空白区域确定单元721，用于确定所述图像中的空白区域；
[0118]
分割单元722，用于从所述图像中提取出所述空白区域，得到分割后的一个或多个物品区域；
[0119]
提取单元723，用于根据所述物品区域从当前帧图像中提取出物品图像。
[0120]
其中，所述空白区域确定单元721具体可以通过计算所述图像中每一列像素值的均值来确定该列是否空白列，进行根据所有空白列确定空白区域。
[0121]
相应地，所述空白区域确定单元可进一步包括以下各单元：
[0122]
计算单元，用于计算所述图像中每个像素点的值，并根据该值计算所述图像中每一列像素值的均值；
[0123]
判断单元，用于在所述均值大于等于设定阈值时，确定该列为空白列；
[0124]
空白区域处理单元，用于根据所有空白列，确定空白区域。
[0125]
在一种具体实施例中，所述检查模块703可以包括：标识查询单元、空白列检查单元、以及检查结果处理单元。其中：
[0126]
所述标识查询单元用于检查是否有对应所述物品图像对应的物品的完整出现标识；如果有，则确定所述物品图像对应的物品已完整出现；否则触发空白列检查单元；
[0127]
所述空白列检查单元用于确定所述物品图像左右是否均出现空白列；如果是，则触发检查结果处理单元；否则确定所述物品图像对应的物品还未完整出现；
[0128]
所述检查结果处理单元用于在所述空白列检查单元确定所述物品图像左右均出现空白列的情况下，设置对应所述物品图像对应的物品的完整出现标识，并将所述物品图像作为所述物品的完整图像。
[0129]
进一步，在本发明图像处理装置另一实施例中，所述装置还包括：缓存单元，用于在所述物品图像为所述物品的完整图像时，保存所述完整图像的检测结果。以便后续在所述物品完整出现后，直接从所述缓存单元提取保存的该检测结果进行显示。
[0130]
本发明实施例提供的图像处理装置，逐帧对连续帧图像中的各帧图像进行物品区域分割，得到一个或多个物品图像；在所述物品图像对应的物品完整出现之前，对每帧图像中相应的物品图像进行检测，并将检测结果标记在当前帧的显示图像中输出，在所述物品完整出现后，对后续各帧图像检测中，不再对该物品对应的图像进行检测，而是直接将该物品的完整图像的检测结果标记在后续各帧显示图像所述物品所在位置上，从而提高了图像的处理效率及图像识别质量。
[0131]
本发明实施例提供的图像处理方法及装置，可以应用于多种场景，比如对x光安检机输出的视频流中的各帧图像进行处理。
[0132]
相应地，本发明实施例还提供一种x光安检系统，如图8所示，是本发明实施例x光
安检系统的结构框图。
[0133]
该系统包括：x光安检机91、智能识别设备90、以及显示器92。所述智能识别设备90包括前面实施例中所述的图像处理装置。其中：
[0134]
所述x光安检机91用于对滚动传送带上的物品进行x光扫描，向所述智能识别设备输出线扫阵列图像；
[0135]
所述智能识别设备90用于接收所述线扫阵列图像，对所述线扫阵列图像中的各帧图像进行检测，输出对应各帧图像的检测结果；
[0136]
所述显示器92用于显示所述对应各帧图像检测结果。
[0137]
本发明实施例提供的x光安检图像处理系统，利用上述图像处理装置，能够自动识别x光安检视频流中的各物品图像是对应的物品是否已完整出现，并针对已完整出现的物品，在对后续各帧图像进行检测时，不再针对该物品的物品图像进行检测，而是直接将该物品的完整图像的检测结果标记在后续各帧显示图像所述物品所在位置上，不仅提高了安检效率，而且提升了检测结果的显示效果。
[0138]
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图2、或者图6对应实施例提供的方法的步骤。或者，所述计算机程序被处理器运行时执行上述图2、或者图6对应实施例提供的方法的步骤。
[0139]
本发明实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图2、或者图6对应实施例所提供的方法的步骤。
[0140]
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。