基于图像融合的目标检测方法、人体安检设备、存储介质与流程

本技术涉及但不限于毫米波图像处理，尤其涉及一种基于图像融合的目标检测方法、人体安检设备、存储介质。

背景技术：

1、由于毫米波人体安检设备生成的毫米波图像分辨率较差，且受到周围环境干扰，以及人体穿着的衣物、人体携带的物品具有多样性和复杂性。往往需要非常有经验的安检人员根据毫米波图像进行人工判定，从而实现对危险品的检测和识别，此类人工检测方法费时费力，导致安检效率低，不能快速高效地实现对危险品的定位和识别。

2、随着深度学习技术快速发展和应用，当前该技术已经较大程度提高了人体安检产品的客户体验感。为了不断提高目标检测的检出率，同时降低虚警率，基于深度学习的目标检测方法得到了广泛应用，例如基于多传感器融合的目标检测，但是这种多传感器融合方案，会出现多传感器物品检测目标无法准确地进行物品坐标对齐的问题，例如，在旅客过安检的时候，会出现多种物品堆叠在人体上的问题，物品可能出现在人体身体部位外部，或出现在人体身体部位内部，不利于毫米波图像中物品检出，进而增高物品检测的虚警率，严重影响了人体安检产品的客户体验感。

技术实现思路

1、本技术实施例提供了一种基于图像融合的目标检测方法、人体安检设备、存储介质，能够有效降低人体安检产品的物品检测虚警率，从而提升人体安检产品的客户体验感。

2、第一方面，本技术实施例提供了一种基于图像融合的目标检测方法，应用于人体安检设备，所述方法包括：

3、获取参考对象对应的可见光图像和毫米波图像；

4、根据第一目标检测算法对所述可见光图像进行图像处理，得到所述参考对象对应的可见光检测结果，所述可见光检测结果包括可见光人体矩形框坐标和若干个可见光物品矩形框坐标；

5、根据第二目标检测算法对所述毫米波图像进行图像处理，得到所述参考对象对应的毫米波检测结果，所述毫米波检测结果包括毫米波人体矩形框坐标和若干个毫米波物品矩形框坐标；

6、计算所述可见光人体矩形框坐标对应的矩形框中的若干个第一物品特征向量，并计算所述毫米波人体矩形框坐标对应的矩形框中的若干个第二物品特征向量；

7、根据余弦相似度算法、各个所述第一物品特征向量和各个所述第二物品特征向量计算各个参考对齐置信度值，其中，所述参考对齐置信度值表征所述可见光物品矩形框坐标与所述毫米波物品矩形框坐标之间的对齐置信度值；

8、从全部的所述参考对齐置信度值中确定目标对齐置信度值，确定所述目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标，并将所述目标毫米波物品矩形框坐标映射在所述目标可见光物品矩形框坐标上。

9、在一些实施例中，所述人体安检设备包括毫米波成像装置和可见光摄像头，在所述毫米波图像为毫米波视频流，所述可见光图像为可见光视频流的情况下，在所述获取参考对象对应的可见光图像和毫米波图像之前，所述方法还包括：

10、根据所述毫米波成像装置的位置信息调整所述可见光摄像头的拍摄方向信息和安装位置信息，以使所述可见光图像与所述毫米波图像对应的视角相同；

11、确定参考帧率，所述参考帧率为所述毫米波视频流的帧率，根据所述参考帧率调整所述可见光摄像头的帧率，以使所述可见光摄像头的帧率与所述参考帧率相同。

12、在一些实施例中，所述可见光物品矩形框坐标的数量为一，所述可见光人体矩形框坐标包括第一中心点坐标、第一左上角点坐标、第一左下角点坐标、第一右上角点坐标和第一右下角点坐标，所述可见光物品矩形框坐标包括第二中心坐标、第二左上角点坐标、第二左下角点坐标、第二右上角点坐标和第二右下角点坐标，所述计算所述可见光人体矩形框坐标对应的人体矩形框中的若干个第一物品特征向量，包括：

13、计算所述第一中心点坐标与所述第二中心点坐标之间的第一欧式距离值；

14、计算所述第一左上角点坐标与所述第二左上角点坐标之间的第二欧式距离值；

15、计算所述第一左下角点坐标与所述第二左下角点坐标之间的第三欧式距离值；

16、计算所述第一右上角点坐标与所述第二右上角点坐标之间的第四欧式距离值；

17、计算所述第一右下角点坐标与所述第二右下角点坐标之间的第五欧式距离值；

18、对所述第一欧式距离值、所述第二欧式距离值、所述第三欧式距离值、所述第四欧式距离值和所述第五欧式距离值进行归一化处理，得到所述第一物品特征向量。

19、在一些实施例中，所述毫米波人体矩形框坐标包括第三中心点坐标、第三左上角点坐标、第三左下角点坐标、第三右上角点坐标和第三右下角点坐标，所述毫米波物品矩形框坐标至少包括第一毫米波物品矩形框坐标和第二毫米波物品矩形框坐标，所述第二物品特征向量包括第一特征向量和第二特征向量，所述第一毫米波物品矩形框坐标包括第四中心点坐标、第四左上角点坐标、第四左下角点坐标、第四右上角点坐标和第四右下角点坐标，所述第二毫米波物品矩形框坐标包括第五中心点坐标、第五左上角点坐标、第五左下角点坐标、第五右上角点坐标和第五右下角点坐标，所述计算所述毫米波人体矩形框坐标对应的人体矩形框中的若干个第二物品特征向量，包括：

20、计算所述第三中心点坐标与所述第四中心点坐标之间的第六欧式距离值；

21、计算所述第三左上角点坐标与所述第四左上角点坐标之间的第七欧式距离值；

22、计算所述第三左下角点坐标与所述第四左下角点坐标之间的第八欧式距离值；

23、计算所述第三右上角点坐标与所述第四右上角点坐标之间的第九欧式距离值；

24、计算所述第三右下角点坐标与所述第四右下角点坐标之间的第十欧式距离值；

25、对所述第六欧式距离值、所述第七欧式距离值、所述第八欧式距离值、所述第九欧式距离值和所述第十欧式距离值进行归一化处理，得到所述第一特征向量；

26、计算所述第三中心点坐标与所述第五中心点坐标之间的第十一欧式距离值；

27、计算所述第三左上角点坐标与所述第五左上角点坐标之间的第十二欧式距离值；

28、计算所述第三左下角点坐标与所述第五左下角点坐标之间的第十三欧式距离值；

29、计算所述第三右上角点坐标与所述第五右上角点坐标之间的第十四欧式距离值；

30、计算所述第三右下角点坐标与所述第五右下角点坐标之间的第十五欧式距离值；

31、对所述第十一欧式距离值、所述第十二欧式距离值、所述第十三欧式距离值、所述第十四欧式距离值和所述第十五欧式距离值进行归一化处理，得到所述第二特征向量。

32、在一些实施例中，所述参考对齐置信度值包括第一对齐置信度值和第二对齐置信度值，所述第一对齐置信度值表征所述可见光物品矩形框坐标与所述第一毫米波物品矩形框坐标之间的对齐置信度值，所述第二对齐置信度值表征所述可见光物品矩形框坐标与所述第一毫米波物品矩形框坐标之间的对齐置信度值，所述从全部的所述参考对齐置信度值中确定目标对齐置信度值，确定所述目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标，并将所述目标毫米波物品矩形框坐标映射在所述目标可见光物品矩形框坐标上，包括：

33、根据预设的置信度阈值从所述第一对齐置信度值和第二对齐置信度值中确定目标对齐置信度值，所述目标对齐置信度值为所述第一对齐置信度值和所述第二对齐置信度值中数值最大的对齐置信度值，并且所述目标对齐置信度值大于或等于所述置信度阈值；

34、确定所述目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标；

35、将所述目标毫米波物品矩形框坐标映射在所述目标可见光物品矩形框坐标上。

36、在一些实施例中，所述人体安检设备与终端通信连接，所述可见光检测结果还包括与所述可见光物品矩形框坐标对应的物品类别信息，在所述根据所述交并比值将所述毫米波物品矩形框坐标映射在所述可见光图像中之后，所述方法还包括：

37、根据预设的知识图谱对所述物品类别信息进行虚警检测，得到虚警检测结果；

38、当所述虚警检测结果不满足虚警条件，根据所述虚警检测结果和所述物品类别信息生成告警提示信息，并将所述告警提示信息发送至所述终端。

39、在一些实施例中，在所述根据第一目标检测算法对所述可见光图像进行图像处理，得到所述参考对象对应的可见光检测结果之前，所述方法还包括：

40、获取预设的透视变换算法；

41、根据所述透视变换算法对所述可见光图像进行图像校正，得到校正后的所述可见光图像。

42、第二方面，本技术实施例提供了一种人体安检设备，包括：

43、图像获取模块，用于获取参考对象对应的可见光图像和毫米波图像；

44、可见光检测模块，用于根据第一目标检测算法对所述可见光图像进行图像处理，得到所述参考对象对应的可见光检测结果，所述可见光检测结果包括可见光人体矩形框坐标和若干个可见光物品矩形框坐标；

45、毫米波检测模块，用于根据第二目标检测算法对所述毫米波图像进行图像处理，得到所述参考对象对应的毫米波检测结果，所述毫米波检测结果包括毫米波人体矩形框坐标和若干个毫米波物品矩形框坐标；

46、物品特征向量计算模块，用于计算所述可见光人体矩形框坐标对应的矩形框中的若干个第一物品特征向量，并计算所述毫米波人体矩形框坐标对应的矩形框中的若干个第二物品特征向量；

47、坐标对齐置信度值获取模块，用于根据余弦相似度算法、各个所述第一物品特征向量和各个所述第二物品特征向量计算各个参考对齐置信度值，其中，所述参考对齐置信度值表征所述可见光物品矩形框坐标与所述毫米波物品矩形框坐标之间的对齐置信度值；

48、图像映射模块，用于从全部的所述参考对齐置信度值中确定目标对齐置信度值，确定所述目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标，并将所述目标毫米波物品矩形框坐标映射在所述目标可见光物品矩形框坐标上。

49、第三方面，本技术实施例还提供了一种人体安检设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如第一方面所述的基于图像融合的目标检测方法。

50、第四方面，本技术实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的基于图像融合的目标检测方法。

51、本技术实施例提供了一种基于图像融合的目标检测方法、人体安检设备、存储介质，方法包括获取参考对象对应的可见光图像和毫米波图像；根据第一目标检测算法对所述可见光图像进行图像处理，得到所述参考对象对应的可见光检测结果，所述可见光检测结果包括可见光人体矩形框坐标和若干个可见光物品矩形框坐标；根据第二目标检测算法对所述毫米波图像进行图像处理，得到所述参考对象对应的毫米波检测结果，所述毫米波检测结果包括毫米波人体矩形框坐标和若干个毫米波物品矩形框坐标；计算所述可见光人体矩形框坐标对应的矩形框中的若干个第一物品特征向量，并计算所述毫米波人体矩形框坐标对应的矩形框中的若干个第二物品特征向量；根据余弦相似度算法、各个所述第一物品特征向量和各个所述第二物品特征向量计算各个参考对齐置信度值；从全部的所述参考对齐置信度值中确定目标对齐置信度值，确定所述目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标，并将所述目标毫米波物品矩形框坐标映射在所述目标可见光物品矩形框坐标上。本技术实施例利用可见光图像来辅助毫米波图像的物品检测确认过程，相较于目前仅基于毫米波图像进行物品检测的方案，能够有效降低人体安检产品的物品检测虚警率，从而提升人体安检产品的客户体验感。