本发明涉及安防领域,具体涉及一种基于图像融合的安防警戒系统及目标检测方法。
背景技术:
1、目前,在国家反间谍的大力打击,以及企业对机密区域越来越重视的背景下,安防领域对于摄像机的检测要求越来越高。
2、一般的监控摄像头通过图像识别技术对实时图片中的目标进行检测,由于目标检测需要对目标抓取更多的细节,往往会通过布设多个位置且不同角度的多组摄像头来获取大量图像信息。然而,当目标背对或者被环境背景所遮挡,以及当目标与环境背景的色彩或形状相似时,摄像头容易因无法精准识别目标而导致目标检测失败。
3、申请公布号为cn114373158a的发明专利申请中公开了一种基于深度信息的消防通道占用检测方法及系统,通过融合深度信息获得潜在目标,有效避免出现因二维透视变换导致的误报警问题,且基于多标签分类对潜在目标进行分类,按照分类结果进行预警,能够大幅降低误报和漏报概率。此外,申请公布号为cn115841656a的发明专利申请中公开了基于相机的汽车监控视频测速方法及装置,对tof相机获取的深度信息图像与彩色图像进行配准,基于配准的深度信息图像与彩色图像,确定彩色图像中每个像素点对应实际道路平面的二维坐标,获取坐标标定矩阵,完成标定,采用yolov4目标识别网络对彩色图像中的目标进行识别和追踪。
4、现有的安防监控技术方案中应用的大部分是深度相机,在上述两种技术方案中,均采用了深度信息图像与彩色图像进行融合的技术手段。但是,深度相机往往存在具有较大范围死角盲区的问题,并且针对特定敏感区域或复杂区域(如军事警戒区)而言覆盖距离较近,同时深度相机在上述场景中容易受到白天强光影响而导致无法进行全天候监控。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术所存在的上述缺点,本发明提供了一种基于图像融合的安防警戒系统及目标检测方法,能够有效克服现有技术所存在的针对特定敏感区域或复杂区域监控效果较差的缺陷。
3、(二)技术方案
4、为实现以上目的,本发明通过以下技术方案予以实现:
5、一种基于图像融合的安防警戒系统,包括捕获模块和服务器;
6、捕获模块,采集目标区域的rgb图像和三维点云图像,对rgb图像和三维点云图像进行图像融合处理,得到彩色融合图像,并对彩色融合图像进行目标检测,输出彩色融合图像边界框、点云及人体中心点位置;
7、服务器,对应多个捕获模块,多个捕获模块的采集图像同时传入服务器,服务器利用re-id行人重识别算法实现多个捕获模块之间运动人体的连续追踪功能,进行人体特征标定区分,输出人体特征值至前端可视化界面,呈现目标信息。
8、优选地,所述捕获模块包括彩色相机、激光雷达和ai边缘计算机;
9、彩色相机,对目标区域进行rgb图像的采集,实现二维场景环境的搭建呈现;
10、激光雷达,对目标区域进行深度信息的采集,形成三维点云图像;
11、ai边缘计算机,运行的基于卷积神经网络的目标检测算法对彩色融合图像进行框定处理,输出彩色融合图像边界框、点云及人体中心点位置。
12、优选地,所述服务器进行人体特征标定区分,输出人体特征值至前端可视化界面,呈现目标信息,包括:
13、在服务器中利用re-id行人重识别算法进行人体特征标定区分,并将提取的人体特征存储至数据表中,最终回传至前端可视化界面来呈现目标信息。
14、优选地,所述前端可视化界面基于目标区域的实际场景情况,输出rgb图像和/或三维点云图像和/或彩色融合图像来呈现目标信息;
15、其中,目标信息包括人体id与定位信息。
16、一种基于图像融合的目标检测方法,包括以下步骤:
17、s1、采集目标区域的rgb图像和三维点云图像;
18、s2、对rgb图像和三维点云图像进行图像融合处理,得到彩色融合图像;
19、s3、对彩色融合图像进行目标检测,输出彩色融合图像边界框、点云及人体中心点位置;
20、s4、进行人体特征标定区分,输出人体特征值至前端可视化界面,呈现目标信息。
21、优选地,s1中采集目标区域的rgb图像和三维点云图像,包括:
22、利用彩色相机对目标区域进行rgb图像的采集,实现二维场景环境的搭建呈现;
23、同时,利用激光雷达对目标区域进行深度信息的采集,形成三维点云图像。
24、优选地,s3中对彩色融合图像进行目标检测,输出彩色融合图像边界框、点云及人体中心点位置,包括:
25、利用ai边缘计算机中运行的基于卷积神经网络的目标检测算法对彩色融合图像进行框定处理,输出彩色融合图像边界框、点云及人体中心点位置。
26、优选地,s4中进行人体特征标定区分,输出人体特征值至前端可视化界面,呈现目标信息,包括:
27、在服务器中利用re-id行人重识别算法进行人体特征标定区分,并将提取的人体特征存储至数据表中,最终回传至前端可视化界面来呈现目标信息。
28、优选地,所述在服务器中利用re-id行人重识别算法进行人体特征标定区分,包括:
29、通过re-id行人重识别算法对目标进行检测跟踪,对彩色融合图像中的各目标进行人体特征标定,得到特征标定框,并在人体中心点位置汇聚成一个中心点,便于在三维点云图像中进行观察。
30、优选地,所述回传至前端可视化界面来呈现目标信息,包括:
31、基于目标区域的实际场景情况,前端可视化界面输出rgb图像和/或三维点云图像和/或彩色融合图像来呈现目标信息;
32、其中,目标信息包括人体id与定位信息。
33、(三)有益效果
34、与现有技术相比,本发明所提供的一种基于图像融合的安防警戒系统及目标检测方法,具有以下有益效果:
35、1)具备针对特定敏感区域、复杂区域,以及在干扰繁多的特定场景中具有良好监控能力的优点,由于激光雷达可以快速获取目标的三维空间信息,因此完全可以取代深度相机,同时激光雷达具有宽视角的特点,能够在包括军事警戒区在内的复杂场景中实现对目标的全覆盖,并且能够在无人值守或者戒备人员较少的情况下进行全天候监控;
36、2)针对特定敏感区域因注重隐私问题但又必须提供目标区域监控图像的情况,本申请技术方案能够根据需求的不同对输出的监控图像进行剥离拆分实现隐私保护,同时由于激光雷达不会受到信号的干扰,能够稳定运行,因此本申请技术方案针对特定敏感区域或复杂区域能够取得较好的监控效果,特别适用于特定区域的警戒管控。
1.一种基于图像融合的安防警戒系统,其特征在于:包括捕获模块和服务器;
2.根据权利要求1所述的基于图像融合的安防警戒系统,其特征在于:所述捕获模块包括彩色相机、激光雷达和ai边缘计算机;
3.根据权利要求2所述的基于图像融合的安防警戒系统,其特征在于:所述服务器进行人体特征标定区分,输出人体特征值至前端可视化界面,呈现目标信息,包括:
4.根据权利要求3所述的基于图像融合的安防警戒系统,其特征在于:所述前端可视化界面基于目标区域的实际场景情况,输出rgb图像和/或三维点云图像和/或彩色融合图像来呈现目标信息;
5.一种基于权利要求4所述的基于图像融合的安防警戒系统的目标检测方法,其特征在于:包括以下步骤:
6.根据权利要求5所述的基于图像融合的目标检测方法,其特征在于:s1中采集目标区域的rgb图像和三维点云图像,包括:
7.根据权利要求6所述的基于图像融合的目标检测方法,其特征在于:s3中对彩色融合图像进行目标检测,输出彩色融合图像边界框、点云及人体中心点位置,包括:
8.根据权利要求7所述的基于图像融合的目标检测方法,其特征在于:s4中进行人体特征标定区分,输出人体特征值至前端可视化界面,呈现目标信息,包括:
9.根据权利要求8所述的基于图像融合的目标检测方法,其特征在于:所述在服务器中利用re-id行人重识别算法进行人体特征标定区分,包括:
10.根据权利要求9所述的基于图像融合的目标检测方法,其特征在于:所述回传至前端可视化界面来呈现目标信息,包括: