基于多画面实时拼接的物体检测方法、系统、设备和介质与流程

1.本技术属于图像处理技术领域，具体涉及一种物体检测方法。


背景技术：

2.随着模式识别技术、视频分析处理技术的发展，人们对日常活动场合的安全性的需求日益强烈，智能视频监控系统已广泛应用于安防领域，为人们的财产、生命安全提供保障。
3.基于视频序列的物体检测与识别是智能视频监控系统中的重要组成部分，并被应用于商场、停车场、银行、展览会、火车站等重要场所。通过物体检测识别其所处的状态来分析监控场景中是否有异常事件放生。
4.目前智能视频监控系统对物体检测时，对光照变换、遮挡问题、摄像头转移等干扰因素影响，容易出现误检和漏检，从而导致检测精度和速度较低。


技术实现要素：

5.(一)要解决的技术问题
6.鉴于现有技术的上述缺点、不足，本技术提供一种基于多画面实时拼接的物体检测方法、系统、设备和存储介质。
7.(二)技术方案
8.为达到上述目的，本技术采用如下技术方案：
9.第一方面，本技术实施例提供一种基于多画面实时拼接的物体检测方法，该方法包括：
10.s10、获取用于图像拼接的多幅原始图像，所述多幅原始图像分别由多个监控摄像头同步采集；
11.s20、根据预先生成的图像变换矩阵分别对所述多幅原始图像进行图像变换，得到多幅变换图像，所述图像变换矩阵基于所述多个监控摄像头同步采集的历史图像集生成；
12.s30、采用预设的光照补偿算法对所述多幅变换图像进行光照补偿；
13.s40、对光照补偿后的多幅图像进行图像拼接和融合，得到待检测图像；
14.s50、将所述待检测图像输入到预先生成的物体检测模型中进行物体检测，得到物体检测结果；其中，所述物体检测模型为基于深度学习算法建立、并预先训练的端到端小目标检测模型。
15.可选地，在s10之后、s20之前还包括对多幅原始图像进行预处理。
16.可选地，对多幅原始图像进行预处理包括：
17.利用直方图均衡化算法对所述原始图像进行处理，以减少因光线变化而产生的图像模糊现象；
18.采用双边滤波的方式对处理后的原始图像进行滤波处理，以抑制图像中的噪声。
19.可选地，在s10之前还包括生成图像变换矩阵，生成图像变换矩阵的步骤包括：
20.s01、提取所述历史图像集中每个历史图像的尺度不变特征变换(scale
‑
invariant feature transform，sift)特征；
21.s02、通过最近邻特征匹配算法进行特征匹配，得到特征匹配点；
22.s03、基于所述特征匹配点对各历史图像进行相机参数估计，生成图像变换矩阵。
23.可选地，预设的光照补偿算法为灰度世界色彩均衡算法，s30包括：
24.s31、针对每一幅变换图像，分别计算变换图像的三个颜色分量的平均值avgr、avgg、avgb，并令变换图像的平均灰度值为：
25.avggray＝(avgr+avgg+avgb)/3
26.s32、计算三个颜色分量的增益系数：
27.ar＝avggray/avgr
28.ag＝avggray/avgg
29.ab＝avggray/avgb
30.s33、对于变换图像中每个像素c，通过以下公式计算其红色r、绿色g、蓝色b调整分量c(r
′
)、c(g
′
)、c(b
′
)：
31.c(r
′
)＝c(r)*ar
32.c(g
′
)＝c(g)*ar
33.c(b
′
)＝c(b)*ar
34.可选地，s40包括：采用加权平均法对图像的重叠区域的原始颜色进行加权求平均值，使用加权平均后的数值对拼接后图像的重叠区域的像素点赋值。
35.可选地，所述端到端小目标检测模型为基于特征金字塔网络(feature pyramid network，fpn)有效融合因子的小目标检测模型，该模型的构建和训练步骤包括：
36.s51，构建骨干网络，并对其进行预训练；
37.s52，提取预训练权重用作目标数据集训练的网络初始化权值，在目标数据集进行训练，获得训练后的小目标检测模型；在训练过程中，采用骨干网络对图像进行多尺度特征提取，获得多个尺度的特征图；将fpn中相邻特征层的融合比例设定为融合因子α，基于融合因子确定相邻特征图之间的融合比例，将各尺度的特征图进行融合。
38.第二方面，本技术实施例提供一种智能视频监控系统，包括视频采集子系统、智能视频分析子系统和控制中心子系统，所述智能视频分析子系统采用如上第一方面任一项所述的基于多画面实时拼接的物体检测方法生成物体检测结果发送至控制中心子系统。
39.第三方面，本技术实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的基于多画面实时拼接的物体检测方法的步骤。
40.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的基于多画面实时拼接的物体检测方法的步骤。
41.(三)有益效果
42.本技术的有益效果是：本技术提出了一种基于多画面实时拼接的物体检测方法，包括：获取用于图像拼接的多幅原始图像，多幅原始图像分别由多个监控摄像头同步采集；根据预先生成的图像变换矩阵分别对多幅原始图像进行图像变换，得到多幅变换图像，图
像变换矩阵基于多个监控摄像头同步采集的历史图像集生成；采用预设的光照补偿算法对多幅变换图像进行光照补偿；对光照补偿后的多幅图像进行图像融合，得到待检测图像；将待检测图像输入到预先生成的物体检测模型中进行物体检测，得到物体检测结果；其中，物体检测模型提取所述待检测图像的方向梯度直方图特征，通过预先训练的支持向量机进行物体检测。本方法能有效提高物体检测的精度和速度。
附图说明
43.本技术借助于以下附图进行描述：
44.图1为本技术一个实施例中的基于多画面实时拼接的物体检测方法流程示意图；
45.图2为本技术另一实施例中的智能视频监控系统结构示意图；
46.图3为本技术又一实施例中的电子设备的架构示意图。
具体实施方式
47.为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与发明相关的部分。
48.实施例一
49.图1为本技术一个实施例中的基于多画面实时拼接的物体检测方法流程示意图，如图1所示，该方法的执行主体可以是智能视频分析子系统，该子系统可以由软件和/或硬件实现。
50.本实施例基于多画面实时拼接的物体检测方法包括以下步骤：
51.s10、获取用于图像拼接的多幅原始图像，多幅原始图像分别由多个监控摄像头同步采集；
52.s20、根据预先生成的图像变换矩阵分别对多幅原始图像进行图像变换，得到多幅变换图像，图像变换矩阵基于所述多个监控摄像头同步采集的历史图像集生成；
53.s30、采用预设的光照补偿算法对多幅变换图像进行光照补偿；
54.s40、对光照补偿后的多幅图像进行图像拼接和融合，得到待检测图像；
55.s50、将待检测图像输入到预先生成的物体检测模型中进行物体检测，得到物体检测结果；其中，物体检测模型为基于深度学习算法建立、并预先训练的端到端小目标检测模型。
56.本实施例的基于多画面实时拼接的物体检测方法，能够克服光照变换、遮挡问题、摄像头转移等干扰因素影响，避免出现误检和漏检，有效提高了物体检测的精度和速度。
57.为了更好地理解本发明，以下对本实施例中的各步骤进行展开说明。
58.本实施例通过对数张不同传感器获得的有重叠部分的图像拼成一幅无缝的全景图或高分辨率图像，基于拼接后的图像对监控区域进行遗留物体的检测，以便避免危害公共安全的事件发生。
59.在步骤s10中，监控摄像头可以设置于博物馆、火车站、广场等场所，如大门，闸机进出口，特定岗位，过道，走廊等，相应的监控区域就是大门，闸机进出口，特定区域，过道，
走廊等。
60.具体地，监控摄像头实时拍摄监控区域内的监控视频，智能视频分析子系统实时获取视频连续视频帧中的图像数据。需要说明的是，在此步骤中，监控摄像头可以但不限制于采用网络监控摄像头进行监控视频的拍摄，先将网络监控摄像头安放在能够拍摄目标区域的位置，然后通过网络、本地传输等方式访问摄像头读取视频图像即可。
61.本实施例中，基于多画面实时拼接的物体检测方法的执行主体可以通过有线连接方式或者无线连接方式从图像采集装置获取视频图像。
62.本实施例中，在s10之后、s20之前还包括对多幅原始图像进行预处理，具体步骤包括：
63.利用直方图均衡化算法对原始图像进行处理，以减少因光线变化而产生的图像模糊现象；
64.采用双边滤波的方式对处理后的原始图像进行滤波处理，以抑制图像中的噪声。
65.步骤1401：采用双边滤波的方式对原始图像进行滤波处理，以抑制图像中的噪声；
66.双边滤波(bilateralfilter)是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折中处理，能够兼顾同时考虑空域信息和灰度相似性，达到保边去噪的目的，具有简单、非迭代、局部的特点。本发明实施例采用双边滤波的好处是可以做边缘保存，一般常用的维纳滤波或者高斯滤波去降噪，都会较明显地模糊边缘，对于高频细节的保护效果并不明显。双边滤波顾名思义比高斯滤波多了一个高斯方差sigma
‑
d，它是基于空间分布的高斯滤波函数，因此在边缘附近，离的较远的像素不会太多影响到边缘上的像素值，这样就保证了边缘附近像素值的保存，具体算法在此不做赘述。
67.本实施例中，在s10之前还包括生成图像变换矩阵，生成图像变换矩阵的步骤包括：
68.s01、提取历史图像集中每个历史图像的sift特征；
69.s02、通过最近邻特征匹配算法进行特征匹配，得到特征匹配点；
70.s03、基于特征匹配点对各历史图像进行相机参数估计，生成图像变换矩阵。
71.本实施例中，预设的光照补偿算法为灰度世界色彩均衡算法，s30包括：
72.s31、针对每一幅变换图像，分别计算变换图像的三个颜色分量的平均值avgr、avgg、avgb，并令变换图像的平均灰度值为：
73.avggray＝(avgr+avgg+avgb)/3
74.s32、计算三个颜色分量的增益系数：
75.ar＝avggray/avgr
76.ag＝avggray/avgg
77.ab＝avggray/avgb
78.s33、对于变换图像中每个像素c，通过以下公式计算其红色r、绿色g、蓝色b调整分量c(r
′
)、c(g
′
)、c(b
′
)：
79.c(r
′
)＝c(r)*ar
80.c(g
′
)＝c(g)*ar
81.c(b
′
)＝c(b)*ar
82.对图像采用灰度世界色彩均衡算法进行光照补偿，调整图像的亮度和色彩，消除
了图像之间的色彩偏差。灰度世界色彩均衡算法简单快速，有效提高了实时检测的效率。
83.本实施例中，s40包括图像拼接和图像融合。拼接后的监控图像可能由于不同角度的摄像头获取的图像的颜色存在差异，导致拼接后的图像存在明显的拼接缝隙，降低了用户的视觉体验，为了改善拼接效果，在拼接完成后，还可以进一步包括颜色融合，以使拼接区域的颜色过渡自然。
84.在一个优选的实施例中，采用加权平均法，将两幅图像重叠部分加权平均实现快速融合。对同步帧图像的重叠区域的原始颜色进行加权求平均值，使用加权平均后的数值对拼接后图像的重叠区域的像素点赋值。
85.s40包括：采用加权平均法对图像的重叠区域的原始颜色进行加权求平均值，使用加权平均后的数值对拼接后图像的重叠区域的像素点赋值。
86.需要说明的是，以上仅仅是对图像融合方法做示例性说明，并构成对图像融合方法的限定。
87.将待拼接图像的重合区域进行融合可得到拼接重构的平滑无缝全景图像。
88.步骤s50中，端到端小目标检测模型为基于fpn有效融合因子的小目标检测模型，该模型的构建和训练步骤包括：
89.s51，构建骨干网络，并对其进行预训练；
90.s52，提取预训练权重用作目标数据集训练的网络初始化权值，在目标数据集进行训练，获得训练后的小目标检测模型；在训练过程中，采用骨干网络对图像进行多尺度特征提取，获得多个尺度的特征图；将fpn中相邻特征层的融合比例设定为融合因子α，基于融合因子确定相邻特征图之间的融合比例，将各尺度的特征图进行融合。
91.需要说明的是，融合因子可以为一个可学习参数，通过损失函数优化获得。
92.在本发明中，骨干网络可以选择现有的多种结构的基于深度学习的神经网络，例如可以是resnet(残差网络)或resnext(多支路的残差网络)等。本实施例中，采用resnet
‑
50作为骨干网络。物体检测结果包括目标的类别和位置。
93.本发明提供的基于fpn的融合因子的小目标检测方法，通过在fpn中设置适当的融合因子，可以在小目标检测的基线上获得显著的性能提升。
94.实施例二
95.图2为本技术另一实施例中的智能视频监控系统结构示意图，请参阅图2，本技术第二方面通过实施例二提供一种智能视频监控系统，包括视频采集子系统、智能视频分析子系统和控制中心子系统，智能视频分析子系统采用如上实施例一中的基于多画面实时拼接的物体检测方法进行物体检测，并将检测结果发送至控制中心子系统。
96.视频采集子系统用于进行视频采集，包括摄像机。
97.智能视频分析子系统用于实现物体检测和人脸识别，并将物体检测结果发送至控制中心。
98.控制中心子系统用于与监控人员直接交互，在监控端可以进行报警准则的设定，也可以制定报警响应，并能对整个监控系统进行监视和管理。
99.通过采用实施例一中的基于多画面实时拼接的物体检测方法进行物体检测大大提高检测效率和速度，控制中心人员可及时发现异常物体并采取相应的措施。
100.实施例三
101.本技术第三方面通过实施例三提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上实施例一中任意一项所述的基于多画面实时拼接的物体检测方法的步骤。
102.图3为本技术又一实施例中的电子设备的架构示意图。
103.图3所示的电子设备可包括：至少一个处理器101、至少一个存储器102、至少一个网络接口104和其他的用户接口103。电子设备中的各个组件通过总线系统105耦合在一起。可理解，总线系统105用于实现这些组件之间的连接通信。总线系统105除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统105。
104.其中，用户接口103可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)或者触感板等。
105.可以理解，本实施例中的存储器102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read
‑
onlymemory，rom)、可编程只读存储器(programmablerom，prom)、可擦除可编程只读存储器(erasableprom，eprom)、电可擦除可编程只读存储器(electricallyeprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(randomaccessmemory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(staticram，sram)、动态随机存取存储器(dynamicram，dram)、同步动态随机存取存储器(synchronousdram，sdram)、双倍数据速率同步动态随机存取存储器(doubledatarate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlinkdram，sldram)和直接内存总线随机存取存储器(directrambusram，drram)。本文描述的存储器62旨在包括但不限于这些和任意其它适合类型的存储器。
106.在一些实施方式中，存储器102存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统1021和应用程序1022。
107.其中，操作系统1021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序622，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1022中。
108.在本发明实施例中，处理器101通过调用存储器102存储的程序或指令，具体的，可以是应用程序1022中存储的程序或指令，处理器101用于执行第一方面所提供的方法步骤。
109.上述本发明实施例揭示的方法可以应用于处理器101中，或者由处理器101实现。处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器
等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成上述方法的步骤。
110.另外，结合上述实施例中的基于多画面实时拼接的物体检测方法，本发明实施例可提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上方法实施例中的任意一种基于多画面实时拼接的物体检测方法。
111.应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
112.此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
113.尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
114.显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。