多摄像头协同监控方法、装置、设备及存储介质与流程

1.本发明涉及图像数据处理技术领域，尤其涉及一种多摄像头协同监控方法、装置、设备及存储介质。


背景技术：

2.公共安全监控问题在人们的日常生活中越发重要。随着信息科学技术的快速发展，监控设备的价格不断降低，监控设备被普遍应用到各式场景中，但是单个监控设备已经不满足人们对于安全监控的需求，人们对监控图像的要求也逐步提高。
3.传统的视频监控系统多数是以相对独立的监控摄像头提供的视频为基础，独立的摄像头由于视角的限制，存在很大的视野盲点，在一些大场景的应用环境下不能提供全景的宏观视野。广角镜头监控设备可以提供更广的观察范围，但采集的图像又不可避免的在融合过程中出现重影、拼接水印等畸变画面，严重影响监控效果，非常不利于对监控工作的展开。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种多摄像头协同监控方法，旨在解决现有技术单个摄像头的监控视野小，不利于全局监控，多个摄像头的监控图像拼接效果差的技术问题。
6.为实现上述目的，本发明提供了一种多摄像头协同监控方法，所述方法包括以下步骤：获取监控区域内多个摄像头在同一时间采集的多个监控图像；搜索任意两个监控图像中的配准点，计算所述配准点的适应度，删除所述适应度小于参考适应度的配准点，得到所述任意两个监控图像中的目标配准点；根据多个所述目标配准点计算所述任意两个监控图像之间的变换矩阵，根据所述变换矩阵对所述任意两个监控图像进行拼接得到初始拼接图像；根据所述任意两个监控图像的融合权值计算初始拼接图像中融合区域的颜色值，根据所述融合区域的颜色值对所述初始拼接图像进行融合，得到多摄像头融合监控图像。
7.可选地，所述搜索任意两个监控图像中的配准点，计算所述配准点的适应度，删除所述适应度小于参考适应度的配准点，得到所述任意两个监控图像中的目标配准点，包括：根据任意两个监控图像的特征点得到特征点集合，所述特征点集合包括基础特征点以及待配准特征点，其中一张监控图像的特征点为基础特征点，另一张监控图像的特征点为待配准特征点；根据预设影响因子计算适应度函数的计算参数，根据所述计算参数、所述特征点集合、所述基础特征点以及所述待配准特征点建立适应度函数；根据所述基础特征点以及待配准特征点生成粒子群，根据所述适应度函数计算所
述粒子群中粒子个体的适应度，根据所述粒子个体的适应度得到参考粒子个体；对所述参考粒子个体对应的两个特征点作为所述任意两个监控图像中的目标配准点。
8.可选地，所述根据所述基础特征点以及待配准特征点生成粒子群，根据所述适应度函数计算所述粒子群中粒子个体的适应度，根据所述粒子个体的适应度得到参考粒子个体，包括：根据所述基础特征点以及待配准特征点对粒子群初始化得到粒子个体，根据所述适应度函数计算全部粒子个体的适应度，得到最小适应度；根据所述最小适应度对所述粒子个体更新，直到更新次数达到预设更新次数；在达到预设更新次数时，将每个粒子个体的适应度与适应度阈值进行比较，将小于所述适应度阈值的粒子个体作为参考粒子个体。
9.可选地，所述任意两个监控图像包括基础监控图像和待拼接监控图像；所述基础监控图像中的特征点为基础特征点，所述待拼接监控图像中的特征点为待配准特征点；所述根据多个所述目标配准点计算所述任意两个监控图像之间的变换矩阵，根据所述变换矩阵对所述任意两个监控图像进行拼接得到初始拼接图像，包括：根据变换参数建立奇次变换矩阵，根据所述目标配准点得到基础特征点矩阵和待配准特征点矩阵；根据多个所述基础特征点矩阵和待配准特征点矩阵对所述奇次变换矩阵求解得到目标变换参数；根据所述目标变换参数对所述奇次变换矩阵进行更新，得到变换矩阵；根据所述变换矩阵对所述待拼接监控图像进行变换，得到任意两个监控图像的初始拼接图像。
10.可选地，所述根据所述任意两个监控图像的融合权值计算初始拼接图像中融合区域的颜色值，根据所述融合区域的颜色值对所述初始拼接图像进行融合，得到多摄像头融合监控图像之前，还包括：通过欧式距离公式计算所述融合区域中像素点到融合区域的左边界距离和右边界距离；以所述左边界距离和右边界距离的比值为参考比例，计算得到所述任意两个监控图像的融合权值，所述融合权值包括基础权值和待融合权值，所述基础权值和待融合权值相加为预设数值。
11.可选地，所述根据所述任意两个监控图像的融合权值计算初始拼接图像中融合区域的颜色值，根据所述融合区域的颜色值对所述初始拼接图像进行融合，得到多摄像头融合监控图像，包括：获取初始拼接图像中融合区域内像素点在所述任意两个监控图像中的两个颜色值；根据所述两个颜色值、所述基础权值以及所述待融合权值计算得到所述像素点融合后的颜色值；根据所述像素点融合后的颜色值得到融合区域的颜色值；根据所述融合区域的颜色值对所述初始拼接图像进行融合，得到多摄像头融合监
控图像。
12.可选地，所述获取监控区域内多个摄像头在同一时间采集的多个监控图像，包括：获取监控区域内多个摄像头在同一时间采集的多个初始图像；根据所述摄像头的标准色彩向量和所述摄像头参考图像的参考色彩向量；根据所述标准色彩向量以及所述参考色彩向量建立映射关系，根据所述映射关系计算所述标准色彩向量与所述参考色彩向量之间的系数矩阵；根据所述系数矩阵对所述多个初始图像进行颜色校正得到多个监控图像。
13.此外，为实现上述目的，本发明还提出一种多摄像头协同监控装置，所述多摄像头协同监控装置包括：获取模块，用于获取监控区域内多个摄像头在同一时间采集的多个监控图像；配准模块，用于搜索任意两个监控图像中的配准点，计算所述配准点的适应度，删除所述适应度小于参考适应度的配准点得到所述任意两个监控图像中的目标配准点；拼接模块，用于根据多个所述目标配准点计算所述任意两个监控图像之间的变换矩阵，根据所述变换矩阵对所述任意两个监控图像进行拼接得到初始拼接图像；融合模块，用于根据所述任意两个监控图像的融合权值计算初始拼接图像中融合区域的颜色值，根据所述融合区域的颜色值对所述初始拼接图像进行融合，得到多摄像头融合监控图像。
14.此外，为实现上述目的，本发明还提出一种多摄像头协同监控设备，所述多摄像头协同监控设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多摄像头协同监控程序，所述多摄像头协同监控程序配置为实现如上文所述的多摄像头协同监控方法的步骤。
15.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有多摄像头协同监控程序，所述多摄像头协同监控程序被处理器执行时实现如上文所述的多摄像头协同监控方法的步骤。
16.本发明通过多个监控图像之间的配准点得到两幅监控图转换矩阵，更高准确度的配准点能够得到更加准确的变换矩阵，从而能够得到拼接效果更好不影响监控内容的融合监控图像，解决了单个摄像头的监控视野小，不利于全局监控，多个摄像头的监控图像拼接效果差的技术问题，配准点准确度高的融合监控图像拼接效果更好，拼接后的融合监控图像实现多摄像头协同监控，直观的对监控区域中多个场景进行监控。
附图说明
17.图1是本发明实施例方案涉及的硬件运行环境的多摄像头协同监控设备的结构示意图；图2为本发明多摄像头协同监控方法第一实施例的流程示意图；图3为本发明多摄像头协同监控方法第二实施例的流程示意图；图4为本发明多摄像头协同监控方法一实施例的配准示意图；图5为本发明多摄像头协同监控方法第三实施例的流程示意图；图6为本发明多摄像头协同监控方法一实施例中融合前的两个监控图像；图7为本发明多摄像头协同监控方法一实施例中融合后的融合监控图像；
图8为本发明多摄像头协同监控装置第一实施例的结构框图。
18.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
19.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
20.参照图1，图1为本发明实施例方案涉及的硬件运行环境的多摄像头协同监控设备结构示意图。
21.如图1所示，该多摄像头协同监控设备可以包括：处理器1001，例如中央处理器（central processing unit，cpu），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（wireless-fidelity，wi-fi）接口）。存储器1005可以是高速的随机存取存储器（random access memory，ram）存储器，也可以是稳定的非易失性存储器（non-volatile memory，nvm），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
22.本领域技术人员可以理解，图1中示出的结构并不构成对多摄像头协同监控设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
23.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及多摄像头协同监控程序。
24.在图1所示的多摄像头协同监控设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明多摄像头协同监控设备中的处理器1001、存储器1005可以设置在多摄像头协同监控设备中，所述多摄像头协同监控设备通过处理器1001调用存储器1005中存储的多摄像头协同监控程序，并执行本发明实施例提供的多摄像头协同监控方法。
25.本发明实施例提供了一种多摄像头协同监控方法，参照图2，图2为本发明一种多摄像头协同监控方法第一实施例的流程示意图。
26.本实施例中，所述多摄像头协同监控方法包括以下步骤：步骤s10：获取监控区域内多个摄像头在同一时间采集的多个监控图像。
27.可理解的是，监控区域可以是人为安装摄像头想要监控的区域，例如小区的停车场、学校的操场、企业内部的办公场所等场地。多个摄像头可以根据需求或者是科学计算后的排布方式安装在监控区域的不同角落。
28.应理解的是，将每个摄像头在同一时间采集的监控图像进行融合，出处的同一时间可以是同一秒图像，也可以是同一秒的监控图像，根据对图像的处理速度来决定。
29.可理解的是，本实施例的执行主体可以是连接多个摄像头的中央处理器，中央处理器获取到多个摄像头在同一时间采集的多个监控图像后，将同一时间的多个监控图像融合后，将融合后的监控图像在显示屏上展示给使用者，以供使用者通过融合后的监控图像对监控区域进行监控和管理。
30.需说明的是，中央处理器最开始获取的监控图像可能并不太适合进行图像的融合和拼接，这是因为虽然多个摄像头都安装在同一个监控区域，但是同一个区域仍然可能存
在光线和角度的区别，而管线和角度的区别可能导致各摄像头采集的图像在成像颜色上存在较大差异，因此可以对监控区域内多个摄像头在同一时间采集的多个初始图像进行图像颜色校正，校正后的监控图像是最终用来进行图像拼接、融合的监控图像。
31.需进一步说明的是，对摄像头采集的初始图像进行颜色校正可以通过颜色校正板进行校正，根据每个颜色校正板的型号可以得到该颜色校正板的rgb值向量{ri，gi，bi}，（i=1、2、3
···
，24），且提前用每个摄像头在照度均匀的场景下拍摄一张图像，将该图像作为该摄像头的参考图像，并获取参考图像上颜色校正板中每个颜色的颜色值向量{r
i’，g
i’，b
i’}，（i=1、2、3
···
，24），根据颜色校正版的rgb值向量和参考图像上颜色校正板中每个颜色的颜色值向量建立如下列公式的线性映射关系：其中，λ是系数矩阵，将颜色校正版的rgb值向量和参考图像上颜色校正板中每个颜色的颜色值向量带入上述线性映射关系可以求得系数矩阵；后续该摄像头采集的初始图像可以在经过该系数矩阵进行颜色校正处理后得到该摄像头的监控图像。
32.值得说明的是，在进行监控图像拼接之前，对多个摄像头采集的图像进行颜色校正，在不影响图像拼接性能的前提下可以得到颜色更加鲜明的监控图像，更符合监控需求。
33.步骤s20：搜索任意两个监控图像中的配准点，计算所述配准点的适应度，删除所述适应度小于参考适应度的配准点，得到所述任意两个监控图像中的目标配准点。
34.可理解的是，任意两个监控图像可以是所有摄像头在同一时间采集的监控图像中的任意两张，配准点可以是这任意两张监控图像中的特征点进行相似度匹配后得到的两个特征点作为一对配准点。
35.需说明的是，搜索任意两个监控图像中的配准点可以是通过改进的粒子群算法进行搜索，将分别从任意两个监控图像中选择一个特征点组成一对特征点，这一对特征点作为粒子群中的粒子个体。
36.需说明的是，适应度是对基于两个特征点间的相似度计算得到，一对特征点之间的相似度是一个粒子个体的适应度，参考适应度可以是人为设定的对适应度过低的粒子个体进行筛选的一个阈值，适应度越低则两个特征点之间的相似性越大，该适应度可以是0.1、0.5等，本发明对此不作限定，可以根据实际情况进行设定。
37.可理解的是，将搜索到的配准点经过参考适应度的筛选后，留下的都是相似度较高的配准点，该留下的相似度较高的配准点是目标配准点。
38.步骤s30：根据多个所述目标配准点计算所述任意两个监控图像之间的变换矩阵，根据所述变换矩阵对所述任意两个监控图像进行拼接得到初始拼接图像。
39.可理解的是，相邻两个监控场景的摄像头采集的监控图像是可以进行配准的，两个相邻的监控图像中可以存在多个目标配准点，也就是存在多个相似度很高的特征点。
40.进一步可理解的是，根据相邻两个监控图像中的目标配准点进行计算可以得到两个监控图像之间的变换矩阵，根据变换矩阵可以将相邻两个摄像头的监控图像变换的同一的坐标系下，使两个监控图像中重叠部分能够完全重合。
41.需要解释的是，任意两个监控图像可以是两个监控场景相邻的图像，为了便于区分和理解可以将任意两个监控场景相邻的图像其中一个作为基础监控图像，两个监控图像的拼接和融合可以在基础监控图像的基础上进行；另外一个监控图像可以作为待拼接图像；可理解到的是，在基础监控图像中的特征点可以是基础特征点，待拼接监控图像中的特征点为待配准特征点。
42.需说明的是，根据所述变换矩阵对所述任意两个监控图像进行拼接的具体执行步骤可以包括：根据变换参数建立奇次变换矩阵，根据所述目标配准点得到基础特征点矩阵和待配准特征点矩阵；根据多个所述基础特征点矩阵和待配准特征点矩阵对所述奇次变换矩阵求解得到目标变换参数；根据所述目标变换参数对所述奇次变换矩阵进行更新，得到变换矩阵；根据所述变换矩阵对所述待拼接监控图像进行变换，得到任意两个监控图像的初始拼接图像。
43.需进一步说明的是，其中变换参数可以是初始要对监控图像进行融合是考虑到对监控图像进行变换的因素，该变换参数可以是旋转因子、缩放因子、垂直方向位移因子、垂直方向形变量的放射变换因子、水平方向位移因子、水平方向形变量的放射变换因子、反射角度、错切等，基础监控图像和待拼接监控图像之间变换矩阵可以通过变换矩阵表示，其中变换矩阵可以表示为：其中，α
0-8
是旋转因子、缩放因子、垂直方向位移因子、垂直方向形变量的放射变换因子、水平方向位移因子、水平方向形变量的放射变换因子、反射角度、错切中的任意8个影响因素，例如控制尺度和旋转量的旋转、缩放的因子为α0α1α3α4，控制水平、垂直方向位移的因子为α2α5，控制水平与垂直方向形变量的仿射变换因子为α6α7。
44.将所述变换矩阵以及多个配准点的特征向量带入下列奇次变化矩阵：其中，x,y可以是配准点中基础监控图像中特征点的的特征向量，x’y’可以是配准点中带拼接图像中的特征点的特征向量，根据多个配准点对应的特征向量可以求解变换矩阵，通过变换矩阵将带拼接图像进行变换，可以得到基础监控图像和待拼接监控图像融合后的初始拼接图像。
45.步骤s40：根据所述任意两个监控图像的融合权值计算初始拼接图像中融合区域的颜色值，根据所述融合区域的颜色值对所述初始拼接图像进行融合，得到多摄像头融合监控图像。
46.可理解的是，融合权值可以包括基础权值和待融合权值，基础权值可以是基础监控图像在融合区域的像素点的权值，待融合权值可以是带拼接监控图像在融合区域的像素点的权值。
47.应理解的是，两个监控图像的融合可以大概理解为将特征点匹配后得到配准点，将两个监控图像的配准点重合后，两个监控图像的重叠部分则为融合区域。
48.可理解的是，融合区域中的每个像素点有两个颜色值，一个颜色值是基础监控图像中该像素点的颜色值，一个颜色值是待拼接监控图像中该像素点的颜色值，若只简单套用其中一个颜色值，则会导致融合区域融合后与两个监控图像不向融合，且容易出现阴影。
49.需说明的是，根据所述任意两个监控图像的融合权值计算初始拼接图像中融合区域的颜色值是根据一个像素点在两个监控图像中的权值计算该像素点的融合颜色值，将该融合颜色值作为该像素点在融合监控图像中的颜色，平衡融合图像中融合区域从一个监控图像到另一个监控图像的过渡。
50.需进一步说明的是，将融合区域中的所有像素点都通过权值得到融合颜色值，融合区域的全部像素点的颜色都经过调整后得到最终融合两个监控图像的融合监控图像。
51.本实施例通过多个监控图像之间的配准点得到两幅监控图转换矩阵，更高准确度的配准点能够得到更加准确的变换矩阵，从而能够得到拼接效果更好不影响监控内容的融合监控图像，解决了单个摄像头的监控视野小，不利于全局监控，多个摄像头的监控图像拼接效果差的技术问题，配准点准确度高的融合监控图像拼接效果更好，拼接后的融合监控图像实现多摄像头协同监控，直观的对监控区域中多个场景进行监控。
52.参考图3，图3为本发明一种多摄像头协同监控方法第二实施例的流程示意图。
53.基于上述第一实施例，本实施例多摄像头协同监控方法在所述步骤s20，包括：步骤s21：根据任意两个监控图像的特征点得到特征点集合，所述特征点集合包括基础特征点以及待配准特征点，其中一张监控图像的特征点为基础特征点，另一张监控图像的特征点为待配准特征点。
54.可理解的是，特征点集合可以是同时有两个监控图像全部特征点的集合，特征点集合中源于基础监控图像的特征点可以称为基础特征点，源于待拼接监控图像的特征点可以称为待配准特征点。
55.应理解的是，该任意两个监控图像和上述实施例中描述的任一两个监控图像是相同的两个监控图像。中央处理器从监控图像中任一选定两张监控图像，对这两张监控图像进行一些列的图像特征点配准、图像拼接以及图像融合的图像处理步骤。
56.值得说明的是，融合之后的融合监控图像可以在和其他监控图像进行融合，最终将所有监控图像融合为一张总的融合监控图像。
57.步骤s22：根据预设影响因子计算适应度函数的计算参数，根据所述计算参数、所述特征点集合、所述基础特征点以及所述待配准特征点建立适应度函数。
58.可理解的是，预设影响因子可以对特征点配准产生影响的因素，可以是光照强度、光照角度、拍摄角度、成像距离以及距离特点等因素。
59.应理解的是，将上述预设影响因子考虑进适应度函数的设定中，可以根据预设影响因子设定适应度函数的计算参数，计算参数可以由光照参数、角度参数、成像参数以及距离参数等，本实施例以融合角度以及距离特点作为说明，此处融合角度对应可以设计一个角度参数，角度参数的计算公式如下：
为准确描述任意两个监控图像，其中一张监控图像为基础监控图像，另一张监控图形为待拼接监控图像；其中，ω表示角度参数，ii表示基础监控图像中的特征矩阵，ii={i
a1
，i
a2
···ian
}，an为基础监控图像中的特征点总数；ji={j
b1
，j
b2
···jbn
}，bn为待拼接监控图像中的特征点总数，且an+bn=n，n为两个监控图像中的总特征点数。
60.进一步地，距离特点对应可以设计一个距离参数，距离参数的计算公式如下：其中，ρ为距离参数。
61.基于上述距离参数和角度参数可以进一步得到适应度函数，适应度函数的表达式可参考下列公式：其中，fitness（ii，ji）为适应度函数。
62.在具体实施中，将两张监控图像中的特征点作为一个特征点集合，然后将其中的特征点进行匹配，但是因为不同图像中同一个特征点也会因为拍摄距离、拍摄光照等因素影响两个特征点之间的匹配，因此在考虑该影响因素的条件下，对两张监控图像中的特征点进行匹配能够更加准确的识别其中相同的特征点。简单来说适应度函数可以是为了计算两个特征点之间相似度建立的函数。
63.步骤s23：根据所述基础特征点以及待配准特征点生成粒子群，根据所述适应度函数计算所述粒子群中粒子个体的适应度，根据所述粒子个体的适应度得到参考粒子个体。
64.可理解的是，粒子群可以是以粒子群算法为基础，对粒子群算法进行参数设定，运行该粒子群算法可以得到初始粒子群，该初始粒子群中包括多个粒子个体，每个粒子个体代表任意一个基础特征点和任意一个待配准特征点；粒子群中的粒子个体数量可以在参数设定中人为预先设定，可以是50、100，本实施例对此不作限定。
65.应理解的是，初始粒子群中的粒子个体数量有限，要将两个监控图像中的特征点一一匹配需要的粒子个体数量是非常庞大的，所以在计算初始粒子群中的初始粒子群个体的适应度函数之后，更新每个粒子的速度和位置，更新后重新计算该粒子个体的适应度。
66.在具体实施中，对粒子个体位置的速度进行更新相当于是重新选择特征点进行匹配。
67.需说明的是，根据所述基础特征点以及待配准特征点对粒子群初始化得到粒子个体，根据所述适应度函数计算全部粒子个体的适应度，得到最小适应度；根据所述最小适应度对所述粒子个体更新，直到更新次数达到预设更新次数；在达到预设更新次数时，将每个粒子个体的适应度与适应度阈值进行比较，将小于所述适应度阈值的粒子个体作为参考粒子个体。
68.需进一步说明的是，在粒子群算法中，群体规模的粒子大小为mp,解空间的每个点为搜索空间中对应的单个粒子，则采用x1代表第1个粒子的位置，以此类推。粒子在历史搜索过程中个体的最优解用pbest表示，用v
x
表示粒子的飞行速度，所以可以用以下式子表示粒子的位置信息与更新的速度：其中c1和c2为学习因子，c1=c2=2。σ代表的是惯性权重，取值在0~1之间。rand的选值可以是[0,1]之间的任意数，为了避免在迭代过程中算法出现粒子不在搜索范围之内的情况，设定最大值和最小值来约束粒子的位置变换，即用[x
min
，x
max
]表示，用[v
min
，v
max
]表示速度的变换。
[0069]
值得说明的是，根据所述基础特征点矩阵以及待配准特征点矩阵，对粒子种群中的粒子速度和位置进行随机初始化设置，然后根据适应度函数计算所有粒子个体的初始适应度；然后可以通过下列公式对粒子个体的速度和位置进行更新：计算所有粒子的更新后的适应度值，然后对比该粒子个体历史的最佳位置，若适应度数值小于适应度阈值，那么将其视为当下的最佳位置；然后将整个粒子群根据适应度值的大小进行排列，使用群体中最优的一半粒子的位置和速度更换最劣的一半的位置和速度，再次计算适应度并继续进行速度和位置进行更新，直到更新的次数达到预设更新次数要求。
[0070]
可理解的是，更新完成后，将每一次更新中适应度大于预设阈值的粒子个体作为参考粒子个体。
[0071]
应理解的是，使用群体中最优的一半粒子的位置和速度更换最劣的一半的位置和速度是对粒子群算法的优化，优化后的粒子群算法可以速度更快的找到适应度符合适应度阈值需求的粒子个体。
[0072]
在具体实验中的配准效果可以参考图4，图中虚线连接的是两两配准的特征点。
[0073]
步骤s24：对所述参考粒子个体对应的两个特征点作为所述任意两个监控图像中的目标配准点。
[0074]
可理解的是，参考粒子个体是粒子个体中适应度低于预设阈值的粒子个体，参考粒子个体对应的特征点是两个监控图像中可能相同的两个特征点。
[0075]
在具体实施中，通过配准点可以确定两个监控图像的重叠部分，待拼接图像可以基于重叠部分对剩余未重叠部分进行放缩旋转等调整。
[0076]
本实施例通过优化的粒子群算法搜索两个监控图像中相匹配的特征点，在判断两个特征点是否匹配考虑了距离、角度等图像采集多方面的因素，在搜索过程中不断优化搜索方向，能够更加快速准确的找得到两个监控图像之间的配准点，准确的配准点能够更加精准的得到两个监控图像之间的融合区域，基于融合区域进行任意两个监控图像的拼接可以得到更好的拼接效果，从而进一步通过拼接融合后的图像实现多摄像头协同监控，直观的对监控区域中多个场景进行监控。
[0077]
参考图5，图5为本发明一种多摄像头协同监控方法第三实施例的流程示意图。
[0078]
基于上述第一实施例，本实施例多摄像头协同监控方法在所述步骤s40，包括：步骤s41：获取初始拼接图像中融合区域内像素点在所述任意两个监控图像中的两个颜色值。
[0079]
可理解的是，初始拼接图像可以是经过配准点计算转换矩阵，并通过转换矩阵对待拼接图像进行转换后，将配准点进行重叠后得到的图像。其中，重叠的区域可以理解为融合区域。
[0080]
应理解的是，图像可以是由像素点构成，每个像素点都有不同的颜色值，但是也可以理解的是，融合区域内的像素点具有两个颜色值，一个颜色值是该融合区域的像素点在基础监控图像中的颜色值，一个颜色是该融合区域的像素点在待拼接图像中的颜色值。
[0081]
步骤s42：根据所述两个颜色值、所述基础权值以及所述待融合权值计算得到所述像素点融合后的颜色值。
[0082]
应理解的是，融合区域像素点颜色的调整可以是根据该像素点在基础监控图像中的颜色值、基础权值，该像素点在待拼接监控图像中的颜色值以及待融合权值进行计算得到。
[0083]
需说明的是，首先可以计算融合区域的像素点到融合区域的左边界的距离，此处左边界可以是该像素点到融合区域与基础监控图像相连接的边界；然后计算同一个像素点到融合区域的右边界距离，此处右边界可以是该像素点到融合区域与待拼接监控图像相连接的边界。
[0084]
需强调的是，基础权值和待融合权值相加为1，将左边界距离和右边界距离的比值作为参考比例，以参考比例计算得到所述任意两个监控图像的融合权值。
[0085]
在具体实施中，融合区域的一个像素点在基础监控图像中的颜色值为168，在待拼接监控图像中的颜色值为200；该像素点的左边界距离为30个单位，该像素点的右边界距离为70个单位，则参考比例为30/70，也就是3:7，基于参考比例且基础权值和待融合权值相加为1，则可以计算得到基础权值为0.3，待融合权值为0.7，所以可以进一步计算得到该像素点融合后的颜色值的计算方式为168*0.3+200*0.7。
[0086]
值得说明的是，通过融合权值计算像素点的调整后的颜色值，计算量小且能够对初始拼接图像中的接缝有较好的融合效果。
[0087]
值得说明的是，在具体两幅监控图像进行融合的过程中可以通过下列公式进行融合：其中，a1和a2分别表示基础权值和待融合权值，a1+a2=1，且a1和a2属于（0,1）；i1、i2分别表示基础监控图像中的像素点的颜色值和待拼接监控图像中的该像素点的颜色值，i表示融合后该像素点的颜色值；s1表示基础监控图像未重叠部分；s2表示待拼接监控图像未重叠部分，s
12
表示融合监控图像。
[0088]
步骤s43：根据所述像素点融合后的颜色值得到融合区域的颜色值。
[0089]
可理解的是，融合区域由多个像素点构成，分别计算每个像素点融合后的颜色值，最终可以得到整个融合区域所有像素点融合后的颜色值得到融合区域。
[0090]
步骤s44：根据所述融合区域的颜色值对所述初始拼接图像进行融合，得到多摄像头融合监控图像。
[0091]
可理解的是，任意两个监控图像可以进行融合，本实施例可以是以两个监控图像为例进行说明；在具体实施中，当有3个摄像头在同一时间采集的监控图像时，将监控图像1作为基础监控图像，将监控图像2作为待拼接监控图像，先对监控图像1和监控图像2进行图像配准、拼接以及融合，然后将融合后的监控图像a作为基础监控图像，将监控图像3作为待拼接监控图像，对监控图像a和监控图像3进行图像配准、拼接以及融合。
[0092]
应理解的是，当对融合区域中像素点的颜色值进行调整后，调整后的颜色不会与两个监控图像未重叠部分的颜色又太过强烈的差异和对比，且每个像素点只有一个颜色值，能够有效的避免重影保证融合效果。
[0093]
在具体实施中，融合前的连个监控图像可以参考图6，融合后的融合监控图像可以参考图7，本实施例通过对融合区域中像素点在两个监控图像中的权重对融合区域中像素点的颜色值进行调整，是调整之后的融合区域和两个监控图像的非融合区域能够更加协调，使融合后的监控图像在保证多个监控图像信息不丢失的前提下，能够在整体上保持颜色一致，重合区域过度自然，有较好的视觉效果。
[0094]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有多摄像头协同监控程序，所述多摄像头协同监控程序被处理器执行时实现如上文所述的多摄像头协同监控方法的步骤。
[0095]
参照图8，图8为本发明多摄像头协同监控装置第一实施例的结构框图。
[0096]
如图8所示，本发明实施例提出的多摄像头协同监控装置包括：获取模块10，用于获取监控区域内多个摄像头在同一时间采集的多个监控图像；配准模块20，用于搜索任意两个监控图像中的配准点，计算所述配准点的适应度，删除所述适应度小于参考适应度的配准点得到所述任意两个监控图像中的目标配准点；拼接模块30，用于根据多个所述目标配准点计算所述任意两个监控图像之间的变换矩阵，根据所述变换矩阵对所述任意两个监控图像进行拼接得到初始拼接图像；融合模块40，用于根据所述任意两个监控图像的融合权值计算初始拼接图像中融合区域的颜色值，根据所述融合区域的颜色值对所述初始拼接图像进行融合，得到多摄像头融合监控图像。
[0097]
本实施例通过多个监控图像之间的配准点得到两幅监控图转换矩阵，更高准确度的配准点能够得到更加准确的变换矩阵，从而能够得到拼接效果更好不影响监控内容的融合监控图像，解决了单个摄像头的监控视野小，不利于全局监控，多个摄像头的监控图像拼接效果差的技术问题，配准点准确度高的融合监控图像拼接效果更好，拼接后的融合监控图像实现多摄像头协同监控，直观的对监控区域中多个场景进行监控。
[0098]
在一实施例中，所述配准模块20，还用于根据任意两个监控图像的特征点得到特征点集合，所述特征点集合包括基础特征点以及待配准特征点，其中一张监控图像的特征点为基础特征点，另一张监控图像的特征点为待配准特征点；
根据预设影响因子计算适应度函数的计算参数，根据所述计算参数、所述特征点集合、所述基础特征点以及所述待配准特征点建立适应度函数；根据所述基础特征点以及待配准特征点生成粒子群，根据所述适应度函数计算所述粒子群中粒子个体的适应度，根据所述粒子个体的适应度得到参考粒子个体；对所述参考粒子个体对应的两个特征点作为所述任意两个监控图像中的目标配准点。
[0099]
在一实施例中，所述配准模块20，还用于根据所述基础特征点以及待配准特征点对粒子群初始化得到粒子个体，根据所述适应度函数计算全部粒子个体的适应度，得到最小适应度；根据所述最小适应度对所述粒子个体更新，直到更新次数达到预设更新次数；在达到预设更新次数时，将每个粒子个体的适应度与适应度阈值进行比较，将小于所述适应度阈值的粒子个体作为参考粒子个体。
[0100]
在一实施例中，所述拼接模块30，还用于根据变换参数建立奇次变换矩阵，根据所述目标配准点得到基础特征点矩阵和待配准特征点矩阵；根据多个所述基础特征点矩阵和待配准特征点矩阵对所述奇次变换矩阵求解得到目标变换参数；根据所述目标变换参数对所述奇次变换矩阵进行更新，得到变换矩阵；根据所述变换矩阵对所述待拼接监控图像进行变换，得到任意两个监控图像的初始拼接图像。
[0101]
在一实施例中，所述融合模块40，还用于通过欧式距离公式计算所述融合区域中像素点到融合区域的左边界距离和右边界距离；以所述左边界距离和右边界距离的比值为参考比例，计算得到所述任意两个监控图像的融合权值，所述融合权值包括基础权值和待融合权值，所述基础权值和待融合权值相加为预设数值。
[0102]
在一实施例中，所述融合模块40，还用于获取初始拼接图像中融合区域内像素点在所述任意两个监控图像中的两个颜色值；根据所述两个颜色值、所述基础权值以及所述待融合权值计算得到所述像素点融合后的颜色值；根据所述像素点融合后的颜色值得到融合区域的颜色值；根据所述融合区域的颜色值对所述初始拼接图像进行融合，得到多摄像头融合监控图像。
[0103]
在一实施例中，所述融合模块40，还用于获取监控区域内多个摄像头在同一时间采集的多个初始图像；根据所述摄像头的标准色彩向量和所述摄像头参考图像的参考色彩向量；根据所述标准色彩向量以及所述参考色彩向量建立映射关系，根据所述映射关系计算所述标准色彩向量与所述参考色彩向量之间的系数矩阵；根据所述系数矩阵对所述多个初始图像进行颜色校正得到多个监控图像。
[0104]
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
[0105]
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
[0106]
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0107]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0108]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器（read only memory，rom）/ram、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
[0109]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。