基于ptz多摄像头联动的水电厂人员定位方法及系统与流程

本发明涉及图像处理领域，尤其涉及一种基于ptz多摄像头联动的水电厂人员定位方法及系统。

背景技术：

1、目前，人员识别技术主要以卷积神经网络算法为主，其中卷积神经网络算法又包括r-cnn算法与yolo算法等等，r-cnn算法使用selective search选取候选区域，并通过cnn基础网络获取候选区域目标特征图，在第二阶段时通过svm以及回归运算对目标进行分类并得到目标边界框坐标，由于r-cnn算法的模型复杂，导致输出结果的耗费时间较长；而yolo算法将输入图像网格化，利用网格直接预测目标，虽然因略去候选区域选取而提高了检测速度，但损失了一定的精度，其次，水电厂内设备、建筑、人员复杂，并且会存在一定数量的外形相同的设备、建筑，在利用ptz摄像机拍摄时，难免会存在拍摄到的图像中相同的多个设备重叠或者相同的多个建筑重叠的情况，这种情况下较难基于人员相对于设备的位置来定位人员的位置。因此，图像场景重叠下的水电厂人员定位时准确性与时效性兼具能力不足。

技术实现思路

1、为了解决上述问题，本发明提供了一种基于ptz多摄像头联动的水电厂人员定位方法及系统，可以保障图像场景重叠下的水电厂人员定位时准确性与时效性兼具能力。

2、第一方面，本发明提供了一种基于ptz多摄像头联动的水电厂人员定位方法，包括：

3、利用多个全景高速球摄像机拍摄水电厂内的多个水电厂图像，对所述多个水电厂图像进行图像预处理，得到多个预处理图像，配准所述多个预处理图像，得到多个配准图像，融合所述多个配准图像，得到多个融合图像；

4、对所述多个融合图像进行特征图提取，得到多个提取特征图，检测所述多个提取特征图中的多个目标人员图，计算所述多个目标人员图的多个人员类别概率，根据所述多个人员类别概率，检测所述多个融合图像中的目标水电厂人员，并从所述多个融合图像中选取所述目标水电厂人员对应的目标图像及从所述多个全景高速球摄像机中选取拍摄所述目标图像的目标摄像机；

5、计算所述目标水电厂人员与所述目标摄像机之间的厂内距离，基于所述厂内距离与所述目标图像，对所述目标水电厂人员进行三维场景重建，得到三维重建场景，从所述三维重建场景中分割所述目标水电厂人员的背景三维场景；

6、获取所述水电厂图像对应的实际厂内场景，根据所述实际厂内场景，对所述三维重建场景中所述目标水电厂人员进行人员粗定位，得到人员粗位置；

7、结合所述人员粗位置，拼接所述目标水电厂人员在所述水电厂内的行径轨迹，基于所述行径轨迹，对所述目标水电厂人员进行动态定位，得到所述水电厂内的水电厂人员定位结果。

8、第二方面，本发明提供了一种基于ptz多摄像头联动的水电厂人员定位系统，所述系统包括：

9、图像融合模块，用于利用多个全景高速球摄像机拍摄水电厂内的多个水电厂图像，对所述多个水电厂图像进行图像预处理，得到多个预处理图像，配准所述多个预处理图像，得到多个配准图像，融合所述多个配准图像，得到多个融合图像；

10、摄像机选取模块，用于对所述多个融合图像进行特征图提取，得到多个提取特征图，检测所述多个提取特征图中的多个目标人员图，计算所述多个目标人员图的多个人员类别概率，根据所述多个人员类别概率，检测所述多个融合图像中的目标水电厂人员，并从所述多个融合图像中选取所述目标水电厂人员对应的目标图像及从所述多个全景高速球摄像机中选取拍摄所述目标图像的目标摄像机；

11、重建场景模块，用于计算所述目标水电厂人员与所述目标摄像机之间的厂内距离，基于所述厂内距离与所述目标图像，对所述目标水电厂人员进行三维场景重建，得到三维重建场景，从所述三维重建场景中分割所述目标水电厂人员的背景三维场景；

12、人员粗定位模块，用于获取所述水电厂图像对应的实际厂内场景，根据所述实际厂内场景，对所述三维重建场景中所述目标水电厂人员进行人员粗定位，得到人员粗位置；

13、动态定位模块，用于结合所述人员粗位置，拼接所述目标水电厂人员在所述水电厂内的行径轨迹，基于所述行径轨迹，对所述目标水电厂人员进行动态定位，得到所述水电厂内的水电厂人员定位结果。

14、与现有技术相比，本方案的技术原理及有益效果在于：

15、本发明实施例通过对所述多个水电厂图像进行图像预处理，以用于在保障图像本身的信息不变的前提下，将图像中的像素灰度值的取值范围从0~255之间转换为0~1之间，进一步地，本发明实施例通过配准所述多个预处理图像，以用于利用空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的，进一步地，本发明实施例通过融合所述多个配准图像，以用于将不同角度的摄像机所拍摄的不完整的场景拼接为完整的场景，本发明实施例通过对所述多个融合图像进行特征图提取，以用于利用卷积核提取所述多个融合图像中的目标特征，并利用下采样层压缩特征图维度并且保持网络空间不变形，进一步地，本发明实施例通过检测所述多个提取特征图中的多个目标人员图，以用于检测所述多个提取特征图中的目标人员图，以用于从所述多个提取特征图中选取仅包含人员的候选框，通过借鉴了rpn网络的默认候选框机制以及回归机制，同时也采用了多尺度特征表征的思想进行目标检测，从而使得目标提取的算法同时兼具检测速度快和精度高的特点，进一步地，本发明实施例通过计算所述多个目标人员图的多个人员类别概率，以用于识别目标人员图中人员的类别，本发明实施例通过计算所述目标水电厂人员与所述目标摄像机之间的厂内距离，以用于在所述目标水电厂人员被水电厂内设备遮挡时，利用遮挡设备作为参照物来确定所述目标水电厂人员所在区域与所述目标摄像机之间的厂内距离，本发明实施例通过根据所述实际厂内场景，对所述三维重建场景中所述目标水电厂人员进行人员粗定位，以用于在图像场景存在重叠的情况下，将能够检测到的重叠的设备或建筑所在的区域位置作为所述人员粗位置，本发明实施例通过结合所述人员粗位置，拼接所述目标水电厂人员在所述水电厂内的行径轨迹，以用于对所述目标水电厂人员在所述水电厂内的定位进行动态追踪，这样可以基于所述目标水电厂人员在所述水电厂内的行径轨迹来确定所述目标水电厂人员在重叠的设备或建筑附近具体的位置，从而可以辨别所述目标水电厂人员在重叠的设备或建筑中的某个具体的设备或建筑的附近位置。因此，本发明实施例提出的一种基于ptz多摄像头联动的水电厂人员定位方法及系统，可以保障图像场景重叠下，实现对水电厂人员的快速、准确定位时。

技术特征：

1.一种基于ptz多摄像头联动的水电厂人员定位方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，融合所述多个配准图像，得到多个融合图像，包括：

3.根据权利要求1所述的方法，其特征在于，对所述多个融合图像进行特征图提取，得到多个提取特征图，包括：

4.根据权利要求1所述的方法，其特征在于，检测所述多个提取特征图中的多个目标人员图，包括：

5.根据权利要求4所述的方法，其特征在于，对所述多尺度特征图进行特征图分框，得到分框特征图，包括：

6.根据权利要求1所述的方法，其特征在于，计算所述多个目标人员图的多个人员类别概率，包括：

7.根据权利要求1所述的方法，其特征在于，计算所述目标水电厂人员与所述目标摄像机之间的厂内距离，包括：

8.根据权利要求1所述的方法，其特征在于，从所述三维重建场景中分割所述目标水电厂人员的背景三维场景，包括：

9.根据权利要求1所述的方法，其特征在于，所述结合所述人员粗位置，拼接所述目标水电厂人员在所述水电厂内的行径轨迹，包括：

10.一种用于实现权利要求1-9任一项所述水电厂人员定位方法的水电厂人员定位系统，其特征在于，所述系统包括：

技术总结
本发明涉及一种基于ptz多摄像头联动的水电厂人员定位方法及系统，包括：融合多个配准图像，得到多个融合图像；对多个融合图像进行特征图提取，得到多个提取特征图，检测多个提取特征图中的多个目标人员图，计算多个目标人员图的多个人员类别概率；计算目标水电厂人员与目标摄像机之间的厂内距离，从三维重建场景中分割目标水电厂人员的背景三维场景；对三维重建场景中目标水电厂人员进行人员粗定位，得到人员粗位置；结合人员粗位置，拼接目标水电厂人员在水电厂内的行径轨迹，基于行径轨迹，对目标水电厂人员进行动态定位，得到水电厂内的水电厂人员定位结果。本发明可在水电厂人员定位时兼具准确性与时效性。

技术研发人员：胡晓连,李明山,范峰,李常杲,周文,吴建朋,付险峰
受保护的技术使用者：武汉人云智物科技有限公司
技术研发日：
技术公布日：2024/5/16