电力系统视屏监控画面融合方法与流程

本发明属于视屏监控领域，具体涉及电力系统视屏监控画面融合方法。

背景技术：

传统视频监控系统应用于变电站环境下，主要存在以下不足：需要接入管理的摄像机数量越来越多，监控人员需要轮流切换多个分镜头画面。如何在不增加人员的情况下，提高监控管理能力和工作效率，成为非常迫切的需要。通过拼接算法实现多个摄像头的拼接算法，构建变电站全景视频融合系统，将原来零散的分镜头视频处理成全局的、连续的场景，方便管理人员概览全局。

技术实现要素：

本发明目提供了电力系统视屏监控画面融合方法，解决了传统视频监控系统应用于变电站环境下，存在需要接入管理的摄像机数量越来越多，监控人员需要轮流切换多个分镜头画面进行监控，增加了监控难度且操作不便的问题。

本发明所采用的技术方案为：

电力系统视屏监控画面融合方法，包括以下步骤：

s1、将多路摄像头进行ipc地址标号，采集多路ipc地址摄像头的图像通过工控机连接局域网，获取视频码流，传给上位机进行图像处理；

s2、对步骤s1中获取的视频码流进行顺序整理，将多路ipc地址的视频按照空间顺序投射至柱面显示墙；

s3、在将排列好的多路ipc视频的图像在上位机中进行配准和图像融合，通过对视频中图像的参数进行几何校正以及颜色校正，最终将校正后的参数保存并加载给工控机，再由多路ipc视频拼接处理器完成全景图并实时投射在柱面显示墙进行全景显示；

s4、将步骤s3中获得的全景图参数进行下载并存储；

s5、将步骤s4中下载全景图按照不同的投放单元进行开窗和切割，形成全景图像分布式图像信息。

通过采集摄像头的图像通过工控机连接局域网，获取视频码流；图像配准和图像融合中对图像进行几何校正、颜色校正的相关参数计算由上位机实现，最终将校正后的参数保存并加载给工控机，多路ipc视频拼接处理器则是完成最后全景图的实现，完成多摄像头全景图像实时拼接，通过图像处理与拼接分别在两处进行，实现视屏图像的快速处理，最后将其视屏通过开窗和切割，形成完整的视屏信息，通过拼接算法实现多个摄像头的图像拼接，构建变电站全景视频融合系统，将原来零散的分镜头视频处理成全局的、连续的场景，采用柱面投影的方式来实现方位性的投影变换，方便管理人员概览全局。

进一步的，在步骤s1中所述摄像头采用网络球机摄像头，网络球机摄像头将采集到的视频信号传送给poe网络交换机，交换机将信号传送到网络硬盘录像机以存储图像，同时，通过上位机访问poe交换机中网络球机的数据并用其作为视频拼接系统的原始输入数据。

进一步的，在步骤s3中所述对视频中图像的参数进行几何校正包括多图形的畸变进行初次校正，假设原图像中的像素点(x,y)，该像素点发生畸变后为(x’,y’)；所述畸变包括径向畸变以及切向畸变，所述径向畸变以及切向畸变均使用泰勒级数的前面两项多项式进行校正。

进一步的，在对图像进行畸变校正前，对图像向进行特征点位提取，根据特征点位做为畸变校正的参考基准，再采用张正友图像标定法进行视屏图像校正，得到摄像机内参数矩阵、畸变系数，使用摄像机内参数矩阵、畸变系数代入所述泰勒级数的前面两项多项式进行校正。

进一步的，特征点位提取采用sift特征描述子进行特征点提取。sift具有尺度不变的特性，对图像大小和位置不发生改变，而且对抗光照能力较为优越；同时，sift算法能够在庞大数据量中精确匹配，误差较小，减少特征提取的运算量。

进一步的，在步骤s3中，所述将排列好的多路ipc视频的图像进行配准的方法是：保存所述sift特征检测出的特征点和特征向量，通过将多路视屏图像进行特征匹配，在特征匹配中过程中对sift检测的特征点和特征向量进行匹配，找到相应的特征点对，从而在配准中采用ransac算法得到变换矩阵，然后将图像再次进行几何变换。

进一步的，在特征点匹配时通过检测到的sift特征点构建k-d树，并通过bbf算法匹配特征点。bbf(bestbinfirst)算法可以在sift匹配算法过程中，快速精确找到最近邻点与次近邻点。

进一步的，在步骤s3中，所述对视频中图像的参数进行颜色校正的方法是：获取相邻图像重叠区像素颜色亮度分布，将图像颜色空间从原来rgb颜色空间转换到hsv颜色空间；分离和提取亮度通道和颜色通道，对颜色亮度进行调整；通过相邻图像重叠区域的像素分布情况，分别对颜色亮度图像作伽马变换，使相邻图像的亮度趋于预设范围值。图像的颜色校正是解决多个摄像头附近光源不一致造成颜色亮度差异的问题，毕竟，摄像头所处的环境是不确定的，光照必然有一定变化；因此，有必要对相邻图像的重叠区进行亮度调整，首先得到相邻图像重叠区像素颜色亮度分布，将图像颜色空间从原来rgb颜色空间转换到hsv颜色空间，这样处理的目的是为了分离和提取亮度通道和颜色通道，方便对颜色亮度进行调整，通过相邻图像重叠区域的像素分布情况，分别对颜色亮度图像作伽马变换，尽可能使相邻图像的亮度相似。

进一步的，颜色校正后，还通过高斯-拉普拉斯金字塔融合算法对图像进一步进行融合处理，形成全景图。通过高斯-拉普拉斯金字塔融合算法对图像进一步进行融合处理使得拼接后的图像过渡更加的自然。

进一步的，在步骤s5中所述全景图按照不同的投放单元进行开窗和切割是将画幅尺寸较大的视屏图像按预设比例进行开窗，将多余的图像进行切割，形成全景视屏流数据进行保存。

本发明具有如下的优点和有益效果：

1、本发明通过采集摄像头的图像通过工控机连接局域网，获取视频码流；图像配准和图像融合中对图像进行几何校正、颜色校正的相关参数计算由上位机实现，最终将校正后的参数保存并加载给工控机，多路ipc视频拼接处理器则是完成最后全景图的实现，完成多摄像头全景图像实时拼接，通过图像处理与拼接分别在两处进行，实现视屏图像的快速处理，最后将其视屏通过开窗和切割，形成完整的视屏信息，通过拼接算法实现多个摄像头的拼接算法，构建变电站全景视频融合系统，将原来零散的分镜头视频处理成全局的、连续的场景，采用柱面投影的方式来实现方位性的投影变换，方便管理人员概览全局；

2、本发明图像的颜色校正是解决多个摄像头附近光源不一致造成颜色亮度差异的问题，毕竟，摄像头所处的环境是不确定的，光照必然有一定变化；因此，有必要对相邻图像的重叠区进行亮度调整，首先得到相邻图像重叠区像素颜色亮度分布，将图像颜色空间从原来rgb颜色空间转换到hsv颜色空间，这样处理的目的是为了分离和提取亮度通道和颜色通道，方便对颜色亮度进行调整，通过相邻图像重叠区域的像素分布情况，分别对颜色亮度图像作伽马变换，尽可能使相邻图像的亮度相似；

3、本发明通过高斯-拉普拉斯金字塔融合算法对图像进一步进行融合处理使得拼接后的图像过渡更加的自然。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1是本发明的方法流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

应当理解，术语第一、第二等仅用于区分描述，而不能理解为指示或暗示相对重要性。尽管本文可以使用术语第一、第二等等来描述各种单元，这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。

应当理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，单独存在b，同时存在a和b三种情况，本文中术语“/和”是描述另一种关联对象关系，表示可以存在两种关系，例如，a/和b，可以表示：单独存在a，单独存在a和b两种情况，另外，本文中字符“/”，一般表示前后关联对象是一种“或”关系。

应当理解，在本发明的描述中，术语“上”、“竖直”、“内”、“外”等指示的方位或位置关系，是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

应当理解，当将单元称作与另一个单元“连接”、“相连”或“耦合”时，它可以与另一个单元直相连接或耦合，或中间单元可以存在。相対地，当将单元称作与另一个单元“直接相连”或“直接耦合”时，不存在中间单元。应当以类似方式来解释用于描述单元之间的关系的其他单词(例如，“在……之间”对“直接在……之间”,“相邻”对“直接相邻”等等)。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本文使用的术语仅用于描述特定实施例，并且不意在限制本发明的示例实施例。如本文所使用的，单数形式“一”、“一个”以及“该”意在包括复数形式，除非上下文明确指示相反意思。还应当理解术语“包括”、“包括了”、“包含”、和/或“包含了”当在本文中使用时,指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性,并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。

实施例1：

如图1所示，本实施例提供了电力系统视屏监控画面融合方法，包括以下步骤：

s1、将多路摄像头进行ipc地址标号，ipc代表设备地址号，采集多路ipc地址摄像头的图像通过工控机连接局域网，获取视频码流，传给上位机进行图像处理；

s2、对步骤s1中获取的视频码流进行顺序整理，将多路ipc地址的视频按照空间顺序投射至柱面显示墙；

s3、在将排列好的多路ipc视频的图像在上位机中进行配准和图像融合，通过对视频中图像的参数进行几何校正以及颜色校正，最终将校正后的参数保存并加载给工控机，再由多路ipc视频拼接处理器完成全景图并实时投射在柱面显示墙进行全景显示；

s4、将步骤s3中获得的全景图参数进行下载并存储；

s5、将步骤s4中下载全景图按照不同的投放单元进行开窗和切割，形成全景图像分布式图像信息。

具体实施时，在步骤s1中所述摄像头采用网络球机摄像头，网络球机摄像头将采集到的视频信号传送给poe网络交换机，交换机将信号传送到网络硬盘录像机以存储图像，同时，通过上位机访问poe交换机中网络球机的数据并用其作为视频拼接系统的原始输入数据。在步骤s3中所述对视频中图像的参数进行几何校正包括多图形的畸变进行初次校正，假设原图像中的像素点(x,y)，该像素点发生畸变后为(x’,y’)；所述畸变包括径向畸变以及切向畸变，所述径向畸变以及切向畸变均使用泰勒级数的前面两项多项式进行校正。在对图像进行畸变校正前，对图像向进行特征点位提取，根据特征点位做为畸变校正的参考基准，再采用张正友图像标定法进行视屏图像校正，得到摄像机内参数矩阵、畸变系数，使用摄像机内参数矩阵、畸变系数代入所述泰勒级数的前面两项多项式进行校正。径向畸变和切向畸变。

具体实施时，特征点位提取采用sift特征描述子进行特征点提取。sift具有尺度不变的特性，对图像大小和位置不发生改变，而且对抗光照能力较为优越；同时，sift算法能够在庞大数据量中精确匹配，误差较小，减少特征提取的运算量。在步骤s3中，所述将排列好的多路ipc视频的图像进行配准的方法是：保存所述sift特征检测出的特征点和特征向量，通过将多路视屏图像进行特征匹配，在特征匹配中过程中对sift检测的特征点和特征向量进行匹配，找到相应的特征点对，从而在配准中采用ransac算法得到变换矩阵，然后将图像再次进行几何变换。

具体实施时，在特征点匹配时通过检测到的sift特征点构建k-d树，并通过bbf算法匹配特征点。bbf(bestbinfirst)算法可以在sift匹配算法过程中，快速精确找到最近邻点与次近邻点。

具体实施时，在步骤s3中，所述对视频中图像的参数进行颜色校正的方法是：获取相邻图像重叠区像素颜色亮度分布，将图像颜色空间从原来rgb颜色空间转换到hsv颜色空间；分离和提取亮度通道和颜色通道，对颜色亮度进行调整；通过相邻图像重叠区域的像素分布情况，分别对颜色亮度图像作伽马变换，使相邻图像的亮度趋于预设范围值。图像的颜色校正是解决多个摄像头附近光源不一致造成颜色亮度差异的问题，毕竟，摄像头所处的环境是不确定的，光照必然有一定变化；因此，有必要对相邻图像的重叠区进行亮度调整，首先得到相邻图像重叠区像素颜色亮度分布，将图像颜色空间从原来rgb颜色空间转换到hsv颜色空间，这样处理的目的是为了分离和提取亮度通道和颜色通道，方便对颜色亮度进行调整，通过相邻图像重叠区域的像素分布情况，分别对颜色亮度图像作伽马变换，尽可能使相邻图像的亮度相似。颜色校正后，还通过高斯-拉普拉斯金字塔融合算法对图像进一步进行融合处理，形成全景图。通过高斯-拉普拉斯金字塔融合算法对图像进一步进行融合处理使得拼接后的图像过渡更加的自然。

在步骤s5中所述全景图按照不同的投放单元进行开窗和切割是将画幅尺寸较大的视屏图像按预设比例进行开窗，将多余的图像进行切割，形成全景视屏流数据进行保存。

具体实施时，预计需要的硬件设备：

1、带有gpu卡的高性能工作站/服务器1台(上位机)

2、海康威视监控交换机1台

3、千兆路由器1台

综上所述，本方案主要研究多摄像头全景图像拼接的实时视频技术，灵活应用于监控系统领域。相比于传统监控系统，该系统是一套软硬件相结合的系统。主要是采用上位机软件完成多个摄像头的图像采集和图像畸变校正，以及通过对相关算法实现来自动完成图像配准和图像融合过程，显示于大屏幕上。

系统的整体方案如图1所示，其中，采集摄像头的图像通过工控机连接局域网，获取视频码流。图像配准和图像融合中对图像进行几何校正、颜色校正的相关参数计算由上位机软件实现，最终将校正后的参数保存并加载给工控机，多路ipc视频拼接处理器则是完成最后全景图的实现。软件与硬件相互通信、相互配合，完成多摄像头全景图像实时拼接。

通过采集摄像头的图像通过工控机连接局域网，获取视频码流；图像配准和图像融合中对图像进行几何校正、颜色校正的相关参数计算由上位机实现，最终将校正后的参数保存并加载给工控机，多路ipc视频拼接处理器则是完成最后全景图的实现，完成多摄像头全景图像实时拼接，通过图像处理与拼接分别在两处进行，实现视屏图像的快速处理，最后将其视屏通过开窗和切割，形成完整的视屏信息，通过拼接算法实现多个摄像头的拼接算法，构建变电站全景视频融合系统，将原来零散的分镜头视频处理成全局的、连续的场景，采用柱面投影的方式来实现方位性的投影变换，方便管理人员概览全局。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。