本发明属于图像拼接领域，特别涉及一种海空背景监控视频图像拼接技术。
背景技术：
监控系统是一种重要的安防手段，监控系统能够为决策者提供实时、直观、准确、丰富的现场信息，对监控视频的全景图像拼接，可以解决单个摄像头视角较小的局限性，能够为观察者提供全方位、无间隙的实时监控。目前的海空背景监控视频图像，其图像拼接有以下几个难点：(1)监控视频图像分辨率较低、图像质量不高、像素值以灰度值为主，色彩不够丰富、图像特征不明显；(2)视频图像上加载有比较明显的水印字幕，对图像拼接有很大的影响；(3)海空背景中的海面波浪纹理和天空纹理具有高度相似性、重复性，使得图像特征不明显、图像配准难度较大；(4)视频每秒的图像帧数比较多，对图像拼接算法速度要求较高；虽然已有很多视频图像拼接方面的专利，但是，针对上述4个难点的海空背景监控视频，还未有很好的解决方案。
技术实现要素：
为解决上述技术问题，本发明提出一种基于光流法的海空背景监控视频图像拼接方法，能很好地去除水印字幕，对于低分辨率、特征不明显的海空背景视频图像能很好地实现图像拼接。
本发明采用的技术方案为：一种基于光流法的海空背景监控视频图像拼接方法，将光流法运用到海空背景监控视频图像拼接中，利用光流法计算出光流场，再利用直方图统计出x，y方向上的光流值，最后计算出变换矩阵，从而完成海空背景监控视频图像的拼接；包括以下技术：
1、选择性中值滤波算法
(1)在图像上用矩形框选出含有水印字幕的图像区域；
(2)选择一个模板大小s为11×11的中值滤波器，设定一个阈值k为200，在步骤(1)中选出的矩形区域，用式下面的公式进行选择性中值滤波。
其中，f(x,y)是原图像，f(s,t)表示原图像上点(s,t)的像素值，g(x,y)是中值滤波后的图像，f(x,y)是选择中值滤波后的图像，median(·)为取中值函数，(s,t)∈s表示模板11×11内的点坐标，s、k为阈值是经验值，本发明k取值200；
这里的中值滤波具体处理过程为：对于原图像f(x,y)上的每个像素点，判断其是否大于k，若大于k，利用中值滤波对其进行处理，若小于k，不处理，最后得到的图像f(x,y)就是去除水印后的图像，其中，中值滤波为：对于以原像素点为中心的11×11像素点范围内，按照图像灰度值排序，选取排序中的中位数作为滤波后的值。
2、采用光流法计算光流场
使用opencv库内部函数farneback计算第t、t+1帧图像之间的光流场，为了加快计算速度，先对图像进行2倍下采样，缩小图像的尺寸；
3、距离加权法融合
距离加权法是对两幅图像重叠区域的每个像素点计算加权得到，权值和距离有关系，其具体公式如下：
其中，i1(x,y)表示图像1中的重叠区域，i2(x,y)表示图像2中的重叠区域，i1、i2分别为i1(x,y)、i2(x,y)的简写，m(x,y)和n(x,y)分别是图像1和图像2的权值，m(x,y)和n(x,y)计算公式为：
其中，p表示点q(x,y)到图像1左边的距离，q表示点q(x,y)到图像2右边的距离。
综上，本发明技术方案包括以下流程：
步骤1、输入原始监控视频；
步骤2、设置初始帧t＝0，并设置拼接帧数t；
步骤3、提取第t帧图像与第t+1帧图像，使用选择性中值滤波算法去除第t帧图像与第t+1帧图像的水印字幕；
步骤4、使用光流法计算出经步骤3去除水印后的第t帧图像与第t+1帧图像之间的光流场；
步骤5、使用直方图统计光流场在水平方向和垂直方向上的分布，对应的光流场直方图峰值记为x和y，根据x和y得到变换矩阵m；
步骤6、根据步骤5得到的变换矩阵对经步骤3去除水印后的第t帧图像与第t+1帧图像进行平面投影，采用距离加权法进行图像融合；
步骤7、执行t＝t+1，若t＞t，进入步骤3，否则退出循环，输出最终的全景图像。
本发明的有益效果：本发明的一种基于光流法的海空背景监控视频图像拼接方法，将光流法运用到海空背景监控视频图像拼接中，利用光流法计算出光流场，再利用直方图统计出x，y方向上的光流值，最后计算出变换矩阵，从而完成海空背景监控视频图像的拼接；本发明包括以下优点：
1)采用中值滤波去水印方法，能够很好地去除图像水印字幕；
2)采用光流法以及距离加权图像融合，通过调用opencv库能够简单，快速实现；通过大量的测试，本发明对视频能够实现0.219帧/s的图像拼接速度，具有很快的拼接速度，同时拼接得到的图像质量也比较好。
附图说明
图1为本发明实施例提供的算法流程示意图；
图2为本发明实施例提供的原始监控视频图像；
图3为本发明实施例提供的使用选择性中值滤波去除水印后的图像；
图4为本发明实施例提供的使用光流法计算出的光流场图像；
图5为本发明实施例提供的光流场x方向统计直方图；
图6为本发明实施例提供的光流场y方向统计直方图；
图7为本发明的最后得出的全景图。
具体实施方式
为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。
目前的海空背景监控视频图像拼接存在以下问题：
(1)分辨率较低、图像质量不高、像素值以灰度值为主，色彩不够丰富、图像特征不明显；
(2)视频图像上加载有比较明显的水印字幕，对图像拼接有很大的影响；
(3)海空背景中的海面波浪纹理和天空纹理具有高度相似性、重复性，使得图像特征不明显、图像配准难度较大；
(4)视频每秒的图像帧数比较多，对图像拼接算法速度要求较高；
本发明提供一种基于光流法的海空背景监控视频图像拼接方法，利用光流法及中值滤波去除图像水印等方法，能够很好地解决以上四点问题；如图1所示，本发明的技术方案具体包括以下步骤：
步骤1、输入原始监控视频；如图2所示，矩形框内为水印字幕；
步骤2、设置初始帧t＝0，并设置拼接帧数t；这里t的取值小于视频总帧数；
步骤3、提取第t帧图像与第t+1帧图像，使用选择性中值滤波算法去除第t帧图像与第t+1帧图像的水印字幕，去除水印字幕的图像如图3所示；具体包括以下分步骤：
步骤31、在第t帧图像与第t+1帧图像上用矩形框选出含有水印字幕的图像区域，得到两个矩形区域；
步骤32、选择一个模板大小s为11×11的中值滤波器，对步骤31选出的两个矩形区域，采用下面的公式进行选择性中值滤波：
其中，f(x,y)是原图像，f(s,t)表示原图像上点(s,t)的像素值，g(x,y)是中值滤波后的图像，f(x,y)是选择中值滤波后的图像，median(·)为取中值函数，(s,t)∈s表示模板11×11内的点坐标，本实施例中k＝200，是经验值。
步骤4、使用光流法计算出经步骤3去除水印后的第t帧图像与第t+1帧图像之间的光流场；具体的：本发明使用opencv库内部函数farneback计算第t、t+1帧图像之间的光流场；并且为了加快计算速度，在计算光流场之前先对经步骤3去除水印后的第t帧图像与第t+1帧图像进行2倍下采样，缩小图像的尺寸；根据步骤4得到的图像如图4所示。
步骤5、使用直方图统计光流场在水平方向和垂直方向上的光流值，计算出变换矩阵m；具体的：对于步骤4中计算出的第t、t+1帧图像之间的光流场，光流场在水平方向上的直方图的峰值点作为变换矩阵m中的x值，光流场在垂直方向上的直方图的峰值点作为m矩阵中的y值，光流场x方向统计直方图如图5所示，光流场y方向统计直方图如图6所示，m矩阵为：
步骤6、根据步骤5得到的变换矩阵对经步骤3去除水印后的第t帧图像与第t+1帧图像进行平面投影，采用距离加权法进行图像融合；具体包括以下分步骤：
步骤61、根据步骤5得到的变换矩阵对经步骤3去除水印后的第t、t+1帧图像进行平面投影，确定图像重叠区域；
步骤62、对图像重叠区域，采用距离加权法进行图像融合。距离加权法是对两幅图像重叠区域的每个像素点计算加权得到，权值和距离有关系，其具体公式如下：
其中，m(x,y)和n(x,y)分别是图像1和图像2的权值，计算公式为：
其中，p表示点q(x,y)到图像1左边的距离，q表示点q(x,y)到图像2右边的距离。
步骤7、执行t＝t+1，若t＞t，进入步骤3，否则退出循环，输出最终的全景图像，如图7所示，本发明的方法能够很好地适应于低分辨率、特征不明显、具有高度相似性纹理的海空背景视频图像，并且具有较好的算法效果和较快的速度，这是其他的图像拼接方法所不能达到的。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。