本发明属于视频拼接技术领域，涉及一种监控场景下实时视频的拼接方法。
背景技术：
随着网络和多媒体技术的快速发展，各种视频、图像应用技术进入人们生活之中，其中视频占据了重要的部分。人们对大场景高分辨率的视频图像信息的需求十分迫切。人们通常用鱼眼镜头等广角设备来获得大场景的视频，但是画面会出现严重的变形，并且这类设备通常比较昂贵。视频拼接可以很好地解决这个问题，而且方法简单、成本低、效果好。无论是在军事领域上还是在民用领域，如监控、指挥、调度、公安、消防、铁路、医学、航空等，都有着广泛的应用。
监控场景下我们时常需要获得监控区域的全景视频，但是由于单个的摄像设备只能看到局部的场景视频，如果通过移动的云台来观察四周的场景，只能在某一时刻得到某一个局部视野，不能满足同时对同一监控场景不同角度观看的需求。
技术实现要素：
本发明的目的是提供一种监控场景下实时视频的拼接方法，能够满足同时对同一监控场景不同角度观看的需求。
本发明所采用的技术方案是，一种监控场景下实时视频的拼接方法，具体包括以下步骤：
采集待拼接视频，对待拼接视频进行分帧处理得到视频帧，时间对应的视频帧为相应视频帧对；
判断起始时刻相应视频帧对之间是否存在绝对单应性矩阵，若起始时刻相应视频帧对之间存在绝对单应性矩阵，则利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成拼接图像；若起始时刻相应视频帧对之间不存在绝对单应性矩阵，则找到起始时刻相应视频帧对的特征匹配点对，求出起始时刻相应视频帧对的仿射变换矩阵，将起始时刻相应视频帧对的仿射变换矩阵值赋给其绝对单应性矩阵，利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成起始时刻拼接图像，输出起始时刻拼接图像；
除起始时刻外的相应视频帧对为普通相应视频帧对，普通相应视频帧对的绝对单应性矩阵值与上一时刻的相应视频帧对的绝对单应性矩阵值相等，根据普通相应视频帧对的绝对单应性矩阵值，利用多分辨率融合算法将普通相应视频帧对进行融合形成普通拼接图像；对普通拼接图像进行融合质量评估，判断是否符合设置要求，若普通拼接图像符合设置要求，则输出普通拼接图像；若普通拼接图像不符合设置要求，则找到该普通相应视频帧对的特征匹配点对，求出该普通相应视频帧对的仿射变换矩阵，将该普通相应视频帧对的仿射变换矩阵的值赋给其绝对单应性矩阵，利用多分辨率融合算法将该普通相应视频帧对进行融合形成普通拼接图像，普通拼接图像融合质量评估符合设置要求，输出普通拼接图像；
将输出的起始时刻拼接图像和普通拼接图像转化为视频文件。
本发明的特点还在于，
相应视频帧对的视频帧重叠区域大于视频帧图像的20％。
找到起始时刻相应视频帧对的特征匹配点对，求出起始时刻相应视频帧对的仿射变换矩阵具体为，利用fast角点检测算法对起始时刻相应视频帧对进行角点检测，找出特征点；利用rbrief算法，对特征点进行特征描述，并且根据特征点描述找出特征点匹配点对；利用ransac算法提出错误的匹配点对，对特征点对进行提纯，得到优化后的匹配点对；利用反向误差最小的方法，求解出放射变换矩阵；找到该相应视频帧对的特征匹配点对，求出该普通相应视频帧对的仿射变换矩阵同理。
利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成起始时刻拼接图像具体为，利用起始时刻相应视频帧的绝对单应性矩阵值计算起始时刻相应视频帧对之间的视频帧重叠区域；用最佳缝合线法将重叠区域划分为缝合区和过渡区，在过渡区中使用加权平均算法融合进行平滑过渡，在缝合区域使用多分辨率融合算法进行融合，得到起始时刻拼接图像；利用多分辨率融合算法将普通相应视频帧对进行融合形成普通拼接图像同理。
对普通拼接图像进行融合质量评估，判断是否符合设置要求具体为，采用doem边缘差分谱算法对普通拼接图像的doem值进行评估，若doem值大于设置的域值，则普通拼接图像符合设置要求，否则普通拼接图像不符合设置要求。
将输出的起始时刻拼接图像和普通拼接图像转化为视频文件具体为，通过cvcreatevideowriter函数创建一个视频结构体指针cvvideowriter，设置视频的大小、帧率、编码方式；利用opencv库中的cvwriteframe函数将起始时刻拼接图像和普通拼接图像的每一帧图像的信息保存到opencv库中的视频结构体指针，完成拼接图像转化为视频文件。
本发明的有益效果是，本发明一种监控场景下实时视频的拼接方法简单高效，能够通过常见的视频采集设备，如摄像头和计算机，在进行实时视频采集的同时，实时进行视频拼接，满足同时对同一监控场景不同角度观看的需求；本发明利用图像拼接质量评价对结果进行判断，根据结果对绝对单应性矩阵进行更新，使得本发明可以对一些突发情况，例如监控摄像头被移动物体碰撞导致的摄像头偏移，具有一定的适应能力，并且可以及时纠正错误仿射变换矩阵，达到实时拼接，具有较高的实用价值。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
一种监控场景下实时视频的拼接方法，具体包括以下步骤：
采集待拼接视频，对待拼接视频进行分帧处理得到视频帧，时间对应的视频帧为相应视频帧对，相应视频帧对的视频帧重叠区域大于视频帧图像的20％。
判断起始时刻相应视频帧对之间是否存在绝对单应性矩阵，若起始时刻相应视频帧对之间存在绝对单应性矩阵，则利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成拼接图像；若起始时刻相应视频帧对之间不存在绝对单应性矩阵，则找到起始时刻相应视频帧对的特征匹配点对，求出起始时刻相应视频帧对的仿射变换矩阵，将起始时刻相应视频帧对的仿射变换矩阵值赋给其绝对单应性矩阵，利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成起始时刻拼接图像，输出起始时刻拼接图像；
除起始时刻外的相应视频帧对为普通相应视频帧对，普通相应视频帧对的绝对单应性矩阵值与上一时刻的相应视频帧对的绝对单应性矩阵值相等，根据普通相应视频帧对的绝对单应性矩阵值，利用多分辨率融合算法将普通相应视频帧对进行融合形成普通拼接图像；对普通拼接图像进行融合质量评估，判断是否符合设置要求，若普通拼接图像符合设置要求，则输出普通拼接图像；若普通拼接图像不符合设置要求，则找到该普通相应视频帧对的特征匹配点对，求出该普通相应视频帧对的仿射变换矩阵，将该普通相应视频帧对的仿射变换矩阵的值赋给其绝对单应性矩阵，利用多分辨率融合算法将该普通相应视频帧对进行融合形成普通拼接图像，普通拼接图像融合质量评估符合设置要求，输出普通拼接图像。
将输出的起始时刻拼接图像和普通拼接图像转化为视频文件，具体通过cvcreatevideowriter函数创建一个视频结构体指针cvvideowriter，设置视频的大小、帧率、编码方式；利用opencv库中的cvwriteframe函数将起始时刻拼接图像和普通拼接图像的每一帧图像的信息保存到opencv库中的视频结构体指针，完成拼接图像转化为视频文件。
找到起始时刻相应视频帧对的特征匹配点对，求出起始时刻相应视频帧对的仿射变换矩阵具体为，利用fast角点检测算法对起始时刻相应视频帧对进行角点检测，找出特征点；利用rbrief算法，对特征点进行特征描述，并且根据特征点描述找出特征点匹配点对；利用ransac算法提出错误的匹配点对，对特征点对进行提纯，得到优化后的匹配点对；利用反向误差最小的方法，求解出放射变换矩阵；找到该相应视频帧对的特征匹配点对，求出该普通相应视频帧对的仿射变换矩阵同理。
fast角点检测算法根据像素点p与以p为中心的半径为3个像素的圆周上像素点的像素差值，判断像素点p是否为特征点，若圆周上有连续t个像素点满足差值绝对值大于设置的阈值，则像素点p为特征点，否则像素点p不是像素点。t的取值一般为9、12和16，实验证明t取9，效果最好。
rbrief算法是这一种生成二值化描述子的算法，不仅提取代价低，匹配也只需要使用简单的汉明距离利用比特之间的异或操作就可以完成。因此时间代价低，空间代价低，效果好。在特征点所在的图像块中，按照设置的采样方式选取点对，假设x，y是一对点对，如果x的灰度值大于y的灰度值，取1，否则是0。图像块内的点对数量可以是128，256或者512。一般取值为256，这样就可以得到长度为256的二进制描述符。
为了使描述符具备旋转不变性，我们为图像块添加方向，通过灰度质心与特征点之间的向量确定特征点的方向，将这个方向作为图像块的方向，使得描述符具备旋转不变性。
ransac算法利用随机的4对匹配点对，求出一个仿射矩阵，记为模型m，计算数据集中所有数据与模型m的投影误差，若小于阈值，则内点数加1。通过迭代，获得内点数最大的内点集，这些内点就是经过提纯的匹配特征点对。
利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成起始时刻拼接图像具体为，利用起始时刻相应视频帧的绝对单应性矩阵值计算起始时刻相应视频帧对之间的视频帧重叠区域；用最佳缝合线法将重叠区域划分为缝合区和过渡区，在过渡区中使用加权平均算法融合进行平滑过渡，在缝合区域使用多分辨率融合算法进行融合，得到起始时刻拼接图像；利用多分辨率融合算法将普通相应视频帧对进行融合形成普通拼接图像同理。
加权平均法图像融合算法的原理就是：对原图像的像素值取权值，然后进行加权平均得到融合图像的像素值，权值的取值取决于像素点距离重叠区边缘的距离。
多分辨率融合算法是先将各个源图像分解为图像金字塔，然后分别对金字塔各层的图像按照一定的方法确定新的拼接图像该层的像素值，组合形成拼接后的图像金字塔组，最后再将图像金字塔逆向重构为最终的拼接图像。常用的多分辨率金字塔分解方法有高斯金字塔分解、拉普拉斯金字塔分解和小波金字塔分解。
对普通拼接图像进行融合质量评估，判断是否符合设置要求具体为，采用doem边缘差分谱算法对普通拼接图像的doem值进行评估，若doem值大于设置的域值，则普通拼接图像符合设置要求，否则普通拼接图像不符合设置要求。采用doem边缘差分谱算法对融合后的普通图像质量进行评估，由于错位和亮度突变是影响拼接效果的主要原因，错位和亮度突变会对doem边缘差分谱的方差和均值造成影响，所以doem值可以客观的反应融合后的拼接效果，并且与人的主观评价较为符合，主观评价和客观评分等级之间的映射关系如表1所示。
表1主观评价和客观评分等级之间的映射关系
通过上述方式，本发明一种监控场景下实时视频的拼接方法简单高效，在进行实时视频采集的同时，实时进行视频拼接，满足同时对同一监控场景不同角度观看的需求；本发明利用图像拼接质量评价对结果进行判断，根据结果对绝对单应性矩阵进行更新，使得本发明可以对一些突发情况，例如监控摄像头被移动物体碰撞导致的摄像头偏移，具有一定的适应能力，并且可以及时纠正错误仿射变换矩阵，达到实时拼接，具有较高的实用价值。
实施例1
本实施例提供一种监控场景下实时视频的拼接方法，具体包括以下步骤：
采集待拼接视频，对待拼接视频进行分帧处理得到视频帧，时间对应的视频帧为相应视频帧对，相应视频帧对共有n对，所述n为不为0的自然数。
经判断，起始时刻相应视频帧对即第一对相应视频帧对之间存在绝对单应性矩阵h，则根据h，利用多分辨率融合算法将第一对相应视频帧对进行融合形成第一拼接图像，输出第一拼接图像。
第二对相应视频帧对的绝对单应性矩阵即为第一对相应视频帧对的绝对单应性矩阵，根据h，利用多分辨率融合算法将第二对相应视频帧对进行融合形成第二拼接图像，对第二拼接图像进行融合质量评估，判断符合设置要求，输出第二拼接图像。
第三对相应视频帧对的绝对单应性矩阵即为第二对相应视频帧对的绝对单应性矩阵，根据h，利用多分辨率融合算法将第三对相应视频帧对进行融合形成第三拼接图像，对第三拼接图像进行融合质量评估，判断符合设置要求，输出第三拼接图像。
第四对相应视频帧对的绝对单应性矩阵即为第三对相应视频帧对的绝对单应性矩阵，根据h，利用多分辨率融合算法将第四对相应视频帧对进行融合形成第四拼接图像，对第四拼接图像进行融合质量评估，判断不符合设置要求，找到第四对相应视频帧对的特征匹配点对，求出第四对相应视频帧对的仿射变换矩阵h1，将第四对相应视频帧对的仿射变换矩阵的值赋给其绝对单应性矩阵，即将h1的值赋给h得到h’，利用多分辨率融合算法将第四对相应视频帧对进行融合形成第四拼接图像，第四拼接图像融合质量评估符合设置要求，输出第四拼接图像。
第五对相应视频帧对的绝对单应性矩阵即为第四对相应视频帧对的绝对单应性矩阵，根据h’，利用多分辨率融合算法将第五对相应视频帧对进行融合形成第五拼接图像，对第五拼接图像进行融合质量评估，判断符合设置要求，输出第五拼接图像。
以此类推，依次输出第六拼接图像，第七拼接图像，第八拼接图像，……，第n拼接图像。
将输出的第一拼接图像，第二拼接图像，第三拼接图像，……，第n拼接图像转化为视频文件。
实施例2
本实施例提供一种监控场景下实时视频的拼接方法，具体包括以下步骤：
采集待拼接视频，对待拼接视频进行分帧处理得到视频帧，时间对应的视频帧为相应视频帧对，相应视频帧对共有n对，所述n为不为0的自然数。
经判断，起始时刻相应视频帧对即第一对相应视频帧对之间不存在绝对单应性矩阵h，找到第一对相应视频帧对的特征匹配点对，求出第一对相应视频帧对的仿射变换矩阵h0，将第四对相应视频帧对的仿射变换矩阵的值赋给其绝对单应性矩阵，即将h0的值赋给h得到h0’，根据h0’，利用多分辨率融合算法将第一对相应视频帧对进行融合形成第一拼接图像，输出第一拼接图像。
第二对相应视频帧对的绝对单应性矩阵即为第一对相应视频帧对的绝对单应性矩阵，根据h0’，利用多分辨率融合算法将第二对相应视频帧对进行融合形成第二拼接图像，对第二拼接图像进行融合质量评估，判断符合设置要求，输出第二拼接图像。
第三对相应视频帧对的绝对单应性矩阵即为第二对相应视频帧对的绝对单应性矩阵，根据h0’，利用多分辨率融合算法将第三对相应视频帧对进行融合形成第三拼接图像，对第三拼接图像进行融合质量评估，判断符合设置要求，输出第三拼接图像。
第四对相应视频帧对的绝对单应性矩阵即为第三对相应视频帧对的绝对单应性矩阵，根据h0’，利用多分辨率融合算法将第四对相应视频帧对进行融合形成第四拼接图像，对第四拼接图像进行融合质量评估，判断不符合设置要求，找到第四对相应视频帧对的特征匹配点对，求出第四对相应视频帧对的仿射变换矩阵h1，将第四对相应视频帧对的仿射变换矩阵的值赋给其绝对单应性矩阵，即将h1的值赋给h得到h’，利用多分辨率融合算法将第四对相应视频帧对进行融合形成第四拼接图像，第四拼接图像融合质量评估符合设置要求，输出第四拼接图像。
第五对相应视频帧对的绝对单应性矩阵即为第四对相应视频帧对的绝对单应性矩阵，根据h’，利用多分辨率融合算法将第五对相应视频帧对进行融合形成第五拼接图像，对第五拼接图像进行融合质量评估，判断符合设置要求，输出第五拼接图像。
以此类推，依次输出第六拼接图像，第七拼接图像，第八拼接图像，……，第n拼接图像。
将输出的第一拼接图像，第二拼接图像，第三拼接图像，……，第n拼接图像转化为视频文件。