一种基于贝叶斯理论的视频拼接方法
【技术领域】
[0001 ]本发明设及一种基于贝叶斯理论的视频拼接方法。
【背景技术】
[0002] 视频拼接，就是给定一系列有限重叠区域的视频图像序列，通过算法处理，拼接成 一个高分辨率、宽视角的全景视频图像。一般来说，全景视频拼接技术根据获取方式不同， 可分为两类:一类是通过单个特殊摄像机镜头获得C全景视频图像;另一类是通过普通摄 像机获取不同视角的视频，再通过拼接算法获得全景图像。前者虽然能够快速的获得全景 视频图像，但是价格昂贵，并且输出的视频质量不高；后者对场景和拍摄者的约束较少，实 用性更强，因此更多用户使用多个视角的视频流创建全景视频图像。目前，全景视频拼接技 术已经广泛用在军队监视，航空拍摄，视频会议等。
[0003] 全景视频拼接在时间和空间上需要质量保证:时间上要保证视频输出的稳定性， 确保亮度恒定，不会出现闪烁或者是抖动。空间上需要保证视频拼接的质量，尽量消除奇异 点。在视频拼接过程中，产生奇异点的原因有很多种，例如，相机标定误差，遮挡现象，运动 目标的移动，归根结底是视频配准不精确。图像配准矩阵的获取方法大致可W分为两种，一 种通过特征点配准获取，一种直接通过像素点获取。传统的方法通过对图像进行几何校正， 精确计算变换矩阵，去除特征点匹配中错误匹配对来减小配准误差，但是，误差不可能被完 全消除，去除由配准误差引起的奇异点仍然是当今的挑战性问题。
[0004] 视频拼接可W看成重叠区域图像重构问题，通常可W模拟到MAP的框架中。 H. Y.化um et al.将合成图像看成一个可W从新的视角观测到的图像，同时应用图像先验 条件控制新的视角能够产生于文理比较稳定的输入视频序列。Lu化ng et al.提出基于可 靠性理论消除自由视点合成图像中的奇异点。通过正确标注不同视点可靠与不可靠区域， 将由一个视点的不可靠像素点通过另一个视点的可靠像素代替，从而消除奇异点。另外，有 人提出了一种基于概率可靠性推理的考虑深度误差的自由视点的虚拟视角合成方法，通过 近似深度误差，将新视角图像的恢复通过求解最大后验概率实现。
[0005] 光流是反映时序连续的两幅图像的像素之间的对应关系矢量场。光流计算是计算 机视觉领域的一个基本问题，它在运动分析、立体视觉、增强现实、医学成像等方面有广泛 的应用。有许多方法可W估计运些矢量场。运些方法着力计算从时序上稍早的一幅图像到 时序上稍晚的另一幅图像的有向配准图，也就是时序上的前向光流。传统的光流矢量估计 需要稠密采样，当然由粗到精的变换在某种程度上降低了运种限制，但是人物运动的细节 问题一直没有解决。Thomas化OX等人将大量的描述符整合到变分光流中。能够估计高精确 度的密集光流场，同时能够实现运动分析的新区域，不再需要满足密集采样的需求。
【发明内容】
[0006] 本发明的目的在于克服现有技术的不足，提供一种高质量的基于贝叶斯理论的视 频拼接方法，对重叠区域少的视频有更好的鲁棒性，从而实现高质量视频的稳定的输出。
[0007] 本发明的目的是通过W下技术方案来实现的：一种基于贝叶斯理论的视频拼接方 法，它包括W下步骤：
[0008] SI:获取视频流对应帖重叠区域，并分别W两幅图像作为基准图，估计前向后向流 场:令ItL和ItR分别是两幅当前待拼接视频对应帖图像的重叠区域，通过分别对带拼接视频 帖作用前向流场和后向流场，获得四个虚拟视角：
[0009] I托二 1：扣二乂,，产
[0010] 其中，巧A与分别为作用在左图的前向流场与后向流场，巧分别为作用 在右图上的前向流场与后向流场；
[0011] S2:构建基于贝叶斯原理的视频融合能量函数结构：分别对视频在空间和时间上 进行贝叶斯推理，提出基于贝叶斯模型的视频拼接框架，通过优化后验概率能量函数获得 拼接结果;其中，在空间上保证视频拼接奇异点的有效消除，质量较高，在时间上去除视频 闪烁，保证视频稳定输出，同时采用先验概率支持最近邻平滑，包括W下子步骤：
[001^ S21:获得后验概率能量函数ELikelihood(V):根据步骤Sl通过变换得到的四个虚拟 视角，采用贝叶斯原理重新生成视频对应帖的融合部分，理想的融合结果V构建成如下形 式：
[001引 ELikelihood(V)= ?l(Vt广I(tl)i)2+?2(Vt广I 怕)i)2
[0014] + O 3(Vti_I(t3)i)2+ O 4(Vti_I(t4)i)2+ O 5(Vti-V(t-l)i)2
[0015] 其中，前四项函数的建立是基于流场估计误差所产生的像素强度差值;为了消除 视频输出的闪烁，增强视频的稳定性，将时间域的平滑即第五项函数加入似然能量函数数 据项，其中Vt-I为视频流对应前一帖拼接结果，式中《表示待拼接图像中每个像素对应的可 靠性，i表示图像中对应的像素点，具体地：
[0016] c〇i = a/((ItR广I(ti)i)2+b); 〇2 = a/((Itiu-I(t2)i)2+b); 〇3 = a/((I化广I(t3)i)2+b);
[0017] 〇4=a/((I化广I(t4)i)2+b); 〇5 = a/((V(t-i)i-V(t-2)i)2+b);
[0018] 式中a和b取决于Gamma分布中的高阶参数a,0，在本专利中，根据实验，取值为a = b 二 160〇
[0019] S22:获得图像先验能量函数Eprior(V):
[0021] S23:根据步骤S31和S32得到能量函数E(V):
[0022] E(V)=ELikelihood(V)+Eprior(V);
[0023] S3:将能量函数等效为标签问题最小化，构件图模型，采用graph-cuts进行求解；
[0024] S4:视频拼接输出显示:对视频每一对应帖拼接，获得连续的全景视频序列。
[0025] 在步骤Sl的配准过程中，选择计算时序上的后向光流，即获得时序上稍晚的图像 的像素点到时序上稍早的图像像素点之间的对应关系的矢量场。
[00%] -种基于贝叶斯理论的视频拼接方法还包括一个步骤SO:视频帖进行预处理，对 图像进行矫正，使得图像中屯、在同一个水平线上。
[0027]本发明的有益效果是:本发明采用对应帖估计的流场作为视频配准矢量矩阵，同 时考虑流场估计不精确引起的图像误差;通过在时间上和空间上应用贝叶斯原理，将图像 误差作为自适应可靠性，得到后验概率模型;通过优化方法求解最大后验模型，得到稳定的 高质量视频输出结果。本文提出的方法能够在空间上有效的去除由于流场估计不准确产生 的奇异点，时间上保证视频稳定性，从而得到高质量的视频输出结果。
【附图说明】
[00%]图1为本发明方法流程图；
[0029] 图2为本发明为步骤Sl待拼接变换示意图。
【具体实施方式】
[0030] 下面结合附图进一步详细描述本发明的技术方案:如图1所示，一种基于贝叶斯理 论的视频拼接方法，它包括W下步骤：
[0031] SO:视频帖进行预处理，对图像进行矫正，使得图像中屯、在同一个水平线上。
[0032] 在全景图像拼接过程中，图像矫正是一个非常普遍的步骤，通过图像矫正使得图 像的中屯、在同一个水平线上。我们通常根据摄像机标定计算它们的位置。矫正后的图像平 面能够准确的成对出现在输入图像中。如果摄像机参数是未知的，提取几何极线的多种多 样的技术都可W应用。
[0033] 摄像机，S维空间W及图像之间的几何关系，C和表示S维空间的一对摄像机;W 和W'是S维空间中的一点M通过摄像机分别在图像I和中的对应点。
[0034] 定义极线的限制：
[003引 m'T Fm=O;
[0036] 令H和IT分别为应用在图像I与中的单应矩阵，令mel和心满足等式的一对 对应点。
[003引