一种基于图像变形的不规则视频矩形化矫正方法
【技术领域】
[0001] 本发明设及一种视频矫正方法，特别设及一种基于图像变形的视频矩形化矫正方 法，属于视频处理领域。
【背景技术】
[0002] 随着互联网技术的发展和数码摄像设备的大范围使用，视频数据的采集非常容 易，广泛存在于生活中的各个方面。随着图像和视频拼接技术的发展，人们越来越不满足于 普通摄像机得到的有限视角的视频，期望获得更宽视角的视频W获得更好的视觉效果。然 后由于采集的视频数据的视角差异或者普通数码摄像机的随意移动，都会造成拼接后视频 的边界不规则。
[000引本方法所用已有技术包括seamcarving的图像缩放技术(Avidan,S.,Shamir,A. 2007.Seamcarvingforcontent-awareimageresizing.In SIGGRAPH2007.)在本方法中利用seamcarving技术填充的所有不规则视频帖得到初步 的矩形视频帖，进行网格的设置，再进行后续操作。
[0004]再者是已有的不规则全景图像矫正技术化e，K.，化ang，比，Sun,J. 2013. RectanglingPanoramicImagesviaWa巧ing.InSIGGRAPH2013),本方法是对该方法的 一个扩展，增加了时域上的连续性约束，得到视觉上合理的矩形规则视频。
【发明内容】
[0005] 本发明的目的是针对拼接后不规则的视频数据，提出的一种视频矫正方法，使用 户获得较舒适的观看感受。
[0006] 本发明技术方案的思想是首先对所有视频帖进行局部变形；在变形后矩形视频帖 上设置网格，再依据坐标映射关系，将网格放置在原不规则视频帖上，对所有帖网格对应坐 标取均值，即初始网格；对初始网格做时域空域约束建立稀疏线性方程组，并求解得到校正 后的视频各帖网格点；根据每一视频帖矫正前后网格进行双线性插值得到矫正后的视频 帖。该方法在已有图像矫正方法的基础上，增加时域约束条件，实现了视频的矩形化矫正。
[0007] 本发明的目的是通过下述技术方案实现的。
[000引一种基于图像变形的不规则视频矩形化矫正方法，包括W下步骤：
[0009] 步骤一、对视频每一帖进行局部变形
[0010] 对于视频中不规则边界的每一帖，利用seamcarving算法，通过不断插入长短不 一的seam的方式，填充缺失像素，得到规则矩形边界的视频帖，插入的同时记录插入后每 个像素点所在原图的位置坐标；
[0011] 步骤二、设置网格，并将网格变形回原图
[0012] 对步骤一中得到的每一规则视频帖，将其均匀划分为若干矩形区域，并获得网格 角点的坐标，然后利用步骤一中记录的位置信息，获得每个网格角点所在原图的位置坐标， 即可将每帖网格变形回原图；
[0013] 步骤S、网格归一化
[0014] 对得到的所有覆盖视频帖不规则有效区域的网格，对应位置坐标取均值，得到归 一化网格，即是每帖初始网格；
[0015] 步骤四、计算能量函数中的保形项氏
[0016] 为了获得与原视频帖尽可能相近的图像，尽可能减少其形状失真，因此在原视频 帖网格和矫正后的视频帖对应网格之间应保持一个相似变换，保形能量函数定义为：
【主权项】
1. 一种基于图像变形的不规则视频矩形化矫正方法，其特征在于，包括以下步骤： 步骤一、对视频每一帧进行局部变形 对于视频中不规则边界的每一帧，利用seamcarving算法，通过不断插入长短不一的seam的方式，填充缺失像素，得到规则矩形边界的视频帧，插入的同时记录插入后每个像素 点所在原图的位置坐标； 步骤二、设置网格，并将网格变形回原图 对步骤一中得到的每一规则视频帧，将其均匀划分为若干矩形区域，并获得网格角点 的坐标，然后利用步骤一中记录的位置信息，获得每个网格角点所在原图的位置坐标，即可 将每帧网格变形回原图； 步骤三、网格归一化 对得到的所有覆盖视频帧不规则有效区域的网格，对应位置坐标取均值，得到归一化 网格，即是每帧初始网格； 步骤四、计算能量函数中的保形项Es 为了获得与原视频帧尽可能相近的图像，尽可能减少其形状失真，因此在原视频帧网 格和矫正后的视频帧对应网格之间应保持一个相似变换，保形能量函数定义为：
其中上标t为视频帧索引，下标q是每帧网格的方格索引，N是网格的方格数，Aq为8*4 的矩阵，Vq为8*1的矩阵，（X0, …，（?J3)为网格变形前一个方格四个顶点对应四对 坐标，而（X。，yQ)，…，（x3,y3)为相应的变形后对应四对坐标； 步骤五、计算能量函数中的直线保持项E1 首先对视频中每帧进行预处理，过程为先对每帧进行直线检测，并对检测得到的所有 直线依据网格对其进行分割，使得每个子线段只在一个方格中，然后对所有线段按其倾斜 角分为m组，使得同组的线段倾斜角基本相同；预处理后为减少直线的失真，保持视频矫正 前后直线的平行性和共线性，使得倾斜角相似（同组）的线段矫正过程中旋转角尽可能一 致，其能量函数定义为：
其中，R是旋转矩阵，{0:}是m组线段的旋转角集合，民是方格中线段对应向量，表示 变形前线段，是'的线性函数，而e表示变形后线段，N^是线段总数，j是线段索引，q(j)表 示线段所在方格索引，m(j)表示线段所在组号； 步骤六、计算能量函数中的边界约束项Eb 为使得变形后视频每帧边界严格为矩形，约束其变形后网格四个边界上的点在图像边 界上，其能量函数定义如下：
其中L/R/T/B分别表示左、右、上、下； 步骤七、计算能量函数中的特征点位移约束项Ep 首先对当前帧的前一帧提取特征点，并利用光流法得到当前帧中特征点的对应匹配点 位置；然后为保持变形后视频的时域上的连续性，减少抖动等失真现象，保持特征点在变形 前后的相对位移尽可能不变，该约束项定义为：
其中Np是检测得到特征点的个数，民，Pt分别表示第t帧变形前后特征点坐标， P'h，Ph则分别表示第t-1帧的相应点； 步骤八、计算能量函数中的网格点位置约束项Ev 为增强时域连续性约束效果，进一步减少不连续的失真，相邻帧对应网格点变形后坐 标应保持时域上连续，即尽可能一致，该约束项定义为：
其中，V't_i分别表示变形后第t帧和第t-1帧的网格位置坐标； 步骤九、能量函数优化求解 将上述约束条件分别赋予权重，建立用于求解矫正后网格角点位置的能量函数，形式 化表示为： E(V% { 0 :})=W1Edw2Efw3EJw4E^w5Eb 由于函数中每帧计算只需前一帧的相关信息，故逐帧使用迭代求解稀疏线性方程组的 方法求解该能量函数最小化问题即可，得到矫正后的网格点坐标Vt; 步骤十、图像变形 对每帧根据矫正前的网格和矫正后的网格进行插值，即可获得矫正后的每个视频帧。
【专利摘要】本发明涉及一种视频矫正方法，特别涉及一种基于图像变形的视频矩形化矫正方法，属于视频处理领域。本发明首先对所有视频帧进行局部变形；在变形后矩形视频帧上设置网格，再依据坐标映射关系，将网格放置在原不规则视频帧上，对所有帧网格对应坐标取均值，即初始网格；对初始网格做时域空域约束建立稀疏线性方程组，并求解得到校正后的视频各帧网格点；根据每一视频帧矫正前后网格进行双线性插值得到矫正后的视频帧。该方法在已有图像矫正方法的基础上，增加时域约束条件，实现了视频的矩形化矫正。
【IPC分类】H04N5-262
【公开号】CN104822030
【申请号】CN201510180896
【发明人】黄华, 刘彩虹
【申请人】北京理工大学深圳研究院, 北京理工大学
【公开日】2015年8月5日
【申请日】2015年4月16日