基于单应性矩阵分割的虚拟视点合成的方法
【技术领域】
[0001] 本发明涉及一种虚拟视点合成的方法，尤其是一种基于单应性矩阵分割的虚拟视 点合成的方法，属于图像处理技术领域。
【背景技术】
[0002] 虚拟视点合成是指利用计算机，合成本来不存在的视点图像。虚拟视点插值是给 定按照一定规则预先摆放的摄像头阵列，同时拍摄多张图像，采用相应的视点插值技术计 算出每相邻两视角之间的中间图像序列。
[0003] 近年来，随着计算机视觉、图像处理、计算机图像学等学科高度交叉。虚拟视点合 成广泛运用于三维重建和全景拼接等项目。视点插值技术广泛应用于虚拟现实、特效摄影、 三维电视和动画制作领域。成功的案例包括应用在奥运会上的"子弹时间"和苹果公司的 QuickTimeVR虚拟现实系统。
[0004] 虚拟视点插值技术发展20多年，经典的方法由苹果公司研宄员chen的基于偏移 向量的插值方法以及Seitz教授的基于图像插值的方法。2004年微软研宄员Zitnick提出 一种新的基于图像的建模与绘制技术的视频视点合成系统方案，该方案离线获取同步拍摄 视频流，然后通过基于颜色的分割的立体算法来获取摄像头阵列的结构参数并建立高质量 的图像对应关系，视频合成过程深度不连续区自动提取遮罩用来减少人工误差，最后交互 实现视频的合成。该方案的优势是得到视频合成质量但其速度难以保证实时性。2008年， Farin等也提出了对基线长度由约束的任意摆放阵列的虚拟视点插值技术。Guillemaut等 人也提出了基于图像分割的优化视点插值方法，针对多个不同分辨率的运动相机拍摄的复 杂运动场景进行图像分割重建。
[0005] 目前，现有的基于虚拟视点插值合成虚拟图像的方法算法相对复杂、实时性能差、 稳定性得不到保证，部分算法需要特殊硬件支持，工程实现难，工程实用价值不高。
【发明内容】
[0006] 本发明的目的是为了解决上述现有技术的缺陷，提供一种基于单应性矩阵分割的 虚拟视点合成的方法，该方法具有合成速度快、过程简单有效、工程实用价值高的优点。
[0007] 本发明的目的可以通过采取如下技术方案达到：
[0008] 基于单应性矩阵分割的虚拟视点合成的方法，所述方法包括以下步骤：
[0009] 1)采用外置标准尺寸棋盘格标定法对左右相邻视角相机进行标定，得到左右相邻 视角相机的内参矩阵I、心以及左右相邻视角相机之间的基础矩阵F，由基础矩阵F导出本 质矩阵E，对本质矩阵进行SVD奇异值分解，计算左右相邻视角相机之间的运动参数：旋转 矩阵R和平移矩阵T;
[0010] 2)对旋转矩阵R和平移矩阵T进行插值分割，得到左右相邻视角到映射至相邻视 角之间某一位置处的子单应性矩阵MPH^
[0011] 3)通过子单应性矩阵HjPHH分别将左右视角图形进行图像映射，选定其中一视 角映射后的图像作为合成图像的参考坐标系统，运用双线性插值进行插值融合，合成运动 过程中每一位置场景图像。
[0012] 作为一种优选方案，步骤1)所述采用外置标准尺寸棋盘格标定法对左右相邻视 角相机进行标定，得到左右相邻视角相机的内参矩阵1、&以及左右相邻视角相机之间的 基础矩阵F，具体如下：
[0013] 1. 1)相机对准棋盘格，拍摄至少三组棋盘格照片；
[0014] 1. 2)利用opencv标定函数或matlab标定工具箱，通过拍摄的多组棋盘格照片，标 定出左右相邻视角相机的内参矩阵以及左右相邻视角相机的基础矩阵F。
[0015] 作为一种优选方案，步骤1)所述由基础矩阵F导出本质矩阵E，对本质矩阵进行 SVD奇异值分解，计算左右相邻视角相机之间的运动参数：旋转矩阵R和平移矩阵T，具体如 下：
[0016] 1. 3)由基础矩阵F导出本质矩阵E:
【主权项】
1. 基于单应性矩阵分割的虚拟视点合成的方法，其特征在于：所述方法包括以下步 骤： 1) 采用外置标准尺寸棋盘格标定法对左右相邻视角相机进行标定，得到左右相邻视角 相机的内参矩阵I、心以及左右相邻视角相机之间的基础矩阵F，由基础矩阵F导出本质矩 阵E，对本质矩阵进行SVD奇异值分解，计算左右相邻视角相机之间的运动参数：旋转矩阵R 和平移矩阵T; 2) 对旋转矩阵R和平移矩阵T进行插值分割，得到左右相邻视角到映射至相邻视角之 间某一位置处的子单应性矩阵Hu和H^ 3) 通过子单应性矩阵^和!^分别将左右视角图形进行图像映射，选定其中一视角映 射后的图像作为合成图像的参考坐标系统，运用双线性插值进行插值融合，合成运动过程 中每一位置场景图像。
2. 根据权利要求1所述的基于单应性矩阵分割的虚拟视点合成的方法，其特征在于： 步骤1)所述采用外置标准尺寸棋盘格标定法对左右相邻视角相机进行标定，得到左右相 邻视角相机的内参矩阵1、心以及左右相邻视角相机之间的基础矩阵F，具体如下： 1. 1)相机对准棋盘格，拍摄至少三组棋盘格照片； 1. 2)利用opencv标定函数或matlab标定工具箱，通过拍摄的多组棋盘格照片，标定出 左右相邻视角相机的内参矩阵1、&以及左右相邻视角相机的基础矩阵F。
3. 根据权利要求1所述的基于单应性矩阵分割的虚拟视点合成的方法，其特征在于： 步骤1)所述由基础矩阵F导出本质矩阵E，对本质矩阵进行SVD奇异值分解，计算左右相邻 视角相机之间的运动参数：旋转矩阵R和平移矩阵T，具体如下： 1.3)由基础矩阵F导出本质矩阵E:
其中，F为左右相邻视角相机之间的基础矩阵，&为左相机内参，右相机内参； 2. 2)由H矩阵和外平面不共线的3对对应点（Xi，X'i)，导出外平面法向量v 由单应性矩阵H得到： X，尸队 (5) 由式⑷得到： Xri= [Kr (R-tnVcDT'lXi (6) 向量X'JP[K' (R-tnVcOinXi共线，由此得到： Xr iX[Kr (R-^K^JX^ 0 (7) 由外平面不共线的3对对应点，联立式（7)，求出外平面法向量v; 2. 3)构建两视角映射到相机运动过程中某一位置的单应性矩阵，称为子单应性矩阵， 子单应性矩阵的构建通过对对旋转矩阵R和平移矩阵T进行插值得到，定义视角1为相机 运动的起点，视角2为相机运动的终点，那么相机在视角1拍摄一幅图像后，运动到视角2 拍摄拍摄第二幅图像，从起点运动到终点总的运动量用（R( 0 )，t)表示； 2.4)假设要合成运动过程中某一个视点i出的虚拟图像，那么从相机的运动角度 出发，计算视角1到视点i出的运动量（R( 9i)，h)以及视角2到视点i出的运动量 (R( 0 - 0i)，t-h)，根据此运动参数得到视角1到视点i处子单应性矩阵Hu和视角2到视 点i处子单应性矩阵1^，根据式（4)，得到子单应性矩阵如下所示：
其中，Hu为视角1到视点i处子单应性矩阵，Hh为视角2到视点i处子单应性矩阵，K和r1分别表示第一、第二视角相机内参，vf为视角1参考平面法向量，< 为视角2参考平 面法向量。
5.根据权利要求1所述的基于单应性矩阵分割的虚拟视点合成的方法，其特征在于： 步骤3)所述合成运动过程中每一位置场景图像，具体如下： 3. 1)运用子单应性矩阵Hu和H#计算视角1映射到视点i处的子图像1以及视角2 映射到视点i处的子图像2; 3. 2)将这子图像1和子图像2进行叠加融合，得到视点i处的虚拟视点图像。
【专利摘要】本发明公开了一种基于单应性矩阵分割的虚拟视点合成的方法，包括以下步骤：1)对左右相邻视角相机进行标定，得到左右相邻视角相机的内参矩阵以及左右相邻视角相机之间的基础矩阵，由基础矩阵导出本质矩阵，对本质矩阵进行奇异值分解，计算左右相邻视角相机之间的运动参数：旋转矩阵和平移矩阵；2)对旋转矩阵和平移矩阵进行插值分割，得到左右相邻视角到中间虚拟视点的子单应性矩阵；3)应用前向映射技术分别将两视角图像通过子单应性矩阵映射到中间虚拟视点图像，以一幅图像的映射图作为参考坐标系，对映射后的两幅图像进行插值融合，合成中间虚拟视点图像。本发明方法具有合成速度快、过程简单有效，工程实用价值高的优点。
【IPC分类】H04N13-00, G06T7-00
【公开号】CN104809719
【申请号】CN201510152377
【发明人】冯颖, 张欣, 杜娟, 陈新开, 苏比哈什·如凯迦
【申请人】华南理工大学
【公开日】2015年7月29日
【申请日】2015年4月1日