一种全景3D视频拼接系统及方法与流程

技术特征：

1.一种全景3D视频拼接系统，其特征在于，所述系统包括：

全景3D摄像机和图像处理模块，所述全景3D摄像机与所述图像处理模块连接；

所述全景3D摄像机包括多个深度传感器和多个CCD摄像机；

所述图像处理模块包括全景摄像机几何标定单元、图像拼接单元、新视点图像生成单元以及图像空洞填补单元；

所述CCD摄像机，用于拍摄场景RGB图像；

所述深度传感器，用于获取所拍摄的场景RGB图像的深度图像；

所述全景摄像机几何标定单元，用于对两两相邻的CCD摄像机进行几何标定，获取不同深度处对应的单应性矩阵；

所述图像拼接单元，用于对获取的深度图像采用相应深度的单应性矩阵进行拼接，获得拼接图像；

所述新视点图像生成单元，用于根据所述深度图像和拼接图像生成新的视点图像；

所述图像空洞填补单元，用于填补新的视点图像的空洞，并根据填补后的新的视点图像和所述拼接图像生成3D图像对，以便于虚拟现实3D显示。

2.根据权利要求1所述的系统，其特征在于，所述全景3D摄像机为球形、半球形、环形或者长方形，所述全景3D摄像机中设置有n个CCD摄像机和n个深度传感器，每个CCD摄像机对应一个深度传感器，其中所述n为大于1的整数。

3.一种基于权利要求1或2所述系统的全景3D视频拼接方法，其特征在于，所述方法包括：

通过CCD摄像机拍摄场景RGB图像；

通过深度传感器获取所拍摄的场景RGB图像的深度图像；

对两两相邻的CCD摄像机i和CCD摄像机j进行几何标定，获取由远及近不同深度h时对应的3×3单应性矩阵h_p表示第p个深度，p＝1,2,...n；

对获取的深度图像采用相应深度的单应性矩阵进行拼接，获得拼接图像；

根据所述深度图像和拼接图像生成新的视点图像；

填补新的视点图像的空洞，并根据填补后的新的视点图像和所述拼接图像生成3D图像对，以便于虚拟现实3D显示。

4.根据权利要求3所述的方法，其特征在于，所述填补新的视点图像的空洞包括：

采用前后帧图像插值法填补新的视点图像的空洞。

5.根据权利要求3或4所述的方法，其特征在于，所述对两两相邻的CCD摄像机i和CCD摄像机j进行几何标定，获取由远及近不同深度h时对应的3×3单应性矩阵包括：

步骤1：设置一幅棋盘格在相对CCD摄像机的预定位置，以使得所述棋盘格处在相邻的CCD摄像机i和CCD摄像机j的重叠拍摄区域内；

步骤2：通过CCD摄像机i和CCD摄像机j分别拍摄所述棋盘格，获得两幅棋盘格图像；

步骤3：通过CCD摄像机i和CCD摄像机j捕获棋盘格画面上对应的棋盘格的角点的位置；

步骤4：根据CCD摄像机i和CCD摄像机j捕获的棋盘格画面上对应的棋盘格的角点的位置计算两幅棋盘格图像的相应3×3单应性矩阵

步骤5：按照预设步长，逐渐缩小所述棋盘格与相邻的CCD摄像机i和CCD摄像机j的距离，并在每次缩小所述距离后，重复上述步骤2-步骤5，以计算相应深度h时对应的3×3单应性矩阵

6.根据权利要求3或4所述的方法，其特征在于，所述对获取的深度图像采用相应深度的单应性矩阵进行拼接，获得拼接图像包括：

将深度传感器获取的深度图像划分成n个深度等级；

针对每个深度等级的图像采用相应深度的单应性矩阵进行映射，以拼接成一幅图像。

7.根据权利要求3或4所述的方法，其特征在于，所述根据所述深度图像和拼接图像生成新的视点图像包括：

对相邻的深度传感器获取的深度图像进行拼接，获得深度拼接图像；

将深度拼接图像按照线性关系转换成视差图；

将所述拼接图像上的每个像素对应的所述视差图的像素的视差值做左右移动，形成新的视点图像。

8.根据权利要求3或4所述的方法，其特征在于，所述填补新的视点图像的空洞包括：

选取新的视点图像的一个空洞所在的像素作为目的像素p_i，寻找视频前一帧图像中对应该目的像素p_i的像素p_i'；

将目的像素p_i替换为前一帧对应的像素p_i'，以填补新的视点图像的空洞。