一种实时彩色及深度全景图像拼接方法与流程

本发明涉及一种实时彩色及深度全景图像拼接方法，可对以kinect为代表的视场角较小的rgbd(red-green-blue-depth)传感器阵列生成的图像序列进行高效快速拼接，同时生成彩色全景图和深度全景图。

背景技术：

随着计算机视觉的发展，传统的基于二维彩色图像处理的计算机视觉技术已经无法满足人们将计算机视觉应用于三维物理世界中的要求。深度图像作为一种可以直接反映物体距离信息的图像，受到越来越多的关注。深度图像是将从图像传感器到场景中各点的距离作为像素值的图像。与彩色图像相比，其不会受到环境中光照变化的影响。近年来，随着以microsoftkinect为代表的能同时获取彩色和深度信息的传感器的推出，人们可以以较低的成本实时获取较高分辨率的深度图像，这大大推动了深度图像在计算机视觉技术中的应用。在物体的检测、分割、追踪和识别，三维重建，slam等领域，深度图像都有十分重要的作用。

传统上深度图像的获取方法有：激光雷达深度成像技术、结构光技术、立体视觉技术等。激光雷达虽然可以获得高精度的深度图像，但其价格昂贵；结构光技术只能用于测量静止物体的三维深度数据；立体视觉技术获得的深度信息较为粗糙。因此很长世间以来，人们很难以较为低廉的成本，获得较高分辨率的深度图像，这在很大程度上限制了深度图像在计算机视觉领域中的应用。这种局面被微软于2010年发布的革命性产品kinect所打破。kinect通过匹配编码光模板来获得场景的深度图像，并能提供30fps的分辨率为640×480的深度图像。此后也出现了各种同类型的深度相机，诸如asus的xtion、intel的realsense、microsoft的二代kinect，它们的出现大大推动了深度图像在计算机视觉领域中的应用。

然而与传统激光雷达的360°深度图相比，以kinect为代表的消费级深度相机的视场相对狭小，一代kinect的视场角仅为57°，单个深度相机狭小的场景覆盖范围极大地限制了其在诸如物体检测追踪、三维重建、slam等计算机视觉领域中的应用。目前拓展相机视场角的方法主要有两种：一种是利用单个相机拍摄的序列图像，然后将其拼接成全景图像；另一种是通过相机阵列同时拍摄，生成多幅同一场景的具有一定交叠区域的图像序列，拼接后生成全景图像。后一种方法虽然需要使用的相机较多，但其可以实时获得360°空间的多幅图像，更符合实际应用中的需要，因而被广泛采用。

在经典的图像拼接算法中，不同视角拍摄的图片需要根据对应的特征点的匹配信息来计算变换矩阵，从而将图像序列变化至同一坐标系下进行拼接。然而，目前由图像序列生成全景图像的拼接算法只适用于彩色图像的拼接。因为拼接算法所依赖的图像配准技术需要通过匹配相邻序列图像重叠区域中的特征点来完成图像序列的配准，从而创建一幅无错位的全景图。深度信息缺乏有效的特征点信息，因此现有的拼接算法无法直接拼接深度图像。经典的全景拼接流程包括图像预处理、图像配准和图像融合。其算法耗时长，无法满足实时处理的需求。因此，找到一种有效的，能满足实时图像处理要求的深度图像拼接技术，从而拓展以kinect为代表的低成本rgbd传感器的视场角，对于提升深度图像在计算机领域中应用的深度和广度具有重要意义。

技术实现要素：

本发明的目的在于针对现有技术存在的问题，提出一种实时彩色及深度全景图像拼接方法，能实现实时彩色及深度全景图拼接。

为了达到上述目的，本发明的构思如下：

针对深度图缺少特征点，无法应用彩色图像的拼接方法的缺陷，本发明先将每一个kinect的深度图像和彩色图像对齐，再利用彩色图像的配准信息来对深度图像进行配准，进而完成深度图像的拼接；图像拼接过程中的图像配准步骤十分耗时，为了实现全景图的实时拼接，本发明对图像拼接流程进行优化：在同一场景下，相对位置关系相同的kinect间的配准参数只进行一次估计优选，后续图像直接利用此配准参数进行变换和融合。

根据上述发明构思，本发明所采用的技术方案是：

一种实时彩色及深度全景图像拼接方法，包括如下步骤：

1)将每个kinect捕获的彩色图和深度图对齐；

2)对任意一组x型kinect组的彩色图进行拼接，根据平均结构相似度(meanstructuralsimilarityindex，mssim)优选x型kinect组的配准参数；

3)根据步骤2)所选的配准参数，对其余所有x型kinect组获得的彩色图像和深度图像进行图像变换、图像融合，得到彩色广角图和深度广角图；

4)对任意一组v型kinect组所对应的彩色广角图进行拼接，根据平均结构相似度优选v型kinect组的配准参数；

5)根据步骤4)所选的配准参数，对其余所有v型kinect组所对应的彩色广角图和深度广角图进行图像变换、图像融合，得到彩色全景图和深度全景图。

所述步骤1)中的深度图和彩色图对齐方法，具体为：

a)经推导，得到kinect的深度相机坐标系到彩色相机坐标系之间的转换关系如下式所示：

r＝rcolorr^-1depth

t＝tcolor-rtdepth

其中，r为旋转矩阵，t为平移矩阵，h为相机内参矩阵，p为空间点在二维图像平面的投影点坐标，z为图像在p点处的像素值，参数下标color和depth分别标识该参数是和彩色相机坐标相关，还是和深度相机坐标相关；r和t是联系kinect彩色相机和深度相机的外参，即旋转矩阵和平移矩阵。

b)分别对kinect的彩色相机和深度相机进行标定，获取彩色相机的内参矩阵hcolor，深度相机的内参矩阵hdepth。

c)对同一个kinect的深度相机和彩色相机进行双目标定，获取彩色相机的旋转矩阵rcolor、平移矩阵tcolor和深度相机的旋转矩阵rdepth、平移矩阵tdepth，进而获得旋转矩阵r和平移矩阵t，将相机参数和未对齐的深度图zdepthpdepth代入上述公式，得到的zcolorpcolor即为所需的与彩色图配准后的深度图像，实现kinect深度图与彩色图的对齐。

所述步骤2)和步骤4)中的基于平均结构相似度的配准参数优选方法，具体为：

结构相似度(structuralsimilarityindex，ssim)分别从亮度、对比度、结构这三个方面来衡量图像的相似性，假设x、y是要进行相似度评判的两幅图像，则它们之间的亮度、对比度、结构这三个方面的相似性表达式如下：

其中，μx和μy分别表示图像x和y的均值，σx和σy分别表示图像x和y的方差，σxy表示图像x和y的协方差。c1、c2、c3为常数，为避免分母为0的情况，通常取c1＝(k1×l)²，c2＝(k2×l)²，c3＝c2/2，一般取k1＝0.01,k2＝0.03,l＝255，则：

ssim(x，y)＝l(x，y)×c(x，y)×s(x，y)

ssim取值范围为[0,1]，取值越大，则图像间的失真越小，相似度越高；在实际应用中利用滑动窗口将图像分为n块，考虑到窗口形状对分块的影响，采用高斯加权计算每一窗口的均值、方差和协方差，然后再计算ssim，最后取平均值作为两图像结构相似性的度量，即mssim：

在计算mssim的过程中，利用配准参数变换后的图像和原始图像的大小会存在差异，因此需要先将原始图像的大小变换至对应的变换后的图像的大小；对于彩色图，将所有图像通路bgr三个通道的mssim的均值作为最终的评价结果；当拼接算法在初始化拼接参数的时候会产生多组拼接参数，利用mssim的评价标准取得mssim估值最大的一组拼接参数作为配准参数。

与现有技术相比，本发明具有如下突出的实质性特点和显著的进步：

1)与直接依靠深度传感器之间的集合关系进行深度图像拼接的方法相比，本发明拼接的深度全景图畸变更小，拼接方法的灵活性更大，且可以同时完成彩色全景图和深度全景图的生成。

2)本发明优化了图像拼接的流程，同一场景下，相对位置关系相同的kinect间的配准参数只进行一次估计优选，后续图像直接利用此配准参数进行变换和融合，这样做大大削减了图像拼接时间，实现了全景图像拼接的实时性。

3)本发明提出了基于平均结构相似度的评价标准，对生成的拼接图的几何质量和光度质量进行评价，使系统能够始终以最优的拼接参数进行拼接，图像拼接的质量更高。

附图说明

图1为本发明的实时彩色及深度全景图像拼接算法的流程图。

图2(a)为x型kinect组的放置示意图，两个kinect交叠放置，其所夹的锐角为50°；图2(b)为v型kinect组的放置示意图，两个kinect相邻放置，其所夹的钝角为140°；图2(c)为kinect环形全景拍摄阵列的摆放示意图。

具体实施方式

为了使本发明的技术方案和要点更加明晰，下面结合附图，对本发明的实施步骤做详细说明：

如图2所示，采用8个kinect：两个上下交叠放置的kinect，构成x型kinect组；两个相邻放置的成钝角的kinect，构成v型kinect组。分别进行x型kinect组内图像拼接生成广角图，v型kinect组内的广角图拼接生成全景图，最终同时生成深度全景图和彩色全景图。

如图1所示，一种实时彩色及深度全景图像拼接方法，包括如下步骤：

1)如图2(c)所示，分别获得kinect1-8号捕获的彩色图和深度图。

2)分别对kinect1的深度相机和彩色相机进行标定，获取彩色相机的内参矩阵hcolor，深度相机的内参矩阵hdepth。

3)对kinect1的深度相机和彩色相机进行双目标定，获取彩色相机的旋转矩阵rcolor、平移矩阵tcolor和深度相机的旋转矩阵rdepth、平移矩阵tdepth，进而获得旋转矩阵r和平移矩阵t，将相机参数和未对齐的深度图zdepthpdepth代入下述公式，得到的zcolorpcolor即为所需的与彩色图配准后的深度图像：

4)对kinect2-8重复步骤2)、3)，完成所有kinect的深度图与彩色图的对齐。

5)对kinect1和kinect2组成的x型kinect组获得的彩色图进行拼接，在拼接初始化时会得到多组拼接参数，进而得到多幅彩色广角图。

6)利用前述mssim评估方法，对由不同拼接参数得到的多幅彩色广角图和原始彩色图之间的相似性进行评估，选取mssim评估值最大的一组拼接参数作为全局最优x型kinect组拼接参数。

7)利用步骤6)所得的最优拼接参数，对kinect1和kinect2组成的x型kinect组获得的深度图进行图像变换和图像融合，得到深度广角图。

8)利用步骤6)所得的最优拼接参数，完成其余所有x型kinect组的彩色广角图和深度广角图的生成。

9)对于kinect2和kinect3组成的v型kinect组，将kinect2所在的x型kinect组生成的彩色广角图，和kinect3所在的x型kinect组生成的彩色广角图进行拼接，在拼接初始化时会得到多组拼接参数，进而得到多幅彩色广角图拼接结果。

10)利用前述mssim评估方法，对由不同拼接参数得到的多幅彩色广角图拼接结果和原始的彩色广角图之间的相似性进行评估，选取mssim评估值最大的一组拼接参数作为全局最优v型kinect组拼接参数。

11)利用步骤10)所得的最优拼接参数，对kinect2所在的x型kinect组生成的深度广角图，和kinect3所在的x型kinect组生成的深度广角图进行图像变换和图像融合，得到深度广角图拼接结果。

12)利用步骤10)所得的最优拼接参数，对于其余所有v型kinect组所涉及的彩色广角图和深度广角图进行图像变换和图像融合，最终得到彩色全景图和深度全景图。