一种图像拼接装置及图像拼接方法与流程

技术特征：

1.一种图像拼接装置，其特征在于，包括彩色相机、深度相机和分光镜，所述分光镜用于将入射光线分成透射光和反射光，其中所述彩色相机设置在所述分光镜的透射光的光路上，所述深度相机设置在所述分光镜的反射光的光路上，且所述分光镜到所述彩色相机和到所述深度相机的距离相等。

2.根据权利要求1所述的图像拼接装置，其特征在于，所述分光镜为中性非偏振分光镜。

3.一种图像拼接方法，其特征在于，包括以下步骤：

S1：通过至少两个如权利要求1或2所述的图像拼接装置分别拍摄不同视角的图像，获取有重叠区域的图像序列；

S2：从所述图像序列中选取相邻的两幅图像，提取特征点并匹配，计算得到全局单应性矩阵；

S3：获取步骤S2中的相邻的两幅图像的重叠区域的图像层次信息，如果重叠区域的图像层次为一层，则使用全局单应性矩阵进行投影得到拼接图像；如果重叠区域的图像层次大于一层，依据重叠区域的场景位于不同层次计算得到各层的局部单应性矩阵，并按层次分别使用各层的局部单应性矩阵对重叠区域图像进行投影得到拼接图像。

4.根据权利要求3所述的图像拼接方法，其特征在于，步骤S3中获取步骤S2中的相邻的两幅图像的重叠区域的图像层次信息具体包括：根据步骤S2中的相邻的两幅图像的重叠区域的深度信息来划分图像层次信息，并根据各层次的视差来校正层次划分的合理性，其中视差的计算公式为：

$P=\frac{x_c}{f-D}D$

其中，P为视差，D为深度，f为彩色相机的焦距，x_c表示两个图像拼接装置中的彩色相机之间的距离。

5.根据权利要求3所述的图像拼接方法，其特征在于，步骤S3中如果重叠区域的图像层次为一层，则使用全局单应性矩阵进行投影得到拼接图像具体包括：如果重叠区域的图像层次为一层，则使用全局单应性矩阵将第二幅图像投影映射到第一幅图像的坐标系中得到拼接图像。

6.根据权利要求3所述的图像拼接方法，其特征在于，步骤S3中如果重叠区域的图像层次大于一层，依据重叠区域的场景位于不同层次计算得到各层的局部单应性矩阵，并按层次分别使用各层的局部单应性矩阵对重叠区域图像进行投影得到拼接图像具体包括：

如果重叠区域的图像层次大于一层，则在每层中选择至少四对已经匹配好的特征点来计算局部单应性矩阵，并利用得到的局部单应性矩阵来计算置信度，若置信度≥0.95，则确认该局部单应性矩阵是相应层特征点的映射，否则舍弃该局部单应性矩阵并回到特征提取步骤重新计算局部单应性矩阵；然后将第二幅图像整体根据全局单应性矩阵投影到第一幅图像的坐标系中，并将第二幅图像的重叠区域使用各层的局部单应性矩阵投影变换到第一幅图像的坐标系中得到拼接图像。

7.根据权利要求3至6任一项所述的图像拼接方法，其特征在于，还包括以下步骤：

S4：采用光束法平差使得步骤S3中得到的拼接图像中通过投影变换后的像点与真实平面中的像点之间的误差最小化，并对边缘进行畸变校正。

8.根据权利要求7所述的图像拼接方法，其特征在于，步骤S4中的光束法平差具体包括：设定一个3D空间中的点X_j，点X_j被多个位于不同角度的彩色相机拍摄到，根据第i个彩色相机看到点X_j的坐标xⁱ_j，以及点X_j向二维像平面转换的矩阵为Pⁱ，计算投影矩阵和对应的3D空间中的点使得计算得到的3D空间中的点与真实平面中的点X_j之间的误差最小：

$\underset{\widetilde{P^i},\widetilde{X_j}}{\min }\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{w}_{ij}d{(\widetilde{P^i}\widetilde{X_j},x_j^i)}^2$

其中，w_ij表示指示参量，如果计算得到的3D空间中的点在投影平面内，则w_ij＝1，否则为0，d(x,y)代表点x与y之间的欧式距离。

9.根据权利要求7所述的图像拼接方法，其特征在于，步骤S4中的畸变校正具体包括：如果重叠区域的图像层次为一层，则融合整个重叠区域，得到最终的拼接图像，如果重叠区域的图像层次大于一层，则融合图像分割线的部分，得到最终的拼接图像。

10.根据权利要求9所述的图像拼接方法，其特征在于，如果重叠区域的图像层次为一层，则采用α融合、加权融合、多频段融合或金字塔融合法融合整个重叠区域，得到最终的拼接图像；如果重叠区域的图像层次大于一层，采用MRF算法计算相应层次的投影变换的缝合线，选择最佳缝合线算法中效果最好的一条缝合线进行α融合；优选地，采用MRF算法计算相应层次的投影变换的缝合线具体包括：

采用MRF算法对两幅图像的重叠区域I₀和I₁进行标记，I₀区域标记为0，I₁区域标记为1，通过按层次最小化能量来得到缝合线，表达式如下：

$E=\underset{p}{\mathrm{\Σ}}{E}_d+\mathrm{\λ}\underset{(p,q)\∈N}{\mathrm{\Σ}}{E}_s$

其中，λ为权重值，数据项E_d表示该点像素的梯度损耗，平滑项E_s表示两幅图像的重叠区域的接缝处的损耗，数据项E_d的具体表达式为：

$E_d(p,l_p)=-\▿I_{\left(p\right)}^{l_p}$

其中，l_p是二进制标定值用来描述像素的梯度；

平滑项损耗E_s的具体表达式为：

E_s＝D(p₀,p₁)+D(q₀,q₁)

其中，D表示重叠区域的图像被标记成不同的标签的差异之和，由二范数与梯度进行表征。