一种多波段光谱的深度估计方法与流程

1.本发明涉及一种多波段光谱的深度估计方法。


背景技术：

2.基于图像的深度估计，是指从单幅或多福二维图还原被测量样品表面的三维形貌信息，其估计的深度图可应用于无人驾驶、微纳结构件形貌检测等领域，具有重要的研究意义及应用价值，是计算机视觉和图形学领域的重要研究问题。传统成像设备均采用自然光照明下的图像信息进行还原，这种方法在单目相机下，受限于图像内的非确定性约束关系，难以用单张图像还原图像的深度信息。在多目相机成像系统下，虽然增加了图像间内的约束关系，但还原图像的冗余信息增加，且不同角度获取的图片信息存在一定的采集死角，难以还原图上上完整的深度信息。深度学习还原方法虽然可以通过训练在一定程度上解决单目单帧图像的深度，但需要大量的数据集，且缺乏一定的泛化能力。因此，需要寻找一种能够解决上述问题的方法。


技术实现要素：

3.本发明所要解决的主要技术问题是提供一种多波段光谱的深度估计方法。
4.为了解决上述的技术问题，本发明提供了一种多波段光谱的深度估计方法，包括如下步骤：
5.步骤1：用相机拍摄不同波段的原始图像p0(x,y)、p1(x,y)、
···
、pi(x,y)，其中i表示不同波段；i≥2；
6.步骤2：以单一波段原始图为输入，以h(x,y)为卷积核，根据图像卷积公式p'(x,y)＝p(x,y)*h(x,y)，得到卷积后的模糊图像p'(x,y)；
7.步骤3：分别计算原始图像p(x,y)和模糊图像p'(x,y)的边缘，根据得到边缘区域计算原始边缘梯度p
e_g
(x,y)和模糊边缘梯度p'
e_g
(x,y)；
8.步骤4：将原始图像边缘p
e_g
(x,y)除以模糊边缘梯度p'
e_g
(x,y)，得原始图像和边缘图像的模糊比值σ(x,y)；
9.步骤5：根据所得模糊比值σ(x,y)根据透镜成像公式计算稀疏深度，其中k为常数，d为光学系统通光孔径；s为像面与光学系统距离；df为物方焦距；d为物体深度。
10.步骤6：对后续的波段原始图像分别再重复上述2-5的步骤，最后结合每个波段的聚焦位置，即可实现图像中的真实结构位置约束。
11.在一较佳实施例中：所述步骤1中的拍摄不同波段的原始图像采用在单目相机上加装不同波段滤光片获取，或采用具备一次成像可以收集多个波段图像的多光谱相机，或利用多目相机配置滤光片获取不同光谱波段图片。
12.在一较佳实施例中：所述步骤2中的卷积核包括：任意近似成像系统的点扩散函
数。
13.在一较佳实施例中：所述点扩散函数为高斯核、柯西核或高斯-柯西核。
14.在一较佳实施例中：所述步骤3中的边缘梯度包括：
15.图像边缘梯度提取可以先采用canny等图像边缘检测算子提取图像边缘，再采用sobel、robert等边缘梯度算子或阈值提取边缘的方法计算图像边缘梯度变化；或者直接利用边缘梯度算子或阈值提取边缘的方法计算图像边缘梯度变化.
16.在一较佳实施例中：所述步骤4包括如下子步骤：
17.(1)假设绝对清晰图像为p0(x,y)，采集的原始图像p(x,y)可看作绝对清晰图像p0(x,y)做一次标准差未知但数值极小的卷积h(x,y,σ)，而模糊图像为原始图像p(x,y)做一次已知标准差数值很大h(x,y,σ1)的卷积运算，即模糊图像p'(x,y)可以看作绝对清晰图像做两次卷积运算p'(x,y)＝p(x,y)*h(x,y,σ)*h(x,y,σ1)；
18.(2)原始图像和边缘图像的模糊比值σ(x,y)可表示为：
[0019][0020]
最终
[0021]
在一较佳实施例中：所述步骤6包括：利用每个光谱波段有独自的聚焦位置，通过求得图像相对每个单独波段的聚焦面绝对距离关系，结合波段本身的求得的相对位置关系，便可得出图像中各结构之间的深度绝对关系。
[0022]
相较于现有技术，本发明的技术方案具备以下有益效果：
[0023]
根据本发明所涉及的一种多波段光谱的深度估计方法，首先，因为采用多波段光谱采集图像信息，可以实现单目场景下采集多张具有不同深度信息的光谱图像，解决了单一图像的特征约束不够的问题；其次，利用了图像再模糊理论获取了每张光谱图像上的相对深度关系，解决了需要多视图定位图像中结构信息之间的相对深度求解；随后，采用了原始图像梯度和模糊图像梯度的比值方法，一定程度的消去了图像采集过程中的因为成像设备造成的乘性误差；最后，结合不同光谱波段的聚焦深度关系和单波段图像求解的相对深度，实现了图像的绝对深度还原。
[0024]
因此，本发明所涉及的一种多波段光谱的深度估计方法，在实现过程中受外界环境影响较小，减少了成像设备和其他乘性误差带来的干扰因素。其次，在深度估计的实现步骤中，均采用图像间的基本运算所实现，极大程度的降低了深度信息恢复的时间，降低了算法的时间复杂度；另外，估计模型从最基本的透镜成像原理出发，满足目前大部分测量领域的基础模型，使得本发明所提出的单目深度估计方法具备一定的普适性。。
附图说明
[0025]
图1为本发明优选实施例中离焦模糊成像示意图；
[0026]
图2为本发明优选实施例的流程图。
具体实施方式
[0027]
下文结合附图和具体实施方式对本发明的技术方案做进一步说明。
[0028]
参考图1-图2，本实施例提供了一种多波段光谱的深度估计方法，包括如下步骤：
[0029]
步骤1：用相机拍摄不同波段的原始图像p0(x,y)、p1(x,y)、
···
、pi(x,y)，其中i表示不同波段；i≥2；
[0030]
步骤2：以单一波段原始图为输入，以h(x,y)为卷积核，根据图像卷积公式p'(x,y)＝p(x,y)*h(x,y)，得到卷积后的模糊图像p'(x,y)；
[0031]
步骤3：分别计算原始图像p(x,y)和模糊图像p'(x,y)的边缘，根据得到边缘区域计算原始边缘梯度p
e_g
(x,y)和模糊边缘梯度p'
e_g
(x,y)；
[0032]
步骤4：将原始图像边缘p
e_g
(x,y)除以模糊边缘梯度p'
e_g
(x,y)，得原始图像和边缘图像的模糊比值σ(x,y)；
[0033]
步骤5：根据所得模糊比值σ(x,y)根据透镜成像公式计算稀疏深度，其中k为常数，d为光学系统通光孔径；s为像面与光学系统距离；df为物方焦距；d为物体深度。
[0034]
步骤6：对后续的波段原始图像分别再重复上述2-5的步骤，最后结合每个波段的聚焦位置，即可实现图像中的真实结构位置约束。
[0035]
所述步骤1中的拍摄不同波段的原始图像采用在单目相机上加装不同波段滤光片获取，或采用具备一次成像可以收集多个波段图像的多光谱相机，或利用多目相机配置滤光片获取不同光谱波段图片。
[0036]
所述步骤2中的卷积核包括：任意近似成像系统的点扩散函数。所述点扩散函数为高斯核、柯西核、高斯-柯西核或其他近似成像系统点扩散函数的核函数。
[0037]
所述步骤3中的边缘梯度包括：
[0038]
图像边缘梯度提取可以先采用canny等图像边缘检测算子提取图像边缘，再采用sobel、robert等边缘梯度算子或阈值提取边缘的方法计算图像边缘梯度变化；或者直接利用边缘梯度算子或阈值提取边缘的方法计算图像边缘梯度变化.
[0039]
所述步骤4包括如下子步骤：
[0040]
(1)假设绝对清晰图像为p0(x,y)，采集的原始图像p(x,y)可看作绝对清晰图像p0(x,y)做一次标准差未知但数值极小的卷积h(x,y,σ)，而模糊图像为原始图像p(x,y)做一次已知标准差数值很大h(x,y,σ1)的卷积运算，即模糊图像p'(x,y)可以看作绝对清晰图像做两次卷积运算p'(x,y)＝p(x,y)*h(x,y,σ)*h(x,y,σ1)；
[0041]
(2)原始图像和边缘图像的模糊比值σ(x,y)可表示为：
[0042][0043]
最终
[0044]
所述步骤6包括：利用每个光谱波段有独自的聚焦位置，通过求得图像相对每个单独波段的聚焦面绝对距离关系，结合波段本身的求得的相对位置关系，便可得出图像中各
结构之间的深度绝对关系。
[0045]
以上所述，仅为本发明较佳的具体实施方式，但本发明的设计构思并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，利用此构思对本发明进行非实质性的改动，均属于侵犯本发明保护范围的行为。