基于大气光散射的拍摄图像深度信息预测方法与流程

1.本发明涉及机器视觉领域，尤其涉及一种基于大气光散射的拍摄图像深度信息预测方法。


背景技术：

2.对于图像深度信息处理任务，虽然可以通过具备感知深度信息的专用硬件设备来完成(例如激光测距仪和kinect相机等)，但这些专用硬件设备通常价格昂贵、耗电量大或使用场景非常有限(例如只能在室内使用)。因此，目前大多数图像依然是由普通摄像机拍摄的单目图像，然而，获取的图像中只能记录拍摄场景的颜色信息，难以检测图像的深度信息，从而无法精准、高效地进行场景深度预测以获得高质量的图像处理结果。


技术实现要素：

3.鉴于上述，本发明旨在提供一种基于大气光散射的拍摄图像深度信息预测方法，从而解决单目图像难以检测深度信息的问题。
4.本发明采用的技术方案如下：
5.本发明提供了一种基于大气光散射的拍摄图像深度信息预测方法，其中包括：
6.使用全局大气光散射模型对拍摄到的图像进行初步深度预测，得到全局深度图；
7.对所述全局深度图进行局部大气光模拟，得到局部深度图；
8.融合所述全局深度图以及所述局部深度图，得到融合深度图；
9.对所述融合深度图进行边缘优化后，输出包含深度信息预测结果的目标深度图。
10.在其中至少一种可能的实现方式中，所述初步深度预测包括：根据拍摄场景的介质透视图和大气光信息，恢复拍摄场景的深度信息。
11.在其中至少一种可能的实现方式中，基于暗通道先验原理获取所述介质透视图。
12.在其中至少一种可能的实现方式中，所述局部大气光模拟包括：
13.基于像素数量对所述全局深度图进行场景分割；
14.基于场景分割结果，结合亮通道原理进行局部大气光估值。
15.在其中至少一种可能的实现方式中，所述结合亮通道原理进行局部大气光估值包括：计算每个场景在亮通道中对应像素的亮度，取排序靠前的top n个亮度值的均值作为单个场景的局部大气光估值。
16.在其中至少一种可能的实现方式中，所述场景分割包括：将所述全局深度图分成若干层。
17.在其中至少一种可能的实现方式中，所述对所述融合深度图进行边缘优化包括：通过结构保持图像引导滤波器将引导图像的结构传递到融合深度图上，保持图像的边缘并使其平滑。
18.在其中至少一种可能的实现方式中，所述结构保持图像引导滤波器包含第一滤波器和第二滤波器，第一滤波器用于传输输入图像的结构，第二滤波器用于平滑传输后的图
像。
19.本发明的主要设计构思在于，使用全局大气光散射模型对拍摄到的rgb图像进行初步深度预测，再通过初始深度预测结果进行局部大气光模拟，重新定义出局部大气光散射模型，由对全局及局部大气光散射建模恢复出rgb图的全局深度信息和局部深度信息，并以全局深度图及局部深度图予以表征，再将二者进行融合，最后对融合后的深度图进行边缘优化，输出最终的目标深度图，也即是包含了深度信息预测结果的图像。与现有技术相比，本发明深度检测结果性能稳定且成本较低，而且在保证深度图像高质量输出的同时，也能够大幅改善运行速率，因而具有更普遍的应用场景。
附图说明
20.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：
21.图1为本发明实施例提供的基于大气光散射的拍摄图像深度信息预测方法的流程图。
具体实施方式
22.下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
23.本发明提出了一种基于大气光散射的拍摄图像深度信息预测方法的实施例，具体来说，如图1所示，其中包括：
24.步骤s1、使用全局大气光散射模型对拍摄到的图像进行初步深度预测，得到全局深度图；
25.在实际操作中，可以利用全局大气光模型进行初始深度预测，通过对大气光散射模型进行建模，能够初步获取单目图像(可以理解为普通rgb图像)中所拍摄场景的深度信息，也即是可以理解为获得初始的全局深度图，此处提及的全局大气光散射模型可定义如下：
26.i(x,y)＝a
·
ρ(x,y)+a
·
(1-t(x,y))
ꢀꢀꢀ
(1)
27.在上式中，i，ρ分别代表了摄像机获取的场景图像和场景反射率，a代表了大气光值，t是介质透视图，其表示反射光穿透介质的能力，a
·
ρ(x,y)构成大气光的直接衰减项，a
·
(1-t(x,y))构成环境光模型。具体来说，根据全局大气光散射模型，捕获的总光能可分为两部分：场景的辐射光和环境光。通过获取场景的介质透视图，可以计算出场景中不同位置的深度信息。其中，所述介质透视图可以表示为：
28.t(x,y)＝e-βd(x)
ꢀꢀꢀ
(2)
29.在上式中，β表示散射系数，d(x)为场景深度。需指出的是，本发明的构思之一是，根据拍摄场景的介质透视图和大气光信息，恢复拍摄场景的深度信息，而本领域技术人员可以理解的是，基于暗通道先验原理，在无雾图像中，大多数像素区域中至少有一个色道的强度值等于或接近于0，而图像暗通道可以表达为以下公式：
30.i
dark
(x,y)＝j
dark
(x,y)t(x,y)+a(1-t(x,y))
ꢀꢀꢀ
(3)
31.在上式中，i
dark
和j
dark
分别是摄像机获得的图像的暗通道和理想无雾场景的暗通道，则介质透视图t(x,y)可以通过计算下式获取：
[0032][0033]
步骤s2、对所述全局深度图进行局部大气光模拟，得到局部深度图。
[0034]
在实际操作中，由全局大气光散射模型获得的初始的全局深度图，基于像素数量进行场景分割，这是考虑到在同一拍摄场景中的像素可能具有相似的深度，为了避免分割后某些区域的像素聚集，提出了基于像素个数的场景深度层分割方法，并且进一步地，在场景分割过程中，可以将由全局大气光散射模型生成的所述全局深度图分成若干层，以保持原始场景的边缘形状，具体的场景分割策略可以表达为以下公式：
[0035][0036]
在上式中，i表示像素属于第i个场景。根据上面公式，将全局大气光模型产生的全局深度图分割为不同深度层。
[0037]
接着，根据上述场景分割策略，重新定义出局部大气光散射模型用于进行局部深度预测，也即是对公式(1)进行重新定义，并表示为下式：
[0038]
i(x,y)＝l(i)
·
ρ(x,y)t(i)+l(i)
·
(1-t(i))(x,y)
ꢀꢀꢀ
(6)
[0039]
在上式中，i、l(i)和t(i)分别表示第i个场景、第i个场景的大气光光值和介质透视图，重新定义的大气光散射模型可以有效地避免由于不同的场景辐射不均匀，所造成的大气光散射模型误差。
[0040]
接着，在场景分割后的局部大气光散射模型中引入明亮通道来获取局部大气光。在场景分割后，局部大气光可能太暗。如果采用传统的全局大气光采集方法获取局部大气光，由于局部色差的存在，其值可能会低于实际值。这与真实场景大气光不符，因此，本发明考虑在局部大气光散射模型中引入明亮通道来获取局部大气光。基于亮通道先验原理：每个区域都有三个rgb颜色通道中的一个通道值接近或等于1。据此前提，图像的明亮通道图可以定义为：
[0041][0042]
基于场景分割处理之后的结果，采用亮通道原理进行新的局部大气光估值，通过对原始输入的拍摄图像的亮通道信息进行局部大气光估计，可以有效地减小由色差引起的局部大气光误差。在实际操作中，可以计算每个场景在明亮通道中对应像素亮度的前10％，再取平均值作为单个场景的大气光值。
[0043]
步骤s3、融合所述全局深度图以及所述局部深度图，得到融合深度图。
[0044]
可以理解地，本步骤的构思在于，将由全局大气光散射模型以及局部大气光散射模型分别建模后恢复得到的全局深度图和局部深度图进行融合，具体可基于贝叶斯交叉模型，贝叶斯公式用于通过后验概率来进行深度融合，公式如下所示：
[0045][0046]
在上式中，其中p(f)是先验概率，h(z)是像素z的特征向量。
[0047]
利用贝叶斯理论对全局及局部预测结果(全局深度图和局部深度图)进行融合，得到融合深度图。具体可参考如下，在给定上述两个深度图的二值图，d1以及d2基础上，似然概率计算如下：
[0048][0049]
在上式中，nf表示前景像素的数目，nb是背景像素的数目，是深度特征落入前景bin：b(d(z))的像素的数目，并且背景的深度分布直方图也由nb和n
bb
(d(z))表示。
[0050]
而前述后验概率的计算方法可参考如下：
[0051][0052]
在上式中，p'表示p(dj(z)|bi)。
[0053]
同样地，也可以计算出dj作为先验的后验概率。具体来说，通过贝叶斯融合模型使用两个后验概率来计算融合深度：
[0054]
db(d1(z),d2(z))＝p(f1|d2(z))+p(f2|d1(z))
ꢀꢀꢀ
(11)
[0055]
步骤s4、对所述融合深度图进行边缘优化后，输出目标深度图。
[0056]
在实际操作中，可以通过结构保持图像引导滤波器(边缘保持滤波器)将引导图像的结构传递到融合深度图上，保持图像的边缘并使其平滑。其中，结构保持图像引导滤波器包含第一滤波器和第二滤波器，第一滤波器用于传输输入图像的结构，第二滤波器用于平滑传输后的图像。在结构保持图像引导滤波器中，第一滤波器的目标函数可定义为：
[0057][0058]
在上式中i表示像素索引，λ是一个参数，用于控制两项之间的权衡，而v＝(v
x
,vy)是一个用于指导计算的引导向量场：
[0059]vx
(h,w)＝i(h,w+1)-i(h,w),vy(h,w)＝i(h+1,w)-i(h,w)
ꢀꢀꢀ
(13)
[0060]
根据上式，可以解出以下线性方程，得到输出边缘优化结果o：
[0061][0062]
在上式中，d
x
和dy表示离散微分算子，a表示单位矩阵。
[0063]
综上所述，本发明的主要设计构思在于，使用全局大气光散射模型对拍摄到的rgb图像进行初步深度预测，再通过初始深度预测结果进行局部大气光模拟，重新定义出局部大气光散射模型，由对全局及局部大气光散射建模恢复出rgb图的全局深度信息和局部深度信息，并以全局深度图及局部深度图予以表征，再将二者进行融合，最后对融合后的深度图进行边缘优化，输出最终的目标深度图，也即是包含了深度信息预测结果的图像。与现有技术相比，本发明深度检测结果性能稳定且成本较低，而且在保证深度图像高质量输出的同时，也能够大幅改善运行速率，因而具有更普遍的应用场景。
[0064]
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
[0065]
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。