一种双目视觉系统高精度且无拖影的视差计算方法与流程

本发明涉及双目视觉系统处理的技术领域，更具体地，涉及一种双目视觉系统高精度且无拖影的视差计算方法。

背景技术：

对于双目视觉系统，在系统内参和基线已知的前提下，通过计算视差即可求解出场景深度。双目视差估计在许多领域都有重要应用，如机器人，自动驾驶和增强现实。它提供了一种获取场景深度的经济的方式，相比于昂贵的激光雷达。另外，相比于基于结构光技术和tof技术的深度传感器，它对环境的鲁邦性更好，在强烈光照条件下也能较好的工作。

视差估计流程通常由4个部分组成：特征提取，代价计算，代价聚合，视差精细化。传统方法使用手工设计的特征和基于全局或半全局的方法来估计视差。传统方法估计得到的视差精度有限，并且受计算量和可并行性及运行时间限制。近期的方法开始使用卷积神经网络来进行视差估计，以一种数据驱动的方式。具体地，一类方式是使用卷积神经网络学习得到的特征代替传统人工设计的特征，剩下的工作仍然由传统优化方法完成。一类方式是已一种完全段端到端的方式，设计一个卷积神经网络完成整个视差估计的流程。基于卷积神经网络的方式在视差精度方面相比于传统方法有了巨大提升。

然而，现有的基于卷积神经网络的方法估计得到的视差图普遍存在过度平滑的问题，具体地，在场景深度不连续的地方，如前景和后景的交界处，真实的深度应该是一个剧烈的跳变，而卷积神经网络在这些区域的估计往往过渡平滑，如图2所示，在前景后景的交界处，卷积神经网络估计得到的视差往往有过渡平滑的现象，这些过度平滑的估计实际违背了边缘的实际几何结构，对于下游任务如建图，避障，规划有十分消极的影响。

技术实现要素：

本发明为克服上述现有技术所述的至少一种缺陷，提供一种双目视觉系统高精度且无拖影的视差计算方法，基于3d卷积神经网络，针对卷积神经网络输出的视差概率分布，作了进一步的推断。通过单一峰加权平均操作，改进原网络输出的视差估计的过度平滑视差。

本发明的技术方案是：一种双目视觉系统高精度且无拖影的视差计算方法，其中，包括以下步骤：

s1.对输入的左右两幅图像，提取特征，得到左右两幅图像在1/4分辨率下特征；

s2.根据提取得到的左右图特征，构建4d的代价体v；

s3.进行代价聚合，得到视差值的对数似然估计，并上采用到原图分辨率，得到每个像素的可能视差值的对数似然估计；

s4.对得到的对数似然估计，每个像素在视差维度上做归一化操作，得到每个像素的视差概率分布；

s5.找出概率值最大的峰，做进一步推断，得到更精确的视差概率分布；

s6.基于得到的精确视差概率分布，通过加权平均操作得到每个像素视差的最终估计值。

进一步的，所述的步骤s1中，对输入的左右两幅图像，分别使用2d卷积神经网络nfea提取特征，得到左右两幅图像在1/4分辨率下特征，定义为：

fleft＝nfea(ileft)，fright＝nfea(iright)。

进一步的，所述的步骤s2中，根据提取得到的左右图特征fleft和fright，构建4d的代价体v。

进一步的，所述的步骤s3中，基于构建的4d代价体v，使用3d卷积神经网络nagg进行代价聚合，得到视差值的对数似然估计，并上采用到原图分辨率，得到每个像素的可能视差值的对数似然估计，定义为：

l＝nagg(v)。

进一步的，所述的步骤s4中，对得到的对数似然估计，每个像素在视差维度上做归一化操作，得到每个像素的视差概率分布，如下：

其中n为视差枚举值。

所述的步骤s5中，得到每个像素的视差概率分布pi后，首先找出概率值最大的峰，由其视差值dl和dr界定，然后对pi做进一步推断，得到更精确的视差概率分布，具体地：

所述的步骤s6中，基于得到的精确视差概率分布通过加权平均操作得到每个像素视差的最终估计值：

与现有技术相比，有益效果是：本发明针对双目视差估计存在的边缘处过度平滑问题，提出了一种解决方案。本发明基于3d卷积神经网络，提出了单一峰加权平均思路，在卷积神经网络输出的概率分布基础上，做进一步的推断。

附图说明

图1本发明算法流程图。

图2现有方法边缘处过度平滑估计示意图。

图3本发明单一峰处理示意图。

图4本发明估计示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

如图1所示，具体步骤如下，

s1.对输入的左右两幅图像，分别使用2d卷积神经网络nfea提取特征，得到左右两幅图像在1/4分辨率下特征，定义为：

fleft＝nfea(ileft)，fright＝nfea(iright)，

s2.根据提取得到的左右图特征fleft和fright，构建4d的代价体v

s3.基于构建的4d代价体v，使用3d卷积神经网络nagg进行代价聚合，得到视差值的对数似然估计，并上采用到原图分辨率，得到每个像素的可能视差值的对数似然估计，定义为：

l＝nagg(v)

s4.对得到的对数似然估计，每个像素在视差维度上做归一化操作，得到每个像素的视差概率分布，如下：

其中n为视差枚举值

s5.得到每个像素的视差概率分布pi后，首先找出概率值最大的峰，由其视差值dl和dr界定，然后对pi做进一步推断，得到更精确的视差概率分布，具体地：

s6.基于得到的精确视差概率分布通过加权平均操作得到每个像素视差的最终估计值：

图3中，为单一峰处理示意图，本发明的最终效果如图4所示。本发明提供的方法用于在自然场景中，利用双目视觉系统计算出精确像素视差，并且不同于已有系统，本发计算得到的场景深度没有普遍存在的过度平滑现象，无需复杂的后处理，能直接用于下游任务。该方法首先对像素的视差进行分布建模，利用卷积神经网络模拟传统方法，并对每个像素点输出一个像素的视差分布，整个流程如图1所示。更重要的，针对已有方法普遍存在的在边缘处过度平滑问题，该方法通过分析实际情况下卷积神经网络输出的视差分布，提出了单一峰值加权平均方法，基于网络输出的视差分布，首先估计出概率分布的峰值，并定位该峰值所在峰，然后取出该峰的数据后进行归一化，最后在归一化后的概率分布上做加权平均。该方法可以有效解决视差估计任务的过度平滑问题。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。