一种基于卷积神经网络的深度图置信度估计方法与流程

文档序号:25791851发布日期:2021-07-09 11:31阅读:来源:国知局

技术特征:
1.一种基于卷积神经网络的深度图置信度估计方法,其特征在于:该方法的具体步骤如下:由多目立体匹配算法生成的深度图计算截断符号距离函数图和法线图;利用u型网络结构对所述截断符号距离函数图、法线图和彩色图进行特征提取,得到特征图;使用卷积长短时记忆结构、预测模块、和细化模块由所述特征图预测深度图的置信度并通过多监督方法细化估计结果。2.根据权利要求1所述的一种基于卷积神经网络的深度图置信度估计方法,其特征在于:所述由多目立体匹配算法生成的深度图计算截断符号距离函数图和法线图,包括:像素和其4

邻域构成局部窗口,假设窗口内的点所对应的三维点在同一个平面上,则从所述三维点构成的向量中,任选两个不在同一平面的向量进行叉乘,即得到所述像素对应的法线;多目立体匹配的几何误差用三维点的z坐标与平面深度之差来表示,所述几何误差是三维点到平面的距离的近似,将几何误差映射到预设范围内,并加权处理,使用逆深度来计算截断符号距离函数图。3.根据权利要求1所述的一种基于卷积神经网络的深度图置信度估计方法,其特征在于:所述u型网络结构提取图像的高层次语义信息,包括编码和解码两个部分,每个编码子模块包括卷积、批归一化、非线性激活和最大池化四个操作,每个解码子模块包括转置卷积、卷积、批归一化和非线性激活四个操作。4.根据权利要求3所述的一种基于卷积神经网络的深度图置信度估计方法,其特征在于:所述利用u型网络结构对所述截断符号距离函数图、法线图和彩色图进行特征提取,得到特征图,包括:(a)对输入图像进行编码:每个编码子模块的输入为前一个子模块的输出,经过每个子模块后输出特征图的高和宽各缩小到输入的1/2,通道数增加到输入的2倍,保留每个子模块的卷积结果用于解码;(b)对编码模块的输出进行解码:每个解码子模块的输入为前一个子模块的输出,经过每个子模块后输入特征图的高和宽各增加到输入的2倍,通道数减小到输入的1/2。5.根据权利要求1所述的一种基于卷积神经网络的深度图置信度估计方法,其特征在于:所述使用卷积长短时记忆结构、预测模块、和细化模块由所述特征图预测深度图的置信度,包括:多次迭代,在每次迭代中,使用卷积长短时记忆结构保留特征图在多次迭代时的长时和短时记忆,之后使用卷积层构成的预测模块得到每次迭代的置信度图,使用由卷积层构成的细化模块对预测得到的结果进行细化。6.根据权利要求5所述的一种基于卷积神经网络的深度图置信度估计方法,其特征在于:迭代地从特征图中预测并细化置信度图,将u型网络结构提取到的u

net特征作为固定
参考信息,每轮迭代中,将u

net特征和上一轮迭代的预测输出串联,作为本次迭代的输入,然后依次经过卷积长短时记忆结构、预测模块、和细化模块;循环上述卷积长短时记忆结构、预测模块、和细化模块多次得到细化后的置信度图,在不同次迭代间共享模块的权重;在首轮迭代中将预测输出初始化为像素值为0的图,在最后一轮迭代中只使用卷积长短时记忆结构和预测模块来获取预测结果。7.根据权利要求1所述的一种基于卷积神经网络的深度图置信度估计方法,其特征在于:所述卷积长短时记忆结构用于处理序列数据,基础结构是元胞,元胞内包括遗忘门、输入门和输出门,分别决定该元胞需要遗忘、存储和输出的信息。8.根据权利要求1所述的一种基于卷积神经网络的深度图置信度估计方法,其特征在于:所述细化模块由多个卷积层构成,输入是每轮迭代的预测结果,输出是由预测结果提取到的新特征,将所述新特征和u型网络结构提取到的u

net特征串联作为新一轮预测的输入。9.根据权利要求8所述的一种基于卷积神经网络的深度图置信度估计方法,其特征在于:所述细化模块的具体操作步骤为:细化模块对预测模块的结果进行细化,每个卷积层包括卷积、批归一化和非线性激活操作;细化模块对单通道置信度图进行特征再提取,第一个卷积层从单通道置信度图中提取出多通道信息,之后的卷积层不再改变通道数,只编码关于置信度图的高层次信息。10.根据权利要求1所述的一种基于卷积神经网络的深度图置信度估计方法,其特征在于:所述通过多监督方法细化估计结果,包括:监督最终预测的置信度图,以及单独对u型网络结构解码后的特征进行监督:对u型网络结构输出结果做单层卷积、批归一化和sigmoid激活,得到由u型网络结构直接预测到的置信度图,最后分别由所述u型网络结构直接预测到的置信度图和所述最终预测的置信度图计算交叉熵损失函数,根据结果调整两者权重。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1