一种室内场景语义标注方法与流程

本发明涉及多媒体技术与计算机图形学的
技术领域：
，尤其涉及一种室内场景语义标注方法。
背景技术：
：场景语义标注(scenelabeling)，或者称为场景语义分析(sceneparsing)，即对图像中每一个像素用其所属的物体类别标签进行标注。由于场景语义标注是在单一过程中将检测、分割和多标签识别等传统问题结合到了一起，因此场景语义标注是一项具有挑战性的工作。高质量的场景标注有利于机器人任务规划、姿态估计、平面分割、基于上下文的图像检索、自动照片调整等智能任务。以往的场景标识工作可以根据目标场景分为室内场景和室外场景两大类。与室外场景标注相比，室内场景标注更具挑战性，因为室内场景语义标注的集合更大，物体遮挡更严重，物体外观更加多样化。室内对象如被不同的床单覆盖的床和窗帘等，比室外如道路、建筑和天空等更难以描述。随着商用rgb-d传感器(如microsoftkinect)的推出，我们不仅可以得到彩色图像(rgb图像)，还可以得到室内场景的深度图像(depth图像)，增加的深度信息不依赖于光照，可以显著缓解语义分割的挑战。大量研究表明，利用从深度信息中提取的特征有助于减少物体识别问题的不确定性，提高各类物品的识别率。深度通道可以补充彩色通道缺失的结构化信息。尽管如此，已有的rgb-d场景标注仍然存在两个关键问题。(一)如何有效地表示和融合深度与rgb信息关于特征表示，在以前的方法中开发了一些复杂的手工特性，例如梯度、颜色、表面法线等多通道传统特征表示rgb和深度信息。与使用卷积神经网络学习到的rgb-d特征相比，这种手工特征在某种程度上是特设的，没有很强的区分性。也有部分工作致力于研究如何增强深度通道的信息表示例如hha图像，利用三个通道分别编码水平差异，距地面高度和重力角度。自2012年以来，卷积神经网络(cnn)在图像分类和图像检测等方面取得了巨大的成就和广泛的应用。cnn的强大之处在于它的多层结构能自动学习多个层次的特征：较浅的卷积层感受野较小，学习局部区域的结构信息特征；较深的卷积层具有较大的感受野，学习更加抽象一些的语义特征，可以很好地判断出一幅图像中包含什么类别的物体，但是这些抽象语义特征对物体的大小、位置和方向等特征敏感性低，丢失了一些细节信息，不能很好地给出物体的具体轮廓、指出每个像素具体属于哪个物体，因此不能做到精确分割。卷积神经网络中，深度与彩色数据的融合往往被过度简化。大部分融合方法是利用两个独立的cnns分别从深度数据和彩色数据中提取特征，这些特征在用于最终分类之前只是简单地串联起来。忽视了深度与彩色通道之间的强相关性。(二)如何在特征学习中捕捉全局场景上下文目前基于卷积神经网络的场景标注方法只能捕获局部上下文，由于每个像素的感受野受到限制，导致标注结果不佳。值得注意的是，长范围的上下文信息在区分外观相似的不同物体时能起到关键作用。为了克服这个问题，图模型，例如条件随机场或平均场近似等方法，作为后处理步骤被应用于改善预测结果。然而，这些方法将上下文建模与卷积特征学习分离开来，这可能会带来由于特征表示的差别较小而导致求得次优解的问题。另一类方法采用具有门结构的级联递归神经网络，如长短时记忆(lstm)网络，加强上下文建模，但是基于递归神经网络建立上下文模型的方法，也只是在网络特定层次上融合上下文信息，没有增大特征学习过程中的感受野，也没有改进特征学习过程中的特征表达。技术实现要素：为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种室内场景语义标注方法，其能够实现特征选择融合，使网络拥有利用全局上下文信息的能力。本发明的技术方案是：这种室内场景语义标注方法，包括以下步骤：(1)输入彩色图片和深度图片；(2)进入神经网络之中，彩色图片和深度图片分别通过conv1和conv2_x；(3)进入第一注意力机制模块arf_1之中，通过arf_1的计算，得到特征图；(4)进入conv3_x之中进行卷积计算；(5)进入第二注意力机制模块arf_2之中，通过arf_2的计算，得到特征图；(6)进入conv4_x之中进行空洞卷积计算；(7)进入第三注意力机制模块arf_3之中，通过arf_3的计算，得到特征图；(8)进入conv5_x之中进行空洞卷积计算；(9)进入注意力机制混合模块armf进行计算；(10)进入空间金字塔模块spp实现多层次上下文信息融合；(11)得到语义标注结果图；其中，conv1、conv2_x、conv3_x、conv4_x、conv5_x是卷积计算神经网络层的名字：conv1层的输出尺寸为213*213，参数为7*7，64，stride2；conv2_x层的输出尺寸为106*106，参数为3*3maxpool，stride2，conv3_x层的输出尺寸为53*53，参数为conv4_x层的输出尺寸为53*53，参数为conv5_x层的输出尺寸为53*53，参数为本发明通过注意力机制模块融合rgb信息与深度信息，实现信息挑选，以增强信息的表示；通过空间金字塔模块增强基于不同区域的多尺度上下文信息的聚合，使网络拥有利用全局上下文信息的能力；因此能够实现特征选择融合，使网络拥有利用全局上下文信息的能力。附图说明图1是根据本发明的室内场景语义标注方法的网络整体结构图。图2是根据本发明的室内场景语义标注方法的流程图。图3是注意力机制模块arf结构图。图4是注意力机制混合模块armf结构图。图5是空间金字塔模块spp结构图。具体实施方式如图1、2所示，这种室内场景语义标注方法，包括以下步骤：(1)输入彩色图片和深度图片；(2)进入神经网络之中，彩色图片和深度图片分别通过conv1和conv2_x；(3)进入第一注意力机制模块arf_1之中，通过arf_1的计算，得到特征图；(4)进入conv3_x之中进行卷积计算；(5)进入第二注意力机制模块arf_2之中，通过arf_2的计算，得到特征图；(6)进入conv4_x之中进行空洞卷积计算；(7)进入第三注意力机制模块arf_3之中，通过arf_3的计算，得到特征图；(8)进入conv5_x之中进行空洞卷积计算；(9)进入注意力机制混合模块armf进行计算；(10)进入空间金字塔模块spp实现多层次上下文信息融合；(11)得到语义标注结果图；其中，conv1、conv2_x、conv3_x、conv4_x、conv5_x是卷积计算神经网络层的名字：conv1层的输出尺寸为213*213，参数为7*7，64，stride2；conv2_x层的输出尺寸为106*106，参数为3*3maxpool，stride2，conv3_x层的输出尺寸为53*53，参数为conv4_x层的输出尺寸为53*53，参数为conv5_x层的输出尺寸为53*53，参数为本发明通过注意力机制模块融合rgb信息与深度信息，实现信息挑选，以增强信息的表示；通过空间金字塔模块增强基于不同区域的多尺度上下文信息的聚合，使网络拥有利用全局上下文信息的能力；因此能够实现特征选择融合，使网络拥有利用全局上下文信息的能力。优选地，该方法以空洞全卷积残差50层神经网络为基础，空洞卷积应用在conv4_x层和conv5_x层，空洞系数分别为2，4。优选地，所述注意力机制模块以网络某层彩色特征图frgb和深度特征图fd为输入，深度通道和彩色通道的输出分别记为frgb_out，fd_out；arf的彩色通道和深度通道的计算公式为公式(2)、(3)frgb_out＝cnn(cnn((sigmoid(fd)-sigmoid(frgb))×frgb)+frgb)(2)fd_out＝cnn(cnn((sigmoid(frgb)-sigmoid(fd))×fd)+fd)(3)sigmoid(*)函数将特征图响应归一化到0至1之间，cnn(*)代表卷积核大小为1*1，步长为1的卷积层运算；以rgb通道来解释arf模块的功能，假设某一特征在深度通道获得很高的响应值，在rgb通道响应较小，通过arf模块会增大rgb模态特征图的相应权重值，后续网络会加强对这部分信息的学习，实现对网络中间特征的多模态信息选择。优选地，所述注意力机制混合模块armf用于生成混合特征，其结构为在arf模块之后，使用一个残差结构。优选地，所述空间金字塔模块spp，以高层混合特征(ffuse_feat)和armf模块中的深度特征(fhha_diff)作为输入，用于提取混合特征和深度特征的多尺度上下文信息。优选地，所述空间金字塔模块在1*1，2*2，3*3，6*6四种尺度下进行信息融合；最高级别(1*1)是全局信息池化，剩余的金字塔层级(2*2，3*3，6*6)将featuremap分成不同的子区域，为不同尺度的子区域形成特征表示，作为多尺度上下文信息。优选地，所述空间金字塔模块将同一尺度不同模态间的特征级联在一起，以此实现多尺度多模态信息间的融合，并将1×1的卷积层应用于级联特征之后，以此降低上下文表示维度，之后通过双线性插值操作，直接上采样不同大小的特征图得到与原始特征大小相同的特征图，最终将不同尺度的信息级联在一起，作为混合特征的多尺度信息补充。优选地，同一尺度不同模态间的特征为：res5c_pool1_fuse和res5c_pool1_hha。以下详细说明本发明。本发明在nyu-depthv2数据集上进行测试，实现37类物品的语义标注。nyu-depthv2数据集由1449幅室内场景rgb-d图像组成，本发明使用标准的数据集划分，795幅图像训练，654幅图像测试。本发明的网络输入图像大小为480x640，使用hha编码图像作为深度通道输入，本发明使用公共的caffe工具和nvidiagtxtitanxgpu实现网络，采用了一般的数据扩充方案如随机缩放、随机裁剪和随机翻转。将动量和权值分别设置为0.9和0.0005。使用的初始学习速率为10-3并将基础resnet层的学习率乘以0.1。除resnet网络里面的参数，其余全部网络参数均使用均值为0，方差为10-2的正态分布初始化。整体结构如附图一所示。输入彩色图片和深度图片，进入神经网络之中，分别先通过conv1和conv2_x，之后进入注意力机制模块(arf_1)之中，通过arf_1的计算，得到的特征图再进入conv3_x之中运算，之后再进入注意力机制模块之后，如此交替进行卷积运算和arf模块运算，最终在conv5_x运算之后，进入注意力机制混合模块(armf)，实现深度信息与彩色信息的混合，进入最终的空间金字塔模块(spp)实现多层次上下文信息融合，最终得到语义标注结果图。整体流程图如附图2所示。本发明提出的多策略融合的室内场景rgb-d语义标注网络结构可分为以下几个部分。1.基础网络结构及参数设计本发明提出的多策略融合的室内场景rgb-d语义标注神经网络以空洞全卷积残差50层神经网络为基础。各层网络参数如表1所示。表1空洞卷积应用在conv4_x层和conv5_x层，空洞系数分别为2，4，其目的在于保持特征图尺度不缩小的同时，增大感受野。空洞卷积的主要思想是在卷积核的值之间插入“空洞”(zeros)来提高图像的分辨率，从而在神经网络中实现密集的特征提取。2.注意力机制模块的结构与设计注意力机制通过在featuremap上增加权重，增强一些语义信息，同时去除其他不需要的语义信息。本发明提出注意力机制模块(arf)混合rgb和hha信息中共有的有效信息，实现逐层信息挑选。注意力机制模块(arf)的网络结构如附图3所示。arf模块以网络某层彩色特征图(frgb)和深度特征图(fd)为输入，深度通道和彩色通道的输出分别记为frgb_out，fd_out。arf模块的彩色通道和深度通道的计算公式如式(2)式(3)所示。frgb_out＝cnn(cnn((sigmoid(fd)-sigmoid(frgb))×frgb)+frgb)(2)fd_out＝cnn(cnn((sigmoid(frgb)-sigmoid(fd))×fd)+fd)(3)sigmoid(*)函数将特征图响应归一化到0至1之间，cnn(*)代表卷积核大小为1*1，步长为1的卷积层运算。以rgb通道来解释arf模块的功能，假设某一特征在深度通道获得很高的响应值，在rgb通道响应较小，通过arf模块会增大rgb模态特征图的相应权重值，后续网络会加强对这部分信息的学习，实现对网络中间特征的多模态信息选择。arf模块中卷积层参数及设置如表2所示。表2层名称输出尺寸参数conv1_a53*531*1，512，stride1conv2_a53*531*1，512，stride1conv3_a53*531*1，512，stride1conv4_a53*531*1，512，stride1注意力机制混合模块(armf)用于生成混合特征，其结构与注意力机制模块(arf)结构类似。如附图4所示。相当于在arf模块之后，使用了一个残差结构，其结构和参数如表3所示。表3层名称输出尺寸参数conv1_m53*531*1，512，stride1conv2_m53*531*1，512，stride1conv3_m53*531*1，512，stride1conv4_m53*531*1，512，stride1conv5_m53*531*1，512，stride13.空间金字塔模块的结构与设计在神经网络中，感受野的大小可以大致表明上下文信息，室内场景中的对象不是随机散落的，其尺寸、位置，以及附近会出现什么对象都遵循一些基本规律，这些规律被称为上下文。上下文信息可以有效地去除场景中不大可能存在的物体或者物体组合方式，约束相似场景使其在语义描述上具有较高的一致性。本发明借鉴pspnet的空间金字塔将其扩展并应用于rgb-d信息融合，多尺度逐层提取融合的特征，增强不同区域的上下文信息的聚合，使网络拥有利用全局上下文信息的能力，更加充分地利用深度信息。其结构如附图5所示。本发明提出的用于信息融合的空间金字塔结构及参数如表4所示。表4层名称输出尺寸参数res5c_pool1_fuse1*1avepooling53*53，stride53res5c_pool2_fuse2*2avepooling27*27，stride27res5c_pool3_fuse3*3avepooling18*18，stride18res5c_pool4_fuse6*6avepooling9*9，stride9res5c_pool1_hha1*1avepooling53*53，stride53res5c_pool2_hha2*2avepooling27*27，stride27res5c_pool3_hha3*3avepooling18*18，stride18res5c_pool4_hha6*6avepooling9*9，stride9conv1_p1*11*1，512，stride1conv2_p2*21*1，512，stride1conv3_p3*31*1，512，stride1conv4_p6*61*1，512，stride1如图5所示，空间金字塔模块，以高层混合特征(ffuse_feat)和armf模块中的深度特征(fhha_diff)作为输入，用于提取混合特征和深度特征的多尺度上下文信息。空间金字塔模块在1*1，2*2，3*3，6*6四种尺度下进行信息融合。最高级别(1*1)是全局信息池化，剩余的金字塔层级(2*2，3*3，6*6)将featuremap分成不同的子区域，为不同尺度的子区域形成特征表示，即多尺度上下文信息。在这里，本发明将同一尺度不同模态间的特征级联在一起，例如res5c_pool1_fuse和res5c_pool1_hha，以此实现多尺度多模态信息间的融合，并将1×1的卷积层应用于级联特征之后，以此降低上下文表示维度，之后通过双线性插值操作，直接上采样(upsample)不同大小的特征图得到与原始特征大小相同的特征图，最终将不同尺度的信息级联在一起，作为混合特征的多尺度信息补充。表1是本发明与其他方法在nyuv2数据集上的比较结果，由此可见，本发明大大由于其它方法。表5以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。当前第1页12