精、 全局递归式反馈的语义标注框架进行室内场景图像的语义标注，其特征在于：该语义标注 框架是由粗粒度的区域级语义标签推断与细粒度的像素级语义标签求精，交替迭代更新构 成，包括如下步骤： 步骤001.针对RGB-D训练数据集合中的RGB图像进行过分割，获取该RGB图像中的超 像素，形成训练数据的超像素集； 步骤002.根据RGB-D训练数据集合中的RGB图像和对应的深度图像，分别针对该训练 数据的超像素集中的各个超像素做如下操作：求取对应超像素的各个区域特征单元，然后 对该超像素的各个区域特征单元分别进行归一化处理，获得该超像素的各个归一化区域特 征单元，最后将该超像素的各个归一化区域特征单元进行拼接，构成对应于该超像素的多 模态特征向量； 步骤003.针对该训练数据的超像素集中的各个超像素，根据RGB-D训练数据集合中包 含的基准标注信息，获取该各个超像素分别对应的类别标签； 步骤004.针对该训练数据的超像素集中各个超像素分别对应的类别标签、多模态特 征向量，分别整合构成分别对应于各个超像素的各个条目，并整合该所有超像素对应的各 个条目，构成该训练数据的超像素集对应的语义标签池； 步骤005.将获得的该训练数据的超像素集对应的语义标签池作为训练样本，训练随 机决策森林分类器； 步骤006.针对查询图像进行过分割，获取该查询图像中的超像素，形成查询图像的超 像素集；并按步骤002中的方法，根据查询图像和对应的深度图像，针对该查询图像的超像 素集中的各个超像素，分别求取对应超像素的多模态特征向量，构成该查询图像的超像素 集对应的语义标签池； 步骤007.采用已经训练的随机决策森林分类器，针对该查询图像的超像素集中的超 像素进行语义标签推断，获得对应该查询图像的区域结构粗粒度级别标注图像； 步骤008.针对获得对应该查询图像的区域结构粗粒度级别标注图像进行标签求精， 获得对应该查询图像的细粒度级别标注图像； 步骤009.针对获得对应该查询图像的细粒度级别标注图像，采用内部递归式反馈机 制进行标签求精，获得该查询图像的最终细粒度级别标注图像； 步骤010.根据获得该查询图像的最终细粒度级别标注图像，设计获得由粗粒度的区 域级语义推断到细粒度的像素级语义求精的全局递归式反馈机制，将该查询图像的最终细 粒度级别标注图像作为额外信息引入步骤001和步骤006中分别针对图像的过分割操作 中，并根据该全局递归式反馈机制，返回步骤001依次执行各个步骤，且根据全局递归式反 馈机制中的终止条件，获得该查询图像的最终标注图像。
2. 根据权利要求1所述一种基于RGB-D数据的室内场景语义标注方法，其特征在于： 所述步骤001和所述步骤006中分别针对图像进行过分割的操作，采用基于图像分层显著 度导引的简单线性迭代聚类过分割算法，其中，该基于图像分层显著度导引的简单线性迭 代聚类过分割算法具体包括如下步骤： 步骤A01.初始化各个聚类中心 w = 1，2. ? ?W, 在原图像上按照网格大小间隔f 均匀分布；其中，GT表示参数向量G的转置； C义，€表示RGB-D室内场景图像在CIELAB颜色空间上的像素值；idw，isw表示第W个聚 类中心的深度值及显著度信息；4￥表示细粒度语义标注图像上某像素所属的标签值；W为 期望生成的超像素数目；S#近似描述每两个邻近超像素中心的距离；N表示图像中包含的 像素数目；并且调整聚类中心到预设邻域内梯度最小的点； 同时，设置类标签数组label[i] =_l，i= 1，2...N，用来记录每个像素点的所属超像 素的标签；设置距离数组dis[i] =M,i= 1，2. . .N，用来记录每个像素点到最邻近像素中 心的距离，M为预设的初始值； 步骤A02.根据如下公式，分别计算各个聚类中心Cw的2S、2S3P域内各个像素i到其 对应聚类中心Cw的距离Ds;
其中，表示图像中任意两个像素点在颜色空间（c)、深度信息（d)、显著度空间（s) 上的距离测度；dxy为图像中任意两个像素点在像素位置空间上的距离测度；dfb表示细粒度 反馈项，用于在全局反馈阶段引入细粒度语义标注信息；m为紧密系数；X为细粒度反馈项 心的平衡系数； 并且，分别针对各个像素点，判断像素点的比是否小于像素点的dis[i]，是则更新该像 素点dis[i]的数据为其Ds的数据，并更新该像素点label[i]的数据为该像素点所对应聚 类中心的次序w;否则不做任何操作； 步骤A03.计算更新各个聚类中心，并分别判断新各个聚类中心对应的类标签变化的 像素数目是否不足其对应全部像素个数的1%，是则结束；否则返回步骤A02。
3.根据权利要求2所述一种基于RGB-D数据的室内场景语义标注方法，其特征在于： 所述步骤010中，所述像素级语义求精的全局递归式反馈机制的实现包括如下步骤： 步骤D01.将获得查询图像的最终细粒度级别标注图像，作为一种额外信息，针对步骤 001和步骤006中分别对图像进行过分割操作的简单线性迭代聚类过分割算法，引入细粒 度语义标注信息，将简单线性迭代聚类过分割算法的聚类中心扩充至8维； 步骤D02.根据全局递归式反馈机制，返回步骤001依次执行各个步骤，更新获得查询 图像的最终细粒度级别标注图像，并根据全局递归式反馈机制中的终止条件，判断更新后 查询图像的最终细粒度级别标注图像与更新前查询图像的最终细粒度级别标注图像是否 至多仅有5%的像素标签不同，是则将该更新后查询图像的最终细粒度级别标注图像作为 该查询图像的最终标注图像；否则返回步骤D01。
4. 根据权利要求1所述一种基于RGB-D数据的室内场景语义标注方法，其特征在于： 所述步骤002中，所述区域特征单元包括超像素质心、色彩HSV分量均值及其相应直方图、 基于彩色RGB图像的梯度方向直方图、基于深度图像的梯度方向直方图、基于表面法线向 量图像的梯度方向直方图。
5. 根据权利要求1所述一种基于RGB-D数据的室内场景语义标注方法，其特征在于： 所述步骤008中，所述针对获得对应该查询图像的区域结构粗粒度级别标注图像进行标签 求精的操作采用改进型像素级稠密CRFs概率图模型，该改进型像素级稠密CRFs概率图模 型的具体构建包括如下步骤： 步骤B01.利用深度图像和PCL点云库，计算图像中每个像素点的法线向量信息，并将 法线向量信息转换存储为法线向量图像； 步骤B02.根据已有深度图像及法线向量图像，针对稠密CRFs概率图模型，以像素为图 模型节点进行成对项势能的修正拓展，获得像素级稠密CRFs概率图模型，并获得该像素级 稠密CRFs概率图模型的能量函数表达式，如下所示：
其中，E(X|I)表示能量函数；X表示随机场；I表示给定的图像；lUD为图像中 第i个像素点的一元项势能；外?,.，V)表示对数似然比；ei表示图像中第i个像素；x,表 示图像中第i个像素最有可能属于的类别标签；17表示除x;以外的所有类别标签； P(?)、作|<)均为普通的条件概率表达式，其概率值通过所述随机决策森林分类器获 取；\和h分别表示图像中第i个像素点、第j个像素点的类别标签；!Dp(Xi，为图像中 任意两像素点i，j间的成对项势能；U(Xi，为标签兼容性函数；K(fi，fp为高斯核的线 性组合，4和L分别表示第i个像素点、第j个像素点的特征向量；PJPh表示图像中任 意两像素点i，j的坐标位置向量山和Ij表示图像中任意两像素点i，j的RGB色彩通道向 量；屯和屯表示图像中任意两像素点i，j的深度值；n,和h表示任意两像素点i，j相应的 表面法线向量;w(1)和w(2)为两个高斯核的权值系数；0a，03, 07和0 5用来控制任意两 像素点i，j属于可能一类的可能性，其所在项被称为外观核；0x所控制的项称为平滑核， 0 ,用于控制衡量孤立区域大小。
6. 根据权利要求5所述一种基于RGB-D数据的室内场景语义标注方法，其特征在于： 所述步骤009中，所述内部递归式反馈机制为基于所述深度图像与法线向量图像修正拓展 后的像素级稠密CRFs概率图模型，获得的由输入到输出的内部递归式反馈机制，该内部递 归式反馈机制的实现包括如下步骤： 步骤C01.根据获得的像素级稠密CRFs概率图模型，针对查询图像对应粗粒度级别区 域级语义标签推断部分生成的粗粒度语义标注进行细粒度级别的求精，更新获得该查询图 像的细粒度级别标注图像； 步骤C02.根据该查询图像对应区域级语义标签推断部分产生的过分割信息，将获得 的该查询图像的细粒度级别标注图像中的类别标签映射回该查询图像的超像素集中，更新 该查询图像的超像素集； 步骤C03.根据该查询图像的超像素集中的类别标签和该查询图像对应区域级语义标 签推断部分产生的过分割信息，更新该查询图像的区域结构粗粒度级别标注图像，并判断 更新后的该查询图像的区域结构粗粒度级别标注图像与未更新前该查询图像的区域结构 粗粒度级别标注图像对应的超像素语义标签是否一致，是则获得的该查询图像的细粒度级 别标注图像作为该查询图像的最终细粒度级别标注图像；否则返回步骤C01。
【专利摘要】本发明涉及一种基于RGB-D数据的室内场景语义标注方法，构建了一种基于RGB-D数据由粗到精全局递归式反馈的语义标注框架，并将整个语义标注框架划分为粗粒度的区域级语义标签推断与细粒度的像素级语义标签求精两大部分；与传统单一的区域级或像素级语义标注框架不同，该框架重新建立粗粒度区域级语义标注与细粒度像素级语义标注间的联系，通过引入一种合理的全局递归式反馈的机制，使粗粒度区域级的语义标注结果与细粒度像素级的语义标注结果交替迭代更新优化。通过这种方式较好地融合了场景图像中不同区域层次的多模态信息，从一定程度上解决传统室内场景语义标注方案中普遍存在的难以合适地选择标注基元的问题。
【IPC分类】G06F17-30, G06K9-62
【公开号】CN104809187
【申请号】CN201510187615
【发明人】冯希龙, 刘天亮
【申请人】南京邮电大学
【公开日】2015年7月29日
【申请日】2015年4月20日