一种基于深度学习的机器人场景识别与语义导航地图标注方法与流程

本发明涉及家庭服务机器人领域，具体涉及一种基于自主移动机器人的场景识别与导航地图标注方法，利用深度学习技术及场所感知技术解决室内移动机器人对家庭场景识别导航问题，属于室内移动机器人场景识别技术领域。

背景技术：

场景识别可以根据图片中的环境，包括布局或是常见的设施判断场景类别。现有的场景识别技术首先对图像的视觉信息进行描述，这一过程也称为图像特征提取。利用针对不同场景的分类器对提取的视觉特征进行分类，获取最终的场景识别结果。在这个过程中分类器的选择与设置直接影响识别结果。很多情况下我们的室内机器人在工作室无法分辨所处的环境或是无法到达目标场景。

深度学习的概念源于人工神经网络的研究。含多个隐含层的感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习将特征提取过程由传统的手工制定变为自动修正，由于训练数据具有广泛性，采用深度学习的方法模型泛化能力强，受环境变换影响小，识别的准确率高。我们将深度学习的方法引入到场景识别中，实现场景的快速准确识别。将识别结果标注在对应的栅格地图上，通过识别结果建立地图与场景的语义联系，便于机器人实现语义地图导航功能。

综上所述，我们提出一种基于深度学习的机器人场景识别与语义导航地图标注方法。

技术实现要素：

本发明针对目前家庭移动机器人，利用深度学习及场所感知技术，实现室内移动机器人对场景的识别，更好地完成与场景有关的指令任务，解决机器人场景语义缺失的问题。

为达成上述目的，本发明提出一种基于机器学习场景识别方法，结合场所感知技术与机器人移动定位技术，其具体实现包括如下步骤：

s1、在深度学习框架下使用海量数据进行训练得到所需的场景识别模型。

该步骤基于深度学习训练所需场景识别模型，包括数据预处理(建立数据库)、网络结构与模型训练的配置、训练与再训练、训练日志分析、预测检验与分析、性能测试等部分。

s2、利用摄像头获取不同场景下的彩色图像，根据训练后的模型判断该图像所属的场景类别，实现场景类别判断。将此功能封装为模块，在机器人操作系统下使用。

该步骤首先利用摄像头获取场景图像，然后通过训练模型对获取的场景图像进行识别判断，确定场景类别。将识别功能封装成节点，方便一切搭载机器人操系统的室内移动机器人调用此识别模型。提高该识别方法在移动机器人上的广泛使用性和普遍性。

s3、在机器人操作系统下绘制场景栅格地图，结合场景信息增加现有场景信息图层。完成场景地图绘制识别，将识别结果标注到栅格地图上。

该步骤利用机器人绘制栅格导航地图，同时利用摄像头采集图像判断机器人当前场景的类别，为栅格地图增加表示场景类别的图层信息。场景遍历以完成整个场景地图绘制，在栅格地图上同步完成场景类型标注。

s4、根机器人根据语音解析语音关键词，建立语音关键词与语义的联系，确定潜在导航目标点，根据应用策略从潜在点中筛选导航目标点，自主规划路径导航到达。

该步骤使用语音指令获得导航目标点，根据语音的解析结果匹配场所语义信息，确定潜在导航目标点，根据应用策略或语音指令完成目标点筛选，自主规划导航到目标点。

有益效果

通过机器学习的方法实现场景识别，提高了识别的准确率。增加语义栅格图层，建立自然语言、场景图像、地图符号的语义联系，解决了机器人场景识别语义信息缺失的问题。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1为场景识别系统流程图。

图2为语义栅格地图绘制流程图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例说明如下。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

下面结合附图所示，更加具体地描述前述应用于室内移动机器人的图书定位与查找方法的示例性实现。

s1、在深度学习框架下使用海量数据进行训练得到所需的场景识别模型。

通过数据图片爬虫获取各个场景的海量图片，对图片进行预处理，筛选符合要求的训练数据，选择使用caffe框架下使用海量数据进行训练，对训练结果进行分析测试后得到所需的场景识别模型。

s2、利用摄像头获取不同场景下的彩色图像，根据训练后的模型判断该图像所属的场景类别，实现场景类别判断。将此功能封装为模块，在机器人操作系统下使用。具体步骤如下：

s21使用彩色摄像头来获取场景的实时rgb图像；

s22将彩色图送入训练所得模型，获取场景图像识别判断结果；

s23使用ros操作系统，将识别功能封装为ros结点；

s24在使用ros系统的机器人上完成功能调用，该结点从其他结点获得彩色图像，将识别结果发布到其他结点上。

s3、在机器人操作系统下绘制场景栅格地图，结合场景信息增加现有场景信息图层。完成场景地图绘制识别，将识别结果标注到栅格地图上。具体步骤如下：

s31移动机器人在室内需要建图的区域采集数据，利用gmapping绘制场景栅格地图；

s32利用已封装的结点对实时采集的场景信息进行识别判断，将判别信息转化为图层上的标注信息；

s33遍历场景以完成整个场景地图绘制，在栅格地图上同步完成场景类型标注。

s4、机器人根据语音解析语音关键词，建立语音关键词与语义的联系，确定潜在导航目标点，根据应用策略从潜在点中筛选导航目标点，自主规划路径导航到达。具体步骤如下：

s41从语音指令中解析出与场景有关的语音关键词；

s42将场景有关的语音信息与场景分类结果对应，多个语音关键词对应一个语义场景语义；

s43在语义栅格地图上搜索目标区域，确定潜在导航目标点；

s44根据导航需求确定筛选策略，如选择距离出发点最近或者距某物体最近的点为目标点，自主规划导航到目标点。

技术特征：

1.一种基于深度学习的机器人场景识别与语义导航地图标注方法，其特征在于，该方法以深度学习训练识别模型为基础，结合场景栅格地图，实现机器人对场景的识别。进行室内场景识别时，机器人根据传感器获取的当前场景图像，由事先训练的模型判断当前场景分类。具体实现包括如下步骤：

s1、在深度学习框架下使用海量数据进行训练得到所需的场景识别模型。

s2、利用摄像头获取不同场景下的彩色图像，根据训练后的模型判断该图像所属的场景类别，实现场景类别判断。将此功能封装为模块，在机器人操作系统下使用。

s3、在机器人操作系统下绘制场景栅格地图，结合场景信息增加现有场景信息图层。完成场景地图绘制识别，将识别结果标注到栅格地图上。

s4、根据语义指令，获得潜在导航目标点，在栅格地图上根据应用策略选择最终目标点，自主规划路径导航到达。

2.根据权利要求1所述的方法，其特征在于语义栅格地图的绘制，步骤s3中，移动机器人通过传感器获得地图构建数据完成导航地图的创建。在建图的过程中同步获取当前场景的图像，经识别模块判断后对在地图上进行标记语义信息，实现语义栅格地图构建。

3.根据权利要求1所述的方法，其特征在于语义自主导航，步骤s4中,机器人根据语音解析语音关键词，建立语音关键词与语义的联系，确定潜在导航目标点，根据应用策略从潜在点中筛选导航目标点，自主规划路径导航到达。

技术总结
本发明提供一种基于深度学习的机器人场景识别与语义导航地图标注方法，该方法在深度学习框架下使用海量数据训练场景识别模型，利用摄像头实时获取场景图像，根据训练好的模型来判断现实场景的类别。将深度学习模型调用程序封装为功能模块，根据模型将场景判断结果标注在栅格地图上，建立场景自然语义与地图符号间的联系，为室内移动机器人语义导航提供场景识别功能与方法。本发明使用深度学习的方法实现了场景的识别，可根据应用需求训练不同的识别模型，且适用于任何搭载机器人操作系统的移动机器人，为服务机器人场景识别提供了系统框架和方法，提高室内服务机器人自主化和智能化水平。

技术研发人员：朱博;王彬;王聪
受保护的技术使用者：南京图易科技有限责任公司
技术研发日：2018.05.07
技术公布日：2019.11.15