一种家用机器人建立语义地图的方法及系统的制作方法
【专利摘要】本发明涉及一种家用机器人建立语义地图的方法，包括：A、对机器人工作的室内构建二维栅格地图；B、利用RGD?D深度传感器进行机器人活动的室内构建三维地图；C、结合可穿戴式传感器根据人的行为特征判断其接触的家具类型；D、将构建的二维栅格地图和三维地图进行融合构建成三维室内地图；E、将室内家具类型及其他标示物的属性赋值在构建成三维室内地图形成三维室内语义地图。该方法通过人的活动来确定室内家具类型，并将家具信息加入到三维地图中，从而实现三维室内语义建图。该方法结构简单、易于实现、操作方便，成本低廉。
【专利说明】
一种家用机器人建立语义地图的方法及系统
技术领域
[0001]本发明属于智能语义地图构建领域，尤其涉及一种家用机器人建立语义地图的方法及系统。
【背景技术】
[0002]机器人的用途越来越广泛，尤其是移动服务机器人的兴起，机器人开始从传统的工业领域向军事、医疗、家庭助理等领域渗透。随着社会老龄化问题的不断加剧，移动机器人进入家庭为人们提供服务的需求也越来越迫切。
[0003]依靠目前的SLAM(同步定位与建图)技术创建的环境地图有其局限性，即所建地图只在一段时间内有效，如果环境改变，那就需要重新建图。另外，现有地图模型只体现了移动机器人自身的位置信息，而移动机器人想要与环境中的人进行信息交互，实现防盗监测、打扫卫生、监测病人、控制家电、报时提醒、儿童教育等功能，那就需要借助于语义地图，SP需要让机器人自己知道所处的具体位置，表明房间是“卧室”还是“客厅”。
[0004]现有技术都是利用摄像头等传感器，采用熵地图、基于顺序贝叶斯框架结构来对目标进行识别，采用贝叶斯状态估计来更新当前状态的概率分布。也有采用基于信息论的同步规划定位与建图(SPLAM)的方法，在利用机器人识别一个移动目标的同时估计它的姿态而不需要任何运动约束条件。还有，可以采用深度传感器即RGB-D图像处理技术进行3D语义地图的构建。
【发明内容】
[0005]本发明的目的在于提供一种家用机器人建立语义地图的方法，旨在解决上述的技术问题。
[0006]本发明是这样实现的，一种家用机器人建立语义地图的方法，所述方法包括以下步骤:
A、对机器人工作的室内构建二维栅格地图；
B、利用RGD-D深度传感器进行机器人活动的室内构建三维地图；
C、结合可穿戴式传感器根据人的行为特征判断其接触的家具类型；
D、将构建的二维栅格地图和三维地图进行融合构建成三维室内地图；
E、将室内家具类型及其他标示物的属性赋值在构建成三维室内地图形成三维室内语义地图。
[0007]本发明的进一步技术方案是:所述步骤A中构建二维栅格地图利用的是激光测距仪完成。
[0008]本发明的进一步技术方案是:所述步骤E中通过判断家具或标示物体的类型确定房间的类型或性质。
[0009]本发明的进一步技术方案是:所述可穿戴式传感器包括智能手环、智能手表及设于人体腰部的传感器。
[0010]本发明的进一步技术方案是:所述步骤C中通过识别人体活动获取所在位置家具类型的相关知识实现家具预定义活动方式用来确定家具的类型。
[0011]本发明的另一目的在于提供一种家用机器人建立语义地图的系统，所述系统包括:
二维栅格地图构建模块，用于对机器人工作的室内构建二维栅格地图；
三维地图构建模块，用于利用RGD-D深度传感器进行机器人活动的室内构建三维地图； 家具类型判断模块，用于结合可穿戴式传感器根据人的行为特征判断其接触的家具类型；
三维室内地图模块，用于将构建的二维栅格地图和三维地图进行融合构建成三维室内地图；
语义地图构建模块，用于将室内家具类型及其他标示物的属性赋值在构建成三维室内地图形成三维室内语义地图。
[0012]本发明的进一步技术方案是:所述二维栅格地图构建模块中构建二维栅格地图利用的是激光测距仪完成。
[0013]本发明的进一步技术方案是:所述语义地图构建模块中通过判断家具或标示物体的类型确定房间的类型或性质。
[0014]本发明的进一步技术方案是:所述可穿戴式传感器包括智能手环、智能手表及设于人体腰部的传感器。
[0015]本发明的进一步技术方案是:所述家具类型判断模块中通过识别人体活动获取所在位置家具类型的相关知识实现家具预定义活动方式用来确定家具的类型。
[0016]本发明的有益效果是:该方法通过人的活动来确定室内家具类型，并将家具信息加入到三维地图中，从而实现三维室内语义建图，利用现有市场上的智能手环、手表等智能硬件，机器人自带的视觉传感器来判断人的行为特征，最终定义出家具的类型和在三维地图中的位置，最终实现语义地图的构建。该方法结构简单、易于实现、操作方便，成本低廉。
【附图说明】
[0017]图1是本发明实施例提供的家用机器人建立语义地图的方法的流程图。
[0018]图2是本发明实施例提供的家用机器人建立语义地图的系统的结构框图。
【具体实施方式】
[0019]图1示出了本发明提供的一种家用机器人建立语义地图的方法的流程图，其详述如下:
步骤SI，对机器人工作的室内构建二维栅格地图；当把机器人置于其工作的场所，机器人对其工作场所是不熟悉的，这时需要为机器人制作其在工作场能够做识别地图，在制作地图中机器人利用激光测距仪制作构建室内的二维栅格地图。
[0020]步骤S2，利用RGD-D深度传感器进行机器人活动的室内构建三维地图；在实际的运用中只有在三维环境下才能让机器人知道们、窗等具体的位置，所以需要利用RGD-D深度传感器对工作场所进行三维地图的构建，其主要是通过Kinect摄像头来完成三维地图的构建。
[0021]步骤S3，结合可穿戴式传感器根据人的行为特征判断其接触的家具类型；移动机器人在制图的过程中，就可以结合人的可穿戴式传感器和对人的行为特征识别来确定与人有接触的家具特征，最后判断出家具类型，比如说椅子、床、桌子等。可穿戴式设备包括如今市场上流行的智能手环、手表，还有放置在人体腰部的传感器，从作为人的活动信息源中获取语义地图。因此，通过识别人体活动就可以获得其所在位置的家具类型的相关知识，从而一种关于家具的预定义的活动方式将用来确定家具的类型。也就是说，通过判断家具或其他标识物体的类型，从而知道房间是“办公室”、“厨房”或“卧室”。然而这类语义信息对于完成一些日常生活中的任务来说是非常重要的。例如，如果主人想要上床休息，那么机器人将会关闭卧室的灯。
[0022]步骤S4，将构建的二维栅格地图和三维地图进行融合构建成三维室内地图；在机器人的系统中将绘制好的工作场所二维栅格地图和构建好的三维地图进行整体融合形成新的工作场所三维地图。
[0023]步骤S5，将室内家具类型及其他标示物的属性赋值在构建成三维室内地图形成三维室内语义地图。将机器人识别出来的物品类别特征标示赋值到创建好的三维室内地图上形成新的语义地图，是的机器人能够根据地图能够识别室内的环境。
[0024]现有地图模型只体现了移动机器人自身的位置信息，而移动机器人想要与环境中的人进行信息交互，那就需要借助于语义地图。例如，现在的SLAM(同步定位与制图)技术可以实现室内二维或三维地图的构建，但还是不能知道哪个房间是“客厅”、“厨房”或“卧室”。而这类语义信息对于机器人辅助主人完成一些日常生活中的任务来说是非常重要的。比如说，如果主人打算上床睡觉，机器人就可以结合上图中多个传感器的数据融合和房间属性来选择关闭哪个房间的灯。
[0025]语义地图是在原来通过SLAM构建的二维或三维地图的基础上进行属性赋值，即让机器人知道地图中的具体位置。相比与利用激光测距仪、声纳和红外传感器等传统的二维室内建图方式，利用RGB-D传感器来完成三维室内建图，可以获得完整的三维信息来定位其自身并估计一个六自由度(x、y、z、滚动、俯仰、偏航)的姿态。机器人的视觉传感器主要用在人的身份标定和肢体特征提取，与运动传感器的识别方式相比，基于视觉传感器的识别方式对于实
验环境有特定的要求相比，比如亮度、障碍和雾气等因素对于摄像机获取图像数据有着明显的影响，而运动传感器则不会受到诸如此类环境因素的影响，这也是系统要采用可穿戴传感器的数据进行融合的原因。
[0026]人的身份标定主要是通过机器人在室内与人的交互过程中，通过视觉传感器采集的家庭人脸库，对人脸库进行不断的训练让机器人对主人家庭的人脸进行分类以方便后面的识别，这样就是为了让机器人系统对家庭成员有个身份的标定，这样就可以获得房间关联家庭成员的粘度值，比如用于对应多个睡房和多个家庭成员的映射关系。
[0027]可穿戴传感器是直接或间接地放置在人体表面的传感器，可穿戴式传感器可以嵌入到衣服、眼镜、皮带、鞋子、手表、移动设备或直接放置在身体上。当人进行活动时，它们可以用来采集身体的位置、运动、脉冲和皮肤温度等信息，从而实时监控人的生理状态或运动特征。通过人身上佩戴的传感器来获得人在地图中的位置信息，这个可以通过wifi定位来实现，无线局域网wifi在室内部署范围广泛，适合于大规模定位，对行人进行绝对定位，不会产生误差累计，适合长时间定位。依靠传感器惯性传感器的航迹推算方法长时间定位会累计误差，如果使用Wifi的绝对定位来辅助矫正，可以更好的提高室内定位的精度。
[0028]使用神经网络、隐马尔科夫模型或支持向量机等机器学习算法进行手势模式识另O。这里所说的时间序列运动特征库是云端的数据库，这是对大量样本进行采集汇总的结果，一般来说，人的肢体活动的状态与时间是有一定关联性的，比如说吃饭的时间一般人都是坐着吃饭，而吃饭的动作也是有规律可循的，当然这是要提前进行训练的。由于计算能力的需求，我们这里将模式识别的算法都放到云端，这样可以降低对机器人的运算能力的要求。
[0029]当系统获得家庭某个成员的肢体活动的属性后，即知道主人在哪个位置和具体做的事情，这样就可以将主人常在的地图区域进行语义赋值，最终实现机器人的高级服务功能。比如说当主人在厨房做完菜后，呼叫机器人，机器人就能来到厨房的位置，然后通过视觉传感器来进行人脸检测，并来到主人身边，并执行主人吩咐的事情，比如说端菜到大厅的饭桌上。
[0030]图2示出了本发明的另一目的在于提供一种家用机器人建立语义地图的系统，所述系统包括:
二维栅格地图构建模块，用于对机器人工作的室内构建二维栅格地图；
三维地图构建模块，用于利用RGD-D深度传感器进行机器人活动的室内构建三维地图； 家具类型判断模块，用于结合可穿戴式传感器根据人的行为特征判断其接触的家具类型；
三维室内地图模块，用于将构建的二维栅格地图和三维地图进行融合构建成三维室内地图；
语义地图构建模块，用于将室内家具类型及其他标示物的属性赋值在构建成三维室内地图形成三维室内语义地图。
[0031]本发明的进一步技术方案是:所述二维栅格地图构建模块中构建二维栅格地图利用的是激光测距仪完成。
[0032]所述语义地图构建模块中通过判断家具或标示物体的类型确定房间的类型或性质。
[0033]所述可穿戴式传感器包括智能手环、智能手表及设于人体腰部的传感器。
[0034]所述家具类型判断模块中通过识别人体活动获取所在位置家具类型的相关知识实现家具预定义活动方式用来确定家具的类型。
[0035]该系统通过人的活动来确定室内家具类型，并将家具信息加入到三维地图中，从而实现三维室内语义建图，利用现有市场上的智能手环、手表等智能硬件，机器人自带的视觉传感器来判断人的行为特征，最终定义出家具的类型和在三维地图中的位置，最终实现语义地图的构建。该方法结构简单、易于实现、操作方便，成本低廉。
[0036]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种家用机器人建立语义地图的方法，其特征在于，所述方法包括以下步骤: A、对机器人工作的室内构建二维栅格地图； B、利用RGD-D深度传感器进行机器人活动的室内构建三维地图； C、结合可穿戴式传感器根据人的行为特征判断其接触的家具类型； D、将构建的二维栅格地图和三维地图进行融合构建成三维室内地图； E、将室内家具类型及其他标示物的属性赋值在构建成三维室内地图形成三维室内语义地图。2.根据权利要求1所述的方法，其特征在于，所述步骤A中构建二维栅格地图利用的是激光测距仅完成。3.根据权利要求2所述的方法，其特征在于，所述步骤E中通过判断家具或标示物体的类型确定房间的类型或性质。4.根据权利要求3所述的方法，其特征在于，所述可穿戴式传感器包括智能手环、智能手表及设于人体腰部的传感器。5.根据权利要求4所述的方法，其特征在于，所述步骤C中通过识别人体活动获取所在位置家具类型的相关知识实现家具预定义活动方式用来确定家具的类型。6.一种家用机器人建立语义地图的系统，其特征在于，所述系统包括: 二维栅格地图构建模块，用于对机器人工作的室内构建二维栅格地图； 三维地图构建模块，用于利用RGD-D深度传感器进行机器人活动的室内构建三维地图； 家具类型判断模块，用于结合可穿戴式传感器根据人的行为特征判断其接触的家具类型； 三维室内地图模块，用于将构建的二维栅格地图和三维地图进行融合构建成三维室内地图； 语义地图构建模块，用于将室内家具类型及其他标示物的属性赋值在构建成三维室内地图形成三维室内语义地图。7.根据权利要求6所述的方法，其特征在于，所述二维栅格地图构建模块中构建二维栅格地图利用的是激光测距仪完成。8.根据权利要求7所述的方法，其特征在于，所述语义地图构建模块中通过判断家具或标示物体的类型确定房间的类型或性质。9.根据权利要求8所述的方法，其特征在于，所述可穿戴式传感器包括智能手环、智能手表及设于人体腰部的传感器。10.根据权利要求9所述的方法，其特征在于，所述家具类型判断模块中通过识别人体活动获取所在位置家具类型的相关知识实现家具预定义活动方式用来确定家具的类型。
【文档编号】G06T17/05GK106067191SQ201610353996
【公开日】2016年11月2日
【申请日】2016年5月25日 公开号201610353996.3, CN 106067191 A, CN 106067191A, CN 201610353996, CN-A-106067191, CN106067191 A, CN106067191A, CN201610353996, CN201610353996.3
【发明人】宋洋鹏
【申请人】深圳市寒武纪智能科技有限公司