信息处理的方法及智能设备的制作方法

文档序号:6509949阅读:228来源:国知局
信息处理的方法及智能设备的制作方法
【专利摘要】本发明公开了一种信息处理的方法,通过所述图像采集单元获取第一信息集合及第二信息集合;从所述第一信息集合中的第一信息中提取特征点集合;根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;获取所述智能设备在环境中的第二位置信息;根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息;建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。本发明同时公开了一种智能设备。本发明实施例基于特征点树图的数据管理方式,可对采集到的特征点集合中的特征点按特征点树图的节点进行划分,并以并行方式处理每一划分分区中的特征点,提升了处理效率。
【专利说明】信息处理的方法及智能设备

【技术领域】
[0001]本发明涉及信息处理技术,尤其涉及一种基于智能设备的三维地图信息处理方法及智能设备。

【背景技术】
[0002]目前,随着智能控制在工业中的应用越广泛,智能设备正被应用于各种工艺生产中。利用智能设备进行环境信息创建也是智能设备的工业应用之一。当前的环境信息中,主要通过确定智能设备采集图像中的一些特征点的位置信息来标定,通过所提取的诸多的特征点的位置信息而完成环境信息的采集。
[0003]由于智能设备在行动中存在位移误差,这样在确定特征点的位置信息时,自然也存在误差,而仅仅通过特征点的位置信息无法准确的构建环境信息,减小误差。误差一旦累积,所形成的环境信息将会相当不准确。


【发明内容】

[0004]有鉴于此,本发明实施例的主要目的在于提供一种信息处理的方法及智能设备,能在采集信息时对所采集信息中的特征点的位置信息进行修正,获取更准确的信息。
[0005]为达到上述目的,本发明实施例的技术方案是这样实现的:
[0006]一种信息处理的方法,应用于智能设备中,所述智能设备上设置有图像采集单元;所述方法包括:
[0007]通过所述图像采集单元获取第一信息集合及第二信息集合;
[0008]从所述第一信息集合中的第一信息中提取特征点集合;
[0009]根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;获取所述智能设备在环境中的第二位置信息;根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;
[0010]根据所述第一信息集合中的第一信息确定所述特征点集合中每个特征点的特征描述信息;
[0011]建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。
[0012]一种信息处理方法,所述方法包括:
[0013]通过所述图像采集单元获取第一信息集合及第二信息集合;
[0014]从所述第一信息集合中的第一信息中提取特征点集合;
[0015]根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;获取所述智能设备在环境中的第二位置信息;根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;
[0016]根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息;
[0017]建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系;
[0018]在所述智能设备移动后,确定至少涵盖第三特征点集合中的所有的特征点的正方体空间,并确定所述至少涵盖第三特征点集合中的所有的特征点的正方体空间的第四位置信息;
[0019]在与所述第四位置处对应的位置确定能涵盖所述至少涵盖第三特征点集合中的所有的特征点的正方体空间的正方体节点的上一级正方体节点;
[0020]以当前提取的所有的特征点的特征描述信息在所述上一级正方体节点中的所有特征点的特征描述信息中进行匹配;
[0021]若超过设定比例的特征点的特征描述信息满足匹配要求,则确定所述智能设备的当前位置与之前的位置重合。
[0022]一种智能设备,所述智能设备上设置有图像采集单元;所述智能设备包括提取单元、第一计算单元、获取单元、第二计算单元、第二确定单元和对应单元,其中:
[0023]所述图像采集单元,用于采集第一信息集合及第二信息集合;
[0024]提取单元,用于从所述第一信息集合中的第一信息中提取特征点集合;
[0025]第一计算单元,用于根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;
[0026]获取单元,用于获取所述智能设备在环境中的第二位置信息;
[0027]第二计算单元,用于根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;
[0028]第二确定单元,用于根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息;
[0029]对应单元,用于建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。
[0030]一种智能设备,所述智能设备上设置有图像采集单元;所述智能设备包括提取单元、第一计算单元、获取单元、第二计算单元、第二确定单元、对应单元、第四确定单元、第五确定单元、第一匹配单元和第六确定单元,其中:
[0031]所述图像采集单元,用于获取第一信息集合及第二信息集合;
[0032]提取单元,用于从所述第一信息集合中的第一信息中提取特征点集合;
[0033]第一计算单元,用于根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;
[0034]获取单元,用于获取所述智能设备在环境中的第二位置信息;
[0035]第二计算单元,用于根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;
[0036]第二确定单元,用于根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息;
[0037]对应单元,用于建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系;
[0038]第四确定单元,用于在所述智能设备移动后,确定至少涵盖第三特征点集合中的所有的特征点的正方体空间,并确定所述至少涵盖第三特征点集合中的所有的特征点的正方体空间的第四位置信息;
[0039]第五确定单元,用于在与所述第四位置处对应的位置确定能涵盖所述至少涵盖第三特征点集合中的所有的特征点的正方体空间的正方体节点的上一级正方体节点;
[0040]第一匹配单元,用于以当前提取的所有的特征点的特征描述信息在所述上一级正方体节点中的所有特征点的特征描述信息中进行匹配;
[0041]第六确定单元,用于确定超过设定比例的特征点的特征描述信息满足匹配要求,时确定所述智能设备的当前位置与之前的位置重合。
[0042]本发明的实施例中,通过智能设备上设置的图像采集单元获取第一信息及第二信息;从第一信息中提取特征点集合;根据第二信息计算特征点集合中每个特征点的第一位置信息;确定智能设备在环境中的第二位置信息;根据第二位置信息及第一位置信息,计算特征点集合中每个特征点的第三位置信息;根据第一信息确定特征点集合中每个特征点的特征描述信息;建立特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。并且,在智能设备移动后,确定至少涵盖第三特征点集合中的所有的特征点的正方体空间,并确定该正方体空间的第四位置信息;在与第四位置处对应的位置确定能涵盖该正方体空间的正方体节点的上一级正方体节点;以当前提取的所有的特征点的特征描述信息在上一级正方体节点中的所有特征点的特征描述信息中进行匹配;若超过设定比例的特征点的特征描述信息满足匹配要求,则确定智能设备的当前位置与之前的位置重合。其中,第一信息集合包括图像信息集合;第二信息集合包括深度信息集合;所述第一位置信息为特征点相对于所述图像采集单元的位置信息;所述第三位置信息为特征点在所述智能设备的环境的坐标系中的位置信息。本发明实施例通过为特征点设置特征描述信息,在智能设备进行图像采集过程中,可以通过包含有特征点的特征描述信息的特征点的特征信息匹配出相同的特征点,通过这些相同的特征点,可以对智能设备的位置信息进行校准,并且,在形成地图信息时,通过这些相同的特征点可以实现地图信息的契合,以形成较佳的完整的地图信息。并且,本发明实施例基于环境空间分割的数据管理方式,可对采集到的特征点集合中的特征点按空间节点进行划分,同时引入特征点描述信息,将特征点描述信息与位置信息相结合,提高了地图信息的准确率。

【专利附图】

【附图说明】
[0043]图1为本发明实施例一的信息处理的方法的流程示意图;
[0044]图2为本发明实施例二的信息处理的方法的流程示意图;
[0045]图3为本发明实施例三的信息处理的方法的流程示意图;
[0046]图4为本发明实施例四的信息处理的方法的流程示意图;
[0047]图5为本发明实施例五的信息处理的方法的流程示意图;
[0048]图6为本发明实施例六的信息处理的方法的流程示意图;
[0049]图7为本发明实施例七的信息处理的方法的流程示意图;
[0050]图8为本发明实施例八的信息处理的方法的流程示意图;
[0051]图9为本发明实施例一的智能设备的组成结构示意图;
[0052]图10为本发明实施例二的智能设备的组成结构示意图。。

【具体实施方式】
[0053]本发明实施例,主要是针对当前三维地图信息采集中存在的位置信息的误差,而在地图信息采集修正过程中,如果仅通过所采集的特征点的位置、仍有识别不佳的缺陷;而当特征点不能被准确识别时,利用特征点进行的位置修正将会存在较大的误差积累,严重时可能会导致位置信息采集错误,这将会严重影响所采集地图信息的准确性;而基于所采集地图信息进行的定位、智能机器人的位移、基于地图信息进行的工业控制等,都将受到严重影响。
[0054]本发明的实施例正是基于上述技术问题而提出的。本发明实施例主要是基于当前的特征点管理树图(0CT0MAP),在采集特征点时,根据所确定的特征点的位置信息,将每一特征点与该特征点的颜色信息如RGB信息,位置信息,特征描述信息如尺度、旋转等,与0CT0MAP中正方形节点相对应。这样,在应用地图信息时,可以按0CT0MAP中正方形节点划分方式对所采集到的或0CT0MAP中节点的特征点进行划分,以并行对划分后的特征点进行并行处理如匹配、查询等,提升了本发明实施例的对地图信息的处理效率。
[0055]为使本发明的目的、技术方案和优点更加清楚明白,以下举实施例并参照附图,对本发明进一步详细说明。
[0056]图1为本发明实施例一的信息处理的方法的流程示意图,如图1所示,在本发明一个优选实施例中,信息处理的方法包括以下步骤:
[0057]本实施例的信息处理的方法应用于智能设备中,如该智能设备可以为智能机器人,该智能机器人具有图像采集单元作为一个优选示例,本发明实施例的图像采集单元可以为摄像头。该智能设备还具有图像处理能力。
[0058]步骤101,通过智能设备上设置的图像采集单元获取第一信息及第二信息;
[0059]通过智能设备上设置的摄像头等图像采集单元获取所述智能设备所处的环境的第一信息,该第一信息如可以是图像信息,图像信息中包含摄像头所能拍摄的所有景像信肩、O
[0060]作为一个优选实施例,本示例中的图像采集单元也可以是专用的图像采集及分析系统,如可以是摄像传感器、RGB图像传感器等。
[0061]步骤102,从所述第一信息集合中的第一信息中提取特征点集合;
[0062]提取所采集的图像信息中的所有特征点,形成特征点集合。本示例中,特征点可以为任何物体上的任何部位的成像点。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如白色物体上的黑色斑点,物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
[0063]本示例中,关于图像信息中的特征点的提取方式,可以通过尺度不变特征变换(SIFT, Scale Invariant Feature Transform)方式、SURF 方式、ORB 方式,获取特征点的信息,将这些获取的特征点形成特征点集合。
[0064]需要说明的是,首先确定出识别特征点的方法,智能设备将根据这些方法从图像信息中提取特征点,由于从图像信息中提取特征点的方式可通过现有技术实现,本示例中不再过多赘述。
[0065]步骤103,根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;
[0066]本示例中,第二信息可以为图像的深度信息,通过该深度信息可以确定出所述特征点集合中每个特征点与图像采集单元之间的相对位置关系,即通过图像的深度信息可以计算出所述特征点集合中每个特征点相对于图像采集单元的位置信息。
[0067]步骤104,获取所述智能设备在环境中的第二位置信息;
[0068]本示例中,第二位置信息为智能设备在环境中的全局坐标系的位置信息,即第二位置信息为智能设备在欲建立的地图信息的坐标系中的位置信息。
[0069]需要说明的是,所述智能设备位于初始位置时,获取所述智能设备在环境中的第二位置信息的方式为设定所述智能设备在全局坐标系中的位置信息,全局坐标系即为本发明实施例欲建立的地图信息的坐标系。
[0070]步骤105,根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;
[0071]根据所述智能设备的在全局坐标系中的位置信息即第二位置信息,以及特征点与所述智能设备之间的相对位置信息,即可确定出特征点集合中每个特征点在全局坐标系中的位置信息,即为第三位置信息。
[0072]步骤106,根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息;
[0073]本步骤中,需要根据采集单元采集到的图像信息即第一信息,来确定特征点集合中每个特征点的特征描述信息。特征描述信息是表征特征点的属性的信息。
[0074]具体地,可通过即时定位与地图构建(SLAM, Simultaneous Localizat1n andMapping)方式确定特征点集合中每个特征点的特征描述信息;特征点的特征描述信息能唯一标识一个特征点,其是64维或128维的数据,当然,随着对特征点属性进一步的划分,表征特征点的特征描述信息可以是其他维度的参数。作为示例,特征描述信息可以为尺度和旋转。
[0075]步骤107,建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。
[0076]获取到每个特征点的描述信息后,建立每个特征点的特征描述信息与该特征点的全局坐标系中的位置信息之间的对应关系,相当于为每个特征点赋予了特征描述信息的属性。
[0077]图2为本发明实施例二的信息处理的方法的流程示意图,如图2所示,在本发明一个优选实施例中,信息处理的方法包括以下步骤:
[0078]本实施例的信息处理的方法应用于智能设备中,如该智能设备可以为智能机器人,该智能机器人具有图像采集单元作为一个优选示例,本发明实施例的图像采集单元可以为摄像头。该智能设备还具有图像处理能力。
[0079]步骤201,通过智能设备上设置的图像采集单元获取第一信息及第二信息;
[0080]通过智能设备上设置的摄像头等图像采集单元获取所述智能设备所处的环境的第一信息,该第一信息如可以是图像信息,图像信息中包含摄像头所能拍摄的所有景像信肩、O
[0081 ] 作为一个优选实施例,本示例中的图像采集单元也可以是专用的图像采集及分析系统,如可以是摄像传感器、RGB图像传感器等。
[0082]步骤202,从所述第一信息集合中的第一信息中提取特征点集合;
[0083]提取所采集的图像信息中的所有特征点,形成特征点集合。本示例中,特征点可以为任何物体上的任何部位的成像点。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如白色物体上的黑色斑点,物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
[0084]本示例中,关于图像信息中的特征点的提取方式,可以通过或尺度不变特征变换(SIFT, Scale Invariant Feature Transform)方式、SURF 方式、ORB 方式,获取特征点的信息,将这些获取的特征点形成特征点集合。
[0085]需要说明的是,首先确定出识别特征点的方法,智能设备将根据这些方法从图像信息中提取特征点,由于从图像信息中提取特征点的方式可通过现有技术实现,本示例中不再过多赘述。
[0086]步骤203,根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;
[0087]本示例中,第二信息可以为图像的深度信息,通过该深度信息可以确定出所述特征点集合中每个特征点与图像采集单元之间的相对位置关系,即通过图像的深度信息可以计算出所述特征点集合中每个特征点相对于图像采集单元的位置信息。
[0088]步骤204,确定所述智能设备在全局坐标系信息的位置信息;
[0089]本示例中,第二位置信息为智能设备在环境中的全局坐标系的位置信息,即第二位置信息为智能设备在欲建立的地图信息的坐标系中的位置信息。
[0090]需要说明的是,所述智能设备位于初始位置时,获取所述智能设备在环境中的第二位置信息的方式为设定所述智能设备在全局坐标系中的位置信息,全局坐标系即为本发明实施例欲建立的地图信息的坐标系。
[0091]具体地,设置所述智能设备的初始位置信息,将所述初始位置信息作为所述智能设备在环境中的第二位置信息;如将所述智能设备的初始位置设置为全局坐标系中的原点坐标(0,0,0),也可以是其他坐标值,只要给定其全局坐标系的坐标值即可,当然,如果将所述智能设备的初始位置设置为全局坐标系中的原点坐标(0,0,0),后续的处理效率会比较闻。
[0092]在所述智能设备移动后,确定所述智能设备在全局坐标系信息的位置信息的方式如下:
[0093]将所述图像采集单元获取的第一信息集合中的第二信息与第一信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点,根据当前第二信息中与所述第一信息中相同的特征点的第三位置信息及当前的第一位置信息计算所述智能设备在环境中的位置信息作为所述智能设备第二位置信息;其中,所述第一信息的采集时刻早于所述第二信息的采集时刻。
[0094]具体的,当智能设备移动后,可以通过智能设备随后采集到的图像信息中的与之前采集图像信息中的相同特征点(已确定其在全局坐标系中的位置)之间的相对位置关系,来进一步确定智能设备在全局坐标系中的位置信息,即计算出智能设备在全局坐标系中的坐标。需要说明的是,智能设备的位置信息也可以通过自身的定位设备进行定位,但智能设备自身定位的位置信息可能会存在误差,而通过不同图像信息(如当前图像帧与前一图像帧)中的相同特征点的位置信息(前一图像帧中的特征点位置信息已确定,且具有极高的精度)来计算智能设备的位置信息,所计算的智能设备的位置信息的精度将会相当高。
[0095]步骤205,根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;
[0096]根据所述智能设备的在全局坐标系中的位置信息即第二位置信息,以及特征点与所述智能设备之间的相对位置信息,即可确定出特征点集合中每个特征点在全局坐标系中的位置信息,即为第三位置信息。
[0097]步骤206,根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息;
[0098]本步骤中,需要根据采集单元采集到的图像信息即第一信息,来确定特征点集合中每个特征点的特征描述信息。特征描述信息是表征特征点的属性的信息。
[0099]具体地,可通过即时定位与地图构建(SLAM, Simultaneous Localizat1n andMapping)方式确定特征点集合中每个特征点的特征描述信息;特征点的特征描述信息能唯一标识一个特征点,其是64维或128维的数据,当然,随着对特征点属性进一步的划分,表征特征点的特征描述信息可以是其他维度的参数。作为示例,特征描述信息可以为尺度和旋转。
[0100]步骤207,建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。
[0101]获取到每个特征点的描述信息后,建立每个特征点的特征描述信息与该特征点的全局坐标系中的位置信息之间的对应关系,相当于为每个特征点赋予了特征描述信息的属性。
[0102]图3为本发明实施例三的信息处理的方法的流程示意图,如图3所示,在本发明一个优选实施例中,信息处理的方法包括以下步骤:
[0103]本实施例的信息处理的方法应用于智能设备中,如该智能设备可以为智能机器人,该智能机器人具有图像采集单元作为一个优选示例,本发明实施例的图像采集单元可以为摄像头。该智能设备还具有图像处理能力。
[0104]步骤301,通过智能设备上设置的图像采集单元获取第一信息及第二信息;
[0105]通过智能设备上设置的摄像头等图像采集单元获取所述智能设备所处的环境的第一信息,该第一信息如可以是图像信息,图像信息中包含摄像头所能拍摄的所有景像信肩、O
[0106]作为一个优选实施例,本示例中的图像采集单元也可以是专用的图像采集及分析系统,如可以是摄像传感器、RGB图像传感器等。
[0107]步骤302,从所述第一信息集合中的第一信息中提取特征点集合;
[0108]提取所采集的图像信息中的所有特征点,形成特征点集合。本示例中,特征点可以为任何物体上的任何部位的成像点。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如白色物体上的黑色斑点,物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
[0109]本示例中,关于图像信息中的特征点的提取方式,可以通过或尺度不变特征变换(SIFT, Scale Invariant Feature Transform)方式、SURF 方式、ORB 方式,获取特征点的信息,将这些获取的特征点形成特征点集合。
[0110]需要说明的是,首先确定出识别特征点的方法,智能设备将根据这些方法从图像信息中提取特征点,由于从图像信息中提取特征点的方式可通过现有技术实现,本示例中不再过多赘述。
[0111]步骤303,根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;
[0112]本示例中,第二信息可以为图像的深度信息,通过该深度信息可以确定出所述特征点集合中每个特征点与图像采集单元之间的相对位置关系,即通过图像的深度信息可以计算出所述特征点集合中每个特征点相对于图像采集单元的位置信息。
[0113]步骤304,确定所述智能设备在全局坐标系信息的位置信息;
[0114]本示例中,第二位置信息为智能设备在环境中的全局坐标系的位置信息,即第二位置信息为智能设备在欲建立的地图信息的坐标系中的位置信息。
[0115]需要说明的是,所述智能设备位于初始位置时,获取所述智能设备在环境中的第二位置信息的方式为设定所述智能设备在全局坐标系中的位置信息,全局坐标系即为本发明实施例欲建立的地图信息的坐标系。
[0116]具体地,设置所述智能设备的初始位置信息,将所述初始位置信息作为所述智能设备在环境中的第二位置信息;如将所述智能设备的初始位置设置为全局坐标系中的原点坐标(0,0,0),也可以是其他坐标值,只要给定其全局坐标系的坐标值即可,当然,如果将所述智能设备的初始位置设置为全局坐标系中的原点坐标(0,0,0),后续的处理效率会比较闻。
[0117]在所述智能设备移动后,确定所述智能设备在全局坐标系信息的位置信息的方式如下:
[0118]将所述图像采集单元获取的第一信息集合中的第二信息与第一信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点,根据当前第二信息中与所述第一信息中相同的特征点的第三位置信息及当前的第一位置信息计算所述智能设备在环境中的位置信息作为所述智能设备第二位置信息;其中,所述第一信息的采集时刻早于所述第二信息的采集时刻。
[0119]具体的,当智能设备移动后,可以通过智能设备随后采集到的图像信息中的与之前采集图像信息中的相同特征点(已确定其在全局坐标系中的位置)之间的相对位置关系,来进一步确定智能设备在全局坐标系中的位置信息,即计算出智能设备在全局坐标系中的坐标。需要说明的是,智能设备的位置信息也可以通过自身的定位设备进行定位,但智能设备自身定位的位置信息可能会存在误差,而通过不同图像信息(如当前图像帧与前一图像帧)中的相同特征点的位置信息(前一图像帧中的特征点位置信息已确定,且具有极高的精度)来计算智能设备的位置信息,所计算的智能设备的位置信息的精度将会相当高。
[0120]步骤305,根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;
[0121]根据所述智能设备的在全局坐标系中的位置信息即第二位置信息,以及特征点与所述智能设备之间的相对位置信息,即可确定出特征点集合中每个特征点在全局坐标系中的位置信息,即为第三位置信息。
[0122]步骤306,根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息;
[0123]本步骤中,需要根据采集单元采集到的图像信息即第一信息,来确定特征点集合中每个特征点的特征描述信息。特征描述信息是表征特征点的属性的信息。
[0124]具体地,可通过即时定位与地图构建(SLAM, Simultaneous Localizat1n andMapping)方式确定特征点集合中每个特征点的特征描述信息;特征点的特征描述信息能唯一标识一个特征点,其是64维或128维的数据,当然,随着对特征点属性进一步的划分,表征特征点的特征描述信息可以是其他维度的参数。作为示例,特征描述信息可以为尺度和旋转。
[0125]步骤307,建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。
[0126]获取到每个特征点的描述信息后,建立每个特征点的特征描述信息与该特征点的全局坐标系中的位置信息之间的对应关系,相当于为每个特征点赋予了特征描述信息的属性。
[0127]步骤308,根据当前采集的特征点集合中每个特征点确定涵盖所述当前采集的特征点集合中每个特征点的正方体空间;
[0128]本发明实施例中,当确定出所采集图像信息中的特征点集合后,确定能涵盖这些特征点的正方体空间,以利用0CT0MAP的方式建立地图信息。
[0129]步骤309,将所述正方体空间均分为八个正方体,作为第一级子节点;将每一第一级子节点均分为八个正方体,作为第二级子节点,直到均分的子节点成为涵盖一个特征点的最小正方体或直到均分的子节点的尺寸达到设定阈值时,结束对子节点的分级。
[0130]对上述的正方体空间进行八等分分割,形成逐级关联的正方体,将这些各级具有关联的正方体作为0CT0MAP的对应节点。
[0131]步骤310,将当前特征点集合中每个特征点的特征描述信息、第三位置信息与所述正方体空间中的最末级的子节点关联。
[0132]将当前采集的特征点集合中每个特征点的特征描述信息、第三位置信息关联到该特征点位置对应的正方体空间节点,并与之前形成的特征点的特征描述信息、第三位置信息与正方体空间节点关联的数据进行合并,形成特定的0CT0MAP数据。
[0133]通过本发明实施例形成的0CT0MAP数据,可以利用正方体空间节点之间的树形结构,实现对0CT0MAP中各级节点中的特征点的查询和管理,并能通过特征点的特征描述信息,来确定两个以上的特征点是否为相同的特征点。当然,也可以利用特征点的位置信息及特征描述信息共同对特征点进行定位和查询等处理。
[0134]图4本发明实施例四的信息处理的方法的流程示意图,如图4所示,在本发明一个优选实施例中,信息处理的方法包括以下步骤:
[0135]本实施例的信息处理的方法应用于智能设备中,如该智能设备可以为智能机器人,该智能机器人具有图像采集单元作为一个优选示例,本发明实施例的图像采集单元可以为摄像头。该智能设备还具有图像处理能力。
[0136]步骤401,通过智能设备上设置的图像采集单元获取第一信息及第二信息;
[0137]通过智能设备上设置的摄像头等图像采集单元获取所述智能设备所处的环境的第一信息,该第一信息如可以是图像信息,图像信息中包含摄像头所能拍摄的所有景像信肩、O
[0138]作为一个优选实施例,本示例中的图像采集单元也可以是专用的图像采集及分析系统,如可以是摄像传感器、RGB图像传感器等。
[0139]步骤402,从所述第一信息集合中的第一信息中提取特征点集合;
[0140]提取所采集的图像信息中的所有特征点,形成特征点集合。本示例中,特征点可以为任何物体上的任何部位的成像点。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如白色物体上的黑色斑点,物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
[0141]本示例中,关于图像信息中的特征点的提取方式,可以通过或尺度不变特征变换(SIFT, Scale Invariant Feature Transform)方式、SURF 方式、ORB 方式,获取特征点的信息,将这些获取的特征点形成特征点集合。
[0142]需要说明的是,首先确定出识别特征点的方法,智能设备将根据这些方法从图像信息中提取特征点,由于从图像信息中提取特征点的方式可通过现有技术实现,本示例中不再过多赘述。
[0143]步骤403,根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;
[0144]本示例中,第二信息可以为图像的深度信息,通过该深度信息可以确定出所述特征点集合中每个特征点与图像采集单元之间的相对位置关系,即通过图像的深度信息可以计算出所述特征点集合中每个特征点相对于图像采集单元的位置信息。
[0145]步骤404,确定所述智能设备在全局坐标系信息的位置信息;
[0146]本示例中,第二位置信息为智能设备在环境中的全局坐标系的位置信息,即第二位置信息为智能设备在欲建立的地图信息的坐标系中的位置信息。
[0147]需要说明的是,所述智能设备位于初始位置时,获取所述智能设备在环境中的第二位置信息的方式为设定所述智能设备在全局坐标系中的位置信息,全局坐标系即为本发明实施例欲建立的地图信息的坐标系。
[0148]具体地,设置所述智能设备的初始位置信息,将所述初始位置信息作为所述智能设备在环境中的第二位置信息;如将所述智能设备的初始位置设置为全局坐标系中的原点坐标(0,0,0),也可以是其他坐标值,只要给定其全局坐标系的坐标值即可,当然,如果将所述智能设备的初始位置设置为全局坐标系中的原点坐标(0,0,0),后续的处理效率会比较闻。
[0149]在所述智能设备移动后,确定所述智能设备在全局坐标系信息的位置信息的方式如下:
[0150]将所述图像采集单元获取的第一信息集合中的第二信息与第一信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点,根据当前第二信息中与所述第一信息中相同的特征点的第三位置信息及当前的第一位置信息计算所述智能设备在环境中的位置信息作为所述智能设备第二位置信息;其中,所述第一信息的采集时刻早于所述第二信息的采集时刻。
[0151]具体的,当智能设备移动后,可以通过智能设备随后采集到的图像信息中的与之前采集图像信息中的相同特征点(已确定其在全局坐标系中的位置)之间的相对位置关系,来进一步确定智能设备在全局坐标系中的位置信息,即计算出智能设备在全局坐标系中的坐标。需要说明的是,智能设备的位置信息也可以通过自身的定位设备进行定位,但智能设备自身定位的位置信息可能会存在误差,而通过不同图像信息(如当前图像帧与前一图像帧)中的相同特征点的位置信息(前一图像帧中的特征点位置信息已确定,且具有极高的精度)来计算智能设备的位置信息,所计算的智能设备的位置信息的精度将会相当高。
[0152]步骤405,根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;
[0153]根据所述智能设备的在全局坐标系中的位置信息即第二位置信息,以及特征点与所述智能设备之间的相对位置信息,即可确定出特征点集合中每个特征点在全局坐标系中的位置信息,即为第三位置信息。
[0154]步骤406,根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息;
[0155]本步骤中,需要根据采集单元采集到的图像信息即第一信息,来确定特征点集合中每个特征点的特征描述信息。特征描述信息是表征特征点的属性的信息。
[0156]具体地,可通过即时定位与地图构建(SLAM, Simultaneous Localizat1n andMapping)方式确定特征点集合中每个特征点的特征描述信息;特征点的特征描述信息能唯一标识一个特征点,其是64维或128维的数据,当然,随着对特征点属性进一步的划分,表征特征点的特征描述信息可以是其他维度的参数。作为示例,特征描述信息可以为尺度和旋转。
[0157]步骤407,建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。
[0158]获取到每个特征点的描述信息后,建立每个特征点的特征描述信息与该特征点的全局坐标系中的位置信息之间的对应关系,相当于为每个特征点赋予了特征描述信息的属性。
[0159]步骤408,确定第二特征点集合中的第二特征点的第三位置信息与第一特征点集合中的第一特征点的第三位置信息相符时,还确定当前的特征点的特征描述信息与所述存储的特征点的特征描述信息是否相符;
[0160]其中,所述第一特征点集合的采集时刻早于所述第二特征点集合的采集时刻。
[0161]本发明实施例中,确定两个以上的特征点是否相同,可以通过特征点的位置信息确定,也可以通过特征点的特征描述信息是否相符来确定,也可以通过上述两种方式的结合来判断;比较准确的方式是进行特征描述信息的对比来确定。当然,在确定所计算的特征点的位置信息较准确的情况下,通过位置信息是否相同来确定特征点之间是否为相同的特征点也是可信赖的。
[0162]通过两个以上特征点的特征描述信息是否相符来判断该两个以上特征点是否相同,具体为:将位置信息相同的特征点的特征描述信息中的各特征描述项分别进行比对,当其相似度超过设定阈值时,确定为该对应的特征描述项相符或相同;而当两个以上的特征点的特征描述信息中的相符或相同的特征描述项超出设定的阈值时,确定为两个以上的特征点的特征描述信息相符或相同;如相符或相同的特征描述项占特征点的特征描述信息中的所有特征描述项的比例为99.99999%时,确定为两个以上的特征点的特征描述信息相符或相同,进而确定为两个以上的特征点相同。
[0163]本示例中,通过特征点的位置信息来确定两个以上的特征点是否为相同的特征点。当两个以上的特征点的位置信息相同时,将认为其是相同的特征点。
[0164]步骤409,若特征描述信息不相符,利用所述第二特征点集合中的第二特征点的特征描述信息对所述第一特征点集合中的第一特征点的特征描述信息进行修正,或者,将所述第二特征点集合中的第二特征点的特征描述信息替换所述第一特征点集合中的第一特征点的特征描述信息;
[0165]确定当前采集的特征点与已存储的之前采集的相同位置处的特征点之间的特征描述信息不符时,确定为当前的特征点发生了变化,如可能是特征点所在的物体发生了变化,之前采集到的特征点所属对象可能是桌子,而当前采集到的特征点所属对象可能换成了椅子。这种情况下,需要对特征点的特征描述信息进行修正,以使所存储的特征点的特征描述信息与实际空间中的对应物体相符。该修正可以是对相对应的特征描述信息中的特征描述项的赋值进行算术平均,也可以是对其进行加权平均等,将平均值更新为对应的特征描述项的赋值。
[0166]当然,也可以直接将当前采集的特征点的特征描述信息替换已存储的对应位置处的特征点的特征描述信息。
[0167]步骤410,若特征描述信息相符,对所述第一特征点集合中的第一特征点的特征描述信息不作处理。
[0168]图5为本发明实施例五的信息处理的方法的流程示意图,如图6所示,在本发明一个优选实施例中,信息处理的方法包括以下步骤:
[0169]本实施例的信息处理的方法应用于智能设备中,如该智能设备可以为智能机器人,该智能机器人具有图像采集单元作为一个优选示例,本发明实施例的图像采集单元可以为摄像头。该智能设备还具有图像处理能力。
[0170]步骤501,通过智能设备上设置的图像采集单元获取第一信息及第二信息;
[0171]通过智能设备上设置的摄像头等图像采集单元获取所述智能设备所处的环境的第一信息,该第一信息如可以是图像信息,图像信息中包含摄像头所能拍摄的所有景像信肩、O
[0172]作为一个优选实施例,本示例中的图像采集单元也可以是专用的图像采集及分析系统,如可以是摄像传感器、RGB图像传感器等。
[0173]步骤502,从所述第一信息集合中的第一信息中提取特征点集合;
[0174]提取所采集的图像信息中的所有特征点,形成特征点集合。本示例中,特征点可以为任何物体上的任何部位的成像点。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如白色物体上的黑色斑点,物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
[0175]本示例中,关于图像信息中的特征点的提取方式,可以通过或尺度不变特征变换(SIFT, Scale Invariant Feature Transform)方式、SURF 方式、ORB 方式,获取特征点的信息,将这些获取的特征点形成特征点集合。
[0176]需要说明的是,首先确定出识别特征点的方法,智能设备将根据这些方法从图像信息中提取特征点,由于从图像信息中提取特征点的方式可通过现有技术实现,本示例中不再过多赘述。
[0177]步骤503,根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;
[0178]本示例中,第二信息可以为图像的深度信息,通过该深度信息可以确定出所述特征点集合中每个特征点与图像采集单元之间的相对位置关系,即通过图像的深度信息可以计算出所述特征点集合中每个特征点相对于图像采集单元的位置信息。
[0179]步骤504,确定所述智能设备在全局坐标系信息的位置信息;
[0180]本示例中,第二位置信息为智能设备在环境中的全局坐标系的位置信息,即第二位置信息为智能设备在欲建立的地图信息的坐标系中的位置信息。
[0181]需要说明的是,所述智能设备位于初始位置时,获取所述智能设备在环境中的第二位置信息的方式为设定所述智能设备在全局坐标系中的位置信息,全局坐标系即为本发明实施例欲建立的地图信息的坐标系。
[0182]具体地,设置所述智能设备的初始位置信息,将所述初始位置信息作为所述智能设备在环境中的第二位置信息;如将所述智能设备的初始位置设置为全局坐标系中的原点坐标(0,0,0),也可以是其他坐标值,只要给定其全局坐标系的坐标值即可,当然,如果将所述智能设备的初始位置设置为全局坐标系中的原点坐标(0,0,0),后续的处理效率会比较闻。
[0183]在所述智能设备移动后,确定所述智能设备在全局坐标系信息的位置信息的方式如下:
[0184]将所述图像采集单元获取的第一信息集合中的第二信息与第一信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点,根据当前第二信息中与所述第一信息中相同的特征点的第三位置信息及当前的第一位置信息计算所述智能设备在环境中的位置信息作为所述智能设备第二位置信息;其中,所述第一信息的采集时刻早于所述第二信息的采集时刻。
[0185]具体的,当智能设备移动后,可以通过智能设备随后采集到的图像信息中的与之前采集图像信息中的相同特征点(已确定其在全局坐标系中的位置)之间的相对位置关系,来进一步确定智能设备在全局坐标系中的位置信息,即计算出智能设备在全局坐标系中的坐标。需要说明的是,智能设备的位置信息也可以通过自身的定位设备进行定位,但智能设备自身定位的位置信息可能会存在误差,而通过不同图像信息(如当前图像帧与前一图像帧)中的相同特征点的位置信息(前一图像帧中的特征点位置信息已确定,且具有极高的精度)来计算智能设备的位置信息,所计算的智能设备的位置信息的精度将会相当高。
[0186]步骤505,根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;
[0187]根据所述智能设备的在全局坐标系中的位置信息即第二位置信息,以及特征点与所述智能设备之间的相对位置信息,即可确定出特征点集合中每个特征点在全局坐标系中的位置信息,即为第三位置信息。
[0188]步骤506,根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息;
[0189]本步骤中,需要根据采集单元采集到的图像信息即第一信息,来确定特征点集合中每个特征点的特征描述信息。特征描述信息是表征特征点的属性的信息。
[0190]具体地,可通过即时定位与地图构建(SLAM, Simultaneous Localizat1n andMapping)方式确定特征点集合中每个特征点的特征描述信息;特征点的特征描述信息能唯一标识一个特征点,其是64维或128维的数据,当然,随着对特征点属性进一步的划分,表征特征点的特征描述信息可以是其他维度的参数。作为示例,特征描述信息可以为尺度和旋转。
[0191]步骤507,建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。
[0192]获取到每个特征点的描述信息后,建立每个特征点的特征描述信息与该特征点的全局坐标系中的位置信息之间的对应关系,相当于为每个特征点赋予了特征描述信息的属性。
[0193]步骤508,将所述图像采集单元获取的第一信息集合中的第四信息中的与第三信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点;
[0194]其中,第三信息的采集时刻早于所述第四信息的采集时刻。
[0195]本发明实施例中,确定两个以上的特征点是否相同,可以通过特征点的位置信息确定,也可以通过特征点的特征描述信息是否相符来确定,也可以通过上述两种方式的结合来判断;比较准确的方式是进行特征描述信息的对比来确定。
[0196]本示例中,通过两个以上特征点的特征描述信息是否相符来判断该两个以上特征点是否相同,具体为:将位置信息相同的特征点的特征描述信息中的各特征描述项分别进行比对,当其相似度超过设定阈值时,确定为该对应的特征描述项相符或相同;而当两个以上的特征点的特征描述信息中的相符或相同的特征描述项超出设定的阈值时,确定为两个以上的特征点的特征描述信息相符或相同;如相符或相同的特征描述项占特征点的特征描述信息中的所有特征描述项的比例为99.99999%时,确定为两个以上的特征点的特征描述信息相符或相同,进而确定为两个以上的特征点相同。
[0197]步骤509,确定相同的特征点中的相对应的特征描述信息中的特征描述项不同时,对所述第三信息中的相同的特征点的相对应的特征描述项分别进行修正,将修正后的结果作为所述第三信息中的相同的特征点的特征描述信息。
[0198]当确定出当前采集的特征点与之前存储的信息数据库中的特征点为相同的特征点时,但其部分特征描述信息中的特征描述项差异较大,此时,需对这些差异较大的特征描述项进行修正,如可以通过求其算术平均值或加权平均值的方式进行修正。
[0199]图6为本发明实施例六的信息处理的方法的流程示意图,如图6所示,在本发明一个优选实施例中,信息处理的方法包括以下步骤:
[0200]本实施例的信息处理的方法应用于智能设备中,如该智能设备可以为智能机器人,该智能机器人具有图像采集单元作为一个优选示例,本发明实施例的图像采集单元可以为摄像头。该智能设备还具有图像处理能力。
[0201]步骤601,通过智能设备上设置的图像采集单元获取第一信息及第二信息;
[0202]通过智能设备上设置的摄像头等图像采集单元获取所述智能设备所处的环境的第一信息,该第一信息如可以是图像信息,图像信息中包含摄像头所能拍摄的所有景像信肩、O
[0203]作为一个优选实施例,本示例中的图像采集单元也可以是专用的图像采集及分析系统,如可以是摄像传感器、RGB图像传感器等。
[0204]步骤602,从所述第一信息集合中的第一信息中提取特征点集合;
[0205]提取所采集的图像信息中的所有特征点,形成特征点集合。本示例中,特征点可以为任何物体上的任何部位的成像点。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如白色物体上的黑色斑点,物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
[0206]本示例中,关于图像信息中的特征点的提取方式,可以通过或尺度不变特征变换(SIFT, Scale Invariant Feature Transform)方式、SURF 方式、ORB 方式,获取特征点的信息,将这些获取的特征点形成特征点集合。
[0207]需要说明的是,首先确定出识别特征点的方法,智能设备将根据这些方法从图像信息中提取特征点,由于从图像信息中提取特征点的方式可通过现有技术实现,本示例中不再过多赘述。
[0208]步骤603,根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;
[0209]本示例中,第二信息可以为图像的深度信息,通过该深度信息可以确定出所述特征点集合中每个特征点与图像采集单元之间的相对位置关系,即通过图像的深度信息可以计算出所述特征点集合中每个特征点相对于图像采集单元的位置信息。
[0210]步骤604,确定所述智能设备在全局坐标系信息的位置信息;
[0211]本示例中,第二位置信息为智能设备在环境中的全局坐标系的位置信息,即第二位置信息为智能设备在欲建立的地图信息的坐标系中的位置信息。
[0212]需要说明的是,所述智能设备位于初始位置时,获取所述智能设备在环境中的第二位置信息的方式为设定所述智能设备在全局坐标系中的位置信息,全局坐标系即为本发明实施例欲建立的地图信息的坐标系。
[0213]具体地,设置所述智能设备的初始位置信息,将所述初始位置信息作为所述智能设备在环境中的第二位置信息;如将所述智能设备的初始位置设置为全局坐标系中的原点坐标(0,0,0),也可以是其他坐标值,只要给定其全局坐标系的坐标值即可,当然,如果将所述智能设备的初始位置设置为全局坐标系中的原点坐标(0,0,0),后续的处理效率会比较闻。
[0214]在所述智能设备移动后,确定所述智能设备在全局坐标系信息的位置信息的方式如下:
[0215]将所述图像采集单元获取的第一信息集合中的第二信息与第一信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点,根据当前第二信息中与所述第一信息中相同的特征点的第三位置信息及当前的第一位置信息计算所述智能设备在环境中的位置信息作为所述智能设备第二位置信息;其中,所述第一信息的采集时刻早于所述第二信息的采集时刻。
[0216]具体的,当智能设备移动后,可以通过智能设备随后采集到的图像信息中的与之前采集图像信息中的相同特征点(已确定其在全局坐标系中的位置)之间的相对位置关系,来进一步确定智能设备在全局坐标系中的位置信息,即计算出智能设备在全局坐标系中的坐标。需要说明的是,智能设备的位置信息也可以通过自身的定位设备进行定位,但智能设备自身定位的位置信息可能会存在误差,而通过不同图像信息(如当前图像帧与前一图像帧)中的相同特征点的位置信息(前一图像帧中的特征点位置信息已确定,且具有极高的精度)来计算智能设备的位置信息,所计算的智能设备的位置信息的精度将会相当高。
[0217]步骤605,根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;
[0218]根据所述智能设备的在全局坐标系中的位置信息即第二位置信息,以及特征点与所述智能设备之间的相对位置信息,即可确定出特征点集合中每个特征点在全局坐标系中的位置信息,即为第三位置信息。
[0219]步骤606,根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息;
[0220]本步骤中,需要根据采集单元采集到的图像信息即第一信息,来确定特征点集合中每个特征点的特征描述信息。特征描述信息是表征特征点的属性的信息。
[0221]具体地,可通过即时定位与地图构建(SLAM, Simultaneous Localizat1n andMapping)方式确定特征点集合中每个特征点的特征描述信息;特征点的特征描述信息能唯一标识一个特征点,其是64维或128维的数据,当然,随着对特征点属性进一步的划分,表征特征点的特征描述信息可以是其他维度的参数。作为示例,特征描述信息可以为尺度和旋转。
[0222]步骤607,建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。
[0223]获取到每个特征点的描述信息后,建立每个特征点的特征描述信息与该特征点的全局坐标系中的位置信息之间的对应关系,相当于为每个特征点赋予了特征描述信息的属性。
[0224]步骤608,将所述图像采集单元获取的第一信息集合中的第六信息中的与第五信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点;
[0225]其中,所述第五信息的采集时刻早于所述第六信息的采集时刻。
[0226]本示例中,通过两个以上特征点的特征描述信息是否相符来判断该两个以上特征点是否相同,具体为:将位置信息相同的特征点的特征描述信息中的各特征描述项分别进行比对,当其相似度超过设定阈值时,确定为该对应的特征描述项相符或相同;而当两个以上的特征点的特征描述信息中的相符或相同的特征描述项超出设定的阈值时,确定为两个以上的特征点的特征描述信息相符或相同;如相符或相同的特征描述项占特征点的特征描述信息中的所有特征描述项的比例为99.99999%时,确定为两个以上的特征点的特征描述信息相符或相同,进而确定为两个以上的特征点相同。
[0227]步骤609,记录每一特征点的被采集的次数,将超出设定次数的特征点作为稳定的特征点。
[0228]智能设备对特征点进行采集的过程中,会重复多次采集,通过对相同特征点的统计,可以确定哪些特征点是稳定的特征点,例如一些非移动物体如房屋、树木和花草等上采集到的特征点,应当是稳定的特征点。
[0229]通过确定稳定的特征点,可以利用这些稳定的特征点进行其他特征点的位置修正及智能设备的位置的修正等。
[0230]图7为本发明实施例七的信息处理的方法的流程示意图,如图7所示,在本发明一个优选实施例中,信息处理的方法包括以下步骤:
[0231]本实施例的信息处理的方法应用于智能设备中,如该智能设备可以为智能机器人,该智能机器人具有图像采集单元作为一个优选示例,本发明实施例的图像采集单元可以为摄像头。该智能设备还具有图像处理能力。
[0232]步骤701,通过智能设备上设置的图像采集单元获取第一信息及第二信息;
[0233]通过智能设备上设置的摄像头等图像采集单元获取所述智能设备所处的环境的第一信息,该第一信息如可以是图像信息,图像信息中包含摄像头所能拍摄的所有景像信肩、O
[0234]作为一个优选实施例,本示例中的图像采集单元也可以是专用的图像采集及分析系统,如可以是摄像传感器、RGB图像传感器等。
[0235]步骤702,从所述第一信息集合中的第一信息中提取特征点集合;
[0236]提取所采集的图像信息中的所有特征点,形成特征点集合。本示例中,特征点可以为任何物体上的任何部位的成像点。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如白色物体上的黑色斑点,物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
[0237]本示例中,关于图像信息中的特征点的提取方式,可以通过或尺度不变特征变换(SIFT, Scale Invariant Feature Transform)方式、SURF 方式、ORB 方式,获取特征点的信息,将这些获取的特征点形成特征点集合。
[0238]需要说明的是,首先确定出识别特征点的方法,智能设备将根据这些方法从图像信息中提取特征点,由于从图像信息中提取特征点的方式可通过现有技术实现,本示例中不再过多赘述。
[0239]步骤703,根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;
[0240]本示例中,第二信息可以为图像的深度信息,通过该深度信息可以确定出所述特征点集合中每个特征点与图像采集单元之间的相对位置关系,即通过图像的深度信息可以计算出所述特征点集合中每个特征点相对于图像采集单元的位置信息。
[0241]步骤704,确定所述智能设备在全局坐标系信息的位置信息;
[0242]本示例中,第二位置信息为智能设备在环境中的全局坐标系的位置信息,即第二位置信息为智能设备在欲建立的地图信息的坐标系中的位置信息。
[0243]需要说明的是,所述智能设备位于初始位置时,获取所述智能设备在环境中的第二位置信息的方式为设定所述智能设备在全局坐标系中的位置信息,全局坐标系即为本发明实施例欲建立的地图信息的坐标系。
[0244]具体地,设置所述智能设备的初始位置信息,将所述初始位置信息作为所述智能设备在环境中的第二位置信息;如将所述智能设备的初始位置设置为全局坐标系中的原点坐标(0,0,0),也可以是其他坐标值,只要给定其全局坐标系的坐标值即可,当然,如果将所述智能设备的初始位置设置为全局坐标系中的原点坐标(0,0,0),后续的处理效率会比较闻。
[0245]在所述智能设备移动后,确定所述智能设备在全局坐标系信息的位置信息的方式如下:
[0246]将所述图像采集单元获取的第一信息集合中的第二信息与第一信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点,根据当前第二信息中与所述第一信息中相同的特征点的第三位置信息及当前的第一位置信息计算所述智能设备在环境中的位置信息作为所述智能设备第二位置信息;其中,所述第一信息的采集时刻早于所述第二信息的采集时刻。
[0247]具体的,当智能设备移动后,可以通过智能设备随后采集到的图像信息中的与之前采集图像信息中的相同特征点(已确定其在全局坐标系中的位置)之间的相对位置关系,来进一步确定智能设备在全局坐标系中的位置信息,即计算出智能设备在全局坐标系中的坐标。需要说明的是,智能设备的位置信息也可以通过自身的定位设备进行定位,但智能设备自身定位的位置信息可能会存在误差,而通过不同图像信息(如当前图像帧与前一图像帧)中的相同特征点的位置信息(前一图像帧中的特征点位置信息已确定,且具有极高的精度)来计算智能设备的位置信息,所计算的智能设备的位置信息的精度将会相当高。
[0248]步骤705,根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;
[0249]根据所述智能设备的在全局坐标系中的位置信息即第二位置信息,以及特征点与所述智能设备之间的相对位置信息,即可确定出特征点集合中每个特征点在全局坐标系中的位置信息,即为第三位置信息。
[0250]步骤706,根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息;
[0251]本步骤中,需要根据采集单元采集到的图像信息即第一信息,来确定特征点集合中每个特征点的特征描述信息。特征描述信息是表征特征点的属性的信息。
[0252]具体地,可通过即时定位与地图构建(SLAM, Simultaneous Localizat1n andMapping)方式确定特征点集合中每个特征点的特征描述信息;特征点的特征描述信息能唯一标识一个特征点,其是64维或128维的数据,当然,随着对特征点属性进一步的划分,表征特征点的特征描述信息可以是其他维度的参数。作为示例,特征描述信息可以为尺度和旋转。
[0253]步骤707,建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。
[0254]获取到每个特征点的描述信息后,建立每个特征点的特征描述信息与该特征点的全局坐标系中的位置信息之间的对应关系,相当于为每个特征点赋予了特征描述信息的属性。
[0255]步骤708,在所述智能设备移动后,确定至少涵盖第三特征点集合中的所有的特征点的正方体空间,并确定所述至少涵盖第三特征点集合中的所有的特征点的正方体空间的第四位置信息;
[0256]其中,第四位置信息均为在所述智能设备的环境的坐标系中的位置信息。
[0257]智能设备不断移动过程中,确定至少涵盖第三特征点集合中的所有的特征点的正方体空间,并以该正方体空间中所有特征点到已建立的0CT0MAP数据中进行匹配,确定这些特征点是否已被采集过,若确定已被采集过,则确定智能终端的当前位置与之前的采集位置重合。
[0258]步骤709,在与所述第四位置处对应的位置确定能涵盖所述至少涵盖第三特征点集合中的所有的特征点的正方体空间的正方体节点的上一级正方体节点;
[0259]本步骤中,在已建立的0CT0MAP数据中确定待匹配的特征点集合,如果将当前采集的特征点集合到整个已建立的0CT0MAP数据中进行匹配,会导致计算量过大,而确定出当前采集的特征点集合中特征点的分布区域,并在已建立的0CT0MAP数据中的对应区域匹配当前采集的特征点集合中的特征点。具体的,可以将涵盖步骤708中确定的正方体的0CT0MAP数据中的正方体节点,作为待匹配对象,当然,为避免误差,可以将涵盖步骤708中确定的正方体的0CT0MAP数据中的正方体节点的父节点作为待匹配对象。
[0260]当然,作为一种实现方式,也可以对步骤708中确定的正方体进行八等份的均分,分为八个小正方体,再以每个小正方体的位置信息确定0CT0MAP数据中的能涵盖每个小正方体的最小正方体节点,再分别将每个小正方体中的特征点分别与待匹配正方体中的特征点分别进行匹配。
[0261]步骤710,以当前提取的所有的特征点的特征描述信息在所述上一级正方体节点中的所有特征点的特征描述信息中进行匹配;
[0262]步骤711,若超过设定比例的特征点的特征描述信息满足匹配要求,则确定所述智能设备的当前位置与之前的位置重合。
[0263]例如,当所占比例超过99.99999%的特征点的特征描述信息满足匹配要求时,确定所述智能设备的当前位置与之前的位置重合。上述的设定比例可根据系统要求的精度而进行设定,可以是任意比例值,如也可以是99.999999%,99.9999%,99.9%,99.9%等。本发明实施例不再一一赘述。
[0264]图8为本发明实施例八的信息处理的方法的流程示意图,如图9所示,在本发明一个优选实施例中,信息处理的方法包括以下步骤:
[0265]本实施例的信息处理的方法应用于智能设备中,如该智能设备可以为智能机器人,该智能机器人具有图像采集单元作为一个优选示例,本发明实施例的图像采集单元可以为摄像头。该智能设备还具有图像处理能力。
[0266]步骤801,通过智能设备上设置的图像采集单元获取第一信息及第二信息;
[0267]通过智能设备上设置的摄像头等图像采集单元获取所述智能设备所处的环境的第一信息,该第一信息如可以是图像信息,图像信息中包含摄像头所能拍摄的所有景像信肩、O
[0268]作为一个优选实施例,本示例中的图像采集单元也可以是专用的图像采集及分析系统,如可以是摄像传感器、RGB图像传感器等。
[0269]步骤802,从所述第一信息集合中的第一信息中提取特征点集合;
[0270]提取所采集的图像信息中的所有特征点,形成特征点集合。本示例中,特征点可以为任何物体上的任何部位的成像点。如物体的边缘处的点,也可以是物体上的与该物体的特性不一致的点,如白色物体上的黑色斑点,物体上凸起的点,物体上凹下点,金属制物体上的锈点,物体表面漆体上的剥落点等。
[0271]本示例中,关于图像信息中的特征点的提取方式,可以通过或尺度不变特征变换(SIFT, Scale Invariant Feature Transform)方式、SURF 方式、ORB 方式,获取特征点的信息,将这些获取的特征点形成特征点集合。
[0272]需要说明的是,首先确定出识别特征点的方法,智能设备将根据这些方法从图像信息中提取特征点,由于从图像信息中提取特征点的方式可通过现有技术实现,本示例中不再过多赘述。
[0273]步骤803,根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;
[0274]本示例中,第二信息可以为图像的深度信息,通过该深度信息可以确定出所述特征点集合中每个特征点与图像采集单元之间的相对位置关系,即通过图像的深度信息可以计算出所述特征点集合中每个特征点相对于图像采集单元的位置信息。
[0275]步骤804,确定所述智能设备在全局坐标系信息的位置信息;
[0276]本示例中,第二位置信息为智能设备在环境中的全局坐标系的位置信息,即第二位置信息为智能设备在欲建立的地图信息的坐标系中的位置信息。
[0277]需要说明的是,所述智能设备位于初始位置时,获取所述智能设备在环境中的第二位置信息的方式为设定所述智能设备在全局坐标系中的位置信息,全局坐标系即为本发明实施例欲建立的地图信息的坐标系。
[0278]具体地,设置所述智能设备的初始位置信息,将所述初始位置信息作为所述智能设备在环境中的第二位置信息;如将所述智能设备的初始位置设置为全局坐标系中的原点坐标(0,0,0),也可以是其他坐标值,只要给定其全局坐标系的坐标值即可,当然,如果将所述智能设备的初始位置设置为全局坐标系中的原点坐标(0,0,0),后续的处理效率会比较闻。
[0279]在所述智能设备移动后,确定所述智能设备在全局坐标系信息的位置信息的方式如下:
[0280]将所述图像采集单元获取的第一信息集合中的第二信息与第一信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点,根据当前第二信息中与所述第一信息中相同的特征点的第三位置信息及当前的第一位置信息计算所述智能设备在环境中的位置信息作为所述智能设备第二位置信息;其中,所述第一信息的采集时刻早于所述第二信息的采集时刻。
[0281]具体地,当智能设备移动后,可以通过智能设备随后采集到的图像信息中的与之前采集图像信息中的相同特征点(已确定其在全局坐标系中的位置)之间的相对位置关系,来进一步确定智能设备在全局坐标系中的位置信息,即计算出智能设备在全局坐标系中的坐标。需要说明的是,智能设备的位置信息也可以通过自身的定位设备进行定位,但智能设备自身定位的位置信息可能会存在误差,而通过不同图像信息(如当前图像帧与前一图像帧)中的相同特征点的位置信息(前一图像帧中的特征点位置信息已确定,且具有极高的精度)来计算智能设备的位置信息,所计算的智能设备的位置信息的精度将会相当高。
[0282]步骤805,根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;
[0283]根据所述智能设备的在全局坐标系中的位置信息即第二位置信息,以及特征点与所述智能设备之间的相对位置信息,即可确定出特征点集合中每个特征点在全局坐标系中的位置信息,即为第三位置信息。
[0284]步骤806,根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息;
[0285]本步骤中,需要根据采集单元采集到的图像信息即第一信息,来确定特征点集合中每个特征点的特征描述信息。特征描述信息是表征特征点的属性的信息。
[0286]具体地,可通过即时定位与地图构建(SLAM, Simultaneous Localizat1n andMapping)方式确定特征点集合中每个特征点的特征描述信息;特征点的特征描述信息能唯一标识一个特征点,其是64维或128维的数据,当然,随着对特征点属性进一步的划分,表征特征点的特征描述信息可以是其他维度的参数。作为示例,特征描述信息可以为尺度和旋转。
[0287]步骤807,建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。
[0288]获取到每个特征点的描述信息后,建立每个特征点的特征描述信息与该特征点的全局坐标系中的位置信息之间的对应关系,相当于为每个特征点赋予了特征描述信息的属性。
[0289]步骤808,在所述智能设备移动后,确定至少涵盖第四特征点集合中的所有的特征点的正方体空间,并对所述至少涵盖第四特征点集合中的所有的特征点的正方体空间进行均分,并行以每一均分后的正方体空间中的所有的特征点的特征描述信息在所述智能设备在初始位置采集的所有特征点的特征描述信息中进行匹配;
[0290]本步骤中,在已建立的0CT0MAP数据中确定待匹配的特征点集合,如果将当前采集的特征点集合到整个已建立的0CT0MAP数据中进行匹配,会导致计算量过大,而确定出当前采集的特征点集合中特征点的分布区域,并在已建立的0CT0MAP数据中的对应区域匹配当前采集的特征点集合中的特征点。具体的,可以将涵盖步骤808中确定的正方体的0CT0MAP数据中的正方体节点,作为待匹配对象,当然,为避免误差,可以将涵盖步骤808中确定的正方体的0CT0MAP数据中的正方体节点的父节点作为待匹配对象。
[0291]当然,作为一种实现方式,也可以对步骤808中确定的正方体进行八等份的均分,分为八个小正方体,再以每个小正方体的位置信息确定0CT0MAP数据中的能涵盖每个小正方体的最小正方体节点,再分别将每个小正方体中的特征点分别与待匹配正方体中的特征点分别进行匹配。
[0292]步骤809,若超过设定比例的特征点的特征描述信息满足匹配要求,则确定所述智能设备形成闭环。
[0293]例如,当超过99.99999%的特征点的特征描述信息满足匹配要求时,确定所述智能设备的初始位置重合,智能设备形成闭环。上述的设定比例可根据系统要求的精度而进行设定,可以是任意比例值,如也可以是99.999999%,99.9999%,99.9%,99.9%等。本发明实施例不再一一赘述。
[0294]图9为本发明实施例的智能设备的组成结构示意图,如图9所示,本发明实施例的智能设备上设置有图像采集单元;所述智能设备包括提取单元1001、第一计算单元1002、获取单元1003、第二计算单元1004、第二确定单元1005和对应单元1006,其中:
[0295]所述图像采集单元,用于获取第一信息集合及第二信息集合;本发明实施例的图像采集单元可以为摄像头,也可以为RGB图像传感器等器件。第一信息集合如可以是图像信息,图像信息中包含摄像头所能拍摄的所有景像信息。第二信息集合可以是深度信息等。
[0296]提取单元1001,用于从所述第一信息集合中的第一信息中提取特征点集合;
[0297]第一计算单元1002,用于根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;
[0298]获取单元1003,用于获取所述智能设备在环境中的第二位置信息;
[0299]第二计算单元1004,用于根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;
[0300]第二确定单元1005,用于根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息;
[0301]对应单元1006,用于建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。
[0302]上述获取单元1003包括设置子单元(图9中未示出)和确定子单元(图9中未示出),其中:
[0303]设置子单元,用于设置所述智能设备的初始位置信息;
[0304]确定子单元,用于将所述初始位置信息确定为所述智能设备在环境中的第二位置信息。
[0305]上述获取单元1003还可以为以下构成:获取单元1003包括第一确定子单元(图9中未示出)、计算子单元(图9中未示出)和第二确定子单元(图9中未示出),其中:
[0306]确定子单元,用于在所述智能设备移动后,将所述图像采集单元获取的第一信息集合中的第二信息与第一信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点;
[0307]计算子单元,用于根据当前第一信息中的与所述第一信息中的相同的特征点的第三位置信息及第一位置信息计算所述智能设备的位置信息;
[0308]第二确定子单元,用于将所述计算子单元计算的位置信息作为所述智能设备在环境中的第二位置信息;
[0309]其中,所述第一信息的采集时刻早于所述第二信息的采集时刻。
[0310]在图9所示的智能设备的基础上,本发明实施例的智能设备还包括第三确定单元(图中未示出)、均分单元(图中未示出)和关联单元(图中未示出),其中:
[0311]第三确定单元,用于根据当前采集的特征点集合中每个特征点确定涵盖所述当前采集的特征点集合中每个特征点的正方体空间;
[0312]均分单元,用于将所述正方体空间均分为八个正方体,作为第一级子节点;以及,将每一第一级子节点均分为八个正方体,作为第二级子节点,直到均分的子节点成为涵盖一个特征点的最小正方体或直到均分的子节点的尺寸达到设定阈值时,结束对子节点的分级;
[0313]关联单元,用于将当前特征点集合中每个特征点的特征描述信息、第三位置信息与所述正方体空间中的最末级的子节点关联。
[0314]在图9所示的智能设备的基础上,本发明实施例的智能设备还包括第四确定单元(图中未示出)和修正单元(图中未示出),其中:
[0315]第四确定单元,用于确定第二特征点集合中的第二特征点的第三位置信息与第一特征点集合中的第一特征点的第三位置信息相符时,还确定当前的特征点的特征描述信息与所述存储的特征点的特征描述信息是否相符;其中,所述第一特征点集合的采集时刻早于所述第二特征点集合的采集时刻;
[0316]修正单元,用于确定若特征描述信息不相符,利用所述第二特征点集合中的第二特征点的特征描述信息对所述第一特征点集合中的第一特征点的特征描述信息进行修正,或者,将所述第二特征点集合中的第二特征点的特征描述信息替换所述第一特征点集合中的第一特征点的特征描述信息;若特征描述信息相符,对所述第一特征点集合中的第一特征点的特征描述信息不作处理。
[0317]在图9所示的智能设备的基础上,本发明实施例的智能设备还包括第五确定单元(图中未示出)和第六确定单元(图中未示出),其中:
[0318]第五确定单元,用于将所述图像采集单元获取的第一信息集合中的第四信息中的与第三信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点;其中,所述第三信息的采集时刻早于所述第四信息的采集时刻;
[0319]第六确定单元,用于确定相同的特征点中的相对应的特征描述信息中的特征描述项不同时,对所述第三信息中的相同的特征点的相对应的特征描述项分别进行修正,将修正后的结果作为所述第三信息中的相同的特征点的特征描述信息。
[0320]在图9所示的智能设备的基础上,本发明实施例的智能设备还包括第七确定单元(图中未示出)、记录单元(图中未示出)和第八确定单元(图中未示出),其中:
[0321]第七确定单元,用于将所述图像采集单元获取的第一信息集合中的第六信息中的与第五信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点;其中,所述第五信息的采集时刻早于所述第六信息的采集时刻;
[0322]记录单元,用于记录每一特征点的被采集的次数;
[0323]第八确定单元,用于将超出设定次数的特征点作为稳定的特征点。
[0324]本领域技术人员应当理解,本发明实施例的智能设备中各处理单元及其子单元的功能,可参照前述的信息处理的方法的相关描述而理解,本发明实施例的智能设备中各处理单元及其子单元,可通过实现本发明实施例所述的功能的模拟电路而实现,也可以通过执行本发明实施例所述的功能的软件在智能设备上的运行而实现。
[0325]图10为本发明实施例的智能设备的组成结构示意图,如图10所示,本发明实施例的智能设备上设置有图像采集单元;本发明实施例的智能设备包括提取单元110、第一计算单元111、获取单元112、第二计算单元113、第二确定单元114、对应单元115、第四确定单元116、第五确定单元117、第一匹配单元118和第六确定单元119,其中:
[0326]所述图像采集单元,用于获取第一信息集合及第二信息集合;本发明实施例的图像采集单元可以为摄像头,也可以为RGB图像传感器等器件。第一信息集合如可以是图像信息,图像信息中包含摄像头所能拍摄的所有景像信息。第二信息集合可以是深度信息等。
[0327]提取单元110,用于从所述第一信息集合中的第一信息中提取特征点集合;
[0328]第一计算单元111,用于根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;
[0329]获取单元112,用于获取所述智能设备在环境中的第二位置信息;
[0330]第二计算单元113,用于根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息;
[0331]第二确定单元114,用于根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息;
[0332]对应单元115,用于建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系;
[0333]第四确定单元116,用于在所述智能设备移动后,确定至少涵盖第三特征点集合中的所有的特征点的正方体空间,并确定所述至少涵盖第三特征点集合中的所有的特征点的正方体空间的第四位置信息;
[0334]第五确定单元117,用于在与所述第四位置处对应的位置确定能涵盖所述至少涵盖第三特征点集合中的所有的特征点的正方体空间的正方体节点的上一级正方体节点;
[0335]第一匹配单元118,用于以当前提取的所有的特征点的特征描述信息在所述上一级正方体节点中的所有特征点的特征描述信息中进行匹配;
[0336]第六确定单元119,用于确定超过设定比例的特征点的特征描述信息满足匹配要求,时确定所述智能设备的当前位置与之前的位置重合。
[0337]其中,所述第一位置信息为特征点相对于所述图像采集单元的位置信息;
[0338]本发明实施例中,所述第三位置信息及所述第四位置信息均为在所述智能设备的环境的坐标系中的位置信息。
[0339]在图10所示的智能设备的基础上,本发明实施例的智能设备还包括第七确定单元(图10中未示出)、第二匹配单元(图10中未示出)和第八确定单元(图10中未示出),其中:
[0340]第七确定单元,用于在所述智能设备移动后,确定至少涵盖第四特征点集合中的所有的特征点的正方体空间;
[0341]均分单元,用于对所述至少涵盖第四特征点集合中的所有的特征点的正方体空间进行均分;
[0342]第二匹配单元,还用于行以每一均分后的正方体空间中的所有的特征点的特征描述信息在所述智能设备在初始位置采集的所有特征点的特征描述信息中进行匹配;
[0343]第八确定单元,用于在超过设定比例的特征点的特征描述信息满足匹配要求时,确定所述智能设备形成闭环。
[0344]本实例中,处理单元的名称仅限于图10所示的结构中,与前述图9中所示的处理单元的名称没有关联。即使名称相同,也不应理解为相同的处理单元。
[0345]本领域技术人员应当理解,本发明实施例的智能设备中各处理单元及其子单元的功能,可参照前述的信息处理的方法及图9所示的智能设备的相关描述而理解,本发明实施例的智能设备中各处理单元及其子单元,可通过实现本发明实施例所述的功能的模拟电路而实现,也可以通过执行本发明实施例所述的功能的软件在智能设备上的运行而实现。
[0346]本发明的实施例中,所述智能设备可以为机器人。
[0347]本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
[0348]在本发明所提供的几个实施例中,应该理解到,所揭露的方法和智能设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
[0349]上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0350]另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
[0351]本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM, Read-Only Memory)、随机存取存储器(RAM, Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0352]或者,本发明实施例上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM, Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0353]以上所述,仅为本发明的【具体实施方式】,但本发明的保护范围并不局限于此,任何熟悉本【技术领域】的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。
【权利要求】
1.一种信息处理的方法,应用于智能设备中,所述智能设备上设置有图像采集单元;其特征在于,所述方法包括: 通过所述图像采集单元获取第一信息集合及第二信息集合; 从所述第一信息集合中的第一信息中提取特征点集合; 根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;获取所述智能设备在环境中的第二位置信息;根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息; 根据所述第一信息集合中的第一信息确定所述特征点集合中每个特征点的特征描述信息; 建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。
2.根据权利要求1所述的方法,其特征在于,所述获取所述智能设备在环境中的第二位置信息,包括: 获取所述智能设备的初始位置信息,将所述初始位置信息作为所述智能设备在环境中的第二位置信息; 以及在所述智能设备移动后,将所述图像采集单元获取的第一信息集合中的第二信息与第一信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点,根据当前第二信息中与所述第一信息中相同的特征点的第三位置信息及当前的第一位置信息计算所述智能设备在环境中的位置信息作为所述智能设备第二位置信息; 其中,所述第一信息的采集时刻早于所述第二信息的采集时刻。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括: 根据当前采集的特征点集合中每个特征点确定涵盖所述当前采集的特征点集合中每个特征点的正方体空间; 将所述正方体空间均分为八个正方体,作为第一级子节点; 将每一第一级子节点均分为八个正方体,作为第二级子节点,直到均分的子节点成为涵盖一个特征点的最小正方体或直到均分的子节点的尺寸达到设定阈值时,结束对子节点的分级; 将当前特征点集合中每个特征点的特征描述信息、第三位置信息与所述正方体空间中的最末级的子节点关联。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括: 确定第二特征点集合中的第二特征点的第三位置信息与第一特征点集合中的第一特征点的第三位置信息相符时,还确定当前的特征点的特征描述信息与所述存储的特征点的特征描述信息是否相符; 若特征描述信息不相符,利用所述第二特征点集合中的第二特征点的特征描述信息对所述第一特征点集合中的第一特征点的特征描述信息进行修正,或者,将所述第二特征点集合中的第二特征点的特征描述信息替换所述第一特征点集合中的第一特征点的特征描述信息; 若特征描述信息相符,对所述第一特征点集合中的第一特征点的特征描述信息不作处理; 其中,所述第一特征点集合的采集时刻早于所述第二特征点集合的采集时刻。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括: 将所述图像采集单元获取的第一信息集合中的第四信息与第三信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点; 确定相同的特征点中的相对应的特征描述信息中的特征描述项不同时,对所述第三信息中的相同的特征点的相对应的特征描述项分别进行修正,将修正后的结果作为所述第三信息中的相同的特征点的特征描述信息; 其中,所述第三信息的采集时刻早于所述第四信息的采集时刻。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括: 将所述图像采集单元获取的第一信息集合中的第六信息与第五信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点; 记录每一特征点的被采集的次数,将超出设定次数的特征点作为稳定的特征点; 其中,所述第五信息的采集时刻早于所述第六信息的采集时刻。
7.根据权利要求1至6任一项所述的方法,其特征在于, 第一信息集合包括图像信息集合; 第二信息集合包括深度信息集合; 所述第一位置信息为特征点相对于所述图像采集单元的位置信息; 所述第三位置信息为特征点在所述智能设备的环境的坐标系中的位置信息。
8.一种信息处理方法,应用于智能设备中,所述智能设备上设置有图像采集单元;其特征在于,所述方法包括: 通过所述图像采集单元获取第一信息集合及第二信息集合; 从所述第一信息集合中的第一信息中提取特征点集合; 根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息;获取所述智能设备在环境中的第二位置信息;根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息; 根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息; 建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系; 在所述智能设备移动后,确定至少涵盖第三特征点集合中的所有的特征点的正方体空间,并确定所述至少涵盖第三特征点集合中的所有的特征点的正方体空间的第四位置信息; 在与所述第四位置处对应的位置确定能涵盖所述至少涵盖第三特征点集合中的所有的特征点的正方体空间的正方体节点的上一级正方体节点; 以当前提取的所有的特征点的特征描述信息在所述上一级正方体节点中的所有特征点的特征描述信息中进行匹配; 若超过设定比例的特征点的特征描述信息满足匹配要求,则确定所述智能设备的当前位置与之前的位置重合。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括: 在所述智能设备移动后,确定至少涵盖第四特征点集合中的所有的特征点的正方体空间,并对所述至少涵盖第四特征点集合中的所有的特征点的正方体空间进行均分,并行以每一均分后的正方体空间中的所有的特征点的特征描述信息在所述智能设备在初始位置采集的所有特征点的特征描述信息中进行匹配; 若超过设定比例的特征点的特征描述信息满足匹配要求,则确定所述智能设备形成闭环。
10.根据权利要求8所述的方法,其特征在于,所述获取所述智能设备在环境中的第二位置信息,包括: 设置所述智能设备的初始位置信息,将所述初始位置信息作为所述智能设备在环境中的第二位置信息; 以及在所述智能设备移动后,将所述图像采集单元获取的第一信息集合中的第二信息与第一信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点,根据当前第二信息中与所述第一信息中相同的特征点的第三位置信息及当前的第一位置信息计算所述智能设备在环境中的位置信息作为所述智能设备第二位置信息; 其中,所述第一信息的采集时刻早于所述第二信息的采集时刻。
11.根据权利要求8所述的方法,其特征在于,所述方法还包括: 根据当前采集的特征点集合中每个特征点确定涵盖所述当前采集的特征点集合中每个特征点的正方体空间; 将所述正方体空间均分为八个正方体,作为第一级子节点; 将每一第一级子节点均分为八个正方体,作为第二级子节点,直到均分的子节点成为涵盖一个特征点的最小正方体或直到均分的子节点的尺寸达到设定阈值时,结束对子节点的分级; 将当前特征点集合中每个特征点的特征描述信息、第三位置信息与所述正方体空间中的最末级的子节点关联。
12.根据权利要求8所述的方法,其特征在于,所述方法还包括: 确定第二特征点集合中的第二特征点的第三位置信息与第一特征点集合中的第一特征点的第三位置信息相符时,还确定当前的特征点的特征描述信息与所述存储的特征点的特征描述信息是否相符; 若特征描述信息不相符,利用所述第二特征点集合中的第二特征点的特征描述信息对所述第一特征点集合中的第一特征点的特征描述信息进行修正,或者,将所述第二特征点集合中的第二特征点的特征描述信息替换所述第一特征点集合中的第一特征点的特征描述信息; 若特征描述信息相符,对所述第一特征点集合中的第一特征点的特征描述信息不作处理; 其中,所述第一特征点集合的采集时刻早于所述第二特征点集合的采集时刻。
13.根据权利要求8所述的方法,其特征在于,所述方法还包括: 将所述图像采集单元获取的第一信息集合中的第四信息中的与第三信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点; 确定相同的特征点中的相对应的特征描述信息中的特征描述项不同时,对所述第三信息中的相同的特征点的相对应的特征描述项分别进行修正,将修正后的结果作为所述第三信息中的相同的特征点的特征描述信息; 其中,所述第三信息的采集时刻早于所述第四信息的采集时刻。
14.根据权利要求8所述的方法,其特征在于,所述方法还包括: 将所述图像采集单元获取的第一信息集合中的第六信息中的与第五信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点; 记录每一特征点的被采集的次数,将超出设定次数的特征点作为稳定的特征点; 其中,所述第五信息的采集时刻早于所述第六信息的采集时刻。
15.根据权利要求8至14任一项所述的方法,其特征在于, 第一信息集合包括图像信息集合; 第二信息集合包括深度信息集合; 所述第一位置信息为特征点相对于所述图像采集单元的位置信息; 所述第三位置信息及所述第四位置信息均为在所述智能设备的环境的坐标系中的位置信息。
16.一种智能设备,所述智能设备上设置有图像采集单元;其特征在于,所述智能设备包括提取单元、第一计算单元、获取单元、第二计算单元、第二确定单元和对应单元,其中: 所述图像采集单元,用于采集第一信息集合及第二信息集合; 提取单元,用于从所述第一信息集合中的第一信息中提取特征点集合; 第一计算单元,用于根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息; 获取单元,用于获取所述智能设备在环境中的第二位置信息; 第二计算单元,用于根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息; 第二确定单元,用于根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息; 对应单元,用于建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系。
17.根据权利要求16所述的智能设备,其特征在于,所述获取单元包括设置子单元和确定子单元,其中: 设置子单元,用于设置所述智能设备的初始位置信息; 确定子单元,用于将所述初始位置信息确定为所述智能设备在环境中的第二位置信肩、0
18.根据权利要求16所述的智能设备,其特征在于,所述获取单元包括第一确定子单元、计算子单元和第二确定子单元,其中: 确定子单元,用于在所述智能设备移动后,将所述图像采集单元获取的第一信息集合中的第二信息与第一信息中的特征描述信息相似度达到设定阈值的特征点确定为相同的特征点; 计算子单元,用于根据当前第二信息中与所述第一信息中相同的特征点的第三位置信息及当前的第一位置信息计算所述智能设备在环境中的位置信息作为所述智能设备第二位置信息; 第二确定子单元,用于将所述计算子单元计算的位置信息作为所述智能设备在环境中的第二位置信息; 其中,所述第一信息的采集时刻早于所述第二信息的采集时刻。
19.根据权利要求16所述的智能设备,其特征在于,所述智能设备还包括第三确定单元、均分单元和关联单元,其中: 第三确定单元,用于根据当前采集的特征点集合中每个特征点确定涵盖所述当前采集的特征点集合中每个特征点的正方体空间;均分单元,用于将所述正方体空间均分为八个正方体,作为第一级子节点;以及,将每一第一级子节点均分为八个正方体,作为第二级子节点,直到均分的子节点成为涵盖一个特征点的最小正方体或直到均分的子节点的尺寸达到设定阈值时,结束对子节点的分级;关联单元,用于将当前特征点集合中每个特征点的特征描述信息、第三位置信息与所述正方体空间中的最末级的子节点关联。
20.一种智能设备,所述智能设备上设置有图像采集单元;其特征在于,所述智能设备包括提取单元、第一计算单元、获取单元、第二计算单元、第二确定单元、对应单元、第四确定单元、第五确定单元、第一匹配单元和第六确定单元,其中: 所述图像采集单元,用于获取第一信息集合及第二信息集合; 提取单元,用于从所述第一信息集合中的第一信息中提取特征点集合; 第一计算单元,用于根据所述第二信息集合中的子信息计算所述特征点集合中每个特征点的第一位置信息; 获取单元,用于获取所述智能设备在环境中的第二位置信息; 第二计算单元,用于根据所述第二位置信息及所述第一位置信息,计算所述特征点集合中每个特征点的第三位置信息; 第二确定单元,用于根据所述第一信息确定所述特征点集合中每个特征点的特征描述信息; 对应单元,用于建立所述特征点集合中每个特征点的特征描述信息与第三位置信息的对应关系; 第四确定单元,用于在所述智能设备移动后,确定至少涵盖第三特征点集合中的所有的特征点的正方体空间,并确定所述至少涵盖第三特征点集合中的所有的特征点的正方体空间的第四位置信息; 第五确定单元,用于在与所述第四位置处对应的位置确定能涵盖所述至少涵盖第三特征点集合中的所有的特征点的正方体空间的正方体节点的上一级正方体节点; 第一匹配单元,用于以当前提取的所有的特征点的特征描述信息在所述上一级正方体节点中的所有特征点的特征描述信息中进行匹配; 第六确定单元,用于确定超过设定比例的特征点的特征描述信息满足匹配要求,时确定所述智能设备的当前位置与之前的位置重合。
21.根据权利要求20所述的智能设备,其特征在于,所述方法还包括:第七确定单元、第二匹配单元和第八确定单元,其中: 第七确定单元,用于在所述智能设备移动后,确定至少涵盖第四特征点集合中的所有的特征点的正方体空间; 均分单元,用于对所述至少涵盖第四特征点集合中的所有的特征点的正方体空间进行均分; 第二匹配单元,还用于行以每一均分后的正方体空间中的所有的特征点的特征描述信息在所述智能设备在初始位置采集的所有特征点的特征描述信息中进行匹配; 第八确定单元,用于在超过设定比例的特征点的特征描述信息满足匹配要求时,确定所述智能设备形成闭环。
【文档编号】G06K9/46GK104424481SQ201310393060
【公开日】2015年3月18日 申请日期:2013年9月2日 优先权日:2013年9月2日
【发明者】刘国良, 李南君 申请人:联想(北京)有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1