定位方法、系统及所适用的机器人与流程

文档序号:13663208阅读:127来源:国知局
定位方法、系统及所适用的机器人与流程

本申请涉及室内定位技术领域,特别是涉及一种定位方法、系统及所适用的机器人。



背景技术:

移动机器人是自动执行工作的机器装置。它既可以接受人类指挥,又可以运行预先编排的程序,也可以根据以人工智能技术制定的原则纲领行动。这类移动机器人可用在室内或室外,可用于工业或家庭,可用于取代保安巡视、取代人们清洁地面,还可用于家庭陪伴、辅助办公等。受不同移动机器人所应用的领域差别,各领域所使用的移动机器人的移动方式有所差异,例如,移动机器人可采用轮式移动、行走式移动、链条式移动等。随着移动机器人的移动技术的更新迭代,利用传感器和图像传感器所提供的移动信息进行slam(simultaneouslocalizationandmapping,即时定位与地图构建,简称slam)和vslam技术为移动机器人提供更精准的导航能力,使得移动机器人能更有效地自主移动。然而,以扫地机器人为例,滚轮在不同材质的地面上移动所能行进的距离并不相同,基于图像传感器的vslam技术也会随着时间的延长,而出现地图的误差增大,这使得slam和vslam技术在该领域中所构建的地图与实际物理空间的地图可能出现较大差异。



技术实现要素:

鉴于以上所述现有技术的缺点,本申请的目的在于提供一种定位方法、系统及所适用的机器人,用于解决现有技术中利用传感器所提供数据对机器人的定位不准确的问题。

为实现上述目的及其他相关目的,本申请的第一方面提供一种机器人的定位方法,包括:在机器人的导航操作环境下摄取图像;识别所述图像中实物的图形,当所识别的至少一个图形为对应有标准件的标准图形时,获取所述标准件的标准物理特征;基于所述标准图形和所述标准件的标准物理特征,确定所述机器人在当前物理空间中的定位信息。

在本申请的第一方面的某些实施方式中,所述获取所述标准件的标准物理特征的方式包括:自所述机器人的存储装置中读取预设的标准物理特征;或者通过网络自远程服务端获取所述标准物理特征。

在本申请的第一方面的某些实施方式中,所述标准件包括:基于行业标准、国家标准、国际标准、和自定义标准中的至少一种标准而设计的标准件。

在本申请的第一方面的某些实施方式中,所述自定义标准的标准件为藉由用户输入的物理参数生成有标准物理特征的标准件。

在本申请的第一方面的某些实施方式中,所述基于所述标准图形和所述标准件的标准物理特征,确定所述机器人在当前物理空间中的定位信息的方式包括:基于所述标准物理特征对所述标准图形进行偏角矫正处理以得到所述机器人相对于所述标准件所在平面的偏转角度;基于所述标准物理特征对所矫正后的图形进行距离测量以得到所述机器人相距所述标准件及所述标准件所在平面的距离。

在本申请的第一方面的某些实施方式中,所述机器人的定位方法还包括:基于所述机器人在当前物理空间中的定位信息调整所述机器人中的地图数据。

在本申请的第一方面的某些实施方式中,所述基于机器人在当前物理空间中的定位信息调整所述机器人中的地图数据的方式包括:基于所述定位信息补偿所述地图数据中对应位置的定位误差;和/或基于所述定位信息补偿所述地图数据中与所述标准件相关的地标信息中的定位误差。

在本申请的第一方面的某些实施方式中,所述机器人的定位方法还包括:基于所述机器人在当前物理空间中的定位信息调整所述机器人的导航路线。

在本申请的第一方面的某些实施方式中,所述基于机器人在当前物理空间中的定位信息调整所述机器人的导航路线的方式包括:基于所述定位信息重新确定所述机器人在预设地图数据中的位置及取向,并基于所重新确定的位置及取向调整导航路线。

本申请的第二方面还提供一种机器人的定位系统,包括:摄像装置,用于在机器人的导航操作环境下摄取图像;存储装置,用于预存有定位与地图构建应用及行为控制应用,以及至少一个标准件的标准物理特征;定位处理装置,与所述摄像装置和存储装置相连,用于调用所述定位与地图构建应用以执行:识别所述图像中实物的图形,当所识别的至少一个图形为对应有标准件的标准图形时获取所述标准件的标准物理特征;基于所述标准图形和所述标准件的标准物理特征,确定所述机器人在当前物理空间中的定位信息。

在本申请的第二方面的某些实施方式中,所述存储装置还预存有各标准件的标准物理特征。

在本申请的第二方面的某些实施方式中,所述机器人的定位系统还包括网络接入装置,与所述定位处理装置相连,用于自远程服务端获取相应标准物理特征。

在本申请的第二方面的某些实施方式中,所述标准件包括:基于行业标准、国家标准、国际标准、和自定义标准中的至少一种标准而设计的标准件。

在本申请的第二方面的某些实施方式中,所述自定义标准的标准件为藉由用户输入的物理参数生成有标准物理特征的标准件。

在本申请的第二方面的某些实施方式中,所述定位处理装置基于所述标准图形和所述标准件的标准物理特征,确定所述机器人在当前物理空间中的定位信息的方式包括:基于所述标准物理特征对所述标准图形进行偏角矫正处理以得到所述机器人相对于所述标准件所在平面的偏转角度;基于所述标准物理特征对所矫正后的图形进行距离测量以得到所述机器人相距所述标准件及所述标准件所在平面的距离。

在本申请的第二方面的某些实施方式中,所述定位处理装置还用于执行基于所述机器人在当前物理空间中的定位信息调整所述机器人中的地图数据的步骤。

在本申请的第二方面的某些实施方式中,所述定位处理装置基于机器人在当前物理空间中的定位信息调整所述机器人中的地图数据的方式包括:基于所述定位信息补偿所述地图数据中对应位置的定位误差;和/或基于所述定位信息补偿所述地图数据中与所述标准件相关的地标信息中的定位误差。

在本申请的第二方面的某些实施方式中,所述定位处理装置还用于基于所述机器人在当前物理空间中的定位信息调整所述机器人的导航路线。

在本申请的第二方面的某些实施方式中,所述定位处理装置基于机器人在当前物理空间中的定位信息调整所述机器人的导航路线的方式包括:基于所述定位信息重新确定所述机器人在预设地图数据中的位置及取向,并基于所重新确定的位置及取向调整导航路线。

本申请的第三方面还提供一种机器人,包括:驱动装置,用于驱动所述机器人进行位移和/或姿态调整;摄像装置,用于在机器人的导航操作环境下摄取图像;存储装置,用于预存有定位与地图构建应用及行为控制应用,以及至少一个标准件的标准物理特征;定位处理装置,连接所述驱动装置、摄像装置、及存储装置,用于调用所述预存有定位与地图构建应用以执行:识别所述图像中实物的图形,当所识别的至少一个图形为对应有标准件的标准图形时获取所述标准件的标准物理特征;基于所述标准图形和所述标准件的标准物理特征,确定所述机器人在当前物理空间中的定位信息。

在本申请的第三方面的某些实施方式中,所述存储装置还预存有各标准件的标准物理特征。

在本申请的第三方面的某些实施方式中,所述机器人还包括网络接入装置,与所述定位处理装置相连,用于自远程服务端获取相应标准物理特征。

在本申请的第三方面的某些实施方式中,所述标准件包括:基于行业标准、国家标准、国际标准、和自定义标准中的至少一种标准而设计的标准件。

在本申请的第三方面的某些实施方式中,所述自定义标准的标准件为藉由用户输入的物理参数生成有标准物理特征的标准件。

在本申请的第三方面的某些实施方式中,所述定位处理装置基于所述标准图形和所述标准件的标准物理特征,确定所述机器人在当前物理空间中的定位信息的方式包括:基于所述标准物理特征对所述标准图形进行偏角矫正处理以得到所述机器人相对于所述标准件所在平面的偏转角度;基于所述标准物理特征对所矫正后的图形进行距离测量以得到所述机器人相距所述标准件及所述标准件所在平面的距离。

在本申请的第三方面的某些实施方式中,所述定位处理装置调用所述定位与地图构建应用还执行基于所述机器人在当前物理空间中的定位信息调整所述机器人中的地图数据的步骤。

在本申请的第三方面的某些实施方式中,所述定位处理装置基于机器人在当前物理空间中的定位信息调整所述机器人中的地图数据的方式包括:基于所述定位信息补偿所述地图数据中对应位置的定位误差;和/或基于所述定位信息补偿所述地图数据中与所述标准件相关的地标信息中的定位误差。

在本申请的第三方面的某些实施方式中,所述定位处理装置还用于调用所述行为控制应用以执行依据所述定位信息控制所述驱动装置调整所述机器人的位移和/或姿态的步骤。

在本申请的第三方面的某些实施方式中,所述定位处理装置依据所述定位信息控制所述驱动装置调整所述机器人的位移和/或姿态的方式包括:基于所述机器人在当前物理空间中的定位信息调整所述机器人的导航路线;控制所述驱动装置按照导航路线进行位移和/或姿态调整。

在本申请的第三方面的某些实施方式中,所述定位处理装置基于机器人在当前物理空间中的定位信息调整所述机器人的导航路线的方式包括:基于所述定位信息重新确定所述机器人在预设地图数据中的位置及取向,并基于所重新确定的位置及取向调整导航路线。

本申请的第四方面还提供一种电子设备的存储介质,其特征在于,存储有一个或多个程序,当所述一个或多个计算机程序被一个或多个处理器执行时,使得所述一个或多个处理器实现前述的任一项所述的定位方法。

如上所述,本申请的定位方法、系统及所适用的机器人,具有以下有益效果:本申请机器人的定位方法通过采用对所摄取图像中实物的图形进行识别并与标准件的图形进行匹配、以及基于所述标准件的标准物理特征确定机器人在当前物理空间中的定位信息的技术方案,解决了现有技术中利用传感器所提供数据对机器人的定位不准确的问题。

附图说明

图1显示为本申请机器人的定位方法在一种实施方式中的流程图。

图2显示为本申请机器人的定位方法在另一种实施方式中的流程图。

图3显示为利用本申请所述定位方法所确定的定位信息b来补偿地图数据中位置a1和a2的定位误差的示意图。

图4显示为本申请机器人的定位方法在又一种实施方式中的流程图。

图5显示为本申请机器人的定位系统在一种实施方式中的结构示意图。

图6显示为本申请机器人的定位系统在另一种实施方式中的结构示意图。

图7显示为本申请的机器人在一种实施方式中的结构示意图。

图8显示为本申请的机器人在另一种实施方式中的结构示意图。

具体实施方式

以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。

在下述描述中,参考附图,附图描述了本申请的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的,并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例,而并非旨在限制本申请。空间相关的术语,例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等,可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。

再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“a、b或c”或者“a、b和/或c”意味着“以下任一个:a;b;c;a和b;a和c;b和c;a、b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。

移动机器人基于不断定位的积累并结合其他预设的或所获取的与移动相关的信息,一方面能够构建机器人所在场地的地图数据,另一方面,还可基于已构建的地图数据提供路线规划、路线规划调整及导航服务。这使得移动机器人的移动效率更高。以扫地机器人为例,例如,室内扫地机器人可结合已构建的室内地图和定位技术,预判当前位置相距室内地图上标记的障碍物的距离,并便于及时调整清扫策略。其中,所述障碍物可由单一标记描述,或基于对形状、尺寸等识别而被标记成墙、桌、沙发、衣柜等。又如,室内扫地机器人可基于定位技术累积所定位的各位置及取向,并根据累积的位置及取向的变化构建室内地图。以巡逻机器人为例,巡逻机器人通常应用于厂区、工业园区等场景,巡逻机器人可结合已构建的厂区地图和定位技术,预判当前位置相距转弯处、路口、充电桩等位置的距离,由此便于根据所获取的其他监控数据及时控制机器人的移动装置进行移动。

基于上述移动机器人的示例而推及至其他应用场景下所使用的移动机器人,为了提高移动机器人的定位精度,减少传感器的误差累积,本申请提供一种机器人的定位方法。所述定位方法可用于扫地机器人。请参阅图1,图1显示为本申请机器人的定位方法在一种实施方式中的流程图。如图所示,本申请机器人的定位方法包括:步骤s110、步骤s120以及步骤s130。

在步骤s110中,在机器人的导航操作环境下摄取图像。

在此,可利用摄像装置在机器人的导航操作环境下摄取图像。其中,所述摄像装置包括但不限于:照相机、视频摄像机、集成有光学系统或ccd芯片的摄像模块、集成有光学系统和cmos芯片的摄像模块等。所述摄像装置的供电系统可受机器人的供电系统控制,当机器人上电移动期间,所述摄像装置即开始摄取图像。此外,所述摄像装置可以设于机器人的主体上。以扫地机器人为例,所述摄像装置可以设于扫地机器人的顶盖的中部或边缘,或者所述摄像装置可以设于扫地机器人的顶部表面的平面之下、在主体的几何中心附近或主体的边缘附近的凹入结构上。另外,所述摄像装置的光学轴可以相对于垂线成±30°的夹角,或者所述摄像装置的光学轴可以相对于水平线成0-180°的夹角。所述导航操作环境是指机器人依据利用已构建的地图数据而设计的导航路线、或基于随机设计的导航路线移动并进行相应操作的环境。以扫地机器人为例,导航操作环境指扫地机器人依据导航路线移动并进行清洁操作的环境。

在步骤s120中,识别图像中实物的图形,当所识别的至少一个图形为对应有标准件的标准图形时,获取标准件的标准物理特征。

在此,可利用定位处理装置来识别图像中实物的图形,当所识别的至少一个图形为对应有标准件的标准图形时,获取标准件的标准物理特征。其中,所述定位处理装置可包括一个或多个处理器。处理器可采用基于神经网络的图像识别方法、基于小波矩的图像识别方法等图像识别方法对所摄取的图像进行处理、分析和理解,以识别各种不同模式的目标和对象。此外,处理器还可通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系,相似性和一致性的分析来寻求相似图像目标。上述处理器可以共用或可独立设置。

此外,所述标准件可包括基于行业标准、国家标准、国际标准和自定义标准中的至少一种标准而设计的标准件。例如,行业标准如机械行业标准jb、建筑材料行业标准jc等;国家标准如中国gb标准、德国din标准、英国bs标准等;国际标准如国际iso标准;自定义标准稍后详述。另外,所述标准物理特征可包括轮廓尺寸、标准结构关系等,例如,标准件的标准物理特征包括标准件实际物理上的长、宽、高,标准件中对应标准的实际物理上的其他尺寸数据等。例如,电源插座上两孔间距等。又如电源插座的长宽值。

在一实施例中,以扫地机器人为例,由于扫地机器人通常进行室内清洁工作,因而通过摄像装置所摄取的图像中的实物一般会包括例如,墙、桌、沙发、衣柜、电视机、电源插座、网线插座等。在本示例中,首先,摄像装置在机器人的导航操作环境下摄取图像之后将所述图像提供给定位处理装置,定位处理装置通过图像识别来识别所摄取的图像中实物的图形。其中,所述实物的图形可以由实物的灰度、实物的轮廓等特征表征。同时,所述实物的图形并不限于实物的外部几何图形,还可包括实物上呈现出的其他图形,例如电源插座上的二孔插口、五孔插口,网线插座上的方形插口等。鉴于此,例如,对于外部几何图形相近的电源插座和网线插座,则可利用电源插座的五孔插口与网线插座的方形插口来辨别。此外,在扫地机器人的摄像装置在室内可摄取的图像中的实物包括电源插座、网线插座的情况下,由于电源插座、网线插座是根据gb标准设计的,因而不会因其所处的环境不同而有所变化,因此,可以作为标准件。本示例中,标准件选用电源插座。标准件的标准物理特征可包括电源插座的长、宽、高,电源插座上五孔插口的结构关系等。在某些实施方式中,标准件的图形和标准件的标准物理特征可以是预设的,并且利用机器人的存储装置预先存储。因此,获取标准件的标准物理特征的方式包括自机器人的存储装置中读取预设的标准物理特征。

然后,针对所识别的图像中实物的图形和所存储的标准件即电源插座的图形,定位处理装置通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系,相似性和一致性的分析来确定所识别的至少一个图形与所存储的电源插座的图形是否对应,当所识别的至少一个图形与所存储的电源插座的图形对应时,获取电源插座的标准物理特征。其中,与所存储的电源插座的图形对应的所述至少一个图形被称为标准图形,本示例中,标准图形即所摄取的电源插座的图形。

在步骤s130中,基于标准图形和标准件的标准物理特征,确定机器人在当前物理空间中的定位信息。

在此,可利用定位处理装置基于标准图形和标准件的标准物理特征来确定机器人在当前物理空间中的定位信息。所述定位处理装置包括处理器,在本示例中,处理器利用预设的单位像素间隔与实际物理空间中单位长度的对应关系,以及所识别的标准图形的尺寸和所对应的标准物理特征中的实物尺寸,计算机器人在当前物理空间中相距标准件的距离和偏角,即得到机器人相对于标准件的定位信息。以设置在墙上的插座为例,当处理器识别出插座以及墙与底面的交界线、或识别出插座并默认插座被安装在墙上时,按照上述对应关系,处理器不仅可得到机器人相距插座的距离和偏角,处理器还可以利用墙、机器人和插座的空间位置关系得到机器人与墙的直线距离,如此得到机器人相对于墙的定位信息。此外,本步骤中的处理器可与上述步骤中的处理器共用或可独立设置。

本申请机器人的定位方法通过采用对所摄取图像中实物的图形进行识别并与标准件的图形进行匹配、以及基于所述标准件的标准物理特征确定机器人在当前物理空间中的定位信息的技术方案,解决了现有技术中利用传感器所提供数据对机器人的定位不准确的问题。

在某些实施方式中,所述步骤s120中获取标准件的标准物理特征的方式包括通过网络自远程服务端获取标准物理特征。在一实施例中,定位处理装置包括处理器,处理器将检索要求即标准图形通过网络提供给远程服务端,远程服务端根据所述要求采用cbir(content-basedimageretrieval,基于内容的图像检索,简称cbir)方法进行检索并确定检索结果即检索得到标准件图形,然后,远程服务端基于所获取的标准件图形输出标准件的标准物理特征,并通过网络提供给处理器以进行后续处理。

在某些实施方式中,标准件除了可包括基于行业标准、国家标准、国际标准中的至少一种标准而设计的标准件之外,还可包括基于自定义标准而设计的标准件。所述自定义标准的标准件可以是机器人厂商自定义的标准件,例如,机器人厂商设计制造的可设于机器人工作环境中与机器人配套使用的标准件。所述自定义标准的标准件还可以是藉由用户输入的物理参数生成有标准物理特征的标准件。在一实施例中,以扫地机器人为例,基于扫地机器人在例如客厅工作时通过摄像装置所摄取的图像中的实物一般会包括家用电器如电视机,因而用户可以自定义电视机为标准件。具体地,用户可以通过阅读电视机的说明书或者查询产品信息得到电视机的物理参数,并经由输入装置例如机器人应用程序app输入物理参数生成有标准物理特征的标准件。此外,用户也可根据室内环境来选择其他实物作为标准件。本申请机器人的定位方法通过用户自定义标准件,使得用户能够根据室内环境选择标准件,有助于机器人的准确定位。

在某些实施方式中,所述步骤s130中基于标准图形和标准件的标准物理特征,确定机器人在当前物理空间中的定位信息的方式包括:基于标准物理特征对标准图形进行偏角矫正处理以得到机器人相对于标准件所在平面的偏转角度;基于标准物理特征对所矫正后的图形进行距离测量以得到机器人相距标准件及标准件所在平面的距离。

以所述定位处理装置所识别的标准件为两孔电源插座为例,根据两孔电源插座的标准物理特征中每个孔的尺寸和角度特征、和两孔之间的实际物理间距和角度特征,以及图像所识别的两孔电源插座的标准图形中每个孔的像素尺寸和像素偏角、两孔之间的像素间距和像素偏角,定位处理装置能够确定拍摄装置的拍摄面与两孔电源插座所在平面的偏转角度。定位处理装置可利用所得到的偏转角度得到机器人相对于标准件所在平面的偏转角度。

为了便于计算机器人相距标准件的距离,定位处理装置利用所得到的偏转角度对所述标准图形进行纠偏处理,以得到与标准件所在平面平行的拍摄面内的标准图形。再利用图像中标准图形的像素尺寸与实际物理尺寸的比例关系进行距离测量,如此得到所述机器人相距所述标准件及所述标准件所在平面的距离。

在获得机器人相对于标准件所在平面的偏转角度和机器人相距标准件及标准件所在平面的距离之后即可确定机器人的当前位置及取向,即,确定机器人在当前物理空间中的定位信息。所得到的定位信息可用在机器人导航、地图创建和地图数据修正等方面。特别在室内定位与地图构建技术中,利用本申请所述的定位方法所得到的定位信息能够及时修正地图数据,使得在无法预先获取准确室内地图数据的情况下,尽可能准确地构建并使用室内地图数据。

请参阅图2,图2显示为本申请机器人的定位方法在另一种实施方式中的流程图。如图所示,本申请机器人的定位方法包括:步骤s210、步骤s220、步骤s230以及步骤s240。

在步骤s210中,在机器人的导航操作环境下摄取图像。

在此,可利用摄像装置在机器人的导航操作环境下摄取图像。其中,步骤s210与前述举例中的步骤s110的方式相同或相似,在此不再详述。

在步骤s220中,识别图像中实物的图形,当所识别的至少一个图形为对应有标准件的标准图形时,获取标准件的标准物理特征。

在此,可利用定位处理装置来识别图像中实物的图形,当所识别的至少一个图形为对应有标准件的标准图形时,获取标准件的标准物理特征。其中,步骤s220与前述举例中的步骤s120的方式相同或相似,在此不再详述。

在步骤s230中,基于标准图形和标准件的标准物理特征,确定机器人在当前物理空间中的定位信息。

在此,可利用定位处理装置基于标准图形和标准件的标准物理特征来确定机器人在当前物理空间中的定位信息。其中,步骤s230与前述举例中的步骤s130的方式相同或相似,在此不再详述。

在步骤s240中,基于机器人在当前物理空间中的定位信息调整机器人中的地图数据。

在此,可利用机器人的控制装置基于机器人在当前物理空间中的定位信息来调整机器人中的地图数据。其中,机器人的控制装置可以包含专用于控制机器人的一个或多个处理器(cpu)或微控制单元(mcu)。此外,控制装置中的处理器与上述定位处理装置中的处理器可以共用或可独立设置。例如,所述控制装置作为从处理设备,所述定位处理装置中的处理器作为主设备,控制装置基于定位处理装置的定位来控制调整。或者所述控制装置与所述定位装置中的处理器共用。

以扫地机器人为例,扫地机器人的地图数据一般是基于设于机器人上的多个移动传感器例如速度传感器、里程计传感器、测距传感器、悬崖传感器等所提供的移动数据,以及所述拍摄装置所提供的图像数据构建的,由于采用移动传感器和拍摄装置构建地图过程中存在累积误差,所以当机器人移动至某一位置时,根据本申请机器人的定位方法确定的机器人在当前物理空间中的定位信息与地图数据存在偏差,因而需要对所述地图数据进行调整。在此,定位处理装置在确定机器人在当前物理空间中的定位信息后将所述定位信息提供给控制装置,控制装置基于所述定位信息来调整机器人中的地图数据。所述地图数据可以包括但不限于基于移动传感器所提供的移动数据和图像数据而在预设栅格内或坐标空间描绘的位置及角度数据,基于所识别的实物特征而在预设栅格或坐标空间内标记的地标信息等。所述地图数据可用于地图构建及导航。

本申请机器人的定位方法通过采用对所摄取图像中实物的图形进行识别并与标准件的图形进行匹配、基于所述标准件的标准物理特征确定机器人在当前物理空间中的定位信息、基于所述定位信息调整机器人中的地图数据的技术方案,使得能够依据定位信息补偿地图数据中的定位误差,实现准确定位的目的。

在某些实施方式中,所述步骤s240中基于机器人在当前物理空间中的定位信息调整机器人中的地图数据的方式包括:基于所述定位信息补偿所述地图数据中对应位置的定位误差;和/或基于所述定位信息补偿所述地图数据中与所述标准件相关的地标信息中的定位误差。

在一具体示例中,当机器人未识别到标准件时,其利用移动传感器所提供的移动数据构建地图数据;当机器人识别出标准件,并基于所识别的标准图形和相应标准件的标准物理特征确定所述机器人在当前物理空间中的定位信息时,控制装置可比较所述定位信息和基于移动数据而定位的定位信息是否有位置及角度偏差,若是,则可用标准件的定位信息替换移动数据而确定的定位信息,以及基于该两定位信息中位置及角度偏差顺修已构建的其他地图数据。例如,请参阅图3,图3显示为利用本申请所述定位方法所确定的定位信息b来补偿地图数据中位置a1和a2的定位误差的示意图。其中,位置a1、a2均为基于移动数据而确定的定位信息。当定位处理装置在a2位置识别出标准件并基于所识别出的标准件确定当前定位信息b时,将定位信息b替换位置a2,并利用定位信息b位于a2左侧且偏差一个栅格,将a1的定位信息也相左调整一个栅格得到虚线所示的a1’,以补偿移动数据在位置a1处的定位误差。

在另一具体示例中,在利用图像定位而构建地图数据时,地图数据中包含地标信息。所述地标信息用于帮助机器人利用图像进行定位。所述地标信息包括但不限于:标准件和非标准件的特征(如边、角、轮廓、亮度特征等),能够拍摄到这些特征的各位置及角度信息。其中,为了提高定位精度,一个地标信息中的特征通常为多个,例如10个以上。因此,一个地标信息中通常包含标准件和非标准件的特征、或者全部非标准件特征。相邻的地标信息中通常包含重复的和不重复的特征。在此,非标准件是指未被预先定义成标准件的物体,如,桌椅、墙体等。当利用本申请所述方法得到包含标准件特征的定位信息时,可基于所得到的定位信息补偿地图数据中与所述标准件相关的地标信息中的定位误差。

例如,在已构建的地图数据中包含位置c1和c2的定位信息,其中,位置c1中包含地标信息t1,位置c2中包含地标信息t2,t1中包含标准件的特征和非标准件的特征和拍摄到相应特征的位置及偏角,t2包含与t1相重叠的非标准件的特征和拍摄到相应特征的位置及偏角。当定位处理装置在c1位置识别出标准件并基于所识别出的标准件确定当前定位信息d时,将定位信息d替换位置c1处的定位信息以补偿原始地图数据中的定位误差,以及基于定位信息d调整地标信息t1中的位置及偏角中的定位误差。借助地标信息t1和t2中重叠的非标准件特征,本步骤还可以调整后位置c2和地标信息t2中的定位误差。

需要说明的是,上述对地图数据中的定位信息进行误差补偿的方式仅为举例。由于移动数据和图像数据的误差是累积而得的,故,其定位误差不一定完全一致。故而,定位补偿的方式还可以利用加权补偿的方式补偿各地图数据中的定位误差。

另外,利用本申请所述定位方法而得到的定位信息,以及地图数据所能提供的与定位相关的信息,如定位信息、地标信息等,本步骤可调整地图数据中一处或多处位置的定位信息,以及同一位置处所包含的一种或多种定位误差。

请参阅图4,图4显示为本申请机器人的定位方法在又一种实施方式中的流程图。如图所示,本申请机器人的定位方法包括:步骤s410、步骤s420、步骤s430以及步骤s440。

在步骤s410中,在机器人的导航操作环境下摄取图像。

在此,可利用摄像装置在机器人的导航操作环境下摄取图像。其中,步骤s410与前述举例中的步骤s110的方式相同或相似,在此不再详述。

在步骤s420中,识别图像中实物的图形,当所识别的至少一个图形为对应有标准件的标准图形时,获取标准件的标准物理特征。

在此,可利用定位处理装置来识别图像中实物的图形,当所识别的至少一个图形为对应有标准件的标准图形时,获取标准件的标准物理特征。其中,步骤s420与前述举例中的步骤s120的方式相同或相似,在此不再详述。

在步骤s430中,基于标准图形和标准件的标准物理特征,确定机器人在当前物理空间中的定位信息。

在此,可利用定位处理装置基于标准图形和标准件的标准物理特征来确定机器人在当前物理空间中的定位信息。其中,步骤s430与前述举例中的步骤s130的方式相同或相似,在此不再详述。

在步骤s440中,基于机器人在当前物理空间中的定位信息调整机器人的导航路线。

在此,可利用机器人的控制装置基于机器人在当前物理空间中的定位信息来调整机器人的导航路线。其中,机器人的控制装置可以包含专用于控制机器人的一个或多个处理器(cpu)或微控制单元(mcu)。此外,控制装置中的处理器与上述定位处理装置中的处理器可以共用或可独立设置。例如,所述控制装置作为从处理设备,所述定位处理装置中的处理器作为主设备,控制装置基于定位处理装置的定位控制调整。或者所述控制装置与所述定位装置中的处理器共用。

以扫地机器人为例,扫地机器人的地图数据一般是基于设于机器人上的多个移动传感器例如速度传感器、里程计传感器等所提供的移动数据,以及所述拍摄装置所提供的图像数据构建的,由于采用移动传感器和拍摄装置构建地图过程中存在累积误差,所以当机器人移动至某一位置时,根据本申请机器人的定位方法确定的机器人在当前物理空间中的定位信息与地图数据存在偏差。因此,在根据已构建的地图进行导航操作的情况下,定位处理装置在确定机器人在当前物理空间中的定位信息后将所述定位信息提供给控制装置,控制装置基于机器人在当前物理空间中的定位信息调整机器人的导航路线。此外,控制装置还可以依据调整后的导航路线调整机器人继续移动的距离或者调整机器人移动的方向以使机器人依据调整后的导航路线移动。

本申请机器人的定位方法通过采用对所摄取图像中实物的图形进行识别并与标准件的图形进行匹配、基于所述标准件的标准物理特征确定机器人在当前物理空间中的定位信息、基于所述定位信息调整机器人的导航路线的技术方案,使得能够在准确定位的情况下实现修正导航路线的目的。

在某些实施方式中,所述步骤s440中基于机器人在当前物理空间中的定位信息调整机器人的导航路线的方式包括:基于所述定位信息重新确定所述机器人在预设地图数据中的位置及取向,并基于所重新确定的位置及取向调整导航路线。

以扫地机器人为例,在机器人根据已构建的地图进行导航操作的情况下,当机器人移动至某一位置时,机器人在已构建的地图上的位置及取向是已知的,此时,定位处理装置根据本申请机器人的定位方法确定了机器人在当前物理空间中的定位信息即机器人当前实际的位置及取向。所述机器人当前实际的位置及取向与机器人在已构建地图上的位置及取向之间存在偏差,控制装置基于机器人当前实际的位置及取向来修正机器人在已构建地图上的位置及取向,即重新确定机器人在已构建的地图中的位置及取向,然后根据重新确定的位置及取向以及已构建的地图来重新确定机器人距障碍物的距离、机器人是否偏航以及如果机器人继续沿已构建的地图中的路线移动所需移动的距离和偏转的方向,进而调整导航路线。

本申请还提供一种机器人的定位系统,所述定位系统可配置于扫地机器人中。请参阅图5,图5显示为本申请机器人的定位系统在一种实施方式中的结构示意图。如图所示,所述定位系统包括摄像装置11、存储装置12以及定位处理装置13。

所述摄像装置11用于在机器人的导航操作环境下摄取图像。所述摄像装置包括但不限于:照相机、视频摄像机、集成有光学系统或ccd芯片的摄像模块、集成有光学系统和cmos芯片的摄像模块等。所述摄像装置的供电系统可受机器人的供电系统控制,当机器人上电移动期间,所述摄像装置即开始摄取图像。此外,所述摄像装置可以设于机器人的主体上。以扫地机器人为例,所述摄像装置可以设于扫地机器人的顶盖的中部或边缘,或者所述摄像装置可以设于扫地机器人的顶部表面的平面之下、在主体的几何中心附近或主体的边缘附近的凹入结构上。另外,所述摄像装置的光学轴可以相对于垂线成±30°的夹角,或者所述摄像装置的光学轴可以相对于水平线成0-180°的夹角。所述导航操作环境是指机器人依据利用已构建的地图数据而设计的导航路线、或基于随机设计的导航路线移动并进行相应操作的环境。以扫地机器人为例,导航操作环境指扫地机器人依据导航路线移动并进行清洁操作的环境。

所述存储装置12用于预存有定位与地图构建应用及行为控制应用,以及至少一个标准件的标准物理特征。其中,定位与地图构建应用即slam应用是智能机器人领域中的基础应用,问题可以描述为当机器人在未知环境中时,是否有办法让机器人一边逐步描绘出此环境完全的地图,同时一边决定机器人应该往哪个方向行进,也就是说,要实现智能化需要完成三个任务,第一个是定位(localization),第二个是建图(mapping),第三个则是随后的路径规划(navigation)。本申请中的行为控制应用是指根据所设定的信息或指令控制机器人移动、进行姿态调整等。

此外,所述存储装置还预存有各标准件的标准物理特征。其中,所述标准件可包括基于行业标准、国家标准、国际标准、和自定义标准中的至少一种标准而设计的标准件。例如,行业标准如机械行业标准jb、建筑材料行业标准jc等;国家标准如中国gb标准、德国din标准、英国bs标准等;国际标准如国际iso标准;自定义标准稍后详述。所述标准物理特征可包括轮廓尺寸、标准结构关系等,例如,标准件的标准物理特征包括标准件实际物理上的长、宽、高,标准件中对应标准的实际物理上的其他尺寸数据等。例如,电源插座上两孔间距等。又如电源插座的长宽值。

所述存储装置12包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中,存储装置12还可以包括远离一个或多个处理器的存储器,例如,经由rf电路或外部端口以及通信网络(未示出)访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(lan)、广域网(wlan)、存储局域网(san)等,或其适当组合。存储器控制器可控制机器人的诸如cpu和外设接口之类的其他组件对存储装置的访问。

所述定位处理装置13与摄像装置11和存储装置12相连。所述定位处理装置13可包括一个或多个处理器。定位处理装置13可操作地与存储装置12中的易失性存储器和/或非易失性存储器耦接。定位处理装置13可执行在存储器和/或非易失性存储设备中存储的指令以在机器人中执行操作,诸如识别图像中实物的图形以及基于所识别的标准图形和标准件的标准物理体征在地图中进行定位等。如此,处理器可包括一个或多个通用微处理器、一个或多个专用处理器(asic)、一个或多个数字信号处理器(dsp)、一个或多个现场可编程逻辑阵列(fpga)、或它们的任何组合。所述定位处理装置还与i/o端口和输入结构可操作地耦接,该i/o端口可使得机器人能够与各种其他电子设备进行交互,该输入结构可使得用户能够与计算设备进行交互。因此,输入结构可包括按钮、键盘、鼠标、触控板等。所述其他电子设备可以是所述机器人中移动装置中的移动电机,或机器人中专用于控制移动装置和清扫装置的从处理器,如mcu(microcontrollerunit,微控制单元,简称mcu)。

在一种示例中,所述定位处理装置13通过数据线分别连接存储装置12和摄像装置11。所述定位处理装置13通过数据读写技术与存储装置12进行交互,所述定位处理装置13通过接口协议与摄像装置11进行交互。其中,所述数据读写技术包括但不限于:高速/低速数据接口协议、数据库读写操作等。所述接口协议包括但不限于:hdmi接口协议、串行接口协议等。

所述定位处理装置13用于调用所述定位与地图构建应用以执行:识别所述图像中实物的图形,当所识别的至少一个图形为对应有标准件的标准图形时获取所述标准件的标准物理特征;基于所述标准图形和所述标准件的标准物理特征,确定所述机器人在当前物理空间中的定位信息。

首先,所述定位处理装置13可采用基于神经网络的图像识别方法、基于小波矩的图像识别方法等图像识别方法对所摄取的图像进行处理、分析和理解,以识别各种不同模式的目标和对象。此外,所述定位处理装置还可通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系,相似性和一致性的分析来寻求相似图像目标。

在一实施例中,以扫地机器人为例,由于扫地机器人通常进行室内清洁工作,因而通过摄像装置所摄取的图像中的实物一般会包括例如,墙、桌、沙发、衣柜、电视机、电源插座、网线插座等。在本示例中,首先,摄像装置在机器人的导航操作环境下摄取图像之后将所述图像提供给定位处理装置,定位处理装置通过图像识别来识别所摄取的图像中实物的图形。其中,所述实物的图形可以由实物的灰度、实物的轮廓等特征表征。同时,所述实物的图形并不限于实物的外部几何图形,还可包括实物上呈现出的其他图形,例如电源插座上的二孔插口、五孔插口,网线插座上的方形插口等。鉴于此,例如,对于外部几何图形相近的电源插座和网线插座,则可利用电源插座的五孔插口与网线插座的方形插口来辨别。此外,在扫地机器人的摄像装置在室内可摄取的图像中的实物包括电源插座、网线插座的情况下,由于电源插座、网线插座是根据gb标准设计的,因而不会因其所处的环境不同而有所变化,因此,可以作为标准件。本示例中,标准件选用电源插座。标准件的标准物理特征可包括电源插座的长、宽、高,电源插座上五孔插口的结构关系等。在某些实施方式中,标准件的图形和标准件的标准物理特征可以是预设的,并且利用机器人的存储装置预先存储。因此,获取标准件的标准物理特征的方式包括自机器人的存储装置中读取预设的标准物理特征。

此外,针对所识别的图像中实物的图形和所存储的标准件即电源插座的图形,定位处理装置13通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系,相似性和一致性的分析来确定所识别的至少一个图形与所存储的电源插座的图形是否对应,当所识别的至少一个图形与所存储的电源插座的图形对应时,获取电源插座的标准物理特征。其中,与所存储的电源插座的图形对应的所述至少一个图形被称为标准图形,本示例中,标准图形即所摄取的电源插座的图形。

然后,定位处理装置13利用预设的单位像素间隔与实际物理空间中单位长度的对应关系,以及所识别的标准图形的尺寸和所对应的标准物理特征中的实物尺寸,计算机器人在当前物理空间中相距标准件的距离和偏角,即得到机器人相对于标准件的定位信息。以设置在墙上的插座为例,当定位处理装置识别出插座以及墙与底面的交界线、或识别出插座并默认插座被安装在墙上时,按照上述对应关系,定位处理装置不仅可得到机器人相距插座的距离和偏角,定位处理装置还可以利用墙、机器人和插座的空间位置关系得到机器人与墙的直线距离,如此得到机器人相对于墙的定位信息。

本申请机器人的定位系统通过采用定位处理装置13对由摄像装置11所摄取的图像中实物的图形进行识别并与存储装置12中所存储的标准件的图形进行匹配、以及基于所述标准件的标准物理特征确定机器人在当前物理空间中的定位信息的技术方案,解决了现有技术中利用传感器所提供数据对机器人的定位不准确的问题。

请参阅图6,图6显示为本申请机器人的定位系统在另一种实施方式中的结构示意图。如图所示,定位系统还包括网络接入装置14。所述网络接入装置14与定位处理装置13相连,网络接入装置14用于自远程服务端获取相应标准物理特征。

在一实施例中,定位处理装置将检索要求即标准图形通过网络提供给远程服务端,远程服务端根据所述要求采用cbir(content-basedimageretrieval,基于内容的图像检索,简称cbir)方法进行检索并确定检索结果即检索得到标准件图形,然后,远程服务端基于所获取的标准件图形输出标准件的标准物理特征,并通过网络提供给定位处理装置以进行后续处理。

在某些实施方式中,标准件除了可包括基于行业标准、国家标准、国际标准中的至少一种标准而设计的标准件之外,还可包括基于自定义标准而设计的标准件。所述自定义标准的标准件可以是机器人厂商自定义的标准件,例如,机器人厂商设计制造的可设于机器人工作环境中与机器人配套使用的标准件。所述自定义标准的标准件还可以是藉由用户输入的物理参数生成有标准物理特征的标准件。在一实施例中,以扫地机器人为例,基于扫地机器人在例如客厅工作时通过摄像装置所摄取的图像中的实物一般会包括家用电器如电视机,因而用户可以自定义电视机为标准件。具体地,用户可以通过阅读电视机的说明书或者查询产品信息得到电视机的物理参数,并经由输入装置例如机器人应用程序app输入物理参数生成有标准物理特征的标准件。此外,用户也可根据室内环境来选择其他实物作为标准件。本申请机器人的定位系统通过用户自定义标准件,使得用户能够根据室内环境选择标准件,有助于机器人的准确定位。

在某些实施方式中,所述定位处理装置基于所述标准图形和所述标准件的标准物理特征,确定所述机器人在当前物理空间中的定位信息的方式包括:基于所述标准物理特征对所述标准图形进行偏角矫正处理以得到所述机器人相对于所述标准件所在平面的偏转角度;基于所述标准物理特征对所矫正后的图形进行距离测量以得到所述机器人相距所述标准件及所述标准件所在平面的距离。

以所述定位处理装置所识别的标准件为两孔电源插座为例,根据两孔电源插座的标准物理特征中每个孔的尺寸和角度特征、和两孔之间的实际物理间距和角度特征,以及图像所识别的两孔电源插座的标准图形中每个孔的像素尺寸和像素偏角、两孔之间的像素间距和像素偏角,定位处理装置能够确定拍摄装置的拍摄面与两孔电源插座所在平面的偏转角度。定位处理装置可利用所得到的偏转角度得到机器人相对于标准件所在平面的偏转角度。

为了便于计算机器人相距标准件的距离,定位处理装置利用所得到的偏转角度对所述标准图形进行纠偏处理,以得到与标准件所在平面平行的拍摄面内的标准图形。再利用图像中标准图形的像素尺寸与实际物理尺寸的比例关系进行距离测量,如此得到所述机器人相距所述标准件及所述标准件所在平面的距离。

在获得机器人相对于标准件所在平面的偏转角度和机器人相距标准件及标准件所在平面的距离之后即可确定机器人的当前位置及取向,即,确定机器人在当前物理空间中的定位信息。所得到的定位信息可用在机器人导航、地图创建和地图数据修正等方面。特别在室内定位与地图构建技术中,本申请所述的定位系统根据得到的定位信息能够及时修正地图数据,使得在无法预先获取准确室内地图数据的情况下,尽可能准确地构建并使用室内地图数据。

在某些实施方式中,所述定位处理装置还用于执行基于所述机器人在当前物理空间中的定位信息调整所述机器人中的地图数据的步骤。

以扫地机器人为例,扫地机器人的地图数据一般是基于设于机器人上的多个移动传感器例如速度传感器、里程计传感器、测距传感器、悬崖传感器等所提供的移动数据,以及所述拍摄装置所提供的图像数据构建的,由于采用移动传感器和拍摄装置构建地图过程中存在累积误差,所以当机器人移动至某一位置时,本申请机器人的定位系统确定的机器人在当前物理空间中的定位信息与地图数据存在偏差,因而需要对所述地图数据进行调整。在此,定位处理装置在确定机器人在当前物理空间中的定位信息后基于所述定位信息来调整机器人中的地图数据。所述地图数据可以包括但不限于基于移动传感器所提供的移动数据和图像数据而在预设栅格内或坐标空间描绘的位置及角度数据,基于所识别的实物特征而在预设栅格或坐标空间内标记的地标信息等。所述地图数据可用于地图构建及导航。

本申请机器人的定位系统通过采用定位处理装置对由摄像装置所摄取的图像中实物的图形进行识别并与存储装置中所存储的标准件的图形进行匹配、以及基于所述标准件的标准物理特征确定机器人在当前物理空间中的定位信息、基于所述定位信息调整机器人中的地图数据的技术方案,使得能够依据定位信息补偿地图数据中的定位误差,实现准确定位的目的。

在某些实施方式中,所述定位处理装置基于机器人在当前物理空间中的定位信息调整所述机器人中的地图数据的方式包括:基于所述定位信息补偿所述地图数据中对应位置的定位误差;和/或基于所述定位信息补偿所述地图数据中与所述标准件相关的地标信息中的定位误差。

在一具体示例中,当机器人未识别到标准件时,其利用移动传感器所提供的移动数据构建地图数据;当机器人识别出标准件,并基于所识别的标准图形和相应标准件的标准物理特征确定所述机器人在当前物理空间中的定位信息时,定位处理装置可比较所述定位信息和基于移动数据而定位的定位信息是否有位置及角度偏差,若是,则可用标准件的定位信息替换移动数据而确定的定位信息,以及基于该两定位信息中位置及角度偏差顺修已构建的其他地图数据。例如,请参阅图3,图3显示为利用本申请所述定位方法所确定的定位信息b来补偿地图数据中位置a1和a2的定位误差的示意图。其中,位置a1、a2均为基于移动数据而确定的定位信息。当定位处理装置在a2位置识别出标准件并基于所识别出的标准件确定当前定位信息b时,将定位信息b替换位置a2,并利用定位信息b位于a2左侧且偏差一个栅格,将a1的定位信息也相左调整一个栅格得到虚线所示的a1’,以补偿移动数据在位置a1处的定位误差。

在另一具体示例中,在利用图像定位而构建地图数据时,地图数据中包含地标信息。所述地标信息用于帮助机器人利用图像进行定位。所述地标信息包括但不限于:标准件和非标准件的特征(如边、角、轮廓、亮度特征等),能够拍摄到这些特征的各位置及角度信息。其中,为了提高定位精度,一个地标信息中的特征通常为多个,例如10个以上。因此,一个地标信息中通常包含标准件和非标准件的特征、或者全部非标准件特征。相邻的地标信息中通常包含重复的和不重复的特征。在此,非标准件是指未被预先定义成标准件的物体,如,桌椅、墙体等。当本申请所述的定位系统得到包含标准件特征的定位信息时,可基于所得到的定位信息补偿地图数据中与所述标准件相关的地标信息中的定位误差。

例如,在已构建的地图数据中包含位置c1和c2的定位信息,其中,位置c1中包含地标信息t1,位置c2中包含地标信息t2,t1中包含标准件的特征和非标准件的特征和拍摄到相应特征的位置及偏角,t2包含与t1相重叠的非标准件的特征和拍摄到相应特征的位置及偏角。当定位处理装置在c1位置识别出标准件并基于所识别出的标准件确定当前定位信息d时,将定位信息d替换位置c1处的定位信息以补偿原始地图数据中的定位误差,以及基于定位信息d调整地标信息t1中的位置及偏角中的定位误差。借助地标信息t1和t2中重叠的非标准件特征,本步骤还可以调整后位置c2和地标信息t2中的定位误差。

需要说明的是,上述对地图数据中的定位信息进行误差补偿的方式仅为举例。由于移动数据和图像数据的误差是累积而得的,故,其定位误差不一定完全一致。故而,定位补偿的方式还可以利用加权补偿的方式补偿各地图数据中的定位误差。

另外,利用本申请所述定位系统得到的定位信息,以及地图数据所能提供的与定位相关的信息,如定位信息、地标信息等,本步骤可调整地图数据中一处或多处位置的定位信息,以及同一位置处所包含的一种或多种定位误差。

在某些实施方式中,所述定位处理装置还用于基于所述机器人在当前物理空间中的定位信息调整所述机器人的导航路线。

以扫地机器人为例,扫地机器人的地图数据一般是基于设于机器人上的多个移动传感器例如速度传感器、里程计传感器等所提供的移动数据,以及所述拍摄装置所提供的图像数据构建的,由于采用移动传感器和拍摄装置构建地图过程中存在累积误差,所以当机器人移动至某一位置时,本申请机器人的定位系统确定的机器人在当前物理空间中的定位信息与地图数据存在偏差。因此,在根据已构建的地图进行导航操作的情况下,定位处理装置在确定机器人在当前物理空间中的定位信息后基于机器人在当前物理空间中的定位信息调整机器人的导航路线。此外,定位处理装置还可以依据调整后的导航路线调整机器人继续移动的距离或者调整机器人移动的方向以使机器人依据调整后的导航路线移动。

本申请机器人的定位系统通过采用对所摄取图像中实物的图形进行识别并与标准件的图形进行匹配、基于所述标准件的标准物理特征确定机器人在当前物理空间中的定位信息、基于所述定位信息调整机器人的导航路线的技术方案,使得能够在准确定位的情况下实现修正导航路线的目的。

在某些实施方式中,所述定位处理装置基于机器人在当前物理空间中的定位信息调整所述机器人的导航路线的方式包括:基于所述定位信息重新确定所述机器人在预设地图数据中的位置及取向,并基于所重新确定的位置及取向调整导航路线。

在一实施例中,以扫地机器人为例,在机器人根据已构建的地图进行导航操作的情况下,当机器人移动至某一位置时,机器人在已构建的地图上的位置及取向是已知的,此时,本申请机器人的定位系统中的定位处理装置确定了机器人在当前物理空间中的定位信息即机器人当前实际的位置及取向。所述机器人当前实际的位置及取向与机器人在已构建地图上的位置及取向之间存在偏差,定位处理装置基于机器人当前实际的位置及取向来修正机器人在已构建地图上的位置及取向,即重新确定机器人在已构建的地图中的位置及取向,然后根据重新确定的位置及取向以及已构建的地图来重新确定机器人距障碍物的距离、机器人是否偏航以及如果机器人继续沿已构建的地图中的路线移动所需移动的距离和偏转的方向,进而调整导航路线。

本申请还提供一种机器人,请参阅图7,图7显示为本申请的机器人在一种实施方式中的结构示意图。如图所示,所述机器人包括驱动装置215、摄像装置211、存储装置212以及定位处理装置213。

所述驱动装置215用于驱动所述机器人进行位移和/或姿态调整。以扫地机器人为例,所述驱动装置可以是驱动扫地机器人的滚轮移动以及偏转的驱动电机等。

所述摄像装置211用于在机器人的导航操作环境下摄取图像。所述摄像装置包括但不限于:照相机、视频摄像机、集成有光学系统或ccd芯片的摄像模块、集成有光学系统和cmos芯片的摄像模块等。所述摄像装置的供电系统可受机器人的供电系统控制,当机器人上电移动期间,所述摄像装置即开始摄取图像。此外,所述摄像装置可以设于机器人的主体上。以扫地机器人为例,所述摄像装置可以设于扫地机器人的顶盖的中部或边缘,或者所述摄像装

置可以设于扫地机器人的顶部表面的平面之下、在主体的几何中心附近或主体的边缘附近的凹入结构上。另外,所述摄像装置的光学轴可以相对于垂线成±30°的夹角,或者所述摄像装置的光学轴可以相对于水平线成0-180°的夹角。所述导航操作环境是指机器人依据利用已构建的地图数据而设计的导航路线、或基于随机设计的导航路线移动并进行相应操作的环境。以扫地机器人为例,导航操作环境指扫地机器人依据导航路线移动并进行清洁操作的环境。

所述存储装置212用于预存有定位与地图构建应用及行为控制应用,以及至少一个标准件的标准物理特征。其中,定位与地图构建应用即slam应用是智能机器人领域中的基础应用,问题可以描述为当机器人在未知环境中时,是否有办法让机器人一边逐步描绘出此环境完全的地图,同时一边决定机器人应该往哪个方向行进,也就是说,要实现智能化需要完成三个任务,第一个是定位(localization),第二个是建图(mapping),第三个则是随后的路径规划(navigation)。本申请中的行为控制应用是指根据所设定的信息或指令控制机器人移动、进行姿态调整等。

此外,所述存储装置还预存有各标准件的标准物理特征。其中,所述标准件可包括基于行业标准、国家标准、国际标准、和自定义标准中的至少一种标准而设计的标准件。例如,行业标准如机械行业标准jb、建筑材料行业标准jc等;国家标准如中国gb标准、德国din标准、英国bs标准等;国际标准如国际iso标准;自定义标准稍后详述。所述标准物理特征可包括轮廓尺寸、标准结构关系等,例如,标准件的标准物理特征包括标准件实际物理上的长、宽、高,标准件中对应标准的实际物理上的其他尺寸数据等。例如,电源插座上两孔间距等。又如电源插座的长宽值。

所述存储装置212包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中,存储装置212还可以包括远离一个或多个处理器的存储器,例如,经由rf电路或外部端口以及通信网络(未示出)访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(lan)、广域网(wlan)、存储局域网(san)等,或其适当组合。存储器控制器可控制机器人的诸如cpu和外设接口之类的其他组件对存储装置的访问。

所述定位处理装置213连接所述驱动装置215、摄像装置211、及存储装置212。所述定位处理装置213可包括一个或多个处理器。定位处理装置213可操作地与存储装置212中的易失性存储器和/或非易失性存储器耦接。定位处理装置213可执行在存储器和/或非易失性存储设备中存储的指令以在机器人中执行操作,诸如识别图像中实物的图形以及基于所识别的标准图形和标准件的标准物理体征在地图中进行定位等。如此,处理器可包括一个或多个通用微处理器、一个或多个专用处理器(asic)、一个或多个数字信号处理器(dsp)、一个或多个现场可编程逻辑阵列(fpga)、或它们的任何组合。所述定位处理装置还与i/o端口和输入结构可操作地耦接,该i/o端口可使得机器人能够与各种其他电子设备进行交互,该输入结构可使得用户能够与计算设备进行交互。因此,输入结构可包括按钮、键盘、鼠标、触控板等。所述其他电子设备可以是所述机器人中移动装置中的移动电机,或机器人中专用于控制移动装置和清扫装置的从处理器,如mcu(microcontrollerunit,微控制单元,简称mcu)。

在一种示例中,所述定位处理装置213通过数据线分别连接存储装置212、摄像装置211和驱动装置215。所述定位处理装置213通过数据读写技术与存储装置212进行交互,所述定位处理装置213通过接口协议与摄像装置211和驱动装置215进行交互。其中,所述数据读写技术包括但不限于:高速/低速数据接口协议、数据库读写操作等。所述接口协议包括但不限于:hdmi接口协议、串行接口协议等。

所述定位处理装置213用于调用所述预存有定位与地图构建应用以执行:识别所述图像中实物的图形,当所识别的至少一个图形为对应有标准件的标准图形时获取所述标准件的标准物理特征;基于所述标准图形和所述标准件的标准物理特征,确定所述机器人在当前物理空间中的定位信息。

首先,所述定位处理装置213可采用基于神经网络的图像识别方法、基于小波矩的图像识别方法等图像识别方法对所摄取的图像进行处理、分析和理解,以识别各种不同模式的目标和对象。此外,所述定位处理装置还可通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系,相似性和一致性的分析来寻求相似图像目标。

在一实施例中,以扫地机器人为例,由于扫地机器人通常进行室内清洁工作,因而通过摄像装置所摄取的图像中的实物一般会包括例如,墙、桌、沙发、衣柜、电视机、电源插座、网线插座等。在本示例中,首先,摄像装置在机器人的导航操作环境下摄取图像之后将所述图像提供给定位处理装置,定位处理装置通过图像识别来识别所摄取的图像中实物的图形。其中,所述实物的图形可以由实物的灰度、实物的轮廓等特征表征。同时,所述实物的图形并不限于实物的外部几何图形,还可包括实物上呈现出的其他图形,例如电源插座上的二孔插口、五孔插口,网线插座上的方形插口等。鉴于此,例如,对于外部几何图形相近的电源插座和网线插座,则可利用电源插座的五孔插口与网线插座的方形插口来辨别。此外,在扫地机器人的摄像装置在室内可摄取的图像中的实物包括电源插座、网线插座的情况下,由于电源插座、网线插座是根据gb标准设计的,因而不会因其所处的环境不同而有所变化,因此,可以作为标准件。本示例中,标准件选用电源插座。标准件的标准物理特征可包括电源插座的长、宽、高,电源插座上五孔插口的结构关系等。在某些实施方式中,标准件的图形和标准件的标准物理特征可以是预设的,并且利用机器人的存储装置预先存储。因此,获取标准件的标准物理特征的方式包括自机器人的存储装置中读取预设的标准物理特征。

此外,针对所识别的图像中实物的图形和所存储的标准件即电源插座的图形,定位处理装置213通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系,相似性和一致性的分析来确定所识别的至少一个图形与所存储的电源插座的图形是否对应,当所识别的至少一个图形与所存储的电源插座的图形对应时,获取电源插座的标准物理特征。其中,与所存储的电源插座的图形对应的所述至少一个图形被称为标准图形,本示例中,标准图形即所摄取的电源插座的图形。

然后,定位处理装置213利用预设的单位像素间隔与实际物理空间中单位长度的对应关系,以及所识别的标准图形的尺寸和所对应的标准物理特征中的实物尺寸,计算机器人在当前物理空间中相距标准件的距离和偏角,即得到机器人相对于标准件的定位信息。以设置在墙上的插座为例,当定位处理装置识别出插座以及墙与底面的交界线、或识别出插座并默认插座被安装在墙上时,按照上述对应关系,定位处理装置不仅可得到机器人相距插座的距离和偏角,定位处理装置还可以利用墙、机器人和插座的空间位置关系得到机器人与墙的直线距离,如此得到机器人相对于墙的定位信息。

本申请的机器人通过采用定位处理装置213对由摄像装置211所摄取的图像中实物的图形进行识别并与存储装置212中所存储的标准件的图形进行匹配、以及基于所述标准件的标准物理特征确定机器人在当前物理空间中的定位信息的技术方案,解决了现有技术中利用传感器所提供数据对机器人的定位不准确的问题。

请参阅图8,图8显示为本申请的机器人在另一种实施方式中的结构示意图。如图所示,机器人还包括网络接入装置214。所述网络接入装置214与定位处理装置213相连,网络接入装置214用于自远程服务端获取相应标准物理特征。

在一实施例中,定位处理装置将检索要求即标准图形通过网络提供给远程服务端,远程服务端根据所述要求采用cbir(content-basedimageretrieval,基于内容的图像检索,简称cbir)方法进行检索并确定检索结果即检索得到标准件图形,然后,远程服务端基于所获取的标准件图形输出标准件的标准物理特征,并通过网络提供给定位处理装置以进行后续处理。

在某些实施方式中,标准件除了可包括基于行业标准、国家标准、国际标准中的至少一种标准而设计的标准件之外,还可包括基于自定义标准而设计的标准件。所述自定义标准的标准件可以是机器人厂商自定义的标准件,例如,机器人厂商设计制造的可设于机器人工作环境中与机器人配套使用的标准件。所述自定义标准的标准件还可以是藉由用户输入的物理参数生成有标准物理特征的标准件。在一实施例中,以扫地机器人为例,基于扫地机器人在例如客厅工作时通过摄像装置所摄取的图像中的实物一般会包括家用电器如电视机,因而用户可以自定义电视机为标准件。具体地,用户可以通过阅读电视机的说明书或者查询产品信息得到电视机的物理参数,并经由输入装置例如机器人应用程序app输入物理参数生成有标准物理特征的标准件。此外,用户也可根据室内环境来选择其他实物作为标准件。本申请的机器人通过用户自定义标准件,使得用户能够根据室内环境选择标准件,有助于机器人的准确定位。

在某些实施方式中,所述定位处理装置基于所述标准图形和所述标准件的标准物理特征,确定所述机器人在当前物理空间中的定位信息的方式包括:基于所述标准物理特征对所述标准图形进行偏角矫正处理以得到所述机器人相对于所述标准件所在平面的偏转角度;基于所述标准物理特征对所矫正后的图形进行距离测量以得到所述机器人相距所述标准件及所述标准件所在平面的距离。

以所述定位处理装置所识别的标准件为两孔电源插座为例,根据两孔电源插座的标准物理特征中每个孔的尺寸和角度特征、和两孔之间的实际物理间距和角度特征,以及图像所识别的两孔电源插座的标准图形中每个孔的像素尺寸和像素偏角、两孔之间的像素间距和像素偏角,定位处理装置能够确定拍摄装置的拍摄面与两孔电源插座所在平面的偏转角度。定位处理装置可利用所得到的偏转角度得到机器人相对于标准件所在平面的偏转角度。

为了便于计算机器人相距标准件的距离,定位处理装置利用所得到的偏转角度对所述标准图形进行纠偏处理,以得到与标准件所在平面平行的拍摄面内的标准图形。再利用图像中标准图形的像素尺寸与实际物理尺寸的比例关系进行距离测量,如此得到所述机器人相距所述标准件及所述标准件所在平面的距离。

在获得机器人相对于标准件所在平面的偏转角度和机器人相距标准件及标准件所在平面的距离之后即可确定机器人的当前位置及取向,即,确定机器人在当前物理空间中的定位信息。所得到的定位信息可用在机器人导航、地图创建和地图数据修正等方面。特别在室内定位与地图构建技术中,本申请所述的机器人根据得到的定位信息能够及时修正地图数据,使得在无法预先获取准确室内地图数据的情况下,尽可能准确地构建并使用室内地图数据。

在某些实施方式中,所述定位处理装置调用所述定位与地图构建应用还执行基于所述机器人在当前物理空间中的定位信息调整所述机器人中的地图数据的步骤。

以扫地机器人为例,扫地机器人的地图数据一般是基于设于机器人上的多个移动传感器例如速度传感器、里程计传感器、测距传感器、悬崖传感器等所提供的移动数据,以及所述拍摄装置所提供的图像数据构建的,由于采用移动传感器和拍摄装置构建地图过程中存在累积误差,所以当机器人移动至某一位置时,本申请的机器人确定的机器人在当前物理空间中的定位信息与地图数据存在偏差,因而需要对所述地图数据进行调整。在此,定位处理装置在确定机器人在当前物理空间中的定位信息后基于所述定位信息来调整机器人中的地图数据。所述地图数据可以包括但不限于基于移动传感器所提供的移动数据和图像数据而在预设栅格内或坐标空间描绘的位置及角度数据,基于所识别的实物特征而在预设栅格或坐标空间内标记的地标信息等。所述地图数据可用于地图构建及导航。

本申请的机器人通过采用定位处理装置对由摄像装置所摄取的图像中实物的图形进行识别并与存储装置中所存储的标准件的图形进行匹配、以及基于所述标准件的标准物理特征确定机器人在当前物理空间中的定位信息、基于所述定位信息调整机器人中的地图数据的技术方案,使得能够依据定位信息补偿地图数据中的定位误差,实现准确定位的目的。

在某些实施方式中,所述定位处理装置基于机器人在当前物理空间中的定位信息调整所述机器人中的地图数据的方式包括:基于所述定位信息补偿所述地图数据中对应位置的定位误差;和/或基于所述定位信息补偿所述地图数据中与所述标准件相关的地标信息中的定位误差。

在一具体示例中,当机器人未识别到标准件时,其利用移动传感器所提供的移动数据构建地图数据;当机器人识别出标准件,并基于所识别的标准图形和相应标准件的标准物理特征确定所述机器人在当前物理空间中的定位信息时,定位处理装置可比较所述定位信息和基于移动数据而定位的定位信息是否有位置及角度偏差,若是,则可用标准件的定位信息替换移动数据而确定的定位信息,以及基于该两定位信息中位置及角度偏差顺修已构建的其他地图数据。例如,请参阅图3,图3显示为利用本申请所述定位方法所确定的定位信息b来补偿地图数据中位置a1和a2的定位误差的示意图。其中,位置a1、a2均为基于移动数据而确定的定位信息。当定位处理装置在a2位置识别出标准件并基于所识别出的标准件确定当前定位信息b时,将定位信息b替换位置a2,并利用定位信息b位于a2左侧且偏差一个栅格,将a1的定位信息也相左调整一个栅格得到虚线所示的a1’,以补偿移动数据在位置a1处的定位误差。

在另一具体示例中,在利用图像定位而构建地图数据时,地图数据中包含地标信息。所述地标信息用于帮助机器人利用图像进行定位。所述地标信息包括但不限于:标准件和非标准件的特征(如边、角、轮廓、亮度特征等),能够拍摄到这些特征的各位置及角度信息。其中,为了提高定位精度,一个地标信息中的特征通常为多个,例如10个以上。因此,一个地标信息中通常包含标准件和非标准件的特征、或者全部非标准件特征。相邻的地标信息中通常包含重复的和不重复的特征。在此,非标准件是指未被预先定义成标准件的物体,如,桌椅、墙体等。当本申请所述的机器人得到包含标准件特征的定位信息时,可基于所得到的定位信息补偿地图数据中与所述标准件相关的地标信息中的定位误差。

例如,在已构建的地图数据中包含位置c1和c2的定位信息,其中,位置c1中包含地标信息t1,位置c2中包含地标信息t2,t1中包含标准件的特征和非标准件的特征和拍摄到相应特征的位置及偏角,t2包含与t1相重叠的非标准件的特征和拍摄到相应特征的位置及偏角。当定位处理装置在c1位置识别出标准件并基于所识别出的标准件确定当前定位信息d时,将定位信息d替换位置c1处的定位信息以补偿原始地图数据中的定位误差,以及基于定位信息d调整地标信息t1中的位置及偏角中的定位误差。借助地标信息t1和t2中重叠的非标准件特征,本步骤还可以调整后位置c2和地标信息t2中的定位误差。

需要说明的是,上述对地图数据中的定位信息进行误差补偿的方式仅为举例。由于移动数据和图像数据的误差是累积而得的,故,其定位误差不一定完全一致。故而,定位补偿的方式还可以利用加权补偿的方式补偿各地图数据中的定位误差。

另外,利用本申请所述机器人得到的定位信息,以及地图数据所能提供的与定位相关的信息,如定位信息、地标信息等,本步骤可调整地图数据中一处或多处位置的定位信息,以及同一位置处所包含的一种或多种定位误差。

在某些实施方式中,所述定位处理装置还用于调用所述行为控制应用以执行依据所述定位信息控制所述驱动装置调整所述机器人的位移和/或姿态的步骤。其中,所述定位处理装置可以仅驱动机器人进行位移调整,也可以仅驱动机器人进行姿态调整,或者驱动机器人既进行位移调整、又进行姿态调整,这取决于机器人在当前物理空间中的定位信息与在已构建的地图中的定位信息之间的关系。例如,所述定位处理装置依据定位信息控制驱动装置中的驱动电机的转向、转速。又如,所述机器人包含两组驱动电机以对应每组滚轮,所述定位处理装置依据定位信息控制每个驱动电机以相同转向不同转速驱动各自滚轮,以便机器人改变行走方向。

在某些实施方式中,所述定位处理装置依据所述定位信息驱动所述机器人进行位移和/或姿态调整的方式包括:基于所述机器人在当前物理空间中的定位信息调整所述机器人的导航路线;控制所述驱动装置按照导航路线进行位移和/或姿态调整。

在一实施例中,首先,所述定位处理装置基于所述机器人在当前物理空间中的定位信息调整所述机器人的导航路线。以扫地机器人为例,扫地机器人的地图数据一般是基于设于机器人上的多个移动传感器例如速度传感器、里程计传感器等所提供的移动数据,以及所述拍摄装置所提供的图像数据构建的,由于采用移动传感器和拍摄装置构建地图过程中存在累积误差,所以当机器人移动至某一位置时,本申请的机器人确定的机器人在当前物理空间中的定位信息与地图数据存在偏差。因此,在根据已构建的地图进行导航操作的情况下,定位处理装置在确定机器人在当前物理空间中的定位信息后基于机器人在当前物理空间中的定位信息调整机器人的导航路线。

然后,所述定位处理装置控制所述驱动装置按照导航路线进行位移和/或姿态调整。也就是说,定位处理装置调整机器人继续移动的距离或者调整机器人移动的方向以控制驱动装置按照调整后的导航路线移动。

本申请的机器人通过采用对所摄取图像中实物的图形进行识别并与标准件的图形进行匹配、基于所述标准件的标准物理特征确定机器人在当前物理空间中的定位信息、基于所述定位信息调整机器人进行位移和/或姿态调整的技术方案,使得能够在准确定位的情况下修正导航路线并调整机器人的位移及姿态使得机器人能根据新的导航路线进行移动。

在某些实施方式中,所述定位处理装置基于机器人在当前物理空间中的定位信息调整所述机器人的导航路线的方式包括:基于所述定位信息重新确定所述机器人在预设地图数据中的位置及取向,并基于所重新确定的位置及取向调整导航路线。

以扫地机器人为例,在机器人根据已构建的地图进行导航操作的情况下,当机器人移动至某一位置时,机器人在已构建的地图上的位置及取向是已知的,此时,本申请的机器人中的定位处理装置确定了机器人在当前物理空间中的定位信息即机器人当前实际的位置及取向。所述机器人当前实际的位置及取向与机器人在已构建地图上的位置及取向之间存在偏差,定位处理装置基于机器人当前实际的位置及取向来修正机器人在已构建地图上的位置及取向,即重新确定机器人在已构建的地图中的位置及取向,然后根据重新确定的位置及取向以及已构建的地图来重新确定机器人距障碍物的距离、机器人是否偏航以及如果机器人继续沿已构建的地图中的路线移动所需移动的距离和偏转的方向,进而调整导航路线。

还需要说明的是,通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。基于这样的理解,本申请还提供一种电子设备的存储介质,所述存储介质存储有一个或多个程序,当所述一个或多个计算机程序被一个或多个处理器执行时,使得所述一个或多个处理器实现前述的任一项所述的定位方法。

基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质,这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。例如执行机器人的定位方法中的各步骤等。机器可读介质可包括,但不限于,软盘、光盘、cd-rom(紧致盘-只读存储器)、磁光盘、rom(只读存储器)、ram(随机存取存储器)、eprom(可擦除可编程只读存储器)、eeprom(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。其中,所述存储介质可位于机器人也可位于第三方服务器中,如位于提供某应用商城的服务器中。在此对具体应用商城不做限制,如小米应用商城、华为应用商城、苹果应用商城等。

本申请可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1