一种机器人跟随方法及用于机器人跟随的设备与流程

文档序号:11827389阅读:540来源:国知局
一种机器人跟随方法及用于机器人跟随的设备与流程

本发明属于机器人领域,具体涉及一种机器人跟随方法及用于机器人跟随的设备。



背景技术:

移动对象跟随,尤其是目标人跟随,是人机交互研究领域中的一个热点问题,不仅在机器人领域具有广泛的应用需求,例如协助残疾人和病人移动的机器人轮椅、跟在主人身后搬运行李重物的机器人以及在仓储场景中进行货物装卸、分配的机器人等,而且它还广泛应用于智能交通、人体行为识别、智能监控系统以及军事侦察等领域。

跟随过程往往发生在比较复杂的自然环境中,环境中包括目标对象、非目标对象,以及静态或者动态的障碍物,因而机器人需要能够在多干扰的自然环境中实时识别出目标对象,并能够避开障碍物准确跟随目标。目前已有的机器人跟随方法和/或系统主要采用单一传感器,对目标对象的采集方法较为单一,而且识别跟随目标的算法也存在缺陷,导致跟随易受环境中干扰物的影响,因而存在容易跟错目标或者跟丢目标的技术缺陷。



技术实现要素:

本申请的目的是提供一种机器人跟随方法及用于机器人跟随的设备。

根据本申请的一个方面,提供了一种用于机器人跟随的方法,包括:

确定机器人待跟随的目标对象;

从所述机器人实时捕获的场景中识别所述目标对象;

确定所述机器人向所述目标对象的移动路径;

控制所述机器人按所述移动路径移动。

根据本申请的另一方面,还提供了一种用于机器人跟随的设备,包括:

第一装置,用于确定机器人待跟随的目标对象;

第二装置,用于从所述机器人实时捕获的场景中识别所述目标对象;

第三装置,用于确定所述机器人向所述目标对象的移动路径;

第四装置,用于控制所述机器人按所述移动路径移动。

与现有技术相比,本申请所述方法包括:确定机器人待跟随的目标对象;在此,首先扫描设备检测机器人周围的环境信息,其中,扫描设备包括而不限于激光传感器、摄像头、深度摄像头等,而且各种设备可以根据需要安装在机器人的一个或多个部位。在本申请中,周围具体指机器人所搭载的扫描设备所能感知的范围。然后,从环境信息中检测出需要跟随的一个或多个对象,再从一个或多个对象中选择确定目标对象。接着,从所述机器人实时捕获的场景中识别所述目标对象;在此,通过周期性地扫描周围环境,再根据某一个时刻或多个时刻的环境信息,识别出目标对象,实现了在实时变化的、存在多干扰对象的复杂环境中,机器人准确识别出目标对象的目的,解决了目前在机器人跟随领域常见的目标跟错、跟丢的技术问题。然后,根据目标对象的位置信息确定所述机器人向所述目标对象的移动路径;在此,在准确定位目标对象的基础上,结合周围环境中的障碍物分布情况,为机器人规划出可避免于周围障碍物发生碰撞的、到达目标对象位置的路径。同时,还可以预先规划机器人移动的路线范围,使得机器人尽可能沿着跟随对象的路线范围运动,从而降低跟丢目标的概率。最后,控制所述机器人按所述移动路径移动;在此,控制机器人按照规划好的移动路径移动时,需要考虑机器人的移动速度规划。综合而言,与现有技术相比,本申请的有益效果在于,在实时变化的、干扰因素较多的自然环境中,本申请提高了跟随的准确度,解决了目前机器人跟随经常发生的跟错目标或跟丢目标的技术问题。

进一步,在一个优选实施例中,确定机器人待跟随的目标对象的方法还可以是,获取对应设备发出的跟随指令,其中所述跟随指令包括机器人待跟随对象的坐标信息;实时获取所述机器人的周围环境信息,其中,所述机器人与所述坐标信息间的距离小于或等于预定的距离阈值;接着,从所述周围环境信息识别对应的匹配对象,并将所述匹配对象作为所述机器人待跟随的目标对象。在此,对应设备可以是任何能够与机器人实现通信的设备,例如网络设备、其他机器人或者机器人遥控器等。跟随指令包括而又不限于机器人待跟随对象的坐标信息,如果坐标附近存在多种对象,则跟随指令还需要包括对象的类型信息。例如,在仓储场景中,跟随坐标附件既有人,又有运载小货车以及其他的机器人,则跟随指令需要同时包括目标坐标以及需要跟随的类型。机器人在确定目标对象时,扫描获取环境的某个对象的特征信息,并将该特征信息与机器人存储的特征信息进行匹配,匹配对象便是指能够匹配成功的对象。与现有技术相比,本方案的有益效果在于,除了机器人本体确定跟随目标之外,机器人还可以通过获取对应设备命令的方式获取跟随目标的信息,跟随目标获取的方式更加灵活,同时,跟随目标的多获取方式也为需要多个机器人协同运作的应用场景提供了实施的可能性。

进一步,在一个优选实施例中,从变化的环境中识别出目标对象的方法包括,当所述目标对象或所述机器人的位置改变,实时扫描获取所述机器人的周围环境信息;从所述周围环境信息中检测与所述目标对象的对象特征信息相匹配的一个或多个观测对象;从一个或多个所述观测对象中识别出所述目标对象。在此,首先需要指出的是,目标对象或者其他环境对象是移动的,机器人也是处于移动的状态中,因此,整个环境是实时改变的,机器人需要通过实时扫描来获取实时的环境信息,具体地,实时扫描的实现方式是,以一个较高的频率周期性地扫描周围环境。在本申请中,实时扫描和周期性扫描代表相同的含义而不予以区别,同时,对于周期性扫描而言,为了概念上的统一,在本申请中,分别用前一周期、当前周期以及下一周期来表示时间上顺承的三个扫描周期。

具体地,对象特征信息是机器人预先存储的某一对象区别于其他对象的信息,例如,跟随对象是某个人,则对象特征信息可以包括该人的着装、身高、双腿的夹角等。观测对象是指环境中所有与所跟随对象属于同一类的对象,包括目标对象在内,例如,跟随对象是某个人,则观测对象是指扫描的环境中包括目标人在内的所有人。与现有技术相比,本方案通过实时扫描周围环境信息,首先检测出实时环境中所有与跟随对象属于同一类的观测对象,再从一个或多个观测对象中识别出目标对象。在识别目标对象时,也参考到了其他的观测对象的特征信息,从而显著提高了识别的准确度,降低跟错对象的概率。

进一步,在又一个优选实施例中,确定机器人移动路径的方法包括:从所述机器人的所述周围环境信息中障碍物信息;基于所述目标对象对应的所述观测记录获取所述目标对象的位置信息,确定所述机器人的目标坐标;根据所述目标坐标以及所述障碍物信息,确定所述机器人向所述目标对象的移动路径。在此,机器人首先从扫描的周围环境信息中检测障碍物信息,其中障碍物信息是指障碍物的尺寸及分布信息,基于障碍物信息及目标对象的位置,为机器人规划出向所述目标对象的移动路径,移动路径需要满足尽可能避免发生碰撞,又避免机器人走弯路即跟随路径长度又较短。在移动路径的规划过程中,优选地,可以采用橡皮筋法:初始点为机器人位置,目标点为目标对象的位置。直线连接,然后具体路径形状由障碍物决定,障碍物会对路径产生斥力,路径中的点会有张力,共同作用形成整个跟随路径。通过调整张力大小,保证路径和初始路径的一致性,也就是让机器人跟随路径的终点保持和目标对象的位置一致。与现有技术相比,本方案的有益效果在于,在识别出目标对象的基础上,规划出最优的跟随路径,既可以最大限度避免发生碰撞而又不会使机器人多走弯路,确保对所述目标对象的准确高效跟随。

进一步,本申请还包括一种机器人跟随行人的方法,包括:确定机器人待跟随的目标行人;从所述机器人实时捕获的场景中识别所述目标行人;确定所述机器人向所述目标行人的移动路径;控制所述机器人按所述移动路径移动。机器人跟随目标人在现实中有着广泛的应用,在本方案中,通过实时扫描获取环境信息并从中检测出所有的行人,称为观测行人,环境中可以有一个或多个观测行人,再从一个或多个观测行人中选择确定目标行人。接着,从实时变化的环境中识别出目标行人,识别的过程涉及到人体特征信息,其中人体特征信息包括人腿的特征。然后在准确定位目标对象的基础上,结合周围环境中的障碍物分布情况,为机器人规划出最优的到达目标行人位置的路径,并控制机器人移动以达到准确跟随的目的。与现有技术相比,本方案的有益效果在于,在实时变化的、干扰因素较多的自然环境中,本方案提高了跟随目标行人的准确度,解决了目前机器人跟随目标人时经常发生的跟错目标或跟丢目标的技术问题。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:

图1示出根据本申请一个方面的一种机器人跟随目标对象的方法流程图;

图2示出根据本申请又一个方面的一种机器人跟随目标对象的方法流程图;

图3示出根据本申请又一个方面的一种机器人跟随目标行人的方法流程图;

图4示出根据本申请另一个方面的一种用于机器人跟随目标对象的设备的设备示意图;

图5示出根据本申请又一个方面的一种用于机器人跟随目标对象的设备的设备示意图;

图6示出根据本申请又一个方面的一种用于机器人跟随目标行人的设备的设备示意图;

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

图1示出根据本申请一个方面的一种机器人跟随目标对象的方法流程图。其中,所述方法包括步骤S11、步骤S12、步骤S13以及步骤S14。

其中,在步骤S11中,确定机器人待跟随的目标对象;在此,首先扫描设备扫描机器人周围的环境信息,其中,扫描设备包括而不限于激光传感器、摄像头、深度摄像头等,而且各种设备可以根据需要安装在机器人的一个或多个部位。扫描的结果是环境信息的原始数据,可以是图像、图片或者点云。然后,从环境信息中检测出需要跟随的对象类型,环境中可以有一个或多个对象属于该对象类型。其中,可以通过机器学习的方法,事先训练好分类器,即提取某一类对象的扫描数据的特征信息,输入到分类器中,通过对比从环境信息中检测出某类对象。最后,从一个或多个对象中选择确定目标对象。可以根据预先设置的规则从一个或多个对象中选择确定目标对象,例如,选择距离机器人最近的对象,或者选择某个坐标附件的对象作为目标对象。

其中,在步骤S12中,从所述机器人实时捕获的场景中识别所述目标对象;在此,由于环境中的各对象以及机器人是处于变化的状态,因此,需要基于实时变化的环境识别出目标对象。解决的方案是,通过周期性地扫描周围环境,获取实时环境数据信息,再从该环境数据信息中检测出与目标对象属于同一类的所有对象,最后根据某一个周期或持续扫描的多个周期的检测结果,识别出目标对象。本方案实现了在实时变化的、存在多干扰对象的复杂环境中,机器人准确识别出所述目标对象的目的,解决了目前在机器人跟随领域常见的目标跟错、跟丢的技术问题。

其中,在步骤S13中,根据目标对象的位置信息确定所述机器人向所述目标对象的移动路径;在此,在准确定位所述目标对象的基础上,结合周围环境中的障碍物分布情况,为机器人规划可避免于周围障碍物发生碰撞的、到达目标对象位置的路径。同时,预先规划机器人移动的路线范围,使得机器人尽可能沿着跟随对象的路线范围运动,而不会偏离路线,从而降低跟丢目标的概率。

其中,在步骤S14中,控制所述机器人按所述移动路径移动;在此,控制机器人按照规划好的移动路径移动时,需要解决机器人的移动速度规划。例如,机器人加速、减速的时机,在多障碍物的环境中,避障与速度之间的平衡,以及在接近目标对象时如何平滑停止运动。

与现有技术相比,本申请的有益效果在于,在实时变化的、多干扰因素的自然环境中,本申请所采用的识别所述目标对象的算法可以有效提高识别目标对象的准确度,从根本上解决了目前机器人跟随经常发生的跟错目标或跟丢目标的技术问题。

优选地,步骤S11包括,当机器人被设置为跟随模式时,将所述机器人周围的匹配对象作为所述机器人待跟随的目标对象。具体地,所述机器人周围指的与机器人之间的距离小于或等于预定的阈值的范围。首先需要一个操作来触发机器人开启跟随模式,该操作可以是按下按键或者触摸屏上的操作或者是一个语音信号或者根据协议确定的另外各种信号形式。所述匹配对象是处于机器人周围环境中将被机器人选择作为目标对象的对象。

更优选地,步骤S11包括步骤S111(未示出)和步骤S112(未示出)。其中,在步骤S111中,当机器人被设置为跟随模式时,从所述机器人实时捕获的周围信息中识别对应的匹配对象;在步骤S112中,将所述匹配对象作为所述机器人待跟随的目标对象。当某一个操作触发机器人开启跟随模式,首先扫描获取环境信息的原始数据,原始数据可以是图像、图片或者点云。然后,从环境的原始信息中检测出需要跟随的对象类型,环境中可以有一个或多个对象属于该对象类型。通过机器学习的方法,事先训练好分类器,即提取某一类对象的扫描数据的特征信息,输入到分类器中,通过对比从环境信息中检测出某类对象。某类对象往往有多个,匹配对象即是从一个或多个该类对象中选择的作为目标对象的对象。其中,选择匹配对象需要依据一定的规则,例如以对象与机器人之间的距离为依据,或者以对象与机器人存储的特征之间的匹配程度作为依据,优选地,匹配对象包括以下至少任一项:

在所述机器人周围与所述机器人最接近的对象;

在所述机器人前方与所述机器人最接近的对象;

在所述机器人正前方与所述机器人最接近的对象;

在所述机器人周围且与待跟随对象的对象特征信息相匹配的对象;

在所述机器人周围且与待跟随对象的对象特征信息最匹配的对象;

在所述机器人周围与待跟随对象的对象特征信息相匹配的多个对象中与所述机器人最接近的对象。

优选地,步骤S11包括:获取对应设备发出的跟随指令,其中所述跟随指令包括机器人待跟随对象的坐标信息;实时获取所述机器人的周围环境信息,其中,所述机器人与所述坐标信息间的距离小于或等于预定的距离阈值;从所述周围环境信息识别对应的匹配对象,并将所述匹配对象作为所述机器人待跟随的目标对象。该方法的特征在于机器人的跟随目标信息通过其他对应设备获取,而非机器人本体确定。在此,对应设备可以是任何能够与机器人实现通信的设备,例如网络设备、其他机器人或者机器人遥控器等。所述对应设备向机器人发出跟随指令,该指令包括待跟随对象的坐标信息,其中,坐标信息既可以是绝对坐标信息,也可以是相对坐标信息。机器人通过扫描获取其周围环境信息,此时需确定所述机器人与坐标信息间的距离小于或等于预定的距离阈值;并从环境信息中识别匹配对象,并将匹配对象设定为目标对象。

接着,如果机器人获取跟随指令时,其位置与待跟随对象的位置之间的距离大于预定的距离阈值,本申请更进一步地给出了该种情况下的优选解决方案:当所述机器人与所述坐标信息间的距离大于预定的距离阈值,控制所述机器人朝向所述坐标信息移动;实时获取所述机器人的周围环境信息,其中,所述机器人与所述坐标信息间的距离小于或等于预定的距离阈值。具体地,如果机器人与所述坐标信息间的距离大于预定的距离阈值,则控制所述机器人朝向所述坐标信息移动;其中,朝向并不限定机器人移动过程中的方向,而是指相对于机器人的初始位置,移动后的位置更接近所述坐标信息的位置。直到满足距离要求时,机器将实时获取的周围环境信息用于对待跟随对象的检测。

进一步地,步骤S12包括步骤S121(未示出)、步骤S122(未示出)和步骤S123(未示出)。其中,在步骤S121中,实时扫描获取所述机器人的周围环境信息;在步骤S122中,从所述周围环境信息中检测与所述目标对象的对象特征信息相匹配的一个或多个观测对象;在步骤S123中,从一个或多个所述观测对象中识别出所述目标对象。

具体地,在步骤S11确定跟随的目标对象的基础上,步骤S12用于解决如何在实时变化的环境中识别出目标对象。首先,在步骤S121中,环境信息是处于不断的变化中的,首先通过实时扫描获取机器人的周围环境信息,其中,环境信息是扫描直接获取的环境原始数据信息。接着,在步骤S122中,确定目标对象之后,目标对象的特征信息就已被提取并存储。当所述机器人周围环境信息发生变化,通过实时扫描获取当前时刻的环境信息,并从环境原始信息中检测出与所述目标对象属于一类的一个或多个对象,统称为观测对象,其中,属于一类的判断标准在于实时提取的观测对象的特征与所述目标对象的对象特征信息满足一定的匹配度。例如,如果目标对象是人,则对象特征信息会包括人的形状、肢体特征,比如,高度的数值范围,宽度的数值范围,躯体通过脖子与头部相连接,以及移动时两腿的交替运动等特征。通过这一步骤的匹配,将会检测出实时环境中的人,将其作为观测对象。需要提请注意的是,每扫描一次周围环境,均需要重新检测观测对象,即观测对象是随着环境扫描而周期性更新的。在步骤S123中,接上一步骤,在得到观测对象之后,接着需要从若干个观测对象中识别出所述目标对象。

进一步,优选地,所述步骤S123包括:步骤S1231(未示出)和步骤S1232(未示出)。其中,在步骤S1231中,在确定所述机器人对应的一个或多个观测对象中每个观测对象与所述观测记录的关联信息,其中,所述一个或多个观测对象包括所述目标对象;在步骤S1232中,根据所述观测对象与所述观测记录的关联信息从一个或多个所述观测对象中识别出所述目标对象。

具体地,步骤S1231中,将实时扫描提取的当前的观测对象与已经存储的的所述观测记录进行数据关联,得到关联信息。其中,所述观测记录是对观测对象的信息记录,例如,观测对象的特征和观测对象的当前位置。优选地,在本方案中,观测记录对应于提取并记录的与所述机器人对应的一个或多个所述观测对象中每个观测对象的对象相关信息。其中,所述观测对象的对象相关信息包括以下至少任一项:所述当前对象的位置信息;所述当前对象的运动状态信息;所述当前对象的本体特征信息。在此,与所述机器人对应是指在当前扫描周期中,处于机器人周围而被扫描到的对象。所述位置信息是指当前扫描时刻所述观测对象的位置;运动状态信息包括运动的方向、速度大小等运动信息;本体特征信息则是指所述观测对象本体的外观特征,包括形状、大小以及颜色信息等。将实时扫描提取的当前的观测对象与已经存储的的所述观测记录进行数据关联,具体是指将当前一个或多个观测对象中的每一个观测对象分别与存储的所述观测记录中的每一个观测记录进行匹配,其结果便是关联信息。例如,某一扫描周期,环境中有N个观测对象,机器人之前存储的观测记录是M条,其中,M与N可以相同也可以不相同。进行数据关联,即是将N个观测对象逐一分别与M条观测记录进行匹配,得到每一次匹配的匹配度,而整体匹配结果便是一个N行M列的矩阵,矩阵元素便是对应的匹配度,这一矩阵便是关联信息。其中,所述观测对象包括目标对象在内。步骤S1232中,根据上一步骤得到的所述关联信息识别出所述目标对象。在得到关联信息即匹配度矩阵之后,经过综合分析运算,选取整体匹配度最高的一种关联方式,从而得到所述目标对象。

优选地,所述步骤S1231包括,根据所述机器人对应的一个或多个观测对象中每个观测对象的对象相关信息,确定所述观测对象与所述观测记录的关联信息,其中,所述一个或多个观测对象包括所述目标对象。在此,本方案给出在进行数据关联获取关联信息时所依据的匹配内容,匹配的内容是对象相关信息,包括,当前对象的位置信息;当前对象的运动状态信息;以及所述当前对象的本体特征信息。全面地、多角度地进行数据匹配,从而有效提高匹配结果的准确性。

进一步优选地,所述步骤S1231包括,根据所述观测记录预测对应的所述观测对象的活动区域信息;确定所述观测记录与所述一个或多个观测对象中位于所述活动区域信息的所述观测对象的关联信息,其中,所述一个或多个观测对象包括所述目标对象。在此,本方案解决的是如何实际进行数据关联。具体而言,在进行数据关联时利用了前一扫描周期的结果。首先,在前一扫描周期中,根据观测记录中记录的对象相关信息,即前一扫描周期的位置信息以及运动的方向以及速度大小,已经预测每个观测记录所对应观测对象的在当前扫描周期的活动区域范围。进一步,根据预测的活动区域范围,将所述观测记录与所述一个或多个观测对象中位于所述活动区域信息的所述观测对象进行数据关联,得到关联信息。由于提前进行了位置预测,首先在预测的范围内进行数据匹配,提高了单次匹配的匹配成功率,同时也从整体上提高了数据关联的速度和准确度。

接着,根据所述一个或多个观测对象更新所述一个或多个观测记录,其中,更新后的所述一个或多个观测记录对象包括从一个或多个所述观测对象中所识别出的所述目标对象。在此,本方案解决的是在数据关联完成之后所需要进行的观测记录更新。数据关联完成,对机器人而言意味着机器人已经识别出当前时刻扫描环境中的各个观测对象,其中,识别具体是指将环境中的各个观测对象与机器人在前一时刻的观测记录对应起来,找到当前观测对象与前一时刻的观测记录之间的对应关系。接着,需要根据当前的一个或多个观测对象的实时信息更新相应的观测记录,其中,所述目标对象包含在一个或多个观测对象之中,更新观测记录也就相应的更新了目标对象的信息。同样地,在当前扫描周期中,更新完观测记录后,也会根据当前周期的位置信息和运动状态信息对下一周期的活动区域范围作出预测。

进一步优选地,所述根据所述一个或多个观测对象更新所述一个或多个观测记录包括:若有新的所述观测对象出现,则增加相应的所述观测记录;若已有的所述观测对象消失,则删除该观测对象对应的所述观测记录;其余的所述观测对象,则更新相对应的所述观测记录中的相关信息。在此,机器人跟随环境中的观测对象是出于不断的变化状态,因而会出现三种情形:其一,可能会有新的观测对象出现在跟随环境中,识别依据可以是在数据关联完成后,所有的观测记录都已经识别出匹配的观测对象,但环境中还剩余有观测对象。对于每个新的观测对象,则为其一一设置观测记录,并相应记录各观测对象在当前时刻的对象相关信息;其二,可能会有某些观测对象消失,消失即处于机器人的扫描环境之外,此时,根据数据关联确定出消失的观测对象所对应的观测记录,再将这些观测记录删除;其三,对于仍然出现在机器人的扫描环境之中的已有的观测对象,其中,已有的观测对象指的是已经存在对应的观测记录的观测对象。此时,根据观测记录在当前时刻的运动状态信息更新其所对应的观测记录。

优选地,若根据所述关联信息不能识别所述目标对象,则根据持续观测提取的所述观测记录更新所述关联信息;根据所述观测对象与所述更新的关联信息从一个或多个所述观测对象中识别出所述目标对象。在此,本方案解决了根据单次关联信息无法识别出所述目标对象的问题。机器人的位置是变化的,跟随环境中的观测对象的位置也是变化的,因此可以合理地推测,机器人扫描所得到的周围环境信息中,某些观测对象是全部或部分重叠的。在这种情况下,根据该时刻的周围环境信息所进行的数据关联是不能识别出目标对象的。解决该问题的技术方案是:在当前数据关联结果的基础上,持续扫描周围环境信息,并根据每次的观测记录更新关联信息,直到重叠在一起的观测对象随着移动而分离开,则根据更新后的关联信息识别出所述目标对象。

进一步,步骤S13包括:从所述机器人的所述周围环境信息中障碍物信息;基于所述目标对象对应的所述观测记录获取所述目标对象的位置信息,确定所述机器人的目标坐标;根据所述目标坐标以及所述障碍物信息,确定所述机器人向所述目标对象的移动路径。本方案解决在识别出所述目标对象之后,如何规划机器人的跟随路径。在此,机器人首先确定从机器人本体到所述目标对象之间的障碍物信息,其中,障碍物是指环境中除了所述目标对象之外其他的所有对象,因此,障碍物既有静止的障碍物,例如在室内跟踪时的墙壁、柱子等建筑物,也有移动的障碍物,例如不属于所述目标对象的观测对象。接着,将所述目标对象所对应的观测记录中的位置信息设置为机器人的目标坐标。最后,根据障碍物分布情况以及机器人的目标坐标,确定机器人向所述目标对象的移动路径。具体地,由于从一个位置到达另一个位置的移动路径不是唯一的,因此为机器人确定的移动路径也不是唯一的,而是从多条路径中选择出最优的路径。同时,需要申明的是,由于环境是处于不断变化之中,所以障碍物信息也是变化的,从而确定的移动路径也是随之变化的。而且,优选地,还可以将路径预先规划为机器人移动的路线范围,这样可以使机器人尽可能沿着预定的路线范围运动,降低机器人偏离路线的概率,提高了跟随的准确度。

进一步,步骤S14包括:控制所述机器人按照所述移动路径移动,其中,所述机器人移动的速度根据速度控制规则确定,其中,所述速度包括前进速度与转向速度。优选地,所述速度控制规则包括:当所述目标对象与所述机器人的距离大于或等于距离阈值时,同时控制所述机器人的所述前进速度和所述转向速度;当所述目标对象与所述机器人的距离小于距离阈值时,控制所述机器人的所述转向速度。本方案解决的是在确定了移动路径之后,如何控制机器人的移动进行跟随。在此,机器人的运动需要受到机器人本体的运动学和动力学的约束,同时,在避免碰撞时还需要考虑机器人的尺寸。控制机器人按照所述移动路径移动时,一方面控制机器人不偏离路径范围,即进行运动方向的控制,另一方面需要控制机器人的移动速度。进一步,优选地,机器人的移动速度分为前进速度和转向速度两个分量,具体地,前进速度指机器人朝向方向上的速度分量,转向速度指在垂直于前进速度方向上的速度分量。当机器人与所述目标对象之间的距离大于或等于距离阈值时,同时对所述前进速度和所述转向速度进行规划控制;当机器人与所述目标对象之间的距离小于距离阈值时,即机器人已经接近目标对象时,则只需要对机器人的运动方向,即转向速度进行微微调整。

图2示出根据本申请又一个方面的一种机器人跟随目标对象的方法流程图。其中,所述方法包括步骤S21、步骤S22以及步骤S23。其中,步骤S21中,从机器人实时捕获的场景中识别所述机器人对应的目标对象;步骤S22中,确定所述机器人向所述目标对象的移动路径;步骤S23中,控制所述机器人按所述移动路径移动。

具体地,在步骤S21中,从机器人实时捕获的场景中识别所述目标对象;在此,由于环境中的各对象以及所述机器人是处于变化的状态,因此,需要基于实时变化的环境识别出目标对象。解决该问题的方案是,通过周期性地扫描周围环境,获取实时环境数据信息,再从该环境数据信息中检测出与所述目标对象属于同一类的所有对象,最后根据某一个时刻或持续扫描的多个时刻的检测结果,识别出目标对象。本方案实现了在实时变化的、存在多干扰对象的复杂环境中,机器人准确识别出目标对象的目的,解决了目前在机器人跟随领域常见的目标跟错、跟丢的技术问题。

在步骤S22中,根据所述目标对象的位置信息确定所述机器人向所述目标对象的移动路径;在此,在准确定位目标对象的基础上,结合周围环境中的障碍物分布情况,为机器人规划可避免于周围障碍物发生碰撞的、到达目标对象位置的路径。同时,预先规划机器人移动的路线范围,使得机器人尽可能沿着跟随对象的路线范围运动,而不会偏离路线范围,从而降低跟丢目标的概率。

在步骤S23中,控制所述机器人按所述移动路径移动。在此,本步骤解决的是在确定了移动路径之后,如何控制机器人的运动进行跟随。具体地,机器人的运动需要受到机器人本体的运动学和动力学的约束,同时,还需要考虑在运动过程中的避障问题,在避免碰撞时需要考虑机器人的尺寸。控制机器人按照所述移动路径移动时,一方面控制机器人的移动轨迹不偏离预定的路径范围,另一方面需要控制机器人的移动速度。其中,优选地,机器人的移动速度控制可以根据所述机器人与所述目标之间的距离、所述目标对象的移动速度以及环境中的障碍物信息进行调整。

图3示出根据本申请又一个方面的一种机器人跟随目标行人的方法流程图。所述方法包括步骤S31、步骤S32、步骤S33以及步骤S34。其中,步骤S31中,确定机器人待跟随的目标行人;步骤S32中,从所述机器人实时捕获的场景中识别所述目标行人;步骤S33中,确定所述机器人向所述目标行人的移动路径;步骤S34中,控制所述机器人按所述移动路径移动。

具体地,在步骤S31中,确定机器人待跟随的目标行人;在此,首先扫描设备扫描机器人周围的环境信息,其中,扫描设备包括而不限于激光传感器、摄像头深度摄像头等,而且各种设备可以根据需要安装在机器人的一个或多个部位。扫描的结果是环境信息的原始数据,可以是图像、图片或者点云。然后,从环境信息中检测出所有的有可能是跟随目标的行人,称为观测行人,环境中可以有一个或多个观测行人。其中,可以通过机器学习的方法,事先训练好分类器,即提取人的特征信息,输入到分类器中,通过对比从环境信息中检测出观测行人。最后,从一个或多个观测行人中选择确定目标行。此时,可以根据预先设置的规则从一个或多个观测行人中选择确定目标行人,例如,选择距离机器人最近的观测行人,或者选择某个坐标附件的观测行人作为目标行人。

在步骤S32中,从所述机器人实时捕获的场景中识别所述目标行人;在此,由于环境中的各对象以及机器人是处于变化的状态,因此,需要基于实时变化的环境识别出目标行人。解决该问题的方案是,通过周期性地扫描周围环境,获取实时环境数据信息,再从该环境数据信息中检测出所有观测行人,最后根据某一时刻或持续扫描的多个时刻的检测结果,识别出目标行人。

在步骤S33中,根据目标行人的位置信息确定所述机器人向所述目标行人的移动路径;在此,在准确定位目标对象的基础上,结合周围环境中的障碍物分布情况,为机器人规划可避免于周围障碍物发生碰撞的、到达目标对象位置的路径。同时,预先规划机器人移动的路线范围,使得机器人尽可能沿着跟随对象的路线范围运动,而不会偏离预定的路线范围,从而降低跟丢目标的概率。

在步骤S34中,控制所述机器人按所述移动路径移动;在此,控制机器人按照规划好的移动路径移动时,需要解决机器人的移动速度规划。例如,机器人加速、减速的时机,在多障碍物的环境中,避障与速度之间的平衡,以及在接近目标对象时如何平滑停止运动。

与现有技术相比,本申请的有益效果在于,在实时变化的、干扰因素较多的自然环境中,本申请可有效提高跟随目标的准确度,解决了目前机器人跟随经常发生的跟错目标或跟丢目标的技术问题。

与现有技术相比,本申请的有益效果在于,在实时变化的、多干扰因素的自然环境中,本申请所采用的识别所述目标对象的算法可以有效提高识别目标对象的准确度,从根本上解决了目前机器人跟随经常发生的跟错目标或跟丢目标的技术问题。

进一步地,所述步骤S32包括:实时扫描获取所述机器人的周围环境信息;从所述周围环境信息中辨识出与人体特征信息相匹配的一个或多个观测行人,其中,所述一个或多个观测行人包括所述机器人待跟随的所述目标行人;从一个或多个所述观测行人中识别出所述目标行人。具体地,在步骤S31确定跟随的目标行人的基础上,步骤S32用于解决如何在实时变化的环境中识别出目标行人。首先,由于环境处于不断的变化之中,需要通过实时扫描获取机器人的周围环境信息,其中,环境信息是扫描直接获取的环境原始数据信息。接着,确定目标行人之后,目标行人的特征信息已被提取并存储。当所述机器人周围环境信息发生变化,通过实时扫描获取当前时刻的环境信息,并从环境原始信息中检测出符合人体特征信息的的一个或多个对象,其中,符合的具体含义是指实时提取的观测对象的特征与所述目标行人的人体特征信息满足一定的匹配度。例如,本方案中的跟随目标是人,则特征信息会包括人的形状、肢体特征,比如,高度的数值范围,宽度的数值范围,躯体通过脖子与头部相连接,以及移动时两腿的交替运动等特征。通过这一步骤的匹配,将会检测出实时环境中的人,统称为观测行人。需要提请注意的是,每扫描一次周围环境,均需要重新检测观测行人,即观测行人是实时更新的。接着,在得到观测行人之后,从所述一个或多个观测行人中,识别出目标行人,其中所述一个或多个观测行人包括所述目标行人。其中,识别的过程为,从所述一个或多个观测行人中若干个观测行人中确定出与所述目标行人的人体特征信息匹配度最高的一个观测行人。

优选地,步骤S32所述的方法中,所述人体特征信息包括人体的腿部特征信息。在此,人体特征信息是从周围环境中识别观测行人的依据,亦是从观测行人中识别所述目标行人的依据,因此人体特征信息的确定是机器人跟随行人方法的关键。人体特征信息包含人体的腿部特征信息的依据在于,一方面,考虑到机器人的构造稳定性问题以及制造成本问题,在满足机器人功能需求的前提下,通常都会将机器人设计的尽可能低,此时,装设于机器人上的扫描设备,例如,摄像头、深度摄像头以及传感器等就必须安装在比较低的部位,从而限定了获取的扫描数据的平面,因此选择人体腿部的特征作为识别人体的依据;另一方面,人体是靠腿部的交替动作而运动的,因此人体的腿部运动特征最为明显。

进一步优选地,所述步骤S32所述的方法还包括,当实时扫描所述机器人的周围环境信息时,可捕获所述机器人本体360°范围内的环境信息。本方案中,通过采取一定的技术方案,例如,为机器人装设后部传感器,使得机器人可以扫描其本体360°范围内的环境信息。与现有技术相比,该方案的有益效果在于,在跟随过程中,即使目标行人处于机器人后面,机器人仍可以继续保证检测和跟随的正确性。

进一步地,所述步骤S34包括,控制所述机器人按所述移动路径移动,其中,所述机器人的移动速度基于以下至少任一项进行确定:所述目标行人与所述机器人之间的距离;所述目标行人的移动速度;所述周围环境信息中的障碍物信息。在此,本步骤解决的是在确定了移动路径之后,如何控制机器人的运动进行跟随。具体地,机器人的运动需要受到机器人本体的运动学和动力学的约束,同时,还需要考虑在运动过程中的避障问题,在避免碰撞时需要考虑机器人的尺寸。控制机器人按照所述移动路径移动时,一方面控制机器人的移动轨迹不偏离预定的路径范围,即机器人的移动方向问题,另一方面需要控制机器人的移动速度。其中,优选地,机器人的移动速度大小可以根据以下至少任一项进行确定:所述机器人与所述目标之间的距离、所述目标对象的移动速度以及环境中的障碍物信息进行调整。例如,目标行人的移动速度很快,而机器人距离目标行人又较远的情况下,控制机器人以在周围环境障碍物约束下的速度高值进行运动;而如果机器人已经很接近目标行人,而目标行人处于停止状态或运动速度很小,则控制机器人以速度低值运动。

图4示出根据本申请另一个方面的一种用于机器人跟随目标对象的设备1的设备示意图。其中,所述设备1包括第一装置11、第二装置12、第三装置13以及第四装置14。

其中,所述第一装置11,用于确定机器人待跟随的目标对象;在此,首先扫描设备扫描机器人周围的环境信息,其中,扫描设备包括而不限于激光传感器、摄像头深度摄像头等,而且各种设备可以根据需要安装在机器人的一个或多个部位。扫描的结果是环境信息的原始数据,可以是图像、图片或者点云。然后,从环境信息中检测出需要跟随的对象类型,环境中可以有一个或多个对象属于该对象类型。其中,可以通过机器学习的方法,事先训练好分类器,即提取某一类对象的扫描数据的特征信息,输入到分类器中,通过对比从环境信息中检测出某类对象。最后,从一个或多个对象中选择确定目标对象。可以根据预先设置的规则从一个或多个对象中选择确定目标对象,例如,选择距离机器人最近的对象,或者选择某个坐标附件的对象作为目标对象。

其中,所述第二装置12,用于从所述机器人实时捕获的场景中识别所述目标对象;在此,由于环境中的各对象以及机器人是处于变化的状态,因此,需要基于实时变化的环境识别出目标对象。解决的方案是,通过周期性地扫描周围环境,获取实时环境数据信息,再从该环境数据信息中检测出与目标对象属于同一类的所有对象,最后根据某一个周期或持续扫描的多个周期的检测结果,识别出目标对象。

其中,所述第三装置13,用于根据目标对象的位置信息确定所述机器人向所述目标对象的移动路径;在此,在准确定位所述目标对象的基础上,结合周围环境中的障碍物分布情况,为机器人规划可避免于周围障碍物发生碰撞的、到达目标对象位置的路径。同时,预先规划机器人移动的路线范围,使得机器人尽可能沿着跟随对象的路线范围运动,而不会偏离路线,从而降低跟丢目标的概率。

其中,所述第四装置14,用于控制所述机器人按所述移动路径移动;在此,控制机器人按照规划好的移动路径移动时,需要解决机器人的移动速度规划。例如,机器人加速、减速的时机,在多障碍物的环境中,避障与速度之间的平衡,以及在接近目标对象时如何平滑停止运动。

与现有技术相比,本申请的有益效果在于,在实时变化的、多干扰因素的自然环境中,本申请所采用的识别所述目标对象的方法可以有效提高识别目标对象的准确度,从根本上解决了目前机器人跟随经常发生的跟错目标或跟丢目标的技术问题。

优选地,所述第一装置11,用于当机器人被设置为跟随模式时,将所述机器人周围的匹配对象作为所述机器人待跟随的目标对象。具体地,所述机器人周围指的与机器人之间的距离小于或等于预定的阈值的范围。首先需要一个操作来触发机器人开启跟随模式,该操作可以是按下按键或者触摸屏上的操作或者是一个语音信号。所述匹配对象是处于机器人周围环境中将被机器人选择作为目标对象的对象。

更优选地,所述第一装置11包括第一单元(未示出)和第二单元(未示出)。其中,所述第一单元,用于当机器人被设置为跟随模式时,从所述机器人实时捕获的周围信息中识别对应的匹配对象;所述第二单元,用于将所述匹配对象作为所述机器人待跟随的目标对象。当某一个操作触发机器人开启跟随模式,首先扫描获取环境信息的原始数据,原始数据可以是图像、图片或者点云。然后,从环境的原始信息中检测出需要跟随的对象类型,环境中可以有一个或多个对象属于该对象类型。通过机器学习的方法,事先训练好分类器,即提取某一类对象的扫描数据的特征信息,输入到分类器中,通过对比从环境信息中检测出某类对象。某类对象往往有多个,匹配对象即是从一个或多个该类对象中选择的作为目标对象的对象。其中,选择匹配对象需要依据一定的规则,例如以对象与机器人之间的距离为依据,或者以对象与机器人存储的特征之间的匹配程度作为依据,优选地,匹配对象包括以下至少任一项:

在所述机器人周围与所述机器人最接近的对象;

在所述机器人前方与所述机器人最接近的对象;

在所述机器人正前方与所述机器人最接近的对象;

在所述机器人周围且与待跟随对象的对象特征信息相匹配的对象;

在所述机器人周围且与待跟随对象的对象特征信息最匹配的对象;

在所述机器人周围与待跟随对象的对象特征信息相匹配的多个对象中与所述机器人最接近的对象。

优选地,所述第一装置11包括:第三单元(未示出),用于获取对应设备发出的跟随指令,其中所述跟随指令包括机器人待跟随对象的坐标信息;第四单元(未示出),用于实时获取所述机器人的周围环境信息,其中,所述机器人与所述坐标信息间的距离小于或等于预定的距离阈值;第五单元(未示出),用于从所述周围环境信息识别对应的匹配对象,并将所述匹配对象作为所述机器人待跟随的目标对象。该方案的特征在于机器人的跟随目标信息通过其他对应设备获取,而非机器人本体确定。在此,对应设备可以是任何能够与机器人实现通信的设备,例如网络设备、其他机器人或者机器人遥控器等。所述对应设备向机器人发出跟随指令,该指令包括待跟随对象的坐标信息,其中,坐标信息既可以是绝对坐标信息,也可以是相对坐标信息。机器人通过扫描获取其周围环境信息,此时需确定所述机器人与坐标信息间的距离小于或等于预定的距离阈值;并从环境信息中识别匹配对象,并将匹配对象设定为目标对象。

更进一步地,本申请给出了当机器人获取跟随指令时,其位置与待跟随对象的位置之间的距离大于预定的距离阈值的优选解决方案。所述第四单元还用于当所述机器人与所述坐标信息间的距离大于预定的距离阈值,控制所述机器人朝向所述坐标信息移动;实时获取所述机器人的周围环境信息,其中,所述机器人与所述坐标信息间的距离小于或等于预定的距离阈值。具体地,如果机器人与所述坐标信息间的距离大于预定的距离阈值,则控制所述机器人朝向所述坐标信息移动;其中,朝向并不限定机器人移动过程中的方向,而是指相对于机器人的初始位置,移动后的位置更接近所述坐标信息的位置。直到满足距离要求时,机器将实时获取的周围环境信息用于对待跟随对象的检测。

进一步地,所述第二装置12包括第一单元(未示出)、第二单元(未示出)和第三单元(未示出)。其中,所述第一单元,用于实时扫描获取所述机器人的周围环境信息;所述第二单元,用于从所述周围环境信息中检测与所述目标对象的对象特征信息相匹配的一个或多个观测对象;所述第三单元,用于从一个或多个所述观测对象中识别出所述目标对象。

具体地,在第一装置11确定跟随的目标对象的基础上,第二装置12用于解决如何在实时变化的环境中识别出目标对象。首先,环境信息是处于不断的变化中的,第一单元首先通过实时扫描获取机器人的周围环境信息,其中,环境信息是扫描直接获取的环境原始数据信息。接着,第二单元,确定目标对象之后,目标对象的特征信息就已被提取并存储。当所述机器人周围环境信息发生变化,通过实时扫描获取当前时刻的环境信息,并从环境原始信息中检测出与所述目标对象属于一类的一个或多个对象,统称为观测对象,其中,属于一类的判断标准在于实时提取的观测对象的特征与所述目标对象的对象特征信息满足一定的匹配度。例如,如果目标对象是人,则对象特征信息会包括人的形状、肢体特征,比如,高度的数值范围,宽度的数值范围,躯体通过脖子与头部相连接,以及移动时两腿的交替运动等特征。通过这一步骤的匹配,将会检测出实时环境中的人,将其作为观测对象。需要提请注意的是,每扫描一次周围环境,均需要重新检测观测对象,即观测对象也是周期性更新的。接着,第三单元,用于在得到观测对象之后,接着需要解决从若干个观测对象中识别出所述目标对象。

进一步,优选地,所述第三单元包括:第一子单元(未示出)和第二子单元(未示出)。其中,第一子单元,用于确定所述机器人对应的一个或多个观测对象中每个观测对象与所述观测记录的关联信息,其中,所述一个或多个观测对象包括所述目标对象;第二子单元,用于根据所述观测对象与所述观测记录的关联信息从一个或多个所述观测对象中识别出所述目标对象。

具体地,所述第一子单元,用于将实时扫描提取的当前的观测对象与已经存储的的所述观测记录进行数据关联,得到关联信息。其中,所述观测记录是对观测对象的信息记录,例如,观测对象的特征和观测对象的当前位置。优选地,在本方案中,观测记录对应于提取并记录的与所述机器人对应的一个或多个所述观测对象中每个观测对象的对象相关信息。其中,所述观测对象的对象相关信息包括以下至少任一项:所述当前对象的位置信息;所述当前对象的运动状态信息;所述当前对象的本体特征信息。在此,与所述机器人对应是指在当前扫描周期中,处于机器人周围而被扫描到的对象。所述位置信息是指当前扫描时刻所述观测对象的位置;运动状态信息包括运动的方向、速度大小等运动信息;本体特征信息则是指所述观测对象本体的外观特征,包括形状、大小以及颜色信息等。将实时扫描提取的当前的观测对象与已经存储的的所述观测记录进行数据关联,具体是指将当前一个或多个观测对象中的每一个观测对象分别与存储的所述观测记录中的每一个观测记录进行匹配,其结果便是关联信息。例如,某一扫描周期,环境中有N个观测对象,机器人之前存储的观测记录是M条,其中,M与N可以相同也可以不相同。进行数据关联,即是将N个观测对象逐一分别与M条观测记录进行匹配,得到每一次匹配的匹配度,而整体匹配结果便是一个N行M列的矩阵,矩阵元素便是对应的匹配度,这一矩阵便是关联信息。其中,所述观测对象包括目标对象在内。所述第二子单元,用于根据第一子单元得到的所述关联信息识别出所述目标对象。在得到关联信息即匹配度矩阵之后,经过综合分析运算,选取整体匹配度最高的一种关联方式,从而得到所述目标对象。

优选地,所述第一子单元用于:根据所述机器人对应的一个或多个观测对象中每个观测对象的对象相关信息,确定所述观测对象与所述观测记录的关联信息,其中,所述一个或多个观测对象包括所述目标对象。在此,本方案给出在进行数据关联获取关联信息时所依据的匹配内容,匹配的内容是对象相关信息,包括,当前对象的位置信息;当前对象的运动状态信息;以及所述当前对象的本体特征信息。全面地、多角度地进行数据匹配,从而有效提高匹配结果的准确性。

进一步优选地,所述第一子单元用于:根据所述观测记录预测对应的所述观测对象的活动区域信息;确定所述观测记录与所述一个或多个观测对象中位于所述活动区域信息的所述观测对象的关联信息,其中,所述一个或多个观测对象包括所述目标对象。在此,本方案解决的问题是如何实际进行数据关联。具体而言,在进行述关联时利用了前一扫描周期的结果。首先,在前一扫描周期中,根据观测记录中记录的对象相关信息,即前一扫描周期的位置信息以及运动的方向以及速度大小,已经预测每个观测记录所对应观测对象的在当前扫描周期的活动区域范围。进一步,根据预测的活动区域范围,将所述观测记录与所述一个或多个观测对象中位于所述活动区域信息的所述观测对象进行数据关联,得到关联信息。由于提前进行了位置预测,首先在预测的范围内进行数据匹配,提高了单次匹配的匹配成功率,同时也从整体上提高了数据关联的速度和准确度。

接着,所述第三单元还包括第三子单元(未示出),所述第三子单元用于根据所述一个或多个观测对象更新所述一个或多个观测记录,其中,更新后的所述一个或多个观测记录对象包括从一个或多个所述观测对象中所识别出的所述目标对象。在此,本方案解决的是在数据关联完成之后所需要进行的观测记录更新的技术问题。数据关联完成,对机器人而言意味着机器人已经识别出当前时刻扫描环境中的各个观测对象,其中,识别具体是指将环境中的各个观测对象与机器人在前一时刻的观测记录对应起来,找到当前观测对象与前一时刻的观测记录之间的对应关系。接着,需要根据当前的一个或多个观测对象的实时信息更新相应的观测记录,其中,所述目标对象包含在一个或多个观测对象之中,更新观测记录也就相应的更新了目标对象的信息。同样地,在当前扫描周期中,更新完观测记录后,也会根据当前周期的位置信息和运动状态信息对下一周期的活动区域范围作出预测。

进一步优选地,所述根据一个或多个观测对象更新所述一个或多个观测记录包括:若有新的所述观测对象出现,则增加相应的所述观测记录;若已有的所述观测对象消失,则删除该观测对象对应的所述观测记录;其余的所述观测对象,则更新相对应的所述观测记录中的相关信息。在此,机器人跟随环境中的观测对象是出于不断的变化状态,因而会出现三种情形:其一,可能会有新的观测对象出现在跟随环境中,识别依据可以是在数据关联完成后,所有的观测记录都已经识别出匹配的观测对象,但环境中还剩余有观测对象。对于每个新的观测对象,则为其一一设置观测记录,并相应记录各观测对象在当前时刻的对象相关信息;其二,可能会有某些观测对象消失,消失即处于机器人的扫描环境之外,此时,根据数据关联确定出消失的观测对象所对应的观测记录,再将这些观测记录删除;其三,对于仍然出现在机器人的扫描环境之中的已有的观测对象,其中,已有的观测对象指的是已经存在对应的观测记录的观测对象。此时,根据观测记录在当前时刻的运动状态信息更新其所对应的观测记录。

优选地,所述第三单元还包括第四子单元(未示出)和第五子单元(未示出),其中,第四子单元,用于当根据所述关联信息不能识别所述目标对象时,根据持续观测提取的所述观测记录更新所述关联信息;第五子单元,用于根据所述观测对象与所述更新的关联信息从一个或多个所述观测对象中识别出所述目标对象。

在此,本方案解决了根据单次关联信息无法识别出所述目标对象的问题。机器人的位置是变化的,跟随环境中的观测对象的位置也是变化的,因此可以合理地推测,机器人扫描所得到的周围环境信息中,某些观测对象是全部或部分重叠的。在这种情况下,根据该时刻的周围环境信息所进行的数据关联是不能识别出目标对象的。解决该问题的技术方案是:在当前数据关联结果的基础上,持续扫描周围环境信息,并根据每次的观测记录更新关联信息,直到重叠在一起的观测对象随着移动而分离开,则根据更新后的关联信息识别出所述目标对象。

进一步,所述第三装置13包括:第一单元(未示出),用于从所述机器人的所述周围环境信息中获取障碍物信息;第二单元(未示出),用于基于所述目标对象对应的所述观测记录获取所述目标对象的位置信息,确定所述机器人的目标坐标;第三单元(未示出),用于根据所述目标坐标以及所述障碍物信息,确定所述机器人向所述目标对象的移动路径。本方案解决在识别出所述目标对象之后,如何规划机器人的跟随路径。在此,机器人首先确定从机器人本体到所述目标对象之间的障碍物信息,其中,障碍物是指环境中除了所述目标对象之外其他的所有对象,因此,障碍物既有静止的障碍物,例如在室内跟踪时的墙壁、柱子等建筑物,也有移动的障碍物,例如不属于所述目标对象的观测对象。接着,将所述目标对象所对应的观测记录中的位置信息设置为机器人的目标坐标。最后,根据障碍物分布情况以及机器人的目标坐标,确定机器人向所述目标对象的移动路径。具体地,由于从一个位置到达另一个位置的移动路径不是唯一的,因此为机器人确定的移动路径也不是唯一的,而是从多条路径中选择出最优的路径。同时,需要申明的是,由于环境是处于不断变化之中,所以障碍物信息也是变化的,从而确定的移动路径也是随之变化的。而且,优选地,还可以将路径预先规划为机器人移动的路线范围,这样可以使机器人尽可能沿着预定的路线范围运动,降低机器人偏离路线的概率,提高了跟随的准确度。

进一步,所述第四装置14用于控制所述机器人按照所述移动路径移动,其中,所述机器人移动的速度根据速度控制规则确定,其中,所述速度包括前进速度与转向速度。优选地,所述速度控制规则包括:当所述目标对象与所述机器人的距离大于或等于距离阈值时,同时控制所述机器人的所述前进速度和所述转向速度;当所述目标对象与所述机器人的距离小于距离阈值时,控制所述机器人的所述转向速度。本方案解决的是在确定了移动路径之后,如何控制机器人的移动进行跟随。在此,机器人的运动需要受到机器人本体的运动学和动力学的约束,同时,在避免碰撞时还需要考虑机器人的尺寸。控制机器人按照所述移动路径移动时,一方面控制机器人不偏离路径范围,即进行运动方向的控制,另一方面需要控制机器人的移动速度。进一步,优选地,机器人的移动速度分为前进速度和转向速度两个分量,具体地,前进速度指从机器人的位置指向所述目标对象的射线的方向上的速度分量,转向速度指在垂直于前进速度方向上的速度分量。当机器人与所述目标对象之间的距离大于或等于距离阈值时,同时对所述前进速度和所述转向速度进行规划控制;当机器人与所述目标对象之间的距离小于距离阈值时,即机器人已经接近目标对象时,则只需要对机器人的运动方向,即转向速度进行微微调整。

图5示出根据本申请又一个方面的一种用于机器人跟随目标对象的设备2的设备示意图。其中,所述设备2包括第一装置21、第二装置22、以及第三装置23。

其中,第一装置21,用于从机器人实时捕获的场景中识别所述机器人对应的目标对象;第二装置22,用于确定所述机器人向所述目标对象的移动路径;第三装置23,用于控制所述机器人按所述移动路径移动。

具体地,第一装置21,用于从机器人实时捕获的场景中识别所述目标对象;在此,由于环境中的各对象以及所述机器人是处于变化的状态,因此,需要基于实时变化的环境识别出目标对象。解决该问题的方案是,通过周期性地扫描周围环境,获取实时环境数据信息,再从该环境数据信息中检测出与所述目标对象属于同一类的所有对象,最后根据某一个时刻或持续扫描的多个时刻的检测结果,识别出目标对象。

第二装置22,用于根据所述目标对象的位置信息确定所述机器人向所述目标对象的移动路径;在此,在准确定位目标对象的基础上,结合周围环境中的障碍物分布情况,为机器人规划可避免与周围障碍物发生碰撞的到达目标对象位置的路径。同时,预先规划机器人移动的路线范围,使得机器人尽可能沿着跟随对象的路线范围运动,而不会偏离路线范围,从而降低跟丢目标的概率。

第三装置23,用于控制所述机器人按所述移动路径移动。在此,本步骤解决的是在确定了移动路径之后,如何控制机器人的运动进行跟随的技术问题。具体地,机器人的运动需要受到机器人本体的运动学和动力学的约束,同时,还需要考虑在运动过程中的避障问题,在避免碰撞时需要考虑机器人的尺寸。控制机器人按照所述移动路径移动时,一方面控制机器人的移动轨迹不偏离预定的路径范围,另一方面需要控制机器人的移动速度。其中,优选地,机器人的移动速度控制可以根据所述机器人与所述目标之间的距离、所述目标对象的移动速度以及环境中的障碍物信息进行调整。

本方案实现了在实时变化的、存在多干扰对象的复杂环境中,机器人准确识别出目标对象的目的,解决了目前在机器人跟随领域常见的目标跟错、跟丢的技术问题。

图6示出根据本申请又一个方面的一种用于机器人跟随目标行人的设备3的设备示意图。其中,所述设备3包括第一装置31、第二装置32、第三装置33以及第四装置34。

其中,第一装置31,用于确定机器人待跟随的目标行人;第二装置32,用于从所述机器人实时捕获的场景中识别所述目标行人;第三装置33,用于确定所述机器人向所述目标行人的移动路径;第四装置34,用于控制所述机器人按所述移动路径移动。

具体地,第一装置31,用于确定机器人待跟随的目标行人;在此,首先扫描设备扫描机器人周围的环境信息,其中,扫描设备包括而不限于激光传感器、摄像头深度摄像头等,而且各种设备可以根据需要安装在机器人的一个或多个部位。扫描的结果是环境信息的原始数据,可以是图像、图片或者点云。然后,从环境信息中检测出所有的有可能是跟随目标的行人,称为观测行人,环境中可以有一个或多个观测行人。其中,可以通过机器学习的方法,事先训练好分类器,即提取人的特征信息,输入到分类器中,通过对比从环境信息中检测出观测行人。最后,从一个或多个观测行人中选择确定目标行。此时,可以根据预先设置的规则从一个或多个观测行人中选择确定目标行人,例如,选择距离机器人最近的观测行人,或者选择某个坐标附件的观测行人作为目标行人。

第二装置32,用于从所述机器人实时捕获的场景中识别所述目标行人;在此,由于环境中的各对象以及机器人是处于变化的状态,因此,需要基于实时变化的环境识别出目标行人。解决该问题的方案是,通过周期性地扫描周围环境,获取实时环境数据信息,再从该环境数据信息中检测出所有观测行人,最后根据某一时刻或持续扫描的多个时刻的检测结果,识别出目标行人。本方案实现了在实时变化的、存在多干扰对象的复杂环境中,机器人准确识别出目标行人的目的,解决了目前在机器人跟随领域常见的目标跟错、跟丢的技术问题。

第三装置33,用于根据目标行人的位置信息确定所述机器人向所述目标行人的移动路径;在此,在准确定位目标对象的基础上,结合周围环境中的障碍物分布情况,为机器人规划可避免于周围障碍物发生碰撞的、到达目标对象位置的路径。同时,预先规划机器人移动的路线范围,使得机器人尽可能沿着跟随对象的路线范围运动,而不会偏离预定的路线范围,从而降低跟丢目标的概率。

第四装置34,用于控制所述机器人按所述移动路径移动;在此,控制机器人按照规划好的移动路径移动时,需要解决机器人的移动速度规划。例如,机器人加速、减速的时机,在多障碍物的环境中,避障与速度之间的平衡,以及在接近目标对象时如何平滑停止运动。

与现有技术相比,本申请的有益效果在于,在实时变化的、多干扰因素的自然环境中,本申请所采用的识别所述目标对象的方法可以有效提高识别目标对象的准确度,从根本上解决了目前机器人跟随经常发生的跟错目标或跟丢目标的技术问题。

进一步地,所述第二装置32包括:第一单元(未示出),用于实时扫描获取所述机器人的周围环境信息;第二单元(未示出),用于从所述周围环境信息中辨识出与人体特征信息相匹配的一个或多个观测行人,其中,所述一个或多个观测行人包括所述机器人待跟随的所述目标行人;第三单元(未示出),用于从一个或多个所述观测行人中识别出所述目标行人。

具体地,在第一装置31确定跟随的目标行人的基础上,第二装置32用于解决如何在实时变化的环境中识别出目标行人。首先,由于环境处于不断的变化之中,需要通过实时扫描获取机器人的周围环境信息,其中,环境信息是扫描直接获取的环境原始数据信息。接着,确定目标行人之后,目标行人的特征信息已被提取并存储。当所述机器人周围环境信息发生变化,通过实时扫描获取当前时刻的环境信息,并从环境原始信息中检测出符合人体特征信息的的一个或多个对象,其中,符合的具体含义是指实时提取的观测对象的特征与所述目标行人的人体特征信息满足一定的匹配度。例如,本方案中的跟随目标是人,则特征信息会包括人的形状、肢体特征,比如,高度的数值范围,宽度的数值范围,躯体通过脖子与头部相连接,以及移动时两腿的交替运动等特征。通过这一步骤的匹配,将会检测出实时环境中的人,统称为观测行人。需要提请注意的是,每扫描一次周围环境,均需要重新检测观测行人,即观测行人是实时更新的。接着,在得到观测行人之后,从所述一个或多个观测行人中,识别出目标行人,其中所述一个或多个观测行人包括所述目标行人。其中,识别的过程为,从所述一个或多个观测行人中若干个观测行人中确定出与所述目标行人的人体特征信息匹配度最高的一个观测行人。

优选地,所述人体特征信息包括人体的腿部特征信息。在此,人体特征信息是从周围环境中识别观测行人的依据,亦是从观测行人中识别所述目标行人的依据,因此人体特征信息的确定是机器人跟随行人方案的关键。人体特征信息包含人体的腿部特征信息的依据在于,一方面,考虑到机器人的构造稳定性问题以及制造成本问题,在满足机器人功能需求的前提下,通常都会将机器人设计的尽可能低,此时,装设于机器人上的扫描设备,例如,摄像头深度摄像头以及传感器等就必须安装在比较低的部位,从而限定了获取的扫描数据的平面,因此选择人体腿部的特征作为识别人体的依据;另一方面,人体是靠腿部的交替动作而运动的,因此人体的腿部运动特征最为明显。

进一步优选地,所述第二单元还用于,当实时扫描所述机器人的周围环境信息时,可捕获所述机器人本体360°范围内的环境信息。本方案中,通过采取一定的技术方案,例如,为机器人装设后部传感器,使得机器人可以扫描其本体360°范围内的环境信息。与现有技术相比,该方案的有益效果在于,在跟随过程中,即使目标行人处于机器人后面,机器人仍可以继续保证检测和跟随的正确性。

进一步地,所述第四装置34用于,控制所述机器人按所述移动路径移动,其中,所述机器人的移动速度基于以下至少任一项进行确定:所述目标行人与所述机器人之间的距离;所述目标行人的移动速度;所述周围环境信息中的障碍物信息。在此,本步骤解决的是在确定了移动路径之后,如何控制机器人的运动进行跟随。具体地,机器人的运动需要受到机器人本体的运动学和动力学的约束,同时,还需要考虑在运动过程中的避障问题,在避免碰撞时需要考虑机器人的尺寸。控制机器人按照所述移动路径移动时,一方面控制机器人的移动轨迹不偏离预定的路径范围,即机器人的移动方向问题,另一方面需要控制机器人的移动速度。其中,优选地,机器人的移动速度大小可以根据以下至少任一项进行确定:所述机器人与所述目标之间的距离、所述目标对象的移动速度以及环境中的障碍物信息进行调整。例如,目标行人的移动速度很快,而机器人距离目标行人又较远的情况下,控制机器人以在周围环境障碍物约束下的速度高值进行运动;而如果机器人已经很接近目标行人,而目标行人处于停止状态或运动速度很小,则控制机器人以速度低值运动。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1