一种物体跟随方法与流程

文档序号:14967405发布日期:2018-07-20 11:06阅读:269来源:国知局

本发明涉及的是一种图像识别领域的技术,具体是一种物体跟随方法。



背景技术:

随着传感器技术的不断突破和信息科技的高速发展,机器人相关技术被广泛而深入的研究。机器人已经被广泛应用与各行各业,并开始走入寻常百姓家。

在很多场景中,例如家庭环境,希望机器人具有自主跟随人体的能力,既省去了控制机器人的繁琐,也可以体现机器人与人的交流互动。也希望机器人可以跟随物体,例如家里的猫狗等,增加娱乐性。另外,除了家庭服务机器人外,户外机器人、无人机、自动驾驶等多种平台,以及警用、军用等很多特殊的场合,也有物体跟随的需求。

目前物体跟随技术主要针对特定类别的物体,通过特定的特征不断的在图像上检测,将检测结果作为目标。有些研究会在检测的基础上加入目标跟踪算法。通过相机模型计算出目标相对于相机的角度,再通过深度相机的深度图数据或者激光雷达数据计算出目标的位置,然后控制机器人行进至与目标位置保持一定距离。

现有的技术往往只针对特定类别物体,例如跟随人体,在检测时检测人脸、头肩、骨骼等,当目标物体换成其他类别时,例如宠物等,则该方法失效。另外,这种方式只能区分物体的类别,同一类物体则无法区分,例如无法区分两条狗,虽然对于人的区分可以使用人脸识别技术,但对于家庭等大多数场景,很难保证人会正面面对机器人,就会导致人脸识别的失效。

检测算法往往计算量较大,在嵌入式平台上难以达到实时。虽然有的研究里加入了目标跟踪算法,可以提高速度,同时对检测的目标进行跟踪,可以区分视野内的多个同种类物体,但很多情况下目标物体可能会被遮挡、离开视野等,目标跟踪会继续跟随错误的物体或背景,导致跟踪算法的失败,即使目标物体再进入视野内,也无法继续跟踪,虽然可以再次使用检测算法检测出来这个物体,但在有多个同种类物体干扰的情况下无法判断哪个是要跟随的目标物体。



技术实现要素:

本发明针对现有技术存在的上述不足,提出一种物体跟随方法。本发明能够根据当前帧图形并结合上一帧图像快速的进行对跟踪目标的识别,能够根据上一帧图像中的跟踪目测是否丢失来选择合适的步骤进行跟踪目标的重识别,提高了识别的计算量,提高了重识别的准确度,从而提高的移动机器人的跟随效果。

本发明是通过以下技术方案实现的:本发明涉及一种物体跟随方法,其中,适用于移动机器人,所述移动机器人预先识别得到一跟踪目标,所述跟踪目标为环境中的移动的物体,所述移动机器人根据采集到的每一帧图像识别并跟随所述跟踪目标;具体过程包括以下步骤:

步骤s1,以当前时刻的一帧图像作为当前帧图像,提取预存于上一帧图像中的用于指示所述跟踪目标是否丢失的目标状态信息,并根据所述目标状态信息判断所述跟踪目标是否丢失:若是,则转到步骤s2;否则,则转到步骤s4;步骤s2,判断所述跟踪目标的类别是否存在于一已知集合:若是,则通过一与所述已知集合相对应的神经网络模型筛选出所述当前帧图像中的所有的可能物体;若否,则通过一筛选策略筛选出所述当前帧图像中的所有的可能物体;步骤s3,根据一第一识别策略遍历所述可能物体,并判断是否识别出所述跟踪目标:若是,则输出所述跟踪目标的位置信息以及生成所述当前帧图像的存在所述跟踪目标的所述目标信息,随后转到步骤s5;若否,则生成所述当前帧图像的所述跟踪目标丢失的所述目标信息,随后返回步骤s1;步骤s4,在所述当前帧图像中重新获得所述跟踪目标的所述位置信息以及生成所述当前帧图像的存在所述跟踪目标的所述目标信息;步骤s5,所述移动机器人根据所述跟踪目标的所述位置信息移动至所述跟踪目标处,随后返回步骤s1。

优选的,该物体跟随方法,其中,所述步骤s4具体包括以下步骤:

步骤s6,扩大所述当前帧图像中的所述跟踪目标的区域获得一第一对比区域;步骤s7,在所述第一对比区域中根据一第二识别策略识别所述跟踪目标,并判断是否识别出所述跟踪目标:若是,则输出所述跟踪目标的位置信息以及生成所述当前帧图像的存在所述跟踪目标的所述目标信息,随后转到所述步骤s5;若否,则生成所述当前帧图像的所述跟踪目标丢失的所述目标信息,随后转到所述步骤s1。

优选的,该物体跟随方法,其中,在所述步骤s2中,所述筛选策略具体包括以下步骤:步骤s21,提取所述跟踪目标的目标特征;步骤s22,根据所述目标特征筛选所述当前帧图像中的所有的可能物体。

优选的,该物体跟随方法,其中,在所述步骤s3中,通过所述第一识别策略识别所述可能物体的过程包括以下步骤:步骤s31,在所述当前帧图像中获得一面积大于所述可能物体的第二对比区域;步骤s32,根据所述跟踪目标的目标模型在所述第二对比区域中进行滑动滤波,获得一原始响应矩阵,所述原始响应矩阵中的每一项响应值与所述第一对比区域中的一位置对应;步骤s33,判断最大响应值是否大于预设的重识别阈值:若是,则所述可能物体为跟踪目标,且根据所述最大响应值的所述位置生成所述跟踪目标的所述位置信息;

若否,则输出所述可能物体不为跟踪目标的信息。

优选的,该物体跟随方法,其中,在所述步骤s32和步骤s33之间,还包括以下步骤:步骤s341,将所述当前帧图像进行放大后获得多个放大图像;步骤s342,在每一所述放大图像中获得一面积大于所述可能物体的放大对比区域;步骤s343,根据所述目标模型在每一所述放大对比区域中进行滑动滤波,获得每一所述放大对比区域的放大响应矩阵;步骤s344,以所述原始响应矩阵和所有所述放大响应矩阵中的响应值的最大值作为所述步骤s33中的所述最大响应值。

优选的,该物体跟随方法,其中,在所述步骤s32和步骤s33之间,还包括以下步骤:步骤s351,将所述当前帧图像进行缩小后获得多个缩小图像;步骤s352,在每一所述缩小图像中获得一面积大于所述可能物体的缩小对比区域;步骤s353,根据所述目标模型在每一所述缩小对比区域中进行滑动滤波,获得每一所述缩小对比区域的缩小响应矩阵;步骤s354,以所述原始响应矩阵和所有所述缩小响应矩阵中的响应值的最大值作为所述步骤s33中的所述最大响应值。

优选的,该物体跟随方法,其中,在所述步骤s7中,所述第二识别策略具体包括以下步骤:步骤s71,根据所述目标模型对所述第一对比区域、放大后的所述第一对比区域以及缩小后的所述第一对比区域进行滑动滤波获得多个响应矩阵;步骤s72,判断所有的所述响应矩阵中的最大的响应值是否大于预设的跟踪阈值:

若是,则根据最大的所述响应值在所述当前帧图像中的位置生成所述跟踪目标的所述位置信息;若否,则输出所述跟踪目标丢失的信息。

上述技术方案的有益效果是:本发明能够根据当前帧图形并结合上一帧图像快速的进行对跟踪目标的识别,能够根据上一帧图像中的跟踪目测是否丢失来选择合适的步骤进行跟踪目标的重识别,提高了识别的计算量,提高了重识别的准确度,从而提高的移动机器人的跟随效果。

附图说明

图1为本发明的较佳的实施例中,一种物体跟随方法流程示意图;图2为本发明的较佳的实施例中,一种物体跟随方法中跟踪目标丢失时重识别过程示意图;图3本发明的较佳的实施例中,一种物体跟随方法中的第二识别策略示意图;图4本发明的较佳的实施例中,一种物体跟随方法中的第一识别策略识别可能物体的过程示意图;图5本发明的较佳的实施例中,一种物体跟随方法中的最大响应值的获取过程意图;图6本发明的较佳的实施例中,一种物体跟随方法中的最大响应值的获取过程意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。

本实施例涉及一种物体跟随方法。所述移动机器人预先识别得到一跟踪目标,所述跟踪目标为环境中的移动的物体,所述移动机器人根据采集到的每一帧图像识别并跟随所述跟踪目标。

移动机器人预先识别得到跟踪目标时,即通过一设置于移动机器人的检测模块来检测环境中的移动的物体,作为初始的跟踪目标。

如图1所示,识别并跟踪所述跟踪目标的过程具体包括:步骤s1,步骤s1,以当前时刻的一帧图像作为当前帧图像,提取预存于上一帧图像中的用于指示所述跟踪目标是否丢失的目标状态信息,并根据所述目标状态信息判断所述跟踪目标是否丢失:若是,则转到步骤s2;否则,则转到步骤s4。

根据上一帧图像中的目标状态信息可以直接判断出移动机器人是否丢失跟踪目标。目标状态信息中直接记录移动机器人是否丢失跟踪目标。

步骤s2,判断所述跟踪目标的类别是否存在于一已知集合:

若是,则通过一与所述已知集合相对应的神经网络模型筛选出所述当前帧图像中的所有的可能物体;若否,则通过一筛选策略筛选出所述当前帧图像中的所有的可能物体。

所述筛选策略具体包括以下步骤:步骤s21,提取所述跟踪目标的目标特征;步骤s22,根据所述目标特征筛选所述当前帧图像中的所有的可能物体。

已知集合中都为常见物体,若跟踪目标存在与已知集合中,则跟踪目标为常见物体,此时,只需要根据对应的神经网络模型来识别出当前帧图像中的跟踪目标。

当跟踪目标不存在于已知集合中时,说明跟踪目标不为常见物体,这时提取跟踪目标的目标特征,并初始化机器学习算法,而后通过该算法来筛选所述当前帧图像中的所有的可能物体。

步骤s3,根据一第一识别策略遍历所述可能物体,并判断是否识别出所述跟踪目标:若是,则输出所述跟踪目标的位置信息以及生成所述当前帧图像的存在所述跟踪目标的所述目标信息,随后转到步骤s5;若否,则生成所述当前帧图像的所述跟踪目标丢失的所述目标信息,随后返回步骤s1。

位置信息中记录了跟踪目标在当前帧图像中的位置以及跟踪目标的在当前帧图像中的大小。

在当前帧图像中识别出了跟踪目标,即可以提取跟随目标的位置以及大小。

在步骤s3中,若无法识别出所述跟踪目标,则对下一帧图像进行步骤s1~步骤s3,即将当前循环中的下一帧图像作为下一循环的当前帧图像,进行识别所述跟踪目标。

步骤s4,在所述当前帧图像中重新获得所述跟踪目标的所述位置信息以及生成所述当前帧图像的存在所述跟踪目标的所述目标信息。

步骤s5,所述移动机器人根据所述跟踪目标的所述位置信息移动至所述跟踪目标处,随后返回步骤s1。

如图2所示,所述步骤s4具体包括以下步骤:

步骤s6,扩大所述当前帧图像中的所述跟踪目标的区域获得一第一对比区域;步骤s7,在所述第一对比区域中根据一第二识别策略识别所述跟踪目标,并判断是否识别出所述跟踪目标:若是,则输出所述跟踪目标的位置信息以及生成所述当前帧图像的存在所述跟踪目标的所述目标信息,随后转到所述步骤s5;若否,则生成所述当前帧图像的所述跟踪目标丢失的所述目标信息,随后转到所述步骤s1。

若无法识别出所述跟踪目标,则对下一帧图像进行步骤s1,即将当前循环中的下一帧图像作为下一循环的当前帧图像,进行识别所述跟踪目标。

如图3所示,在所述步骤s7中,所述第二识别策略具体包括以下步骤:步骤s71,根据所述目标模型对所述第一对比区域、放大后的所述第一对比区域以及缩小后的所述第一对比区域进行滑动滤波获得多个响应矩阵;步骤s72,判断所有的所述响应矩阵中的最大的响应值是否大于预设的跟踪阈值:若是,则根据最大的所述响应值在所述当前帧图像中的位置生成所述跟踪目标的所述位置信息;

若否,则输出所述跟踪目标丢失的信息。

较佳的实施例中,预设的跟踪阈值可以为0.85或0.87。

如图4所示,通过所述第一识别策略识别所述可能物体的过程包括以下步骤:步骤s31,在所述当前帧图像中获得一面积大于所述可能物体的第二对比区域;步骤s32,根据所述跟踪目标的目标模型在所述第二对比区域中进行滑动滤波,获得一原始响应矩阵,所述原始响应矩阵中的每一项响应值与所述第一对比区域中的一位置对应;步骤s33,判断最大响应值是否大于预设的重识别阈值:若是,则所述可能物体为跟踪目标,且根据所述最大响应值的所述位置生成所述跟踪目标的所述位置信息;若否,则输出所述可能物体不为跟踪目标的信息。

较佳的实施例中,重识别阈值可以为0.96或0.95。

较佳的实施例中,如图5所示,在所述步骤s32和步骤s33之间,还可以包括以下步骤:步骤s341,将所述当前帧图像进行放大后获得多个放大图像,步骤s342,在每一所述放大图像中获得一面积大于所述可能物体的区域的放大对比区域;步骤s343,根据所述目标模型在每一所述放大对比区域中进行滑动滤波,获得每一所述放大对比区域的放大响应矩阵;步骤s344,以所述原始响应矩阵和所有所述放大响应矩阵中的响应值的最大值作为所述步骤s33中的所述最大响应值。

较佳的实施例中,如图6所示,在所述步骤s32和步骤s33之间,还可以包括以下步骤:步骤s351,将所述当前帧图像进行缩小后获得多个缩小图像,步骤s352,在每一所述缩小图像中获得一面积大于所述可能物体的区域的缩小对比区域;步骤s353,根据所述目标模型在每一所述缩小对比区域中进行滑动滤波,获得每一所述缩小对比区域的缩小响应矩阵;步骤s354,以所述原始响应矩阵和所有所述缩小响应矩阵中的响应值的最大值作为所述步骤s33中的所述最大响应值。

本发明的物体跟随方法,与现有技术相比:本发明能够根据当前帧图形并结合上一帧图像快速的进行对跟踪目标的识别,能够根据上一帧图像中的跟踪目测是否丢失来选择合适的步骤进行跟踪目标的重识别,提高了识别的计算量,提高了重识别的准确度,从而提高的移动机器人的跟随效果。

以上所述仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1