一种基于深度学习检测跟踪的地面无人平台自主跟随系统

文档序号:24892759发布日期:2021-04-30 13:20阅读:来源:国知局

技术特征:

1.一种基于深度学习检测跟踪的地面无人平台自主跟随系统,其特征在于,包括地面无人平台、三轴自稳定云台、深度相机、数据处理模块和电源模块;

所述地面无人平台用于承载三轴自稳定云台、深度相机、数据处理模块和电源模块;并根据数据处理模块发送的控制量向待跟踪目标运动或保持原位置;

所述三轴自稳定云台用于承载深度相机,并根据数据处理模块发送的控制量控制自身的运动,确保待跟踪目标在深度相机视场内;并滤除地面无人平台行驶过程中产生的抖动,保持深度相机稳定;

深度相机包括1个白光相机、1个阵列射灯、1对红外相机和内置处理器;白光相机提供rgb彩色图像,阵列射灯、红外相机提供深度图像;深度相机的内置处理器提供rgb彩色图像与深度图像的位置映射关系,即在rgb彩色图像中定位目标后,在深度图像中获取目标距离;rgb彩色图像用于目标检测与跟踪,深度图像用于测量地面无人平台所处位置与待跟踪目标距离;

所述数据处理模块用于对深度相机数据进行处理,确定跟踪目标、进行目标跟踪、控制地面无人平台和三轴自稳定云台运动;所述数据处理模块利用yolo-s目标检测算法对rgb彩色图像进行目标检测,得到一个或多个候选目标;利用目标筛选器对一个或多个候选目标图像进行姿态识别,选取设定姿态的候选目标作为待跟踪目标;利用triplerpn目标跟踪算法实时跟踪目标,得到目标在场景图像中的像素坐标;利用像素-角公式计算待跟踪目标与地面无人平台的相对角度关系,利用深度图像获取待跟踪目标与地面无人平台距离,计算地面无人平台的控制量,使得地面无人平台转向待跟踪目标,计算三轴自稳定云台的控制量,使得三轴自稳定云台保持待跟踪目标在深度相机视场内;

所述电源模块为三轴自稳定云台、深度相机和数据处理模块供电。

2.如权利要求1所述的一种基于深度学习检测跟踪的地面无人平台自主跟随系统,其特征在于,所述地面无人平台包括底盘、行驶机构、摆臂、内置运动控制板和内置电源,内置运动控制板控制地面无人平台转向待跟踪目标,内置电源为地面无人平台供电。

3.如权利要求1所述的一种基于深度学习检测跟踪的地面无人平台自主跟随系统,其特征在于,所述三轴自稳定云台包括底座、方位轴框架、方位轴电机、滚转轴框架、滚转轴电机、俯仰轴框架、俯仰轴电机、惯性传感器和云台驱动器。

4.如权利要求1所述的一种基于深度学习检测跟踪的地面无人平台自主跟随系统,其特征在于,yolo-s目标检测算法的网络结构包含特征提取网络、检测网络,特征提取网络依次由2个卷积层、1个残差模块、1个卷积层、2个残差模块、1个卷积层、4个残差模块、1个卷积层、4个残差模块、1个卷积层、4个残差模块组成,检测网络由3个卷积层、yolo层组成;提取特征提取网络中第7个、第11个、第15个残差模块输出的特征图作为其最终输出,输入检测网络进行检测。

5.如权利要求1所述的一种基于深度学习检测跟踪的地面无人平台自主跟随系统,其特征在于,目标筛选器使用cpm进行人体姿态识别,根据设定人体姿态下关节点的位置关系,选取设定姿态的候选目标作为待跟踪目标。

6.如权利要求1所述的一种基于深度学习检测跟踪的地面无人平台自主跟随系统,其特征在于,triplerpn目标跟踪算法的网络结构包括输入层、特征提取网络和区域候选网络;特征提取网络由三个具有相同网络结构、参数、权重的网络i、ii、iii组成,网络i输出初始帧模板特征图,即初始帧待跟踪目标图像经网络i处理后得到的特征图;网络ii输出待检测帧特征图,即场景图像经网络ii处理后得到的特征图;网络iii输出更新帧模板特征图,即更新帧待跟踪目标图像经网络iii处理得到的特征图;启动跟踪时,更新帧待跟踪目标图像与初始帧待跟踪目标图像相同,然后采用taa策略进行更新。

7.如权利要求1所述的一种基于深度学习检测跟踪的地面无人平台自主跟随系统,其特征在于,使用分布式跟踪策略进行目标跟踪,在复杂地形环境下进行目标跟踪时,对目标的跟踪运动由地面无人平台运动、三轴自稳定云台运动共同实现:在地面无人平台难以到达理想位姿时,利用三轴自稳定云台运动完成目标跟踪;在下次跟踪运动时,地面无人平台完成跟踪运动,三轴自稳定云台恢复镜头主轴与无人平台中轴共面状态。


技术总结
本发明公开了一种基于深度学习检测跟踪的地面无人平台自主跟随系统,包括地面无人平台、三轴自稳定云台、深度相机、数据处理模块和电源模块;本发明能够从多个候选目标中自主选定待跟踪目标,实现长时间稳定精准跟随。

技术研发人员:王建中;王洪枫;孙庸;其他发明人请求不公开姓名
受保护的技术使用者:北京理工大学
技术研发日:2020.11.30
技术公布日:2021.04.30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1