一种具有持续锁定和跟踪目标能力的无人机系统与方法
【专利摘要】本发明公开了一种具有持续锁定和跟踪目标能力的无人机系统与方法。包括无人机、无人机配套的遥控器以及PC上位机；无人机上装载有GPS定位模块、气压计、陀螺仪、飞行控制器、超声波探测器以及带有摄像头的云台机构；采用所述无人机系统进行自动巡航寻找目标，自动巡航过程中自动调整飞行位置，无人机寻找到目标后结束自动巡航，对该目标进行持续锁定和跟踪飞行。本发明不仅能够降低在目标追踪任务中的人力物力，还能够提高追踪的效率以及完成追踪任务。
【专利说明】
一种具有持续锁定和跟踪目标能力的无人机系统与方法
技术领域
[0001] 本发明涉及一种具有跟踪能力的无人机系统，特别是涉及到一种具有持续锁定和 跟踪目标能力的无人机系统与方法。
【背景技术】
[0002] 在现实生活和工作中，在执行一些特定任务的过程中，如交通监控、抗灾救援、疑 犯追踪等，往往需要能够对特定目标进行寻找以及持续跟踪，许多追踪都是依靠遍布大街 小巷的监控摄像头进行寻找然后依靠人力进行跟踪，这种方式不仅耗费大量人力物力。还 会受到监控死角、容易暴露等现实条件的影响，从而降低工作效率。
[0003] 随着无人机技术的不断进步和发展，其应用领域正在不断扩大，无人机的已经初 步应用于目标定位以及目标追踪这一领域，但是无人机在执行此类任务时一旦目标采取急 停、突然加速、转向等方式时，无人机由于飞行的惯性等原因很有可能会使目标脱离监视范 围，目标一旦脱离监视范围，无人机将需要重新寻找目标并进行追踪，而重新寻找的这个过 程将会非常困难，以至于追踪任务的失败，因此，现在急需一种
【发明内容】
[0004] 为了解决【背景技术】中存在的问题，本发明的目的在于提供了一种具有持续锁定和 跟踪目标能力的无人机系统与方法，针对其工作特性自主构建了云台机构，在算法上采用 TLD算法，两者结合起来很好的解决了技术背景中存在的问题，从而大大提高了无人机追踪 特定目标的成功率。
[0005] 本发明所要解决的问题，包括如下步骤：
[0006] -、一种具有持续锁定和跟踪目标能力的无人机系统：
[0007] 包括无人机、无人机配套的遥控器以及PC上位机，无人机上装载有GPS定位模块、 气压计、陀螺仪、飞行控制器、超声波探测器以及带有摄像头的云台机构。
[0008] 所述的超声波探测器可采用BY-TUS120型超声波探测器。
[0009] 所述的目标指的是人体，该系统中的目标选取具有一般性，经过图像训练分类器 训练过的人体皆可成为此系统的持续锁定和跟踪目标。
[0010] 二、一种无人机系统的持续锁定和跟踪目标的方法，包括如下步骤：
[0011] 1)采用所述无人机系统进行自动巡航寻找目标，自动巡航过程中自动调整飞行位 置；
[0012] 2)无人机寻找到目标后结束自动巡航，对该目标进行持续锁定和跟踪飞行。
[0013] 所述步骤1)通过所述超声波探测器检测无人机在自动巡航过程中与障碍物的距 离，距离小于已设定的高度阈值时无人机悬停并提升飞行高度，直至无人机与障碍物之间 的距离大于高度阈值则继续巡航。
[0014] 所述无人机在整个飞行过程中，通过飞行控制器以及无线传输模块将摄像头提供 的视频信息、GPS提供的位置信息以及气压计提供的高度信息实时传输到PC上位机。
[0015] 所述的步骤1)中，无人机寻找目标是采用以下方式：
[0016] 1)从不同拍摄角度收集拍摄得到的人体图像，按摄像头所在平面与地面所成夹角 作为分类依据，把0-90°分为四个区间进行采集获得四个拍摄角度的图像，即将摄像头从水 平拍摄到俯视拍摄的90度角度平均分为0-25，25-50，50-75和75-90;对于每一幅采集的图 像，从图像中去除背景进行目标提取，获得目标区域，目标区域后续输入图像训练分类器；
[0017] 2)从目标区域中提取特征信息，提取目标区域的梯度直方图特征，具体是采用 Histograms of Oriented Gradients for Human Detection?Navneet Dalel，Bill Triggs，CVPR2005中的方法，由于HOG是在图像的局部方格单元上操作，所以它对图像几何 的和光学的形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上，其次， 在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下，只要行人大体上 能够保持直立的姿势，可以容许行人有一些细微的肢体动作，这些细微的动作可以被忽略 而不影响检测效果，因此H0G特征是特别适合于做图像中的人体检测的；
[0018] 3)采集样本人体图像，通过上述步骤处理后将四个拍摄角度的图像的目标区域和 梯度直方图特征分别输入到各自的图像训练分类器中进行训练，四个分类器分别对应四个 拍摄角度；
[0019] 具体实施的图像训练分类器采用支持向量机。
[0020] 4)采用四个分类器分别对同一张待测的图像进行检测，得到四张检测结果图，根 据这四张检测结果图得到〇~90°范围内的所有检测结果，完成目标寻找。
[0021] 所述的步骤2)所述的无人机对特定目标进行持续锁定和跟踪采用LTD算法，具体 是采用以下方式：
[0022] 输入当前帧图像中目标的中心像素点坐标和上一帧图像中目标的中心像素点坐 标作比较，采用相同方式计算得到当前云台的左右偏差控制参数e x和上下偏差控制参数ey， 左右偏差控制参数ex采用以下公式：
[0023] jx = X-Xmin
[0024] kx = Xmax-Xmin
[0025] gx= jx/kx
[0026] xn=gxX 40-20
[0027] ex=xn-x〇id
[0028] 其中，jx为目标位置X方向的值与设定最小值160之间的差值，x为接受到的目标位 置X方向的值，x min为设定值160，kx为设定最大值700与设定最小值160之间的差值，gx为归一 化之后的值，x n*X方向的值经归一化之后的值，xoid为上一帧X方向的值经归一化之后的 值，ex为X方向的值经归一化之后的值与一帧X方向的值经归一化之后的值的差值，作为左 右方向的偏差控制参数，无人机的下一次运动在左右方向上的移动等于e x的距离。将所有x 改为y即可得出前后方向的偏差控制参数ey，也就是无人机的下一次运动所需在前后方向 上的移动距离。
[0029] 所述步骤2)中，当云台通过转动对目标进行持续追踪后，将从云台控制器中得到 的转动角度变量反馈给无人机的飞行控制器，转动角度变量包括角度变化的大小以及变化 的方向，飞行控制器通过该角度变量调整无人机的姿态、飞行速度、飞行方向以确保无人机 与特定目标之间的距离不会过大，飞行速度、飞行姿态以及飞行方向的调整主要通过以下 公式的PID控制器计算获得各轴加速度以及各个姿态角加速度而进行调整： 1 = kPX{xd - x)+ iclY J (xrf - x)dx + kDx(xd - x)
[0030] < f =心(y,厂 y) +、J (yr, - y V"- 7) z = kFZ(zd - z)+ khj(zd - z)dz + kBz(zd - z). 中=kpJfP.t - <p) + kivj - fp'jdt + - P)
[0031] < 0 = kFg{〇{1 -- 0) + kwj (Qtl ~ 〇)dt + kDo{p - ￥ = ~ V7) + kivl ki ~ w}^ + kDV(v,i ~ w)
[0032] 其中，x、y、z分别为无人机坐标系下X、Y、Z轴上的取值，￡p、0、it分别为无人机坐标 下的偏航角、俯仰角、翻滚角，带有下标d的是地面坐标系下的取值;i表示无人机在X轴方向 上的加速度，f表示无人机在Y轴方向上的加速度;f表示无人机在Z轴方向上的加速度;中表 示无人机偏航角的角加速度，沒表示无人机俯仰角的角加速度，#表示无人机翻滚角的角加 速度;kpx表;轴比例系数，kix表;轴积分系数，kDx表;轴微分系数，kpY表;轴比例系 数;kiY表;轴积分系数;kDY表;轴微分系数，kpz表;轴比例系数;kiz表;轴积分系数； kDZ表示z轴微分系数，A：P(?5表示偏航角比例系数;fc冲表示偏航角积分系数;表示偏航角 微分系数;kpe表不俯仰角比例系数;kie表不俯仰角积分系数;kD〇表不俯仰角微分系数，kp痛 示翻滚角比例系数;kw表示翻滚角积分系数;表示翻滚角微分系数，中d表示无人机偏航 角在地面坐标系下的角速度表示无人机俯仰角在地面坐标系下的角速度;1[^表示无人 机翻滚角在地面坐标系下的角速度。
[0033]本发明的有益效果是：
[0034]本发明采用云台机构进行目标定位和目标追踪，将检测器和跟踪器结合在一起并 且能够随时对跟踪结果进行评估和学习，从而实现更好的长时跟踪，具备很强的学习回复 能力，具有很强的鲁棒性，很好地解决了技术背景中存在的问题，从而大大提高了无人机追 踪特定目标的成功率。
【附图说明】
[0035] 图1为本发明系统的工作流程示意图。
[0036] 图2为本发明的无人机各部件的连接方式示意图。
[0037] 图3为本发明的调整无人机运动方式的示意图。
[0038] 图4为本发明的无人机自动巡航的路线示意图。
【具体实施方式】
[0039] 以下将参照附图，对本发明的优选实例进行详细的描述。应当理解，优选实施例仅 为了说明本发明，而不是为了限制本发明的保护范围。
[0040] 如图1所示，本发明首先需要从样本库中提取所要追踪的目标的样本，然后对样本 进行特征提取，随后针对这些样本训练分类器用于之后航拍过程中的在线检测，接着针对 特定的区域来规划无人机的自动巡航路线，自动巡航路线按照图4的形式规划，规划完自动 巡航路线之后，对无人机的各项参数进行设定，包括飞行高度、航拍角度、超声波探测器探 测最近距离等，随后无人机开始自动巡航寻找特定目标，同时摄像头提供的视频信息、GPS 提供的位置信息以及气压计提供的高度信息实时传输到PC上位机，当无人机通过图像识别 寻找到特定目标后，结束自动巡航，对特定目标进行追踪，追踪的同时将目标的位置信息以 及实施视频传输至上位机。
[0041 ]本发明的具体实施过程如下：
[0042] 1)选取某学校的操场作为特定的区域，一学生作为特定目标，操场为400跑道型；
[0043] 2)对该学生从各个角度进行图像信息采集，其中每90°为一个区间，并将该区间划 分成4份，即总共采集16张图片并输入到图像训练分类器中，使用H0G法将该学生识别出来；
[0044] 3)按图4规划无人机的自动巡航路线，设定无人机的自动巡航高度为10米，航拍角 度为60°，超声波探测器探测到的最近距离为1.5米；
[0045] 4)让该学生在跑道100米起跑线处起跑，上沿着逆时针方向保持匀速跑步，无人机 于200米终点处启动沿着预先规划的自动巡航路线开始自动巡航以及寻找特定目标；
[0046] 5)当该学生奔跑至第一个弯道处时无人机显示寻找到特定目标，继而开始进行追 踪，并跟随该学生前进100米左右，随后命令该学生突然加速奔跑至其出发点处急停，在此 过程中可以看到在该名学生突然加速的瞬间，无人机依旧按照惯性缓慢向前飞行，但是云 台有明显转动，确保该学生依旧在摄像头拍摄的视频范围内，此时偏差控制参数e x = 0，ey = 25,所以随后无人机亦提高速度追上该名学生，而在该学生急停的时候无人机依旧由于惯 性很迅速的往前飞行，此时，云台也有明显转动，确保该学生确保该学生依旧在摄像头拍摄 的视频范围内，此时偏差控制参数e x=0，ey = -22，所以随后无人机减速直至悬停。
[0047]由此可见，本发明通过将自行设计的云台结构以及与LID算法相结合、图像处理技 术、无人机航拍技术，实现了对特定目标的持续锁定和跟踪。
[0048]通过本发明对特定目标进行追踪，不仅减少了在目标追踪方面投入的人力、物力， 提高了目标追踪的效率，更是弥补了无人机在这一领域应用中的不足之处，使得无人机的 技术得到了一定的发展。
【主权项】
1. 一种具有持续锁定和跟踪目标能力的无人机系统，包括无人机、无人机配套的遥控 器以及PC上位机;其特征在于:无人机上装载有GPS定位模块、气压计、陀螺仪、飞行控制器、 超声波探测器以及带有摄像头的云台机构。2. -种具有持续锁定和跟踪目标能力的无人机系统，其特征在于:所述的超声波探测 器采用BY-TUS120型超声波探测器。3. -种具有持续锁定和跟踪目标能力的无人机系统，其特征在于:所述的目标指的是 人体。4. 根据权利要求1~3任一所述无人机系统的持续锁定和跟踪目标的方法，其特征在于 包括如下步骤： 1) 采用所述无人机系统进行自动巡航寻找目标，自动巡航过程中自动调整飞行位置； 2) 无人机寻找到目标后结束自动巡航，对该目标进行持续锁定和跟踪飞行。5. 根据权利要求4所述的持续锁定和跟踪目标的方法，其特征在于:所述步骤1)通过所 述超声波探测器检测无人机与障碍物的距离，距离小于已设定的高度阈值时无人机悬停并 提升飞行高度，直至无人机与障碍物之间的距离大于高度阈值则继续巡航。6. 根据权利要求4所述的持续锁定和跟踪目标的方法，其特征在于:所述无人机在整个 飞行过程中，通过飞行控制器以及无线传输模块将摄像头提供的视频信息、GPS提供的位置 信息以及气压计提供的高度信息实时传输到PC上位机。7. 根据权利要求4所述的持续锁定和跟踪目标的方法，其特征在于:所述的步骤1)中， 无人机寻找目标是采用以下方式： 1) 从不同拍摄角度收集拍摄得到的人体图像，按摄像头所在平面与地面所成夹角作为 分类依据，把0-90°分为四个区间进行采集获得四个拍摄角度的图像;对于每一幅采集的图 像，从图像中去除背景进行目标提取，获得目标区域，目标区域后续输入图像训练分类器； 2) 从目标区域中提取特征信息，提取目标区域的梯度直方图特征； 3) 采集样本人体图像，通过上述步骤处理后将四个拍摄角度的图像的目标区域和梯度 直方图特征分别输入到各自的图像训练分类器中进行训练，四个分类器分别对应四个拍摄 角度； 4) 采用四个分类器分别对同一张待测的图像进行检测，得到四张检测结果图，根据这 四张检测结果图得到0~90°范围内的所有检测结果，完成目标寻找。8. 根据权利要求4所述的持续锁定和跟踪目标的方法，其特征在于:所述步骤2)所述的 无人机对特定目标进行持续锁定和跟踪具体是采用以下方式： 输入当前帧图像中目标的中心像素点坐标和上一帧图像中目标的中心像素点坐标作 比较，采用相同方式计算得到当前云台的左右偏差控制参数ex和上下偏差控制参数ey，左右 偏差控制参数e x采用以下公式： jx - X-Xmin kx - Xmax-Xmin gx= jx/kx Xn = gxX 40-20 θχ - Xn-Xold 其中，jx为目标位置X方向的值与设定最小值160之间的差值，x为接受到的目标位置X方 向的值，Xmin为设定值160, kx为设定最大值700与设定最小值160之间的差值，gx为归一化之 后的值，Xn为X方向的值经归一化之后的值，Xoid为上一帧X方向的值经归一化之后的值，ex为 X方向的值经归一化之后的值与一帧X方向的值经归一化之后的值的差值，作为左右方向的 偏差控制参数。9.根据权利要求4所述的持续锁定和跟踪目标的方法，其特征在于： 所述步骤2)中，当云台通过转动对目标进行持续追踪后，将从云台控制器中得到的转 动角度变量反馈给无人机的飞行控制器，转动角度变量包括角度变化的大小以及变化的方 向，飞行控制器通过该角度变量调整无人机的姿态、飞行速度、飞行方向，飞行速度、飞行姿 态以及飞行方向的调整主要通过以下公式的PID控制器计算获得各轴加速度以及各个姿态 角加速度而进行调整：其中，x、y、z分别为无人机坐标系下X、Y、Z轴上的取值，φ、θ、φ分别为无人机坐标下的偏 航角、俯仰角、翻滚角4表示无人机在X轴方向上的加速度，歹表示无人机在Υ轴方向上的加 速度4表示无人机在Ζ轴方向上的加速度;#表示无人机偏航角的角加速度，#表示无人机 俯仰角的角加速度，#表示无人机翻滚角的角加速度;k PX表示X轴比例系数，kIX表示X轴积分 系数，kDX表不X轴微分系数，kpY表不Y轴比例系数;kiY表不Y轴积分系数;kDY表不Y轴微分系 数，kpz表不Z轴比例系数;kiz表不Z轴积分系数;kDZ表不Z轴微分系数，表不偏航角比例 系数;表不偏航角积分系数；表不偏航角微分系数;kpe表不俯仰角比例系数;Κιθ表 示俯仰角积分系数;K De表示俯仰角微分系数，kM表示翻滚角比例系数;kw表示翻滚角积分 系数;kM表示翻滚角微分系数，表示无人机偏航角在地面坐标系下的角速度;0 d表示无 人机俯仰角在地面坐标系下的角速度表示无人机翻滚角在地面坐标系下的角速度。
【文档编号】G05D1/12GK105929850SQ201610329252
【公开日】2016年9月7日
【申请日】2016年5月18日
【发明人】郑恩辉, 巫岳, 冯逸骅
【申请人】中国计量大学