一种无人机自动检测目标和跟踪方法
【技术领域】
[0001] 本发明设及无人机监控技术领域，计算机视觉领域，具体设及使用无人机进行可 疑目标进行自动识别并跟踪的方法。
【背景技术】
[0002] 对于在区域内进行目标检测，传统的方法是使用固定监控摄像头进行区域内目标 (逃犯，重要人员等)检测，由于固定监控需要固定在墙上并且需要连接通讯线路，布置成本 较高，而且由于人们越来越高的对个人隐私的要求，使得很多居民区内无法全方位布置摄 像头，从而为监控留下死角。而由于无人机有着较好的灵活性，从而使得使用无人机进行自 动的目标检测和跟踪有着非常高的灵活性。现有无人机监控，通常将实时画面传递给监控 端，运种方法需要长时间的信号传输，占用了大量的带宽并且耗电量大。
[0003] 本发明使用无人机进行目标自动检测和跟踪，通过使用无人机自带的防抖摄像头 进行图像去抖动，使用直方图均衡化、中值滤波进行图像处理，使用基于哈尔化aar)特征和 级联强分类器(Adaboost)算法和主成分分析(PCA)算法进行人脸检测和识别，使用基于ORB 特征的跟踪方法进行跟踪，从而提供了一种快速有效的使用无人机进行目标检测和跟踪方 法。
【发明内容】
[0004] 本发明所要解决的技术问题是为了克服传统固定监控摄像头无法全方位布控，尤 其在被跟踪物体进入监控盲区或者被跟踪物体从一个摄像头区域进入另一个摄像头区域 时容易跟踪丢失运个问题，提出了 一种使用无人机进行自动检测目标和跟踪方法。
[000引本发明解决其技术问题所采用的技术方案是：
[0006] -种无人机自动检测目标和跟踪方法，包括无人机，装配在无人机上的声响距离 探测器，光照补偿模块，图像去噪模块，人脸检测模块，机身人脸识别模块，远端人脸识别模 块，目标跟踪模块，飞行控制模块，控制台模块;所述的声响距离探测器为固定在无人机的 前、后、左、右、左前、右前、左后、右后、上、下无人机摄像头所摄区域为前方)共十个方向 的距离探测器，用W对无人机周围的障碍物进行距离探测，为无人机在跟踪过程中的路线 规划提供重要的信息;所述的光照补偿模块，将无人机所摄的图像使用直方图均衡化方法 对光照进行补偿，并将光照补偿后的所摄图像传递给图像去噪模块;所述的图像去噪模块 将接收到的光照补偿后的图像，使用中值滤波器进行滤波，用W去掉噪声，若当前系统处于 人脸检测状态，则将去噪后的图像传递给人脸检测模块，若当前系统处于目标跟踪状态，贝U 将去噪后的图像传递给目标跟踪模块;所述的人脸检测模块，将接收到的图像使用基于哈 尔化aar)特征和级联强分类器(Adaboost)算法进行人脸检测，并将检测到的人脸图像传递 给人脸识别模块;所述的机身人脸识别模块为运行在无人机机身上的人脸识别模块，该模 块接收消息源为两个并分别做不同的处理：1.接收来自人脸检测模块的人脸图像，并对运 些人脸图像进行识别，筛选掉那些已经被检测过的人脸，并将那些未被检测过的人脸图像 发送给远端人脸识别模块;2 .接收来自于远端人脸识别模块中，返回结果为"数据库不存 在"的人脸图片，并根据该返回结果，对人脸识别模块的分类器进行修改，当下一帖收到同 一个人的人脸图像时，能够识别出该人脸从而将该人脸筛选掉，目的是减少远端人脸识别 模块的负担;所述的远端人脸识别模块为运行在远端服务器上的人脸识别系统，该系统接 收无人机所发送过来的人脸图像，并对该人脸图像进行识别，返回结果有Ξ种：1.数据库不 存在;2.无法识别人脸;3.数据库已存在人脸。若返回结果为1，则将该识别结果发送给人脸 检测模块，若返回结果为2则不做处理，若返回结果为3,则向目标跟踪模块和控制台模块发 送识别结果及图片信息;所述的目标跟踪模块，接收到来自远端人脸识别模块识别出的目 标人脸及其在图像中的位置信息，对当前图像提取ORB特征，并停止人脸检测模块，机身人 脸识别模块，远端人脸识别模块的运行，系统转入跟踪状态，该状态接收来自于图像去噪模 块的人脸输入图像，并从该人脸输入图像的下一帖图像中提取候选特征框，W及放大或缩 小的候选特征框。根据图像的ORB特征，选择与原始特征最相似的特征框作为下一帖的跟踪 位置。并将位置信息发送给飞行控制模块;所述的飞行控制模块，接收到来自控制台的跟踪 控制命令和目标跟踪模块的被跟踪目标的位置信息，若未收到控制台发送的跟踪命令，贝U 飞行控制模块仍按照原有路线飞行，若收到控制台发送的跟踪命令，则根据跟踪框的位置 (过大、过小、偏左、偏右，偏上、偏下）调整无人机的位置;若接收到控制台模块发送的取消 跟踪信号，则取消当前跟踪，启动人脸检测模块，机身人脸识别模块，远端人脸识别模块，无 人机系统进入人脸检测状态;所述的控制台模块为在监控中屯、的控制系统，该发明的监控 系统可W与现有监控中屯、的系统进行兼容，该监控台模块接收来自无人机的实时监控图 像，并当发现被识别目标时，将当前检测图片和数据库里识别的图片进行显示并提示监控 中屯、人员进行人工比对，若监控中屯、人员认为比对成功并且需要跟踪，则监控人员进行报 警，并通知无人机进行跟踪，若监控中屯、人员认为比对成功但是不宜跟踪，则采集前后一段 时间的视频信息及地点信息，此时无人机仍然按照固定的巡航路线飞行，若监控中屯、认为 比对不成功，则向无人机发送取消跟踪命令，无人机计入人脸检测状态。
[0007] 所述的一种无人机自动检测目标和跟踪方法，所需的设备为带有防抖摄像头的无 人机，远程服务器端，无人机身上自带的10个方向的声响距离探测器。所述的带有防抖摄像 头的无人机，通常为四轴航拍无人机。所述的远程服务器端，通常为一个运行在远端服务器 上的人脸识别系统，该系统可W是现有的人脸识别系统，为无人机所传的图片提供人脸识 别功能。所述的无人机身上自带的10个方向的声响距离探测器，其安装方向为前、后、左、 右、左前、右前、左后、右后、上、下无人机摄像头所摄区域为前方），用W对无人机周围的 障碍物进行距离探测。
[0008] 所述的一种无人机自动检测目标和跟踪方法，共包含光照补偿模块，图像去噪模 块，人脸检测模块，机身人脸识别模块，远端人脸识别模块，目标跟踪模块，飞行控制模块， 控制台模块。
[0009] 所述的光照补偿模块，在初始化过程中，其输入为包含人脸和非人脸的数据集，在 检测过程中，其输入为无人机所摄的每一帖图像，考虑到无人机采集到的视频图像在其连 续几帖差距非常小，并且考虑到无人机自带的处理器处理速度有限，所W，没必要对每帖都 进行处理，可W依据处理器的性能选择合适的帖间隔进行采样。其处理过程为：首先，对于 提取到的彩色图像X，设其红绿蓝分量分别为R，G，B，首先将原始彩色图像转换转成灰度图 像，其转换方法为:对于原始彩色图片上的每一个像素点X所对应的R，G，B分量，不失一般性 的用i和j表示，则该像素点对应的灰度图像公的灰度值为公（i，j) = 0.3 X β/ (i，j) +0.59 X G/ (i，j )+0.11 X r (i，j)，其中r (i，j)为整数，若所得结果为小数的话，仅取其整数部分， 从而得到原始X的灰度图像公。然后，对该灰度图像进行光照补偿，并将光照补偿后所得的 结果发送给图像去噪模块。
[0010] 所述的对该灰度图像进行光照补偿，其步骤为:第1步，考虑到灰度图像的值只有 0-255,所W定义一个长度为256的数组为P，其初始值的所有元素都为0,对于当前图片的每 一个点r(a，b)，若其灰度为i，则P(i)=P(i)+l。当r的所有点计算完成后，便得到当前图 像在所有灰度值上的分布P，然后对于数组P的每一个点P(i)，使得P(i ) = P(i)/(row X col)，其中，row为灰度图像χ/的行元素的个数，col为灰度图像χ/的列元素的个数。此时P保 存的是当前每一个灰度的概率分布。第2步，计算累计归一化直方图C，C为与数组P相同维度 的数组，并且C的每一个元素的初始值为0,对于数组C的每一个元素 i，计算数组P中所有标 号小于等于i的元素之和，即C(i) =Σ^=〇Ρ(/)..第3步，找出图片的最大像素 max和最小像素 min，其计算方法为，max为数组P按照从标号为255开始到0的顺序中第一个i，使得P( i)辛0， 则当前标号记为max = i，min为数组P按照从标号为0开始到255的顺序中第一个j使得P(j) 辛0,则当前标号记为min = j。对于原始灰度图像r的每一个元素，更新其值为r(i，j)=C (χ/ (i，j) X (max-min))+min。更新之后的图像公即为光照补偿后的图像。
[0011] 所述的图像去噪模块，接收光照补偿模块传送来的经过光照补偿后的图像X，首先 设置一个3X3维的窗口，考虑该图像X的每个像素点X(i，j)，W该点为中屯、点的3X3维矩阵 所对应的像素值分别为[X(i-l，j-l)，X(i-l，j)，X(i-l，j+l)，X(i，j-l)，X(i，j)，X(i，j+l)， X(i+l，j+l)，X(i+l，j)，X(j+l，j+l)]进行从大到小排列，取其排在中间的值为新的像素公 (i，j)所对应滤波后值，注意对于X的边界点，会出现其3X3维的窗口所对应的某些像素点 不存在的情况，那么只需计算落在窗口内存在的像素点的中间值即可，若窗口内为偶数个 点，将排在中间两个像素值的平均值作为该像素点去噪后的值X/(i，j)，从而，新的图像矩 阵公即为滤波后所得的图片矩阵;在初始化阶段，将去噪处理过的图片传递给人脸检测模 块和机身人脸识别模块;在检测过程中，将去噪处理过的图片传递给人脸检测模块，如果需 要实时传递图像，则将去噪后的图像按照预定比例压缩并传递给控制台模块。
[0012] 所述的人脸检测模块，在初始化的过程中，接收到从图像去噪模块传递来的已经 过光照补偿和去噪处理的典型人脸和非人脸的灰度图像，运些样本图片的维度统一为ηΧη 维，然后对每一张样本图片Ρ，构建该图片Ρ所对应的积分图ΡΡ，然后使用所有积分图对级联 分类器进行参数初始化，最后将训练所得的级联分类器保存起来用于检测过程;在检测过 程中，首先将接收到从图像去噪模块传递来的已经过光照补偿和去噪处理的无人机采集图 像r按照窗口大小为η X η进行多层分割，对于分割后所得的所有子图片，构建其积分图，最 后用训练所得的级联分类器进行分类筛选，得到所有异常物体的子图片，将运些子图片附 带其在原始图片的坐标和帖信息传递给机身人脸识别模块。
[0013] 所述的构建图片Ρ所对应的积分图ΡΡ，其过程为：
[0014] 对于图像Ρ，我们从该矩阵的第1行第1列开始构造积分图，初始时设s(l，l)=P(l， 1)，RR( 1，1) =P( 1，1)，构造过程为一个二层循环：
[0015]
[0016]
[0017 ]从而构造出p分量所对应的积分图PP;
[0018] 所述的使用积分图PP对级联分类器进行训练，其过程为：
[0019] 第一步，定义弱分类器的函数}1^^，9，0)为：
[0020]
[0021] 其中f为特征函数，Θ为阔值，P取值为1或-1，χ代表根据积分图PP所构建的子窗口， 对于每一个子窗口 X，f(X)为该子窗口 X对应于特征函数f的特征值。
[0022] 为了叙述方便，我们将子窗口 X的四个边界分别定义为左上点A，右上点B，左下点 C，右下点D，A与B的中屯、点为ab，A与B的Ξ分之一靠近A点为aab，S分之一靠近B点为abb,其 余类推，区域内的中屯、点用0来表示。则x(A)表示子窗口在左上点A的积分图所对应的值，其 余同理。
[0023] 则定义：
[0024] fi = [x(bd)+x(A)-x(B)-x(ac) ]-[x(ac)+x(D)-x(bd)-x(C)]，并且定义s = 1，t = 2;
[00巧]f2 = [x(A)+x(cd)-x(BC)-x(ab) ]-[x(ab)+x(D)-x(B)-x(cd)]，并且定义s = 2, t = 1;
[0026] f3 = [x(A)+x(t>bd)-x(aac)-x(B) ]-2 X [x(bdd)+x(aac)-x(acc)-x(t)bd) ] + [x(D) + x(acc)-x(bdd)-x(C)]，并且定义s = l，t = 3;
[0027] f4= [x(A)+x(ccd)-x(aab)-x(C) ]-2 X [x(；cdd)+x(aab)-x(at)b)-x(ccd) ] + [x(D) + x(abb)-x(B)-x(cdd)]，并且定义s = 3，t = l;
[002引 fs=[x(A)+x(0)-x(ab)-x(ac)] + [x(D)+x(0)-x(bd)-x(cd)]-[x(ab)+x(bd)-x (B)-x(0)]-[x(ac)+x(cd)-x(0)-x(C)]，并且定义s = 2，t = 2;
[0029] 第二步:构建积分图PP所对应的子窗口 X。该子窗口 X的选择过程如下：
[0030] 定义自然数S和t，运两个数为子窗口的倍数，运两个数值的选定由特征函数给定， 于是，X所对应的子窗口区域为：[(i，j)，（ i，j+t X (b-1))，（ i+s X (a-1)，j)，（ i+s X (a-1)，j W X (b-1))]，其中：i，j，a，b分别为从1开始递增的整数，并且能够保证i+s X (a-1) < n，j>t X(b-lHn成立的所有取值。
[0031] 第Ξ步:对于定义的5个特征函数，计算所有训练样本的所有RGB分量对应于当前 子窗口 X的特征值f(x)，我们此称之为在当前RGB分量下当前子窗口 X的特征，如果当前窗口 下有wf个子窗口，那么一共有T = 3XwfX5个特征，每一个特征表示为ht。设海面上正常物 体的图片和异常物体的图片各有K张，则对分类器的训练过程如下：
[0032] 1.对于每一张图片Xi，yi为该图片的分类，若yi = l表示该图片为异常物体的图片， 若yi = -l表示该图片为正常物体的图片；
[0033] 2.对于 t = 1，2，...，Τ，（ T为特征个数）
[0034] 1).所有样本在特征ht下的特征值fr，其中（r = 1，2，…，2Κ)，2Κ为正常物体和异常 物体图片的总数；
[0035] 2).将所得的所有特征值按照从大到小的顺序进行排序；
[0036] 3).计算全部异常物体子图的权重之和:T+ = sum(fr(x))，xE异常物体的子图；