一种无人机自动检测目标和跟踪方法_5

文档序号:9687920阅读:来源:国知局
无人机左(右)侧没有障碍物或者 障碍物的距离大于阔值P1,则无人机向左(右)旋转,旋转角度为使跟踪目标在无人机水平 中屯、的角度;若无人机的左(右)侧障碍物的距离小于等于阔值P1大于阔值P2,则无人机向 左(右)移动,移动距离为不大于P1-P2并使得目标尽可能靠近水平中屯、的距离,在本发明 中,若无人机处于开阔地带(即无人机的10个距离探测器探测到的距离均大于20米),则P1 =10米,p2 = 5米;若无人机周边障碍物较多,pi = 5米,p2 = 3米。
[0181] 飞行控制模块对当前帖的飞行控制过程结束。
[0182] 8.控制台模块接收来自无人机的图像去噪模块所传递过来的经过压缩的图像,压 缩图像的目的是减少通信量,在带宽较小的时候,可W选择不传递图像。当远端人脸检测模 块检测到的目标为数据库中存在的个体,远端人脸检测模块将该个体信息和待检测人脸的 图像传递给控制台模块模块,由监控中屯、的监控人员进行人工比对,如果监控人员认为比 对正确并且认为当前有必要对该个体进行跟踪,则由监控人员向控制台模块发出跟踪命 令,由控制台模块将跟踪命令发送给飞行控制模块;如果监控人员认为比对错误,则由监控 人员向控制台模块发出取消跟踪命令,由控制台模块将取消跟踪命令发送给跟踪模块;如 果监控人员认为比对正确,但是当前情况并不适合跟踪,则由监控人员向控制台模块发出 留取视频图像并取消跟踪命令,由控制台模块将取消跟踪命令发送给跟踪模块,将留取视 频图像命令发送无人机,并等待由无人机发回来的未经处理的原始视频;在跟踪过程中,监 控人员可W随时发送取消跟踪命令,让无人机飞回原有巡航区域。
[0183] 控制台模块对当前帖的控制操作结束。
【主权项】
1. 一种无人机自动检测目标和跟踪方法,其特征在于,所述一种无人机自动检测目标 和跟踪方法,包括无人机,装配在无人机上的声呐距离探测器,光照补偿模块,图像去噪模 块,人脸检测t旲块,机身人脸识别t旲块,远端人脸识别t旲块,目标跟fet旲块,飞彳丁控制t旲块, 控制台模块,所述的一种无人机自动检测目标和跟踪方法的步骤如下: 步骤一、光照补偿模块,将无人机所摄的图像使用直方图均衡化方法对光照进行补偿, 并将光照补偿后的所摄图像传递给图像去噪模块; 步骤二、图像去噪模块将接收到的光照补偿后的图像,使用中值滤波器进行滤波,用以 去掉噪声,若当前系统处于人脸检测状态,则将去噪后的图像传递给人脸检测模块,若当前 系统处于目标跟踪状态,则将去噪后的图像传递给目标跟踪模块; 步骤三、人脸检测模块,将接收到的图像使用基于哈尔特征和级联强分类器算法进行 人脸检测,并将检测到的人脸图像传递给人脸识别模块; 步骤四、机身人脸识别模块为运行在无人机机身上的人脸识别模块,该模块接收消息 源为两个并分别做不同的处理:1.接收来自人脸检测模块的人脸图像,并对这些人脸图像 进行识别,筛选掉那些已经被检测过的人脸,并将那些未被检测过的人脸图像发送给远端 人脸识别模块;2.接收来自于远端人脸识别模块中,返回结果为"数据库不存在"的人脸图 片,并根据该返回结果,对人脸识别模块的分类器进行修改,当下一帧收到同一个人的人脸 图像时,能够识别出该人脸从而将该人脸筛选掉,从而减少远端人脸识别模块的负担; 步骤五、远端人脸识别模块为运行在远端服务器上的人脸识别系统,该系统接收无人 机所发送过来的人脸图像,并对该人脸图像进行识别,返回结果有三种:1.数据库不存在;2.无法识别人脸;3.数据库已存在人脸;若返回结果为1,则将该识别结果发送给人脸检测 模块,若返回结果为2则不做处理;若返回结果为3,则向目标跟踪模块和控制台模块发送识 别结果及图片信息; 步骤六、目标跟踪模块,接收到来自远端人脸识别模块识别出的目标人脸及其在图像 中的位置信息,对当前图像提取ORB特征,并停止人脸检测模块,机身人脸识别模块,远端人 脸识别模块的运行,系统转入跟踪状态;跟踪状态状态接收来自于图像去噪模块的人脸输 入图像,并从该人脸输入图像的下一帧图像中提取候选特征框,以及放大或缩小的候选特 征框;根据图像的ORB特征,选择与原始特征最相似的特征框作为下一帧的跟踪位置;并将 位置信息发送给飞行控制模块; 步骤七、飞行控制模块,接收到来自控制台的跟踪相关命令和目标跟踪模块的被跟踪 目标的位置信息,若未收到控制台发送的跟踪命令,则飞行控制模块仍按照原有路线飞行, 若收到控制台发送的跟踪命令,则根据跟踪框的位置(过大、过小、偏左、偏右,偏上、偏下) 调整无人机的位置;若接收到控制台模块发送的取消跟踪信号,则取消当前跟踪,启动人脸 检测模块,机身人脸识别模块,远端人脸识别模块,无人机系统进入人脸检测状态; 步骤八:控制台模块为在监控中心的控制系统,该发明的监控系统可以与现有监控中 心的系统进行兼容,该监控台模块接收来自无人机的实时监控图像,并当发现被识别目标 时,将当前检测图片和数据库里识别的图片进行显示并提示监控中心人员进行人工比对, 若监控中心人员认为比对成功并且需要跟踪,则监控人员进行报警,并通知无人机进行跟 踪,若监控中心人员认为比对成功但是不宜跟踪,则采集前后一段时间的视频信息及地点 信息,此时无人机仍然按照固定的巡航路线飞行,若监控中心认为比对不成功,则向无人机 发送取消跟踪命令,无人机计入人脸检测状态。2. 根据权利要求1所述的一种无人机自动检测目标和跟踪方法,其特征在于步骤一中 所述的光照补偿模块的具体工作过程为: 在初始化过程中,其输入为包含人脸和非人脸的数据集,在检测过程中,其输入为无人 机所摄的每一帧图像,考虑到无人机采集到的视频图像在其连续几帧差距非常小,并且考 虑到无人机自带的处理器处理速度有限,所以,没必要对每帧都进行处理,可以依据处理 器的性能选择合适的帧间隔进行采样;其处理过程为:首先,对于提取到的彩色图像X,设其 红绿蓝分量分别为E,G,B,首先将原始彩色图像转换转成灰度图像,其转换方法为:对于原 始彩色图片上的每一个像素点X所对应的E,G,B分量,不失一般性的用i和j表示,则该像素 点对应的灰度图像f的灰度值为f (i,j)=0.3XBHj)+0.59XGli,j)+0.11XEH j),其中XHj)为整数,若所得结果为小数的话,仅取其整数部分,从而得到原始X的灰度 图像X、然后,对该灰度图像进行光照补偿,并将光照补偿后所得的结果发送给图像去噪模 块; 所述的对该灰度图像进行光照补偿,其步骤为:第1步,考虑到灰度图像的值只有〇- 255,所以定义一个长度为256的数组为P,其初始值的所有元素都为0,对于当前图片的每一 个点Xla^),若其灰度为i,则P(i)=P(i) + l;当X'的所有点计算完成后,便得到当前图像 在所有灰度值上的分布P,然后对于数组P的每一个点P(i),使得P(i) = P(i)/(row X co 1), 其中,row为灰度图像f的行元素的个数,col为灰度图像f的列元素的个数;此时P保存的 是当前每一个灰度的概率分布;第2步,计算累计归一化直方图C,C为与数组P相同维度的数 组,并且C的每一个元素的初始值为0,对于数组C的每一个元素 i,计算数组P中所有标号小 于等于i的元素之和,即C(〇 =Σ5=?Ρ(/);第3步,找出图片的最大像素 max和最小像素 min, 其计算方法为,max为数组P按照从标号为255开始到0的顺序中第一个i,使得P(i)矣0,则当 前标号记为max = i,min为数组P按照从标号为0开始到255的顺序中第一个j使得P(j)矣0, 则当前标号记为min = j ;对于原始灰度图像X'的每一个元素,更新其值为X' (i,piCU' (i,j) X (max-min))+min;更新之后的图像X'即为光照补偿后的图像。3. 根据权利要求1所述的一种无人机自动检测目标和跟踪方法,其特征在于步骤二中 所述的图像去噪模块的具体工作过程为:图像去噪模块,接收光照补偿模块传送来的经过 光照补偿后的图像X,首先设置一个3X3维的窗口,考虑该图像X的每个像素点X(i,j),以该 点为中心点的3X3维矩阵所对应的像素值分别为[X(i-l,j-l),X(i-l,j)X(i-l,j+l),X(i, j-l),X(i,j),X(i,j+l),X(i+l,j+l),X(i+l,j),X(j+l,j+l)]进行从大到小排列,取其排在 中间的值为新的像素 XHj)所对应滤波后值,注意对于X的边界点,会出现其3X3维的窗 口所对应的某些像素点不存在的情况,那么只需计算落在窗口内存在的像素点的中间值即 可,若窗口内为偶数个点,将排在中间两个像素值的平均值作为该像素点去噪后的值XH j),从而,新的图像矩阵X'即为滤波后所得的图片矩阵;在初始化阶段,将去噪处理过的图 片传递给人脸检测模块和机身人脸识别模块;在检测过程中,将去噪处理过的图片传递给 人脸检测模块,如果需要实时传递图像,则将去噪后的图像按照预定比例压缩并传递给控 制台t吴块。4. 根据权利要求1所述的一种无人机自动检测目标和跟踪方法,其特征在于步骤三中 人脸检测模块的具体工作过程为: 所述的人脸检测模块,在初始化的过程中,接收到从图像去噪模块传递来的已经过光 照补偿和去噪处理的典型人脸和非人脸的灰度图像,这些样本图片的维度统一为ηΧη维, 然后对每一张样本图片Ρ,构建该图片Ρ所对应的积分图ΡΡ,然后使用所有积分图对级联分 类器进行参数初始化,最后将训练所得的级联分类器保存起来用于检测过程;在检测过程 中,首先将接收到从图像去噪模块传递来的已经过光照补偿和去噪处理的无人机采集图像 f按照窗口大小为η X η进行多层分割,对于分割后所得的所有子图片,构建其积分图,最后 用训练所得的级联分类器进行分类筛选,得到所有异常物体的子图片,将这些子图片附带 其在原始图片的坐标和帧信息传递给机身人脸识别模块; 所述的构建图片Ρ所对应的积分图ΡΡ,其过程为: 对于图像Ρ,我们从该矩阵的第1行第1列开始构造积分图,初始时设s(l,l)=P(l,l), RR( 1,1) =P( 1,1),构造过程为一个二层循环:从而构造出P分量所对应的积分图PP; 所述的使用积分图PP对级联分类器进行训练,其过程为: 第一步,定义弱分类器的函数h(x,f,p,0)为:其中f为特征函数,Θ为阈值,P取值为1或-1,X代表根据积分图PP所构建的子窗口,对于 每一个子窗口 x,f(x)为该子窗口 X对应于特征函数f的特征值; 为了叙述方便,我们将子窗口 X的四个边界分别定义为左上点A,右上点B,左下点C,右 下点D,A与B的中心点为ab,A与B的三分之一靠近A点为aab,三分之一靠近B点为abb,其余类 推,区域内的中心点用〇来表示;则x(A)表示子窗口在左上点A的积分图所对应的值,其余同 理; 则定义:第二步:构建积分图PP所对应的子窗口 X;该子窗口 X的选择过程如下: 定义自然数S和t,这两个数为子窗口的倍数,这两个数值的选定由特征函数给定,于 是,X所对应的子窗口区域为:[(i,j),( i,j+t X (b-1)),( i+s X (a-1),j),( i+s X (a-1),j+t X (b_l))],其中:i,j,a,b分别为从1开始递增的整数,并且能够保证i+sX (a-D^n,j+tX (b-1 )< η成立的所有取值; 第三步:对于定义的5个特征函数,计算所有训练样本的所有RGB分量对应于当前子窗 口 X的特征值f(x),我们此称之为在当前RGB分量下当前子窗口 X的特征,如果当前窗口下有 wf个子窗口,那么一共有T = 3 X wf X 5个特征,每一个特征表示为ht;设海面上正常物体的 图片和异常物体的图片各有K张,则对分类器的训练过程如下:1.对于每一张图片Xi,yiS该图片的分类,若yi=l表示该图片为异常物体的图片,若 yi=-1表示该图片为正常物体的图片; 2 ·对于t = 1,2,…,T,(T为特征个数) 1) .所有样本在特征ht下的特征值fr,其中(r = 1,2,…,2K),2K为正常物体和异常物体 图片的总数; 2) .将所得的所有特征值按照从大到小的顺序进行排序; 3) .计算全部异常物体子图的权重之和:T+ = SUm(fr(x)),xe异常物体的子图; 4) .计算全部正常物体子图的权重之和:r = SUm(fr(x)),xe正常物体的子图; 5) .对于排序好的每个元素,从第一个开始处理,设当前处理的元素为i : a) .计算所有大于当前元素异常物体的子图的权重值和:_ ^ e异常 物体的子图,并且j<i;b) .计算所有大于当前元素的正常物体的子图的权重值和:正 常物体的子图并且j<i;c) .计算分类器在当前元素下的误差:6) .选取使得ei最小的元素所对应的标号i,然后将特征值f(Xi)和特征值排在i前一位 的汽11-1)求平均值,得到弱分类器的参数9 =[以11)+以11-1)]/2,若&+>5,-., 1) = -1,否则,1) =1 ; 7) .若最小的误差ei>l%,则意味着误差过大,舍弃;否则,将当前匕(14,?,0)作为选 好的弱分类器;3.将所有选好的分类器ht按照t值从小到大排列起来,构成集合H,于是得到了我们要训 练的级联分类器; 所述的提取子图的过程为: 首先,对于原始的Μ行N列的图像,首先定义块大小为ηΧη,则将提取像素区域定义为: [(i,j),(i,j+n-l),(i+n-l,j),(i+n-l,j+η-Ι)]所围成的正方形区域,其中i = [l,.",M-n+ 1 ],j = [ 1,…,N_n+l],从而得到缩放图的第1层,该层共有(M-n+1) X (N-n+1)张子图,每张 子图大小为ηΧη维,对于每一张图片,记录其图像的提取区域为左上点A=(i,j)右下点D = (i+n-1,j+n-1); 然后,将原始图缩放成[M/2i行!JV/2」列; 对于原始图片X,其上的每一个像素点为X(i,j),对于缩放后的图片X1/2(a,b),缩放过 程为: 对于 a = U, 对于6 = 1,2,…,[M/21 X1/2(a,b)=X(i,j),其中,i = 2Xa,j = 2Xb; 其中,[M/2丨和[Λ//21为M/2和N/2所得的整数部分; 对于所得的缩放后的图像继续使用上述方法进行提取子图,从而得到缩放图的第2层, 该层共有|张子图,每张子图的大小为η X η维,对于每一 张子图片,记录其在原始图像上提取区域的坐标(左上点Α和右下点D);对于第i层,将原始 图像缩放成〖财/2^行〖]¥/2^列的图像,并继续使用上述方法进行提取子图,该层共有)张子图,每张子图的大小为η Xn维,对于每一张子图 片,记录其在当前图像上提取区域的坐标(左上点A和右下点D);…;直到&l
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1