一种无人机自动检测目标和跟踪方法_3

文档序号:9687920阅读:来源:国知局
和控制台模块发送的是否跟踪信号。在人脸检测状态,飞行控制模块忽略 掉目标跟踪模块传来的跟踪框位置信息,飞行控制模块控制无人机沿一个固定的路径往复 飞行,也可W逆行人的行走方向飞行。当接收到控制台模块发出的跟踪信号时,当前状态从 人脸检测状态为目标跟踪状态,并根据当前目标的位置信息调整无人机的位置;若当前状 态为目标跟踪状态时收到控制台模块发出的停止跟踪信号时,无人机返回原有巡航区域, 并将状态从目标跟踪状态变为人脸检测状态。
[0079] 所述的根据当前目标的位置信息调整无人机的位置,其方法是:设整个图像为mX n,其中m>n,跟踪框为aXb,则:若n<l/4Xb,则意味着目标过大,无人机需要向后移m无 人机摄像头所对的方向为前);若n>l/8Xb,则意味着目标过小,无人机需要向前移;若跟 踪框距离图像上侧(下侧)的距离小于原始图像上下像素距离的1/8,说明目标远离(靠近), 无人机需要前(后)移动;若跟踪框距离图像左侧(右侧)的距离小于原始图像左右像素距离 的1/8,说明目标靠左侧(右侧),无人机需要向左(右)移动,或者需要向左(右)旋转。判断无 人机选择向左(右)移动或者向左(右)旋转的方法如下,若无人机左(右)侧没有障碍物或者 障碍物的距离大于阔值P1,则无人机向左(右)旋转,旋转角度为使跟踪目标在无人机水平 中屯、的角度;若无人机的左(右)侧障碍物的距离小于等于阔值P1大于阔值P2,则无人机向 左(右)移动,移动距离为不大于P1-P2并使得目标尽可能靠近水平中屯、的距离。
[0080] 所述的控制台模块为嵌入在监控中屯、的控制系统,为了提供该发明的通用性,本 发明的控制台模块与现有监控中屯、的系统进行兼容,该监控台模块接收来自无人机的图像 去噪模块所传递过来的经过压缩的图像,压缩图像的目的是减少带宽,在带宽较小的时候, 可W选择不传递图像。当远端人脸检测模块检测到的目标为数据库中存在的个体,远端人 脸检测模块将该个体信息和待检测人脸的图像传递给控制台模块模块,由监控中屯、的监控 人员进行人工比对,如果监控人员认为比对正确并且认为当前有必要对该个体进行跟踪, 则由监控人员向控制台模块发出跟踪命令,由控制台模块将跟踪命令发送给飞行控制模 块;如果监控人员认为比对错误,则由监控人员向控制台模块发出取消跟踪命令,由控制台 模块将取消跟踪命令发送给跟踪模块;如果监控人员认为比对正确,但是当前情况并不适 合跟踪,则由监控人员向控制台模块发出留取视频图像并取消跟踪命令,由控制台模块将 取消跟踪命令发送给跟踪模块,将留取视频图像命令发送无人机,并等待由无人机发回来 的未经处理的原始视频;在跟踪过程中,监控人员可W随时发送取消跟踪命令,让无人机飞 回原有巡航区域。
[0081 ]本发明的有益效果是,能够依靠无人机移动灵活的优点,对目标进行快速灵活的 检测和跟踪;通过将大部分的图像处理过程移到无人机机身,能够有效降低对无线带宽的 需求;本方法采用多层筛选的模式,每一层的方法计算量较少,从而能够适合无人机机身处 理性能弱电池电量小的特点,减少对机身处理性能和耗电量的消耗。
【附图说明】
[0082] 图1是本发明的功能流程图;
[0083] 图2是本发明整体的功能模块及其相互关系框图;
[0084] 图3是本发明所述的特征函数fi上各点的位置关系图;
[0085] 图4是本发明所述的特征函数f2上各点的位置关系图;
[0086] 图5是本发明所述的特征函数f3上各点的位置关系图;
[0087] 图6是本发明所述的特征函数f4上各点的位置关系图;
[0088] 图7是本发明所述的特征函数fs上各点的位置关系图。
【具体实施方式】
[0089] 下面结合附图对本发明作进一步的说明。
[0090] 所述的一种无人机自动检测目标和跟踪方法,其功能流程图如图1所示,其模块之 间的相互关系如图2所示。
[0091] 下面提供两个具体实施例对本发明所述的一种无人机自动检测目标和跟踪方法 的具体过程进行说明:
[0092] 实施例1:
[0093] 本实施例实现了一种无人机自动检测目标和跟踪方法的参数初始化的全过程。
[0094] 1.光照补偿模块在初始化过程中,输入为包含人脸和非人脸的数据集,其处理过 程为:首先,对于提取到的彩色图像X,设其红绿蓝分量分别为R,G,B,首先将原始彩色图像 转换转成灰度图像,其转换方法为:对于原始彩色图片上的每一个像素点X所对应的R,G,B 分量,不失一般性的用i和j表示,则该像素点对应的灰度图像公的灰度值为Χ/ (i,j) =0.3 Xβ/ (i,j )+0.59 X(i,j)+0.11 X r (i,j),其中r (i,j)为整数,若所得结果为小数的话, 仅取其整数部分,从而得到原始X的灰度图像公。然后,对该灰度图像进行光照补偿,并将光 照补偿后所得的结果发送给图像去噪模块。
[0095] 所述的对该灰度图像进行光照补偿,其步骤为:第1步,考虑到灰度图像的值只有 0-255,所W定义一个长度为256的数组为P,其初始值的所有元素都为0,对于当前图片的每 一个点r(a,b),若其灰度为i,则P(i)=P(i)+l。当r的所有点计算完成后,便得到当前图 像在所有灰度值上的分布P,然后对于数组P的每一个点P(i),使得P(i ) = P(i)/(row X col),其中,row为灰度图像χ/的行元素的个数,col为灰度图像χ/的列元素的个数。此时P保 存的是当前每一个灰度的概率分布。第2步,计算累计归一化直方图C,C为与数组P相同维度 的数组,并且C的每一个元素的初始值为0,对于数组C的每一个元素 i,计算数组P中所有标 号小于等于i的元素之和,即的0=Σ;·=ι>Ρ(/)。第3步,找出图片的最大像素 max和最小像素 min,其计算方法为,max为数组P按照从标号为255开始到0的顺序中第一个i,使得P( i)辛0, 则当前标号记为max = i,min为数组P按照从标号为0开始到255的顺序中第一个j使得P(j) 辛0,则当前标号记为min = j。对于原始灰度图像公的每一个元素,更新其值为χ/ (i,j) = C (X/(i,j)X(max-min))+min。更新之后的图像公即为光照补偿后的图像。
[0096] 光照补偿模块的初始化过程结束。
[0097] 2.图像去噪模块,接收光照补偿模块传送来的经过光照补偿后的图像X,首先设置 一个3X3维的窗口,考虑该图像X的每个像素点X(i,j),W该点为中屯、点的3X3维矩阵所对 应的像素值分别为[X(i-l,j-l),X(i-l,j),X(i-l,j+l),X(i,j-l),X(i,j),X(i,j+l),X(i+ 10+1),乂(1+10'),乂0+10+1)]进行从大到小排列,取其排在中间的值为新的像素公。〇) 所对应滤波后值,注意对于X的边界点,会出现其3X3维的窗口所对应的某些像素点不存在 的情况,那么只需计算落在窗口内存在的像素点的中间值即可,若窗口内为偶数个点,将排 在中间两个像素值的平均值作为该像素点去噪后的值r(i,j),从而,新的图像矩阵r即为 滤波后所得的图片矩阵,将该图片传递给人脸检测模块和机身人脸识别模块。
[0098] 图像去噪模块的初始化过程结束。
[0099] 3.人脸检测模块,接收到从图像去噪模块传递来的已经过光照补偿和去噪处理的 典型人脸和非人脸的灰度图像,运些样本图片的维度统一为ηΧη维,然后对每一张样本图 片Ρ,构建该图片Ρ所对应的积分图ΡΡ,然后使用所有积分图对级联分类器进行参数初始化, 最后将训练所得的级联分类器保存起来用于检测过程;
[0100] 所述的构建图片Ρ所对应的积分图ΡΡ,其过程为:
[0101] 对于图像Ρ,我们从该矩阵的第1行第1列开始构造积分图,初始时设s(l,l)=P(l, 1),RR( 1,1) =P( 1,1),构造过程为一个二层循环:
[0102]
[0103] 从而构造出P分量所对应的积分图PP;
[0104] 所述的使用积分图PP对级联分类器进行训练,其过程为:
[010引第一步,定义弱分类器的函数}1^^,口,目)为:
[0106]
[0107] 其中f为特征函数,Θ为阔值,P取值为1或-l,x代表根据积分图PP所构建的子窗口, 对于每一个子窗口 x,f(x)为该子窗口 X对应于特征函数f的特征值。
[0108] 为了叙述方便,我们将子窗口 X的四个边界分别定义为左上点A,右上点B,左下点 C,右下点D,A与B的中屯、点为ab,A与B的Ξ分之一靠近A点为aab,Ξ分之一靠近B点为abb,其 余类推,区域内的中屯、点用0来表示。则x(A)表示子窗口在左上点A的积分图所对应的值,其 余同理。
[0109] 则定义:
[0110] ;|;'1 =[义化(1)+义(4)-义化)-义(曰。)]-[义(曰。)+义化)-义化(1)-义(0],并且定义3 = 1,1 = 2;
[0111] f2 = [x(A)+xXcd)-x化C)-x(油)]-[x(油)+xXD)-x化)-xXcd)],并且定义s = 2,t = 1;
[0112] f3 = [x(A)+x(t)bd)-x(aac)-x(B) ]-2 X [x(bdd)+x(aac)-x(acc)-x(t)bd) ] + [x(D) + x(acc)-x(bdd)-x(C)],并且定义s = l,t = 3;
[0113] f4 = [x(A)+x(ccd)-x(aab)-x(C) ]-2 X [x(cdd)+x(aab)-x(at)b)-x(ccd) ] + [x(D) + x(abb)-x(B)-x(cdd)],并且定义s = 3,t = l;
[0114] f5=[x(A)+x(0)-x(ab)-x(ac)] + [x(D)+x(0)-x(bd)-x(cd)]-[x(ab)+ x(bd)-x (B)-x(0)]-[x(ac)+x(cd)-x(0)-x(C)],并且定义s = 2,t = 2;
[0115] 第二步:构建积分图PP所对应的子窗口 X。该子窗口 X的选择过程如下:
[0116] 定义自然数s和t,运两个数为子窗口的倍数,运两个数值的选定由特征函数给定, 于是,X所对应的子窗口区域为:[(i,j),( i,j+t X (b-1)),( i+s X (a-1),j),( i+s X (a-1),j W X (b-1))],其中:i,j,a,b分别为从1开始递增的整数,并且能够保证i+s X (a-1) < n,j>t X(b-lHn成立的所有取值。
[0117] 第Ξ步:对于定义的5个特征函数,计算所有训练样本的所有RGB分量对应于当前 子窗口 X的特征值f(x),我们此称之为在当前RGB分量下当前子窗口 X的特征,如果当前窗口 下有wf个子窗口,那么一共有T = 3XwfX5个特征,每一个特征表示为ht。设海面上正常物 体的图片和异常物体的图片各有K张,则对分类器的训练过程如下:
[0118] 1.对于每一张图片Xi,yi为该图片的分类,若yi = 1表示该图片为异常物体的图片, 若yi = -l表示该图片为正常物体的图片;
[0119] 2.对于t = 1,2,…,Τ,( T为特征个数)
[0120] 1).所有样本在特征ht下的特征值fr,其中(r = 1,2,…,2Κ),2Κ为正常物体和异常 物体图片的总数;
[0121] 2).将所得的所有特征值按照从大到小的顺序进行排序;
[0122] 3).计算全部异常物体子图的权重之和:T+ = sum(fr(x)),xe异常物体的子图;
[0123] 4).计算全部正常物体子图的权重之和:r = sum(fr(x)),xe正常物体的子图;
[0124] 5).对于排序好的每个元素,从第一个开始处理,设当前处理的元素为i:
[0125] a).计算所有大于当前元素异常物体的子图的权重值和:皆二XjE 异常物体的子图,并且j<i;
[0126] b).计算所有大于当前元素的正常物体的子图的权重值和:友 e正常物体的子图并且j<i;
[0127] C).计算分类器在当前元素下的误差:心=mm时+ Cr--胥),异+ 〇--征)].
[0128] 6).选取使得ei最小的元素所对应的标号i,然后将特征值f (XI)和特征值排在i前 一位的^心1)求平均值,得到弱分类器的参数目=[^町)+^町-1)]/2,若种>年中=-1,否 则,P = 1;
[0129] 7).若最小的误差ei>l%,则意味着误差过大,舍弃;否则,将当前}1*^^,9,0)作 为选好的弱分类器;
[0130] 3.将所有选好的分类器ht按照t值从小到大排列起来,构成集合H,于是得到了我 们要训练的级联分类器。
[0131] 人脸检测模块的初始化过程结束。
[0132] 4.机身人脸识别模块的工作过程为:第1步,接收到从图像去噪模块传递来的已经 过光照补偿和去噪处理的典型人脸的灰度图像集合乂=^1,^,-',^],其中义1为对输入图 像向量化表示后的一张人脸图像,XI为列向量,m为当前人脸数据集的人脸图像个数。对于 一张维度为ηΧη维的人脸图像P。第2步,在得到X之后,计算Xl,X2,…,?的平均值μ,然后对X 的每一列计算减去均值μ,从而得到公,公为均值化的X。然后计算Χ/Τχχ/,其中χ/τ表示矩 阵公的转置。第3步,计算矩阵χ/τχχ/的特征值和特征向量。设其特征值为eig(i)其特征向 量为vec(i),(l含i含η)。我们将特征值按照对应的特征值从大到小排列,然后选择合适的 j,使得j为满足巧;=〇6切议>0.9召的最小值(ly如),我们选择[eig(l),eig(2),…,eig (j)]所对应的特征向量的集合[vec(1),vec(2),…,vec(j)],设该矩阵为W,将W的转置WT保 存在无人机的系统内。
[0133] 所述的对输入图像P向量化表示,其方法为,对于其上的每一个分量P(i,j),按照 下列方式进行排列:[Pα,l),P(2,l),…,P(n,l),P(l,2),P(2,2),…,P(n,2),P(l,n),P(2, η),…P(n,n)],然后计算xi( j) =
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1