t; η 时，意味着缩小的遥感图像最短边小于η，此时已经无法提取出子图，于是提取过程结束； 所述的用训练所得的级联分类器进行分类筛选，其过程如下： 设级联分类器Η共有Τ'个分类器lu (i = 1，2，…，Τ')， 对于所用于筛选的每一张 η Xn维子图 对于 1 = + 计算在当前子图下的lu，若& = 0,当前子图是正常物体，该子图的分类筛选过程结束； 若当前子图在所有分类器下的分类结果lu都为1，则说明当前子图为异常物体。5.根据权利要求1所述的一种无人机自动检测目标和跟踪方法，其特征在于步骤四中 所述的机身人脸识别模块的具体工作过程为： 所述的机身人脸识别模块，在初始化的过程中，第1步，接收到从图像去噪模块传递来 的已经过光照补偿和去噪处理的典型人脸的灰度图像集合 输入图像向量化表示后的一张人脸图像，Xl为列向量，m为当前人脸数据集的人脸图像个 数;对于一张维度为ηΧη维的人脸图像P;第2步，在得到X之后，计算^，^，…，^的平均值以， 然后对X的每一列计算减去均值μ，从而得到f为均值化的X;然后计算X/TXf，其中Χ/Τ表示矩阵f的转置;第3步，计算矩阵X/TXf的特征值和特征向量;设其特征值为eig(i)其 特征向量为vec(i)，（1 < i < η);我们将特征值按照对应的特征值从大到小排列，然后选择 合适的j，使得j为满足的最小值（1 < j^n)，我们选择[eig(l)，eig (2)，…，eig( j)]所对应的特征向量的集合[vec(1)，vec(2)，…，vec(j)]，设该矩阵为W，将W 的转置WT保存在无人机的系统内；在检测过程中，对于检测出来的人脸图像，首先检测其是 否是当前机身人脸识别库的人脸，如果是，说明该人脸已经被识别过，不再进行任何处理； 如果不是，则将该人脸图像传递给远端人脸识别模块，待远端人脸识别对该人脸进行识别； 若远端人脸识别模块识别结果为数据库不存在，则将当前人脸图像加入到机身人脸识别库 中； 所述的对输入图像P向量化表示，其方法为，对于其上的每一个分量P(i，j)，按照下列 方式进行排列：[P(l，l)，P(2，l)，~，P(n，l)，P(l，2)，P(2,2)，~，P(n，2)，P(l，n)，P(2， n)，…P(n，n)]，然后计算&(」）=&(」)/2,2为&的所有元素之和，从而得到了其向量化表 示； 所述的测其是否是当前机身人脸识别库的人脸，其方法是，若当前机身人脸识别库为 空，则识别结果为不存在;若当前机身人脸库为非空，则对当前人脸图像P，首先计算其向量 化表示I，计算其特征表*yi = WTXI，然后将该图片的特征表示yi与机身人脸库已保存的所 有特征表示计算其欧式距离I yi-y I ;若最小距离小于等于阈值Θ，则认为该人脸已经被识别 过，返回结果为机身人脸库已存在;若最小距离大于阈值Θ，则认为该人脸未被识别过，返回 结果为机身人脸库不存在； 所述的将当前人脸图像加入到机身人脸识别库中，其方法是:对于当前人脸图像所对 应的特征表示yi，将yi加入到已有特征表示的集合中；考虑经过多次检测，无人机系统中会 存在数量巨大的特征表示y，并且在下一个时段内，前一时段中所识别出的人脸可能已经离 开监控区域，所以，对于长时间没有人脸图像与其比对成功的y，则可以删去该y以节省无人 机系统的空间和计算所有欧氏距离的时间； 所述的比对成功是指，对于所有的y(j)和当前图像，使|yi-y(j)| 取值最小的j即 为当前人脸图像所分到的类，|yi-y(j)|即为待检测人脸距离已知人脸的最小距离，而y(j) 即为比对成功的类，反之，若不存在使|yi-y(j) I < Θ取值最小的j，则意味着比对未成功。6. 根据权利要求1所述的一种无人机自动检测目标和跟踪方法，其特征在于步骤五中 所述的远端人脸识别模块的具体工作过程为： 远端人脸识别模块在检测过程中，首先接收来自机身人脸识别模块传递过来的待检测 的人脸，然后将待检测人脸距离已知人脸的最小距离（在机身人脸识别模块中已经计算出 来该距离)按照从大到小进行排序，并按照从大到小顺序选取前10个人脸进行发送，余下的 人脸不做处理;待远端服务器的识别结果返回后，对远端服务器的识别结果进行分类并根 据分类结果实现不同的操作，对于识别结果1(数据库不存在），则将该识别结果和对应的图 片传递给机身人脸识别模块，对于识别结果2(无法识别人脸），则不做任何处理;对于识别 结果3(数据库已存在人脸)将当前人脸图像，及其附带的位置信息和视频段一起，传递给目 标跟踪模块和控制台模块;考虑到无线网络的不稳定性，可能会发生数据包丢失的现象，所 以，我们可以对该人脸图像从发送至接收的时间给以限定，若发送之后5秒钟内没有收到该 图片的识别信息，则认为该图像已经丢失，按照识别结果2进行处理，若连续出现图像丢失， 则减小每帧发送的人脸数量； 该模块还需要记录从发送待识别人脸图片到收到识别结果期间的视频段;该视频片段 的最大长度为5秒，若对于这5秒钟内的任何帧，该帧以前的所有待识别的人脸图片均已返 回识别结果，则该帧及该帧以前的所有帧可以删掉，以便节省空间。7. 根据权利要求1所述的一种无人机自动检测目标和跟踪方法，其特征在于步骤六中 所述的目标跟踪模块的具体工作过程为： 目标跟踪模块在检测过程中，接收来自远端人脸识别模块识别出的目标人脸P及其在 图像中的位置信息，以及从该人脸图片所对应的视频段(该视频段的起始帧为该人脸图片 所对应的视频帧的下一帧），并接收图像去噪模块传来的实时监控图像;当系统进入目标跟 踪状态时，人脸检测模块，机身人脸识别模块，远端人脸识别模块停止运行;注意到由于该 人脸图片所对应的视频段和图像去噪模块传来的实时监控图像可以理解为相连续的监控 图片所对应的帧，所以不失一般性的我们在后边叙述将不再区分当前帧是属于视频段还是 图像去噪模块传来的帧；目标跟踪模块将按照如下方式运行:第1步，提取目标人脸P的ORB 特征，其ORB特征为若干组长度相同的字符串，每一组字符串的元素为[0，1]，为了节省空 间，我们可以让计算机的一个字节的每一位与位串的一位相对应;第2步，设其目标人脸P在 原始帧的位置为(x，y)，（x+a，y)，（x，y+b)，（x+a，y+b)，其中a和b表示目标人脸P的长与宽； 而设目标人脸P所在的原始帧的下一帧为PP，则在图片PP以目标人脸P在原始帧的位置为 (x，y)，（x+a，y)，（x，y+b)，（x+a，y+b)为中心，找出其周围的所有待检测框，并计算每一个待 检测框的ORB特征;第3步，计算所有待检测框的ORB特征与原始帧的ORB特征的距离，统计 匹配成功的特征点的个数，匹配成功的特征点的个数小于一个事先设定的阈值，则意味着 跟踪丢失;否则，选择匹配成功最多的待检测框作为为目标人脸在下一帧的位置;第4步，若 找到跟踪目标在下一帧的位置，则将目标人脸P的ORB特征替换为下一帧位置所对应图片的 ORB特征，并将该位置发送给控制台模块和飞行控制模块;若跟踪丢失，则将跟踪丢失信号 发送给控制台模块和飞行控制模块，并记录跟踪丢失时刻前后一段时间的视频;经过上述4 步，目标跟踪模块完成了对一帧图片的跟踪处理，由于下一帧人脸图像的ORB特征已知，所 以，在处理接下来的每一帧图片时，只需重复第2,3,4步即可； 所述的提取目标人脸P的ORB特征，其方法如下：由于提取ORB特征的方法已经较为成 熟，在0PENCV计算机视觉库里边已有实现，该方法有着提取速度快，对角度不敏感的优点， 这两个优点非常适合无人机的使用，因为无人机在空中盘旋会导致人脸图像频繁的出现角 度变化，另外，无人机机身处理性能有限，所以快速的角度不敏感的特征提取算法更加适 合;对一个图片提取其ORB特征，输入值为当前图片，输出为若干组长度相同的字符串，每一 组代表一个ORB特征； 所述的找出其周围的所有待检测框，对于待提取的图片PP，原始图片位置为(x，y)，（x+ a，y)，（x，y+b)，（x+a，y+b)四个点所围成的矩形;我们以（x+i，y+j)，（x+a+i，y+j)，（x+i，y+b +j)，（x+a+i，y+b+j)所围成的矩形，表示原始图片位置向右(若i>0)或者向左(若i<0)移 动|i|个像素，并且向下(若j>〇)或者向上(若j<〇)移动|j|个像素;其方法是:第1步，计算 其对应位移k的候选框，由于每个候选框差别仅仅在于（i，j)的取值不同，所以，对于位移为 k的候选框，其（i，j)分别为:第一组：（i_k，jj)，其中，jj = [j-k+l，j+k-Ι];第二组：（i+k， j j)，其中，j j = [ j-k+1，j+k-1 ];第三组：（ii，j-k)，其中，ii = [ i-k+1，i+k-1 ];第四组：（i i， j+k)，其中，ii = [i_k+l，i+k-l];第五组：（i-k，j-k)，（i-k，j+k)，（i+k，j-k)，（i+k，j+k);由 于上述方法会产生较多的候选框，通常情况下k可以不连续，根据当前无人机机身处理器的 处理速度决定k的取值跨度，本发明中，我们选择k =[ 1，3，5，7，9，11 ]，若机身处理速度无法 达到处理要求，则可以选择k=[l，5,9]，或者k=[l，7];第2步，考虑到被检测目标可能会远 离或者靠近无人机，导致图像显示的照片变大或者变小;所以，需要将跟踪框的大小(a，b) 进行放大或者缩小，即(a7，t/ ) = (a XA，b Χλ)，当λ> 1时，表示将跟踪框放大，当λ< 1时，表 示将跟踪框缩小，然后对于每一组(a7)，重复第1步计算按照(Υ)大小设置的跟踪框 的位置，在本发明中，我们选择λ=[0.9，1.1]; 所述的计算所有待检测框的ORB特征与原始帧的ORB特征的距离，考虑到对于每一个 ORB特征V，V( i)表示V( i)的第i位，V( i)的取值为0或1，那么对于每一个待检测框的ORB特征 与原始帧的ORB特征之间的距离的计算方法如下：对比两组ORB特征的每一位，计算所有对 应位不相同的个数，所述的对应位不相同是指Vl(i)矣V2(i)，其中Vl(i)表示第一个ORB特 征的第i位，V2(i)表示第二个ORB特征的第i位； 所述的统计匹配成功的特征点的个数，其方法是： 对于ORB特征集合ORB 1的每一个ORB特征VI 计算VI与0RB2的每一个特征的距离； 若最小距离小于阈值(通常为50)并且:最小距离〈0.8 X第二小距离 意味着匹配成功，将匹配成功的数量加1。8. 根据权利要求1所述的一种无人机自动检测目标和跟踪方法，其特征在于步骤七中 所述的飞行控制模块的具体工作过程为： 所述的飞行控制模块，接收来自目标跟踪模块传递来的当前跟踪框的位置信息或者跟 踪丢失信息，和控制台模块发送的是否跟踪信号;在人脸检测状态，飞行控制模块忽略掉目 标跟踪模块传来的跟踪框位置信息，飞行控制模块控制无人机沿一个固定的路径往复飞 行，也可以逆行人的行走方向飞行；当接收到控制台模块发出的跟踪信号时，当前状态从人 脸检测状态为目标跟踪状态，并根据当前目标的位置信息调整无人机的位置;若当前状态 为目标跟踪状态时收到控制台模块发出的停止跟踪信号时，无人机返回原有巡航区域，并 将状态从目标跟踪状态变为人脸检测状态； 所述的根据当前目标的位置信息调整无人机的位置，其方法是:设整个图像为mXn，其 中m>n，跟踪框为aXb，则:若n<l/4Xb，则意味着目标过大，无人机需要向后移（以无人机 摄像头所对的方向为前）；若n>l/8Xb，则意味着目标过小，无人机需要向前移;若跟踪框 距离图像上侧（下侧）的距离小于原始图像上下像素距离的1/8,说明目标远离(靠近），无人 机需要前（后)移动;若跟踪框距离图像左侧(右侧）的距离小于原始图像左右像素距离的1/ 8,说明目标靠左侧(右侧），无人机需要向左(右)移动，或者需要向左(右)旋转;判断无人机 选择向左(右)移动或者向左(右)旋转的方法如下，若无人机左(右)侧没有障碍物或者障碍 物的距离大于阈值P1，则无人机向左（右)旋转，旋转角度为使跟踪目标在无人机水平中心 的角度；若无人机的左（右）侧障碍物的距离小于等于阈值P1大于阈值P2,则无人机向左 (右)移动，移动距离为不大于P1-P2并使得目标尽可能靠近水平中心的距离。9. 根据权利要求1所述的一种无人机自动检测目标和跟踪方法，其特征在于步骤八中 所述的控制台模块的具体工作过程为： 所述的控制台模块为嵌入在监控中心的控制系统，为了提供该发明的通用性，本发明 的控制台模块与现有监控中心的系统进行兼容，该监控台模块接收来自无人机的图像去噪 模块所传递过来的经过压缩的图像，压缩图像的目的是减少通信量，在带宽较小的时候，可 以选择不传递图像；当远端人脸检测模块检测到的目标为数据库中存在的个体，远端人脸 检测模块将该个体信息和待检测人脸的图像传递给控制台模块模块，由监控中心的监控人 员进行人工比对，如果监控人员认为比对正确并且认为当前有必要对该个体进行跟踪，则 由监控人员向控制台模块发出跟踪命令，由控制台模块将跟踪命令发送给飞行控制模块； 如果监控人员认为比对错误，则由监控人员向控制台模块发出取消跟踪命令，由控制台模 块将取消跟踪命令发送给跟踪模块;如果监控人员认为比对正确，但是当前情况并不适合 跟踪，则由监控人员向控制台模块发出留取视频图像并取消跟踪命令，由控制台模块将取 消跟踪命令发送给跟踪模块，将留取视频图像命令发送无人机，并等待由无人机发回来的 未经处理的原始视频;在跟踪过程中，监控人员可以随时发送取消跟踪命令，让无人机飞回 原有巡航区域。
【专利摘要】一种无人机自动检测目标和跟踪方法，包括无人机，装配在无人机上的声呐距离探测器，光照补偿模块，图像去噪模块，人脸检测模块，机身人脸识别模块，远端人脸识别模块，目标跟踪模块，飞行控制模块，控制台模块；所述的光照补偿模块，对图像进行光照补偿；所述的图像去噪模块对图像进行去噪声处理；所述的人脸检测模块，将接收到的图像进行人脸检测；所述的机身人脸识别模块将检测出来的人脸图像进行识别，将远端人脸识别模块的识别结果进行添加；所述的远端人脸识别模块对机身无法处理的人脸图像进行识别；所述的目标跟踪模块对目标进行跟踪；所述的飞行控制模块，控制无人机的运动轨迹；所述的控制台模块由人工进行监控并发出各种命令。
【IPC分类】G06K9/00, G06T7/20
【公开号】CN105447459
【申请号】CN201510794928
【发明人】刘昱昊
【申请人】上海海事大学
【公开日】2016年3月30日
【申请日】2015年11月18日