(6d)对所有的初步检测目标点，在下一帧中观察以管道直径大小为5的邻域内是 否有可疑目标点存在：如果有，则目标出现计数器加1，同时比较初步检测目标点和可疑目 标点的位置，判断位置是否发生变化：如果有变化，则其相应的目标位置变化计数器加1 ; 记录该帧中的可疑目标点位置，并将其设为初步检测目标点的当前位置；如果没有变化，则 跳过该帧，并转到下一帧继续搜索，直到管道中的3帧图像全部搜索完毕；
[0124] (6e)在3帧图像处理完后，判断每个计数器的输出值：如果目标出现次数计数器 的值大于等于2,则判定目标出现次数计数器所对应的初步检测目标点为最终目标，并标记 其位置，否则，将初步检测目标点视为假目标剔除。
[0125] 步骤4、5及6属于检测阶段。
[0126]图6去除了原始视频的彩色，仅显示灰度图。图中大面积暗色背景是草原，浅色的 线条是道路，浅色的块状图形是车辆，少数浅色斑点是作为目标的人物。
[0127]图6(a)所示为初步检查后的视频帧，黑色线条框标明检测到的目标，其中包含图 像边界处的虚警目标；图6 (b)显示剔除了虚假目标后的视频帧，虚假目标数目明显减少， 真实目标比较明显。
[0128]图7去除了原始视频的彩色，仅显示灰度图。图中大面积暗色背景是草原，浅色的 线条是道路，浅色的块状图形是车辆，少数浅色斑点是作为目标的人物。
[0129] 图7(a)所示为没有经过超分辨率重建视频帧的目标检测结果，黑色线条框显示 检测到的目标，但是其中包含图像边界处的多个虚警，而且有真正目标没有被检测到；图 7 (b)显示经过超分辨率重建视频帧的目标检测结果，黑色线条框显示检测到的目标，真正 目标全部检测到，而且虚假目标数目明显减少
[0130]图7显示了超分辨率重建算法对于无人机视频目标检测的有效性和优越性，其重 要作用不言而喻。
[0131]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种基于超分辨率重建的无人机视频小目标检测方法，其特征在于，所述基于超分 辨率重建的无人机视频小目标检测方法包括： 首先对若干输入视频帧进行行、列2倍的超分辨率重建：选取一副输入图像作为参考 帧，并取随后的3帧图像与参考图像进行亚像素位移估计； 然后将这4帧图像的像素根据位移估计结果放入高分辨率图像网格；估计高分辨率图 像网格内缺失的像素，重建出分辨率高2倍的目标图像；随后，在高分辨率的目标图像中提 取目标模板，并求取目标模板的特征； 最后对重建后的图像进行分割，得到多个目标区域块；对所有的目标区域块，依次进行 特征提取及识别，完成目标的初步检测；随后进行虚假目标剔除，得到最终的检测结果。2. 如权利要求1所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在 于，所述对若干输入视频帧进行行、列2倍的超分辨率重建具体包括以下步骤： 步骤一，将参考帧用线性插值方法分别按行、列进行2倍放大；然后对放大后的参考图 像进行行、列2倍下采样，得到4幅下采样参考图像；每一幅下采样就对应一个1/2像素位 移； 步骤二，随后取第一幅输入图像与这4幅下采样参考图像对比，求互信息，在4个互信 息中，最大值对应的下采样参考图像所代表的1/2像素位移就是这个输入图像相对于参考 帧的1/2像素位移； 步骤三，依次对全部3幅输入图像按照步骤二处理，求出全部三幅输入图像的亚像位 移； 步骤四，以原始参考图像为基础，构建行列2倍的高分辨率图像网格，将三幅输入图像 的像素依据1/2像素位移填充到高分辨率图像网格内； 步骤五，如果高分辨率图像网格内还有未填充像素，则利用最邻近插值模板进行估计， 求出未知像素。3. 如权利要求2所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在 于，所述步骤二中的互信息计算公式如下： 已知两图像，分别用R，F表示，其互信息MI(R，F)定义为： MI(R，F) =E(R)+E(F)-E(R，F); 其中E(R)和E(F)是图像R和F的熵，而E(R，F)是两图像的联合熵，其定义分别为：其中PR,F(r，f)是图像R，F的联合概率密度函数，由归一化的联合直方图h(r，f)求得：而两个边沿概率密度函数PR(r)和？^〇由联合概率密度函数PR,F(r，f)求得：4.如权利要求2所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在 于，所述步骤五中的最邻近插值方法计算公式如下： 高分辨率图像网格中X为未知像素， 估计值f为：4.B1为已知像素，参数M，Ne{1，2,3,4}，对应于邻域中包含着不同个数的已知像素。5. 如权利要求1所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在 于，所述对含有多个人物目标的超分辨率重建之后的高分辨率图像，从中提取两个图像块 作为目标模板，每个图像块含有1个人物目标； 求取目标模板的特征：即均值μ、标准差σ和熵H; 对重建后的图像按照颜色信息进行分割，得到多个目标区域块； 对所有的目标区域块，依次进行特征提取及识别，完成目标的初步检测； 对完成上述目标初步检测的图像，进行虚假目标剔除，得到最终的检测结果。6. 如权利要求5所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在 于，所述对重建后的图像按照颜色信息进行分割，得到多个目标区域块具体方法如下： 步骤一，从灰度拉伸后的图像中随机选择一个像素，记为X，选取以该像素X为中心的 一个窗口； 步骤二，计算该像素X的均值漂移向量％〇〇 :其中以像素X为中心的窗口中的像素点，= -Wc(X)*k(x)为单位高斯核 函数，▽表示求导，h是核函数k(x)的颜色带宽；η是以像素X为中心的窗口中的像素点的 总数； 步骤三，设定误差阈值ε=〇. 1，判断|mh(x)_x| <ε是否成立；若成立，则X即为收 敛点ζ，执行步骤四；否则，更新X=mh(X)，返回步骤二重新迭代； 步骤四，依次求出超分辨重建后的图像中的每个像素点的局部收敛点Zl，i= 1，2，...，η;n是以像素X为中心的窗口中的像素点的总数； 步骤五，将具有相同收敛点的像素点Z1归为同一类，即划为一个分割区域，得到分割后 的图像。7. 如权利要求5所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在 于，所述对所有的目标区域块，依次进行特征提取及识别，完成目标的初步检测具体包括： 步骤一，在每个目标区域块内，分别提取目标区域块的灰度均值μ和邻域熵H特征； 步骤二，判断灰度均值μ和邻域熵H特征是否满足特征约束条件：若满足，则该目标区域块为初检测目标；反之，则不是；其中，σ'，Η'分别表示 目标模板的灰度均值，标准差及邻域熵，K1表示目标区域块与目标模板的灰度均值相似度 阈值，1(2表示目标区域块与目标模板的邻域熵相似度阈值； 步骤三，对于初检测目标，按照各目标间的重叠率对目标区域进行合并：若重叠率大于 〇. 1，则将重叠区域进行合并，反之，则保留，然后去除面积过大的错误目标，保留小面积的 作为初步检测目标。8. 如权利要求5所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在 于，所述对完成目标初步检测的图像，进行虚假目标剔除，得到最终的检测结果，具体包 括： 步骤一，从本帧图像开始，连续输入3帧图像； 步骤二，在3帧图像的空间位置上以目标为中心建立一个空间管道，管道的直径为目 标的邻域大小，其大小略大于目标，管道的长度为所需的图像帧数； 步骤三，取第一帧图像作为当前帧，确定该图像中的所有初步检测目标点P1，并记录它 们的位置信息，i= 1，2, 3,...； 步骤四，对所有的初步检测目标点，在下一帧中观察以管道直径大小为5的邻域内是 否有可疑目标点存在：如果有，则目标出现计数器加1，同时比较初步检测目标点和可疑目 标点的位置，判断位置是否发生变化：如果有变化，则其相应的目标位置变化计数器加1 ; 记录该帧中的可疑目标点位置，并将其设为初步检测目标点的当前位置；如果没有变化，则 跳过该帧，并转到下一帧继续搜索，直到管道中的3帧图像全部搜索完毕； 步骤五，在3帧图像处理完后，判断每个计数器的输出值：如果目标出现次数计数器的 值大于等于2,则判定目标出现次数计数器所对应的初步检测目标点为最终目标，并标记其 位置，否则，将初步检测目标点视为假目标剔除。9. 如权利要求5所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在 于，所述求取目标模板的均值μ、标准差σ和熵H，通过如下公式计算：式中P1表示图像中灰度值为i的像素点所占目标模板所有像素点的比例，k表示图像 灰度级最大值。
【专利摘要】本发明公开了一种基于超分辨率重建的无人机视频小目标检测方法，选取一幅输入图像作为参考帧，并取随后的3帧图像与参考图像进行亚像素位移估计；然后将这4帧图像的位移估计结果放入高分辨率图像网格；估计高分辨率图像网格内缺失的像素，得到较高分辨率目标图像。接着，在目标图像中提取目标模板，并求取目标模板的特征，然后对重建后的目标图像进行分割，得到多个目标区域块；对所有的目标区域块，依次进行特征提取及识别，完成目标的初步检测；随后进行虚假目标剔除，得到最终的检测结果。
【IPC分类】G06T3/40, G06T7/00
【公开号】CN105389797
【申请号】CN201510672286
【发明人】宁贝佳, 张建龙, 高新波, 来浩坤
【申请人】西安电子科技大学
【公开日】2016年3月9日
【申请日】2015年10月16日