一种基于超分辨率重建的无人机视频小目标检测方法
【技术领域】
[0001] 本发明属于机器视觉、图像处理及自动控制技术领域，可用于无人机红外线、可见 光视频或图像的目标检测，在军事侦察、遥感勘测、交通监控、公共安全、生产流水线监控等 领域有很强的应用前景。相对于普通的视频目标检查，基于超分辨率重建的无人机视频小 目标检测方法能降低虚警概率，提高检查概率，增强检测效果。
【背景技术】
[0002] 无人机（UAV,UnmannedAerialVehicle)是一种自带动力、携带多种设备、执行多 重任务，并能重复使用的无人驾驶飞行器。无人机最早主要用于军事任务，其中包括侦察监 视、通信中继、运输物资、武器校射、靶机诱饵等等。随着飞控技术和机载设备的发展以及成 本的下降，无人机在民用方面发挥着越来越多的作用，其中包括环境监视、安全监察、气象 观察、作物监查等等。无人机的以其独特的飞行性能、较低的成本越来越受到公安、消防、农 林以及科研等行业或部门的重视。红外线和可见光成像设备是无人机最常携带的传感器。 其输出为视频或图像。通过对无人机视频或图像的处理，以实现对无人机目标的检测和识 另IJ。然而，由于客观因素的影响，无人机视频、图像中的目标大小可能不会总能满足检测的 要求，最差情况时目标可能小至8X8像素。这对于目标检测无疑是一个巨大的挑战。为 应对目标过小的困难，一种简单而实用的方法就是对无人机视频进行多帧图像超分辨率重 建，得到较高分辨率的图像，为随后的目标检测和识别奠定良好基础。
【发明内容】
[0003] 本发明的目的在于提供一种基于超分辨率重建的无人机视频小目标检测方法，旨 在解决当前无人机视频中目标过小不易检测困难的问题。
[0004] 本发明是这样实现的，首先对若干输入视频帧进行行、列2倍的超分辨率重建，选 取一副输入图像作为参考帧，并取随后的3帧图像与参考图像进行亚像素位移估计；然后 将这4帧图像的像素根据位移估计结果放入高分辨率图像网格；估计高分辨率图像网格内 缺失的像素，得到高分辨率图像。
[0005] 进一步，所述对若干输入视频帧进行行、列2倍的超分辨率重建具体包括以下步 骤：
[0006] 步骤一，将参考帧用线性插值方法分别按行、列进行2倍放大；然后对放大后的参 考图像进行行、列2倍下采样，得到4幅下采样参考图像；每一幅下采样就对应一个1/2像 素位移；
[0007] 步骤二，随后取第一幅输入图像与这4幅下采样参考图像对比，求互信息。在4个 互信息中，最大值对应的下采样参考图像所代表的1/2像素位移就是这个输入图像相对于 参考帧的1/2像素位移；
[0008] 步骤三，依次对全部3幅输入图像按照步骤二处理，求出全部三幅输入图像的亚 像位移；
[0009]步骤四，以原始参考图像为基础，构建行列2倍的高分辨率图像网格。将三幅输入 图像的像素依据1/2像素位移填充到高分辨率图像网格内；
[0010] 步骤五，如果高分辨率图像网格内还有未填充像素，则利用最邻近插值模板进行 估计，求出未知像素。
[0011] 进一步，所述步骤二中的互信息计算公式如下：
[0012] 已知两图像R，F，其互信息MI(R，F)定义为：
[0013] MI(R，F) =E(R)+E(F)-E(R，F)
[0014] 其中E(R)和E(F)是图像R和F的熵。而E(R，F)是两图像的联合熵，其定义为：
[0015] E(R) = -ΣγΡ κ(γ) ·logPR(r)；
[0016]
[0017] 其中PR,F(r，f)是图像R，F的联合概率密度函数，由归一化的联合直方图h(r，f) 求得：
[0018]
[0019] 而两个边沿概率密度函数PR(r)和PF(f)由联合概率密度函数PRiF(r，f)求得：
[0020]
[0021]
[0022]
[0023] 进一步，所述步骤五中的最邻近插值方法计算公式如下：
[0024] 高分辨率图像网格中X为未知像素，
[0025]
[0026] 其估计值f为：
[0027]
[0028] ' 为已知像素，参数M，Ne{1，2,3,4}，对应于邻域中可能包含着不同个数的 已知像素。
[0029] 进一步，所述对若干输入视频帧进行行、列2倍的超分辨率重建之后需要：选取含 有多个人物目标的超分辨率重建后的无人机图像，从中提取两个图像块作为目标模板，每 个图像块含有1个人物目标；
[0030] 求取目标模板的特征：即均值μ、标准差σ和熵Η;
[0031] 对重建后的图像按照颜色信息进行分割，得到多个目标区域块；
[0032] 对所有的目标区域块，依次进行特征提取及识别，完成目标的初步检测；
[0033] 对完成上述目标初步检测的图像，进行虚假目标剔除，得到最终的检测结果。
[0034] 进一步，所述对重建后的图像按照颜色信息进行分割，得到多个目标区域块具体 方法如下：
[0035] 步骤一，从灰度拉伸后的图像中随机选择一个像素，记为X，选取以该像素X为中 心的一个窗口；
[0036] 步骤二，计算该像素X的均值漂移向量％"）：
[0037]
[0038] 其中\是以像素X为中心的窗口中的像素点，g(x) =-Vk(x)，k(x)为单位高 斯核函数，▽表示求导，h是核函数k(x)的颜色带宽；η是以像素X为中心的窗口中的像素 点的总数；
[0039] 步骤三，误差阈值ε=0. 1，判断|mh(x)-x| <ε是否成立，若成立，则X即为收 敛点ζ，执行步骤四；否则，更新X=mh(x)，返回步骤二重新迭代；
[0040] 步骤四，依次求出超分辨重建后的图像中的每个像素点的局部收敛点Zl，i= 1，2,…，η ;
[0041] 步骤五，将具有相同收敛点的像素点Zl归为同一类，即划为一个分割区域，得到分 割后的图像。
[0042] 进一步，所述对所有的目标区域块，依次进行特征提取及识别，完成目标的初步检 测具体包括：
[0043] 步骤一，在每个目标区域块内，分别提取目标区域块的灰度均值μ和邻域熵Η特 征；
[0044] 步骤二，判断灰度均值μ和邻域熵Η特征是否满足特征约束条件：
[0045]
[0046] 若满足，则该目标区域块为初检测目标；反之，则不是；其中μ'，σ'，Η'分别 表示目标模板的灰度均值，标准差及邻域熵，I表示目标区域块与目标模板的灰度均值相 似度阈值，1(2表示目标区域块与目标模板的邻域熵相似度阈值；
[0047] 步骤三，对于初检测目标，按照各目标间的重叠率对目标区域进行合并：若重叠率 大于〇. 1，则将重叠区域进行合并，反之，则保留，然后去除面积过大的错误目标，保留小面 积的作为初步检测目标；
[0048] 所述对完成目标初步检测的图像，进行虚假目标剔除，得到最终的检测结果，具体 包括：
[0049] 步骤一，从本帧图像开始，连续输入3帧图像；
[0050] 步骤二，在3帧图像的空间位置上以目标为中心建立一个空间管道，管道的直径 为目标的邻域大小，其大小略大于目标，管道的长度为所需的图像帧数；
[0051] 步骤三，取第一帧图像作为当前帧，确定该图像中的所有初步检测目标点Pi，并记 录它们的位置信息，i= 1，2, 3,…；
[0052] 步骤四，对所有的初步检测目标点，在下一帧中观察以管道直径大小为5的邻域 内是否有可疑目标点存在：如果有，则目标出现计数器加1，同时比较初步检测目标点和可 疑目标点的位置，判断位置是否发生变化：如果有变化，则其相应的目标位置变化计数器 加1 ;记录该帧中的可疑目标点位置，并将其设为初步检测目标点的当前位置；如果没有变 化，则跳过该帧，并转到下一帧继续搜索，直到管道中的3帧图像全部搜索完毕；
[0053] 步骤五，在3帧图像处理完后，判断每个计数器的输出值：如果目标出现次数计数 器的值大于等于2,则判定目标出现次数计数器所对应的初步检测目标点为最终目标，并标 记其位置，否则，将初步检测目标点视为假目标剔除。
[0054] 进一步，所述求取目标模板的均值μ、标准差σ和熵H，通过如下公式计算：
L0058」瓦甲口1衣不图傢甲狄度但艿1的傢累总所?目称悮恹所有像素点的比例，k表示图像灰度级最大值。
[0059] 本发明的另一目的在于提供一种使用所述基于超分辨率重建的无人机视频小目 标检测方法的交通监控视频目标检测方法。
[0060] 本发明的另一目的在于提供一种使用所述基于超分辨率重建的无人机视频小目 标检测方法的生产流水线控制系统。
[0061] 本发明提供的基于超分辨率重建的无人机视频小目标检测方法，与现有技术相 比，具有以下优势：
[0062] 1.本发明针对当前无人机视频中目标过小不易检测的困难，首先采用多帧图像超 分辨重建方法，实现简单，成本低廉，便于更新。由多个相邻的视频帧重建出更高分辨率图 像，图像面积为原图的4倍，分辨率得到提高。重建后图像包含更多的高频细节信息，能够 体现目标细致的纹理；再通过目标检测方法对潜在目标进行处理，可以降低检测虚警概率， 提尚目标检测效果。
[0063] 2.本发明利用灰度和能量信息来识