无人机高清图像小目标检测与跟踪系统及其检测跟踪方法
【专利摘要】本发明公开了一种无人机高清图像小目标检测与跟踪系统，无人机高清图像小目标检测与跟踪系统，包括视频图像采集模块，视频图像采集模块依次数据连接有图像处理模块和视频处理结果显示模块；视频图像采集模块，用于采集无人机拍摄的高频视频帧图像，并将高频视频帧图像发送至图像处理模块；图像处理模块，用于对接收到的高频视频帧图像进行图像处理，并检测运动目标，实时输出运动目标在图像中的位置坐标至视频处理结果显示模块。本发明还公开了一种目标检测跟踪方法，解决了现有应用于实际任务中的高清图像小目标检测与跟踪算法的实时性差，小目标难以检测等问题。
【专利说明】
无人机高清图像小目标检测与跟踪系统及其检测跟踪方法
技术领域
[0001] 本发明属于无人机图像处理技术领域，具体涉及无人机高清图像小目标检测与跟 踪系统及其检测跟踪方法。
【背景技术】
[0002] 无人机具有造价低、隐蔽性好、操作灵活、可重复使用、降低人员伤亡等诸多优点， 是一种技术含量高、使用效能好的空中飞行器，近年来得到迅猛发展。美国国防部在"无人 机系统发展图（2005-2030)"中明确将无人机作为近30年航空器发展的重点。同时，当前军 事侦察、抗震救灾、目标搜索、地区反恐、信息搜集、核生化信息检测、抢险救灾等应用领域 的迫切需求，正在促进无人机功能技术的发展。
[0003] 无人机边防侦查主要以视频图像数据为主，由于无人在线监控，必须要通过视频 图像处理手段来形成无人机边防侦查的能力。目前国际上采用的方法一般是通过无人机视 频图传系统，将图像数据传输至地面站，由地面站工作人员监控监视区域的状况，但这种方 式非常耗费监控人员精力，对于一般的边防巡查任务，需要寻找计算机人工智能技术，来代 替人执行这种简单的目标检测识别任务。研究地面目标的自动检测和识别技术，可以帮助 监控人员进行有效的监控和发现可疑目标，大大减轻监控人员的监控力度。
[0004] 通过分析国内外在无人机边防巡检技术中所涉及的相关技术，在我国无人机飞机 系统平台较为成熟、目标检测跟踪技术的理论研究也具有一定基础的情况下，发现这些方 法的应用研究还较为薄弱。本项发明将针对这一技术应用难题展开研究，力争尽快将目标 检测跟踪技术应用于边防巡查。切合实际的任务需求，实现快速、实时、准确的发现目标并 且识别目标，这对于边防而言是很有研究价值的应用前景。不仅仅是对于边防而言，对于民 用领域，如环境侦查、灾情侦查以及违法分子的追踪逮捕等都具有广泛的应用前景。
【发明内容】
[0005] 本发明的目的是提供一种无人机高清图像小目标检测与跟踪系统，以解决将目标 检测与跟踪技术应用于无人机边防侦查、巡逻的实际任务中。
[0006] 本发明的另一个目的是提供一种无人机高清图像小目标检测与跟踪系统的检测 与跟踪方法，以解决现有应用于实际任务中的高清图像小目标检测与跟踪算法的实时性 差，小目标难以检测等问题。
[0007] 本发明所采用的第一种技术方案是，无人机高清图像小目标检测与跟踪系统，包 括视频图像采集模块，视频图像采集模块依次数据连接有图像处理模块和视频处理结果显 不丰旲块；
[0008] 视频图像采集模块，用于采集无人机拍摄的高频视频帧图像，并将高频视频帧图 像发送至图像处理模块；
[0009]图像处理模块，用于对接收到的高频视频帧图像进行图像处理，并检测运动目标， 实时输出运动目标在图像中的位置坐标至视频处理结果显示模块。
[0010] 进一步的，视频图像采集模块连接有图传设备，图传设备用于接收无人机拍摄的 高频视频帧图像，并将其发送至视频图像采集模块；
[0011] 视频图像采集模块通过HDMI转USB信号接口连接至图像处理模块，HDMI转USB信号 接口用于将高频视频帧图像转换为USB视频信号。
[0012] 本发明所采用的第二种技术方案是，一种上述无人机高清图像小目标坚持测与跟 踪系统的检测跟踪方法，具体按照以下步骤实施：
[0013] 步骤1，对无人机拍摄的高频视频帧图像进行预处理，再以固定的时间间隔来读取 尚频视频帧图像的序列帧；
[0014] 步骤2，帧差法检测目标视频图像中的目标区域：
[0015] 对相邻帧图像采用基于像素的时间差分，通过闭值化来提取图像中的运动区域；
[0016] 步骤3,采用Lucas-Kanade光流法检测运动区域的运动目标，并且计算出运动目标 在图像中的位置；
[0017] 步骤4,根据步骤3得到的运动目标的位置信息，在原始图像中标记出运动目标，并 进行实时跟踪。
[0018] 进一步的，步骤1的具体方法为：
[0019] 在图像处理模块中创建一个视频接口捕捉器，获取电脑USB接口通道IP，设定视频 图像序列帧读取时间间隔，以设定好的时间间隔读取视频图像，并读取该图像的参数信息， 同时将该图像存于内存中。
[0020] 进一步的，步骤2的具体方法为：
[0021] 在图像处理模块中，首先将相邻帧图像对应像素值相减得到差分图像，然后对差 分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于预设的阈值时，BP 所述像素为背景像素；如果图像区域的像素值变化大于等于预设的阈值时，即所述像素为 前景像素，通过背景像素和前景像素来确定运动目标在图像中的位置。
[0022] 进一步的，图像序列逐帧的差分的具体方法为，
[0023]
[0024]
[0025]其中，IDl是相邻帧差图，IL(x，y，i)和IL(x，y，i-l)分别是第i和第i-Ι帧的亮度分 量，i表示帧数（i-1，···，《』为序列总帧数，T为阈值，d表示第i和第i-Ι帧图像的亮度分量 差值，X和y分别表示像素点的横纵坐标。
[0026]进一步的，步骤3的具体方法为：
[0027I利用Harr i s角点检测方法检测出运动区域的特征点，并计算出特征点的坐标Pi (X，y )，利用改进的Lucas-Kanade光流法估计当前帧中的特征在下一帧图像中的位置P/ (x，y)，
[0028]当P/(x，y)的个数n<
$*a，b的值 为经验值，则认为这些特征点为运动目标的特征点。
[0029]进一步的，步骤4的具体方法为：
[0030] 在视频处理结果显示模块中，根据步骤3得到的目标像素点的坐标，在原始视频图 像帧中标记该点，同时以一定的时间间隔读取并处理该图像，最终将检测的结果显示给用 户界面。
【附图说明】
[0031] 图1是本发明边防无人机高清图像小目标检测与跟踪系统的结构示意图；
[0032] 图2是本发明中使用Lucas-Kanade光流法检测运动区域目标的方法流程图。
[0033]图中，1.视频图像采集模块，2.图像处理模块，3.视频处理显示模块，4.图传设备， 5.HDMI转USB信号接口，6.PC处理器。
【具体实施方式】
[0034]下面结合附图和实施例对本发明进行详细说明。
[0035] 本发明提供了一种无人机高清图像小目标检测与跟踪系统，参见结构图1，视频图 像采集模块1，图像处理模块2，视频处理显示模块3，图传设备4，HDMI转USB信号接口 5，PC处 理器6。
[0036] 其中，视频图像采集模块1的输入端连接图传设备4,接收视频信号，输出端接HDMI 转USB信号接口 5,将HDMI视频信号转换为PC处理器6可以接收的USB信号;PC处理器中主要 包含图像处理模块2和视频处理显示模块3;图像处理模块2读取PC处理器6的USB端视频图 像进行视频图像处理，检测目标并计算出目标的位置信息;视频处理显示模块3将模块2输 出的目标位置信息加载到原始视频图像中，标记并框出目标，实现实时检测并跟踪目标。
[0037] 本发明还提供了一种无人机高清图像小目标检测与跟踪系统的检测跟踪方法，具 体按照以下步骤实施：
[0038]步骤1，高清视频图像预处理，创建一个视频接口捕捉器，获取电脑USB接口通道 IP，设定视频图像序列帧读取时间间隔，以设定好的时间间隔读取视频图像，并读取该图像 的参数信息，同时将该图像存于内存中，标记为当前帧，待下步的图像处理算法进行处理。 其中，预处理的工作是读取图像的参数信息，同时将该图像存于内存中，标记为当前帧。
[0039] 步骤2,帧差法检测图像中的目标区域，首先将相邻帧图像对应像素值相减得到差 分图像，然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于 事先确定的阈值时，可以认为此处为背景像素；如果图像区域的像素值变化大于等于事先 确定的阈值时，可以认为这是由于图像中运动物体引起的，将这些区域标记为前景像素，利 用标记的像素区域可以确定运动目标在图像中的位置。图像序列逐帧的差分，相当于对图 像序列进行时域上的高通滤波。其公式如下：
[0040] d= I lL(x，y，i)-lL(x，y，i-l) I，
[0041]
[0042] 其中，IDl是相邻帧差图，IL(x，y，i)和IL(x，y，i-l)分别是第i和第i-1帧的亮度分 量，i表示帧数（i-1，···，《，~为序列总帧数，T为阈值，d表示第i和第i-Ι帧图像的亮度分量 差值，X和y分别表示像素点的横纵坐标。
[0043] 步骤3，Lucas-Kanade光流法检测运动区域目标，具体方法为：
[0044] 参见图2的流程图，利用Harris角点检测方法，在当前帧检测出所述运动区域的特 征点，并计算出特征点的坐标Pi (X，y);
[0045] 利用改进的Lucas-Kanade光流法估计当前帧中的特征在下一帧图像中的位置P/ (x,y);
[0046] $*a,b的 值为经验值，则认为这些特征点为运动目标的特征点；
[0047] 对这些特征点进行分类，对相邻的特征点坐标取均值P/(x，y)，以此为目标坐标。
[0048] 步骤4,根据步骤3得到的目标像素点的坐标，在原始视频图像帧中标记该点，并用 矩形框框住该目标。同时以一定的时间间隔读取并处理该图像，最终将检测的结果显示给 用户界面。
[0049] 本发明采用数字高清图传设备，将无人机拍摄的视频图像传到地面站，并实时的 采集视频帧序列。所采集的视频图像是1080P的高清图像，区别现有的模拟低分辨率图像， 可以降低对视频图像进行在线或者后期图像处理的难度，如目标检测、识别、跟踪以及定位 等。
[0050] 本发明采用改进的目标检测算法，即帧差法与改进的Lucas-Kanade光流法相结合 的混合检测算法。帧差法是针对静态背景下运动目标的检测，具有计算速度快的优点；而光 流法师针对动态背景(运动平台）下运动目标的检测，但是光流法计算量较大，难以满足实 时性。采用这两种方法相结合的方法，既采用帧差法检测出运动目标区域，在这区域中进行 光流法检测，不仅可以降低计算量，同时满足无人机运动平台下的任务需求。此外，在传统 的Lucas-Kanade光流法的基础上，本发明采用均值滤波的思想，降低了目标的误检率，为后 期的目标识别跟踪降低了难度。
【主权项】
1. 无人机高清图像小目标检测与跟踪系统，其特征在于，包括视频图像采集模块（1)， 所述视频图像采集模块（1)依次数据连接有图像处理模块（2)和视频处理结果显示模块 (3) ； 所述视频图像采集模块（1)，用于采集无人机拍摄的高频视频帧图像，并将所述高频视 频帧图像发送至所述图像处理模块(2); 所述图像处理模块(2)，用于对接收到的所述高频视频帧图像进行图像处理，并检测运 动目标，实时输出运动目标在图像中的位置坐标至所述视频处理结果显示模块(3)。2. 如权利要求1所述的系统，其特征在于，所述视频图像采集模块（1)连接有图传设备 (4) ，所述图传设备(4)用于接收无人机拍摄的高频视频帧图像，并将其发送至所述视频图 像采集模块(1); 所述视频图像采集模块（1)通过HDMI转USB信号接口（ 5)连接至所述图像处理模块(2)， 所述HDMI转USB信号接口（ 5)用于将高频视频帧图像转换为USB视频信号。3. -种如权利要求1或2所述的无人机高清图像小目标坚持测与跟踪系统的检测跟踪 方法，其特征在于，具体按照以下步骤实施： 步骤1，对无人机拍摄的高频视频帧图像进行预处理，再以固定的时间间隔来读取高频 视频帧图像的序列帧； 步骤2，帧差法检测目标视频图像中的目标区域： 对相邻帧图像采用基于像素的时间差分，通过闭值化来提取图像中的运动区域； 步骤3，采用Lucas-Kanade光流法检测所述运动区域的运动目标，并且计算出运动目标 在图像中的位置； 步骤4,根据步骤3得到的运动目标的位置信息，在原始图像中标记出运动目标，并进行 实时跟踪。4. 如权利要求3所述的目标检测跟踪方法，其特征在于，所述的步骤1的具体方法为： 在图像处理模块(2)中创建一个视频接口捕捉器，获取电脑USB接口通道IP，设定视频 图像序列帧读取时间间隔，以设定好的时间间隔读取视频图像，并读取该图像的参数信息， 同时将该图像存于内存中。5. 如权利要求3所述的目标检测跟踪方法，其特征在于，所述的步骤2的具体方法为： 在图像处理模块(2)中，首先将相邻帧图像对应像素值相减得到差分图像，然后对差分 图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于预设的阈值时，即所 述像素为背景像素；如果图像区域的像素值变化大于等于预设的阈值时，即所述像素为前 景像素，根据背景像素和前景像素来确定运动目标在图像中的位置。6. 如权利要求5所述的目标检测跟踪方法，其特征在于，所述图像序列逐帧差分的具体 方法为， d= | lL(x，y，i)-lL(x，y，i_l) |，其中，IDl是相邻帧差图，IL(x，y，i)和IL(x，y，i-l)分别是第i和第i-1帧的亮度分量，i 表示帧数(卜1，~，《4为序列总帧数，1'为阈值，(1表示第1和第1-1帧图像的亮度分量差值， X和y分别表示像素点的横纵坐标。7. 如权利要求3所述的目标检测跟踪方法，其特征在于，所述的步骤3的具体方法为： 利用Harris角点检测方法检测出所述运动区域的特征点，并计算出特征点的坐标Pi (X，y)，利用改进的Lucas-Kanade光流法估计当前帧中的特征在下一帧图像中的位置P/ (X， y)， 当P/(x，y)的个数n<a且 其中a,b的值为经 ， 验值，则认为这些特征点为运动目标的特征点。8. 如权利要求3所述的目标检测跟踪方法，其特征在于，所述的步骤4的具体方法为： 在视频处理结果显示模块(3)中，根据步骤3得到的目标像素点的坐标，在原始视频图 像帧中标记该点，同时以一定的时间间隔读取并处理该图像，最终将检测的结果显示给用 户界面。
【文档编号】G06T7/20GK106056624SQ201610349248
【公开日】2016年10月26日
【申请日】2016年5月24日
【发明人】谷家德, 赵春晖, 胡劲文, 吕洋, 张志远, 樊斌, 姜珊, 李思佳
【申请人】西北工业大学