基于局部图像增强的目标跟踪方法
【专利摘要】本发明涉及一种基于局部图像增强的目标跟踪方法，包括：步骤1，获取第一帧；步骤2，判断是否有雾霾，若是，采用带颜色恢复的多尺度Retinex算法对图像进行增强和恢复，然后执行步骤4，否则执行步骤3；步骤3，判断是否有弱光，若是，采用图像直方图均衡化方法对图像进行增强和恢复，然后执行步骤4，否则直接执行步骤4；步骤4，判断是否初始化目标，若是，初始化目标，然后执行步骤5，否则直接执行步骤5；步骤5，采用均值偏移的粒子滤波方法跟踪目标；步骤6，获取下一帧图像；步骤7，用卡尔曼滤波预测目标出现的区域；步骤8，判断是否跟踪结束，若是，结束跟踪，否则返回步骤2继续跟踪目标。本发明在有雾霾或亮度不够的情况下增强目标区域图像，跟踪准确且速度快。
【专利说明】
基于局部图像増强的目标跟踪方法
技术领域
[0001] 本发明涉及目标检测与跟踪技术领域，尤其涉及一种基于局部图像增强的目标跟 踪方法。
【背景技术】
[0002] 目标检测与跟踪技术是计算机视觉研究的热点之一。主要研究如何将运动目标从 图像的背景中检测出来，并在运动场景中能够实现精确的目标定位和追踪。目标检测与跟 踪是一个包含物体运动学、人工智能、数学分析、自动化控制等方面的综合技术。目标检测 跟踪技术在民用和军用的许多领域中都具有极为广泛的应用前景，如智能视频监控系统、 车辆辅助驾驶和手势理解等。
[0003] 由于在许多较为恶劣的应用环境中，摄像头可能难以持续采集到质量良好的图 像，从而造成图像识别的困难。而应用图像增强技术可有效改善图像质量，提高图像的识别 率。运动目标检测与跟踪是三维目标轨迹跟踪的一个重要研究课题。将运动目标从序列图 像中提取出来，对运动目标进行识别和跟踪，获得运动信息，得到运动目标的实时位置和运 动轨迹等，在国家安全、军用无人机等领域具有重要的应用。
[0004] 现有的目标跟踪算法有基于均值偏移的目标跟踪算法和基于粒子滤波的目标跟 踪算法等，基于均值偏移的目标跟踪算法鲁棒性不高，基于粒子滤波的目标跟踪算法鲁棒 性较好，但是算法较为复杂，跟踪速度慢。
【发明内容】
[0005] 本发明的目的在于提供一种基于局部图像增强的目标跟踪方法。
[0006] 实现本发明目的的技术方案为:一种基于局部图像增强的目标跟踪方法，包括以 下步骤：
[0007] 步骤1，获取第一帧，获得包括跟踪目标在内的图像；
[0008] 步骤2,判断是否有雾霾，若是，采用带颜色恢复的多尺度Retinex算法对图像进行 增强和恢复，然后执行步骤4;否则执行步骤3;
[0009] 步骤3,判断是否有弱光，若是，采用图像直方图均衡化方法对图像进行增强和恢 复，然后执行步骤4;否则直接执行步骤4;
[0010] 步骤4,判断是否初始化目标，若是，初始化目标，然后执行步骤5;否则直接执行步 骤5;
[0011] 步骤5，采用均值偏移的粒子滤波方法跟踪目标，将颜色的核密度函数估计作为跟 踪过程中的目标描述；
[0012] 步骤6,获取下一帧图像；
[0013] 步骤7,采用卡尔曼滤波预测目标出现的区域；
[0014] 步骤8,判断是否跟踪结束，若是，结束跟踪；否则返回步骤2,针对步骤7预测的区 域继续跟踪目标。
[0015] 与现有技术相比，本发明的显著优点为：（1)本发明在有雾霾或亮度不够的情况下 增强目标区域图像，快速准确地跟踪目标，并保证较好的跟踪效果；（2)本发明采用卡尔曼 滤波预测目标可能出现的区域，然后对该区域进行图像增强，相比于对整幅图像进行增强 提高了处理速度，使在恶劣环境中可达到实时跟踪。
【附图说明】
[0016] 图1为本发明基于局部图像增强的目标跟踪方法流程图。
[0017] 图2为相机与云台结构示意图。
[0018]图3为实施例中目标被不同形状的障碍物部分遮挡时的跟踪效果图。
[0019] 图4为实施例中目标被完全遮挡后再出现时的跟踪效果图。
【具体实施方式】
[0020] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明的 目标跟踪方法的【具体实施方式】进行说明。应当理解，此处所描述的具体实施例仅仅用以解 释本发明，并不用于限定本发明。
[0021] 结合图1，本发明的一种基于局部图像增强的目标跟踪方法，包括以下步骤：
[0022] 步骤1，获取第一帧，获得包括跟踪目标在内的图像；
[0023]步骤2,判断是否有雾霾情况，若是，采用带颜色恢复的多尺度Retinex算法对图像 进行增强和恢复，然后执行步骤4;否则执行步骤3;所述带颜色恢复的多尺度Retinex算法 具体为：
[0024]对图像的三个颜色通道进行独立处理，设输入图像1(^7)，11?(^7)是1?分量，1( ；(^ y)是G分量，IB(x，y)是B分量，设输入图像经过多尺度Retinex算法增强后得到的R分量是Rr &，7)，6分量是此(1，7)，8分量是你(1，7);增强前的1?，6,8分量比例与增强后的1?，6,8分量不 一定保持不变，所以在每个颜色通道的MSR增强算法中增加权值因子，称为颜色恢复因子， 其表达式为：
[0025] Ck(x,y) = f[alk/ (x,y)]
[0026] l[(x,y) = l, (x, / m-i
[0027]其中，Ck为第k个颜色通道的颜色恢复因子，f ()为颜色空间的映射函数，a为比例 系数，（x，y)为图像中像素点的坐标，Ik(x，y)为输入图像的第k个颜色通道，M为颜色通道总 数。
[0028] 颜色恢复因子是根据原始图像的R，G，B分量比例关系，使下式成立：
[0029] IR(x,y) :Ic(x,y): Ib(x,y) =Rr(x,y) :Rc(x,y) :Rb(x,y)
[0030]将Ck与经过多尺度Retinex算法处理的对应颜色通道的分量相乘即为带颜色恢复 的多尺度Retinex算法；
[0031]步骤3,判断是否有弱光情况，若是，采用图像直方图均衡化方法对图像进行增强 和恢复，然后执行步骤4;否则直接执行步骤4;所述图像直方图均衡化方法具体为：
[0032]步骤3-1，将原彩色图像分解成三个通道，每个通道为一个灰度图像；
[0033]步骤3-2,计算每个通道的各灰度级中像素出现的概率p(i):
[0035]其中，L为灰度级个数;m为第i个灰度级出现的次数，N为图像单个通道的像素总 数；
[0036] 步骤3-3,计算累计概率函数C(i): i
[0037] 二 IpU) j^i)
[0038]步骤3-4，由于C( i)的取值范围为0-1，因此将C( i)缩放至0~255范围内：
[0039] y(i)=255 ? C(i)
[0040] 其中，y(i)表示第i个灰度级所对应的灰度值经过均衡化变换后所对应的灰度值； [0041]步骤3-5,将三个均衡化后的通道合并，得到经过直方图均衡化处理的彩色图像；
[0042]步骤4，判断是否初始化目标，若是，初始化目标，然后执行步骤5;否则直接执行步 骤5;所述初始化目标是:初次手动选中跟踪对象，提取目标颜色和密度，初始化目标只需第 一次循环中进行，后面的循环不用执行此操作。
[0043]步骤5,采用均值偏移的粒子滤波方法跟踪目标，将颜色的核密度函数估计作为跟 踪过程中的目标描述；
[0044] 步骤6,获取下一帧图像；
[0045] 步骤7，采用卡尔曼滤波预测目标出现的区域;具体过程为：
[0046] 假设在平面图像上卡尔曼滤波的状态为xt=(x，y，vx，Vy)T，观测状态zt=(x，y);其 中，（x，y)是目标在图像中的位置， Vx，vy是目标的运动速度;下面是卡尔曼滤波预测目标出 现区域的步骤：
[0047] 步骤7-1，预测下一时刻状态：i?「二
[0048] 步骤7-2,计算预测误差的协方差#「= +泛
[0049] 步骤7-3，计算卡尔曼增益：；=/),_ //T (//乂//T +及^1
[0050] 步骤7-4，修正状态估计:矣=< + AT, (z, - i/i,)
[0051 ]步骤7-5，修正预测误差的协方差：A = ( / - /_/ )/>「
[0052] 步骤7-6,根据修正后的状态估计预测目标区域：目标区域是以状态估计中的位置 为中心，以预测误差的最大值加上目标显示在图像上的最大直径为边长的正方形区 域； Y l 〇 AT 〇 N o i :〇 hx
[0053] 其中，』=u 1 ^是状态转移矩阵，AT是连续两帧之间的间隔，心表示 v0 0 0 1 y t-1时刻修正后的状态估计，右表示t时刻修正前的状态估计，P「是t时刻修正前的预测误 差协方差，Pt-i是t_l时刻修正后的预测误差协方差，Q是随机过程噪声的协方差矩阵，Kt是 卡尔曼增益，孖f ^是观测增益矩阵，R是测量误差的协方差矩阵。 1^0 1 0 0/
[0054] 步骤8,判断是否跟踪结束，若是，结束跟踪；否则返回步骤2,针对步骤7预测的区 域继续跟踪目标。
[0055] 下面结合具体实施例对本发明作进一步说明。
[0056] 实施例
[0057] -种基于局部图像增强的目标跟踪方法，包括以下步骤：
[0058] 步骤1，获取第一帧，获得包括跟踪目标的图像；
[0059]相机被安装在云台上，搭载相机的云台控制相机绕着方位轴（z方向）以及俯仰轴 (x方向）旋转，如图2所示，云台的方位及俯仰运动可使相机跟踪三维空间的运动目标;本实 施例选择图像上的圆球为实验目标模板进行目标匹配，其像素为62 X 58;
[0060] 步骤2,判断是否有雾霾情况，若是，采用带颜色恢复的多尺度Retinex算法对图像 进行增强和恢复，然后执行步骤4;若否，执行步骤3;
[0061] 步骤3,继续判断是否有弱光情况，若是，采用图像直方图均衡化方法对图像进行 增强和恢复，然后执行步骤4;若否，直接执行步骤4;
[0062] 步骤4,判断是否初始化目标，若是，则初始化目标，然后执行步骤5;若否，直接执 行步骤5;
[0063] 步骤5,采用均值偏移的粒子滤波方法跟踪目标;通过计算该目标本身具有的特 征一一颜色的核密度函数估计作为跟踪过程中的目标描述，寻找在下一幅图像上的对应位 置；
[0064]步骤6,获取下一帧，采集图像；
[0065] 步骤7,用卡尔曼滤波预测目标出现的区域，并在以后步骤2、步骤3和步骤5对图像 的处理中只针对该区域；
[0066] 步骤8,判断是否跟踪结束，若是，结束跟踪，若否，返回步骤2,继续跟踪目标。
[0067] 如图3所示，其中亮色部分表示障碍，矩形框所标记的暗色部分表示目标。图3(a)、 图3(b)和图3(c)分别表示目标刚遇到障碍、目标部分被障碍遮挡和目标离开障碍时的跟踪 效果图。
[0068] 如图4所示，矩形框所标记的暗色部分表示目标，图4(a)、图4(b)和图4(c)分别表 示目标进入遮挡区域、目标被完全遮挡和目标刚离开遮挡区域的跟踪效果图。
[0069] 本实施例中采用卡尔曼滤波来预测目标可能出现的区域然而只对这个区域进行 图像预处理与跟踪，无需对整幅图像进行预处理，提高了处理速度，达到实时跟踪要求。
【主权项】
1. 一种基于局部图像增强的目标跟踪方法，其特征在于，包括W下步骤： 步骤1，获取第一帖，获得包括跟踪目标在内的图像； 步骤2,判断是否有雾靈，若是，采用带颜色恢复的多尺度Retinex算法对图像进行增强 和恢复，然后执行步骤4;否则执行步骤3; 步骤3,判断是否有弱光，若是，采用图像直方图均衡化方法对图像进行增强和恢复，然 后执行步骤4;否则直接执行步骤4; 步骤4，判断是否初始化目标，若是，初始化目标，然后执行步骤5;否则直接执行步骤5; 步骤5,采用均值偏移的粒子滤波方法跟踪目标，将颜色的核密度函数估计作为跟踪过 程中的目标描述； 步骤6,获取下一帖图像； 步骤7,采用卡尔曼滤波预测目标出现的区域； 步骤8,判断是否跟踪结束，若是，结束跟踪；否则返回步骤2,针对步骤7预测的区域继 续跟踪目标。2. 根据权利要求1所述的基于局部图像增强的目标跟踪方法，其特征在于，步骤2中所 述带颜色恢复的多尺度Retinex算法是在每个颜色通道的多尺度Retinex算法中增加颜色 恢复因子，其表达式为： Ck(x，y)=f[al'k(x，y)]其中，Ck为第k个颜色通道的颜色恢复因子，f O为颜色空间的映射函数，a为比例系数， (x，y)为图像中像素点的坐标，Ik(x，y)为输入图像的第k个颜色通道，M为颜色通道总数。3. 根据权利要求1所述的基于局部图像增强的目标跟踪方法，其特征在于，步骤3中所 述图像直方图均衡化方法具体包括W下步骤： 步骤3-1，将原彩色图像分解成=个通道，每个通道为一个灰度图像； 步骤3-2,计算每个通道的各灰度级中像素出现的概率p(i):其中，L为灰度级个数;m为第i个巧度级出现的次数，N为圍像单个通道的像素总数； 步骤3-3，计算累计概率函数C( i):步骤3-4,由于C(i)的取值范围为0-1，因此将C(i)缩放至O~255范围内： y(i) = 255 ? C(i) 其中，y(i)表示第i个灰度级所对应的灰度值经过均衡化变换后所对应的灰度值； 步骤3-5,将=个均衡化后的通道合并，得到经过直方图均衡化处理的彩色图像。4. 根据权利要求1所述的基于局部图像增强的目标跟踪方法，其特征在于，步骤7的具 体过程为： 假设在平面图像上卡尔曼滤波的状态为xt=(x，y，Vx，Vy)T，观测状态为zt=(x，y);其 中，（x，y)是目标在图像中的位置，Vx,Vy是目标的运动速度;下面是卡尔曼滤波预测目标出 现区域的步骤：步骤7-1，预测下一时刻斗 步骤7-2,计算预测误差白 步骤7-3,计算卡尔曼增I 步骤7-4,修正状态估计： 步骤7-5,修正预测误差白 步骤7-6,根据修正后的状态估计预测目标区域：目标区域是W状态估计中的位置 (克，束)为中屯、，W预测误差的最大值加上目标显示在图像上的最大直径为边长的正方形区 域。 其中：状态转移矩阵，AT是连续两帖之间的间隔，屯表示t-1 时刻修正后的状态估计，斬表示t时刻修正前的状态估计，口7是*时刻修正前的预测误差协 方差，Pt-I是t-1时刻修正后的预测误差协方差，Q是随机过程噪声的协方差矩阵，Kt是卡尔 曼增益，是观测增益矩阵，R是测量误差的协方差矩阵。5.根据权利要求1所述的基于局部图像增强的目标跟踪方法，其特征在于，所述判断是 否跟踪结束的具体过程为：当目标停止运动时，跟踪结束；否则返回步骤2,针对步骤7预测 的区域继续跟踪目标。
【文档编号】G06T5/00GK105913455SQ201610222484
【公开日】2016年8月31日
【申请日】2016年4月11日
【发明人】郭毓, 李光彦, 丁棋炳, 范明轲, 吴巍, 吴益飞, 郭健, 韩昊, 韩昊一, 黄颖, 苏鹏飞
【申请人】南京理工大学