市区环境下基于视觉的车载行人检测与跟踪方法及系统的制作方法
【技术领域】
[0001] 本发明设及一种车载行人检测与跟踪方法及系统，特别是关于一种市区环境下基 于视觉的车载行人检测与跟踪方法及系统。
【背景技术】
[0002] 为了减少汽车与行人碰撞事故的发生，有效保护行人安全，国内、外在制定严格的 行人保护法规之外，在汽车被动安全与主动安全等方面也进行了相关的研究。行人主动防 碰撞系统是汽车主动安全系统中的重要组成部分，该系统能在发现车辆前方的行人处于危 险状态时能及时警告驾驶员避免与其发生碰撞，并在危急时刻时也能主动采取紧急制动或 者转向等措施W避免碰撞事故的发生。行人主动防碰撞系统其通常包括本发明系统和车辆 控制系统，本发明系统包括行人检测与行人跟踪两部分，普遍采用视觉传感器实现行人的 检测与跟踪。行人跟踪能够得到行人目标的运动轨迹从而为后续行人的运动分析和危险态 势估计提供可靠的技术支持，具有重要的研究意义。
[0003] 目前常见的运动目标跟踪算法主要是针对相机固定的场景下开展的，手动标记出 需要跟踪的目标或者采用背景相减的办法来提取运动的目标，再实现该运动目标的跟踪， 不适用于车载运动状态的行人主动防撞系统。行人主动防碰撞系统中的行人跟踪主要应用 在城市道路交通环境下，由于背景复杂、车载相机运动W及行人目标多样性的特点，采用现 有的行人跟踪算法很难实现该种场景下稳定地跟踪，尤其是当目标背景发生动态变化或者 目标存在严重遮挡时，由于不能对目标运动趋势做出相应的预测，跟踪过程中目标很容易 丢失。典型的目标跟踪算法主要有Kalman和Meanshift等，Kalman滤波因其优越的跟踪 性能也常被单独用于行人目标跟踪上，能够较为准确地预测目标的速度和位置，从而准确 地估计目标运动状态，但无法胜任存在目标变形和遮挡等场合，而Meanshift算法通过不 断迭代计算Meanshift向量使其收敛于新的窗口位置，具有快速高效的优点，但在寻求最 优匹配位置时就会出现偏差，而且随着行人目标的运动误差会越来越大，因此有必要结合 该两种方法的优缺点，稳定跟踪所检测到的行人。
【发明内容】
[0004] 针对上述问题，本发明的目的是提供一种市区环境下基于视觉的车载行人检测与 跟踪方法及系统，针对Meanshift跟踪算法存在的问题，引入Kalman预测行人目标的位置 和捜索范围，充分利用其颜色和运动信息W获得运动目标的精确位置估计来提高行人跟踪 的效果。
[0005] 为实现上述目的，本发明采取W下技术方案；一种市区环境下基于视觉的车载行 人检测与跟踪方法，它包括W下步骤；1)实时获取车辆前方的彩色道路视频；2)针对获取 的彩色道路视频进行逐帖处理得到待检测图像；3)根据上一帖待检测图像的状态判断下 一帖待检测图像进行行人检测或跟踪，其中待检测图像的状态分为未跟踪状态和待跟踪状 态；若上一帖待检测图像的状态为未跟踪状态，则进入步骤4)进行行人检测；若上一帖待 检测图像的状态为待跟踪状态，则进入步骤5)进行行人跟踪；4)针对待检测图像进行行人 检测，若连续Z帖待检测图像成功检测到行人目标，其中，z〉2且为整数，则将最后一次成功 检测的具有行人目标的待检测图像的状态改为待跟踪状态，并将返回给步骤3)，W便判断 下一帖待检测图像进入行人跟踪；否则，返回步骤3)针对下一帖待检测图像继续进入行人 检测；5)针对待检测图像进行行人跟踪，若连续Z帖待检测图像跟踪到行人，则返回步骤 3)继续针对下一帖待检测图像进行跟踪；若连续Z帖待检测图像跟踪失败，则行人已经走 出视野范围或者跟踪失效，结束跟踪，返回步骤3)针对下一帖待检测图像重新进行行人检 巧U ;所述步骤5)包括W下步骤；①针对包含行人目标的待检测图像，建立第k-1时刻的行 人目标颜色概率分布图Ip，其中k为任意时刻；②针对包含行人目标的待检测图像的质屯、 位置，采用Kalman算法预测第k时刻的质屯、位置；⑨采用Meanshift算法结合第k-1时刻 的行人目标颜色概率分布图Ip和第k时刻的质屯、位置进行行人跟踪；若跟踪成功，则将跟 踪过程中的数据用于更新①和②；若跟踪失败，则对失败次数进行累计；④当连续Z帖跟踪 行人目标失败时，则行人已经走出视野范围或者跟踪失效，结束跟踪，返回步骤3)针对下 一帖待检测图像重新进行行人检测；否则，返回步骤3)继续针对下一帖待检测图像进行跟 臣示。
[0006] 所述步骤4)和步骤5)中Z为3。
[0007] 所述步骤4)包括W下步骤：①将待检测图像转换为灰度图像，并进行中值滤波 处理，使其划分成若干子窗口，提取其梯度直方图特征并进行降维优化，得到优化后的子窗 口；②采用行人识别分类器针对优化后的子窗口逐一进行行人目标判别，若当前检测的子 窗口中不存在行人目标，则检测当前待检测道路图像中下一子窗口是否存在行人目标；若 当前检测的子窗口中存在行人目标，则将判断该子窗口图像为行人图像，并将相应的待检 测图像的状态改为待跟踪状态及标记相应的质屯、位置信息，并将行人目标检测成功的次数 进行记录；⑨当连续Z帖待检测图像成功检测到行人目标时，将将最后一次成功检测到的 行人目标的待检测图像及其行人目标质屯、位置发送给返回步骤3)，W便判断下一帖待检测 图像进入图像跟踪。
[000引市区环境下基于视觉的车载行人检测与跟踪系统，其特征在于：它包括前视相机 模块、视频处理模块、状态判断模块、行人检测模块和行人跟踪模块；所述前视相机模块用 于获取车辆前方的道路视频，并将道路视频发送给视频处理模块；所述视频处理模块将采 集的道路视频进行逐帖处理，得到若干帖连续图像，并逐一将每一帖图像作为待检测图像 发送给所述状态判断模块；所述状态判断模块根据上一帖待检测图像是否处于待跟踪状 态，判断下一帖待检测图像检测或跟踪，若上一帖待检测图像处于未跟踪状态，则进入所述 行人检测模块进行行人检测；若上一帖待检测图像处于待跟踪状态，则将上一帖待检测图 像的质屯、位置发送给所述行人跟踪模块进行行人跟踪；所述行人检测模块用于对待检测图 像进行行人检测，若连续Z帖待检测图像成功检测到行人目标，则将最后一次成功检测的 具有行人目标的待检测图像的状态改为待跟踪状态，并返回给所述状态判断模块，W便判 断下一帖待检测图像进入行人跟踪；否则，返回给所述状态判断模块针对下一帖待检测图 像继续进入行人检测；所述行人跟踪模块用于对待检测图像进行行人跟踪，若连续Z帖待 检测图像跟踪失败，则行人已经走出视野范围或者跟踪失效，结束跟踪，并返回所述状态判 断模块针对下一帖待检测图像重新进行行人检测；若连续Z帖待检测图像跟踪到行人，贝U 返回所述状态判断模块继续针对下一帖待检测图像进行跟踪；所述行人跟踪模块包括概率 分布图机构、质屯、位置预测机构、基于Meanshift的行人跟踪机构和行人跟踪累计机构；其 中，所述概率分布图机构接收包含行人目标的待检测图像，建立第k-1时刻的行人目标颜 色概率分布图Ip，并将其发送给所述基于Meanshift的行人跟踪机构；所述质屯、位置预测 机构接收包含行人目标的待检测图像的质屯、位置，并利用该信息采用Kalman算法预测第k 时刻的质屯、位置，并将其预测的质屯、位置发送给所述基于Meanshift的行人跟踪机构；所 述基于Meanshift的行人跟踪机构根据第k-1时刻的行人目标颜色概率分布图Ip和预测的 第k时刻的质屯、位置，采用Meanshift算法进行行人跟踪，若跟踪成功，则将跟踪过程中的 数据反馈给所述概率分布图机构和所述质屯、位置预测机构，用于更新所述概率分布图机构 中的行人目标的颜色概率分布图，更新所述质屯、位置预测机构中的Kalman的状态方程和 误差协方差矩阵，否则发送给所述行人跟踪累计机构对失败次数进行累计；当所述跟踪累 计机构连续Z帖跟踪行人目标失败时，则行人已经走出视野范围或者跟踪失效，结束跟踪， 并返回所述状态判断模块针对下一帖待检测图像重新进行行人检测；否则，返回所述状态 判断模块继续针对下一帖待检测图像进行跟踪。
[0009] 所述行人检测模块和所述行人跟踪模块中Z为3。
[0010] 所述行人检测模块包括图像预处理机构、行人识别分类器和行人检测累计机构； 所述图像预处理机构将彩色的待检测道路图像转换为灰度图像并进行中值滤波处理，使其 划分成若干子窗口，提取其梯度直方图特征并进行降维优化，得到优化后的子窗口，并将子 窗口发送给所述行人识别分类器；所述行人识别分类器针对优化后的子窗口逐一进行行人 目标判别，若当前检测的子窗口中不存在行人目标，则检测当前待检测道路图像中下一子 窗口是否存在行人目标；若当前检测的子窗口中存在行人目标，则将判断该子窗口图像为 行人图像，并将相应的待检测图像的状态改为待跟踪状态及标记相应的质屯、位置信息，并 将其发送给所述行人检测累计机构进行累计；当所述行人检测累计机构连续Z帖待检测图 像成功检测到行人目标时，将最后一次成功检测的具有行人目标的待检测图像发送给所述 状态判断模块，W便所述状态判断模块判断下一帖待检测图像进入所述行人跟踪模块；否 贝1J，返回所述状态判断模块继续下一帖待检测图像进入行人检测。
[0011] 本发明由于采取W上技术方案，其具有W下优点：本发明利用颜色特征受行人形 状变化的影响较小，采用采用了服V颜色模型中的色度分量H来有效剔除光照明暗给人体 目标颜色带来的影响，提高跟踪算法的稳定性，利用目标颜色概率分布图的跟踪算法可W 自动调整目标的大小，有利于解决部分遮挡问题，同时由于只需计算比捜索窗口大一些的 捜索窗口内的像素点的颜色概率分布图，可大大节省计算时间。2、本发明为了避免在整幅 图像中匹配已建立的目标颜色概率分布图而导致在寻求最优匹配位置时出现较大的偏差， 根据上一时刻图像中行人的质屯、位置，采用Kal