专利名称：一种实时鲁棒的远红外车载行人检测方法
技术领域：
本发明涉及计算机视觉与模式识别、智能交通系统(intelligenttransportation systems, ITS)领域,具体为一种基于远红外视频的车载行人检测方法。
背景技术：
汽车驾驶辅助系统中的车载行人检测是智能交通系统的一个重要组成部分，该研究主题直接来源于社会与市场需求，具有较好的应用前景和市场价值。因夜间所致机动车辆交通事故而造成的人员伤亡约为白天的3 4倍(C.Fors, S.-0.Lundkvist,Night-time traffic in urban areas: a literature review on road user aspects,Technical Report, VTI rapport 650A， 2009)。公路运输在我国综合运输市场中发挥着举足轻重的作用，承担着90%以上的份额。随着汽车市场的快速发展和安防意识的日益强化，人们对汽车安全保障技术的需求越来越高。在雨夜、雪天或大雾等能见度较低的情况下，现有汽车照明系统视距不远、效果不佳的弊端已成为汽车行驶的安全隐患之一；减少道路交通事故和人员伤亡已成为全社会广为关注的问题。探索车载夜间行人检测方法尤为迫切。目前，基于远红外探测器的车载夜间行人检测辅助系统已被少数发达国家应用于高档豪华轿车，在国内，已有相关的技术研究和少量应用，但是，不仅缺乏系统的基础性工作，而且多个技术挑战亟待解决。红外行人检测方法主要包括感兴趣区域提取和行人识别两个部分。根据行人目标区域往往比背景亮度高的特点，提取红外图像的感兴趣区域通常首选阈值分割法。全局阈值分割法(如 M.Bertozzi, A.Broggi, C.H.Gomez, R.1.Fedriga, G.Vezzoni,M.Del Rose, Pedestrian detection in far infrared images based on the useof probabilistic templates, in: Proceedings of IEEE Intelligent VehiclesSymposium, 2007)计算简单,执行速度快,但未能较好处理不同图像巾贞的行人目标在外观表象上的差异，经常导致目标分割结果不完整。为此，出现了更为鲁棒的局部阈值分割法(如 J.F.Ge, Y.P.Luo, G.M.Tei, Real-time pedestrian detection and trackingat nighttime for driver-assistance systems, IEEE Transactions on IntelligentTransportation Systems, 2009),这类方法通过局部邻域像素的灰度统计分布规律确定每一个像素的划分阈值。受可见光图像中滑窗方法的启发，Sun(H.Sun, C.Wang, B.L.Wang, N.El-Sheimy, Pyramid binary pattern features for real-time pedestriandetection from infrared videos, Neurocomputing, 2011)针对基于红外视频的实时行人检测提出一种局部滑窗法，通过扫描图像中的关键点，在所有关键点邻域范围内利用滑窗法搜索行人候选区域。然而，已有的感兴趣区域提取方法大多针对整个图像空间进行搜索，搜索空间较大造成计算开销较高，直接影响检测系统的实时性。即使利用了局部滑窗法，关键点的提取仍然依赖于对整幅输入图像进行扫描，获得关键点数量也较为可观，时间开销问题仍然未得到较好解决。常用的行人识别方法主要分为模板匹配法和学习判别法。模板匹配法(如D.0lmeda, A.de la Escalera, J.M.Armingol, Detection and tracking of pedestriansin infrared images, in: Proceedings of International Conference on Signals,Circuits and Systems, 2009)通过归纳表征行人的外观模式、运动规律和特征的判断规则或描述性知识，构造相应的行人模板，进而采用这些模板对感兴趣区域进行匹配识另1J。学习判别法(如 R.0’Malley, E.Jones, M.Glavin, Detection of pedestriansin far-1nfrared automotive night vision using region-growing and clothingdistortion compensation, Infrared Physics & Technology, 2010)结合不同的行人描述特征和学习算法，对大量样本进行学习获得行人分类器，再利用行人分类器进行在线行人识别。在模板匹配法中，由于行人外观模式和某些规律、特征的多变性和复杂性，对其进行归纳、描述的准确程度受到限制，很难设计鲁棒可行的行人模板库，且规模庞大的行人模板库将明显增加识别环节的计算开销，影响检测系统的实时性。所以一个时期以来，学习判别法较为流行，这类方法利用行人和背景在外观表象方面体现出来的统计规律，通过提取目标的抽象特征，离线训练行人分类器，从而对在线感兴趣区域进行判断。在学习判别法中，行人目标的特征表示方法对行人识别效果有显著性影响。梯度方向直方图特征能够有效描述行人的局部边缘轮廓特性，能够在一定程度上保证行人检测的准确率，已成为目前行人检测的主流特征提取方法之一(D.Geronimo, A.M.Lopez, A.D.Sappa, T.Graf, Survey of pedestrian detection for advanceddriver assistance systems, IEEE Transactions on Pattern Analysis and MachineIntelligence, 2010)。然而，不同于可见光图像中的行人目标，远红外图像中的行人目标一般具有较为显著的边缘轮廓，但缺乏丰富的内部纹理信息；梯度方向直方图特征长于描述目标的局部形状特征，而不擅提取目标内部的纹理特征。传统的梯度方向直方图特征多半有效描述了红外行人目标的边缘轮廓区域；但是，尚未涉及深入针对红外图像的特性和梯度方向直方图特征不擅提取目标纹理信息的特性，进一步发掘强化梯度方向直方图特征对红外行人的表征能力的新方法。支持向量机和各类boosting 方法(D.Geronimo, A.M.Lopez, A.D.Sappa, T.Graf, Survey of pedestrian detection for advanced driver assistance systems,IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010)是行人检测中经常使用的学习算法。但是，行人分类器的离线训练机制的研究(S.Walk, N.Majer,K.Schindler, B.Schiele, New features and insights for pedestrian detection,in: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,2010)目前尚未得到足够重视。研究表明，在初始训练样本集和判别规则已经确定的前提下，训练机制将影响行人分类器的泛化能力。尤其对于汽车驾驶辅助系统中行人检测这类开放性的目标检测问题，行人和背景模式都存在由大范围的外观/尺度变化等因素造成的差异性，仅通过简单方式获取训练样本集，而对样本集容量的选取、样本的代表性考虑尚缺乏充分的依据，分类器泛化能力明显受到影响。 综上所述，尽管目前的红外车载行人检测方法已经初有成效，但在检测准确率、检测效率和鲁棒性方面仍然迫切需要进一步改进。
发明内容
本发明的在于提供一种实时鲁棒的远红外车载行人检测方法，旨在促进解决已有的远红外行人检测方法的检测准确率不达标和/或不尽如人意、实时性需要提高、鲁棒性不强等问题，改善夜间车载行人检测系统的可用性。一种实时鲁棒的远红外车载行人检测方法，其包括如下步骤:(I)通过基于像素梯度垂直投影法捕捉输入图像序列中的行人预选区域；(2)采用局部阈值化方法和形态学后处理技术从行人预选区域中提取感兴趣区域(regions of interest, ROIs)；(3)提取多级熵加权梯度方向直方图特征(pyramid entropy weightedhistograms of oriented gradients, PEWHOG)描述感兴趣区域；(4)利用支持向量机(support vector machine, SVM)算法离线训练行人分类器；(5)利用行人分类器在线判断感兴趣区域，并通过多帧校验方法筛选行人分类器的判断结果，实现行人检测。进一步的，步骤(I)所述行人预选区域通过以下方法获得:利用远红外图像中行人垂直边缘区域呈现像素灰度快速变化的特性，通过基于像素梯度的垂直投影捕捉输入图像中亮度发生突变的区域作为行人预选区域，改善提取感兴趣区域的实时性。进一步的，步骤(2)所述局部阈值化方法是根据输入图像中每个像素水平邻域的像素灰度值的统计特性确定划分阈值，对输入图像进行二值化处理得到二值图像；步骤(2)所述形态学后处理技术具体是通过形态学腐蚀运算滤除二值图像中的噪声像素，并利用形态学膨胀运算填补弱连接区域(weakly connected regions),再利用8_连通标记法提取所述二值图像中的所有连通区域作为感兴趣区域。进一步的，步骤(4)所述离线训练行人分类器具体指:收集含有行人的图片样本和仅含有背景的图片样本构成训练样本空间，根据所述含有行人的图片样本的三个高度区间划分训练样本空间，构成三个互不相交的训练子集；所述高度是指含有行人的图片样本在垂直方向上包含的像素数；分别提取各个训练子集的多级熵加权梯度方向直方图特征，采用迭代收集困难样本的训练机制对各个训练子集进行学习；所述学习采用基于直方图交叉核(histogram intersection kernel, HIK)的支持向量机学习算法,获得三分支结构的支持向量机行人分类器。进一步的，通过手工裁剪和/或步骤⑴ 步骤(2)所述的方法获取含有行人的图片样本和仅含有背景的图片样本，组成所述训练样本空间；所有图片样本的高度均大于或等于12个像素:高度大于或等于64个像素的归为近距离样本子集，并将近距离样本子集中的样本尺度调整为32像素X 80像素；高度大于或等于32个像素且小于64个像素的归为中等距离样本子集，并将中距离样本子集中的样本尺度调整为24像素X 64像素；其余归为远距离样本子集，并将远距离样本子集中的样本尺度调整为12像素X 32像素；所述尺度调整均采用双线性插值法实现。进一步的，在多种单元格(cell)粒度划分方式下提取熵加权梯度方向直方图特征(entropy weighted histograms of oriented gradients, EWHOG),通过并接方式组成步骤(3)所述的多级熵加权梯度方向直方图特征；所述多种单元格(cell)粒度划分方式是指通过由粗到细的分级方式对图片样本进行单元格划分；步骤(3)所述多级熵加权梯度方向直方图特征用于显著表征远红外行人边缘轮廓的空间分布特性；所述熵加权梯度方向直方图特征是利用信息熵对经典梯度方向直方图特征(histograms of orientedgradients, HOG)中不同块(block)提供的梯度方向直方图特征分量进行加权得到的特征。进一步的，所述迭代收集困难样本的训练机制为:行人分类器的离线训练过程结合自举法(bootstrapping)和提前终止法(early-stopping strategy),迭代收集困难样本并进行行人分类器训练，当行人分类器在验证集上的全局分类准确率的增量小于预定的阈值时停止迭代过程；所述迭代指反复收集困难样本和调整分类器的决策超平面，输出泛化能力较强的行人分类器；所述验证集为与训练集不相交的图片样本集和/或视频集；所述验证集与训练集均属于图片样本集；所述视频集是包含客观标准的视频集，且训练集不从这个视频集中获取。进一步的，步骤(5)分两步实现行人检测，第一步是利用行人分类器在线判断感兴趣区域，第二步是通过多帧校验方法筛选行人分类器的判断结果；所述通过多帧校验方法筛选行人分类器的判断结果是指:对连续多帧图像中均出现的同一目标且被行人分类器连续判断为行人的结果给予保留，而对连续多帧图像中均出现的同一目标而未被行人分类器连续判断为行人的结果给予排除。与现有远红外夜间车载行人检测技术相比，本发明具有如下优点和效果:本发明的步骤(I)和步骤(2)所述的方法既能够更准确地搜索感兴趣区域，又能明显提高感兴趣区域提取阶段的处理速度；步骤(3)所述的多级熵加权梯度方向直方图特征能够更为精细地描述远红外行人目标，明显提高远红外行人检测的准确率；行人分类器的离线迭代训练机制有利于收集难以通过手工方式获得的困难负样本，有效改善行人分类器的鲁棒性；且这种迭代训练机制适合但不限于远红外夜间车载行人检测分类器的训练过程。本发明行人分类器的训练过程在两个独立的远红外视频集上进行，分别用作产生困难样本的原始视频集和验证视频集，两个视频集中都包含经人工标记的客观标准(ground truth)。因此,该方法并非单纯依赖通过人工收集和/或随机筛选的正负图片样本集产生困难样本，由此可以避免人工收集和/或随机筛选的样本过于简单而无助于提高行人分类器的鲁棒性的问题。本发明的另一个优势在于不仅能检测处于静止、行走或者跑步等运动方式下的直立行人，还适合检测骑自行车或摩托车的人体。
图1为实施方式中远红外车载行人检测方法的原理流程实施例图。图2为实施方式中提取多级熵加权梯度方向直方图特征过程中由粗到细进行多级单元格多粒度划分的实施例示意图。图3为实施方式中基于熵加权梯度方向直方图特征EWH0G、多级熵加权梯度方向直方图特征PEWH0G，以及基于经典梯度方向直方图特征HOG的描述方法下行人分类器分类效果的接收器工作曲线(receiver operating characteristic, ROC)对比实施例图。
图4为实施方式中三分支结构支持向量机行人分类器的结构实施例图。图5a为实施方式中迭代训练机制下迭代次数与系统性能之间的关系实施例图。图5b为实施方式中迭代训练机制下迭代次数与总的误检次数之间的关系实施例图。图6a为实施方式中一帧原始输入图像的实施例图。图6b为实施方式中图6a所示输入图像的二值梯度图像的实施例图。图6c为实施方式中所得梯度垂直投影曲线实施例图。图6d为实施方式中所得行人预选区域实施例图。图6e为实施方式中经局部阈值化方法和形态学后处理技术处理后的二值分割结果实施例图。图6f为实施方式中感兴趣区域ROIs的提取结果实施例图。
具体实施例方式以下结合附图给出详细的实施例 操作过程。附图所示实施例以本发明技术方案为前提，附图所述的实施例属于但不限于本发明保护范围。本发明方法的整体流程如图1所示，本发明方法主体包括两部分:行人分类器的离线训练和行人的在线检测。(I)行人分类器的离线训练训练样本准备:所有训练样本均取自实拍的远红外视频，其中，为数约1/2的训练样本通过人工裁剪的方式从远红外视频中获得，其余训练样本通过本发明步骤(I)和步骤
(2)所述的方法获得，所有训练样本均为图片样本，其中，正样本为包含行人的图片样本，具体为处于静止、行走或者跑步等运动状态的直立行人或骑自行车/摩托车的人体；负样本为仅包含背景的图片样本。根据正样本高度区间将训练样本空间划分为三个互不相交的子空间(训练子集)，并分别采用双线性插值法对图片样本进行相应的尺度调整。所有训练样本高度均大于或等于12个像素，所述训练样本高度是指图片样本在垂直方向上包含的像素数。高度大于或等于64个像素的归为近距离训练样本子集，并将该子集中的样本尺度调整为32像素X80像素；高度大于或等32个像素且小于64个像素的归为中等距离训练样本子集，并将该子集中的样本尺度调整为24像素X64像素；其余归为远距离训练样本子集，并将该子集中的样本尺度调整为12像素X 32像素。(2)提取所有样本的多级熵加权梯度方向直方图特征在计算经典的梯度方向直方图特征的基础上，利用熵(entropy)的概念对局部块(block)内像素梯度的分布特性进行描述，并以此作为权重对相应块(block)提供的梯度方向直方图特征分量进行加权。第k个块(block)提供的熵Wk为
权利要求
1.一种实时鲁棒的远红外车载行人检测方法，其特征在于包括如下步骤: (1)通过基于像素梯度垂直投影法捕捉输入图像序列中的行人预选区域； (2)采用局部阈值化方法和形态学后处理技术从行人预选区域中提取感兴趣区域(regions of interest, ROIs)； (3)提取多级熵加权梯度方向直方图特征(pyramidentropy weighted histograms oforiented gradients, PEWHOG)描述感兴趣区域； (4)利用支持向量机(supportvector machine, SVM)算法离线训练行人分类器； (5)利用行人分类器在线判断感兴趣区域，并通过多帧校验方法筛选行人分类器的判断结果，实现行人检测。
2.根据权利要求1所述实时鲁棒的远红外车载行人检测方法，其特征在于，步骤(I)所述行人预选区域通过以下方法获得:利用远红外图像中行人垂直边缘区域呈现像素灰度快速变化的特性，通过基于像素梯度的垂直投影捕捉输入图像中亮度发生突变的区域作为行人预选区域，改善提取感兴趣区域的实时性。
3.根据权利要求1所述实时鲁棒的远红外车载行人检测方法，其特征在于，步骤(2)所述局部阈值化方法是根据输入图像中每个像素水平邻域的像素灰度值的统计特性确定划分阈值，对输入图像进行二值化处理得到二值图像；步骤(2)所述形态学后处理技术具体是通过形态学腐蚀运算滤除二值图像中的噪声像素，并利用形态学膨胀运算填补弱连接区域(weakly connected regions),再利用8_连通标记法提取所述二值图像中的所有连通区域作为感兴趣区域。
4.根据权利要求1所述实时鲁棒的远红外车载行人检测方法，其特征在于，步骤(4)所述离线训练行人分类器具体 指:收集含有行人的图片样本和仅含有背景的图片样本构成训练样本空间，根据所述含有行人的图片样本的三个高度区间划分训练样本空间，构成三个互不相交的训练子集；所述高度是指含有行人的图片样本在垂直方向上包含的像素数；分别提取各个训练子集的多级熵加权梯度方向直方图特征，采用迭代收集困难样本的训练机制对各个训练子集进行学习；所述学习采用基于直方图交叉核(histogram intersectionkernel, HIK)的支持向量机学习算法，获得三分支结构支持向量机行人分类器。
5.根据权利要求4所述实时鲁棒的远红外车载行人检测方法，其特征在于通过手工裁剪和/或步骤(I) 步骤(2)所述的方法获取含有行人的图片样本和仅含有背景的图片样本，组成所述训练样本空间；所有图片样本的高度均大于或等于12个像素:高度大于或等于64个像素的归为近距离样本子集，并将近距离样本子集中的样本尺度调整为32像素X80像素；高度大于或等于32个像素且小于64个像素的归为中等距离样本子集，并将中距离样本子集中的样本尺度调整为24像素X 64像素；其余归为远距离样本子集，并将远距离样本子集中的样本尺度调整为12像素X32像素；所述尺度调整均采用双线性插值法实现。
6.根据权利要求1所述实时鲁棒的远红外车载行人检测方法，其特征在于在多种单元格(cell)粒度划分方式下提取熵加权梯度方向直方图特征(entropy weightedhistograms of oriented gradients, EWHOG),通过并接方式组成步骤(3)所述的多级熵加权梯度方向直方图特征；所述多种单元格(cell)粒度划分方式是指通过由粗到细的分级方式对图片样本进行单元格划分；步骤(3)所述多级熵加权梯度方向直方图特征用于显著表征远红外行人边缘轮廓的空间分布特性；所述熵加权梯度方向直方图特征是利用信息熵对经典梯度方向直方图特征(histograms of oriented gradients, HOG)中不同块(block)提供的梯度方向直方图特征分量进行加权得到的特征。
7.根据权利要求4所述实时鲁棒的远红外车载行人检测方法，其特征在于所述迭代收集困难样本的训练机制为:行人分类器的离线训练过程结合自举法(bootstrapping)和提前终止法(early-stopping strategy),迭代收集困难样本并进行行人分类器训练，当行人分类器在验证集上的全局分类准确率的增量小于预定的阈值时停止迭代过程；所述迭代指反复收集困难样本和调整分类器的决策超平面，输出泛化能力较强的行人分类器；所述验证集为与训练集不相交的图片样本集和/或视频集。
8.根据权利要求1所述实时鲁棒的远红外车载行人检测方法，其特征在于，步骤(5)分两步实现行人检测，第一步是利用行人分类器在线判断感兴趣区域，第二步是通过多帧校验方法筛选行人分类器的判断结果；所述通过多帧校验方法筛选行人分类器的判断结果是指:对连续多帧图像中均出现的同一目标且被行人分类器连续判断为行人的结果给予保留，而对连续多帧图像中均出现的同一目标而未被行人分类器连续判断为行人的结果给予排 除。
全文摘要
本发明公开一种实时鲁棒的远红外车载行人检测方法。该方法利用像素梯度的垂直投影捕捉输入图像中潜在的行人预选区域，采用局部阈值化方法和形态学后处理技术从行人预选区域中搜索感兴趣区域；提取多级熵加权梯度方向直方图特征描述感兴趣区域并输入支持向量机行人分类器进行在线感兴趣区域判断，通过多帧校验筛选行人分类器判断结果实现行人检测。根据样本高度分布划分训练样本空间，构建三分支结构的分类框架；结合自举法和提前终止法迭代收集困难样本和训练行人分类器。本发明不仅提高了行人检测的准确率，还能降低虚警率、改善输入图像处理速度和分类器泛化能力，提供了一种有效的夜间车载辅助行人预警方法。
文档编号G06K9/66GK103198332SQ20131010477
公开日2013年7月10日 申请日期2013年3月28日 优先权日2012年12月14日
发明者刘琼, 庄家俊, 王国华, 魏澄, 廖永贵 申请人:华南理工大学