面向变化场景的远红外行人检测方法
【专利摘要】本发明公开面向变化场景的远红外行人检测方法，该方法基于Boosting-style的归纳迁移学习算法DTLBoost，从辅助数据中筛选样本扩展目标数据集。首先利用基于k近邻的样本重要性度量模型评估辅助数据与目标数据之间的相似度，为辅助数据中的不同样本分配相应的初始权重。在训练过程中，显式地定义成员分类器的预测不一致性程度，并结合当前成员分类器的预测错误率对辅助数据和目标数据样本的当前权重进行迭代更新，从辅助数据中筛选出具有正迁移能力的样本扩展训练集，并鼓励不同成员分类器学习目标数据的不同部分或方面。从而训练出泛化能力更强的集成分类器，增强新场景中行人检测的鲁棒性。
【专利说明】面向变化场景的远红外行人检测方法
【技术领域】
[0001] 本发明涉及行人检测【技术领域】，具体为一种面向变化场景的远红外行人检测方 法。
【背景技术】
[0002] 训练数据与测试数据之间通常存在不可避免的数据分布差异性，这是导致多数基 于机器学习的远红外行人检测方法在场景因素变化较大时表现得不够理想的主要原因之 一。具体来说，一般行人检测方案中采用的传统机器学习算法默认满足下述基本假设：训练 数据和测试数据独立同分布，即训练数据和测试数据通常来源于相似甚至相同的场景。当 这个基本假设得不到满足的时候，这类基于传统机器学习算法的远红外行人检测方案通常 难以成功应用。
[0003] 然而，在针对不同应用场合的行人检测系统中，由于测试视频数据中潜在的场景 差异性，训练数据和测试数据之间存在的数据分布差异性通常难以避免。产生这类差异性 的主要因素包括：不同的气候条件（行人衣着和/或环境随温度的改变而改变，由此将影响 行人散发的热辐射能量、以及热辐射能量被远红外摄像头接吸收的幅度）以及、不同的摄 像头配置方案（如视角的变化将显著影响目标的外观模式）等。因此，为了适时应对新场景 中潜在的未知远红外行人模式，需要从新场景中重新收集规模充足的训练数据（规模不充 分的训练数据容易造成过拟合问题从而影响分类器的泛化能力），重新训练适合新场景的 行人分类器。但是这种传统方案需要标记足够多的适时训练数据而存在高标记成本问题， 而且当其他新场景出现时，这种无止境的高代价方案明显阻碍高效率远红外行人检测系统 的建立。此外，直接抛弃原来已有的大量训练数据（即辅助数据）亦造成了资源的浪费。
[0004] 以提高新场景中的行人检测性能作为学习目标，出现了大量致力于各种自适应学 习算法的研究。各种在线学习或增量学习策略被用于离线更新行人分类器。这类方案大多 利用从辅助数据中学习得到的行人分类器，在指定的新场景中搜索检测置信度较高的目标 模式（包括行人模式和背景模式）组成扩展样本集，以对行人分类器进行在线更新或者重 新训练，达到在指定新场景中准确识别/检测远红外行人目标的目的。例如，Wang等（Wang X Yj Hua Gj Han T X. Detection by detections:non-parametric detector adaptation for a video. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2012)提出一种基于非参数估计的行人分类器自适应调整方法，建立基于层 次c均值聚类的词汇树模型收集高置信度的检测结果，并利用它们对其余低置信度的检 测结果进行排序和重组，进而获取扩展样本集。Sharma等（Sharma P，Huang C, Nevatia R. Unsupervised incremental learning for improved object detection in a video. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2012) 对行人分类器获得的检测结果进行跟踪，将检测结果与跟踪结果进行匹配，正确匹配者视 为新场景中表征行人模式的样本，否则视为表征背景模式的样本。上述方法的优点在于无 需预先进行标记新场景中的目标模式，但可能面临两个重要问题：（1)扩展样本集中的样 本可能包含数据标记的噪声，直接采用带噪声的扩展样本集难以保证更新后的行人分类器 的可靠性；（2)当行人分类器泛化能力较差时，通常无法处理或收集新场景中不能被正确 检测的行人模式，因为这类行人模式并未包含在辅助数据中，也即无法通过学习获取其信 息，难以保证更新后的分类器能够有效识别新场景中的各种行人模式。
[0005] 虽然目标数据（当前数据）和辅助数据（历史数据）往往服从不同的数据分布，但 这些数据通常位于同一特征空间中，彼此之间仍具有一定的关联性或相关性。具体地说，部 分辅助数据和新场景中的数据具有较高的相似性，如果能够提取具有较高相似性的辅助数 据并迁移到新场景中，将大大减少对新样本标记量的需求，促进改善新场景中的行人检测 的鲁棒性° Cao 等（Cao X B, Wang Z, Yan P K, et al. Transfer learning for pedestrian detection. Neurocomputing, 2013)利用迭代调整训练数据权重的方式，过滤辅助数据中与 目标数据相似度较低的"不利"样本，提出基于实例迁移的ITLAdaBoost算法进行未知场 景中的行人检测。Pang 等（Pang J B, Huang Q M, Yan S C，et al. Transferring boosted detectors towards viewpoint and scene adaptiveness. IEEE Transactions on Image Processing，2011)提出一种基于局部特征迁移的学习方法，解决了视频监控领域中不同 摄像头视角和变化场景中的行人检测问题，该方法利用CovBoost算法搜索辅助数据和目 标数据之间共享的局部视觉特征，并将其进行迁移从而协助行人分类器的更新。谢尧芳等 (谢尧芳，苏松志，李绍滋.基于稀疏编码的迁移学习及其在行人检测中的应用.厦门大学 学报（自然科学版），2010)提出了一种基于稀疏编码的迁移学习方法，利用稀疏编码从未 标记训练数据中学习到一个紧凑的、有效的描述特征，并将该特征迁移到行人检测问题中。 Wang等（Wang M, Li ff,ffang X G. Transferring a generic pedestrian detector towards specific scenes. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2012)首先建立关系图模型描述辅助数据和目标数据之间的视觉相似度，以 调整辅助数据中的样本权重，继而根据新场景中目标模式的运动信息以及所在场景的结构 信息的评估，从新场景中获取的扩展数据的置信度，最后提出整合上述信息的Confidence Encoded SVM算法来指导迁移学习。
[0006] 迁移学习试图通过"举一反三"的方式，快速地将已有知识合理地关联到新的 相似的问题中，目前利用迁移学习解决变化场景中远红外行人检测问题的研究尚处于起 步阶段。鉴于远红外图像中目标模式的成像性质，虽然在不同气候条件下，远红外行人 的外观模式通常存在较大差异性，但是，在特定气候条件下的行人模式具有更强的相似 性；特定气候条件下的远红外行人检测可以视为在指定场景中的检测问题。本发明公开 一种 Boosting-style 的归纳迁移学习算法 DTLBoost (Data-level Transfer Learning AdaBoost)，该方法通过显式度量的预测不一致性程度来评估不同成员分类器之间的差异 性，从辅助数据中筛选具有正迁移能力的样本，并鼓励不同成员分类器学习当前目标数据 中的不同部分或方面，保证算法能更充分地学习整个数据集，提高分类器在新场景中的行 人检测性能。
【发明内容】
[0007] 本发明的目的在于提供一种面向变化场景的远红外行人检测方法，旨在改善基于 传统机器学习的行人检测方法在变化场景中的行人检测的适应性和鲁棒性。本发明通过如 下技术方案实现。
[0008] 面向变化场景的远红外行人检测方法，基于Boosting-style归纳迁移学习算法 DTLBoost,包括如下步骤：
[0009] (1)通过基于k近邻算法的样本重要性度量模型评估辅助数据与目标数据之间的 相似性程度，为辅助数据中的不同样本分配相应的初始权重；
[0010] ⑵筛选训练数据集，训练成员分类器；
[0011] (3)显式地定义成员分类器的预测不一致性程度，并结合当前成员分类器的预测 错误率对辅助数据和目标数据样本的当前权重进行迭代更新；
[0012] (4)若满足迭代终止条件，输出行人分类器，实现面向新场景的行人检测；否则， 返回步骤（2)。
[0013] 进一步的，步骤（1)所述辅助数据源自历史场景中的足量已标记样本，所述目标 数据源自新场景（当前的目标场景）中的少量已标记样本。
[0014] 进一步的，步骤（1)所述相似性程度通过以下方法获得：在相同的描述特征空间 中，针对每一个辅助数据样本搜索k个目标数据近邻，累加该样本与k个近邻之间的高斯热 核距离，用以描述该样本与目标数据之间的相似性程度，据此为其分配初始样本权重。
[0015] 进一步的，步骤（2)所述筛选训练数据集是指利用基于样本权重的重采样策略同 时从辅助数据和目标数据中获得训练样本；所述成员分类器是指在任一次迭代训练过程 中，通过弱学习算法在训练数据集上学习得到的分类器。
[0016] 进一步的，步骤（3)所述预测不一致性程度通过以下方法获得：在当前迭代过程 中，评估所有成员分类器对每一个训练样本的正确和错误预测结果在数量上的差异性。
[0017] 进一步的，步骤（3)所述结合当前成员分类器的预测错误率对辅助数据和目标数 据样本的当前权重进行迭代更新是指：对于辅助数据，显著提高被当前成员分类器预测正 确且具有低预测不一致性程度的样本的权重；对于目标数据，其权重更新策略兼顾被错误 预测数据中的"困难"样本和被正确预测数据中的"简单"样本；但所述"困难"和"简单"样 本均为具有较低预测不一致性程度的目标数据。
[0018] 进一步的，步骤（4)所述迭代中止条件是指达到预先设定的迭次训练次数。
[0019] 本发明提出的算法具有如下优点和效果：（1)对于辅助数据，主要聚焦于被正确 预测且具有较高预测一致性程度的样本，有利于避免负迁移现象。（2)对于目标数据，不仅 聚焦于被错误预测的样本，还提高了被错误预测数据集中的"困难"样本和被正确预测数据 集中的"简单"样本的权重；具体地说，部分"简单"样本有一定机会被选中进而用于辅助目 标任务中"困难"样本的识别，经过几轮迭代之后，某些"困难"样本将成为中后期的"简单" 样本，而且它们仍有一定机会被选中并用于辅助其他"困难"样本的识别；因此，不同成员分 类器将拥有更多的机会聚焦于目标任务中不同的"困难"样本，从而鼓励不同成员分类器学 习目标数据中的不同部分或方面，这种方式还有利于避免在迭代中后期可能出现的对少数 "困难"样本的过拟合问题。
【专利附图】
【附图说明】
[0020] 图1为实施方式中面向变化场景的行人检测方法流程的实施例图。
[0021] 图2为条件n:m = 0. 03:1和〇 = 10下，不同近邻参数k对新场景中行人识别/ 检测性能的对比实施例图。
[0022] 图3为条件n:m = 0. 03:1和k = 3下，不同高斯热核宽度〇对新场景中行人识 另IJ/检测性能的对比实施例图。
[0023] 图4为条件n:m = 0. 03:1下，不同集成学习算法在新场景中行人识别/检测性能 及其变化趋势的对比实施例图。
[0024] 图5为条件n:m = 0. 11:1下，不同集成学习算法在新场景中的行人识别/检测性 能及其变化趋势对比实施例图。
[0025] 图6为在不同目标数据和辅助数据样本数量比例的条件下，不同集成学习算法对 新场景中行人识别/检测性能进行评估与比较的实施例图
【具体实施方式】
[0026] 以下结合附图给出详细的实施例操作过程。附图所示实施例以本发明技术方案为 前提，附图所述的实施例属于但不限于本发明保护范围。需指出的是，以下仅仅为举例，若 有未特别详细说明的符号和过程，均是本领域技术人员可参照现有技术实现的。
[0027] 本实例的检测方法的整体流程如图1所示。
[0028](一）训练数据的准备
[0029] 所有训练样本均取自实拍的远红外视频，其中，绝大多数训练样本从历史的远红 外视频中获得，组成辅助数据（设为m个），仅有少数训练样本从新场景视频中获得，组成目 标数据（设为η个，且n <<m)。所有训练样本均为图片样本，其中，正样本为包含行人模 式的图片样本，具体为处于静止、行走和/或跑步等运动状态的直立行人和/或使用人力交 通工具的人体，负样本为仅包含背景模式的图片样本。
[0030] (二）基于迁移学习的行人检测
[0031] 本发明基于Boosting-style的归纳迁移学习算法DTLBoost,该算法包括如下环 节：
[0032] (1)样本重要性度量模型
[0033] 结合半监督学习方法中类别标签传播的基本思想，提出样本重要性度量模型评估 辅助数据样本与目标数据样本的相似性程度，为具有较高相似性的辅助数据样本分配较大 的初始权重。该模型能够直接聚焦辅助数据中"最富"信息的部分样本，确保在前期迭代训 练过程中，算法能更容易地选取适合目标任务的辅助数据，从而提高集成迁移学习算法迭 代训练过程的收敛速度。
[0034] 针对辅助数据中的每一个样本<，于特征空间中搜索k个目标数据近邻，然后根 据下式为其计算相应的初始权重Vi :
【权利要求】
1. 面向变化场景的远红外行人检测方法，其特征在于该检测方法基于 Boosting-style的归纳迁移学习算法DTLBoost，具体包括如下步骤： (1) 通过基于k近邻算法的样本重要性度量模型评估辅助数据与目标数据之间的相似 性程度，为辅助数据中的不同样本分配相应的初始权重； (2) 筛选训练数据集，训练成员分类器； (3) 显式地定义成员分类器的预测不一致性程度，并结合当前成员分类器的预测错误 率对辅助数据和目标数据样本的当前权重进行迭代更新； (4) 若满足迭代终止条件，输出行人分类器，实现面向新场景的行人检测；否则，返回 步骤（2)。
2. 根据权利要求1所述面向变化场景的远红外行人检测方法，其特征在于，步骤（1)所 述辅助数据源自历史场景中的足量已标记样本，所述目标数据源自新场景即当前的目标场 景中的少量已标记样本。
3. 根据权利要求1所述面向变化场景的远红外行人检测方法，其特征在于，步骤（1)所 述相似性程度通过以下方法获得：在相同的描述特征空间中，针对每一个辅助数据样本搜 索k个目标数据近邻，累加该辅助数据样本与k个近邻之间的高斯热核距离，用以描述该辅 助数据样本与目标数据之间的相似性程度，据此为其分配初始样本权重。
4. 根据权利要求1所述面向变化场景的远红外行人检测方法，其特征在于，步骤（2)所 述筛选训练数据集是指利用基于样本权重的重采样策略同时从辅助数据和目标数据中获 得训练样本；所述成员分类器是指在任一次迭代训练过程中，通过弱学习算法在训练数据 集上学习得到的分类器。
5. 根据权利要求1所述面向变化场景的远红外行人检测方法，其特征在于，步骤（3)所 述预测不一致性程度通过以下方法获得：在当前迭代过程中，评估所有成员分类器对每一 个训练样本的正确和错误预测结果在数量上的差异性。
6. 根据权利要求1所述面向变化场景的远红外行人检测方法，其特征在于，步骤（3)所 述结合当前成员分类器的预测错误率对辅助数据和目标数据样本的当前权重进行迭代更 新是指：对于辅助数据，显著提高被当前成员分类器预测正确且具有低预测不一致性程度 的样本的权重；对于目标数据，其权重更新策略兼顾被错误预测数据中的"困难"样本和被 正确预测数据中的"简单"样本；但所述"困难"和"简单"样本均为具有较低预测不一致性 程度的目标数据。
7. 根据权利要求1所述面向变化场景的远红外行人检测方法，其特征在于，步骤（4)所 述迭代中止条件是指达到预先设定的迭次训练次数。
【文档编号】G06K9/66GK104239907SQ201410338632
【公开日】2014年12月24日 申请日期:2014年7月16日 优先权日:2014年7月16日
【发明者】刘琼, 庄家俊, 申旻旻 申请人:华南理工大学