车载单目长波红外相机行人识别方法
【技术领域】
[0001]本发明涉及图像处理技术领域，具体涉及一种车载单目长波红外相机行人识别方法。
【背景技术】
[0002]红外探测器技术的快速发展使得红外相机的成本快速降低，成熟度不断提升。这使得红外相机在民用产品领域不断拓展市场，车载辅助驾驶系统成为红外相机展示其优越特性的代表之一。
[0003]红外探测是对环境中物体的红外特性进行探测，在夜间行驶条件下，红外感知距离可达到车前灯探测距离的4倍以上。即使在雨、雪、雾等条件下也能有效工作。而人眼只能感受周围的可见光信息，红外探测系统可感知可见光以外的环境特性，是车辆对自身环境感知信息的有效拓展。而且红外感知完全不受环境中可见光信息的干扰，即使在夜间迎面车灯强逆光的条件下也能正常工作，而在这种条件下人眼的感知会受到严重的干扰。
[0004]针对红外相机在车辆辅助驾驶中的应用，如何提供一种目标自动识别信息处理方案，对环境中的行人等目标进行自动识别和危险度估计，进而对危险源给出告警信息提示，成为了亟待解决的技术问题。
【发明内容】
[0005](一 )要解决的技术问题
[0006]本发明要解决的技术问题是:如何对环境中的行人等目标进行自动识别和危险度估计，进而对危险源给出告警信息提示。
[0007]( 二)技术方案
[0008]为了解决上述技术问题，本发明提供了一种车载单目长波红外相机行人识别方法，包括以下步骤:
[0009]S1、将图像的原始数据流进行灰度映射，并对图像进行噪声抑制和增强处理；同时对图像作如下处理:对于不同距离的不同大小的行人目标，在相机安装位置及角度均一致的情况下，通过成像几何关系计算出行人目标在图像中呈现的不同位置及大小，不同大小的行人目标出现在图像中特定的R0I区域内，采用图像遍历的方式检测图像中的行人目标，用遍历窗口遍历的方式检测目标时，仅在相应的R0I区域内进行遍历；
[0010]S2、将所述噪声抑制和增强处理后的图像数据进行如下H0T-SP0T提取处理:对于每个像素，计算其邻域的加权均值，再与预设阈值比较，若大于预设阈值，则作为有效候选点，否则作为无效候选点，对每个像素处理完之后然后将候选点或由候选点组成的候选区域合并后进行候选点筛选，将筛选后的所有候选点进行预滤波，得到有效候选点二值图像，所述筛选的目的是对不能合并的孤立点或微小区域进行筛选，以保证预滤波后能够过滤出所有潜在目标点；
[0011]S3、进行第一级分类器检测:对于特定大小的遍历窗口，计算其对应的R0I区域，然后在特定的遍历窗口的对应ROI区域中遍历的过程中，验证对应位置HOT-SPOT属性，如果该特定的遍历窗口内，无有效候选点，则不进行分类器计算，否则进行AdaBoost分类器计算；AdaBooSt分类器对图像内的所有大小的目标进行分类检测，最终得到若干候选目标，一个目标若被若干遍历窗口所检出，贝运用窗口合并的方法对第一级分类器所输出的候选目标窗口进行合并，以此来获得有效的检测目标区域输出；
[0012]进行第二级分类器检测:对第一级分类器检测结果进行SVM检测；
[0013]S4、对前一帧所检测的所有目标和当前帧检测出的所有候选目标进行关联；关联后的数据作为Kalman滤波器的输入，进而基于目标运动模型对量测值进行滤波，从而输出稳定的目标检测窗口；
[0014]S5、基于行人站在前方水平的地面上这一条件，利用成像几何原理进行目标距离估计，并基于输出最小的估算距离的原则，对估计出的距离进行结果修正；
[0015]S6、以目标运动方向和速度、车辆运动方向和速度、距离估计信息三者作为输入，依据预设告警策略对危险源给出相应的告警提示信息。
[0016](三)有益效果
[0017]本发明首先通过图像预处理对红外原始图像进行降噪和增强处理，并H0T-SP0T选取对目标潜在范围及尺度进行估计，同时通过R0I选取根据车载红外相机的成像几何信息对目标出现的可能区域给出预测估计；再通过两级分类器的组合进行检测有效地提升系统的检测率并降低虚警率；然后利用目标跟踪对检测出的目标在时间轴上进行跟踪，一方面可提升系统性能和稳定系统输出，另一方面可估计出目标的运动速度及生命周期，最后对目标的危险度进行估计并提供有效告警提示。从而实现了对环境中的行人等目标进行自动识别和危险度估计，进而对危险源给出告警信息提示。
【附图说明】
[0018]图1为本发明实施例的总体流程图；
[0019]图2为图像预处理流程图；
[0020]图3为R0I计算流程；
[0021]图4为R0I原理不意图；
[0022]图5为H0T-SP0T提取算法流程图；
[0023]图6为级联分类器检测流程图；
[0024]图7为目标跟踪流程图；
[0025]图8为目标距离估计流程图；
[0026]图9为告警流程图。
[0027]图10为告警等级示意图。
【具体实施方式】
[0028]为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的【具体实施方式】作进一步详细描述。
[0029]本发明针对红外相机在车辆辅助驾驶中的应用，提供了一种车载单目长波红外相机行人识别方法，对环境中的行人等目标进行自动识别和危险度估计，进而对危险源给出告警信息提示。
[0030]如图1所示，本发明的车载单目长波红外相机行人识别方法包括图像预处理、R0I选取、H0T-SP0T选取、两级分类器检测、目标跟踪、距离估计和告警等步骤。图像预处理对红外原始图像进行降噪和增强处理；R0I选取根据车载红外相机的成像几何信息对目标出现的可能区域给出预测估计；H0T-SP0T选取对目标潜在范围及尺度进行估计；两级分类器包括AdaBoost和SVM分类器，通过两级分类器的组合能够有效地提升系统的检测率并降低虚警率；目标跟踪对检测出的目标在时间轴上进行跟踪，一方面可提升系统性能和稳定系统输出，另一方面可估计出目标的运动速度及生命周期，最后对目标的危险度进行估计并提供有效告警提示。
[0031]本发明以红外相机的实时图像作为主要输入，辅助以车辆自身运动信息、GPS信息、温度信息等。红外图像以30帧的帧频输入算法，目标识别算法以实时速度进行目标识别处理，以获取图像中的危险源信息。本发明能够对图像中的行人(或动物)目标进行自动识别。其中行人目标包括独立行走的行人、人群、骑自行车的人、骑电动车的人等。动物目标包括鹿、牛、马、野猪等。本发明将自动对图像中的以上目标进行识别，并对其危险度进行估计，进而向驾驶员给出告警提示信息。
[0032]预处理流程用于将图像的原始12bit数据流转化为8bit灰度图像，并对图像进行噪声抑制和增强处理。主要包括三个模块，灰度映射、噪声抑制和图像增强三个步骤。具体如图2所示:
[0033]ROI (Reg1n-Of-1nterest)计算模块用于计算出行人出现的可能区域，以减少识别算法的计算复杂度。高性能的目标识别算法基于机器学习和模式识别等复杂算法，其检测识别性能好，但运算复杂度也很高。机器学习算法的检测策略基本为图像全尺度窗口遍历策略，其复杂度受待检测目标的尺度范围影响，如果需检测的目标尺度变化范围大，则遍历窗口就会增加，则计算复杂度就会随之加大。为优化算法复杂度，进一步提升算法的运算速度和可靠性，需结合具体车载应用场景，开发R0I约束规则。在真实的应用场景下，可以约定拟检测行人的高度范围，比如另外，考虑到车载的复杂应用场景，车载红外相机选用的是定焦的相机，故一旦相机在车辆上固定安装，其所有的成像几何内、外参数都可以获得。基于已知的相机内外参数及特定的应用场景，可计算出特定的目标在图像中可能出现的位置。图3为R0I模块的整体计算流程。
[0034]R0I算法采用图像遍历的方式检测图像中的行人目标。如图4所示，对于不同距离的不同大小的目标，在相机安装位置及角度均一致的情况下，可以通过成像几何关系计算出其在图像中会呈现的不同位置及大小。不同大小的目标会出现在图像中特定的R0I区域内，如:最小的目标对应于[L1，L1’ ]的区域，中等大小的目标对应于[L2，L2’ ]区域，最大的目标对应于[L3，L3’ ]区域。这意味着，当我们用遍历窗口遍历的方式去检测目标时，仅仅需要在相应的R0I区域内进行遍历即可。
[0035]基于上面的解析推理可以计算出符合成像规则的约束搜索区域。然而，在真实的应用条件下，车辆悬挂并不稳定，会随着车辆载重情况及路面出现波动，为提高R0I约束策略的可靠性，需要结合实际使用过程中可能出现的各类情况，给出其冗余量。这里所用的冗余量为统计量。真实世界中的情况千差万别，为了找到最优的R0I冗余参数，需基于大量的外场测试数据库进行统计。首先对数据库中的所有目标进行准确标记，进而统计其在图像中所处的位置和大小对应关系，最终得出不同大小目标所对应的有效分布区间。基于成像几何计算值及实际统计冗余量，最终得出检测算法的ROI约束策略，可有效降低算法的运算复杂度，且有助于提升算法性能。
[0