多模板轮廓特征和灰度相结合的红外图像实时行人检测的制作方法
【专利摘要】本发明公开了一种多模板的轮廓特征和灰度相结合的红外图像实时行人检测方法，模板参数提取的过程中考虑边界的影响，根据检测窗口大小保存成不同大小的样本库。正样本要包括不同体形和动作的行人，负样本要包括少部分容易引起误判的图像。实时检测部分对所有像素进行一遍计算就可以计算出整幅图像的轮廓特征，并且SVM分类的判决给与较低的门限，以保证不会漏检。在DSP中再根据人体形态学对检测结果进行进一步的判断，剔除虚假目标。本发明由于采用了多模板的检测方法，虽然训练的复杂度略有提高，但是实时检测时需要的硬件资源较少，并且由于采用了轮廓特征和人体形态学相结合的方法，保证了漏检概率较小，正确率也较高。
【专利说明】多模板轮廓特征和灰度相结合的红外图像实时行人检测
【技术领域】
[0001] 本发明属于红外图像处理，涉及多模板轮廓特征和灰度相结合的红外图像实时行 人检测。
【背景技术】
[0002] 随着车辆交通的发展，每年因车祸造成死亡的人数达100万之多，由于目前国内 各地区的省道、国道、高速或准高速公路都没有照明设备，夜间车祸事故的死亡人数占到其 中的70%之多，夜间行车安全变得尤为重要，汽车夜视系统孕育而生。在汽车夜视系统中， 红外夜视由于不需要任何照明，即使在夜间，也可以轻松探测到1公里之外的动物和车辆， 探测距离远，必将成为主流技术。由于在国道高速等路况的行驶过程中，容易出现疲劳驾 驶，为了提高行人的安全程度，因此红外夜视系统应该具有实时的行人检测功能，能及时提 醒驾驶员注意避让行人。
[0003] 已有的不少行人检测方法绝大多数都是基于训练的思想，提取人的 H0G(Histogram of Oriented Gradient)特征，进行模式匹配来完成。如一种基于轮廓和色 彩相似对称分布特征的行人检测方法，专利申请号：CN201310481275. 7 ; -种基于视频处 理的行人检测方法，专利申请号：CN201310238127. 2, 一种基于组合特征的行人检测方法， 专利申请号：CN201210275898. 4等都是基于SVM(Support Vector Machine)分类的结果来 进行，但都没有训练多个模板。因此为了检测不同距离的行人，通常要对一副图像进行不同 尺度的变换来和模板匹配。通常，图像处理都采用FPGA (Field Programmable Gate Array) 或DSP (Digital Signal Processing)实现，其硬件资源越大，所实现的算法越复杂，同时成 本也越高。上述专利，所耗费的硬件资源都很大。而且通过实际测试发现，轮胎和行人的 H0G特征很相近，在检测过程中容易造成误检，因此提出了多模板的H0G和灰度特征相结合 的红外图像行人检测方法。该方法需要的硬件资源较少，能够满足实时性的要求，且检测概 率很高，能够应用到车载红外夜视系统中。
【发明内容】
[0004] 本发明的目的在于提供多模板轮廓特征和灰度相结合的红外图像的实时行人检 测方法，解决了现有的红外图像行人检测由于基于单模板，因而需要硬件资源大，速度慢， 准确率较低的问题。
[0005] 本发明采用的技术方案是按照以下步骤进行：
[0006] 步骤1 :进行模板参数提取，包括不同检测窗口的SVM分类器参数和block的四个 权重；
[0007] 步骤2 :对整个输入图像，以8*8个像素为单元，计算每个单元的平均灰度值和每 个单元的最大灰度值；
[0008] 步骤3 :对于输入图像，计算出每一个像素的梯度及角度Φ值；
[0009] 步骤4:将0° -180°平均分成9个区间，根据第步骤3计算的每一个像素的梯度 和角度Φ，按照线性距离的概念投影到这9个区间，每个像素对所影响的上下两个区间的 权重分别定义为幅度*该角度到区间中心角度的归一化线性距离，即分别为：gradweight_ high = l^dh, gradweight_low = l^dl ；
[0010] 步骤5 :对整个输入图像，按照16*16个像素为单元，首先在水平方向以8个像素 为单位从左往右滑动，到达最右端后再返回最左端，然后在坚直方向向下滑动8个像素， 再以8个像素为单位从左往右滑动，依次进行直到图像的右下角，把整个图像分成（img_ width/8-l)*(img_height/8_l)个 block ;
[0011] 步骤6 :对整个输入图像，按照8*8个像素为单元，把整个图像分成img_ width*img_height/64个cell,设当前像素在每个cell的下标为（i，j)，取出当前像素的 下相邻区间t，依次取出他所影响到的四个block的his，依次令mx = i+8，ny = j+8 ;mx = i+8, ny = j ;mx = i，ny = j+8 ;mx = i，ny = j 进行如下计算：
[0012] hist (t) = hist(t)+WEIGHT1(mx, ny)*gradweight_low ；
[0013] hist (t+9) = hist(t+9)+WEIGHT2(mx, ny)*gradweight_low ；
[0014] hist(t+18) = hist(t+18)+WEIGHT3(mx, ny)*gradweight_low ；
[0015] hist(t+27) = hist(t+27)+WEIGHT4(mx, ny)*gradweight_low ；
[0016] 然后取出当前像素的上相邻区间，用权重gradweight_hig重复以上过程，当一个 block的his计算完毕后，利用公式
[0017]
【权利要求】
1.多模板轮廓特征和灰度相结合的红外图像实时行人检测，其特征在于按照以下步骤 进行： 步骤1 :进行模板参数提取，包括不同检测窗口的SVM分类器参数和block的四个权 重； 步骤2 :对整个输入图像，以8*8个像素为单元，计算每个单元的平均灰度值和每个单 元的最大灰度值； 步骤3 :对于输入图像，计算出每一个像素的梯度及角度Φ值； 步骤4:将0° -180°平均分成9个区间，根据第步骤3计算的每一个像素的梯度和角 度Φ，按照线性距离的概念投影到这9个区间，每个像素对所影响的上下两个区间的权重 分别定义为幅度*该角度到区间中心角度的归一化线性距离，即分别为：gradweight_high =l*dh, gradweight_low = l*dl ； 步骤5 :对整个输入图像，按照16*16个像素为单元，首先在水平方向以8个像素为 单位从左往右滑动，到达最右端后再返回最左端，然后在坚直方向向下滑动8个像素，再 以8个像素为单位从左往右滑动，依次进行直到图像的右下角，把整个图像分成（img_ width/8-l)*(img_height/8_l)个block ; 步骤6 :对整个输入图像，按照8*8个像素为单元，把整个图像分成img_width*img_ height/64个cell，设当前像素在每个cell的下标为（i，j)，取出当前像素的下相邻区间 t，依次取出他所影响到的四个block的his,依次令mx = i+8, ny = j+8 ;mx = i+8, ny = j ;mx = i，ny = j+8 ;mx = i，ny = j 进行如下计算： hist (t) = hist(t)+WEIGHT1(mx, ny)*gradweight_low ； hist (t+9) = hist(t+9)+WEIGHT2(mx, ny)*gradweight_low ； hist(t+18) = hist(t+18)+WEIGHT3(mx, ny)*gradweight_low ； hist (t+27) = hist(t+27)+WEIGHT4(mx, ny)*gradweight_low ； 然后取出当前像素的上相邻区间，用权重gradweight_hig重复以上过程，当一个 block的his计算完毕后，利用公式
对其直方图进行归一化，所有cell计算完成后， 整幅图像的block计算完成； 步骤7 :在原始图像上滑动检测窗口，三个窗口的大小分别为24*48, 32*64,40*80， 根据窗口的位置，依次取出相应的block的归一化直方图newhist，且最后插入一个数值 1，将此数组和SVM参数进行点乘，如果结果result_windows大于0,则将其记录到当前 窗口的windows_result，并对以其为中心的9个窗口的累积结果windows_lei ji都加上 tl*result_windows，最终每个窗 口的结果为：t2*windows_result+t3*windows_lei ji ;如 果此值大于判决门限，则记录此窗口左上角的坐标和长宽，一帧图像计算完毕后，将记录窗 口 的结果上传给 DSP，且令 windows_leiji = t4*windows_leiji，通过 tl，t2 和 t3 调节窗 口的累积效果，通过t4调节目标跟踪效果； 步骤8 :将步骤7上传的窗口进行合并，形成和别的窗口都没有重叠的独立窗口； 步骤9 :利用步骤2中计算的每个单元的最大灰度信息和平均灰度信息在DSP中结合 人体形态学对行人做进一步的筛选； 步骤10 :按照一定比例缩小目标窗口，并在图像上用方框标出目标。
2. 按照权利要求1所述多模板轮廓特征和灰度相结合的红外图像实时行人检测，其特 征在于：所述步骤8中形成和别的窗口都没有重叠的独立窗口过程为如果一个窗口和别的 窗口有重叠，则合并成一个包括这两个窗口的大窗口。
3. 按照权利要求1所述多模板轮廓特征和灰度相结合的红外图像实时行人检测，其特 征在于：所述步骤9的筛选过程为：对于步骤6中设置的门限为0. 1，利用步骤2中计算的 灰度信息在DSP中结合人体形态学对行人做进一步的筛选，首先窗口的上1/4的中心应该 大于一个最大亮度的阈值，此阈值因为人的头部，亮度比较大进行设定，以窗口中点为中心 的宽度等于1/2窗口宽度，高度等于3/4窗口高度内平均灰度的方差大于一个阈值，此阈值 考虑人的衣着，和轮胎，电线杆等统一亮度的物体进行区别，且水平方向上大于一定门限值 的宽度和电线杆等细长物体进行区分。
【文档编号】G06K9/66GK104050481SQ201410266907
【公开日】2014年9月17日 申请日期:2014年6月17日 优先权日:2014年6月17日
【发明者】权东晓, 何先灯, 朱畅华, 易运晖, 陈南, 裴昌幸, 赵楠 申请人:权东晓, 何先灯, 朱畅华