专利名称：基于机器视觉的行人安全状态识别系统的制作方法
技术领域：
本发明涉及一种利用车载图像处理装置检测车辆前方行人并进行安全状态识别 的方法，更具体地说，本发明涉及一种基于机器视觉的行人安全状态识别方法。
背景技术：
混合交通是我国交通的重要特征，道路上机动车、自行车、行人冲突严重，处于弱 势地位的行人安全隐患相对较大。据公安部交通管理部门统计，2000年后我国交通死亡人 数平均每年逾10万，受伤人数约50万，其中60%以上为行人和骑自行车者。因此，开发行 人安全保护系统对于减少交通事故，保障交通安全具有重要的意义。目前的行人安全保护 机制包括汽车的被动安全和主动安全机制。被动安全机制主要包括行人安全气囊系统等， 它是在行人与车辆碰撞不可避免时，启动车辆前方的行人安全气囊，降低行人与车辆碰撞 的伤害程度。汽车被动安全技术虽然在一定程度上降低了行人的受伤害程度，但不能从根 本上避免行人和车辆碰撞事故。而车辆智能主动安全保障系统等主动安全技术，是利用安 装在车辆上的传感器检测并识别车辆前方的行人，当出现潜在冲突时，进行自动报警，避免 车辆与行人相撞，从根本上保证行人安全。国内外学者对基于视觉的行人检测与识别技术 进行了大量研究，尽管取得了一些成果，但离应用于实际的行人安全预警要求尚有较大差 距，主要体现在绝大多数仍停留在行人检测与识别方法方面，缺少进一步对行人安全状态 判别的研究，无法根据行人的安全状态制定相应的车辆驾驶行为智能控制决策；在车辆、行 人发生冲突时，行人主观行为是判定行人安全状态不容忽视的一项信息。现有方法没有对 潜在冲突下行人交通行为的表达与分析进行研究，缺乏行人行为模式的判别与预测。因此 行人安全状态识别技术有待进一步深入研究。
发明内容
本发明所要解决的技术问题是现有技术无法根据行人的安全状态制定相应的车 辆驾驶行为智能控制决策的问题，提供了一种基于机器视觉的行人安全状态识别方法。为解决上述技术问题，本发明是采用如下技术方案实现的所述的种基于机器视 觉的行人安全状态识别方法包括如下步骤1.车载动态视频图像的采集安装在车辆前端的摄像机实时采集车辆前方的行人图像，并将行人图像实时传输 给安装有图像处理系统的计算机；2.车辆前方感兴趣区域行人检测与识别；3.运动行人跟踪；4.车辆前方行人距离检测计算；5.车辆实时速度获取利用轮速传感器获取的非驱动轮速乘以车轮滚动半径计算得到车辆运动速度；6.行人安全状态识别。
技术方案中所述的车辆前方感兴趣区域行人检测与识别包括如下步骤1.图像像素梯度方向计算对于图像中的任意点(X，y)的采用水平梯度算子[_1，0，1]计算水平方向梯度值 Gh(x, y)和垂直梯度算子[_1，0，1]τ计算垂直方向梯度值Gv(x，y)Gh(x, y) = f(x+l, y)-f(x-l, y) ;Gv(x, y) = f(x, y+l)-f(x, y-1)由此可得点(χ, y)的梯度强度M(x，y)和梯度方向θ (χ, y)分别为
^r κ ^ ν…、~3—TTiο θ{χ,γ) = arctan( hKX,y))2.统计图像梯度方向直方图(Histogram of Oriented Gradients, HOG)首先计算图像中每个单元和每个块内各个方向的梯度值分布，然后将梯度方向定 在0°到180°上分为9段，统计其梯度方向直方图，采用的单元大小为8*8的像素区域，每 个块包含2 个单元，并且一个块的扫描区域移动步长为一个单元的大小，具体的HOG特征 提取如下1)统计一个单元上的梯度直方图，即按照梯度值在梯度方向上的投影值累积画 出；2)统计一个块上的梯度直方图，将单元上的梯度直方图串联起来；3)使用二范数归一化每个块的梯度直方图，以此来消除光照的过大影响；4)统计一个行人检测样本的HOG特征，即将一个检测样本上的所有块直方图串联起来。3.行人样本与非行人样本的训练计算每个行人和非行人检测样本的HOG特征，采用SVM分类器将行人和非行人两 类样本特征向量映射到一个高维的空间里，并构建一区分两类样本的最优分类器。4.感兴趣区域设定及行人的检测与识别由于只检测识别道路前方的行人，对所拍摄图像只针对行人可能出现的区域做处 理，采用多尺度变换方法对图像不同尺寸大小的区域进行扫描，对每一个单元按比例缩放 后统计此区域内的梯度方向直方图，利用SVM分类器判断每一个区域HOG特征是否为可以 匹配为行人样本HOG特征。技术方案中所述的运动行人跟踪包括如下步骤1.特征表达令M*N为分割的二值图像，任意一个前景目标R中像素点的f(i，j)均为1，则R的 重心C坐标(χ。，y。)可定义为
权利要求
1.一种基于机器视觉的行人安全状态识别方法，其特征在于，所述的基于机器视觉的 行人安全状态识别方法包括如下步骤1)车载动态视频图像的采集安装在车辆前端的摄像机实时采集车辆前方的行人图像，并将行人图像实时传输给安 装有图像处理系统的计算机；2)车辆前方感兴趣区域行人检测与识别；3)运动行人跟踪；4)车辆前方行人距离检测计算；5)车辆实时速度获取利用轮速传感器获取的非驱动轮速乘以车轮滚动半径计算得到车辆运动速度；6)行人安全状态识别。
2.按照权利要求1所述的基于机器视觉的行人安全状态识别方法，其特征在于，所述 的车辆前方感兴趣区域行人检测与识别包括如下步骤1)图像像素梯度方向计算对于图像中的任意点(x，y)的采用水平梯度算子[_1，0，1]计算水平方向梯度值(}h(x， y)和垂直梯度算子[_1，0，1]τ计算垂直方向梯度值Gv(x，y)Gh(x, y) = f(x+l, y)-f(x-l, y) ;Gv(x, y) = f(x, y+l)-f(x, y-1)由此可得点(x，y)的梯度强度M(x，y)和梯度方向θ (χ, y)分别为M(X,y)^Gv(X,yf+Gh(X,yf ；吵，力“^^)2)统计图像梯度方向直方图首先计算图像中每个单元和每个块内各个方向的梯度值分布，然后将梯度方向定在 0°到180°上分为9段，统计其梯度方向直方图，采用的单元大小为8*8的像素区域，每个 块包含2 个单元，并且一个块的扫描区域移动步长为一个单元的大小，具体的HOG特征提 取如下(1)统计一个单元上的梯度直方图，即按照梯度值在梯度方向上的投影值累积画出；(2)统计一个块上的梯度直方图，将单元上的梯度直方图串联起来；(3)使用二范数归一化每个块的梯度直方图，以此来消除光照的过大影响；(4)统计一个行人检测样本的HOG特征，即将一个检测样本上的所有块直方图串联起来；3)行人样本与非行人样本的训练计算每个行人和非行人检测样本的HOG特征，采用SVM分类器将行人和非行人两类样 本特征向量映射到一个高维的空间里，并构建一区分两类样本的最优分类器；4)感兴趣区域设定及行人的检测与识别由于只检测识别道路前方的行人，对所拍摄图像只针对行人可能出现的区域做处理， 采用多尺度变换方法对图像不同尺寸大小的区域进行扫描，对每一个单元按比例缩放后统 计此区域内的梯度方向直方图，利用SVM分类器判断每一个区域HOG特征是否为可以匹配 为行人样本HOG特征。
3.按照权利要求1所述的基于机器视觉的行人安全状态识别方法，其特征在于，所述的运动行人跟踪包括如下步骤1)特征表达令M*N为分割的二值图像，任意一个前景目标R中像素点的f(i，j)均为1，则R的重 心C坐标(x。，y。)可定义为
4.按照权利要求1所述的基于机器视觉的行人安全状态识别方法，其特征在于，所述 的车辆前方行人距离检测计算包括如下步骤1)假定世界坐标系原点位于地平面上且位于摄像机坐标系原点的正下方；用三脚 架将摄像机固定于车辆前挡风玻璃处，量测摄像机光心离地高度为α米，有如下关系:
5.按照权利要求1所述的基于机器视觉的行人安全状态识别方法，其特征在于，所述 的行人安全状态识别包括如下步骤1)临界冲突区域构建；2)相对运动过程中行人位于冲突区域外安全状态判别；(1)行人的运动轨迹不能进入冲突区域则行人处于安全状态；(2)如果行人的运动轨迹进入冲突区域时，与机动车的距离小于安全距离，则行人处于 危险状态；(3)如果行人的运动轨迹进入冲突区域时，与机动车的距离大于安全距离，则行人处于 安全状态；3)相对运动过程中行人位于冲突区域内安全状态判别处理；在实际交通中，考虑到车身有一定的宽度且制动以及反应需要一定时间，同时考虑到 行人与机动车相对位置的不同，需要分别进行判断处理(1)对行人已经处在冲突区域，若行人离开冲突区域而未进入危险区域，则不需要采取 制动措施；(2)若行人进入危险区域，则需要采取紧急制动或采取其他措施避免发生事故发生；(3)若行人仍将留在冲突区域中，则需要根据行人与机动车的相对位置进行分类处理行人P1虽然在冲突区域中，但由于有足够的距离，机动车不需要采取措施；行人P2在缓 冲区域中，机动车应该采取相应措施避免其进入危险区域，由此可得式行人不离开冲突区域y>d + d' 机动车与行人有足够安全距离，不需要采取措施d < y < d + d,行人己进入缓冲区，机动车需采取相应措施式中y为坐标系内纵坐标值；d为安全距离；d'为缓冲距离。
6.按照权利要求5所述的基于机器视觉的行人安全状态识别方法，其特征在于，所述 的临界冲突区域构建包括如下步骤1)以机动车为参考基准，建立相对坐标系y'-χ'，则机动车相对静止，行人以相对速度.卩2运动；
全文摘要
本发明公开了基于机器视觉的行人安全状态识别方法，旨在克服现有技术存在无法根据行人的安全状态制定相应的车辆驾驶行为智能控制决策的问题。该方法包括如下步骤车载动态视频图像的采集；车辆前方感兴趣区域行人检测与识别；运动行人跟踪；车辆前方行人距离检测计算；车辆实时速度获取；行人安全状态识别。其中行人安全状态识别包括如下步骤临界冲突区域构建；相对运动过程中行人位于冲突区域外安全状态判别；相对运动过程中行人位于冲突区域内安全状态判别。根据上述的步骤利用视觉传感器获取的机动车与行人的相对速度以及相对位置，预测出行人是否会进入危险区域，并采取相应的策略避免发生事故。辅助驾驶员采取措施避免与行人发生碰撞。
文档编号G08G1/16GK102096803SQ20101056155
公开日2011年6月15日 申请日期2010年11月29日 优先权日2010年11月29日
发明者宋现敏, 曲昭伟, 李志慧, 江晟, 胡宏宇, 胡金辉, 薛冠超, 陈永恒, 魏巍, 魏福禄 申请人:吉林大学