汽车防撞行人智能装置与方法

专利名称：汽车防撞行人智能装置与方法
技术领域：
本发明涉及的是一种自动控制技术领域的装置与方法，具体是一种汽车防撞行人
智能装置与方法。
背景技术：
车辆在道路上行驶过程难免要遇到行人横穿道路或者其它障碍物的情形。众所 周知，因为驾驶员的疏忽，往往酿成惨祸，特别是行人横穿城市道路斑马线或横穿乡村道路 时。要彻底铲除此类交通事故的发生，很重要的一点是在于提升车辆的自动化和智能化技 术水平。基于图像信息的车辆智能防撞技术就是其中的有效手段之一。 经对现有技术文献的检索发现，王运韬的发明专利"汽车主动与被动保护充气式 防撞安全气囊"(专利号200810231666. 2)公开了一种汽车主动与被动保护充气式防撞安 全气囊，属于汽车在行驶中的安全保护装置，结构是车体前安装毫米波雷达和碰撞传感器， 汽车在行驶中当出现障碍物或车辆偏离道路时，能报警或语言提醒驾驶员、安全带自锁保 护、后尾灯闪亮和自动刹车主动保护，车辆在发生碰撞时发动机护盖气囊升起并将挡风玻 璃遮盖，安全带气囊或方向盘气囊、侧气囊、车窗气帘和后追尾气囊同时打开，打开后的有 效工作时间为3000毫秒，形成被动保护充气式防撞安全气囊，对道路行人、车内乘员、驾驶 员、车辆、物体及追尾车辆起到缓冲吸能保护作用，以最大程度减少人员伤亡、车辆及物体 因碰撞带来的损失。但是该技术存在以下缺点 (1)采用毫米波雷达虽然能够探测车辆前方的障碍物，但是毫米波雷达用于汽车 防撞显然受到一定程度的技术限制，因为当采用大功率雷达信号时，车辆将会经常出现误 报，比如车辆转弯时，就因为探测到路边的障碍物而频繁地产生误报；如果降低雷达信号 的发射功率，又会使得该技术只能适用于低速、近距离探测，显然不适用于高速行驶中的车辆。 (2)依靠"碰撞传感器"来启动"气囊"的泄放，这是一种极为被动和接触式的防撞 技术。采用这种方法，一旦发生碰撞只能减轻被撞者的伤亡程度，显然这是一种万不得已的 方法，何况从整个发明思想来看，其保护的重点在于司乘人员的人身安全，而并没有将路上 行人放在首要地位来考虑。 (3)"有效工作时间为3000毫秒"这是汽车防止碰撞所绝对不允许的"作用时间"， 假定发生碰撞前的车速为60km/h，经过"3000毫秒"的作用，车辆已经"滑出"50m，可以想 象此时汽车对被撞物的破坏性作用有多么巨大！

发明内容
本发明的目的在于克服现有技术中的上述不足，提供一种汽车防撞行人智能装置 与方法。本发明确保车辆在行驶过程， 一旦前方有行人出现，车辆能够及时减速或刹车，而 且能够做到识别与控制的准确性和快速性，因此从根本上提升汽车驾驶的自动化技术水 平，有效避免交通事故的发生。
本发明是通过以下技术方案实现的 本发明涉及的汽车防撞行人智能装置，包括双目针孔摄像头、信号处理器、车速 操控机构和语音提示器，其中双目针孔摄像头设置在车辆前方远视灯的内侧，双目针孔摄 像头的输出端分别与信号处理器的输入端相连传输道路景物图像模拟信息，信号处理器输 出端分别与车速操控机构和语音提示器相连传输控制决策信息和音响警示信息。
所述的双目针孔摄像头包括两个针孔摄像头，其中第一针孔摄像头设置在车 辆左前方远视灯的内侧，第二针孔摄像头设置在车辆右前方远视灯的内侧，两个针孔摄像 头的光轴平行，且两个针孔摄像头分别与信号处理器相连传输道路景物图像模拟信息。
所述的信号处理器包括两个图像输入接口、两个模数转换模块、图像处理模块、 车速信号输入接口和输出接口 ，其中第一图像输入接口的输入端与第一针孔摄像头的输 出端相连传输模拟图像信号，第二图像输入接口的输入端与第二针孔摄像头的输出端相连 传输模拟图像信号，第一图像输入接口的输出端与第一模数转换模块的输入端相连传输模 拟图像信号，第二图像输入接口的输出端与第二模数转换模块的输入端相连传输模拟图像 信号，两个模数转换模块的输出端口分别与图像处理模块的输入端相连传输数字图像信 号，车辆的速度传感器与车速信号输入接口的输入端相连传输数字车速信号，车速信号输 入接口的输出端与图像处理模块的输入端相连传输数字车速信号，图像处理模块的输出端 与输出接口的输入端相连传输控制决策指令，输出接口的输出端分别与车速操控机构和语 音提示器相连传输控制决策信息和音响警示信息。 所述的车速操控机构，包括车控输入接口、第一数模转换器、功率放大器、电磁阀 和电动刹车推杆，其中车控输入接口与第一数模转换器的输入端相连传输车速控制指令， 第一数模转换器的输出端与功率放大器的输入端相连传输车速控制电压信号，功率放大器 的输出端分别与电磁阀和电动刹车推杆相连传输电功率信号。 所述的电磁阀包括电磁线圈、电磁铁芯、阀门、阻力弹簧和阀体，其中电磁线圈 套在电磁铁芯的外面，电磁线圈的两个端点与功率放大器的输出端连接，阀门和阻力弹簧 位于阀体上，阻力弹簧套在阀门上，受电时通过电磁铁芯产生磁力对阀门产生磁性吸力，随 着加在电磁线圈两端点电压的大小变化，电磁铁芯的磁性吸力同时产生变化，电磁铁芯的 磁性吸力作用于阀门且拉动阀门以改变阀门的开度，阻力弹簧是一种拉伸弹簧，阀门在电 磁铁芯磁性吸力拉动的同时，阻力弹簧也同时受到拉伸，因此产生一个与电磁铁芯磁性吸 力相反的弹性力，当电磁铁芯磁性吸力和阻力弹簧弹力达到平衡时，阀门就被停止拉动，即 停止在与加在电磁线圈两端点电压相对应的一个阀门开度。 所述的电动刹车推杆，包括电刹车线圈与电磁推杆，其中电刹车线圈套装在电 磁推杆的一端，电磁推杆的另一端与汽车的脚踏刹车杆杠机构相连，电刹车线圈的两端分 别与功率放大器相连。当电刹车线圈受电时，电刹车线圈所产生的电磁场对套装在电刹车 线圈内的推杆产生轴向机械推力，该轴向机械推力作用在脚踏刹车杆杠机构的电动推杆作 力点上，通过杆杠机构起到与脚踏刹车同样的效果使车辆自动刹车。 所述的语音提示器，包括语音输入接口、译码器、数字语音模块、第二数模转换 器、功率放大模块和扬声器，其中语音输入接口的输入端与信号处理器的输出接口相连接 收音响警示信息，语音输入接口的输出端与译码器的输入端相连传输音响警示指令，译码 器的输出端与数字语音模块的输入端相连传输寻址指令，数字语音模块的输出端与第二数模转换器的输入端相连传输数字语音信号，第二数模转换器的输出端与功率放大模块的输 入端相连传输模拟语音信号，功率放大模块的输出端与扬声器的输入端相连传输模拟语音 电功率信号。
本发明涉及的上述汽车防撞行人智能装置的智能方法，包括以下步骤
步骤一，以Yw、 Zw构成水平面坐标，Xw垂直于水平面来建立世界坐标系，根据计算 机图像坐标系像素点坐标(u，v)和世界坐标系空间三维坐标(XW，YW， Zw)之间的关系，对双 目针孔摄像头进行参数标定。 步骤二，将信号处理器接收到的左、右两幅数字图像进行透视变换恢复到同一个
透视关系上，获得两幅图像形状一致的公共部分，并使得两幅图像在非重叠部分具有良好
的形状平滑连续性，将两幅图像根据公共部分重合原则进行拼接。 步骤三，根据得到的二维平面图像，确定移动物体所在区域。 所述的确定移动物体所在的区域是 1)将得到的二维平面图像分成M工XM2个单元，每个单元包含^XN2个像素，像素
点(u， v)的灰度等级Fuv为 其中f (i， j)为像素点(i， j)的灰度值，O《f (i， j)《L，O《Fuv《L， 0《u《M「NpO《v《M2-N2， L是灰度等级的总数； 2)将每帧图像的单元与其前一帧图像相同位置的单元进行对比，当
卜O时，移动物体的像素坐标是(p， q)。 其中Dre代表连续两帧相同位置单元的灰度等级差的绝对值，Fpq(t)是t时刻像 素点(P， q)的灰度等级，Fpq(t—"是(t-1)时刻像素点(p， q)的灰度等级，O《p《M「N「1， 0《q《M2-N2_l， r， s = _1，0， 1。 步骤四，根据OTSU(最大类间方差法)方法，得到每帧图像的克服灰度差异的阈值 k。 鉴于实时采集的序列图像，即使是同一景物也会由于自然环境的影响在色彩上呈 现出不同的对比度，亦即前后两帧可能在景物的同一部分取到不同的灰度值，因此对于每 帧图像都要计算该帧的灰度阈值k以确定灰度差异在何种程度下可以接受。该阈值k求取 采用0TSU方法。步骤五，将得到的前后两帧中移动物体的最小距离度量D(p， q)与克服灰
度差异的阈值k进行比较，当D(;^)〉l^:时，则像素点(p， q)所在的单元是运动区域的一
部分，对该单元进行标注，进而对移动物体的整个区域进行标注。 所述的前后两帧中移动物体的最小距离度量D(p， q)的具体公式为
<formula>formula see original document page 6</formula>
或<formula>formula see original document page 7</formula>
或<formula>formula see original document page 7</formula>
其中Xp+i,q+j为像素点(p， q)所在的单元移动前图像向量，Yp+i,q+j为像素点(p， q) 所在的单元移动后图像向量。 步骤六，根据移动物体的标注点，得到移动物体与车辆的距离。 所述的移动物体与车辆的距离是分别将移动物体的标注点在左、右视图中的像 素坐标(Ul， Vl)和(ur， vr)转换为世界坐标(Xwl， Ywl， Zwl)和(XWr， YWr， Zft)，再利用空间中值
法得到移动物体空间坐标的最优近似值(f『，^,z『)，得到的l^4就是被检测到的移动物体
与车辆的实际距离值。 步骤七，信号处理器根据得到的移动物体与车辆的距离信息，对车速操控机构和 语音提示器发出控制指令，警示驾驶员注意前方路况，并通过车速操控机构自动使车辆减 速并停止在移动物体之前。 步骤八，在车辆行驶的过程中，不断依次重复步骤二到步骤七，保障车辆安全行 驶。 与现有技术相比，本发明具有如下有益效果能够对路面状况进行自动检测，一 旦发现过路行人或其他移动物体，装置就会立即发出控制指令，警示驾驶员注意前方路况， 并自动使车辆减速和刹车，确保了行车安全；具有对前方突然出现的行人或车辆进行刹车 或避让的功能，因此能够明显降低碰撞行人和其他移动物体而引发道路交通事故发生的概 率，在保障车辆行驶安全方面进一步提高了车辆的自动化和智能化水平。


图1为本发明系统结构示意图。
图2为本发明中双目针孔摄像头在汽车上的设置位置结构示意图。 图3为本发明信号处理器结构示意图。 图4为本发明的车速操控机构示意图。 图5为本发明的语音提示器结构示意图。 图6为实施例摄像头几何模型图。 图7为实施例外极几何图。 图8为实施例摄像头参数标定板。 图9为实施例左、右视图合成实例图； 其中(a)为第一时刻出现的行人通过道路图像；(b)为第二时刻出现的行人通过 道路图像；(c)为第三时刻出现的行人通过道路图像；(d)为第四时刻出现的行人通过道路 图像；(e)为第五时刻出现的行人通过道路图像；(f)为第六时刻出现的行人通过道路图像。
图10为实施例图像格式化示意图。
图11为实施例标注点形成的矩状移动块示意图； 其中(a)为标注点第一时刻在计算机图像坐标系上位置，(b)为标注点第二时刻在计算机图像坐标系上位置，(c)为前后两个时刻的标注点在计算机图像坐标系上位置所 构成的矩形框。 图12为实施例识别加速的流程框图。
具体实施例方式
下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案为前 提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下 述的实施例。 如图1和图2所示，本实施例涉及的汽车防撞行人智能装置，包括第一针孔摄像 头1、第二针孔摄像头2、信号处理器3、车速操控机构4和语音提示器5，其中第一针孔摄 像头1设置在车辆左前方远视灯内侧，第二针孔摄像头2设置在车辆右前方远视灯内侧，两 个针孔摄像头的光轴平行，两个针孔摄像头的输出端分别与信号处理器3的输入端相连传 输道路景物图像模拟信息，信号处理器3的输出端分别与车速操控机构4的输入端和语音 提示器5的输入端相连传输控制决策信息和音响警示信息。
所述的针孔摄像头是CMOS摄像头。 如图3所示，所述的信号处理器3，包括第一图像输入接口 31、第二图像输入接 口 32、第一模数转换模块33、第二模数转换模块34、图像处理模块35、车速信号输入接口 36和输出接口 37，其中第一图像输入接口 31的输入端经视频电缆与第一针孔摄像头1的 输出端相连传输模拟图像信号，第二图像输入接口 32的输入端经视频电缆与第二针孔摄 像头2的输出端相连传输模拟图像信号，第一图像输入接口 31的输出端与第一模数转换模 块33的输入端相连传输模拟图像信号，第二图像输入接口 32的输出端与第二模数转换模 块34的输入端相连传输模拟图像信号，两个模数转换模块的输出端口分别与图像处理模 块35的输入端相连传输数字图像信号，车辆的速度传感器与车速信号输入接口 36的输入 端相连传输数字车速信号，车速信号输入接口 36的输出端与图像处理模块35的输入端相 连传输数字车速信号，图像处理模块35的输出端与输出接口 37的输入端相连传输控制决 策指令，输出接口 37的输出端分别与车速操控机构4和语音提示器5相连传输控制决策信 息和音响警示信息。 所述的图像处理模块35是信号处理器3中的核心技术模块，承担图像信息的处 理、识别与决策的整个运算过程。 如图4所示，所述车速操控机构4，包括车控输入接口 41、第一数模转换器42、功 率放大器43、电磁阀44和电动刹车推杆45，其中车控输入接口 41的输入端与信号处理器 3的输出接口 37相连传输控制决策信息，车控输入接口 41的输出端与第一数模转换器42 的输入端相连传输车速控制指令信息，第一数模转换器42的输出端与功率放大器43的输 入端相连传输车速控制电压信号，功率放大器43的输出端分别与电磁阀44和电动刹车推 杆45相连传输电功率信号。 所述的电磁阀44包括电磁线圈46、电磁铁芯47、阀门48、阻力弹簧49和阀体50 五个部分，其中电磁线圈46套在电磁铁芯47的外面，电磁线圈46的两个端点与功率放大 器43的输出端连接，阀门47和阻力弹簧49位于阀体50上，阻力弹簧49套在阀门48上， 受电时通过电磁铁芯47产生磁力对阀门48产生磁性吸力，随着加在电磁线圈46两端点电压的大小变化，电磁铁芯47的磁性吸力同时产生变化，电磁铁芯47的磁性吸力作用于阀门
48、拉动阀门48以改变阀门48的开度，阻力弹簧49是一种拉伸弹簧，阀门48在电磁铁芯
47磁性吸力拉动的同时，阻力弹簧49也同时受到拉伸，因此产生一个与电磁铁芯47磁性吸
力相反的弹性力，当电磁铁芯47磁性吸力和阻力弹簧49弹力达到平衡时，阀门48就被停
止拉动，即停止在与加在电磁线圈46两端点电压相对应的一个阀门开度。
所述的电动刹车推杆45，包括电刹车线圈与电磁推杆，其中电刹车线圈套装在
电磁推杆的一端，电磁推杆的另一端与脚踏刹车杆杠机构连接，当电刹车线圈受电时，电刹
车线圈所产生的电磁场对套装在电刹车线圈内的推杆产生轴向机械推力，该轴向机械推力
作用在脚踏刹车杆杠机构的电动推杆的作力点上，通过杆杠机构起到与脚踏刹车同样的效
果使车辆自动刹车。 所述的车速操控机构4的工作原理是车辆正常行驶中，电磁阀44处于全开状态， 即开度为100% ;当本实施例装置识别出的道路存在行人或其它移动物体时，电磁线圈46 在输入电压信号的作用下，电磁铁芯47产生磁力拉动阀门48减小其原有开度，因此减小了 燃料的流量，迫使车辆降速；同时，电刹车线圈也在输入电压信号的作用下，对电磁推杆产 生轴向推力通过杆杠机构的力矩传递带动汽车的脚刹车迫使车辆逐渐减速并最终停止下 来。 如图5所示，所述语音提示器5，包括语音输入接口 51、译码器52、数字语音模块 53、第二数模转换器54、功率放大模块55和扬声器56 ;其中语音输入接口 51与信号处理 器3的输出接口 37相连传输音响警示信息，语音输入接口 51的输出端与译码器52的输入 端相连传输音响警示信息，译码器52的输出端与数字语音模块53的输入端口相连传输寻 址指令，数字语音模块53的输出端口与第二数模转换器54的输入端相连传输数字语音信 号，第二数模转换器54的输出端与功率放大模块55的输入端相连传输模拟语音信号，功率 放大模块55的输出端与扬声器56的输入端相连传输模拟语音电功率信号。当语音提示器 5的语音输入接口 51接收到控制指令后，经过译码器52的解释，链接数字语音模块53中的 相关语音单元，将链接后的语音单元序列依次输至第二数模转换器54转换为语音模拟信 号，再将语音模拟信号输至功率放大模块55，经功率放大后驱动扬声器56发出相应的语音 提示。 本实施例涉及的上述汽车防撞行人智能装置的智能方法，包括以下步骤
步骤一，以Yw、 Zw构成水平面坐标，Xw垂直于水平面来建立世界坐标系，根据计算 机图像坐标系像素点坐标(u，v)和世界坐标系空间三维坐标(XW，YW， Zw)之间的关系，对双 目针孔摄像头进行参数标定(包括内、外参数的标定)。 如图6所示，本实施例中采用的摄像头几何模型，表达了空间点坐标在计算机图 像坐标系OuvUv、物理图像坐标系oxy、摄像机坐标系Q。x。y。z。和世界坐标系0wXwYwZw中的相 互转换关系，即映射关系；其中 1)计算机图像坐标系OuvUV，原点Ouv位于摄像头图像平面的左上角，u和v分别表 示像素位于数组的列数和行数，单位为Pixel (像素)； 所述的计算机图像坐标系，又称为归一化虚平面图像坐标系，是指沿光轴在与摄 像机光学成像平面形成对称的平面称为虚平面，在其上所建立的坐标系称为虚平面图像坐 标系，将图像像素特征量进行归一化后在虚平面坐标系上的表达称为图像的归一化虚平面坐标系表达，使用归一化表达的虚平面坐标系所处平面，又称为归一化虚平面。
2)物理图像坐标系oxy，原点(即主点o)定义在摄像头光轴与物理图像平面的交 点，x、y轴分别与u、v轴平行；Pu(Xu， yu)表示针孔模型下P点的理想图像坐标，pd(xd， yd)是 由透镜径向畸变引起的偏离Pu(Xu， yu)的实际图像坐标； 3)摄像机坐标系0。x^z。，原点 定义在摄像机的光心，xc、 yc轴分别平行于x、 y 轴，z。轴与光轴重合。o。o为摄像机的有效焦距f ， (x。， y。， z。)表示物点P在摄像机坐标系 下的三维坐标； 4)世界坐标系0wXwYwZw，根据具体环境来定，(Xw， Yw， Zw)表示物点P在世界坐标系 下的三维坐标。 如图7所示，针对双目视觉系统从两个角度观测同一个点，寻求两个成像点之间 的外极线约束的相关几何学问题，被称为外极几何。图7中，两个针孔摄像头平行摆放，P、 P*分别为左目摄像头和右目摄像头观测的两个三维空间共同点，Op 分别为左、右摄像机 的光心；ei、 er分别为左、右像面上的外极中心；P点在左、右摄像机的归一化虚成像平面上
的成像点分别为P^A h l]t和pJXr L 1]t，对于共同观测点P的左、右两条外极线分别通 过点和P。 ；P*点在左、右摄像机的归一化虚成像平面上的成像点分别为Pl*[Xl* yi*
1]T和p/[x/ l]t，对于共同观测点P*的左、右两条外极线分别通过点PA ei和P/、 。
所述摄像头的参数标定，包括摄像头内、外参数的标定。计算机视感检测技术是从 摄像头获取的图像出发，计算空间中物体的几何信息，从而识别、理解或重构空间物体，而 空间物体的几何信息是由摄像头成像的几何模型参数和摄像头所处的位姿参数(位置与 姿态参数)所决定的，在大多数条件下这些参数必须通过实验和计算得到，这个过程称为 标定过程。对于计算机视感系统，不同的系统有着不同的精度要求，所要标定的参数也不相 同，因此采用的标定方式和过程也不同。若需要较高的测量精度，则需采用较复杂的成像模 型，并且在标定过程中需要高精度的辅助标定参照物。 根据计算机图像坐标系像素点坐标(u， v)和世界坐标系空间三维坐标(Xw， Yw， Zw) 之间的关系
<formula>formula see original document page 10</formula> 其中，p = [u v]t， u和v分别表示像素位于数组的列数和行数，单位为pixel ;P =[Xw Yw ZW]T， Xw、 Yw、 Zw分别代表公共角点的竖直高度、横向宽度和纵向长度坐标值，表达 空间坐标的世界坐标系遵循右手定则，并将坐标原点定在第一 (或第二)针孔摄像头的光 心位置，因此，代表竖直高度的Xw为负值时，表明该空间点高出地面，否则低于地面；代表纵
向长度坐标值的Zw表明被测空间点与当前车辆的距离，且为负值；S为世界坐标系中空间
点映射到摄像头坐标系(x。，y。，z。)中z。轴上的分量，其数值等于(公式一)右边计算结果
<formula>formula see original document page 10</formula>
到物理成像平面的等比例縮放矩阵，其縮放的比例(逻辑焦距)和实际焦距f有关，单位为
/m"， fx、 fv称为u轴和v轴上的尺度因子，(cx， cv)为主点o (即物理图像坐标系oxy
所得到的三维列向量中的第三元素值；K =
为三维点坐标从归一化成像平面的原点)的像素坐标，又称主点坐标，矩阵K参数被称为摄像机内参数；R二
<formula>formula see original document page 11</formula>
，R中的矩阵元素A称为摄像头旋转参数，t中列向量元素称为摄像机的平移参数，
R与t的参数统称为摄像头的外参数。 所述的外部参数，包括R和t，共12个，但因R为单位正交矩阵，满足6个正交约 束，故只有6个外部参数需要标定，加上内部参数f、 、、 Sx和cx、 Cy，总共有11个参数需要 标定。 如图8所示，本实施例采用方格模板标定法，具体是 1)双目针孔摄像头的内、外参数标定具体采用7X6的方格模板，每个小方格尺寸 为25mmX25mm ;在车辆停驶状态下，将方格模板竖立于世界坐标系的0XwYw平面上；两个针 孔摄像头分别对方格模板拍摄若干幅图像； 2)取每幅模板图像中的小方格正方形的四个顶点作为特征点，每幅模板共有56 个点，根据所选择的世界坐标系M二 [Xw Yw Zw]T测出每个特征点的世界坐标
Mi = [XWi Y 0]T = [XWi YWi]T ;i = 1，2，…，56 ; 3)将方格模板中第五行的7个特征点作为三维重建点，其余49个特征点作为标定 点； 4)两个针孔摄像头分别通过各自所拍摄到的模板图像中的49个特征点坐标代入 (公式一)，利用外参数矩阵[R t]中列向量相互正交特性及其约束条件，得到全部外参数；
5)根据外参数矩阵[R t]，得到与三维重建点相对应的7个特征点坐标
=[^『，4了 G = l,2，...,7)，将该7个特征点坐标计算值与上述7个三维重建点坐标
4『(/ = 1，2,...,7)进行比较，
6)根据相差最小目标函数
-力M,-化
《e时，就认 分别对两个针孔摄像头外参数标定结果做出标定误差评价，当Qm 为标定达到要求；e是设定的一个常数，本实施例取e =0.01。 步骤二，将信号处理器3接收到的左、右两幅数字图像进行透视变换恢复到同一 个透视关系上，获得两幅图像形状一致的公共部分，并使得两幅图像在非重叠部分具有良 好的形状平滑连续性，将两幅图像根据公共部分重合原则进行拼接。 本实施例左、右两幅数字图像的合成图如图9所示，其中图9(a)为第一时刻出现 的行人通过道路图像；图9(b)为第二时刻出现的行人通过道路图像；图9(c)为第三时刻 出现的行人通过道路图像；图9(d)为第四时刻出现的行人通过道路图像；图9(e)为第五 时刻出现的行人通过道路图像；图9(f)为第六时刻出现的行人通过道路图像。
步骤三，根据得到的二维平面图像，确定移动物体所在区域；
如图IO所示，本实施例将合成后的每幅二维平面图像进行网格化，即把它分成 M工Xi^个方形的象元，即单元。假定每个单元包含^XN2像素，每个单元的灰度等级Fuv为 Fw f' f'A"')(公式九) 其中，f(i， j)为像素点(i， j)的灰度值(0《f(i， j)《254，0《FUV《254)， 0《u《M「N" 0《v《M2-N2。 由于在同一背景下连续两帧图像之间，除了移动目标及其周围区域之外，其它区 域的灰度值相对变化不大，因此，选取K XN2的模板，比如3 X 3或5 X 5像素，将前后两帧图 像的对应部分以模板的大小为单位进行比对，根据两者之间差异可以确定出图像中是否出 现移动目标及其所处的区域。 如有连续采集的、大小为M工XM2的先后两帧图像，模板大小取为3X3像素，则按 顺序扫描，由当前帧的单元Fp,(t)与上一帧图像的单元Fp,—"比对得Draw = -l,O，l (公式十) 其中Dre代表连续两帧相同位置单元的灰度等级差的绝对值，Fpq(t)是t时刻像 素点(P， q)的灰度等级，Fpq(t—"是(t-1)时刻像素点(p， q)的灰度等级，O《p《M「N「1， 0《q《M2-N2_l， r， s = -l，O， 1。 当D > 0时，说明汽车前方正在出现移动物体，而且该移动物体处于计算机图像
坐标系中的像素坐标为(P，q);否则，说明汽车前方未出现移动物体。 步骤四，根据OTSU方法，得到每帧图像的克服灰度差异的阈值k。 鉴于实时采集的序列图像，即使是同一景物也会由于自然环境的影响在色彩上呈
现出不同的对比度，亦即前后两帧可能在景物的同一部分取到不同的灰度值，因此对于每
帧图像都要计算该帧的灰度阈值k以确定灰度差异在何种程度下可以接受。 所述OTSU方法又称最大类间方差法，是图像分割方法中基于点的全局阈值选取
法中的一种，诞生于1978年，作者是0tsu。 OTSU方法以最佳门限将图像灰度直方图分成目
标和背景两部分，使两部分类间方差取到最大值，即分离性最大。 采用OTSU方法求取阈值，具体方法如下 设图像灰度级为1 L(本实施例L = 255，灰度级即为1 255)，第1级灰度像 素数有&个(1 G [l，L])，总像素数N为 W = l>,(公式i^一 ) 则第1级灰度像素出现的概率P工为
P!二n"N (公式十二) 设灰度门限值为k，则图像灰度级按门限可以被分为两类C。与Q，具体为 图像总平均灰度级P为
A = ^/S (公式十四)
/=1o"o:
o川:
o"2:
o"3:
o"4: o"5: o"6: o"7: om:
o"9:
0120: 0121:
0122: 0123: 0124: 0125: 0126:
0127: 0128:
0129:
0130'
C。类的平均灰度级y 。、像素数N。分别为
<formula>formula see original document page 13</formula>
Q类的平均灰度级y i、像素数K分别为
(公式十七)
(公式十
<formula>formula see original document page 13</formula>
C。类图像所占比例W。为 沐0=^0:) = ^^ (公式十九) Q类图像所占比例巧为
W丄=ll。 (公式二十)
分别对C。、 Q作规范化处理得
<formula>formula see original document page 13</formula>(公式二i^一 )
则图像总均值P可化为
;"=W。p。 + "A (公式二十二 )
类间方差。2(k)为
o"2 (A:) = w。 (// — p。 )2 + (// - A )2 = w。w, (p。 — A )2 (公式二十三)
上式进一步简化为
(公式二十四)
其中1《k《L，且k为整数，使。2(k)最大的k即为所求的阈值，o2(k)称为目
标选择函数c
0131
通过上述公式十一 公式二十四的依次计算，即可求出每幅图像的克服灰度差异 的阈值k。
0132] 步骤五，将得到的前后两帧中移动物体的最小距离度量D(p， q)与克服灰度差异
的阈值k进行比较，当i)(;^)〉"时，则像素点(p，q)所在的单元是运动区域的一部分，对
该单元进行标注，如图11(a)所示；图11(b)为标注点单元在后时刻的运动位置；在标注的 过程中，同时进行比较，求出移动区域的上、下、左、右的边界点，从而得出矩状的移动块，如 图11(c)所示。 所述的前后两帧中移动物体的最小距离度量D(p， q)的具体公式为
<formula>formula see original document page 13</formula><formula>formula see original document page 14</formula>
其中Xp+i, q+j为像素点(p， q)所在的单元移动前图像向量，Yp+i, q+j为像素点(p， q)所在的单元移动后图像向量；或者说，Xp+i,q+j、 Yp+i,q+j分别为前后两个时刻所采集到的两 幅图像中的像素点(P， q)所在的单元子图的图像向量描述。所述图像向量，是考虑到任何 两幅图像中的对应单元子图所包含的NiXN2像素单元都可表示成NiXN2X 1维向量，分别 用向量Xpq和Ypq来表达，即Xpq与Ypq分别代表着不同的两幅图像中同样区域下单元子图的 NiXN2Xl维向量。 如图12所示，为了提高运算速度，还可以采用加速计算方法，具体如下 由于对每一帧图像都要进行OTSU阈值及与前一帧图像的相似度等复杂的计算，
如果不能在100ms内完成这些计算，方法将变得没有实用价值。因此，先把BMP位图文
件调入内存，然后以访问数组的方式对内存中的像素值逐个进行处理，则效率可以提高
几十倍。其中，图像识别中处理的图像是BITMAP结构的位图文件，它包括位图文件头
(BITMAPHEADER)数据结构、位图信息(BITMAPINFO)数据结构和位图阵列，其中位图阵列
记录了图像的每一个像素值，在非压縮格式中，位图中每一个点的像素值对应于位图阵列
的若干位，而位图阵列的大小由图像的宽、高及图像的每个像素所需位数决定。 设记录一个扫描行的像素值需n个字节，这时，位圏阵列的0 n-l个字节记录了
图像的第一个扫描行的像素值，n 2n-l个字节记录了图像的第二个扫描行的像素值。有
了关于BMP图像格式的信息之后，便在保存于内存中的图像数组的对应位置迅速读取到每
一个像素点的灰度值。 经过上述方法后，处理一帧图像所用的时间不超过30ms，达到快速、高效地满足实 时处理的要求。 步骤六，根据移动物体的标注点，得到移动物体与车辆的距离。 所述的移动物体与车辆的距离是分别将移动物体的标注点在左、右视图中的像
素坐标(Ul， Vl)和(ur， vr)转换为世界坐标(Xwl， Ywl， Zwl)和(XWr， YWr， Zft)，再利用空间中值
法得到移动物体空间坐标的最优近似值(f『,^，^^，得的P『l就是被检测到的移动物体与
车辆的实际距离值。 所述的空间中值法，具体方法如下 由于摄像机成像模型并非理想的小孔成像以及图像噪音的影响和标定参数的微 小误差，都会使得左、右视图中经换算获得的点坐标(XW1，YW1，ZW1)和(XWr，YWr，Zft)分别与透 视中心的连接直线未必相交于空间一点，而这两条直线又不可能平行，所以这两条直线势 必是异面直线；换句话说，一般情况下，(XW1，YW1，ZW1)与(Xft， Yft， Zft)不会完全重合，因此需 要采用对点坐标(Xwl， Ywl， Zwl)和(Xft， Yft， Zft)分别与透视中心的连接直线做公垂线，然后 在其上求取中值的方法最后获得物点空间坐标的最优近似，用(f『&,g。表示，最后求得的l^4就是被检测到的移动物体与车辆的实际距离值。 步骤七，信号处理器3根据得到的移动物体与车辆的距离信息，对车速操控机构4 和语音提示器5发出控制指令，警示驾驶员注意前方路况，并通过车速操控机构4自动使车 辆减速并停止在移动物体之前。 本实施例中以车辆在发现行人时刻的车速为60km/h为例，经检测获知当前行人 正于车辆前方10. 5m处欲通过道路，本实施例对图像信息的处理、识别、判定的全部过程使 用了 30ms时间，在此期间车辆仅向前行驶了 0. 5m ;30ms后，车辆已经开始减速并刹车，因此 能够准确地使汽车停止于斑马线前，让行人安全通过道路。 步骤八，在车辆行驶的过程中，不断依次重复步骤二到步骤七，保障车辆安全行 驶。 本实施例对于有若干个移动物体进入视场范围时，装置能够利用图像分割、匹配 与跟踪方法同时获知当前有若干个行人欲穿过前方道路的现场信息，同时装置就会立即发 出控制指令，警示驾驶员注意前方路况，并自动使车辆减速和刹车，确保了行车安全；此外 对前方突然出现的行人或车辆也能很好的进行刹车或避让，因此能够明显降低碰撞行人和 其他移动物体而引发道路交通事故发生的概率。
1权利要求
一种汽车防撞行人智能装置，其特征在于，包括双目针孔摄像头、信号处理器、车速操控机构和语音提示器，其中双目针孔摄像头设置在车辆前方远视灯的内侧，双目针孔摄像头的输出端分别与信号处理器的输入端相连传输道路景物图像模拟信息，信号处理器输出端分别与车速操控机构和语音提示器相连传输控制决策信息和音响警示信息。
2. 根据权利要求1所述的汽车防撞行人智能装置，其特征是，所述的双目针孔摄像头 包括两个针孔摄像头，其中第一针孔摄像头设置在车辆左前方远视灯的内侧，第二针孔 摄像头设置在车辆右前方远视灯的内侧，两个针孔摄像头的光轴平行，且两个针孔摄像头 分别与信号处理器相连传输道路景物图像模拟信息。
3. 根据权利要求1所述的汽车防撞行人智能装置，其特征是，所述的信号处理器，包 括两个图像输入接口 、两个模数转换模块、图像处理模块、车速信号输入接口和输出接口 ， 其中第一图像输入接口的输入端与第一针孔摄像头的输出端相连传输模拟图像信号，第 二图像输入接口的输入端与第二针孔摄像头的输出端相连传输模拟图像信号，第一图像输 入接口的输出端与第一模数转换模块的输入端相连传输模拟图像信号，第二图像输入接口 的输出端与第二模数转换模块的输入端相连传输模拟图像信号，两个模数转换模块的输出 端口分别与图像处理模块的输入端相连传输数字图像信号，车辆的速度传感器与车速信号 输入接口的输入端相连传输数字车速信号，车速信号输入接口的输出端与图像处理模块的 输入端相连传输数字车速信号，图像处理模块的输出端与输出接口的输入端相连传输控制 决策指令，输出接口的输出端分别与车速操控机构和语音提示器相连传输控制决策信息和 音响警示信息。
4. 一种根据权利要求1所述的汽车防撞行人智能装置的智能方法，其特征在于，包括 以下步骤步骤一，以Yw、 Zw构成水平面坐标，Xw垂直于水平面来建立世界坐标系，根据计算机图 像坐标系像素点坐标(U，V)和世界坐标系空间三维坐标(XW，YW， Zw)之间的关系，对双目针 孔摄像头进行参数标定；步骤二，将信号处理器接收到的左、右两幅数字图像进行透视变换恢复到同一个透视 关系上，获得两幅图像形状一致的公共部分，并使得两幅图像在非重叠部分具有良好的形 状平滑连续性，将两幅图像根据公共部分重合原则进行拼接；步骤三，根据得到的二维平面图像，确定移动物体所在区域；步骤四，根据最大类间方差法，得到每帧图像的克服灰度差异的阈值k;步骤五，将得到的前后两帧中移动物体的最小距离度量D(p， q)与克服灰度差异的阈值k进行比较，当D(p,^〉lA:时，则像素点(p，q)所在的单元是运动区域的一部分，对该单元进行标注，进而对移动物体的整个区域进行标注；步骤六，根据移动物体的标注点，得到移动物体与车辆的距离；步骤七，信号处理器根据得到的移动物体与车辆的距离信息，对车速操控机构和语音 提示器发出控制指令，警示驾驶员注意前方路况，并通过车速操控机构自动使车辆减速并 停止在移动物体之前；步骤八，在车辆行驶的过程中，不断依次重复步骤二到步骤器七，保障车辆安全行驶。
5. 根据权利要求4所述的汽车防撞行人智能方法，其特征是，步骤一中所述的参数标定采用方格模板标定法。
6.根据权利要求4所述的汽车防撞行人智能方法，其特征是，步骤三中所述的确定移动物体所在的区域是1) 将得到的二维平面图像分成M!XM2个单元，每个单元包含^XN2个像素，像素点(u， v)的灰度等级Fuv为其中:f(i，j)为像素点(i，j)的灰度值，0《f(i，j)《L，0《Fuv《L，0《u《M「N工， 0《v《M2-N2， L是灰度等级的总数；2) 将每帧图像的单元与其前 一 帧图像相同位置的单元进行对比，当<formula>formula see original document page 3</formula>—O时，移动物体的像素点坐标是(p，q);其中DK代表连续两帧相同位置单元的灰度等级差的绝对值，Fpq(t)是t时刻像素 点(P， q)的灰度等级，Fpq(t—"是(t-l)时刻像素点(p， q)的灰度等级，O《p《M「N「1， 0《q《M2-N2_l， r， s = -l，O， 1。
7.根据权利要求4所述的汽车防撞行人智能方法，其特征是，步骤五中所述的前后两 帧中移动物体的最小距离度量D(p，q)的具体公式为/=1或<formula>formula see original document page 3</formula>或<formula>formula see original document page 3</formula><formula>formula see original document page 3</formula>其中Xp+i,q+j为像素点(P，q)所在的单元移动前图像向量，Yp+i,^为像素点(p，q)所在 的单元移动后图像向量，每个单元包含& X N2个像素。
8.根据权利要求4所述的汽车防撞行人智能方法，其特征是，步骤六中所述的移动物 体与车辆的距离是分别将移动物体的标注点在左、右视图中的像素坐标(Ul，Vl)和(A，V》 转换为世界坐标(XW1，YW1，ZW1)和(Xwr，Ywr，Zj，再利用空间中值法得到移动物体空间坐标的最优近似值(^『,^,^0，得到的l^4就是被检测到的移动物体与车辆的实际距离值。
全文摘要
一种汽车自动控制技术领域的汽车防撞行人智能装置与方法，装置包括双目针孔摄像头、信号处理器、车速操控机构和语音提示器；方法的步骤包括步骤一，摄像头参数标定；步骤二，左、右视图合成；步骤三，判定并确定移动物体所在区域；步骤四，克服灰度差异的阈值求取；步骤五，相似度度量；步骤六，检测移动物体与车辆的距离；步骤七，控制指令输出；步骤八，重复步骤二到步骤七的循环过程。本发明能够对路面状况进行自动检测，一旦发现过路行人，装置就会立即发出控制指令，警示驾驶员注意前方路况，并自动使车辆减速和刹车，因此提升了车辆自动化、智能化技术水平，确保了行车安全。
文档编号B60R21/01GK101734214SQ20101002304
公开日2010年6月16日 申请日期2010年1月21日 优先权日2010年1月21日
发明者崔灿, 应俊豪, 张秀彬, 胡志勇, 马丽 申请人:上海交通大学