专利名称：基于计算机视觉的误将油门当刹车错误操作防止装置的制作方法
技术领域：
本发明涉及一种车辆安全驾驶装置，属于嵌入式系统、计算机视觉、传感器技术、 车辆刹车和油门驱动装置在车辆安全驾驶方面的应用，主要用于防止驾驶员将油门当刹车 等误操作。
背景技术：
在解决驾驶员将油门当刹车误操作问题方面，从驾驶周围环境以及车辆的当前状 态分析驾驶员的状态与驾驶意图，从车辆、环境、驾驶员三者关系的角度解决油门当刹车误 操作问题，保证车辆不因驾驶员误踩油门而引发的交通事故。计算机视觉将成为智能车辆环境感知系统中最重要的组成部分，计算机视觉能够 提供几乎全部驾驶员所需要的驾驶信息，对智能车辆具有十分重要的意义。通过前向摄像 装置进行图像分析可以检测车辆对车道线的偏离、车辆前方的行人、自车辆与前方车辆的 间距，当图像分析检测出异常状况时，如偏离车道线、突然出现行人、前方车辆距离过于接 近，应及时发出声音提醒驾驶员采取措施，尤其是要有效地防止驾驶员误踩油门事件的发 生。目前在防止驾驶员将油门当刹车误操作方面已有很多专利公开和授权，归纳起 来，这些专利技术主要是从刹车踏板和油门踏板的作用时间(包括加速度)、作用力的大小 等来区分是刹车操作还是油门操作，这些技术都尝试用驾驶操作动作来推断驾驶意图；有 些专利技术通过刹车踏板和油门踏板的连锁机构以达到在误踩油门时仍能进行刹车；这些 技术虽然能克服一些将油门当刹车误操作，但是在驾驶过程中驾驶员真正猛踩油门的情况 并非不会发生，如果将需要猛踩油门时当作误踩油门的情况那么也是一种非常大的驾驶危 险，显然这些技术都存在着不能有效区分驾驶意图和驾驶动作的问题；由于这些检测需要 刹车等驾驶意图的手段不直接，可能会对正常的驾驶带来一些风险，如可能会造成变道失 败、超车失败、变道+刹车、超车+刹车等问题所带来的一种新的驾驶风险；上述的这些发明 中由于没有考虑道路环境因素，而是从简单的刹车踏板和油门踏板动作时间和动作力的大 小的关系来识别将油门当刹车误操作的行为必定会产生新的问题，这是因为在刹车踏板和 油门踏板动作时间和动作力的大小的关系中也包含着正常驾驶操作行为。综上所述，目前 的将油门当刹车误操作的检测技术还不能有效的解决驾驶意图和驾驶行为一致性问题，而 且还会带来其他一些驾驶风险。从根本上来说，油门当刹车误操作是驾驶员的驾驶意图和驾驶行为出现了不一 致；因此要根本解决油门当刹车误操作问题必须从车辆、环境、驾驶员三者关系着手，至少 必须考虑车辆运行情况与道路环境之间的关系，从中识别出哪些是正常的驾驶操作行为， 哪些是误操作行为，保证驾驶意图和驾驶行为的一致性；其关键是要准确地检测出车辆前 方的障碍物对象和该对象与车辆的距离，在检测道路上的行人或者周围车辆等障碍物方 面，目前主要有雷达、激光和超声波等检测方式；但是这些检测方式只能检测出在某一特定 方向上存在者障碍物对象，不能识别道路的形状以及道路与障碍物对象之间的位置关系，因此采用上述检测方式由于对象物体的信息不充分会导致检测失效或者误检测。基于视频的车辆安全驾驶辅助系统由于概念清晰、技术先进、费用较低、无需对原 有车辆内部结构进行任何改动，具有很好的应用前景；尤其是随着摄像机和嵌入式计算机 制造成本的下降，智能车辆环境感知技术将担负起“监视”驾驶员、监控路况等重要职责；其 关键技术为视频障碍物检测技术和车道线识别技术。如何实现高效准确地从车辆的运行状态和道路环境中把握驾驶员的驾驶意图是 本发明的关键点，发现驾驶行为与驾驶意图不一致时能有效制止和纠正错误驾驶行为；但 是驾驶员的驾驶意图非常难以直接检测获得，通过车辆状态和道路环境状态来推断检测驾 驶员的驾驶意图是一种有效可靠手段，它不仅可以比较客观地推断出驾驶员的驾驶意图， 同时也可以有效地防止驾驶员错误的驾驶意图以及由于驾驶员未察觉车辆驾驶风险而未 采取任何预防措施的驾驶行为；对于检测油门当刹车误操作这种驾驶行为与驾驶意图不一 致情况，需要从道路环境状态和车辆的运行状态来进行判断，随着摄像装置、嵌入式系统、 计算机视觉等技术的发展，为误将油门当刹车等错误操作防止方法奠定了坚实的技术基 石出。
发明内容
为了克服已有在检测油门当刹车误操作这种驾驶行为与驾驶意图不一致情况时 不能准确区分、控制效果差的不足，本发明提供一种高效准确地从车辆的运行状态和道路 环境中把握驾驶员的驾驶意图的、有效地防止驾驶员错误的驾驶意图以及由于驾驶员未察 觉车辆驾驶风险而未采取任何预防措施的驾驶行为的基于计算机视觉的误将油门当刹车 错误操作防止装置。本发明解决其技术问题所采用的技术方案是一种基于计算机视觉的误将油门当刹车错误操作防止装置，所述防止装置包括外 壳、视觉传感器、嵌入式系统、车辆测速单元、车辆驾驶转角测量单元、测距单元、声音报警 单元、油门控制单元、刹车控制单元和供电单元；用于捕获车辆前方道路的视频图像的视觉 传感器固定在车辆的驾驶座位的右上方，所述的嵌入式系统、声音报警单元和供电单元分 别固定在外壳内，所述视觉传感器、车辆测速单元、车辆驾驶转角测量单元、测距单元、油门 控制单元、刹车控制单元均与所述嵌入式系统连接，所述的嵌入式系统用于读取车辆的行 驶速度、车辆方向盘转角和车辆前方道路的视频信息，用于估算前方道路上的障碍物距离， 并根据障碍物距离、车辆方向盘转角以及车辆的速度计算驾驶风险系数和驾驶风险变化趋 势量，根据驾驶风险系数和驾驶风险变化趋势量作出相应的驾驶决策，根据所述的驾驶决 策控制所述的声音报警单元发出驾驶警告声，根据所述的驾驶决策控制所述的油门控制单 元允许驾驶员踩踏油门的动作有效性，根据所述的驾驶决策控制所述的刹车控制单元控制 车辆的自动刹车。作为优选的一种方案所述的车辆测速单元用于获得车辆的行驶速度，所述的车 辆驾驶转角测量单元用于获得车辆方向盘的转角，所述的刹车控制单元用于自动控制刹车 踏板动作，所述的油门控制单元用于禁止油门踏板动作，所述的测距单元用于检测车辆前 方道路上的障碍物与车辆之间的距离，采用超声波测距模块；所述的视觉传感器装在车辆前部上方，负责拍摄车辆行驶前方的道路环境，通过USB接口与嵌入式系统连接，将采集的视频图像传至给所述的图像处理与识别模块；所述 的车速传感器用于采集行驶过程中的车辆速度数据，通过A/D接口与嵌入式系统连接，经 过处理后传送给所述的判断分析模块；所述的超声波测距单元用于检测车辆前方道路上 的障碍物距离，采用市售的MSP430超声波测距模块，通过串行口与嵌入式系统连接；所述 的方向盘转动传感器用于检测驾驶员的驾驶方向盘的动作，通过A/D接口与嵌入式系统连 接。进一步，所述的嵌入式系统包括嵌入式系统硬件和嵌入式系统软件；所述的嵌入式系统硬件包括微处理器、GPIO接口、A/D接口、USB接口、串行接口、 SDRAM、NAND FLASH 禾口 电源；所述的嵌入式系统软件包括环境信息采集模块、图像处理与识别模块和判断分析 模块；所述的图像处理与识别模块，用于接收环境信息采集模块送来的视频图像，通过去除噪声、图像分割、边缘检测图像处理方法，去掉不相关背景，得到道路边缘、前方车辆边 缘轮廓和障碍物边缘轮廓等图像信息；通过模式识别方式对道路及道路标线进行识别，确 定道路标线在整幅图像中的位置坐标及本车在道路中的位置；对前方车辆轮廓进行识别， 确定前车轮廓尺寸及其在平面图像中的位置；对前方障碍物边缘轮廓进行识别，确认该障 碍物轮廓尺寸及其在平面图像中的位置，然后将处理结果传送给所述的判断分析模块；所述的判断分析模块，用于根据所述的视觉传感器在车辆上安装的空间位置建立 模型，将道路标线在平面图像中的位置坐标转换为实际空间中与本车的相对位置以检查车 辆是否在车道中正常行驶、车辆是否违章越线行驶、前方车辆的距离和前方障碍物的距离； 利用系列图像的道路标线计算车辆相对于道路标线的运动轨迹；根据车辆运动轨迹分析驾 驶员是否处于正常行驶状态，利用系列图像中前车轮廓大小的变化以及本车的车速与超声 波测距相结合分析计算本车与前车的距离，判定是否有追尾碰撞的危险倾向；分析计算本 车与前方障碍物的距离，判定是否有驾驶风险；误将油门当刹车错误操作的判断过程对于误将油门当刹车错误操作，驾驶风险 系数δ根据车辆的最短刹车距离Sb和障碍物距离Stj的比来进行判断的；当障碍物距离Stj 等于车辆的最短刹车距离Sb时，需要采取刹车措施；车辆的最短刹车距离Sb取决于轮胎与 地面之间的摩擦力，摩擦力的大小取决于摩擦系数，假设摩擦系数为μ，车辆的最短刹车距 离Sb由公式⑴进行计算；Sb = V2/2g μ (1)式(1)中，Sb为车辆的最短刹车距离，V为车辆的速度，g为重力加速度，μ为轮 胎与地面之间的摩擦系数；车辆的速度V是通过读取所述的车速传感器的车辆速度数据获 得的；所述的驾驶风险系数δ (t)由公式⑵进行计算；δ (t) = SB/S0 (2)式(2)中，Sb为在某一速度情况下的车辆最短刹车距离，S0为车辆前端与障碍物 的距离，S (t)为t时刻的驾驶风险系数；δ (t) = 1为驾驶风险阈值点，δ (t) < 1为驾驶 风险可控区域，δ (t) > 1为驾驶风险不可控区域；车辆前端与障碍物的距离Stj是通过在 所述的图像处理与识别模块中估算得到的障碍物对象距离以及所述的超声波测距单元所获得的障碍物距离数据来得到。再进一步，所述的判断分析模块中，设定反应驾驶风险变化趋势量I描述驾驶的 危险程度；在相同驾驶风险系数S (t)情况下，如果驾驶风险变化趋势量I (t)增大，其驾 驶危险程度在增大；反之，驾驶危险程度在减小；所述的驾驶风险变化趋势量I (t)由公式 (3)进行计算；ξ(t) = 8 (t)-8 (t-1) (3)式(3)中，S⑴为t时刻的驾驶风险系数，8 (t-1)为t-1时刻的驾驶风险系数， € (t)为t时刻的驾驶风险变化趋势量；I (t) > 0表示驾驶风险在增大，€ (t) < 0表示 驾驶风险在减小。更进一步，采用驾驶风险系数8 (t)和驾驶风险变化趋势量I (t)两个指标来综 合判断驾驶风险和得到相关的驾驶决策，所述的驾驶决策为驾驶员的正确驾驶意图；用判 断的驾驶决策来检验驾驶员的驾驶意图是否正确以及驾驶行为是否正确，用表1来归纳在 没有驾驶盘转动情况下的驾驶决策； 表 1油门当刹车误操作情况往往发生在表1中的V、VI、VII类中，在该三类情况中第 VI类情况最危险，正确的驾驶决策是减速、刹车；如果驾驶员的驾驶意图是减速、刹车，驾 驶动作是踩刹车踏板，那么驾驶意图和驾驶动作是一致的；如果驾驶员的驾驶意图是减速、 刹车，而驾驶动作是踩油门踏板，那么驾驶意图和驾驶动作是不一致的；对于第VI类情况， 基于计算机视觉的误将油门当刹车错误操作防止装置就作出禁止油门踏板和自动刹车的 判断和动作，使得驾驶员踩油门踏板无效同时对车辆自动进行刹车。所述的嵌入式系统软件还包括存储和预警模块，用于存储违章行驶图像，用判断的驾驶决策的结果向驾驶员进行语音警示，同时驾驶决策作出后的前方道路视频图像存于 存储器中。所述的嵌入式系统软件还包括自动控制动作模块，用于在车辆处于极度危险情况 下，自动控制车辆的油门踏板和刹车踏板，控制油门踏板和刹车踏板规则由表1所示，所述 的自动控制动作模块有两个输出，一个输出是车辆的油门踏板控制，另一个输出是车辆的 刹车踏板控制。在油门踏板的连杆上增添一个锁紧机构，当所述的判断分析模块作出禁止油门踏 板的决策后，销钉弹出顶入油门连杆的孔内，即使驾驶员踩踏油门踏板，由于销钉限制了油 门连杆回绕着转轴的运动，油门的电子位移感应器不会动作，从而油门也不能打开，销钉弹 出控制是通过控制继电器得电使得电磁铁衔铁动作来实现的。车辆的刹车机构上增添一个自动刹车控制机构，当所述的判断分析模块作出自动 刹车的决策后，控制继电器得电闭合使得电磁回路导通，电磁铁线圈得电产生磁场，装在刹 车的踏板连杆上的电磁铁衔铁动作拉动刹车机构紧急刹车。所述的障碍物距离SO的检测由雷达、激光或超声波技术实现，将雷达、激光或者 超声波障碍物距离检测设备安置在车辆的正前方，以获得在车辆行驶方向上的各种障碍物 距离SO。本发明的有益效果主要表现在(1)解决了驾驶意图与驾驶动作的不一致问题， 能有效防止误将油门当刹车等错误操作；(2)对于在危险情况下，当驾驶员的没有及时反 映判断、误判断时，装置能自动纠正驾驶员的错误，避免重大交通事故的发生；(3)在判断 分析驾驶风险中，采用多级量化的评判方式，根据不同的风险度作出相对应的驾驶决策； (4)不改变车辆的原有的结构和驾驶习惯，只是在原车辆的基础上增加一些新的功能，具有 实施方便；(5)对于车辆处于危险情况下的自动录像功能，使得车辆具有了黑匣子的功能， 为事故调查以及保险理赔提供了有效数据；(6)为今后的无人驾驶提供了技术基础。
图1为车辆行驶过程中前方道路视频图像。图2为车辆的顶视图以及视觉传感器的视觉范围。图3为车辆、行人之间距离关系的侧视图以及视觉传感器的视觉范围。图4为嵌入式系统的构成框图。图5为车辆的刹车踏板机构的示意图。图6为车辆的油门踏板机构的示意图。
具体实施例方式下面结合附图对本发明作进一步描述。实施例1参照图1 图6，一种基于计算机视觉的误将油门当刹车错误操作防止装置，包 括视觉传感器、嵌入式系统、车辆测速单元、车辆驾驶转角测量单元、测距单元、声音报警单 元、油门控制单元、刹车控制单元和供电单元；所述的视觉传感器固定在车辆的驾驶座位的 右上方，用于捕获车辆前方道路的视频图像，如附图2所示；所述的嵌入式系统、声音报警单元和供电单元分别固定在基于计算机视觉的误将油门当刹车等错误操作防止装置的外 壳内，所述的嵌入式系统用于读取车辆的行驶速度、车辆方向盘转角和车辆前方道路的视 频信息，用于估算前方道路上的障碍物距离，并根据障碍物距离、车辆方向盘转角以及车辆 的速度计算驾驶风险系数和驾驶风险变化趋势量，根据驾驶风险系数和驾驶风险变化趋势 量作出相应的驾驶决策，根据所述的驾驶决策控制所述的声音报警单元发出驾驶警告声， 根据所述的驾驶决策控制所述的油门控制单元允许驾驶员踩踏油门的动作有效性，根据所 述的驾驶决策控制所述的刹车控制单元控制车辆的自动刹车；所述的车辆测速单元用于获 得车辆的行驶速度，是利用车辆中已有的速度传感器；所述的车辆驾驶转角测量单元用于 获得车辆方向盘的转角，是利用车辆中已有的转角传感器；所述的刹车控制单元用于自动 控制刹车踏板动作；所述的油门控制单元用于禁止油门踏板动作；所述的测距单元用于检 测车辆前方道路上的障碍物与车辆之间的距离，采用超声波测距模块；所述的嵌入式系统包括嵌入式系统硬件和嵌入式系统软件；所述的嵌入式系统硬件包括微处理器、GPI0接口、A/D接口、USB接口、串行接口、 SDRAM、NAND FLASH、电源等；本发明采用的SBC-2410X嵌入式系统是基于ARM9的嵌入式开 发平台，内部带有全性能的MMU (内存处理单元)，处理能力强，主频最高可达266M ；具有32 位的数据总线，存储容量大，包括1M容量的Nor Flash、64M容量的Nand Flash以及64M的 SDRAM。接口和资源丰富，包括一个10M的以太网RJ-45接口，一个串行口，USB接口，JTAG 接口，36针脚的GPI0接口等，如附图4所示；所述的嵌入式系统软件包括环境信息采集模块、图像处理与识别模块、判断分析 模块、存储和预警模块和自动控制动作模块；车辆、道路环境和驾驶员的操作动作等信息是由所述的视觉传感器、所述的车辆 测速单元、所述的车辆驾驶转角测量单元和所述的测距单元获得的，所述的视觉传感器装 在车辆前部上方，负责拍摄车辆行驶前方的道路环境，通过USB接口与嵌入式系统连接，将 采集的视频图像传至给所述的图像处理与识别模块；所述的车速传感器用于采集行驶过程 中的车辆速度数据，通过A/D接口与嵌入式系统连接，经过处理后传送给所述的判断分析 模块；所述的超声波测距单元用于检测车辆前方道路上的障碍物距离，采用市售的MSP430 超声波测距模块，通过串行口与嵌入式系统连接；所述的方向盘转动传感器用于检测驾驶 员的驾驶方向盘的动作，通过A/D接口与嵌入式系统连接；所述的图像处理与识别模块用于接收环境信息采集模块送来的视频图像，通过去 除噪声、图像分割、边缘检测等图像处理方法，去掉不相关背景，得到道路边缘、前方车辆边 缘轮廓和障碍物边缘轮廓等图像信息；通过模式识别方式对道路及道路标线进行识别，确 定道路标线在整幅图像中的位置坐标及本车在道路中的位置；对前方车辆轮廓进行识别， 确定前车轮廓尺寸及其在平面图像中的位置；对前方障碍物边缘轮廓进行识别，确认该障 碍物轮廓尺寸及其在平面图像中的位置，然后将这些处理结果传送给所述的判断分析模 块；所述的判断分析模块根据所述的视觉传感器在车辆上安装的空间位置建立模型， 将道路标线在平面图像中的位置坐标转换为实际空间中与本车的相对位置以检查车辆是 否在车道中正常行驶、车辆是否违章越线行驶、前方车辆的距离和前方障碍物的距离；利用 系列图像的道路标线计算车辆相对于道路标线的运动轨迹；根据车辆运动轨迹分析驾驶员是否处于正常行驶状态，利用系列图像中前车轮廓大小的变化以及本车的车速与超声波测 距相结合分析计算本车与前车的距离，判定是否有追尾碰撞的危险倾向；分析计算本车与 前方障碍物的距离，判定是否有驾驶风险；本发明中，在所述的判断分析模块最核心的判断分析是误将油门当刹车等错误操 作的判断；对于误将油门当刹车等错误操作，驾驶风险系数S主要根据车辆的最短刹车距 离SB和障碍物距离&的比来进行判断的，如附图3所示；一股来说当障碍物距离&接近或 等于车辆的最短刹车距离SB时，就需要采取刹车措施；车辆的最短刹车距离SB主要取决于 轮胎与地面之间的摩擦力，摩擦力的大小取决于摩擦系数，假设摩擦系数为P，道路的摩擦 系数一股0. 8左右，车辆的最短刹车距离SB由公式(1)进行计算；SB = V2/2g U (1)式(1)中，SB为车辆的最短刹车距离，V为车辆的速度，g为重力加速度，P为轮 胎与地面之间的摩擦系数；所述的驾驶风险系数8 (t)由公式(2)进行计算；6 (t) = SB/S。 (2)式(2)中，SB为在某一速度情况下的车辆最短刹车距离，S0为车辆前端与障碍物 的距离，S (t)为t时刻的驾驶风险系数；S (t) = 1为驾驶风险阈值点，S (t) < 1为驾驶 风险可控区域，S (t) > 1为驾驶风险不可控区域；由于驾驶过程中，道路状态和车辆状态都在不断的变化，驾驶危险情况也是在动 态变化的；因此，仅仅用驾驶风险系数8 (t)这样一个量来描述驾驶的危险程度还不够充 分，还需要引入一个能反应驾驶风险变化趋势量I来更客观的描述驾驶的危险程度；一股 来说，在相同驾驶风险系数S (t)情况下，如果驾驶风险变化趋势量I (t)增大，其驾驶危 险程度在增大；反之，驾驶危险程度在减小；所述的驾驶风险变化趋势量I (t)由公式(3) 进行计算；^ (t) = 8 (t)-8 (t-1) (3)式(3)中，S⑴为t时刻的驾驶风险系数，8 (t-1)为t-1时刻的驾驶风险系数， € (t)为t时刻的驾驶风险变化趋势量；I (t) > 0表示驾驶风险在增大，€ (t) < 0表示 驾驶风险在减小；本发明中，采用驾驶风险系数8 (t)和驾驶风险变化趋势量I (t)这两个指标来 综合判断驾驶风险和得到相关的驾驶决策，所述的驾驶决策类似于驾驶员的正确驾驶意 图；本发明用“判断的驾驶决策与驾驶行为是否一致”检测问题来替代“驾驶意图与与驾驶 行为是否一致”检测问题，以解决油门当刹车误操作的检测问题；同时用判断的驾驶决策来 检验驾驶员的驾驶意图是否正确以及驾驶行为是否正确，用表1来归纳在没有驾驶盘转动 情况下的驾驶决策； 表 1油门当刹车误操作情况往往发生在表1中的V、VI、VII类中，在这三类情况中第 VI类情况最危险，正确的驾驶决策是减速、刹车；如果驾驶员的驾驶意图是减速、刹车，驾 驶动作是踩刹车踏板，那么驾驶意图和驾驶动作是一致的；如果驾驶员的驾驶意图是减速、 刹车，而驾驶动作是踩油门踏板，那么驾驶意图和驾驶动作是不一致的；对于第VI类情况， 基于计算机视觉的误将油门当刹车等错误操作防止装置就作出禁止油门踏板和自动刹车 的判断和动作，使得驾驶员踩油门踏板无效同时对车辆自动进行刹车；所述的障碍物距离Stj的检测可以由雷达、激光和超声波等技术实现，将雷达、激 光和超声波等检测设备安置在车辆的正前方，以获得在车辆行驶方向上的各种障碍物距离 Stj，本发明中采用超声波测距方式来实现的；另一种检测障碍物距离Stj的手段是通过计算机视觉的方式来实现，即通过视觉传 感器所获得的车辆前方道路图像的图像处理分析手段得到的，首先要从图像中分析得到障 碍物对象，然后根据标定估算该障碍物对象物体离车辆的距离；由于一股的视觉传感器只 能获取平面视频图像，即难以直接获得障碍物的深度信息；解决方式有两种，其一是采用双 目视觉，即通过双目视觉差来得到障碍物的深度信息；其二是采用视觉传感器与超声波测 距相结合的方式，本发明中采用第二种方式进行估算障碍物距离，附图1为通过图像处理 分析手段所获得的车辆前方障碍物视频图像；所述的图像处理分析手段，主要是通过边缘检测算法来实现的，障碍物对象的边 界是描述障碍物特征的一类非常重要的描述子，这些边界可能在成像过程中产生边缘信 息。边缘是指在其周围像素灰度有明显变化的那些像素的组合。边缘是具有幅值和方向的 矢量，其在图像中表现为灰度的突变。边缘检测就是要检测出图像中这种灰度的非连续性。目前对边缘检测有几种方法可以选择，由于在本专利中期望得到的是障碍物对象 的边缘，而对边缘轮毂的完整性以及光滑性要求不高，因此在本发明中采用其中的计算简单、运算速度快的经典边缘检测方法_微分算子法，该方法依靠对图像进行微分运算求得 梯度来进行边缘检测，主要从边缘点往往对应于一阶微分幅值大的点，同时也对应于二阶 微分的零交叉点出发，设计一些一阶或二阶微分算子，求得其梯度或二阶导数过零点，再选 择一定的阈值提取边界。所述的边缘检测方法大致上可以分为以下四个步骤①滤波边缘检测算法主要是基于图像强度的一阶导数和二阶导数，但导数的计 算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测方法的性能。需要指 出，大多数滤波器在降低噪声的同时也导致了边缘强度的损失。因此边缘增强和降低图像 噪声之间需要取得一种平衡。②增强增强边缘的基础是确定图像中各点邻域强度的变化值。增强算法可以突 出邻域强度值有显著变化的点。边缘增强一股是通过计算梯度幅值来完成的。③检测在图像中有许多点的梯度幅值比较大，而这些点在特定的情况下并不一 定都是边缘，所以应该用某种方法来确定那些点是边缘点。最简单的边缘检测判据是梯度 幅值A值判据。④定位确定边缘所在的像素，如果要更精确的确定边缘位置，也可以在子像素分 辨率上来估计边缘位置，边缘的方向也可以被估计出来。在本发明中采用索贝尔(Sobel)算子作为边缘检测算法，Sobel算子采用3*3大 小的模板，这样就避免了在像素之间的内插点上计算梯度。Sobel算子用下式计算偏导数Sx = (a2+ca3+a4) - (a0+ca7+a6) (4)Sy = (a0+ca1+a2) _ (a6+ca5+a4)公式中常数c为2，Sobel算子可用以下卷积模板来实现
(5)有了障碍物对象的边界的像素坐标，通过在整幅图像中的位置坐标与实际物理坐 标的标定结果，对前方障碍物对象轮廓进行距离估算，得到该障碍物离车辆前端的距离和 方位，然后通过超声波距离测量单元进行进一步确认；所述的存储和预警模块用于存储违章行驶图像，用判断的驾驶决策的结果向驾驶 员进行语音警示，同时驾驶决策作出后的前方道路视频图像存于存储器中，该功能相当于 汽车黑匣子，一旦出现交通事故时供管理部门和交通事故裁决部门调用；所述的自动控制动作模块用于在车辆处于极度危险情况下，为了防止驾驶员的没 有及时反映判断、误判断和误动作，基于计算机视觉的误将油门当刹车等错误操作防止装 置自动控制车辆的油门踏板和刹车踏板，控制油门踏板和刹车踏板规则由表1所示，所述 的自动控制动作模块有两个输出，一个输出是车辆的油门踏板控制，另一个输出是车辆的 刹车踏板控制；所述的车辆的油门踏板控制用于制止驾驶员踩踏油门踏板，具体做法是在油门踏 板的连杆上增添一个锁紧机构，如附图6所示，当所述的判断分析模块作出禁止油门踏板 的决策后，销钉9弹出顶入油门连杆7的孔内，这时即使驾驶员踩踏油门踏板6，由于销钉9 限制了油门连杆7回绕着转轴8的运动，油门的电子位移感应器10不会动作，从而油门也不能打开，销钉9弹出控制是通过控制继电器得电使得电磁铁衔铁动作来实现的，电磁铁 采用12V或者24V电磁铁；所述的车辆的刹车踏板控制用于在紧急情况下车辆自动刹车，具体做法是在车辆 的刹车机构上增添一个自动刹车控制机构，如附图5所示，当所述的判断分析模块作出自 动刹车的决策后，控制继电器4得电闭合使得电磁回路1导通，这时电磁铁线圈2得电产生 磁场，装在刹车的踏板连杆5上的电磁铁衔铁3动作拉动刹车机构紧急刹车，电磁铁采用 12V或者24V电磁铁。实施例2参照图1 图6，本实施例中对前方障碍物的检测的仅仅采用雷达、激光和超声波 等检测方式中的一种检测手段，本实施例的其他结构和工作过程均与实施例1相同。实施例3参照图1 图6，本实施例中对公式(1)中的摩擦系数P根据路面情况进行修正， 对于沙石路面的摩擦系数P取值为0.65;对于雨天的路面的摩擦系数y取值为0.7;对于 结冰的路面的摩擦系数P取值为0. 45，本实施例的其他结构和工作过程均与实施例1相 同。
权利要求
一种基于计算机视觉的误将油门当刹车错误操作防止装置，其特征在于所述防止装置包括外壳、视觉传感器、嵌入式系统、车辆测速单元、车辆驾驶转角测量单元、测距单元、声音报警单元、油门控制单元、刹车控制单元和供电单元；用于捕获车辆前方道路的视频图像的视觉传感器固定在车辆的驾驶座位的右上方，所述的嵌入式系统、声音报警单元和供电单元分别固定在外壳内，所述视觉传感器、车辆测速单元、车辆驾驶转角测量单元、测距单元、油门控制单元、刹车控制单元均与所述嵌入式系统连接，所述的嵌入式系统用于读取车辆的行驶速度、车辆方向盘转角和车辆前方道路的视频信息，用于估算前方道路上的障碍物距离，并根据障碍物距离、车辆方向盘转角以及车辆的速度计算驾驶风险系数和驾驶风险变化趋势量，根据驾驶风险系数和驾驶风险变化趋势量作出相应的驾驶决策，根据所述的驾驶决策控制所述的声音报警单元发出驾驶警告声，根据所述的驾驶决策控制所述的油门控制单元允许驾驶员踩踏油门的动作有效性，根据所述的驾驶决策控制所述的刹车控制单元控制车辆的自动刹车。
2.如权利要求1所述的基于计算机视觉的误将油门当刹车错误操作防止装置，其特征 在于所述的车辆测速单元用于获得车辆的行驶速度，所述的车辆驾驶转角测量单元用于 获得车辆方向盘的转角，所述的刹车控制单元用于自动控制刹车踏板动作，所述的油门控 制单元用于禁止油门踏板动作，所述的测距单元用于检测车辆前方道路上的障碍物与车辆 之间的距离，采用超声波测距模块；所述的视觉传感器装在车辆前部上方，负责拍摄车辆行驶前方的道路环境，通过USB 接口与嵌入式系统连接，将采集的视频图像传至给所述的图像处理与识别模块；所述的车 速传感器用于采集行驶过程中的车辆速度数据，通过A/D接口与嵌入式系统连接，经过处 理后传送给所述的判断分析模块；所述的超声波测距单元用于检测车辆前方道路上的障碍 物距离，采用市售的MSP430超声波测距模块，通过串行口与嵌入式系统连接；所述的方向 盘转动传感器用于检测驾驶员的驾驶方向盘的动作，通过A/D接口与嵌入式系统连接。
3.如权利要求1或2所述的基于计算机视觉的误将油门当刹车错误操作防止装置，其 特征在于所述的嵌入式系统包括嵌入式系统硬件和嵌入式系统软件；所述的嵌入式系统硬件包括微处理器、GPIO接口、A/D接口、USB接口、串行接口、 SDRAM、NAND FLASH 禾口 电源；所述的嵌入式系统软件包括环境信息采集模块、图像处理与识别模块和判断分析模块；所述的图像处理与识别模块，用于接收环境信息采集模块送来的视频图像，通过去除 噪声、图像分割、边缘检测图像处理方法，去掉不相关背景，得到道路边缘、前方车辆边缘轮 廓和障碍物边缘轮廓等图像信息；通过模式识别方式对道路及道路标线进行识别，确定道 路标线在整幅图像中的位置坐标及本车在道路中的位置；对前方车辆轮廓进行识别，确定 前车轮廓尺寸及其在平面图像中的位置；对前方障碍物边缘轮廓进行识别，确认该障碍物 轮廓尺寸及其在平面图像中的位置，然后将处理结果传送给所述的判断分析模块；所述的判断分析模块，用于根据所述的视觉传感器在车辆上安装的空间位置建立模 型，将道路标线在平面图像中的位置坐标转换为实际空间中与本车的相对位置以检查车辆 是否在车道中正常行驶、车辆是否违章越线行驶、前方车辆的距离和前方障碍物的距离；利 用系列图像的道路标线计算车辆相对于道路标线的运动轨迹；根据车辆运动轨迹分析驾驶员是否处于正常行驶状态，利用系列图像中前车轮廓大小的变化以及本车的车速与超声波 测距相结合分析计算本车与前车的距离，判定是否有追尾碰撞的危险倾向；分析计算本车 与前方障碍物的距离，判定是否有驾驶风险；误将油门当刹车错误操作的判断过程对于误将油门当刹车错误操作，驾驶风险系数 6根据车辆的最短刹车距离SB和障碍物距离&的比来进行判断的；当障碍物距离&等于 车辆的最短刹车距离SB时，需要采取刹车措施；车辆的最短刹车距离SB取决于轮胎与地面 之间的摩擦力，摩擦力的大小取决于摩擦系数，假设摩擦系数为P，车辆的最短刹车距离SB 由公式(1)进行计算； (1)式(1)中，SB为车辆的最短刹车距离，V为车辆的速度，g为重力加速度，y为轮胎与地 面之间的摩擦系数；车辆的速度V是通过读取所述的车速传感器的车辆速度数据获得的；所述的驾驶风险系数S (t)由公式(2)进行计算； 式(2)中，&为在某一速度情况下的车辆最短刹车距离，&为车辆前端与障碍物的距 离，5⑴为t时刻的驾驶风险系数；S (t) = 1为驾驶风险阈值点，S (t) < 1为驾驶风险 可控区域，S (t) > 1为驾驶风险不可控区域；车辆前端与障碍物的距离&是通过在所述 的图像处理与识别模块中估算得到的障碍物对象距离以及所述的超声波测距单元所获得 的障碍物距离数据来得到。
4.如权利要求3所述的基于计算机视觉的误将油门当刹车错误操作防止装置，其特征 在于所述的判断分析模块中，设定反应驾驶风险变化趋势量I描述驾驶的危险程度；在 相同驾驶风险系数S (t)情况下，如果驾驶风险变化趋势量I (t)增大，其驾驶危险程度 在增大；反之，驾驶危险程度在减小；所述的驾驶风险变化趋势量I (t)由公式(3)进行计 算； 式(3)中，S (t)为t时刻的驾驶风险系数，6 (t-1)为t-1时刻的驾驶风险系数，I (t) 为t时刻的驾驶风险变化趋势量；I (t) > 0表示驾驶风险在增大，I (t) < 0表示驾驶风 险在减小。
5.如权利要求4所述的基于计算机视觉的误将油门当刹车错误操作防止装置，其特征 在于采用驾驶风险系数S (t)和驾驶风险变化趋势量I (t)两个指标来综合判断驾驶风 险和得到相关的驾驶决策，所述的驾驶决策为驾驶员的正确驾驶意图；用判断的驾驶决策 来检验驾驶员的驾驶意图是否正确以及驾驶行为是否正确，用表1来归纳在没有驾驶盘转动情况下的驾驶决策； 表1油门当刹车误操作情况往往发生在表1中的V、VI、VII类中，在该三类情况中第VI类 情况最危险，正确的驾驶决策是减速、刹车；如果驾驶员的驾驶意图是减速、刹车，驾驶动作 是踩刹车踏板，那么驾驶意图和驾驶动作是一致的；如果驾驶员的驾驶意图是减速、刹车， 而驾驶动作是踩油门踏板，那么驾驶意图和驾驶动作是不一致的；对于第VI类情况，基于 计算机视觉的误将油门当刹车错误操作防止装置就作出禁止油门踏板和自动刹车的判断 和动作，使得驾驶员踩油门踏板无效同时对车辆自动进行刹车。
6.如权利要求3所述的基于计算机视觉的误将油门当刹车错误操作防止装置，其特征 在于所述的嵌入式系统软件还包括存储和预警模块，用于存储违章行驶图像，用判断的驾 驶决策的结果向驾驶员进行语音警示，同时驾驶决策作出后的前方道路视频图像存于存储 器中。
7.如权利要求5所述的基于计算机视觉的误将油门当刹车错误操作防止装置，其特征 在于所述的嵌入式系统软件还包括自动控制动作模块，用于在车辆处于极度危险情况下， 自动控制车辆的油门踏板和刹车踏板，控制油门踏板和刹车踏板规则由表1所示，所述的 自动控制动作模块有两个输出，一个输出是车辆的油门踏板控制，另一个输出是车辆的刹 车踏板控制。
8.如权利要求5所述的基于计算机视觉的误将油门当刹车等错误操作防止方法，其特 征在于在油门踏板的连杆上增添一个锁紧机构，当所述的判断分析模块作出禁止油门踏 板的决策后，销钉弹出顶入油门连杆的孔内，即使驾驶员踩踏油门踏板，由于销钉限制了油 门连杆回绕着转轴的运动，油门的电子位移感应器不会动作，从而油门也不能打开，销钉弹 出控制是通过控制继电器得电使得电磁铁衔铁动作来实现的。
9.如权利要求5所述的基于计算机视觉的误将油门当刹车等错误操作防止方法，其特 征在于车辆的刹车机构上增添一个自动刹车控制机构，当所述的判断分析模块作出自动 刹车的决策后，控制继电器得电闭合使得电磁回路导通，电磁铁线圈得电产生磁场，装在刹 车的踏板连杆上的电磁铁衔铁动作拉动刹车机构紧急刹车。
10.如权利要求1所述的基于计算机视觉的误将油门当刹车等错误操作防止方法，其 特征在于所述的障碍物距离Stj的检测由雷达、激光或超声波技术实现，将雷达、激光或者 超声波障碍物距离检测设备安置在车辆的正前方，以获得在车辆行驶方向上的各种障碍物 距罔S0O
全文摘要
一种基于计算机视觉的误将油门当刹车错误操作防止装置，包括视觉传感器、嵌入式系统、车辆测速单元、车辆驾驶转角测量单元、测距单元、声音报警单元、油门控制单元、刹车控制单元和供电单元；嵌入式系统用于读取车辆的行驶速度、车辆方向盘转角和车辆前方道路的视频图像等信息，用于估算前方道路上的障碍物距离，并根据障碍物距离、车辆方向盘转角以及车辆的速度计算驾驶风险系数和驾驶风险变化趋势量。本发明根据驾驶风险系数和驾驶风险变化趋势量作出相应的驾驶决策，根据驾驶决策控制所述的声音报警单元发出驾驶警告声、控制油门控制单元允许驾驶员踩踏油门的动作有效性、控制刹车控制单元控制车辆的自动刹车。
文档编号G01C11/36GK101875348SQ20101021511
公开日2010年11月3日 申请日期2010年7月1日 优先权日2010年7月1日
发明者俞立, 姚明海, 姜军, 汤一平, 田旭园 申请人:浙江工业大学