细胞/卷积神经网络智能视觉驾驶疲劳监测加速器的制造方法
【专利摘要】本实用新型提出了细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，属于人工智能技术领域。本实用新型以细胞/卷积神经网络为核心，细胞/卷积神经网络芯片连接摄像头和微处理器，微处理器连接内存模块、显示屏、扬声器、LED提示灯、通信接口模块和电源等必要的外围部件，构成一个具有疲劳驾驶识别功能的智能视觉驾驶疲劳监测加速器，提高了识别速度和精度，为驾驶员驾驶提供了更好的安全性，市场潜力巨大。
【专利说明】
细胞/卷积神经网络智能视觉驾驶疲劳监测加速器
技术领域
[0001] 本实用新型属于人工智能技术领域，具体地说，涉及细胞/卷积神经网络 (Cellular/Convolutional Neural Networks，CNN)智能视觉驾驶疲劳监测加速器。
【背景技术】
[0002] 随着社会经济的发展和人们生活水平的提高，整个社会对交通运输的需求日益增 加，现代交通运输业的飞速发展，交通量的快速增长使道路交通状况恶化，交通事故已成为 当今世界面临的严重问题之一。
[0003] 中国道路交通事故死亡人数已经连续数年居于世界第一位。根据中国交通事故年 鉴统计，交通事故给我国国家财产和人民生命财产安全造成了巨大损失，而且这些事故很 大一部分是驾驶员的原因，如表1.1所示，在2005年甚至达到了92.69%。
[0004] 表1.1我国1999-2009年道路交通事故统计表
[0006] 欧美各国的交通事故统计分析表明，每年世界的道路交通事故多达10亿次之多， 造成汽车碰撞事故的原因25.30%产生于驾驶疲劳。由此可见，在频繁发生的交通事故中， 驾驶疲劳已成为引发交通事故的重要因素之一。因此，如何有效地检测和预防驾驶疲劳，对 于减少交通事故发生，有十分重要现实意义。
[0007] 驾驶疲劳是由于驾驶时间过长，驾驶车辆的动作反复、连续的次数过多，使驾驶员 生理与心理机能减弱，在客观上出现驾驶机能下降的现象。驾驶疲劳会影响驾驶员的注意 力、感觉、知觉、思维、判断、意志、决定和运动等诸多方面，疲劳驾驶使得驾驶员出现动作迟 误或过早、操作停顿或修正时间不当等不安全因素，易发生道路交通事故。
[0008] 疲劳是一种很常见的生理现象，其产生的原理十分复杂，并且会伴随着人体众多 指标的变化。因此，疲劳评测的方法也多种多样。目前疲劳的评测方法主要分为两类:一种 为主观评测方法，即通过调查被测驾驶员生理或心理方面的疲劳症状，估算其疲劳程度;另 一种是客观评测方法，它主要针对行驶过程中驾驶员生理、心理、驾驶员操作行为及车辆行 态的一些特异性指标进行检测，来判断驾驶员的疲劳状态。
[0009] 疲劳驾驶客观评测分为生理参数检测和行为特征检测两种手段。生理参数的检测 主要基于脑电图、眼电图、肌电图、心电图、呼吸气流(鼻声传感器）、呼吸效果（胸腔部传感 器）、动脉血液氧饱和(手指探针)时的体温（用红外线耳朵探针获得)等，生理参数疲劳测评 方法结果比较准确，但由于一般是在驾驶前或者驾驶后测量。因此，不能满足实时性要求， 而且在驾驶过程中，传感器、电极或者其他检测仪器会直接接触驾驶员身体，从而会影响驾 驶员的正常驾驶。基于行为特征的检测方法主要有PERCLOS(Percentage of Eyelid Closure Over the Pupil Over Time，眼睛闭合时间比分比）检测、头部位置检测、视线方 向检测、嘴部状态检测、方向盘转动情况的检测、车辆行驶速度检测、车道偏离检测等。
[0010] 每种疲劳评测方法都有自身的优缺点，因此，应用信息融合技术，结合驾驶员生理 特征和行为特征的监测方法将是比较理想的监测方法。例如，欧盟2004年启动了一项名为 "AWAKE"的驾驶行为综合监控系统项目，该项目利用压力感应器和摄像机等多种传感器，通 过驾驶生理状态(驾驶员视线方向、眼睑运动和方向盘握紧力等），结合驾驶员行为特征(车 道跟踪、油门加速度计、周边车距检测和制动器的使用等）的分析，能够较全面的对驾驶员 的状态和行为进行监测和评价。该系统主要由两大部分组成:一是驾驶员疲劳实时监测模 块，二是报警模块。疲劳实时监测模块不仅能有效识别直接反应驾驶员疲劳的信息和间接 反应疲劳驾驶行为的数据，还能把驾驶员状态划为三个等级:清醒、可能疲劳和疲劳。报警 系统由声音、视觉和触觉报警器组成，当监测模块检测到驾驶员疲劳时，分析处于哪个等 级，通过报警器发出不同强弱的声光刺激或安全带抖动来提醒驾驶员。
[0011] 无论从基础研究还是应用技术，驾驶疲劳评测和检测都取得了很多成果，为交通 事故的预防提供了重要的支撑，但仍存在如下问题：（1)车辆参数的动态变化监测驾驶疲劳 具有实时性强，对驾驶员无干扰的优点，但容易受到车辆类型的限制，由于个体的差异，很 难得到统一的评价标准，对驾驶疲劳的判断准确性不高；（2)心率、脉搏等生理指标与驾驶 疲劳密切相关，但很难做到实时检测，并且设备一般都是穿戴式，对司机的干扰较大，影响 司机的正常驾驶;（3)成本过高的问题，需要便携式的传感器和计算机甚至通讯装置。
[0012] 随着计算机视觉、图像处理和模式识别技术得到了进一步的发展和完善，基于驾 驶员脸部特征的非接触式疲劳检测算法的研究和疲劳预警系统的开发已经成为了主流之 一。人们已经开发了许多基于传统的图像处理和模式识别的疲劳驾驶监测系统，但没有得 到广泛应用。而人工智能中的深度学习目前是计算机视觉、图像处理和模式识别的热点，已 经取得了令人瞩目的成就。因此，基于深度学习技术的智能视觉驾驶疲劳检测系统将具有 重要的实际应用价值。
[0013] 迄今为止，人类历史上已经历了三次工业革命，分别为机器工业革命、电汽工业革 命、计算机工业革命，相对应解决了机器动力问题、能源传输问题、信息处理及传输问题，都 为人类社会带来了生产力的巨大变革。目前，全球仍然在第三次工业革命的持续探索中，包 括互联网、移动互联网浪潮都归属于其一系列衍生现象。下一次工业革命将是一次能完全 替代人角色的人工智能革命。实质上，是人类复制了另一个自己，利用制造出来的机器人完 全替代自身从事自主、智能的行为。目前这样一场轰轰烈烈的第四次工业革命，正在悄然向 我们走来。
[0014] 人工智能早在计算机学伊始时就已经产生，它最早是在1956年被作为一门学术学 科建立起来。从那时起，科学界就认为每隔十年左右就会在此方面有大的突破性进展。在 1940年的神经学研究中，人们就已经发现人类的大脑实际上就是一条神经网络，Alan Turing认为基于此概念建造一个电子大脑是可行的。1951年，一个24岁的研究生Marvin Minsky建造了世界第一个神经网络机，这台机器也被称为SNARC，它同时也是史上第一台人 工自我学习机器。
[0015] 机器学习属于人工智能的一个分支，而神经网络是机器学习的一个分支，是最实 用、最有效的一个人工智能的分支。
[0016] 早在1988年，杨林博士发表了如下两篇产生广泛影响的"细胞神经网络"论文和相 关发明专利：
[0017] Leon 0 , Chua ； Lin Yang，"Cel lular Neural Networks : Theory"，IEEE Trans.Circuits and Systems,vol.35(10)0ct.1988,pp.1257-1272〇
[0018] Leon 0,Chua；Lin Yang，"Cellular Neural Networks Applications，"IEEE Trans-Circuits and Systems,vol.35(10)0ct.1988,pp.1273-1290〇
[0019] Leon 0,Chua；Lin Yang，"Cellular Neural Network'' ,United States Patent， Patent Number:5,140,670,Date of Patent:Aug.18,1992。
[0020] 在论文中，杨林博士提出了几个关键的基础性概念:并行处理、模拟电路、邻域直 接连接、非邻域间接作用、非线性器件、多层网络、卷积算子、参数重新配置、应用于图像处 理等，为神经网络的发展奠定了良好的基础，具体的技术细节在后面再描述。
[0021 ] 深度学习（Deep Learning)的概念由Hinton等人于2006年提出。深度学习领域中 的突破引发了人工智能革命。近年来，微软、脸书、谷歌、IBM、百度等公司推出了各自的深度 学习系统，运用"深度学习"技术提出了许多语音和图像的识别、合成算法。这些算法是一种 计算机模拟人脑神经网络的算法。简单来说，就是用计算机搭建一个人工神经网络，然后通 过已有的大量数据不断训练优化它。
[0022] 人工神经网络的训练方式是通过向它展示大量的训练范例，然后逐渐对网络参数 进行调整，直至它能够反馈出令人满意的分类。一个典型的网络是由10-30层（目前最深的 达到了 150层)人工神经元堆积架构而成的。举例说明，当将一个图片信息发送给一个神经 网络时，输入层接收信息并且进行低层次的处理后将结果输出给下一个层级，周而复始，直 到到达最后一个层级，来决定该图像的分析结果。
[0023] 为了获得更好的学习结果，神经网络的规模越来越大，层数越来越多，就成为了深 度神经网络，深度神经网络是深度学习的一个重要分支。最早Google的深度神经网络 Distblief用了1000台机器、16000核处理，网络规模大概是10亿个神经元，而后Andrew Ng 在Stanford大学用16台服务器，总共64个GPU，并且用了一个超级性能的交换机 InfiniBand，可训练的网络规模达到了 112亿个神经元。最近，百度深度学习的网络规模已 经达到了200亿的节点。估计不远的将来，深度神经网络的规模将达到1000亿个神经元，规 模越大，对并行架构、优化算法提出前所未有的挑战，但超大规模后可能会获得更多新的认 知。
[0024]基于上述深度学习的新算法和技术的部分性能已超过了人类大脑。人工智能在深 度学习领域算法方面获得了一定突破的同时，国内外一些公司就将商业机会瞄准了如何用 芯片实现这些已优化参数的深度神经网络算法，获得人工智能行为。例如，近期麻省理工 (MIT)、高通(Qualcomm)、英特尔（Intel)、Nvidia、Movidius等都在研发深度学习芯片。
[0025] 麻省理工学院（MIT)日前在国际固态电路大会（International Solid State Circuits Conference，ISSCC)发表一款深度学习芯片Eyeriss，用来实现人工神经网路。 MIT宣称该芯片的效能是一般常用GPU的10倍，能够直接在设备上执行人工智能算法，不需 要通过网络来处理资料。MIT表示，提升Eyeriss效能的关键在于最小化GPU核(Core)和存储 器间交换资料的频率，而一般GPU核是共享单一的存储器，但是Eyeriss的每个核有自己的 专用存储器。此外，每一个核都能够和邻近的核直接沟通，如果需要共享资料时，就不用透 过主要存储器来传递，当卷积神经网路有很多节点在处理相同资料时，邻近的核间能够直 接沟通很重要。而提升芯片效能还有一个关键是跨核心分配任务的专用电路，可以在不同 类型的类神经网路重新配置，或是跨核自动配置资料。这些性能提高的关键点符合当年杨 林博士提出的基本原则。
[0026] 从上面所述看，对驾驶员疲劳检测要求实时、准确、对驾驶员无负荷(最好与驾驶 员无物理接触）、对人体无危害、智能化，但不管是谷歌、百度等的大规模深度神经网络，还 是MIT等的深度学习芯片，由于规模、功耗、体积、成本或计算效率等问题，现阶段用于汽车 驾驶疲劳监测系统中还存在一定的难度。
【发明内容】
[0027] 本实用新型提出了一种细胞/卷积神经网络智能视觉疲劳驾驶监测加速器，以蜂 窝/卷积神经网络（Cellular/Convolutional Neural Networks，CNN)为核心，由摄像头（图 像获取）、内存、微处理器MCU和通信接口模块等组成了一个图像识别深度学习的神经网络 加速器，提高了集成度，降低了功耗，提供了图像识别速度和精度，能够实时完成图像识别， 并且配置灵活，通过可编程配置可完成不同的图像识别功能，以较低的成本，有效地达到疲 劳驾驶监测目的。
[0028] 本实用新型提出的细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，由以下模 块组成：
[0029] 摄像头，用于获得驾驶员驾驶时特定状态的图像或视频，把得到的图像或视频送 给机器视觉识别芯片；
[0030] 机器视觉识别芯片，按预置的功能处理摄像头输入的图像信号得到相应的特征 值，送给微处理器；
[0031] 微处理器，设置和检测机器视觉识别芯片的工作状态，接收机器视觉识别芯片送 来的图像特征数据，运行图像识别和疲劳评测算法，确认驾驶员驾驶状态，并控制异常状态 发生时发出的声音警示；
[0032] 内存模块，保存输入的原始数据、中间计算结果和最终的图像特征数值；
[0033]显示屏，用以显示机器视觉识别芯片或系统的工作状态和系统配置信息，以及播 放提醒图片或视频；
[0034]通信接口模块，完成命令、数据的交换和传输；
[0035]麦克风，拾取用户的声音信号，经微处理器送给机器视觉识别芯片；
[0036]扬声器，用于播放语音警示信息；
[0037] 提示灯，用于发出警示灯光；
[0038] 电源模块，为机器视觉识别芯片和系统提供稳定的供电；
[0039]其特征在于所述的机器视觉识别芯片连接摄像头和微处理器，微处理器连接内存 模块、显示屏、通信接口、麦克风、扬声器、提示灯和电源，构成基于智能视觉识别的驾驶疲 劳监测加速器。
[0040] 所述的细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，其特征在于，所述的机 器视觉识别芯片是细胞/卷积神经网络芯片。
[0041] 所述的细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，其特征在于所述的特 征包括眼部特征、唇部特征、面部表情特征、身体姿态特征和各种状态的融合。
[0042] 所述的细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，其特征在于，所述的加 速器工作参数可事先设置，并可在使用过程中通过程序再次设置。
[0043] 所述的细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，其特征在于，所述的机 器视觉识别芯片实现的算法包括自动编码器、稀疏编码、限制玻尔兹曼机、深信度网络和深 度卷积神经网络。
[0044] 所述的细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，其特征在于，所述的图 像特征可以通过无线网络上传到后端或者云端进行监测，监测到疲劳驾驶状态时，远程进 行警示、警告。
[0045] 所述的细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，其特征在于，所述的细 胞/卷积神经网络智能视觉驾驶疲劳监测加速器可以内置于汽车后视镜、独立的便携终端、 作为汽车组件置于某个位置。
[0046] 由上述方案可以看出，本实用新型围绕细胞/卷积神经网络CNN，和摄像头、内存、 微处理器和通信接口等，构成一个具有模式识别功能的智能视觉疲劳驾驶监测加速器，提 高图像识别速度和精度，克服了现有大规模深度神经网络或深度学习芯片的不足，具有集 成度高、功耗小、计算速度快、配置灵活等特点。智能视觉驾驶疲劳检测加速器使得疲劳驾 驶监测终端像人类视觉系统一样，具有"看懂"世界的能力，当驾驶员驾驶疲劳时，除了对眼 睛状态发生变化进行监测外，还可以对其表情，是否在打哈欠，以及坐姿等等都可以同时进 行监测，更好的为驾驶员安全驾驶提供保障。本实用新型适用范围广，市场潜力巨大。
【附图说明】
[0047]图1是驾驶疲劳监测的信号处理基本流程图。
[0048]图2是本实用新型提出的CNN智能视觉疲劳驾驶监测加速器原理框图。
[0049] 图3是4X4两维蜂窝神经网络示意图。
[0050] 图4是单个细胞等效电路的举例。
【具体实施方式】
[0051] 下面将结合附图对本实用新型的具体实施例进行详细描述。
[0052]基于机器视觉的驾驶疲劳监测的信号处理基本流程如图1所示，由以下四部分组 成:①图像采集，主要通过摄像头采集驾驶员的头面部图像或身体行为;②图像处理与视觉 特征提取，包括图像预处理(滤波、增强、畸变校正等)和人脸定位，面部特征分割、跟踪与视 觉特征提取，获得有效识别直接反应驾驶员疲劳的信息和间接反应疲劳驾驶行为的数据； ③驾驶疲劳评测，根据获得的驾驶行为特征数据，采用模式识别方法或直接运用疲劳标准 判断驾驶疲劳的状态，即由面部或身体特征的变化，如是否打哈欠及频率、点头的幅度和 频率、眨眼频率、眼睑闭合时间、瞳孔缩小量、视线是否下移、视线跳跃的范围和频率来确定 驾驶员是否处于驾驶疲劳状态，给出疲劳评测等级，比如清醒、可能疲劳、疲劳和极度疲劳 等;④预警提示，预警系统由声音、视觉或灯光报警器组成，当监测到驾驶员疲劳时，分析处 于哪个疲劳状态，通过报警器发出不同强弱的声音和亮光刺激来提醒驾驶员注意。
[0053] 根据基于机器视觉的驾驶疲劳监测的信号处理基本流程，本实用新型以先进的细 胞/卷积神经网络(CNN)芯片为核心，和摄像头（图像获取）、微处理器、内存、通信接口、扬声 器和LED灯等构造一个深度学习的智能视觉疲劳驾驶监测加速器，提高疲劳驾驶监测终端 的识别速度和精度，加速器原理框图如图2所示。
[0054] 细胞/卷积神经网络(CNN)芯片：用于图像特征提取，提取出摄像头送来的图像或 视频中的所关注的图像主要特征。CNN芯片的核心是细胞/卷积神经网络(CNN)，CNN网络的 原理框图如图3所示，CNN网络可以构建现在正火热的深度学习系统。如同人类的神经网络， CNN由大量非线性模拟电路组成，能够实时处理输入的信号，当然现在这些非线性模拟电路 的功能也可以采用数字电路来实现。这些非线性模拟电路构成的单元称之为细胞(Cell)， 达数百万个的细胞按一定的规则排列，只有最邻近的细胞才直接互相相连，交换信息。远端 的细胞通过耦合间接地发挥影响。每个细胞由线性电容、线性电阻、非线性的压控电流源、 独立的电压源和独立的电流源等组成，如图4所示，也可以用数字电路实现与图4等效的功 能。CNN利用了模拟和数字两个世界的优势，特别适用于信号平行处理，它的连续时间特性 可以实时处理信号。
[0055]图3给出的是二维一层CNN网络结构，可以进一步构筑多层的CNN，增加学习的深 度，如同现在的深度学习网络架构。CNN细胞的参数是可以通过事先设置，并在后面使用过 程中通过程序再次设置。
[0056]不同的CNN细胞、不同的CNN层可以完成不同的图像处理功能，比如不同细胞分别 完成图像降噪、图像纹理、边缘检测、图像分割、凸凹角检测、边界提取、孔洞填充、骨架提 取、裁剪等，从而实时地得到图像的各种特征，便于后续微处理进一步实现图像识别、表示 和描述。当然，图像的识别、表示和描述同样可以由不同配置的CNN实现。
[0057] CNN芯片是基于深度学习原理的神经网络，包括输入层、多层隐藏层和输出层。当 将驾驶员的行为样本提供给CNN芯片后，CNN芯片神经元的激活值从输入层经各中间隐藏层 向输出层传输，从底往上优化各层连接权值，在输出层的各神经单元间获得网络的输入响 应，然后按照减少目标输出与实际误差的目标，自顶往下，从输出层经过各隐藏层逐层修正 各层的连接权值，最后回到输入层。随着这种误差传播修正不断地进行，网络对输入驾驶员 行为模式响应的正确率也不断上升，最终使误差达到设定的目标值。CNN芯片具有较好的泛 化能力和容错能力。
[0058]在本具体实施例子中，通过CNN芯片的深度学习功能能够快速获得驾驶员的驾驶 状态，实现图1所示的视觉特征检测和提取功能，获得面部或身体特征的变化，例如眼部状 态、唇部状态、面部表情、身体姿态和各种状态的融合，得到打哈欠及频率、点头的幅度和频 率、眨眼频率、眼睑闭合时间、瞳孔缩小量、视线是否下移、视线跳跃的范围和频率等，以便 后面的处理模块根据这些状态参量确定驾驶员驾驶的疲劳程度。
[0059] 这里描述的CNN主要是从提取图像特征出发的，当然CNN也可用于语音或声音的深 度学习，提取语音信号或声音信号的特征提取，比如声纹特征，然后用于语音或声音的识 另IJ，原理和图像是类似的。应用信息融合技术，结合驾驶员图像特征和声音特征获得更好 的驾驶疲劳监测。
[0060] CNN获得的图像或视觉特征信号可以直接送给微处理器MCU，两者连接接口可以是 串行或并行数据接口。
[0061] 关于CNN更详细的原理，请参见前面给出的杨林博士所申请的发明专利和发表的 学术论文。基于CNN原理，已完成集成电路一智能视觉芯片（Smart Vision Integrated Circuit，SViC)的设计和流片。
[0062] 摄像头：用于拍摄我们所关注或要处理的特定标识的图像或视频，在本实施例子 中就是驾驶员驾驶状态的图像或者视频，把获得的图像或者视频送给CNN芯片。市场上摄像 头非常多，一般都能满足本实施例的要求，本实施例中采用了索尼頂X135,采用背照式成像 传感器，分辨率为4224 X 3176。
[0063] 微处理器MCU:微处理连接到CNN芯片，和CNN芯片进行通讯，设置和检查CNN芯片的 工作状态。设置CNN芯片的初始工作模式，在系统运行期间，它可以读取CNN芯片的工作状 态，并重新设置CNN中各个细胞的配置参数，获得不同的图像特征。根据所选用微处理器的 能力，让微处理器依据CNN获得的图像特征，参与部分图像识别工作，微处理器和CNN芯片配 合加速完成不同的图像识别功能，提高识别速度和识别性能，一起起到图像识别加速的作 用。依靠识别出的图像内容，可以完成驾驶员驾驶状态的监测和鉴别，实现图1中驾驶疲劳 评测模块功能；或者微处理器把相关特征和初步识别结果通过无线网络上传到云端，由云 端进行处理后返回结果，确定驾驶员驾驶状态，并决定是否发出警示。
[0064]在本实施例中，微处理选用了ARM内核的处理器，具有功耗低、运行速度快、种类多 等特性，目前占据市场主导地位，高通、三星、联发科、华为、全志、瑞芯微、晶晨等众多公司 都能提供ARM微处理器。在本实施例中选用了三星公司的S5PV210作为微处理器，S5PV210 采用了ARM CortexTM-A8内核，ARM V7指令集，主频可达lGHZ，64/32位内部总线结构，32/ 32KB的数据/指令一级缓存，512KB的二级缓存，可以实现2000DMIPS(每秒运算2亿条指令 集）的高性能运算能力。S5PV210具有强大的硬件编解码功能，内建MFC(Multi Format Codec)和PowerVR SGX540 3D图形引擎和2D图形引擎，能够支持DX9，SM3.0，0penGL2.0等PC 级别显示技术。具备IVA3硬件加速器，内建的HDMIvl.3,可以将高清视频输出到外部显示器 上。S5PV210的存储控制器支持LPDDRl，LroDR2和DDR2类型的RAM，Flash支持Nandflash， Norflash，OneNand 等。
[0065] 内存：用于保存CNN芯片和微处理器等涉及到的输入的原始数据、中间计算结果和 最终的图像特征数值等。CNN芯片自身也有存储器，也可以部分保存图像特征过程中涉及到 的数据。本实施例中内存选用了美光MT47H64M16HR，是DDR2 SDRAM，容量lGbit。微处理器的 Flash扩展采用了三星K9F1G08U0E，属于NAND Flash，容量为1Gb。
[0066] 通信接口模块：完成加速器和外部的命令、数据交换，支持串行数据接口，包括 USB、I2C等，并行数据接口，诸如三星S5PV210等，一般ARM处理器本身就具有USB、I 2C、并行数 据接口、0TG等接口。还支持RJ45接口的以太网，以及无线网络WiFi接口。本实施例中以太网 控制器选用了 WIZnet公司的W5500,支持通过有线网与支付服务器的通信。WiFi模块选用了 安信可ESP8266。
[0067] 触摸液晶显示屏LCD:微处理器还连接有触摸液晶显示屏，用以显示CNN芯片或系 统的工作状态和系统配置等信息，以及通过触摸屏接受用户的输入。当监测到驾驶员疲劳 时，根据疲劳程度，通过LCD显示屏播放不同的视频，提醒驾驶员注意。
[0068] 本实施例的触摸液晶显示屏采用了淘晶驰TJC4024T032_011R屏，触摸方式为电阻 式。
[0069]麦克风：用于将用户的声音信号转换为电信号，通过微处理器Μ⑶送给CNN芯片，进 行声音特征提取，进而完成声音识别，可以和图像、视觉等融合到一起构成多模态特征行为 监测。本实施例对麦克风没有特殊要求，一般市场上的麦克风都可满足要求。
[0070] 扬声器:用于当监测到驾驶员疲劳时播放语音提示信息，比如警示音。本实施例对 扬声器没有特殊要求，一般市场上的扬声器都可满足要求。
[0071] LED提示灯:半导体发光二极管，是一种固态的半导体器件，它可以直接把电转化 为光。当监测到驾驶员疲劳时，根据疲劳状态，LED提示灯发出不同强弱和颜色的亮光，刺激 驾驶员。也可以用于指示系统的工作状态。
[0072]电源:用于给CNN芯片和系统提供所需的稳定供电。
[0073]上述内存芯片、通信接口芯片或模块、麦克风、扬声器以及触摸液晶显示屏、LED等 都通过合适的管脚连接到微处理芯片上。
[0074]可以把上述CNN驾驶疲劳监测系统加速器集成到一起，做成后视镜的形式，或者做 成独立的便携终端，或者和车辆做更深入的集成，作为汽车的一个功能模块，设计到汽车合 适的位置。
[0075]本实施例采用了Android操作系统，所涉及到软件，在此就不再赘述了。
[0076] 上述实施例中涉及到的细胞/卷积神经网络（Cellular/Convolutional Neural NetW〇rkS，CNN)芯片，在实际具体实施中，也可以替换为采用其它机器视觉识别算法的芯 片，例如基于浅度学习（Shal low Learning)的机器视觉识别芯片、基于自动编码器 (AutoEncoder)、稀疏编码（Sparse Coding)、限制玻尔兹曼机（Restricted Boltzmann Machine，RBM)、深信度网络（Deep Belief Networks)等算法的深度学习（Deep Learning) 的机器视觉识别芯片。
[0077] 本实施例的特征在于所述的细胞/卷积神经网络(CNN)芯片和摄像头、内存、微处 理器、通信接口模块和电源等构成了驾驶疲劳监测中的图像或视频特征提取和识别加速 器。
[0078]本实用新型围绕细胞/卷积神经网络CNN，和摄像头、内存、微处理器和通信接口 等，构成一个具有模式识别功能的智能视觉疲劳驾驶监测加速器，提高驾驶员驾驶行为的 识别速度和精度，克服了现有大规模深度神经网络或深度学习芯片的不足，具有集成度高、 功耗小、速度快、配置灵活等特点。能更好地为驾驶员安全驾驶提供保障。
[0079]上述【具体实施方式】以较佳实施例对本实用新型进行了说明，但这只是为了便于理 解而举的一个形象化的实例，不应被视为是对本实用新型范围的限制。同样，根据本实用新 型的技术方案及其较佳实施例的描述，可以做出各种可能的等同改变或替换，而所有这些 改变或替换都应属于本实用新型权利要求的保护范围。
【主权项】
1. 细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，由以下模块组成： 摄像头，用于获得驾驶员驾驶时特定状态的图像或视频，把得到的图像或视频送给机 器视觉识别芯片； 机器视觉识别芯片，按预置的功能处理摄像头输入的图像信号得到相应的特征值，送 给微处理器； 微处理器，设置和检测机器视觉识别芯片的工作状态，接收机器视觉识别芯片送来的 图像特征数据，运行图像识别和疲劳评测算法，确认驾驶员驾驶状态，并控制异常状态发生 时发出的声音警示； 内存模块，保存输入的原始数据、中间计算结果和最终的图像特征数值； 显示屏，用以显示机器视觉识别芯片或系统的工作状态和系统配置信息，以及播放提 醒图片或视频； 通信接口模块，完成命令、数据的交换和传输； 麦克风，拾取用户的声音信号，经微处理器送给机器视觉识别芯片； 扬声器，用于播放语音警示信息； 提示灯，用于发出警示灯光； 电源模块，为机器视觉识别芯片和系统提供稳定的供电； 其特征在于所述的机器视觉识别芯片连接摄像头和微处理器，微处理器连接内存模 块、显示屏、通信接口、麦克风、扬声器、提示灯和电源，构成基于智能视觉识别的驾驶疲劳 监测加速器。2. 根据权利要求1所述的细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，其特征在 于，所述的机器视觉识别芯片是细胞/卷积神经网络芯片。3. 根据权利要求1所述的细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，其特征在 于所述的特征包括眼部特征、唇部特征、面部表情特征、身体姿态特征和各种状态的融合。4. 根据权利要求1所述的细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，其特征在 于，所述的加速器工作参数可事先设置，并可在使用过程中通过程序再次设置。5. 根据权利要求1所述的细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，其特征在 于，所述的机器视觉识别芯片实现的算法包括自动编码器、稀疏编码、限制玻尔兹曼机、深 信度网络和深度卷积神经网络。6. 根据权利要求1所述的细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，其特征在 于，所述的图像特征可以通过无线网络上传到后端或者云端进行监测，监测到疲劳驾驶状 态时，远程进行警示、警告。7. 根据权利要求1所述的细胞/卷积神经网络智能视觉驾驶疲劳监测加速器，其特征在 于，所述的细胞/卷积神经网络智能视觉驾驶疲劳监测加速器可以内置于汽车后视镜、独立 的便携终端、作为汽车组件置于某个位置。
【文档编号】G08B21/06GK205680247SQ201620325384
【公开日】2016年11月9日
【申请日】2016年4月19日 公开号201620325384.9, CN 201620325384, CN 205680247 U, CN 205680247U, CN-U-205680247, CN201620325384, CN201620325384.9, CN205680247 U, CN205680247U
【发明人】陈进民, 虞惠华
【申请人】陈进民