专利名称：基于fpga的疲劳驾驶双目检测硬件平台的制作方法
技术领域：
本发明涉及了一种基于FPGA的疲劳驾驶双目检测硬件平台。
背景技术：
根据(美国)联邦公路局的估计，美国每年所有致命的交通事故中44%是跟车道偏离有关的。Assitffare网站的分析结果认为23%的汽车驾驶员一个月内至少在转向盘上睡着一次；66%的卡车驾驶员自己在驾驶过程中打目盍睡；28%的卡车驾驶员在一个月内有在转向盘上睡着的经历。四个驾驶员中就有一个驾驶员经历过车道偏离引起的伤亡事故。美国采用多普勒雷达和信号处理方法，可获取驾驶员烦躁不安的情绪活动、眨眼 频率和持续时间等疲劳数据，用以判断驾驶员是否打瞌睡或睡着。该系统可制成体积较小的仪器，安装在驾驶室内驾驶员头顶上方，完全不影响正常的驾驶活动。明尼苏达大学计算机科学与工程系的Nikolaos P. Papanikolopoulos教授成功开发了一套驾驶员眼睛的追踪和定位系统，通过安置在车内的一个CCD摄像头监视驾驶员的脸部，用快速简单的算法确定驾驶员眼睛在脸部图像中的确切位置，追踪多幅图像来监控驾驶员是否驾驶疲劳。转向盘监视系统S. A. M(Steering Attention Monitor), —种监测方向盘非正常运动的传感器系统，适用于转向盘正常运动时传感器系统不报警，若转向盘4s不运动就会发出报警声直到转向盘继续正常运止。澳大利亚的头部位置测量跟踪系统与沃尔沃合作，通过测量头部位置、闭眼和眨眼评估疲劳驾驶，但是它要求在司机的脸上作一些标记，给司机带来极大的不便；西班牙的防德睡系统(Anti-Drowsiness System),测量驾驶时手对方向盘的握力，一旦检测到疲劳发生，利用汽车的灯不停的闪烁，提醒周围的交通车辆。日本尼桑疲劳报警系统安装到车内驾驶员的前方，装置中的电眼能实时的采集司机的眼部图像，然后经过中央处理器的分析做出判断，进行相应的报警处理。将司机的眨眼次数、频率作为驾驶员是否疲劳的依据，如果驾驶员单位时间内眨眼过多，系统就会进行报警，并同时喷放出含有柠檬味的醒脑香气来消除司机的困意。
发明内容
本发明的目的在于针对已有技术存在的缺陷提供一种基于FPGA的疲劳驾驶双目检测硬件平台，通过双摄像头采集驾驶员的脸部及双眼状态来判断驾驶员是否处在疲劳驾驶状态，从而降低疲劳驾驶带来的交通事故。采用双摄像头的目的在于能够更加迅速的、准确的获得驾驶员人脸及眼部状态，配合PFGA内建双核处理器分别对两摄像头采集到的数据进行处理，从而达到即时检测驾驶员是否处在疲劳驾驶状态。同时检测系统具有低功耗、高可靠性的特点。为达到上述目的，本发明的构思是
首先，通过双摄像头来采集驾驶员的人脸及眼部状态，并将采集到的数据存储到SSRAM(同步动态随机存取记忆体)中。其次，读取SSRAM中的数据，通过FPGA内建双核处理器分别处理两个摄像头采集到的数据，并对其作相应的算法处理，找出人脸中的人眼部分，通过判断人眼在一分钟内的眨眼次数来判定驾驶员是否处在疲劳状态。最后，处理完的数据通过解码芯片解码后，把驾驶员的脸部状况显示到显示器上，如果通过算法判断出驾驶员处在疲劳驾驶状态，相应的警报装置启动，同时通过通讯模块与汽车的CAN总线相连，并对汽车作出相应的控制，比如减速、刹车等。根据上述发明构思，本发明采用下述技术方案
一种基于FPGA的疲劳驾驶双目检测硬件平台由I块专用的Cyclone III开发板(I)连接2个摄像头(Π、ΠΙ)构成；通过双摄像头(Π、ΠΙ)采集驾驶员的脸部及双眼状态来 判断驾驶员是否处在疲劳驾驶状态，从而降低疲劳驾驶带来的交通事故；采用双摄像头的目的在于能够更加迅速的、准确的获得驾驶员人脸及眼部状态，配合Cyclone III开发板Cl)中FPGA (18)内建双核处理器分别对两摄像头(Π、ΠΙ)采集到的数据进行处理，从而达到即时检测驾驶员是否处在疲劳驾驶状态，同时检测系统具有低功耗、高可靠性的特点。所述Cyclone III开发板(I)是一个其特征在于所述Cyclone III。开发板(I)主要是一个FPGA连接有程序配置FLASH (16)、片外存储设备(15)、SDRAM (14)、复位管理芯片(4)、拨码开关和按键输入(2)、DVI接口(9)、串口扩展(I)、电源接口(6)、电源管理模块(5)、JTAG接口(8)、AS接口(7)、密码保护扩展块(17)、LED指示(3)、SSRAM (13)和用于连接摄像头(ΠΠΙ)和5V电源和OV地线的HDR_2X20 (12);摄像头(H、ΠΙ)由图像传感器芯片(19)、外围电路(20)和镜头(21)三个部分组成，并通过HDR_2X 20 (22)连接到开发板(I)。上述的开发板采用8层板设计，通过模拟仿真、计算保证系统的电源完整性及信号完整性。使用了 Altera(阿尔特拉)公司的CycloneIII中高档FPGA-EP3C55F484，逻辑资源高达55856 LES，内嵌M9K块存储器260个，总的RAM存储量2396160 bits，内嵌18X18的乘法器156个，4个PLL，20个全局时钟网络，327个输入输出(IO)口，135对差分信号，使得它在性能、逻辑资源、端口资源上都非常优秀。开发板中FPGA芯片通过AS (主动串行)模式从EPCS16中获得配置数据。存储系统由16MX32的mobile SDRAM和4MX 8 Nor Flash组成，32位宽的SDRAM (同步动态随机存取记忆体)可使得处理器达到更高的性能，Flash (快闪存储器)用于固化系统代码。复位系统在上电后会自动硬件复位，同时通过IWire总线的安全散列算法加密(SHA-I)，增强知识产权安全性。JTAG (烧写调试接口)用于调试FPGA，AS接口用于烧写配置芯片。预留RS232串行通信接口接口，加上串口模块后即可实现和计算机或其他电路通信。开发板上还扩展了 3路轻触开关、4路拨码开关。开发板上的电源管理先通过LM2596S-5. O和LM2596S-3. 3分别产生5. OV和
3.3V，再通过TPS75003产生内核1.2V、I0电压3. 3、LVDS电源2. 5V，通过TPS71501产生辅助电压2. 5V。此外还集成了两块ISSI公司的SSRAM (同步静态随机存取存储器)IS61NLP102418-250B3，用于对图像传感器采集到的数据进行存储，并将存储数据传输到FPGA进行处理，处理完的数据由开发板上的解码芯片CH7301C进行解码，该解码芯片最大传输可达到165M像素/秒，最大像素可达到1920*1200，同时提供DVI和RGB两种模式输出。摄像头部分由图像传感器芯片、外围电路和镜头三个部分组成，图像传感器芯片和镜头分别采用的是Micron Technology公司的SOC数字COMS图像传感器芯片MT9M111129STC和4mm/Fl. 2镜头，并通过HDR_2 X 20连接到开发板与其通信。SOC数字COMS图像传感器芯片MT9M111I29STC，其传感器尺寸1/3英寸，最大支持像素为1280*1024，最大数据速率达27 MPS/54 MHz。在分辨率为1280*1024时，图像可达15帧/秒；在分辨率为640*512时，图像可达30帧/秒。这为图像的采集效率和质量提供了充足的保证。本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点
I.两个摄像头用于双目的机器视觉的视频采集，通过双目摄像头可以很容易的得出驾驶员的脸部及眼部状态。 2.采用性价比较高的FPGA内建双核处理器来实现并行处理，大大提高了处理速度，同时具有较低的功耗。3.开发板上集成了 CH7301C解码芯片，该解码芯片最大传输可达到165M像素/秒，最大像素可达到1920*1200，同时可提供DVI和RGB两种模式输出。4.图像传感器芯片采用Micron Technology (美光科技)公司的SOC数字COMS图像传感器芯片MT9M111I29STC，其传感器尺寸达1/3英寸，最大支持像素为1280*1024，最大数据速率达27 MPS/54 MHz0这为图像的采集效率和质量提供了充足的保证。
图I.本发明硬件平台结构框图
图2.图I中的Cyclone III开发板结构框图 图3.图2存储单元、JTAG和AS连接图 图4.图像传感器结构框图。
具体实施例方式本结合附图，对本发明的优先实施例说明如下
实施例一
参见图1，本基于FPGA的的疲劳驾驶双目检测硬件平台其特征在于由I块专用的Cyclone III开发板(I)连接2个摄像头(Π、ΠΙ)构成；通过双摄像头(Π、ΠΙ)采集驾驶员的脸部及双眼状态来判断驾驶员是否处在疲劳驾驶状态，从而降低疲劳驾驶带来的交通事故；采用双摄像头的目的在于能够更加迅速的、准确的获得驾驶员人脸及眼部状态，配合Cyclone III开发板(I )中FPGA (18)内建双核处理器分别对两摄像头(Π、ΠΙ)采集到的数据进行处理，从而达到即时检测驾驶员是否处在疲劳驾驶状态，同时检测系统具有低功耗、高可靠性的特点。实施例二
参见图I 图4,本实施例与实施例一基本相同,特征之处如下
所述的一种基于FPGA的疲劳驾驶双目检测硬件平台，其特征在于所述Cyclone III。开发板(I)主要是一个FPGA连接有程序配置FLASH (16)、片外存储设备(15)、SDRAM (14)、复位管理芯片(4)、拨码开关和按键输入(2)、DVI接口(9)、串口扩展(I)、电源接口(6)、电源管理模块(5)、1^6接口(8)43接口(7)、密码保护扩展块(17)、1^0指示(3)、SSRAM( 13)和用于连接摄像头(Π、ΠΙ)和5V电源和OV地线的HDR_2X20 (12);摄像头(Π、ΠΙ)由图像传感器芯片(19)、外围电路(20)和镜头(21)三个部分组成，并通过HDR_2X20 (22)连接到开发板(I)。实施例三
参见图I，本基于FPGA的疲劳驾驶双目检测硬件平台。包括I块自制的FPGA开发板和2个图像传感器组成。(一)开发板开发板，参见图2。
开发板主要包括FPGA芯片(18)、程序配置FLASH (16)、片外存储设备(15)、SDRAM
(14)、复位管理芯片(4)、拨码开关和按键输入(5)、DVI接口(11)、VGA接口(9)、串口扩展(I)、电源接口(6)、电源管理模块(5)、JTAG接口(8)、AS接口(7)、密码保护模块(17)、LED指示(3)、SSRAM (13)和用于连接摄像头和5V电源和OV地线的HDR_2 X 20 (12)。(二)开发板存储单元、JTAG和AS接口
参见图3，开发板的片外存储单元是2块16位的SDRAM (20)，2块SDRAM以并行方式连接，这样能提供32位的数据存储，以满足ALTERA自带的NIOS处理器的32位地址数据总线。每块SDRAM (20)的数据与地址总线分别与FPGA芯片(14)相对应的引脚相连。控制总线包括
SDR_WE :写使能信号；
CAE :列地址信号；
RAS :行地址信号；
CS :片选信号；
BA0/BA1 =BANK (片)选择信号；
DQMO :低8位屏蔽信号；
DQMl :闻8位屏蔽/[目号；
CKE :时钟使能信号；
CLK :时钟信号。同时，FPGA芯片(18)输出的JTAG控制信号线与AS配置信号线分别连接到JTAG接口上与EPCS16闪存芯片上。JTAG控制信号包括串行输入(TDI)，串行输出(TD0)，时钟信号(TCK)，控制信号(TMS)0AS信号线包括时钟信号(DCLK)，片选信号(nCS)，ASDI与CONFIG信号。其中AS上电后发送读信号，将闪存(15)中的内容传送至FPGA中。(三)摄像头
参见图4，摄像头由图像传感器芯片、外围电路和镜头三个部分组成，图像传感器芯片和镜头分别采用的是由Micron Technology (美光科技)公司的SOC数字COMS图像传感器芯片MT9M111I29STC和4mm/Fl. 2镜头，并通 过HDR_2X20连接到开发板与其通信。
权利要求
1.一种基于FPGA的疲劳驾驶双目检测硬件平台其特征在于由I块专用的CycloneIII开发板(I)连接2个摄像头(II、ΙΠ )构成；通过双摄像头(Π、111)采集驾驶员的脸部及双眼状态来判断驾驶员是否处在疲劳驾驶状态，从而降低疲劳驾驶带来的交通事故；采用双摄像头的目的在于能够更加迅速的、准确的获得驾驶员人脸及眼部状态，配合Cyclone III开发板(I)中FPGA (18)内建双核处理器分别对两摄像头(II >111)采集到的数据进行处理，从而达到即时检测驾驶员是否处在疲劳驾驶状态，同时检测系统具有低功耗、高可靠性的特点。
2.根据权利要求I所述的一种基于FPGA的疲劳驾驶双目检测硬件平台，其特征在于所述Cyclone III ;开发板(I)主要是一个FPGA连接有程序配置FLASH (16)、片外存储设备(15),SDRAMC14)、复位管理芯片(4)、拨码开关和按键输入(2)、DVI接口(9)、串口扩展(I)、电源接口(6)、电源管理模块(5)、JTAG接口(8)、AS接口(7)、密码保护扩展块(17)、LED指示(3)、SSRAM (13)和用于连接摄像头(II IiI )和5V电源和OV地线的HDR_2X 20 (12)；摄像头(IKIII)由图像传感器芯片(19)、外围电路(20)和镜头(21)三个部分组成，并通过HDR_2X20 (22)连接到开发板(I)。
3.根据权利要求2所述的一种基于FPGA的疲劳驾驶双目检测硬件平台，其特征在于图像传感器芯片(19)和镜头(21)分别采用的是Micron Technology公司的SOC数字COMS图像传感器芯片MT9M111I29STC和4mm/Fl. 2镜头。
4.根据权利要求2所述的一种基于FPGA的疲劳驾驶双目检测硬件平台，其特征在于所述Cyclone III开发板(I)，通过对AS接口(7)与JTAG接口(8)的选择来实现程序的直接烧写或将程序烧入FLASH中进行上电后烧写。
5.根据权利要求3所述的一种基于FPGA的疲劳驾驶双目检测硬件平台，其特征在于所述图像传感器(19)，通过两个专用摄像头(21)采集人脸图像后并将其存储到Cyclone III开发板(I)上的SSRAM中。
全文摘要
本发明涉及了一种基于FPGA的疲劳驾驶双目检测硬件平台。通过双摄像头采集驾驶员的脸部及双眼状态来判断驾驶员是否处在疲劳驾驶状态，从而降低疲劳驾驶带来的交通事故。本检测系统具有低功耗、高可靠性的特点。该硬件平台由1块自制的CycloneIII开发板连接2个图像传感器构成。开发板主要是由FPGA加上存储系统及必要的外围电路组成完整的处理器组，双处理器核及存储单元均在FPGA中实现；同时开发板上有电源管理模块、视频输出接口和串口扩展。摄像头由图像传感器芯片、外围电路和镜头三个部分组成，并通过HDR_2×20连接到开发板。
文档编号A61B5/18GK102860830SQ20121033448
公开日2013年1月9日 申请日期2012年9月12日 优先权日2012年9月12日
发明者徐美华, 黄舒平, 姚华城, 翁世浩, 孙梦威, 冉峰 申请人:上海大学