一种基于教育心理学的看书疲劳智能检测系统与方法

文档序号:10474107阅读:759来源:国知局
一种基于教育心理学的看书疲劳智能检测系统与方法
【专利摘要】本发明涉及疲劳检测技术领域,具体涉及一种基于教育心理学的看书疲劳智能检测系统,包括视觉检测系统、模糊神经网络系统和微机系统,所述视觉检测系统、模糊神经网络系统连接于微机系统;所述模糊神经网络系统包括DSP处理器,所述DSP处理器连接有CPLD和FPGA,所述CPLD和FPGA分别连接有视频A/D和视频D/A,所述视频A/D通过红外CCD和普通CCD输入视频信息,所述视频A/D转换器将图像数据传输至DSP处理器和视频D/A,所述视频D/A进行图像输出,所述DSP处理器连接有结果显示及报警机制;所述视觉检测系统包括图像处理模块,所述图像处理模块连接有图像采集模块、电源管理模块、仿真器、语音提醒模块和扩展存储模块。
【专利说明】
一种基于教育心理学的看书疲劳智能检测系统与方法
技术领域
[0001]本发明涉及疲劳检测技术领域,具体涉及一种基于教育心理学的看书疲劳智能检测系统与方法。
【背景技术】
[0002]网络学习和人的其他活动一样,都会导致体力和脑力的消耗,从而表现出身体和心理上的紧张或疲惫情绪状态。“学习疲劳”是心理学及教育学中的重要概念。一般地讲,学习疲劳是指由于长时间的持续学习,在生理和心理等方面产生了怠倦,致使学习效率下降,甚至到达不能继续学习的状况。
[0003]学习疲劳有多种表现形式。学习疲劳主要可以区分为生理疲劳即身体的疲劳和心理疲劳即大脑的疲劳。有些疲劳现象可以被主体感知,也有些学习疲劳现象未被主体感知而由他人感知。他人通过对学习者学习的外在行为的观察,得出“学习者进入学习疲劳”的结论。通常情况下,身体疲劳易被发觉;但心理疲劳往往不易被发觉,造成学习者记忆力和理解力的减弱,注意力难以集中,反应减慢等等。
[0004]目前,在疲劳驾驶检测领域,一些学者尝试运用传感技术、信号检测和采集技术或者面部表情识别技术,进行驾驶员疲劳状态的识别、预测和疲劳干预,主要为生理疲劳的检测。
[0005]在网络学习领域,一些学者企图从完善网络课程教学设计的角度,来促进网络学习环境下的情感交流,在一定程度上可以降低学习者进入学习疲劳的可能性;一些学者利用多媒体技术、BBS甚至QQ等聊天工具来促进网络学习环境中的情感交流,起到了一定的防止学习疲劳作用。这些研究主要集中于生理疲劳的识别或检测,没有关注学习疲劳的复杂性,它包含生理疲劳和心理疲劳两种层次的疲劳,对于学习疲劳状态进行主动识别和干预的研究也不多见。
[0006]现有的从网络课程教学设计、利用多媒体技术、BBS甚至QQ等聊天工具来促进网络学习环境中情感交流的方法,只是从单方面加强情感交流来防止学习疲劳,仍然不能主动识别学习者是否进入疲劳状态,没有区分讨论生理疲劳和心理疲劳,也没有干预措施。
[0007]目前国内的疲劳检测大都采用单一疲劳特征进行疲劳识别,很少将多个疲劳特征有机结合,这使得误识率高。

【发明内容】

[0008]针对以上问题,本发明提供了一种基于教育心理学的看书疲劳智能检测系统与方法,采用视觉检测系统、模糊神经网络系统的结合,通过将多个疲劳参数提取出来对驾驶员疲劳状况进行检测,具有较好的效果,采用非接触式、被动视觉的PERCL0S疲劳检测方法,针对获取的图像运用图像处理技术提取眼部的疲劳特征,不会对眼睛造成损伤,能有效解决技术背景中的问题。
[0009]为了实现上述目的,本发明采用的技术方案如下:一种基于教育心理学的看书疲劳智能检测系统,包括视觉检测系统、模糊神经网络系统和微机系统,所述视觉检测系统、模糊神经网络系统连接于微机系统;所述模糊神经网络系统包括DSP处理器,所述DSP处理器连接有CPLD和FPGA,所述CPLD和FPGA分别连接有视频A/D和视频D/A,所述视频A/D通过红夕卜CCD和普通CCD输入视频信息,所述视频A/D转换器将图像数据传输至DSP处理器和视频D/A,所述视频D/A进行图像输出,所述DSP处理器连接有结果显示及报警机制;所述视觉检测系统包括图像处理模块,所述图像处理模块连接有图像采集模块、电源管理模块、仿真器、语音提醒模块和扩展存储模块。
[0010]进一步地,所述DSP处理器采用TMS320DM642CPU。
[0011]进一步地,所述图像处理模块采用TMS230DM643CPU。
[0012]进一步地,所述图像采集模块由CCD摄像头输入视频信息,通过TVP5150视频解码器转换成BT,656格式的标准数字视频信号数字信号后传输至TMS230DM643CPU的VPSS前端,所述TVP5150通过标准的IIC总线进行配置。
[0013]进一步地,所述扩展存储模块扩包括256Mb的SDRAM存储器和128Mb的Flash存储器。
[0014]进一步地,所述电源管理模块采用+5V单电源。
[0015]进一步地,所述语音提醒模块由ACI33立体声编码器和扬声器组成,所述ACI33立体声编码器与TMS230DM643CPU和扬声器相连。
[0016]另外本发明还设计了一种基于教育心理学的看书疲劳智能检测方法,通过视觉检测系统和模糊神经网络系统获取相同信息源,通过CCD检测人脸,检测到人脸后,在人脸区域进行基于Ma s k的综合积分投影方法定位眼睛,以在I m i η内眼睛闭合的时间所占的比例80%为疲劳分界点,得到若干个I分钟内的比例曲线;并通过微机系统进行综合分析。
[0017]进一步地,人脸检测的实现过程为:利用肤色的聚类性分割得到图像中的肤色区域,然后通过形态学开运算去掉白色干扰小块,最后检测人脸的构造特征定位人脸,通过人脸检测剔除非人脸肤色区域,减小搜索眼睛的范围。
[0018]进一步地,所述Mask综合积分投影方法的处理过程为通过人脸的二值图像生成Mask,并通过水平综合投影进行眼睛的纵向定位,在通过垂直综合投影,去顶眼睛窗口位置。
[0019]本发明的有益效果:
[0020]本发明采用视觉检测系统、模糊神经网络系统的结合,通过将多个疲劳参数提取出来对驾驶员疲劳状况进行检测,具有较好的效果,采用非接触式、被动视觉的PERCL0S疲劳检测方法,针对获取的图像运用图像处理技术提取眼部的疲劳特征,不会对眼睛造成损伤。
【附图说明】
[0021 ]图1为本发明模糊神经网络系统结构示意图。
[0022]图2为本发明视觉检测系统结构示意图。
图3为本发明实施例中模糊神经网络系统进行疲劳识别的示意图。
【具体实施方式】
[0023]为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0024]实施例:如图1和图2所示,一种基于教育心理学的看书疲劳智能检测系统,包括视觉检测系统、模糊神经网络系统和微机系统,所述视觉检测系统、模糊神经网络系统连接于微机系统;所述模糊神经网络系统包括DSP处理器,所述DSP处理器连接有CPLD和FPGA,所述CPLD和FPGA分别连接有视频A/D和视频D/A,所述视频A/D通过红外CCD和普通CCD输入视频信息,所述视频A/D转换器将图像数据传输至DSP处理器和视频D/A,所述视频D/A进行图像输出,所述DSP处理器连接有结果显示及报警机制;所述视觉检测系统包括图像处理模块,所述图像处理模块连接有图像采集模块、电源管理模块、仿真器、语音提醒模块和扩展存储模块。
[0025]进一步地,所述DSP处理器采用TMS320DM642CPU。
[0026]进一步地,所述图像处理模块采用TMS230DM643CPU。
[0027]进一步地,所述图像采集模块由CCD摄像头输入视频信息,通过TVP5150视频解码器转换成BT,656格式的标准数字视频信号数字信号后传输至TMS230DM643CPU的VPSS前端,所述TVP5150通过标准的IIC总线进行配置。
[0028]进一步地,所述扩展存储模块扩包括256Mb的SDRAM存储器和128Mb的Flash存储器。
[0029]进一步地,所述电源管理模块采用+5V单电源。
[0030]进一步地,所述语音提醒模块由ACI33立体声编码器和扬声器组成,所述ACI33立体声编码器与TMS230DM643CPU和扬声器相连。
[0031]另外本发明还设计了一种基于教育心理学的看书疲劳智能检测方法,通过视觉检测系统和模糊神经网络系统获取相同信息源,通过CCD检测人脸,检测到人脸后,在人脸区域进行基于Ma s k的综合积分投影方法定位眼睛,以在I m i η内眼睛闭合的时间所占的比例80%为疲劳分界点,得到若干个I分钟内的比例曲线;并通过微机系统进行综合分析。
[0032]进一步地,人脸检测的实现过程为:利用肤色的聚类性分割得到图像中的肤色区域,然后通过形态学开运算去掉白色干扰小块,最后检测人脸的构造特征定位人脸,通过人脸检测剔除非人脸肤色区域,减小搜索眼睛的范围。
[0033]进一步地,所述Mask综合积分投影方法的处理过程为通过人脸的二值图像生成Mask,并通过水平综合投影进行眼睛的纵向定位,在通过垂直综合投影,去顶眼睛窗口位置。
[0034]本发明TMS230DM643是TI公司最新推出的针对多媒体处理的高性能数字媒体处理器,在图像处理方面具备优势。从满足驾驶疲劳检测系统的实时性要求来看,人在正常情况下每分钟眨眼10?15次,随着疲劳程度的增加眨眼的次数还会升高。若要很好地捕捉眼睛的闭合过程,对视频图像的采样必须达到每秒10帧以上,这就要求系统必须在10ms内完成对一帧图像的全部处理,TMS230DM643的时钟主频为600MHz,具有4800MIPS的运算性能,能够很好地满足实时处理图像的要求。
[0035]TMS230DM643建立在C64x+核的基础上,结合增强型DSP内核与最新视频处理子系统的系统结构,采用第三代高性能超长指令字结构VelociTI <Χ64χ+核相比C64核循环性能提高了20%,代码规模降低了20%?30%,进一步提高了代码的执行效率。且C64x+核具有可灵活操作的高速控制器,优越的数据并行处理能力,64个32位字长的通用寄存器以及8个高度独立的功能计算单元,用户可以根据TI公司专门提供的8个功能计算单元的操作指南,提高其处理视频和图像的性能。TMS230DM643基于第三代高性能超长指令字结构VelociTI和硬件流水机制,使其在一个指令周期最多能够并行处理8条指令,进一步提高了处理速度。TMS230DM643内置一个视频处理子系统,具有两个可配置的视频处理前端和处理后端,通过合理的配置可以灵活地获得系统需要的视频/图像格式,从而能够实现与视频解码器、图像传感器等之间的无缝连接。同时,TMS230DM643还集成了丰富的外围设备和接口,为构建驾驶疲劳检测系统提供了便利条件。
[0036]本发明TMS230DM643的片上存储器分为128Kb的LlP,128KbLlD以及2Mb的L2,并提供了64b的外部存储接口。若采集图像时选择的分辨率为576X720,每个图像采样点的灰度级为8b,则一帧图像所占的存储空间约为0.4Mb。图像在处理过程中获取的中间结果比较多,存储一帧图像以及与其相关的中间约需3Mb,采用乒缓存方式需要同时存储两帧图像。系统通过外部存储接口扩展256Mb的SDRAM存储器和128Mb的Flash存储器,能充分满足系统存储的要求。TMS230DM643通过增强64通道的直接存储器访问控制器控制数据传输,数据传输可以在片内存储器、片外存储器以及外设之间进行,增强的64通道DMA传输可以提供2Gbps以上的持续带宽。
[0037]本发明图像采集模块由CCD摄像头和TVP5150视频解码器组成。CXD摄像头采集驾驶员的驾驶视频图像(包含人脸区域)为模拟视频信号,视频制式通常分为PAL制式与NTSC制式。模拟视频信号经过TVP5150转换成BT.656格式的标准数字视频信号(YUV4: 2:2)数字信号后传输至TMS230DM643的VPSS前端。TVP5150通过标准的IIC总线进行配置,其数据传送率最高可达400Kbps。同时,由于TMS230DM643支持BT.656格式的标准数字视频信号输入,TVP5150与TMS230DM643实现了无缝连接。
[0038]本发明驾驶疲劳检测算法先对CCD摄像头采集到的图像利用人脸肤色的聚类性检测人脸,若持续3s没有检测到人脸则算法判断为人脸缺失。检测到人脸后,在人脸区域进行基于Mask的综合积分投影方法定位眼睛,获得眼睛窗口后则提取眼睛的闭合度作为PERCL0S评测疲劳的依据。若计算得到的PERCL0S值大于阈值则算法判断为驾驶疲劳,否则继续对下一帧图像进行相同处理。
[0039]本发明PERCL0S算法是美国弗吉利亚大学Wierwille教授,后来美国联邦公路管理局和美国国家公路交通安全管理局通过模拟实验综合比较了九种疲劳检测指标,一致推荐把PERCL0S作为预测机动车驾驶员驾驶疲劳的可行方法。PERCL0S有三个评价标准:P70标准、P80标准和EM(EYEMEAS)标准,NHTSA的实验表明P80标准(以眼睛至少闭合80%的时间占特定时间的百分率为评价指标)与疲劳程度具有更好的相关性。
[0040]如图3所示,本发明模糊神经网络系统是将提取出的4个疲劳特征参数送入模糊神经网络进行疲劳识别,输入的参数共有4个,S卩神经网络的第一层有4个节点,其输出只有一个,输出值就代表了疲劳等级,该网络共分为5层,有4个输入节点,I个输出节点;第一层为输入层,该层各个节点直接与输入向量的各分量xi连接,它起着将输入值X= (Xl,x2,…,xn)T传送到下一层的作用,该层的节点数为η;第二层是模糊化层,用来计算输入样本相对于各个模糊类的隶属度,第二层节点总数为ml+m2+…+mn,每个节点代表一个语言变量值,其作用是计算每个输入分量对于该分量的每个模糊集合的隶属度;第三层是规则集合层,每个节点代表一条模糊规则,用来匹配模糊规则前件,计算出每条规则的适用度,第三层的节点总数是:ml.m2.…mn,等于可能的规则总数,为了包含所有可能的规则,第三层和第二层之间是全连接,其节点输出为整个网络的输入变量对于每个规则的适用度;第四层作用是实现归一化计算,其节点数与第三层相同,也为第四层的每个节点都与第三层的某个节点对应,其输出是输入除以第三层所有节点输出的总和;第五层是输出层,实现的是清晰化计算,第五层只有一个节点,它与第四层的每一个节点都有连接。
[0041]基于上述,本发明采用视觉检测系统、模糊神经网络系统的结合,通过将多个疲劳参数提取出来对驾驶员疲劳状况进行检测,具有较好的效果,采用非接触式、被动视觉的PERCL0S疲劳检测方法,针对获取的图像运用图像处理技术提取眼部的疲劳特征,不会对眼睛造成损伤。
[0042]以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
【主权项】
1.一种基于教育心理学的看书疲劳智能检测系统,其特征在于:包括视觉检测系统、模糊神经网络系统和微机系统,所述视觉检测系统、模糊神经网络系统连接于微机系统; 所述模糊神经网络系统包括DSP处理器,所述DSP处理器连接有CPLD和FPGA,所述CPLD和FPGA分别连接有视频A/D和视频D/A,所述视频A/D通过红外CCD和普通CXD输入视频信息,所述视频A/D转换器将图像数据传输至DSP处理器和视频D/A,所述视频D/A进行图像输出,所述DSP处理器连接有结果显示及报警机制; 所述视觉检测系统包括图像处理模块,所述图像处理模块连接有图像采集模块、电源管理模块、仿真器、语音提醒模块和扩展存储模块。2.根据权利要求1所述的一种基于教育心理学的看书疲劳智能检测系统,其特征在于:所述DSP处理器采用TMS320DM642CPU。3.根据权利要求1所述的一种基于教育心理学的看书疲劳智能检测系统,其特征在于:所述图像处理模块采用TMS230DM643CPU。4.根据权利要求1所述的一种基于教育心理学的看书疲劳智能检测系统,其特征在于:所述图像采集模块由CCD摄像头输入视频信息,通过TVP5150视频解码器转换成BT,656格式的标准数字视频信号数字信号后传输至TMS230DM643CPU的VPSS前端,所述TVP5150通过标准的IIC总线进行配置。5.根据权利要求1所述的一种基于教育心理学的看书疲劳智能检测系统,其特征在于:所述扩展存储模块扩包括256Mb的SDRAM存储器和128Mb的Flash存储器。6.根据权利要求1所述的一种基于教育心理学的看书疲劳智能检测系统,其特征在于:所述电源管理模块采用+5V单电源。7.根据权利要求1所述的一种基于教育心理学的看书疲劳智能检测系统,其特征在于:所述语音提醒模块由ACI33立体声编码器和扬声器组成,所述ACI33立体声编码器与TMS230DM643CPU和扬声器相连。8.—种基于教育心理学的看书疲劳智能检测方法,其特征在于:通过视觉检测系统和模糊神经网络系统获取相同信息源,通过CCD检测人脸,检测到人脸后,在人脸区域进行基于Mask的综合积分投影方法定位眼睛,以在Imin内眼睛闭合的时间所占的比例80 %为疲劳分界点,得到若干个I分钟内的比例曲线;并通过微机系统进行综合分析。9.根据权利要求8所述的一种基于教育心理学的看书疲劳智能检测方法,其特征在于:人脸检测的实现过程为:利用肤色的聚类性分割得到图像中的肤色区域,然后通过形态学开运算去掉白色干扰小块,最后检测人脸的构造特征定位人脸,通过人脸检测剔除非人脸肤色区域,减小搜索眼睛的范围。10.根据权利要求8所述的一种基于教育心理学的看书疲劳智能检测方法,其特征在于:所述Mask综合积分投影方法的处理过程为通过人脸的二值图像生成Mask,并通过水平综合投影进行眼睛的纵向定位,在通过垂直综合投影,去顶眼睛窗口位置。
【文档编号】G06K9/00GK105828026SQ201610098302
【公开日】2016年8月3日
【申请日】2016年2月23日
【发明人】阎升光
【申请人】华北理工大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1