专利名称：基于智能电视的检测用户疲劳度的系统及方法
技术领域：
本发明涉及智能电视领域，具体的说，是涉及一种利用人脸识别、眼睛定位、图像处理、以及PERCLOS (Percent Eye Closure)值计算等技术实现的基于智能电视的检测用户疲劳度的系统及方法。
背景技术：
近几年来，智能化电视的发展己经如火如荼，越来越多的技术在电视上得到了应用与实现，智能化注定成为电视行业未来几年内的发展趋势。语音识别、手势识别、云电视等概念的层出不穷，也吸引了各大厂商与用户的关注，如何让电视更加智能化成为了炙手可热的话题。如果可以将智能电视终端设备与人脸识别技术相结合，通过检测人员的疲劳状态，而激活电视定时关机功能，从而提示用户应该及时休息，可避免当今社会人们因晚睡等不良习惯对身体造成的伤害和开机睡觉而产生的资源浪费。因此，提出一种基于智能电视的疲劳检测系统及方法，非常有必要。发明内容
本发明所要解决的技术问题是:提出一种基于智能电视的检测用户疲劳度的系统及方法，对用户的疲劳程度进行检测，并控制智能电视作出相关动作，从而提醒用户及时休息，避免开机睡觉产生的资源浪费。
本发明解决上述技术问题采用的方案是:基于智能电视的检测用户疲劳度的系统，包括:
人脸图像捕捉模 块，用于利用智能电视前端内置的摄像头对人脸进行动态识别，将识别的图像传输给人眼定位模块；
人眼定位模块，用于通过检测视网膜与面部其它位置在相同光照度的情况下，对850nm和940nm波长红外线反射图像灰度值的不同，将眼睛部分与脸部其余部分分离出来，进行人眼定位；
图像处理模块，用于配合人眼定位模块完成图像相减、眼睛位置跟踪、眼睛面积补偿和计算功能；
人眼闭合状态分析模块，用于计算在一定时间内眼睛闭合状态所占的时间比例值，并将该值传输给数据比较模块；
数据比较模块，用于将从人眼闭合状态分析模块处获取的时间比例值与预设的疲劳临界阈值进行比较，将比较结果反馈给数据处理模块；
数据处理模块，用于根据从数据比较模块处获取的比较结果决定是否向电视机发出定时关闭及提示功能的指令。
进一步，所述人眼闭合状态分析模块通过记录眼睛睁开、闭合的次数及其开始和结束的时刻，采用PERCLOS计算方法计算在一定时间内眼睛闭合状态在总的计数时间中所占的时间比例值。
进一步，所述数据处理模块根据从数据比较模块处获取的比较结果决定是否向电视机发出定时关闭及提示功能的指令的具体方法为:若对比结果中，时间比例值大于预设的疲劳临界阈值，则向电视机发出定时关闭及提示功能的指令；反之，则不向电视机发出相应指令。
此外，本发明的另一目的在于，提出一种基于智能电视的检测用户疲劳度的方法，该方法包括以下步骤:
a.人脸图像捕捉模块对人脸进行动态识别，将识别的图像传输给人眼定位模块；
b.人眼定位模块通过检测视网膜与面部其它位置在相同光照度的情况下，对850nm和940nm波长红外线反射图像灰度值的不同，将眼睛部分与脸部其余部分分离出来，进行人眼定位；
c.图像处理模块配合人眼定位模块完成图像相减、眼睛位置跟踪、眼睛面积补偿和计算功能；
d.人眼闭合状态分析模块计算在一定时间内眼睛闭合状态所占的时间比例值，并将该值传输给数据比较模块；
e.数据比较模块将从人眼闭合状态分析模块处获取的时间比例值与预设的疲劳临界阈值进行比较，将比较结果反馈给数据处理模块；
f.数据处理模块根据从数据比较模块处获取的比较结果决定是否向电视机发出定时关闭及提不功能的指令。
进一步，步骤d中，所述人眼闭合状态分析模块通过记录眼睛睁开、闭合的次数及其开始和结束的时刻，采用PERCLOS计算方法计算在一定时间内眼睛闭合状态在总的计数时间中所占的时间比例值。
进一步，步骤f中，所述数据处理模块根据从数据比较模块处获取的比较结果决定是否向电视机发出定时关闭及提示功能的指令的具体方法为:若对比结果中，时间比例值大于预设的疲劳临界阈值，则向电视机发出定时关闭及提示功能的指令；反之，则不向电视机发出相应指令。
本发明的有益效果是:对智能电视用户的疲劳度进行实时检测，当计算出来的在一定时间内眼睛闭合时间占总计数时间的比例值大于预设的疲劳临界阈值时，判定用户当前处于疲劳状态，则通过数据处 理模块向电视机发出定时关闭及提示功能的指令，提示用户需要及时休息，也避免了因为开机睡觉产生的资源浪费，此外本发明的方案也是对智能电视功能的又一拓展，从而提升智能电视的市场竞争力。
图1为本发明中的基于智能电视的检测用户疲劳度的系统结构示意图2为实施例中的基于智能电视的检测用户疲劳度的方法流程图。
具体实施方式
本发明提出一种基于智能电视的检测用户疲劳度的系统及方法，用户的疲劳程度进行检测，并控制智能电视作出相关动作，从而提醒用户及时休息，避免开机睡觉产生的资源浪费。本发明的方案可以概括如下:通过智能电视机前端内置的红外摄像头，捕捉到人脸图像后，通过检测视网膜与面部其它位置在相同光照度的情况下，对850nm和940nm波长红外线反射图像灰度值的不同，而准确定位人的眼睛。从而对人的眼睛进行实时的判断分析，检测人眼的闭合状态，判定被检测人员的疲劳程度，并根据设定的规则开启电视定时关闭及提示功能。
参见图1，本发明中的基于智能电视的检测用户疲劳度的系统包括以下组成部分:
A、人脸图像捕捉模块:通过智能电视机前端内置的红外摄像头，在红外与可见光融合的条件下对人脸进行动态识别；
B、人眼定位模块:通过检测视网膜与面部其它位置在相同光照度的情况下，对850nm和940nm波长红外线反射图像灰度值的不同，将眼睛部分与脸部其余部分分离出来，进行人眼定位；
C、图像处理模块:主要完成图像相减、眼睛位置跟踪、眼睛面积补偿和计算等；
D、人眼闭合状态分析模块:通过PERCLOS计算在一定时间内眼睛闭合所占的时间比例；
E、数据比较模块:用于将从人眼闭合状态分析模块处获取的时间比例值与预设的疲劳临界阈值进行比较，将比较结果反馈给数据处理模块；这里的“疲劳临界阈值”也是眼睛闭合状态时间占总时间的预设比例值，在本发明中该值可取0.15 ；
F:数据处理模块:接收来自疲劳检测系统所发送的比对结果，根据设定的规则开启电视定时关闭及提示功能:若对比结果中，时间比例值大于预设的疲劳临界阈值，则向电视机发出定时关闭及提示功能的指令；反之，则不向电视机发出相应指令，继续检测用户疲劳度。
实现本例中的基于智能电视的检测用户疲劳度的方法的流程参见图2，其包括:
1、人脸捕捉:即通过智能电视机前端内置的红外摄像头，在红外与可见光融合的条件下对人脸进行动态识别；
2、人眼定位:即通过检测视网膜与面部其它位置在相同光照度的情况下，对850nm和940nm波长红外线反射图像灰 度值的不同，将眼睛部分与脸部其余部分分离出来，进行人眼定位；
3、图像处理:即配合人眼定位模块完成图像相减、眼睛位置跟踪、眼睛面积补偿和计算功能，具体来讲，就是实时跟踪被检测人员的眼睛位置并且计算眼睛面积(通过计算定位区域内的白色像素的个数，来计算眼睛面积；当眼睛完全睁开时，白色像素最多，而当眼睛完全闭合时面积最小)，并不断地修正眼睛与检测设备距离相对变化而引起的眼睛面积变化；
4、分析人眼闭合状态:即通过记录眼睛睁开、闭合的次数及其开始和结束的时刻，采用PERCLOS计算方法计算在一定时间内眼睛闭合状态在总的计数时间中所占的时间比例值(图2中用Q表示)；
5、数值对比:即将通过PERCLOS计算方法计算的一定时间内眼睛闭合状态在总的计数时间中所占的时间比例值Q与预设的疲劳临界阈值进行对比，本例中预设的疲劳临界阈值取0.15 ；
6、数据处理:接收对比结果，若Q大于0.15，则判定当前用户处于疲劳状态，需要及时休息，则向电视机发出定时关闭及提示功能的指令；反之，则不向电视机发出相应指令，继续检测用户的疲劳状态 。
权利要求
1.基于智能电视的检测用户疲劳度的系统，其特征在于，包括: 人脸图像捕捉模块，用于利用智能电视前端内置的摄像头对人脸进行动态识别，将识别的图像传输给人眼定位模块； 人眼定位模块，用于通过检测视网膜与面部其它位置在相同光照度的情况下，对850nm和940nm波长红外线反射图像灰度值的不同，将眼睛部分与脸部其余部分分离出来，进行人眼定位； 图像处理模块，用于配合人眼定位模块完成图像相减、眼睛位置跟踪、眼睛面积补偿和计算功能； 人眼闭合状态分析模块，用于计算在一定时间内眼睛闭合状态所占的时间比例值，并将该值传输给数据比较模块； 数据比较模块，用于将从人眼闭合状态分析模块处获取的时间比例值与预设的疲劳临界阈值进行比较，将比较结果反馈给数据处理模块； 数据处理模块，用于根据从数据比较模块处获取的比较结果决定是否向电视机发出定时关闭及提示功能的指令。
2.如权利要求1所述的基于智能电视的检测用户疲劳度的系统，其特征在于，所述人眼闭合状态分析模块通过记录眼睛睁开、闭合的次数及其开始和结束的时刻，采用PERCLOS计算方法计算在一定时间内眼睛闭合状态在总的计数时间中所占的时间比例值。
3.如权利要求1或2所述的基于智能电视的检测用户疲劳度的系统，其特征在于，所述数据处理模块根据从数据比较模块处获取的比较结果决定是否向电视机发出定时关闭及提示功能的指令的具体方法为:若对比结果中，时间比例值大于预设的疲劳临界阈值，则向电视机发出定时关闭及提示功能的指令；反之，则不向电视机发出相应指令。
4.基于智能电视的检测用户疲劳度的方法，其特征在于，该方法包括以下步骤: a.人脸图像捕捉模块对人脸进行动态识别，将识别的图像传输给人眼定位模块； b.人眼定位模块通过检测视网膜与面部其它位置在相同光照度的情况下，对850nm和940nm波长红外线反射图像灰度值的不同，将眼睛部分与脸部其余部分分离出来，进行人眼定位; c.图像处理模块配合人眼定位模块完成图像相减、眼睛位置跟踪、眼睛面积补偿和计算功能； d.人眼闭合状态分析模块计算在一定时间内眼睛闭合状态所占的时间比例值，并将该值传输给数据比较模块； e.数据比较模块将从人眼闭合状态分析模块处获取的时间比例值与预设的疲劳临界阈值进行比较，将比较结果反馈给数据处理模块； f.数据处理模块根据从数据比较模块处获取的比较结果决定是否向电视机发出定时关闭及提示功能的指令。
5.如权利要求4所述的基于智能电视的检测用户疲劳度的方法，其特征在于，步骤d中，所述人眼闭合状态分析模块通过记录眼睛睁开、闭合的次数及其开始和结束的时刻，采用PERCLOS计算方法计算在一定时间内眼睛闭合状态在总的计数时间中所占的时间比例值。
6.如权利要求4或5所述的 基于智能电视的检测用户疲劳度的方法，其特征在于，步骤f中，所述数据处理模块根据从数据比较模块处获取的比较结果决定是否向电视机发出定时关闭及提示功能的指令的具体方法为:若对比结果中，时间比例值大于预设的疲劳临界阈值，则向电视机发出 定时关闭及提示功能的指令；反之，则不向电视机发出相应指令。
全文摘要
本发明涉及智能电视领域,其公开了一种基于智能电视的检测用户疲劳度的方法，对用户的疲劳程度进行检测，并控制智能电视作出相关动作，从而提醒用户及时休息，避免开机睡觉产生的资源浪费。本发明通过智能电视机前端内置的红外摄像头，捕捉到人脸图像后，通过检测视网膜与面部其它位置在相同光照度的情况下，对850nm和940nm波长红外线反射图像灰度值的不同，而准确定位人的眼睛。从而对人的眼睛进行实时的判断分析，检测人眼的闭合状态，判定被检测人员的疲劳程度，并根据设定的规则开启电视定时关闭及提示功能。此外，本发明还公开了相应的基于智能电视的检测用户疲劳度的系统，适用于智能电视机上。
文档编号G06K9/00GK103220583SQ20131010403
公开日2013年7月24日 申请日期2013年3月28日 优先权日2013年3月28日
发明者刘帅, 张美春, 贾汇东 申请人:四川长虹电器股份有限公司