基于视频智能算法的疲劳检测方法及系统的制作方法
【专利摘要】本发明公开了一种基于视频智能算法的疲劳检测系统及方法，系统包括多个疲劳检测设备、监控中心和监控客户端，所述的疲劳检测设备采集工作人员的视频图像，所述的监控中心或者疲劳检测设备对采集的视频图像进行疲劳检测，所述的检测包括判断工作人员是否在岗、判断工作人员的眼睛和嘴巴的开合度、以及通过加权平均计算对工作人员一定时间内眼睛和嘴巴的开合度达到阈值的频率；其中，开合度的阈值为自行设定；所述的监控客户端接收来自监控中心推送过来的多个疲劳检测设备的状态。本发明提供用户多多目标进行疲劳检测，适用于对集中力要求高的工作领域以及行车领域。
【专利说明】
基于视频智能算法的疲劳检测方法及系统
技术领域
[0001 ]本发明涉及一种基于视频智能算法的疲劳检测系统及方法。
【背景技术】
[0002]近年来，随着大众生活水平的提高，各国人民汽车的人均持有量也变得越来越多。然而，伴随而来的交通事故也不断的增多。经研究表明，疲劳驾驶是交通事故变得日益严重的重要原因之一，因此，研究出可以进行实时检测驾驶员疲劳的预警系统有着十分重要的现实意义。一套好的检测系统必须要有成熟而完善的算法。本项目对疲劳检测系统的实现方法进行研究，以期提高疲劳检测的速度和准确度。如果能将好的算法应用于疲劳检测系统之中，无疑能更有效的预防驾驶员疲劳驾驶而引起不必要的人员伤亡和经济损失。
[0003]同时，对于一些集中力要求高的工作也会有对于疲劳的要求。但是上级不可能对于所有在工作的在岗人员同时进行疲劳检测，最多只能做到目测是否在岗，而不能做到同时进行疲劳检测。
【发明内容】
[0004]本发明的目的在于克服现有技术的不足，提供一种基于视频智能算法的疲劳检测系统及方法，将云服务和疲劳检测做结合，当疲劳检测设备检测到疲劳状态/不在岗状态则发送至云服务器，云服务器自动推送至用户客户端；当监控中心的工控机检测到疲劳状态/不在岗状态，也自动推送至用户客户端;用户可以同时对多个在岗人员进行疲劳监测。
[0005]本发明的目的是通过以下技术方案来实现的:基于视频智能算法的疲劳检测系统，它包括多个疲劳检测设备、监控中心和监控客户端，所述的疲劳检测设备采集工作人员的视频图像，所述的监控中心或者疲劳检测设备对采集的视频图像进行疲劳检测，所述的检测包括判断工作人员是否在岗、判断工作人员的眼睛和嘴巴的开合度、以及通过加权平均计算对工作人员一定时间内眼睛和嘴巴的开合度达到阈值的频率;其中，开合度的阈值为自行设定;所述的监控客户端接收来自监控中心推送过来的多个疲劳检测设备的状态。
[0006]所述的监控中心包括云服务器;所述的疲劳检测设备包括处理器、视频图像采集模块、存储模块和无线传输模块;所述的视频图像采集模块采集工作人员的视频图像并发送至处理器，所述的处理器对视频数据进行疲劳检测，当检测到疲劳状态时，把状态通过无线传输模块传输到云服务器;所述的存储模块存储采集的数据；同时，云服务器对授权后的监控客户端发送疲劳状态，监控客户端进行远程监测和管理。
[0007]所述的监控中心包括工控机;所述的疲劳检测设备包括处理器、视频图像采集模块、存储模块和无线传输模块;所述的视频图像采集模块采集工作人员的视频图像并发送至处理器，所述的处理器对视频数据进行编码同时通过无线传输模块发送至工控机;所述的工控机对视频数据进行疲劳检测;所述的存储模块存储采集的数据；同时，工控机对授权后的监控客户端发送疲劳状态，监控客户端进行远程监测和管理。
[0008]所述的监控客户端包括PC、手机、平板电脑中的一种或者多种。
[0009]基于视频智能算法的疲劳检测方法，包括以下步骤:
S1:疲劳检测设备采集工作人员的视频图像；
S2:疲劳检测设备或者监控中心对采集的视频图像进行疲劳检测，所述的判断包括以下子步骤:
S21:通过人脸识别判断工作人员是否在岗，如果在岗的话则进入步骤S22;
S22:对于在岗情况，对工作人员的眼睛和嘴巴的开合度进行分析；
S23:通过加权平均计算对工作人员一定时间内眼睛和嘴巴的开合度达到阈值的频率。其中，开合度的阈值为自行设定；
S3:所述的监控客户端接收来自监控中心推送过来的多个疲劳检测设备的状态。
[0010]步骤S2中，疲劳检测设备对采集的视频图像进行疲劳检测;所述的监控中心包括云服务器;所述的疲劳检测设备包括处理器、视频图像采集模块、存储模块和无线传输模块;所述的视频图像采集模块采集工作人员的视频图像并发送至处理器，所述的处理器对视频数据进行疲劳检测，当检测到疲劳状态时，把状态通过无线传输模块传输到云服务器；所述的存储模块存储采集的数据；同时，云服务器对授权后的监控客户端发送疲劳状态，监控客户端进行远程监测和管理。
[0011]所述的疲劳检测设备在判断工作人员不在岗时，将不在岗的状态发送至云服务器;云服务器将疲劳状态、不在岗状态和在岗正常状态推送至授权监控客户端。
[0012]步骤S2中，监控中心对采集的视频图像进行疲劳检测;所述的监控中心包括工控机;所述的疲劳检测设备包括处理器、视频图像采集模块、存储模块和无线传输模块;所述的视频图像采集模块采集工作人员的视频图像并发送至处理器，所述的处理器对视频数据进行编码同时通过无线传输模块发送至工控机;所述的工控机对视频数据进行疲劳检测；所述的存储模块存储采集的数据；同时，工控机对授权后的监控客户端发送疲劳状态，监控客户端进行远程监测和管理。
[0013]所述的工控机在判断工作人员不在岗时，保存为不在岗状态;工控机将疲劳状态、不在岗状态和在岗正常状态推送至授权监控客户端。
[0014]本发明的有益效果是:
本发明提供两种疲劳检测系统:其中一种为产品类:就是提供给客户一个疲劳检测设备，智能算法是安装在疲劳检测设备内，视频采集、检测、状态传输一体化设计，当检测到有疲劳状况出现时把状态通过无线网络(GPRS\3G\4G)传输到我们的云服务器，客户通过我们的客户端软件进行远程监测和管理;另外一种是项目类:对于要求比较高的场合，我们提供的疲劳检测属于一个系统集成项目，有一整套的软件、硬件解决方案，智能算法是安装于工控机内，前端的高清摄像机只负责采集信号，通过有线网络或WIFI网络传输到检测主机，把各种疲劳算法中的参数采集进入本地数据库保存，同时把疲劳状态通过无线网络传输到远端的监控中心。
[0015]用户根据具体情况进行选择，其中产品类的主要成本在于疲劳监控终端，而项目类的主要成本在于监控中心；当需要的疲劳监控终端的数量确定且较少的情况下，建议采用产品类；当需要的疲劳监控终端的数量不确定(有可能随着后期的项目进一步开展而增加)或者确定且较多的情况下，建议采用项目类。
【附图说明】
[0016]图1为实施例1系统框图；
图2为实施例1方法流程图；
图3为实施例2系统框图；
图4为实施例2方法流程图。
【具体实施方式】
[0017]下面结合附图进一步详细描述本发明的技术方案:
实施例1为将疲劳算法安装在疲劳监控终端中的系统与对应的方法，当检测到有疲劳状况出现时把状态通过无线网络(GPRS\3G\4G)传输到我们的云服务器，客户通过我们的客户端软件进行远程监测和管理。
[0018]如图1所示，基于视频智能算法的疲劳检测系统，它包括多个疲劳检测设备、监控中心和监控客户端；
所述的监控中心包括云服务器;所述的疲劳检测设备包括处理器、视频图像采集模块、存储模块和无线传输模块;所述的视频图像采集模块采集工作人员的视频图像并发送至处理器，所述的处理器对视频数据进行疲劳检测，当检测到疲劳状态时，把状态通过无线传输模块传输到云服务器;所述的存储模块存储采集的数据。
[0019]所述的检测包括判断工作人员是否在岗、判断工作人员的眼睛和嘴巴的开合度、以及通过加权平均计算对工作人员一定时间内眼睛和嘴巴的开合度达到阈值的频率；其中，开合度的阈值为自行设定；同时，云服务器对授权后的监控客户端发送疲劳状态，监控客户端进行远程监测和管理。
[0020]所述的监控客户端包括PC、手机、平板电脑中的一种或者多种。
[0021]如图2所示，基于视频智能算法的疲劳检测方法，包括以下步骤:
S1:疲劳检测设备采集工作人员的视频图像；
S2:疲劳检测设备对采集的视频图像进行疲劳检测，所述的监控中心包括云服务器;所述的疲劳检测设备包括处理器、视频图像采集模块、存储模块和无线传输模块;所述的视频图像采集模块采集工作人员的视频图像并发送至处理器，所述的处理器对视频数据进行疲劳检测，当检测到疲劳状态时，把状态通过无线传输模块传输到云服务器;所述的存储模块存储采集的数据；
所述的判断包括以下子步骤:
S21:通过人脸识别判断工作人员是否在岗，如果在岗的话则进入步骤S22;
S22:对于在岗情况，对工作人员的眼睛和嘴巴的开合度进行分析；
S23:通过加权平均计算对工作人员一定时间内眼睛和嘴巴的开合度达到阈值的频率。其中，开合度的阈值为自行设定；
S3:所述的监控客户端接收来自监控中心推送过来的多个疲劳检测设备的状态。
[0022]所述的疲劳检测设备在判断工作人员不在岗时，将不在岗的状态发送至云服务器;云服务器将疲劳状态、不在岗状态和在岗正常状态推送至授权监控客户端。即用户通过监控客户端可以查看多个疲劳检测设备的实时状态，包括不在岗/在岗正常和疲劳。
[0023]同时，疲劳检测设备包括一个报警状态，当检测到不在岗状态和疲劳状态的时候进行警告。
[0024]实施例2为智能算法是安装于工控机内，前端的高清摄像机只负责采集信号，通过有线网络或WIFI网络传输到检测主机，把各种疲劳算法中的参数采集进入本地数据库保存，同时把疲劳状态通过无线网络传输到远端的监控中心。
[0025]如图3所示，基于视频智能算法的疲劳检测系统，它包括多个疲劳检测设备、监控中心和监控客户端；
所述的监控中心包括工控机;所述的疲劳检测设备包括处理器、视频图像采集模块、存储模块和无线传输模块;所述的视频图像采集模块采集工作人员的视频图像并发送至处理器，所述的处理器对视频数据进行编码同时通过无线传输模块发送至工控机;所述的工控机对视频数据进行疲劳检测;所述的存储模块存储采集的数据。
[0026]所述的检测包括判断工作人员是否在岗、判断工作人员的眼睛和嘴巴的开合度、以及通过加权平均计算对工作人员一定时间内眼睛和嘴巴的开合度达到阈值的频率；其中，开合度的阈值为自行设定；同时，云服务器对授权后的监控客户端发送疲劳状态，监控客户端进行远程监测和管理。
[0027]所述的监控客户端包括PC、手机、平板电脑中的一种或者多种。
[0028]如图4所示，基于视频智能算法的疲劳检测方法，包括以下步骤:
S1:疲劳检测设备采集工作人员的视频图像；
S2:监控中心对采集的视频图像进行疲劳检测，监控中心对采集的视频图像进行疲劳检测;所述的监控中心包括工控机;所述的疲劳检测设备包括处理器、视频图像采集模块、存储模块和无线传输模块;所述的视频图像采集模块采集工作人员的视频图像并发送至处理器，所述的处理器对视频数据进行编码同时通过无线传输模块发送至工控机;所述的工控机对视频数据进行疲劳检测;所述的存储模块存储采集的数据；
所述的判断包括以下子步骤:
S21:通过人脸识别判断工作人员是否在岗，如果在岗的话则进入步骤S22;
S22:对于在岗情况，对工作人员的眼睛和嘴巴的开合度进行分析；
S23:通过加权平均计算对工作人员一定时间内眼睛和嘴巴的开合度达到阈值的频率。其中，开合度的阈值为自行设定；
S3:所述的监控客户端接收来自监控中心推送过来的多个疲劳检测设备的状态。
[0029]所述的工控机在判断工作人员不在岗时，保存为不在岗状态;工控机将疲劳状态、不在岗状态和在岗正常状态推送至授权监控客户端。即用户通过监控客户端可以查看多个疲劳检测设备的实时状态，包括不在岗/在岗正常和疲劳。
[0030]同时，疲劳检测设备包括一个报警状态，当工控机检测到不在岗状态和疲劳状态的时候向疲劳检测设备发送警告新号，疲劳检测设备进行警告。
[0031]对于实施例1和实施例2中的眼睛开合度判断，均可采用以下方法:
S101:通过人脸检测器和肤色模型进行人脸检测，输出最终人脸区域；
S102:通过人眼检测器和人眼合成模板在所述最终人脸区域实现人眼定位，输出人眼精确定位区域，并更新所述人眼合成模板；
S103:对所述人眼精确定位区域进行人眼轮廓点采样，获取采样点，对所述采样点进行椭圆拟合，当短半轴和长半轴的比值小于第一阈值时，则为小于开合度，否则大于开合度；S104:重新执行步骤S101，在连续N帧内小于开合度状态所占比例大于第二阈值时，则判断为疲劳状态，否则为清醒状态。
[0032]其中，第一阈值和第二阈值均可根据要求进行自定义。
[0033]所述通过人脸检测器和肤色模型进行人脸检测，输出最终人脸区域的步骤具体包括:
1)基于Haar特征和Adaboost级联分类器构建所述人脸检测器，将当前一帧被检测视频图像输入至所述人脸检测器；
2)所述人脸检测器判断被检测视频图像中是否包含人脸，如果是，获取人脸的位置信息，记为候选人脸区域，执行步骤3);如果否，输入当前帧的下一帧被检测视频图像至所述人脸检测器，重新执行步骤2)，直至遍历完被检测视频图像的所有帧；
3)通过HSV色彩空间的肤色检测模型对所有候选人脸区域进行检测，判断当前候选人脸区域是否存在肤色信息，如果是，执行步骤5);如果否，执行步骤4);
4)判断下一候选人脸区域是否存在肤色信息，如果是，执行步骤5);如果否，判决为闭眼，即也是处于小于开合度状态；
5)输出初始人脸区域；
6)对所述初始人脸区域进行融合，获取所述最终人脸区域:计算所有初始人脸区域中心的平均值作为融合后人脸区域的中心，然后计算所有人脸区域半径的平均值作为融合后人脸区域的半径。
[0034]所述通过人眼检测器和人眼合成模板在所述最终人脸区域实现人眼定位，输出人眼精确定位区域的步骤具体包括:
1)通过所述最终人脸区域对人眼进行粗定位，输出人眼粗定位区域；
2)基于Haar特征和Adaboost级联模型构建所述人眼检测器，在所述人眼粗定位区域的基础上，通过所述人眼检测器和所述人眼合成模板进行精确定位，输出所述人眼精确定位区域。
[0035]所述基于Haar特征和Adaboost级联模型构建所述人眼检测器，在所述人眼粗定位区域的基础上，通过所述人眼检测器和所述人眼合成模板进行精确定位，输出所述人眼精确定位区域的步骤具体包括:
1)通过所述人眼检测器判断所述人眼粗定位区域是否存在人眼，如果是，进行人眼合成模板学习；如果否，重新执行步骤I);
2)通过所述人眼检测器和所述人眼合成模板分别对所述人眼粗定位区域分别进行处理，获取人眼检测区域和人眼匹配区域，以及两区域中心点的欧式距离；
3)判断所述欧氏距离是否小于第一阈值Tl，如果是，执行步骤4);如果否，执行步骤5);
4)融合所述人眼检测区域和所述人眼匹配区域，获取人眼精确定位区域，更新所述人眼合成模板:计算所述人眼检测区域和所述人眼匹配区域中心的平均值作为融合后所述人眼精确定位区域的中心，计算所述人眼检测区域和所述人眼匹配区域半径的平均值作为融合后所述人眼精确定位区域的半径，并截取所述人眼精确定位区域合成新的人眼合成模板。
[0036]5)所述人眼匹配区域为所述人眼精确定位区域。
[0037]对于实施例1和实施例2中的嘴巴开合度判断，也均可采用上述方法。将人眼替换成嘴巴。
【主权项】
1.基于视频智能算法的疲劳检测系统，其特征在于:它包括多个疲劳检测设备、监控中心和监控客户端，所述的疲劳检测设备采集工作人员的视频图像，所述的监控中心或者疲劳检测设备对采集的视频图像进行疲劳检测，所述的检测包括判断工作人员是否在岗、判断工作人员的眼睛和嘴巴的开合度、以及通过加权平均计算对工作人员一定时间内眼睛和嘴巴的开合度达到阈值的频率;其中，开合度的阈值为自行设定;所述的监控客户端接收来自监控中心推送过来的多个疲劳检测设备的状态。2.根据权利要求1所述的基于视频智能算法的疲劳检测系统，其特征在于:所述的监控中心包括云服务器;所述的疲劳检测设备包括处理器、视频图像采集模块、存储模块和无线传输模块;所述的视频图像采集模块采集工作人员的视频图像并发送至处理器，所述的处理器对视频数据进行疲劳检测，当检测到疲劳状态时，把状态通过无线传输模块传输到云服务器;所述的存储模块存储采集的数据；同时，云服务器对授权后的监控客户端发送疲劳状态，监控客户端进行远程监测和管理。3.根据权利要求1所述的基于视频智能算法的疲劳检测系统，其特征在于:所述的监控中心包括工控机;所述的疲劳检测设备包括处理器、视频图像采集模块、存储模块和无线传输模块;所述的视频图像采集模块采集工作人员的视频图像并发送至处理器，所述的处理器对视频数据进行编码同时通过无线传输模块发送至工控机;所述的工控机对视频数据进行疲劳检测;所述的存储模块存储采集的数据；同时，工控机对授权后的监控客户端发送疲劳状态，监控客户端进行远程监测和管理。4.根据权利要求1或2或3所述的基于视频智能算法的疲劳检测系统，其特征在于:所述的监控客户端包括PC、手机、平板电脑中的一种或者多种。5.基于视频智能算法的疲劳检测方法，其特征在于:包括以下步骤: S1:疲劳检测设备采集工作人员的视频图像； S2:疲劳检测设备或者监控中心对采集的视频图像进行疲劳检测，所述的判断包括以下子步骤: S21:通过人脸识别判断工作人员是否在岗，如果在岗的话则进入步骤S22; S22:对于在岗情况，对工作人员的眼睛和嘴巴的开合度进行分析； S23:通过加权平均计算对工作人员一定时间内眼睛和嘴巴的开合度达到阈值的频率。6.其中，开合度的阈值为自行设定； S3:所述的监控客户端接收来自监控中心推送过来的多个疲劳检测设备的状态。7.根据权利要求5所述的基于视频智能算法的疲劳检测方法，其特征在于:步骤S2中，疲劳检测设备对采集的视频图像进行疲劳检测;所述的监控中心包括云服务器;所述的疲劳检测设备包括处理器、视频图像采集模块、存储模块和无线传输模块;所述的视频图像采集模块采集工作人员的视频图像并发送至处理器，所述的处理器对视频数据进行疲劳检测，当检测到疲劳状态时，把状态通过无线传输模块传输到云服务器;所述的存储模块存储采集的数据；同时，云服务器对授权后的监控客户端发送疲劳状态，监控客户端进行远程监测和管理。8.根据权利要求6所述的基于视频智能算法的疲劳检测方法，其特征在于:所述的疲劳检测设备在判断工作人员不在岗时，将不在岗的状态发送至云服务器;云服务器将疲劳状态、不在岗状态和在岗正常状态推送至授权监控客户端。9.根据权利要求5所述的基于视频智能算法的疲劳检测方法，其特征在于:步骤S2中，监控中心对采集的视频图像进行疲劳检测;所述的监控中心包括工控机;所述的疲劳检测设备包括处理器、视频图像采集模块、存储模块和无线传输模块;所述的视频图像采集模块采集工作人员的视频图像并发送至处理器，所述的处理器对视频数据进行编码同时通过无线传输模块发送至工控机;所述的工控机对视频数据进行疲劳检测;所述的存储模块存储采集的数据；同时，工控机对授权后的监控客户端发送疲劳状态，监控客户端进行远程监测和管理。10.根据权利要求8所述的基于视频智能算法的疲劳检测方法，其特征在于:所述的工控机在判断工作人员不在岗时，保存为不在岗状态;工控机将疲劳状态、不在岗状态和在岗正常状态推送至授权监控客户端。
【文档编号】G08B21/06GK105825631SQ201610264968
【公开日】2016年8月3日
【申请日】2016年4月26日
【发明人】谢仲华
【申请人】成都远控科技有限公司