基于智能视频识别的教室灯光自动检测控制系统及其方法与流程

本发明涉及计算机视觉技术应用领域，具体地说是涉及一种基于智能视频识别的教室灯光自动控制检测系统及其方法。

背景技术：

随着人工智能的迅速兴起，物联网技术快速发展，在智能化检测、定位、监控、识别、安防等领域发挥着越来越重要的作用，有效的推动各领域的智能化、信息化、网络化。自动灯光检测与控制是物联网在灯具行业的具体应用。目前自动灯光检测与控制系统的研究都是通过智能控制开关来实现节能，但其还缺乏非接触式的有效的灯光及环境智能检测手段，如非接触式地对灯的故障进行检测与定位、室内人员的自动检测，以及自适应的照明灯开关控制等。

针对教室应用场合，基于智能视频识别的教室灯光自动检测控制系统及其方法检测室内人数、室内光照强度、照明灯故障与否，实现了手动、自动控制教室内里面的照明灯、对照明灯故障的检测定位以及室内人数的检测和室内画面数据的上传。本方法通过图像相似度算法进行照明灯状态的检测，再结合智能开关反馈回来的开关状态就可以知道灯光故障与否。通过检测室内人数配合光照强度进行室内灯光的智能控制。

技术实现要素：

本发明的目的在于针对已有技术在智能检测手段上的不足，提供一种基于智能视频识别的教室灯光自动检测控制系统及其方法，该系统能智能检测教室内人数、室内光照强度、照明灯故障与否以及故障位置，实现手动、自动控制室内里面的照明灯、室内人数的检测和室内画面数据的上传。

为了达到上述目的，本发明采用的技术方案是：

一种基于智能视频识别的教室灯光自动检测控制系统及其方法，其特征在于：系统由嵌入式设备、智能开关、服务器（webserver）、客户端（webclient）等组成，所述嵌入式设备包括高性能arm处理器、单目摄像头、光照强度传感器等，摄像头具有红外夜视功能，用于采集图像，光照强度传感器用于采集室内光照强度；嵌入式设备和智能开关通过有线和wifi无线网络相连接；服务器实现与客户端、室内嵌入式设备之间进行实时数据通信与系统管理；用户通过客户端进行系统的配置和监控。系统的主要智能检测与控制方法包括：上述嵌入式设备系统自顶向下斜向安装于教室内前上方，对室内人数进行实时检测，对室内人数、照明灯状态、照明灯是否故障及故障位置、光照强度进行检测，系统各个模块如下：

1、服务器(webserver)：服务器通过建立tcp长连接实时转发web客户端发来的控制命令给室内嵌入式设备、转发嵌入式设备发来的室内数据(包括室内图片、室内人数、灯的故障与否、室内亮度、开关状态）给web客户端。

2、客户端（webclient）：客户端通过浏览器请求web服务器对整个系统进行监控，可以是任何的计算机或pad、手机等终端。服务器前端网页由登录界面和控制页面组成：登录界面主要设置用户权限，控制页面主要显示嵌入式设备发回服务端的数据：包括室内图片、室内人数、室内灯故障与否、室内亮度、开关状态以及室内灯的远程控制平台。

3、嵌入式设备：嵌入式设备是一套基于arm的视频采集和智能处理系统，整个系统算法包括：室内人数检测算法、故障灯的定位检测算法。通过室内人数与室内光照强度的检测，自动关闭相应的灯光，达到节能的效果。

4、智能开关：由微控制器和继电器等模块组成，微控制器直接和服务器进行通信，在不改变原有开关的基础上，实现对室内灯手动控制和远程控制相结合。

本基于智能视频识别的教室灯光自动检测控制系统及其方法与现有技术相比较，具有如下特征和优点：

采用单目摄像机提取图像，利用智能视频识别进行自动检测和控制，远程可查看室内画面、室内人数、照明灯状态、光照强度、开关状态。同时根据室内各区域人数和光照强度实现各区域照明灯的自动打开和关闭，对室内灯光的状态进行分析，实现故障的检测与定位。

附图说明

图1是本发明基于智能视频识别的教室灯光自动检测控制系统整体框架构成示意图。

图2是本发明基于智能视频识别的教室灯光自动检测控制系统各模块之间的通信协议示意图。

图3是本发明基于智能视频识别的教室灯光自动检测控制系统各模块之间数据通信图。

图4是本发明基于智能视频识别的教室灯光自动检测控制系统灯光控制策略的流程图。

图5是本发明基于智能视频识别的教室灯光自动检测控制系统灯状态检测的流程图。

图6是本发明基于智能视频识别的教室灯光自动检测控制系统故障检测与定位方法的示意图。

具体实施方式

以下结合附图和优选实施例对本发明作进一步的详细描述。

实施例一：

参见图1~图3，一种基于智能视频识别的教室灯光自动检测控制系统，包括：嵌入式设备（1）、服务器webserver（2）、智能开关（3）、客户端webclient（4），其特征在于：所述嵌入式设备包括高性能arm处理器连接单目摄像头和光照强度传感器，摄像头具有红外夜视功能，用于采集图像，光照强度传感器用于采集室内光照强度；嵌入式设备（1）和智能开关（3）通过有线和wifi无线网络相连接；服务器（2）用于与嵌入式设备（1）、智能开关（3）和客户端（4）相连，实现与客户端（4）、室内嵌入式设备（1）之间进行实时数据通信与系统管理；用户通过客户端（4）进行系统的配置和监控；所述嵌入式设备自顶向下斜向安装于室内前上方。

实施例二：

1、本基于智能视频识别的教室灯光自动检测控制系统及其检测与控制方法，应用于上述系统进行操作，其特征在于操作步骤如下：

（1）基于智能视频识别的智能灯光控制：基于智能视频识别进行室内人数统计，根据室内各区域人数和光照强度实现各区域照明灯的自动打开和关闭；

（2）基于智能视频识别的智能灯光故障检测与定位：对室内灯光的状态进行识别，实现故障的检测与定位。

实施例三：

系统平台整体框架如图1所示，包括基于arm的嵌入式设备（包括arm，i/o，网卡等），服务器、web客户端、智能开关，其中智能开关由微控制器、继电器、双联开关构成。为了更方便的使用整个系统，本发明将系统所有采集到的数据全部上传到服务器，通过服务器的中转，最后在网页端进行显示，而且在网页端还可以对整个系统进行控制，用户只需要输入相应的网址然后登入即可，进一步突显了整个系统的实用性。

如图2、3所示是整个系统各个模块之间的通信协议以及数据之间的来往示意图。客户端与服务器之间：web客户端通过http协议向服务器发出相关请求，服务器返回相应数据。智能开关与服务器之间：智能开关通过tcp协议向服务器发送开关状态，服务器向智能开关发送相关控制灯的命令。服务器与嵌入式设备之间：嵌入式设备通过udp协议向服务器发送图片数据，通过tcp协议发送室内实时人数、室内光照强度、灯光异常信息，服务器通过tcp协议向嵌入式设备发送开关状态。

对了消除严重遮挡及可变光照的影响，采用基于深度学习的人头检测方法进行人头检测，以此获取室内不同区域的精确人数。采用的ssd算法（singleshotmultiboxdetector）的具体步骤如下：

a.网络训练。网络设计成只用于检测不同角度的方形人头图像，网络输入节点尺寸为300*300，采集10万以上的训练图像，将图像尺寸归一化，并进行人工人头标记；然后，用训练样本训练网络，使之达到95%以上的检测精度。

b.采集当前时刻图像帧，将图像尺寸归一化，采用已训练网络进行人头检测。

c.根据检测人头位置，在预定的区域分区域统计人头数量。

如图4、嵌入式设备通过检测到的室内人数和相应的光照强度制定相应的开关灯策略

流程说明：嵌入式设备读取摄像头拍摄的每一帧图片，在预设的多个区域分别进行人数检测，当对应区域人数大于0而当前亮度又小于预先设定的阈值时，让灯处于打开状态。如果此时亮度大于预先设定的阈值时，让灯处于关闭状态。

如图5所示是系统中对照明灯状态检测的算法流程

phash指纹具体算法过程是：

a.缩小尺寸：将图像缩小到32*32的尺寸，总共1024个像素。这一步的作用是去除图像的细节，只保留结构/明暗等基本信息，摒弃不同尺寸/比例带来的图像差异；

b.简化色彩：将图片转化成灰度图像，进一步简化计算量；

c.计算dct：计算图片的dct变换，得到32*32的dct系数矩阵；

d.缩小dct：保留左上角的8*8的矩阵；

e.计算平均值：计算所有dct系数的均值；

f.计算hash值：根据8*8的dct矩阵，设置0或1的64位的hash值，大于等于dct均值的设为”1”，小于dct均值的设为“0”。组合在一起，就构成了一个64位的整数，形成这张图片的phash指纹。

6.得到指纹以后，就可以对比不同的图像，看看64位中有多少位是不一样的。在理论上，这等同于“汉明距离”。如果不相同的数据位数不超过阈值（一般取5），就说明两张图像很相似；如果大于阈值（一般取10），就说明这是两张不同的图像，所以可以判断灯的状态是否发生变化。

如图6、在系统中对灯的故障检测可以为使用者提供灯的详细故障信息，使用者可以根据故障信息制定相应的解决方案，故障检测流程如下：

流程说明：嵌入式设备检测摄像头拍摄的每一帧图片，如果灯的状态未改变，表明灯正常。当发现预先设定位置处的灯光发生改变时，读取当前开关的状态，

a、如果开关此时是打开状态，再读取开关的前一个状态，

1、如果前一个状态为关闭状态，则灯正常（灯由关到开-亮度变化-灯正常），

2、如果前一个状态为打开状态，则灯异常（灯由开到开-亮度变化-灯异常）；

b、如果开关此时是关闭状态,再读取开关的前一个状态，

1、如果前一个状态为打开状态，则灯正常（灯由开到关-亮度变化-灯正常），

2、如果前一个状态为关闭状态，则灯正常（灯由关到关-亮度变化-灯正常）外界原因导致室内亮度突然增强（如拉开窗帘）。