基于机器视觉与双目协同技术的教室人数检测方法及系统与流程

本发明属于图像处理技术领域，具体涉及一种基于机器视觉与双目协同技术的教室人数检测方法及系统。

背景技术：

随着社会经济、技术的不断发展与进步，高等教育在社会上也越来越受到重视。随着高等学校的办学规模的扩大，校园中的教学楼的数目以及教室的数目也在不断增加,使得对高校教学工作的管理难度也在增加.目前，高校教学楼的照明管理是大学管理中最普遍的问题。

由于大学校园是一种开放式的管理以及师生的节能意识不是很高，大部分的教室在照明充足的情况下也把灯打开，有些教室已经没有师生在活动了，照明设备仍然没有被关闭。在夜间这种现象更为普遍，基本上所有的教室都是把所有的灯都打开，即使教室中只有少量人体目标，甚至没有人体目标。这种浪费现象的存在，不仅增加了学校的负担，提高学校开支成本，同时造成资源的浪费。

目前，传统高校的照明管理模式主要有以下几种类型：

无人管理。即完全由学生自己控制，由到教室的学生根据自己的需要开启，在晚上课程结束或者到达一定时间点后，由专门的管理人员统一关闭。

利用定时关闭。即利用定时处理系统，根据学校的作息时间在特定时间控制特定教室打开灯光，其余教室灯光都是关闭的。

利用红外光电传感器设计的照明控制系统。此方案利用红外去检测教室是否有人体目标存在，从而控制教室照明系统的开关。

但是以上三种情况均会造成能源的浪费，会造成照明系统在没人状态下继续点亮。另外2可能会造成教室有学生在自习，但是照明系统未打开的情况，严重影响学生的学习生活。3可能造成教室只有少量学生或其他目标，但是把所有灯都打开的情况，而且没有视频图像记录，不够直观。

要实现对教学楼照明系统的智能控制，首先要对教室人数以及教室人数分布进行统计。如若某个教室没有人，那就可以关闭该教室的照明；若某个教室中有人，但人数比较少，就可以根据人的位置打开相应位置的照明设备；如果教室中人员密集，则可将照明设备完全打开。传统的人数统计方法主要是人为统计或者利用电子设备触发器统计，还有部分采用红外传感器实现教室人数统计，上述方法均存在浪费人力资源、成本过高、实时性差的缺点。随着信息化时代的到来，研究出一种自动完成人数统计的方法十分必要。而基于机器学习的人数统计是计算机视觉应用的重要领域之一，其识别准确率，实时性以及鲁棒性较传统方法均有很大的提高，特别是可以避免人员参与，节省大量人力资源，其可以用于不同的场所，对商业、交通、旅游等不同领域都具有非常重要的意义。

技术实现要素：

本发明所要解决的技术问题：针对教室复杂背景下，需要一种基于机器视觉的教室人数检测方法，能够自动、实时、准确地统计出教室中的人数。

为解决上述技术问题，本发明提供一种基于机器视觉与双目协同技术的教室人数检测方法，包括：

S1获取教室左右不同视角视频图像数据；

S2对视频图像数据中的图像帧进行灰度化处理，以压缩原始数据量；

S3利用3*3的高斯滤波掩模模板与灰度图像卷积，平滑滤波，达到抑制噪声与弱化背景信息，增强人物轮廓的效果；

S4对滤波后图像进行两次超分辨重建，其中，原始图像大小为1280*720，对其分别进行2*2以及4*4的超分辨重建，获得大小为2560*1440、5120*2880两张图像，加上原图，以获得三幅不同分辨率的图像；

S5利用颜色、形态、轮廓等多特征融合的机器学习网络分别对三幅不同分辨率图像进行检测，获的图像中人头目标位置及数目；

S6利用教室先验信息及图像配准技术，对左右目图像进行匹配，实现检测目标的去重与互补，达到左右目协同计数的效果；

S7输出总人数到服务器。

进一步地，在所述步骤S5中，至少基于颜色、形态、轮廓，多特征的机器学习是串行处理的，即首先利用颜色信息进行筛选，排除非人区域，其次，利用形态特征在可能存在人的区域进行检测，最后，利用轮廓特征对检测结果进行校正，改进。

进一步地，所述的基于颜色的机器学习算法包括：

对视频帧图像进行相应预处理后，首先根据多通道颜色信息，只保留图像中与发色相近或相同的物体；

遍历所有连通域，保存连通域信息；

对异常连通域进行剔除，更新保存的连通域信息。

进一步地，所述的基于形态的机器学习算法，在进行检测前，需要标定训练样本并进行训练，训练后获得样本的特征向量。训练样本大小归一化为64*64像素大小，其中，训练样本包括正样本与负样本，正样本是包含人头目标的图像，负样本仅包含背景图像。

进一步地，所述的基于形态的机器学习算法，利用一个48*48的滑动窗口在一帧图像上进行扫描，在水平和垂直方向上扫描步长均为8个像素点。扫描时对图像梯度进行计算，计算公式为：将计算得到的特征描述值送入SVM中，检查是否存在目标；

所述的图像梯度计算，其步骤为：

计算每个像素点在x,y方向的梯度分量、梯度向量长度、梯度向量角度；

利用高斯矩阵和像素块点乘，暗化图像块边缘；

根据像素点所在的像素块的坐标和像素点梯度向量角度，对每个像素块提取直方图，并归一化；

重复以上步骤，产生一个窗口的特征描述值，特征描述值的计算公式为

进一步地，所述的基于轮廓的机器学习算法，其步骤为：

读取视频图像，对图像进行二值化处理；

进行一定数量的膨胀腐蚀处理，剔除边缘毛刺，填补内部空洞；

利用canny算子进行边缘检测，获得边缘轮廓线；

使用随机Hough圆检测算法对图像中的轮廓线进行计算，寻找出图像中的类圆区域；

保存类圆区域的信息。

利用半圆形轮廓检测模板去除部分错检；

所述的半圆形轮廓检测模板，包括两种去错检原则，其一，若类圆区域面积占类圆的最小外界矩形面积小于设定阈值，则判定该类圆区域不符合要求，否则则符合要求，判定公式为其二，以类圆区域圆心为新圆心，类圆半径的一半为新半径，画一个半圆形区域。统计新的半圆圆弧上圆心角为0°，45°，90°，135°，180°以及类圆中心这六个点的像素值，当其中有四个及四个以上点的像素满足要求时，则判定该类圆区域为目标，否则判定为错检，判定公式为

进一步地，所述步骤S6中，综合左右目摄像机采集的视频图像，互补缺失部分图像，将其扩展为一张完整的教室图像，去重左右目拍摄的重叠的教室中间部位图像，在完成死角区域补偿和公共区域去重之后，利用左右目检测目标的位置以及人数，协同输出总人数。

进一步地，在所述步骤S1中，左右两边摄像机各自位于距离教室两侧四分之一距离处，以使摄像机采集到所有座位信息；

在所述步骤S2中，加权平均公式为f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)；

在所述步骤S3中，选用3*3的模板，在图像上任意像素点，使该模板中心与像素点重合，按照3*3邻域内的加权平均值来给该像素点赋值，按照如上步骤遍历全图。

本发明基于机器视觉与双目协同技术的教室人数检测系统，包括：图像视频采集模块，图像预处理模块，左右目教室人体检测模块，双目协同模块，人数输出模块；

所述图像视频采集模块，用于获取教室左右不同视角视频图像数据；

所述图像预处理模块，用于对视频图像数据中的图像帧进行灰度化处理，以压缩原始数据量；利用3*3的高斯滤波掩模模板与灰度图像卷积，平滑滤波，达到抑制噪声与弱化背景信息，增强人物轮廓的效果；对滤波后图像进行两次超分辨重建，其中，原始图像大小为1280*720，对其分别进行2*2以及4*4的超分辨重建，获得大小为2560*1440、5120*2880两张图像，加上原图，以获得三幅不同分辨率的图像；

所述左右目教室人体检测模块，用于利用颜色、形态、轮廓等多特征融合的机器学习网络分别对三幅不同分辨率图像进行检测，获的图像中人头目标位置及数目；

所述双目协同模块，用于利用教室先验信息及图像配准技术，对左右目图像进行匹配，实现检测目标的去重与互补，达到左右目协同计数的效果；

所述人数输出模块，用于输出总人数到服务器。

进一步地，所述图像预处理模块，包括视频帧灰度化单元、图像滤波器、超分重建单元；

所述左右目教室人体检测模块，包括颜色、形态、轮廓机器学习单元、左/右目人数信息输出模块；

所述双目协同输出模块，包含死角区域补偿单元、公共区域去重单元和协同输出单元，其中死角区域补偿单元综合左右目摄像机采集的视频图像，互补缺失部分图像，将其扩展为一张完整的教室图像；公共区域去重单元去重左右目拍摄的重叠的教室中间部位图像；在完成死角区域补偿和公共区域去重之后，利用左右目检测目标的位置以及人数，协同输出单元输出总人数。

借由上述方案，本发明至少具有以下优点：

本发明提供的基于机器视觉与双目协同技术的教室人数检测方法及系统，利用颜色、形态、轮廓等多特征融合的机器学习网络实现对视频图像人数的统计。利用双目协同技术实现对教室无死角，无重复的人数统计，能够达到实时性的要求，并且具有很高的准确率与鲁棒性，在实际教学管理工作中具有非常广阔的应用前景。

附图说明

图1为本发明基于机器视觉与双目协同技术的教室人数检测方法实例中教室人数检测方法的流程图；

图2为基于机器视觉与双目协同技术的教室人数检测系统框图；

图3为本发明半圆形轮廓检测模板的示意图；

图4为本发明基于形态的机器学习的基本流程图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步详细的描述。

实施例1

如图1所示，本发明基于机器视觉与双目协同技术的教室人数检测方法，主要由图像视频采集模块，图像预处理模块，左右目教室人体检测模块，双目协同模块，人数输出模块组成。

图2为图1所示基于机器视觉与双目协同技术的教室人数检测方法中各部分的具体构成的框图，其包括以下步骤：

S1在教室后面左右两边各安装一个摄像头，用于采集教室左右不同视角视频；

S2选取教室左右侧视频数据，分别对教室左右侧视频数据中的图像帧进行灰度化处理，以压缩原始数据量，便于后续计算。

S3利用3*3的高斯滤波掩模模板与灰度图像卷积，平滑滤波，达到抑制噪声与弱化背景信息，增强人物轮廓的效果。

S4对滤波后图像进行两次超分辨重建，以获得三幅不同分辨率的图像，提高人头目标检测的准确率。

S5利用颜色、形态、轮廓等多特征融合的机器学习网络分别对三幅不同分辨率图像进行检测，获的图像中人头目标位置及数目。

S6利用教室先验信息及图像配准技术，对左右目图像进行匹配，实现检测目标的去重与互补，达到左右目协同计数的效果。

S7输出总人数到服务器以控制后续操作

步骤S1中，左右两边摄像机各自位于距离教室两侧四分之一距离处，并且可以尽可能采集到所有座位信息。

步骤S2中，对R，G，B分量以不同的权值进行加权平均，将平均后的值作为图像的像素值，加权平均公式为f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)。

步骤S3中，选用3*3的模板，在图像上任意像素点，使该模板中心与像素点重合，按照3*3邻域内的加权平均值来给该像素点赋值。按照如上步骤遍历全图。

步骤S4中，原始图像大小为1280*720，对其进行2*2以及4*4的超分辨重建，超分辨后的图像大小为2560*1440、5120*2880，其中超分辨插值公式为

步骤S5中，基于颜色、形态、轮廓等多特征的机器学习是串行处理的，即首先利用颜色信息进行筛选，排除非人区域，其次，利用形态特征在可能存在人的区域进行检测，最后，利用轮廓特征对检测结果进行校正，改进。

在本步骤中，所述的基于颜色的机器学习算法，步骤为：

(1)对视频帧图像进行相应预处理后，首先根据多通道颜色信息，只保留图像中与发色相近或相同的物体；

(2)遍历所有连通域，保存连通域信息；

(3)对异常连通域进行剔除，更新保存的连通域信息；

在本步骤中，所述的基于形态的机器学习算法，在进行检测前，需要标定训练样本并进行训练，训练后获得样本的特征向量。训练样本大小归一化为64*64像素大小。训练样本包括正样本与负样本，正样本是包含人头目标的图像，负样本仅包含背景图像。

图3为基于形态的机器学习的基本流程图，在开始时，利用一个48*48的滑动窗口在一帧图像上进行扫描，在水平和垂直方向上扫描步长均为8个像素点。扫描时对图像梯度进行计算，计算公式为：计算完成后，将计算得到的特征描述值送入SVM中，检查是否存在目标，如果存在目标，则记录目标的位置信息后继续扫描下去，如果不存在目标，则继续扫描，直到扫描结束。

在本步骤中，所述的图像梯度计算，其步骤为：

(1)计算每个像素点在x,y方向的梯度分量：(H(x,y)为图像在x,y处的像素值)

G_x(x,y)＝H(x+1,y)-H(x-1,y)

G_y(x,y)＝H(x,y+1)-H(x,y-1)

(2)利用高斯矩阵和像素块点乘，暗化图像块边缘；

(3)根据像素点所在的像素块的坐标和像素点梯度向量角度，对每个像素块提取直方图，并归一化；

(4)重复以上步骤，产生一个窗口的特征描述值，特征描述值的计算公式为

在本步骤中，所述的基于轮廓的机器学习算法，其步骤为：

(1)读取视频图像，对图像进行二值化处理；

(2)进行一定数量的膨胀腐蚀处理，剔除边缘毛刺，填补内部空洞；

(3)利用canny算子进行边缘检测，获得边缘轮廓线；

(4)使用随机Hough圆检测算法对图像中的轮廓线进行计算，寻找出图像中的类圆区域；

(5)保存类圆区域的信息。

(6)利用半圆形轮廓检测模板去除部分错检。

图4所示的是半圆形轮廓检测模板的示意图，主要有两种去错检原则，其一，若类圆区域面积占类圆的最小外界矩形面积小于设定阈值，则判定该类圆区域不符合要求，否则则符合要求，其判定公式为其二，以类圆区域圆心为新圆心，类圆半径的一半为新半径，画一个半圆形区域。统计新的半圆圆弧上圆心角为0°，45°，90°，135°，180°以及类圆中心这六个点的像素值，当其中有四个及四个以上点的像素满足要求时，则判定该类圆区域为目标，否则判定为错检，判定公式为

步骤S6中，包含死角区域补偿、公共区域去重和协同输出三个部分。死角区域补偿综合左右目摄像机采集的视频图像，互补缺失部分图像，将其扩展为一张完整的教室图像。公共区域去重部分去重左右目拍摄的重叠的教室中间部位图像。在完成死角区域补偿和公共区域去重之后，利用左右目检测目标的位置以及人数，协同输出总人数。此时，对于左右目共有与各有的人头目标都只统计了一次，提高人数检测的准确性。

步骤S7中，将检测到的总人数通过网络发送给服务器。

本发明方法操作流程结束。

实施例2

本实施例基于机器视觉与双目协同技术的教室人数检测系统，包括：图像视频采集模块，图像预处理模块，左右目教室人体检测模块，双目协同模块，人数输出模块；

所述图像视频采集模块，用于获取教室左右不同视角视频图像数据；

所述图像预处理模块，用于对视频图像数据中的图像帧进行灰度化处理，以压缩原始数据量；利用3*3的高斯滤波掩模模板与灰度图像卷积，平滑滤波，达到抑制噪声与弱化背景信息，增强人物轮廓的效果；对滤波后图像进行两次超分辨重建，其中，原始图像大小为1280*720，对其分别进行2*2以及4*4的超分辨重建，获得大小为2560*1440、5120*2880两张图像，加上原图，以获得三幅不同分辨率的图像；

所述左右目教室人体检测模块，用于利用颜色、形态、轮廓等多特征融合的机器学习网络分别对三幅不同分辨率图像进行检测，获的图像中人头目标位置及数目；

所述双目协同模块，用于利用教室先验信息及图像配准技术，对左右目图像进行匹配，实现检测目标的去重与互补，达到左右目协同计数的效果；

所述人数输出模块，用于输出总人数到服务器。

具体地，所述图像预处理模块，包括视频帧灰度化单元、图像滤波器、超分重建单元；

所述左右目教室人体检测模块，包括颜色、形态、轮廓机器学习单元、左/右目人数信息输出模块；

所述双目协同输出模块，包含死角区域补偿单元、公共区域去重单元和协同输出单元，其中死角区域补偿单元综合左右目摄像机采集的视频图像，互补缺失部分图像，将其扩展为一张完整的教室图像；公共区域去重单元去重左右目拍摄的重叠的教室中间部位图像；在完成死角区域补偿和公共区域去重之后，利用左右目检测目标的位置以及人数，协同输出单元输出总人数。

本实施例所述的系统中的各部分对应实现上述实施例1方法中的各个步骤的过程。同样上述方法中的各个步骤过程页可应用本系统来进行实现。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。