检测课堂效率的方法及其系统与流程

本发明涉及教育信息化技术领域，特别涉及检测课堂效率的方法及其系统。

背景技术：

教育机构一般通过考试、课后作业来评价教师的授课效率和学生的听课效率，然而考试方法使得反馈结果偏后，一般几个星期才会考试，补充授课时机被延迟。课后作业的方法，使得反馈真实性更加不确定。而且两种方法对评价课堂效率没有直接客观的证明。

因此亟需一种能够准确及时地评估课堂效率的方法和系统。通过此系统，可以在下课后立即自动得到课堂效率的评估，能够对教师授课效率、学生听课效率有个直观的证明。

技术实现要素：

本发明的目的在于提供一种检测课堂效率的方法及其系统，可评估课堂效率，且评估更具有前瞻性。

为解决上述技术问题，本发明的实施方式公开了一种检测课堂效率的方法，包括以下步骤：

拍摄教室内包含所有学员的图像；

获取拍摄的图像中对应于每个人脸区域的子图像；

识别子图像并判断对应的人脸区域是否有正脸，如果有正脸，则上报正脸信息；

根据正脸信息进行课堂效率统计。

本发明的实施方式还公开了一种检测课堂效率的系统，包括以下模块：

拍摄模块，用于拍摄教室内包含所有学员的图像；

人脸区域图像获取模块，用于获取拍摄的图像中对应于每个人脸区域的子图像；

识别模块，用于识别子图像并判断对应的人脸区域是否有正脸，如果有正脸，则上报正脸信息；

效率统计模块，用于根据正脸信息进行课堂效率统计。

本发明实施方式与现有技术相比，主要区别及其效果在于：

利用人脸识别来判断教师讲课时所有学生的正脸，从而检测学生和教师的课堂效率，可评估课堂效率，且评估更具有前瞻性。

进一步地，配合传感器，当检测到在讲解时才获取图像并判断人脸区域中是否为正脸，排除了非讲课时间统计正脸时间而造成的结果不准确的问题。

进一步地，当检测到教师没有在黑板上书写和/或口头讲解时，并不立即停止正脸识别的步骤，当超出允许停顿的延时阈值时，才停止正脸识别，更符合实际应用场景使统计结果更准确。

进一步地，从不同角度使用正脸信息进行课堂效率统计，既针对某个时刻统计正脸数，也针对各个人员统计总正脸时间，可分别针对学员和教师进行展示。

附图说明

图1是本发明第一实施方式中一种检测课堂效率的方法的流程示意图；

图2是本发明优选实施例中一种检测课堂效率的系统架构图；

图3是本发明优选实施例中一种检测课堂效率的方法的流程示意图；

图4是本发明第四实施方式中一种检测课堂效率的系统的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

术语解释：

人脸识别：基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。

正脸：当学员脸部基本正对摄像头时，认为是正脸。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种检测课堂效率的方法，图1是该检测课堂效率的方法的流程示意图。该检测课堂效率的方法包括以下步骤：

步骤101，拍摄教室内包含所有学员的图像；

在本发明的各个实施方式中，可以利用旧摄像头进行拍摄，即不需要采购新的昂贵摄像头，而利用原有的摄像头，再配合平台的人脸识别模块即可完成系统的基本搭建。也可以用全新的设备进行搭建。

步骤102，获取拍摄的图像中对应于每个人脸区域的子图像；

优选地，在步骤102中，根据预先设置的人脸位置区域配置信息表获取对应于每个人脸区域的子图像。

其中，人脸位置区域配置信息表用于定位正脸和学员的对应关系，具体实现方式有多种：

从对应的摄像头获取一张图片，手动框选人脸所在的一个区域，并自动生成一个区域坐标；

此外，还可以通过人脸识别的方法自动地个从图片中识别出人脸所在的区域生成人脸位置区域配置信息表；

此外，鉴于眼镜反光，可以先通过抓拍自动捕捉到眼镜，进行大致学员定位，然后，手动匹配眼镜区域和学号关系，以及没有戴眼镜的学员区域和学号关系。

可以理解，在本发明的其他实施方式中，也可以不使用人脸位置区域配置信息表，直接通过人脸识别的方法来获取拍摄的图像中对应于每个人脸区域的子图像，同样能实现本申请的技术方案。

步骤103，识别子图像并判断对应的人脸区域是否有正脸，如果有正脸，则上报正脸信息；

在一个优选例中，判断是否有正脸的方法为：在人脸区域搜索人脸特征，符合人脸特征(例如同时搜索到两只眼睛、鼻子和嘴巴)，则判断为有正脸，否则判断为没有正脸(例如低头看手机则不能同时检测到两只眼睛、鼻子和嘴巴)。

可以理解，在本发明的各个实施方式中，正脸信息可以包括上报正脸信息的摄像头编号和各个人脸区域内学员是正脸的所有学员编号等用于统计课堂效率的信息。

步骤104，根据正脸信息进行课堂效率统计。

在一个优选例中，一个教室内可以设置多个摄像头，根据教师的位置来选择距离较近的摄像头所拍摄的图像进行人脸识别，以提高识别准确度。例如，在黑板的左右两侧分别设置一个摄像头，可以根据左右两侧摄像头所拍摄的图像来判断教师的位置距离哪个摄像头更近，也可以根据黑板的压力传感器或讲台的压力传感器来判断教师的位置距离左侧的摄像头更近，还是距离右侧的摄像头更近。

在另一个优选例中，教师可以携带一个无线发射源(例如使用蓝牙麦克风，Wifi麦克风等)，在教室中设置多个摄像头，每个摄像头的位置设置一个无线接收装置，可以比较这些无线接收装置所接收到的无线发射源的无线信号强度，收到无线信号最强的那个无线接收装置所对应的摄像头就是离教师最近的摄像头。

在另一个优选例中，一个教室内可以设置多个摄像头，并使用多个摄像头所拍摄的图像进行人脸识别。例如，在黑板的左右两侧分别设置一个摄像头，当两个摄像头的角度小于一预设阈值时，将两个摄像头所拍摄的图像进行合成后再进行人脸识别；当两个摄像头的角度大于一预设阈值时，分别对两个摄像头所拍摄的图像进行人脸识别并进行课堂效率统计，然后对所统计的数据取平均值以得到最终的统计数据。

本实施方式利用人脸识别来判断教师讲课时所有学生的正脸，从而检测学生和教师的课堂效率，可评估课堂效率，且评估更具有前瞻性。

本发明第二实施方式涉及一种检测课堂效率的方法，第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：配合传感器，当检测到在讲解时才获取图像并判断人脸区域中是否为正脸，排除了非讲课时间统计正脸时间而造成的结果不准确的问题；当检测到教师没有在黑板上书写和/或口头讲解时，并不立即停止正脸识别的步骤，当超出允许停顿的延时阈值时，才停止正脸识别，更符合实际应用场景使统计结果更准确。具体地说：

优选地，在步骤101之前，还包括以下步骤：

压力传感器检测教师或学生是否在黑板上书写；

如果检测结果为是，则执行后续正脸识别的步骤；

如果检测结果为否，则判断是否超过预定延时阈值，如果未超过，则执行后续正脸识别的步骤，如果超过，则判断讲课结束并停止正脸识别。

上述优选方案的场景描述：比如在考试或者测验，则没有必要进行人脸识别和正脸统计，因为统计出来的结果也不能用于判断课堂注意力和效率。因此，在步骤101之前，先检测教师是否在讲课能够提高人脸识别和正脸统计的准确度。

优选地，在步骤101之前，还包括以下步骤：

麦克风检测教师是否在口头讲解；

如果检测结果为是，则执行后续正脸识别的步骤；

如果检测结果为否，则判断是否超过预定延时阈值，如果未超过，则执行后续正脸识别的步骤，如果超过，则判断讲课结束并停止正脸识别。

检测教师是否在黑板上书写和/或是否在口头讲解，可以通过黑板压力传感器以及麦克风来实现，当黑板压力传感器检测到有压力，或者麦克风检测到声音达到某个值，则产生持续的脉冲信号，用于控制进行人脸区域正脸识别的步骤。

上述优选方案中的预定延时阈值是考虑到在实际的应用场景中，教师在黑板上书写或口头讲解的过程中存在一定的停顿，因此在讲解过程中可能会被检测为非讲解时间，而导致停止正脸识别。因此，为检测教师是否在黑板上书写和/或是否在口头讲解设置一定的延时机制。

本发明第三实施方式涉及一种检测课堂效率的方法，第三实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：从不同角度使用正脸 信息进行课堂效率统计，既针对某个时刻统计正脸数，也针对各个人员统计总正脸时间，可分别针对学员和教师进行展示。具体地说：

步骤104包括以下子步骤：

根据正脸信息，统计各个时刻的平均正脸数；

统计每个学员的正脸时间；

统计教师的讲解总时间，最大正脸数所在时刻，和最大正脸数所在时刻对应的录像文件。

此外，可以理解，在本发明的其它实施方式中，也可以通过其它方式进行课堂效率评估，而不局限于上述方法。

优选实施例

如图2和3所示为优选实施例的系统架构图和流程图。

如图2所示，本系统大致分为五个模块：展示平台模块、管理模块、录像模块、人脸识别模块、采集模块(包括摄像头、黑板压力传感器、麦克风)。

展示平台模块放在硬件服务器上，能够为客户提供录入摄像头配置信息(地址、用户名、密码等)，提供录入每个摄像头的人脸位置区域配置信息表，保存到数据库中。

作为一个例子，如下表1所示为摄像头配置信息表

表1摄像头配置信息表

其中，录入一个学员的人脸位置区域，具体的实现方式为平台从对应的摄像头抓取一张图片，手动框选人脸所在的一个区域，平台自动生成一个区域坐标(用矩形的左上角和右下角坐标来表示)。

展示平台可以查看课堂效率，分别针对学员、教师的展示。针对学员，可以展示所有学员的到课情况、定时采样的平均正脸数、每个学员的正脸时间及班级正脸时间大小排名。针对教师，可以展示教师的讲解总时间、某一刻最大正脸数及其对应的录像文件。

管理模块放在硬件服务器上，定时从展示平台获取摄像头与人脸坐标规则。管理模块在上课时间布防采集模块，准备接收报警，并通知人脸识别模块开始工作。管理模块在下课时间通知人脸识别模块停止工作，并对采集模块进行撤防，不再接收报警。当管理模块接收到摄像头教师讲课的报警时，则通知人脸模块进行开始识别对应摄像头。当教师讲课结束时，则通知人脸识别模块停止识别对应摄像头。同时，将人脸识别模块的识别信息上报给数据库。管理模块课后得到最大人脸值对应时间，并从录像管理模块搜索得到此时刻前后3分钟的录像文件，并记录到展示平台中。

录像模块放在硬件服务器上或者摄像头中，从管理模块得到摄像头配置信息进行全天候录像。

人脸识别模块放在硬件服务器上或者摄像头中。当开始工作时，从管理模块获取摄像头和人脸区域的对应规则。当管理模块通知人脸识别模块开始识别某个摄像头时，定时5秒识别摄像头的对应区域的人脸，并上报此时刻每个有人脸区域的信息给管理模块。

采集模块包括三个硬件：摄像头、黑板压力传感器、麦克风，其中摄像头的主要作用用来采集教室内学生的人脸。另外，摄像头的报警IO输入接着黑板压力传感器和麦克风。

黑板压力传感器的作用是用来检测教师/学生是否在黑板上书写。当黑板压力传感器检测到有压力，将产生一个持续的脉冲信号，输入到摄像头的报警IO输入里(摄像头被布防后，将向管理模块上报持续的报警信号)；当压力消失，则脉冲信号不再产生(摄像头被布防后，摄像头将停止向管理模块上报持续的报警信号)。

麦克风的作用是用来检测教师是否在口头讲解。麦克风有两个输出接口，第一个接口用来输出脉冲信号，接到摄像头的报警IO输入的接口中。针对第一个接口，当麦克风检测到声音达到某个值，将产生一个持续的脉冲信号，被布防的摄像头将向管理模块上报持续的报警信号；当声音值低于某个值，则脉冲信号不再产生，摄像头将停止向管理模块上报持续的报警信号。另外一个接口用来输出采集的声音，接到摄像头的音频输入中，当录像时候，音频声音能够录入到录像文件中。

如图3所示，系统的运行流程包括以下步骤：

管理模块从展示平台获取摄像头与人脸坐标配置信息，并通过录像模块进行全天候录像。管理模块在上课时间布防采集模块，准备接收报警，并通知人脸识别模块开始工作。当管理模块接收到摄像头教师讲课的报警时，则通知人脸模块对对应的摄像头进行学员人脸识别。

人脸识别模块工作时，定时5秒识别摄像头的对应区域的人脸。人脸识别模块在通过在每一帧画面上的人脸区域进行搜索人脸特征，符合人脸特征，则判断为有正脸。人脸识别模块上报摄像头编号和各个人脸区域内学员是正脸的所有学员编号给展示平台。当教师讲课结束时，则通知人脸识别模块停止识别对应摄像头。管理模块在课后得到最大人脸值对应时间，并从录像管 理模块搜索得到此时刻前后3分钟的录像文件，并记录到展示平台中。管理模块在下课时间通知人脸识别模块停止工作，并对采集模块进行撤防，不再接收报警。

本优选例运行成果：

展示平台可以查看课堂效率，分别针对学员、教师的展示。针对学员，可以展示定时采样的平均正脸数、每个学员的正脸时间及班级正脸时间长短排名。针对教师，可以展示教师的讲解总时间、某一刻最大正脸数及其对应的录像文件。其中，对于效率高的课堂，可以直接通过点击播放录像文件进行经验分享和案例分析。同样的，对于效率低的课堂也可以进行案例分析。

可以理解，教师的讲解总时间可以通过对麦克风所检测的所有达到某个阈值的声音的总时间进行计算得到，也可以通过对录像文件中所有达到某个强度阈值的音频声音的总时间进行计算得到。

本发明利用监控视频的人脸识别技术，并配合其他传感器(压力传感器、麦克风)组成一个系统，系统自动内部得到教室讲课对应学生的正脸时间，为教育机构自动提供检查课堂效率的依据。

可以利旧摄像头，即不需要采购新的昂贵摄像头，而利用原有的摄像头，再配合平台的人脸识别模块即可完成系统的基本搭建。也可以用全新的设备进行搭。

此系统内的摄像头不仅可以满足本系统的识别需要，还可以满足为监控教室的安防需要，充分利用设备的价值。

本发明智能性强，直观性强，可分享性高(高效率课堂可以进行分享)，降低人力成本，减少评价的人为因素，评估更加前瞻性(通过考试来得到课堂效率的方法，时间偏后)。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管 本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

本发明第四实施方式涉及一种检测课堂效率的系统，图4是该检测课堂效率的系统的结构示意图。该检测课堂效率的系统包括以下模块：

拍摄模块，用于拍摄教室内包含所有学员的图像；

人脸区域图像获取模块，用于获取拍摄的图像中对应于每个人脸区域的子图像；

识别模块，用于识别子图像并判断对应的人脸区域是否有正脸，如果有正脸，则上报正脸信息；

效率统计模块，用于根据正脸信息进行课堂效率统计。

本实施方式利用人脸识别来判断教师讲课时所有学生的正脸，从而检测学生和教师的课堂效率，可评估课堂效率，且评估更具有前瞻性。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第五实施方式涉及一种检测课堂效率的系统，第五实施方式在第 四实施方式的基础上进行了改进，主要改进之处在于：配合传感器，当检测到在讲解时才获取图像并判断人脸区域中是否为正脸，排除了非讲课时间统计正脸时间而造成的结果不准确的问题；当检测到教师没有在黑板上书写和/或口头讲解时，并不立即停止正脸识别的步骤，当超出允许停顿的延时阈值时，才停止正脸识别，更符合实际应用场景使统计结果更准确。从不同角度使用正脸信息进行课堂效率统计，既针对某个时刻统计正脸数，也针对各个人员统计总正脸时间，可分别针对学员和教师进行展示。具体地说：

优选地，还包括压力检测模块，用于检测教师或学生是否在黑板上书写；

如果检测结果为是，则所述识别模块执行后续正脸识别的步骤；

如果检测结果为否，则判断是否超过预定延时阈值，如果未超过，则执行后续正脸识别的步骤，如果超过，则判断讲课结束并停止正脸识别。

优选地，还包括麦克风检测模块，用于检测教师是否在口头讲解；

如果检测结果为是，则执行后续正脸识别的步骤；

如果检测结果为否，则判断是否超过预定延时阈值，如果未超过，则执行后续正脸识别的步骤，如果超过，则判断讲课结束并停止正脸识别。

检测教师是否在黑板上书写和/或是否在口头讲解，可以通过黑板压力传感器以及麦克风来实现，当黑板压力传感器检测到有压力，或者麦克风检测到声音达到某个值，则产生持续的脉冲信号，用于控制进行人脸区域正脸识别的步骤。

在本发明的其它实施方式中，也可以没有该模块。

优选地，在人脸区域图像获取模块中，根据预先设置的人脸位置区域配置信息表获取对应于每个人脸区域的子图像。

其中，人脸位置区域配置信息表用于定位正脸和学员的对应关系，具体实现方式有多种：

从对应的摄像头获取一张图片，手动框选人脸所在的一个区域，并自动生成一个区域坐标；

此外，还可以通过人脸识别的方法自动地个从图片中识别出人脸所在的区域生成人脸位置区域配置信息表；

此外，鉴于眼镜反光，可以先通过抓拍自动捕捉到眼镜，进行大致学员定位，然后，手动匹配眼镜区域和学号关系，以及没有戴眼镜的学员区域和学号关系。

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

本发明第六实施方式涉及一种检测课堂效率的系统，第六实施方式在第四实施方式的基础上进行了改进，主要改进之处在于：从不同角度使用正脸信息进行课堂效率统计，既针对某个时刻统计正脸数，也针对各个人员统计总正脸时间，可分别针对学员和教师进行展示。具体地说：

效率统计模块包括以下子模块：

正脸数统计子模块，用于根据正脸信息，统计各个时刻的平均正脸数；

正脸时间统计子模块，用于统计每个学员的正脸时间；

讲解统计子模块，用于统计教师的讲解总时间，最大正脸数所在时刻，和最大正脸数所在时刻对应的录像文件。

第三实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第三实施方式中。

需要说明的是，本发明各设备实施方式中提到的各模块都是逻辑模块，在物理上，一个逻辑模块可以是一个物理模块，也可以是一个物理模块的一部分，还可以以多个物理模块的组合实现，这些逻辑模块本身的物理实现方式并不是最重要的，这些逻辑模块所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的模块引入，这并不表明上述设备实施方式并不存在其它的模块。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。