本发明涉及教学设备，更具体涉及一种基于教室多媒体设备的大学生课堂状态实时监测系统及其应用方法。
背景技术：
大学是人一生中非常重要的一个教育阶段。学生作为学习和受教育的主体，学生的学习效果是衡量教学质量的最终标准，如何提高大学生在课堂上的学习效果，提高注意力，认真听讲，是大学生能够获得良好教育的重要保证。随着多媒体、电子设备和网络的普及应用，为大学课堂的教学提供了多种多样的教学方法，教学改革成为大学和大学教师孜孜不倦的投身所在，以求获得更好的教学效果。
然而，一方面，随着网络的普及，手机和平板等电子设备成为了大学生的标配，游戏、网剧、app、社交模块等等，都时刻和大学教师抢夺着课堂上大学生的注意力，沉迷于网络和手机的低头一族已经成为大学课堂非常普遍的现象，直接威胁着大学课堂的教学效果和学习状态。
另一方面，随着大学招生的普及，大学生数量大幅增加，大学里“大课堂”现象较为普遍，一位大学教师在阶梯教室面对数十上百名大学生，教师对学生的熟悉程度有限，师生的交流效果收到很大限制，教师无法有效关注到和顾及到每一位学生的学习状态，导致课堂的有效检测和控制受到很大挑战。
因此，如何利用多媒体和网络设备，将大学生从网络和手机的沉迷中解放出来，让教师更好的对大学课堂的学生学习状态进行监测，并采取让学生乐于接受的方式实现监督，并进而让老师可以及时干预，学生可以自我警醒，最终获得良好的课堂学习状态，是当前大学教学中面临的一个不可回避的问题。
技术实现要素：
本发明所要解决的技术问题在于克服上述现有技术之不足，提供一种基于教室多媒体设备的大学生课堂状态实时监测系统及其应用方法。
按照本发明提供的基于教室多媒体设备的大学生课堂状态实时监测系统，其采用的主要技术方案为：包括主控制器、分控制器、座位识别装置和座位状态检测装置；所述主控制器至少包括显示屏和存储硬盘，所述主控制器与所在教室的多媒体平台相连接，可由所述多媒体设备进行控制；所述分控制器至少包括显示窗口、数字键盘、读卡装置和预警灯，所述分控制器置于教室中每一个座位的课桌桌面的一端，所述分控制器受所述主控制器的控制，并与所述主控制器之间通过无线网络实现数据互通；所述座位识别装置包括人脸摄像头和人脸图像对比模块，所述座位识别装置安装在每一个座位的课桌桌面的一端，并与所述分控制器通过数据线相连接；所述座位状态检测装置包括高精度摄像头和图像运动判定模块，所述座位状态检测装置安装在每一个座位课桌上方的天花板上，所述座位状态检测装置的所述高精度摄像头包括垂直于天花板的伸缩杆和旋转座，所述座位状态检测装置与其下方对应座位的所述分控制器通过数据线相连接。主控制器可作为外接设备，通过教室里的多媒体平台进行控制，使得本发明的系统结构相对简单，易于携带，成本也较低。主控制器还可以根据教室情况，如在教室多媒体设备不能正常使用时，增加键盘等输入模块和cpu及软件等控制模块，使本发明申请的技术方案可以顺利实现。
本发明提供的基于教室多媒体设备的大学生课堂状态实时监测系统，还包括以下附属技术方案：
仅包括一台主控制器，每一个座位需对应配置一台分控制器、一台座位识别装置和一台座位状态检测装置，所述座位识别装置的所述人脸摄像头朝向课桌后方，所述座位状态检测装置的所述高精度摄像头斜向下朝着所述课桌桌面，且所述分控制器、所述座位识别装置和所述座位状态检测装置之间一一对应。这样就从物理层面将此次课堂的学生和座位进行了唯一的关联，所采集的信息也实现了唯一的对应关系。
所述座位识别装置的所述人脸摄像头定期进行人脸图像采集，从第四张人脸图像开始，所述人脸图像对比模块将最新所采集的人脸图像与之前所采集的至少三幅以上人脸图像进行相似度对比，并将人脸图像相似度低于设定值的持续时间进行记录。由于特定学生的人脸图像变化只限于表情或者角度，除了从人脸摄像头视野中消失之外，其变化幅度通常较小，因此只需要与之前所采集的至少三幅以上人脸图像进行相似度对比，即可具有很好的结果可靠性，所述分控制器向所述主控制器发送的数据信息不包含图像形式，特别是不包含实际采集的人脸图像，而仅在所述座位识别装置采集的人脸图像相似度对比低于设定值时记录的持续时间作为数据对象发送到主控制器，这样最大程度保护了学生的隐私。
所述座位状态检测装置的所述高精度摄像头的观察范围限定在单个课桌及椅子区域，所述高精度摄像头定期进行图像采集，从第六张图像开始，所述图像运动判定模块对所采集的图像与之前所采集的至少五幅以上图像进行相似度对比，并将所采集图像相似度低于设定值的持续时间进行记录。由于学生手机或电子设备屏幕的图像变化大都以视频、游戏或图片等形式体现，因此其变化幅度通常较大，因此采用与之前所采集的至少五幅以上人脸图像进行相似度对比，使得结果可靠性得到保证，所述分控制器向所述主控制器发送的数据信息同样不包含图像形式，特别是不包含实际采集的图像，而仅在所述座位状态检测装置采集的图像相似度对比低于设定值时记录的持续时间作为数据对象发送到主控制器，这样还是基于最大程度保护了学生隐私的出发点。
所述人脸摄像头和所述高精度摄像头只采集静态图像，所述人脸摄像头和所述高精度摄像头不采集音频信息，所述人脸摄像头和所述高精度摄像头的图像采集时间间隔为3-10秒。所述图像采集时间间隔不宜太短，否则会产生大量的数据，对本发明申请监测系统的数据处理产生较高要求，从而引起成本增加；所述图像采集时间间隔也不宜太长，否则会使得课堂状态的监测实时性大打折扣。
一种基于教室多媒体设备的大学生课堂状态实时监测系统的应用方法，其特征在于，包括以下步骤：
（1）教师进入教室后将所述主控制器开启，与教室里的多媒体设备相连接，并利用所述多媒体设备建立无线网络，与所述分控制器之间建立连接；
（2）学生进入教室，坐到座位上后，采用座位上的所述分控制器的所述数字键盘输入自己的学号，或者采用所述读卡装置读取自己的学生卡，完成身份认定，并微调所述座位识别装置的所述人脸摄像头朝向，成功完成首次人脸图像采集，此时座位上的所述分控制器、所述座位识别装置和所述座位状态检测装置与学生之间建立唯一的身份和信息关联；
（3）上课过程中，所述座位识别装置的所述人脸摄像头定期对座位上的学生进行人脸图像采集，从第四张人脸图像开始，所述人脸图像对比模块将所采集的最新人脸图像与之前所采集的至少三幅以上人脸图像进行相似度对比，当相似度低于设定比例时认定为学生处于注意力分散状态，将认定结果记录存储到所述分控制器中，并将所述认定结果记录同步发送到所述主控制器的所述存储硬盘中；
（4）上课过程中，所述座位状态检测装置的所述高精度摄像头定期对限定在单个课桌及椅子区域内的观察范围进行图像采集，通过对所采集图像中手机或平板电子设备的显示屏显示的动态图像进行抓取，从第六张图像开始，所述图像运动判定模块对所采集的图像与前面所采集的至少五幅以上图像进行相似度对比，当相似度低于设定比例时认定为学生处于电子设备沉迷状态，并将认定结果记录存储到所述分控制器中，并将所述认定结果记录同步发送到所述主控制器中的所述存储硬盘中；
（5）所述主控制器根据所收集到的来自每一个座位对应的所述分控制器的数据反馈，进行至少包括出勤情况、注意力分散情况、沉迷电子设备情况、班级表现排序和课堂实时平时成绩在内的信息实时统计分析，并将每一位同学自己各自的统计结果实时发送到对应座位的所述分控制器的所述显示窗口上；
（6）在上课过程中，基于课程特点，结合特定学生正常听课状态的监测数据作为背底值，并以其为基础预先设定为注意力分散状态时间长度的临界值和沉迷电子设备状态时间长度的临界值，当达到所述临界值时，所述主控制器的所述显示屏上显示该信息，对应座位上所述分控制器的所述预警灯闪烁，教师和学生同时得到预警，教师可及时进行干预；
（7）整个上课过程中，学生可通过所述分控制器的所述数字键盘查询自己的出勤情况、注意力分散情况、沉迷电子设备情况、班级表现排序和课堂实时平时成绩在内的信息实时统计分析数据，及时调整听课状态；
（8）下课后，教师控制所述主控制器断开其与所述分控制器之间的数据互通，所述主控制器完成对整个课堂包括出勤情况、注意力分散情况、沉迷电子设备情况、班级表现排序和课堂最终平时成绩在内的信息最终统计分析，并存储在所述主控制器的所述存储硬盘中。
按照本发明提供的基于教室多媒体设备的大学生课堂状态实时监测系统及方法，与现有技术相比，具有以下优点：
1、本发明有望帮助教师轻松便捷的监控课堂上大学生的学习状态，并及时进行针对性干预。通过分控制器、座位识别装置和座位状态检测装置的相互配合，每一次上课期间教室中座位和学生信息都可以一一对应关联，通过这些电子设备实现了对大学生上课出勤情况、上课趴桌子现象和沉迷于手机及网络的情况，予以实时记录，并实时反馈到教师可以简单关注的主控制器上并进行数据统计，使得教师对课堂的学生学习情况的掌握变得便捷、及时、全面和可量化对比，特别是可以对因持续趴桌子（可能是睡觉）或持续沉迷手机而使得预警灯闪烁的同学，予以及时关注，并采用合适的方式加以干预，教师可灵活采用课堂提问等方式将学生从游戏和手机中转到课堂上，避免有些自控力不强的同学因未得到及时干预而放任自流，到最后出现学习跟不上的问题。
2、本发明座位识别装置和座位状态检测装置的设计具有很好的操作性和技术先进性。通过输入学生学号或者刷学生卡才可以将座位和学生的信息相对应，这使得本发明系统采集的信息具有唯一的识别性，不会出现学生之间的信息混淆；本发明座位识别装置通过对学生人脸图像采集，通过不同时间点学生人脸位置的变化导致的图像相似度变化作为判定学生是否有趴桌子现象发生的依据，当某一时刻采集的人脸图像与人脸处于正常位置时首次采集的人脸图像相似度差别较大时可认定为疑似“交头接耳”，当出现趴桌子现象时，由于采集的人脸图像与正常坐姿的人脸图像差别极大，从而有效快速判定，并以趴桌子状态持续时间作为最终检测数据结果，具有很好的可操作性；而座位状态检测装置同样以所采集图像中手机或平板电子设备的显示屏显示的动态图像的相似度变化作为学生是否有沉迷电子设备现象发生的依据，当电子设备表面的图像快速变化导致相似度与前面时刻采集的图像相似度太低时，可判定为电子设备处于活跃状态，并以电子设备活跃状态持续时间作为最终检测数据结果，具有很好的可操作性。在相似度对比时，分别进行多幅图像的相似度对比，判定结果的可靠性较好，判定过程处于动态实时进行，使得整个课堂的学生状态得到实时监测。
3、本发明最大程度上保护了学生的自尊心，可以使大学生更乐于接受这样的监督。本发明的分控制器、座位识别装置和座位状态检测装置均为一人一套，不同座位自己的系统不能直接访问，只有输入学生学号或者刷学生卡才能进入访问，且只能访问各自的个人信息，使得学生的学习状态只能自己和教师可以实时了解到，最大程度保护了学生的隐私，也不会出现在课堂上落面子的感觉。另一方面，教师主控制台获得数据信息不以图片或视频形式体现，只是学生不同状态的持续时间，因此进一步对学生的电子设备信息进行了保护，不存在隐私泄露问题。最终使得大学生群体更乐意接受这样的监督。
4、本发明实现了课堂表现的指标量化，有助于大学生提高课堂学习的主动性和自我监督。本发明可以便捷的获得学生的课堂表现指标，并转化为平时成绩，有助于教师和学生都能及时了解到学生的平时学习状态和预期学习效果。特别是学生课堂平时成绩和在班级中的排序等具体指标使得学生对自己的平时表现得到量化和预测，可以及时提醒学生自我监督，自我反省并及时改变课堂表现，最终激发大学生群体的主观能动性，将大学“无人管”的自由状态，转化为课堂教师关注和监管无处不在的状态，并最终实现大学生“自己管自己”的自律状态。
具体实施方式
按照本发明提供的基于教室多媒体设备的大学生课堂状态实时监测系统，其采用的主要技术方案为：包括主控制器、分控制器、座位识别装置和座位状态检测装置；所述主控制器至少包括显示屏和存储硬盘，所述主控制器与所在教室的多媒体平台相连接，可由所述多媒体设备进行控制；所述分控制器至少包括显示窗口、数字键盘、读卡装置和预警灯，所述分控制器置于教室中每一个座位的课桌桌面的一端，所述分控制器受所述主控制器的控制，并与所述主控制器之间可通过无线网络实现数据互通；所述座位识别装置包括人脸摄像头和人脸图像对比模块，所述座位识别装置安装在每一个座位的课桌桌面的一端，并与所述分控制器通过数据线相连接；所述座位状态检测装置包括高精度摄像头和图像运动判定模块，所述座位状态检测装置安装在每一个座位课桌上方的天花板上，所述座位状态检测装置的所述高精度摄像头包括垂直于天花板的伸缩杆和旋转座，所述座位状态检测装置与其下方对应座位的所述分控制器通过数据线相连接。
本发明提供的基于教室多媒体设备的大学生课堂状态实时监测系统，还包括以下附属技术方案：
仅包括一台主控制器，每一个座位需对应配置一台分控制器、一台座位识别装置和一台座位状态检测装置，所述座位识别装置的所述人脸摄像头朝向课桌后方，所述座位状态检测装置的所述高精度摄像头斜向下朝着所述课桌桌面，且所述分控制器、所述座位识别装置和所述座位状态检测装置之间一一对应。
所述座位识别装置的所述人脸摄像头定期进行人脸图像采集，从第四张人脸图像开始，所述人脸图像对比模块将最新所采集的人脸图像与之前所采集的至少三幅以上人脸图像进行相似度对比，并将人脸图像相似度低于设定值的持续时间进行记录。所述人脸图像对比模块通过对实时采集的人脸图像中眼睛、鼻子、嘴巴和脸部的整体位置，以及局部转向等信息进行静态相似度比较，当相似度太低时，说明学生存在交头接耳或者低头，甚至趴桌子等状态。
所述座位状态检测装置的所述高精度摄像头的观察范围限定在单个课桌及椅子区域，所述高精度摄像头定期进行图像采集，从第六张图像开始，所述图像运动判定模块对所采集的图像与之前所采集的至少五幅以上图像进行相似度对比，并将所采集图像相似度低于设定值的持续时间进行记录。所述图像运动判定模块通过对实时采集的图像进行相似度对比，特别是重点对图像中的电子设备的屏幕进行相似度对比，对于电子设备屏幕上的视频、游戏画面和微信等聊天软件画面的图像进行实时对比，当电子设备的屏幕图像与前面的图像相似度太低时，可认定为电子设备处于活跃状态。
所述人脸摄像头和所述高精度摄像头只采集静态图像，这样有利于进行图像相似度的快速对比，所述人脸摄像头和所述高精度摄像头不采集音频信息，这样可以避免由于教师或其他同学的声音或噪声等外界的声音信息对所监测学生的声音信息产生混淆，而只采用图像信息则很好的解决了这一问题。所述人脸摄像头和所述高精度摄像头的图像采集时间间隔为3-10秒。
通过这些电子设备实现了对大学生上课出勤情况、上课趴桌子现象和沉迷于手机及网络的情况，予以实时记录，并实时反馈到教师可以简单关注的主控制器上并进行数据统计，使得教师对课堂的学生学习情况的掌握变得便捷、及时、全面和可量化对比。
一种基于教室多媒体设备的大学生课堂状态实时监测系统的应用方法，其特征在于，包括以下步骤：
（1）教师进入教室后将所述主控制器开启，与教室里的多媒体设备相连接，并利用所述多媒体设备建立无线网络，与所述分控制器之间建立连接；
（2）学生进入教室，坐到座位上后，采用座位上的所述分控制器的所述数字键盘输入自己的学号，或者采用所述读卡装置读取自己的学生卡，完成身份认定，并微调所述座位识别装置的所述人脸摄像头朝向，成功完成首次人脸图像采集，此时座位上的所述分控制器、所述座位识别装置和所述座位状态检测装置与学生之间建立唯一的身份和信息关联；通过输入学生学号或者刷学生卡才可以将座位和学生的信息相对应，这使得本发明系统采集的信息具有唯一的识别性，不会出现学生之间的信息混淆；
（3）上课过程中，所述座位识别装置的所述人脸摄像头定期对座位上的学生进行人脸图像采集，从第四张人脸图像开始，所述人脸图像对比模块将所采集的最新人脸图像与之前所采集的至少三幅以上人脸图像进行相似度对比，当相似度低于设定比例（教师可根据课程特点及课堂中需要学生参与讨论或站立回答问题的情况和时间段进行具体设定比例的修改，建议一般情况以50%为设定比例，需要学生参与讨论或站立回答问题，可将设定比例设为0%）时认定为学生处于注意力分散状态，将认定结果记录存储到所述分控制器中，并将所述认定结果记录同步发送到所述主控制器的所述存储硬盘中；座位识别装置通过对学生人脸图像采集，通过不同时间点学生人脸位置的变化导致的图像相似度变化作为判定学生是否有趴桌子现象发生的依据，当某一时刻采集的人脸图像与人脸处于正常位置时首次采集的人脸图像相似度差别较大时可认定为疑似“交头接耳”，当出现趴桌子现象时，由于采集的人脸图像与正常坐姿的人脸图像差别极大，从而有效快速判定，并以趴桌子状态持续时间作为最终检测数据结果，具有很好的可操作性；
（4）上课过程中，所述座位状态检测装置的所述高精度摄像头定期对限定在单个课桌及椅子区域内的观察范围进行图像采集，通过对所采集图像中手机或平板电子设备的显示屏显示的动态图像进行抓取，从第六张图像开始，所述图像运动判定模块对所采集的图像与前面所采集的至少五幅以上图像进行相似度对比，当相似度低于设定比例（教师可根据课程特点及课堂中需要学生使用电子设备的情况和时间段进行具体设定比例的修改，建议一般情况以50%为设定比例，对于需要学生使用网络或电子设备等情况时，可将设定比例设为0%）时认定为学生处于电子设备沉迷状态，并将认定结果记录存储到所述分控制器中，并将所述认定结果记录同步发送到所述主控制器中的所述存储硬盘中；座位状态检测装置同样以所采集图像中手机或平板电子设备的显示屏显示的动态图像的相似度变化作为学生是否有沉迷电子设备现象发生的依据，当电子设备表面的图像快速变化导致相似度与前面时刻采集的图像相似度太低时，可判定为电子设备处于活跃状态，并以电子设备活跃状态持续时间作为最终检测数据结果，具有很好的可操作性；
（5）所述主控制器根据所收集到的来自每一个座位对应的所述分控制器的数据反馈，进行至少包括出勤情况、注意力分散情况、沉迷电子设备情况、班级表现排序和课堂实时平时成绩在内的信息实时统计分析，并将每一位同学自己各自的统计结果实时发送到对应座位的所述分控制器的所述显示窗口上；
（6）在上课过程中，基于课程特点，结合特定学生正常听课状态的监测数据作为背底值，并以其为基础预先设定为注意力分散状态时间长度的临界值和沉迷电子设备状态时间长度的临界值，当达到所述临界值时，所述主控制器的所述显示屏上显示该信息，对应座位上所述分控制器的所述预警灯闪烁，教师和学生同时得到预警，教师可及时进行干预；所述背底值的设计，充分考虑了课堂上学生正常活动的实际情况，避免了将学生记录笔记、思考、者偶尔扭头或者用手机拍照ppt或黑板等学习行为，误解为注意力分散状态或沉迷电子设备状态所记录的时间，通过以一定数量正常学习状态同学作为样本，扣除正常学习状态下检测系统记录的注意力分散状态和沉迷电子设备状态对应的时间，就可以作为基础进而获得注意力分散状态时间长度的临界值和沉迷电子设备状态时间长度的临界值，从而反映学生真正的注意力分散状态时间长度和沉迷电子设备状态时间长度；
（7）整个上课过程中，学生可通过所述分控制器的所述数字键盘查询自己的出勤情况、注意力分散情况、沉迷电子设备情况、班级表现排序和课堂实时平时成绩在内的信息实时统计分析数据，及时调整听课状态；
（8）下课后，教师控制所述主控制器断开其与所述分控制器之间的数据互通，所述主控制器完成对整个课堂包括出勤情况、注意力分散情况、沉迷电子设备情况、班级表现排序和课堂最终平时成绩在内的信息最终统计分析，并存储在所述主控制器的所述存储硬盘中。在下次上课过程中，学生可在自己作为的分控制器上通过访问主控制器，了解自己在之前课堂上的表现情况，而教师同样可以将课堂上的学生问题回答表现，以及测验成绩等作为数据通过多媒体设备输入到主控制器的存储硬盘中，作为平时成绩的组成部分，学生也可对自己的相关数据信息进行访问。