一种基于多场景视频分析的智能实验考察系统

1.本发明属于实践教学技术领域，更具体地，涉及一种基于多场景视频分析的智能实验考察系统。


背景技术：

2.除了理论教学之外，实践教学是人才培养的重要环节，是加深学生对所学理论的理解、提高学生实践能力的主要方式。然而，相比较于理论教学而言，实践教学是教学过程中最薄弱的环节。现在的实验教学管理措施存在如下问题：在实践中，指导老师缺乏对于学生操作过程的监控而导致信息严重不足。在实践课堂上，一般是由指导老师对学生进行操作的辅导、答疑、验收试验和处理突发情况，由于学生数量较多，指导老师往往无暇顾及每个学生，更加无法杜绝代做、抄袭等恶劣情况。现行的实践监控完全由指导老师人力承担，获取的信息量少、涉及面窄，不仅影响教师对于学情的准确判断，而且影响学生的学习态度和自主学习能力的培养。
3.21世纪以来，互联网技术和人工智能技术发展屡有突破，日趋成熟。“互联网+教育”、“ai+教育”逐渐成为了研究热点。将网站开发、人脸识别、姿态检测等技术应用于实践教学的管理中，不仅可以解决授课中监管力度不足的问题，也可以通过数据反馈提供完善的高效的实践教学实践。目前，国内外的研究者对于利用计算机视觉自动检测作弊行为的检测进行了相当多的研究，如文献[1](梅毅,孙洪伟.基于智能视觉的考试作弊行为识别仿真[j].计算机仿真,2014,31(04):219-222.)中采用基于免疫多agent算法的考试作弊行为识别方法，利用免疫多方氏距离极小值法提取与考试作弊行为相关的特征，完成考试作弊行为的识别；或是文献[2](yohannes,v.ayumi and m.i.fanany,"multimodal decomposable models by superpixel segmentation and point-in-time cheating detection,"2016international conference on advanced computer science and information systems(icacsis),malang,2016,pp.391-396.)中利用具有超像素分割的多峰可分解模型(modec)检测人体关节位置，并使用条件随机场(crf)来分类和检测某些类别的作弊活动。
[0004]
然而，这些研究均只探讨了笔试考试场景下作弊行为的检测。对于笔试考试场景，因为其场景位于考场，考生桌面上只有文具与试卷等少量物品，考生的座位也很分散，视野较为开阔，学生的异常举动非常容易被发现。因此，只使用少数摄像头就可以实现对教室内所有考生的观察和作弊行为的检测，硬件上的实现难度相对较低。而在实验课堂上的教学场景中，往往存在大量的实验器材，位置也更加拥挤，学生异常活动的检测难度更大。如果采用与考试场景下作弊行为检测类似的方案，学生的活动将很难被感知。因此，笔试考试场景下作弊行为的检测方案并不适用于实验课堂中对类似违规行为的检测。
[0005]
同时，笔试考试场景下的作弊行为检测，只聚焦于使用者行为的识别与分类，并没有考虑物品跟踪识别、数字检测记录等技术的应用，也未开发自动记录等功能。对于笔试考试场景中的违规行为检测，由于其违规行为主要由较明显的偷看、传纸条等作弊举动构成，
因此这些技术可能没有使用的必要。但实验教学中的违规行为不仅存在于使用者的异常举动，也极易通过数据修改、器材调换等方式实现，因而这类技术对于实验教学中的智能考察是不可或缺的。
[0006]
因此，面对课堂实验这一场景，现有的研究探索范围过于狭窄，且可应用程度很低。


技术实现要素：

[0007]
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多场景视频分析的智能实验考察系统，其目的在于解决实验教学过程中实验记录繁琐、违规行为难以检测的技术问题。
[0008]
为实现上述目的，本发明提供了一种基于多场景视频分析的智能实验考察系统，包括：交互终端、多角度摄像头和实验主机；
[0009]
所述交互终端，用于与用户进行人机交互，实现身份验证、实验授权，以及实验数据提交；
[0010]
所述多角度摄像头，用于多角度采集用户操作行为以及实验仪器显示的实验数据；
[0011]
所述实验主机，用于对多角度摄像头采集的图像进行分析、处理与结果反馈，并对异常行为进行报警。
[0012]
进一步地，所述多角度摄像头包括俯拍摄像头、仰拍摄像头和固定摄像头；
[0013]
俯拍摄像头，固定在实验台操作区域正上方，用于对操作区域的实验过程进行图像采集；
[0014]
仰拍摄像头，固定在实验台操作区域旁的桌面上，用于对用户的行为动作进行图像采集；
[0015]
固定摄像头，固定在实验台边缘，用于对实验仪器显示的实验数据进行图像采集。
[0016]
进一步地，所述俯拍摄像头具体采集的图像数据包括：实验器材编号和用户手部数量。
[0017]
进一步地，所述交互终端与用户进行人机交互，实现身份验证、实验授权，具体包括：
[0018]
对实验器材、实验台与用户分别进行编号，并一对一匹配；
[0019]
用户在匹配编号的实验台，通过交互终端申请进入实验；
[0020]
仰拍摄像头采集用户人脸信息，并判断是否与后台匹配的人脸信息一致；若是，则身份验证成功，开始实验；若否，则身份验证失败，重新进行人脸信息采集。
[0021]
进一步地，所述实验主机对多角度摄像头采集的图像进行分析、处理与结果反馈，并对异常行为进行报警，具体包括：
[0022]
根据俯拍摄像头采集的图像信息，对俯拍摄像头是否存在遮挡、实验器材和用户手部进行异常报警；
[0023]
根据仰拍摄像头采集的图像信息，对仰拍摄像头是否存在遮挡、用户身份和行为进行异常报警。
[0024]
进一步地，对实验器材进行异常报警，具体包括：
[0025]
分析俯拍摄像头采集的实验器材编号，当操作过程中设定时间内一直未采集到指定编号的实验器材，则触发报警；当操作过程中出现指定编号的实验器材被替换，则触发报警；当操作过程中出现多个操作器材，则触发报警。
[0026]
进一步地，对用户手部进行异常报警，具体包括：
[0027]
分析俯拍摄像头采集的用户手部数量，当操作过程中在设定时间内一直未在操作区域采集到用户手部，则触发仰拍摄像头视频分析；当操作过程中出现异常手部个数，则触发仰拍摄像头视频分析；其中，异常手部个数是指手部个数大于2的情况。
[0028]
进一步地，对用户身份和行为进行异常报警，具体包括：
[0029]
在对用户手部进行异常报警后，分析仰拍摄像头采集的用户信息，当出现用户离开实验台，或出现用户替换时，则触发报警；
[0030]
在整个实验过程中，分析仰拍摄像头每隔设定时间抓拍的用户图像，当出现用户替换时，则触发报警。
[0031]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。
[0032]
本发明通过部署多个摄像头，采集实验过程中操作区域、实验仪器显示的实验数据、操作人员行为动作等多场景的图像，自动生成实验考察的结果，同时对异常行为进行检测和报警，可以解决当前实验教学模式下实践环节存在的过程监控困难的问题，在现代化实验考察场景(如信息技术类、物理类等实验教学场景)中普遍适用，对于当前教学方式的智能化和信息化具有较高的价值。
附图说明
[0033]
图1为本发明实施例提供的基于多场景视频分析的智能实验考察系统工作原理图；
[0034]
图2为本发明实施例提供的基于多场景视频分析的智能实验考察系统结构图。
具体实施方式
[0035]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0036]
本发明实施例提供了一种基于多场景视频分析的智能实验考察系统，包括：交互终端、多角度摄像头和实验主机；工作原理如图1所示，交互终端，用于与用户进行人机交互，实现身份验证、实验授权，以及实验数据提交；多角度摄像头，用于多角度采集用户操作行为以及实验仪器显示的实验数据；实验主机，用于对多角度摄像头采集的图像进行分析、处理与结果反馈，并对异常行为进行报警。其中，多角度摄像头包括俯拍摄像头、仰拍摄像头和固定摄像头；如图2所示，俯拍摄像头，固定在实验台操作区域正上方，用于对操作区域的实验过程进行图像采集，具体采集的图像数据包括：实验器材编号和用户手部数量；仰拍摄像头，固定在实验台操作区域旁的桌面上，用于对用户的行为动作进行图像采集；固定摄像头，固定在实验台边缘，用于对实验仪器显示的实验数据进行图像采集。
[0037]
本发明所述用户包括但不限于学生、老师或其他实验教学管理人员。本发明实施例以学生为例，系统实验过程和结果记录过程如下：学生实验过程中，俯拍摄像头会拍摄实验过程进行视频备份；固定摄像头会定时拍摄实验仪器显示区域的数据留作截图，并在实验完成时记录最终的实验数据。依据各项数据，可以在本地的实验主机自动形成数字摘要与实验报告。学生实验结束后，在交互终端提交实验完成的申请。系统接到申请后，俯拍摄像头记录当前的学生操作情况，固定摄像头轮询实验仪器显示的各项数据并进行记录。老师接收到申请与提交的数据后进行核实，核实成功，实验结束。上述过程中，系统可以对学生的行为动作与实验数据进行实时监控，主要检测学生是否为独立自主完成实验操作，操作过程中是否存在异常行为，实验数据是否真实。
[0038]
进一步地，交互终端与用户进行人机交互，实现身份验证、实验授权，具体包括：
[0039]
对实验器材、实验台与用户分别进行编号，并一对一匹配；具体地，在实验开始前，老师会对学生编号与实验台编号、实验器材编号等进行一对一匹配，并通知学生匹配结果；其中，涉及到的实验器材合理摆放在实验台上，并已刻上编号；
[0040]
用户在匹配编号的实验台，通过交互终端申请进入实验；具体地，交互终端可供学生通过输入输出设备进行操作，如键盘、鼠标，或触控屏。
[0041]
仰拍摄像头采集用户人脸信息，并判断是否与后台匹配的人脸信息一致；若是，则身份验证成功，开始实验；若否，则身份验证失败，重新进行人脸信息采集。具体地，在开课前，老师或者助教已经将相关学生基本信息和照片信息录入后台系统。
[0042]
进一步地，实验主机对多角度摄像头采集的图像进行分析、处理与结果反馈，并对异常行为进行报警，具体包括：
[0043]
根据俯拍摄像头采集的图像信息，对俯拍摄像头是否存在遮挡、实验器材和用户手部进行异常报警；根据仰拍摄像头采集的图像信息，对仰拍摄像头是否存在遮挡、用户身份和行为进行异常报警。
[0044]
其中，对实验器材进行异常报警，具体包括：根据俯拍摄像头采集的实验器材编号，判断操作过程中是否采集到指定编号的实验器材，若设定时间内一直未采集到指定编号的实验器材，则触发报警；判断操作过程是否出现指定编号的实验器材被替换；若是，则触发报警；判断操作过程中是否出现多个操作器材；若是，则触发报警。
[0045]
对用户手部进行异常报警，具体包括：根据俯拍摄像头采集的用户手部数量，判断操作过程中用户手部是否出现在操作区域内，若设定时间内一直未采集到用户手部，则触发仰拍摄像头视频分析；判断操作过程是否出现异常手部个数，若是则触发仰拍摄像头视频分析；其中，异常手部个数是指手部个数大于2的情况。
[0046]
对用户身份和行为进行异常报警，具体包括：在对用户手部进行异常报警后，根据仰拍摄像头采集的用户信息，判断用户是否离开实验台，或出现用户替换；若是，则触发报警；在整个实验过程中，根据仰拍摄像头每隔设定时间抓拍的用户图像，判断是否出现用户替换，若是，则触发报警。本发明实施例，仰拍摄像头会随机隔10-15min进行抓拍，检查学生是否在实验过程中进行了替换。
[0047]
为了对上述系统进行详细说明，本实施例提供了一种面向电子线路实验的实验考察系统。电子线路实验需要的器材包括：学生进行操作的面包板、供电的电源发生器、波形显示器。其中，学生在面包板上进行操作搭建电路是整个实验的重心，波形显示器是用于显
示搭建好的电路所产生的信号的波形。面包板上刻上了相应的编号，实验台正上方有一个俯拍摄像头、实验台上有一个仰拍摄像头。
[0048]
具体的使用步骤如下：
[0049]
s1：老师将学生与实验台和面包板进行匹配，并告知学生；
[0050]
s2：学生拿到对应的面包板并找到自己的实验台，通过交互终端申请开始实验；
[0051]
s3：学生点击学生端的开始验证授权操作，仰拍摄像头抓拍人脸并进行人脸信息匹配，若正常则进入实验环境，若失败则重新抓拍；
[0052]
s4：俯拍摄像头与仰拍摄像头实时监控学生操作，若发现异常则记录异常事件并通知老师。告警内容如下：1)未检测到指定面包板时，显示：未将指定面包板放入操作区。2)指定器材发现变更或者有多个面包板时，显示：未使用属于你自己的面包板。3)未检测到手部且仰拍检测不到人脸时，显示：长时间离开实验台。4)未检测到手部且仰拍确认学生本人未离开实验台时，显示：未在实验台操作区域进行操作。5)手部个数异常且仰拍确认出现了其他同学的脸部信息时，显示：多人操作。6)随机俯拍时出现其他同学的脸部信息，显示：替人操作。7)俯拍被遮挡时，显示：遮挡俯拍摄像头。8)仰拍被遮挡时，显示：请勿遮挡仰拍摄像头。
[0053]
s5：当前实验阶段完成时，学生通过交互终端确认实验数据；
[0054]
s6：确认完毕后看，学生在交互终端发起实验结束的申请；
[0055]
s7：俯拍摄像头记录当前的学生操作情况，固定摄像头轮询实验仪器显示的各项数据并进行记录；
[0056]
s8：老师接收到申请与提交的数据后进行核实，核实成功，进入实验的下一阶段或选择实验结束。
[0057]
针对上述该实施例，本发明提供的考察系统有效避免了以下情形，如表1所示：
[0058]
表1
[0059][0060][0061]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含
在本发明的保护范围之内。