一种实验操作考试的电子答卷处理方法和装置、电子设备与流程

本发明涉及实验操作考试信息处理，尤其涉及一种实验操作考试的电子答卷处理方法和装置、电子设备。

背景技术：

1、国家为明确贯彻培养创新人才方针，发布《关于加强和改进中小学实验教学的意见》等关于义务教育中实验操作方面的指导方针。当前考试系统中，已出现集中录像视频数据调阅系统，该种系统只能解决专业师资投入不足和专业考场较少的问题，适用范围相对独立，并不能解决行业内当下的使用痛点。

2、集中视频数据调阅系统将区域内的考生实验录像集中起来，需要存储空间极大的服务器集群，专业评分员使用多倍速录像回放来进行评分。倍速增加后，操作动作加快、实验结果快速闪过，评分员需要全过程集中精力回看并调整播放速度确保评分内容。这样评分员需要高强度集中精神，主观性强，且不能保证评分准确性，需要多人匿名评一份答卷，造成不必要的精力和资源浪费。

技术实现思路

1、本发明实施例的目的是提供一种实验操作考试的电子答卷处理方法和装置、电子设备，能够解决现有技术中存在的评分准确性低、占用人力资源多的问题。

2、为解决上述技术问题，本发明提供如下技术方案：

3、本发明实施例提供了一种实验操作考试的电子答卷处理方法，其中，所述方法包括：

4、获取第一摄像头拍摄的实验操作的全景视频以及第二摄像头拍摄的实验操作的特写视频；

5、分别对所述全景视频和所述特写视频进行解码，按照预设间隔进行视频帧提取得到全景视频帧和特写视频帧；

6、依据所述全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在所述初始关键帧中标记目标器材；

7、对所述全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧；

8、基于各所述视频关键帧、各所述实验步骤的关联关系，生成电子答卷。

9、可选地，所述依据所述全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在所述初始关键帧中标记目标器材的步骤，包括：

10、将所述全景视频帧、特写视频帧按照时间戳信息先后顺序输入实验器材目标检测模型，确定全景视频帧中包括的第一实验器材集合和第二实验器材集合；

11、在同一时间戳信息对应的全景视频帧、特写视频帧的第一实验器材集合和第二实验器材集合分别与同一实验操作项目匹配的情况下，确定所述时间戳信息对应的全景视频帧、特写视频帧为初始关键帧，匹配的所述实验操作项目为本次实验操作项目，所述第一实验器材集合中包含的器材为目标器材。

12、可选地，对所述全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧的步骤，包括：

13、针对按照预设间隔提取的每个时间戳信息对应的全景视频帧和特写视频帧对，确定所述全景视频帧中包含的目标器材的第一属性集合和所述特写视频帧中包含的目标器材的第二属性集合；

14、将所述第一属性集合所述第二属性集合，分别与所述实验操作项目的每个操作步骤的器材属性集合进行匹配；

15、依据所述匹配值确定所述时间戳信息对应的全景视频帧和特写视频帧是否为实验操作步骤匹配的视频关键帧。

16、可选地，所述确定所述全景视频帧中包含的目标器材的第一属性集合的步骤，包括：

17、确定所述全景视频帧中包含的各目标器材的目标器材轮廓、目标器材颜色、目标器材间连接状态信息和入侵状态信息。

18、可选地，确定全景视频帧中包括的第一实验器材集合的步骤，包括：

19、将所述全景视频帧分割成预设尺寸网格；

20、针对识别出的每个所述器材目标，确定所述器材目标的中心网格，围绕所述中心网格依次递归确定各网格出现目标的置信度；

21、依据各网格对应置信度确定目标器材的基本信息，其中，所述基本信息包括：位置、颜色、轮廓、名称以及类型；

22、将各目标器材组成的集合，确定为第一实验器材集合。

23、可选地，基于各所述视频关键帧、各所述实验步骤的关联关系，生成电子答卷的步骤，包括：

24、针对每个所述实验步骤，将所述实验步骤对应的视频关键帧和下一视频关键帧组成关键步骤视频片段，将所述下一视频帧作为结果图片；

25、顺次将各实验步骤对应的视频片段、结果图片进行组合，生成电子答卷。

26、本发明实施例还提供了一种实验操作考试的电子答卷处理装置，其中，所述装置包括：

27、获取模块，用于获取第一摄像头拍摄的实验操作的全景视频以及第二摄像头拍摄的实验操作的特写视频；

28、解码模块，用于分别对所述全景视频和所述特写视频进行解码，按照预设间隔进行视频帧提取得到全景视频帧和特写视频帧；

29、确定模块，用于依据所述全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在所述初始关键帧中标记目标器材；

30、跟踪模块，用于对所述全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧；

31、生成模块，用于基于各所述视频关键帧、各所述实验步骤的关联关系，生成电子答卷。

32、可选地，所述确定模块包括：

33、第一子模块，用于将所述全景视频帧、特写视频帧按照时间戳信息先后顺序输入实验器材目标检测模型，确定全景视频帧中包括的第一实验器材集合和第二实验器材集合；

34、第二子模块，用于在同一时间戳信息对应的全景视频帧、特写视频帧的第一实验器材集合和第二实验器材集合分别与同一实验操作项目匹配的情况下，确定所述时间戳信息对应的全景视频帧、特写视频帧为初始关键帧，匹配的所述实验操作项目为本次实验操作项目，所述第一实验器材集合中包含的器材为目标器材。

35、可选地，所述跟踪模块包括：

36、第三子模块，用于针对按照预设间隔提取的每个时间戳信息对应的全景视频帧和特写视频帧对，确定所述全景视频帧中包含的目标器材的第一属性集合和所述特写视频帧中包含的目标器材的第二属性集合；

37、第四子模块，用于将所述第一属性集合所述第二属性集合，分别与所述实验操作项目的每个操作步骤的器材属性集合进行匹配；

38、第五子模块，用于依据所述匹配值确定所述时间戳信息对应的全景视频帧和特写视频帧是否为实验操作步骤匹配的视频关键帧。

39、可选地，所述第三子模块确定所述全景视频帧中包含的目标器材的第一属性集合时，具体用于：

40、确定所述全景视频帧中包含的各目标器材的目标器材轮廓、目标器材颜色、目标器材间连接状态信息和入侵状态信息。

41、可选地，所述第一子模块确定全景视频帧中包括的第一实验器材集合时，具体用于：

42、将所述全景视频帧分割成预设尺寸网格；

43、针对识别出的每个所述器材目标，确定所述器材目标的中心网格，围绕所述中心网格依次递归确定各网格出现目标的置信度；

44、依据各网格对应置信度确定目标器材的基本信息，其中，所述基本信息包括：位置、颜色、轮廓、名称以及类型；

45、将各目标器材组成的集合，确定为第一实验器材集合。

46、可选地，所述生成模块包括：

47、第六子模块，用于针对每个所述实验步骤，将所述实验步骤对应的视频关键帧和下一视频关键帧组成关键步骤视频片段，将所述下一视频帧作为结果图片；

48、第七子模块，用于顺次将各实验步骤对应的视频片段、结果图片进行组合，生成电子答卷。

49、本发明实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现上述任意一种实验操作考试的电子答卷处理方法的步骤。

50、本发明实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现上述任意一种实验操作考试的电子答卷处理方法的步骤。

51、本发明实施例提供的实验操作考试的电子答卷处理方案，一方面，同时获取第一摄像头拍摄的实验操作的全景视频以及第二摄像头拍摄的实验操作的特写视频，以两个摄像头拍摄的实验操作视频作为基础数据生成电子答卷，使得电子答卷包含的关键视频信息全面；第二方面，依据全景视频帧和特写视频帧中包含的实验器材特征、预设的各实验考试器材集特征，确定本次实验操作项目、初始关键帧并在初始关键帧中标记目标器材；对全景视频帧和特写视频帧进行目标器材跟踪，基于目标器材跟踪结果筛选出各实验操作步骤匹配的视频关键帧；基于各视频关键帧、各实验步骤的关联关系，生成电子答卷，由于电子答卷是关键实验操作步骤对应的视频关键帧生成，而视频关键帧是有高度特点的图片、片段视频，因此后续阅卷时可减少大量无效工作、提高电子答卷的评分效率和准确性。