教学辅助方法、装置以及存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及一种教学辅助方法、装置以及存储介质。


背景技术：

2.随着社会的快速发展以及互联网信息技术的提升，社会竞争日趋激烈，学生学习的方式也日益趋向于信息化与多样化。在课后时间，学生需要完成各科的课程作业，按时顺利完成作业需要学生有良好的时间规划能力与专注力。然而，在缺少监督的情况下，学生通常无法规划自己的学习时间，按照计划完成各项作业，养成专注学习的习惯。因此，如何有效保证学生按照计划完成相关作业，是亟待解决的难题。


技术实现要素：

3.为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种教学辅助方法、装置以及存储介质。
4.根据本公开实施例的第一方面，提供一种教学辅助方法，包括：获取教师端输入的作业信息，基于所述作业信息确定对应的学习监控时间以及学习结束时间；在所述学习监控时间内使用设置在学习对象端的监控设备获取与学习对象相对应的监控内容，基于所述监控内容确定学习对象的学习状态，并基于所述学习状态进行相应的处理；在所述学习结束时间到达时，如果基于所述作业信息判断所述学习对象未完成当前作业内容并且所述学习状态为正常状态，则将辅助资料发送到所述学习对象端；设置与所述辅助资料相对应的辅助学习时间，基于所述辅助学习时间对所述当前作业内容的完成情况进行监控；基于所述学习对象对于所述作业信息的完成情况，进行学习水平评估。
5.可选地，所述作业信息包括：科目、科目预定完成时间、作业章节以及题目数量；所述方法包括：向所述学习对象端发送所述作业信息，用以在所述学习对象端显示所述作业信息；所述基于所述学习状态进行相应的处理包括：如果基于所述学习状态确定所述学习对象处于非正常状态，则存储所述非正常状态信息，并将所述监控内容以及所述非正常状态信息发送给所述学习对象的监护人终端；控制设置在所述学习对象端的语音模块播放提示语音信息，并触发所述学习对象端进行警示处理。
6.可选地，所述辅助资料包括：视频流、文本内容和音频中的至少一个；所述基于所述辅助学习时间对所述当前作业内容的完成情况进行监控包括：将所述辅助学习时间发送给所述学习对象端进行显示；基于所述辅助学习时间启动计时器；当所述计时器结束工作时，如果确定所述学习对象未完成所述当前作业内容，则存储与所述当前作业内容相对应的学习进度信息；向所述学习对象端发送进行下一个作业的提示信息。
7.可选地，所述监控设备包括：图像传感器设备；所述根据学习监控时间并使用设置在学习对象端的监控设备获取与学习对象相对应的监控内容，基于所述监控内容确定所述学习对象的学习状态包括：使用所述图像传感器设备采集所述学习对象的正面面部视频数据；其中，在采集所述正面面部视频数据时，提示所述学习对象眨眼或念读对应数字，用以
确定所述学习对象在线；使用训练好的识别模型对所述正面面部视频数据进行处理，确定所述学习对象的学习状态；其中，所述学习状态包括：专注、走神或疲劳状态；判断所述学习状态是否为专注状态，如果是，则确定所述学习状态为正常状态，如果否，则确定所述学习状态为非正常状态；在预设的时间段内，如果确定所述非正常状态持续的时长超过时间阈值时，则存储在所述预设的时间段内的非正常状态信息，并向所述学习对象端发送告警信息。
8.可选地，所述识别模型包括：yolov3网络识别模型；所述yolov3网络识别模型采用基于darknet
‑
53网络结构；所述方法包括：对预先采集的、与学习对象样本相对应的学习行为图像进行标注，生成训练数据集；基于所述训练数据集对所述识别模型进行训练，用以获得所述训练好的识别模型；其中，基于所述训练数据集内的图像确定所述识别模型的anchor box的位置，所述训练数据集内的图像包括：学习对象样本的正脸图像以及侧脸图像。
9.可选地，所述作业信息的完成情况包括：未完成作业的记录信息、已完成作业和完成速度；所述基于所述学习对象对于所述作业信息的完成情况，进行学习水平评估包括：基于学习对象群体的所述完成情况，确定与所述未完成作业、所述已完成作业相对应的学习难度值；如果确定所述学习难度值超过难度阈值，则向所述教师端发送对应的提醒信息。
10.可选地，在所述学习对象基于所述作业信息进行练习的时间段内，基于预设的屏蔽策略将所述学习对象端上的软件以及外部设备进行屏蔽处理；接收所述学习对象端发送的对于所述作业信息的增加时间请求，为所述作业信息分配额外时间，更新所述学习监控时间以及所述学习结束时间，并向所述教师端发送提示信息，用以提示学习任务重；接收所述学习对象端发送的作业完成打卡请求以及对应的练习附件，向所述教师端发送作业完成提示信息。
11.根据本公开实施例的第二方面，提供一种教学辅助装置，包括：教师管理模块，用于获取教师端输入的作业信息，基于所述作业信息确定对应的学习监控时间以及学习结束时间；监控识别模块，用于在所述学习监控时间内使用设置在学习对象端的监控设备获取与学习对象相对应的监控内容，基于所述监控内容确定所述学习对象的学习状态，并基于所述学习状态进行相应的处理；辅助资料发送模块，用于在所述学习结束时间到达时，如果基于所述作业信息判断所述学习对象未完成当前作业内容并且所述学习状态为正常状态，则将辅助资料发送到所述学习对象端；辅助学习监控模块，用于设置与所述辅助资料相对应的辅助学习时间，基于所述辅助学习时间对所述当前作业内容的完成情况进行监控；学习评估模块，用于基于所述学习对象对于所述作业信息的完成情况，进行学习水平评估。
12.可选地，所述作业信息包括：科目、科目预定完成时间、作业章节以及题目数量；所述装置还包括：作业发送模块，用于向所述学习对象端发送所述作业信息，用以在所述学习对象端显示所述作业信息；所述监控识别模块，还用于如果基于所述学习状态确定所述学习对象处于非正常状态，则存储所述非正常状态信息，并将所述监控内容以及所述非正常状态信息发送给所述学习对象的监护人终端；控制设置在所述学习对象端的语音模块播放提示语音信息，并触发所述学习对象端进行警示处理。
13.可选地，所述辅助资料包括：视频流、文本内容和音频中的至少一个；所述辅助学习监控模块，还用于将所述辅助学习时间发送给所述学习对象端进行显示；基于所述辅助
学习时间启动计时器；当所述计时器结束工作时，如果确定所述学习对象未完成所述当前作业内容，则存储与所述当前作业内容相对应的学习进度信息；向所述学习对象端发送进行下一个作业的提示信息。
14.可选地，所述作业信息的完成情况包括：未完成作业的记录信息、已完成作业和完成速度；所述学习评估模块，用于基于学习对象群体的所述完成情况，确定与所述未完成作业、所述已完成作业相对应的学习难度值；如果确定所述学习难度值超过难度阈值，则向所述教师端发送对应的提醒信息。
15.可选地，所述监控设备包括：图像传感器设备；所述监控识别模块，还用于使用所述图像传感器设备采集所述学习对象的正面面部视频数据；其中，在采集所述正面面部视频数据时，提示所述学习对象眨眼或念读对应数字，用以确定所述学习对象在线；使用训练好的识别模型对所述正面面部视频数据进行处理，确定所述学习对象的学习状态；其中，所述学习状态包括：专注、走神或疲劳状态；判断所述学习状态是否为专注状态，如果是，则确定所述学习状态为正常状态，如果否，则确定所述学习状态为非正常状态；在预设的时间段内，如果确定所述非正常状态持续的时长超过时间阈值时，则存储在所述预设的时间段内的非正常状态信息，并向所述学习对象端发送告警信息。
16.可选地，所述识别模型包括：yolov3网络识别模型；所述yolov3网络识别模型采用基于darknet
‑
53网络结构；所述装置还包括：识别模型训练模块，用于对预先采集的、与学习对象样本相对应的学习行为图像进行标注，生成训练数据集；基于所述训练数据集对所述识别模型进行训练，用以获得所述训练好的识别模型；其中，基于所述训练数据集内的图像确定所述识别模型的anchor box的位置，所述训练数据集内的图像包括：学习对象样本的正脸图像以及侧脸图像。
17.可选地，学生端管理模块，用于在所述学习对象基于所述作业信息进行练习的时间段内，基于预设的屏蔽策略将所述学习对象端上的软件以及外部设备进行屏蔽处理；接收所述学习对象端发送的对于所述作业信息的增加时间请求，为所述作业信息分配额外时间，更新所述学习监控时间以及所述学习结束时间，并向所述教师端发送提示信息，用以提示学习任务重；接收所述学习对象端发送的作业完成打卡请求以及对应的练习附件，向所述教师端发送作业完成提示信息。
18.根据本公开实施例的第三方面，提供一种教学辅助装置，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如上的方法。
19.根据本公开实施例的第四方面，提供一种教学辅助系统，包括：如上的教学辅助装置、教师端和学习对象端。
20.根据本公开实施例的第五方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的方法。
21.基于本公开上述实施例提供的教学辅助方法、装置以及存储介质，能够根据教师端指定的作业信息辅助学习对象完成练习，可以高效利用时间，提高练习质量；在学习对象练习时间段，可以对学习对象的学习行为和答题内容进行监控，教师或第三方能够及时获取学习对象的学习信息并对学习对象进行监管，并且教师能够评价学习对象的任务完成质量。
22.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
23.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
24.图1为本公开的教学辅助方法的一个实施例的流程示意图；
25.图2为本公开的教学辅助方法的一个实施例中的基于学习状态进行相应处理的流程示意图；
26.图3为本公开的教学辅助方法的一个实施例中的对作业的完成情况进行监控的流程示意图；
27.图4为本公开的教学辅助方法的一个实施例中的确定学习对象的学习状态的流程示意图；
28.图5为本公开的教学辅助装置的一个实施例的模块示意图；
29.图6为本公开的教学辅助装置的另一个实施例的模块示意图；
30.图7为本公开的教学辅助装置的又一个实施例的模块示意图。
具体实施方式
31.下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
32.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
33.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
34.还应理解，在本公开实施例中，“多个”可以指两个或者两个以上，“至少一个”可以指一个、两个或两个以上。
35.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
36.另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
37.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
38.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
39.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开
及其应用或使用的任何限制。
40.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
41.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
42.本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。
43.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
44.示例性方法
45.图1为本公开的教学辅助方法的一个实施例的流程图，如图1所示的方法包括步骤：s101
‑
s105。下面对各步骤分别进行说明。本公开的教学辅助方法应用于服务器端，可以通过相关软件、平台等实现相应的功能。
46.s101，获取教师端输入的作业信息，基于作业信息确定对应的学习监控时间以及学习结束时间。
47.在一个实施例中，教师端可以为安装有相关app、软件以及微信公众号等的手机、平板电脑等设备。作业信息包括科目、科目预定完成时间、作业章节以及题目数量等。学习监控时间为针对各个科目作业进行监控的时间段，学习结束时间可以为各个科目作业的结束时间。教师可以通过教师端编辑学习对象的时间任务安排表，生成作业信息并上传服务器端，服务器端基于作业信息设置学习监控时间以及学习结束时间。
48.s102，在学习监控时间内使用设置在学习对象端的监控设备获取与学习对象相对应的监控内容，基于监控内容确定学习对象的学习状态，并基于学习状态进行相应的处理。
49.在一个实施例中，学习对象为在校学生、培训生等，学习对象端为安装有相关的app、软件以及微信公众号等的手机、平板电脑等设备，学习对象可以使用学习对象端接收作业信息等。在学习对象端可以设置监控设备，监控设备为图像传感器设备，例如摄像头设备等。在学习监控时间内，服务器可以使用设置在学习对象端的监控设备获取与学习对象相对应的监控内容，监控内容可以为监控视频等。
50.例如，服务器端发送控制指令给学习对象端，控制监控设备获取与学习对象相对应的监控内容；也可以由学习对象端发送控制指令，控制监控设备获取与学习对象相对应的监控内容，将监控内容上传到服务器端。服务器端可以基于监控内容确定学习对象的学习状态，并基于学习状态进行相应的处理。
51.s103，在学习结束时间到达时，如果基于作业信息判断学习对象未完成当前作业内容并且学习状态为正常状态，则将辅助资料发送到学习对象端。
52.在一个实施例中，作业信息包括科目a和科目b的作业信息；科目a的作业信息包括科目a、科目a预定完成时间、科目a的作业章节以及题目数量；科目b的作业信息包括科目b、科目b预定完成时间、科目b的作业章节以及题目数量等。基于科目a的作业信息生成学习监控时间a以及学习结束时间a，基于科目b的作业信息生成学习监控时间b以及学习结束时间b。
53.当学习对象完成一项作业内容时，通过学习对象端向服务器端发送作业完成信息，进行打卡操作。在学习结束时间a到达时，如果基于科目a的作业信息判断学习对象未完成当前科目a的作业内容并且学习状态为正常状态，则将辅助资料发送到学习对象端，辅助资料可以为预设的科目a的辅助资料。
54.类似地，在学习结束时间b到达时，如果基于科目b的作业信息判断学习对象未完成当前科目b的作业内容并且学习状态为正常状态，则将辅助资料发送到学习对象端，辅助资料可以为预设的科目b的辅助资料。辅助资料包括视频流、文本内容和音频中的至少一个。
55.s104，设置与辅助资料相对应的辅助学习时间，基于辅助学习时间对当前作业内容的完成情况进行监控。
56.例如，设置与科目a的辅助资料相对应的辅助学习时间a，基于辅助学习时间a对当前科目a的作业内容的完成情况进行监控。类似地，设置与科目b的辅助资料相对应的辅助学习时间b，基于辅助学习时间b对当前科目a的作业内容的完成情况进行监控。
57.s105，基于学习对象对于作业信息的完成情况，进行学习水平评估。
58.图2为本公开的教学辅助方法的一个实施例中的基于学习状态进行相应处理的流程示意图，如图2所示的方法包括步骤：s201
‑
s203。下面对各步骤分别进行说明。
59.s201，向学习对象端发送作业信息，用以在学习对象端显示作业信息。
60.在一个实施例中，在学习对象端设置显示模块，当学习对象端接收到服务器端下发的作业信息，通过显示模块对学习对象进行显示。
61.s202，如果基于学习状态确定学习对象处于非正常状态，则存储非正常状态信息，并将监控内容以及非正常状态信息发送给学习对象的监护人终端。
62.在一个实施例中，监护人终端可以为学习对象的父亲、母亲等监护人的手机、平板电脑等；监控内容可以为监控视频等；非正常状态信息可以为用于表征非正常状态的文字信息或图像信息等。
63.当服务器端确定学习对象处于非正常状态时，则存储用于表征非正常状态的文字信息或图像信息等，并将监控内容以及用于表征非正常状态的文字信息或图像信息等发送给学习对象的监护人终端。
64.监护人终端上可以安装第三方管理模块，用于编写学习对象的闲暇时间表，可查看、确认作业信息以及时间任务安排表，可以接收监控提示信息，查看学习对象的监控视频，对学习对象进行监管。
65.s203，控制设置在学习对象端的语音模块播放提示语音信息，并触发学习对象端进行警示处理。
66.在一个实施例中，在学习对象端设置的语音模块可以为扬声器模块等，服务器端控制扬声器模块等播放预设在学习对象端的提示语音信息，用以对学习对象进行提示。服务器端触发学习对象端进行警示处理，例如，服务器端发送控制指令，控制显示模块显示警示信息等。
67.图3为本公开的教学辅助方法的一个实施例中的对作业的完成情况进行监控的流程示意图，如图3所示的方法包括步骤：s301
‑
s304。下面对各步骤分别进行说明。
68.s301，将辅助学习时间发送给学习对象端进行显示。
69.在一个实施例中，服务器端根据辅助资料设置辅助学习时间，将辅助学习时间发送给学习对象端，用以对学习对象进行显示。
70.s302，基于辅助学习时间启动计时器。
71.s303，当计时器结束工作时，如果确定学习对象未完成当前作业内容，则服务器端存储与当前作业内容相对应的学习进度信息。学习进度信息包括当前作业内容完成的比例信息等。
72.s304，向学习对象端发送进行下一个作业的提示信息。
73.在一个实施例中，在设定的学习结束时间到达时，若判定学习对象未完成当前作业内容并且学习状态为正常状态，则服务器端发送提醒信息至学习对象端，并推送辅助资料给学习对象端。服务器端重新计算辅助学习时间后，通过学习对象端提醒学习对象开始学习，锁定相关辅助资料内容，并开始计时。
74.在一个实施例中，辅助资料包括视频流、文本内容和音频等，例如，视频流可以为5
‑
10分钟的当前科目章节的教育辅导视频，文本内容包括对应科目章节的资料和例题等。如果经过辅助学习时间，学习对象端反馈学习对象未完成当前作业内容，则基于学习对象端的图像传感器设备采集的内容，创建对应科目章节的进度，生成学习进度信息并进行记录。发送使学习对象端进入下一作业内容的信号，直至全部作业完成。
75.作业信息的完成情况包括未完成作业的记录信息、已完成作业和完成速度等；基于学习对象群体的完成情况，确定与未完成作业、已完成作业相对应的学习难度值；如果确定学习难度值超过难度阈值，则向教师端发送对应的提醒信息。未完成作业的记录信息包括未完成章节作业的已完成比例等，完成速度为完成作业的时间等。
76.在一个实施例中，基于学习对象对于作业信息的完成情况进行学习水平评估可以采用多种方法。例如，对学习对象群体的完成情况进行分析，基于作业信息的完成情况确认学习对象群体在正态分布(默认分布为正态分布)上的标准差，并通过变异系数cv判断作业信息的完成情况数据的偏离程度，可以计算与未完成作业、已完成作业相对应的学习难度值。
77.在一个实施例中，通过变异系数cv判断作业信息的完成情况数据的偏离程度，计算与未完成作业、已完成作业相对应的学习难度值为：学习对象群体为学生，在对学生的完成情况进行分析时，基于学生的作业信息完成情况，提取一个年级的全部学生单次作业成绩(单次作业成绩数据通常会存在左偏或右偏)，生成单次作业成绩数据组。
78.spss(statistical product and service solutions)为统计产品与服务解决方案软件。使用spss并基于单次作业成绩数据组确认学生的单次作业成绩为正态分布。spss提供的k
‑
s检验能够利用样本数据推断样本来自的总体是否服从某种理论分布,是一种比
较适合于连续性随机变量的检测。借助spss的k
‑
s检验对单次作业成绩数据组中的全部单次作业成绩进行检验，确认学生在正态分布上的标准差，通过变异系数cv判断作业信息的完成情况数据的偏离程度。变异系数(coefficient of variation)为当需要比较两组数据离散程度大小的时候，如果两组数据的测量尺度相差太大，或者数据量纲的不同，应当消除测量尺度和量纲的影响，变异系数cv是原始数据标准差与原始数据平均数的比。
79.box
‑
cox变换是统计建模中常用的一种数据变换，用于连续的响应变量不满足正态分布的情况。基于k
‑
s检验结果对不符合分布的单次作业成绩数据组中的单次作业成绩数据内容进行boxcox变换以使之符合，记为x组；确定原单次作业成绩数据组中的单次作业成绩数据为y组；对x、y组进行归一化处理，计算两者的cv差值(判断y组的离散程度)。根据cv差值(变异系数cv)可以确定学习难度值；若cv差值大于a，则难度过高或过低。如果确定学习难度值超过难度阈值，则向教师端发送对应的提醒信息，使得在相关科目作业学习难度过高或过低时，发送提醒信息至教师端。图4为本公开的教学辅助方法的一个实施例中的确定学习对象的学习状态的流程示意图，如图4所示的方法包括步骤：s401
‑
s404。下面对各步骤分别进行说明。监控设备包括图像传感器设备等。
80.s401，使用图像传感器设备采集学习对象的正面面部视频数据；其中，在采集正面面部视频数据时，提示学习对象眨眼或念读对应数字，用以确定学习对象在线。借助服务器端提示学生眨眼或念读对应数字可以确定学生真实在线，并确定识别模型中的anchor box中心点及其位置。
81.s402，使用训练好的识别模型对正面面部视频数据进行处理，确定学习对象的学习状态；学习状态包括专注、走神或疲劳状态。
82.在一个实施例中，可以使用现有的多种识别模型，对设置在学习对象端的监控设备采集的、与学习对象相对应的正面面部视频数据进行识别处理，输出学习状态，学习状态可以是专注、走神或疲劳状态中的一种状态。
83.s403，判断学习状态是否为专注状态，如果是，则确定学习状态为正常状态，如果否，则确定学习状态为非正常状态。
84.s404，在预设的时间段内，如果确定非正常状态持续的时长超过时间阈值时，则存储在预设的时间段内的非正常状态信息，并向学习对象端发送告警信息。非正常状态信息包括：非正常状态的类别以及出现的时间信息，以及相关的视频或图像等。
85.在一个实施例中，使用训练好的识别模型对学习对象进行连续的监控。当连续一段时间内，确定学习对象处于走神状态或疲劳状态时，计算学习对象处于非正常状态的持续时间。当此持续时间超过预设的时间阈值时，记录对于非正常状态的识别信息以及视频，发送并控制学习对象端播放语音警示信息，语音警示信息包括监护人对学习对象监管的语音信息。
86.识别模型包括yolov3网络识别模型等。yolov3网络识别模型采用基于darknet
‑
53网络结构。对预先采集的、与学习对象样本相对应的学习行为图像进行标注，是学习行为图像对应于专注、走神或疲劳状态等标签，生成训练数据集。基于训练数据集对识别模型进行训练，用以获得训练好的识别模型，可以使用现有的多种模型训练方法。基于训练数据集内的图像确定识别模型的anchor box的位置，训练数据集内的图像包括学习对象样本的正脸图像以及侧脸图像。
87.yolov3网络识别模型的anchor box的位置是基于训练数据集中的图像所确定的，训练数据集中的图像包括正脸以及左右25
°
以内的侧脸样本。首先，对红外图像数据集的候选框bounding box进行基于k
‑
means的聚类分析，选定最优个数及位置的anchor box的宽高维度(最优个数为9个，对应于yolov3的3个特征图，使每个grid cell包含3个anchor box)；然后，通过yolov3网络对输入图片进行特征提取。
88.yolov3网络采用的是基于darknet
‑
53为骨干网络的网络结构，对输入的256*256的图像进行特征提取，其所提取的特征层具体包括52*52、26*26以及原骨干网络所输出的13*13三个尺寸；借助yolov3算法的损失函数即总方误差和二值交叉熵，并利用训练数据集对yolov3算法进行训练及测试，得到分类识别模型。模型规则库的学生状态输出被设定为专注、正常、走神或疲劳三个状态，由此设定最后一个卷积核的数量为(3+4+1)*3＝24个。
89.在一个实施例中，利用识别模型对学习对象行为进行检测，识别学习对象是否处于专注的学习状态，若是，则认为该学习对象状态正常，若否，则确认学习对象是否正常学习；候选框的维度聚类方法为k均值聚类算法(k
‑
means)，根据训练样本不同类别的正例标注候选框，学习其特征并找到最优的k值(anchor box个数)所对应的k个聚类中心的宽高维度，作为网络配置文件的anchor参数。
90.k均值聚类算法基于欧式距离计算误差，在yolov3网络中，可以利用由候选框与真实框的交集与并集的比值得到的重叠度(intersection over union，iou)来减少目标框带来的误差，得到最终的距离函数为：
91.d(box,centroid)＝1
‑
iou(box,centroid)
ꢀꢀ
(1
‑
1)；
92.聚类目标函数为：
[0093][0094]
其中，box为目标框，reality为真实框，k为anchor的个数。
[0095]
bounding box的预测方式为：通过预测层anchor boxes预测bounding box的坐标与宽高维度信息(b
x
、b
y
、b
w
、b
h
)的计算公式如下：
[0096]
b
x
＝σ(t
x
)+c
x
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1
‑
3)；
[0097]
b
y
＝σ(t
y
)+c
y
ꢀꢀꢀꢀꢀꢀꢀ
(1
‑
4)；
[0098][0099][0100]
其中，t
x
、t
y
、t
w
、t
h
为yolov3中bounding box预测的中心点坐标与中心点对应的预测框的宽度和高度，c
x
、c
y
为中心点坐标所在的grid cell网络的坐标偏移量，p
x
、p
y
为预测前anchor的宽高。
[0101]
yolov3的算法损失函数由定位损失、分类损失及置信度损失这3部分组成，其中，定位损失采用的是总方误差(sum
‑
squared error)损失，分类损失及置信度损失利用的是二值交叉熵损失计算，计算方式如下：
[0102][0103]
其中，s2表示网格数，b表示每个网格生成的候选框个数，x
i
、y
i
表示真实标注框的横纵坐标，w
i
、h
i
表示真实标注框的宽度和高度，分别为x
i
、y
i
、w
i
、h
i
的预测值，λ
coord
和λ
noobj
为损失系数。
[0104]
参数表示第i个网格的第j个候选框内没有目标，如果有，则取值为1，否则取值为0，参数的取值与参数的取值相反。参数c
i
表示第i个网格中候选框的置信度，由当前候选框包含物体的概率与重叠度的乘积可得，为c
i
的预测值。参数p
i
表示第i个网格中候选框的目标类别，为该候选框预测类别信息。
[0105]
在一个实施例中，在学习对象基于作业信息进行练习的时间段内，基于预设的屏蔽策略将学习对象端上的软件以及外部设备进行屏蔽处理；外部设备可以为外部音响、电视、游戏操作器等设备。
[0106]
例如在学习开始后，服务器端向学习对象端下发控制指令，基于预设的屏蔽策略禁用学习对象端上影响学习效率的软件，屏蔽干扰学习的智能家电等。例如，禁用学习对象端上的音乐、视频等软件，屏蔽外部音响、电视、游戏操作设备等设备。
[0107]
接收学习对象端发送的对于作业信息的增加时间请求，为作业信息分配额外时间，更新学习监控时间以及学习结束时间，并向教师端发送提示信息，用以提示学习任务重。服务器端接收接收学习对象端发送的对于作业信息的增加时间请求，当基于作业信息安排的练习时间不足以完成学习任务且存在可自由安排的闲暇时间时，服务器端可以增加练习时间并通知学习对象端，使学习对象可自主增加练习时间。
[0108]
接收学习对象端发送的作业完成打卡请求以及对应的练习附件，向教师端发送作业完成提示信息。服务器端可以按照作业信息提醒学习对象进行相应的练习，并显示相应的学习任务(作业信息)，接收学习对象打卡上传的练习附件，练习附件包括练习照片、视频、音频文件等；教师可根据学生上传的附件检查学生的作业是否达到要求。
[0109]
示例性装置
[0110]
在一个实施例中，如图5所示，本公开提供一种教学辅助装置，包括：教师管理模块501、监控识别模块502、辅助资料发送模块503、辅助学习监控模块504和学习评估模块505。教学辅助装置部署在服务器端。
[0111]
教师管理模块501获取教师端输入的作业信息，基于作业信息确定对应的学习监控时间以及学习结束时间。监控识别模块502在学习监控时间内使用设置在学习对象端的监控设备获取与学习对象相对应的监控内容，基于监控内容确定学习对象的学习状态，并基于学习状态进行相应的处理。
[0112]
辅助资料发送模块503在学习结束时间到达时，如果基于作业信息判断学习对象未完成当前作业内容并且学习状态为正常状态，则将辅助资料发送到学习对象端。辅助学习监控模块504设置与辅助资料相对应的辅助学习时间，基于辅助学习时间对当前作业内容的完成情况进行监控。学习评估模块505基于学习对象对于作业信息的完成情况，进行学习水平评估。
[0113]
在一个实施例中，作业信息包括科目、科目预定完成时间、作业章节以及题目数量等。如图6所示，本公开的教学辅助装置还包括作业发送模块506。作业发送模块506向学习对象端发送作业信息，用以在学习对象端显示作业信息。
[0114]
监控识别模块502如果基于学习状态确定学习对象处于非正常状态，则存储非正常状态信息，并将监控内容以及非正常状态信息发送给学习对象的监护人终端。监控识别模块502控制设置在学习对象端的语音模块播放提示语音信息，并触发学习对象端进行警示处理。
[0115]
在一个实施例中，辅助资料包括视频流、文本内容和音频中的至少一个。辅助学习监控模块504将辅助学习时间发送给学习对象端进行显示。辅助学习监控模块504基于辅助学习时间启动计时器。当计时器结束工作时，如果确定学习对象未完成当前作业内容，则辅助学习监控模块504存储与当前作业内容相对应的学习进度信息，向学习对象端发送进行下一个作业的提示信息。
[0116]
作业信息的完成情况包括未完成作业的记录信息、已完成作业和完成等；学习评估模块505基于学习对象群体的完成情况，确定与未完成作业、已完成作业相对应的学习难度值。如果确定学习难度值超过难度阈值，则学习评估模块505向教师端发送对应的提醒信息。
[0117]
在一个实施例中，监控设备包括图像传感器设备；监控识别模块502使用图像传感器设备采集学习对象的正面面部视频数据；其中，在采集正面面部视频数据时，监控识别模块502提示学习对象眨眼或念读对应数字，用以确定学习对象在线。
[0118]
监控识别模块502使用训练好的识别模型对正面面部视频数据进行处理，确定学习对象的学习状态，学习状态包括专注、走神或疲劳状态等。监控识别模块502判断学习状态是否为专注状态，如果是，则确定学习状态为正常状态，如果否，则确定学习状态为非正常状态。在预设的时间段内，监控识别模块502如果确定非正常状态持续的时长超过时间阈值时，则存储在预设的时间段内的非正常状态信息，并向学习对象端发送告警信息。
[0119]
在一个实施例中，识别模型包括yolov3网络识别模型等；yolov3网络识别模型采用基于darknet
‑
53网络结构。如图6所示，本公开的教学辅助装置还包括识别模型训练模块507，识别模型训练模块507对预先采集的、与学习对象样本相对应的学习行为图像进行标注，生成训练数据集；识别模型训练模块507基于训练数据集对识别模型进行训练，用以获得训练好的识别模型；其中，基于训练数据集内的图像确定识别模型的anchor box的位置，训练数据集内的图像包括学习对象样本的正脸图像以及侧脸图像。
[0120]
如图6所示，本公开的教学辅助装置还包括学生端管理模块508，学生端管理模块508在学习对象基于作业信息进行练习的时间段内，基于预设的屏蔽策略将学习对象端上的软件以及外部设备进行屏蔽处理。学生端管理模块508接收学习对象端发送的对于作业信息的增加时间请求，为作业信息分配额外时间，更新学习监控时间以及学习结束时间，并向教师端发送提示信息，用以提示学习任务重。学生端管理模块508接收学习对象端发送的作业完成打卡请求以及对应的练习附件，向教师端发送作业完成提示信息。
[0121]
图7为本公开的教学辅助装置的又一个实施例的结构示意图，如图7所示，教学辅助装置71包括一个或多个处理器711和存储器712。
[0122]
处理器711可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制教学辅助装置71中的其他组件以执行期望的功能。
[0123]
存储器712可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器，例如，可以包括：随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器，例如，可以包括：只读存储器(rom)、硬盘以及闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器711可以运行程序指令，以实现上文的本公开的各个实施例的教学辅助方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
[0124]
在一个示例中，教学辅助装置71还可以包括：输入装置713以及输出装置714等，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该输入设备713还可以包括例如键盘、鼠标等等。该输出装置714可以向外部输出各种信息。该输出设备714可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0125]
当然，为了简化，图7中仅示出了该教学辅助装置71中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，教学辅助装置71还可以包括任何其他适当的组件。
[0126]
在一个实施例中，本公开提供一种教学辅助系统，包括如上任一实施例中的教学辅助装置、教师端、学习对象端以及监护人设备等。
[0127]
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的教学辅助方法中的步骤。
[0128]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0129]
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的教学辅助方法中的步骤。
[0130]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可
以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0131]
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
[0132]
上述实施例中的教学辅助方法、装置以及存储介质，能够根据教师端指定的作业信息辅助学习对象完成练习，可以高效利用时间，提高练习质量；在学习对象练习时间段，可以对学习对象的学习行为和答题内容进行监控，以使教师或第三方及时获取学习对象的学习信息并对学习对象进行监管；在学习对象练习时间段，可禁用学习对象端上的影响学习效率的软件，屏蔽干扰外部设备，使学习对象更加专注于学习，减少干扰；按照作业的安排在相应的学习时间对学习对象进行自动提醒，并显示对应的学习任务，以免学生忘记或误记作业内容，也便于教师或第三方检查学生当天的任务完成情况；通过学习对象端打卡上传作业，方便教师查阅并评价学习对象的任务完成质量并评价学习对象的任务完成质量。
[0133]
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0134]
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0135]
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
[0136]
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
[0137]
提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到
在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0138]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。