一种基于AI技术的线上学习专注度识别分析方法与流程

本发明属于专注度识别，涉及到一种基于ai技术的线上学习专注度识别分析方法。

背景技术：

1、随着互联网和数字技术的迅猛发展，内容传播技术也得到了很大的进步，而基于互联网学习平台的线上学习课件的形式也越来越普及，尤其像面向在职人员的继续教育机构的线上课件学习，可以突破时空的局限，解决在职人员的工学矛盾问题。而在线上学习的过程中，学生的专注度是决定继续教育质量的决定性因素之一，因此需要对线上学习过程中学生的专注度进分析。

2、当前技术对线上学习过程中学生的专注度分析主要根据学生的面部动作和肢体动作进行分析，很显然这种分析方式存在以下几个问题：1、学生对课件中的指令的执行情况侧面反映出学生学习时的专注度，当前技术并没有对学生对教师或课件指令的反映时长、执行完成时长以及学生对教师或课件指令的情感进行分析，进而无法展现出学生在学习过程中的学习主动性，同时也无法体现出学生对教师或课件指令的敏感程度和学习的兴趣，并且也无法保障学生在学习过程中的专注度。

3、2、在面向在职人员的继续教育领域，交互式学习是重要的学习方式之一，当前技术并没有根据学生唇部的口型和音频，分析学生在学习时的专注度，进而无法了解学生在学习过程中的认真程度，同时在一定程度上也无法为平台方后续开发针对性的课件提供有效的参考。

技术实现思路

1、本发明的目的在于提供的一种基于ai技术的线上学习专注度识别分析方法，解决了背景技术中存在的问题。

2、本发明的目的可以通过以下技术方案实现：一种基于ai技术的线上学习专注度识别分析方法，该方法包括以下步骤：

3、步骤一、学生学习视频获取：获取目标课件对应各学生的学习视频。

4、步骤二、学生指令执行分析：分析各学生对目标课件指令的执行评估系数。

5、步骤三、学生眼神专注分析：分析各学生对应的眼神层面学习专注评估系数。

6、步骤四、学生唇部动作分析：分析各学生对应的唇部层面专注评估系数。

7、步骤五、学生学习专注分析：分析各学生对应的综合学习专注评估系数，并筛选出各学习不专注学生。

8、步骤六、不专注学生显示：显示各学习不专注学生。

9、可选地，分析各学生对目标课件指令的执行评估系数，具体分析过程如下：基于目标课件对应各学生的学习视频，读取目标课件对应的各指令，进而获取各学生对应各指令的反映时长、完成时长和各面部图像。

10、根据各学生对应各指令的反映时长和完成时长，分析得到各学生对应的指令反映评估系数，并记为其中i表示各学生对应的编号，i＝1,2......n。

11、根据各学生对应各指令的各面部图像，分析得到各学生对应的指令情绪评估系数，并记为

12、通过计算公式得到各学生对目标课件指令的执行评估系数其中ε1、ε2分别为设定的指令反映评估系数、指令情绪评估系数对应的权重因子。

13、可选地，分析得到各学生对应的指令反映评估系数，具体分析过程如下：将各学生对应各指令的反映时长和完成时长分别记为tij和t′ij，其中j表示各指令对应的编号，j＝1,2......m，进而根据计算公式得到各学生对应的指令反映评估系数其中m表示指令数量，λ1、λ2分别为设定的反映时长、指令完成时长对应的权重因子。

14、可选地，分析得到各学生对应的指令情绪评估系数，具体分析过程如下：从各学生对应各指令的各面部图像中获取脸颊区域面积，记为siju，其中u表示各面部图像对应的编号，u＝1,2......v，同时从云数据库中获取各学生对应的证件照片，进而从中获取各学生对应的标准脸颊面积，并记为s′i。

15、基于各学生对应的证件照片，获取各学生对应的眼睛轮廓类型，进而从云数据库中提取各学生眼睛轮廓类型对应的参考愉悦眼睛轮廓，记为各学生对应的参考愉悦眼睛轮廓，同时从各学生对应各指令的各面部图像中获取眼睛轮廓，并将各学生对应各指令的各面部图像中眼睛轮廓与其对应的参考愉悦眼睛轮廓进行对比，得到各学生对应各指令的各眼睛轮廓与其对应参考愉悦眼睛轮廓的轮廓相同面积，并记为s″′iju。

16、从各学生对应各指令的各面部图像中获取各学生指定嘴角和下嘴唇中心点对应的位置，进而导入设定的二维坐标系中，得到各学生对应各指令的各面部图像中指定嘴角和下嘴唇中心点位置坐标，并分别记为(x′iju,y′iju)和(x″iju,y″iju)。

17、根据计算公式得到各学生对应的第一指令情绪评估系数其中γ1、γ2分别为设定的脸颊面积、眼睛高度差对应的权重因子,s″′为设定的参考眼睛轮廓相同面积。

18、从各学生对应的证件照片中获取各学生指定嘴角与下嘴唇中心点对应水平距离，并记为δxi。

19、根据计算公式得到各学生对应的第二指令情绪评估系数其中γ3、γ4分别为设定的指定嘴角与下嘴唇中心点的水平距离、高度差对应的权重因子，δyi为设定的参考嘴角与下嘴唇中心点的高度差。

20、通过计算公式得到各学生对应的指令情绪评估系数其中η1、η2分别为设定的第一指令情绪评估系数、第二指令情绪评估系数对应的权重因子。

21、可选地，分析各学生对应的眼神层面学习专注评估系数，具体分析过程如下：基于各学生的学习视频，获取各学生在各采集时间段内眼睛眨眼频次和瞳孔转动次数，进而通过计算得到各学生对应的眼神层面学习专注评估系数αi，其中qit′、dit′分别为第i个学生在第t′个采集时间段内眼睛眨眼频次、瞳孔转动次数，q、d分别为设定的参考眼睛眨眼频次、参考瞳孔转动次数，μ1、μ2分别为设定的眨眼频次、瞳孔转动次数对应的权重因子，t′表示各采集时间段对应的编号，t′＝1′,2′......b′。

22、可选地，分析各学生对应的唇部层面专注评估系数，具体分析过程如下：从各学生的学习视频中提取各学生在各检测时间段对应的各唇部口型和音频，通过各学生在各检测时间段对应的各唇部口型、音频和目标课件在各检测时间段对应的指令设置，分析各学生对应的第一唇部专注评估系数，并记为φ′i。

23、根据各学生在各检测时间段对应的音频和目标课件在各检测时间段对应的指令设置，分析各学生对应的第二唇部专注评估系数，并记为φ″i。。

24、根据计算公式得到分析各学生对应的唇部层面专注评估系数φi，其中分别为设定的第一唇部专注评估系数、第二唇部专注评估系数对应的权重因子，e表示自然常数。

25、可选地，分析各学生对应的第一唇部专注评估系数，具体分析过程如下：将各学生在各检测时间段对应的各唇部口型与目标课件在各检测时间点对应的指令设置进行对比，若某学生在某检测时间段对应的某唇部口型与目标课件在该检测时间段对应的指令设置相吻合，则判定该学生在该检测时间段对应的该唇部口型为模仿口型，以此方式统计各学生在各检测时间段对应的模仿口型数量，并记为nit，其中t表示各检测时间段对应的编号，t＝1,2......b。

26、将各学生在各检测时间段对应的音频通过语音识别得到各学生在各检测时间段对应的各语句，进而与目标课件在各检测时间段对应的指令设置进行对比，若某学生在某检测时间段对应的某语句与目标课件在该检测时间段对应的指令设置相吻合，则将该学生在该检测时间点对应的该语句记为发音语句，由此统计各学生在各检测时间段对应的发音语句数量，并记为n′it。

27、根据计算公式得到各学生对应的第一唇部专注评估系数φ′i，其中n1it、n2it分别为第i个学生在第t个检测时间段对应的唇部口型数量、语句数量，θ1、θ2分别为设定的唇部口型数量、语句数量对应的权重因子，e表示自然常数。

28、可选地，分析各学生对应的第二唇部专注评估系数，具体分析过程如下：从各学生在各检测时间段对应的各语句中提取各发音词语，进而与目标课件在各检测时间段对应的指令设置进行对比，若某学生在某检测时间段对应的某发音词语与目标课件在该检测时间段对应的指令设置相吻合，则将该发音词语记为该学生在该检测时间段对应的关联发音词语，由此统计各学生在各检测时间段对应的关联发音词语数量，并记为

29、根据计算公式得到各学生对应的第二唇部专注评估系数φ″i，其中表示第i个学生在第t个检测时间段对应的发音词语数量，表示目标课件在第t个检测时间段对应的教学词语数量，σ1、σ2分别为设定的发音词语数量、教学词语数量对应的权重因子，分别为设定的参考关联发音词语与发音词语的相同词语数量、参考关联发音词语与教学词语的相同词语数量。

30、可选地，分析各学生对应的综合学习专注评估系数，具体分析过程如下：将各学生对目标课件指令的执行评估系数各学生对应的眼神层面学习专注评估系数αi和唇部层面专注评估系数φi代入计算公式中，得到各学生对应的综合学习专注评估系数ψ，其中τ1、τ2、τ3分别为设定的执行评估系数、眼神层面学习专注评估系数、唇部层面专注评估系数对应的权重因子。

31、相较于现有技术，本发明的有益效果如下：

32、1、本发明提供的一种基于ai技术的线上学习专注度识别分析方法，通过根据各学生对目标课件指令的执行情况，眼神专注和唇部专注情况对学生在学习时的专注度进行分析，解决了当前技术存在的局限性的问题，实现了线上学习过程中学生学习专注度的智能化分析，有效的提高了学生在课件学习中的专注度，同时也大大的提升了学生学习过程中学习的积极性和灵敏性。

33、2、本发明在学生指令执行分析中通过对各学生对目标课件指令的执行情况进行分析，有效的保障了学生在学习中学习的主动性，同时也提高了学生对课件指令的敏感程度和学习的兴趣。

34、3、本发明在学生眼神专注分析中通过对各学生对应的眼神专注评估系数进行分析，有效的保障了学生在学习时眼神的专注度，同时也提高了学生在学习时的认真状态。

35、4、本发明在学生唇部动作分析中通过对各学生对应的唇部专注评估系数进行分析，准确的了解了学生在学习过程中的认真程度，在一定程度上也为平台方后续开发针对性的课程提供有效的参考。