一种基于物联网智慧教室的师生互动检测方法与流程

本发明涉及信息，尤其涉及一种基于物联网智慧教室的师生互动检测方法。

背景技术：

1、师生互动是上课时老师为增加课堂气氛常用的一种方式，通常是老师先发起，之后老师邀请同学与自己合作实现某一教学目的，做出某种东西，解出哪一道题，或是协助老师完成某个事情。但是在日常课堂教学过程中时常会有师生互动不均匀的现象，比如老师邀请学生互动的时候，总是选择那些互动过的学生，忽略了另外那些参与互动的学生和不参与互动的学生；而学生在老师发起互动时，不参与互动的学生有一些是真的不想参与互动，而有一些则是其他原因不参与互动，老师强行与不想参与互动的学生形成互动有时还可能会导致学生日后的互动倾向性降低；因此，设计一种能提高学生互动倾向性的师生互动均衡方法具有很重要的现实意义及理论研究价值；

技术实现思路

1、本发明提供了一种基于物联网智慧教室的师生互动检测方法，主要包括：

2、根据课堂上互动的视觉和听觉信息获取师生互动信息；根据学生的互动信息得到学生的学习能力；基于学生学习能力和学习评价判断学生互动行为程度，具体包括：判断学生互动行为程度；根据参与互动学生的学习能力值和学生互动行为程度判断老师的互动倾向，所述根据参与互动学生的学习能力值和学生互动行为程度判断老师的互动倾向，具体包括：判断老师的互动倾向，根据老师的互动倾向判断老师是否需要与学习能力不同的学生进行互动；根据学生互动时的体征状态和主动互动占比预测学生互动类型，具体包括：判断学生互动类型；通过学生的互动内容判断学生不爱互动的原因，所述通过学生的互动内容判断学生不爱互动的原因，具体包括：基于学生互动类型和互动内容，获取学生互动音频内容，根据学生互动音频内容，计算老师与学生的互动内容文本相似度和学生互动内容的情感分析，构建学生互动完成度模型，判断学生不爱互动的原因；基于师生的互动信息，获得学生对不同互动方式的倾向程度，具体包括：基于学生对不同互动方式的倾向程度，判断学生是否更加倾向于一种互动类型；基于学生的互动行为建立学生互动积极性评估模型，获取学生在不同互动方式下互动倾向的变化；根据学生在不同互动下的不同互动倾向变化，判断适合学生的互动方式，包括：获取老师进行适合学生的互动方式后学生的互动倾向变化。

3、进一步可选地，所述根据课堂上互动的视觉和听觉信息获取师生互动信息包括：

4、其中师生信息通过学校校务管理系统获取；基于机器学习的有监督模式识别方法构建师生互动的识别模型，使用大量师生之间互动的动作信息和音频信息来模型进行训练，师生互动的识别模型根据师生之间的互动信息判断教师发起互动的方式；在获得校方及师生授权同意之后，通过教室内多个角度的摄像头采用人脸识别的方法实时采集教室内师生的实时身份信息并获取师生互动时的动作信息；在获得校方及师生授权同意之后，通过教室内的音频拾取装置获取师生互动时的音频信息；将动作信息和音频信息传输至师生互动的识别模型中，师生互动的识别模型判定此次互动的方式；根据实时身份信息和互动方式统计课堂中教师发起互动的方式以及学生参与互动的次数和互动时间并存入师生互动信息数据库中。

5、进一步可选地，所述根据学生的互动信息得到学生的学习能力包括：

6、学生的信息包括：平时成绩、作业完成程度；平时成绩由学校教务系统录入；作业完成程度通过老师对学生作业的统计获得；首先基于学生的平时成绩和作业完成程度构建学生学习能力评估模型m＝a*(n-s)+b*h,其中a、b分别为成绩和作业完成度的权重，s为学生成绩的排名,n为班级人数，h为平时作业的完成程度；基于学生学习能力评估模型进行评估，m值越大，则表示学生的学习能力越强。

7、进一步可选地，所述基于学生学习能力和学习评价判断学生互动行为程度包括：

8、学校定期设置师生交流会；师生交流会是指老师与每位学生深入交流学习和课堂互动的有关信息；老师根据交流的内容填写学生的学生评价；根据学生的学习能力和学习评价判断学生互动行为程度；包括：判断学生互动行为程度；

9、所述判断学生互动行为程度，具体包括：

10、学生评价包括课堂互动行为、互动表现、学生成绩。学生成绩为学生在班级的成绩排名。互动行为程度有三种，分别是不愿互动、一般、愿意主动互动。互动表现主要针对互动行为程度为不愿互动的学生，分析学生不愿互动的缘由。

11、进一步可选地，所述根据参与互动学生的学习能力值和学生互动行为程度判断老师的互动倾向包括：

12、统计与老师互动的学生的学习能力值和学生互动行为程度；统计老师与学生互动次数总和；并根据学生的学习能力值和学生互动行为程度构建模型计算老师对不同类型学生的互动的倾向程度；通过老师的互动的倾向程度判断老师是否有对某一类型的学生有的互动倾向；包括：判断老师的互动倾向；根据老师的互动倾向判断老师是否需要与学习能力不同的学生进行互动；

13、所述判断老师的互动倾向，具体包括：

14、通过教室内的高清摄像头，统计每次师生互动的对象。基于每一次师生的互动记录老师与不同学生的互动次数。统计老师与学生互动次数总和。根据老师对学生的评价进行分类排名，将评价中互动行为程度相同的学生根据学生学习能力进行排名。基于与老师互动的学生的学习能力值和学生与老师的互动次数构建教师互动倾向模型x＝(c1*m1+c2*m2+...+cn*mn)/(c1+c2+...+cn),其中n代表班级中有n位同学，c1代表输入学生的学习能力值中学习能力排名第一学生与老师的互动次数，m1是通过学生学习能力评估模型计算出这个学生的学习能力值，c2是输入学生的学习能力值中学习能力排名第二的学生与老师的互动次数，m2是通过学生学习能力评估模型计算出这个学生的学习能力值,以此类推计算输入的中所有与老师互动的学生的学习能力平均值；依据学生互动行为程度将学生分成三类；分别将互动行为程度相同的学生的学习能力值和学生与老师的互动次数输入至教师互动倾向模型x中计算学习能力平均值；根据教师互动倾向模型计算老师互动的学生的学习能力平均值。

15、所述根据老师的互动倾向判断老师是否需要与学习能力不同的学生进行互动，具体包括：

16、定义学习能力值在班级在一定阈值之前的的学生为优秀学生。计算学生评价中互动行为程度为愿意主动互动且班级排名在一定阈值之前的学生学习能力值平均值a。将与老师互动的互动行为程度为愿意主动的学生学习能力平均值s与a作比较,若老师互动的学生学习能力s平均值大于班级排名在一定阈值之前的学生学习能力值a，则认为老师偏向于与优秀的学生互动，系统提醒老师与其他愿意互动但是成绩中下水平的学生互动。若老师互动的互动行为程度为愿意主动的学生学习能力平均值s小于班级排名在一定阈值之前的学生学习能力值a，则认为老师的互动倾向比较平均。

17、进一步可选地，所述根据学生互动时的体征状态和主动互动占比预测学生互动类型包括：

18、学生的互动类型分为积极主动型、正常被动型、消极被动型；其中积极主动型定义为学生愿意积极主动与老师互动，正常被动型指学生不反感与老师互动，但是不会主动与老师互动，消极被动型则是学生不愿甚至害怕与老师互动；将学生互动时的音频信息和动作信息输入识别模型判断学生是否主动发起互动，并根据学生的紧张程度和主动发起互动占总互动次数的比例来判断学生的互动类型；包括：判断学生互动类型；

19、所述判断学生互动类型，具体包括：

20、通过教室内多个角度的摄像头采用人脸识别的方法实时采集教室内师生的实时身份信息并获取师生互动时的动作信息。通过教室内的音频拾取装置获取师生互动时的音频信息。将动作信息和音频信息传输至师生互动的识别模型中分析判断学生是否主动发起互动。在课堂互动时，分别通过摄像头和红外传感器采集包含有学生的视频信息和学生的热点区域图，获取学生在互动时身体体温的变化。对采集到的视频信息和采集到的热点区域图进行识别得到被检测学生的人体特征数据。基于学生人体特征数据构建紧张程度模型n＝t,t为学生互动时体温和互动前的体温的差值。使用学生体温的变化值计算学生本次互动的紧张程度。基于学生主动互动次数和互动是否紧张和紧张程度建立预设学生互动类型分析模型，学生互动类型分析模型根据学生主动互动次数与总互动次数的比值、学生互动是否紧张和紧张程度来判断学生的互动类型。统计学生主动发起互动的次数和总互动次数，设定若学生主动发起互动的次数与学生总互动次数的比例大于一定的阈值，互动类型分析模型会判断这个学生的互动类型为积极主动型。基于学生每次互动是否紧张和紧张程度在互动类型分析模型计算出学生的紧张度，若紧张度低于一定的阈值，且学生主动发起互动的次数与学生总互动次数的比例小于一定阈值，则互动类型分析模型判定学生互动类型为正常被动型，反之紧张度高于一定阈值且学生主动发起互动的次数与学生总互动次数的比例小于一定的阈值，则互动类型分析模型判定学生互动类型为消极被动型。

21、进一步可选地，所述通过学生的互动内容判断学生不爱互动的原因包括：

22、获取消极被动类型的学生的师生互动音频信息；将老师与学生的音频信息分别处理生成互动音频内容；将老师与学生的互动音频内容进行文本相似度处理，判断老师与学生的互动音频内容是否相似；对学生的互动音频内容进行情感分析；最后根据文本相似度和情感分析结果以及学生学习成绩判断学生不爱互动的缘由；包括：基于学生互动类型和互动内容，获取学生互动音频内容；根据学生互动音频内容，计算老师与学生的互动内容文本相似度和学生互动内容的情感分析；构建学生互动完成度模型，判断学生不爱互动的原因；

23、所述基于学生互动类型和互动内容，获取学生互动音频内容，具体包括：

24、基于学生互动行为分析，筛选出消极被动类型的学生信息。使用音频拾取设备获取消极被动类型学生在互动时老师与学生的互动音频信息将音频拾取设备获取的音频进行预处理处理。提取并识别老师和学生的互动音频内容，分别生成老师和学生的互动音频内容。

25、所述根据学生互动音频内容，计算老师与学生的互动内容文本相似度和学生互动内容的情感分析，具体包括：

26、将老师与学生互动音频内容输入n—gram模型对学生互动音频进行中文分词。使用word2vec模型对分词后的文本分别进行文本向量化，得到各词语的向量化表示。对向量的每个维度进行加权相加，形成文本向量，进而可利用余弦距离计算文本的相似度。逐个遍历分词后的语句中的词语与bosonnlp情感词典进行比对。如果词语命中词典，则进行相应权重的处理。正面词权重为加法，负面词权重为减法，否定词权重取相反数，程度副词权重则和它修饰的词语权重相乘，求和得到这段互动内容文本的情感权重值。

27、所述构建学生互动完成度模型，判断学生不爱互动的原因，具体包括：

28、基于学生互动内容文本相似度和学生互动内容的情感分析以及学生成绩排名构建学生互动完成度模型k＝l*m*(t-s),其中l为学生互动内容文本相似度，若相似度高于一定阈值则l取值为1，否则l取值为0，m为学生互动内容的情感分析权重值，若权重值为非负数则m取值为1,否则m取值为-1，t为班级总人数+1，s为学生学习成绩排名。基于学生互动完成度模型判断学生不爱互动的缘由。若k的值为0，则认为学生不爱互动的缘由之一是不了解互动的内容。若k的值小于0，则认为学生不爱互动的缘由之一是对互动的积极性低。若k的绝对值小于一定阈值，则认为学生不爱互动的缘由之一是学习能力较弱。若k的绝对值大于一定阈值，则认为学生不爱互动的缘由之一是社交能力较弱。

29、进一步可选地，所述基于师生的互动信息，获得学生对不同互动方式的倾向程度包括：

30、从师生信息数据库中获取师生信息；将学生每次互动中老师发起互动方式和本次互动时间作为每一次互动标记标签；将不同的互动标记标签按照互动方式进行分类；将不同互动方式的互动标记标签中的互动时间进行求和得到学生的对这种互动方式的倾向程度；包括：基于学生对不同互动方式的倾向程度，判断学生是否更加倾向于一种互动类型；

31、所述基于学生对不同互动方式的倾向程度，判断学生是否更加倾向于一种互动类型，具体包括：

32、基于学生的不同互动方式的不同的倾向程度，对倾向程度数据进行处理后获得标准数据。基于标准数据进行分析并采用特征提取器提取学生互动倾向的特征。基于所提取的互动倾向特征采用分类器确定学生的互动是否过于倾向一个互动类型。

33、进一步可选地，所述基于学生的互动行为建立学生互动积极性评估模型，获取学生在不同互动方式下互动倾向的变化包括：

34、通过教室内的高清摄像头，统计每次师生互动的主动发起方；在课堂互动时，分别通过摄像头和红外传感器采集包含有学生的视频信息和学生的热点区域图，获取学生在互动时身体体温的变化；基于紧张程度模型和学生在互动时身体体温的变化计算学生本次互动的紧张程度；建立学生互动积极性评估模型，e＝q1*c-q2*t-q3*n+m,其中e为学生互动积极程度，

35、q1、q2、q3为不同权重值，c为学生主动发起互动的次数，t为互动时是否紧张，紧张和不紧张和放松的值分别为1、0、-1，n为学生本次互动的紧张程度，m为常数；统计每次互动后学生的互动信息，并更新学生的互动积极程度；若在进行不同互动方式后学生的互动积极程度发生变化，则说明此次互动对学生的互动倾向产生了变化。

36、进一步可选地，所述根据学生在不同互动下的不同互动倾向变化，判断适合学生的互动方式包括：

37、根据学生互动积极性的评估模型，统计每次互动的信息；以每位同学最近十次的互动积极性为基础，统计学生在每种互动方式下较上一次的积极性的变化值；将每种互动方式下的积极性变化值相加后，得出不同互动方式对学生互动积极性的影响；包括：获取老师进行适合学生的互动方式后学生的互动倾向变化；

38、所述获取老师进行适合学生的互动方式后学生的互动倾向变化，具体包括：

39、老师在课上对学生采取适合学生的互动方式。根据学生互动积极性的评估模型，计算学生在老师采取合适互动方式后的五次互动的积极性评估值。根据最后五次的学生积极性评估值，判断学生的互动倾向变化。

40、本发明实施例提供的技术方案可以包括以下有益效果：

41、本发明设计了一种能提高学生互动倾向性的师生互动均衡方法，调整老师的互动倾向，提示老师选择在自己互动倾向之外的学生形成互动，对于不参与互动的学生，通过调整互动方法来改变学生的互动倾向性，以此来提高学生的互动倾向性。