一种基于深度强化学习的情感感知智能教学方法及系统

本发明涉及智能化教育，尤其涉及一种基于深度强化学习的情感感知智能教学方法及系统。

背景技术：

1、随着现代教育技术的发展，个性化和智能化教学方法已经成为了研究和应用的热点。在这些方法中，以深度学习和强化学习为基础的算法被广泛应用于学生的学习过程中，实现了对学生的学习行为和学习效果的深度理解和有效干预。然而，传统的这些方法主要集中在利用学生的行为数据和学习成果数据进行学习和教学决策，忽视了学生的情感状态对其学习效果的重要影响。

2、学生的情感状态，如愉快、厌烦、紧张等，对他们的学习效果具有重要的影响。学生的情感状态可以影响他们的注意力，对知识的吸收和理解，以及他们对学习任务的积极性。因此，对学生的情感状态进行准确的识别和理解，以及在教学决策中考虑学生的情感状态，对提高教学效果具有重要的意义。

3、因此，有必要提出一种新的情感感知智能教学方法及系统，其能够有效地利用深度学习和强化学习技术，对学生的情感状态进行准确的识别和理解，以及在教学决策中考虑学生的情感状态，以提高教学效果。

技术实现思路

1、本技术提供一种基于深度强化学习的情感感知智能教学方法及系统，以提高教学效果。

2、本技术提供的基于深度强化学习的情感感知智能教学方法，包括：

3、收集学生的多模态数据，包括教学过程中产生的文本数据，音频数据，以及视频数据；

4、使用深度学习模型对所述多模态数据进行预处理，获得预处理后数据，其中所述预处理后数据包括学习行为特征以及与情感有关的特征；

5、将所述预处理后数据作为输入，使用深度情感网络获得学生的情感状态，其中所述深度情感网络的表达式为：e＝f(x；φ)，其中e代表学生的情感状态，x代表预处理后数据，φ代表深度情感网络的参数，f代表深度情感网络的运算过程，输出为学生的情感状态；

6、根据所述学习行为特征以及学生的情感状态，使用深度强化学习算法动态调整教学内容和方式，其中深度强化学习的更新过程可以由以下公式描述：

7、其中θ_t是在时刻t的策略网络参数，α是学习率，δ_t是td错误，a_t是在状态s_t下采取的动作，π(a_t|s_t,θ_t)是在状态s_t下采取动作a_t的概率，输出为动态调整后的教学内容和方式。

8、更进一步地，所述的方法，还包括：

9、根据学生的学习成果和反馈信息，调整并优化所述深度强化学习的参数，以改进未来的教学效果。

10、更进一步地，所述使用深度学习模型对所述多模态数据进行预处理，获得预处理后数据，包括：

11、利用预训练的transformer模型，将所述文本数据转化为反映其语义信息的数值表示，获得文本特征；

12、采用卷积神经网络或循环神经网络处理所述音频数据，将其转化为频谱图，并从频谱图中提取音频特征；

13、使用3d卷积神经网络或者时间卷积网络处理所述视频数据，获得视频特征，包括学生的面部表情和肢体语言的信息；

14、利用特定的特征融合策略，整合文本特征、音频特征、视频特征成一个统一的多模态表示，并将整合后的多模态表示作为预处理后数据，所述预处理后数据包括学习行为特征以及与情感有关的特征。

15、更进一步地，所述将所述预处理后数据作为输入，使用深度情感网络获得学生的情感状态，包括：

16、对预处理后数据进行特定模态的卷积和池化操作，获得文本数据中的关键信息、音频数据中的关键信息以及视频数据中的关键信息；

17、对于所述的文本数据中的关键信息、音频数据中的关键信息以及视频数据中的关键信息进行特征融合，获得融合后特征，所述特征融合的操作可以通过简单的串联，或者使用加权平均或者注意力机制对不同模态的特征赋予不同的权重；

18、对所述融合后特征进行全连接操作，获得全连接操作后数据，其中，所述全连接操作包括通过权重和偏置进行线性变换，以及通过非线性激活函数进行非线性变换，从而进行进一步的特征提取和组合；

19、将所述全连接操作后数据进行长短期记忆神经网络处理，获得长短期记忆神经网络处理后数据；

20、将所述长短期记忆神经网络处理后数据进行输出处理，包括通过一个线性变换和一个激活函数操作来输出学生的情感状态。

21、更进一步地，所述对预处理后数据进行特定模态的卷积和池化操作，获得文本数据中的关键信息、音频数据中的关键信息以及视频数据中的关键信息，包括：

22、对于文本数据，通过嵌入操作将其转换为固定长度的向量，然后通过一维卷积和池化操作提取文本数据中的关键信息；

23、对于音频数据，通过二维卷积和池化操作提取音频数据中的关键信息；

24、对于视频数据，通过三维卷积和池化操作提取视频数据中的关键信息。

25、更进一步地，所述根据所述学习行为特征以及学生的情感状态，使用深度强化学习算法动态调整教学内容和方式还包括：

26、根据学生的学习历史数据，设定个性化的情感阈值；

27、当学生的情感状态超过设定的个性化的情感阈值时，使用深度强化学习算法动态调整教学内容和方式。

28、更进一步地，所述根据所述学习行为特征以及学生的情感状态，使用深度强化学习算法动态调整教学内容和方式，还包括：

29、当学生的情感状态超过设定的个性化的情感阈值时，根据特定情感状态选择对应的教学策略；

30、其中，所述教学策略包括重复或以不同方式解释概念，或者引入类比、故事、游戏等教学元素，以更生动、有趣的方式重新解释难以理解的内容。

31、更进一步地，所述根据学生的学习成果和反馈信息，调整并优化所述深度强化学习的参数，以改进未来的教学效果，包括：

32、确定基于学生的学习成果和反馈信息的奖励函数；

33、利用所述奖励函数以及深度强化学习算法更新所述深度强化学习的参数。

34、更进一步地，所述奖励函数为：

35、r＝α*l+β*f+γ*e+δ*p+ε*i，

36、其中，r为奖励函数的输出值，代表了系统在当前状态下采取某一动作的总体奖励；l代表学习成果；f代表反馈满意度；e代表学生的情感状态；p学习进步；i代表情感状态的改善；α、β、γ、δ、ε是调整权重的系数。

37、本技术还提供一种基于深度强化学习的情感感知智能教学系统，包括：

38、收集单元，用于收集学生的多模态数据，包括教学过程中产生的文本数据，音频数据，以及视频数据；

39、数据获得单元，用于使用深度学习模型对所述多模态数据进行预处理，获得预处理后数据，其中所述预处理后数据包括学习行为特征以及与情感有关的特征；

40、情感获得单元，用于将所述预处理后数据作为输入，使用深度情感网络获得学生的情感状态，其中所述深度情感网络的表达式为：e＝f(x；φ)，其中e代表学生的情感状态，x代表预处理后数据，φ代表深度情感网络的参数，f代表深度情感网络的运算过程，输出为学生的情感状态；

41、调整单元，用于根据所述学习行为特征以及学生的情感状态，使用深度强化学习算法动态调整教学内容和方式，其中深度强化学习的更新过程可以由以下公式描述：

42、其中θ_t是在时刻t的策略网络参数，α是学习率，δ_t是td错误，a_t是在状态s_t下采取的动作，π(a_t|s_t,θ_t)是在状态s_t下采取动作a_t的概率，输出为动态调整后的教学内容和方式。

43、本技术提供的技术方案不同于现有技术中的其他方案，该方法采用了深度学习和强化学习的技术，能够处理学生的多模态数据，包括文本数据、音频数据和视频数据。通过深度情感网络，能够根据预处理后数据获得学生的情感状态，使得教学过程能够考虑到学生的情绪变化，提高教学效果。该方法利用深度强化学习算法，根据学生的学习行为特征和情感状态动态调整教学内容和方式。

44、本技术提供的技术方案具有如下有益效果：

45、(1)通过利用深度学习技术处理学生的多模态数据，使得教学过程可以更全面地理解学生的学习行为和情感状态，从而提高教学效果。

46、(2)利用深度情感网络获取学生的情感状态，使得教学过程可以考虑到学生的情绪变化，从而提高教学质量和学生的学习体验。

47、(3)通过深度强化学习算法动态调整教学内容和方式，提供了一种高度自适应和个性化的教学方法，有助于提高教学效率和学生的学习效果。