一种基于项目反应原理与GRU-Attention的知识追踪方法

本发明涉及一种基于项目反应原理与gru-attention的知识追踪方法，属于深度学习和自然语言处理。

背景技术：

1、随着大规模在线教育系统的使用，大量的学习交互数据也随之涌现。知识追踪(knowledge tracing, kt)在教育领域已经得到广泛应用，kt的任务旨在通过学生与教育平台的交互行为进行序列建模，以预测学生对知识点的掌握程度。kt是构建自适应教育系统的核心，为精准推送、学习路径规划等提供基础。

2、近年来，知识追踪研究领域受到众多学者的青睐。知识追踪主要分为传统的知识追踪与深度知识追踪，贝叶斯知识追踪和可加性因子分析模型是较经典的传统知识追踪。在深度学习技术的影响下，于1995年研究者将循环神经网络用于知识追踪序列建模，深度知识追踪(deep knowledge tracing, dkt)得以问世。现有的研究主要在dkt的基础上进行优化，譬如，动态键值记忆网络知识追踪是受记忆增强网络的启发，采用键-值矩阵来存储概念信息和更新知识状态；深度项目反应原理知识追踪则是根据动态键值记忆网络知识追踪的原理引入项目反应原理以预测学生回答的正确性，能够提高模型的性能与可解释性。然而，由于dkt任务的艰巨性以及神经网络“黑箱”的不透明性，当前的深度知识追踪方法在解决模型长期依赖关系与可解释性方面仍然有很大的提升空间。

技术实现思路

1、本发明要解决的技术问题是提供一种基于项目反应原理与gru-attention的知识追踪方法，以解决目前基于深度学习方法的在长期依赖关系与可解释性方面的缺陷问题，既提高了模型的预测性能，又增强了模型的可解释性，进一步为教育领域中自适应教育系统的精准推送、学习路径规划做铺垫。

2、本发明通过gru提取深层次信息特征，以获取长期依赖关系，并利用注意力机制对特征信息进行权重分配，以增强模型对重要信息的关注程度；随后，将特征信息传输给神经网络，以推断出项目难度水平和学生的能力特征；进一步将项目难度与学生的能力特征用于项目反应原理来预测答案的正确性，以增强模型的可解释性。

3、本发明的技术方案是：一种基于项目反应原理与gru-attention的知识追踪方法，，所述方法包括：

4、step1：对公开数据集进行预处理，将预处理后的数据集划分为训练样本和测试样本，获取模型训练所需的数据。

5、step2：将预处理好的数据输入模型训练，利用gru对信息读与写模块中同时包含学生对练习掌握水平与习题难度水平的概念总结向量进行特征提取，捕捉长期依赖关系，gru能够有效地建模并利用数据中的上下文信息，以提高模型对长序列数据的理解和表征能力。通过attention机制对提取到的特征信息进行权重分配，以增强模型对重要信息的关注程度，有助于模型更好地处理输入数据，进一步计算出知识概念特征向量，从而提高模型的性能和准确性。

6、step3：将连续嵌入向量与知识概念特征向量传递给神经网络，推断出项目难度与学生的能力特征，并通过项目反应原理来预测答案的正确性，以增强模型的可解释性。

7、所述step1具体包括：

8、step1.1：从公开数据集中提取相关信息，包括问题、知识点和答案，对相关信息进行预处理，再利用独热编码方式将其转换成特定的向量，便于模型处理，以此生成相应的特征向量。

9、step1.2：将预处理后的数据作为知识追踪模型的输入，用于模型的训练阶段、验证阶段和测试阶段，以确定最佳超参数和评估模型的性能，进而提高模型的有效性。

10、所述利用独热编码方式将其转换成特定的向量具体包括：

11、首先，将经过独热编码方式处理后的练习标签向量乘以大小为的嵌入矩阵a，其中是练习标签向量的集合，表示维度，得到维度为的连续嵌入向量；

12、然后，使用连续嵌入向量与每个键记忆矩阵进行内积操作，并通过softmax激活函数计算出相关权重系数，权重系数和值矩阵中所有内存槽进行加权求和，以获得内容向量，内容向量即学生对概念信息的掌握程度；

13、最后，将读到的内容向量与连续嵌入向量进行连接，并传递到具有tanh激活函数的全连接层，得到包含学生对练习的掌握水平和练习先前难度的概念总结向量。

14、所述将预处理后的数据作为知识追踪模型的输入具体包括：

15、首先，将练习标签向量作为内容读取过程的输入；

16、然后，将练习标签向量与内容向量进行拼接，将拼接后的信息作为写入内容过程的输入，获得模型训练的初始化信息；

17、所述将拼接后的信息作为写入内容过程的输入包括：

18、将练习-响应经过维度为的嵌入矩阵b，以得出学生在t时刻完成练习的知识增长向量；

19、把知识增长向量传输给神经网络层，并通过sigmoid激活函数得到擦除信号向量，所述知识增长向量通过一个含有tanh激活函数的线性层以计算出添加信号向量。

20、所述采用gru神经网络对信息读与写模块中同时包含学生对练习的掌握水平和习题难度水平的概念总结向量进行特征提取具体包括：

21、首先，将概念总结向量输入到gru模型中，经过gru模型计算以获取到隐层状态信息；

22、其次，计算gru模型中的更新门、重置门、候选隐藏状态信息以及最终隐层状态信息；

23、然后，引入注意力机制，通过一个tanh激活函数线性层网络来处理当前时刻的隐层状态信息，再经过softmax激活函数以获得所决定的概率分布值；

24、最后，通过注意力机制对每个隐藏状态信息进行加权求和后得到最终的特征表示，所述可以被视为包含概念信息的知识概念特征向量，以实现对于知识追踪任务的准确表征；

25、所述step3具体步骤为：

26、step3.1：将连续嵌入向量通过含有tanh激活函数（目的是将结果映射到-1和1之间）的神经网络得出项目难度；同样，将知识概念特征向量输入到一个具有tanh激活函数的神经网络线性层以得到学生能力特征；

27、step3.2：为了增强模型的可解释性，结合项目反应原理，将所述项目难度与学生的能力特征传递给项目反应函数，并通过一个sigmoid函数来计算出学生正确回答问题的概率，评估学生对项目的反应，基于模型的输出结果，以预测学生对项目答案的正确性。其中，sigmoid函数用来将概率值映射到0和1之间，该函数通常用于建模二元分类问题，0表示回答错误，1表示回答正确。

28、本发明的有益效果是：

29、1、本发明提出一种基于项目反应原理与gru-attention的知识追踪方法，通过结合两者优势，有效弥补了当前基于深度学习方法的知识追踪模型在长期依赖关系与可解释性方面的局限性，并获得更优的预测性能。

30、2、本发明旨在通过学生与教育平台的历史交互行为进行序列建模，追踪学生的知识掌握程度与学习进展，从而为教师向学习者给予个性化指导提供参考。此外，根据知识追踪模型的预测结果，可以为教育领域中自适应教育系统的精准推送、学习路径规划提供数据支持和参考，进一步促进各类学习平台在教育领域的应用与推广。

31、本发明能够提高知识追踪模型的预测性能与可解释性，通过实验结果表明，该方法在公开数据集上与经典的知识追踪模型性比较，取得了较优异的性能表现。