一种可解释的深度知识追踪方法、系统及其应用

1.本发明属于在线教育技术领域，具体涉及一种知识追踪方法、系统及其应用。


背景技术：

2.在在线学习普及的大环境下，各大在线学习平台如雨后春笋般建立，在线教育如火如荼，学习资源的使用率和传播率空前提高。据中国互联网信息中心统计，截止到2020年底，在线教育用户达到了3.42亿人，是2016年用户人数的2倍多(中国互联网络信息中心(cnnic).第47次中国互联网络发展现状统计报告[r].2021:55
‑
57.)，尤其在今年上半年新冠疫情爆发期间，全国各地中小学都采用了在线学习的方式。然而在线学习的留存率和完成率却始终不符合预期(赵磊,邓彤,吴卓平.基于数据挖掘的mooc学习者学业成绩预测与群体特征分析[j].重庆高教研究,2021:1
‑
13.)，有研究调查了221门大规模在线开放课程(mooc)，结果发现，在mooc平台上注册的学习者的完成率在0.7％～52.1％之间，平均仅有12.6％完成了课程学习，约4/5的学习者无法及格(jordan k.massive open online course completion rates revisited:assessment,length and attrition[j].the international review of research in open and distributed learning,2015,16(3):341
‑
358.)。除此之外，在一项对2万余名本科生疫情期间的在线学习情况的调查中，研究人员发现，学习者对教学平台的满意度较低，仅有一半的学习者表示满意(王飞,王忠勇,王晓川.疫情期间在线教学效果对线上“金课”建设的启示——基于郑州大学24315名本科生的在线教学满意度调查与分析[j].中国教育信息化,2021,7:31
‑
35.)。
[0003]
究其原因，虽然目前的在线学习平台能够满足知识传递的需要，但平台更多的停留在知识被动呈现层面，教学模式仍然是传统教学模式的复刻。且比起传统教学，在线学习被诟病最多的在于不能实时获取学习者的学习状态，即不知道学习者掌握了哪些知识，没有掌握哪些知识，在什么时候应该给予学习者帮助
……
此外，在一个拥有数百万用户的在线课程中，教师无法兼顾到每一位学习者，以至于学习者无法清晰的了解自身的知识掌握水平，学习效率低下，降低了学习者对在线学习平台的好感度，最终导致线上学习的高辍学率。
[0004]
由此可见，预测学习者的知识掌握情况，从而提供个性化指导是提升在线学习质量的关键。另一方面，在大规模在线开放课程中，可以从学习者与平台的互动中获得大量的数据，这些数据可以侧面的反应学习者的学习状态，如何处理这些数据重构学习者的知识掌握情况成为了重中之重。为了解决这个问题，实时地获知学习者的学习状态和知识掌握状态，为学习者提供个性化的指导，知识追踪技术应运而生。
[0005]
当前主流的知识追踪模型除了传统的知识追踪模型外，在深度学习技术快速发展的推动下，神经网络被广泛应用于设计知识追踪模型以获得更好的预测性能，例如深度学习中循环神经网络(recurrent neural network，rnn)可用来训练时间序列的数据(schuster m,paliwal k.bidirectional recurrent neural networks[j].ieee transactions on signal processing,2002,45(11):2673
‑
2681.)。因此，将深度学习技术
应用于知识追踪领域可构建基于深度学习的知识追踪模型，也称为深度知识追踪模型(deep knowledge tracing，dkt)(piech c,spencer j,huang j.deep knowledge tracing[j].computer science,2015:1
‑
9.)。然而，这些模型面临着缺乏可解释性的问题，也阻碍了它们在教育教学中的实际应用。


技术实现要素：

[0006]
本发明的目的是针对现有传统的知识追踪模型或方法存在的问题，提出了一种可解释的深度知识追踪方法、系统及其应用，本发明基于门控循环单元(gru)构建知识追踪模型，提高模型预测性能，并通过引入分层相关性传播(lrp)算法解决模型可解释性差的问题。
[0007]
为了实现上述目的，本发明的其中一个方面提供一种可解释的深度知识追踪方法，包括：以学习者的历史答题记录为输入，通过构建的基于门控循环单元的深度知识追踪模型，预测学习者对目标题目的作答情况；利用分层相关性传播算法对输入的历史答题记录与模型的预测结果进行相关性分析，获得学习者的知识掌握情况。
[0008]
优选地，所述的基于门控循环单元的深度知识追踪模型包括重置门、更新门；所述的重置门用于根据输入的历史答题记录，对所要遗忘的答题记录进行选择；所述更新门用于确定需要记忆到到未来的答题记录。
[0009]
本发明的另一方面提供一种可解释的深度知识追踪系统，该系统包括预测模型，用于根据学习者的历史答题记录，预测学习者对目标题目的作答情况；
[0010]
解释模块，利用分层相关性传播算法对输入的历史答题记录与模型的预测结果进行相关性分析，获得学习者的知识掌握情况。
[0011]
优选地，所述的解释模块，计算输入的每一个题目的答题情况与模型预测结果之间的相关系数；根据相关系数的大小，判断输入题目与目标题目之间的关联程度。
[0012]
本发明的第三个方面提供一种所述的可解释的深度知识追踪系统的应用，该系统用于在线学习中实现对学习者的个性化学习指导。
[0013]
优选地，该系统可用于支持智能教学系统或mooc平台。
[0014]
本发明提供的可解释的深度知识追踪方法、系统及其应用，具有的有益效果在于：本发明构建的基于门控循环单元(gru)构建知识追踪模型，模拟学习者的知识遗忘行为，更加符合学习者的认知，提高知识掌握预测性能；同时，提出将分层相关性传播算法引入至所构建的模型中对模型的预测结果进行分析解释，获得学习过程中各知识点之间的关联性，从而了解学习者对各知识点的掌握情况，以便于接下来对学习者进行个性化、针对性的学习指导。
附图说明
[0015]
图1为本发明实施例中构建的模型的示意图；其中，(a)基于门控循环单元的知识追踪模型结构图，(b)为(a)的展开形式；
[0016]
图2是分层相关性传播算法示意图；
[0017]
图3为分层相关性传播算法对模型预测结果的分析解释原理示意图；
[0018]
图4为本发明实施例中lstm和gru模型的评估结果；
[0019]
图5是本发明实施例中删除实验模型准确率变化图，其中，(a)基于lstm知识追踪模型学习者作答正确的练习序列、(b)基于lstm知识追踪模型学习者作答错误的练习序列、(c)基于gru知识追踪模型学习者作答正确的练习序列和(d)基于gru知识追踪模型学习者作答错误的练习序列；
[0020]
图6为本发明实施例提供的可解释的深度知识追踪系统结构图。
具体实施方式
[0021]
为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明公开内容的理解更加透彻全面。
[0022]
实施例1本发明提供得的其中一个实施例是：一种可解释的深度知识追踪方法，该方法包括：
[0023]
1、构建基于门控循环单元的深度知识追踪模型
[0024]
本实施例基于门控循环单元(gru)构建深度知识追踪模型，以更好地模拟知识遗忘行为，提高预测性能。门控循环单元(gated recurrent unit，gru)是循环神经网络的另一种变式，其输入和输出的结构与普通的rnn相似，模型结构具体如图1(a)所示，包括重置门和更新门，其中图1(a)的展开形式如图1(b)所示，模型的算法实现过程如下：
[0025]
第一步：重置，直接作用于前面的隐藏层，决定要遗忘过去的多少信息(答题记录)，如公式(1)、(2)所示。
[0026]
r
t
＝σ(w
rh
h
t
‑1+w
rx
x
t
+b
r
)
ꢀꢀꢀ
(1)
[0027][0028]
其中，r
t
是重置门，为候选的需要记忆的答题记录，σ为sigmoid函数，tanh为激活函数，h
t
‑1为上一时刻隐藏层，x
t
为该时刻的输入(题目和相应的作答情况)，w
rh
、w
rx
、w
hh
、w
hx
和b
r
、b
h
分别为权重矩阵和偏置项。h
t
为当前隐藏层，是指根据输入的历史答题情况(包括题目和相应的作答情况)，在当前时刻记忆的答题记录。
[0029]
具体来说主要分为两部分，首先通过重置门的sigmoid层决定要遗忘哪些答题记录，接下来经过激活函数tanh，生成候选的需要记忆的答题记录，该候选的需要记忆的答题记录部分被更新到h
t
中。
[0030]
第二步：更新，如公式(3)(4)(5)所示。
[0031]
z
t
＝σ(w
zh
h
t
‑1+w
zx
x
t
+b
z
)
ꢀꢀꢀ
(3)
[0032][0033]
y
t
＝σ(w
yh
h
t
+b
y
)
ꢀꢀꢀ
(5)
[0034]
其中，z
t
为更新门，h
t
为当前隐藏层，y
t
是模型的输出。
[0035]
具体来说，更新门的sigmoid层决定要前一时间步记忆的多少答题记录传递到未来，z
t
与的乘积表示当前时间步保留到最终记忆的答题记录，该信息加上前一时间步保留至最终记忆的答题记录就是gru输出的内容，最后基于h
t
计算出y
t
，即学习者对当前题目
回答正确的概率。
[0036]
例如：学习者共做了s1、s2、s3这3道练习题，s1、s2两道练习题均作答正确，s3作答错误，将这3道练习题的作答情况输入预测模型，模型预测练习题s4作答正确的概率。
[0037]
2、采用lrp算法分析知识追踪模型的预测结果
[0038]
在基于gru的深度知识追踪模型中，从模型的输入(x
t
)开始，向前移动，经过重置门和更新门，最终输出对知识掌握情况的预测(y
t
)。而分层相关性传播(lrp)算法则从模型的输出(y
t
)开始，反向移动，直到到达模型输入(x
t
)为止，对模型的预测结果进行分析解释。如图3所示，将输出的相关性向后分配，计算出每个节点对结果的贡献，最后计算出向后分配，计算出每个节点对结果的贡献，最后计算出表示当前输入与模型预测结果的相关值，表示当前输入题目的答题情况对最终的预测结果贡献度。
[0039]
具体算法实现过程如下：
[0040][0041][0042][0043][0044]
其中，w
yh
、w
hh
、w
hx
为模型训练的权重值，b
y
、b
h
是模型训练的偏置项，h
t
为当前时刻的隐藏状态，h
t
‑1为前一个时刻的隐藏状态，y
t
为模型的输出，x
t
为模型的输入，r
t
为重置门，z
t
为更新门。
[0045]
例如：模型预测练习题s4作答正确，为了知道为什么模型会预测练习题s4做对，本发明采用lrp算法，对输入的s1、s2、s3的作答情况与s4的预测结果进行分析，分别计算出s1、s2、s3的作答情况与s4预测结果的相关系数，假如s1、s2的作答情况与预测结果的相关系数较大，表明s4与s1、s2存在强相关，由于s1、s2均作答正确，预测s4也作答正确，揭示s1、s2、s4属于同一知识点或者同一知识概念下的相关知识点；因此，s1、s2的作答情况对s4的预测结果起到较大的影响作用。
[0046]
s3的作答情况与s4预测结果的相关系数较小，说明s4与s3相关性较低，揭示s4与s3可能属于不同的知识概念。因此，s3的作答情况与s4的预测结果之间没有联系，即s3的作答情况不影响s4的预测结果。
[0047]
实施例2为了验证本发明构建的知识追踪模型的性能，本实施例进行了计算及对比实验。
[0048]
首先在训练模型前，对数据进行预处理；其次是模型的训练和测试，进行基于lstm的知识追踪模型(对比例)和基于gru的知识追踪模型(本发明)对比实验，接着对两组实验计算得到的评估系数进行统计，使用t检验求出两组评估系数有无显著性差异。最后在模型训练测试完毕后进行模型的解释，导入上一步保存的模型中的权重值和偏置项，计算出输入所对应的相关系数。
[0049]
模型代码依托于python语言实现，实验过程中使用的外置包及其版本如下：python 3.7.9，tensorflow 2.0.0，keras 2.3.1。实验机器的处理器为intel(r)core(tm)i7
‑
8700t 2.40ghz ram＝8gb
[0050]
1、数据集
[0051]
目前，用于训练知识追踪模型的公开的数据集有kdd cup、simylated
‑
5、assistments等，详细信息见表1。相较而言，assistments公开数据集是较权威的并可公开获得的知识追踪数据集。assistments2009数据集收集于assistments在线辅导平台，包含了50多万条小学数学习题提交的数据；与assistments2009相比，assistments2015的学习者数量和答题数量更多，但每个学习者平均作答的问题数量较少。通过综合比较上述数据集的学习者、知识点和答题数量，本发明最终选取了assistments2009数据集模型。
[0052]
表1已有的公开数据集描述
[0053][0054]
2、参数配置
[0055]
在这一部分中，本发明设置了深度知识追踪模型的程序中所需要的参数设置，主要涉及到七个参数，参数及具体设置见表2。
[0056]
(1)设置批处理数据大小：将训练的数据分批次输入，每次都用一个批处理数据大小(batch size＝20)的数据进行训练，这样可以加快模型的训练速度；
[0057]
(2)设置判断正确的范围：预测结果在0
‑
1之间，其中0.6
‑
1判断为答题正确，0
‑
0.6判断为答题错误；
[0058]
(3)设置隐藏节点的个数：如果设置的隐藏节点过少，则无法很好的学习输入的信息，如果隐藏节点个数过多，则会使网络结构过于复杂，程序中设置的隐藏节点的个数为200；
[0059]
(4)设置损失函数，损失函数调用了keras库中的交叉熵损失函数(binary cross entropy)，该损失函数适用于二分类的数据；
[0060]
(5)设置激活函数：激活函数可以使线性的神经网络非线性化，实现对数据更好的学习，程序中使用了sigmod函数和tanh函数作为激活函数；
[0061]
(6)设置丢弃概率(dropout)：为了防止模型的过拟合，需要在深度网络的训练过程中按照随机的概率将部分神经单元暂时丢弃，程序中设置的随机丢弃的概率为0.5；
[0062]
(7)设置训练次数(epoch)：程序中设置训练的次数为50次，当训练过程中的迭代次数超过50之后，模型就会停止训练。通过设置训练次数，可以控制训练时间进而避免无用的训练。
[0063]
表2参数设置
[0064][0065]
3、结果分析
[0066]
(1)模型预测评估
[0067]
模型的评估指标包括：准确率(accuracy)：表示的是所有的样本中被正确预测样本的比例；混淆矩阵(confusion matrix)：能够比较全面的分析分类模型的好坏；由混淆矩阵又衍生出几种指标，精准率(precision)：表示在预测为正的样本中，实际为正的样本所占的比例；召回率(recall)：实际为正的样本中被正确预测的比例；f1分数(f1score)则综合考虑了精准率和召回率，是最广泛的模型评估指标。准确率、精确率、召回率和f1分数都是处于0
‑
1之间的，且得分越高，说明模型越好。
[0068]
单一的评估往往不能说明模型的好坏，故本发明中采用了准确率、精确率、召回率和f1分数混合评估的方法。图4为lstm和gru模型的评估结果，实线为基于lstm的深度知识追踪模型的评估系数，虚线为基于gru的深度知识追踪模型的评估系数，从图4中可看出，两类深度学习模型在50次训练中都保持了较高的性能，其中，基于gru的知识追踪模型的准确率、精确率和f1分数的得分大部分都高于基于lstm模型的得分，而召回率二者则不相上下。
[0069]
为了求证在图4中观察到的评估系数在两类模型中是否有显著性的差异，进一步进行t检验，检验结果如表3所示。由t检验可得，基于gru的深度知识追踪模型的准确率显著的高于基于lstm的深度知识追踪模型，t＝
‑
6.48，p<0.01；基于gru的深度知识追踪模型的精确率显著的高于基于lstm的深度知识追踪模型，t＝
‑
9.38，p<0.01；基于gru的深度知识追踪模型的f1分数显著的高于基于lstm的深度知识追踪模型，t＝
‑
2.49，p＝0.01；基于gru的深度知识追踪模型和基于lstm的深度知识追踪模型在召回率(t＝0.69，p＝0.49)和实验时间(t＝
‑
0.24，p＝0.81)上没有显著的差异。
[0070]
表3模型评估系数的描述性统计和t检验
[0071][0072]
(2)模型解释评估
[0073]
在对模型的可解释性评估中，本发明先随机抽取了一位学习者的做题记录作为个案，来具体说明模型的解释结果。如表4所示，该学习者共做了8个题目，涉及到三个知识概念：加法、矩形和减法，表4详细的列出了前7个题目的知识概念和答题情况，实际数据中第8
个题目为减法，且学习者回答正确。基于lstm的知识追踪模型和基于gru的知识追踪模型预测的第8个题目回答正确的概率分别为0.80和0.72，和实际作答情况一致。
[0074]
本发明采用lrp算法对基于lstm的知识追踪模型和基于gru的知识追踪模型的预测结果进行解释分析，计算得到的相关系数结果如表4最后两行所示，在“lstm模型相关系数”这一行中可见，和输出结果相关系数最高的为第6、7题，也就是说，lrp算法认为这两个做题记录对于“预测下一题(减法题)是否做对”很重要。其次，lrp算法认为加法运算的做题记录，即第1、2题对预测亦举足轻重(r1＝0.18，r2＝0.21)，而矩形这一知识概念和“预测下一题(减法题)是否做对”的相关关系非常弱(r3＝0.08，r4＝0.01)。这与本领域技术人员实际的认知一致，即加法运算和减法运算都属于算数领域的，关系密切，矩形属于几何领域，与减法关系疏远。在gru模型中，同样能观察到上述规律，明了lrp算法解释深度知识追踪模型是可行的。
[0075]
从该个案中，本发明得到了一个有实际意义的解释结果，即同一知识概念下相同或相关知识点之间存在的相关性能够影响同类题目的作答情况预测结果。通过该解释结果，可以了解学习者对相关知识概念的掌握情况，为下一步对学习者进行个性化学习指导打下基础。
[0076]
表4 lrp算法解释模型个案
[0077][0078]
实施例3为了定量、全面的验证lrp算法的解释效果，本发明进一步提供了删除实验。具体来说，为保证删除后序列剩余的个数不会太少，本实施例选取了长度为15的练习序列，将前14个问题作为深度知识追踪模型的输入，最后一个问题验证模型预测是否正确。结果表明，lstm模型在58179条序列中正确预测了40546条，gru模型在57532条序列中正确预测了40578条。
[0079]
接着，本发明根据学习者的答题情况将模型正确预测的练习序列分为两类，一类为学习者作答正确，另一类为学习者作答错误。分别对两类数据采用lrp算法，计算相关系数。每一类又分为a、b两组，a组按照相关性绝对值递减的顺序删除做题记录，b组随机删除与a组数量相同的做题记录。模型准确率变化如图5所示，横坐标为删除做题记录的个数，纵坐标为模型预测的准确率，图5表示分别为：(a)基于lstm知识追踪模型学习者作答正确的练习序列、(b)基于lstm知识追踪模型学习者作答错误的练习序列、(c)基于gru知识追踪模型学习者作答正确的练习序列和(d)基于gru知识追踪模型学习者作答错误的练习序列。以图5中(a)图为例，使用lstm模型学习者作答正确的练习序列，a组按照相关性绝对值递减的顺序删除做题记录后，深度知识追踪模型的性能显著降低，由1降到了0.67。而b组随机删除做题记录后，模型的性能没有大幅度的改变，由1降到了0.92。这直观的说明了lrp算法能够正确的算出对预测结果重要的输入。
[0080]
通过上述删除实验，进一步验证了lrp算法可以有效地解释模型，对输入的知识点之间的内在联系进行科学的分析和解释，从而获得学习者对相关知识概念的掌握情况，为
个性化指导学习者的学习提供理论支持和依据。
[0081]
实施例4本发明提供一种可解释的深度知识追踪系统，如图6所示，该系统包括预测模型，用于根据学习者的历史答题情况，预测学习者对目标题目的作答情况；
[0082]
解释模块，利用分层相关性传播算法对输入的历史答题情况与模型的预测结果进行相关性分析，获得学习者的知识掌握情况。
[0083]
其中，解释模块计算输入的每一个题目的答题情况与预测题目的答题情况预测结果之间的相关系数；相关系数较大的，表明题目之间具有较强关联性，属于同一知识点或相关知识点。存在强相关性的题目的历史作答情况对同类预测题目的作答情况预测结果具有较大影响。
[0084]
实施例5本发明提供的可解释的深度知识追踪系统，可以用于支持智能教学系统和mooc平台，实现根据学习者的历史做题记录，对学习者与平台的交互记录(作答正确与否、作答时间)进行建模，刻画学习者在各个时间节点的知识掌握情况，进而预测学习者在下一时间点的表现，从而了解学习者对相关知识概念的掌握情况，实现平台对学习者的个性化学习指导。