一种面向学习轨迹的细粒度知识追踪方法

1.本发明涉及教育大数据挖掘、知识追踪领域，具体涉及一种面向学习轨迹的细粒度知识追踪方法。


背景技术：

2.人工智能技术的发展有助于个性化、精准化的教学模式的开展。知识追踪可以通过对学习者作答试题的轨迹和结果建模，分析学习者在学习过程中知识状态的变化，预测学习者在未来时刻作答试题的表现。
3.当前的深度知识追踪模型按照使用的模型大致可分为3类：基于长短期记忆网络的知识追踪，基于注意力网络的知识追踪，基于自定义神经网络的知识追踪。
4.基于长短期记忆网络的知识追踪方法中最先进的是学习过程一致性知识追踪(lpkt)。lpkt将学习者的学习过程分解为学习增益和遗忘衰减，用长短期记忆网络模拟了学习者学习过程中知识状态的变化。但是lpkt受限于lsmt模型的线性特征，无法捕捉长时间距离上的依赖，模型训练速度慢且低效。
5.基于注意力网络的知识追踪方法中最先进的是上下文感知的知识追踪(akt)。akt通过单调注意力网络获取学习者未来表现与过去的反应之间的联系。但是akt使用的是作答序列的索引距离，这是等间距的，而现实生活中学习者作答试题的间隔时间往往并不相等。除此之外，akt并没有对学习者的学习轨迹进行建模，因此并不能很好的模拟学习过程中知识状态的复杂变化。
6.基于自定义神经网络的知识追踪方法中较为典型的是动态键值记忆网络(dkvmn)。dkvmn使用一个额外的记忆网络来存储学习者作答过程中的知识状态，具有较好的解释性。但是dkvmn这类模型往往只针对作答过程中的一个现象或规律进行建模，其通用性较差，并且受限于其自定义的计算规则，时间复杂度和空间复杂度都较高，可拓展性较差。
7.除此之外，在现实生活中，一道试题往往涉及多个知识点，而现有的知识追踪领域的先进模型往往都忽略或者简化处理了这一点，既割裂了试题与试题之间的联系，也简化了知识状态。
8.在预测目标上，当前的知识追踪模型目标都是仅预测学习者在未来时刻是否可以答对试题，但是现实世界中，相同的反应结果并不能意味着相同的知识状态和能力水平。一方面，试题对知识点的考核难度和对作答者的要求是不尽相同的；另一方面，学习者作答试题的反应结果除了作对和作对两个状态，还包含了反应时间，即作答试题花费的时间。现有的研究只关注到了粗粒度的反应结果，这并不能有效的探究学习者在作答过程中知识状态的细粒度的变化。
9.因此，研究一种通用可拓展的、面向学习轨迹的、融合多个认知因素的细粒度知识追踪模型，对探索作答过程中学习者的知识状态和能力水平的变化，具有重要的研究意义和应用价值。


技术实现要素：

10.本发明针对当前知识追踪领域的不足，提出了一种面向学习轨迹的细粒度知识追踪方法，综合利用多头自注意力网络、多任务预测、时间序列建模等技术方法，对学习者的学习轨迹进行更科学、更直观的建模，全面、深入地追踪学习者的知识状态和预测学习者的未来表现，辅助精准教学和个性化学习的开展。
11.发明的目的是通过如下技术措施来实现的。
12.一种面向学习轨迹的细粒度知识追踪方法，包括以下步骤：
13.(1)构建面向学习轨迹的细粒度知识追踪框架；对学习者的学习轨迹进行建模，并通过编码器、解码器、预测器构建通用的、可拓展的知识追踪框架；
14.(2)通过学习轨迹中的历史交互获得学习者的历史潜在知识状态；对历史交互进行嵌入表示，并通过单向编码器获取对应时间单元上的潜在知识状态；
15.(3)通过学习轨迹中的当前交互获得学习者的当前潜在能力表示；使用单向解码器通过历史潜在知识状态和当前的作答交互，获取当前的潜在知识状态，并通过时间序列特征模拟认知规律，进而获取潜在能力表示；
16.(4)当前反应状态的细粒度预测；通过对多种反应特征的多任务预测实现细粒度知识追踪。
17.在上述技术方案中，步骤(1)所述构建面向学习轨迹的细粒度知识追踪框架包括：
18.(1-1)对学习轨迹中学习者的作答特征建模
19.学习者的作答过程由试题、学习者和时间组成，将学习者在t时刻的作答抽象为交互三元组(e
t
,r
t
,t
t
)，其中e
t
是作答的试题信息，包括但不限于试题的索引信息、试题涉及到的知识点等，r
t
是作答的反应信息，包括但不限于反应的结果、反应的时间等，t
t
是作答的时刻信息，学习者的每次作答交互都可以视作为一个时间单元，而若干个时间单元则通过时间轴的串联形成了时间序列，形成了学习者的学习轨迹；
20.学习轨迹中学习者的作答特征由两大类组成，即时间单元特征和时间序列特征。时间单元特征是每个时间单元内部的特征，包括作答的试题信息e
t
和反应信息r
t
，时间序列特征则需要遍历多个时间单元才能获取，包括学习轨迹的时刻信息，作答过程产生的行为信息；
21.(1-2)对学习轨迹建模
22.根据步骤(1-1)对学习轨迹中学习者的作答特征建模，进一步对学习轨迹进行建模，提出面向学习轨迹的知识追踪模型框架；
23.将知识追踪模型的框架分解成三个步骤，即，先获取学习轨迹中的时间单元的潜在知识状态，再通过学习轨迹中当前的作答试题和对应的时序特征获取当前的潜在能力表示，最终预测出学习者在当前试题上的反应；其中，历史的潜在知识状态是由历史时间单元通过单元内编码器获得的，单元内解码器则将历史知识状态与当前考核的试题进行虚拟的交互，对当前的知识状态进行表示，同时，将知识状态进一步转化为潜在能力表示，反应预测器负责预测得到相关的反应状态信息。
24.在上述技术方案中，步骤(2)中所述通过学习轨迹中的历史交互获得学习者的历史潜在知识状态包括：
25.(2-1)历史时间单元的特征及嵌入表示
26.假设待预测的为t
t+1
时刻作答试题q
t+1
的反应结果，那么t
t
时刻的时间单元中的试题信息包括作答的试题q
t
，试题涉及到的知识点集合k
t
，反应信息包括反应结果r
t
，和作答的反应速度s
t
，其中一道试题可以包含多个知识点，因此知识点集合k
t
为{k
t,1
,k
t,2
,...,k
t,m
}，反应速度s
t
由反应时间rti与对应的基础时间rti/bti的比值映射到某一反应速度类别中，即s
t
＝fs(rt
t
/bt
t
)，其中基础反应时间bti为专家建议的作答时间或者所有学习者的平均作答时间，fs是映射的方法，这里的映射方法是多样的，按照合理的规则将比值映射成速度的类别即可，例如可以采用十等份方法，即将反应速度分成十个等级，每个等级包含的数量是相等的，甚至将反应时间直接视作反应速度也是允许的；
27.将历史交互的时间单元的信息，即{t1,t2,,...,t
t
}对应的试题、知识点、反应结果和反应时间，通过随机embedding进行嵌入表示，分别映射成高维向量，如果试题涉及到了多个知识点，则先分别将每个知识点映射成向量，再通过平均池化将知识点矩阵转化为知识点向量，最后，将这四个向量，即试题向量、知识点向量、反应结果向量和反应时间向量，进行向量加法运算得到对应时间单元的向量表示，用表示这一步骤的输出结果，其中dk是随机embedding的维度；
28.(2-2)历史时间单元的潜在知识状态编码
29.将步骤(2-1)得到的时间单元的向量表示经过带掩码的多头自注意力网络进行编码，得到对应的历史时间单元的潜在知识状态；
30.时间单元编码器由三部分组成：带掩码的多头自注意力网络，残差网络和前馈网络；带掩码的多头自注意力网络使用掩码遮蔽下文，使得每个时间单元的编码只能依靠前序时刻的时间单元，注意力计算的核心公式如下：
[0031][0032][0033]
其中q,k,v都来源于inpute，是一个上三角矩阵；
[0034]
将时间单元的向量表示经过带掩码的多头自注意网络后，再通过残差网络和层标准化，确保知识状态在编码过程中始终不会出现大的偏差，随后再通过前馈网络的线性变换得到每个时间单元的知识状态向量，最后再通过残差网络和层标准化，进一步提高模型的编码能力。
[0035]
在上述技术方案中，步骤(3)中所述通过学习轨迹中的当前交互获得学习者的当前潜在能力表示包括：
[0036]
(3-1)当前交互的嵌入表示及编码
[0037]
通过随机embedding将{t1,t2,,...,t
t
,t
t+1
}对应的试题、知识点映射成高维向量，并通过求和的方式获取对应时间单元的向量表示，将{t1,t2,,...,t
t
,t
t+1
}的时间单元表示通过带掩码的多头自注意力网络后，再通过残差网络和层标准化，编码得到当前时间单元的向量表示；
[0038]
本步骤中的嵌入表示及编码得到的向量表示都是不蕴含反应信息的，仅包含试题
信息；
[0039]
(3-2)基于时间注意力的当前潜在知识状态解码
[0040]
通过当前时间单元与历史时间单元之间的相关度，解码获得当前时间单元上的知识状态；
[0041]
首先，通过时间距离获取时间单元之间在时间维度上的相关度，权重的计算公式如下所示：
[0042][0043]
其中a1、b1、c1是可训练的参数，代表t
t+1
时刻的时间单元与历史时间单元之间的时间距离相关度，权重值越大代表两个时间单元在时间维度上的相关度越高；
[0044]
然后，使用带掩码的键值注意力网络，将t
t+1
时刻时间单元的向量表示视作query，将历史时间单元的向量表示视作key，将历史时间单元的潜在知识状态视作value，通过点积运算和向量乘法，实现时间注意力网络，注意力计算的核心公式如下所示：
[0045][0046][0047]
其中为历史时间单元中与当前时间单元相关度更高的分配更多的权重，从而解码得到t
t+1
时刻在试题q
t+1
上的潜在知识状态
[0048]
(3-3)考虑时序特征的当前潜在能力表示
[0049]
通过历史作答序列引出的行为特征，即相同知识间隔时间l
t+1
、知识重复次数p
t+1
来对潜在知识状态h
t+1
进行修正，获得潜在能力表示；
[0050]
练习熟练度公式如下所示：
[0051][0052]
其中a2、a3、b2、b3都是可训练的参数，p
t+1
∈(0,1)指的是t
t+1
时刻的试题知识点的练习熟练度，p
t+1
越大，则学习者对于知识点的熟练度越高。使用练习熟练度对潜在知识状态进行修正，计算的方法如下：
[0053]ct+1
＝h
t+1
+p
t+1
×ht+1
×
a4[0054]
其中a4是可训练的参数，
[0055]
在上述技术方案中，步骤(4)中所述当前反应状态的细粒度预测包括：
[0056]
(4-1)反应速度的预测
[0057]
将潜在能力向量通过反应速度的神经网络预测器中，预测学习者t
t+1
时刻在试题q
t+1
上的反应速度类别，反应速度预测器由全连接层和激活函数组成，其计算过程如下：
[0058]s′
t+1
＝softmax(max(0,c
t+1
×ws1
+b
s1
)w
s2
+b
s2
)
[0059]
其中都是可训练的
参数，是预测出的t
t+1
时刻的反应速度类别的概率矩阵，ds是反应速度的类别个数；
[0060]
(4-2)反应结果的预测
[0061]
将潜在能力向量与经过反应速度预测器后的速度向量进行拼接后，再通过反应结果预测器，预测t
t+1
时刻答对试题q
t+1
的概率；拼接的方法如下：
[0062]rt+1
＝concat(s
′
t+1
×wr1
+b
r1
,c
t+1
)
[0063]
其中是可训练的参数，是用作预测反应结果的隐藏向量；反应结果预测器的计算过程如下：
[0064]r′
t+1
＝σ(max(0,r
t+1
×wr2
+b
r2
)w
r3
+b
r3
)
[0065]
其中都是可训练的参数，r
′
t+1
∈(0,1)是t
t+1
时刻的答对试题的概率；
[0066]
(4-3)损失函数的融合
[0067]
通过加权求和的方式将反应速度的损失函数与反应结果的损失函数进行融合；反应速度的损失函数计算方法如下：
[0068][0069][0070]
其中i(s
t
)指的是反应速度s
t
是否属于对应的速度类别；
[0071]
反应结果的损失函数计算方法如下：
[0072][0073]
通过超参数的方式来调节反应结果和反应速度的重要性，平衡多任务对于模型的影响程度；细粒度的反应状态预测总损失的计算方法如下：
[0074]
l＝klr+(1-k)*ls[0075]
其中，k∈[0,1]，k是设置好的常数，用来调节两个损失函数的混合比例。
[0076]
在上述技术方案中，步骤(4)中通过对多种特征的多任务预测实现细粒度知识追踪，其中多种特征的多任务预测指的是预测反应状态的多种特征，包括但不限于反应速度和反应结果组成的双任务预测，还可以与反应时间等其他反应特征进行组合。
[0077]
本发明面向学习轨迹的细粒度知识追踪方法，将学习轨迹中学习者的作答特征按照时间轴分为时间单元特征和时间序列特征；通过时间单元编码器和时间单元解码器，并结合认知过程中的学习遗忘规律，获取学习者的潜在能力向量；最后通过反应速度预测器和反应结果预测器完成细粒度的知识追踪，实现对不同学习者群体的知识追踪。本发明能够通过学习者的历史答题记录探究，追踪知识状态的变化，预测未来的学习情况，帮助教师更高效的开展个性化、精准化教学。
[0078]
本发明与现有技术相比，具有如下显而易见的突出实质性特点和显著的技术进步：
[0079]
1.本发明提出了一套面向学习轨迹的建模方法。将学习轨迹中学习者的作答特征
按照在时间轴上的位置分为时间单元特征(单元内)和时间序列特征(单元间)，并根据学习轨迹构建了知识追踪模型。相较于其他的建模方法，本方法具有极高的拓展性和通用性，弥补了当前领域在这方面的不足。
[0080]
2.本发明首次提出了细粒度的知识追踪方法，相较于其他的知识追踪方法，本方法认为单纯的反应结果不足以刻画知识状态，将反应速度的预测首次引入到知识追踪中。并且，本方法具有较高的通用性，可以有效提高大部分知识追踪模型的表现效果。
[0081]
3.本发明允许一道试题关联多个知识点；通过时间注意力机制模拟了学习遗忘规律，从知识和时间两个维度上计算时间单元之间的相关性，允许连续的、间距不等的时间距离；通过练习熟练度趋势模拟了学习轨迹的历史序列数据造成的影响，这些都更加贴合现实世界，符合学习轨迹中认知变化的规律，实现了更加准确的预测精度。
附图说明
[0082]
图1为本发明中构建的面向学习轨迹的细粒度知识追踪框架图。
[0083]
图2为本发明中时间单元特征和时间序列特征的实例图。
[0084]
图3为本发明中面向学习轨迹的细粒度知识追踪方法的详情图。
具体实施方式
[0085]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0086]
本发明实施例提供一种面向学习轨迹的细粒度知识追踪方法，包括以下步骤：
[0087]
(1)构建面向学习轨迹的细粒度知识追踪框架
[0088]
本发明的目的是通过学习者作答试题的历史记录，追踪学习轨迹中潜在知识状态和能力的变化，预测学习者在未来作答试题上的表现。
[0089]
本发明将学习轨迹中学习者的作答特征按照时间轴分成了两大类，即时间单元特征和时间序列特征，据此提出了具有通用性和拓展性的模型框架，学习者作答过程中的特征和认知因素都可以以模块化的方式嵌入到框架中。
[0090]
构建面向学习轨迹的细粒度知识追踪框架的过程包括：对学习轨迹中学习者的作答特征建模，对学习轨迹建模。
[0091]
(1-1)对学习轨迹中学习者的作答特征建模
[0092]
学习者的作答过程主要由试题、学习者和时间组成，其中，试题是作答的客体，是静态的，不会因人而异。学习者是作答的主体，不同学习者之间的异同往往体现在作答试题产生的反应上。时间是客观的，是学习者作答的时刻信息。
[0093]
如图1所示，将学习者在t时刻的作答抽象为交互三元组(e
t
,r
t
,t
t
)，其中e
t
是作答的试题信息，r
t
是作答的反应信息，t
t
是作答的时刻信息。学习者的每次作答交互都可以视作为一个时间单元，而若干个时间单元则通过时间轴的串联形成了时间序列，形成了学习者的学习轨迹。
[0094]
因此，学习轨迹中学习者的作答特征由两大类组成，即时间单元特征和时间序列特征。时间单元特征是每个时间单元内部的特征，主要包括作答的试题信息e
t
和反应信息r
t
。时间序列特征则是需要遍历多个时间单元才能获取的、才有意义的信息，例如学习轨迹
的时刻信息，作答过程产生的行为信息。
[0095]
(1-2)对学习轨迹建模
[0096]
根据上一步骤对作答特征的建模，进一步对学习轨迹进行建模，提出了具有通用性和拓展性的面向学习轨迹的知识追踪模型框架。
[0097]
如图1所示，将面向学习轨迹的细粒度知识追踪框架分解成三个步骤，即，先获取学习轨迹中历史交互的时间单元的潜在知识状态，再通过学习轨迹中当前的作答试题和对应的时序特征获取当前的潜在能力表示，最终预测出学习者在当前试题上的反应。其中，历史的潜在知识状态是由历史时间单元通过单元内编码器获得的。单元内解码器则将历史知识状态与当前考核的试题进行了虚拟的交互，对当前的知识状态进行了表示，同时，进一步的考虑时序特征对认知带来的影响，将知识状态进一步转化为潜在能力表示。反应预测器负责预测得到相关的反应状态信息。
[0098]
本框架具有较高的通用性和拓展性。一方面，当前大部分的知识追踪模型都符合本框架的构造，但是大多侧重于编码器的设计，对于解码器和预测器的设计比较片面，本发明极大弥补了当前领域在这方面的不足。另一方面，学习轨迹中学习者的作答特征几乎都可以被分解为时间单元内和时间单元间，而框架则设计好了这两大类特征在模型中的使用位置，这意味着，未来更多的新特征和新认知因素都可以以模块化的方式嵌入到本发明当中，在本发明的基础上进行拓展迭代。
[0099]
(2)通过学习轨迹中的历史交互获得学习者的历史潜在知识状态
[0100]
在历史交互的时间单元中，学习者作答试题产生了反应。因此，历史的时间单元包括试题信息和反应信息。假设待预测的是t
t+1
时刻作答试题q
t+1
的反应结果，那么本步骤的目标就是使用单元内编码器对{t1,t2,,...,t
t
}时刻的时间单元进行编码，获取学习者在历史交互的时间单元内的潜在知识状态。
[0101]
获取历史交互的潜在知识状态的计算过程包括：历史时间单元的特征及嵌入表示，和历史时间单元的潜在知识状态编码。
[0102]
(2-1)历史时间单元的特征及嵌入表示
[0103]
假设待预测的为t
t+1
时刻作答试题q
t+1
的反应结果，那么t
t
时刻的时间单元中的试题信息包括作答的试题q
t
，试题涉及到的知识点集合k
t
，反应信息包括反应结果r
t
，和作答的反应速度s
t
。其中一道试题往往可以包含多个知识点，因此知识点集合k
t
为{k
t,1
,k
t,2
,...,k
t,m
}。因为试题不同，其反应时间可以相差悬殊，因此使用反应速度代替反应时间，消除试题带来的影响。反应速度s
t
由反应时间rti与对应的基础时间rti/bti的比值映射到某一反应速度类别中，即s
t
＝fs(rt
t
/bt
t
)，其中基础反应时间bti为专家建议的作答时间或者所有学习者的平均作答时间，fs是映射的方法，这里的映射方法是多样的，按照合理的规则将比值映射成速度的类别即可。例如可以采用十等份方法，即将反应速度分成十个等级，每个等级包含的数量是相等的，甚至将反应时间直接视作反应速度也是允许的。图2给出了一个具体的示例，时间轴上方为时间单元内的特征。
[0104]
如图3所示，将历史交互的时间单元的信息，即{t1,t2,,...,t
t
}对应的试题、知识点、反应结果和反应时间，通过随机embedding进行嵌入表示，分别映射成高维向量。特殊的，如果试题涉及到了多个知识点，则先分别将每个知识点映射成向量，再通过平均池化将知识点矩阵转化为知识点向量。最后，将这四个向量，即试题向量、知识点向量、反应结果向
量和反应时间向量，进行向量加法运算得到对应时间单元的向量表示，用表示这一步骤的输出结果，其中dk是随机embedding的维度。
[0105]
(2-2)历史时间单元的潜在知识状态编码
[0106]
将上一步得到的时间单元的向量表示经过带掩码的多头自注意力网络进行编码，从而得到对应的历史时间单元的潜在知识状态。
[0107]
时间单元编码器由三部分组成：带掩码的多头自注意力网络，残差网络和前馈网络。带掩码的多头自注意力网络使用掩码遮蔽下文，使得每个时间单元的编码只能依靠前序时刻的时间单元。注意力计算的核心公式如下：
[0108][0109][0110]
其中q,k,v都来源于inpute，是一个上三角矩阵。
[0111]
将时间单元的向量表示经过带掩码的多头自注意网络后，再通过残差网络和层标准化，这样可以确保知识状态在编码过程中始终不会出现大的偏差，随后再通过前馈网络的线性变换得到每个时间单元的知识状态向量，最后再通过残差网络和层标准化，进一步提高模型的编码能力。
[0112]
(3)通过学习轨迹中的当前交互获得学习者的当前潜在能力表示
[0113]
上一步骤获得了历史(即{t1,t2,,...,t
t
})交互的时间单元中的潜在知识状态，本步骤通过历史的作答情况和学习轨迹中的当前交互，解码获得当前(即t
t+1
)时间单元作答试题q
t+1
的潜在知识状态，进而通过考虑时序特征获得潜在能力表示。
[0114]
与步骤(2)只使用时间单元内特征不同，本步骤还使用了时序特征，即只存在于序列上的特征。时序特征分为两大类，第一类是时间距离特征d
t+1
，由时间单元的时间戳进一步处理获得的；第二类是行为特征，通过遍历时间单元得到的作答行为上的特征。如图2所示，时序特征包括时间距离特征、相同知识间隔时间、知识重复次数。其中时间距离特征指的是当前的时间单元与历史时间单元在时间维度上的距离，计算方法如下公式所示：
[0115]dt+1
＝[t
t+1-t1,t
t+1-t2,...,t
t+1-t
t
]
[0116]
其中相同知识间隔时间则是上一次练习当前t
t+1
时刻作答试题的知识点的时间间隔。知识重复次数指的是历史已练习当前t
t+1
时刻作答试题的知识点的次数。特殊的，如果一道试题涉及了多个知识点，那么相同知识间隔时间和知识重复次数都取平均值。对知识间隔时间的最大值进行约束，设置为10天，单位是秒，如果作答序列中，学习者是首次练习了某个知识点，则将知识间隔时间设为最大值。
[0117]
图2给出了一个计算的示例。例如t6时刻涉及到了k2和k3两个知识点，在t6时刻前k2知识点已经被练习了2次，k3知识点已经被练习了2次，因此知识重复次数取均值为2。上一次练习k2知识点为t4时刻，练习k3知识点为t5时刻，因此知识间隔时间为
[0118]
对当前交互的潜在能力表示进行解码的计算过程包括：当前交互的嵌入表示及编码，基于时间注意力的当前潜在知识状态解码，和考虑时序特征的当前潜在能力表示。
[0119]
(3-1)当前交互的嵌入表示及编码
[0120]
t
t+1
时刻的时间单元特征只包括作答的试题q
t+1
，和对应的知识点集合k
t+1
，并不包括反应信息(这是需要预测的)。与步骤(2-1)的嵌入方法类似，通过随机embedding将{t1,t2,,...,t
t
,t
t+1
}对应的试题、知识点映射成高维向量，并通过求和的方式获取对应时间单元的向量表示。与步骤(2-2)方法类似，将{t1,t2,,...,t
t
,t
t+1
}的时间单元表示通过带掩码的多头自注意力网络后，再通过残差网络和层标准化，就可以编码得到当前时间单元的向量表示。
[0121]
与步骤(2)不同的是，本步骤因为需要将t
t+1
时刻的时间单元表示为向量，而t
t+1
时刻的反应信息是待预测的，因此本步骤中的嵌入表示及编码得到的向量表示都是不蕴含反应信息的，仅包含试题信息。
[0122]
(3-2)基于时间注意力的当前潜在知识状态解码
[0123]
本步骤通过当前时间单元与历史时间单元之间的相关度，解码获得当前时间单元上的知识状态。
[0124]
首先，通过时间距离获取时间单元之间在时间维度上的相关度。遗忘曲线揭示了人的记忆会因为时间推移而逐渐衰减，基于此，我们为距离更近的时间单元分配更多的权重。权重的计算公式如下所示：
[0125][0126]
其中a1、b1、c1是可训练的参数，代表t
t+1
时刻的时间单元与历史时间单元之间的时间距离相关度，权重值越大代表两个时间单元在时间维度上的相关度越高。
[0127]
然后，如图3所示，使用带掩码的键值注意力网络，将t
t+1
时刻时间单元的向量表示视作query，将历史时间单元的向量表示视作key，将历史时间单元的潜在知识状态视作value，通过点积运算和向量乘法，实现时间注意力网络，注意力计算的核心公式如下所示：
[0128][0129][0130]
其中由此，可以为历史时间单元中与当前时间单元相关度更高的分配更多的权重，从而解码得到t
t+1
时刻在试题q
t+1
上的潜在知识状态
[0131]
(3-3)考虑时序特征的当前潜在能力表示
[0132]
上一步骤得到的潜在知识状态h
t+1
仅考虑了知识和时间距离两个方面的因素，本步骤通过历史作答序列引出的行为特征，即相同知识间隔时间l
t+1
、知识重复次数p
t+1
来对潜在知识状态进行修正，获得潜在能力表示。
[0133]
学习者在作答试题的过程中，会通过不断练习来熟悉知识点。相同知识间隔时间
越小，知识重复次数越多，那么学习者就越可能熟悉这个知识点，那么在当前试题上的潜在能力可能越好。基于此设计的练习熟练度公式如下所示：
[0134][0135]
其中a2、a3、b2、b3都是可训练的参数，p
t+1
∈(0,1)指的是t
t+1
时刻的试题知识点的练习熟练度，p
t+1
越大，则学习者对于知识点的熟练度越高。使用练习熟练度对潜在知识状态进行修正，计算的方法如下：
[0136]ct+1
＝h
t+1
+p
t+1
×ht+1
×
a4[0137]
其中a4是可训练的参数，通过这种类似残差连接的计算方法可以确保减少修正的偏差。
[0138]
(4)当前反应状态的细粒度预测
[0139]
这一步骤使用潜在能力向量进行多任务预测，实现细粒度的知识追踪。
[0140]
计算过程包括：反应速度的预测，反应结果的预测，和损失函数的融合。
[0141]
(4-1)反应速度的预测
[0142]
将潜在能力向量通过反应速度的神经网络预测器中，预测学习者t
t+1
时刻在试题q
t+1
上的反应速度类别。反应速度预测器由全连接层和激活函数组成，其计算过程如下：
[0143]s′
t+1
＝softmax(max(0,c
t+1
×ws1
+b
s1
)w
s2
+b
s2
)
[0144]
其中都是可训练的参数，是预测出的t
t+1
时刻的反应速度类别的概率矩阵，ds是反应速度的类别个数。
[0145]
(4-2)反应结果的预测
[0146]
本步骤将潜在能力向量与经过反应速度预测器后的速度向量进行拼接后，再通过反应结果预测器，预测t
t+1
时刻答对试题q
t+1
的概率。拼接的方法如下：
[0147]rt+1
＝concat(s
′
t+1
×wr1
+b
r1
,c
t+1
)
[0148]
其中是可训练的参数，是用作预测反应结果的隐藏向量。反应结果预测器的计算过程如下：
[0149]r′
t+1
＝σ(max(0,r
t+1
×wr2
+b
r2
)w
r3
+b
r3
)
[0150]
其中都是可训练的参数，r
′
t+1
∈(0,1)是t
t+1
时刻的答对试题的概率。
[0151]
(4-3)损失函数的融合
[0152]
上述两个步骤通过多任务预测实现了细粒度的反应状态预测，本步骤通过加权求和的方式将将反应速度的损失函数与反应结果的损失函数进行融合。反应速度的损失函数计算方法如下：
[0153][0154]
[0155]
其中i(s
t
)指的是反应速度s
t
是否属于对应的速度类别。
[0156]
反应结果的损失函数计算方法如下：
[0157][0158]
通过超参数的方式来调节反应结果和反应速度的重要性，平衡多任务对于模型的影响程度。细粒度的反应状态预测总损失的计算方法如下：
[0159]
l＝klr+(1-k)*ls[0160]
其中，k是设置好的常数，k∈[0,1]，用来调节两个损失函数的混合比例。
[0161]
在上述实施例中，步骤(4)中通过对多种特征的多任务预测实现细粒度知识追踪，其中多种特征的多任务预测指的是预测反应状态的多种特征，包括但不限于反应速度和反应结果组成的双任务预测，还可以与反应时间等其他反应特征进行组合。
[0162]
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。通过对多种特征的多任务预测来实现细粒度知识追踪任务，同属于本专利保护范畴。
[0163]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。