一种基于图注意力网络的知识追踪方法与流程

1.本发明涉及知识追踪技术领域，具体涉及一种基于图注意力网络的知识追踪方法。


背景技术：

2.在mooc、udemy、lynda等智能教学系统和大规模在线开放课程平台中，知识追踪是一项不可或缺的任务，旨在捕获学生在答题过程中知识状态的变化并对学生的未来答题表现做出预测。知识追踪的研究对实现智能教育、完成个性化导学任务具有重要意义。具体来说，在线平台的学习者学习知识点之后，平台会有相对应的习题来检验学习者是否完全掌握该知识点。知识追踪任务将学习者在平台已回答过的习题序列放入模型中训练，模型能捕获序列中该学习者对知识的掌握程度的变化，当新的习题来到时，模型根据学习者对该习题相关知识的掌握程度来预测学习者是否能够回答正确。
3.现有的kt方法通常基于习题或者知识点的one-hot编码格式作为输入来构建预测模型。项目反应理论(item response theory，irt)是认知与心理学领域研究学生成绩的方法集成，也是知识追踪的一种传统方法。深度知识追踪模型(deep knowledge tracing，dkt)将深度学习被引入到知识追踪领域，并在性能上相对于传统方法有较大的提升。后续的学者也基于深度学习方法提出了多种新颖的框架。dkvmn使用一个静态矩阵key存储知识点的嵌入和一个动态的矩阵value存储并更新学习者对知识点的掌握程度。卷积知识跟踪模型(ckt)考虑学生的先验知识与学习率的不同，引入卷积神经网络对学生的个性化进行建模。除此之外，近年来基于深度学习的知识追踪模型成为学者们研究的热点，例如eernn、ekt、skvmn等。深度模型以其强大的特征提取能力显示出强大的性能，特别是在时序任务中，对于每个简单的输入模型可以通过复杂的变化得到知识状态进行预测。但现有的知识追踪方法存在以下不足：
4.(1)现有的知识追踪研究方法往往不能对习题及知识点中的深层次信息进行有效挖掘，即不能挖掘习题与习题、习题与知识点以及知识点与知识点之间的联系，这导致基于习题或知识点的模型在知识追踪任务中难以发挥其优势。
5.(2)现有的知识追踪方法能够捕获学生的知识状态，但在预测学生未来答题表现过程中无法充分利用其深层次信息，导致模型无法在知识追踪任务中取得良好的效果。


技术实现要素：

6.本发明的目的在于，针对上述现有技术的不足，提出一种基于图注意力网络的知识追踪方法。
7.本发明提出一种基于图注意力网络的知识追踪方法，包括如下步骤：
8.s1：基于习题集合知识点集合构建知识图g＝{ti，tj，b
ij
}
9.，其中b
ij
∈{0，1}，ti∈{qj，cm}，j∈|q|，m∈|c|；
10.s2；基于习题集合获取模型的输入x
t
；
11.s3：对每个习题的one-hot编码通过矩阵相乘的方式得到习题的嵌入表示
12.s4：使用自注意力机制作用于所有图节点，基于知识图g＝{ti，tj，b
ij
}获得节点之间的关系系数v
ij
，gat使用多头注意力层作用于每个中心节点的权重计算，基于关系系数v
ij
获得最终的节点表示
13.s5：采用lstm获取学生的知识状态随时间的变化情况，基于输入x
t
获取学生t时刻的知识状态h
t
；
14.s6：基于习题的嵌入表示通过难度分析层获得难度的表示向量d
t
，在irt模型中基于学生t时刻的知识状态h
t
获取项目区分度系数α、基于输入x
t
获取学生的能力θ、基于难度的表示向量d
t
获取最终的习题难度β，基于项目区分度系数α、学生的能力θ、最终的习题难度β获取学生回答当前习题的预测概率p
t
；
15.s7：基于知识图使用内积的方式评估图节点之间的关系通过图节点的局部接近度来对图节点的嵌入表示进行评价，则基于图节点之间的关系和b
ij
获取第一损失函数使用学生回答当前习题的预测概率p
t
与真实的结果r
t
之间的交叉熵损失函数作为目标函数，则基于预测概率p
t
与真实的结果r
t
获取第二损失函数构建联合训练目标l＝λ1l1+λ2l2，其中λ1，λ2表示控制图中节点局部接近度损失与学生表现预测损失的权衡系数。
16.进一步地，将习题集合知识点集合合并得到集合其中j∈|q|，m∈|c|，|t|＝|q|+|c|，基于集合构建知识图g＝{ti，tj，b
ij
}，其中b
ij
∈{0，1}，当b
ij
＝1时表示节点i与节点j之间存在边，反之不存在。
17.进一步地，步骤s2中具体包括：在t时刻，模型的输入x
t
由两部分组成：第一部分为维度为n的习题q
t
，第二部分是r
t
；如果学生能正确回答q
t
，则r
t
＝1，否则r
t
＝0，如果学生回答正确该习题则在q
t
后面再拼接r
t，l
，如果回答错误则在q
t
后面再拼接r
t，0
，其中r
t，1
、r
t，0
都是维度为n的向量，r
t，1
表示在对应题号位置为1、其余置0，r
t，0
则为全零向量x
t
为一个维度为2n的向量。
18.进一步地，步骤s3中包括：习题的嵌入表示其中
均是可训练的参数，n表示嵌入的维度。
19.进一步地，步骤s4中包括：使用自注意力机制作用于所有图节点，然后使用共享的权重矩阵w
t
作用于邻接节点，接着使用非线性激活函数leakyrelu获得节点之间的关系系数v
ij
，v
ij
＝leakyrelu(w
·
[w
t
·
ti||w
t
·
tj])，其中||表示连接操作，
·
表示内积操作。
[0020]
进一步地，步骤s4中还包括：对v
ij
进行归一化操作获得节点的注意力权重值其中softmax表示激活函数，ni表示节点ti的邻接节点的数量，a
ij
表示节点ti与其邻接节点tj的注意力权重；gat使用多头注意力层作用于每个中心节点的权重计算，通过设置k个独立的注意力机制得到k个不同的注意面，再使用非线性激活函数获得最终的节点表示线性激活函数获得最终的节点表示其中k表示设置的多头注意力层数，σ表示sigmoid激活函数，表示第h层的节点表示。
[0021]
进一步地，步骤s5中具体包括：lstm通过遗忘门f
t
、输入门i
t
、输出门o
t
以及细胞状态c
t
获取学生t时刻的知识状态h
t
；其中遗忘门在t时刻模拟学生在学习过程中的知识遗忘率f
t
＝σ(wf·
[h
t-1
，x
t
]+bf)，其中h
t-1
为学生t-1时刻的知识状态，为可训练的参数；输入门模拟学生在面对习题时更新自身的知识状态的过程，其中i
t
表示模拟新知识的学习过程，i
t
＝σ(wi·
[h
t-1
，x
t
]+bi)，表示模拟旧知识掌握程度的变化过程，c
t
表示将两者结合形成新的细胞状态，其中tanh表示双曲正切激活函数，其中tanh表示双曲正切激活函数，均是可训练的参数，c
t-1
表示t-1时刻的细胞状态，代表向量对应元素相乘；输出门模拟学生的知识状态根据当前学习的知识与历史知识遗忘的变化过程，在t时刻其公式为：o
t
＝σ(wo·
[h
t-1
，x
t
]+bo)，其中均是可训练的参数，h
t-1
表示学生在t-1时刻的知识状态，σ(
·
)表示sigmoid激活函数。
[0022]
进一步地，步骤s6中包括：通过公式θ＝tanh(w
θ
·ht
+b
θ
)获取学生的能力θ，通过公式α＝σ(w
α
·
x
t
+b
α
)获取项目区分度系数α，其中σ、tanh均表示激活函数，均是可训练的参数。
[0023]
进一步地，步骤s6中还包括：通过难度分析层获得难度的表示向量d
t
，其中为习题的的嵌入表示，均是可训练的参数；对d
t
进行矩阵变换操作，经过tanh激活函数得到最终的习题难度β，β＝tanh(w
β
·dt
+b
β
)，其中均是可训练的参数；获取学生回答当前习题的预测概率
p
t
，p
t
＝σ(w
p
·
[α(θ-β)]+b
p
)，其中均是可训练的参数。
[0024]
进一步地，步骤s7中包括：使用内积的方式来评估图节点之间的关系，通过节点间的关系将节点间的权重值转化为[0,1]的值，其中i，j∈[1，...，|t|]，σ表示sigmoid激活函数。
[0025]
本发明的一种基于图注意力网络的知识追踪方法有以下有益效果：
[0026]
本发明建立了一种新的基于图注意力网络的知识追踪方法。在该方法中，首先使用图注意力网络捕获包含深层次信息的节点表示，基于所构建的知识图捕获习题-习题、知识点-知识点以及习题-知识点的关系并获得包含深层次信息的新的习题表示，接着使用lstm网络模拟学生在回答习题序列的过程中自身知识状态的变化，最后结合改进的irt从学生的能力、习题的难度与项目区分度三个方面预测学生的未来表现。通过在6个公开数据集上进行实验分析，证明了基于图注意力网络的知识追踪方法能显著提高知识追踪任务的准确率；针对现有知识追踪方法的不足，研究了如何有效挖掘知识图中的深层次关系信息，构建了基于习题及其包含的知识点的知识图，创造性地将图注意力网络应用到知识追踪领域，为不同的邻接节点分配不同的权重并从深层次特征中学习到习题的嵌入表示，接着使用lstm捕获学生在答题过程中的知识状态变化，进而精确地预测学生的未来答题表现，此外，本发明还引入认知教育心理学理论irt并对其进行改进，从习题难度、学生能力以及项目区分度三个方面对学生的未来表现进行预测，进一步提升了性能。
附图说明
[0027]
并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与描述一起用于解释本发明的原理。在这些附图中，类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。
[0028]
图1为本发明一种基于图注意力网络的知识追踪方法中的示意图；
[0029]
图2为本发明一种基于图注意力网络的知识追踪方法中的lstm长短期记忆神经网络的示意图。
具体实施方式
[0030]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。
[0031]
请参阅图1-2。本发明实施例的一种基于图注意力网络的知识追踪方法，包括如下步骤：
[0032]
s1：基于习题集合知识点集合构建知识图g＝{ti，tj，b
ij
}
[0033]
，其中b
ij
∈{0，1}，ti∈{qj，cm}，j∈|q|，m∈|c|；
[0034]
s2；基于习题集合获取模型的输入x
t
；
[0035]
s3：对每个习题的one-hot编码通过矩阵相乘的方式得到习题的嵌入表示
[0036]
s4：使用自注意力机制作用于所有图节点，基于知识图g＝{ti，tj，b
ij
}获得节点之间的关系系数v
ij
，gat使用多头注意力层作用于每个中心节点的权重计算，基于关系系数v
ij
获得最终的节点表示
[0037]
s5：采用lstm获取学生的知识状态随时间的变化情况，基于输入x
t
获取学生t时刻的知识状态h
t
；
[0038]
s6：基于习题的嵌入表示通过难度分析层获得难度的表示向量d
t
，在irt模型中基于学生t时刻的知识状态h
t
获取项目区分度系数α、基于输入x
t
获取学生的能力θ、基于难度的表示向量d
t
获取最终的习题难度β，基于项目区分度系数α、学生的能力θ、最终的习题难度β获取学生回答当前习题的预测概率p
t
；
[0039]
s7：基于知识图使用内积的方式评估图节点之间的关系通过图节点的局部接近度来对图节点的嵌入表示进行评价，则基于图节点之间的关系和b
ij
获取第一损失函数使用学生回答当前习题的预测概率p
t
与真实的结果r
t
之间的交叉熵损失函数作为目标函数，则基于预测概率p
t
与真实的结果r
t
获取第二损失函数构建联合训练目标l＝λ1l1+λ2l2，其中λ1，λ2表示控制图中节点局部接近度损失与学生表现预测损失的权衡系数。
[0040]
本发明的目的是提供一种基于图注意力网络的知识追踪方法及系统，提高知识追踪的性能，可以更好的帮助学习者的制定个性化计划。本发明针对现有知识追踪方法的不足，研究了如何有效挖掘知识图中的深层次关系信息，构建了基于习题及其包含的知识点的知识图，受图注意力网络(gat)的启发，本发明创造性地将图注意力网络应用到知识追踪领域，为不同的邻接节点分配不同的权重并从深层次特征中学习到习题的嵌入表示，为模型提供更深层次的信息进而精确地捕获学生的知识状态，接着使用lstm捕获学生在答题过程中的知识状态变化，进而精确地预测学生的未来答题表现。。此外，本发明还引入认知教育心理学理论irt并对其进行改进，从习题难度、学生能力以及项目区分度三个方面对学生的未来表现进行预测，进一步提升了模型的性能。
[0041]
将原始数据集中习题按照学生进行预处理，然后统计数据集中所有习题与知识点的数量，并对每个习题与知识点进行编号，这样做方便模型进行训练。对于每个学生，统计学生的答题序列，每个答题序列包含三行数据，第一行表示该学生答题的数量，第二行表示该学生答题的习题编号，第三行则表示学生是否正确回答该习题，正确回答则为1，否则为0。
[0042]
步骤s1中具体包括：将习题集合知识点集合合并得到集合其中j∈|q|，m∈|c|，|t|＝|q|+|c|，基于集合构建知识图g＝{ti，tj，b
ij
}，其中b
ij
∈{0，1}，当b
ij
＝1时表示节点i与节点j之间存在边，反之不存在。
[0043]
在真实的在线教育场景中，学生在答题过程中通常会面对多种习题与多种知识点，其中一个习题可以包含多个知识点，一个知识点也可能对应多个习题。此外，习题与习题之间，知识点与知识点之间也会存在关联关系。
[0044]
本发明建立知识图对习题与习题之间的关系、知识点与知识点之间的关系以及习题与知识点之间的关系进行探索。假设是一个长度为|s|的学生集合，是一个长度为|q|的习题集合，是一个长度为|c|的知识点集合，每个学生si独立地完成q中的习题且任意习题qi所包含的知识点都属于知识点集合c。考虑到本发明中数据集的大小以及简便性，将习题集合与知识点集合进行合并得到集合其中j∈|q|，m∈|c|，|t|＝|q|+|c|；然后定义知识图g＝{ti，tj，b
ij
}，其中b
ij
∈{0，1}，即当b
ij
＝1时表示节点i与节点j之间存在边，反之不存在，同时定义知识图的邻接矩阵为
[0045]
步骤s2中具体包括：在t时刻，模型的输入x
t
由两部分组成：第一部分为维度为n的习题q
t
，第二部分是r
t
；如果学生能正确回答q
t
，则r
t
＝1，否则r
t
＝0，如果学生回答正确该习题则在q
t
后面再拼接r
t，1
，如果回答错误则在q
t
后面再拼接r
t，0
，其中r
t，1
、r
t，0
都是维度为n的向量，r
t，1
表示在对应题号位置为1、其余置0，r
t，0
则为全零向量x
t
为一个维度为2n的向量。
[0046]
从原始数据中提取相关要素，并构建模型的输入。第一步已经统计到每个学生的答题序列，但是单个编号表达的信息有限。因此，使用one-hot编码格式对每个习题以及答题情况进行处理。在t时刻，模型的输入x
t
由两部分组成。第一部分为维度为n的习题q
t
，是由n个不同的习题组成。它是一个one-hot编码，只有对应题号的位置为1，其余位置则为0。第二部分是r
t
，如果学生si能正确回答习题q
t
，则r
t
＝1，否则r
t
＝0。为了更好的训练，将r
t
转化为q
t
形式的表示，即one-hot编码。如果学生回答正确该习题，在q
t
后面再拼接r
t，1
，如果回答错误，则拼接r
t，0
。
[0047][0048]
其中r
t，1
、r
t，0
都是维度为n的向量，r
t，1
表示在对应题号位置为1、其余置0，r
t，0
则为
全零向量x
t
为一个维度为2n的向量。
[0049]
步骤s3中包括：习题的嵌入表示其中其中均是可训练的参数，n表示嵌入的维度。
[0050]
知识追踪任务的输入数据包含习题与对应的学生表现两部分，由于本发明需要挖掘习题及知识点中包含的深层次信息，而这与学生的表现无关。因此，本发明将学生历史答题序列中习题部分提取出来，对每个习题的one-hot编码通过矩阵相乘的方式得到习题的嵌入表示。习题的嵌入表示如下：
[0051][0052]
其中均是可训练的参数，n表示嵌入的维度，表示经过嵌入之后习题的表示。
[0053]
步骤s4中包括：使用自注意力机制作用于所有图节点，然后使用共享的权重矩阵w
t
作用于邻接节点，接着使用非线性激活函数leakyrelu获得节点之间的关系系数v
ij
，v
ij
＝leakyrelu(w
·
[w
t
·
ti||w
t
·
tj])，其中||表示连接操作，
·
表示内积操作。
[0054]
步骤s4中还包括：对v
ij
进行归一化操作获得节点的注意力权重值其中softmax表示激活函数，ni表示节点ti的邻接节点的数量，a
ij
表示节点ti与其邻接节点tj的注意力权重；gat使用多头注意力层作用于每个中心节点的权重计算，通过设置k个独立的注意力机制得到k个不同的注意面，再使用非线性激活函数获得最终的节点表示性激活函数获得最终的节点表示其中k表示设置的多头注意力层数，σ表示sigmoid激活函数，表示第h层的节点表示。
[0055]
给定一个知识图g＝{ti，tj，b
ij
}，首先，为了计算节点之间的注意力系数，使用自注意力机制作用于所有图节点，然后使用共享的权重矩阵w
t
作用于邻接节点，接着使用非线性激活函数leakyrelu获得节点之间的关系系数v
ij
。v
ij
的计算过程如下：
[0056]vij
＝leakyrelu(w
·
[w
t
·
ti||w
t
·
tj])
[0057]
其中||表示连接操作，
·
表示内积操作。对v
ij
进行归一化操作获得节点的注意力权重值，具体公式如下：
[0058][0059]
其中softmax表示激活函数，ni表示节点ti的邻接节点的数量，a
ij
表示节点ti与其邻接节点tj的注意力权重。此外，为了稳定地学习到注意力权重，gat使用多头注意力层作用于每个中心节点的权重计算，通过设置k个独立的注意力机制得到k个不同的注意面，再
使用非线性激活函数获得最终的节点表示本发明设置8个独立的注意力机制。具体过程如下：
[0060][0061]
其中k表示设置的多头注意力层数，σ表示sigmoid激活函数，表示第h层的节点表示。此外，为了更加获得全面的节点表示，本发明设置了3个图注意力层进行训练。在图注意力网络中，通过3层的图注意力层训练之后，每个中心节点可以获得3阶邻接节点的信息。
[0062]
步骤s5中具体包括：lstm通过遗忘门f
t
、输入门i
t
、输出门o
t
以及细胞状态c
t
获取学生t时刻的知识状态h
t
；其中遗忘门在t时刻模拟学生在学习过程中的知识遗忘率f
t
＝σ(wf·
[h
t-1
，x
t
]+bf)，其中h
t-1
为学生t-1时刻的知识状态，为可训练的参数；输入门模拟学生在面对习题时更新自身的知识状态的过程，其中i
t
表示模拟新知识的学习过程，i
t
＝σ(wi·
[h
t-1
，x
t
]+bi)，表示模拟旧知识掌握程度的变化过程，c
t
表示将两者结合形成新的细胞状态，其中tanh表示双曲正切激活函数，均是可训练的参数，c
t-1
表示t-1时刻的细胞状态，代表向量对应元素相乘；输出门模拟学生的知识状态根据当前学习的知识与历史知识遗忘的变化过程，在t时刻其公式为：o
t
＝σ(wo·
[h
t-1
，x
t
]+bo)，其中均是可训练的参数，h
t-1
表示学生在t-1时刻的知识状态，σ(
·
)表示sigmoid激活函数。
[0063]
采用lstm来获取学生的知识状态随时间的变化情况，它在深度知识追踪任务中展现出色的性能。lstm通过三个门以及一个状态来获取学生的知识状态h
t
，分别是遗忘门f
t
、输入门i
t
、输出门o
t
以及细胞状态c
t
。其中，细胞状态c
t
将历史信息传递到每个单元，用来解决rnn难以捕获长期依赖的问题。
[0064]
遗忘门：在真实场景中，随着时间的推移，学生会逐渐遗忘以前学习过的某些知识。遗忘门使用一个[0，1]的标量来模拟学生在学习过程中的知识遗忘率，在t时刻其公式为：
[0065]ft
＝σ(wf·
[h
t-1
，x
t
]+bf)
[0066]
输入门：输入门模拟学生在面对习题时更新自身的知识状态的过程，其中包含新知识的学习以及旧知识的复习。i
t
表示模拟新知识的学习过程，表示模拟旧知识掌握程度的变化过程，c
t
表示将两者结合形成新的细胞状态。这个过程接收新的输入并更新当前的细胞状态。在t时刻其公式如下所示：
[0067]it
＝σ(wi·
[h
t-1
，x
t
]+bi)
[0068]
[0069][0070]
其中tanh表示双曲正切激活函数，其中tanh表示双曲正切激活函数，均是可训练的参数。c
t-1
表示t-1时刻的细胞状态，代表向量对应元素相乘。
[0071]
输出门：输出门模拟学生的知识状态根据当前学习的知识与历史知识遗忘的变化过程，输出学生的当前知识状态h
t
。在t时刻其公式为：
[0072]ot
＝σ(wo·
[h
t-1
，x
t
]+bo)
[0073][0074]
其中均是可训练的参数。h
t-1
表示学生在t-1时刻的知识状态，σ(
·
)表示sigmoid激活函数。
[0075]
步骤s6中包括：通过公式θ＝tanh(w
θ
·ht
+b
θ
)获取学生的能力θ，通过公式α＝σ(w
α
·
x
t
+b
α
)获取项目区分度系数α，其中σ、tanh均表示激活函数，均是可训练的参数。
[0076]
步骤s6中还包括：通过难度分析层获得难度的表示向量d
t
，其中为习题的的嵌入表示，均是可训练的参数；对d
t
进行矩阵变换操作，经过tanh激活函数得到最终的习题难度β，β＝tanh(w
β
·dt
+b
β
)，其中均是可训练的参数；获取学生回答当前习题的预测概率p
t
，p
t
＝σ(w
p
·
[α(θ-β)]+b
p
)，其中均是可训练的参数。
[0077]
irt作为统计心理学中经典的理论，可以量化学生的能力，在知识追踪中表现出其强大的性能。本发明采用的irt模型主要包含三个参数，分别是项目区分度系数α，学生的能力θ以及习题难度β。在知识追踪任务中，学生的能力是基于学生的知识状态的，学生的知识状态越好，学生的能力就越强。项目区分度与习题本身以及学生的答题情况紧密相关，假如在面对某个习题时学生的答题情况差别较大，说明该习题区分学生能力的性能越好。本发明将学生的能力θ与项目区分度系数α定义如下：
[0078]
θ＝tanh(w
θ
·ht
+b
θ
)
[0079]
α＝σ(w
α
·
x
t
+b
α
)
[0080]
其中σ、tanh均表示激活函数，其中σ、tanh均表示激活函数，均是可训练的参数。h
t
表示t时刻学生的知识状态表示。
[0081]
由于习题难度仅与习题本身相关，本模型首先通过难度分析层获得难度的表示向量d
t
，然后再对d
t
进行矩阵变换操作，经过tanh激活函数得到最终的习题难度β。d
t
与β的表示如下所示：
[0082][0083]
β＝tanh(w
β
·dt
+b
β
)
[0084]
本发明将各参数扩展到多维空间从多个不同的特征来表征每个参数，以更加准确地预测学生的未来答题表现。预测过程如下所示：
[0085]
p
t
＝σ(w
p
·
[α(θ-β)]+b
p
)
[0086]
其中均是可训练的参数，p
t
∈[0，1]，代表学生在t时刻正确回答习题的概率。本模型定义当p
t
∈[0，0.5]时，判定学生回答错误，反之，回答正确。
[0087]
步骤s7中包括：使用内积的方式来评估图节点之间的关系，通过节点间的关系将节点间的权重值转化为[0,1]的值，其中i，j∈[1，...，|t|]，σ表示sigmoid激活函数。
[0088]
为了模型更好地训练，本发明建立了一个联合训练框架训练模型的参数达到最优。本发明使用内积的方式来评估图节点之间的关系，节点间的关系表示如下所示：
[0089][0090]
其中i，j∈[1，...，|t|]，σ表示sigmoid激活函数，将节点间的权重值转化为[0，1]的值。为了使得学习到的节点表示更加贴近真实的结果，本发明定义图节点的局部接近度来对图节点的嵌入表示进行评价，损失函数如下式所示：
[0091][0092]
为了使得模型能够更加精准地建模学生的知识状态进而预测学生的未来答题表现，本发明使用学生回答当前习题的预测概率p
t
与真实的结果r
t
之间的交叉熵损失函数作为目标函数，具体的损失函数定义如下:
[0093][0094]
然后，针对以上两个方面的训练目标，本发明构建了一个联合训练目标，具体表示如下：
[0095]
l＝λ1l1+λ2l2[0096]
其中λ1，λ2表示控制图中节点局部接近度损失与学生表现预测损失的权衡系数。
[0097]
本发明制作了大量的实验设计寻找合适的超参数，具体如下，本发明将每个数据集随机划分80％为训练集，20％为测试集，其中测试集用来评价模型的性能与提前停止模型训练。所有实验都使用5-折交叉验证的方法，并且所有模型都采用5次实验取平均值的方式进行性能评估。本发明使用adam优化器来训练模型，设置最大训练次数为200，裁剪时最大梯度范数设置为5.0，学习率设置范围为[0.001,0.01]，网络中权重矩阵与偏置的初始化使用平均值为0，标准差为0.01的正态分布。实验训练的批次一般设置为64，但是具体的设置会按照数据集的大小，例如a2012数据集数量较大，训练的批次一般设置为32。为防止过
拟合情况的发生，模型增加了dropout层，在训练的时候设置其参数为0.5。
[0098]
为了验证本发明在解决知识追踪任务上的优势，本实施例在6个公开数据集上进行了实验，即ass09-up，assist2012，statics2011，synthetic，aicfe-math，aicfe-phy。还对比了4个最新的知识追踪模型，分别为基于隐马尔科夫的知识追踪模型(bkt)，最新的因式分解模型(ktm)，深度知识追踪模型(dkt)，动态键值记忆网络模型(dkvmn)。使用auc(area under curve)指标来度量模型的结果，它是roc曲线下与坐标轴围成的面积，auc的值越接近1，代表模型的效果越好，越接近真实。表1展示的是本方法在8个公开数据集上对比5个最新模型的对比结果，从结果中可以看出，本发明所提出的基于图注意力网络的知识追踪模型明显优于现有技术方案。
[0099]
表1 5个方法在6个数据集上的性能对比结果
[0100][0101]
上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。
[0102]
需要说明的是，在本技术的描述中，指示的方位或位置关系的术语“上端”、“下端”、“底端”为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包含一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
…”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0103]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。