一种基于自相关误差优化的深度时序卷积知识追踪方法

本发明属于计算机领域，涉及一种基于自相关误差优化的深度时序卷积知识追踪方法。

背景技术：

1、在线教育的特征之一就是根据学生当前掌握的知识程度为其量身打造合适的学习路线及资源，但这也存在另外一个问题，在线教学系统中学生的数量是远远大于教师的数量的，由教师人工打造个性化学习是不太可能实现的。

2、在计算机教育领域，有专家提出了一种叫做“智能导学系统”的解决方案，其中包括“学习者模型”，“领域模型”和“教学模型”。而“学习者模型”中需要完成的一个任务就是，通过模拟学生的学习状态，根据学生不断变化的学习状态开追踪学生在某一时刻的学习水平，并以此来对该学生实行个性化学习。

3、当前，知识追踪主要分为两类：基于贝叶斯网络的知识追踪方法和基于深度学习的知识追踪方法，近年来深度学习的大力发展使得知识追踪技术有了进一步的提升，但当前的基于深度学习的知识追踪方法大多是基于循环神经网络。循环神经网络在处理时序任务上有着优秀的表现，但循环神经网络也存在一定的弊端：(1)循环神经网络在处理长时间序列的数据时无法学习到时间跨步较大的两个数据之间的依赖关系；(2)循环神经网络由于结构的特性，无法并行处理数据，效率较低；(3)循环神经网络在处理长时间序列的数据时，往往需要堆叠足够深的层次才能有效处理数据，这也导致了循环神经网络存在梯度消失和梯度爆炸的问题。

4、另外，当前在深度学习领域，处理时序任务时，对于相邻数据之间的误差常常采用的是不相关的处理方式。在处理长时间序列的数据时，如果不处理这样的误差，当误差堆叠到一定程度，会降低模型的预测精度。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于自相关误差优化的深度时序卷积知识追踪方法。解决了循环神经网络在处理长时间序列数据时存在的梯度问题，模型能够充分提取时间跨度较大的数据之间的特征，扩张卷积和注意力机制的运用能够对时序数据中包含的特征信息进行充分的加权处理，同时也提高了处理时序数据时的效率。另外，由于传统的时序模型对于相邻时序数据之间的误差通常采用的不相关的处理方式，在处理时间跨度较大的数据时，堆积的误差会对模型的预测精度产生一定的影响，因此引入一个自相关参数与模型一同训练，可以避免模型陷入局部最优解，从而提高模型的预测精度。

2、为达到上述目的，本发明提供如下技术方案：

3、一种基于自相关误差优化的深度时序卷积知识追踪方法，该方法为：

4、s1：输入经过预处理之后的学生的历史学习记录，即学生的在线答题记录，包括学生的序号，以及习题向量qt和对应的答题结果向量at；

5、s2：采用由时间卷积网络和注意力机制构成的模型，该模型的学习层根据输入的学生的学习状态xt对学生在学习过程中学习状态的变化进行追踪，并将该学习状态xt更新为yt。

6、可选的，所述时间卷积网络中，引入因果卷积，使得只能由当前时刻的输入kt和之前的输入k1，k2，...，kt-1对预测值进行计算，其计算公式为：

7、

8、在深度学习中，处理的时序数据是一维数据，其扩张卷积的计算公式为：

9、(f*dk)(p)＝∑s+di＝pf(s)·k(i)

10、其中s为卷积核的步长，d是膨胀率，取1，2，4，...；

11、采用残差连接来进行跨层连接，残差连接的计算公式为：

12、xt+1＝xt+f(xt)

13、其中xt是直接映射部分，f(xt)为跨层的残差部分；

14、时间卷积网络每一跨层的结果都需要经过relu激活函数再处理，最后得到yt。

15、时间卷积网络对学生的学习状态xt的建模表示为：

16、yt＝tcn(x1，x2，...，xt；θ)

17、其中θ是模型训练的超参数；

18、可选的，经过所述时间卷积网络处理后的学生的知识状态yt通过注意力机制对其进行处理并更新为注意力层中q，k和v的值由时序卷积网络的输出确定，即：

19、query＝mask(yt)

20、key＝value＝yt

21、采用缩放点积模型作为打分机制，注意力层的计算公式如下：

22、

23、其中dk是q向量的最后一个维度。

24、在数据挖掘中，给定一个时序数据x＝x1，x2，...，xt-1，相邻数据之间的误差用公式表示为：

25、

26、通过引入一个自相关系数a，并初始化模型参数θ，将自相关系数a的估计值设置为0并固定，再把a放入模型中与模型参数θ一起训练，交替迭代，得到θ'来计算模型的自相关误差，重复训练直到充分收敛，避免模型陷入局部最优解。

27、可选的，所述对学生的学习状态xt的建模具体表示为：

28、

29、输出时通过全连接层和激活函数处理更新后的学习状态输出表示预测的学生知识水平的向量valuet。

30、通过最小化损失函数计算表示学生知识水平的预测值和真实值之间的差值，对整个模型的各个参数进行优化，模型使用的损失函数的计算公式如下：

31、

32、本发明的有益效果在于：

33、(1)在模型选择方面，选用了时间卷积网络和注意力机制相结合的结构，由于时间卷积网络中扩张卷积能够通过较少的网络层数获得较大的感受野，同时添加了残差连接的结构，有效避免了梯度问题，注意力机制可以对信息中的特征加权处理，有效缓解模型的复杂度，提升模型的预测性能。

34、(2)时间卷积网络中的卷积网络层经过训练，可以更加准确地提取学生学习序列中的特征，加入的注意力机制可以自适应地确定学生学习序列中的遗忘信息，以及短期特性信息的重要性。两者的使用提升了模型的运算效率和数据利用率。

35、(3)引入的自相关系数将相邻数据之间的误差利用了起来，有效避免了模型在训练过程中陷入局部最优解，提升了模型的预测精度。

36、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

技术特征：

1.一种基于自相关误差优化的深度时序卷积知识追踪方法，其特征在于：该方法为：

2.根据权利要求1所述的一种基于自相关误差优化的深度时序卷积知识追踪方法，其特征在于：所述时间卷积网络中，引入因果卷积，使得只能由当前时刻的输入kt和之前的输入k1,k2,…,kt-1对预测值进行计算，其计算公式为：

3.根据权利要求1所述的一种基于自相关误差优化的深度时序卷积知识追踪方法，其特征在于：经过所述时间卷积网络处理后的学生的知识状态yt通过注意力机制对其进行处理并更新为注意力层中q，k和v的值由时序卷积网络的输出确定，即：

4.根据权利要求1所述的一种基于自相关误差优化的深度时序卷积知识追踪方法，其特征在于：所述对学生的学习状态xt的建模具体表示为：

技术总结
本发明涉及一种基于自相关误差优化的深度时序卷积知识追踪方法，属于计算机领域。该方法以时间卷积网络和注意力机制为主模型，引入了一个自相关系数与模型参数一起训练。模型中时间卷积网络由于扩张卷积和残差连接的存在，解决深度网络存在的梯度问题和长期依赖问题，注意力机制的引入能够自适应地确定学生答题序列中的特征和长短期特征中信息的重要性，自相关系数的引入能够避免模型在训练过程中陷入局部最优解。上述方法提升了模型的预测精度和运算效率。

技术研发人员：张鹏,文磊,陈建江,刘忆
受保护的技术使用者：重庆邮电大学
技术研发日：
技术公布日：2024/1/13