一种跨主题作文自动评分方法、系统及介质

1.本发明涉及人工智能技术领域，尤其是一种跨主题作文自动评分方法、系统及介质。


背景技术：

2.跨主题作文自动评分是指使用带标签的源主题的作文训练评分模型，并用于对无标签的目标主题作文进行自动评分的研究任务，它是自然语言处理研究的一个重要研究任务之一，在教育领域具有重要的研究和应用价值。
3.跨主题作文自动评分使用源主题中有标签作文训练数据去训练评分模型，并迁移到无标签目标主题作文进行评分，其核心在于不同主题(源主题和目标主题)之间的语义差异性的学习和迁移。
4.例如：假定主题1为“请谈谈人类使用计算机的好处和坏处”，主题2为“请谈谈水资源短缺对人类的影响”。可以看到，两个主题的作文所描述的语义信息是不同的，一个侧重于计算机的使用并涉及科技问题，而另一个则侧重于水资源短缺并涉及环保的问题。
5.如何减少主题之间的语义差异，使得所学到的作文表示可以最大化主题之间的一致性是跨主题作文自动评分的核心问题。现有的跨主题作文自动评分研究方法虽然已经取得了较好的效果，但还存在以下不足：
6.(1)现有技术更多专注于通过特征工程来获取那些主题无关的手工特征，并使用这些主题无关的手工特征表示不同主题的作文，从而达到不同主题之间的迁移。这种方法虽然可以直接使用主题无关特征来表达作文，但是所抽取的这些特征都是浅层的文本特征，如句长、作文长度、作文可读性指标、作文复杂度指标等，一些高层次的主题无关特征并不能被手工抽取。
7.(2)现有一部分技术为了抽取高层次的主题无关特征，通过将源主题和目标主题作文同时作为输入，并使用对抗网络来获得这些不同主题之间的主题共享特征，并以此特征来表达作文，进而相比手工特征具有更好的效果。但是，这种方法依然没有从主题一致性这个角度，通过模型的学习，来获得不同主题之间的最大一致性


技术实现要素：

8.有鉴于此，本发明实施例提供一种跨主题作文自动评分方法、系统及介质，能够有效提高跨主题学习效果，进而提高模型在跨主题作文自动评分任务上的评分性能。
9.一方面，本发明的实施例提供了一种跨主题作文自动评分方法，包括：
10.通过编码器对源主题的作文和目标主题的作文进行编码处理，获得源主题和目标主题的主题表示；其中，所述主题表示包括第一表示矩阵和第二表示矩阵，所述第一表示矩阵为源主题的主题表示矩阵，所述第二表示矩阵为目标主题的主题表示矩阵；以所述主题表示作为第一主题表示；
11.根据作文锚点表示和所述第一主题表示，通过交叉映射处理分别得到所述源主题
的第一正例表示和所述目标主题的第二正例表示；根据先验知识，构建所述源主题的第一负例表示和所述目标主题的第二负例表示；其中，所述作文锚点表示包括源主题的第一作文锚点表示和目标主题的第二作文锚点表示；
12.根据所述第一作文锚点表示，结合所述第一正例表示和所述第一负例表示，构建第一对比损失；根据所述第二作文锚点表示，结合所述第二正例表示和所述第二负例表示，构建第二对比损失；
13.通过评分器对所述源主题的作文锚点表示进行评分预测，得到预测分数，结合所述源主题的作文锚点表示的真实分数，构建评分损失；
14.根据所述第一对比损失、所述第二对比损失和所述评分损失，构建总体损失；基于所述总体损失，对模型参数进行更新处理；
15.基于所述更新处理后的编码器对源主题的作文和目标主题的作文进行编码处理，获得源主题和目标主题的第二主题表示；以所述第二主题表示作为第一主题表示，然后返回所述根据所述第一主题表示，通过交叉映射处理得到所述源主题的第一正例表示和所述目标主题的第二正例表示这一步骤，直至达到预设训练轮数，得到跨主题评分模型；
16.通过所述跨主题评分模型对所述目标主题的作文进行评分，得到目标预测评分。
17.可选地，所述通过编码器对源主题的作文和目标主题的作文进行编码处理，获得源主题和目标主题的主题表示，包括：
18.通过编码器对源主题的作文进行编码处理，得到第一表示矩阵，以所述第一表示矩阵作为源主题的主题表示；所述第一表示矩阵为源主题的作文的向量表示矩阵；
19.和，通过编码器对目标主题的作文进行编码处理，得到第二表示矩阵，以所述第二表示矩阵作为目标主题的主题表示；所述第二表示矩阵为目标主题的作文的向量表示矩阵。
20.可选地，所述根据作文锚点表示和所述第一主题表示，通过交叉映射处理分别得到所述源主题的第一正例表示和所述目标主题的第二正例表示，包括：
21.将所述第一作文锚点表示与所述第二表示矩阵的转置矩阵进行点乘操作，得到第一投影表示；对所述第一投影表示进行线性变化操作，得到所述第一正例表示；
22.和，将所述第二作文锚点表示与所述第一表示矩阵的转置矩阵进行点乘操作，得到第二投影表示；对所述第二投影表示进行线性变化操作，得到所述第二正例表示；
23.其中，所述作文锚点表示为当前处理作文样本的编码表示。
24.可选地，所述根据所述第一作文锚点表示，结合所述第一正例表示和所述第一负例表示，构建第一对比损失，包括：
25.通过计算所述第一作文锚点表示与所述第一正例表示和所述第一负例表示的余弦相似度，构建第一对比损失；
26.其中，所述第一作文锚点为所述源主题的第一目标批次的作文表示。
27.可选地，所述根据所述第二作文锚点表示，结合所述第二正例表示和所述第二负例表示，构建第二对比损失，包括：
28.通过计算所述第二作文锚点表示与所述第二正例表示和所述第二负例表示的余弦相似度，构建第二对比损失；
29.其中，所述第二作文锚点为所述目标主题的第二目标批次的作文表示。
30.可选地，所述根据所述第一对比损失、所述第二对比损失和所述评分损失，构建总体损失，包括：
31.根据所述第一对比损失、所述第二对比损失和所述评分损失，结合对比权重和评分权重，构建总体损失；
32.其中，所述总体损失的表达式为：
[0033][0034]
式中，表示总体损失，α表示对比权重，ls表示第一对比损失，l
t
表示第二对比损失，β表示评分权重，l
mse
表示评分损失。
[0035]
可选地，所述方法还包括：
[0036]
基于所述第一对比损失和所述第二对比损失，通过梯度下降，从目标方向减少所述源主题与所述目标主题的主题差异；其中，目标方向包括源主题到目标主题的第一方向和目标主题到源主题的第二方向。
[0037]
另一方面，本发明的实施例提供了一种跨主题作文自动评分系统，包括：
[0038]
第一模块，用于通过编码器对源主题的作文和目标主题的作文进行编码处理，获得源主题和目标主题的主题表示；其中，所述主题表示包括第一表示矩阵和第二表示矩阵，所述第一表示矩阵为源主题的主题表示矩阵，所述第二表示矩阵为目标主题的主题表示矩阵；以所述主题表示作为第一主题表示；
[0039]
第二模块，用于根据作文锚点表示和所述第一主题表示，通过交叉映射处理分别得到所述源主题的第一正例表示和所述目标主题的第二正例表示；根据先验知识，构建所述源主题的第一负例表示和所述目标主题的第二负例表示；其中，所述作文锚点表示包括源主题的第一作文锚点表示和目标主题的第二作文锚点表示；
[0040]
第三模块，用于根据所述第一作文锚点表示，结合所述第一正例表示和所述第一负例表示，构建第一对比损失；根据所述第二作文锚点表示，结合所述第二正例表示和所述第二负例表示，构建第二对比损失；
[0041]
第四模块，用于通过评分器对所述源主题的作文锚点表示进行评分预测，得到预测分数，结合所述源主题的作文锚点表示的真实分数，构建评分损失；
[0042]
第五模块，用于根据所述第一对比损失、所述第二对比损失和所述评分损失，构建总体损失；基于所述总体损失，对模型参数进行更新处理；
[0043]
第六模块，用于基于所述更新处理后的编码器对源主题的作文和目标主题的作文进行编码处理，获得源主题和目标主题的第二主题表示；以所述第二主题表示作为第一主题表示，然后返回所述根据所述第一主题表示，通过交叉映射处理得到所述源主题的第一正例表示和所述目标主题的第二正例表示这一步骤，直至达到预设训练轮数，得到跨主题评分模型；
[0044]
第七模块，用于通过所述跨主题评分模型对所述目标主题的作文进行评分，得到目标预测评分。
[0045]
另一方面，本发明的实施例提供了一种电子设备，包括处理器以及存储器；
[0046]
所述存储器用于存储程序；
[0047]
所述处理器执行所述程序实现如前面所述的方法。
[0048]
另一方面，本发明的实施例提供了一种计算机可读存储介质，所述存储介质存储
有程序，所述程序被处理器执行实现如前面所述的方法。
[0049]
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
[0050]
本发明实施例首先通过编码器对源主题的作文和目标主题的作文进行编码处理，获得源主题和目标主题的主题表示；其中，所述主题表示包括第一表示矩阵和第二表示矩阵，所述第一表示矩阵为源主题的主题表示矩阵，所述第二表示矩阵为目标主题的主题表示矩阵；以所述主题表示作为第一主题表示；根据作文锚点表示和所述第一主题表示，通过交叉映射处理分别得到所述源主题的第一正例表示和所述目标主题的第二正例表示；根据先验知识，构建所述源主题的第一负例表示和所述目标主题的第二负例表示；其中，所述作文锚点表示包括源主题的第一作文锚点表示和目标主题的第二作文锚点表示；根据所述第一作文锚点表示，结合所述第一正例表示和所述第一负例表示，构建第一对比损失；根据所述第二作文锚点表示，结合所述第二正例表示和所述第二负例表示，构建第二对比损失；通过评分器对所述源主题的作文锚点表示进行评分预测，得到预测分数，结合所述源主题的作文锚点表示的真实分数，构建评分损失；根据所述第一对比损失、所述第二对比损失和所述评分损失，构建总体损失；基于所述总体损失，对模型参数进行更新处理；基于所述更新处理后的编码器对源主题的作文和目标主题的作文进行编码处理，获得源主题和目标主题的第二主题表示；以所述第二主题表示作为第一主题表示，然后返回所述根据所述第一主题表示，通过交叉映射处理得到所述源主题的第一正例表示和所述目标主题的第二正例表示这一步骤，直至达到预设训练轮数，得到跨主题评分模型；通过所述跨主题评分模型对所述目标主题的作文进行评分，得到目标预测评分。本发明通过源主题与目标主题的交叉映射，能够减少源主题和目标主题的主题差异，进而让模型学到主题之间更多的共有信息，这使得模型可以更好地适用于跨主题评分。
附图说明
[0051]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0052]
图1为本发明实施例提供的跨主题作文自动评分方法的流程示意图；
[0053]
图2为本发明实施例提供的跨主题作文自动评分方法的概要流程示意图；
[0054]
图3为本发明实施例提供的跨主题作文自动评分方法的模型训练的流程示意图。
具体实施方式
[0055]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0056]
一方面，参照图1，本发明的实施例提供了一种跨主题作文自动评分方法，包括：
[0057]
通过编码器对源主题的作文和目标主题的作文进行编码处理，获得源主题和目标主题的主题表示；其中，主题表示包括第一表示矩阵和第二表示矩阵，第一表示矩阵为源主题的主题表示矩阵，第二表示矩阵为目标主题的主题表示矩阵；以主题表示作为第一主题表示；
[0058]
根据作文锚点表示和第一主题表示，通过交叉映射处理分别得到源主题的第一正例表示和目标主题的第二正例表示；根据先验知识，构建源主题的第一负例表示和目标主题的第二负例表示；其中，作文锚点表示包括源主题的第一作文锚点表示和目标主题的第二作文锚点表示；
[0059]
根据第一作文锚点表示，结合第一正例表示和第一负例表示，构建第一对比损失；根据第二作文锚点表示，结合第二正例表示和第二负例表示，构建第二对比损失；
[0060]
通过评分器对源主题的作文锚点表示进行评分预测，得到预测分数，结合源主题的作文锚点表示的真实分数，构建评分损失；
[0061]
根据第一对比损失、第二对比损失和评分损失，构建总体损失；基于总体损失，对模型参数进行更新处理；
[0062]
基于更新处理后的编码器对源主题的作文和目标主题的作文进行编码处理，获得源主题和目标主题的第二主题表示；以第二主题表示作为第一主题表示，然后返回根据第一主题表示，通过交叉映射处理得到源主题的第一正例表示和目标主题的第二正例表示这一步骤，直至达到预设训练轮数，得到跨主题评分模型；
[0063]
通过跨主题评分模型对目标主题的作文进行评分，得到目标预测评分。
[0064]
可选地，通过编码器对源主题的作文和目标主题的作文进行编码处理，获得源主题和目标主题的主题表示，包括：
[0065]
通过编码器对源主题的作文进行编码处理，得到第一表示矩阵，以第一表示矩阵作为源主题的主题表示；第一表示矩阵为源主题的作文的向量表示矩阵；
[0066]
和，通过编码器对目标主题的作文进行编码处理，得到第二表示矩阵，以第二表示矩阵作为目标主题的主题表示；第二表示矩阵为目标主题的作文的向量表示矩阵。
[0067]
可选地，根据作文锚点表示和第一主题表示，通过交叉映射处理分别得到源主题的第一正例表示和目标主题的第二正例表示，包括：
[0068]
将第一作文锚点表示与第二表示矩阵的转置矩阵进行点乘操作，得到第一投影表示；对第一投影表示进行线性变化操作，得到第一正例表示；
[0069]
和，将第二作文锚点表示与第一表示矩阵的转置矩阵进行点乘操作，得到第二投影表示；对第二投影表示进行线性变化操作，得到第二正例表示；
[0070]
其中，作文锚点表示为当前处理作文样本的编码表示。
[0071]
可选地，根据第一作文锚点表示，结合第一正例表示和第一负例表示，构建第一对比损失，包括：
[0072]
通过计算第一作文锚点表示与第一正例表示和第一负例表示的余弦相似度，构建第一对比损失；
[0073]
其中，第一作文锚点为源主题的第一目标批次的作文表示。
[0074]
可选地，根据第二作文锚点表示，结合第二正例表示和第二负例表示，构建第二对比损失，包括：
[0075]
通过计算第二作文锚点表示与第二正例表示和第二负例表示的余弦相似度，构建第二对比损失；
[0076]
其中，第二作文锚点为目标主题的第二目标批次的作文表示。
[0077]
可选地，根据第一对比损失、第二对比损失和评分损失，构建总体损失，包括：
[0078]
根据第一对比损失、第二对比损失和评分损失，结合对比权重和评分权重，构建总体损失；
[0079]
其中，总体损失的表达式为：
[0080][0081]
式中，表示总体损失，α表示对比权重，ls表示第一对比损失，l
t
表示第二对比损失，β表示评分权重，l
mse
表示评分损失。
[0082]
可选地，方法还包括：
[0083]
基于第一对比损失和第二对比损失，通过梯度下降，从目标方向减少源主题与目标主题的主题差异；其中，目标方向包括源主题到目标主题的第一方向和目标主题到源主题的第二方向。
[0084]
另一方面，本发明的实施例提供了一种跨主题作文自动评分系统，包括：
[0085]
第一模块，用于通过编码器对源主题的作文和目标主题的作文进行编码处理，获得源主题和目标主题的主题表示；其中，主题表示包括第一表示矩阵和第二表示矩阵，第一表示矩阵为源主题的主题表示矩阵，第二表示矩阵为目标主题的主题表示矩阵；以主题表示作为第一主题表示；
[0086]
第二模块，用于根据作文锚点表示和第一主题表示，通过交叉映射处理分别得到源主题的第一正例表示和目标主题的第二正例表示；根据先验知识，构建源主题的第一负例表示和目标主题的第二负例表示；其中，作文锚点表示包括源主题的第一作文锚点表示和目标主题的第二作文锚点表示；
[0087]
第三模块，用于根据第一作文锚点表示，结合第一正例表示和第一负例表示，构建第一对比损失；根据第二作文锚点表示，结合第二正例表示和第二负例表示，构建第二对比损失；
[0088]
第四模块，用于通过评分器对源主题的作文锚点表示进行评分预测，得到预测分数，结合源主题的作文锚点表示的真实分数，构建评分损失；
[0089]
第五模块，用于根据第一对比损失、第二对比损失和评分损失，构建总体损失；基于总体损失，对模型参数进行更新处理；
[0090]
第六模块，用于基于更新处理后的编码器对源主题的作文和目标主题的作文进行编码处理，获得源主题和目标主题的第二主题表示；以第二主题表示作为第一主题表示，然后返回根据第一主题表示，通过交叉映射处理得到源主题的第一正例表示和目标主题的第二正例表示这一步骤，直至达到预设训练轮数，得到跨主题评分模型；
[0091]
第七模块，用于通过跨主题评分模型对目标主题的作文进行评分，得到目标预测评分。
[0092]
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
[0093]
本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
[0094]
所述存储器用于存储程序；
[0095]
所述处理器执行所述程序实现如前面所述的方法。
[0096]
本发明方法实施例的内容均适用于本电子设备实施例，本电子设备实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
[0097]
本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
[0098]
本发明方法实施例的内容均适用于本计算机可读存储介质实施例，本计算机可读存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
[0099]
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
[0100]
下面结合一些具体实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0101]
为了使本技术内容及技术方案更加清楚明白，对相关术语及含义进行说明：
[0102]
作文自动评分：作文自动评分(automatic essay scoring,aes)是指使用评分模型对作文的整理质量进行评分的过程，作文自动评分被广泛应用于教育领域，可以有效减轻人工成本和评分的公平性和一致性。
[0103]
主题依赖作文自动评分：主题依赖作文自动评分(prompt-dependent automated essay scoring)是指使用相同主题下有标签作文训练数据训练一个评分模型，并对该主题的其他无标签作文进行自动评价。
[0104]
跨主题作文自动评分：跨主题作文自动评分(cross-prompt automated essay scoring)则是指使用不同主题下有标签作文训练数据训练一个评分模型，并对新主题下无标签作文的质量进行自动评价。通常，用于模型训练的不同主题被称之为源主题(scource prompt)，用于被评分作文的主题被称之为目标主题(target prompt)。
[0105]
对比学习：对比学习(contrastive learning，cl)是指拉近同一空间中语义相似的样本，而区别语义不相似的样本。近年来的研究表明，对比学习不仅可以让语义相近的更相近，还可以缓解预训练语言模型对词汇的编码过于相似的问题。对比学习的主要思路是通过构造样本的正例和负例，对待训练的锚点样本，将其拉进与正例样本的语义相似性，同时将其远离与负例样本的语义相似性。
[0106]
针对现有技术方法的不足，本发明提出了一种基于主题映射对比学习的一种跨主题作文自动评分方法，对于源主题的某个作文样本，将源主题作文在目标主题上的映射作为该样本的正例。类似的，对于目标主题的某个作文样本，将目标主题的作文在源主题上的映射作为该样本的正例。本发明的目的在于，利用对比学习的优势，让模型尽可能地学习和获取不同主题之间的共享信息，提升不同主题之间的一致性，从而提高模型在跨主题作文自动评分任务上的评分性能。
[0107]
为了更好学习不同主题文章在语义空间上的一致性，本发明了基于主题映射对比
学习的一种跨主题作文自动评分方法，核心是通过主题映射来构造对比学习的正例，通过对比学习使得模型学习到更多跨主题信息，并使得不同主题的文章在语义空间上的表示更加一致。
[0108]
假定源主题作文数据为:其中表示源主题中的第i篇作文，表示第i篇作文的分数，i＝1,2,
…
,m，m表示源主题作文的样本个数。目标主题作文数据为其中表示目标主题中的第j篇作文，j＝1,2,
…
,n，n表示目标主题中所有作文样本的个数。
[0109]
本发明主要聚焦在基于主题映射的对比学习，作文本身的编码结构可以由用户自由选择，以下使用预训练语言模型bert作为作文的编码器进行详细阐述。
[0110]
参照图2，本发明先通过将所有包含标签的源主题作文和无标签的目标主题作文作为输入，通过本发明提出的基于主题映射对比学习的跨主题作文自动评分方法训练跨主题评分模型；随后将无标签的目标主题作文作为输入，使用训练好的跨主题评分模型对目标主题作文进行预测评分，得到目标主题作文的分数。
[0111]
具体地，参照图3，其中，训练跨主题评分模型对应step1至step8，本发明的详细步骤如下：
[0112]
step1(对应s1-1)：获取源主题和目标主题的主题表示。
[0113]
(1)对于源主题中的所有作文用共享编码器进行编码，得到源主题所有作文的向量表示矩阵(即第一表示矩阵)其中表示源主题中第i篇作文的向量表示，m为源主题中作文的数量。将该向量表示矩阵称为源主题表示：文的向量表示，m为源主题中作文的数量。将该向量表示矩阵称为源主题表示：
[0114]
(2)对于目标主题中的所有作文同样使用共享编码器进行编码，得到目标主题所有作文的向量表示矩阵(即第二表示矩阵)其中表示目标主题中第j篇作文的向量表示，n为目标主题中作文样本的数量。我们将该向量表示矩阵称为目标主题表示：
[0115]
step2(对应s1-2)：对于源主题中的样本锚点构造其正例如下：
[0116]
将样本锚点的编码表示(即第一作文锚点表示)投影到目标主题中，如式(1)所示，通过将与目标主题表示h
t
的转置矩阵进行点乘操作，得到其在目标主题上的投影表示其中，表示点乘操作，h
tt
表示目标主题表示的转置矩阵。
[0117][0118]
为了方便对比学习损失的计算，对进行线性变化操作使得和的维度保持一致，将表示为源主题锚点的正例表示(即第一正例表示)。
[0119]
step3(对应s1-3)：对于目标主题中的样本锚点构造其正例如下：
[0120]
将样本锚点的编码表示(即第二作文锚点表示)投影到目标主题中，如式(2)所示，通过将与目标主题表示hs的转置矩阵进行点乘操作，得到其在目标主题上的投影表
示其中，表示点乘操作，h
st
表示目标主题表示的转置矩阵。
[0121][0122]
为了方便对比学习损失的计算，对进行线性变化操作使得和的维度保持一致，将表示为目标主题锚点的正例表示(即第二正例表示)。
[0123]
step4：构造跨主题对比学习的损失函数，通过对比学习损失函数的约束，不断缩小源主题和目标主题之间的差异。
[0124]
对应s1-4，针对源主题，用代表某一个批次(batch)中的源主题作文表示，对于其中某个作文的表示其正例是它在目标主题上的映射表示目的是为了让锚点能够和它在目标主题上的映射互相靠近；对于负例，没有特殊设计，为了方便描述，可以使用现有的方法构造负例，例如将同一个批次中其它作文的表示及它们的映射表示作为负例。通过分别计算和正例以及负例的余弦相似度，进而构造对比学习的损失函数(即第一对比损失)ls，利用神经网络训练中的梯度下降不断增大与正例的相似度并减小与负例的相似度，可以从源主题到目标主题逐步减少两个主题之间的差异。
[0125]
对应s1-5，针对目标主题，用代表某一个批次中的目标主题作文表示，对于其中某个作文的表示其正例是它在目标主题上的映射表示目的是为了让锚点能够和它在源主题上的映射互相靠近，将同一个批次中其它作文的表示及它们的映射表示作为负例。通过分别计算和正例以及负例的余弦相似度，进而构造对比学习的损失函数(即第二对比损失)l
t
，利用神经网络训练中的梯度下降不断增大与正例的相似度和减小与负例的相似度，可以从目标主题到源主题逐步减少两个主题之间的差异。
[0126]
至此，分别从源主题到目标主题以及从目标主题到源主题这两个方向，构造跨主题对比学习的损失函数，通过梯度下降，可以从两个方向同时不断减少主题之间的差异。
[0127]
step5(对应s1-6)：将编码后的源主题作文表示输入评分器预测得到作文分数，并依据作文的真实分数计算评分损失。
[0128]
通过用均方误差(mean-square error,mse)作为评分任务的损失函数。对于源主题中某一批次的作文表示其真实分数为评分器预测的分数为以此计算评分损失l
mse
。
[0129]
step6(对应s1-7)：计算跨主题评分训练模型的总损失为：
[0130][0131]
其中，α代表对比学习的权重，β代表评分任务的权重。用该损失函数进行梯度更新，同时更新编码器、评分器和线性变化的参数。
[0132]
step7(对应s1-8)：当执行完所有批次的训练样本之后，使用更新好参数的编码器获得下一轮的源主题和目标主题的主题表示矩阵hs和h
t
。
[0133]
step8(对应s1-9):重复步骤step2至step7，训练一定轮数，获得跨主题评分模型。
[0134]
step9：输入目标主题作文到训练好的跨主题评分模型，得到最终预测的评分。
[0135]
综上所述，本发明实施例提供了一种基于主题映射对比学习的一种跨主题作文自动评分方法，对于源主题的某个作文样本，将源主题作文在目标主题上的映射作为该样本
的正例。类似的，对于目标主题的某个作文样本，将目标主题的作文在源主题上的映射作为该样本的正例。本发明的目的在于，利用对比学习的优势，让模型尽可能地学习和获取不同主题之间的共享信息，提升不同主题之间的一致性，从而提高模型在跨主题作文自动评分任务上的评分性能。与现有技术相比，本发明具有以下优点：通过将源主题作文在目标主题上的映射作为正例，以及反向将目标主题作文在源主题上的映射作为正例，从而不断减少源主题和目标主题作文之间的主题差异，进而让模型学到主题之间更多的共享信息，这使得模型可以更好地适用于跨主题评分。
[0136]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0137]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0138]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0139]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行装置、装置或设备(如基于计算机的装置、包括处理器的装置或其他可以从指令执行装置、装置或设备取指令并执行指令的装置)使用，或结合这些指令执行装置、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行装置、装置或设备或结合这些指令执行装置、装置或设备而使用的装置。
[0140]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存
储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0141]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0142]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0143]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0144]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。