试题文本评分方法、装置、电子设备及存储介质与流程

1.本发明涉及自然语言处理技术领域，尤其涉及一种试题文本评分方法、装置、电子设备及存储介质。


背景技术：

2.在日常教学活动中，数学学科中的试题文本的评分和批改尤为重要，这类题型可以考察学生的综合能力。在数学解答题里面有一类特殊的试题，其为数学证明题，该题型重点考察学生的逻辑推理能力，每个步骤之间存在严格的推导逻辑，可能是某个定理或推论，如何利用人工智能算法实现数学试题文本的智能评分和批改，是当前教育和人工智能领域的一个重要研究课题。
3.现有的数学解答题评分方案一般是训练一个回归模型，输入试题的题干文本标准答案和作答文本，最终得到一个得分预测模型；该方案的核心思想在于训练一个可以表征学生作答文本的向量，通常利用大量的作答数据训练一个语言模型，然后基于模型表示，利用评分结果作为监督信号训练一个得分预测模型。
4.这类得分预测模型一般用于对常规的解答题进行评分，对于证明题这种带有显示推理逻辑的试题文本，当前方案的建模粒度较粗，评分原则基本依赖相似度。而对于证明题，学生一般也可写出一定的推导，而作答文本中里面存在很多无效或者不符合推理逻辑但作答步骤充实的推理，此类推理对于评分会存在较大干扰，容易出现预测得分偏高情况，导致评分结果可靠性差。


技术实现要素：

5.本发明提供一种试题文本评分方法、装置、电子设备及存储介质，用以解决现有技术中建模粒度较粗，评分原则基本依赖相似度，导致评分结果可靠性差的缺陷。
6.本发明提供一种试题文本评分方法，包括：
7.获取目标试题文本；
8.根据所述目标试题文本，获取所述目标试题文本中作答文本对应的作答特征，以及所述目标试题文本中答案文本的各解题思路对应的答案特征；
9.根据所述作答特征和各解题思路对应的答案特征，获取所述作答文本对应的评分结果；
10.其中，所述作答特征包括关键作答步骤、所述关键作答步骤对应的定理特征、所述关键作答步骤对应的推理特征；所述答案特征包括关键答案步骤、所述关键答案步骤对应的定理特征和所述关键答案步骤对应的推理特征。
11.根据本发明提供的一种试题文本评分方法，所述根据所述目标试题文本，获取所述目标试题文本中作答文本对应的作答特征，以及所述目标试题文本中答案文本的各解题思路对应的答案特征，包括：
12.根据所述目标试题文本，确定输入信息；
13.将所述输入信息输入至文本特征预测模型的共享特征层，得到所述目标试题文本的共享特征；
14.将所述共享特征输入至所述文本特征预测模型的定理预测分支模型，得到所述作答文本的关键作答步骤、所述关键作答步骤对应的定理特征，以及各解题思路的关键答案步骤、所述关键答案步骤对应的定理特征；
15.将所述共享特征、所述关键作答步骤和所述关键答案步骤输入至所述文本特征预测模型的推理预测分支模型，得到所述作答文本的关键作答步骤对应的推理特征以及各解题思路的关键答案步骤对应的推理特征。
16.根据本发明提供的一种试题文本评分方法，所述文本特征预测模型是基于初始化特征预测模型中初始定理预测分支模型的损失函数和所述初始化特征预测模型中初始推理预测分支模型的损失函数，进行联合训练得到的。
17.根据本发明提供的一种试题文本评分方法，所述目标试题文本包括题干文本、所述答案文本和所述作答文本；
18.所述根据所述目标试题文本，确定输入信息，包括：
19.根据所述题干文本、所述答案文本和所述作答文本，确定所述输入信息。
20.根据本发明提供的一种试题文本评分方法，所述根据所述题干文本、所述答案文本和所述作答文本，确定所述输入信息，包括：
21.对所述答案文本中各解题思路的各步骤以及所述作答文本中的各步骤进行位置编码；
22.对所述题干文本、编码后的答案文本和编码后的作答文本进行拼接，得到所述输入信息。
23.根据本发明提供的一种试题文本评分方法，所述根据所述作答特征和各解题思路对应的答案特征，获取所述作答文本对应的评分结果，包括：
24.将所述作答特征和各解题思路对应的答案特征输入至评分预测模型的特征交互层，得到交互特征；
25.将所述交互特征输入至所述评分预测模型的解题思路预测分支模型，在所述答案文本的所有解题思路中，确定与所述作答文本匹配的解题思路；
26.将与所述作答文本匹配的解题思路以及所述交互特征，输入至所述评分预测模型的得分预测分支模型，得到所述作答文本对应的得分；
27.将与所述作答文本匹配的解题思路和所述得分，作为所述评分结果。
28.根据本发明提供的一种试题文本评分方法，所述评分预测模型是基于初始化评分预测模型中初始得分预测分支模型的损失函数和所述初始化评分预测模型中初始解题思路预测分支模型的损失函数，进行联合训练得到的。
29.本发明还提供一种试题文本评分装置，包括：
30.获取单元，用于获取目标试题文本；
31.特征提取单元，用于根据所述目标试题文本，获取所述目标试题文本中作答文本对应的作答特征，以及所述目标试题文本中答案文本的各解题思路对应的答案特征；
32.评分单元，用于根据所述作答特征和各解题思路对应的答案特征，获取所述作答文本对应的评分结果；
33.其中，所述作答特征包括关键作答步骤、所述关键作答步骤对应的定理特征、所述关键作答步骤对应的推理特征；所述答案特征包括关键答案步骤、所述关键答案步骤对应的定理特征和所述关键答案步骤对应的推理特征。
34.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述试题文本评分方法。
35.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述试题文本评分方法。
36.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述试题文本评分方法。
37.本发明提供的试题文本评分方法、装置、电子设备及存储介质，通过对目标试题文本进行识别，得到目标试题文本中作答文本对应的关键作答步骤、关键作答步骤对应的定理特征、关键作答步骤对应的推理特征，以及目标试题文本中答案文本的各解题思路对应的关键答案步骤、关键答案步骤对应的定理特征和关键答案步骤对应的推理特征，综合考虑作答文本以及答案文本中的推导步骤以及推导逻辑等多维特征，据此进行作答文本评分，能够避免由于建模粒度较粗，评分原则基本依赖相似度，导致评分结果可靠性差的问题，实现提高试题文本评分的可靠性和合理性。
附图说明
38.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1是本发明提供的试题文本评分方法的流程示意图之一；
40.图2是本发明提供的试题文本评分方法的流程示意图之二；
41.图3是本发明提供的试题文本评分方法的流程示意图之三；
42.图4是本发明提供的试题文本评分方法中评分预测模型的结构示意图；
43.图5是本发明提供的试题文本评分装置的结构示意图；
44.图6是本发明提供的电子设备的结构示意图。
具体实施方式
45.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.通常，证明题虽然属于解答题，但与简单的解答题之间存在较多的差别，关键在于证明题中涉及较多的推导逻辑以及定理，有非常严格上下文逻辑关系，是证明题精细化评分的最大难点。
47.现有技术中的评分预测模型，建模粒度较粗，评分原则基本依赖相似度，而对于证
明题这种带有显示推理逻辑的试题文本，学生作答文本中通常包含很多无效或者不符合推理逻辑但作答步骤充实的推理过程，对于评分会存在较大干扰，容易出现预测得分偏高情况。因此需要进一步细化学生的每个步骤的表示以及步骤间的逻辑关系。
48.通常，在对学生作答文本进行评分时，需要按照老师的教学经验，数学证明题的评分标准需要明确知道学生作答每个步骤用到的定理或者原理，同时需要判断前后两个步骤之间的推导是否合理，根据学生的推导逻辑，明确学生作答思路，并与标准答案的多种作答思路比对，根据步骤对错的占比，关键步骤是否达到情况，综合给出学生作答的具体得分。因此，如何使评分模型能够精准预测每个关键步骤的定理或者考察点，同时精准地预测步骤间的推导关系是目标业界亟待解决的重要课题。
49.由此，本实施例针对上述现有技术中评分预测模型的建模粒度较粗，评分原则基本依赖相似度，导致评分结果可靠性差的问题，提出一种试题文本评分方法，通过利用深度学习的方法自动识别出试题文本中的关键步骤，关键步骤使用的定理特征，步骤间的推理特征，并进一步去判断学生的作答思路，综合学习试题文本中的多维重要特征，模拟老师批改试题文本过程中的标准，实现对试题文本的自动评分，提高了试题文本评分的可靠性和合理性。
50.如图1所示，为本实施例提供的试题文本评分方法的流程示意图之一，该方法包括如下步骤：
51.步骤101，获取目标试题文本；
52.其中，目标试题文本中包括但不限于目标试题的答案文本和目标试题的作答文本，本实施例对此不做具体地限定，如还包括目标试题的题干文本。答案文本包括目标试题对应的标准答案，作答文本包含一个或多个学生对目标试题进行作答的作答结果。
53.目标试题文本对应的试题可以是数学证明题，也可以是物理证明题等，本实施例对此不做具体地限定。
54.可选地，获取目标试题的答案文本、目标试题的作答文本以及目标试题的题干，以根据目标试题的答案文本、目标试题的作答文本确定目标试题文本，或者根据目标试题的答案文本、目标试题的作答文本和目标试题的题干文本确定目标试题文本。
55.步骤102，根据所述目标试题文本，获取所述目标试题文本中作答文本对应的作答特征，以及所述目标试题文本中答案文本的各解题思路对应的答案特征；其中，所述作答特征包括关键作答步骤、所述关键作答步骤对应的定理特征、所述关键作答步骤对应的推理特征；所述答案特征包括关键答案步骤、所述关键答案步骤对应的定理特征和所述关键答案步骤对应的推理特征；
56.其中，每一目标试题的答案文本包括一种或多种解题思路(下文也称证明思路)，本实施例对具体数量不做具体地限定。
57.作答特征包括但不限于关键作答步骤、关键作答步骤对应的定理特征、关键作答步骤对应的推理特征；关键作答步骤为解答目标题目所必须的步骤；定理特征为关键作答步骤所采用的证明定理；
58.示例性地，由于证明题的作答逻辑为根据目标题目的题干文本中已有的条件或者上一步证明得到的结论作为已知条件，然后根据某个定理或者推论(下文统一描述为定理)得到下一步的结论，如作答文本包含的作答内容为“因为ab//cd，cd//ef，所以ab//ef”，其
中，作答文本中使用了定理“平行线的传递性：如果两条直线都和第三条直线平行，那么这两条直线也互相平行。”；由此，确定“ab//ef”是作答文本中的关键作答步骤之一，该关键作答步骤对应的定理特征为“平行线的传递性”。
59.推理特征为关键作答步骤与其他步骤之间的推理关系，包括但不限定于推导关系或并列关系。
60.示例性地，如作答文本包含的作答内容为“因为ab//cd，cd//ef，所以ab//ef”；其中，“ab//cd”和“cd//ef”这两个步骤之间的推理关系为并列关系，“ab//cd”、“d//ef”和“ab//ef”之间的推理关系为推导关系。
61.可选地，在获取到目标试题文本之后，可以从目标试题文本中识别出作答文本中的所有关键作答步骤、各关键作答步骤对应的定理特征，以及各关键作答步骤对应的推理特征；并识别出答案文本中各解题思路中的所有关键答案步骤，各关键答案步骤对应的定理特征，以及各关键答案步骤对应的推理特征，以便根据作答文本对应的作答特征，以及答案文本的各解题思路对应的答案特征，确定学生作答的作答逻辑，进而实现对作答文本的精准评分。
62.需要说明的是，获取目标试题文本中作答文本对应的作答特征，以及目标试题文本中答案文本的各解题思路对应的答案特征可以是通过一种或多种神经网络构建的预测模型实现的。示例性地，基于一种预测模型，整体进行关键步骤识别、定理特征预测以及推理特征预测，得到目标试题文本中作答文本对应的作答特征，以及目标试题文本中答案文本的各解题思路对应的答案特征；或者基于两种预测模型中的一种预测模型局部进行关键步骤识别、定理特征预测，并基于两种预测模型中的另一种预测模型局部进行推理特征预测，通过汇总这种预测模型的预测结果，得到目标试题文本中作答文本对应的作答特征，以及目标试题文本中答案文本的各解题思路对应的答案特征，本实施例对此不做具体地限定。
63.步骤103，根据所述作答特征和各解题思路对应的答案特征，获取所述作答文本对应的评分结果；
64.其中，评分结果中可以包括作答文本对应的得分，或者还可以包括作答文本对应的解题思路，即用于实现评分预测的预测模型可以是单任务模型也可以是多任务模型，具体需要根据评分需求进行确定。
65.示例性地，在评分结果中包括得分和解题思路的情况下，用于实现评分预测的预测模型可以为多任务模型，在评分结果中包括得分的情况下，用于实现评分预测的预测模型可以为单任务模型或多任务模型。
66.可选地，在获取到作答特征和各解题思路对应的答案特征之后，可以对作答特征和各解题思路对应的答案特征进行特征交互，以确定作答文本所属的解题思路；
67.并根据作答文本所属的解题思路以及作答特征，计算作答文本对应的得分；以根据得分，或者得分和解题思路，获取作答文本对应的评分结果。
68.此外，针对作答文本对应的评分结果，可用于实现自动化试题批改和错因分析等功能，以实现通过对作答文本的自动评分，辅助老师提升批改效率、减轻作业批改负担，以及提高学生错因分析的效率。
69.例如，在自动化试题批改场景下，可以根据每个学生作答文本的得分、作答文本所
属的解题思路对应的标准答案，以及作答文本的作答特征，批改出作答文本中每一关键步骤的得分；又例如，在错因分析场景下，可以基于作答文本中每一关键步骤的得分，对照答案文本中的答案特征，进行错因分析。
70.本实施例提供的试题文本评分方法，通过对目标试题文本进行识别，得到目标试题文本中作答文本对应的关键作答步骤、关键作答步骤对应的定理特征、关键作答步骤对应的推理特征，以及目标试题文本中答案文本的各解题思路对应的关键答案步骤、关键答案步骤对应的定理特征和关键答案步骤对应的推理特征，综合考虑作答文本以及答案文本中的推导步骤以及推导逻辑等多维特征，据此进行作答文本评分，能够避免由于建模粒度较粗，评分原则基本依赖相似度，导致评分结果可靠性差的问题，实现提高试题文本评分的可靠性和合理性。
71.在一些实施例中，如图2所示，步骤102进一步包括：
72.步骤1021，根据所述目标试题文本，确定输入信息；
73.步骤1022，将所述输入信息输入至文本特征预测模型的共享特征层，得到所述目标试题文本的共享特征；
74.步骤1023，将所述共享特征输入至所述文本特征预测模型的定理预测分支模型，得到所述作答文本的关键作答步骤、所述关键作答步骤对应的定理特征，以及各解题思路的关键答案步骤、所述关键答案步骤对应的定理特征；
75.步骤1024，将所述共享特征、所述关键作答步骤和所述关键答案步骤输入至所述文本特征预测模型的推理预测分支模型，得到所述作答文本的关键作答步骤对应的推理特征以及各解题思路的关键答案步骤对应的推理特征。
76.其中，文本特征预测模型用于对目标试题文本进行特征提取，以从中获取作答文本对应的作答特征，以及答案文本的各解题思路对应的答案特征。
77.文本特征预测模型包括共享特征层、定理预测分支模型和推理预测分支模型。
78.其中，共享特征层为定理预测分支模型和推理预测分支模型共享的特征提取层，即定理预测分支模型和推理预测分支模型共用同一套底层的向量表示进行参数共享；共享特征层可以是基于bert(bidirectional encoder representations from transformer，预训练的语言表征模型)或者lstm(long short-term memory，长短期记忆)模型构建生成的，用于进行文本特征提取。
79.定理预测分支模型针对目标试题文本中的关键步骤，进行步骤级别的定理预测，可以是基于softmax分类层构建生成的。
80.推理预测分支模型用于在答案文本和作答文本中，对每个关键步骤与其他步骤之间的推理关系进行预测，得到每个关键步骤对应的推理特征。推理预测分支模型的输入和定理预测分支模型的输入相同，每次拼接每个步骤的上一步和下一步，最终组拼接成一个向量进行分类，以预测出每个关键步骤对应的推理特征，其也可以是基于softmax分类层构建生成的，但与上述定理预测分支模型的分类层相互独立。
81.可选地，在执行步骤1021之前，可以预先训练文本特征预测模型，具体步骤包括：
82.首先，创建初始化特征预测模型，此处的初始化特征预测模型为用于实现定理预测任务和推理预测任务的多任务模型，包括初始共享特征层、初始定理预测分支模型和初始推理预测分支模型。
83.其中，初始共享特征层可以是参数初始化后预备用于特征提取的模块，也可以是预先训练好的具备特征提取功能的模块；同样地，预测分支模型中的各分支模型可以是参数初始化后预备用于预测的分支模型，也可以是预先训练好的具备预测功能的分支模型，本实施例对此不作具体限定。
84.此外，还可以收集样本试题文本以及样本试题文本中样本作答文本对应的作答特征标签以及样本答案文本的各解题思路对应的答案特征标签；
85.随后，即可将样本试题文本作为初始化特征预测模型的输入，由初始化特征预测模型中的初始共享特征层对样本试题文本进行共享特征提取，得到样本共享特征，再由初始定理预测分支模型和初始推理预测分支模型预测进行特征预测，以输出样本作答文本对应的样本作答特征，以及样本答案文本的各解题思路对应的样本答案特征，在得到样本作答特征和样本答案特征之后，即可基于样本答案特征、样本作答特征以及样本作答文本的作答特征标签和样本答案文本的答案特征标签，对初始化特征预测模型的参数进行迭代训练，从而得到文本特征预测模型。
86.在获取到文本特征预测模型之后，可以直接将目标试题文本作为文本特征预测模型的输入信息，或者对目标试题文本进行编码处理和/或拼接处理等预处理之后，作为文本特征预测模型的输入信息，本实施例对此不作具体地限定。
87.然后，基于文本特征预测模型的共享特征层，对输入信息进行共享特征提取，得到目标试题文本的共享特征；基于文本特征预测模型的定理预测分支模型，提取出目标试题文本中的作答文本的关键作答步骤和识别出关键作答步骤对应的定理特征，以及提取出目标试题文本中的答案文本的关键答案步骤和识别出关键答案步骤对应的定理特征。
88.接着，基于文本特征预测模型的推理预测分支模型，根据共享特征以及步骤1023中获取的关键作答步骤和关键答案步骤，获取各关键作答步骤与其他作答步骤之间的推理关系(下文也称推理特征)，以及各关键答案步骤与其他答案步骤之间的推理关系。
89.本实施例通过多任务的文本特征预测模型，可以精准地提取到作答文本和答案文本的解答试题过程中使用的定理和公理以及各关键步骤对应的推理关系，由此对作答文本进行评分，相对于常见的根据相似度计算评分的技术，本实施例提供的试题文本评分方法根据目标试题文本中的推导逻辑、定理，以及上文逻辑关系，进行更加精细化的建模，可有效解决得分偏高的问题，使得试题文本评分更加精细、精准，进而提高试题文本评分的可靠性和合理性。
90.在一些实施例中，所述文本特征预测模型是基于初始化特征预测模型中初始定理预测分支模型的损失函数和所述初始化特征预测模型中初始推理预测分支模型的损失函数，进行联合训练得到的。
91.可选地，文本特征预测模型的训练步骤具体包括：
92.首先，将样本试题文本作为初始化特征预测模型的输入，由初始化特征预测模型中的初始共享特征层对样本试题文本进行共享特征提取，得到样本共享特征，再由初始定理预测分支模型和初始推理预测分支模型预测输出样本作答文本对应的样本作答特征，以及样本答案文本的各解题思路对应的样本答案特征；
93.在得到样本作答特征和样本答案特征之后，可基于样本答案特征中的样本关键答案步骤、样本关键答案步骤对应的定理特征、样本作答特征中的样本关键作答步骤、样本关
键作答步骤对应的定理特征，以及样本答案文本的答案特征标签中的关键答案步骤标签、关键答案步骤标签对应的定理标签、样本作答文本的作答特征标签中的关键作答步骤标签、关键作答步骤标签对应的定理标签，计算初始定理预测分支模型的损失函数；
94.基于样本答案特征中的样本关键答案步骤对应的推理特征、样本作答特征中的样本关键作答步骤对应的推理特征，以及样本答案文本的答案特征标签中的关键答案步骤标签对应的推理标签、样本作答文本的作答特征标签中的关键作答步骤标签对应的推理标签，计算初始定理预测分支模型的损失函数；
95.对初始定理预测分支模型的损失函数和初始定理预测分支模型的损失函数进行融合，得到初始化特征预测模型的总损失函数，并根据总损失函数，进行反向传播训练，以同步更新初始化特征预测模型中的多任务分支模型的参数，直到初始化特征预测模型满足训练终止条件，得到文本特征预测模型；训练终止条件包括达到最大训练次数或者模型性能满足最佳性能要求，本实施例对此不作具体地限定。
96.其中，总损失函数的获取方式，可以是将初始定理预测分支模型的损失函数和初始定理预测分支模型的损失函数进行加权相加后，得到总损失函数。损失函数的权重可以根据训练数据集对初始化特征预测模型进行训练过程中得到的训练性能进行适应地调整。
97.本实施例中，在文本特征预测模型过程中，联合初始化特征预测模型中的初始定理预测分支模型的损失函数和初始推理预测分支模型的损失函数，通过多个分支模型之间的相互学习、相互促进、相互补充、相互分享进行协同训练，使得训练得到的文本特征预测模型的模型性能更优，具备更强的语义合理性，进一步提高试题文本评分的精准性。
98.在一些实施例中，所述目标试题文本包括题干文本、所述答案文本和所述作答文本；
99.所述根据所述目标试题文本，确定输入信息，包括：
100.根据所述题干文本、所述答案文本和所述作答文本，确定所述输入信息。
101.其中，题干文本为目标试题的题干，用于辅助提高答案文本和作答文本的特征抽取的高效性和精准性。
102.可选地，在对目标试题文本中的答案文本以及作答文本进行特征提取时，可直接联合题干文本、答案文本和作答文本，作为文本特征预测模型的输入信息，也可以对题干文本、答案文本和作答文本中的一种或多种组合进行编码和/或拼接处理之后，作为文本特征预测模型的输入信息，以实现更加精准高效地抽取出答案文本以及作答文本中的关键步骤、定理特征以及推理特征，进而提高试题文本的评分准确性。
103.在一些实施例中，所述根据所述题干文本、所述答案文本和所述作答文本，确定所述输入信息，包括：
104.对所述答案文本中各解题思路的各步骤以及所述作答文本中的各步骤进行位置编码；
105.对所述题干文本、编码后的答案文本和编码后的作答文本进行拼接，得到所述输入信息。
106.可选地，在确定文本特征预测模型的输入信息时，可以预先对答案文本中各解题思路的各步骤以及作答文本中的各步骤进行位置编码，以便文本特征预测模型可以更加精准获取每一步骤的位置特点，实现进一步更加精准高效地抽取出答案文本以及作答文本中
的关键步骤、定理特征以及推理特征，进而提高试题文本的评分准确性。
107.示例性地，预先对答案文本中各解题思路的各步骤以及作答文本中的各步骤的第一字符之前增加一个特殊字符，以唯一标记每一步骤的位置信息，还可以对题干文本、编码后的答案文本和编码后的作答文本进行拼接，以将其拼接为一个长字符文本，以得到输入信息；文本特征预测模型根据输入信息进行输出时，可以根据特殊字符进行向量表示，以精准输出目标试题文本中作答文本对应的作答特征，以及答案文本的各解题思路对应的答案特征。
108.在一些实施例中，如图3所示，步骤103中获取作答文本对应的评分结果的步骤进一步包括：
109.步骤1031，将所述作答特征和各解题思路对应的答案特征输入至评分预测模型的特征交互层，得到交互特征；
110.步骤1032，将所述交互特征输入至所述评分预测模型的解题思路预测分支模型，在所述答案文本的所有解题思路中，确定与所述作答文本匹配的解题思路；
111.步骤1033，将与所述作答文本匹配的解题思路以及所述交互特征，输入至所述评分预测模型的得分预测分支模型，得到所述作答文本对应的得分；
112.步骤1034，将与所述作答文本匹配的解题思路和所述得分，作为所述评分结果。
113.其中，评分预测模型用于对目标试题文本进行得分预测以及证明思路识别。如图4所示，评分预测模型包括特征交互层、解题思路预测分支模型和得分预测分支模型；
114.其中，特征交互层为解题思路预测分支模型和得分预测分支模型共享的特征交互层，即解题思路预测分支模型和得分预测分支模型共用同一套底层的向量表示进行参数共享；特征交互层可以是基于多层transformers(采用自注意力机制的深度学习模型)层构建生成的，用于进行交互特征提取，如12层transformers层构建形成。
115.解题思路预测分支模型可以是基于分类器模型构建生成，用于识别作答文本所属的解题思路。
116.得分预测分支模型可以是基于回归器模型构建生成，用于预测作答文本对应的得分。
117.可选地，在执行步骤1031之前，可以预先训练评分预测模型，具体步骤包括：
118.首先，创建初始化评分预测模型，此处的初始化评分预测模型为用于实现解题思路预测任务和得分预测任务的多任务模型，包括初始编码层、初始解题思路预测分支模型和初始得分预测分支模型。
119.此外，还可以收集样本试题文本以及样本试题文本中样本作答文本对应的解题思路标签以及得分标签；随后，即可将样本试题文本的作答特征和答案特征作为初始化评分预测模型的输入，由初始化评分预测模型基于初始编码层、初始解题思路预测分支模型和初始得分预测分支模型，推理预测得到样本作答文本的解题思路预测结果以及得分预测结果；基于样本作答文本的解题思路预测结果和得分预测结果，以及样本作答文本的解题思路标签和得分标签，对初始化评分预测模型的参数进行迭代训练，从而得到评分预测模型。
120.在获取到评分预测模型之后，可将作答文本的向量表示以及作答文本的向量表示进行拼接作为输入信息。
121.其中，作答文本的向量表示包括在步骤102中获取的作答特征的向量表示，答案文
本的向量表示包括在步骤102中获取的答案文本中所有解题思路对应的答案特征的向量表示。
122.示例性地，作答文本的向量表示为{解题思路1对应的向量表示，解题思路2对应的向量表示，
…
，解题思路i对应的向量表示，
…
，解题思路n对应的向量表示}，其中，n为答案文本中包含的解题思路的数量。
123.如图4所示，将基于作答文本的向量表示以及作答文本的向量表示确定的输入信息，输入至评分预测模型的特征交互层，以由特征交互层根据作答文本对应的作答特征和答案文本中各解题思路对应的答案特征进行特征交互，得到交互特征；
124.将交互特征输入分别至解题思路预测分支模型，由解题思路预测分支模型，基于分类器对交互特征进行识别，以在答案文本的所有解题思路中，识别出与作答文本匹配的解题思路。
125.接着，由得分预测分支模型，基于回归器，根据交互特征以及与作答文本匹配的解题思路，对作答文本进行得分预测，输入作答文本的得分率，进而根据得分率，得到作答文本对应的得分。
126.在获取到得分之后，可以与作答文本匹配的解题思路和得分，共同作为作答文本的评分结果，以实现精准预测得分的同时，可以精准获取学生具体的解题思路，便于在作答文本未达满分时，学生可以根据预测得到的证明思路进行具体的错因分析。
127.本实施例中，通过结合作答文本中的关键作答步骤、定理特征、推理特征以及答案文本中的关键答案步骤、定理特征和推理特征，同时综合答案文本中的多种解题思路，自适应地评判作答文本所属的解题思路，从而进一步地给出评分结果。该方案区别于一般解答题的评分方法，不仅关注最终的证明结论，还会关注学生步骤间的推导逻辑，关键步骤是否存在，进而给出更加合理、更加精准的评分结果。
128.在一些实施例中，所述评分预测模型是基于初始化评分预测模型中初始得分预测分支模型的损失函数和所述初始化评分预测模型中初始解题思路预测分支模型的损失函数，进行联合训练得到的。
129.可选地，评分预测模型的训练步骤具体包括：
130.将样本试题文本的作答特征和答案特征作为初始化评分预测模型的输入，由初始化评分预测模型基于初始编码层、初始解题思路预测分支模型和初始得分预测分支模型，推理预测得到样本作答文本的解题思路预测结果以及得分预测结果。
131.可基于样本作答文本的解题思路预测结果和样本作答文本的解题思路标签之间的偏差，得到初始解题思路预测分支模型的损失函数；基于样本作答文本的得分预测结果和样本作答文本的得分标签之间的偏差，得到初始得分预测分支模型的损失函数。
132.对初始解题思路预测分支模型的损失函数和初始得分预测分支模型的损失函数进行融合，得到初始化评分预测模型的总损失函数，并根据总损失函数，进行反向传播训练，以同步更新初始化评分预测模型中的多任务分支模型的参数，直到初始化评分预测模型满足训练终止条件，得到评分预测模型；训练终止条件包括达到最大训练次数或者模型性能满足最佳性能要求，本实施例对此不作具体地限定。
133.其中，初始化评分预测模型的总损失函数，可以是初始解题思路预测分支模型的损失函数和初始得分预测分支模型的损失函数进行加权相加后得到的。
134.本实施例中，在评分预测模型训练过程中，联合初始化特征预测模型中的初始化评分预测模型的损失函数和初始得分预测分支模型的损失函数，通过多个分支模型之间的相互学习、相互促进、相互补充、相互分享进行协同训练，使得训练得到的评分预测模型的模型性能更优，具备更强的评分合理性，进一步提高试题文本评分的精准性。
135.下面对本发明提供的试题文本评分装置进行描述，下文描述的试题文本评分装置与上文描述的试题文本评分方法可相互对应参照。
136.如图5所示，为本实施例提供的试题文本评分装置的结构示意图，该装置包括：
137.获取单元501用于获取目标试题文本；
138.特征提取单元502用于根据所述目标试题文本，获取所述目标试题文本中作答文本对应的作答特征，以及所述目标试题文本中答案文本的各解题思路对应的答案特征；
139.评分单元503用于根据所述作答特征和各解题思路对应的答案特征，获取所述作答文本对应的评分结果；
140.其中，所述作答特征包括关键作答步骤、所述关键作答步骤对应的定理特征、所述关键作答步骤对应的推理特征；所述答案特征包括关键答案步骤、所述关键答案步骤对应的定理特征和所述关键答案步骤对应的推理特征。
141.本实施例提供的试题文本评分装置，通过对目标试题文本进行识别，得到目标试题文本中作答文本对应的关键作答步骤、关键作答步骤对应的定理特征、关键作答步骤对应的推理特征，以及目标试题文本中答案文本的各解题思路对应的关键答案步骤、关键答案步骤对应的定理特征和关键答案步骤对应的推理特征，综合考虑作答文本以及答案文本中的推导步骤以及推导逻辑等多维特征，据此进行作答文本评分，能够避免由于建模粒度较粗，评分原则基本依赖相似度，导致评分结果可靠性差的问题，实现提高试题文本评分的可靠性和合理性。
142.在一些实施例中，特征提取单元502具体用于：
143.根据所述目标试题文本，确定输入信息；
144.将所述输入信息输入至文本特征预测模型的共享特征层，得到所述目标试题文本的共享特征；
145.将所述共享特征输入至所述文本特征预测模型的定理预测分支模型，得到所述作答文本的关键作答步骤、所述关键作答步骤对应的定理特征，以及各解题思路的关键答案步骤、所述关键答案步骤对应的定理特征；
146.将所述共享特征、所述关键作答步骤和所述关键答案步骤输入至所述文本特征预测模型的推理预测分支模型，得到所述作答文本的关键作答步骤对应的推理特征以及各解题思路的关键答案步骤对应的推理特征。
147.在一些实施例中，所述文本特征预测模型是基于初始化特征预测模型中初始定理预测分支模型的损失函数和所述初始化特征预测模型中初始推理预测分支模型的损失函数，进行联合训练得到的。
148.在一些实施例中，所述目标试题文本包括题干文本、所述答案文本和所述作答文本；
149.该装置还包括确定单元，具体用于：
150.根据所述题干文本、所述答案文本和所述作答文本，确定所述输入信息。
151.在一些实施例中，确定单元还用于：
152.对所述答案文本中各解题思路的各步骤以及所述作答文本中的各步骤进行位置编码；
153.对所述题干文本、编码后的答案文本和编码后的作答文本进行拼接，得到所述输入信息。
154.在一些实施例中，评分单元503，具体用于：
155.将所述作答特征和各解题思路对应的答案特征输入至评分预测模型的特征交互层，得到交互特征；
156.将所述交互特征输入至所述评分预测模型的解题思路预测分支模型，在所述答案文本的所有解题思路中，确定与所述作答文本匹配的解题思路；
157.将与所述作答文本匹配的解题思路以及所述交互特征，输入至所述评分预测模型的得分预测分支模型，得到所述作答文本对应的得分；
158.将与所述作答文本匹配的解题思路和所述得分，作为所述评分结果。
159.在一些实施例中，所述评分预测模型是基于初始化评分预测模型中初始得分预测分支模型的损失函数和所述初始化评分预测模型中初始解题思路预测分支模型的损失函数，进行联合训练得到的。
160.图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(communications interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行试题文本评分方法，该方法包括：获取目标试题文本；根据所述目标试题文本，获取所述目标试题文本中作答文本对应的作答特征，以及所述目标试题文本中答案文本的各解题思路对应的答案特征；根据所述作答特征和各解题思路对应的答案特征，获取所述作答文本对应的评分结果；其中，所述作答特征包括关键作答步骤、所述关键作答步骤对应的定理特征、所述关键作答步骤对应的推理特征；所述答案特征包括关键答案步骤、所述关键答案步骤对应的定理特征和所述关键答案步骤对应的推理特征。
161.此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
162.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的试题文本评分方法，该方法包括：获取目标试题文本；根据所述目标试题文本，获取所述目标试题文本中作答文本对应的作答特征，以及所述目标试题文本中答案文本的各解题思路对应的答案特征；根据所述作答特征和各解题思路
对应的答案特征，获取所述作答文本对应的评分结果；其中，所述作答特征包括关键作答步骤、所述关键作答步骤对应的定理特征、所述关键作答步骤对应的推理特征；所述答案特征包括关键答案步骤、所述关键答案步骤对应的定理特征和所述关键答案步骤对应的推理特征。
163.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的试题文本评分方法，该方法包括：获取目标试题文本；根据所述目标试题文本，获取所述目标试题文本中作答文本对应的作答特征，以及所述目标试题文本中答案文本的各解题思路对应的答案特征；根据所述作答特征和各解题思路对应的答案特征，获取所述作答文本对应的评分结果；其中，所述作答特征包括关键作答步骤、所述关键作答步骤对应的定理特征、所述关键作答步骤对应的推理特征；所述答案特征包括关键答案步骤、所述关键答案步骤对应的定理特征和所述关键答案步骤对应的推理特征。
164.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
165.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
166.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。