自动阅卷方法和装置、电子设备和存储介质与流程

[0001]
本申请涉及云计算技术领域，可用于自然语言处理技术领域，更具体地，涉及一种自动阅卷方法和装置、电子设备和存储介质。


背景技术：

[0002]
伴随着人工智能算法的逐步落地，算法研究已成为当下的热门研究。数据作为训练算法的原料，其质量对算法准确率起到了至关重要的作用。数据标注人员作为标注数据的直接产出者，其能力会直接影响到数据质量。选择合适的作业人员是产出合格交付数据的关键因素。


技术实现要素：

[0003]
本申请提供了一种自动阅卷方法和装置、电子设备以及存储介质。
[0004]
根据第一方面，提供了一种自动阅卷方法，包括：获取考试题目和考试人员针对上述考试题目提交的答题数据；在上述考试题目中包含具有陷阱标签的特定考题的情况下，执行以下操作：从上述答题数据中提取第一答题数据以得到比对结果，其中上述第一答题数据包括针对上述特定考题的答题数据；比对上述第一答题数据与第一标准答案，其中上述第一标准答案包括针对上述特定考题预先设定在上述特定考题的题目标题中的标准答案；以及响应于上述比对结果表征上述第一答题数据与上述第一标准答案一致，基于上述比对结果和上述特定考题的权重输出第一考核值。
[0005]
根据第二方面，提供了一种自动阅卷装置，包括：数据获取模块，用于获取考试题目和考试人员针对上述考试题目提交的答题数据；操作执行模块，用于在上述考试题目中包含具有陷阱标签的特定考题的情况下，通过以下单元执行对应的审阅操作：数据提取单元，用于从上述答题数据中提取第一答题数据，其中上述第一答题数据包括针对上述特定考题的答题数据；数据比对单元，用于比对上述第一答题数据与第一标准答案以得到比对结果，其中上述第一标准答案包括针对上述特定考题预先设定在上述特定考题的题目标题中的标准答案；以及考核值输出单元，用于响应于上述比对结果表征上述第一答题数据与上述第一标准答案一致，基于上述比对结果和上述特定考题的权重输出第一考核值。
[0006]
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行本申请实施例的方法。
[0007]
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，包括：上述计算机指令用于使上述计算机执行本申请实施例的方法。
[0008]
根据本申请实施例，作业人员参与考试后由机器自动阅卷并输出考核结果，相比于配备专门的审核人员进行人工阅卷而言，将自动阅卷应用于作业人员的筛选环节，可以提升作业人员的选用效率，同时还可以提升作业人员的能力匹配度，降低作业人员筛选环
节耗费的成本。
[0009]
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]
附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0011]
图1示例性示出了可以实现本申请实施例的自动阅卷方法和装置的系统架构；
[0012]
图2示例性示出了根据本申请实施例的自动阅卷方法的流程图；
[0013]
图3示例性示出了根据本申请实施例的具有关联关系的试题的示意图；
[0014]
图4示例性示出了根据本申请实施例的自动阅卷装置的框图；以及
[0015]
图5是用来实现本申请实施例的自动阅卷方法的电子设备的框图。
具体实施方式
[0016]
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0017]
应该理解，数据标注作业人员选用方式可以包括多种。
[0018]
示例性的，作业人员经过简单培训后可以直接进场作业，由于此种方式对作业人员的能力水平缺少相应的评判，因而无法保证标注数据的质量。而低质量的标注结果返修一方面会影响数据交付效率，另一方面也会增加作业成本。
[0019]
或者，示例性的，作业人员经过简单培训后参与考试，由专门的审核人员对考试结果进行人工阅卷，这样不仅需要额外的人力成本支出，同时录取人员的能力水平受审核人员能力水平的限制，因而无法保证作业人员的能力匹配度，并且人工阅卷效率很低，进而无法保证作业人员的录用速度。
[0020]
对此，本申请实施例提供的自动阅卷方法和装置可以助力数据标注作业人员的选用。
[0021]
以下将结合具体实施例详细阐述本申请。
[0022]
可以实现本申请实施例的自动阅卷方法和装置的系统架构介绍如下。
[0023]
图1示例性示出了可以实现本申请实施例的自动阅卷方法和装置的系统架构。需要注意的是，图1所示仅为可以应用本申请实施例的系统架构的示例，以帮助本领域技术人员理解本申请的技术内容，但并不意味着本申请实施例不可以用于其他环境或场景。
[0024]
如图1所示，系统架构100可以包括电子试卷提交端101、阅卷端102和阅卷端103。作业人员参与考试后，可以通过电子试卷提交端101提交答题数据。阅卷端102接收由电子试卷提交端101提交的答题数据，先执行预处理操作。即，先判断是否需要进行自动阅卷。响应于判断结果表征需要进行自动阅卷，由阅卷端102针对本次提交的答题数据执行自动阅卷的相关逻辑。或者，响应于判断结果表征需要进行人工阅卷，由阅卷端102将接收到的答题数据推送给阅卷端103，由专门的审核人员在阅卷端103执行人工阅卷的相关操作。或者，响应于判断结果表征一部分试题需要进行自动阅卷，另一部分试题需要进行人工阅卷，由
阅卷端102先针对本次提交的答题数据中需要自动阅卷的试题部分执行自动阅卷的相关逻辑并输出自动阅卷部分的考核结果，再将本次接收到的答题数据推送给阅卷端103，由专门的审核人员在阅卷端103针对需要人工阅卷的试题部分执行人工阅卷的相关操作并给出人工阅卷部分的考核结果。
[0025]
应该理解，图1中的电子试卷提交端和阅卷端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的电子试卷提交端和阅卷端。
[0026]
可以适于本申请实施例的自动阅卷方法和装置的应用场景介绍如下。
[0027]
需要说明的是，本申请实施例提供的方法可以用于数据标注场景下作业人员的选用环节。除此之外，还可以用于其他场景下的人员选用环节。进一步，在本申请实施例中，数据标注场景可以包括但不限于以下涉及文本的数据标注场景中的至少之一：文本收集(又称文本富集)、语音转写、文本清洗、ocr(光学字符识别)等。
[0028]
根据本申请的实施例，本申请提供了一种自动阅卷方法。
[0029]
图2示例性示出了根据本申请实施例的自动阅卷方法的流程图。
[0030]
如图2所示，该方法200例如可以包括操作s210～操作s250。应该理解，图2所示的方法逻辑可以在图1所示的阅卷端102上实现。
[0031]
在操作s210，获取考试题目和考试人员针对考试题目提交的答题数据。
[0032]
在操作s220，在考试题目中包含具有陷阱标签的特定考题的情况下，执行以下操作，即执行操作s230～操作s250。
[0033]
在操作s230，从答题数据中提取第一答题数据，其中第一答题数据包括针对特定考题的答题数据。
[0034]
在操作s240，比对第一答题数据与第一标准答案以得到比对结果，其中第一标准答案包括针对特定考题预先设定在该特定考题的题目标题中的标准答案。
[0035]
在操作s250，响应于比对结果表征第一答题数据与第一标准答案一致，基于比对结果和特定考题的权重输出第一考核值。
[0036]
在一个实施例中，在操作s210，可以获取考试人员针对考试题目提交的答题数据，同时基于考试人员提交的答题数据，从题库中或者从电子试卷库中获取与该答题数据匹配的考试题目。
[0037]
在另一个实施例中，考试人员在提交答题数据时可以同时提交与该答题数据匹配的考试题目，因而在操作s210，可以直接从考试人员提交的数据中获取考试题目和针对该考试题目的答题数据。
[0038]
需要说明的是，可以针对不同的试题类型预先设置相同的或者不同的考试审核策略，如自动审核或人工审核。因而在操作s210中或者在操作s210之后，可以先判断是否存在需要自动审核的题型。响应于存在这种题型，则执行自动阅卷逻辑，即执行操作s220～操作s250。响应于不存在这种题型，则将通过操作s210获取的考试题目和与之匹配的答题数据推送给可以进行人工阅卷的阅卷端，如图1中的阅卷端103。
[0039]
在本申请实施例中，可以预先设定各试题的类型，如可以将试题设置为单选题、多选题、判断题、填空题和图片标注题(即图片题)等类型。根据数据标注场景的实际需要，可以选择不同的题目类型，同时为每道题目设置所占的权重，以满足不同的考核需求。即，每道题目所占的权重可以根据不同的需求场景定义。示例性的，针对ocr标注场景，可以选择
涉及图片清晰度判断的选择题以及涉及文字内容标注的图片题。由于ocr标注场景的主要诉求是在图片中标出相应的文字内容，并且涉及图片清晰度的题目答案相对不固定，而涉及文字内容标注的题目答案相对固定，因此进行权重设置时，可以使涉及文字内容标注的图片题所占的权重高于涉及图片清晰度判断的选择题所占的权重。
[0040]
应该理解，对于数据标注场景来说，作业人员的业务能力自然重要，但是其工作态度也同样重要。因此，在本申请实施例中，可以设置一类特殊试题用于考察作业人员的态度问题。而带有陷阱标签的特定考题(即陷阱题)可以用于考察作业人员的态度问题。
[0041]
在本申请实施例中，可以设置一些给定答案的简单题目作为陷阱题。示例性的，可以设置选择题陷阱。比如可以设置题目标题为本题请选择第三项，即直接在题目标题中给出标准答案为第三项。在一些应用场景下，当某些题目被设置为陷阱题的情况下，其权重可以被设置为远高于其他题目的权重。最典型的推荐应用场景例如可以是设置一票否决权重，即陷阱题答错则该份考试题正确率为0。
[0042]
因此，在一个实施例中，在试题中包含陷阱题的情况下，可以先自动审阅陷阱题是否解答正确。如果陷阱题答错，则直接输出“考核未通过”，同时不再审阅试卷中包含的其他试题。如果陷阱题答对，则继续审阅试卷中包含的其他试题。
[0043]
或者，在另一个实施例中，在试题中包含陷阱题的情况下，可以先自动审阅陷阱题是否解答正确。如果陷阱题答错，则输出试卷中包含的其他试题所占的权重，同时继续审阅试卷中包含的其他试题并按照前述的权重核算每道题目的考核值。如果陷阱题答对，则继续审阅试卷中包含的其他试题并按照权重“1”核算每道题目的考核值。
[0044]
相关技术中在考核录用数据标注人员时，只能进行人工阅卷，不仅需要支付人力成本，而且阅卷效率低，还需要支付时间成本。此外，在人工阅卷的情况下，考核结果容易受审核人员水平的限制和影响，难以保证被录用人员的能力匹配度。
[0045]
而通过本申请实施例，可以对被录用作业人员的能力进行量化评价，保证项目作业人员都是经过考核的，从而可以保证作业人员的能力匹配度，进而保证项目交付质量。此外，从作业人员录取效率来看，自动审核较之之前的人工审核来说，作业人员单人录取效率例如可以从30分钟降低到1分钟以内。同时，可以节约大量的审核人力，降低作业人员筛选环节的成本支出。此外，在本申请实施例中，通过设置陷阱题，除了可以考核作业人员的业务能力之外，还可以考核作业人员的工作态度。
[0046]
作为一种可选的实施例，上述方法还包括，在输出第一考核值之后，继续对其他答题数据进行审阅操作，其中其他答题数据包括答题数据中除第一答题数据之外的答题数据。其中继续对其他答题数据进行审阅可以包括如下操作。
[0047]
从其他答题数据中提取针对每道非选择题的第二答题数据。
[0048]
针对每道非选择题涉及的第二答题数据，执行以下操作：对当前审阅的非选择题涉及的第二答题数据进行字数审阅操作；响应于该涉及的第二答题数据的字数满足预先设定的字数阈值，对该涉及的第二答题数据进行内容审阅操作；以及响应于对该涉及的第二答题数据完成内容审阅操作，针对当前审阅的非选择题输出第二考核值。
[0049]
应该理解，在本申请实施例中，非选择题可以包括但不限于填空题、图片题等。针对不同的题目类型，可以设置不同的评价值以及相对应的评价值阈值。比如对于非选择题，其评价值可以包括字数和内容；评价值阈值可以包括字数阈值和内容阈值。比如对于选择
题，其评价值为选项完全匹配，无需设定相对应的评价值阈值。
[0050]
具体地，在本申请实施例中，在作业人员参与考试答完题后，若设置的考核方式为自动审核，则会将其答案与标准答案进行比对。更具体地，对于每道非选择题，可以根据上述操作逻辑对考试人员的答案进行自动判定。即，对于每道非选择题，可以先判断其答案的字数是否符合预先设定的字数条件，再判断其答案的内容是否符合预先设定的内容条件。
[0051]
在一个实施例中，在答案字数满足条件的情况下，可以给出字数考核值，而在答案内容也满足条件的情况下，可以给出内容考核值，而上述的第二考核值可以由字数考核值与内容考核值相加得到。
[0052]
或者，在另一个实施例中，在答案字数满足条件的情况下，可以给出字数考核值，而在答案内容不满足条件的情况下，规定内容考核值为0，此种情况下上述的第二考核值等于字数考核值。
[0053]
或者，在另一个实施例中，在答案字数不满足条件的情况下，规定内容考核值为0，而在答案内容不满足条件的情况下，规定字数考核值和内容考核值均为0，此种情况下上述的第二考核值为0。
[0054]
示例性的，以填空题为例，评价值可以包括字数和内容。其中字数限制可以作为填空题最基本的限制，在文本富集场景、语音转写场景以及ocr场景中，可以根据不同应用场景的实际需求设置字数阈值如7-10字，或者大于等于10字等。此外，内容考核的评价值可以设置的内容较多，例如根据项目具体的标注规则可以设置必填内容、禁填内容、禁填符号、禁填数字以及豁免内容等考核项。
[0055]
此外，在本申请实施例中，选择题的自动审核逻辑可以如下：针对每道选择题，可以从提交的答案数据中提取该选择题的选项，并将提取的答案选项与标准答案中给出的选项进行比对，在比对结果完全一致的情况下，输出该道选择题的考核值，在比对结果不一致的情况下，该道选择题的考核值为0。
[0056]
通过本申请实施例，对非选择题可以从字数和内容两个维度进行审阅，例如可以在字数满足条件后，再进行内容审核，在字数不满足条件后，直接忽略内容审核，由此可以提高阅卷速度，进而可以提高考核效率。并且，由此可以从不同的维度考核数据标注人员的业务能力。
[0057]
作为一种可选的实施例，对该涉及的第二答题数据进行内容审阅操作，例如可以包括如下操作。
[0058]
确定针对当前审阅的非选择题设置的考核项，其中考核项包括以下中的一项或者多项：必填内容、禁填内容、禁填符号和禁填数字。
[0059]
基于考核项，对该涉及的第二答题数据进行内容审阅操作。
[0060]
具体地，在本申请实施例中，必填内容可以设置为必须包含主语(比如“我”)或者必须包含大写字母等；禁填内容可以设置为不能出现某个限定字符(比如“您”)；禁填符号可以设置为比如限制出现标点，但“，”、“。”除外，或者可以设置为禁填某些标点，这些标点的范围比如可以包括“，。？、”等；禁填数字可以设置为比如限制出现数字。
[0061]
通过本申请实施例，在评价值包括内容的情况下，可以在试题标题中设置一个或者多个内容考核项并基于设置的考核项对用户提交的答案执行内容审阅操作的相关逻辑，由此可以提高考核质量；同时可以考核作业人员对数据标注规则的理解情况。
[0062]
作为一种可选的实施例，针对每道非选择题涉及的第二答题数据，还包括执行以下操作中的至少之一。
[0063]
在存在针对当前审阅的非选择题设置的字数豁免项的情况下，在进行字数审阅操作中忽略审阅字数豁免项所指示豁免的内容。
[0064]
在存在针对当前审阅的非选择题设置的内容豁免项的情况下，在进行内容审阅操作中忽略审阅内容豁免项所指示豁免的内容。
[0065]
具体地，在本申请实施例中，可以针对填空题设置豁免项。比如，在评价值包括字数的情况下，可以设置字数豁免项。其中字数豁免项可以设置为在进行字数审核时是否忽略空格以及标点符号。再比如，在评价值包括内容的情况下，可以设置内容豁免项。其中内容豁免项可以设置为在进行内容审核时是否忽略大小写字母。
[0066]
通过本申请实施例，在不影响考核质量或者对考核质量影响甚小的情况下，可以设置豁免项，以提高考核效率。
[0067]
作为一种可选的实施例，针对当前审阅的非选择题输出第二考核值，例如可以包括如下操作。
[0068]
确定针对当前审阅的非选择题设置的考核粒度，其中考核粒度包括以下粒度中的之一：字粒度、段粒度和题粒度。
[0069]
基于考核粒度，输出第二考核值。
[0070]
在本申请实施例中，选择题的最小考核粒度为选项，填空题的最小考核粒度为字粒度，图片题的最小考核粒度为图片上标注元素的位置以及相应的属性。对下一层考核粒度的正确率进行聚合可以得到上一层考核粒度的正确率。比如自下而上依次为字粒度、段粒度和题粒度，对字粒度的正确率进行聚合可以得到段粒度的正确率，对段粒度的正确率进行聚合可以得到题粒度的正确率，对题粒度的正确率进行聚合可以得到人粒度的正确率。最后，根据预先设置的考试录取的正确率的阈值范围，可以判断各考试人员是否被录取。
[0071]
通过本申请实施例，针对不同的数据标注场景，可以设置不同的考核粒度，由此可以选出数据标识水平与数据标注项目高度匹配的作业人员。
[0072]
作为一种可选的实施例，非选择题可以包括针对以下数据标注场景中的至少之一设置的题目：文本收集、语音转写、文本清洗和光学字符识别。
[0073]
作为一种可选的实施例，继续对其他答题数据进行审阅操作例如可以包括如下操作。
[0074]
在考试题目中存在彼此之间具有逻辑关系的多道题目的情况下，从其他答题数据中提取针对多道题目的第三答题数据。
[0075]
基于逻辑关系，对第三答题数据进行内容审阅并输出针对多道题目的综合考核值。
[0076]
具体地，在本申请实施例中，可以设置题目间的动态逻辑关系，以便限制题目与题目之间的关系，以及题目本身与答案之间的关系等。该动态逻辑关系可以包括但不限于关联关系、互斥关系和包含关系中的一个或者多个。
[0077]
其中，关联关系适用于两个答案之间有关联的场景，主要针对于一些相对主观的题目。示例性的，如图3所示，题目1为“语音中的两句话是不是同一个意思？”，题目2为“请写
出语音中的两句话为同一个意思或者不同意思的全部理由”。作答的时候这两道题目的答案需要满足关联关系。如果不满足，则两道题目都可以判定为错误。比如，在一份答案中，针对题目1给出的答案是“这两句话表达了同一个意思。”而针对题目2给出的答案却是“这两句话是不同意思的全部理由如下：xxxxxx”。此种情况下，题目1和题目2的答案不相关联，因而全部判定为错误。
[0078]
互斥关系适用于两个答案之间互相排斥的场景。示例性的，针对同一图片，针对题目1作答时，给出的答案为“图片中的人物全身穿着红色衣服
……”
。而针对题目2作答时，给出的答案为“图片中的人物穿着红色上衣和白色裤子
……”
。此种情况下，认定题目1和题目2的答案互斥，因而也全部判定为错误。
[0079]
包含关系适用于两个答案之间相互包含的场景。示例性的，针对同一图片，题目1为“图片中的物品是？”，题目2为“图片中物品的品牌是？”针对题目1作答时，给出的答案为“该物品是一瓶矿泉水”。而针对题目2作答时，给出的答案如果不是矿泉水的相关品牌，则认定题目1和题目2的答案互斥，即全部判定为错误。
[0080]
需要注意的是，在实际的数据标注过程中，上述关系都可以通过自动质检规避掉，此处设置动态逻辑的考察，可以考察作业人员对于标注规则的理解程度及其答题态度。
[0081]
通过本申请实施例，可以同时考核数据标注人员的业务能力、对标注规则的理解能力和工作态度。
[0082]
根据本申请的实施例，本申请提供了一种自动阅卷装置。
[0083]
图4示例性示出了根据本申请实施例的自动阅卷装置的框图。
[0084]
如图4所示，该装置400例如可以包括数据获取模块410、操作执行模块420、数据提取单元430、数据比对单元440和考核值输出单元450。该装置400可以用于实现如图2所示的方法。
[0085]
具体地，数据获取模块410，用于获取考试题目和考试人员针对考试题目提交的答题数据。
[0086]
操作执行模块420，用于在考试题目中包含具有陷阱标签的特定考题的情况下，通过以下单元执行对应的审阅操作。
[0087]
数据提取单元430，用于从答题数据中提取第一答题数据，其中第一答题数据包括针对特定考题的答题数据。
[0088]
数据比对单元440，用于比对第一答题数据与第一标准答案以得到比对结果，其中第一标准答案包括针对特定考题预先设定在该特定考题的题目标题中的标准答案。
[0089]
考核值输出单元450，用于响应于比对结果表征第一答题数据与第一标准答案一致，基于比对结果和特定考题的权重输出第一考核值。
[0090]
通过本申请实施例，可以对被录用作业人员的能力进行量化评价，保证项目作业人员都是经过考核的，从而可以保证作业人员的能力匹配度，进而保证项目交付质量。此外，从作业人员录取效率来看，自动审核较之之前的人工审核来说，作业人员单人录取效率例如可以从30分钟降低到1分钟以内。同时，可以节约大量的审核人力，降低作业人员筛选环节的成本支出。此外，在本申请实施例中，通过设置陷阱题，除了可以考核作业人员的业务能力之外，还可以考核作业人员的工作态度。
[0091]
应该理解，本申请装置部分的实施例与本申请方法部分的实施例对应相同或者类
似，本申请实施例在此不再赘述。
[0092]
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
[0093]
如图5所示，是根据本申请实施例的自动阅卷方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
[0094]
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
[0095]
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的自动阅卷方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的自动阅卷方法。
[0096]
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的自动阅卷方法对应的程序指令/模块(例如，附图4所示的数据获取模块410、操作执行模块420、数据提取单元430、数据比对单元440和考核值输出单元450)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的自动阅卷方法。
[0097]
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据自动阅卷电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至自动阅卷电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0098]
可以实现本申请的自动阅卷方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
[0099]
输入装置503可接收输入的数字或字符信息，以及产生与自动阅卷电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、
辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
[0100]
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0101]
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
[0102]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0103]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0104]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系；服务器可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
[0105]
根据本申请实施例，作业人员参与考试后由机器自动阅卷并输出考核结果，相比于配备专门的审核人员进行人工阅卷而言，将自动阅卷应用于作业人员的筛选环节，可以提升作业人员的选用效率，同时还可以提升作业人员的能力匹配度，降低作业人员筛选环节耗费的成本。
[0106]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
[0107]
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。