用于答卷与评分者的基于规则的映射的系统和方法与流程

本公开的内容总体上涉及映射技术，更具体地，涉及答卷到评分者的基于规则的映射的系统和方法。

背景技术：

1、数字评分系统在很大程度上简化了评估过程，因为它们克服了与人工评分相比的一些挑战，例如制表错误、监测评分进度、物流成本和运输造成的损坏、结果处理和共享的延长时间线。现有的数字评分系统采用轮询机制来将候选答复(称为答卷，并且在下文中可互换地使用)分配给教职工(称为评分者，并且在下文中可互换地使用)以进行纠错。其中很少需要管理员手动馈送路由数据。当存在需要应用于将答卷分配给评分者的规则时，这些机制不适应某些特定要求。而且，这些方法没有考虑可能影响评分质量和调度的任何其他因素。

技术实现思路

1、本公开的实施方式提出了技术改进，作为对发明人在传统系统中认识到的上述技术问题中的一个或多个的解决方案。

2、例如，在一个方面，提供了一种用于答卷到评分者的基于规则的映射的处理器实现的方法。该方法包括：经由一个或多个硬件处理器，接收至少一种媒介格式的一个或多个答卷以及与多个评分者相关联的信息；经由一个或多个硬件处理器，基于至少一种媒介格式预处理一个或多个答卷，以获得一个或多个答卷中的答复分数；经由一个或多个硬件处理器，基于一个或多个答卷中的答复分数生成答卷元数据；经由一个或多个硬件处理器，基于包括在数据库中的预定义规则集合中的一个或多个答卷属性值，分析预定义规则集合，适用于与答卷元数据相关联的一个或多个答卷中的每一个；基于一个或多个答卷属性值生成一个或多个答卷的一个或多个实例；将一个或多个答卷的一个或多个实例的一个或多个文本值转换为一个或多个数值常数，以获得一个或多个基于格式的答卷属性；基于在由多个评分者进行评分期间的一个或多个观察计算当天的多个评分者的生产力度量，并且基于当天的生产力度量来调整多个评分者中的每个评分者的总体排名；将当天的生产力度量与到目前为止的多个生产力度量合并，以获得合并的生产力度量；基于合并的生产力度量确定多个评分者中的一个或多个评分者的可用性和评分限度；基于一个或多个评分者的可用性和评分限度将合并的生产力度量变换为预定义格式，以获得成为预定义格式的经变换的生产力度量；经由一个或多个硬件处理器，基于包括在数据库中的预定义规则集合中的一个或多个评分者属性值，分析预定义规则集合，适用于包括在变换的生产力度量中的每个评分者；基于一个或多个评分者属性值生成一个或多个评分者的一个或多个实例；将一个或多个评分者的一个或多个实例的一个或多个文本值转换为一个或多个数值常数，以获得一个或多个基于格式的评分者属性；对(i)一个或多个基于格式的答卷属性的答卷属性值，以及(ii)一个或多个基于格式的评分者属性的评分者属性值执行比较，以获得映射数据，映射数据包括：基于针对多个评分者中每一个评分者的总体排名，从一个或多个评分者中的相关评分者到一个或多个答卷中的每个答卷的映射；将具有(i)包括值“1”的状态属性的映射数据分类为第一测试数据，以及将具有(ii)一个或多个剩余属性的映射数据分类为第二测试数据；经由逻辑回归模型，对第二测试数据的一个或多个剩余属性的值执行sigmoid函数，使用预先配置的训练映射数据来计算每个基于格式的答卷的第一测试数据的正确性分数；以及基于正确性分数和对应评分者的评分限度更新第一测试数据的状态属性。

3、在实施方式中，经由一个或多个硬件处理器，基于至少一种媒介格式预处理一个或多个答卷，以获得一个或多个答卷中的答复分数的步骤，包括以下中的一个或多个：扫描一个或多个答卷以识别多个字符，并将多个字符转换成数字格式；生成一个或多个答卷的转录；以及执行一个或多个答卷转录的语法和发音正确性，以获得一个或多个答卷中的答复分数。

4、在实施方式中，分数与一个或多个答卷中的答复的语法和发音正确性有关，并且当一个或多个答卷包括音频时执行发音正确性。

5、在实施方式中，该方法包括：分析对应于两个或更多个领域的一个或多个答卷以确定一个或多个答卷中的答复，并且基于两个或更多个领域识别一个或多个答卷的子集以获分段的答卷集合；为分段的答卷集合生成答卷元数据；基于预定义规则集合中的一个或多个答卷属性值，分析包括在数据库中的预定义规则集合，预定义规则集合适用于与答卷元数据相关联的分段的答卷集合中的每一个；基于一个或多个答卷属性值生成分段的答卷集合的一个或多个实例；以及将分段的答卷集合的一个或多个实例的一个或多个文本值转化为一个或多个数值常数，以获分段的基于格式的答卷属性集合。

6、在实施方式中，该方法包括：对(i)分段的基于格式的答卷集合的一个或多个答卷属性值集合以及(ii)一个或多个基于格式的评分者的一个或多个评分者属性值执行比较，以获得临时映射数据，临时映射数据包括一个或多个基于格式的评分者中的基于格式的评分者到分段的基于格式的答卷集合中的每个分段的基于格式的答卷的临时映射，其中，临时映射数据用作测试映射数据；将具有(i)包括值“1”的状态属性的测试映射数据分类为第一测试数据，以及将具有(ii)一个或多个剩余属性的测试映射数据分类为第二测试数据；以及经由逻辑回归模型对第二测试数据的一个或多个剩余属性的值执行sigmoid函数，使用预先配置的训练映射数据来计算每个基于格式的答卷的第一测试数据的正确性分数；以及基于正确性分数和对应评分者的评分限度更新第一测试数据的状态属性。

7、在另一方面，提供了一种用于答卷到评分者的基于规则的映射的处理器实现的系统。该系统包括：存储器，存储指令；一个或多个通信接口；以及一个或多个硬件处理器，经由一个或多个通信接口耦接到存储器，其中一个或多个硬件处理器由指令配置成：接收至少一种媒介格式的一个或多个答卷以及与多个评分者相关联的信息；基于至少一种媒介格式预处理一个或多个答卷，以获得一个或多个答卷中的答复分数；基于一个或多个答卷中的答复分数生成答卷元数据；基于包括在数据库中的预定义规则集合中的一个或多个答卷属性值，分析预定义规则集合，预定义规则集合适用于与答卷元数据相关联的一个或多个答卷中的每一个；基于一个或多个答卷属性值生成一个或多个答卷的一个或多个实例；将一个或多个答卷的一个或多个实例的一个或多个文本值转换为一个或多个数值常数，以获得一个或多个基于格式的答卷属性；计算多个评分者中每个评分者的总体排名和表现；基于在由多个评分者进行评分期间的一个或多个观察计算多个评分者的当天的生产力度量，并且基于当天的生产力度量来调整多个评分者中的每个评分者的总体排名；将所计算的当天的生产力度量与到目前为止的多个生产力度量合并，以获得合并的生产力度量；基于合并的生产力度量确定多个评分者中的一个或多个评分者的可用性和评分限度；基于一个或多个评分者的可用性和评分限度将合并的生产力度量变换为预定义格式，以获得变换的生产力度量；基于包括在数据库中的预定义规则集合中的一个或多个评分者属性值，分析预定义规则集合，预定义规则集合适用于包括在变换的生产力度量中的每个评分者；基于一个或多个评分者属性值生成一个或多个评分者的一个或多个实例；将一个或多个评分者的一个或多个实例的一个或多个文本值转换为一个或多个数值常数，以获得一个或多个基于格式的评分者属性；对(i)一个或多个基于格式的答卷属性的答卷属性值以及(ii)一个或多个基于格式的评分者属性的评分者属性值执行比较，以获得映射数据，映射数据包括从一个或多个评分者中的相关评分者到一个或多个答卷中的每个答卷的映射；将具有(i)包括值“1”的状态属性的映射数据分类为第一测试数据，以及将具有(ii)一个或多个剩余属性的映射数据分类为第二测试数据；以及经由逻辑回归模型，对第二测试数据的一个或多个剩余属性的值执行sigmoid函数，使用预先配置的训练映射数据来计算每个基于格式的答卷的第一测试数据的正确性分数；以及基于正确性分数和对应评分者的评分限度更新第一测试数据的状态属性。

8、在实施方式中，基于至少一种媒介格式对一个或多个答卷进行预处理，以获得一个或多个答卷中的答复分数，通过执行以下中的一个或多个：扫描一个或多个答卷以识别多个字符，并将多个字符转换成数字格式；生成一个或多个答卷的转录；以及执行一个或多个答卷的语法和发音正确性(correctness)，以获得一个或多个答卷中的答复分数。

9、在实施方式中，分数与一个或多个答卷中的答复的语法和发音正确性有关，并且当一个或多个答卷包括音频时执行发音正确性。

10、在实施方式中，一个或多个硬件处理器被指令配置为：分析一个或多个答卷以确定对应于两个或更多个领域的一个或多个答卷中的答复，并且基于两个或更多个领域识别一个或多个答卷的子集以获分段的答卷集合；为分段的答卷集合生成答卷元数据；基于包括在数据库中的预定义规则集合中的一个或多个答卷属性值，分析预定义规则集合，预定义规则集合适用于与答卷元数据相关联的分段的答卷集合中的每一个；基于一个或多个答卷属性值生成分段的答卷集合的一个或多个实例；以及将分段的答卷集合的一个或多个实例的一个或多个文本值转换为一个或多个数值常数，以获分段的基于格式的答卷属性集合。

11、在实施方式中，一个或多个硬件处理器被指令配置为：对(i)分段的基于格式的答卷集合的一个或多个答卷属性值集合以及(ii)一个或多个基于格式的评分者的一个或多个评分者属性值执行比较，以获得临时映射数据，临时映射数据包括一个或多个基于格式的评分者中的基于格式的评分者到分段的基于格式的答卷集合中的每个分段的基于格式的答卷的临时映射，其中临时映射数据用作测试映射数据；将具有(i)包括值“1”的状态属性的测试映射数据分类为第一测试数据，以及将具有(ii)一个或多个剩余属性的测试映射数据分类为第二测试数据；以及经由逻辑回归模型对第二测试数据的一个或多个剩余属性的值执行sigmoid函数，使用预先配置的训练映射数据来计算每个基于格式的答卷的第一测试数据的正确性分数；以及基于正确性分数和对应评分者的评分限度更新第一测试数据的状态属性。

12、在又一方面，提供了一个或多个非暂时性机器可读信息存储介质，其包括一个或多个指令，当由一个或多个硬件处理器执行时，该指令通过以下各项导致答卷到评分者的基于规则的映射：接收至少一种媒介格式的一个或多个答卷以及与多个评分者相关联的信息；基于至少一种媒介格式预处理一个或多个答卷，以获得一个或多个答卷中的答复分数；基于一个或多个答卷中的答复分数生成答卷元数据；基于包括在数据库中的预定义规则集合中的一个或多个答卷属性值，分析预定义规则集合，预定义规则集合适用于与答卷元数据相关联的一个或多个答卷中的每一个；基于一个或多个答卷属性值生成一个或多个答卷的一个或多个实例；将一个或多个答卷的一个或多个实例的一个或多个文本值转换为一个或多个数值常数，以获得一个或多个基于格式的答卷属性；基于在由多个评分者进行评分期间的一个或多个观察计算多个评分者的当天的生产力度量，并且基于当天的生产力度量来调整多个评分者中的每个评分者的总体排名；将所计算的当天的生产力度量与到目前为止的多个生产力度量合并，以获得合并的生产力度量；基于合并的生产力度量确定多个评分者中的一个或多个评分者的可用性和评分限度(marking limit)；基于一个或多个评分者的可用性将合并的生产力度量变换为预定义格式，以获得变换的生产力度量；基于包括在数据库中的预定义规则集合中的一个或多个评分者属性值，分析预定义规则集合，预定义规则集合适用于包括在变换的生产力度量中的每个评分者；基于一个或多个评分者属性值生成一个或多个评分者的一个或多个实例；将一个或多个评分者的一个或多个实例的一个或多个文本值转换为一个或多个数值常数，以获得一个或多个基于格式的评分者属性；对(i)一个或多个基于格式的答卷属性的答卷属性值以及(ii)一个或多个基于格式的评分者属性的评分者属性值执行比较，以获得映射数据，映射数据包括基于多个评分者中的每个评分者的总体排名从一个或多个评分者中的相关评分者到一个或多个答卷中的每个答卷的映射；将具有(i)包括值“1”的状态属性的映射数据分类为第一测试数据，以及将具有(ii)一个或多个剩余属性的映射数据分类为第二测试数据；以及经由逻辑回归模型，对第二测试数据的一个或多个剩余属性的值执行sigmoid函数，使用预先配置的训练映射数据来计算每个基于格式的答卷的第一测试数据的正确性分数；以及基于正确性分数和对应评分者的评分限度更新第一测试数据的状态属性。

13、在实施方式中，基于至少一种媒介格式预处理一个或多个答卷，以获得一个或多个答卷中的答复分数的步骤，包括以下中的一个或多个：扫描一个或多个答卷以识别多个字符，并将多个字符转换成数字格式；生成一个或多个答卷的转录；以及执行一个或多个答卷的语法和发音正确性，以获得一个或多个答卷中的答复分数。

14、在实施方式中，分数与一个或多个答卷中的答复的语法和发音正确性有关，并且当一个或多个答卷包括音频时执行发音正确性。

15、在实施方式中，该方法包括：分析一个或多个答卷以确定对应于两个或更多个领域的一个或多个答卷中的答复，并且基于两个或更多个领域识别一个或多个答卷的子集以获分段的答卷集合；为分段的答卷集合生成答卷元数据；基于包括在数据库中的预定义规则集合中的一个或多个答卷属性值，分析预定义规则集合，预定义规则集合适用于与答卷元数据相关联的分段的答卷集合中的每一个；基于一个或多个答卷属性值生成分段的答卷集合的一个或多个实例；以及将分段的答卷集合的一个或多个实例的一个或多个文本值转换为一个或多个数值常数，以获分段的基于格式的答卷属性集合。

16、在实施方式中，该方法包括：对(i)分段的基于格式的答卷集合的一个或多个答卷属性值以及(ii)一个或多个基于格式的评分者的一个或多个评分者属性值执行比较，以获得临时映射数据，临时映射数据包括一个或多个基于格式的评分者中的基于格式的评分者到分段的基于格式的答卷集合中的每个分段的基于格式的答卷的临时映射，其中，临时映射数据用作测试映射数据，其中测试映射数据；将具有(i)包括值“1”的状态属性的测试映射数据分类为第一测试数据，以及将具有(ii)一个或多个剩余属性的测试映射数据分类为第二测试数据；以及经由逻辑回归模型对第二测试数据的一个或多个剩余属性的值执行sigmoid函数，使用预先配置的训练映射数据来计算每个基于格式的答卷的第一测试数据的正确性分数；以及基于正确性分数和对应评分者的评分限度更新第一测试数据的状态属性。

17、应当理解，前面的一般描述和下面的详细描述都仅仅是示例性和解释性的，而不是对所要求保护的本发明的限制。