一种面向慕课系统的作业主观题互评方法与流程

本发明涉及互评机制技术领域，尤其涉及一种面向慕课系统的作业主观题互评方法。

背景技术：

分数反馈是整个反馈机制的基础和起点。随着各种学习系统中用户的增加，产生的用户作业数量逐渐超出教师的评阅能力范围。作业互评鼓励学习者参与教师的作业评阅活动，既减轻教师负担、保证反馈的及时性、又可加强学习者的交互性，此外还可以培养学习者的分析能力和评阅能力。

现有的互评功能存在的问题是无法消除随意性评价。有的方法采用了经典算法webpa，缺点是无法解释算法中的参数设置，构建的互评模型只考虑了学生的历史评分对互评结果的影响，准确性过低；无法客观的实现作业互评，无法保证作业评阅的质量。

技术实现要素：

针对上述问题，本发明的目的在于提供一种面向慕课系统的作业主观题互评方法，能够实现评阅任务的合理分配，并且保证作业评阅的质量。

为了解决背景技术中所存在的问题，本发明的技术方案为：

一种面向慕课系统的作业互评方法，包括：

1)根据作业的内容和知识点与评阅人的相关属性，将待互评的作业权衡分配给评阅人，构建作业与评阅人的分配情况用带权重二部图；

2)评阅人对作业根据评分要求进行评分；

3)将同一作业各位评阅人的评分综合起来后取平均值，作为最终成绩。

所述步骤1)具体包括：

1.1)获取作业的内容和知识点与评阅人的相关属性，所述相关属性包括评阅人以往测试题目和分数；

1.2)根据用户活跃度、相关属性和作业截止时间来筛选满足条件的评阅人，构建作业与评阅人的分配情况用带权重的二部图；

1.3)根据作业和评阅人完成的作业所包含的题目和知识点得分，来计算评阅人与作业的题目能力匹配度和知识点能力匹配度，并计算总匹配度作为二部图匹配权重；

1.4)对构建作业与评阅人的分配情况用二部图，运用贪心算法求解最佳匹配。

所述总匹配度为评阅人与作业之间的权重匹配，根据作业与评阅人完成的作业集合，所述题目能力匹配度为：

a、令t＝{t1,t2,...,tn}表示n个待评作业的集合，每一份作业由若干试题组成，设作业ti的题目集合为每一道试题包含若干知识点组成，则作业ti的知识点集合表示为

b、令r＝{r1,r2,...,rk}表示评阅人的集合，慕课系统记录了每个学习者的以往测试题目和分数；

c、用表示评阅人以往完成的全部作业的题目集合，针对作业ti全部评阅人以往完成的全部作业的题目与ti所包含的题目之间构成重复矩阵，如公式(1)所示：

其中，

d、令表示作业ti中题目分值，则作业ti的总分值表示为

e、评阅人rx对于作业ti的题目能力匹配度通过其已完成的作业ti中的题目数量及得分情况来描述，题目能力匹配度计算式如公式(3)所示：

因为则

所述总匹配度为评阅人与作业之间的权重匹配，根据作业与评阅人完成的作业集合，所述知识点能力匹配度计算：

a、令t＝{t1,t2,...,tn}表示n个待评作业的集合，每一份作业由若干试题组成，设作业ti的题目集合为每一道试题包含若干知识点组成，则作业ti的知识点集合表示为

b、令r＝{r1,r2,...,rk}表示评阅人的集合，慕课系统记录了每个学习者的以往测试题目和分数；

c、用表示评语人以往完成的全部知识点集合，则针对作业ti，全部评阅人以往完成的知识点与ti所包含的知识点之间可以构成重复矩阵，如公式(4)所示：

其中，

若评阅人rx在同一个知识点有多个得分，则取这些得分的平均值作为其在该知识点上的得分；

d、令表示作业ti中知识点的累计分值，则作业ti的总分值亦表示为

e、评阅人rx对于作业ti的知识点能力匹配度通过其已完成的作业ti中的知识点数量及在各个知识点上的得分情况来描述，知识点能力匹配度计算式如公式(6)所示：

因为则

将题目能力匹配度和知识点能力匹配度进行叠加，总匹配度作为评阅人与作业之间的匹配权重，如公式(7)：

为题目能力匹配度为知识点能力匹配度。

5、根据权利要求1所述的面向慕课系统的作业互评方法，其特征在于，对构建作业与评阅人的分配情况用带权重的二部图贪心算法求解最佳匹配，包括：

设带权重的待评作业与评阅人二步图为g，采用贪心算法得到二部图的带权最佳匹配解mg，接下来对解mg做如下操作：

执行循环，次数为count，其值等于每份作业的指定评阅人数，循环中将处于m中每条边的权重设置为0，即迭代最优解中不包含评阅人rx与作业ti之间的既有匹配；

如此产生新的子图为g′，接下来采用匈牙利算法求解子图g′的最佳匹配解mg'，再合并匹配解mg和mg'，生成新的解mg∪g'；

循环结束时作业的分配亦结束，结果为每份作业会被分配给指定数量的评阅人；在循环过程中，若某评阅人的作业分配数达到设定的评阅上限，停止对该阅卷人的作业分配。

待评作业最终成绩的获取后，还包括：考察所有评阅人的评分方差，如果方差大于指定值γ，则说明该份作业评阅存在争议，转由教师负责评阅，否则以平均分作为作业总成绩。

与现有技术相比较，本发明的有益效果为：

本发明提供了一种面向慕课系统的作业互评方法，通过全面的考虑作业和评阅人完成过的作业集合所包含的题目相似度、知识点相似度以及时效限制，将待互评的作业权衡分配给评阅人，对互评过程中的作业与阅读者进行合理的匹配，使得评阅者与作业分配时尽可能的匹配，能够实现评阅任务的合理分配，并且保证作业评阅的质量。

附图说明

图1是本发明面向慕课系统的作业主观题互评方法流程图；

图2是本发明互评模型的一个匹配用带权重二部图。

具体实施方式

下面结合附图对本发明做详细描述。

如图1，本发明提供了一种面向慕课系统中的作业主观题互评方法，具体描述与计算方式如下。

1)根据作业的内容和知识点与评阅人的相关属性，将待互评的作业权衡分配给评阅人，构建作业与评阅人的分配情况用带权重二部图，如图2所示；

1.1)获取作业的内容和知识点与评阅人的相关属性，所述相关属性包括评阅人以往测试题目和分数，并描述关联关系。

作业用t(task)表示，令t＝{t1,t2,...,tn}表示n个待评作业的集合，每一份作业由若干试题组成，不妨设作业ti的题目集合为进一步，每一道试题包含若干知识点组成，则作业ti的知识点集合可表示为ti还包含了评阅状态status，statusi＝1表示该作业已完成评阅，statusi＝0表示该作业为待批改，以及评阅该作业的截止日期deadlinei；

令r＝{r1,r2,...,rk}表示评阅人的集合，每一位评阅人也是慕课系统的学习者，也经历了学习和测试的过程，慕课系统记录了每个学习者的以往测试题目和分数；activenessx表示评阅人的平均在线时间间隔，称为用户活跃度。

慕课系统的测试卷在题库中自动抽取组成，且每道题目具有明确的知识点记录。因此，对于测试卷ti，其题目列表和知识点列表均可获得。

1.2)根据用户活跃度、相关属性和作业截止时间来筛选满足条件的评阅人，构建作业与评阅人的分配情况用带权重的二部图；

我们在进行最佳评阅人匹配之前，还要考虑评阅人rx的活跃度需要选取满足公式(8)的评阅人。公式(8)表示作业的截止日期与评阅人rx最后登陆时间的差值要大于其平均在线时间间隔。只有满足这一约束，评阅人rx才能在有效时间内完成作业评阅。

1.3)根据作业和评阅人完成的作业所包含的题目和知识点得分，来计算评阅人与作业的题目能力匹配度和知识点能力匹配度，并计算总匹配度作为二部图匹配权重；

(1)首先是按照题目进行计算，用表示评阅人rx以往完成的全部作业的题目集合，则针对作业ti，全部评阅人以往完成的全部作业的题目与ti所包含的题目之间可以构成重复矩阵，如公式(1)所示。

其中，

令表示作业ti中题目分值，则作业ti的总分值可以表示为评阅人rx对于作业ti的题目能力匹配度可以通过其已完成的作业ti中的题目数量及得分情况来描述，题目能力匹配度计算式如公式(3)所示。

因为故必有

(2)然后按照知识点进行计算，用表示评语人以往完成的全部知识点集合，则针对作业ti，全部评阅人以往完成的知识点与ti所包含的知识点之间可以构成重复矩阵，如公式(4)所示。

其中，

注意，评阅人rx在同一个知识点可能有多个得分，那么取这些得分的平均值作为其在该知识点上的得分。

令表示作业ti中知识点的累计分值，则作业ti的总分值亦可表示为

评阅人rx对于作业ti的知识点能力匹配度可以通过其已完成的作业ti中的知识点数量及在各个知识点上的得分情况来描述，知识点能力匹配度计算式如公式(6)所示。

因为故必有

(3)将题目能力匹配度和知识点能力匹配度进行叠加，总匹配度作为评阅人与作业之间的匹配权重，如公式(7)：

1.4)对构建作业与评阅人的分配情况用二部图，运用贪心算法求解最佳匹配：

根据步骤1.3)中的描述和计算，可以得到评阅人rx与一份作业ti的总匹配度将作为匹配权重，用带权重的二部图贪心算法求解最佳匹配。

算法思路为：首先采用贪心算法得到二部图的带权最优匹配解mg，接下来对解mg做如下操作：执行循环，次数为count。循环中将处于mg中每条边的权重设置为0，即迭代最优解中不包含评阅人rx与作业ti之间的既有匹配；如此产生新的子图为g′，接下来采用匈牙利算法求解子图g′的最佳匹配解mg'，再合并匹配解mg和mg'，生成新的解mg∪g'；循环结束时作业的分配亦结束，结果为每份作业会被分配给指定数量的评阅人。在循环过程中，若某评阅人的作业分配数达到设定的评阅上限，停止对该阅卷人的作业分配；

评阅人数小于作业数，每一份作业有p名评阅人，每位评阅人最多批阅q份作业。用带权重二部图来解决最佳匹配问题。算法的具体流程如下：

2)评阅人对作业根据评分要求进行评分；

3)将同一作业各位评阅人的评分综合起来后取平均值，作为最终成绩。

待评作业最终成绩的获取，考察所有评阅人的评分方差，如果方差大于指定值γ，则说明该份作业评阅存在争议，转由教师负责评阅，否则以平均分作为作业总成绩。

本发明以为每份慕课系统作业的主观题推荐最合适的评阅人为核心，提出了以二部图为基础的作业互评模型。综合考虑了评阅人的知识背景、学习水平以及与作业内容的相似度等多种因素进行作业分配，采用贪心算法求解作业与评阅人之间的匹配问题，设计了评阅人最优分配算法。最后进行了实验验证，结果表明，本文提出的作业互评机制实现了评阅任务的合理分配，保证了作业评阅的质量。

对于本领域技术人员而言，显然能了解到上述具体实施例只是本发明的优选方案，因此本领域的技术人员对本发明中的某些部分所可能做出的改进、变动，体现的仍是本发明的原理，实现的仍是本发明的目的，均属于本发明所保护的范围。