在线课程用户作业互评智能分发、评价方法与系统与流程

本发明涉及一种在线课程用户作业互评智能分发、评价方法与系统。
背景技术：
：目前，主流的在线课程教学平台的作业互评系统设计均为基于功能性的实现，即互评流程的实现，主要包含两个部分：随机分发模块、最终成绩评定。例如，coursera平台采用随机分发，取中位数作为最终成绩的方案。中国大学mooc平台采用随机分发，将在同伴所评定的分数中取中位数或者平均数，作为该份作业的最终成绩。好大学在线平台同样采用随机分发，去除掉同伴所评分数中的最高分和最低分，再取平均分作为该份作业的最终成绩。在线课程教学平台的作业互评分发和评价模型，一方面作业采取随机分配，每份作业被分配到的同伴各自批改能力不同，难以保证同伴互评的公平性；另一方面取平均值或者中位数作为作业成绩，每份作业的评价结果可能过高或者过低，难以保证作业互评结果的准确性。鉴于上述的缺陷，本设计人积极加以研究创新，以期创设一种在线课程用户作业互评智能分发、评价方法与系统，使其更具有产业上的利用价值。技术实现要素：为解决上述技术问题，本发明的目的是提供一种提高作业分配结果的公平性，并且减少作业互评结果的误差，提高准确度的在线课程用户作业互评智能分发、评价方法与系统。本发明在线课程用户作业互评智能分发、评价方法，包括：若干用户分在同一各评分组，获取该评分组中每一个用户对作业的批改记录；基于所述批改记录，通过用户批改能力值算法，得到每个用户的批改能力评估值；向用户分配待批改作业，其中待批改作业的分配原则为：用户不批改自己的待批改作业，以及一份待批改作业对应所有评分用户的批改能力值之和与另一份待批改作业对应所有评分用户的批改能力值之和之间的差值的绝对值不大于设定的阈值；结合各用户的批改能力评估值和对该批改作业的评分值，得到该作业的最终分数。进一步地，还包括存储待批改作业的详细信息，所述待作业的详细信息至少包括：作业的布置人、作业要求、作业的开始时间、作业的结束时间、用户提交作业的时间、用户提交作业的次数、用户每次提交作业的内容。进一步地，所述用户批改能力值算法具体包括：利用sigmoid函数来定义批改能力值，其中，sigmoid函数的输入值为用户对作业的评分与标准得分之间差的绝对值，该函数的数学表达为：其中，x为用户打分与标准值之间偏差的绝对值，rank则为输出的用户批改能力值；如果用户没有批改记录，则该用户批改能力值初始值为该批改组内其他有批改记录的用户的批改能力值的平均值。进一步地，所述预定阈值的计算公式如下：其中，n为每一位用户需要批改的待批改作业份数，μmax，μmin分别为一份待批改用户对应的用户的批改能力评估值中的最大值和最小值。进一步地，通过各评分用户的批改能力评估值和对该作业的评分值，得到改作业的最终分数，具体包括：获取对被评分作业进行评分的各评分用户的批改能力评估值，对每一位评分用户的批改能力评估值进行归一化，其中归一化公式如下：μi为第i个评分用户的批改能力评估值，为所有评分用户的批改能力评估值之和；采用如下公式得到最终被评分作业的得分，其中τi为第i个评分用户的归一化批改能力评分值，hi为第i个评分用户对该作业的评分值。本发明在线课程用户作业互评智能分发、评价系统，包括：作业批改记录获取模块，用于获取评分用户对作业的批改记录；批改能力评估模块，用于基于所述批改记录，通过用户批改能力值算法，得到各评分用户的批改能力评估值；批改分配模块，用于将作业分配给预订的评分用户进行评分，分配原则为：用户不批改自己的待批改作业，以及一份待批改作业对应所有评分用户的批改能力值之和与另一份待批改作业对应所有评分用户的批改能力值之和之间的差值的绝对值不大于设定的阈值；评分结果输出模块，用于将评分结果进行输出。进一步地，批改能力评估模块，包括sigmoid函数运行单元以及平均算法运行单元，所述sigmoid函数运行单元，用于输入值为用户对作业的评分与标准得分之间差的绝对值，该函数的数学表达为：其中，x为用户打分与标准值之间偏差的绝对值，rank则为输出的用户批改能力值；所述平均算法运行单元，用于在用户没有批改记录时，计算该批改组内其他有批改记录的用户的批改能力值的平均值为该用户批改能力值初始值。进一步地，评分结果输出模块包括归一化处理单元、结果输出单元，所述归一化处理单元，用于获取对被评分作业进行评分的各评分用户的批改能力评估值，对每一位评分用户的批改能力评估值进行归一化，其中归一化公式如下：μi为第i个评分用户的批改能力评估值，为所有评分用户的批改能力评估值之和；结果输出单元，用于采用如下公式得到最终被评分作业的得分，其中τi为第i个评分用户的归一化批改能力评分值，hi为第i个评分用户对该作业的评分值。借由上述方案，本发明在线课程用户作业互评智能分发、评价方法与系统至少具有以下优点：1、与随机分配方案相比，本发明基于贪心策略的作业分配方案的标准差要小很多，即分配结果的稳定性上效果显著，分配结果更加公平。2、本发明通过采用sigmoid模型建立的用户批改能力值进行线性加权得到的作业分数误差优于常规的平均值法和中位数法，即作业互评结果更准确。上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。附图说明图1是本发明在线课程用户作业互评智能分发、评价系统框图；图2是本发明在线课程用户作业互评智能分发、评价方法与系统的绝对差分配图；图3是本发明在线课程用户作业互评智能分发、评价方法与系统的sigmoid函数曲线图；图4是本发明在线课程用户作业互评智能分发、评价方法与系统的能力值分配图。具体实施方式下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。本发明作业分配算法作业互评分配算法的目标与条件约束表述为：所有用户都参与互评操作，而且每位用户批改的作业数相同，每份作业被批改的次数也相同，并尽量使得对于不同的作业，其中每份作业所有批改者的批改能力值之和接近。为了达到设定的目的，我们通过采用一种贪心策略来趋近最优值：评分用户本人在不会批改自己的作业的前提下，每一次进行作业分配都让能力值最高的用户去批改当前批改能力值之和最小的作业。同时满足每个人批改作业数不超过设定值，每份作业被批改数不超过设定值。模拟实验假设共有1000份作业要批改(即共有1000名用户)，每份作业被批改5次，用该算法分配评阅人，评阅人的平均打分能力的标准差可以大幅度减小。算法的模拟实验结果如下：算法对打分误差的均值没有明显提高，对标准差的提高很明显，即提高了作业分配结果的公平性。实施例1本实施例在线课程用户作业互评智能分发、评价方法，包括：获取评分用户对作业的批改记录；基于所述批改记录，通过用户批改能力值算法，得到各评分用户的批改能力评估值；基于所述批改记录，通过作业质量估计算法，得到作业的质量；建立用户批改能力值与作业的质量估计结合，进行作业分配。在保证评分用户本人不会批改自己的作业的前提下，采用预定的作业分配算法分配作业进行评分，保证每份作业所有的评分用户的批改能力值之和接近，让能力值最高的用户去批改当前批改能力值之和最小的作业。所述用户批改能力值算法具体包括：利用sigmoid函数来定义批改能力值，其中，sigmoid函数的输入值为用户对作业的评分与标准得分之间差的绝对值，该函数的数学表达为：其中，x为用户打分与标准值之间偏差的绝对值，rank则为输出的用户批改能力值。获取对被评分作业进行评分的各评分用户的批改能力评估值，对每一位评分用户的批改能力评估值进行归一化，其中归一化公式如下：μi为第i个评分用户的批改能力评估值，为所有评分用户的批改能力评估值之和。采用如下公式得到被评分作业的得分，其中τi为第i个评分用户的归一化批改能力评分值，hi为第i个评分用户对该作业的评分值。输入：700份作业，2183条互评记录，其中400份作业有课程老师批改的成绩。输出：采用sigmoid模型建立用户批改能力值的分布情况，以及在其支配下作业互评的误差分析。共144名参与作业互评的用户数据，统计用户评分与教师标准评分之间的差异。81.25％的用户评分与教师标准评分误差的绝对值在15％以内，这部分用户的误差绝对值中位数约为6.25％。引入sigmoid函数将误差绝对值映射入[0，1]区间内，使得在误差绝对值在中位数6.25的位置上，用户的批改能力值为0.5，建立用户批改能力值定义为：其特征曲线如图3所示。基于该模型对数据集中的144位用户进行批改能力值评估，采用sigmoid模型建立的用户批改能力值的分布更为合理，有较好的区分度。以上述sigmoid模型建立的用户批改能力值作为权重，对数据集中的每份作业通过线性加权计算其得分值。对于任意一份作业h，假设参与批改的用户总数n，评分值分别为{h1，h1......，hn}，n位用户的批改能力值分别为{μ1，μ2，...，μn}，则对每一位用户的批改能力值进行归一化：该份作业的得分为：当sigmoid函数在自变量取值[0，5]内时，能力值＞0.5；当sigmoid函数在自变量取值在[5，10]内时，能力值＜0.5。用户对作业的评分与标准得分之间差的绝对值，除两个异常点外，大部分都落入[0，10]区间内。对计算得到的作业最终得分集合，以原始评分中的平均值和中位数作为对照组，进行均方误差mse与平均绝对百分误差mape的分析。误差分析指标平均值组中位数组能力值线性加权组mse124.9167.6447.94mape8.84％7.76％6.19％通过采用sigmoid模型建立的用户批改能力值进行线性加权得到的作业分数误差优于常规的平均值法和中位数法。实施例2本实施例在线课程用户作业互评智能分发、评价系统，包括：作业批改记录获取模块，用于获取评分用户对作业的批改记录；批改能力评估模块，用于基于所述批改记录，通过用户批改能力值算法，得到各评分用户的批改能力评估值；批改分配模块，用于将作业分配给预订的评分用户进行评分，分配原则为：用户不批改自己的待批改作业，以及一份待批改作业对应所有评分用户的批改能力值之和与另一份待批改作业对应所有评分用户的批改能力值之和之间的差值的绝对值不大于设定的阈值；评分结果输出模块，用于将评分结果进行输出。批改能力评估模块，包括sigmoid函数运行单元以及平均算法运行单元，所述sigmoid函数运行单元，用于输入值为用户对作业的评分与标准得分之间差的绝对值，该函数的数学表达为：其中，x为用户打分与标准值之间偏差的绝对值，rank则为输出的用户批改能力值；所述平均算法运行单元，用于在用户没有批改记录时，计算该批改组内其他有批改记录的用户的批改能力值的平均值为该用户批改能力值初始值。评分结果输出模块包括归一化处理单元、结果输出单元，所述归一化处理单元，用于获取对被评分作业进行评分的各评分用户的批改能力评估值，对每一位评分用户的批改能力评估值进行归一化，其中归一化公式如下：μi为第i个评分用户的批改能力评估值，为所有评分用户的批改能力评估值之和；结果输出单元，用于采用如下公式得到最终被评分作业的得分，其中τi为第i个评分用户的归一化批改能力评分值，hi为第i个评分用户对该作业的评分值。本实施例在具体应用中的应用，采用本方案只需要教师在交互英语平台上布置互评作业，学生在平台上提交作业后评价系统分配的同伴作业即可。布置互评作业教师登陆交互英语平台后，在作业模块下，选择布置写作作业、上传作业、口语作业中的任一种，填写作业的名称、作业要求，选择参与作业的班级以及学生互评方式评价作业，设置互评作业的提交开始时间、互评开始时间和评价截止时间。学生提交作业学生登陆交互英语平台后，在作业模块下，点击作业名称后查看作业要求并提交作业。学生评价作业作业评价日期开始后，学生登陆交互英语平台，在作业模块下，点击作业名称，即可查看自己的作业评价情况，评价系统分配到的同伴作业。作业互评结束后，学生可以查看同伴给自己作业的评价结果。以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本
技术领域：
的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。当前第1页12