评估控制的制作方法
【技术领域】
[0001] 本发明一般涉及学习，并且可包括传统的课堂学习或在线或计算机化学习，包括 但不限于，采用学习管理系统（LMS)和/或在线作业系统（OHS)进行的学习或教学。
【背景技术】
[0002] 在学习过程中经常会生成工作产品。评估工作产品对于促进学习并且向工作产品 的创建者提供反馈非常重要。尽管评估工作产品对于学习过程很重要，但进行评估也需要 大量资源。因此，需要更好的系统、方法和设备来促进工作产品的评估。
【发明内容】
[0003] 在一些方面，本发明涉及用于验证主题评估的系统。该系统包括处理器，该处理器 接收包括工件（即被评估者的工作产品）汇编的产品集，将这些工件之一提供给评估者，并 且接收评估标准的多个第一指示，所述评估标准可包括多个子标准。在一些实施例中，评估 标准的第一指示识别工件的第一部分和评估标准的第一部分。处理器还可为评估标准的多 个指示分配值，所述值识别评估标准的指示的来源。在一些实施例中，评估标准的指示的来 源是评估者。处理器可接收工件的第一评估，所述评估可基于评估标准和评估标准的第一 指示；接收工件的第二评估、评估标准的第二指示和工件的第二关联部分；比较工件的第 一评估和第二评估、比较评估标准的第一指示和第二指示、以及比较工件的第一关联部分 和第二关联部分。处理器可提供工件的第一评估和第二评估之间差异、评估标准的第一指 示和第二指示之间差异、以及工件的第一关联部分和第二关联部分之间差异的指示。该系 统可包括可储存与以下方面相关的信息的存储器：所接收的产品集、工件的第一评估、工件 的第二评估、评估标准的第二指示、工件的第二关联部分，以及工件的第一评估与第二评估 的比较结果。
[0004] 在该系统的一些实施例中，处理器可选择评估者，所述评估者根据评估者和/或 所评估的工件的一个或几个特点从一个或几个潜在评估者清单中来选出。在该系统的一些 实施例中，评估标准的所识别的部分可为子标准。
[0005] 在一些实施例中，该系统可包括可显示工件的第一评估、显示评估标准的第一指 示以及显示工件的第一关联部分的用户设备。在一些实施例中，比较工件的第一评估与第 二评估可包括生成表征第一评估和第二评估之间差异程度的差值、检索作为区别第一评估 和第二评估之间可接受的差异水平和不可接受的差异水平的值的接受阈值，以及比较所述 差值与接受阈值。在一些实施例中，该系统可包括在差值与接受阈值的比较表明第一评估 和第二评估之间的差异水平不可接受的情况下，将评估标准的第一指示与评估标准的第二 指示进行比较，以及将工件的第一关联部分与工件的第二关联部分进行比较。在一些实施 例中，处理器可基于所接收的评估标准的所述多个第一指示生成最终得分。
[0006] 本发明的一些方面涉及验证主题评估的方法。该方法包括接收包括工件（即被评 估者的工作产品）汇编的产品集，将这些工件之一提供给评估者，以及接收评估标准的多 个第一指示。在一些实施例中，评估标准可为多个子标准，并且评估标准的第一指示可识别 工件的第一部分和评估标准的第一部分。在一些实施例中，该方法可包括为评估标准的多 个指示分配值，所述值可识别评估标准的指示的来源；接收工件的第一评估，所述评估基于 评估标准和评估标准的第一指示；以及提供工件的第一评估、评估标准的第一指示和工件 的第一关联部分。在一些实施例中，该方法可包括接收工件的第二评估、评估标准的第二指 示和工件的第二关联部分；比较工件的第一评估和第二评估、比较评估标准的第一指示和 第二指示、以及比较工件的第一关联部分和第二关联部分；以及提供工件的第一评估和第 二评估之间差异、评估标准的第一指示和第二指示之间差异、以及工件的第一关联部分和 第二关联部分之间差异的指示。
[0007] 在一些实施例中，该方法可包括选择评估者。在该方法的一些实施例中，评估标 准的所识别的部分可为子标准。在该方法的一些实施例中，比较工件的第一评估和第二评 估可包括生成表征第一评估和第二评估之间差异程度的差值、检索区别第一评估和第二评 估之间可接受的差异水平和不可接受的差异水平的接受阈值，以及比较所述差值与接受阈 值。在一些实施例中，该方法包括在差值与接受阈值的比较表明第一评估和第二评估之间 的差异水平不可接受的情况下，将评估标准的第一指示与评估标准的第二指示进行比较， 以及将工件的第一关联部分与工件的第二关联部分进行比较。在一些实施例中，该方法包 括基于所接收的评估标准的所述多个第一指示生成最终得分。
[0008] 本发明的一些方面涉及培训评估者的方法。该方法包括生成包括工件（即被评估 者的工作产品）汇编的产品集；接收与所述产品集关联的评估标准，所述评估标准可包括 多个子标准；以及接收密钥，所述密钥包括评估标准的多个指示。在一些实施例中，密钥中 的指示是用于产品集的评估标准的正确指示。在一些实施例中，密钥中的评估标准的指示 识别工件之一的一部分和评估标准的子标准。该方法的一些实施例包括将产品集提供给受 训者并且接收包括评估标准的多个指示的产品集评估。在一些实施例中，产品集评估中的 指示接收自受训者，并且产品集评估中的评估标准的指示识别工件之一的一部分和评估标 准的子标准。该方法的一些实施例包括根据布尔函数比较密钥和产品集评估，以确定产品 集评估的准确度，并提供产品集评估的准确度的指标。
[0009] 在该方法的一些实施例中，比较密钥和产品集评估包括将产品集评估中工件的得 分与密钥中工件的得分进行比较。在一些实施例中，比较产品集评估和密钥包括生成表征 产品集评估和密钥之间差异程度的差值、检索区别产品集评估和密钥之间可接受的差异水 平和不可接受的差异水平的接受阈值，以及比较所述差值与接受阈值。在一些实施例中，比 较密钥和产品集评估包括将产品集评估中评估标准的指示与密钥中评估标准的指示进行 比较。在一些实施例中，该方法包括提供额外的培训材料。
[0010] 根据下文提供的详细说明，本发明可应用的其他领域将显而易见。应当理解，在示 出各种实施例的同时给出的详细说明和具体实例旨在仅仅用于说明目的，而不意在必然地 限制本发明的范围。
【附图说明】
[0011] 本发明是结合附图进行描述的：
[0012]图1为示出评估控制系统的一个实施例的框图。
[0013] 图2为示出与评估控制系统一起使用的用户设备的一个实施例的框图。
[0014] 图3为示出用于评估一个或几个产品集和/或工件的过程的一个实施例的流程 图。
[0015] 图4为示出评估控制过程的一个实施例的流程图。
[0016] 图5为示出生成评估数据的过程的一个实施例的流程图。
[0017] 图6为示出显示评估数据的过程的一个实施例的流程图。
[0018] 图7为示出培训评估者的过程的一个实施例的流程图。
[0019] 图8为示出计算机系统的一个实施例的框图。
[0020] 图9为示出专用计算机的一个实施例的框图。
[0021] 在附图中，类似的部件和/或特征可以具有相同的附图标记。在附图标记被用于 说明描述的地方，该说明描述适用于具有相同附图标记的任一类似部件。另外，可通过在附 图标记后加上连接号和用于区分类似部件的第二标记来对相同类型的各种部件加以区分。 只要在说明书中使用了第一附图标记，其描述即适用于具有相同第一附图标记的任一类似 部件，而不考虑第二附图标记。
【具体实施方式】
[0022] 下文的描述仅提供优选的示例性实施例，而非意图限制本发明的范围、适用性或 架构。相反，下文对优选示例性实施例的描述将为本领域中的技术人员提供实施优选示例 性实施例的操作性描述。应当理解，在不脱离所附权利要求中陈述的精神和范围的情况下， 可对元件的功能和布置做出各种改变。
[0023] 在一个实施例中，本发明提供用于验证产品集评估的方法。该方法可包括接收产 品集，所述产品集包括可例如由一个或几个人生成的工作产品。在一些实施例中，将所述工 作产品的全部或部分提供给评估者，并且从评估者接收一个或几个标签，所述标签识别与 评估标准有关的主题。在一些实施例中，接收产品集和/或工件中一个或几个的评估并将 所述评估用于生成第一评估数据。可将所述第一评估数据与可例如由第二评估者生成的第 二评估数据进行比较。在一些实施例中，第一评估数据和第二评估数据之间的差异程度和 所述差异可提供与准确度评估相关的信息。具体地讲，如果第一评估数据和第二评估数据 相匹配和/或密切匹配，评估更有可能是准确的。
[0024] 在一个实施例中，本发明提供用于对评估者（在本文中也称为受训者）评估产品 集进行培训的方法。所述方法可包括生成培训产品集、与产品集关联的评估标准，以及第二 已验证的评估（在本文中也称为密钥）。在一些实施例中，所述方法可包括接收对产品集的 一部分、评估标准的相关部分和受训者予以识别的标签的指示，以及接收产品集评估。可将 所接收的产品集评估与密钥进行比较，并且所接收的评估与密钥之间的差异可指示受训者 的培训水平和/或用于为受训者提供进一步培训的潜在领域。在一些实施例中，这些差异 和差异程度可用于确定受训者何时成为已完成培训的评估者。
[0025] 现在参考图1，其示出评估控制系统100的一个实施例的框图。评估控制系统100 收集、接收并且储存与工件相关的数据。在一些实施例中，工件可包括任何工作产品，并且 可包括例如数字工作产品。在一些实施例中，数字工作产品可包括书面工作产品和/或记 录的工作产品，所述记录的工作产品可包括音频和/或视频记录。在一些实施例中，评估控 制系统100可收集、接收并且储存与一个或几个工件的评估相关和/或促进所述评估的数 据。评估控制系统100可接收和/或创建一个或几个工件的评估标准，可接收工件的与评估 标准有关的部分的一个或几个指示，并且可接收一个或几个工件和/或产品集的评估。在 一些实施例中，评估控制系统100可被配置为评价所述一个或几个工件的评估，以促进一 个或几个评估者的培训和/或进行评估质量控制。
[0026] 评估控制系统100可包括处理器102。处理器102可提供指令给评估控制系统100 的其他部件，并且从所述其他部件接收信息。处理器102可根据储存的指令来行动，所述储 存的指令可位于与处理器关联的存储器中和/或位于评估控制系统100的其他部件中。处 理器102可包括微处理器，诸如来自Intel?,或Advanced Micro Devices, Ine，等的微处理 器。
[0027] 评估控制系统100可包括一个或几个数据库104。所述一个或几个数据库104可 包括所储存的与评估控制系统100的功能有关的数据。所述一个或几个数据库104包括 配置文件数据库104-A。所述配置文件数据库104-A可包括一个或几个用户的配置文件数 据，所述一个或几个用户可包括例如一个或几个评估者和/或一个或几个监督者。在一些 实施例中，例如，配置文件数据库104-A可包括与工作产品的创建者（在本文中也称为被评 估者）相关的信息。
[0028] 配置文件