读存储器（ROM)。RAM 970和非易失性存储驱动器980可包括提供程 序和/或数据文件的持久性（非易失性）存储的文件存储子系统。RAM 970和非易失性存 储驱动器980还可包括移动存储系统，诸如移动闪存存储器。
[0112] 总线子系统990提供一种机制以允许计算机802的各种部件和子系统按照预期相 互通信。尽管总线子系统990仅示意性地示出为单条总线，但所述总线子系统的替代实施 例可利用计算机802内的多条总线或通信路径。
[0113] 也可使用本公开实施例的多种变型形式和修改形式。在上文的描述中给出了具体 细节，以便深入理解这些实施例。但是，应当理解，这些实施例也可在不具备这些具体细节 的情况下实践。例如，为避免让实施例难以理解，熟知的电路、过程、算法、结构和技术在示 出时可能去掉了不必要的细节。
[0114] 上文所述的多种技术、框、步骤和手段的实施可通过不同的方式完成。例如，这些 技术、框、步骤和手段可在硬件、软件或两者的组合中实施。对于硬件实施，这些处理单元可 在一个或多个专用集成电路（ASIC)、数字信号处理器（DSP)、数字信号处理设备（DSPD)、可 编程逻辑设备（PLD)、现场可编程门阵列（FPGA)、处理器、控制器、微控制器、微处理器、其 他被设计用于执行上述功能的电子单元，和/或它们的组合内实施。
[0115] 并且，应注意的是，这些实施例可描述为过程，而所述过程被描绘为流程图、流程 示意图、泳道图、数据流程图、结构图或框图。尽管描绘内容可将操作描述为顺序过程，但许 多操作可平行或同时执行。除此之外，这些操作的顺序可重新排列。当一个过程的操作完成 时，该过程即终止，但可具有未包括在图中的额外步骤。过程可对应于方法、功能、程序、子 例程、子程序等。当过程对应于功能时，其终止对应于使功能返回至调用功能或主要功能。
[0116] 此外，这些实施例可由硬件、软件、脚本语言、固件、中间件、微码、硬件描述语言和 /或它们的任意组合来实施。在软件、固件、中间件、脚本语言和/或微码中实施时，进行必 要任务的程序代码或代码段可储存于机器可读介质诸如存储介质中。代码段或机器可执行 指令可表示过程、功能、子程序、程序、例程、子例程、模块、软件包、脚本、类或指令、数据结 构和/或程序语句的任何组合。代码段可通过传递和/或接收信息、数据、变元、参数和/ 或存储内容而耦接到另一代码段或硬件电路。信息、变元、参数、数据等可经由包括存储器 共享、消息传递、令牌传递、网络传输等在内的任何适合的手段来传递、转发或传输。
[0117] 对于固件和/或软件实施，方法可利用执行本文所述功能的模块（如，程序、功能 等）来实施。可使用任何以有形方式体现指令的机器可读介质来实施本文所述的方法。例 如，软件代码可储存于存储器中。存储器可在处理器内或在处理器外部实施。如本文所用， 术语"存储器"指任何类型的长期、短期、易失性、非易失性或其他存储介质，并且不限于任 何特定类型的存储器或任何特定数量的存储器，或其上储存记忆内容的任何特定类型的介 质。
[0118] 此外，如本文所公开，术语"存储介质"可表示用于储存数据的一个或多个存储器， 包括只读存储器（R0M)、随机存取存储器（RAM)、磁性RAM、磁芯存储器、磁盘存储介质、光学 存储介质、闪存设备和/或用于储存信息的其他机器可读介质。术语"机器可读介质"包括 但不限于，便携式或固定式存储设备、光学存储设备和/或各种其他能够储存且包含或携 带指令和/或数据的存储介质。
[0119] 尽管结合特定装置和方法在上文描述了本公开的原理，但应当清楚地理解，这些 描述仅以举例的方式做出，而不作为对本公开的范围的限制。
【主权项】
1. 一种用于验证主题评估的系统，所述系统包括： 处理器，所述处理器被配置为： 接收产品集，其中所述产品集包括工件的汇编，其中所述工件包括被评估者的工作产 品； 将所述工件之一提供给评估者； 接收评估标准的多个第一指示，其中所述评估标准包括多个子标准，其中所述评估标 准的所述第一指示识别所述工件的第一部分和所述评估标准的第一部分； 为所述评估标准的多个所述指示分配值，其中所述值识别所述评估标准的所述指示的 来源，其中所述评估标准的所述指示的所述来源为所述评估者； 接收所述工件的第一评估，其中所述评估基于所述评估标准和所述评估标准的所述第 一指示； 接收所述工件的第二评估、所述评估标准的第二指示以及所述工件的第二关联部分； 比较所述工件的所述第一评估和所述第二评估、比较所述评估标准的所述第一指示和 所述第二指示、以及比较所述工件的第一关联部分和所述第二关联部分；以及 提供所述工件的所述第一评估和所述第二评估之间差异、所述评估标准的所述第一指 示和所述第二指示之间差异、以及所述工件的所述第一关联部分和所述第二关联部分之间 差异的指示；以及 存储器，所述存储器被配置为存储： 接收到的所述产品集； 所述工件的所述第一评估； 所述工件的所述第二评估； 所述评估标准的所述第二指示和所述工件的所述第二关联部分；以及 所述工件的所述第一评估和所述第二评估的所述比较的结果。2. 根据权利要求1所述的系统，其中所述处理器还被配置为选择所述评估者。3. 根据权利要求1所述的系统，其中所述评估标准的被识别的所述部分包括子标准。4. 根据权利要求1所述的系统，还包括用户设备，所述用户设备被配置为： 显示所述工件的所述第一评估； 显示所述评估标准的所述第一指示；以及 显示所述工件的第一关联部分。5. 根据权利要求4所述的系统，其中比较所述工件的所述第一评估和所述第二评估还 包括： 生成差值，其中所述差值表征所述第一评估和所述第二评估之间的差异程度； 检索接受阈值，其中所述接受阈值为区别所述第一评估和所述第二评估之间的能够接 受的差异水平和不能够接受的差异水平的值；以及 比较所述差值和所述接受阈值。6. 根据权利要求5所述的系统，还包括在所述差值与所述接受阈值的所述比较表明所 述第一评估和所述第二评估之间的差异水平不能够接受的情况下，将所述评估标准的所述 第一指示与所述评估标准的所述第二指示进行比较，以及将所述工件的第一关联部分与所 述工件的第二关联部分进行比较。7. 根据权利要求5所述的系统，其中所述处理器还被配置为基于接收到的评估标准的 所述多个第一指示生成最终得分。8. -种用于验证主题评估的方法，包括： 接收产品集，其中所述产品集包括工件的汇编，其中所述工件包括被评估者的工作产 品； 将所述工件之一提供给评估者； 接收评估标准的多个第一指示，其中所述评估标准包括多个子标准，其中所述评估标 准的所述第一指示识别所述工件的第一部分和所述评估标准的第一部分； 为所述评估标准的多个所述指示分配值，其中所述值识别所述评估标准的所述指示的 来源； 接收所述工件的第一评估，其中所述评估基于所述评估标准和所述评估标准的所述第 一指示； 提供所述工件的所述第一评估、所述评估标准的所述第一指示以及所述工件的第一关 联部分； 接收所述工件的第二评估、所述评估标准的第二指示以及所述工件的第二关联部分； 比较所述工件的所述第一评估和所述第二评估、比较所述评估标准的所述第一指示和 所述第二指示、以及比较所述工件的所述第一关联部分和所述第二关联部分；以及 提供所述工件的所述第一评估和所述第二评估之间差异、所述评估标准的所述第一指 示和所述第二指示之间差异、以及所述工件的所述第一关联部分和所述第二关联部分之间 差异的指示。9. 根据权利要求8所述的方法，还包括选择评估者。10. 根据权利要求8所述的方法，其中所述评估标准的被识别的所述部分包括子标准。11. 根据权利要求10所述的方法，其中比较所述工件的所述第一评估和所述第二评估 还包括： 生成差值，其中所述差值表征所述第一评估和所述第二评估之间的差异程度； 检索接受阈值，其中所述接受阈值为区别所述第一评估和所述第二评估之间的能够接 受的差异水平和不能够接受的差异水平的值；以及 比较所述差值和所述接受阈值。12. 根据权利要求11所述的方法，还包括在所述差值与所述接受阈值的所述比较表明 所述第一评估和所述第二评估之间的差异水平不能够接受的情况下，将所述评估标准的所 述第一指示与所述评估标准的所述第二指示进行比较，以及将所述工件的第一关联部分与 所述工件的第二关联部分进行比较。13. 根据权利要求10所述的方法，还包括基于接收到的评估标准的所述多个第一指示 生成最终得分。14. 一种培训评估者的方法，包括： 生成产品集，所述产品集包括工件的汇编，其中所述工件包括被评估者的工作产品； 接收与所述产品集关联的评估标准，其中所述评估标准包括多个子标准； 接收密钥，其中所述密钥包括评估标准的多个指示，其中所述密钥中的所述指示为用 于产品集的评估标准的正确指示；其中所述密钥中的所述评估标准的所述指示识别所述工 件之一的一部分和所述评估标准的子标准； 向受训者提供所述产品集； 接收产品集评估，其中所述产品集评估包括所述评估标准的多个指示，其中所述产品 集评估中的所述指示接收自所述受训者；其中所述产品集评估中的所述评估标准的所述指 示识别所述工件之一的一部分和所述评估标准的子标准； 根据布尔函数比较所述密钥和所述产品集评估，以确定所述产品集评估的准确度；以 及 提供所述产品集评估的所述准确度的指标。15. 根据权利要求14所述的方法，其中比较所述密钥和所述产品集评估包括将所述产 品集评估中所述工件的得分与所述密钥中所述工件的得分进行比较。16. 根据权利要求15所述的方法，其中比较所述产品集评估和所述密钥还包括： 生成差值，其中所述差值表征所述产品集评估和所述密钥之间的差异程度； 检索接受阈值，其中所述接受阈值为区别所述产品集评估和所述密钥之间的能够接受 的差异水平和不能够接受的差异水平的值；以及 比较所述差值和所述接受阈值。17. 根据权利要求14所述的方法，其中比较所述密钥和所述产品集评估包括将所述产 品集评估中所述评估标准的所述指示与所述密钥中所述评估标准的所述指示进行比较。18. 根据权利要求15所述的方法，还包括提供额外的培训材料。
【专利摘要】本发明提供了用于评估控制的系统和方法。可使用评估控制系统来评估一个或几个工件。所述评估控制系统可用于验证评估和/或提供评估培训。所述评估系统可包括处理器和用户设备。所述评估系统可向评估者提供一个或几个工件和评估标准。所述评估系统可接收与所述一个或几个工件和/或所述评估标准关联的一个或几个标签。所述一个或几个标签可包括与所述评估标准结合支持所述一个或几个工件的评估和/或得分的信息。
【IPC分类】G06Q10/06, G06Q50/20
【公开号】CN105264555
【申请号】CN201480020941
【发明人】迈尔斯·T·劳瑞, 保罗·C·格鲁德尼茨基, 维沙尔·卡普尔
【申请人】培生教育公司
【公开日】2016年1月20日
【申请日】2014年4月14日
【公告号】CA2908952A1, US20140308650, WO2014169288A1