用于自适应知识评估和学习的系统与方法

用于自适应知识评估和学习的系统与方法
【专利摘要】本公开涉及用于自适应知识评估和学习的系统与方法。一种用于知识评估与学习的面向服务的系统，包括用于向位于客户终端的学习者显示多个多选问题和两维答案的显示设备、适于管理该系统的一个或多个用户的管理服务器、适于为一个或多个用户提供创建和维护学习资源库的接口的内容管理系统服务器、包括学习材料数据库的学习系统服务器，其中多个多选问题和两维答案存储在数据库中，用于选择性递送到客户终端，及适于创建并维护关于学习者的注册信息的注册与数据分析服务器。
【专利说明】用于自适应知识评估和学习的系统与方法
[0001]优先权与相关申请
[0002]本申请请求于2011年2月16日提交的美国专利申请号13/029，045和于2011年8月23日提交的13/216,017的优先权。本申请还关于2010年10月20日提交的美国专利申请号12/908，303、2003年9月23日提交的美国专利申请号10/398，625、2005年7月23日提交的美国专利申请号11/187，606和2005年7月26日发布的美国专利号6，921，268。以上列出的每个申请与专利的细节都引入到本申请中作为参考并且用于所有合适的目的。
【技术领域】
[0003]本发明的各方面涉及知识评估与学习并且涉及基于微处理器和联网的测试与学习系统。本发明的各方面还涉及知识测试与学习方法，而且更具体地说，涉及用于基于自信的评估(“CBA”)和基于自信的学习(“CBL”)的方法与系统，其中来自学习者的单个答案在他或她的响应中生成关于这个个人的自信与正确性的两个度量。
【背景技术】
[0004]评估一个人在一个主题中的知识程度的传统多选测试技术包括改变可以通过一维或对/错(RW)答案来选择的可能选择的个数。典型的多选测试可以包括有三个可能答案的问题，通常这些答案中的一个可以被学习者根据第一印象作为不正确而消除。这显著增加了对剩余答案的猜测导致把可能正确或可能不正确的响应标记为正确的概率。在这种情况下，关于他或她是知情的(即，对正确的响应很自信)、误导(即，对响应很自信，但是响应不正确)或者缺乏信息(即，学习者明确声明他或她不知道正确的答案，并且不被允许以那种方式响应)，成功的猜测将掩盖学习者知识的真实程度或状态。相应地，作为测量学习者知识的真实程度的一种方式，传统的多选一维测试技术是非常无效的。尽管有这个显著的缺陷，但传统的一维多选测试技术还是广泛地被信息密集和信息依赖的组织使用，例如银行、保险公司、公用事业公司、教育机构和政府机构。
[0005]传统的多选、一维(对/错)测试技术是强迫选择测试。不管他们是否知道正确答案，这种格式都要求个人选择一个答案。如果有三个可能的答案，那么随机选择将导致33%的机会得到正确答案。一维打分算法通常奖励猜测。通常，错误答案得分为零分，因此完全不回答与猜测不成功之间的打分没有区别。由于猜测有时候会导致正确答案，因此猜总比不猜好。已知有少数传统测试方法对错误答案提供负分，但是算法常常设计成使得消除至少一个答案转移有利于猜测的机会。因此，对于所有实践用途，猜测仍然是被奖励的。
[0006]此外，现有的一维测试技术鼓励个人在消除可能错误的答案和对正确答案进行最佳猜测确定方面变得有经验。如果个人可以把一个可能的答案作为不正确而消除掉，那么挑出正确答案的机会就达到了 50%。在70%通过的情况下，即使他们几乎什么都不知道，但是具有良好猜测技能的个人只有20%不及格。因此，一维测试格式及其打分算法把个人的目的及其动机从自我评估和接收准确反馈朝着抬高测试得分以便通过一个阈值转移。
【发明内容】

[0007]本发明的各方面提供了用于知识评估和学习的方法与系统，该方法与系统准确地评估学习者知识的真实程度并且根据识别出的不足领域对受试者提供进行补救性学习或教育材料。本发明结合了基于自信的评估与学习技术的使用并且可以在基于微处理器的计算设备或联网的通信客户-服务器系统上部署。
[0008]根据本发明的设备与方法的其它方面提供了用于个性化、自适应评估和学习的机制，其中，依赖于每个学习者如何响应特定的问题，学习和评估系统的内容以个性化的方式递送到每个学习者。在某些实施例中，这些响应将依赖每个学习者的知识、技能与自信表现而变，而且，依赖学习者为每个问题提供的知识质量，系统及其底层算法将自适应地馈送未来的评估问题和关联的补救。
[0009]本发明的另一方面是使用可重用的学习对象结构，该结构提供内置机制，来无缝地集成具体的学习成果声明、使学习者相对于每个学习成果声明获得必要知识和/或技能的主题及证实学习者是否相对于每个学习成果声明真正获得了知识和/或技能连同他/她对那个知识或技能的自信的多维评估。那些学习对象的可重用性是通过内置到本发明中的内容管理系统来启用的，使得作者可以容易地搜索、识别和重用现有的学习对象。
[0010]本发明的其它方面涵盖了集成的报告能力，使得管理员、作者、注册员和分析员既可以评价每个用户的知识表现的质量又可以评价在学习对象中所显示的学习材料的质量。报告能力是基于存储在数据库中的用于每个用户响应的数据可高度定制的。
[0011]根据另一方面，用于知识评估和学习和面向服务的系统结构包括用于向位于客户终端的学习者显示多个多选问题和两维答案的显示设备、适于管理系统的一个或多个用户的管理服务器、适于为一个或多个用户提供创建并维护学习资源库的接口的内容管理系统服务器、包括学习材料数据库的学习系统服务器，其中，多个多选问题和两维答案存储在数据库中，用于选择性递送到客户终端，及适于创建和维护关于学习者的注册信息的注册与数据分析服务器。在一种实施例中，用于知识评估的系统执行一种方法，该方法向显示设备发送多个多选问题和两维答案，所述答案包括多个由单选答案组成的完全自信答案、多个由一组或多组多个单选答案组成的部分自信答案及一个不确信答案，通过经显示设备向学习者呈现多个多选问题和两维答案并且经显示设备接收学习者对多选问题选择的答案来管理评估，通过这种两维答案，学习者既指示他们的实质性答案又指示他们答案的自信分类等级，及通过对学习者的至少一个答案指定知识状态名称来给评估打分。
[0012]作为该系统基础的方法是有目的地创建的，使得该方法充分利用关于学习和记忆的研究的关键发现和应用，其目的在于显著提高学习过程的效率和效用。那些方法包括在系统的各种实施例中。
【专利附图】

【附图说明】
[0013]图1是显示根据本发明各方面构建的学习系统各方面的互连与交互的系统级体系结构图。
[0014]图2是显示根据本发明各方面构建的学习系统各方面的互连与交互的系统级与数据体系结构图。
[0015]图3是根据本发明各方面的另一系统级与数据体系结构图。[0016]图4是根据本发明各方面的另一系统级与数据体系结构图。
[0017]图5和6是联系本发明各方面使用的学习系统数据收集与用户接口的实施例。
[0018]图7A-7C说明了根据本发明各方面使用的轮选算法。
[0019]图8A-8D说明了根据本发明各方面使用的过程算法的例子，该过程算法概述如何给用户响应打分，及那些得分如何确定通过评估与补救的进度。
[0020]图9-17说明了联系本发明各方面使用的各种用户接口与报告结构。
[0021]图18说明了可重用学习对象的结构，那些学习对象如何组织成模块，及那些模块如何公布显示给学习者。
[0022]图19说明了可以联系本发明各方面使用的机器或其它结构性实施例。
【具体实施方式】
[0023]本发明的各方面建立在美国专利申请号13/029，045、美国专利申请号12/908，303、美国专利申请号10/398，625、美国专利申请号11/187,606和美国专利6，921，268中所公开的基于自信的评估(“CBA”)和基于自信的学习(“CBL”)系统与方法之上，所有这些申请和专利都引入本申请作为参考而且这些专利都被位于科罗拉多州博尔德的 knowledge Factor 公司拥有。
[0024]本发明集中在关于系统体系结构、用户接口、算法和其它修改的系统实施例上。有时候，为了突出具体的相似性或区别，描述了该系统的其它实施例，但是那些描述不意味着在knowledge Factor公司所拥有的相关现有专利和专利申请中包括所描述的系统的所有实施例。
[0025]如图1所示，表现为通过web服务互操作的一组应用102的知识评估方法与学习系统100提供了分布式的评估与学习解决方案，为其用户提供交互的需求。系统中的主要角色如下:
[0026]a.管理员104:全面地管理系统，并且可以访问构成系统并且通过web服务互操作的所有应用。
[0027]b.作者106:开发、管理和公布学习与评估内容。
[0028]c.注册员108:管理学习者注册，包括创建新学习者帐号并管理学习者评估。
[0029]d.分析员110:管理对一个或多个业务单元的报告。
[0030]e.学习者112a_112c:系统的全体最终终端用户，可以访问由系统递送的学习与评估模块。
[0031]任何数量的用户可以只执行一个功能或者充当一个角色，同时单个用户可以执行几个功能或者充当许多角色。例如，管理员104还可以充当注册员108或者分析员110(或者其他角色)，而作者106还可以充当分析员110。
[0032]图2示出了计算机网络体系结构200的一种实施例，其中计算机网络体系结构200可以用于实现根据本发明各方面的知识评估与学习功能基于网络的分布。CB学习内容通过多个设备202a-202n递送到每个已注册组织的学习者或者单独地递送，这些设备例如计算机、平板电脑、智能电话或者本领域中已知的其它设备，而且这些设备远程定位，以便让学习者、管理员和其他角色访问。每个访问设备都优选地采用充分的处理能力来递送音频、视频、图形、虚拟现实、文档与数据的混合。[0033]学习者设备与管理员设备的组经互联网或其它网络206连接到一个或多个网络服务器204a-204c。服务器与关联的软件208a_208c (包括数据库)配备了存储设施210a-210c,以便充当用于用户记录和结果的存储库。信息是利用业界标准，例如传输控制协议/互联网协议(“TCP/IP”)，经互联网传输的。
[0034]在一种实施例中，系统200遵循业界标准分布式学习模型。集成模型，例如航空工业CBT委员会(AICC)、学习工具互操作性(LTI)及定制的web服务，用于跨系统共享课件对象。
[0035]本发明的实施例与各方面提供了用于进行知识评估和学习的方法与系统。各种实施例结合了可以部署在基于微处理器或联网通信客户-服务器系统上的基于自信的评估与学习技术的使用，这种技术收集并使用来自学习者的基于知识且基于自信的信息，为每个学习者创建自适应、个性化的学习计划。在一般意义上来说，评估结合了非一维的测试技术。
[0036]根据另一方面，本发明包括用于基于自信的评估(“CBA”)和基于自信的学习(“CBL”)的健壮方法与系统，其中，一个答案生成关于个人对他或她的响应的自信和正确性的两个度量，从而便于进行立即补救。这是通过各种工具来完成的，包括但不限于:
[0037]1.消除了需要猜答案的评估与打分格式。这导致对“真实”信息质量更准确的评价。
[0038]2.更准确地揭示一个人:(1)准确地知道；(2)部分知道；(3)不知道；及(4)确信他们知道但实际上不正确的打分方法。
[0039]3.只集中到他们真正需要指导性或再教育关注的那些领域的自适应且个性化的结果知识简档。这消除了在实际上不需要关注的领域浪费的时间和努力。
[0040]在学习模块中，上述方法与工具是由例如以下的方法或“学习周期”实现的:
[0041]1.请学习者完成形成性评估。这以把标准的三至五个答案的多选测试编译成结构化CBA格式的步骤开始，对每个问题的可能答案都覆盖了三种意识状态:自信、怀疑和无知，由此更紧密地匹配应试者的意识状态。
[0042]2.审查个性化的知识简档，这个知识简档是相对于正确响应的学习者对初始评估的响应的总结。基于自信的(CB)打分算法是以这样一种方式实现的，它告诫学习者猜测要受到惩罚，而且承认怀疑和无知比假装自信更好。然后，CB答案集被编译并作为个性化的知识简档显示，把答案更精确地分成有意义的知识区，给予个人和组织关于错误(误导)、未知、怀疑和掌握的领域与程度的丰富反馈。个性化的知识简档是表现与能力的更好度量。例如，在公司培训环境的背景下，个别化的学习环境鼓励保留更高信息质量并且由此减少高代价的知识与信息错误并提高生产率的更见多识广(better-1nformed)的员工。
[0043]3.关于学习材料审查问题、响应、正确答案和解释。理想地，对于正确和不正确答案都提供解释(由作者自由决定)。
[0044]4.审查附加学习(在有些实施例中描述为“扩展你的知识”)学习材料，获得对主题的更详细理解(宽度和深度)。
[0045]5.迭代-这个过程可以根据个别学习者的需要重复多次，以便证明对主题的适当理解和自信。在有些实施例中，并且作为这种迭代模型的一部分，(依赖于使用什么算法)打分为自信且正确的答案可以从呈现给学习者的问题列表中除去，使得学习者可以集中到他/她的具体技能差距。在每次迭代过程中，呈现给学习者的问题个数可以由模块中所有问题的一个子集来表示；这可以由模块的作者来配置。此外，通过使用在构成该系统的软件代码中调用的随机数发生器，问题及对每个问题的答案在每次迭代过程中是按随机次序呈现的。
[0046]根据一方面，本发明产生个性化的知识简档，该知识简档包括对学习者的形成性与总结性评价，并且识别各种知识质量等级。基于这种信息，系统通过一种或多种算法把用户的知识简档关联到学习材料数据库，然后该数据库可以传送到系统用户或学习者，用于实质性响应的审查和/或再教育。
[0047]本发明的各方面适于部署在独立的个人计算机系统上。此外，它们还可以部署在例如万维网的计算机网络环境上，或者内联网或移动网络客户端-服务器系统中，其中，“客户端”通常是由适于访问由另一个计算设备，服务器，提供的共享网络资源的计算设备表示的。见例如联系图2描述的网络环境。结合了各种数据库结构与数据应用层来启用通过各种用户权限级别的交互，每个权限级别都在本文更完全地描述。
[0048]参考图3,根据本发明各方面构建的系统300的另一种实施例包括以下一个或多个应用，其中每个应用是独立的但是作为整体可以通过web服务互操作:
[0049]a.系统管理302:这个应用用于全面管理系统的所有方面，这个应用是由管理员角色管理的。
[0050]b.内容管理系统(或创作)304:这个应用用于所有内容创作，及用于公布和报废所有内容，并用于管理系统中的所有内容。这些功能是由作者和内容管理者角色管理的。
[0051]c.学习306:这个应用用于所有学习和/或评估，而且是学习者将登入系统的地方。
[0052]d.注册与数据分析(RDA)应用308:这个应用用于管理学习者注册，这是由注册员角色管理的，及所有报告，这是由分析员角色管理的。此外，其他角色，例如指导员角色，可以在这里登入，观看专门为那个角色设计的报告。
[0053]知识评估与学习系统的各种任务被基于web服务的网络体系结构和软件解决方案支持。图3示出了构成系统300的个别集成的应用-管理302、内容管理系统(创作)304、学习(还包括评估)306及注册与数据分析308。
[0054]系统管理模块302包括例如登录功能310、单点登录功能312、系统管理应用314、帐号服务模块316和帐号数据库结构318的部件。系统管理模块302用来管理应用中存在的各种消费者帐号。
[0055]CMS模块304包括创作应用322，该应用向作者提供内容创作功能性并且结构化学习元素和课程，还提供模块审查功能324、允许基于xml或其它形式的数据导入的导入/导出功能320、创作服务326、公布内容服务328、创作数据库330和公布内容数据332。CMS模块304允许课程功能性管理构成课程的各种元素并且允许公布功能性正式公布学习内容，使得其可以让终端用户获得。
[0056]学习模块306包括学习者门户网站336、学习应用功能334和学习服务功能338。还包括学习数据库340。学习与评估功能性充分利用本文所述的各种其它方面与特征。
[0057]注册与数据分析(RDA)308包括注册应用342、指导器仪表板344和报告应用346、注册服务348，报告服务350、注册数据库352和数据仓库数据库354。注册与数据分析308包括管理特定应用中各种终端用户类型的注册的功能性及基于用户的角色以依赖上下文的方式向终端用户显示报告的功能性。
[0058]在操作中，任何位于远端的用户都可以经一个设备与系统通信(例如，图2或3)。本系统的各方面及其软件提供了多个基于web的页面与表单，作为用户与系统之间的通信接口的一部分，使得可以快速容易地导航通过与每个角色有关的功能。例如，学习应用基于web、支持浏览器的显示呈现给学习者，充当让用户访问系统的web站点及其相关内容的网关。学习者可以通过学习应用直接访问系统，或者通过组织的学习管理系统(LMS)访问，该LMS通过业界标准协议(例如，AICC、LT1、web服务)与该系统集成。
[0059]图4说明了可以根据本发明一方面实现的系统体系结构图450。Web应用体系结构450是可以用来实现根据本发明构建的设备与系统的各种面向机器的方面的一种结构性实施例。体系结构450由三个通用的层组成，表现层、业务逻辑层和数据抽象与持久化层。如图4中所示，客户端工作站452运行自己本身包括客户端侧表现层456的浏览器454或其它用户接口应用。客户端工作站452连接到包括服务器侧表现层460、业务层462和数据层464的应用服务器458。应用服务器458连接到包括数据库468的数据库服务器466。
[0060]每个应用都包括用户登录能力，结合了用于系统访问与用户认证的必要的安全性过程。登录过程提示系统实现用户身份的认证与授权的访问等级，如通常在本领域所进行的。
[0061]再次参考图3，创作应用322允许作者角色，例如内容开发者或教学设计人员，构建学习对象、关联的学习或评估模块及课程。登录到创作应用322通向创作(内容开发)屏幕。创作主屏幕结合了导航按钮或其它方式来访问学习与评估内容的主要方面。创作屏幕包括支持例如(部分地)创建、编辑与上载学习对象、对审查员反馈的审查、创建或管理学习和/或评估模块及公布或报废模块的功能的几个软件能力。为了本讨论的目的，创作应用也被称为“内容管理系统”或者“CMS”。
[0062]创作进一步在所见即所得(WYSIWYG)编辑窗口中提供编辑与格式化支持设施，创建超文本标记语言(“HTML”)和其它浏览器/软件语言，用于由系统向各种用户类型显示。此外，创作还提供超链接支持及包括和管理基于web的应用常见的多种媒体类型的能力。
[0063]创作还适于允许用户上载文本格式化的文件，例如xml或csv，用于利用批量上载功能性导入整块内容或者其一部分。此外，创作还适于接收并利用各种常用格式的媒体文件，例如*.GIF、*.JPEG、*.MPG, *.FLV和*.PDF (这是被支持文件类型的部分列表)。在学习或评估需要音频、可视和/或多媒体提示的情况下，这个特征是有利的。
[0064]创作应用322允许作者使用现有的学习材料或者以适当的格式创建新的学习材料。创作是通过在创作应用中创建学习对象或者通过批量上载特征上载新学习对象，然后把选出来的学习对象组合到学习或评估模块中完成的。系统中的学习对象由以下组成:
[0065]a.介绍
[0066]b.问题
[0067]c.答案(一个正确答案；二至四个干扰选项)
[0068]d.解释
[0069]e.附加学习:附加的解释材料和更深入或附带学习的机会
[0070]f.元数据/分类:可以用于帮助搜索学习对象和报告的数据；这种元数据可以是分层的或者分类的
[0071]每个问题都必须具有一个指定为正确选择的答案，而其它二至四个答案识别为不正确的或者误导的响应，而且它们通常可以作为似是而非的干扰选项或者普遍持有的误传来构造。在如图5所示的学习例子中，查询有四个可能的答案选择。
[0072]学习对象组织成模块，而且这些模块指定给学习者。然后，基于学习应用中的打分与显示算法，每个模块中的学习对象向学习者显示。
[0073]—旦已经利用创作应用创建了一个学习或评估模块，该模块就公布，准备经学习应用呈现给学习者。然后，学习应用把一维的对错答案配置成非一维的答案格式。因而，在其中查询具有多个可能答案的本发明的一种实施例中，非一维的测试是以两维响应的形式根据预定义的自信分类或等级来配置的。
[0074]三级自信分类提供给学习者，指定为:100%确信(学习者只选择一个答案并且把那个响应归类为“我确信”，见例如图5);部分确信(学习者选择最能代表答案的一个或一对选择并且把那些响应归类为“我部分确信”)；和不知道(通过选择“我还不知道”归类)。然后，以适于在学习者的设备上显示的方式，查询、自信分类及关联的可能答案选择被组织并格式化。一个答案的每个可能选择都进一步与例如选中并点击按钮的输入方式关联，以便从学习者接受作为对他或她选择答案的响应的指示的输入。在一种实施例中，测试查询、自信分类和答案的呈现被常用的基于互联网的浏览器支持。输入方式可以示为与答案的每个可能选择关联的独立的选中并点击按钮或者域，而且学习者可以把答案拖放到适当的响应类中，或者可以单击答案来填充具体的响应类。
[0075]如从以上讨论看到的，该系统从根本上方便了非一维查询的构建或者传统一维查询到多维查询的转换。本发明的创作功能对从其构建学习对象的材料的本质是“盲目的”。对于每个学习对象，系统只对测试查询和学习者选择的答案选择的形式起作用。内置到系统中的算法控制提供给学习者的反馈的类型，并且还基于学习者对前面查询的响应控制提供给学习者的后续学习材料的显示。
[0076]以解释或附加学习的形式，CMS允许作者把每个查询与关于那个查询的具体学习材料或信息关联。学习材料由系统存储，为了在现有或新学习对象中使用而提供随时访问。这些学习材料包括文字、动画、图像、音频、视频、网页和类似的培训材料来源。这些内容元素(例如，图像、音频、视频、PDF文档等)可以存储在本系统中，或者存储在独立的系统上并且可以利用标准的HTML与web服务协议与学习对象关联。
[0077]本系统使培训机构能够递送学习和/或评估模块。相同的学习对象在学习和评估模块中都可以(或者在任何一个中)使用。评估模块利用系统中学习对象的以下元素:
[0078]a.介绍
[0079]b.问题
[0080]c.答案(一个正确答案；二至四个干扰选项)
[0081]d.元数据:可以用于帮助搜索学习对象和报告的数据；这种元数据可以是分层的或者分类的
[0082]每个学习模块都作为两个独立的、重复的段向学习者显示。首先，为学习者呈现形成性评估，该评估用于识别学习者的相关知识及自信差距表现。在学习者完成形成性评估之后，给予学习者通过对解释和附加学习信息的审查来填补知识差距的机会。继续为学习者呈现形成性评估然后审查的轮，直到他/她证明已经掌握(自信且正确的响应)了模块中学习对象要求的百分比。
[0083]作者(及将在本文档中随后给出的关于课程管理的其他角色)可以在学习模块中设置以下打分选项:
[0084]a.如上所述，在每一轮学习中该模块中将呈现给学习者的学习对象的数量(从模块中一个学习对象到全部学习对象的范围)；这种设置确定有多少学习对象在一个问题集中存在。
[0085]b.在被认为掌握(并且因此在那个模块中不再显示)之前学习者必须连续对一个学习对象自信且正确响应的次数-或者是一次(IX正确)或者是两次(2X正确)。
[0086]c.在一个模块整体被认为完成之前该模块中必须掌握(自信且正确)的学习对象的百分比(1%和100%之间的任何范围)。
[0087]d.一旦学习者已经对特定的学习对象提供了自信且正确的响应，介绍中的图像是否将在每个问题集的形成性评估部分中显示；这个选项只与2X正确打分设置有关。
[0088]在每一轮学习中，学习对象都以随机次序(或者以作者设定的预定义次序)呈现给学习者，而且对每个问题的潜在答案也在每次该问题呈现给学习者时以随机次序呈现。在每一轮(或者问题集)中显示哪些学习对象依赖于(a)以上列出的打分选项，和(b)内置到学习应用中的算法。该算法在本文档中随后更具体地描述。评估模块结构化成使模块中的所有学习对象都在单轮中呈现。
[0089]根据一种实施例，作者(及将在本文档中随后给出的关于课程管理的其他角色)可以在评估模块中设置以下打分选项:评估模块中的问题是以随机次序还是以作者定义的次序呈现给学习者。
[0090]学习与评估模块向学习者的呈现是通过首先公布来自创作应用(或者CMS)内部的期望模块来启动的。一旦模块已经在CMS中公布，学习应用就能够访问这些模块。然后，学习者必须在作为系统一部分的注册与数据分析应用中或者在由消费者操作并且已经与系统集成的学习管理系统或门户网站中注册这些模块。
[0091]作为一种实施例的一个例子，查询或问题将由三个答案选择和两维答题模式组成，这种两维答题模式包括学习者的响应及他或她对那个选择的自信分类。自信分类是:“我确信”、“我部分确信”和“我还不知道”。该系统的另一种实施例允许作者把系统配置成使得没有任何响应的查询被认为，而且缺省地，是“我还不知道”选择。在其它实施例中，“我还不知道”选择用“我不确信”或者“我不知道”选择代替。在其它实施例中，多达五个答案选择可以提供给学习者。
[0092]学习和/或评估模块可以在不同的地理位置和在不同的时段对独立的学习者管理。在本系统的一种实施例中，与学习和/或评估模块关联的学习对象的相关成分是实时地，并且根据算法，在服务器与学习者的设备之间呈现的，而且当他/她前进通过模块时把进度传送给学习者。在本系统的另一种实施例中，学习和/或评估模块可以批量下载到学习者的设备，其中，在把响应传送(上载)到系统之前，查询是整体回答的，解释和附加学习可以被审查，而且实时进度提供给学习者。
[0093]系统捕捉与学习或评估关联的众多时间测量。例如，系统测量受试者对所给出的任何或全部测试查询作出响应所需的时间量。该系统还跟踪审查解释材料与附加学习信息需要多少时间。当这样修改之后，时间测量脚本或子例程充当时间标记。在本发明的有些实施例中，电子时间标记还识别由课件服务器把测试查询发送到学习者的时间，及学习者把对答案的响应返回到服务器所需的时间。
[0094]预期并描述各种用户接口实施例。例如，学习者的答案可以在用户接口屏幕上选择并且拖到适当的响应区域，例如“自信”、“怀疑”和“不确信”(例如，图5)。在本发明的其它实施例中，可能会请学习者从七个不同选项中选择，这些选项同时捕捉对知识和自信的两维响应(例如，图6)。
[0095]在以下讨论中，为了方便参考，使用本领域的某些术语，但这不是要以与权利要求中所述不同的任何方式限定这些术语的范围。
[0096]ampObject:指呈现给评估与学习系统的学习者或其他用户的个别问题/答案(包括介绍材料)、显示给学习者的学习信息(解释和附加学习)及与作者和分析员可用的每个ampObject关联的元数据。这种ampObject结构在本文档中之前被称为“学习对象”。
[0097]模块:指在任何给定的学习和/或评估情形下呈现给学习者的一组ampObject(系统中的学习对象)。模块是可以指定给学习者的最小课程元素。
[0098]编译基于自信的(CB)学习与评估材料
[0099]建立、开发或另外编译CB格式的学习与评估模块使得把标准评估格式(例如，多选、真-假、填空等)转换成可以通过同时提供关于答案正确性(即，知识)与学习者对那个响应的确定性程度(即，自信)来回答的问题成为必需。
[0100]用于CBA或CBL评估部分的用户接口的两种不同实现的例子在图5和6中提供。
[0101]图5是说明这种问题与答案格式的用户接口的一个例子，其中，学习者的答案可以在用户接口屏幕上选择并且，或者拖到适当的响应区中，例如“自信”、“怀疑”和“不确信”，或者通过点击期望的答案(例如，在一个答案上点击将把它移到“自信”响应域；在另一个答案上点击将把它移到“怀疑”响应域)。因此，响应所给出的问题，要求学习者提供既指示他/她实质性答案又指示对那个响应的自信等级的两维答案。
[0102]图6是说明具有七个响应选项的一种备选问题与答案格式的用户接口的例子。为了配合前面的例子，要求学习者提供既指示他/她实质性答案又指示对那个响应的自信等级的两维答案。
[0103]在图6的例子中，在问题下面列出一维选择。但是，还要求学习者同时在第二个维度中响应，这在标题“我确信”、“我部分确信”和“我不确信”下分类。“我确信”类包括三个单选答案(A-C)。“我部分确信”类允许受试者在任何两个单选答案的集合(A或B、B或C、A或C)之间选择。还有一个“我不确信”类，该类包括一个特殊的“我不确信”答案。这种三选择七答案的格式是基于显示少于三个选择由于更容易猜到答案而答对会引起错误的研究。多于三个选择既会(a)通过识别不正确答案之间的一致性而增加学习者区分正确与不正确答案的能力，并且(b)造成不利地影响测试真正得分的一定程度的混淆(记住前面的选择)。
[0104]图7A-7C说明了在本发明各方面中体现的自适应学习框架结构的高级概述。通过作为学习者之前响应的函数向每个学习者提供评估与学习程序，根据本文所公开各方面的整体方法与系统实时地修改。根据本发明的其它方面，依赖每个学习者如何回答特定的问题，学习与评估系统的内容以个性化的方式递送到每个学习者。具体而言，那些响应将依赖每个学习者的知识、技能与自信表现而变，而且系统及其底层算法将依赖学习者对每个问题提供的知识质量自适应地馈送未来的评估问题与关联的补救。
[0105]通过自适应重复增加保留
[0106]学习者的自信与知识保留高度相关。如上所述，某些方面请求并测量学习者的自信等级。本发明进一步的方面通过要求学习者证明对其答案的完全自信以便获得真正的知识而更近一步，，由此增加知识保留。这部分地是通过迭代步骤(自适应重复?)获得的。在个人像上面那样审查系统中材料的结果之后，学习者可以根据需要重新参加评估多次，以便达到掌握，如对知识的自信和正确所证明的。根据这种自适应重复方法的学习结合非一维评估产生了多个个性化的知识简档，这些知识简档允许个人贯穿评估过程理解并测量他们通的提闻。
[0107]在一种实施例中，当一个个人重新参加学习模块中的形成性评估时，问题被随机化，使得个人不会以与上次评估同样的次序看到相同的问题。问题是在数据库中开发的，其中，某个问题集合覆盖一项能力或能力集合。为了提供对主题的真正知识获取与自信(掌握)，每次呈现一定数量的问题，而不是整个问题库(间隔或组块)。研究证明这种间隔显著改进了长期保留。
[0108]amp Pb iect (问题)对学习者的显示:
[0109]在有些实施例中，(ampObject中的)问题是作为整体(一次全部在一个列表中)显示给学习者的，而且用户也整体地回答问题。在另一种实施例中，问题一次一个地显示。根据进一步的实施例，学习是通过问题显示给用户的方式及ampObject显示给学习者的次数与定时的整体随机化来增强的。广义地说，选定的问题分组允许系统更好地把学习环境剪裁到适合特定的场景。如上所述，在有些实施例中，问题和问题组分别被称为ampObject和模块。在一种实施例中，作者可以配置ampObject是否“组块”或者以别的方式分组，使得在任何给定的一轮学习中都只呈现一个给定模块中全部ampObject的一部分。ampObject还可以在每一轮学习或迭代中以随机化或顺序的次序呈现给用户。学习系统的作者可以选择一个给定ampObject中的答案在每一轮学习期间总是以随机次序显示。
[0110]问题呈现的随机化既可以结合到学习环境的学习部分中，又可以结合到其评估部分中。在一种实施例中，在学习的形成性评估部分中，问题与答案在学习的每个问题集中只以随机次序显示。各种其它策略可以应用到学习对象向用户显示的次序。例如，一种类型的“标准评估”可能要求ampObject在一次评估中以随机或顺序次序显示，或者它们可以只顺序或随机地显示。在以下的“开关”部分中，示出了允许作者“拨上去”或“拨下来”评估的掌握等级的进一步细节。
[0111]基于ampObject之前是如何回答的，这里的各方面将使用加权系统来确定一个问题在任何给定的一轮或集合中显示的概率。在一种实施例中，如果一个特定的问题在前一轮中回答得不正确(自信且不正确，或者部分确信且不正确)，那么该问题显示的概率就比较闻。
[0112]继续参考图7A-7C，示出了总体上描述根据特定一轮学习中的问题选择使用的逻辑的一种实施例的算法流。每个步骤的描述都包括在流程图中，而且逻辑步骤在流程图中的各个决定节点说明，以便示出过程流。
[0113]计分与测试评价算法[0114]关于知识评估与测试系统的实现的各方面调用各种新型算法来评价并给特定的测试环境打分。图8A-8D说明了说明用于知识评估与学习的四个“目标状态”策略的算法流程图，如联系本发明各方面所使用的。图8A示出了初始的评估策略，图SB示出了直接打分策略，图8C示出了 “一次正确”熟练策略，图8D示出了 “两次正确”掌握策略。系统的作者或管理员为学习者确定特定学习或评估会话中的适当目标状态。在图8A-8D中，使用以下命名法来描述对问题的任何特定响应:CC=自信&正确，DC=怀疑&正确，NS=不确信，DI=怀疑&不正确，Cl=自信&不正确。
[0115]首先参考图8A，显示出评估算法800，其中，在802，最初看不见的问题(UNS)呈现给学习者。依赖于来自学习者的响应，关于那个学习者对那个特定问题的知识等级进行评估。如果学习者自信并且正确地回答了问题(CC)，在804就认为知识状态是“熟练”。如果学习者怀疑但答对了问题，在806就认为知识状态是“知情”。如果学习者回答说他不确信，在808就认为知识状态是“不确信”。如果学习者怀疑而且回答不正确，在810就认为知识状态是“不知情”。最后，如果学习者自信地回答而且不正确，在812就认为知识状态是“误导”。
[0116]参考图8B，示出了直接打分算法900。直接打分算法900 (图8B)的左边部分类似于评估算法800 (图8A)，具有映射到对应评估状态名称的初始响应分类。首先参考图8B，示出了评估状态算法900，其中，在902，最初看不见的问题(UNS )呈现给学习者。依赖于来自学习者的响应，关于那个学习者对那个特定问题的知识等级进行评估。如果学习者自信并且正确地回答了问题(CC)，在904就认为知识状态是“熟练”。如果学习者怀疑但答对了问题，在906就认为知识状态是“知情”。如果学习者回答说他不确信，在908就认为知识状态是“不确信的”。如果学习者怀疑而且回答不正确，在910就认为知识状态是“不知情”。最后，如果学习者自信地回答而且回答不正确，在912就认为知识状态是“误导”。在图SB所述的算法中，当对于特定的问题给出两次相同的响应时，评估状态名称不变而且确定学习者对于那个特定的问题具有相同的知识等级，如由在914 (熟练)、916 (知情)、918 (不确信)、920 (不知情)和922 (误导)表示的完全相同的名称所反映的。
[0117]参考图8C，示出了一次正确熟练算法1000。在图8C中，学习者知识的评估是由对同一问题的后续回答确定的。就像在图8A和SB中，在1002给出初始问题并且，基于对那个问题的响应，学习者的知识状态在1004被认为是“熟练”、在1006是“知情”、在1008是“不确信”、在1010是“不知情”或者在1012是“误导”。图SC中用于每个特定响应的图例类似于前面算法过程中的那些并且如图8A中所标示的。基于第一响应反类，学习者对那个相同问题的后续回答将根据图8C中所公开的算法转移学习者的知识等级。例如，参考自信且正确(CC)的初始问题响应并且因此在步骤1004分类为“熟练”，如果用户随后自信并且不正确地回答该同一问题，那么该用户对那个特定问题的知识的评估状态从1004的熟练变成1020的不知情。遵循图SC中所阐述的策略，如果那个学习者回答“不确信”，则评估状态将在1018分类为“不确信”。评估状态的改变把对同一问题有变化的答案作为因素考虑进去了。图8C详细绘出了对特定问题的各种答案集可能的各种评估状态路径。作为图SC中所示的另一个例子，如果学习者第一次在1012回答“误导”并且随后回答“自信且正确”，则结果评估状态将移到1016的“知情”。因为图SC展开了“熟练”测试算法，所以不可能获得“掌握”状态524。[0118]参考图8D，示出了两次正确掌握算法1100。类似于图8C，算法1100示出了把对同一问题的多个答案作为因素考虑进去的知识评估过程。就像在前面的图中，初始问题在1102给出并且，基于对那个问题的响应，学习者的知识状态在1104被认为是“熟练”、1106是“知情”、在1108是“不确信”、在1110是“不知情”或者在1112是“误导”。图8D中用于每个特定响应的图例类似于前面算法过程中的那些并且如图8A中所标示的。基于第一响应分类，学习者对那个相同问题的后续答案将根据图8D中所公开的算法转移学习者的知识等级状态。对于图8D，附加的“掌握”知识评估状态包括在点1130和1132，而且可以基于在图8D的流程中所示出的各种问题与答案场景获得。作为一个例子，问题在1102呈现给学习者。如果那个问题是“自信而且正确”回答的，则评估状态在1104被认为是“熟练”。如果相同的问题随后第二次“自信且正确”回答，则评估状态移到1132的“掌握”。在这个例子中，通过连续两次“自信而且正确”回答，系统认识到学习者已经掌握了特定的事实。如果学习者第一次在1102“怀疑且正确地”回答了所呈现的问题而且因此评估状态在1106分类为“知情”，那么，为了实现“掌握”，他将需要再连续两次“自信而且正确地”回答该问题，之后，评估状态将分类为“掌握”。图8D详细描述了对特定问题可能具有各种答案集的各种评估路径。
[0119]在图8D的例子中，到达“掌握”知识状态有几条可能的路径，但是，对于这些潜在路径中的每一条，都要求学习者正确且自信地连续两次回答特定的ampObject。在一种场景下，如果学习者对于特定的ampObject已经处于掌握状态，而且随后不是“自信而且正确地”回答那个问题，则依赖于给出的具体答案，知识状态将降级到其它状态中的一个。依赖学习者对任何给定问题的响应到达掌握的多条路径为每个用户产生了自适应、个性化的评估与学习经历。
[0120]在以上所讨论的每一种实施例中，实现了执行以下通用步骤的算法:
[0121]I)识别由作者定义的目标状态配置，
[0122]2)利用相同的分类结构相对于目标状态依靠每一轮学习中的每个问题给学习者进度分类，及
[0123]3)在下一轮学习中ampObject的显示依赖早先的学习轮中对该ampObject中问题的上次响应的分类。
[0124]这些算法的操作的更多细节与实施例如下:
[0125]目标状态配置的识别:给定知识评估的作者可以定义系统中的各种目标状态，以便达到定制的知识简档并且确定一个特定的ampObject (例如，问题)是否被认为完成。以下是由上述算法流程图并且结合图8A-8D体现的这些目标状态的附加例子:
[0126]a.1次(IX)正确(熟练)-在ampObject被认为完成之前，学习者必须一(I)次回答“自信+正确”。如果学习者回答“自信+不正确”或者“部分确信+不正确”，则在该ampObject被认为完成并且学习者达到那个ampObject的熟练状态之前,学习者必须回答“自信+正确”两(2)次。
[0127]b.2次(2X)正确(掌握)_在ampObject被认为完成之前，学习者必须两次回答“自信+正确”。
[0128]c.基于作者或管理员选择的打分配置，一旦经由以上一个场景ampObject被标记为“完成”，它就可以从进一步的测试轮中除去。[0129]给学习者进度分类:该系统的某些方面适于相对于(上述)目标状态利用与本文所述类似的分类结构依靠每一轮学习中的每个问题(ampObject)给学习者的进度分类，例如，“自信+正确”、“自信+不正确”、“怀疑+正确”、“怀疑+不正确”及“不确信”。
[0130]ampObject的后续显示:未来一轮学习中ampObject的显示依赖于相对于目标状态对那个ampObject中问题的上次响应的分类。例如，“自信+不正确”响应具有将在下一轮学习中显示的最高可能性。 [0131]算法或打分引擎产生学习者响应与正确答案的比较。在本发明的有些实施例中，采用打分协议，通过这种协议，利用加权打分策略编译学习者的响应或答案。这种加权打分协议对与学习者的高自信等级的指示关联的正确响应向学习者指定预定义的得分点(point score)ο这种得分点在这里称为真正知识点，它将反映学习者在测试查询的主题内的真正知识程度。相反，这种打分协议为与高自信等级的指示关联的不正确响应向学习者分配负的得分点或者惩罚。负的得分点或惩罚具有显著大于对同一测试查询的知识点的预定值。这种惩罚在这里被称为误导点，这将指示学习者关于主题被误导了。得分点用于计算学习者的原始得分，及各种其它表现指标。于2005年7月26日签发的美国专利号6，921，268提供了对这些表现指标的深入审查而且其中所包含的细节引入本申请作为参考。
[0132]把知识简档编成文档-知识简档的主要目的是为学习者提供关于他/她在每一个模块中的进度的连续反馈。本系统的实施例使用知识简档的各种表现。但是，以下定时通常用于向学习者显示知识简档:
[0133]?学习模块:
[0134]〇在用于一个模块的任何给定的学习轮中的学习阶段之前，显示该轮任何形成性评估阶段结束时的学习者进度(见例如图9)
[0135]〇在对于一个模块的任何给定学习轮结束时显示学习者进度(B卩，在学习者在任何给定的一轮中既完成形成性评估又完成学习阶段之后)(见例如图10)
[0136]〇在学习中的任何状态显示学习者进度(见例如图11)
[0137]?评估模块:
[0138]〇在完成评估之后显示学习者的评估结果(见例如图12)
[0139]一种实施例还在学习应用的右上角(以小饼图的形式)提供对那个模块学习者进度的总结(图5)。这个总体在对于一个模块的任何给定一轮学习的学习阶段都可用。此外，当学习者点击该饼图时，以饼图的形式提供更详细的进度总结(图11)。
[0140](在学习和评估模块中)在对评估的每次响应之后，一种实施例还向学习者显示他/她的答案是自信+正确、部分确信+正确、不确信、自信+不正确或者部分确信+不正确。但是，在那个时候不提供正确答案。相反，目的是提高学习者对任何特定响应的预期，使得他/她将渴望在任何给定一轮的学习阶段中看到正确的答案与解释。
[0141]在大部分实施例中，编成文档的知识简档是基于以下一个或多个信息块:1)如由作者或注册员设置的模块的配置好的目标状态(例如，掌握对熟练);2)每一轮学习中或者给定评估中学习者形成性评估的结果；及3)学习者的响应如何通过所实现的特定算法来打分。根据需要或期望，知识简档可以让学习者或其他用户获得。同样，这个功能可以由作者或者系统的其他管理员选择性地实现。[0142]图13根据学习应用的另一种实施例说明了可以作为由用户完成的形成性评估结果生成的所显示知识简档1300的几个例子。在图13中，通过显示由20个ampObject组成的模块中响应的分类，图表1302和1304说明了可以递送到学习者的整体知识简档。由学习者给出的对任何特定问题的即时反馈可以按1306、1308、1310和1312中所示的形式给出。
[0143]其它实施例显示了通过响应分类分开的响应百分比的简单列表，或者跨基于指定给每个响应的得分的所有响应的累积得分。
[0144]在一种实施例中，在每一轮学习的评估阶段，随着学习者对每个问题作出响应，以下数据持续地显示并更新:(a)那个问题集中的问题个数(这是由作者或注册员确定的);那个问题集的哪个问题当前向学习者显示(6个中的第I个；6个中的第2个；等等);(b)哪个问题集当前显示给学习者(例如，“问题集3”)；(C)模块中的问题(ampObject)总数；及(d)已经完成(IX正确打分)或掌握(2X正确打分)的ampObject数。
[0145]—个模块中的问题集个数依赖于:Ca) 一个模块中ampObject的个数，(b)每个问题集显示的ampObject个数，(c)打分(IX正确或2X正确)，Cd) “通过”特定模块所需的百分比(缺省是100%)，及(e)在他/她完成(IX正确)或掌握(2X正确)每个ampObject之前学习者必须对一个ampObject响应的次数。
[0146]在一种实施例中，在每个问题集的学习阶段，以下可以在学习者审查对每个ampObject的问题、答案、解释和附加学习元素的时候持续地显示:(a)模块中问题(ampObject)的总数；(b)已完成(IX正确)或掌握(2X正确)的问题个数；(c)进度总结图，例如显示在那个时间点的自信且正确响应个数的饼图；及((1)提供关于响应如何分类的实时信息的详细进度窗口。
[0147]在本系统的当前实施例中，在一个评估模块中(及，其中只有评估，而没有学习，显示给学习者)，学习者进度如下显示给学习者:(a)那个模块中问题的总数；及6)那个模块中的哪个问题当前显示给学习者(25个中的第I个；25个中的第2个；等等)。在评估模块中，那个模块中的所有问题都在一轮评估中呈现给学习者。由于问题集与评估无关，因此不存在ampObject到问题集的解析。
[0148]当评估模块完成后，为学习者提供总结以下一个或多个的页面:
[0149]?评估中所接收到的整体得分，这是百分比自信+正确与部分确信+正确之和
[0150]?图形显示:
[0151]〇如下解析的正确响应:
[0152]正方形回答自信+正确的百分比
[0153]正方形回答部分确信+正确的百分比
[0154]〇如下解析的不正确响应
[0155]正方形回答自信+不正确的百分比
[0156]正方形回答部分确信+不正确的百分比
[0157]O回答我不知道的百分比
[0158]系统角色-在进一步的实施例中，除了以上声明的系统角色(管理员、作者、注册员、分析员和学习者)，还有参与这五个整体角色中的具体任务或功能的附加角色。这些附加角色包括:
[0159]1.管理者:管理作者、资源馆员和翻译人员这些员工。[0160]2.资源馆员:管理可以用于创建学习内容的资源库。
[0161]3.公布者:管理课程的组织结构，并且具有正式公布模块的能力。
[0162]4.翻译人员:把内容翻译成另一种语言，并且为本地化适当地调整。
[0163]5.审查员:提供关于内容的反馈。
[0164]6.CMS管理员:配置在一个组织中使用的内容管理系统(CMS)。
[0165]在其它实施例中，系统角色可以通过整体系统部件来分组，例如在内容管理系统(CMS)或者注册与数据分析(RDA)中。
[0166]功能性步骤的例子
[0167]在一种实施例中，在学习模块的执行过程中使用以下一个或多个步骤。以下阐述的一个或多个步骤可以按任何次序实现:
[0168]以下阐述的一个或多个步骤可以按任何次序实现:
[0169]a.作者计划并开发ampObject。
[0170]b.ampObject 聚集成模块。
[0171]c.模块聚集成更高阶的容器。这些容器可以可选地分类为课程或程序。
[0172]d.对所开发的课程进行测试，以确保适当的功能性。
[0173]e.公布课程并使其可以被使用。
[0174]f.一个或多个学习者登记到该课程。
[0175]g.学习者参与在该课程中找到的评估和/或学习。
[0176]h.学习可以组块或以别的方式分组，使得，在给定的模块中，学习者对于每一轮学习都既经历评估又经历学习阶段。
[0177]1.对每一轮学习基于迭代为每个学习者开发并显示个性化或别的自适应的知识简档，在每一轮学习中提供的问题和相关补救可以基于模块的配置及那个配置如何修改底层算法而以个性化、自适应的方式获得。
[0178]j.在评估阶段，熟练或掌握得分在模块完成之后向学习者示出。
[0179]k.在学习阶段，在提交每个答案后，反馈立刻给予学习者。
[0180]1.反馈是在一轮评估与学习中的每个评估阶段完成之后关于知识质量(分类)给出的。
[0181]m.反馈是关于任何给定模块中跨到目前为止完成的所有轮的知识质量(分类)与朝着熟练或掌握的进度给出的。
[0182]η.依赖他/她如何回答与每个ampObject关联的问题，向学习者呈现每一轮学习每个模块的自适应、个性化的ampObject集合。系统的自适应本质是由计算机实现的算法控制的，该算法基于前面一轮学习中学习者对ampObject的响应确定学习者多久将看到那些ampObject。这种相同的知识简档在数据库中捕捉并且随后拷贝到报告数据库。
[0183]类似的功能步骤在评估模块的执行中使用。但是，对于评估模块，没有给出学习阶段，而且ampObject (只有介绍、问题、答案)在一个持续的分组中(不是在问题集中)向学习者呈现。
[0184]在内容管理系统(CMS)中
[0185]学习对象(ampObject)的创作可以包括分类数据到每个学习对象的预先计划和添力口 (例如，学习成果声明；主题；子主题，等等)。此外，ampObject可以聚集成模块，而且模块可以组织成更高阶的容器(例如，课程、程序、功课、纲内课程)。CMS还可以适于进行课程的质量保证审查，并且公布用于学习或评估的课程。
[0186]在注册与数据分析(RDA)应用中
[0187]让学习者登记到一个课程并且允许学习者参与在该课程中找到的评估和/或学习的能力。除了在学习应用中直接提供给学习者的反馈(如上所述)，与学习和/或评估关联的报告还可以在RDA中由特定的角色访问(例如，分析员、指导员、管理员)。
[0188]RDA中的报告功能性
[0189]根据另一方面，报告可以从知识简档数据生成，以变化的形态向学习者或指导员显示。具体而言，在RDA中，报告可以通过图形报告与分析工具中的简单用户接口完成，例如，该工具允许用户挖掘报告中特定元素中的选定信息。可以提供专业的报告仪表板，例如专门适用于指导员或分析员的那些。报告可以按例如.Pfd、.CSV或者许多其它被广泛认知的数据文件格式的格式获得。
[0190]图14-17说明了可以用于传达特定指定或指定组中的进度的各种代表性报告。图14示出了在所有学生完成指定之前已经指定到一个特定模块的一组学生的进度。图15示出了一组学生对一个课程中的每个ampObject的第一响应，而且那些响应通过主题并通过响应类来分类(例如，自信+不正确；怀疑+不正确；等等)。图16示出了一组学生对那个课程的选定主题的每个ampObject的第一响应；及(a)构成报告的响应个数(这等效于作出响应的学习者个数)和(b)不正确答案#1或#2的响应百分比的总结。图17示出了对特定ampObject的第一响应的具体分析。这些仅仅是可以由系统生成的许多报告中的一些。
[0191]硬件、数据结构与机器实现
[0192]如上所述，本文所述的系统可以在多种独立或联网的体系结构中实现，包括各种数据库与用户接口结构的使用。本文所述的计算机结构既可以用于评估与学习材料的开发又可以用于其递送，而且可以按多种形态起作用，包括独立系统或者经例如万维网(互联网)、内联网、移动网络或其它网络分布体系结构分布的网络。此外，其它实施例包括多个计算平台与计算机设备的使用，或者作为计算设备上的独立应用递送，有或者没有与系统的客户端-服务器部件的交互。
[0193]在一种具体的用户接口实施例中，答案是通过把答案拖到适当的响应区来选择的。这些可以包括“自信”响应区，指示学习者对他/她的答案选择非常自信；“怀疑”响应区，指示学习者对他/她的答案选择只部分确信；及“不确信”响应区，指示学习者不愿意以任何确定性等级表态他/她知道正确答案。还可以使用各种术语来指示自信程度，而且以上指出的“自信”、“怀疑”和“不确信”的例子只是代表性的。例如，“我确信”用于高度自信，“我部分确信”用于怀疑状态，而“我还不知道”用于不确信状态。在代表评估程序的一种实施例中，可以只提供单个“我部分确信”响应框，即，学习者只能在“部分确信”响应中选择一个答案。
[0194]鉬块的学习
[0195]根据另一方面，学习模块的作者可以配置ampObject是否组块或者以别的方式分组，使得在任何给定的一轮学习中只有给定模块中全部ampObject的一部分呈现。所有“组块”或分组都是由作者通过模块配置步骤确定的。作者可以在一个模块中两个不同的等级把学习对象组块，例如，通过每个模块中包括的学习对象(ampObject)的个数，及通过一个学习事件中每个问题集所显示的学习对象的个数。在这种实施例中，基于指定的“已完成”定义，完成的ampObject可以除去。例如，依赖于作者或管理员指定的目标设置，已完成可以在一次(IX)正确和二次(2X)正确之间区分。在某些实施例中，作者可以配置学习对象是否“组块”，使得在任何给定的学习问题集中只有给定模块中全部学习对象的一部分呈现。实时分析也可以用于优化每个学习问题集显示的学习对象个数。
[0196]amp Pb iect 结构
[0197]本文所述的ampObject设计成表现出以下一个或多个整体特性的“可重用的学习对象”:学习成果声明(或者能力声明或学习目标);实现那个能力所需的学习；及使得那个能力的实现生效的评估。如前面对学习对象所描述过的，ampObject的基本组成部分包括:介绍；问题；答案(I个正确答案 '及2-4个不正确答案)；解释(知道信息的需求)；可选的“附加学习”信息(知道信息很好)；元数据(例如学习成果声明、主题、子主题、关键词及与每个ampObject关联的其它层次性或非层次性信息)；及作者笔记。通过系统中的报告能力，作者有能力把特定的元数据元素链接到可归因于每个ampObject的评估与学习，这对于下游分析非常有益。利用内容管理系统(“CMS”)，这些学习对象(ampObject)可以按目前或精炼后的形式在学习模块或课程的开发中快速重用。
[0198]影子问题分组
[0199]在另一种实施例中，可以利用与相同能力(学习成果；学习目标)关联的影子问题。在一种实施例中，作者把相关的学习对象关联到影子问题分组中。如果学习者对作为影子问题组的一部分的一个问题接收到正确的得分，则那个影子问题中的任何学习对象都被认为正确作答了。该系统还将随机地(不替换)从影子组中的所有学习对象拉，如由本文所述的一个或多个算法所指示的。例如，在利用IX正确算法设立的模块中，可以实现以下过程:
[0200]a.第一次向学习者呈现来自一个影子问题组的学习对象时，他/她自信地回答，而且那个响应是自信+不正确；
[0201]b.下一次向学习者呈现来自那同一个影子问题组的学习对象时，从那个影子组随机地拉一个不同的问题，他/她自信地回答，而且那个响应是自信+正确；
[0202]c.下一次向学习者呈现来自那同一个影子问题组的学习对象时，从那个影子组随机地拉一个不同的问题(如果在那个影子问题组中还有附加的学习对象可用)，他/她自信地回答，而且那个响应是自信+正确。
[0203]在以上场景中，那个影子问题组被认为已经掌握，而且将不再有来自那个影子问题组的附加学习对象向学习者显示。
[0204]模块结构
[0205]在交给用户或学习者时，模块充当ampObject的“容器”，而且因此是将为学习者呈现或者以指定的形式以别的方式经历的课程的最小可用组织单位。如以上所指出的，每个模块优选地包含一个或多个ampObject。在一种实施例中，模块是根据算法配置的。模块可以如下配置:
[0206]a.目标状态:这可以作为一定数量的正确答案来设置，例如，一次(IX)正确或两次(2X)正确，等等。
[0207]b.已掌握的(已完成的)问题的去除:一旦学习者已经到达一个特定ampObject的目标状态，它就可以从模块除去并且因此不再呈现给学习者。[0208]c.ampObject的显示:作者或管理员可以设置是否整个ampObject列表都在每轮答题中显示或者是否在每一轮中只显示部分列表。
[0209]d.完成得分:作者或管理员可以设置学习者被认为已经完成一轮学习的点，例如，通过特定得分的获得。
[0210]课稈结构
[0211]尽管课程结构可以是开放式的，但是在某些实施例中，作者或管理员有能力控制关于课程如何递送给学习者的结构。例如，模块和其它组织单元(例如，程序、课程、功课)可以重新命名或者以别的方式修改或重构。此外，模块可以配置成使得它作为独立的评估(总结性评估)向学习者显示，或者作为既结合系统的形成性评估又结合系统的学习能力的学习模块显示。
[0212]学习者仪表板
[0213]作为在此所述的系统的一个组成部分，提供显示并组织用于让用户访问和审查的信息的各个方面的学习者仪表板。例如，用户仪表板可以包括以下一个或多个:
[0214]我的指定页
[0215]在一种实施例中，这包括具有以下一个或多个状态的当前指定的列表(由学生或审查员把用于那个模块的完成状态变编成文档):开始指定、继续指定、审查、开始复习、、继续复习、审查内容(只有审查员)。在我的指定页内还包括课程信息，例如关于当前程序的各方面的通用背景信息(例如，特定模块的总结或概述)，及课程的层次性或组织。指定页还可以包括之前和之后的要素列表，例如在被允许访问特定指定或培训程序之前需要参加的其它模块或课程。当完成(掌握)一个模块之后，复习模块和审查模块将呈现给学习者。复习模块允许学习者利用修改过的IX正确算法重新参加该模块。审查模块显示特定学习者通过给定评估或学习模块的进度(对先前参加的评估或学习模块的历史观点)，那个模块中ampObject的显示基于学习者对于每个ampObject有多难来排序(对学习者来说有最大难度的那些学习对象最先列出)。审查内容链接只对审查员角色中的那些个人呈现。
[0216]学习页
[0217]这可以包括在学习阶段显示的进度仪表板(既包括表格又包括图形数据；示例表示见图9、10和11)。学习页还可以包括按类的学习者百分比响应、任何之前学习轮的结果与跨已经完成的所有轮的结果。
[0218]评估页
[0219]这可以包括在评估之后显示的进度仪表板(既包括表格又包括图形数据；见图12，作为一种可能的表示)。
[0220]报告与时间测暈
[0221]报告角色(分析员)在各种实施例中都被支持。在某些实施例中，报告功能可以具有其自己的用户接口或仪表板，以便基于系统中可用的模板，例如通过注册与数据分析(RDA)应用，创建各种报告。标准的和/或定制的报告模板可以由管理员创建并且可以让任何特定的学习环境获得。这样配置的报告可以包括捕捉学习者回答给定模块中每个ampObject及回答所有ampObject所需时间量的能力。还捕捉有多少时间花在审查答案上。见例如图14，作为一种可能的表示。从报告生成的模式可以一般化而且附加的信息可以从报告功能中的趋势搜集到。见图14-17，作为一种可能的表示。报告功能允许管理员或老师算出在未来的教学中最好在哪里花时间。可以结合指导员仪表板，来启用不必让学习者得到的特殊报告和报告能力。
[0222]其它系统能力
[0223]内容上载的自动化:根据其它方面，本文所述的系统可以适于使用向系统添加ampObject的各种自动化方法。可以在学习系统中实现读取、解析并且把数据写入适当数据库的代码。学习系统还可以启用脚本的使用，来自动化从之前格式化好的数据进行上载，例如从CSV或xml上载到学习系统。此外，在有些实施例中，定制建立的丰富文本格式模板可以用于捕捉并把学习材料直接上载到系统中并保留格式化与结构。
[0224]在有些实施例中，学习系统支持大部分计算机应用中所使用的各种标准类型的用户接口，例如，当点击鼠标右键时出现上下文依赖的菜单，等等。本系统的有些实施例还包括几个附加特征，例如拖放能力及搜索与替换能力。
[0225]数据安全性:本发明的各方面及各种实施例使用标准信息技术安全性实践来维护私有、个人和/或其它类型敏感信息的保护。这些实践(部分地)包括应用安全性、服务器安全性、数据中心安全性及数据隔离。例如，对于应用安全性，要求每个用户创建并管理一个管理密码，来访问他/她的帐号；应用是利用http来保护的；所有管理员密码都在可重复的基础上改变；而且密码必须满足强密码最小需求。例如，对于服务器安全性，所有管理员密码都是利用满足强密码最小需求的新随机密码按预定义的基础改变的，而且管理员密码是利用编码的密码文件管理的。对于数据隔离，本发明及其各种实施例使用多租户共享策略，其中数据是利用域ID逻辑隔离的，单个登录帐号属于一个且只属于一个域(包括管理员)，对数据库的所有外部访问都是通过应用，而且应用查询经过严格测试。在其它实施例中，应用可以分段，使得用于选定用户组的数据是在独立的数据库上管理的(而不是共享的租户模式)。
[0226]五关
[0227]根据本发明各方面构建的学习系统在其实现中使用各种“开关”，以便允许作者或其它管理角色“拨上去”或“拨下来”学习者为了完成模块而必须证明的掌握。“开关”定义为增强(或降级)学习和/或记忆的特定功能或过程。与这些开关关联的功能性基于实验心理学、心理学和游戏中的相关研究。结合到本文所述学习系统中的各种开关的一些(部分列表)的例子如下展开。每个开关的实现将依赖本发明的特定实施例与部署配置而变。
[0228]重复(自适应重复):算法驱动的重复开关用于启用对学习者的迭代提问轮，以便达到掌握。在传统意义上，通过学习经迭代轮的有目的和高度可配置的递送，重复增强了记忆。自适应重复开关使用形成性评估技术而且，在有些实施例中，与不具有强制选择答案的问题的使用相结合。本发明及其各种实施例中的重复可以通过加强，或者不加强，评估与学习材料对终端用户的重复、重复的频率及每次重复中内容组块的程度来控制。在其它实施例中，利用“影子问题”的使用，其中，系统要求学习者证明对与每个问题组关联的知识的更深入理解。因为影子问题组中的ampObject全都与相同的能力相关联，所以各个影子问题的显示使自适应重复的更细微但更深入的形式成为可能。
[0229]起动(priming)-预测试方面在系统中用作基本测试方法。通过预测试的起动启动知识记忆轨迹的某个方面的发展，然后这方面通过重复的学习来加强。利用本发明各方面的学习开辟了具有某个相关主题的记忆轨迹，然后加强那条途径并创建附加的途径来让头脑捕捉具体的知识。在本发明及其各种实施例中，起动开关可以按多种方式控制，例如通过使用正式的预评估，及按照学习过程中形成性评估的标准使用。
[0230]进度:进度开关通知学习者关于他/她通过特定模块的进度，并且以通过所有学习阶段的图形的形式呈现给用户。
[0231]反馈:反馈开关既包括当一个答案提交时的立即反馈又包括在一轮的学习部分中的详细反馈。关于他/她正确或错误地回答(get)—个问题对学习者的立即反应对于性能有显著的影响，如关于学习之后的评估所证明的。本发明及其各种实施例中的反馈开关可以按多种方式控制，例如通过在每个ampObject中提供的反馈的程度(例如，为正确和不正确的答案都提供解释相对于只为正确答案提供解释)或者通过使用总结性评估结合标准学习(其中，标准学习方法结合了形成性评估)。此外，在学习模块中，立即通知学习者关于他/她响应的分类(例如，自信且正确；部分确信且不正确；等等)。
[0232]上下文:上下文开关允许作者或其它管理角色模拟合适的或者期望的上下文，例如模拟特定知识的应用所需的条件。例如，在利用2X正确打分的模块中，作者可以把模块配置成，一旦学习者提供了自信+正确响应，就除去对特定问题来说不关键的图像或其它信息。图像或其它媒体可以放在介绍中或者问题本身当中，而且可以在学习阶段中选择性或者作为复习的一部分常规部署。本发明或者其各种实施例中的上下文开关使作者或管理员能够使学习与研究环境尽可能紧密地反映真实的测试环境。在实践当中，如果学习者需要在没有可视帮助的情况下回忆起信息，则学习系统可以修改成在学习过程的稍后阶段没有可视帮助地向学习者呈现问题。如果需要一些核心知识来开始掌握过程，则图像可以在学习过程的早期阶段使用。本文的原理是使学习者经过某个时间周期后丢弃图像或其它支持性但不关键的评估和/或学习材料。在上下文开关的一种独立但相关的配置中，作者可以确定在特定ampObject或模块中基于场景的学习需要什么样的百分比。
[0233]精制(elaboration):这个开关具有各种配置选项。例如，精制开关允许作者在跨多个地点与格式的单个响应中提供对知识和确定性的同时评估。精制可以由初始问题、基本类型问题、基于场景的问题或者基于模拟的问题组成。这种开关要求正确答案(识别答案类型)与自信程度的同时选择。此外，在提供响应之前，学习者必须对照和比较各个答案。它还对正确和不正确答案的解释都提供审查。这可以由基于文字的答案、媒体增强的答案或模拟增强的答案提供。精制提供了支持核心知识的附加知识并且还为学习的加强提供了简单的重复。这种开关还可以配置成一次(IX)正确(熟练)或两次(2X)正确(掌握)学习等级。在实践当中，当前被测试的信息与学习者可能已经知道或者已经测试过的其它信息关联。这个开关还可以配置成一次(IX)正确(熟练)或二次(2X)正确(掌握)学习等级。在实践当中，当前被测试的信息与学习者可能已经知道或已经测试过的其它信息相关联。当思考你已经知道的一些东西时，你可以关联这点学习(this bit of learning),来精制或放大你正在努力学习的信息块。在作者角色中，如上所述影子问题的使用可以在精制开关中实现，针对特定能力作为学习的更深入(精制)形式。本系统还可以提供不同模拟格式的增强支持，提供把测试答案题解(key)结合到模拟事件中的能力。学习模块中更“像应用的”用户接口接合(engage)学习者的动觉及认知与情感领域。动觉部分的添加(例如，把答案拖到期望的响应框)通过更高级的精制进一步增强了长期保留。
[0234]间隔:根据本发明各方面及其各种实施例的间隔开关利用把内容手动组块成更小尺寸的块，这允许支持长期记忆的生物过程(例如，蛋白质合成)发生，及增强的编码与存储。这种突触合并(synaptic consolidation)依赖测试之间一定量的休息并且允许记忆合并的发生。在本发明的各种实施例中，间隔开关可以按多种方式配置，例如设置一个模块中每一轮学习的ampObject个数和/或每个模块中ampObject的个数。
[0235]确定性:确定性开关允许在单个响应中对知识和确定性的同时评估。这种类型的评估对于学习者的知识简档和整个学习阶段的适当评价是很重要的。通过大脑中记忆关联的创建，知识(认知领域)和确定性(情感领域)的同时评价增强了长期保留。根据本发明各方面及其各种实施例的确定性开关可以利用一次(IX)正确(熟练)或两次(2X)正确(掌握)的配置来格式化。
[0236]关注:根据本发明各方面及其各种实施例的关注开关要求学习者提供对他/她知识的确定性的判断(即，既要求学习者的情感判断又要求关系判断)。因此，突出了学习者的关注。组块也可以用于改变学习者所需的关注程度。例如,ampObject的组块(每个模块中ampObject的数量及每一轮形成性评估和学习中显示的ampObject的数量)把学习者的关注集中在特定主题中达到掌握所需的核心能力和相关学习。此外，在学习和/或评估的期望阶段提供醒目而有趣的反馈确保学习者完全参与到学习事件中(相对于被与学习事件无关的活动分心)。
[0237]动机:根据本发明各方面及其各种实施例的动机开关启用学习者接口，该接口提供关于学习者在任何给定模块、课程或纲内课程中一轮或多轮学习中进展的清楚指示。在各种实施例中，这种开关还可以向每个学习者显示定性的(分类)或定量的(打分)进度结果O
[0238]风险与奖励:风险/奖励开关根据基于掌握的奖励调度提供奖励，这种策略触发多巴胺的释放并且引起学习者的关注与好奇心。因为当响应是自信&不正确或者部分确信&不正确时，学习者要受到惩罚，所以风险是明显的。当进度图形在学习的所有阶段都可以让用户获得时，风险感会被突出。
[0239]麵
[0240]本发明的各方面及其各种实施例包括内置的注册能力，由此用户帐号可以从系统添加或删除，用户可以被放成“活动”或“不活动”状态，而且用户(经用户帐号)可以被指定到系统中的各种评估与学习程序。在本发明的当前实施例中，注册是在注册与数据分析应用中管理的。在较早的实施例中，注册是在三层统一应用系统中管理的。注册还可以在外部系统(例如学习管理系统或门户网站)中管理，而且注册信息通过技术集成传送到系统。
[0241]学习管理系统集成
[0242]本发明的各方面及其各种实施例具有作为独立应用操作的能力或者可以技术性地与第三方学习管理系统(“LMS”)集成。具有在LMS中被管理的各种评估与学习指定的学习者可以利用或者不利用单点登录能力启动并参与系统中的评估和/或学习。技术集成是通过多种业界标准实践启用的，例如航空工业CBT委员会(AICC)互操作性标准、http发帖、web服务及其它此类标准技术集成方法。
[0243]头像
[0244]在本系统的各种实施例中，显示具有简洁文字消息的头像(avatar)，以便根据需要向学习者提供指导。消息的本质，及何时或者在哪里显示头像，是可以由系统的管理员配置的。建议使用头像向用户提供醒目的指导。例如，头像可以用于提供关于(上述)开关如何从学习者的角度影响学习的指导。在本发明中，头像只向学习者提供，而不向作者或系统中的其他管理角色提供。
[0245]ampOb ject库的结构与指定
[0246]图18说明了根据本发明各方面构造的ampObject库的整体结构。在一种实施例中，ampObject库1801包括元数据成分1801a、评估成分1801b和学习成分1801c。元数据成分1801a被分成与可配置项相关的区，作者期望把这些项与每个ampObject关联，例如能力、主题与子主题。除了元数据成分，评估成分1801b被分成与介绍、问题、正确答案和错误答案相关的区。学习成分1801c被进一步分成解释区和附加学习区。
[0247]还包括模块库1807，这个库包含用于操作性算法的配置选项及关于Bloom等级、应用、行为和附加能力的信息。管理员或作者可以按以下方式使用这些结构。首先，在1802创建ampObject,在1803创建用于ampObject的关键元素，并且在1804把内容和媒体组装到ampObject中。一旦ampObject库1801已经创建,就通过确定包括在模块中的适当ampObject来创建模块1807。在创建模块之后，公布学习指定。
[0248]面向服务的体系结构(SOA)与系统部件和角色:
[0249]回过头来参考例如图3，在高级别，系统体系结构300是面向服务的体系结构(S0A),该结构使用通过每种服务耦合的多层(“η层”)体系结构。系统体系结构300包括几个不同的应用部件，其中包括以下一个或多个:系统管理应用、内容管理系统(CMS)应用、学习应用及注册与数据分析(RDA)应用。
[0250]内容管理系统角色=CMS在系统中启用某些角色，包括内容作者、内容管理者、资源馆员、公布者、翻译人员、审查员与CMS管理员。内容作者角色提供创建学习对象并且随着时间的推移维护它们的能力。资源馆员角色提供管理可以用于为学习者创建内容的资源库的能力。翻译人员角色提供把内容翻译成另一种语言或者以别的方式为系统被管理的地区调整系统的能力。内容管理角色提供管理作者、资源馆员和翻译人员等员工的能力。公布者角色提供管理课程的组织结构并且决定何时公布作品和何时准备现有作品的新版本的能力。审查员角色提供在公布之前提供关于内容的反馈的能力。CMS管理员角色提供为了在任何特定组织中使用而配置知识评估系统的能力。
[0251]内容作者的目标:内容作者适于提供包括以下一个或多个的几个功能:
[0252]a.创建引人注目和内容翔实的学习对象(ampObject),
[0253]b.指定学习对象支持的元数据/分类，
[0254]c.使学习对象可以让我的团队中的其他人使用-例如，结合到一个模块中，
[0255]d.把一个学习对象指定为“冻结的”，使得特定的创作团队知道它处于最终形式而且不再预期更多改变，
[0256]e.“标记”学习对象，使得用户可以在以后容易地找到它们，
[0257]f.看一个学习对象对学习者来说看起来可能像什么样子，
[0258]g.看谁创建了学习对象和谁最近在对它工作，
[0259]h.看学习对象在哪里使用，
[0260]1.当是时候开始对现有内容的更新开始工作时，创建已冻结或已公布学习对象的新版本，[0261]j.把一个过时的学习对象-或者一个学习对象的具体版本-指定为“报废的”，使得它不再被用于(新)用途，
[0262]k.看学习对象的版本历史，
[0263]1.把外部内容导入系统，
[0264]m.以一种格式出口内容，在系统的外部使用，
[0265]η.把学习对象组合到模块中(评估和/或学习模块)，
[0266]ο.把模块组合到更高级的课程结构中(例如，课程、程序、功课等)。
[0267]内容资源馆员角色:内容资源馆员适于提供包括以下一个或多个的几个功能:
[0268]a.把现有资源上载到资源库，让创建学习对象或课程的任何给定团队的作者使用，
[0269]b.上载或创建新资源，
[0270]c.在需要的时候更新现有资源，
[0271]d.创建已经公布的资源的新版本，
[0272]e.看资源在哪里使用，
[0273]f.把外部内容导入系统，
[0274]g.“标记”资源，使得系统用户可以在以后容易地找到它们，
[0275]h.看谁创建资源(并且在何时)及谁最近在对它工作(并且在何时)。
[0276]内容翻译人员的目标:内容翻译人员适于提供包括以下一个或多个的几个功能:
[0277]a.创建在进行中或者已经公布的作品中学习的对象的翻译(和在有些情况下是本地化)，
[0278]b.当作品被更新后更新现有的翻译(本地化)，
[0279]c.看对于学习对象存在什么翻译而且哪里还需要执行翻译，
[0280]d.证实系统适当地支持所需的语言，而且如果不支持的话，提供到学习应用和门户网站的输入。
[0281]如在此所使用的，“翻译”是现有内容在另一种语言中的表述。“本地化”是翻译对一个具体地理区域(或者种族)的微调。作为例子，英语是一种语言，US和UK是地区，在这两个地区的英语使用中有一些不同(拼写、选词等)。
[0282]内容管理者的目标:内容管理者适于提供包括以下一个或多个的几个功能:
[0283]a.以适合我的组织与团队结构的方式组织内容(学习对象与资源)，
[0284]b.向团队成员指定角色，
[0285]c.向团队成员(而且可能还有其他人)授予对内容的访问许可(读/写/无)，
[0286]d.管理将创建特定内容来支持的一组分类，
[0287]e.指引作者、资源馆员、审查员和翻译人员的工作，
[0288]f.确保审查过程在公布之前正确地执行，
[0289]g.在公布之前冻结内容，
[0290]h.管理在内容创建与布局中使用的一组风格；
[0291]1.在它可以被审查以便让内部和外部用户评论的地方张贴模块(或者内容的集合)，
[0292]j.设置用于模块的打分与呈现选项。[0293]内容公布者的目标:内容公布者适于提供包括以下一个或多个的几个功能:
[0294]a.创建反映作品被管理和公布的方式的课程组织结构，
[0295]b.创建把已经创建的内容拉到一起的模块，
[0296]c.识别每个模块被设计成支持的分类(或者学习成果)，
[0297]d.看课程的现有内容和元素在哪里使用，
[0298]e.公布多种翻译的课程，
[0299]f.识别课程的现有内容和元素重用的机会，
[0300]g.决定一个作品什么时候准备好公布(包括已完成的翻译)，
[0301]h.决定什么时候对已公布作品的新版本开始工作，
[0302]1.决定什么时候公布已公布作品的翻译(本地化)。
[0303]内容审查员的目标:内容审查员适于提供包括以下一个或多个的几个功能:
[0304]a.审查内容的完整性、语法、格式与功能性。在这种背景下，功能性意味着确保链接工作并正确启动及图像、视频和音频正确播放或显示并且其使用是适当的，
[0305]b.提供对内容的反馈与建议改变，
[0306]c.观看来自其他审查员的评论，
[0307]d.让其他人知道他/她的审查何时完成。
[0308]CMS管理员的目标:CMS管理员适于提供包括以下一个或多个的几个功能:
[0309]a.管理子帐号(只对于顶级帐号的管理员)，
[0310]b.管理用户角色、访问与权限(连同管理者一起)。
[0311]学习系统角色:学习系统或应用950通常提供完成对特定学习者的指定并且控制到特定学习者的内容的能力。
[0312]学习者的目标:学习者适于提供包括以下一个或多个的几个功能:
[0313]a.控制来自课程的信息；
[0314]b.提高对知识与技能的自信，
[0315]c.玩的开心并且在学习的同时参与体验，
[0316]d.具有尽可能有效和闻效地学习的能力，
[0317]e.利用社交网站(twitter、Facebook、Chat等)共享信息，
[0318]f.看指定与状态、到期日等，
[0319]g.看与指定关联的前期需求和后期需求(例如，附加学习、文档、链接)，
[0320]h.启动、继续或者完成学习指定，
[0321]1.审查已完成的学习指定，
[0322]j.刷新来自前一次学习指定的知识，
[0323]k.自我注册并且直接进入学习应用，
[0324]1.为已经完成的指定下载并打印证书，
[0325]m.具有在舒适、方便和熟悉的环境中的学习体验，
[0326]η.知道我在他的学习进度中在什么地方-例如，一个模块中问题的总数、特定问题集中剩余的问题个数、已经过去的时间、掌握级别、得分，
[0327]0.以学习者的母语体验学习。
[0328]注册与数据分析(RDA)角色:RDA308在系统中启用某些角色，包括注册员、指导员、分析员和RDA管理员的角色。注册员的角色是在系统中管理学习者帐号与学习者指定。指导员的目标是看关于所有学生、一个学生子集或者一个学生的结果的信息。分析员的目标是对特定的组织或个人理解学习者的表现和行为。RDA管理员的目标是为了在任何特定组织中使用而配置RDA。
[0329]注册员的目标:注册员适于提供包括以下一个或多个的几个功能:
[0330]a.管理系统中的学习者，包括创建新学习者和停用现有的学习者，
[0331]b.把学习者注册到一个或多个课程元素(例如，模块、书籍，等等)，
[0332]c.修改现有注册，包括取消或替换现有注册，
[0333]d.上载关于学习者及其注册的信息文件，包括新注册和对现有注册的更新，
[0334]e.观看用于一个学习者的所有注册的状态，
[0335]f.观看对于一个指定或一组指定的所有学习者的状态，
[0336]g.观看特定的行为，例如会话、完成、注册等，
[0337]h.向学习者发送电子邮件或消息，
[0338]1.观看已经发送到学习者的电子邮件或其它消息的列表，
[0339]j.打印学习者的证书。
[0340]指导员的目标:指导员适于提供包括以下一个或多个的几个功能:
[0341]a.看关于所有学生、一个学生子集或者一个学生的结果的信息，包括找出强和/或弱的领域的能力，
[0342]b.修改功课计划，来解决学生的弱点领域。
[0343]分析员的目标:分析员适于提供包括以下一个或多个的几个功能:
[0344]a.观看关于注册和指定状态的信息，
[0345]b.观看关于对系统的行为的信息，例如新指定、已完成的指定或者用户会话，
[0346]c.观看关于在期望等级的学习者表现的信息，例如，分类领域、完成一个问题的呈现个数、完成模块的时间长度，
[0347]d.提供通过在线交互来探索信息(挖掘)的选项，
[0348]e.提供捕捉信息从而可以完成离线分析(报告、导出、数据下载)的选项。
[0349]RDA管理员的目标:RDA管理员适于提供包括以下一个或多个的几个功能:
[0350]a.指定在注册过程中收集到的人口统计数据，
[0351]b.定制自我注册页面，
[0352]c.指定或者去掉RDA角色对具体用户的指定。
[0353]附加的系统目标与角色:知识管理系统还可以包括以下功能与能力中的一个或多个:
[0354]a.提闻知识犾取的速度，
[0355]b.提供企业级的内容管理能力，
[0356]c.提供企业级的学习应用可扩展性，
[0357]d.与外部学习管理系统集成，
[0358]e.从外部内容管理系统导入内容，
[0359]f.使学习者不需要提供个人识别信息就能够使用系统，
[0360]g.通过帐号或组织跟踪已公布内容的使用，[0361]h.把每个学习者与一个帐号或组织关联，
[0362]1.把每个帐号或组织与一个会计代码关联，
[0363]j.通过帐号或组织跟踪学习者行为，例如，学习者、主动的学习者、新注册、完成和使用小时数，
[0364]k.与第三方软件集成，
[0365]1.跟踪并报告由所有角色使用的数据；管理者、公布者、管理员，等等，
[0366]m.在学习对象级别跟踪内容使用情况，
[0367]η.创建内部报告，提供所有消费者类型的积极支持。
[0368]图19说明了形式为计算机系统1900的机器的一种实施例的图示表示，在该机器中，可以执行用于使设备执行本公开内容任何一个或多个方面和/或方法的一组指令。计算机系统1900包括经总线1915彼此通信并且与其它部件通信的处理器1905和存储器1910。总线1915可以包括使用多种总线体系结构中任何体系结构的几种类型的总线结构中的任意一种，包括但不限于，存储器总线、存储器控制器、外围总线、本地总线及其任意组
口 ο
[0369]存储器(内存，memory) 1910可以包括各种部件(例如,机器可读介质),包括,但不限于，随机存取存储器部件(例如，静态RAM “SRAM”、动态RAM “DRAM”，等等)、只读部件及其任意组合。在一个例子中，基本输入/输出系统1920(B10S)可以存储在存储器1910中，其中BIOS包括例如在启动期间帮助在计算机系统1900中的元件之间传输信息的基本例程。存储器1910还可以包括(例如，存储在一个或多个机器可读介质上)体现本公开内容任意一个或多个方面和/或方法的指令(例如，软件)1925。在另一个例子中，存储器1910可以进一步包括任何数量的程序模块，包括，但不限于，操作系统、一个或多个应用程序、其它程序模块、程序数据及其任意组合。
[0370]计算机系统1900还可以包括存储设备1930。存储设备(例如，存储设备1930)的例子包括，但不限于，用于从硬盘读和/或向硬盘写的硬盘驱动器、用于从移动磁盘读和/或向移动磁盘写的磁盘驱动器、用于从光学介质(例如，CD、DVD等)读和/或向光学介质写的光盘驱动器、固态存储器设备及其任意组合。存储设备1930可以通过合适的接口(未示出)连接到总线1915。例子接口包括，但不限于，SCS1、高级技术附连(ΑΤΑ)、串联ΑΤΑ、通用串行总线(USB)、IEEE1394 (FIREWIRE)及其任意组合。在一个例子中，存储设备1930可以与计算机系统1900可拆卸地接口(例如，经外部端口连接器(未示出))。特别地，存储设备1930和关联的机器可读介质1935可以提供机器可读指令、数据结构、程序模块和/或用于计算机系统1900的其它数据的非易失性和/或易失性存储。在一个例子中，软件1925可以完全或部分地驻留在机器可读介质1935中。在另一个例子中，软件1925可以完全地或部分地驻留在处理器1905中。计算机系统1900还可以包括输入设备1940。在一个例子中，计算机系统1900的用户可以经输入设备1940把命令和/或其它信息输入计算机系统1900。输入设备1940的例子包括，但不限于，字母数字输入设备(例如，键盘)、定点设备、操纵杆、游戏板、音频输入设备(例如，麦克风、语音响应系统等)、光标控制设备(例如，鼠标)、触摸板、光学扫描仪、视频捕捉设备(例如，照相机、摄像机)、触摸屏及其任意组合。输入设备1940可以经各种接口(未示出)接口到总线1915，其中的接口包括，但不限于，串口、并口、游戏端口、USB接口、FIREWIRE接口、到总线1915的直接接口及其任意组合。[0371]用户还可以经存储设备1930 (例如，移动磁盘驱动器、闪存驱动器等)和/或网络接口设备1945把命令和/或其它信息输入到计算机系统1900。网络接口设备，例如网络接口设备945，可以用于把计算机系统1900连接到一个或多个各种网络，例如网络1950，及连接到其的一个或多个远端设备1955。网络接口设备的例子包括，但不限于，网络接口卡、调制解调器及其任意组合。网络或网络片段的例子包括，但不限于，广域网(例如，互联网、企业网)、局域网(例如，与办公室、大楼、校园或其它相对小的地理空间关联的网络)、电话网络、两个计算设备之间的直连及其任意组合。例如网络1950的网络可以采用有线和/或无线的通信模式。总的来说，任何网络拓扑结构都可以使用。信息(例如，数据、软件1925等)可以经网络接口设备1945传送到和/或从计算机系统1900传送。
[0372]计算机系统1900可以进一步包括视频显示适配器I960，用于向显示设备，例如显示设备1965，传送可显示的图像。显示设备可以用于显示关于可归因于消费者的污染影响和/或污染偏移量的任意数量和/或多种指示器，如以上所讨论的。显示设备的例子包括，但不限于，液晶显示器(IXD)、阴极射线管(CRT)、等离子显示器及其任意组合。除了显示设备，计算机系统1900还可以包括一个或多个外围输出设备，包括，但不限于，音频扬声器、打印机及其任意组合。这种外围输出设备可以经外围接口 1970连接到总线1915。外围接口的例子包括，但不限于，串口、USB连接、FIREWIRE连接、并行连接及其任意组合。在一个例子中，音频设备可以提供关于计算机系统1900的数据(例如，代表关于可归因于消费者的污染影响和/或污染偏移量的指示的数据)的音频。
[0373]如果需要的话，可以包括数字转换器(未示出)和附带的触控笔，以便数字化地捕捉手写输入。笔数字转换器可以单独配置或者与显示设备1965的显示区域共同扩张。相应地，数字转换器可以与显示设备1965集成，或者可以作为覆盖在显示设备1965上或者以别的方式附到显示设备1965的独立设备存在。显示设备还可以按具有或不具有触摸屏能力的平板设备的形式体现。
[0374]工业应用
[0375]证明
[0376]基于自信的评估可以用作基于自信的证明工具，既作为预测试实践评估，又作为学习工具。作为预测试评估，基于自信的证明过程将不提供任何补救，而是只提供得分和/或知识简档。基于自信的评估将指示个人是否在给出的任何证明材料中具有任何自信地持有的误导。这还将向证明主体提供抑制证明的选项，其中误导存在于给定的主题领域中。由于CBA方法比当前的一维测试更精确，因此基于自信的证明增加了证明测试的可靠性和证明授予的有效性。
[0377]在该系统用作学习工具的情况下，可以在系统中为学习者提供全宽度的形成性评估和学习表现，以帮助学习者识别具体的技能差距，并且补救性地填补那些差距。
[0378]基于场景的学习
[0379]基于自信的评估可以应用到自适应学习方法，其中，一个答案生成关于自信和知识的两个度量。在自适应学习中，视频或场景对描述情形的使用帮助个人逐步完成支持他们的学习和理解的决策过程。在这些基于场景的学习模型中，个人可以重复该过程多次，以便发展他们将如何处理给定情形的熟悉性。对于场景或模拟，通过确定个人在他们的决策过程中有多自信，CBA和CBL添加了一个新的维度。利用基于场景的学习方法，基于自信的评估的使用使个人能够识别他们在什么地方不知情并且在其表现与行为中有怀疑。作为培训的结果，重复基于场景的学习直到个人变得完全自信，这增加了个人将快速一致地采取动作的可能性。CBA和CBL也是“自适应的”，因为每个用户都基于他或她自己的学习态度和现有知识与评估和学习进行交互，而且因此学习将对每个用户高度个性化。
[0380]调查
[0381]基于自信的评估可以作为基于自信的调查工具来应用，它结合了三个可能答案的选择，其中，个人指示他们对一个主题的自信和意见。就像以前一样，个人从七个选项中选择一个答案响应，确定他们对给定主题的自信和理解或者他们对特定观点的理解。问题格式将关于对一个产品或服务领域的属性或对比分析，在所述领域中，理解和自信信息都被要求。例如，营销公司可能提问“以下哪个是展示新土豆片产品的最佳位置？ A)收银台；B)与其它零食产品一起；C)在一条过道的末尾”。营销人员不仅对消费者的选择感兴趣，而且对消费者对其选择的自信或怀疑感兴趣。添加自信维度增加了一个人对回答调查问题的参与并且给予营销人员更丰富和更精确的调查结果。
[0382]根据本发明的更多方面提供了学习支持，其中，学习资源是基于如知识评估简档中所反映的学习者的可量化需求，或者通过本文所给出的其它表现测量，来分配的。因而，本发明的各方面提供了根据学习者所拥有的真正知识程度来分配学习资源的方式。与当学习者失败时通常要求他或她重复整个课程的常规培训相反，本文所公开的本发明的各方面方便例如学习材料的学习资源的分配、通过指示学习需求的指导和学习时间、再培训及对主体被误导或者不知情的那些实质领域的再教育。
[0383]由该系统实现的本发明的其它方面向用户提供或呈现“个人培训计划”页。这个页显示根据各种知识区域分类并分组的查询。分组的查询中的每一个都超链接到询问学习者的正确答案及其它相关的实质性信息和/或学习材料。可选地，问题还可以超链接到在线信息参考或离站设施。代替浪费时间审查涵盖测试查询的所有材料，学习者或用户可以只集中到关于需要关注或再教育的那些领域的材料。通过集中到被误导和部分信息的领域，关键信息的错误可以很容易地识别出来并且被避免。
[0384]为了实现这种功能，评估简档映射或关联到信息数据库和/或实质性学习材料，这些材料存储在系统中或者远离系统的设施中,例如,组织的局域网(LAN)中或者万维网中的资源。链接呈现给学习者，用于审查和/或再教育。
[0385]此外，本发明进一步提供了测试查询到相关材料或感兴趣材料的自动化交叉引用，关于所述材料形成该测试查询。这个能力有效并高效地方便培训和学习资源部署到真正需要附加培训或再教育的那些领域。
[0386]另外，利用本发明，与再培训和/或再教育关联的任何进度都可以很很容易地测量。在再培训和/或再教育之后，(基于现有的表现结果)，学习者可以对测试查询的部分或全部重新进行测试，从其可以开发出第二知识简档。
[0387]在所有上述应用中，本方法都给出对知识和信息的更准确的测量。个人认识到猜测是要受到惩罚的，而且承认怀疑和无知比假装自信更好。他们把他们的焦点从应试策略和试着抬高得分朝着对他们真实知识与自信的诚实的自我评估转移。这给予受试者及组织关于错误、未知、怀疑和掌握的领域与程度的丰富反馈。现在已经完全阐述了作为本发明基础的概念的优选实施例和某些修改，当熟悉这些基础概念之后，各种其它实施例及对本文所示实施例的某些变化和修改对本领域技术人员来说是很容易想到的。因此，应当理解，本发明可以不像本文具体阐述的那样来实践。
【权利要求】
1.一种面向服务的系统，用于知识评估和学习，包括: 显示设备，用于向位于客户终端的学习者显示多个多选问题和两维答案； 管理服务器，适于管理该系统的一个或多个用户； 内容管理系统服务器，适于为所述一个或多个用户提供创建和维护学习资源库的接Π ； 包括学习材料数据库的学习系统服务器，其中所述多个多选问题和两维答案存储在数据库中，用于选择性递送到客户终端； 注册与数据分析服务器，适于创建和维护关于学习者的注册信息； 所述用于知识 评估的系统执行一种方法， 向显示设备发送多个多选问题和对其的两维答案，答案包括多个由单选答案组成的完全自信答案、多个由一组或多组多个单选答案组成的部分自信答案及一个不确信答案；通过经显示设备向学习者呈现所述多个多选问题和对其的两维答案并且经显示设备接收学习者对多选问题的选定答案来管理评估，通过选定答案，学习者既指示他们的实质性答案又指示他们答案的自信分类等级；及 通过对学习者作出的至少一个答案指定知识状态名称来给评估打分。
2.如权利要求1所述的系统，其中管理服务器包括帐号数据库并且适于提供帐号服务功能性。
3.如权利要求1所述的系统，其中内容管理系统服务器包括创作数据库并且适于提供创作与公布服务功能性。
4.如权利要求1所述的系统，其中学习系统服务器包括学习数据库并且适于提供学习服务功能性。
5.如权利要求1所述的系统，其中注册与数据分析服务器包括注册与数据仓库数据库并且适于提供注册与报告服务功能性。
6.如权利要求1所述的系统，其中通过对学习者作出的至少一个答案指定知识状态名称来给评估打分包括指定以下知识状态名称: 响应学习者自信且正确的答案，熟练或掌握知识状态； 响应学习者怀疑且正确的答案，知情知识状态； 响应学习者不确信的答案，不确信知识状态； 响应学习者怀疑且不正确的答案，不知情知识状态；及 响应学习者自信且不正确的答案，误导知识状态。
7.如权利要求1所述的系统，还包括用于从外部源导入内容的移植数据库服务器。
8.如权利要求1所述的系统，其中管理评估进一步包括:包含增强学习与记忆的一个或多个认知开关。
9.如权利要求8所述的系统，其中所述开关选自由重复、起动、进度、反馈、上下文、精制、间隔、确定性、关注、动机和风险/奖励组成的组。
10.如权利要求1所述的系统，其中管理评估进一步包括管理识别学习者的技能差距的学习模块。
11.一种面向服务的计算机结构，包括适于执行知识评估方法的多层服务结构，该方法包括:通过到内容管理服务器的接口创建知识评估应用； 通过学习服务器向学习者提供知识评估应用； 通过注册与数据分析服务器使学习者能够访问知识评估； 在显示设备向学习者显示存储在内容管理服务器的多个多选问题与两维答案； 经通信网络向显示设备发送所述多个多选问题和两维答案，其中答案包括多个由单选答案组成的完全自信答案、多个由一组或多组多个单选答案组成的部分自信答案及一个不确信答案； 管理评估包括经显示设备向学习者呈现所述多个多选问题和两维答案，并且经显示设备接收学习者对多选问题的选定答案，通过选定答案，学习者既指示他们的实质性答案又指示他们答案的自信分类等级；及给评估打分。
12.如权利要求11所述的面向服务的计算机结构，其中给评估打分包括指定以下名称: 响应学习者自信且正 确的答案，熟练或掌握知识状态； 响应学习者怀疑且正确的答案，知情知识状态； 响应学习者不确信的答案，不确信知识状态； 响应学习者怀疑且不正确的答案，不知情知识状态；及 响应学习者自信且不正确的答案，误导知识状态。
13.如权利要求11所述的面向服务的计算机结构，还包括内容管理系统服务器与数据分析应用。
14.如权利要求11所述的面向服务的计算机结构，其中通过到内容管理服务器的接口创建知识评估应用包括:
创建 ampObject ； 为ampObject建立元素； 把内容和媒体组装到ampObject中；及 从多个ampObject组装学习模块。
15.如权利要求11所述的面向服务的计算机结构，其中ampObject包括对应于该ampObject的元数据、对应于该ampObject的评估数据与对应于该ampObject的学习数据。
16.如权利要求11所述的面向服务的计算机结构，其中元数据包括主题和子主题定义。
17.如权利要求11所述的面向服务的计算机结构，其中评估数据包括选自视频、音频和图像数据的相关联的学习数据。
18.如权利要求11所述的面向服务的计算机结构，其中学习数据包括选自视频、音频和图像数据的相关联的学习数据。
19.如权利要求11所述的面向服务的计算机结构，其中管理评估进一步包括:包含增强学习与记忆的一个或多个认知开关。
20.如权利要求11所述的面向服务的计算机结构，其中所述开关选自由重复、起动、进度、反馈、上下文、精制、间隔、确定性、关注、动机和风险/奖励组成的组。
21.如权利要求11所述的面向服务的计算机结构，其中管理评估进一步包括管理识别学习者的技能差距的学习模块。
22.—种计算机数据库系统结构，配置成向位于客户终端的学习者递送多个多选问题和两维答案，包括: 内容管理系统服务器，适于为一个或多个用户提供创建和维护学习资源库的接口 ； 用于存储学习材料数据库的学习系统服务器，其中所述多个多选问题和两维答案存储在数据库中，用于选择性递送到客户终端； 学习材料数据库，包括模块库与学习对象库，该学习对象库包括多个学习对象，所述多个学习对象中的每一个都包括， 对应于该学习对象的元数据， 对应于该学习对象的评估数据，及 对应于该学习对象的学习数据。
23.如权利要求22所述的计算机数据库结构，其中元数据成分包括与学习对象相关的至少一个可配置项。
24.如权利要求23所述的计算机数据库结构，其中所述可配置项对应于能力项。
25.如权利要求23所述的计算机数据库结构，其中所述可配置项对应于主题项。
26.如权利要求22所述的计算机数据库结构，其中模块库包括用于存储自适应学习算法的结构，用于递送并且通过对学习者作出的至少一个答案指定知识状态名称来给知识评估打分，该算法指定至少一个以下知识状态名称: 响应学习者自信且正确的答案，熟练或掌握知识状态； 响应学习者怀疑且正确的答案，知情知识状态； 响应学习者不确信的答案，不确信知识状态； 响应学习者怀疑且不正确的答案，不知情知识状态；及 响应学习者自信且不正确的答案，误导知识状态。
【文档编号】G09B3/00GK103620662SQ201280014809
【公开日】2014年3月5日 申请日期:2012年2月10日 优先权日:2011年2月16日
【发明者】S·厄恩斯特, C·史密斯, G·克林凯尔, R·伯金 申请人:知识因素股份有限公司