认知教育成果元素和有关交互式报告总结的归一化和累积分析的制作方法

认知教育成果元素和有关交互式报告总结的归一化和累积分析的制作方法
【专利摘要】系统、方法和关联的设备以电子方式收集、报告和生成多个不同教育输入的归一化教育成果总结，包括说教、体验式和问题解决事件和/或评估。
【专利说明】认知教育成果元素和有关交互式报告总结的归一化和累积分析
[0001]相关申请
该非临时专利申请要求保护2011年3月22日提交的名称为“NORMALIZATION ANDCUMULATIVE ANALYSIS OF ⑶GNITIVE EDUCATIONAL OUTCOME ELEMENTS AND RELATEDINTERACTIVE REPORT SUMMARIES”的美国临时专利申请61/466，207的优先权，通过参考将其公开整体合并于此。
[0002]版权保护的材料
该专利文档的一部分公开内容包含服从版权保护的材料。版权所有者美国北卡罗来纳州的East Carolina University of Greenville不反对任何人对该专利文档或专利公开内容的复制，就如其在专利和商标局专利文件或记录中出现那样，然而在其他方面却无论如何都保留所有版权权利。
【技术领域】
[0003]本发明涉及教育评估系统，其可以评价学生在与教育主题、概念或领域有关的不同子主题中的能力和/或评价与积极和消极认知测试成果相关联的组群因素。
【背景技术】
[0004]在过去，教育和测试系统被设计成主要基于以说教为基础的测试来评价学生。为了对这样的评价进行自动化，已经提出将微能力代码用于说教主题的课程映射。其他还已将MeSH (医学题目标题)代码用于某些类型的医学课程教育评价。然而，这些代码尚未产生一种尤其以可考虑其他类型的输入的方式评价学生的实用方式。确实，这些现有的方法仅能够针对在说教环境中提出的主题来评价学生。
[0005]许多教育规划应当需要对知识、技能和跨学科问题解决的证明。然而，难以纵向地评估这些不同的教育成果。例如，在牙科和医学教育中，以及在其他教育领域中，认为更大程度的学生能力应当基于其他因素，例如超过60%的学生能力应当在临床环境中测得。
[0006]仍存在对可提供改进的基于能力的评估的替换评价系统的需要。

【发明内容】

[0007]本发明的一些实施例涉及一种用于提供用于评价学生能力的数据的方法。这样的方法可以包括针对至少一个学生生成评价网格。该网格可以包括多个不同微能力、与所述不同微能力中的对应的一些微能力相关联的多个得分，所述得分与至少一个说教事件、至少一个体验式事件和至少一个讨论事件相对应。一些实施例提供:使用至少一个计算机处理器来执行生成评价网格。
[0008]在一些实施例中，针对所述不同微能力中的对应的一些微能力的得分中的一些是相对教育价值(RVU)得分，并且用于生成相应得分的至少一个说教事件、至少一个体验式事件和至少一个讨论事件中的每一个与元数据代码相关联，所述元数据代码标识与不同微能力中的一些和RVU得分相对应的主题代码。在一些实施例中，使用元数据代码来执行生成评价网格。
[0009]一些实施例还包括:随时间累积对于与相应学生相关的不同说教事件、体验式事件和讨论事件的RVU得分；以及基于所累积的RVU得分来更新评价网格。在一些实施例中，以基本上规则的周期性间隔来更新网格。一些实施例提供:基本上规则的周期性间隔为至少每周一次的间隔，以便反映与多个不同微能力中的一些相对应的学生得分的改变。
[0010]在一些实施例中，来自每个事件的RVU得分是时间归一化的得分，并且说教和体验式RVU得分基于测试和体验式事件的二元表征。一些实施例提供:体验式环境RVU得分基于对困难的预定义评估和所估计的完成相应体验式任务的时间，并且该体验式任务与对应于不同微能力中的一些的多于一个主题代码相关联。
[0011]一些实施例提供:讨论环境RVU得分基于在评价学生在线讨论之后分配的针对学生的用户定义的RVU得分。
[0012]在一些实施例中，该网格是交互式网格。一些实施例还包括允许用户选择网格中的单元来展示相应微能力和/或学生的潜在支持数据。
[0013]一些实施例包括以具有与所定义的状态相关联的颜色的相应微能力来显示具有单元的网格。在一些实施例中，所定义的状态对应于学生在包括该学生的多个学生中的多个其他学生当中的相对表现。一些实施例提供:所述相对表现基于所述多个学生的RVU得分的标准差，并且使用与被标识为低于统计定义的最小值的得分相对应的第一颜色、与高于统计定义的最小值且低于统计定义的优秀阈值的得分相对应的第二颜色、以及与高于统计定义的优秀阈值的得分相对应的第三颜色来显示处于相应微能力的网格中的单元。在一些实施例中，使用与被标识为低于除统计定义的最小值之外的非统计定义的最小值的得分相对应的第一颜色来显示处于相应微能力的网格中的单元。一些实施例提供:使用与高于除统计定义的优秀阈值之外的非统计定义的优秀阈值的得分相对应的第三颜色来显示处于相应微能力的网格中的单元。
[0014]本发明的一些实施例包括提供用于评价学生在主题中的能力的数据的方法。这样的方法可以包括通过随时间以电子方式标识对于多个不同微能力的多个元数据代码中的关联的一些元数据代码来获得对于不同的所定义的微能力的相对教育价值单位(RVU)得分，所述多个不同微能力与来自说教、体验式和讨论环境的学生标识符相关。方法还可以包括与支持报告相关联地存储所获得的RVU得分。
[0015]一些实施例包括基于RVU得分来生成累积分析网格。在一些实施例中，生成累积分析网格包括:将来自对于多个不同微能力中的相应一些微能力的说教、体验式和讨论环境中的每一个的RVU得分进行数学求和；以及基于后续获得的对于相应学生的累积数据来更新累积分析网格。
[0016]在一些实施例中，说教RVU得分基于测试事件的二元表征，并且体验式RVU得分基于体验式事件的二元表征。
[0017]一些实施例提供:获得相对教育价值单位(RVU)得分包括接收与每个说教事件相对应的考试数据文件，该考试数据文件包括唯一学生标识符、测试项目标识符、与测试项目相对应的微能力代码和二元答案选择值。一些实施例包括:修改所接收到的考试数据文件以包括规划标识符、考试日期和科目标识符中的至少一个；以及存储经过修改的考试数据文件。
[0018]一些实施例还包括通过将经过修改的考试数据文件中的内容与考试数据文件的内容进行比较来以编程方式确证该经过修改的考试数据文件。一些实施例还包括显示考试数据文件的内容以便由用户进行确证。
[0019]一些实施例还包括:接收提交输入；以及响应于接收到提交输入，将来自经过修改的考试数据文件的数据转换成通过微能力而相关的总结数据以提供与主题相关联的结果。一些实施例还包括:接收指示通过微能力而相关的总结数据被批准的确证输入；以及响应于接收到确证输入，生成将与总结数据相对应的RVU得分同对应的学生相关联的聚合数据。一些实施例包括:接收指示聚合数据被批准的提交输入；将与聚合数据、总结数据和/或经过修改的考试数据相对应的文件加标签为已提交；以及基于聚合数据中的RVU得分来更新累积分析网格。
[0020]本发明的一些实施例包括一个或多个电路，其被配置成生成与学生的认知能力相关联的多个所定义的教育主题的交互式累积网格。
[0021]本发明的一些实施例包括用于提供基于能力的学生评价的计算机程序产品。这样的计算机程序产品可以包括非瞬变计算机可读存储介质，在该介质中体现有计算机可读程序代码。在一些实施例中，该计算机可读程序代码包括基于对与所定义的关联微能力主题代码相关联的说教测试事件的评价和相对教育价值单位生成总结性分级输出的计算机可读程序代码。实施例可以包括:基于对与所定义的关联微能力主题代码相关联的体验式个体体验元素的评价和相对教育价值单位生成总结性分级输出的计算机可读程序代码；以及基于对与所定义的关联微能力主题代码相关联的个体讨论事件的评价和相对教育价值单位生成总结性分级输出的计算机可读程序代码。实施例还可以包括生成使用总结性分级输出的累积分析学生评价网格的计算机可读程序代码。
[0022]在一些实施例中，使用总结性分级输出的累积分析学生评价网格包括以具有与所定义的状态相关联的颜色的相应微能力显示的网格中的单元。一些实施例提供:所定义的状态与学生在包括该学生的多个学生中的多个其他学生当中的相对表现相对应，所述相对表现基于所述多个学生的相对教育价值单位的标准差、与所述多个其他学生无关地定义的非统计定义的最小值、以及与所述多个其他学生无关地定义的非统计定义的优秀阈值。
[0023]本发明的一些实施例包括教育分析系统，其包括利用至少一个服务器的至少一个基于网络的服务，所述至少一个服务器被配置成接受来自教授/教师和学生的电子输入以与基于网络的服务进行通信来交互地参与同学生和学生组的定时讨论事件，并且其中该系统被配置成提供输入窗口以允许教授/教师针对参与讨论事件的每个学生和每个学生组输入对于相应讨论事件的微能力代码和相对教育价值单位得分。
[0024]在一些实施例中，所述至少一个基于网络的服务还被配置成使用元数据代码来使所定义的个体体验式事件与微能力代码中的关联的一个微能力代码和相对教育价值单位中的至少一个相对教育价值单位有关。
[0025]如本领域技术人员将根据上面的讨论认识到的那样，本发明可以被体现为方法、系统和/或计算机程序产品或其组合。此外，要注意，关于一个实施例描述的本发明的方面可以被合并到不同实施例中，尽管没有关于此具体描述。也就是说，可以以任何方式和/或组合来组合所有实施例和/或任何实施例的特征。 申请人:保留了改变任何原始提交的权利要求或相应地提交任何新权利要求的权利，包括能够将任何原始提交的权利要求修改为依赖于任何其他权利要求的任何特征和/或合并任何其他权利要求的任何特征的权利，尽管最初没有以这种方式要求保护。在下面阐述的说明书中详细解释本发明的这些和其他目的和/或方面。
【专利附图】

【附图说明】
[0026]专利或申请文件包含以彩色方式执行的至少一幅附图。在请求并且支付必要费用时将由专利局提供带有彩色附图的该专利或专利申请公开的副本。
[0027]图1是根据本发明的一些实施例的评价系统/方法的示意图示。
[0028]图2是根据本发明的一些实施例的具有附加分析平台的与图1中所示的系统/方法类似的示意图示系统/方法。
[0029]图3是图示了根据本发明的一些实施例的示例性讨论事件输入的图形用户界面中的显示屏的框图。
[0030]图4是图示了根据本发明的一些实施例的示例性讨论事件输入的显示屏的框图。
[0031]图5是根据本发明的一些实施例的讨论线程和关联的CSV文件的示例的屏幕截图。
[0032]图6是根据本发明的一些实施例的示例性交互式(颜色编码的)评价网格的部分屏眷截图。
[0033]图7A和7B是根据本发明的一些实施例的关联微能力的两个相应集合的能力网格列表。
[0034]图8是根据本发明的实施例的具有基于用户简档/类型的受限视图的仪表板的示意图示。
[0035]图9是根据本发明的一些实施例的可被执行的示例性操作的流程图。
[0036]图10是根据本发明的一些实施例的基于网络的系统的一个示例的示意图示。
[0037]图11是根据本发明的一些实施例的数据处理系统的框图。
[0038]图12是根据本发明的一些实施例的子组群管理器的图形用户界面的屏幕截图。
[0039]图13是根据本发明的一些实施例的分级后的总结性报告的图形用户界面的屏幕截图。
[0040]图14是根据本发明的一些实施例的在数据被递交到网格之前的布告验证报告的图形用户界面的屏幕截图。
[0041]图15是根据本发明的一些实施例管理所递交的报告的图形用户界面的屏幕截图。
[0042]图16是根据本发明的一些实施例的被解析以显示单个解剖系统的示例性交互式评价网格的部分屏幕截图。
[0043]图17是根据本发明的一些实施例的管理在其中呈现多个网格以进行编辑的交互式评价网格的图形用户界面的部分屏幕截图。
[0044]图18是根据本发明的一些实施例的被解析以按照单个学科来分析数据的示例性交互式评价网格的部分屏幕截图。
[0045]图19是根据本发明的一些实施例的包括允许选择性地查看一个或多个模态并且定义分析数据范围的交互式评价网格的组件的图形用户界面的部分屏幕截图。
[0046]图20是根据本发明的一些实施例的确定哪些学生和教师被包括在特定组群中的组群管理器的图形用户界面的屏幕截图。
[0047]图21是根据本发明的一些实施例的管理在其中能力包括微能力代码的交互式评价网格的图形用户界面的屏幕截图。
[0048]图22是图示了根据本发明的一些实施例的在项目分析已经被执行之后单个学生的原始导入的考试数据的图形用户界面的屏幕截图。
[0049]图23是根据本发明的一些实施例的在确证的准备时验证原始数据报告的图形用户界面的屏幕截图。
[0050]图24是图示了根据本发明的一些实施例的在提交数据之前的RVU提交总结屏幕的图形用户界面的屏幕截图。
[0051]图25是图示了根据本发明的一些实施例的通过不同学生的微能力代码收集且合并的数据的图形用户界面的屏幕截图。
[0052]图26是图示了根据本发明的一些实施例的通过微能力代码收集且合并并且被验证以向所有学生提供正确得分的数据的图形用户界面的屏幕截图。
[0053]图27是图示了根据本发明的一些实施例的包括准备好提交到网格的一个或多个数据库的RVU得分的RVU提交总结屏幕的图形用户界面的屏幕截图。
【具体实施方式】
[0054]现在将在下文中参考在其中示出本发明的优选实施例的附图更充分地描述本发明。然而，本发明以许多不同形式体现并且不应当被理解成限于本文中所阐述的实施例。
[0055]自始至终，相似的数字指代相似的元素。在图中，为了清楚起见，可能夸大了层、区域或组件。虚线图示了可选的特征或操作，除非以其他方式指定。
[0056]本文中所使用的术语仅用于描述特定实施例的目的并且不意图限制本发明。如本文中所使用的那样，单数形式“一”、“一个”和“该”意图也包括复数形式，除非上下文以其他方式清楚地指示。还将理解，当在本说明书中使用时，术语“包括”和/或“包含”指定所阐述的特征、整数、步骤、操作、元素和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或其组的存在或添加。如本文中所使用的那样，术语“和/或”包括关联的所列项目中的一个或多个的任何和所有组合。如本文中所使用的那样，诸如“在X和Y之间”和“在约X和Y之间”之类的短语应当被解释为包括X和Y。如本文中所使用的那样，诸如“在约X和Y之间”之类的短语意指“在约X和约Y之间”。如本文中所使用的那样，诸如“从约X到Y”之类的短语意指“从约X到约Y”。
[0057]除非以其他方式定义，本文中所使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员通常理解的含意相同的含意。将进一步理解，术语(诸如在通常使用的词典中定义的那些)应当被解释成具有与它们在本说明书和相关领域的上下文中的含意相一致的含意，而不应当在理想化或过度正式的意义上解释，除非在本文中明确地如此定义。为了简洁和/或清楚起见，可能未详细地描述公知的功能或构造。
[0058]将理解，当元素被称为“在”另一元素“上”、“附着到”另一元素、“连接到”另一元素、与另一元素“耦合”、“接触”另一元素等等时，其可以直接在另一元素上、附着到另一元素、连接到另一元素、与另一元素耦合或接触另一元素，或者还可以存在居间元素。相反，当元素被称为例如“直接在”另一元素“上”、“直接附着到”另一元素、“直接连接到”另一元素、与另一元素“直接耦合”或“直接接触”另一元素时，不存在居间元素。本领域技术人员还将认识到，对“邻近”另一特征部署的结构或特征的参考可以具有与该邻近特征重叠或位于其下方的部分。
[0059]将理解，尽管术语第一、第二等等可以在本文中用来描述各种元素、组件、区域、特征、步骤、层和/或段，但是这些元素、组件、特征、步骤、区域、层和/或段不应当由这些术语限制。这些术语仅被用来将一个元素、组件、特征、步骤、区域、层或段与另一区域、层或段进行区分。因此，在不偏离本发明的教导的情况下，下面讨论的第一元素、组件、区域、层、特征、步骤或段可以被称为第二元素、组件、区域、层、特征、步骤或段。操作(或步骤)的顺序不限于在权利要求或图中提出的次序，除非以其他方式具体指示。
[0060]术语“学生”指代要被评价的(一个或多个)个体。如本文中所使用的那样，术语“基本上实时”包括在讨论或测试期间在站点之间接收和/或传送数据，其计及作为所采用的路由、业务、传输路线和/或系统通信链路(其可以阻止传递以使得发生微小的延迟)的结果的、站点之间的远程传输中的系统延迟，所述系统延迟可以在长度上处于秒或更小的量级或者潜在地处于分钟的量级。
[0061]术语“自动的”意指如此描述的基本上所有或所有操作可以在不需要人类操作员的协助和/或手动输入的情况下被执行。术语“电子的”意指系统、操作或设备可以使用任何适当的电子介质来进行通信并且通常采用以编程方式控制使用计算机网络的参与者之间的通信。
[0062]术语“以编程方式”意指经由计算机程序代码来引导动作。
[0063]术语“集线器”意指控制和/或托管使用计算机网络的不同用户站点之间的数据交换的节点和/或(一个或多个)控制站点。术语“FERPA”指代在美利坚合众国的法律下的家庭教育权利和隐私权法案(FERPA )。
[0064]术语“形成性评价”指代在其中向个体提供指导以改进表现的横断面(cross-sectional)事件。不需要针对等级或点数而递交形成性评价。
[0065]术语“总结性评价”指代在其中以点数或等级的形式向个体给出表现的评价的横断面事件。
[0066]术语“成果元素”是作为总结性评价的一部分而定义的教育成果的单位。成果元素可以包含下面的数据:唯一标识符、学生唯一标识符、总结性评估标识符、评价类型、和/或及格/不及格。一些实施例提供:及格/不及格可以是二元值。当被归一化时，成果元素可以包含(一个或多个)微能力代码和(一个或多个)相对教育价值单位。归一化元素可以忽略不及格的项目并可以仅针对及格的项目给出学分。
[0067]术语“累积评价”指代许多(通常全部)总结性评价的解析集合以便提供规划、课程和/或能力中的学生表现的平衡分析(如果不是完全分析的话)。
[0068]术语“累积分析引擎”指代下述电子电路:其可以随时间以电子方式分析来自不同教育评价环境中的至少一个并且通常三个或更多教育评价环境(例如除了其他之外，说教、体验式和讨论)的学生总结性评价数据输入，以便生成组群表现关于能力定义的表示。
[0069]表现的教育评价可以使关于课程标准集合的形成性和总结性评价。一些实施例提供:这可以利用被平均以给出等级的关于考试的基本得分来完成。在复杂的成果环境中，简单的等级可能不提供足够的信息来校正具体的不足。术语“能力”已经被用来给出执行综合任务(除了其他之外，诸如与医学、工程和/或法律相对应的那些任务)所需的技能和知识的更精确定义。一些实施例可以特别适合于使用与说教分级、体验式分级和讨论环境分级相关联的归一化输入对学生进行能力评价。本发明的一些实施例可以用于基于学生能力得分来评估复杂课程的有效性。任何能力都可以用声明和/或定义来表示以及/或者可以由多个子组件来表示。如本文中所使用的那样，与能力相对应的子主题可以被称为“微能力”，并且将在后面的章节中对其进行详述。
[0070]在一些实施例中，系统/方法未被配置成定义相关技能之间的客观差异。学生对阵(encounter)可以通常并且更典型地完全是二元的。这样，说教环境可以被限于报告正确回答的元素(但是可以针对已知的假否定丢弃或给出学分)。体验式(例如临床)环境可以报告成功完成的技能。讨论环境可以报告在其中做出的布告。这些报告被定义为认知评价，这意味着可以不使用个体测量的相对质量。可以利用其他技术来评价非认知主观价值。
[0071]在基于能力的课程中，可能存在用于递送教导的三种不同模态，并且因此，存在用于评价的三种不同环境。根据一些实施例，用于评价的三种不同环境可以被集成到可扩展能力电子评价平台中。用于评价的环境可以是说教模态、体验式模态和讨论模态。将在本文档的分开的章节中详述每一个。不是所有教育领域都使用用于评价的所有模态。
[0072]“归一化”和术语“归一化的”指代所定义的用于测量不同因素的相关标准。例如，被分配给各个测试或测试问题的点数价值、在临床中或在体验式任务上花费的时间、被分配给批判性思维锻炼的值等等。根据一些实施例，当可用时，可以整理(digest)来自许多不同环境的总结性报告。各个经过整理的总结性报告中的结果可以被归一化成公共格式。所有总结性报告可以被组合成公共数据集，并且，可以在累积分析网格中提供数据的图形表示。一些实施例提供:归一化可以包括:基于所花费的教育时间来定义点数的相对价值；对所教导的可能主题(微能力)进行分类；以及定义个体、个体的子组群和可被累积地评价的个体的组群。
[0073]术语“相对价值的最小时间”(T)可以指代针对任何成果事件分配学分的基本单位。T是基本时间并可以进一步乘以其他因子以分配事件学分。可以使用相对价值的最小时间(T)来对不同输入进行归一化。例如，测试问题可以基于预测典型学生可能需要多长时间以评价和回答该问题而具有数字输出“I”或“2”。可以以由特定机构和/或基于标准而定义的时间等同物来分配数字，诸如“I”代表15分钟等同物(因此“2”可以与以“30分钟”计划的响应时间定级的问题相关联)。如果学生正确地回答问题，则答案接收所定义的(归一化得分)。对于比如医学或牙科的临床实践之类的体验，执行任务所花费的实际时间和该任务的相对复杂度可以被给予关于15分钟的归一化值。例如，拔牙的平均时间可以是15分钟，因此，给予I个价值单位。从归一化基础来说，这使在说教考试中解决问题等同于临床中的拔牙。类似地，对于基于讨论的环境，有可能给出个体对基于问题的学习讨论的响应的部分点。
[0074]术语“相对教育价值单位”(RVU)是对与时间和复杂度有关的技能评估的可能学分的表达。例如，假设说教测试项目等于I RVU，则体验式过程或讨论体验可以被映射至附加的时间或复杂度。RVU可以被表达为等于基本时间间隔(T)，在多于一个时间间隔与任务或讨论相关联时乘以T的递增量。另外，可以针对复杂度来调整RVU:ΤΧη (Τ的倍_XC(复杂度乘数)。RVU可以提供与被归一化成时间单位(T)的不同教育因素(例如测试得分、测试答案、临床或其他体验式任务或小时、基于讨论的问题解决技能得分等等)相关联的相对价值得分。因此，使用RVU进行分级是时间等同归一化的并可以被用于不同类别的测试/评价的总结性成果评价。
[0075]术语“微能力代码”对应于微能力，并指代在基于能力的教育课程期间可能供学生体验的不同主题的层级表达。例如，多个微能力与特定课程的总体能力相关联。不是所有代码都有必要在课程中被表达，但是微能力是可能遇到的内容的超集。另外，尽管在本文中通常以复数形式的“微能力”使用，但是其中也包括单数形式的“微能力”。
[0076]术语“主题”指代所定义的教育概念、领域或题目。术语“主题代码”指代与所定义的主题相关的标识符。术语“标识符”指代字符(通常地，数字和/或字母数字字符)的唯一集合。标识符可以具有针对跨越多个电子评价平台的标准化而定义的格式。微能力被表达为与一个或多个所定义的主题代码的子主题相对应的个体微能力的所定义的层级集合。即，一个微能力可以与多于一个主题代码相关联。主题代码通常包括多个关联的微能力，并对于一些能力主题可以包括约10到100之间的数目，尽管该范围不进行限制。例如，本文中的一些实施例提供:更多或更少的微能力可以与不同主题相关联，并且不同主题可以具有不同数目的微能力。微能力可以被提供有足够的数目以便允许特定主题内的不同子概念的颗粒状评价。微能力本身可以与多个子微能力代码有关。特定教育评估系统可以具有几百个主题代码和几千个微能力。微能力可以被唯一地编码，例如利用数字码，但是可以使用其他代码类型。代码可以标识层级内主题的关系和/或位置。“能力”可以被定义为不同微能力代码的组合。此外，相同的微能力可以出现在多个不同能力评价中。
[0077]术语“组群”指代使用相同的所标识的组件、元素或因素和/或能力和/或微能力评价的学生组。除了其他之外，组群的一些示例可以包括由班级成组的学生、教授、关联的机构(例如大学或研究生院)和/或针对班级分配的教育资源(例如元编码书)。另外，讨论模态可以保证可通过定义子组群而解决的另一成组因素。例如，学生的子集可以被分配给遇到讨论的小组。另外，一些实施例提供:组群中的每个个体也是他们自己的子组群的成员。在讨论模态章节中解释该过程的细节。
[0078]术语“说教模态”指代基于教室讲授、课本和家庭作业对学生学习的评价。
[0079]术语“问题元素”(QE)指代包括题干、一个或多个干扰项答案、一个正确答案或选择的组合且具有等于T的相对价值的单个说教模态问题。例如，问题元素可以包括简单的考试问题。
[0080]术语“问题组”(qgroup)是在公共微能力下各个说教问题的集合的表达。在创建点处和/或在作为测试事件报告递交给系统时，可以将说教模态问题映射至微能力。
[0081]术语“测试事件”(TE)是创建组群或子组群的形成性评价的问题元素的组合。注意，子组群的说教评价可以导致累积分析中的非代表性结果。
[0082]术语“测试事件报告”(TER)表达对测试事件的组群表现。
[0083]术语“项目分析”涉及为了识别因较差的问题构造或较差的学生表现而应当被移除的TE而对TER的数学评价。这些工具可以根据机构和/或测试机制而大范围地改变。在一些实施例中，项目分析涉及评价与组群有关的个体。[0084]术语“说教模态总结性报告”(DMSR)是在项目分析已经被完成并且已经从TER中消除特定TE之后每个个体对组群内的每个TE的表现的列表。
[0085]术语“说教模态归一化总结性报告”是来自由RVU通过微能力聚合的DMSR的每个个体的表现的列表。可以依照DMSR来验证该报告，并且然后，可以将该报告递交给累积数据存储装置以通过各种分析网格进行分析。
[0086]术语“体验式模态”指代与微能力代码有关的临床和/或其他“亲自实践”类型的体验。
[0087]术语“过程锚代码”(PAC)是可针对临床设定中的技能评估而竞争的经编码的过程的表达。在健康科学的实例中，它们是对于医学过程的I⑶-10代码和对于牙科过程的⑶T代码。实际上，一些实施例提供:过程锚代码被表示并可以被后续映射至微能力的子集。
[0088]术语“体验元素”(EE)指代执行与实际技能有关的任务的个体。
[0089]术语“体验组”(EGroup)是在公共微能力下过程/体验的集合的表达。在创建点处和/或在作为体验事件报告递交给系统时，可以将体验模态过程映射至一个或多个微能力。“体验事件报告”(EER)表达在特定时间范围和/或预定义时间间隔期间对测试事件的组群表现。例如，一些实施例提供:体验事件报告可以包括来自一个或多个其他系统的日常?艮告。
[0090]术语“体验模态归一化总结性报告”(EMSR)是来自由RVU通过微能力聚合的EMSR的每个个体的表现的列表。可以用微能力及其有关RVU来代替PAC。可以依照EMSR来验证该报告，并且然后，可以将该报告递交给累积数据存储装置以通过各种分析网格进行分析。[0091 ] 术语“讨论模态”指代与微能力代码有关的问题解决或讨论论坛，其中，表明熟练度和/或理解以及批判性思维 的、学生解决所定义的问题和/或提供所定义的讨论元素的详细讨论的能力能够被给予等级。该讨论模态可以是在线环境、基于纸的环境和/或可以是教室环境。一些实施例提供:以接受用户响应且能够由教师、教授、教师助理和/或其他教育评价者(交互式地)监视和/或评估的在线格式提供讨论模态。为了促进测试完整性，可以使用摄像机模式和/或可以使用生物计量输入来确证响应者是学生。在其他实施例中，可以使用用于测试的专用测试站点并且在对该站点的访问时可以确证学生身份。
[0092]“个体讨论事件”(IDE)是个体在讨论环境中做出评论。存在许多不同类型的IDE并且它们的价值对于不同类型和/或内容的评论可能不同。
[0093]如在本文中所使用的那样，“讨论子组群”是促进讨论教育体验的总组群的子集。在一些实施例中，整个组群可以是讨论子组群和/或个体可以是讨论子组群。一些示例实施例提供:典型的讨论子组群是5-10个个体，然而，这样示例是非限制性的，其中子组群可以是少于5个或多于10个个体。
[0094]“讨论子组群总结性报告”(DSSR)表达在具体时间范围和/或时间间隔期间对讨论事件的讨论子组群表现。在一些实施例中，DSSR可以包括来自一个或多个其他系统的每周的报告。可以将DSSR直接发送到系统以便分配微能力和RVU。不同于其他两个环境，在所讨论的主题发生之后它们可能限于加标签。
[0095]“讨论子组群归一化总结性报告”是来自由RVU通过微能力聚合的DSSR的每个个体的表现的列表。可以在该报告内做出关于子组群的哪些成员将接收到针对讨论的学分的决定。整个组可以作为团队而被给予相等的学分，或者个体可以单独地被给予学分。可以将归一化数据递交给累积数据存储装置以通过各种分析网格进行分析。
[0096]如本文中所使用的那样，术语“累积网格”(也被称为“网格”)指代对于一个或多个学生的(例如微能力、微能力组和/或0E)与能力有关的得分的总结。该网格可以是颜色编码的以便示出能力的程度，诸如，学生是否满足不同微能力和/或子微能力中定义的能力阈值水平。该网格可以是交互式的和/或可解析的，以允许用户访问与所报告的得分相关联的支持数据，其可以以各种方式电子地组织学生数据以便分析与不同班级、学生和学生组以及不同学生的公共因素相关联的积极和消极趋势。
[0097]术语“交互式网格”指代包括下述元素的网格:该元素可以由用户(经由UI，诸如GUI)选择以便然后电子地展示支持该元素的潜在数据。因此，当若干学生被标识为低于所定义的能力(例如，由一个微能力、微能力组、一个或多个子微能力和/或子微能力组针对主题而定义的能力)的最小值时，本文中公开的一些实施例可以允许用户访问和/或询问(例如，在框上点击)网格来标识各种子能力中的个体定级以及公共因素，诸如，除了其他之夕卜，教授、学校、上课时间、课本、(临床)体验或任务和/或执行了任务的位置。该组群或关联的数据可以允许教育者或学校调整课程来解决例如标识了不足的学生需要。
[0098]术语“注册的”意指用户是通常使用密码和登录和/或授权门户识别的系统在线参与者。术语“管理用户”指代不具有访问学生记录的许可的用户。不同类型的管理用户可以具有对系统的不同访问级别。一些参与者/用户可以在没有任何学生标识符的情况下访问与学生及格相关的组群数据。术语“基于网络的”意指服务使用至少一个服务器来通过一个或多个网络(除了其他之外，包括例如万维网(例如，互联网)，使用例如超文本传输协议(HTTP))与不同用户进行通信。
[0099]可以使用任何社交网络服务(典型地，可提供适当安全或私用(或半私用)通信的社交网络服务)来实施本发明的实施例或方面。术语“Yammer?”指代在2008年9月由加利福尼亚州的旧金山的Yammer，Inc.发起的企业社交网络服务。与已知用于将消息广播给公众的Twitter?不同,Yammer?被用于组织内的或组织成员和预指定的组之间的私用通信，从而使其成为企业社交软件的示例。可以想到，可以使用其他适当的企业社交软件/系统/服务来实施本发明的方面。
[0100]如图1和2中所示，本发明的实施例包括分析10的系统和方法，该分析10包括来自下述一个、两个或所有三个不同环境的数据:说教模态20、体验式模态40和讨论模态80。每个模态20、40和80能够生成相应的总结性评价28、48、88，其与包括微能力主题代码16、RVU 17、个体(学生专用)代码和组群(例如班级、教授、书本、学习机构等等)代码18的元数据代码15相关联。构成每个报告和/或成果元素的基础的数据可以被电子地存储，以用于作为表现的证据未来容易地检索到和/或用于课程或其他评价。
[0101]尽管未被限于此，但是可以想到，本文中所描述的一些实施例也可以结合许可系统(除了其他之外，诸如用于对于律师的国家律师资格考试和/或对于医生或兽医的执照考试)使用。
[0102]还可以想到，本文中公开的一些实施例可以利用其丰富的潜在组群数据来评价累积成果数据，以便基于多个学生并且在多个州中的通过率、各种微能力的主题专用实现等等来向教育机构、图书出版社等等提供反馈。该数据分析可以允许这样的机构或其他组织来对学校排名、对教授和/或班级排名、评价课本(注意针对特定主题提供最佳学生成果的那些课本和/或产生较差结果的那些课本)、奖励一个或多个主题的最佳成果教育者、和/或基于这样的组群数据和认知成果结果来对班级或课程做出其他改变。
[0103]还可以想到，该系统/方法可以被用来评价继续教育，CLE评价可以仅评价三个环境中的一个或子集。第一，说教环境使用问题和答案提供内容的直接递送和相对简单的评估。第二，临床环境提供技能的表现和技能表现的相对简单的评估。第三，讨论环境提供需要研究和综合的所声明的场景的递送和问题解决行为和技能的相对复杂的评估。
_4] 说教模态。
[0105]仍参考图1，说教模态20可以包括成果元素28，该成果元素28基于个体测试元素(框21)，利用关联的微能力和RVU来以电子方式对该个体测试元素(预先)加标签(框22)，然后将该个体测试元素成组为用于相应个体测试元素总结性评价的考试(框23)。该成组可以利用得分(使用RVU而归一化)(框23)来对个体测试元素21的集合进行成组，用于总结性评价XN (框24)。因此，可以通过作为二元评价的可扩展成果元素项目分析(框25)，利用在被递交之前和/或被用于成果元素总结性分级28和数据存储装置90以及电子累积分析100的项目分析后总结报告(框26)，来过滤针对考试的学生对阵。
[0106]说教模态20可以基于利用一个或多个关联的微能力和对应的RVU以电子方式预先加标签的个体测试元素来提供总结性评价28。换句话说，考试问题与主题和点数相关联，然后被收集到考试中以供学生测试其知识。
[0107]对于许多教育环境，基于具有单个正确响应的简单问题、针对知识来评价个体。这些问题通常作为测试和考试以集合给出。表现可以基于正确响应的相对百分比。总结性分析的阈值可以相对简单。下面描述对于该评价的关联步骤的示例:
步骤1.将题干与被加标签为正确或干扰项的响应相关联。这些是问题元素。每个问题元素与唯一标识符相关联。每个问题元素被给予值为I的RVU。假设在一个项目上理解材料以得到正确答案所花费的时间量等于相对价值的最小时间(T)。正确答案的解释可以被提供以供后续使用。一些实施例提供:题干可以包括图像。
[0108]在一些实施例中，题干与被加标签为正确或干扰项的响应相关联。这些是问题元素。每个问题元素可以与唯一标识符相关联。
[0109]步骤2.利用一个或多个微能力代码(微能力)来对问题元素加标签。这可以以两种方式来完成。在一些实施例中，每个问题元素可以包括代码可关联的元标签。在一些实施例中，生成问题组(QGroup )并且然后将问题元素放在适当的QGroup下。
[0110]步骤3.将问题元素按顺序排列成测试事件。每个测试事件可以与总结性分析代码相关联。在大多数情况下，这可以与科目有关。测试事件可以包括与一个或多个微能力和RVU相关联的问题元素。因此，可以生成形成性报告以便关联与通过/不及格阈值有关的、与组群中的其他个体有关的和/或按照题目内容的个体表现。
[0111]使用学习管理系统，个体的组群遇到测试事件，并且，对涉及个体对每个问题元素的实现的数据进行记录。可以生成未经调整的测试事件报告。
[0112]步骤5.在所有个体已完成测试事件之后，可以针对项目质量来分析每个项目。在过程中的这个时刻，组群的效果可以是重要的。每个学生必须遇到总结性评价，所以，可以对原始结果执行评价后的项目分析。在一些实施例中，机构可以决定不执行项目分析来生成归一化的总结性报告，但是优选地，排除组群推测的编写得较差的一个或多个问题。[0113]要注意，项目分析可以包括许多统计，其可以提供用于改进多选或是/非项目(问题)的质量和准确性的有用信息。这些统计中的一些包括项目难度，其可以被确定为正确回答该项目的学生的百分比。该过程可以在学习管理系统内和/或通过本文中公开的操作和方法来执行。项目分析的一个功能是移除整个组群表现较差的较差地构造的一个或多个问题。机构可以针对该过程设计多种方法。该公开未提供项目分析的具体机制，但是它提供了在总结性报告被发送以用于分析之前执行该操作。
[0114]步骤6.基于问题元素项目分析，可以从报告中消除个体问题元素。在一些实施例中，可以以每次一个项目的方式删除项目，这是因为如果问题元素被删除，则可以提供更高的考试可靠性系数，并且重新运行项目总统计报告以确保我们不降低考试的总α。
[0115]步骤7.在排除有缺陷的问题元素之后，可以生成说教模态总结性报告以便除了其他之外还向个体给出他们的经过调整的得分(%正确)、班级平均分、个体班级排名、和/或未答对的项目的解释。机构可以选择在科目上对这些报告求平均以便给出传统的等级。该过程不是唯一的并且在本文中不进行详细描述。
[0116]可替换的步骤7.作为对上述操作的替换，在排除有缺陷的问题元素之后，可以生成说教模态总结性报告以便除了其他之外还向个体给出他们的经过调整的得分(％正确)、班级平均分、个体班级排名、和/或未答对的项目的解释。可以利用一个或多个微能力代码(微能力)来对问题元素加标签。
[0117]步骤8.可以创建说教模态归一化总结性报告。该数据可以由测试专家验证为完整的，并可以被发送到累积分析引擎(电子电路和(一个或多个)数据库)。以这种方式，可以用RVU通过每个个体的微能力的聚合来代替与个体问题相关联的RVU以递交给累积分析网格。
[0118]步骤9.可以依照总结性评价报告来验证说教模态归一化总结性报告，以确保个体接收到与组群有关的相同点数。这对于该过程可以是重要的。如果该过程的总体目标是查看个体学生关于主题哪里强或哪里弱，则相同组群中的不同学生可以获得相同百分比的点数，但是他们在不同的微能力区域中已做得较好或较差。该验证步骤确保在归一化过程期间传递相同的点数。
[0119]步骤10.可以将经过验证的归一化总结性报告递交给累积分析网格，并且可以验证学生接收到对适当微能力来说适当的点数。
[0120]步骤11.可以将经过验证的归一化总结性报告存档为“已提交”以用于审计目的。
[0121]体骀式樽杰。
[0122]仍参考图1和图2，对于成果元素，体验式模态40也可以与元数据代码15相关联。体验式模态40可以采用使用(预先)加标签的特定技能(例如“个体体验元素”或“ΙΕΕ”)形式化的成果元素。个体体验元素(框41)以电子方式与相应的微能力16、微能力组和/或子微能力和RVU 17 (框42)相关联。每个学生可能在不同时间遇到一个或多个个体体验元素(技能)41，并且事件的数目(N)(框43)可以逐个学生地变化。技能的熟练程度提供二元判定(框44)，该二元判定由事件后总结性报告45使用以递交用于累积分析100和/或电子能力评估平台IOOp的成果元素48。
[0123]将主题元标签(比如微能力代码)置于特定科目组件允许机构使特定主题在哪里教课可见于课程的授课时间表上。从实践的观点来看，可以以15分钟的递增量来映射时间单位，然而，本公开不限于此。说教环境是最可预测的并且最接近于标准化。例如，15分钟的讲授或演示实验室体验(尸体实验室、组织学实验室)是15分钟，而不管题目内容是什么。因此，这对大多数教师来说基本上可知且可定量，以便同意该定义，从而进行报告。
[0124]对于体验式模态40，可以关于与特定教育课程的体验式环境(例如对于健康科学的临床、外科或实验室系统和在学校中用于教师课程的观察或教导的实践)相关联的各种动作、研讨会、参与或观看事件和过程来预定义微能力代码。在所定义的时间基础上(例如每天、每周等等)，可以生成电子报告(例如以CSV格式)，其标识学生、RVU、提供者标识代码和相应的微能力。可以每天地生成这些报告，并且这些报告可以在每个学生的学术生活上(以及其之外)累积。按照惯例针对学生标识符(或者允许数据输入的译码机)提供数据，并且系统可以被自动化为创建、评价每个报告并将其递交给网格数据储存库和分析电路。
[0125]在健康科学中，实际临床过程中的表现对于适当地评价个体表现来说是重要的。个体将这些事件记录到电子患者记录系统中。利用现有的过程锚代码(PAC)来对每个过程加标签，所述过程锚代码(PAC)通常与任务的成功表现的财务报酬相关联。在医学中，这些是I⑶-10代码。在牙科中，这些是⑶T代码。下面描述个体体验元素评价步骤的示例。
[0126]步骤1.将每个PAC与适当的微能力代码相匹配。所有评估报告将替代对于PAC的微能力。
[0127]步骤2.针对RVU来评价由PAC表示的每个过程。如上文所提到的那样，RVU测量每个过程的相对教育价值。为了对基于体验(临床)和讨论的教育环境的成果评估进行归一化，RVU可以基于三个组件。第一组件是下述时间:该时间可以是执行临床任务所花费的物理时间。在其中一个考试问题的归一化价值是教育投资的15分钟的实施例中，15分钟等于
IRVU。第二组件是实验室时间，因为许多牙科过程涉及学生的实验室时间。可以估计学生将执行与同患者的临床接触分离的实验室任务的时间量。第三组件是更高的专门知识。例如，一些过程(比如复杂的口腔外科)将涉及学生的较高级别的兴趣或要在医生前设定中执行的较高级别的专业指示。一些实施例提供:可以使用值为3的乘数，尽管在其他实施例中乘数可以是不同于3的值。一些代码是“观察的”，其中，学生实际上将不执行该过程并因此仅得到被涉及的学分。
[0128]在下面的体验式(例如牙科临床)示例中，CDT代码的列表被呈现给教师成员的组以供他们估计每个代码的RVU。“T”先前被定义为等于15分钟，所以15分钟等于“I个单位”。使用下面的公式:
RVU =(临床时间+实验室时间)X复杂度乘数(等式I)。
[0129]对于每个机构，存在应用于所有牙科的CDT代码的核心列表，并且存在对教育环境来说唯一的特定过程。例如，每个“房间代码”具有所分配的RVU。在临床前科目中教导特定实验室技能，并且可以向其给予PAC作为导出的⑶T代码。以这种方式，该机构可以使用临床系统来跟踪实验室成果。具有所分配的RVU和关联的MC的临床体验的示例是:
PAC-D0421—基因测试口腔疾病一36.00，基于2小时的临床时间(12 RVU), I小时的实验室时间，具有HE乘数。MC-01.02.09.01基因测试；
PAC-D7287—细胞学样本收集一2.00，基于30分钟的临床时间。MC-01.08.01.08—细菌培养；
PAC-D1310—营养咨询一8.00，基于I小时的临床时间，I小时的实验室时间。MC-01.07.02.05—营养评估。
[0130]步骤3.每天在体验式课程中，个体可以执行过程。可以通过适当的权威机构将学分给予成功尝试。在一些实施例中，组群中的所有个体执行作为日常课程事件的一部分的过程。这被称为体验事件报告。
[0131]步骤4.从体验式平台生成体验模态归一化总结性报告，以对于每一个关联的微能力给出过程和RVU的个体产生。以与说教环境类似的方式创建体验模态归一化总结性报告。该数据由成果专家验证为完整的，并被发送到累积分析引擎。一些实施例提供:该过程用RVU通过每个个体的微能力的聚合来代替与个体过程相关联的RVU以递交给累积分析网格。
[0132]步骤5.依照体验事件报告来验证体验模态归一化总结性报告，以确保个体接收到与组群有关的相同点数。以这种方式，可以确定个体学生的与主题有关的强和/或弱的区域，即使相同组群中的不同学生可能获得相同百分比的点数。可以通过确定学生在不同微能力区域中已做得较好或较差来标识强和/或弱的区域。该验证步骤确保在归一化过程期间可以传递相同的点数。
[0133]步骤6.将经过验证的体验模态归一化总结性报告递交给累积分析网格，并且可以验证学生接收到对适当能力来说适当的点数。
[0134]步骤7.将经过验证的体验模态归一化总结性报告存档为“已提交”以用于审计目的。
[0135]讨论樽杰。
[0136]仍参考图1和图2，讨论模态80可以在学生(或其他测试主体)对阵之后利用微能力16和RVU 17来以电子方式 对学生讨论(例如文本或多媒体)布告加标签(框84)。在一些实施例中，讨论题目可以与所定义的(预先加标签的)微能力16相关联，但是通常可以在该事实之后基于学生知识、响应和/或熟练程度来生成RVU。可以定义个体讨论元素(IDE)(框81)。例如，如下面参考图4更详细讨论的那样，可以提供讨论事件输入屏以便标识、提供和/或定义个体讨论元素。可以将IDE成组为总结性讨论(框82)。一些实施例提供:讨论模态80可以是学生或其他测试主体可以对给定的难题、问题或其他提示做出响应的交互式电子(例如在线)环境论坛。
[0137]在复杂教育环境中，从实例或问题的实际讨论中解决问题的能力可能难以评价和追踪。认证团体可以将大量的价值置于应用知识的能力上。因为讨论本身可以跨越多个主题并可以涉及不同级别的复杂度，所以通常可以针对与事件本身分离的教育价值来对讨论事件加标签。
[0138]尽管本文中公开的实施例想到了基于文本的发布将是提供讨论论坛的可行手段，但是还可以想到，在线多媒体通信也可以用于讨论模态80。也可以使用这些类型的讨论格式的组合。一些实施例提供:可以以电子方式将多媒体视频的视频流与累积分析的评价总结一起存储。可以由第三方在线多媒体通信服务提供商来提供与在线多媒体通信有关的服务，所述第三方在线多媒体通信服务提供商可以是例如消费者视频会议服务提供商，除了其他之外，诸如 Skype、Microsoft Live Messenger、Yahoo! Messenger、America OnlineInstant Messenger、和 / 或 Apple iChat。
[0139]在一些实施例中，讨论模态80可以使用由学生在时间发布的情况下登录的线程式讨论而实施和/或包括该线程式讨论。讨论布告可以利用RSS (真正简单聚合)客户端来增强基本博客技术。RSS允许内容的订阅、管理和发布以使博客系统安全。以这种方式，用户可以在不启动浏览器的情况下向博客进行发布。当前RSS客户端是二元应用的有用模型，以便引起被具体设计为满足基于实例的教育的复杂需要的适当设计的应用。
[0140]然而，可以编写可更适合于更大学校/执业者实现的用于编写、管理和参与实例的计算机应用。使用实例应用套件，可以促进多个学校、实践和程序的实现(登载(on-boarding)到中央系统中或者在分立的独立系统中使用)。
[0141]本发明的一些实施例力求给参与教育者提供用于基于实例的教育的实现策略，该实现策略实际上可以被扩缩以满足教导批判性思维和问题解决的教育使命。从教育哲学观点来看，教育者可以对实例的数目、实例的深度、教导者的角色和个体实现的成果评估持不同意见。从技术观点来说，系统可以足够强大以在足够简单以鼓励使用的同时促进教育使命O
[0142]对于讨论模态80，可以期望包括提供真实的事实模式、提升现实性并产生执业者和/或教育者可关联到学生的强烈学习体验的实例。除了招收“非传统”实例之外，用于编写实例组件、附着有关内容和创建学习目标的技术可以是一致的。教师资源可以限制在学校内的时间以便重新格式化每个执业者实例，并且替换方案是限制执业者递交的数目。对于一些学科(例如牙科和医学)，为了充分地评估能力，相信应当存在对学生来说可用的几百个(如果不是几千个的话)讨论实例。编写应用的优选实例应当提供用于创建组件、重新编辑组件的简单处理工具，并且然后应当对作为结果的实例进行包装，这样，部件就不能不更改。
[0143]管理实例可以是与编写不同的体验。对于实例，每所学校可以具有不同的角色。对于学生和教师成组，每所学校可以具有不同的理论。对于成果测量，每所学校也可以具有不同的观点。在一些实施例中，本文中公开的系统和方法可以被配置成接受来自实例编写工具的实例包装并允许科目指导员分配学生和教师，以便除了其他之外还确定发布时间和决议日期和/或设计适当的分级准则。实际上，该应用环境将适配各个实例以满足更大的课程目标。参与实例应当相对简单。一旦管理应用将实例分配给学生或教师，用于讨论环境的参与工具就应当:就该分配提醒用户；通过简单的订阅将发布“推送”到客户端；允许直接发布；以及监视时间组件和分级问题。
[0144]相信，将存在参与工具的许多用户、实例编写工具的较少用户以及实例管理工具的非常少的用户。执业者可以提议或递交其他执业者可针对CE学分而采用的实例。学生可以针对其他学生编写实例。当前约束实例的学校和规划使用(诸如实例的数目和教师的数目)的问题可能减少，如果没有消除的话。
[0145]在一些实施例中，评价与讨论模态80相对应的表现可以包括如在下面的步骤中提供的示例性操作。
[0146]步骤1.利用一个或多个个体来创建讨论组。该组的所有个体都将接收到与每个个体相同的学分。个体参与到集体中。组群可以并通常被分成子组群以促进讨论。在当前实施方式中，典型的子组群具有5-10个学生。可以生成讨论子组群总结性报告(框83)。可以利用包括微能力16和RVU 17的元数据代码来对个体讨论元素81加元标签(框84)。例如，典型地，至少RVU由分级者定义并加标签(按照指导方针，主观的)。也可以在该时刻处应用微能力，但是也可以基于所定义的主题而不是“思维流”类型讨论来更早地生成微能力。可以生成成果组群的定义(框85)以及元素分析后总结性报告(框86)。总结性评价88的成果元素可以被递交给累积成果存储数据收集100。
[0147]步骤2.可以利用问题或提示来发起讨论。在该线程内，个体可以对提示和组中的其他个体的参与做出响应。
[0148]步骤3.除了其他之外，个体讨论事件可以包括唯一项目标识符、唯一线程标识符、发布的时间戳(包括日期和时间)、唯一用户标识符和/或发布的团体。
[0149]步骤4.讨论可以由时间来限制。基于适当报告间隔内的所有IDE的讨论的时间戳，可以生成讨论子组群总结性报告以用于评估。讨论子组群总结性报告可以被验证并被发送以通过讨论评价工具进行格式化。该过程可以针对第三方评价来呈现讨论。
[0150]讨论子组群总结性报告可以被递交以进行“分级”，这会将对应的微能力和RVU附着到每个布告。评价者、分级者、主机、其他提示和/或其他学生可以与(一个或多个)测试学生进行交互以便评估知识的深度、问题解决技能等等。RVU可以部分地基于主观准则并且部分地基于客观标准(例如关键字、文本的长度、讨论时间等等)。该系统可以接受讨论后总结性报告，该报告将讨论的分级总结与讨论文本本身附着，以用于未来检索。主观权重可以通过交互的人对学生/测试者或学生组进行“分级”而提供，并且通常在基于15分钟的时间递增量和困难的预定义范围内。在一些实施例中，简单的布告可以值至少0.1 RVU。
[0151]现在对图3进行简要的参考，图3是在其中布告被分级的用户界面的屏幕截图80s。该屏幕截图80s包括对下述各项的表格格式总结:以姓名表示的布告作者(或者学生标识符)、输入的类型(例如学生布告内容、学生布告物流、学生布告其他，或者如果是教师顾问的话，教师布告实例、教师指导或教师其他)、与每个发布内容和物流相对应的微能力等等，以及关联的RVU和评论。学生总结窗口 80w可以包括对每个学生的布告数目和总RVU以及IDE总体的总结。一旦IDE在RVU和微能力的情况下完整，就可以使用评价者“递交”输入将数据递交给评价电路。
[0152]现在对图5进行简要的参考，图5是来自Yammer?讨论的CSV文件的示例。可以通过动态调查来促进讨论内容的评价和加标签。可以想到，报告(举例来说，例如从Yammer?生成)可以用于使用所定义的调查工具来创建动态“调查”，以供教师成员或其他所定义的人对讨论事件分级。如上文所指出的那样，报告可以针对布告的主体提供字数统计。
[0153]现在对图4进行参考，图4图示了可用于讨论模态80以允许评价者针对对于学生和发布类型的IDE 81 (图1)以电子方式分配微能力和关联的RVU的用户界面的屏幕截图80m。可以生成并显示字数统计。例如，如所图示的那样，字数统计是75/100。可以包括到完成主题(潜在地，具有时间剩余提醒)输入和评论输入部分的进度。可以提供诸如“下一个”和/或“递交”之类的用户输入，以供评价者或其他用户继续到下一步骤或递交数据。可以提供“总览”用户输入，以供用户切换到总览屏幕。在所有布告都已被分级之后，可以生成讨论子组群归一化总结性报告。所有微能力代码可以被验证为有效，但是不存在验证所依照的原始数据。
[0154]在这个时刻，子组群信息可以非常有用。组群的每个子组群针对RVU点数分配提供多个机会。与说教环境不同，每个子组群具有唯一的讨论和布告。成果专家可以做出决定以基于他们个人的布告将他们自己的等级给予每个个体和/或将针对每个人的参与来对所有子组群参与者给予学分。这是可基于讨论环境和课程需要而做出的选择。在所有布告(文本或多媒体)的结尾处，可以存在用于通过/未通过的“组等级”的地方。在学生/用户的姓名旁边，还可以存在通过/未通过的个体等级的地方。
[0155]经过验证的讨论子组群归一化总结性报告可以被递交给累积分析网格，并验证了学生接收到对适当能力来说适当的点数。然后，可以将经过验证的讨论子组群归一化总结性报告存档为“已提交”以用于审计目的。
[0156]对于每个布告，分级者可以评价下面各项中的一个或多个:
(O发布类型:从下拉菜单，存在多个可能性，
下面被示为六个可能的选择:
“教师布告实例”
“教师布告指导”
“教师布告其他”
“学生布告内容”
“学生布告物流”
“学生布告其他”。
[0157](2)(一个或多个)微能力代码:输入可以包括多个字段，例如3个字段，其中，可以录入与布告相关联的微能力(用户然后必须挑选3个最接近的微能力，系统可以提供布告的关键字搜索并建议可适当的微能力)。
[0158](3)相对价值单位:该输入通常由范围0-10来限制，诸如例如可由用户经由具有数字(例如I到5)的下拉菜单实现或选择的字段限制。
[0159](4)评论:假设没有评论的字段，但是其中，可以录入消息/段落。
_0] 累积成果存储。
[0161]在一些实施例中，系统10可以被配置成使得在所有模态和/或环境中使用学生的公共命名和编码，以及/或者使得适当的翻译器被用来在各种系统和/或累积分析引擎之间导入和/或交换数据。
[0162]在使用所有三个环境(模态20、40、80)的情况下，来自所有模态的所有经过验证的归一化总结性报告28、48、88 (具有成果元素)可以被递交给至少一个数据储存库90 (例如，存档的学生教育历史服务器)。典型地，报告(例如成果元素)可以在它们被生成或完成时被提供，但是也可以在基于时间的输入上被提供(上传或其他数据传递)。
[0163]被存储在公共数据储存库中的每一个成果元素可以包括下面的字段:
唯一元素ID
唯一规划ID 唯一学生ID 日期
说教、临床、讨论 初级、补习 微能力 RVU。
[0164]该字段不必按照特定的次序，只要源文件可以映射到这些元素字段即可。[0165]分析网格。
[0166]累积分析模块100 (图1、2)可以被配置成随时间或者在特定期望时间针对相应学生分析来自与模态20、40、80相对应的一个、两个或所有环境的数据。因此，如图6中所示，该系统/方法可以生成累积评价网格200，也被称为累积分析或能力网格。该累积分析模块100可以被托管在一个服务器或主机中或者可以是分布式的。另外，可以使用分布式计算资源(诸如例如基于云的数据存储和/或处理)来提供累积分析模块100和/或数据储存库90。
[0167]数据横断面是困难数据的基本表达。具体地，来自教育成果的数据可能难以表达。可以基于能力本身的概念来实现来自本文公开的方法和系统的优点。“能力”或“能力声明”是有关技能或主题的综合聚合。能力可通过定义而扩展。任何规划基于它们本身的概念和方案来定义这些可扩展的概念。网格200是来自方法中的所有源的数据的表达，其示出与组群中的所有学生有关且与表示该组群的能力的有关主题有关的个体学生数据。
[0168]教育可能是困难且复杂的。每个学生录入具有先前知识和不同能力的新教育体验。学科内的每个规划尝试提供被设计为训练学生以变得能够成为特定劳动力的成员的体验。这可以是化学家、作家、牙科医生、工程师或者其他各种各样专业人员中的任一个。
[0169]教育规划向学生呈现一系列体验(被称为课程)，并利用许多不同的度量来评价表现。本文中公开的系统和方法创建了一种用于对课程评价的各种输出进行“归一化”以简化该数据的视觉呈现的方式。
[0170]在先前的讨论中，提出了用于创建网格数据表达的系统/方法。在该章节，数据被操控成更好地用图形表示教育决策进行的结果。
[0171]处于学生和能力的横断面处的是“网格单元”。每个网格单元201对于该网格和该组群来说是唯一的。根据所允许的数据，网格单元201计算该学生对于针对该能力而定义的相应微能力的表现。所有点数和部分点数的总和以一个数字表示，所述一个数字可以被表达为例如十分之一小数位。可以基于个体网格单元201来计算两个分开的事件。首先，可以针对组群中的每个学生计算总学生表现。其次，可以针对各种排名来分析特定能力的学生数据。当前可以利用特定键的组合来获得每个网格单元201的细节。
[0172]可以利用O以及利用具体着色的背景来表示未检测到要显示的数据的网格单元201，以表示缺少数据。例如，一些实施例提供:灰色背景可以表示缺少数据。在网格单元201内未示出数据在课程的早期部分中并不罕见，然而，训练的较后阶段中的缺口可能示出课程不足。
[0173]在一些实施例中，所有网格单元201的总和可以以数字求和到所定义的精度，例如，如在单独的列中示出到十分之一小数位。行可以是利用在组群内对学生排名的结果从最大数字到最小数字自动排序的。在添加新内容的情况下，该行可以自动排序并产生新排名。
[0174]然后可以针对每个能力来垂直地评价网格单元201。一些实施例提供:来自所有网格单元201的数据可以在数学上被分类成三个到七个标准差。一些实施例提供:该数据被分类成五个标准差。最高标准差值可以用对于有关网格单元201的金色背景来表示。最低标准差可以用对于有关网格单元201的红色背景来表示。第二、第三和第四标准差可以由绿色的阴影来表示，例如分别从最浅到最深。结果是允许管理者看到学生如何基于网格200内的特定主题进行排名的图形显示。另外，学生的特别弱的区域以红色“亮起来”，并且特别强的区域以金色示出。这允许规划将对特别弱的补习以及对特别强的认识作为目标。本文中公开的颜色经由非限制性示例的方式，其中，在本发明的精神和范围内可以使用其他颜色。
[0175]两个附加特征可以更改标准差颜色编码。这些可以被称为“硬地板”和“玻璃天花板”。管理者可以将数字值放在网格200中以表示胜任所需的最小值。该“硬地板”将设置下述值:低于该值，数字将被表示为红色，而不管标准差如何。这可以用于针对必须完成的过程的数目设置最小标准。玻璃天花板手动指定是下述数字:高于该数字，所有网格单元201将被指定为金色。该“玻璃天花板”允许管理者确定表示优秀的阈值，而不管标准差如何。以这种方式，学生可以超过该数字，并且整个组群可以获得该优秀级别。
[0176]在一些实施例中，高(金色)截止和低(红色)截止可以缺省为标准差，除非由管理者具体录入。网格200可以自动计算Student High (学生高)、Student Low (学生低)和每个微能力列的Average (平均值)。
[0177]网格200可以关于具有多个关联微能力的单个主题或基于感兴趣的其他主题或分类器。网格的每个单元201表示学生与通过具体包括的微能力且通过所包括的环境过滤的其表现(RVU)的交叉。网格单元201中没有值可以被表示为等于零RVU或者可以保留为空白。为了统计目的，空白值可以等于零RVU。一些实施例提供:单元的行可以表示组群中的相应学生，并且单元的列可以表示相应微能力，然而，这样的布置是非限制性的。
[0178]网格200可以随提供输入的频率而改变。例如，一些实施例提供:如果每日地提供输入，则网格200可以每日地自动更新。例如，来自体验式环境的每日报告将提供与将随时间累积到网格的微能力相关联的点数。相同的微能力可以在多个区域中示出。类似地，对于说教输入，考试报告可以从说教考试提供归一化的点数并可以被提供以用于累积分析。对于说教和体验式输入二者，一些实施例提供:可以使用美国俄勒冈州的Axium XTS, Inc.的AXIUM?项目管理软件。相信AXIUM?具有可适配于微能力代码以避免使用翻译器的被称为“类别”的可扩展元标签，其可以减少潜在实现误差。
[0179]如上文所指出的那样，网格200可以是交互式的。可以利用Π (用户界面)(诸如⑶I (图形用户界面))将网格200呈现在显示器上，Π允许用户选择学生以展示与该学生相关联的更多数据，选择微能力以电子自动地展示各种子主题和关联的得分。以这种方式，用户可以分析学生数据的趋势，例如搜索学生不及格的公共因素、处于优等范围中的学生等等。因此，例如，如果被标识为不及格的更多数目的学生处在相同的班级中，则这可能指示该班级存在问题。
[0180]交互式网格200可以被配置成允许用户点击和拖动表格以便针对单元专用信息导航和ctrl点击、选择和/或触摸(接触或触摸手势)单元201。例如，学生ID号和能力得分单元可以被点击以示出用于创建所选单元的内容的数据点数。
[0181]用户可以往下深入以针对不同准则(例如规划中的年份、性别等等)示出学生组。网格200可以包括单元信息弹出式评论，并且在用户选择(例如ctrl点击)单元时可访问和/或示出的信息可以由访问该网格的用户的类型定义。
[0182]评价中的累积数据可以标识其他公共因素，以允许课程、教育资源中和/或学生的积极主动调整。[0183]在网格200的一些实施例中，说教环境总结性分级输入可以具有比体验式或讨论环境分级输入中的任一个小得多的、累积评价中的相关性权重。例如，与针对体验式总结性分集的大约40-60%和针对讨论总结性分级的30%-50%相比，针对特定微能力的总体认知评估得分的大约10%可以基于说教总结性分级。
[0184]网格200允许将“能力”可扩展地定义为微能力的子集。随着数据累积到数据储存库，网格可以从所有三个环境动态计算表现。如上文中所指出的那样，可以对最小阈值和表现奖励加标签。
[0185]如上文简要地讨论的那样，使用公共主题逻辑(被称为微能力)进行映射的元素可以提供针对主题的层级编号标贴。在一些实施例中，存在由合法编号时段分开的该层级的4个级别。示例如下:
02-指定身体系统
02.08-指定肠胃系统
02.08.07-指定临床牙科
02.08.07.13-指定树脂修复
01-指定泛系(Pan-systemic)学科
01.06-指定人类免疫学
01.06.08-指定免疫作用
01.06.08.01-指定疫苗。
[0186]一些实施例提供:不是所有的主题都具有4级细节。例如，一些成果可能充分地将第三级别作为组进行测试。在编号方案中，00可以被添加到代码的第四级别中。
[0187]课程规划内的不同教育者可以具有不同的学生评价需要，因此，需要成果总主体的不同视图。“能力网格”可以定义用于同时查看的有关主题。举例来说，可能存在对看到学生在人体解剖学中如何表现的需要 。可以创建用于表示所有解剖微能力的网格。可以通过由系统进行的解剖来解析数据。在该示例中，解剖学是网格的基础，每个系统表示可扩展的能力，并且该系统的解剖学的微能力定义了将在网格200的网格单元201中表示的学生表现。
[0188]出于网格200的目的，每个能力的定义可以是管理者所考虑以定义需要显示的内容的代码的简单列表。心血管系统的解剖学的示例如下:
CVAS-正常发展和结构
02.06.01.00
02.06.01.01
02.06.01.02
02.06.01.03
02.06.02.00
02.06.02.01
02.06.02.02
02.06.02.03
02.06.02.04
02.06.03.0002.06.03.01
02.06.03.02
02.06.03.03
02.06.03.04
02.06.03.05
02.06.03.06
02.06.03.07
02.06.03.08
02.06.03.09
02.06.03.10
02.06.03.11
02.06.03.12
02.06.03.13
02.06.03.14
02.06.03.15。
[0189]一旦定义了代码，在网格单元201内过滤表达的第二因素就是数据源。如先前所描述的那样，存在来自讨论环境、说教环境和临床环境的数据。任何网格200可以在网格单元201中显示来自从任何一个数据源或数据源的组合指定的微能力的数据。可以制作用于示出所有数据或仅来自说教考试的数据的网格。
[0190]实际上，一些学生在考试中比他们在临床中更好。这将在经过过滤的网格200的表达中示出。如上所述，不同的管理者和教育利益相关者可能需要来自课程的不同报告。特定网格的创建允许这些定制的视图。
[0191]类似于数据源过滤的 是对补习元素的包括。每个数据源元素也可以被指定为初级或补习。初级数据可以表示每个学生所体验的成果元素。补习数据可以表示以针对特定的不足重新测试特定学生作为目标的成果元素。以这种方式，管理者可以创建仅将初级用于整个组群的评价的网格。这允许制作用于示出向特定学生给予的附加工作的特定网格。这提供了:将允许补习的表达的网格可以在网格中包括“硬地板”指定以示出学生何时已实现所定义的能力水平。
[0192]特定网格被制作以给出完整课程的非常宽的分析。实践中，这可能导致倍增误差。例如，如果管理者不仔细，则在相同网格中可能以多个能力表示相同微能力。最佳实践示例是具有系统和学科二者被表示的网格。如果相同微能力处于多个能力中，并且该微能力具有若干个成果，则将存在不正确地影响学生排名的倍增效应误差。特定微能力中的实现或不足将相对于单个微能力而混合。在一些实施例中，这可能是期望的，但是可以预期数据表达的偏差(skewing)。
[0193]对图7A和7B进行简要的参考，图7A和7B图示了具有关联的微能力代码的示例性列表的两个层级能力列表(其可以用于能力网格)。00.01及以下的列表用于“定量方法”，而00.02及以下的列表用于“基本遗传学和胚胎形成”。以这种方式，可以提供用于评价负责定义能力的课程的质量的可扩展机制。另外，可以同时评价所有三种类型的教育技术。归一化过程允许每个采纳者如期望的那样定制其分析。此外，每个机构可以定制评价工具，例如取代15分钟时间归一化，可以使用更短或更长的标准，例如5分钟或30分钟。当在机构之间进行比较时，每个机构然后可以生成可被进一步归一化的不同微能力。
[0194]现在对图8进行简要的参考，图8是约束可向不同用户示出的数据的类型的仪表板300的示意图示。系统10的一些实施例可以基于谁登录到仪表板300中来约束信息/功能。最初，用户可以被表征为将访问该仪表板的三种类型的用户中的一种。在创建附加的仪表板元素(Yammer?分级和微能力管理)时，仪表板(或门户)可以定义更多的特定访问权限。根据一些实施例的用户类型的示例包括:
用户:(教师，教授301)
?访问所有信息和功能，
教育(大学)管理者302
?仅可以查看能力网格(不能访问微能力管理或yammer区域)；
? FERPA:遵照FERPA，可以根据需要省略学生ID列，
学生303
?仅可以查看他们在能力网格200中的得分。能力网格200可以被定制成仅示出学生数据，但是网格200还可以示出学生高分和班级平均分。
[0195]除了其他之外，其他用户304可以包括教学助理、全体人员、顾问、教育资源(提供更好学生成果的标识材料或者需要改进的标识材料)、教师评价功能(用于奖励或校正的帮助)、认证服务和/或执照委员会的公布者。再一次，如遵守隐私权、劳动法等等所需要的那样，可以控制给不同用户 呈现的数据的类型。
[0196]本文中公开的一些实施例可以特别适用于评价健康科学学生、学校、班级、教育材料(例如书本)和/或课程。然而，其他实施例可以被用于评价其他学生、学校、课程、教师、班级、资料书等等。术语“健康科学”指代与医学有关的教育领域，包括护理、牙科、药学、医师、兽医、精神病医生、心理医生、物理治疗师、其他治疗师和执业者，特别是需要委员会出具证明来在特定领域中执业的那些健康/科学领域。
[0197]许多教育规划可能需要知识、技能和学科间问题解决的证明。一些实施例提供了用于连续地(随时间)且可选地基本上同时分析来自集中于说教、基于技能和基于问题的环境的表现的系统和过程。教育成果可以被预测，并且可以以积极主动的方式标识认知成功。
[0198]参考图2，系统10可以包括电子能力评估平台ΙΟΟρ。术语“能力评估平台”指代可从用于在基于能力的教育环境中分析认知成果的不同系统和所定义的变量的组合接受数据和/或整合该组合的模块、电路和/或处理器，所述基于能力的教育环境与所定义的一个或多个同一个或多个能力区域有关的微能力集合有关。能力评估平台IOOp可以创建对如由形成性和总结性评价组件定义的能力的持续的基本上恒定(例如随时间更新，但不必实时)的累积分析。
[0199]本文中公开的一些实施例想到来自所有平台的基本上所有成果都构建能力。因此，如果所有事件都使用相同准则，则所有形成性报告可以被聚合到公共分析中。例如，可以向每个个体给予每事件、每微能力的特定点数的学分。如果能力的认知成果可以被表示为微能力的聚合，则可以从相同数据集生成无限数目的累积分析。下面总结可被用于累积分析步骤的一些步骤的示例:
步骤1.将累积数据存储装置定义为针对个体的每个成果事件的一个或多个数据储存库。不论源平台(说教、临床或讨论)如何，都可以向个体给予针对每个微能力相关联的点数的学分。数千个这些事件可以随时间、平台和评估而累积。
[0200]步骤2.如本文中公开的累积分析映射可以提供一种具有定义将如何聚合原始数据以用于显示和分析的能力的机构。能力是机构所使用以评价表现的内容的子集的声明。映射允许该机构按照微能力的不同组合来定义能力。一些实施例提供:可以存在不同细节的多个映射。每个能力可以通过将每个微能力的表现进行组合来聚合个体的表现。所假设的交叉参考是组成组群的个体的集合。映射允许该机构确定什么个体组成组群。
[0201]步骤3.可以评估附加的交叉组群数据并将其置于相同网格中。例如，最大表现、最小表现、组群平均值、最小可实现级别和其他感兴趣的项目可以被评估并且置于网格中。
[0202]步骤4.可以定义要在显示网格200或多个网格中示出的期望数据。
[0203]本发明的一些实施例可以使用计算架构，在其中用户界面、应用处理逻辑和/或(一个或多个)潜在数据集可以被封装在逻辑上分离的过程中。在利用这种类型的计算架构的任何给定应用中，层数可以根据特定应用的需求而变化；因此，这样的应用通常被描述为米用 η 层架构。例如参见 Exforsys.com、N-Tier Client-Server Architecture。举例来说，本发明的一些实施例可以采用2层架构，通称为客户端-服务器架构，其中诸如网络浏览器之类的客户端应用对网络服务器发出请求，网络服务器处理该请求并返回期望的响应(在这种情况下，网页)。本发明的其他实施例可以被构造成端对端或3层或其他更大的多层架构。对于后者，网络服务器通过生成网络浏览器所请求的网页来提供用户界面，网络浏览器接收代码并以认识的语言(诸如动态HTML (超文本标记语言))显示代码；在应用服务器上执行的中间件处理业务逻辑；并且数据库服务器管理数据函数。通常，业务逻辑层可以被改善为进一步分离的层以增强可管理性、可扩缩性和/或安全性。
[0204]相应地，在一些基于网络的听证服务中，网络应用可以使用具有呈现层、业务逻辑层和学生记录数据层的3层架构。网络应用层可以被实现在单个应用服务器上，或者可以被分布在多个应用服务器上。例如，呈现层可以使用网页来提供讨论模态80，该网页允许用户请求学生响应并允许学生和教育者(例如教师或教授)之间的通信。呈现层可以通过访问由其他应用层中的一个或多个或者由第三方服务提供商提供的可用组件或网络服务来与该应用中的其他层(诸如业务逻辑层和/或学生记录数据层)通信。呈现层可以与另一层通信以允许授权用户访问学生记录数据和/或数据库存储的微能力代码、过程、指令或协议。业务逻辑层可以通过处理命令、约束用户访问和评价数据来协调应用的功能。可以通过例如使用网络服务来使业务逻辑层的功能对其他应用层来说可访问。业务逻辑层还可以提供可对用户进行分离和区分的逻辑、指令或安全性。同时，学生数据记录层可以保持私有的学生记录数据并封装这种记录以防未经批准的各方查看，以便遵守FERPA或其他隐私规贝U。学生记录数据层可以通过例如可由网络服务访问的例如所存储的过程、逻辑、指令等来使数据可用。
[0205]图9是可根据本发明的实施例实施以便以基于能力的方式评价学生认知进展的方法步骤的示例。如所示的那样，将与学生和微能力相关的对于说教测试事件的RVU传送到学生数据记录储存库(例如具有存储器的数据库，诸如一个或多个服务器)并且由该学生数据记录储存库收集该RVU (框208、225)。类似地，将与学生和微能力相关的对于体验式事件的RVU传送到学生数据记录储存库并且由该学生数据记录储存库收集该RVU (框210、225)。将与学生和微能力相关的对于讨论事件的RVU传送到学生数据记录储存库并且由该学生数据记录储存库收集该RVU (框220、225)。可以使用相同或不同的储存库，例如对于不同学生、学校、不同类型的学生记录等等的不同储存库。可以通过按照微能力将所收集的RVU相加来针对相应的学生生成累积分析报告(框230)。可以随时间(例如每日、每周、每月)和/或在请求时自动生成该报告。针对特定主题(例如微能力)建立满意的认知的最小阈值可以由所定义的用户(不是学生)随时间改变以计及教育进展。根据如上文所讨论的基于用户的访问特权，报告可以被定制成阻止数据或者仅呈现所限定的数据领域。报告(特别地，学生标识符存在于其中)可以被发送到电子邮件账户或者置于安全的(受约束的)门户网站上。学生可以在登录或设置时定义多久接收这样的报告(或者这样的报告可以基于缺省动作)，或者学生可以通过访问门户网站来请求报告。当累积总结性报告指示一个或多个微能力得分在该时间点处低于期望阈值时，一些系统可以自动向学生发送报告。
[0206]如本领域技术人员将认识到的那样，本发明的实施例可以被体现为方法、系统、数据处理系统或计算机程序产品。相应地，本发明可以采用整个软件实施例或者将软件和硬件方面(本文中通常都被称为“电路”或“模块”)进行组合的实施例的形式。此外，本发明可以采用将计算机可用程序代码嵌入其中的计算机可用存储介质上的计算机程序产品的形式。可以利用任何适当的计算机可读介质，包括硬盘、CD ROM、光学存储设备、传输介质(诸如支持因特网或内联网的传输介质)或者磁或其他电子存储设备。
[0207]用于实施本发明的操作的计算机程序代码可以以面向对象的编程语言(诸如Java、Smalltalk、C#或C++)编写。然而，用于实施本发明的操作的计算机程序代码也可以以传统过程式编程语言(诸如“C”编程语言)或面向视觉的编程环境(诸如Visual Basic)编写。
[0208]特定程序代码可以整体在一个或多个用户计算机上、部分在用户计算机上作为独立的软件包装、部分在用户计算机上且部分在远程计算机上、或整体在远程计算机上执行。在后一种场景中，远程计算机可以通过局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以与外部计算机进行连接(例如使用互联网服务提供商、通过互联网)。典型地，一些程序代码在至少一个网络(集线器)服务器上执行并且一些可以在至少一个网络客户端上执行，并且其中，使用互联网在(一个或多个)服务器和客户端之间进行通信。
[0209]下面部分地参考根据本发明的实施例的方法、系统、计算机程序产品和数据和/或系统架构结构的流程图和/或框图来描述本发明。将理解，可以由计算机程序指令来实现示图的每个框和/或框的组合。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在该一个或多个框中指定的功能/动作的装置。
[0210]这些计算机程序指令还可以被存储在计算机可读存储器或存储装置中，该存储器或存储装置可以引导计算机或其他可编程数据处理装置以特定方式工作，以使得被存储在计算机可读存储器或存储装置中的指令产生包括实现在该一个或多个框中指定的功能/动作的指令装置的制造品。
[0211]计算机程序指令还可以被加载到计算机或其他可编程数据处理装置上，以使得在计算机或其他可编程装置上执行一系列操作步骤以便产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现在该一个或多个框中指定的功能/动作的步骤。可以经由具有对互联网的访问的任何期望设备来访问互联网，所述期望设备包括无线或硬连线通信系统(诸如蜂窝电话)、PDA、台式或便携式计算机(包括膝上型或手持计算机、笔记本计算机)等等。
[0212]参考图10，在一些实施例中，系统10包括至少一个网络服务器310 (其可以由诸如Yammer?之类的在线通信提供商提供)和多个网络客户端3351-3352。尽管被图示为2个网络客户端，但是网络客户端的数目可以显著多于2并可以根据机构(参与的学生、管理者和教师/教授或其他教育者的数目)而变化，典型地，对于相应的机构，在100到10，000之间，或者甚至更多，与注册用户的数目相对应。一些用户可以经由具有网站浏览能力的任何适当的设备来与系统10通信，所述适当的设备包括例如PDA和/或如图10中所示的蜂窝电话3353。因此，例如，教授用户可以在讨论事件期间经由互联网300、使用PDA(个人数字助理)笔记本或具有网络浏览能力的蜂窝电话(或者掌上、膝上型或台式计算机)来与学生用户通信。
[0213]该至少一个网络服务器310可以包括单个网络服务器作为控制节点(集线器)，或者可以包括提供门户网站310p的多个服务器(未示出)。系统10还可以包括路由器(未示出)。例如，路由器可以协调关于数据交换或访问的隐私规则。在使用多于一个服务器的情况下，不同服务器(和/或路由器)可以执行不同任务或者可以共享任务或部分任务。例如，系统10可以包括以下各项中的一个或多于一个的组合:安全管理服务器、注册参与者/用户目录服务器、学生记录管理服务器等等。系统10可以包括防火墙和其他安全连接和通信协议。对于基于互联网的应用，服务器310和/或至少一些关联的网络客户端35可以被配置成使用SSL (安全套接层)和高级别的加密来操作。此外，给定互联网的普通存在的性质，网络访问设备可以容易地从站点移动到站点。另外，还可以提供附加的安全功能。例如，支持SSL通信或虚拟专用网(VPN)技术(诸如互联网协议安全性架构(IPSec))的服务器和客户端处的通信协议堆栈的结合可以提供学生站点和其他站点之间的安全通信，由此确保私
LU O
[0214]服务器310可以提供集中式监管和管理应用。服务器310可以被配置成提供会话管理、跟踪和登录系统管理、工作负荷管理和成员服务。服务器310可以包括多个数据库或者与该多个数据库进行通信，所述数据库包括参与者/用户简档、安全目录、路由安全规则和学生记录。服务器310可以包括要集成到网络系统中的若干个子服务器，诸如但不限于网络应用服务器(WAS)，其可以包括IBM WebSphere应用服务器、目录服务器(诸如LDAP目录服务器)，并可以包括匿名全球患者标识符(AGPI)服务器、DB2服务器和简单邮件传输协议(SMTP)服务器。注意，尽管本文中被描述为“服务器”，但是可以使用其他适当的计算机配置。服务器310可以被配置有在门户站点处出现的网络应用功能。服务器310可以包括和/或被配置为Web Sphere业务集成(WBI)服务器。网络服务器310可以包括基于网络的监管应用。网络应用可以被用于:允许用户注册为参与者、管理访问控制列表(ACL)、使用通用ID或密码访问进行登录、登出，定义简档偏好、搜索、参与讨论事件等等。
[0215]网络客户端3351-3352可以与不同用户和不同用户类别或类型相关联。每个类别或类型可以具有对与系统10相关联的动作或数据的不同“特权”或访问级别。例如，系统10可以包括学生用户、管理者用户和教师/教授用户，他们中的每一个都可以具有对系统所允许的数据和/或动作的不同访问级别或约束。
[0216]网络客户端3351、3352可以被分布在不同时区和州或者甚至国家中的不同地理位置处。在其他实施例中，网络客户端35可以处于单个教育中心。不同用户类型可以处于不同地理位置。
[0217]如上文中所指出的那样，客户端可以包括网络摄影机或摄像机，以便例如允许在某些讨论或某些体验式事件期间进行多媒体通信。
[0218]图11图示了可被包括在根据本发明的一些实施例操作的设备中的示例性数据处理系统或数据库环境。如图11中所示，可用于实施或引导集线器和/或网络应用(例如包括管理服务器)的操作的数据处理系统116包括处理器138、存储器136和输入/输出电路146。该数据处理系统可以被合并到例如个人计算机、服务器、路由器或具有网络访问/功能的其他设备中的一个或多个中。处理器138经由地址/数据总线148与存储器136通信并且经由地址/数据总线149与输入/输出电路146通信。该输入/输出电路146可以用于使用例如互联网协议(IP)连接来在存储器(存储器和/或存储介质)136和另一计算机系统或网络之间传递信息。这些组件可以是传统组件(诸如在许多传统数据处理系统中使用的传统组件)，其可以被配置成如本文中所述的那样操作。
[0219]特别地，处理器138可以是可商售的或定制的微处理器、微控制器、数字信号处理器等等。存储器136可以包括任何包含用于实现根据本发明的实施例使用的功能电路或模块的软件和数据的存储器设备和/或存储介质。存储器136可以包括但不限于以下类型的设备:高速缓存、R0M、PR0M、EPR0M、EEPR0M、闪存、SRAM、DRAM和磁盘。在本发明的一些实施例中，存储器136可以是内容可寻址存储器(CAM)。
[0220]如图11中进一步图示的那样，存储器(和/或存储介质)136可以包括在数据处理系统中使用的若干类别的软件和数据:操作系统152、应用程序154、输入/输出设备驱动器158和数据156。应用程序可以包括用户注册模块120、微能力累积分析模块124、学生数据记录模块125等等。该数据156可以包括具有所定义的访问级别的用户简档126。该用户简档126可以附加地或可替换地包括应用程序。
[0221 ] 数据处理系统116可以包括趋势分析模块(其可以是类似于上文关于图11所讨论的模块的应用程序)，该趋势分析模块可以访问电子存储的学生测试记录和潜在组群数据并生成测试趋势的曲线图的视觉输出/显示。趋势可以以电子方式生成并示出在与客户端35 (例如管理者、教授/教师或学生)相关联的显示器上。该趋势可以以图形形式存在并可以指示不及格的风险或对至少部分地基于结果而在课程中的干预或调整的需要。系统10可以被配置成生成“标志”，其在学生(或者学生组或特定班级)被标识为低于最小值的情况下增加报告频率。系统10还可以被配置成经由电子邮件、邮寄邮件和/或使用文本消息或其他适当的通信协议来警示学生、顾问、教授/教师，以通知一个或多个微能力中的负面趋势或“不及格”中的一个或多个。
[0222] 如本领域技术人员将认识到的那样，操作系统152可以是适合于与数据处理系统一起使用的任何操作系统，诸如但不限于来自Microsoft, Inc.(Windows)、AppleComputer, Inc.(MacOS)> Wind River (Vxfforks)> RedHat (Linux)、LabView 的那些操作系统或者专有操作系统。输入/输出设备驱动器158通常包括由应用程序154通过操作系统152访问以与诸如输入/输出电路146和特定存储器136组件之类的设备进行通信的软件例程。应用程序154示意了实现根据本发明的一些实施例的电路和模块的各种特征的程序。最后，数据156表不由应用程序154、操作系统152、输入/输出设备驱动器158和可驻留于存储器136中的其他软件程序使用的静态和动态数据。
[0223]尽管参考图11中的应用程序120、124、125图示了本发明，但是如本领域技术人员将认识到的那样，其他配置落入本发明的范围内。例如，不是作为应用程序154，这些电路和模块也可以被合并到操作系统152或数据处理系统的其他这样的逻辑分类中。此外，尽管应用程序120、124、125( 122)被图示为单个数据处理系统中的模块，但是如本领域技术人员将认识到的那样，这样的功能可以被分布在一个或多个数据处理系统上。因此，本发明不应当被理解成限于图11中图示的配置，而是可以由数据处理系统之间的功能的其他布置和/或分类来提供。例如，尽管图11被图示为具有各种电路和模块，但是在不偏离本发明的范围的情况下，可以将这些电路或模块中的一个或多个进行组合。
[0224]典型地，在“登载”或客户设置期间，客户端35被带入到网络或系统10中，并基于法律或组织权利而被分配有一个或多个隐私级别，以便发送和/或接收特定类型(和/或内容)的数据。组织可以包括一个或多个网络客户端35，每一个具有一个或多个所分配的不同隐私级别。该隐私级别可以定义该实体或与该实体相关联的人可以接收、发送或访问什么数据。
[0225]现在对图12进行简要的参考，图12是根据本发明的一些实施例的子组群管理器的图形用户界面的屏幕截图。如所图示的那样，可以通过包括或排除特定个体来创建和/或修改学生组。如所图示的那样，没有个体被示出为从示例子组群中排除。在一些实施例中，学生组可以用于定义交互式评价网格200的网格行(图16，202)。
[0226]现在对图13进行参考，图13是根据本发明的一些实施例的在分级之后总结性报告的图形用户界面的屏幕截图。注意，从该屏幕截图编辑在“Post Auther (布告作者)”列中列出的具体布告作者。报告中的每条线都对应于在讨论事件中做出的单个布告。对于每个布告，可以列出布告的类型(例如Student Post Logistics (学生布告物流)、StudentPost Content (学生布告内容)、Faculty Post Guidance (教师布告指导)、Student PostOther (学生布告其他)等等)、任何适用微能力的标识以及对应的RVU。此外，提供了评论字段以便接收和记录对于每个布告的任何评论。
[0227]现在对图14进行参考，图14是根据本发明的一些实施例的在数据被递交给网格之前的布告验证报告的图形用户界面的屏幕截图。该布告验证报告可以提供RVU CommitSummary(RVU提交总结)部分,其总结讨论事件中的学生和对应的RVU。另外,Student Post(学生布告)部分可以提供讨论事件中的每个学生以及在其中赢得的微能力和对应的RVU的详细报告。另外，Group Overview Portion (组总览部分)可以提供在讨论事件中赢得的组总微能力和对应的RVU的详细报告。
[0228]现在对图15进行参考，图15是根据本发明的一些实施例的管理递交报告的图形用户界面的屏幕截图。该用户界面可以包括“committed (已提交)”状态指示符以及对于所提交的讨论事件中的每一个的日期、科目标识符、组标识符和分级总结的列。
[0229]现在对图16进行参考，图16是根据本发明的一些实施例的被解析以显示单个系统的示例性交互式评价网格200的部分屏幕截图。如上文所讨论的那样，因为评价网格是交互式的，所以它还可以被称为图形用户界面。如所图示的那样，经过解析的网格表示与肌肉骨骼系统相对应的网格数据。从该屏幕编辑学生标识符(Student #)，但是该学生标识符被理解成与不同学生相对应的唯一标识符，其与网格中的行相对应。网格中的列与肌肉骨骼系统中的和/或同肌肉骨骼系统有关的子主题相对应。可以提供肌肉骨骼系统内的总点数以及与每个子主题相对应的高、低和平均点数。
[0230]现在对图17进行参考，图17是根据本发明的一些实施例的管理交互式评价网格的图形用户界面的部分屏幕截图。网格管理器可以列出当前定义的网格中的每一个。以这种方式，单个界面屏幕可以提供多个网格被呈现以进行编辑的选择和访问。
[0231]现在对图18进行参考，图18是根据本发明的一些实施例的被解析以按照学科来分析数据的示例性交互式评价网格的部分屏幕截图。如所图示的那样，经过解析的网格表示与解剖学学科相对应的网格数据。从该屏幕编辑学生标识符(Student #)，但是该学生标识符被理解成与不同学生相对应的唯一标识符，其与网格中的行相对应。网格中的列与解剖学学科中的和/或同解剖学学科有关的子主题相对应。可以提供解剖学学科内的总点数以及与每个子主题相对应的高、低和平均点数。
[0232]对图19进行简要的参考，图19是根据本发明的一些实施例的图形用户界面的部分屏幕截图。该用户界面的一些实施例包括交互式评价网格的组件，其允许选择性地查看一个或多个模态并提供对分析时间间隔的定义。例如，可以通过标识开始和停止时间和/或期望间隔的日期来选择分析时间间隔。
[0233]对图20进行简要的参考，图20是根据本发明的一些实施例的组群管理器的图形用户界面的屏幕截图。如所图示的那样，组群管理器可以被用来确定哪些学生和教师被包括在该组群中。例如，可以选择学生或教师姓名并且将其从被排除的窗口移动到所包括的窗口以标识组群的成员。
[0234]现在对图21进行参考，图21是根据本发明的一些实施例的管理交互式评价网格的图形用户界面的部分屏幕截图。如所图示的那样，在其中，能力(诸如例如“03 AnatomyDiscipline (03解剖学学科)”可以由多个微能力定义以及/或者与多个微能力相对应，所述多个微能力可以被列出并显示在关联的可滚动窗口中。
[0235]现在对图22进行参考，图22是图示了根据本发明的一些实施例的在项目分析已经被执行之后的原始导入的考试数据的图形用户界面的屏幕截图。说教考试是给测试者呈现以使得他们可以进行二元选择的一系列二元事件。如本文中所公开的学习管理系统与特定组群所完成的考试的结果不相关。在一些实施例中，考试的结果是简单的定界文件，其包括对于每个测试项目的下列数据:唯一学生标识符、测试项目标识符；微能力代码；二元选择(O代表不正确，I代表正确)；以及相对价值单位。对于具有针对10个学生的100个问题的考试，结果文件将具有针对这4列数据的1000行。一些实施例提供:当导入文件时，可以添加三个附加项目，即:规划标识符(学校、大学等等);考试日期；以及科目标识符。一旦原始数据被整理到数据源环境中，就将该原始数据精确地列出为原始导入文件，作为确证的第一次检验。如所图示的那样，原始导入的考试数据包括对于每个测试项目标识符的行。在一些实施例中，每个行可以包括学生的姓名(或标识符)、测试项目标识符(即，哪个考试问题)、关联的微能力和所赢得的RVU。一旦原始数据被整理到数据源环境中，就将该原始数据精确地列出为原始导入文件，作为确证的第一次检验。可以以人工方式或以编程方式进行与原始定界文件的比较。[0236]对图23进行简要的参考，图23是根据本发明的一些实施例的在确证的准备时检验原始数据报告的图形用户界面的部分屏幕截图。与分级总结(其列出多少行处于原始导入显示中)的比较可以在与考试数据相对应的数据的欠包括和/或过包括中进行识别时有用。
[0237]这时，管理者“提交”原始数据以用于从二元呈现转换成微能力呈现。利用通过微能力的点数的总结来表示每个学生。一个考试中的多个问题可以具有相同的微能力指定。然后，依照学习管理系统以二元呈现计算出的原始点数来验证总点数(RVU)。这样，该步骤将各个测试项目转换成与主题相关联的结果。
[0238]对图24进行简要的参考，图24是图示了根据本发明的一些实施例的在提交数据之前的RVU提交总结屏幕的图形用户界面的屏幕截图。注意，在数据被提交之前(如由状态“Not Committred (未提交)”指示)，RVU提交总结中的RVU被显示为0.0。
[0239]现在对图25进行参考，图25是图示了根据本发明的一些实施例的由微能力代码收集且合并的数据的图形用户界面的部分屏幕截图。学生得分被显示以供管理者或其他评价者提交数据。对于每个学生，指示了总RVU，并且列出了对于每个微能力的RVU。一些实施例提供了批准界面，诸如例如按钮或复选框。作为分开的步骤，管理者利用检验步骤来人工确证RVU的数字是正确的。
[0240]现在对图26进行参考，图26是图示了根据本发明的一些实施例的由微能力代码收集且合并并且已被验证以向所有学生提供正确得分的数据的图形用户界面的屏幕截图。注意，每一个学生复选框都被选择，指示数据已经被验证。另外，参考图27，图27是图示了根据本发明的一些实施例的包括准备好提交到网格的得分的RVU提交总结屏幕的图形用户界面的部分屏幕截图，当数据被检验时，其将点数移动到提交总结数据页面以用于一个其余的检验。
[0241]在确证之后，将每个数据元素随唯一标识符一起存储到公共数据储存库。可以基于特定网格的规则来在网格中表示该数据。例如，该考试数据可以在考试数据应当被显示在其中的网格中解析。
[0242]必须认识到确证步骤的重要性。作为结果的网格依赖于微能力代码向考试项目的正确分配以及用于表示的该数据的聚合。可以基于网格数据来做出关于学生弱和强的重要决定。聚合数据页面将学生点数与特定学生相关联。当管理者对数据是正确的感到满意时，他们会将等级报告“提交”给网格以用于显示。导入文件被加标签为“已提交”，并且遇到下一文件。
[0243]前述内容示意了本发明并不应被理解成对本发明的限制。尽管已经描述了本发明的几个示例性实施例，但是本领域技术人员将容易地认识到，在实质上不偏离本发明的新颖教导和优点的情况下，在示例性实施例中许多修改是可能的。相应地，所有这样的修改意图被包括在如权利要求中所限定的本发明的范围内。在权利要求中，这里所使用的装置加功能条款意图覆盖本文中被描述为执行所记载的功能的结构，以及不仅结构等同物而且还有等同结构。因此，应当理解，前述内容示意了本发明并且不应被理解成限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图被包括在所附权利要求的范围内。本发明由下面的权利要求限定，其中权利要求的等同物被包括在其中。
【权利要求】
1.一种用于提供用于评价学生能力的数据的方法，包括: 针对至少一个学生生成评价网格，该网格包括多个不同微能力、与所述多个不同微能力中的对应的一些微能力相关联的多个得分，所述多个得分与至少一个说教事件、至少一个体验式事件和至少一个讨论事件相对应， 其中生成评价网格是使用至少一个计算机处理器来执行的。
2.根据权利要求1所述的方法， 其中对于所述多个不同微能力中的对应的一些微能力的多个得分中的一些是相对教育价值(RVU)得分， 其中用于生成相应得分的所述至少一个说教事件、所述至少一个体验式事件和所述至少一个讨论事件中的每一个与标识与所述多个不同微能力中的一些微能力和RVU得分相对应的主题代码的元数据代码相关联；以及 其中生成评价网格是使用所述元数据代码来执行的。
3.根据权利要求1所述的方法，还包括: 随时间累积与相应学生相关的不同说教事件、体验式事件和讨论事件的RVU得分；以及 基于所累积的RVU得分来更新所述评价网格。
4.根据权利要求3所述的方法，其中以基本上规则的周期性间隔来自动地以电子方式更新所述网格。
5.根据权利要求4所述的方法，其中基本上规则的周期性间隔是至少每周一次的间隔，以便反映与所述多个不同微能力中的一些微能力相对应的学生得分的变化.其中来自每个事件的RVU得分是时间归一化的得分；以及 其中说教和体验式RVU得分基于测试和体验事件的二元表征.
6.权利要求6缺失。
7.根据权利要求2所述的方法， 其中体验式环境RVU得分基于对困难的预定义评估和所估计的完成相应体验式任务的时间，以及 其中体验式任务与对应于所述多个不同微能力中的一些微能力的多于一个主题代码相关联.
8.根据权利要求2所述的方法，其中讨论环境RVU得分基于在评价学生在线讨论之后分配的学生的用户定义的RVU得分.
9.根据权利要求1所述的方法，其中所述网格是交互式网格，所述方法还包括允许用户在所述网格中选择用于展示相应微能力和/或学生的潜在支持数据的单元.
10.根据权利要求1所述的方法，还包括以具有与所定义的状态相关联的颜色的相应微能力显示具有单元的网格.
11.根据权利要求10所述的方法，其中所定义的状态与学生在包括该学生的多个学生中的多个其他学生当中的相对表现相对应.
12.根据权利要求11所述的方法，其中所述相对表现基于所述多个学生的RVU得分的标准差，其中使用与被标识为低于统计定义的最小值的得分相对应的第一颜色、与高于统计的得分相对应的第二颜色、与高于统计定义的优秀阈值的得分相对应的颜色来显示处于相应微能力的网格中的单元.
13.根据权利要求12所述的方法，其中使用与被标识为低于除统计定义的最小值之外的非统计定义的最小值的得分相对应的第一颜色来显示处于相应微能力的网格中的单元.
14.根据权利要求12所述的方法，其中使用与高于除统计定义的优秀阈值之外的非统计定义的优秀阈值的得分相对应的第三颜色来显示处于相应微能力的网格中的单元.
15.一种提供用于评价学生在主题中的能力的数据的方法，该方法包括: 通过随时间以电子方式标识对于多个不同微能力的多个元数据代码中的关联的一些元数据代码来获得对于不同的所定义的微能力的相对教育价值单位(RVU)得分，所述多个不同微能力与来自说教、体验式和讨论环境的学生标识符相关；以及与支持报告相关联地存储所获得的RVU得分， 其中获得RVU得分和存储RVU得分中的至少一个是使用至少一个处理器来执行的.
16.根据权利要求15所述的方法，还包括基于RVU得分来生成累积分析网格.
17.根据权利要求16所述的方法，其中生成累积分析网格包括: 将对于多个不同微能力中的相应的一些微能力的来自说教、体验式和讨论环境中的每一个的RVU得分进行数学求和；以及对于相应学生的累积数据.
18.根据权利要求15所述的方法， 其中说教RVU得分基于测试事件的二元表征，以及 其中体验式RVU得分基于体验式事件的二元表征.
19.根据权利要求15所述的方法，其中获得相对教育价值单位(RVU)得分包括: 接收与每个说教事件相对应的考试数据文件，该考试数据文件包括唯一学生标识符、测试项目标识符、与测试项目相对应的微能力代码和二元答案选择值.
20.根据权利要求19所述的方法，还包括: 将所接收到的考试数据文 件修改为包括规划标识符、考试日期和科目标识符中的至少一个；以及 存储经过修改的考试数据文件.
21.根据权利要求20所述的方法，还包括: 通过将经过修改的考试数据文件中的内容与考试数据文件的内容进行比较来以编程方式确证该经过修改的考试数据文件.
22.根据权利要求20所述的方法，还包括显示考试数据文件的内容以供用户确证.
23.根据权利要求20所述的方法，还包括: 接收提交输入；以及 响应于接收到提交输入，将来自经过修改的考试数据文件的数据转换成通过微能力而相关的总结数据以提供与主题相关联的结果.
24.根据权利要求23所述的方法，还包括: 接收指示通过微能力而相关的总结数据被批准的确证输入；以及响应于接收到确证输入，生成将与总结数据相对应的RVU得分同对应的学生相关联的聚合数据.
25.根据权利要求24所述的方法，还包括: 接收指示聚合数据被批准的提交输入；将与聚合数据、总结数据和/或经过修改的考试数据相对应的文件加标签为已提交；以及 基于聚合数据中的RVU得分来更新累积分析网格.
26.—种电路，被配置成基于与来自说教、体验式和讨论环境的学生标识符相关的多个不同微能力来随时间生成与学生的认知能力相关联的多个所定义的教育主题的交互式累积网格.
27.一种用于提供基于能力的学生评价的计算机程序产品，该计算机程序产品包括: 非瞬变计算机可读存储介质，在该介质中体现有计算机可读程序代码，该计算机可读程序代码包括: 基于对与所定义的关联微能力主题代码相关联的说教测试事件的评价和相对教育价值单位来生成总结性分级输出的计算机可读程序代码； 基于对与所定义的关联微能力主题代码相关联的体验式个体体验元素的评价和相对教育价值单位来生成总结性分级输出的计算机可读程序代码； 基于对与所定义的关联微能力主题代码相关联的个体讨论事件的评价和相对教育价值单位；以及 生成使用总结性分级输出的累积分析学生评价网格的计算机可读程序代码.
28.根据权利要求27所述的计算机程序产品，其中使用总结性分级输出的累积分析学生评价网格包括以具有与所定义的状态相关联的颜色的相应微能力显示的网格中的单元.
29.根据权利要求28所述的方法，其中所定义的状态与学生在包括该学生的多个学生中的多个其他学生当中的相对表现相对应，所述相对表现基于所述多个学生的相对教育价值单位的标准差、与所述多个其他学生无关地定义的非统计定义的最小值、以及与所述多个其他学生无关地定义的非统计定义的优秀阈值.
30.一种教育分析系统,包括: 利用至少一个服务器 的至少一个基于网络的服务，所述至少一个服务器被配置成接受来自教授/教师和学生的电子输入以与基于网络的服务进行通信来交互地参与同学生和学生组的定时讨论事件，并且其中该系统被配置成提供输入窗口以允许教授/教师针对参与讨论事件的每个学生和每个学生组输入对于相应讨论事件的微能力代码和相对教育价值单位得分.
31.根据权利要求30所述的教育分析系统，其中所述至少一个基于网络的服务还被配置成使用元数据代码来使所定义的个体体验式事件与微能力代码中的关联的一个微能力代码和相对教育价值单位中的至少一个相对教育价值单位有关.计算机，包括: 处理器，其被配置成执行计算机程序代码；以及 显示设备，其被配置成针对学生显示交互式累积能力网格。
【文档编号】G06Q50/20GK103477362SQ201280014075
【公开日】2013年12月25日 申请日期:2012年3月22日 优先权日:2011年3月22日
【发明者】R.T.小沃特金斯 申请人:东卡罗莱娜大学