数据可包括与用户相关的任何信息；在一些实施例中，例如，所述信息可 包括评估者在某个培训项目中的进展的指示、评估者的评估中一个或几个评估的质量和/ 或准确度的指示，和/或评估者可评估的工件的类型和/或主题的指示。
[0029] 在一些实施例中，例如，配置文件数据库104-A可包括登录信息。所述信息可包括 例如用户识别信息，诸如用户名和密码或用户识别号。在一些实施例中，例如，当用户希望 访问评估控制系统100时，系统可提示用户输入识别信息，诸如用户名和密码。用户提供识 别信息后，评估控制系统100可验证该识别信息，具体地讲，处理器102可将用户提供的识 别信息与储存于配置文件数据库104-A内的信息进行比较，以确定实际用户是否为授权用 户。
[0030] 所述一个或几个数据库104可包括产品集数据库104-B。产品集数据库104-B可 包括一个或几个产品集。在一些实施例中，产品集可包括一个或几个工件的分组。在一些 实施例中，这些工件可根据类型、内容、评估类型和/或工作产品作者进行分组，其中评估 类型可包括与产品集中工件的评估方式相关的信息。
[0031] 评估控制系统100可包括标签数据库104-C。标签数据库104-C可包括评估一个 或几个工件所使用的信息。在一些实施例中，例如，标签数据库104-C可包括多个标签。在 一些实施例中，所述标签可以是将一个或几个评估标准或子标准应用到工件的全部或部分 的指示。在一些实施例中，标签可识别工件的一部分，所述标签可识别评估标准的与工作产 品的所指示部分有关的部分，并且在一些实施例中，所述标签可指示创建了标签的评估者、 创建标签的时间和日期，和/或与所述标签相关的任何其他所需信息。在一些实施例中，所 述标签可包括信息，诸如一个或几个评论、注释和/或标记。这些评论、注释和/或标记可 由用户创建，并且可例如向工件的创建者提供反馈和/或在工件的评分/评估中使用。在 一些实施例中，所述标签可包括标签类型。在一些实施例中，标签类型可将标签与例如类目 的一部分、积极或消极属性等关联。在一个实施例中，例如，标签类型可指示：拼写错误；语 法错误；内容错误；良好的、不良的或适当的技术；良好的、一般的或不良的论证；良好的、 一般的或不良的内容使用；正确答案；错误答案；等等。
[0032] 评估控制系统100可包括评估数据库104-D。评估数据库104-D可包括可促进执 行一个或几个工件和/或产品集的评估的信息。在一些实施例中，所述信息可包括评估一 个或几个工件和/或产品集所使用的一个或几个评估标准。在一些实施例中，评估标准可 包括例如类目和/或其他评分工具。在一些实施例中，评估标准可包括一个或几个子标准， 所述子标准可例如着重于评估的特定方面。
[0033] 评估数据库104-D可包括识别已开始的、部分完成的和/或已完成的评估的结果 的信息。在一些实施例中，评估数据库104-D中的信息可按产品集、工件、评估者来管理，或 以任何其他所需的方式来管理。评估数据库104-D可包括将一个或几个工件和/或产品集 的标签与一个或几个评估标准和/或一个或几个工件和/或产品集的评估结果相联系的信 息。
[0034] 评估数据库104-D可包括评价一个或几个工件和/或产品集的评估所使用的信 息。在一些实施例中，例如，所述信息可包括所述一个或几个工件和/或产品集的第二评 估。在一些实施例中，所述第二评估可以是反映所需和/或理想评估的已验证的第二评估， 而在一些实施例中，第二评估可以是未验证的评估。
[0035] 评估控制系统100可包括一个或几个用户设备106,所述用户设备可包括评估者 设备106-A和/或监督者设备106-B。用户设备106允许用户，包括评估者、监督者、培训者 和/或受训者访问评估控制系统100。以下将参考图2以更大的篇幅论述用户设备106的 细节和功能。
[0036] 评估和优化系统100可包括数据源108,也称为储存库。数据源108可以是所述一 个或几个工件和/或产品集的源、一个或几个评估标准的源和/或一个或几个第二评估的 源。在一些实施例中，数据源可包括教育服务提供方，诸如学校、大学、学院和/或学习管理 系统（LMS)。
[0037] 评估控制系统100可包括网络110。网络110允许评估控制系统100的部件之间 的通信。网络110可为例如局域网（LAN)、广域网（WAN)、有线网络、无线网络、电话网络诸 如手机网络、互联网、万维网或任何其他所需网络。在一些实施例中，网络110可使用任何 所需的通信协议和/或网络协议。
[0038] 现在参考图2,其示出用户设备106的一个实施例的框图。如上所述，用户设备 106可被配置为提供信息给评估控制系统100的其他部件并且/或者从所述其他部件接收 信息。用户设备可通过任何所需的手段或技术，包括例如网页、网络门户或经由网络110,访 问评估控制系统100。如图2所示，用户设备106可包括网络接口 200。网络接口 200允许 用户设备106访问评估控制系统100的其他部件，具体地讲允许用户设备106访问评估控 制系统100的网络110。网络接口 200可包括被配置为发送和接收信息的特征，包括例如 天线、调制解调器、发射器、接收器，或能够发送和接收信息的任何其他特征。网络接口 120 可经由电话、电缆、光纤或任何其他有线通信网络进行通信。在一些实施例中，网络接口 200 可经由蜂窝网络、WLAN网络或任何其他无线网络进行通信。
[0039] 用户设备106可包括用户接口 202,所述接口将信息传送给用户并接收来自用户 的输入。用户接口 202可包括屏幕、扬声器、监视器、键盘、麦克风、鼠标、触控板、小键盘，或 者任何其他可接收用户的输入并向用户提供信息的一个或多个特征。
[0040] 用户设备106可包括审查引擎204。在一些实施例中，审查引擎204可被配置为 从产品集数据库104-B接收一个或几个工件和/或产品集，并将所述一个或几个工件和/ 或产品集经由例如用户接口 202提供给用户。在一些实施例中，审查引擎可包括允许向用 户提供一系列软件和/或工件类型的特征和/或软件，所述工件类型包括例如图像、书面文 档、记录（包括音频和/或视频记录）和/或任何其他所需的软件和/或工件类型。
[0041] 用户设备106可包括标签引擎206。在一些实施例中，标签引擎可被配置为允许 用户添加、删除和/或编辑可例如与一个或几个工件和/或一个或几个产品集关联的标签。 在一些实施例中，例如，标签引擎206可被配置为允许用户给一个或几个工件和/或产品集 的一部分加标签。在一些实施例中，所述标签可识别一个或几个工件和/或产品集的一部 分，包括例如所述一个或几个工件和/或产品集的所述部分的起始点、终止点和/或持续时 间。在一些实施例中，标签引擎206可被配置为允许用户将一个或几个工件和/或产品集 的所述部分与一个或几个评估标准和/或评估子标准关联。
[0042] 用户设备106可包括评估引擎208。评估引擎208可被配置为允许用户评估一个 或几个工件和/或产品集。在一些实施例中，例如，评估引擎可被配置为对与一个或几个工 件和/或产品集关联的一个或几个标签进行分组，并将这些分组的标签提供给用户。在一 个实施例中，例如，评估引擎208可对与一个工件关联以及与一个评估标准和/或评估子标 准关联的标签进行分组，并将这些标签提供给用户。评估引擎208可被配置为允许用户审 查所述一个或几个工件和/或产品集的与所述标签关联的部分，并从用户接收基于这些标 签的评估。
[0043] 在一些实施例中，评估引擎208可被配置为允许审查一个或几个工件和/或产品 集的评估。在一些实施例中，例如，评估引擎208可被配置为将一个或几个工件和/或产品 集的评估与第二评估进行比较，所述第二评估可以是例如已验证的评估。在一些实施例中， 评估引擎208还可被配置为生成并且提供比较报告，所述报告识别所述评估和第二评估之 间的差异并且指示所述评估是否为可接受的。
[0044] 现在参考图3,其提供一个流程图，该流程图示出评估一个或几个产品集和/或工 件的过程300的一个实施例。在一些实施例中，可由评估控制系统100和/或评估控制系 统100的部件来执行过程300。
[0045] 过程300始于框302处，在此处接收产品集。在一些实施例中，例如，产品集可由 评估控制系统100的部件接收和/或接收自所述部件，在一个实施例中，产品集可接收自数 据源108。在一些实施例中，如上所述，产品集可包括一个或几个工件，所述一个或几个工件 可以是工作产品的集合。在一些实施例中，所述工作产品可由数据源108的用户生成，而在 一些实施例中，所述工作产品可由数据源108收集。在一些实施例中，在已经接收到产品集 后，所述产品集可以储存于数据库104之一内，包括例如产品集数据库104-B内。
[0046] 在已经接收到产品集后，过程300前进至框304,在此处提供工件。在一些实施例 中，例如，可经由用户设备106之一，包括例如评估者设备106-A，向用户提供工件。在一些 实施例中，用户设备106可经由用户接口 202向用户提供工件。可从储存于产品集数据库 104-B内的所述一个或几个产品集中检索工件。在一些实施例中，例如，处理器102可向产 品集数据库104-B查询所储存的工件。在一些实施例中，可从产品集数据库104-B选择一 个或几个工件并且可将所述工件提供给用户。
[0047] 在已经提供工件后，过程300前进至框306,在此处接收和/或施加标签。在一些 实施例中，例如，标签可经由用户设备106之一，诸如评估者设备106-A，进行接收，并且可 储存于数据库104中的一个或几个中，包括标签数据库104-C中。在一个实施例中，由于标 签以及与标签有关的数据储存于数据库104之一中，因而可施加标签。在一个实施例中， 例如，如上所述，标签可识别工件的一部分，可识别评估标准的与工件的所述部分有关的部 分，可包括与评估标准和/或工件的被加标签的部分相关的注释，并且/或者可识别添加、 删除和/或编辑标签的用户。
[0048] 在已经接收到标签后，过程300前进至框308,在此处应用评估。在一些实施例中， 例如，可基于与工件关联的标签和/或储存于标签数据库104-C中的标签来应用评估。在 一些实施例中，可基于与评估标准和/或子标准中的一个或几个关联的标签数量来应用评 估，并且/或者可基于与不具有相关标签和/或具有比阈值少的相关标签的评估标准和/ 或子标准相关的信息来应用评估。在一些实施例中，可经由用户设备106从用户接收评估 的应用，并且/或者由处理器102生成评估的应用。
[0049] 现在参考图4,其提供了评估控制的过程400。在一些实施例中，例如，可由评估控 制系统100和/或其部件来执行评估控制的过程400。过程400始于框402处，在此处接收 产品集。在一些实施例中，例如，产品集可由评估控制系统100的部件接收和/或接收自所 述部件，在一个实施例中，产品集可接收自数据源108。在一些实施例中，如上所述，产品集 可包括一个或几个工件，所