述一个或几个工件可以是工作产品的集合。在一些实施例中，所 述工作产品可由数据源108的用户生成，而在一些实施例中，所述工作产品可由数据源108 收集。在一些实施例中，在已经接收到产品集后，所述产品集可以储存于数据库104之一 内，包括例如产品集数据库104-B内。
[0050] 在已经接收到产品集后，过程400前进至框404,在此处提供工件的指示。在一些 实施例中，例如，可经由用户设备106之一，诸如评估者设备106-A，向用户提供工件的指 示。工件的指示可包括储存于产品集数据库104-B内的工件指标。在一些实施例中，所述 指标可包括储存于产品集数据库104-B中的工件的清单、表格和/或索引。可从储存于产 品集数据库104-B内的所述一个或几个产品集中检索工件的指示。在一些实施例中，例如， 处理器102可向产品集数据库104-B查询储存于产品集数据库104-B内的工件的指示。储 存于产品集数据库104-B内的这些工件的指示可经由例如用户接口 202提供给用户。
[0051] 在已经提供工件指示后，过程400前进至框406,在此处接收对工件中的一个或几 个的选择。在一些实施例中，例如，对工件中的一个或几个的选择可经由用户设备106之 一，诸如评估者设备106-A，来接收。所选的一个或几个工件可对应于所提供的储存于产品 集数据库内的工件的指示。
[0052] 在已经接收到对一个或几个工件的选择后，过程400前进至框408,在此处提供工 件。在一些实施例中，例如，可经由用户设备106之一，包括例如评估者设备106-A，向用户 提供工件。在一些实施例中，用户设备106可经由用户接口 202向用户提供工件。可从储 存于产品集数据库104-B内的所述一个或几个产品集中检索工件。在一些实施例中，例如， 处理器102可向产品集数据库104-B查询所储存的工件。在一些实施例中，可从产品集数 据库104-B选择一个或几个工件并且可将所述工件提供给用户。
[0053] 在已经提供工件后，过程400前进至框410,在此处接收和/或施加标签。在一些 实施例中，例如，可经由用户设备106,具体地讲经由例如评估者设备106-A，从用户接收标 签。在一些实施例中，标签可识别一个或几个工件和/或产品集的一部分、有关的评估标准 和/或评估子标准的一部分，和/或对添加、删除和/或编辑标签的人员和/或评估者的识 别的指标。在一些实施例中，由于储存了标签和/或工件的与标签关联的部分，因而可施加 标签。在一些实施例中，所接收的标签可储存于数据库104之一中，包括例如标签数据库 104-C 中。
[0054] 在已经接收到标签后，过程400前进至框412,在此处将标签关联到评估标准。在 一些实施例中，例如，所述关联可包括检索识别相关的一个或几个评估标准和/或评估子 标准的标签信息，以及将所述信息储存于评估数据库内。在一些实施例中，例如，这可由处 理器102和/或评估控制系统100的另一个部件来执行，包括例如由用户设备106和/或 其部件，诸如标签引擎206和/或评估引擎208,来执行。
[0055] 在已将标签关联到评估标准后，过程400前进至框414,在此处接收工件和/或产 品集的评估。在一些实施例中，例如，所述评估可接收自用户设备106之一和/或评估控制 系统100的其他部件和/或用所述设备和/或部件来执行。在一些实施例中，例如，该步骤 可包括对一个或几个标签进行分组，将一个或几个标签的组提供给用户，以及接收基于这 些标签和评估标准的评估。在一些实施例中，接收的评估可储存于数据库104之一中，诸如 评估数据库104-D中。
[0056] 在已经接收工件和/或产品集的评估后，过程400前进至框416,在此处保存所述 一个或几个工件和/或产品集的由所述一个或几个标签识别的部分。在一些实施例中，例 如，工件的这些部分可保存在数据库104之一内，具体地讲保存在产品集数据库104-B和/ 或标签数据库104-C内。
[0057] 在已经保存工件的由一个或几个标签识别的部分后，过程400前进至框418,在此 处生成第一评估数据。在一些实施例中，例如，第一评估数据可包括与评估相关的信息以及 允许重新创建评估的信息。所述信息可包括由评估者提供的一个或几个工件和/或产品 集的评估，与由评估者识别的所述一个或几个工件和/或产品集关联的所述一个或几个标 签，所述一个或几个工件和/或产品集的由所述一个或几个标签识别的所保存的部分，和/ 或评估者身份的指标。
[0058] 在已经生成第一评估数据后，过程400前进至决策状态420,在此处确定是否已经 接收到第二评估数据。在一些实施例中，例如，所述确定可由处理器102做出，并且可包括 向数据库104中的一个或几个，包括例如评估数据库104-B查询。
[0059] 如果经确定不存在第二评估数据，则过程400前进至框422,在此处提供评估数 据。在一些实施例中，例如，评估数据可提供给用户设备106中的一个或几个，包括例如评 估者设备106-A和/或监督者设备106-B。
[0060] 再次返回决策状态420,经确定已经接收到第二评估数据，过程400前进至框424， 在此处比较评估数据。在一些实施例中，例如，所述比较可包括：比较所述一个或几个工件 和/或产品集的评估，以确定所述评估是否相同；比较与第一评估数据和第二评估数据的 评估标准关联的标签，以确定在两种情况下施加的标签的相似性和/或差异性；和/或比较 所述一个或几个工件和/或产品集的由标签识别的部分。
[0061] 在一些实施例中，例如，所述评估数据的比较可包括比较与第一评估数据和第二 评估数据关联的标签，以确定工件的两种标签的相似性和/或差异性。在一个实施例中，例 如，所述比较可包括确定与两个评估关联的标签是否各自识别工件的相同的积极和/或消 极方面/属性。在一些实施例中，所述比较可包括比较工件的内容和评估标准之间的联系， 以确定评估者是否将具有相似标签的内容联系到评估标准的相似部分。相似地，在一些实 施例中，所述比较可包括比较工件和/或产品集的总体评估和/或得分。在一个实施例中， 例如，可比较工件和/或产品集的总体评估和/或得分。在一些实施例中，如果工件和/或 产品集的总体评估和/或得分的比较表明差异足够大，则会比较标签与工件和/或产品集 的内容的关联和/或标签与评估标准的关联。
[0062] 在一个这样的实施例中，对第一评估和第二评估的总体评估和/或得分进行比 较，以生成一个差值，所述差值指示第一评估和第二评估的总体评估和/或得分之间的差 异程度。在一些实施例中，将所述差值与接受阈值进行比较。在一些实施例中，接受阈值 可识别所述评估之间的差异程度，该差异程度识别所述评估之间可接受的/不可接受的差 异，并且/或者引发对第一评估和第二评估进行的额外的比较。在一个实施例中，如果差值 与接受阈值的比较表明所述评估足够相似，则该过程前进至决策状态426,这将在下文更详 细地讨论，而如果差值与接受阈值的比较表明所述评估并不够相似，则评估数据的比较可 包括如上所述的标签比较。
[0063] 在一些实施例中，例如，可由处理器102和/或由用户设备106之一的评估引擎 208来执行评估数据的这种比较。在一些实施例中，例如，可根据布尔函数来执行所述比较， 其中为第一评估数据和第二评估数据的匹配的方面分配第一值，并为第一评估数据和第二 评估数据的不匹配的方面分配第二值。
[0064] 在已经对第一评估数据和第二评估数据进行比较后，过程400前进至决策状态 426,在此处确定第一评估数据和第二评估数据之间是否存在差异。在一些实施例中，例如， 所述确定可包括确定第一评估数据和第二评估数据之间是否存在任何差异，这可包括例如 确定所述一个或几个工件和/或产品集的评估是否不同、确定施加的一个或几个标签是否 不同，以及/或者确定所述一个或几个工件和/或产品集的由标签识别的部分是否不同。 在一些实施例中，例如，所述确定可参考如上所述分配给第一评估数据和第二评估数据的 值来执行，并且可由处理器102和/或评估引擎208来执行。如果经确定不存在差异并且 /或者未达到差异阈值，则过程400前进至框422,在此提供评估数据。
[0065] 如果经确定第一评估数据和第二评估数据之间存在差异并且/或者已达到差异 阈值，则过程400前进至框428,在此处生成差异报告。在一些实施例中，差异报告可以例 如，识别第一评估数据和第二评估数据之间的差异，包括例如所述一个或几个工件和/或 产品集的评估的差异、所述一个或几个工件和/或产品集的差异，和/或工件和/或产品集 标签的由标签识别的部分的差异。在一些实施例中，差异报告可由评估控制系统100生成， 具体地讲可由处理器102和/或用户设备106之一或其部件，包括例如评估引擎208生成。
[0066] 在已经生成差异报告后，过程400前进至框430,在此处提供差异报告。在一些 实施例中，例如，差异报告可经由用户设备之一提供给用户，包括例如，经由监督者设备 106-B，具体地讲，经由用户设备106的用户接口 202,提供给用户。
[0067] 在已经提供差异报告后，过程400前进至决策状态432,在此处确定是否已接收到 额外的评估数据。在一些实施例中，额外的评估数据可以是，例如，第三评估数据、第四评估 数据、第五评估数据、第六评估数据，和/或任何其他评估数据，包括例如，第η评估数据。在 一些实施例中，例如，可收集评估数据直到出现评估数据的收敛。
[0068] 在一些实施例中，额外的评估数据可以是与一个或几个工件和/或产品集的另外 的评估相关的数据，所述数据可用于确定第一评估数据和/或第二评估数据中哪个准确、 哪个准确地反映一个或几个工件和/或产品集的正确评估，和/或哪个最准确。在一些实 施例中，例如，所述确定可由处理器102做出，并且可包括向数据库104中的一个或几个，包 括例如，评估数据库104-Β查询。如果经确定不存在额外的评估数据，则过程400可终止。
[0069] 如果经确定存在额外的数据，则过程400前进至框434,在此处比较评估数据。在 一些实施例中，例如，所述比较可包括将第一评估数据和第二评估数据之一或两者与额外 的评估数据进行比较。在一些实施例中，例如，所述比较可包括：比较所述一个或几个工件 和/或产品集的评估，以确定所述评估是否相同；比较与第一评估数据、第二评估数据和/ 或额外的评估数据的评估标准关联的标签，以确定在这些情况下施加的标签的相似性和/ 或差异性；和/或比较所述一个或几个工件和/或产品集的由标签识别的部分。在一些实 施例中，例如，可由处理器102和/或用户设备106之一的评估引擎208来执行所述比较。 在一些实施例中，例如，可根据布尔函数来执行所述比较，其中为第一评估数据、第二评估 数据和/或额外的评估数据的匹配的方面分配第一值，并为第一评估数据和第二评估数据 的不匹配的方面分配第二值。
[0070] 在已经对评估数据进行比较后，过程400可前进至框436,在此处提供不符报告。 在一些实施例中，例如，不符报告可识别第一评估数据、第二评估数据和