知识评估工具的制作方法

专利名称：知识评估工具的制作方法
技术领域：
本说明书一般地涉及数据和/或信息管理系统，特别是用于处理和管理测试数据的计算机实现的方法、计算机系统及计算机程序产品。
背景技术：
知识评估和/或测试数据评价是繁琐和耗时的任务，其通常需要仅仅能够被计算 机专家操作的复杂工具和外部数据库。对于知识进行评估和/或测试设计者的大部分处理 工具，不允许其自定义问题集合。进一步地，这些问题不能被随机选择。此外，已有的处理 工具通常需要外部数据库，并且合并使用不同数据查询及访问工具。因此，需要为知识评估 和/或测试的设计者提供一种处理工具，其能够容易地以用户友好的方式生成测试(如产 品知识测试)，以将执行测试、改正试卷、从测试结果生成报告的处理进行自动化。此外，期 望实现这类工具的高度定制化。

发明内容
在一个概括方面中，提供一种用于处理和管理测试数据的计算机实现的方法。该 方法包括在(处理)工具(或软件)中为测试提供多个问题，该工具位于第一共享文件夹 中；在第二共享文件夹上提供数据存储装置(如数据库)，其中该数据存储装置包括 多个数据库(或数据)文件，其中该多个数据库文件中的每个数据库文件被指派给用户名， 其中该用户名来自用于识别多个用户的用户名列表；检索该数据库文件的时间戳的日期时间，并向该用户名列表中的对应的用户名指 派该日期时间；如果来自该多个用户中的用户访问该测试，则向该用户提供来自该多个问题的问 题子集，其中该问题子集通过为该多个问题中的每一个进行顺序分配被随机确定，其中该 顺序分配是基于与该多个问题中的每一个关联的随机数字；在数据库文件中存储该测试的测试结果(或对应于该问题子集的答案集合)，该 数据库文件对应于所述用户的用户名；以及更新该对应数据库文件的该时间戳。该(处理)工具例如可以是知识评估工具或测试设计者工具。该两个共享文件夹 可以位于服务器上，该服务器被一个或更多客户端计算机通过网络(有线和/或无线)访 问。用户和/或管理员可以从客户端计算机访问该工具。该工具可以通过一个或更多数据 (或作业)表单向该用户和/或管理员提供多个功能性。在一个示例性实施中，该工具可以 基于宏而在Misrosoft Excel (本说明书中的一个或多个词语是其各自拥有者的商标) 中实现，因此由该工具提供的该数据表单是Excel表单。因此，不要求专用服务器及外部数 据存储装置实施并运行该工具。而是，该方法可以被通过使用两个共享文件夹来执行，其中其功能性(即，该工具)可以被保存在该共享文件夹中的一个中，并且该共享文件夹中的另一个可以用于存储数据存储装置(例如数据库)。该共享文件夹可由每一个用户访问，该每 个用户已经订阅该工具。该数据存储装置可以是该工具的内建数据库。进一步地，该工具 可以被实施在支持宏环境的任何计算机上。此外，该工具及其数据存储装置可以以在线方 式提供或访问。通过为该数据存储装置(其中该数据存储装置包括用于该多个用户中的每个用 户的数据库文件)提供共享文件夹，可以在不同用户访问该数据库文件时避免冲突。对不 同用户的测试结果进行处理变得更容易和(时间)有效。进一步地，当查找用户外壳的测试 结果(例如，用于测试报告生成和/或用于数据库清理目的)时，该相应用户名的该日期时 间及该相应数据库文件的该时间戳允许对于该相应数据库文件进行更容易和有效的查找。 实际上，只有那些包括对先前状态有所变化的数据库文件才被访问。相应的，网络资源可以 在时间和/或空间方面优化。通过为该多个问题中的每一个进行顺序分配，其中该顺序分配是基于与该多个问 题中的每一个关联的随机数，可以增强从该多个问题中选择问题子集的随机性。随后，该问 题子集被高度随机化。在这种方式下，在该多个问题中以特定顺序范围选择问题的概率非 常低，以至于为不同用户复制完全相同的测试变得非常困难。换句话说，当对多个测试人员 执行测试时，两个测试人员面对以相同顺序排列的相同问题子集的概率是很低的。进一步 地，每次执行变化时，例如用户已经访问并执行该测试，则可以针对该多个问题中的每一个 问题产生新的随机数。根据另一个方面，产生该顺序分配可以包括根据该多个问题的相关联的随机数，以升序对该多个问题排序。根据另一个方面，该方法可以进一步包括一旦该用户已经访问该测试或访问之后，或在该用户访问该测试时，为来自该多 个问题中的每一个问题产生新的随机数。根据另一个方面，对于来自该多个数据库文件的数据库文件，如果相关联的时间 戳不同于被指派给相应用户名的日期时间，则该方法可以进一步包括访问该数据库文件；以及向测试报告附加从该数据库文件检索到的测试结果。根据另一个方面，对于来自该多个数据库文件的数据库文件，如果相关联的时间 戳不同于被指派给相应用户名的日期时间，则该方法可以进一步包括清除并保存被清除的数据库文件，以及检索该被清除数据库文件的时间戳的已更新日期时间，并将该已更新日期时间指 派给该相应的用户名。根据另一个方面，该数据库文件的目录信息可以用于访问该时间戳。根据另一个方面，该工具在Excel中实施。在另一个概括方面，在此提供一种包括计算机可读指令的计算机程序产品，当被 加载并运行在计算机系统和/或计算机网络系统中时，使得该计算机系统和/或该计算机 网络系统执行该方法。在另一个概括方面，提供了一种用于处理和管理测试数据的系统(例如知识评估工具或软件)。该系统可以包括位于服务器上的第一共享文件夹，该第一共享文件夹包括为测试提供多个问题的位于该服务器上的第二共享文件夹，该第二共享文件夹存储数据存储装置，其中该数据存储装置包括多个数据库文件，其中该多个数据库文件的每一个数据库文件被指派 给来自用于识别多个用户的用户名列表中的用户名；以及其中该工具可被操作为检索该数据库文件的时间戳的日期时间，并指派该日期时间给该用户名列表中的 相应用户名；如果来自该多个用户的用户从客户端计算机访问该测试，则向该用户提供来自该 多个问题的问题子集，其中，通过为该多个问题中的每一个进行顺序分配来随机确定该问 题子集，其中该顺序分配是基于与该多个问题中的每一个关联的随机数；在对应于该用户的用户名的数据库文件中存储该测试的测试结果；以及更新所述相应数据库文件的该时间戳。用于处理和管理测试数据的该方法、系统和计算机程序产品(其可以实现和/或 实施工具或软件，例如知识评估工具或测试设计者工具)可以具有一个或多个如下优点。 可以确保为测试实现与选项的高度一致，用以配置日期范围、时间期间和问题集合的随机 性。由于测试执行和试卷改正是计算机化的自动化，可以在测试结果中达到高度精确性和 完整性。进一步地，可以确保测试由用户仅仅进行一次，例如，用户不能多次执行相同的测 试。由此，测试数据的准确性和一致性得以加强。由于该方法和系统能利用Excel和至少一个共享文件夹(即，换言之，不需要外部 数据库和专用服务器)来实现，实施可以是成本有效的并且免于维护。进一步地，实施测试、试卷改正和报告的过程可以节省无价值的附加劳动和时间， 并由此节省人力时间。换言之，在知识评估环境中的人机交互被改进，例如使得可以在一个 月内进行多于一个产品知识测试。由于测试是利用基于计算机的应用进行，可以防止纸张 的消耗，其不要任何打印输出。从而，节省时间和资源。可以向提供用户高度灵活性，包括用丰富的选项集合来配置和/或定义该系统 (如知识评估工具)。该系统可以装备有内建数据库(管理)系统，其可以被容易地建立并 且不需要任何管理。提供一次点击的报告接口可以为测试获取测试结果的细节。进一步地， 该系统可以提供两级安全系统，其通过用户的域ID而认证用户。在此需要注意的是，由于 可以基于Excel实施，为了实现而可以不需要信息安全或客户端认可。多达50个自由定义 的问题的集合可以被提供给该系统。从而，该方法和系统允许知识评估工具的灵活容易的 实施、建立和使用。利用计算机程序产品或机器可读介质，本说明书中描述的主题以被实施为在信息 载体中有形实现的方法或系统，该信息载体例如CD-ROM、DVD-ROM、半导体存储器、信号和/ 或数据流及硬盘。此类计算机程序产品可以使数据处理装置执行在本说明书中描述的一个 或多个操作。另外，在本说明书中描述的主题也可以实现为包括处理器和耦合于处理器的存储 器的系统。该存储器可以编码一个或多个程序，该程序使处理器执行在本说明书中描述的一个或多个该方法的动作。进一步，在本说明书中描述的主题可以利用各种机器实施。在所附示例性图示以及下文的示例性描述中，阐明了一个或多个实施方式的细节。从说明书和附图及权利要求中，其他特点是易见的。


图IA到图ID示出了用于建立和使用知识评估工具的示意性方法的流程图；图2示出了知识评估工具的示意性(系统)架构的框图；图3A到图3C示出了用于从测试的多个问题中随机选择问题子集的示意性方法的 流程图和屏幕截图；图4A到图4C示出了用于访问知识评估工具的数据存储装置的示意性方法的流程 图和屏幕截图；图5A到图5C示出了在知识评估工具中提供的管理表单的示意性屏幕截图；图6示出了在知识评估工具中提供的设计表单的示意性屏幕截图；图7示出了在知识评估工具中提供的建立表单的示意性屏幕截图；图8示出了知识评估工具的数据库文件夹的示意性屏幕截图；图9A到图9C示出了在知识评估工具中提供的测试表单的示意性屏幕截图；图10示出了在知识评估工具中提供的合并表单的示意性屏幕截图；图11示出了示意性计算机(网络)系统的框图。
具体实施例方式下面，参照附图给出了示例的详细描述。可以理解对于示例可以进行各种修改。特 别地，一个示例中的组件可以被组合并使用在其他示例中以形成新的示例。在图5A到图10中示出了在Excel (电子)数据(或工作)表单中的示例实施，这 些示例实施由依据本发明的工具提供，并能在图IA到图4C描述的方法中使用。图IA到图ID示出示例方法，以在具有数据存储设备的服务器上执行和建立工具 (或软件)，并使用该工具。该(处理)工具可以是知识评估工具或测试设计者工具，其可 以用于针对大量用户而易于实现在线分布式测试，这些测试例如可以是呼叫中心的雇员的 知识评估、公众观点投票、或驾驶执照测试中的理论部分。由此，可以改进对于处理多个用 户的大量测试数据的人机交互，其中用户和/或管理员可以从脑力劳动(分发、分类、管理 和/或维护测试数据及相关测试结果)中解脱。可以理解的是，该方法可以被组合，并且所 描述的方法步骤都不是强制性的。进一步，可以增加额外的方法步骤。图IA示出了示例方法10，其用以建立该工具并设计测试数据或包括多个问题的 测试，该多个问题可以由至少一个管理员和/或至少一个用户自由定义。在工具中，可以针 对测试确定可定义问题的最大数目。该工具特别地运行在单独服务器上。不需要进一步的 专用服务器来建立和运行工具。步骤Si中，在访问服务器后，诸如管理员的系统用户在服 务器上生成(基本上)两个共享文件夹。该共享文件夹中的一个可以用以存储工具本身， 而另一个共享文件夹可以用于充当数据存储装置(如数据库)来保存和存储已经预定该工 具的一个或更多用户的测试数据和/或测试结果数据(如测试结果或答案集合)。因此在 S2中，管理员向所述第一共享文件夹中复制该工具(目录)。在一个示例性实施中，管理员生成共享文件夹，并利用Microsoft Excel复制工具到共享文件夹中的一个，该Microsoft Excel例如可以是版本97或更新的版本(下面表述中都称为Excel)。相应的，工具可以利用Excel进行建立。在S3，管理员打开工具，并且当在其中建立了工具外壳的系统向管理员 提示时，管理员执行由下层系统支持的宏。在S4，管理员接收到来自工具的警报，注册和/ 或建立一个或更多用户及一个或更多管理员。警报可以以(电子)数据(或作业)表单的 方式提示给管理员，可以是用于管理员的特定表单，例如管理表单。在S5，管理员可以将每 个管理员的一个或更多的域标识符(ID)以及其自身的域ID输入到数据表单的专用列(例 如管理用户列)中。一个或更多管理员的域ID可以存储在列表中。在S6，管理员进入专用 于其他用户的第二列中的数据表单，例如所有用户列，在工具处注册的一个或更多用户的 一个或更多个域ID。进一步，对于每个用户，用户名可以被输入。由此用户可以在用户列表 中处理，即多个用户名的列表。用户可以是那些将要在工具处进行测试的人。在步骤S7， 管理员将所产生的条目保存至数据表单中，并并确认所产生的数据条目。在已经确认数据 条目之后，管理员将能够查看和访问由该工具提供的进一步的数据表单，诸如INTRO表单、 Setup表单、Admin表单、Consolidation表单、Design表单和/或Test表单。在步骤S8, 管理员可以访问Design表单并为测试输入一个或更多问题。问题能够被自由定义。进一 步，对于每个问题的目标类型选项和/或正确答案可以在Design表单中被指定。随后在S9， 管理员可以访问由工具提供的Setup表单并指定路径(如服务器路径)以便为数据存储装 置定位共享文件夹。所述路径可以作为类型或键的值被输入进Setup表单的一列中，该值 可以被称为“DB path”。在完成这样的数据输入进Setup表单后，管理员可以在步骤SlO激 活(如点击)按钮(如Creat DB按钮)，以开始或激活自动创建数据存储装置的处理。数 据存储装置可以通过在专用于所述装置的共享文件夹中分配存储区域而创建。在S11，管理 员可以为在Setup表单中指定进一步的类型和/或键输入附加的值。最后，在S12，管理员 保存并关闭Setup表单和工具。图IB示出了在工具上执行或给出测试的示例性方法20。已经访问了服务器以运 行工具和数据存储装置的用户，在S21打开维护工具的共享文件夹，并在由系统提示或请 求时启用一个或更多个宏。在步骤S22，用户访问数据表单，例如由工具提供的Test表单。 Test表单可以包括按钮(如，开始/提交按钮)以便在工具上开始测试。在S23，用户从答 案列(如Answer列)中选择一个或更多个目标类型选项，以便为在开始Test表单中的测 试时提供的至少一些问题给出答案。目标类型选项可以包括多个选择的列表以用于为问题 选择一个答案，例如，来自可能问题的集合、值的范围、和/或任务栏。在S24，一旦用户对于 测试的问题中的每一个已经给出了至少一个(可以是全部)答案，则他/她激活按钮以便 提交答案(例如，通过点击Test表单提供的“开始/提交”按钮)。然后，在S25处，用户关 闭Test表单和工具。由用户给出的对于测试问题的答案可以指定答案集合和相对应的测 试结果。答案可以被存储在数据存储装置中。图IC示出了从一个或更多答案集合和/或测试结果生成测试报告的示例性方法 30，答案集合和/或测试结果获取自依据图IB的方法20在工具上进行测试的一个或更多 个用户。在S31，管理员从在服务器处的相对应的共享文件夹打开工具，并在由工具提示 时启用一个或更多宏。管理员在S32访问Admin表单，并激活按钮以便生成测试报告(如 通过点击Admin表单提供的Consolidate按钮)。在步骤S33，管理员访问由工具提供的Consolidate表单，并将测试报告复制到新的数据表单中。一旦工具被在Excel中建立，则 管理员创建新的Excel文件并将测试报告复制到所述文件中。随后，在S34管理员关闭工 具。图1D示出了示例性方法40，用于清理服务器的相对应共享文件夹中的数据存储 装置，并用于在工具上设计和/或创建新的测试。在步骤S41，管理员从服务器上的相对应 共享文件夹打开工具，并在由工具提示时启用一个或更多宏。在步骤S42，管理员访问并打 开Admin表单，并激活相应的按钮以清理数据存储装置，例如，通过点击在工具的Admin表 单中提供的Clear DB按钮。随后，在步骤S43，管理员访问并打开由工具提供的Design表 单。管理员为新测试指定多个新的问题，如通过输入一个或多个自由定义的问题及其相应 的目标类型选项和/或正确的答案。在S44，管理员访问并打开Setup表单。管理员可以对 由Setup表单支持的键的一个或多个值执行一个或多个改变，以便配置新的测试。例如，如 果管理员已经改变了 DB Path键的值，和/或已经订阅工具的用户的一个或多个用户名的 列表的值(比如通过删除和或增加用户名)，管理员还激活在相对应的共享文件夹上创建 新的数据存储装置的处理，如通过点击Create DB按钮。在S45，管理员保存对工具做出的 变化并关闭会话。最后，在步骤S46，管理员(例如通过邮件)针对新测试而通知在用户名 列表中列出的一个或多个用户。图2示出了用于建立和/或运行工具的示例性结构或系统。系统可以包括与至少 一个工作站或客户端计算机120、130连接的服务器110，例如计算机130由管理员操作并 与至少一个工作站或客户端计算机120(如由用户操作的计算机)连接。服务器110和客 户端计算机120、130可以通过(有线或无线)网络连接。服务器110主控包括至少两个共 享文件夹112、114的共享驱动器。共享文件夹112、114中的一个共享文件夹112被用于主 控和/或存储工具，共享文件夹中的另一个共享文件夹114被用于主控和/或存储数据存 储装置。服务器110和至少两个客户端计算机120、130之间的箭头可以表示客户端计算机 120、130和/或服务器110之间可能的数据流程。例如，在S 101，管理员可以从位于服务 器110上的相对应的共享文件夹112运行工具，为测试设计多个问题和/或配置或建立在 相对应数据表单(如图7中所示的Setup表单)上的设置。在S102，例如，管理员可以在相 对应的共享文件夹上114上创建数据存储装置(如数据库)和/或创建或生成测试报告， 该测试报告来自于从一个或多个已经执行测试的用户获取的答案集合和/或测试结果。在 S 103，例如，在客户端计算机120上工作的用户可以访问和/或运行来自于相对应的共享 文件夹的工具。此外，用户可以在他/她的客户端计算机120上加载用于测试的问题。在 S 104，例如，用户可以将对于测试问题的一个或多个答案提交给位于服务器的相对应共享 文件夹114中的数据存储装置。图3A到3C示出了用于测试随机化问题的示例性方法50，及方法50在Excel环境 中可能的实施。如图1A到1D所示，当方法10、20、30、40中的任何一个被执行时，方法50 可以被内在地执行。可以理解的是，示出的方法步骤都不是强制性的。图3A示出了问题集合随机化算法的示例性方法50。问题可以是纯文本，例如可以 在工具中创建和/或设计测试时由管理员定义。因此，从集合(即，多个)随机地挑选或选 择问题，可以比随机选择数字和/或符号更困难。多个问题可以被存储在保持工具的共享 文件夹的问题仓库中。
图3A中示出的方法50可以处理一个或多个下列问题。方法50可以能够随机地 选择(或挑选)预定义数目的问题，即，来自多个问题的问题子集。方法50可以进一步在 向用户呈现之前，将随机选择的问题子集打乱位置或重新排列。另外，在所述答案被提交给 数据存储装置之前，方法50可以进一步将由用户给出的相对应的答案恢复位置到问题的 所选择子集，以便所述答案可以以在建立测试及其相关的问题时定义的问题的初始顺序进 行检索。在图3A所示的示例中，假设多个问题包括Y个问题，从中随机选出X个问题的子 集并将其呈现给进行、实施或者执行测试的用户。在步骤S51，当设计测试时，随着问题的输入(例如，在工具的设计表单上)，而以 升序对多个问题(如Y个问题)中的每一个问题及相应的答案选项(即目标类型选项)给 出或指派(连续的)数字(如正整数)，在下文中被引用为问题编号。在S52，当用户开始 测试，随机数字被指派给多个问题中的每一个问题。随机数字可以使用任何已知随机数字 生成器来计算。随机数字可以是在开区间或范围0到1的任何实数。在S53，依据问题相关 联的随机数字而进行顺序分配。例如，每一个问题的相对应的随机数字以升序(或降序) 排序，从而被指派为最小(或最大)的随机数的问题是Y个问题中的第一个，而被指派为最 大(或最小)的随机数的问题是Y个问题中的最后一个，问题是以它们的随机数字进行排 序。在S54，问题的子集被从多个问题映射出或指派出，每个顺序分配是对于多个问题中的 每一个问题进行。在这种方式下，例如在Y个问题中X个被随机选择出，这些问题被打乱顺 序并继而被呈现给访问测试的用户。在S55，对于所选择子集中的每个问题的各个答案选项 被选择或制定出，并被提供给执行测试的用户。在S56，当用户在工具中已经提交测试，来自 于问题的所选择子集中的问题以升序(或降序)显示给用户。在S57，用户完成测试之后， 用户给出的各个答案被映射至问题的子集，问题被排列是根据问题编号的多个问题的初始 顺序的方式(如以问题被设计时的顺序)。在所述初始顺序中，答案继而被存储在数据存储 装置114中。在一个示例性实施中，答案被存储在指派给实施测试的用户的数据存储装置 的数据库文件中。在这种方式下，对于被选择的问题子集的答案可以在它们被保存和存储 在数据存储装置之前，被解打乱顺序。因此，尽管问题的子集已经被随机地选择，仍可以确 保由用户给出的答案被适当地映射至来自多个问题的各个问题。通过随机化多个问题并利用图3A中所示的方法50从所述多个问题中选择问题的 子集，随机性被增强，以便可以确保将不会出现两个用户回答以相同顺序存在的测试的相 同问题子集。利用所描述的随机化算法，在特定顺序位置处从多个问题中选择出一问题的 可能性很小。因此，为不同用户复制测试变得非常困难或几乎是不可能的。进一步地，无论 何时在工具中发生了改变(如，一用户已经执行了测试)，则新的随机数字被创建并被指派 给多个问题中的每一个。图3B和图3C示出了数据表单(如对于利用Excel的测试的Design表单)的例 子，其分别是在如图3A中的方法50被应用在数据表单中多个问题之前(图3B)和之后(图 3C)的情况。图3B的列A示出了来自多个问题的每个问题被指派为升序次序的问题编号1到 15，反映了被定义的用于测试的问题的顺序。所述顺序可以称为多个问题的初始顺序。工 具随即自动产生并为每个问题指派随机数字。被指派给每个问题的随机数字被示出在列C 中。在一个示例性实施中，由工具为多个问题计算的随机数字既不被显示给管理员也不被显示给用户。任何已知的随机数(如由Excel支持的随机数字生成器)能够被用于产生 随机数字。在一个示例性实施中，由随机数生成器产生的随机数字被复制到包括问题的数 据表单中。这样，一旦随机数字被复制，它们和问题保存在一起，以便对于问题的随机数字 不再变化，由此可以针对会话(如在用户针对问题进行操作期间)确保随机数字和问题之 间的明确关联。问题编号和指派给每个问题的随机数字的初始建立由工具使用，以将来自 对用户的多个问题的问题打乱顺序和恢复顺序，并以准确(正确)的顺序存储相对应的答 案，该准确的顺序也即，根据数据存储装置中的多个问题的问题编号的该多个问题的初始 顺序。在一个实施中，对于在工具中的用户列表中列出的每个用户，在数据存储装置中创建 数据库文件。如图3C中所示，随机数字被以升序的次序进行排序，以便使得问题依据由升序排 序随机数字而进行的顺序分配，来被重新安排和排序。换言之，问题被重映射至新的顺序， 该新的顺序通过问题相关联的随机数字的顺序进行定义。随后问题子集(如15个问题中 的10个)被选择并被提交给执行测试的用户。因此，参照图3B和图3C的示例解释的上述 方法步骤支持从测试的多个(如15个)问题中随机选取或选择问题子集(例如10个)，并 能在向用户提交所选择的问题子集之前将该子集打乱顺序或重新排列。换言之，用于问题集合随机化的方法50可以非常有效地向在工具上尝试或执行 测试的每个用户给出唯一问题集合。图4A到图4C示出了用于工具的数据存储装置的优化访问和清理过程的示例性方 法60和70。可以理解，所述方法60和70可以被与其他方法10、20、30、40、50中的任何一 个进行组合。进一步地，图4A和4B中所示的方法步骤都不是强制性的。进一步地，当管理 员或用户在工具上访问和操作时，如方法10、20、30、40中的任何一个被执行时，方法60、70 可以被工具内在地执行。参照图2所示，服务器110包括共享驱动器，其在一个共享文件夹112中主管工具 并在第二共享文件夹114中主管数据存储装置(如内建的数据库)。数据存储装置可以使 得那些在工具中注册的每个用户在共享文件夹114上具有相对应的数据库文件。被注册的 用户可以具有指派的用户ID和列出在工具的数据表单的用户列表中的用户名。为每个用户提供数据库文件可以确保，当同时在工具上尝试进行测试时用户不触 发访问冲突。因此，方法60可以面临着下面的问题和/或挑战。当合并测试结果时(如当 针对不同答案集合产生测试报告时)，在服务器上的数据存储装置的每个数据库文件需要 被打开以便检查其中是否存在任何数据，然后被关闭。当清理数据存储装置以使得在测试 进行进一步的尝试时，或在新的测试被创建之后，服务器上的数据存储装置的每个数据库 文件需要被打开以便检查其中是否存在任何数据，然后被关闭。例如，如果1000个用户在 工具上注册，并且其中只有20个尝试测试，则1000个相对应的数据库文件中的每一个仍然 不得不被在服务器上访问，以产生测试报告和/或清理数据存储装置。因此，这可能大量地 增加时间消耗和网络流量。这样的缺陷可能是因为对于工具来说没有知道(或注册)哪些 用户已经尝试了测试的直接方式而出现。通过使用改进算法，图4A和图4B中所示的方法60和70克服了所述缺陷，其可以 确定多个用户中的哪些已经尝试了测试并已经提交了相对应的答案集合或测试结果。方法 60、70提高了时间效率并需要较少网络流量和较少计算时间。一般来说，方法60、70优势在于采用了数据库文件的时间戳，以便确认在服务器上的数据存储装置中的文件备选。图4A示出了数据存储装置创建和测试报告生成周期的示例性方法60。在S61，管 理员激活为在服务器上的共享文件夹中的工具生成数据存储装置的处理，服务器在另一个 共享文件夹中还主管工具。这可以通过点击由工具提供的数据表单中的Create DB按钮来 实现。当创建数据存储装置时，工具为其Admin表单的用户列表中列出的每个用户创建数 据库文件。当建立工具时，例如在步骤S6执行图1A所示的方法10时，Admin表单可以被用 户访问和填充。用户可以通过其相关联的用户域ID和/或通过其关联的用户名在用户列 表中识别。在S62，管理员检索来自服务器的每个数据库文件的时间戳，数据存储装置位于 该服务器。随后，管理员为用户列表中的相应用户名的每一个指派从时间戳检索到的日期 时间。备选地，日期时间可以从来自数据库文件的时间戳中自动检索，并被指派给用户列表 中的相应用户名的每一个。在S63，当用户已经执行测试并提交测试结果(或答案集合)给 他/她相对应的数据库文件(如图1B中所示方法20的步骤S22到S24)，工具自动改变在 服务器上的所述数据库文件的时间戳。管理员可以激活对于测试的测试报告生成(如通过 执行图1C中所示方法30的步骤S32和S33)。如果管理员还没有到达用户列表的终点，数 据库文件的时间戳被针对指派给用户列表中相对应用户名的日期时间进行检查(S64)。如 果用户名的日期时间和相对应数据库文件的时间戳相同，则在相对应的数据库文件中没有 找到数据(如答案集合或测试结果)(S66)。这种情况下，数据库文件不被访问。数据库文 件的时间戳可以通过检查数据存储装置的相对应目录信息被进行检索。因此有利的是，数 据存储装置不再被访问来确定存储在数据存储装置中的数据库文件的时间戳。然而，如果 用户名的日期时间和相对应数据库文件的时间戳背离(如数据库文件的时间戳比指派给 用户列表中用户名的日期时间更新)，则相对应的数据库文件被访问，并且测试结果或答案 集合被检索到并被附加在测试报告后(S67)。随后，数据库文件被关闭。然后用户列表中的 下一个用户名被以(基本上)相同的方式考虑(S68)，也即，通过比较用户名的日期时间和 相对应数据库文件的时间戳。当到达用户列表的终点时，包括来自已经执行(或尝试)测 试的那些用户的测试结果的测试报告被生成并被显示给管理员(S65)。图4B示出了数据存储装置清理周期的示例性方法70。在S71，管理员可以激活数 据存储装置清理处理过程(如通过执行图1D中所示方法40的步骤S42到S44)。这可以通 过点击Admin表单中提供的Clear DB按钮完成。如果管理员还没有到达Admin表单上用 户列表的终点，数据库文件的时间戳被针对指派给用户列表中相对应用户名的日期时间进 行检查(S71)。如果用户名的日期时间和相对应数据库文件的时间戳相同，则在相对应的数 据库文件中没有发现数据(如答案集合或测试结果)(S72)。这样的情况下，数据库文件不 被访问。然而，如果用户名的日期时间和相对应数据库文件的时间戳背离(如数据库文件 的时间戳比指派给用户列表中用户名的日期时间更新)，相对应的数据库文件被访问，它的 记录被清除并保存(S73)。随后，数据库文件被关闭。然后，被清理的数据库文件的新的时 间戳被检查，并且它的日期时间被指派给用户列表中相对应用户的用户名。换言之，用户列 表中相对应用户的日期时间被依照已清理数据库文件的时间戳进行更新(S74)。随后，用户 列表中的下一个用户名被以(基本上)相同的方式考虑(即通过比较用户名的日期时间和 相对应数据库文件的时间戳)，直到到达用户列表的终点(S75)。方法60和70可以依次执行或合并执行。当方法60、70被依次执行时，包括新数据的每个数据库文件被读出，并且它的内容被附加在测试报告之后。如果测试报告被从所 有测试结果生成，已经被访问的每个数据库文件被在依据方法70中描述的方式清理。当方 法60和70被以合并方式执行时，如，被读出的每个数据库文件(例如通过为测试报告附加 已被包含的测试结果)，所述数据库文件随后被清理。因此，依次和/或合并执行方法60和70可以大大减少对于服务器上的数据存储 装置的访问次数，尤其是当只有多个用户中的少数在工具上执行测试时。图4C示出了利用Excel的工具的Admin表单中的示例性用户列表。例如，在列B 中列出的用户名包括最后被记录的如在列C中列出的相应数据库文件的时间戳的日期时 间。所述日期时间可以被用于将它们和在数据存储装置中的相对应数据库文件的真实时间 戳进行比较，以便确认它们中的哪些在工具和/或其相关的数据存储装置的一个先前清理 和/或建立周期之后发生了变化(或更改)。正如已经参照图4A和4B所解释的那样，只有 那些已经发生更改的数据库文件将被(物理上的)访问和被真正的打开。通过从数据存储 装置的目录中读取出相对应的目录信息，数据库文件的时间戳被访问。图5到图10示出了当在Excel中执行时由工具提供的(电子)数据表单(或工 作表单)的示例性屏幕截图。示例性数据表单中的任何一个可以在前面描述的方法10、20、 30、40、50、60 和 70 中使用。图5A到图5C示出了 Admin表单的示例性数据表单，来建立用户和管理员，并生成 测试报告。当第一次运行工具时，管理员可以被直接指向Admin表单。图5A示出的示例性 Admin表单，其中工具给出警报以建立管理员和用户。图5B示出的示例性的Admin表单， 其中管理员的域ID被输入到列A中，并且用户(注册到工具)的用户名被输入到列B。图 5C示出了保存数据表单时的示例性Admin表单。在已经保存数据表单之后，配置工具的进 一步的数据表单被自动呈现给建立工具的管理员。位于示例性Admin表单的右侧的按钮可 以被用于生成测试结果报告(“Consolidate”)及清除工具的相关数据存储装置(“Clear DB，，)。图6示出了由工具提供的示例性Design表单。如在列A中所示，关联于测试的所 设计问题的问题编号不能被修改。确切的说，每次新的问题被输入进列B，问题编号被以升 序自动指派给问题中的每一个。列B因此示出了测试的示例性的实际问题，其可以被呈现 给执行测试的用户。列C到G示出了对于每一个问题的示例性的目标类型选项(例如对于 问题答案的包括正确答案的多选列表)，其可以在执行测试时作为选择答案被呈现给用户。 列H示出了对于每个问题的相对应的正确答案。对于问题的正确答案可以是下拉菜单以被 从相对应问题的列C到G的目标类型选项中选择。图7示出了由工具提供的示例性Setup表单。列A示出了键的列表，键可以通过 相对应的值而指定，以便建立工具和工具上的测试。对于每个键的示例性值被示出在列B 中，并定义如下-对于共享文件夹的路径202，其中数据存储装置将被定位和存储在服务器上的 该共享文件夹中。-按钮204，在共享文件夹路径202上创建新的数据存储装置，其中当对应于管理 员和/或用户的一个或多个域ID已经在Admin表单中发生变化时，和/或当对于数据存储 装置的路径202发生变化时，所述按钮204可以被使用。
-可以被实施的测试的名字206，其中所述名字可以反映在由工具提供的INTRO表 单和Test表单中。-已经在服务器上设计测试和/或配置工具的作者或测试管理员208，其中作者 208可以反映在由工具提供的Test表单中。-测试的ID数字210，其中ID数字210可以反映在INTRO表单和/或Test表单 中。-当测试被执行时确定其期间的测试期间212，例如以HH:匪:SS(小时-分钟-秒) 的格式被输入。-测试的开始日期214，例如以MM/DD/YY(月-日-年)的格式。-测试的终止(或过期)日期216，例如以MM/DD/YY(月-日-年)的格式。-当用户执行测试时，来自将被呈现给用户的测试问题的编号218(即在问题的子 集中的问题的数目)。-随机化标识220，其提供一选项以开启或关闭问题集合的随机化算法(例如图3A 中示出的方法50)。-用户成绩标识222，当用户已经提交他/她对于测试的答案时，其提供选项以开 启或关闭成绩显示。图8示出了用于工具的数据存储装置的示例性共享文件夹，其示出了每个用户可 以具有专用(或相对应的)数据库文件，该数据库文件可以被反映在用户的文件夹中。图9A到图9C示出了由工具提供的示例性Test表单。如前面已经解释的，用户可 以访问Test表单以在工具上执行测试。如图9A所示，用户可以点击“开始/提交按钮”以加载测试问题并启动计时器，其 位于按钮的右侧。如图9B所示，用户可以在答案列的下拉列表中选择对于测试的问题的选项以便 回答问题。如图9C所示，用户已经激活“开始/提交按钮”以提交他/她对于所呈现测试问题 的的答案(如示出在图9B中的那些)。当已经激活所述提交，则用户的Test表单被清理， 计时器被重置，并且答案被提交的构造被显示。如果用户将来激活“开始/提交按钮”，如果 用户成绩标识被设置在Setup表单中，针对他/她的提交的成绩可以被显示。在一个示例 性实施中，当对于计时器的预设置时间过期时，用户已经选择的答案可以被自动的提交。图10示出了由工具提供的示例性Consolidation表单。Consolidation表单可 以在为测试产生测试报告时被加载，其可以包括(报告)首部224。首部224可以包括下 述信息如已经执行测试的用户的域ID，每个用户已经执行测试的日期和时间，每个用户 执行测试和提交答案花费的时间，每个用户的测试成绩。由用户提供的测试结果(或答案 集合)226可以以如下方式被指定。如果单元具有条目“X--X—x”，则相对应的问题还没 有被提交给用户。如果单元是空的，则尽管相对应的问题已经被提交但还没有被用户回答。 如果单元的字体颜色是红色，则相对应的问题已经被用户错误地回答。如果单元的字体颜 色是黑色，相对应的问题已经被用户正确地回答。进一步地，Consolidation表单可以包括 从多个问题选择出的问题228的子集，子集的问题可以已经被呈现给用户。此外，对于问题 的子集中的每个问题的正确答案230可以被在Consolidation表单中显示。
参照图11，用于实施本发明的示例性系统包括以传统计算环境420 (如个人计算 机)形式存在的通用计算装置，包括处理单元422、系统存储器424及系统总线426，该系 统总线426将各种系统组件(包括系统存储器424)耦合到处理单元422。处理单元422可 以通过访问系统存储器424执行算术、逻辑和/或控制操作。系统存储器424可以为与处 理单元422合并使用存储信息和/或指令。系统存储器424可以包括易失性和非易失性存 储器，如随机访问存储器(RAM)428和只读存储器(R0M)430。包括有助于在个人计算机420 内的组件之间传送信息的基本例程的基本输入/输出系统(BIOS)，例如在启动期间，可以 被存储在ROM 430中。系统总线426可以是总线结构几种类型中的任何一种，包括存储器 总线或存储器控制器、外围总线和使用任何类型总线结构的本地总线。个人计算机420可以进一步包括用于从硬盘(未示出)读出和向硬盘写入的硬盘 驱动器432，及用于从可移动盘436读出或者向该可移动盘436写入的外部盘驱动器434。 可移动盘436可以是用于磁盘驱动器的磁盘或用于光盘驱动器的光盘，如⑶ROM。硬盘驱 动器432及外部盘驱动器434分别通过硬盘驱动接口 438和外部盘驱动接口 440连接到系 统总线426。驱动器及其相关联的计算机可读媒体提供计算机可读指令、数据结构、程序模 块和用于个人计算机420的其他数据的非易失性存储。数据结构可以包括与如前面详细描 述的用于处理和管理测试数据的计算机实现的方法、系统和计算机程序产品相关的数据。 相关数据可以在数据库中组织，例如关系数据库或对象数据库。尽管在此描述的示例性环境采用了硬盘(未示出)和外部盘，本领域技术人员可 以预料的是，同样可以在示例性操作环境中使用能够存储可被计算机访问的数据的其他类 型的计算机可读媒体，如磁带、闪存卡、数字视频磁盘、随机访问存储器、只读存储器等。在硬盘、外部磁盘、ROM 430或RAM 428上可以存储有大量的程序模块，其中包括 操作系统(未示出)、一个或多个应用程序444、其他程序模块(未示出)和程序数据446。 应用程序444可以包括在图1到10中描述的至少一部分功能。如下面所述，用户可以通过输入装置例如键盘448和鼠标450输入命令和信息到 个人计算机420中。其他输入装置(未示出)可以包括麦克风(或其他感应器)、操纵杆、 游戏柄、游戏垫、扫描仪等。这些或其他输入装置可以通过耦合到系统总线426的串行端口 接口 452而连接到处理单元422，或由其他接口收集在一起，如并行端口接口 454、游戏端口 或通用串行总线(USB)。进一步地，信息可以使用打印机456进行打印。打印机456和其他 并行输入/输出装置可以通过并行端口接口 454被连接到处理单元422。监视器458或其 他类型的显示装置通过接口(如视频输入/输出460)同样被连接到系统总线426。除了监 视器，计算环境420可以包括其他外围输出装置(未示出)，如扬声器或其他音频输出。计算环境420可以与其他电子装置通信，如计算机、电话(有线或无线)、个人数字 助理、电视或其他。为进行通信，计算机环境420可以利用到一个或多个电子装置的连接而 在网络环境中操作。图11描述了与远程计算机462联网的计算机环境。远程计算机462 可以是另一个计算环境，如服务器、路由器、网络PC、对端装置或其他常用网络节点，并且可 以包括前面描述的与计算环境420有关的多个或全部元件。在图11中描述的逻辑连接包 括局域网(LAN)和广域网(WAN)466。这样的网络环境在办公室、企业范围计算机网络，内联 网和因特网中是常见的。当在LAN网络环境中使用时，计算环境420可以通过网络I/O 468被连接到LAN464。当在WAN网络环境中使用时，计算环境420可以包括调制解调器470或用于在WAN 466上建立通信的其他装置。调制解调器470可以是在计算环境420的内部或外部，其通过串 行端口接口 452被连接到系统总线426。在联网环境中，描述的与计算环境420相关的程序 模块或其端口可以被存储在位于远程计算机462或可由其访问的远程存储器存储装置中。 进一步地，与用于处理和管理测试数据的方法(在前面已被详细描述)的应用程序相关的 其他数据可以位于远程计算机462上，或可通过它进行访问。数据可以被存储在例如对象 数据库或关系数据库中。可以预料的是，示出的网络连接是示例性的，并且在电子装置之间 建立通信链接的其他装置可以被使用。前面所描述的计算环境仅仅是可以被用来实施用于处理和管理测试数据的方法 的计算系统类型的一个示例。标记序号列表10用于建立知识评估工具和设计测试的方法S1-S12 用于建立知识评估工具和设计测试的方法的方法步骤20用于在知识评估工具上给出测试的方法S21-S25 用于在知识评估工具上给出测试的方法的方法步骤30用于在知识评估工具中生成测试的方法S31-S34 用于在知识评估工具中生成测试的方法的方法步骤40用于在知识评估工具中清理数据存储装置和设计新测试的方法S41-S46 用于在知识评估工具中清理数据存储装置和设计新测试的方法的方 法步骤50用于从多个问题生成问题随机子集的方法S51-S57 用于从知识评估工具中的多个问题生成问题随机子集的方法的方法 步骤60用于从知识评估工具中的测试结果生成测试报告的方法S61-S68 用于从知识评估工具中的测试结果生成测试报告的方法的方法步骤70用于清理知识评估工具的数据存储装置的方法S71-S75 用于清理知识评估工具的数据存储装置的方法的方法步骤110共享驱动器112知识评估工具114数据存储装置120客户端或用户计算机130管理员或(管理)计算机SlOl 执行(部分)方法10S102 执行(部分)方法30S103 执行(部分)方法20S104 执行(部分)方法20202 路径204 创建按钮206 测试名称
208用户名210测试ID数字212测试期间时间214测试开始日期216测试结束日期218问题子集中的问题数目220针对多个问题设置随机化的标识222设置用户成绩的标识224测试报告的首部226对于测试的测试结果或答案228问题的子集230对于问题的子集的正确答案420计算环境422处理单元424系统存储器426系统总线428随机存储器(RAM)430只读存储器(ROM)432硬盘驱动器434外部盘驱动器436可移动盘438硬盘驱动器接口440外部盘驱动器接口444应用程序446程序数据448键盘450鼠标452串行端口接口454并行端口接口456打印机458监视器460视频输入/输出462远程计算机464局域网(LAN)466广域网(WAN)468网络I/O470调制解调器。
权利要求
用于处理和管理测试数据的计算机实现的方法，所述方法包括在工具中为测试提供多个问题，所述工具正位于第一共享文件夹(112)中；在第二共享文件夹(114)上提供数据存储装置，其中所述数据存储装置包括多个数据库文件，其中所述多个数据库文件中的每个数据库文件被指派给用户名，其中所述用户名来自用于识别多个用户的用户名列表；检索(S62)所述数据库文件的时间戳的日期时间，并将所述日期时间指派给所述用户名列表中的对应的用户名；如果来自所述多个用户中的用户访问所述测试(S22；S52)，则向所述用户提供(S54)来自所述多个问题的问题子集，其中所述问题子集通过为所述多个问题中的每一个进行顺序分配被随机确定，其中所述顺序分配是基于与所述多个问题中的每一个关联的随机数字；在对应于所述用户的用户名的数据库文件中，存储(S24；S56；S63)所述测试的测试结果；以及更新(S63)所述对应数据库文件的所述时间戳。
2.如权利要求1所述的方法，其中进行所述顺序分配包括以升序根据多个问题的关联的随机数，对所述多个问题进行排序。
3.如权利要求1或2所述的方法，所述方法进一步包括在所述用户已访问所述测试之后，为来自所述多个问题中的每一个问题产生新的随机数。
4.如前面任意一项权利要求所述的方法，其中对于来自所述多个数据库文件的数据库 文件，如果关联的时间戳不同于被指派给相应用户名的日期时间(S64 ；S71)，所述方法进 一步包括访问(S67)所述数据库文件；以及向测试报告附加(S67)从所述数据库文件检索到的测试结果。
5.如前面任意一项权利要求所述的方法，其中对于来自所述多个数据库文件的数据库 文件，如果关联的时间戳不同于被指派给相应用户名的日期时间(S64;S71)，所述方法进 一步包括清除并保存(S73)被清除的数据库文件；以及检索(S74)所述被清除数据库文件的时间戳的更新的日期时间，并将所述已更新的日 期时间指派给所述相应的用户名。
6.如权利要求4或5所述的方法，其中所述数据库文件的目录信息被使用以访问所述 关联的时间戳。
7.如前面任意一项权利要求所述的方法，其中所述工具被在Excel中实施。
8.包括计算机可读指令的计算机程序产品，其中，当被加载并运行在计算机系统和/ 或计算机网络系统中时，使得所述计算机系统和/或所述计算机网络系统执行根据前面任 意一项权利要求所述的方法。
9.用于处理和管理测试数据的系统，所述系统包括位于服务器(100)上的第一共享文件夹(112)，所述第一共享文件夹(112)包括为测试 提供多个问题的工具；位于所述服务器(100)上的第二共享文件夹(114)，所述第二共享文件夹(114)存储数 据存储装置，其中所述数据存储装置包括多个数据库文件，其中所述多个数据库文件的每 一个数据库文件被指派给来自用于识别多个用户的用户名列表中的用户名；以及其中所述工具可被操作为检索所述数据库文件的时间戳的日期时间，并指派所述日期时间给所述用户名列表中的相应用户名；如果来自所述多个用户的用户从客户端计算机(120)访问所述测试，则向所述用户提 供来自所述多个问题的问题的子集，其中，通过为所述多个问题中的每一个进行顺序分配 来随机确定所述问题子集，其中所述顺序分配是基于与所述多个问题中的每一个关联的随 机数；在对应于所述用户的用户名的数据库文件中存储所述测试的测试结果；以及更新所述相应数据库文件的所述时间戳。
10.如权利要求9所述的系统，其中所述工具进一步可操作为根据所述多个问题的相关联的随机数以升序对所述多个问题进行顺序分配排序。
11.如权利要求9或10所述的系统，其中所述工具进一步可操作为在所述用户已经访问所述测试之后，为来自所述多个问题中的每一个问题产生新的随 机数。
12.如权利要求9到11中的任一项所述的系统，其中对于来自所述多个数据库文件的 数据库文件，如果相关联的时间戳不同于被指派给相应用户名的日期时间，则所述工具进 一步被操作为提供装置用于访问所述数据库文件；以及向测试报告附加从所述数据库文件检索到的测试结果。
13.如权利要求9到12中的任一项所述的系统，其中对于来自所述多个数据库文件的 数据库文件，如果相关联的时间戳不同于被指派给相应用户名的日期时间，则所述工具进 一步被操作为提供装置用于清除并保存被清除的数据库文件，以及检索所述被清除的数据库文件的时间戳的已更新日期时间，并将所述已更新日期时间 指派给所述相应的用户名。
14.如权利要求12或13所述的系统，其中所述数据库文件的目录信息被用于访问所述 时间戳。
15.如权利要求9到14中的任一项所述的系统，其中所述工具被在Excel中实施。
全文摘要
本发明公开了一种知识评估工具。本说明书尤其涉及一种用于处理和管理测试数据的计算机实现的方法、计算机程序产品以及计算机系统。用于处理和管理测试数据的计算机实现的方法可以包括为在工具中的为测试提供多个问题，所述工具位于在第一共享文件夹中；在第二共享文件夹上提供数据存储装置，其中数据存储装置包括多个数据库文件，其中多个数据库文件中的每个数据库文件被指派用户名，其中用户名来自用于识别多个用户的用户名列表；检索数据库文件的时间戳的日期时间，并分配日期时间给用户名列表中的对应的用户名；如果来自多个用户中的用户访问测试，则向用户提供来自多个问题的问题子集，其中问题子集通过为多个问题中的每一个进行顺序分配被随机确定，其中顺序分配是基于与多个问题中的每一个关联的随机数字；在数据库文件中存储测试的测试结果，数据库文件对应于用户的用户名；以及更新对应数据库文件的时间戳。
文档编号G06F17/30GK101840544SQ20101017306
公开日2010年9月22日 申请日期2010年3月9日 优先权日2009年3月9日
发明者H·Y·巴基尔 申请人:埃森哲环球服务有限公司