用于评价构想创造力的联机测试方法及联机测试服务器与流程

本发明涉及用于评价构想创造力的联机测试方法。另外，本发明涉及用于评价构想创造力的联机测试服务器。

背景技术：

近年来，由于因特网的普及，在联机上也能够进行认证考试或就业考试等各种考试。在联机考试中，通常采用通过应试者在自己的终端从服务器接收问题，应试者将自己创建的解答发送到服务器而进行考试的方法。

例如，在特开2002－62795号公报中公开了一种认证考试系统，该认证考试系统对应试者提供试题形式的问题，收集对于上述问题的回答，提供评分或解析的结果信息，其特征在于，具备：对上述应试者提供包含上述问题的出题用程序及返回对于上述问题的回答的传输用文件的步骤、接收从上述应试者返回的上述传输用文件的步骤、将上述传输用文件中包含的回答进行评分或解析的步骤、对上述应试者递送对上述回答进行了评分或解析的结果信息的步骤。

但是，不限于联机考试，在用于测定人的知识或者能力的考试中，传统上采用的是准备不论是选择式还是描述式的标准解答，将应试者的解答与该标准解答进行比较，由此决定对应试者的评价的步骤。但是，在这种传统的评分方法中，对于没有标准解答的问题难以对应试者进行评价。

于是，在特表2014－500532号公报中提案有一种对于没有标准解答的问题，在应试者间相互进行评价这样的方法。在该公报中公开有一种系统，其包括存在于计算机内的存储设备；以与上述存储设备进行通信的方式配置的处理器，其中，上述处理器如下构成：请求报考者创建基于题目的问题；从上述报考者接收上述问题；由至少1名评价者请求上述问题和上述题目的评价；从各评价者接收问题得分，上述问题得分是评价上述问题和上述题目的客观指标；接收对于各评价者的评估；然后，基于来自各评价者的上述问题得分和对于上述各评价者的评估，计算对于上述报考者的评估。

现有技术文献

专利文献

专利文献1：日本特开2002－62795号公报

专利文献2：日本特表2014－500532号公报

技术实现要素：

发明要解决的问题

无论行业类别，伴随业务的全球化，许多企业正处于比以往任何时候都严酷的竞争环境下，不管哪个企业，迅速地开发能吸引顾客的商品或者服务已成为当务之急。在这种严峻的竞争环境下，可以想象，相比具有导出如预先准备的标准解答那样的解答的能力的人才，企业成长不可或缺的是创造出新奇且独创性的构想的能力、譬如说创新能力强的人才。但是，目前，用于评价这种所谓创新能力的适当的方法不存在。在与预先准备的标准解答进行比较而评估应试者的方法中，难以评价应试者的创造性。另外，即使采用在应试者间相互评价创造性的安排，在各应试者的鉴别力不明确时，不太可能是恰当的评价。

本发明是鉴于上述情况而创立的，其课题在于，提供一种用于便利地评价构想创造力的联机测试方法及联机测试服务器。

解决课题的方案

为了解决上述课题，本发明人进行了深入研究，结果认为，对于大量的应试者，在联机上进行在限定时间内尽可能多地重复从选项中选择有关5w1h的状态设置，并描述对此的构想(通常是经营理念)之类的操作的考试，并对来自应试者的对于此的解答进行数学分析，由此，能够简单地评价较多地创造出评价高的构想的能力、广泛地创造出评价高的构想的能力及创造出稀少且评价高的构想的能力这样的创新能力。另外认为，由应试者彼此对构想进行了相互评价后，假定创造出评价高的构想的应试者作为评价者的能力也高，通过反复进行构想评价及评价者的优化并将其汇集在一起，使得能够更客观地评价应试者的创新能力，并且也能够评价应试者作为鉴定者的能力。本发明人基于上述基本思想完成了本发明。

因此，在本发明一方面中，提供一种联机测试方法，用于评价构想创造力，

联机测试方法包括以下步骤：

服务器经由网络从考试管理者终端接收测试开始的指示的步骤；

根据测试开始的指示，服务器对组合了5w1h这6个要素中的至少两个的状态设置按每个所述要素从多个选项中进行选择，从试题数据存储部提取包含描述与该选择对应的构想的试题内容的试题数据，并经由网络将其发送至各应试者终端的步骤；

服务器从各应试者终端接收包含应试者对于所述试题的解答内容的解答数据的步骤；

服务器对包含在由计时器预先设定的限制时间内接收到的解答内容的解答数据分别赋予标识符，将其与发送解答数据的应试者的标识符附加关联并存储于解答数据存储部的步骤；

服务器取得由随机数产生装置产生的随机数，使用该随机数决定应评价存储于解答数据存储部的各解答数据中的解答内容的应试者的步骤；

服务器按照决定所述应评价的应试者的步骤的结果，从解答数据存储部提取各应试者应评价的解答数据，并经由网络发送到各应试者终端的步骤；

服务器从各应试者终端接收包含应试者对解答数据中的解答内容的评价的解答评价数据的步骤；

服务器对接收到的解答评价数据赋予标识符，使其与作为发送所述解答评价数据的评价者的应试者的标识符、所评价的解答数据的标识符及发送所评价的解答数据的应试者的标识符附加关联，将解答评价数据存储于解答评价数据存储部的步骤；

服务器基于存储于解答评价数据存储部的各解答评价数据及解答数据的标识符，将对于各解答数据中的解答内容的评价进行汇总，由此计算出对于各解答内容的评分，使其与发送包含各解答内容的解答数据的应试者的标识符附加关联并存储于解答数据存储部的步骤；

服务器至少部分地基于对与解答数据的标识符及发送解答数据的应试者的标识符附加关联并存储于解答数据存储部的解答内容的评分，按每一个发送解答数据的应试者的标识符计算出合计评分，将该合计评分与发送解答数据的应试者的标识符附加关联并存储于应试者评价数据存储部的步骤，

其中，计算合计评分时，对于给予各解答内容的评分，将按照以下(1)～(3)的至少一个加权基准赋予加权作为条件：

(1)将赋予了同一应试者的标识符的多个解答数据按每一选项的组合进行分类，对于同一选项的组合的解答数据的标识符存在多个时，以越是所赋予的评分低的解答内容加权后的评分越低的方式，对给予各解答内容的评分赋予加权；

(2)对赋予了同一应试者的标识符的多个解答数据，将选项的组合数值坐标化，计算其中心点，以越是具有距中心点的距离大的组合的解答内容加权后的评分越高的方式，对给予解答内容的评分赋予加权；

(3)对根据试题内容假定的所有各选项的组合，将与作为解答内容而具有该选项的组合的解答数据的标识符相关联的评分进行总计，由此计算该选项的组合的整体所得评分，以越是具有整体所得评分低的选项的组合的解答内容加权后的评分越高的方式，对给予各解答内容的评分赋予加权；

服务器提取存储于应试者评价数据存储部的包含对于各应试者的合计评分的应试者评价数据，经由网络发送到对应的应试者终端的步骤。

在本发明的联机测试方法的一实施方式中，还包括：

服务器实施了计算对于各应试者的合计评分，使其与应试者的标识符附加关联并存储于应试者评价数据存储部的所述步骤之后，

服务器基于应试者的标识符及与该应试者的标识符附加关联的合计评分，对应试者进行排位，将越是与位次高的应试者的标识符附加关联的评价越对评价赋予加权作为条件，对解答数据的每一标识符重新汇总对于解答内容的评价并对其进行评分，将得到的修正后的评分与解答数据的标识符附加关联并存储于解答数据存储部的步骤x；

服务器基于给予存储于解答数据存储部的各解答内容的修正后的评分及应试者的标识符，按照所述(1)～(3)的至少一个评价程序，计算对于各应试者的修正后的合计评分，将其与应试者的标识符附加关联并存储于应试者评价数据存储部的步骤y。

在本发明的联机测试方法的另一实施方式中，将对于各应试者的修正后的合计评分看作对于各应试者的合计评分，服务器重复一次以上步骤x及步骤y。

在本发明的联机测试方法的再另一实施方式中，还包括：

服务器将对于存储于解答评价数据存储部的与作为评价者的应试者的标识符附加关联的各解答内容的评价和给予存储于解答数据存储部的该解答内容的修正前或修正后的评分进行对比，对每一应试者汇总两者的近似性，由此计算各应试者的评价精度，将该评价精度与各应试者的标识符附加关联并存储于应试者评价数据存储部的步骤；

服务器基于应试者的标识符而提取存储于应试者评价数据存储部的包含对于各应试者的评价精度的应试者评价数据，并经由网络发送到对应的应试者终端的步骤。

在本发明的联机测试方法的再一实施方式中，还包括：

将包含二人以上的样本应试者的解答内容的解答数据与解答数据的标识符附加关联并存储于解答数据存储部，

服务器基于各应试者的合计评分或在进行了修正的情况下为修正后的合计评分，计算也包含样本应试者或不含样本应试者的应试者整体的合计评分的平均值a1的步骤；

服务器基于样本应试者的合计评分或在进行了修正的情况下为修正后的合计评分，计算其平均值a2的步骤；

服务器计算a1及a2的差的步骤；

服务器以将应试者整体的合计评分的平均值从a1修正为a2的方式，从各应试者的合计评分分别减去a1及a2的差，将通过该减法运算而标准化后的各应试者的合计评分与应试者的标识符附加关联并存储于应试者评价数据存储部的步骤；

服务器基于应试者的标识符，提取存储于应试者评价数据存储部的包含各应试者的被标准化后的合计评分的应试者评价数据，并经由网络发送到对应的应试者终端的步骤。

在本发明的联机测试方法的再一实施方式中，还包括：

将包含二人以上的样本应试者的解答内容的解答数据与解答数据的标识符附加关联并存储于解答数据存储部，

服务器基于各应试者的合计评分或在进行了修正的情况下为修正后的合计评分，计算也包含样本应试者或不含样本应试者的应试者整体的合计评分的平均值a1的步骤；

服务器基于样本应试者的合计评分或在进行了修正的情况下为修正后的合计评分，计算其平均值a2的步骤；

服务器计算a1及a2的差的步骤；

服务器以将应试者整体的合计评分的平均值从a1修正为a2的方式，从各应试者的合计评分分别减去a1及a2的差，将通过该减法运算而标准化后的各应试者的合计评分与应试者的标识符附加关联并存储于应试者评价数据存储部的步骤；

服务器基于各应试者的合计评分或在进行了修正的情况下为修正后的合计评分，计算也包含样本应试者或不含样本应试者的应试者整体的合计评分的标准偏差d1的步骤；

服务器基于样本应试者的合计评分或在进行了修正的情况下为修正后的合计评分，计算样本应试者的标准偏差d2的步骤；

服务器计算d1和d2之比的步骤；

服务器以将应试者整体的标准偏差从d1修正为d2的方式，相对于与各应试者的合计评分的平均值a1的差乘以d1和d2之比，

将通过该乘法运算所得的值加上平均值a1，将由此而标准化后的各应试者的合计评分与应试者的标识符附加关联并存储于应试者评价数据存储部的步骤；

服务器基于应试者的标识符，提取存储于应试者评价数据存储部的包含各应试者的标准化后的合计评分的应试者评价数据，并经由网络发送到对应的应试者终端的步骤。

本发明另一方面提供一种联机测试服务器，是用于评价构想创造力的联机测试服务器，其具备收发部、控制部、存储部、计时器及随机数产生装置，

所述存储部具有：

应试者账户数据存储部，其用于将各应试者的账户信息与应试者的标识符附加关联而存储；

试题数据存储部，其用于对组合了5w1h这6个要素中的至少两个的状态设置按每个所述要素从多个选项中进行选择，存储包含描述与该选择对应的构想的试题内容的试题数据；

解答数据存储部，其用于将包含应试者对于由收发部接收到的试题的解答内容的解答数据，与该解答数据的标识符一起与发送该解答数据的应试者的标识符附加关联而存储；

解答评价数据存储部，其用于将包含应试者对于由收发部接收到的解答数据中的解答内容进行的评价的解答评价数据，与该解答评价数据的标识符一起与发送该解答评价数据的应试者的标识符、所评价的解答数据的标识符及发送所评价的解答数据的应试者的标识符附加关联而存储；

应试者评价数据存储部，其用于将对应试者的合计评分与应试者的标识符附加关联而存储，

所述控制部具备数据注册部、试题提取部、限制时间判断部、评价者决定部、解答提取部、解答评价部、应试者评价部及应试者评价提取部，

通过限制时间判断部判断为在限制时间内接收到由收发部接收的解答数据时，数据注册部能够对该解答数据赋予标识符，使其与发送该解答数据的应试者的标识符附加关联并存储于解答数据存储部；对由收发部接收的解答评价数据赋予标识符，使其与发送该解答评价数据的应试者的标识符及所评价的解答数据的标识符附加关联并存储于解答评价数据存储部，

当收发部接收到来自考试管理者终端的指示时，试题提取部能够从试题数据存储部提取试题数据，并将其从收发部经由网络同步发送到各应试者终端，且能够按照限制时间判断部的指示，从试题数据存储部提取试题数据，并将其从收发部经由网络个别地发送到对应的应试者终端，

限制时间判断部能够利用计数器判断由收发部接收到从应试者终端发送的解答数据的时间点是否在限制时间内，判断的结果判断为在限制时间内时，能够向数据注册部发出指示，使其对该解答数据赋予标识符，与发送该解答数据的应试者的标识符附加关联并存储于解答数据存储部，且能够对试题提取部发出指示，使其将所述解答数据以可显示的形式从收发部再次发送到发送该解答数据的应试者的应试者终端，

当收发部接收到来自考试管理者终端的指示时，评价者决定部能够取得由随机数产生装置产生的随机数，并使用该随机数将应试者的标识符与每一解答数据的标识符附加关联，由此决定应评价存储于解答数据存储部的各解答数据中的解答内容的应试者，将其作为评价者

解答提取部能够按照评价者决定部进行的所述应评价的应试者的决定，基于解答数据的标识符和作为评价者与该解答数据的标识符附加关联的应试者的标识符，提取各应试者应评价的解答数据，并将其从收发部经由网络发送到对应的应试者终端，

解答评价部能够基于应试者对存储于解答评价数据存储部的解答内容的评价及与该解答内容对应的解答数据的标识符，对每一解答数据的标识符汇总对于解答内容的评价并对其进行评分，将得到的评分与解答数据的标识符附加关联并存储于解答数据存储部，

应试者评价部至少部分地基于与解答数据的标识符及与发送解答数据的应试者的标识符附加关联并存储于解答数据存储部的对于解答内容的评分，对发送解答数据的每一应试者的标识符计算合计评分，将该合计评分与发送解答数据的应试者的标识符附加关联并存储于应试者评价数据存储部，

其中，计算合计评分时，对于给予各解答内容的评分，将按照以下(1)～(3)的至少一个加权基准赋予加权作为条件：

(1)将赋予了同一应试者的标识符的多个解答数据按每一选项的组合进行分类，对于同一选项的组合的解答数据的标识符存在多个时，以越是所赋予的评分低的解答内容加权后的评分越低；

(2)对赋予了同一应试者的标识符的多个解答数据，将选项的组合进行数值坐标化，计算其中心点，以越是具有距中心点的距离大的组合的解答内容加权后的评分越高的方式，对给予解答内容的评分赋予加权；

(3)对于根据试题内容而假想的所有各选项的组合，将使该选项的组合与作为解答内容而具有的解答数据的标识符附加关联的评分进行总计，由此计算该选项的组合的整体所得评分，以越是具有整体获得的评分低的选项的组合的解答内容加权后的评分越高的方式，对给予各解答内容的评分赋予加权；

应试者评价提取部基于应试者的标识符而提取包含存储于应试者评价数据存储部的对于各应试者的合计评分的应试者评价数据，将其从收发部经由网络发送到对应的应试者终端。

在本发明的联机测试服务器的一实施方式中，解答评价部还能够基于应试者的标识符及与该应试者的标识符附加关联的合计评分对应试者进行排位，将越是与位次高的应试者的标识符附加关联的评价越对评价赋予加权作为条件，对每一解答数据的标识符重新汇总对于解答内容的评价并对其进行评分，将得到的修正后的评分与解答数据的标识符附加关联并存储于解答数据存储部，且，应试者评价部还能够至少一部分地基于与解答数据的标识符及应试者的标识符附加关联并存储于解答数据存储部的对于解答内容的修正后的评分，对每一应试者的标识符计算修正后的合计评分。

在本发明的联机测试服务器的另一实施方式中，还具备评价精度运算部，评价精度运算部能够将对于存储于解答评价数据存储部的与作为评价者的应试者的标识符附加关联的各解答内容的评价、和赋予存储于解答数据存储部的该解答内容的修正前或修正后的评分进行对比，按每个应试者汇总两者的近似性，由此计算各应试者的评价精度，将该评价精度与各应试者的标识符附加关联并存储于应试者评价数据存储部，

应试者评价提取部还能够基于应试者的标识符而提取存储于应试者评价数据存储部的包含对于各应试者的评价精度的应试者评价数据，并将其从收发部经由网络发送到对应的应试者终端。

在本发明的联机测试服务器的再一实施方式中，

在解答数据存储部，与解答数据的标识符附加关联而存储有包含二人以上的样本应试者的解答内容的解答数据，

还具备得分标准化部，得分标准化部能够基于由应试者评价部计算出的各应试者的合计评分或在进行了修正的情况下为修正后的合计评分，计算也包含样本应试者或不含样本应试者的应试者整体的合计评分的平均值a1，

能够基于由应试者评价部计算出的样本应试者的合计评分或在进行了修正的情况下为修正后的合计评分，计算其平均值a2；

能够计算得到的a1及a2的差；

能够从各应试者的合计评分分别减去a1及a2的差，使应试者整体的合计评分的平均值从a1修正为a2，将通过该减法运算而标准化后的各应试者的合计评分与应试者的标识符附加关联并存储于应试者评价数据存储部，

应试者评价提取部能够基于应试者的标识符而提取存储于应试者评价数据存储部的包含对于各应试者的减法运算后的合计评分的应试者评价数据，并将其从收发部经由网络发送到对应的应试者终端。

在本发明的联机测试服务器的再一实施方式中，

在解答数据存储部，与解答数据的标识符附加关联而存储有包含二人以上的样本应试者的解答内容的解答数据，

还具备得分标准化部，得分标准化部能够基于由应试者评价部计算出的各应试者的合计评分或在进行了修正的情况下为修正后的合计评分，计算也包含样本应试者或不含样本应试者的应试者整体的合计评分的平均值a1，

基于由应试者评价部计算出的样本应试者的合计评分或在进行了修正的情况下为修正后的合计评分，计算其平均值a2，

能够计算得到的a1及a2的差，

从各应试者的合计评分分别减去a1及a2的差，使应试者整体的合计评分的平均值从a1修正为a2，将通过该减法运算后的各应试者的合计评分与应试者的标识符附加关联并存储于应试者评价数据存储部，

得分标准化部还能够基于由应试者评价部计算出的各应试者的合计评分或在进行了修正的情况下为修正后的合计评分，计算也包含样本应试者或不含样本应试者的应试者整体的合计评分的标准偏差d1，

基于由应试者评价部计算出的样本应试者的合计评分或在进行了修正的情况下为修正后的合计评分，计算由应试者评价部计算出的样本应试者的标准偏差d2，

能够计算得到的d1和d2之比，

能够相对于各应试者的合计评分与平均值a1的差，乘以d1和d2之比，使应试者整体的标准偏差从d1修正为d2，将通过该乘法运算所得的值加上平均值a1，将由此而标准化后的各应试者的合计评分与应试者的标识符附加关联并存储于应试者评价数据存储部，

应试者评价提取部基于应试者的标识符，提取存储于应试者评价数据存储部的包含对于各应试者的标准化后的合计评分的应试者评价数据，并将其从收发部经由网络发送到对应的应试者终端。

在本发明再一方面中，提供一种程序，用于使计算机执行本发明的联机测试方法。

在本发明再一方面中，提供一种计算机可读取的记录介质，记录有本发明的程序。

发明效果

根据本发明一实施方式，可以提供用于评价应试者的构想创造力的简单的工具。考试结果能够帮助企业进行人才的适当配置及培养。特别是，通过将构想创造力高的人才分配给新业务开发部门，能够期待设计独特的产品或服务的开发促进。另外，获得作为应试者，也能够通过把握有关构想创造力的自身的特性和成长空间，选择适宜自身的事业的优点。

按照本发明的另一实施方式，使应试者间相互评价解答评价部时，能够基于大量的评价来测定各应试者的构想创造力，所以能够做出更加客观的评价。而且，除构想创造力本身以外，还可以测定作为评价他人的构想创造力的鉴别力的能力。

附图说明

图1表示本发明的联机考试的一实施方式的步骤的概念图。

图2表示通过本发明的联机考试的一实施方式而得到的评价结果的概念图。

图3表示在本发明的联机考试的一实施方式中进行的构想的排位及相互评价的重复的概念图。

图4表示本发明的联机考试系统的整体构成的例子。

图5表示服务器、应试者终端、考试管理者终端及服务器管理者终端的基本的硬件结构例。

图6是表示服务器的功能块图的一个例子。

图7表示试题数据文件的表结构的例子。

图8表示解答数据文件中的一个解答数据的表结构的例子。

图9表示解答评价数据文件中的一个解答评价数据的表结构的例子。

图10表示应试者评价数据文件中的一个应试者评价数据的表结构的例子。

图11表示存储有应试者账户数据文件中的一名应试者的账户信息的表结构的例子。

图12表示存储有考试管理者账户数据文件中的考试管理者账户信息的表结构的例子。

图13表示存储有服务器管理者账户数据文件中的管理者账户信息的表结构的例子。

图14表示存储有考试条件数据文件中的考试条件信息的表结构的例子。

图15表示存储有后半测试进展管理数据文件中的后半测试的进展状况的表结构的例子。

图16是显示于应试者终端的首页的画面的一个例子。

图17是显示于应试者终端的应试者用页面的菜单画面的一个例子。

图18是显示于应试者终端的应试者用页面的前半测试画面的一个例子。

图19是显示于应试者终端的应试者用页面的后半测试画面的一个例子。

图20是显示于应试者终端的应试者用页面的评分结果画面的一个例子。

图21是显示于考试管理者终端的考试管理者用页面的管理画面的一个例子。

图22是显示于考试管理者终端的考试管理者用页面的考试条件设定画面的一个例子。

图23是显示于服务器管理者终端的服务器管理者用页面的考试管理者的账户信息输入画面的一个例子。

图24是显示于服务器管理者终端的服务器管理者用页面的试题内容输入画面的一个例子。

图25是表示从考试管理者访问服务器进行应试者注册及考试条件输入开始到构想创造力测试(前半测试)的测试画面被显示于应试者终端的处理的流程的流程图。

图26是表示从构想创造力测试(前半测试)的开始到前半测试结束的处理的流程的流程图。

图27是表示从构想评价测试(后半测试)的开始到后半测试结束的处理的流程的流程图。

图28是表示构想评价测试(后半测试)的结束后，到由服务器进行应试者的评分，将其结果发送到应试者及考试管理者为止的处理的流程的流程图。

具体实施方式

以下，参照附图详细说明用于评价本发明的构想创造力的联机测试方法的实施方式，但本发明不限于这些实施方式。

将本发明第一实施方式的联机测试的概念图示于图1及图2。在前半测试中，应试者从“是谁”、“在哪儿”、“做什么”之类的有关5w1h的要素的选项中选择，描述所选择的选项中内在的构想。只要在考试时间内，应试者能够重复执行选项的选择及构想的描述。由各应试者创造出的构想在后半测试中，由多个自己以外的应试者做出○/×等评价。基于该相互评价的结果，计算有关各应试者的构想创造力的指标。由于试题内容是选择式，因此通过将选项的组合数值化，获得的计算结果可以容易地在多维空间上进行绘制。由此，如图2所示，在视觉上也能够掌握例如由各应试者创造出的构想的从应试者整体上看到的分布或倾向(表示该应试者的构想的多少、内容的广度、稀少性等)。企业等的考试管理者通过将该结果按每一应试者进行汇总，除该企业具有的各人才的构想创造力之外，还能够在视觉上掌握有关构想创造力的人才的分布。

＜1.系统构成＞

图4表示本实施方式的联机考试系统的整体构成。本系统具备服务器11、第1至第n的多个应试者终端12、考试管理者终端13、服务器管理者终端15，应试者终端12、考试管理者终端13及服务器管理者终端15通过因特网、专用线路或公共网之类的计算机网络14与服务器11可相互通信地连接。服务器管理者终端15不一定需要设为与服务器11独立的终端，服务器管理者终端15的功能也可以由服务器11承担。

[网络]

计算机网络14没有限定，例如可以为lan(localareanetwork)或wan(wideareanetwork)等有线网络，可以是使用mimo(multiple-inputmultiple-output)的wlan(wirelesslocalareanetwork)等无线网络。或者也可以是使用tcp/ip(transmissioncontrolprotocol/internetprotocol)等通信协议的因特网(internet)、或者介于起到作为所谓的无线lan接入点(wirelesslanaccesspoint)的作用的基站(未图示)等之间的网络。

所谓服务器意思是服务器·计算机，可以由1台或多台计算机的协作构成。应试者终端12及考试管理者终端13可以通过搭载有浏览器的个人计算机来实现，但不限于此，可以由智能手机、平板电脑、手机、可移动及pda之类的便携式的终端、以及数字电视等可进行计算机网络的通信的设备或装置类构成。

服务器11、应试者终端12、考试管理者终端13及服务器管理者终端15的基本的硬件结构是共通的，如图5所示，可通过具有运算装置201、存储装置202、输出装置203、输入装置204及通信装置205的计算机200实现。另外，根据需要也可以具备随机数产生装置206及计时器207。

运算装置201是指控制计算机整体，以由输入装置204输入的命令、指示及数据、或者存储于存储装置202的数据等为基础，按照程序执行运算处理的装置及电路等。作为运算装置201，例如可以采用cpu(centralprocessingunit)、mpu(microprocessingunit)等。

存储装置202是指存储各种数据、操作系统(os)、网络应用(例：服务器11侧的网络服务器软件、应试者终端12、考试管理者终端13及服务器管理者终端15的浏览器)及用于执行各种运算处理的程序等的装置、电路等，例如，可以使用主要使用半导体存储器的一次存储装置、主要使用硬盘驱动器或半导体磁盘的二次存储装置(辅助存储装置)、主要使用cd－rom驱动器等可移动媒体驱动器的脱机存储器、磁带库等公知的存储装置等。更具体而言，除硬盘驱动器、软(注册商标)盘驱动器、zip驱动器、磁带存储器等使用磁记录介质的磁存储装置之外，还可以采用利用寄存器、高速缓冲存储器、rom、ram、闪存存储器(例如usb存储器)、半导体磁盘(例如ram盘、虚拟磁盘)等半导体存储器的存储电路或存储装置、利用cd、dvd等光学记录介质、mo等光磁盘的光学存储装置、其它利用纸带或者穿孔卡片等的存储装置、使用被称为pram(phasechangeram、相变存储器)的相变记录技术的存储装置、使用全息照相存储器、三维光存储器的存储装置、使用存储以分子级进行电荷蓄积而存储信息的分子存储器的存储装置等。

输出装置203是实现数据或命令的输出的装置、电路等的接口，除lcd或有机el等显示器之外，可以采用打印机、扬声器等。

输入装置204是用于对运算装置201赋予数据或命令的接口，可以采用键盘、数字键、鼠标等指示设备、触摸面板、读出器(ocr)、输入画面、麦克风等声音输入接口等。

通信装置205是实现与装置外部的数据的收发的装置、电路，例如是用于与lan端口、调制解调器、无线lan、路由器等网络连接的接口。可以经由计算机网络14收发运算装置201的处理结果或者存储装置202中存储的信息。

随机数产生装置206是能够提供随机数的装置。

计时器207是能够测量及通知时间的装置。

[服务器]

图6表示服务器11的功能块图的一个例子。服务器11具备收发部310、控制部320、存储部340。

在服务器11的存储部340，可以存储出题数据文件341、解答数据文件342、解答评价数据文件343、应试者评价数据文件344、应试者账户数据文件345、考试管理者账户数据文件346、服务器管理者账户数据文件347、考试条件数据文件348及后半测试进展管理数据文件349。这些文件可以根据数据的种类分别准备，也可以将多种数据汇总存储在一个文件中。

可以在试题数据文件341中保存用于解答构想的试题内容。图7表示试题数据文件341的表结构的例子。从能够简便地分析、评价创造力的观点出发，优选试题的至少一部分是选择式的试题，在一实施方式中，可以设为对组合了5w1h这6个要素中的至少两个的状态设置按上述每个要素从多个选项中选择的试题。在本发明的具体的实施方式之一中，试题以选择式分别赋予“是谁”、“在哪儿”、“何时”、“做什么”各要素，应试者选择这些各要素的组合而进行解答。例如，作为“是谁”的选项的例子，可举出儿童、大人、女性、男性、老人。另外，优选的是，对于各要素的组合，应试者将蕴藏怎样的构想(例如经营理念)记入描述式的解答栏。由此，能够具体地掌握应试者的构想，评价者对于该构想的评价也容易。描述式的解答栏可以是一个或多个，但例如可以描述从来自上述选项的组合产生的“需求(例如业务需求)”及“构想(例如针对需求的解决方案)”。图18表示显示于应试者终端12的考试画面的一个例子。

在解答数据文件342中，能够以可检索的状态保存应试者对于上述试题的解答内容。图8表示解答数据文件中的一个解答数据的表结构的例子。在该表中能够存储该解答数据的标识符即构想解答id、发送该解答数据的应试者的标识符即应试id(应试编号)、对于选择式的试题的解答、对于描述式试题的解答、该解答数据的得分计算结果及表示应试者的状态(应试开始前、实施中、就业等)的情形。得分计算结果是对于该解答数据的评分(评分结果)，可以保存通过基于存储于解答评价数据文件343的各解答评价数据及解答数据的标识符，将对于各解答数据中的解答内容的评价进行汇总而计算出的对于各解答内容的评分。得分计算结果可以如后述进行1次以上的修正，因此，也可以在解答评价数据文件343中将每次进行修正时获得的得分计算结果作为“得分计算结果1”、“得分计算结果2”等进行保存。

为了后述的得分的标准化，在解答数据文件342中，也可以与样本用的构想解答id附加关联而预先存储包含二人以上的样本应试者的解答内容的解答数据。从提高标准化的效果的观点出发，样本应试者的解答数据优选为5人以上，更优选为8人以上，但如果人数过多，则评价该解答的应试者的负担变重，因此通常设为15人以下，优选为12人以下。

在解答评价数据文件343中，能够以可检索的状态保存包含评价者(例如应试者)对于各解答内容的评价的解答评价数据。图9表示解答评价数据文件343中的一个解答评价数据的表结构的例子。该表中能够存储该解答评价数据的标识符即解答评价id、成为评价对象的解答数据的标识符即构想解答id、评价者的应试id、发送成为评价对象的解答数据的应试者的标识符即应试id、表示评价者对于解答内容的评价结果的解答评价、及表示评价前、评价结束等进展状况的情形。解答评价可以是○×形式或者good或bad那样的择一式，也可以用规定范围内的评分来表现。

在应试者评价数据文件344中，能够以可检索的状态保存对于各应试者的评价结果。图10表示应试者评价数据文件344中的一个应试者评价数据的表结构的例子。在该表中可以存储应试者的标识符即应试id及应试者按每一应试id的总得分即得分计算结果。得分计算结果可以如后述进行1次以上修正，因此，在应试者评价数据文件344中也可以将每次进行修正时获得的得分计算结果作为得分计算结果1”、“得分计算结果2”等进行保存。另外，在该表中，可以存储表示应试者或考试管理者创建并注册该账户的日期的注册日期、前半测试(构想创造力测试)开放日期(在教室等内同步实施的情况下，是指前半测试应试日期。另一方面，在以远程实施等方式开始的定时留给应试者的情况下，是指应试者可以应试前半测试的日期。)、前半测试的截止日期(在教室等内同步实施的情况下，是指前半测试结束日期。另一方面，在以远程实施等方式开始的定时留给应试者的情况下，是指应试者应完成前半测试的日期。)、后半测试(在应试者间进行构想相互评价的测试)的开放日期(在教室等内同步实施的情况下，是指后半测试应试日期。另一方面，在以远程实施等方式开始的定时留给应试者的情况下，是指应试者可以应试后半测试的日期。)、后半测试的截止日期(在教室等内同步实施的情况下，是指后半测试结束日期，另一方面，在以远程实施等方式开始的定时留给应试者的情况下，是指应试者应结束后半测试的日期。)、表示评价开始前、评价中、评价结束等进展状况的情形。除存储应试id之外，还可以存储应试者的标识符即个人id。应试id及个人id均为应试者的标识符的一种，但除存储有成为应试编号的应试id之外，还另外存储有特定个人的个人id，由此，例如在同一人进行多次应试的情况下，可以容易地分析应试结果的推移。

在应试者账户数据文件345中，能够以可检索的状态保存各应试者的账户信息。图11表示存储有应试者账户数据文件345中的一名应试者的账户信息的表结构的例子。在该表中可以存储应试者的个人id、应试id、该应试者所属的团体的团体id、员工编号等该团体内的id、姓名、姓名的送假名、邮件地址、部门名称、出生年月日、邮政编码、住址、账户开设日期、登录pw、情形等。作为情形，可举出未应试、前半测试应试中、前半测试应试结束、后半测试应试中、后半测试应试结束等有关考试的进展状况的信息。

在考试管理者账户数据文件346中，能够以可检索的状态保存考试管理者、例如应试者所属的企业等团体的账户信息。图12表示存储有考试管理者账户数据文件346中的考试管理者账户信息的表结构的例子。在考试管理者是企业等团体的情况下，在该表中可以存储团体id、团体名、团体名的送假名、团体的邮政编码及住址、负责部门名称、负责人的送假名、电话号码及邮件地址、账户开设日期、登录pw、情形等。作为情形，可举出“已关闭账户”等与考试管理者账户的存续相关的信息。

在服务器管理者账户数据文件347中，能够以可检索的状态保存服务器管理者的账户信息。图13表示存储有服务器管理者账户数据文件347中的管理者账户信息的表结构的例子。在该表中可以存储服务器管理者id、密码、账户创建日期、权限等级。

在考试条件数据文件348中，能够保存有关考试条件的信息。图14表示存储有考试条件数据文件348中的考试条件信息的表结构的例子。可以存储考试条件id、前半测试的开放日期、前半测试的截止日期、前半测试的考试时间、前半测试的中断·再开始与否、后半测试的开放日期、后半测试的截止日期、对于后半测试中的1构想的评价人数、外部访问许可范围等考试条件。所谓对于1构想的评价人数，是指评价一个解答内容的评价者的人数。该人数多的一方，能够收集来自大量的评价者的评价，所以客观性高，因此，优选为多人，更优选为5人以上，进一步优选为10人以上，但只要考虑考试时间或者应试者人数而设定实际的人数(例如5～20人的范围)即可。

在后半测试进展管理数据文件349中，可以保存有关应试者实施相互评价的后半测试的进展的信息。图15表示存储有后半测试进展管理数据文件349中的后半测试进展状况的表结构的例子。存储有应试id、该应试id的应试者应评价的构想解答id、必要评价数、已评价数等。

在上述数据文件的表中，对于各字段采用int(整数型)、text(文字列型)、float(浮点型)、crypt(加密字符串型)及date(日期时间型)等数据型，但数据型不限定于图示的方式，可以根据需要适当地变更。

服务器11可以通过收发部310，经由网络14与应试者终端12、考试管理者终端13及服务器管理者终端15进行各种数据的交换。例如，收发部310可以从考试管理者终端13接收测试开始的指示，可以将存储于试题数据文件341的试题数据以可显示的方式发送至各应试者终端12，可以从各应试者终端12接收包含应试者对于试题的解答内容的解答数据，可以将存储于解答数据文件342的各应试者应评价的解答数据以可显示的方式发送至各应试者终端12，可以从各应试者终端12接收包含应试者对于解答内容进行的评价的解答评价数据，可以将存储于应试者评价数据文件344的包含表示对于各应试者的构想创造力和/或鉴别力的评价结果的应试者评价数据，以可显示的方式发送至各应试者终端12。

服务器11的控制部320具有认证处理部321、数据注册部322、提问提取部323、限制时间判断部324、评价者决定部325、解答提取部326、解答评价部327、应试者评价部328、应试者评价提取部329、评价精度运算部330、得分标准化部331及评价数判断部332，各部可以分别基于程序进行所希望的运算。

认证处理部321可以基于来自应试者终端12的访问请求，对应试id及密码进行认证。例如，来自应试者终端12的访问请求可以通过在如图16所示的应试者终端12的首页画面上输入所显示的应试id及密码并点击画面上的登录按钮而执行。应试者的应试id及密码可以使用从服务器管理者预先赋予的id及密码。认证处理可以通过认证处理部321参照应试者账户数据文件345，判断所输入的应试id及密码与存储于应试者账户数据文件345内的数据是否一致来进行。在所输入的应试id及密码与所存储的数据一致的情况下，可以将应试者用页面的画面数据(例如图17及图18所记载的菜单画面或测试画面)从收发部310发送到该应试者终端12。在不一致的情况下，可以发送错误消息。

另外，认证处理部321可以基于来自考试管理者终端13的访问请求，对团体id及密码进行认证。考试管理者的管理者id及密码可以使用从服务器管理者预先赋予的id及密码。认证处理可以通过认证处理部321参照考试管理者账户数据文件346来判断所输入的管理者id及密码与存储于考试管理者账户数据文件346内的数据是否一致来进行。在所输入的管理者id及密码与所存储的数据一致的情况下，将考试管理者用页面的画面数据(例如图21及图22所记载的测试管理画面)从收发部310发送到该考试管理者终端13。在不一致的情况下，可以发送错误消息。

另外，认证处理部321可以基于来自服务器管理者终端15的访问请求，对服务器管理者id及密码进行认证。服务器管理者的管理者id及密码可以使用自己预先设定的id及密码。认证处理可以通过认证处理部321参照服务器管理者账户数据文件347来判断所输入的管理者id及密码与存储于服务器管理者账户数据文件347内的数据是否一致来进行。在所输入的管理者id及密码与所存储的数据一致的情况下，可以将服务器管理者用页面的画面数据(例如图23中记载的管理画面)从收发部310发送到该服务器管理者终端15。在不一致的情况下，可以发送错误消息。

数据注册部322可以进行应试者的注册。例如，当应试者所属的企业等的考试管理者按照上述步骤并利用考试管理者终端13进行登录时，在考试管理者终端13显示图21所示的考试管理者画面。当考试管理者点击“应试者批量追加”或“应试者个别追加”的按钮时，图中未图示，但在考试管理者终端13显示输入应试者的账户信息的画面，在该画面上可以输入应试者的个人id、应试id、该应试者所属的团体的团体id、员工编号等应试者账户数据文件345中应保存的规定的应试者账户信息。在输入结束后，通过点击“csvupload批量”或“csvupload个别”的按钮，可以将应试者账户信息发送到服务器11。这样，发送到服务器11的应试者的账户信息被服务器11的收发部310接收，数据注册部322可以将接收到的信息保存到应试者账户数据文件345。

另外，数据注册部322可以进行考试条件的注册。例如，当考试管理者在图21所示的考试管理者画面上点击“考试条件设定”的按钮时，则切换为图22所示的画面，考试管理者可以在该画面上输入前半测试的开放日期、前半测试的截止日期、考试时间、考试会场、考试中断再开始与否、对于1构想的评价人数、后半测试的截止日期等应存储于考试条件数据文件348的信息。输入结束后，点击“考试条件发送”按钮，由此，可以向服务器11发送考试条件。这样，发送到服务器11的考试条件信息由服务器11的收发部310接收，数据注册部322可以将接收到的信息与考试条件id一起保存到考试条件数据文件348。考试条件id也可以由服务器管理者通过手动作业个别地赋予，也可以在服务器11将考试条件信息保存于数据注册部322时，按照预定的规则自动地分配。

另外，数据注册部322可以进行考试管理者的注册。在服务器管理者(换言之，为联机考试系统提供者)按照上述步骤利用服务器管理者终端15进行登录时，在服务器管理者终端15显示图23的左侧所示的服务器管理者画面。当点击与服务器管理者要设定的项目对应的“详细”的按钮时，在服务器管理者终端15显示输入图23的右侧所示的考试管理者的账户信息的画面，可以在该画面上输入考试管理者的团体id、负责人、联系地址等应保存于考试管理者账户数据文件346的规定的考试管理者账户信息。在输入结束后，通过点击“保存”按钮，可以将考试管理者账户信息发送到服务器11。这样，发送到服务器11的考试管理者的账户信息可以由服务器11的收发部310接收，数据注册部322可以将所接收的信息保存到考试管理者账户数据文件346。

另外，数据注册部322可以进行试题内容的注册。例如，当服务器管理者按照上述步骤利用服务器管理者终端15进行登录时，在服务器管理者终端15显示图23所示的服务器管理者画面。当服务器管理者点击与“试题设定”对应的“详细”按钮时，在服务器管理者终端15显示输入如图24所示的试题内容的画面，可以在该画面上输入试题内容。在输入结束后，通过点击“保存”按钮，可以将试题内容发送到服务器11。这样，发送到服务器11的试题内容可以由服务器11的收发部310接收，数据注册部322可以将接收到的信息保存到试题数据文件341。

另外，数据注册部322可以进行解答内容的注册。例如，如果在应试者终端12显示尝试如图18所示的构想创造力的前半测试的应试者用画面时，输入应试者针对于试题的解答内容并点击“下一步”按钮，来自该应试者的解答数据则经由网络14发送到服务器11。数据注册部322在通过限制时间判断部324判断为由收发部310接收的包含解答内容的解答数据在限制时间内接收到的情况下，可以对该解答数据赋予构想解答id，将该解答数据与发送的应试者的应试id等附加关联并将该解答数据存储到解答数据文件342。

另外，数据注册部322可以进行解答评价的注册。例如，如果在应试者终端12显示评价如图19所示的其它应试者的构想的后半测试的应试者用画面时，输入应试者对于构想的解答评价(在此，点击“good”或“notgood”任一按钮)并点击“下一步”按钮，来自该应试者的解答评价数据则经由网络14发送到服务器11。数据注册部322在收发部310接收到解答评价数据时，可以对该解答评价数据赋予解答评价id，将该解答评价数据与发送的应试者的应试id及构想解答id等附加关联，将该解答评价数据存储于解答评价数据文件343。在后半测试中，也可以与前半测试相同，仅在通过限制时间判断部324判断为在限制时间内接收到的情况下，将解答评价数据存储到解答评价数据文件343。

试题提取部323在收发部310接收到从考试管理者终端13发送的前半测试开始的指示时，可以从试题数据文件341提取试题数据，将其从收发部310经由网络14以可显示的方式同步发送到各应试者终端12。另外，试题提取部323可以根据限制时间判断部324的指示个别地向对应的应试者终端12发送试题数据。

限制时间判断部324利用内置于服务器11的计时器207，并基于存储于考试条件数据文件348的考试条件id、前半考试的开放日期及前半考试的考试时间、或前半考试的截止时间等时间信息，可以判断由收发部310接收到从应试者终端12发送的解答数据的时间点是否处于限制时间内。判断的结果判断为在限制时间内的情况下，可以对该解答数据赋予构想解答id，对数据注册部322发出指示，使其将该解答数据与发送的应试者的应试id等附加关联并存储于解答数据文件342。另外，可以对试题提取部323发出指示，使其将上述试题数据以可显示的方式从收发部310再次发送到发送该解答数据的应试者的应试者终端12。另一方面，判断的结果判断为超过限制时间的情况下，可以拒绝解答数据从应试者终端12的发送或在服务器11的接收。另外，限制时间判断部324在与有无从应试者终端12接收解答数据无关地判断为超过规定的限制时间时，可以将前半考试结束的消息以可显示的方式从收发部310发送到应试者终端12及考试管理者终端13，可以拒绝超过限制时间而接收解答数据。另外，为了记录前半测试结束的消息，服务器11的限制时间判断部324可以将应试者评价数据文件344等中的情形变更为“前半测试结束”。另外，限制时间判断部324也可以对评价者决定部325发送前半测试结束的消息。

当因应试者评价数据文件344等中的情形在应试者全员中变为“前半测试结束”、或者从限制时间判断部324接收到前半测试结束的消息等，前半测试结束的消息被确认后，在接受部310接收到从考试管理者终端13发送的后半测试开始的指示时，评价者决定部325则可以取得由内置于服务器11的随机数产生装置206产生的随机数，使用该随机数决定应评价存储于解答数据文件342的各解答数据中的解答内容(构想)的应试者。作为其他方法，当应试者评价数据文件344等中的情形在应试者全员中变为“前半测试结束”、或者从限制时间判断部324接收到前半测试结束的消息等，前半测试结束的消息被确认时，评价者决定部325则可以不等待从考试管理者终端13发送的后半测试开始的指示而自动地取得从内置于服务器11的随机数产生装置206产生的随机数，使用该随机数决定应评价存储于解答数据文件342的各解答数据中的解答内容(构想)的应试者。由此，可以节约考试时间。

哪一个应试者评价哪一个构想的决定，通过评价者决定部325对各构想解答id，从应试者全员的应试id中利用随机数分配评价应试id所需的人数量而进行。当用于评价各构想的应试者被决定时，评价者决定部325可以将构想解答id和应评价的应试者的应试id附加关联并存储于解答数据文件342等的存储部340。另外，评价者决定部325可以在用于管理对于作为评价者的应试者进行的各回答内容的评价的进展状况的后半测试进展管理数据文件349中，对于作为评价者的每一应试者关联保存应试id、应评价的构想解答id及必要评价数等。

对评价者决定部325进行的评价者决定的步骤的一个例子进行说明。评价者决定部325可以对应试者全员分的解答数据的总数进行计数，通过以下的公式求出向作为评价者的每一个应试者分配的解答数据(构想)的最大分配数。计算结果可以提升而成为整数。

最大分配数＝(构想的总数)×(对于1构想的评价人数)/(全应试者数)

对于一个构想应评价的应试者的人数可以按照存储于考试条件数据文件348中的“对于后半测试中的1构想的评价人数”。

评价者决定部325参照解答数据文件342，在发送某一解答内容(构想)的应试id和用于评价根据随机数而选定的该解答内容的应试者的应试id一致的情况下，优选取消选定并再次实施基于随机数的选定。另外，评价者决定部325在具有特定的应试id的应试者被选定超过上述求出的最大分配数的次数的情况下，也优选取消该选定并再次实施基于随机数的选定。通过这样选定评价者，所有的评价者均可以分配(最大分配数)个或(最大分配数－1)个应评价的构想。

另外，为了使一个解答数据(构想)由宽泛的类型的应试者来评价，评价者决定部325优选按如下的步骤预先将应试者分类成几个组。评价者决定部325参照解答数据文件342，根据应试id和选项的选择内容，对每个应试者计算该应试者解答的选项的唯一的组合、例如“是谁”、“何时”、“在哪儿”、“做什么”的组合的总数。由此，按唯一选项的总数从多到少的顺序计算应试者的位次。在同比率排列的情况下，可以随机分配不重复的位次。利用应试id将应试者以得到的位次排列，将应试者整体分成对于上述的“1构想的评价人数”的数的组。分组后，从各组一人一人地按照随机数以与上述同样的步骤选定对于各解答数据应评价的应试者。这样，当简易地按构想总数多的顺序对应试者排位时，与不分组而选定应评价的应试者的情况相比，认为容易获得没有偏见的评价结果。

解答提取部326可以按照评价者决定部325的上述应评价的应试者的决定，根据作为评价者的应试者的应试id，提取解答数据文件342中存储有各应试者应评价的解答内容(构想)的构想解答id，并将其从收发部310经由网络14以可显示的形式发送到对应的各应试者终端12。包含解答内容的解答数据(构想)的发送可以将各应试者应评价的总分同步发送，也可以分开发送。

服务器11的评价数判断部332在服务器11从应试者接收到对于一个解答内容的评价时，在后半测试进展管理数据文件349中与发送该评价的应试者的应试id附加关联，并将已评价的数增加1。评价数判断部332通过比较已评价的数和必要评价数，能够掌握该应试者的后半测试的进展状况。在将解答数据(构想)分割而向各应试者发送的情况下，评价数判断部332可以判断该应试者是否达到按照上述决定的必要评价数，在判断为未达到必要评价数的情况下，评价数判断部332能够对于解答提取部326，根据作为评价者的应试者的应试id，提取存储于解答数据文件342的构想解答id，将未评价的解答数据中该应试者下一个应评价的解答内容(构想)从收发部310经由网络14以可显示的形式发送到对应的各应试者终端12。在某一应试者的已评价数达到必要评价数时，评价数判断部332能够将后半测试结束画面或后半测试结束后的进展信息从收发部310发送到该应试者的应试者终端12及考试管理者终端13。此时，为了记录后半测试结束的消息，评价数判断部332能够将应试者评价数据文件344等的情形变更为“后半测试结束”。

解答评价部327能够基于存储于解答评价数据文件343的各解答评价及构想解答id，对各解答数据中的每个构想解答id汇总对于解答内容的评价。例如，将对各解答内容的评价作为good及bad这两个选项进行了评价时，可以像good＝1、bad＝0那样，根据评价赋予预先确定的评分，并将单纯的算术平均值作为对于该解答内容(构想)的评分。解答评价部327可以将汇总的评分按每个构想解答id存储于解答数据文件342的“得分计算结果1”中。

但是，在该阶段，不了解各应试者对于构想的鉴别力。因此，即使是好的构想，评价也可能因有鉴别力的应试者和没有鉴别力的应试者而不一致。因此，不是平等地对待来自所有应试者的评价，而是优选对评价赋予加权。作为对评价赋予加权的方法，可举出应试者评价部328基于得分计算结果暂时计算了各应试者的合计评分后，基于应试id及与该应试id附加关联的合计评分对应试者进行排位，越是与位次高的应试者的应试id关联的评价，越对针对解答内容的评价赋予加权。这是基于对于构想创造评价高的应试者鉴别力也高的假设的方法。通过将这样对评价赋予加权并再次进行对于各解答内容的评价，基于获得的修正后的评分再次进行应试者的排位和合计评分的修正的步骤重复1次以上，优选重复5次以上，更优选重复10次以上，能够使认为鉴别力高的应试者的评价在很大程度上反映在应试者的合计评分(构想得分)中。图3示出表示构想的排位及相互评价的重复的概念图。

对加权的具体方法的一个例子进行说明。首先，通过应试者评价部328基于“得分计算结果1”计算各应试者的合计评分。接着，将全部应试者按照在应试者评价部328计算出的合计评分的顺序进行分类。如果设应试者整体为n人，则通过下式将k位(k＝1～n)的应试者的评价进行加权。

weight＝1+sin{(1－2×(k－1)/(n－1))×pi/2}

通过这样进行加权，能够对每一应试id赋予加权系数。该情况下，最上位的应试者进行的评价为2倍，最下位的应试者进行的评价为0倍。

上述加权后，按照加权的计算结果修正对于存储在解答数据文件342的各解答内容的评分即“得分计算结果1”。例如，在将对于各解答内容的评价作为good及bad这两个选项进行评价时，首先是good＝1的评分，但通过在该评分上乘以加权系数(例如上述的weight)，加权后，根据作为评价者的应试者的应试id，good＝1.6、或者good＝0.5。

该情况下的加权后的对于该解答内容的评分，可以从good＝1、bad＝0的单纯的算术平均值，修正为通过考虑到加权的下式计算出的值。

(加权平均值)＝(加权总和)÷(权重总和)

权重总和＝σ(weight)

加权总和＝σ(weight×1或0)

在此所谓权重总和，是指对于每一个解答内容赋予评价该解答内容的应试者的加权系数的合计。所谓加权总和是指在赋予评价该解答内容的应试者的加权系数上乘以该应试者的评价值所得的值的总和。

修正后的评分也可以作为“得分计算结果2”存储于解答数据文件342中。

应试者评价部328能够基于对存储于解答数据文件342的每一构想解答id赋予解答内容的评分(也可以是加权进行的修正后的评分)及与该解答内容对应的应试id，计算每一应试id的合计评分，将该合计评分与应试id附加关联并存储于应试者评价数据文件344。

此时，优选以对赋予给存储于解答数据文件342的各解答内容的得分(构想评价值)，按照以下的(1)～(3)的至少一个加权基准赋予加权作为条件。

(1)将赋予同一应试id的多个解答数据按每一选项的组合进行分类，对于同一选项的组合的构想解答id的标识符存在多个时，以越是所赋予的评分低的解答数据加权后的评分越低的方式，对给予各解答内容的评分赋予加权。

通过赋予这样的加权，能够防止在应试者对有关同一选项的组合的构想进行了许多解答时，合计评分增大的情况。即，通过(1)的方法对评分赋予加权的方法在评价应试者的构想生成量的多少时，可以恰当地利用。

作为利用(1)的加权基准计算各应试者的合计评分的具体的方法，例如可举出以下的方法。

·将赋予了同一应试id的解答数据按每一选项的组合进行分类，对于同一选项的组合的构想解答id存在多个时，将具有该同一选项的组合的解答数据按赋予给各解答内容的评分从高到低的顺序进行降序分类。

·将赋予进行了降序分类的第k＝1，2，···，n个解答数据的评分分别乘以规定的系数，求出有关各组合的合计评分。有关各组合的合计评分，在评价构想生成量的多少方面，优选以带上限的方式设定计算式。带上限的合计评分例如可以如下式那样利用等比数列进行计算。

带上限的合计评分＝σ{(被赋予各解答内容的评分)×(衰减系数)^k-1}

衰减系数只要适当地设定即可，例如可以设为1/2或2/3等。

·可以对所有的选项的组合求出上述的合计评分，将总计的评分作为与该应试id对应的应试者的合计评分。

(2)对于赋予了同一应试id的多个解答数据，将选项的组合进行数值坐标化并计算其中心点，以越是具有距中心点的距离大的组合的解答数据加权后的评分越高的方式，对给予解答内容的评分赋予加权。

通过赋予这样的加权，易于由解答宽泛的选项的组合的应试者分配多的评分，因此，该加权方法可以在评价生成的构想的广度时恰当地利用。

作为利用(2)的加权基准计算各应试者的合计评分的具体的方法，例如可举出以下的方法。

为了对于赋予了同一应试id的多个解答数据将选项的组合进行数值坐标化并求出其中心点，首先，将选项的编号均变换成0或1。例如，若关于“选择1(是谁)”、“选择2(何时)”、“选择3(在哪儿)”、“选择4(做什么)”这四个要素，考虑分别存在1～5为止的各5个选项的情况，则将选择1＝1，2，3，4，5分别变换成(1，0，0，0，0)、(0，1，0，0，0)、(0，0，1，0，0)、(0，0，0，1，0)、(0，0，0，0，1)。选择2、选择3、选择4也同样变换。这样一来，所有选项的组合可用20个0/1的排列组合进行表现。例如，在某一解答数据具有(选择1、选择2、选择3、选择4)＝(1、4、2、5)这样的选项的组合时，其被变换为{(1，0，0，0，0)、(0，0，0，1，0)、(0，1，0，0，0)、(0，0，0，0，1)}。

对赋予了同一应试id的所有解答数据，计算取该排列的算术平均值的排列。获得的排列为20个float的排列，均取从0到1的值。例如，某一应试者解答了5个构想时，获得{(0，1/5，2/5，0，2/5)、(0，1，0，0，0)、(1/5，1/5，1/5，1/5，1/5)、(1/5，1/5，0，0，3/5)}等和平均的0/1排列(中心点)。

接着，关于各选项的组合的0/1排列(中心点)，计算与平均的0/1排列(中心点)的距离的平方。距离的平方例如可以设为将两者对应的要素彼此的差的平方进行合计而得的值。例如，平均的0/1排列(中心点)为{(0，1/5，2/5，0，2/5)、(0，1，0，0，0)、(1/5，1/5，1/5，1/5，1/5)、(1/5，1/5，0，0，3/5)}，某一选项的组合的0/1排列为{(0，1，1，0，0)、(0，1，0，0，0)、(0，1，0，1，1)、(0，1，0，0，1)}时，两者的距离的平方可以作为[{(0－0)²+(1－1/5)²+(1－2/5)²+(0－0)²+(0－2/5)²}+{(0－0)²+(1－1)²+(0－0)²+(0－0)²+(0－0)²}+{(0－1/5)²+(1－1/5)²+(0－1/5)²+(1－1/5)²+(1－1/5)²}+{(0－1/5)²+(1－1/5)²+(0－0)²+(0－0)²+(1－3/5)²}]按欧氏距离进行计算。

这样，关于该应试者的所有解答数据，计算与平均的0/1排列(中心点)的距离的平方，将对各解答数据赋予的评分乘以距离的平方而计算加权合计评分。通过将该合计评分除以该应试者赋予各解答数据的评分的单纯合计值而计算加权平均值。

(加权平均值)＝σ{(赋予给各解答内容的评分)×(距离的平方)}÷σ(赋予给各解答内容的评分)

将该加权平均值作为与该应试id对应的应试者的合计评分。

(3)关于根据试题内容假想的所有选项的各个组合，通过将与作为解答内容而具有该选项的组合的解答数据的标识符附加关联的所有评分进行合计，计算该选项的组合的整体所得评分，以越是具有整体所得评分低的选项的组合的解答内容加权后的评分越高的方式，对给予各解答内容的评分赋予加权。

通过赋予这样的加权，在应试者整体中，易于对不易获得高的评价的选项的组合，由获得高的评价的应试者分配多的评分，因此，该加权方法可以在寻找稀少性高的构想的创造者时恰当地利用。

作为利用(3)的加权基准计算各应试者的合计评分的具体方法，例如可举出以下的方法。

对于根据试题内容假想的所有各选项的组合，将与作为解答内容具有该选项的组合的解答数据的标识符附加关联的所有评分进行合计。例如，关于“选择1(是谁)”、“选择2(何时)”、“选择3(在哪儿)”、“选择4(做什么)”这四个要素，分别存在1～5的各5个选项时，所有选项的组合为5⁴＝625个，所以对625个各组合计算整体所得评分。认为越是整体所得评分低的选项的组合，越是获得高的评价的难度系数高的选项的组合。将所有选项的组合按该“整体所得评分”排序并按降序加以排位。例如，按降序从1位排位至625位。

接着，基于获得的组合位次，按照下式对每一应试id计算加权平均值。

(加权平均值)＝σ{(赋予给各解答内容的评分)×(该解答内容的组合位次)}÷σ{(赋予给各解答内容的评分)}

该加权平均值成为与该应试id对应的应试者的合计评分。

应试者评价提取部329能够基于应试id提取存储于应试者评价数据文件344的包含对于各应试者的合计评分的应试者评价数据，将其从收发部310经由网络14以可显示的形式发送到对应的应试者终端12。图20表示在应试者终端12显示的评分结果的一个例子。评分结果可以是上述计算的合计评分本身，也可以变换或修正为基于其它标准的数值(例如偏差值等)进行显示，还可以变换成基于合计评分进行了类别分类的评价(例如构想创造力“高”、“一般”、“低”等)进行显示。

评价精度运算部330能够将存储于解答评价数据文件343的、作为评价者的应试者对于与应试id附加关联的各解答内容的评价和存储于解答数据文件342的赋予给该解答内容的修正后的评分(例如“得分计算结果3”)进行对比，并对每一应试者汇总该对比的结果，由此计算各应试者的评价精度，将该评价精度与各应试者的应试id附加关联并存储到应试者评价数据文件344。

以下表示评价精度的计算方法的具体例。以作为该评价者的应试者的评价从高到低的顺序(或从低到高的顺序)，排列作为该评价者的应试者所评价的解答内容，另外，基于存储于解答数据文件342的修正前或修正后、优选为修正后的评分，以评分从高到低的顺序(或从低到高的顺序)排列对应的解答内容。以两者的位次的近似性越高越赋予高的评分的方式，对作为该评价者的应试者的各评价赋予评分，取出合计值。基于获得的合计值，赋予评价精度的评分。评价精度的评分也可以变更或修正为其它标准的数值(例如偏差值等)进行显示，还可以变换成将评价精度的评分进行了类别分类的评价精度(例如鉴别力“高”、“一般”、“低”等)进行显示。作为修正方法，例如，也可以求在所赋予的评价条件下随机评价时获得的评价精度的期待值，设为(修正评价精度的评分)＝{(评价精度的评分)－(期待值)}÷{1－(期待值)}。

对用“good”及“notgood”这两个选项进行评价时的评价精度的计算方法具体地进行说明。设作为评价者的应试者的“good”及“notgood”的评价数分别为a及b。设合计的评价数为n＝a+b。这些评价数可基于存储于解答评价数据文件343的、作为每一解答评价id的评价者的应试者的应试id及解答评价进行计算。

接着，将作为该评价者的应试者所评价的n个解答内容(构想)，按照存储于解答数据文件342的修正后的评分(评价得分)以从高到低的顺序进行降序分类。

对以评价得分从高到低的顺序k＝第1，...，a的构想，如果评价为“good”，则设为“正确”，如果评价为“notgood”，则设为“不正确”。此时，在对赋予了高的评价得分的构想评价为“good”的情况下，能够对评价赋予加权，以使评价精度的评分变高。具体而言，可以将“评价点＝(a－k+1)/a”加上“正确”或“不正确”的评分，以对作为评价者的应试者的“good”的评价数即a中、评价得分为1位的构想，赋予1点，且对评价得分为a位的构想赋予1/a点。

另外，关于k＝第a+1，...，a+b的构想，如果评价为“good”，则设为“不正确”，如果评价为“notgood”，则为“正确”。此时，在对赋予了低的评价得分的构想评价为“notgood”的情况下，能够对评价赋予加权，以使评价精度的评分变高。具体而言，可以将“评价点＝(k－a)/b”加上“正确”或“不正确”的评分，以对作为评价者的应试者的“notgood”的评价数即b中、评价得分为(a+1)位的构想，赋予1/b点，对于评价得分为(a+b)位的构想赋予1点。

这样，求出(正确评分)÷(正确评分+不正确评分)，将其设为作为评价者的临时的评价精度的评分。

另一方面，随机回答时的期待值为(期待值)＝(a²+b²)/(a+b)²，因此，以此为基础，用下式进行修正。

(修正后的评价精度的评分)＝{(临时的评价精度的评分)－(期待值)}÷{1－(期待值)}

可以将该修正后的评价精度的评分设为作为该评价者的应试者的评价精度的评分。

可以通过上述的服务器各部的动作而简单地评价各应试者的构想创造力及鉴别力，但即使同一应试者解答同一构想，也会因应试者的母体的差异而得出不同的评价。因此，为了减轻母体的差异造成的评价的差异，优选将应试者的评价结果标准化。

作为标准化的方法的例子，可举出将特定的应试者的母体的合计评分的平均值修正为样本应试者的合计评分的平均值的方法、将特定的应试者的母体的合计评分的标准偏差修正为样本应试者的合计评分的标准偏差的方法。在前者的情况下，得分标准化部331可以基于由应试者评价部328计算出的各应试者的合计评分，计算也包含样本应试者或不含样本应试者的应试者整体的合计评分的平均值a1，且基于由应试者评价部328计算的样本应试者的合计评分，计算其平均值a2，且计算获得的a1及a2的差，以应试者整体的合计评分的平均值从a1修正为a2的方式，从各应试者的合计评分分别减去a1及a2的差，并将该减法运算后的各应试者的合计评分与应试者的标识符附加关联，存储在应试者评价数据文件344中。在后者的情况下，得分标准化部331可以基于由应试者评价部328计算出的各应试者的合计评分，计算也包含样本应试者或不含样本应试者的应试者整体的合计评分的标准偏差d1，计算由应试者评价部328计算出的样本应试者的标准偏差d2，计算获得的d1和d2之比，以应试者整体的标准偏差从d1修正为d2的方式，相对于各应试者的合计评分与平均值a1的差乘以d1和d2之比，将获得的值加上平均值a1，将由此获得的值作为各应试者的合计评分，与应试者的标识符附加关联，存储在应试者评价数据文件344中。

另外，通过将前者的平均值标准化和后者的标准偏差标准化过程组合，可以将应试者整体的合计评分的平均值从a1修正为a2，同时，可以将应试者整体的标准偏差从d1修正为d2。在组合时，得分标准化部331可以基于由应试者评价部328计算的各应试者的合计评分，计算也包含样本应试者或不含样本应试者的应试者整体的合计评分的标准偏差d1，计算由应试者评价部328计算的样本应试者的标准偏差d2，且计算获得的d1和d2之比，以应试者整体的标准偏差从d1修正为d2的方式，相对于各应试者的合计评分与平均值a2的差乘以d1和d2之比，并将获得的值加上平均值a2，将由此获得的值作为各应试者的合计评分，与应试者的标识符附加关联，存储在应试者评价数据文件344中。

[应试者终端]

应试者终端12也可以具有上述的计算机200的硬件结构。在应试者终端12的存储装置202中，除网络浏览器等的程序以外，还可以暂时或非暂时地保存浏览器数据、与服务器11进行收发的数据、例如试题数据、解答数据、解答评价数据及应试者评价数据等数据。应试者终端12可以通过输入装置204进行登录信息的输入、对于试题的解答的输入、对于其它应试者的解答内容的评价的输入等。应试者终端12可以通过输出装置203显示登录画面、试题内容、自己的解答、他人的解答及评价结果等。应试者终端12可以通过通信装置205经由网络14与服务器11进行通信。例如，可以从服务器11接收登录画面、试题数据、解答数据及应试者评价数据，可以向服务器11发送登录信息、解答数据及解答评价数据。

[考试管理者终端]

考试管理者终端13也可以具有上述的计算机200的硬件结构。在考试管理者终端13的存储装置202中，除网络浏览器等的程序以外，可以暂时或非暂时地保存浏览器数据、与服务器11进行收发的数据、例如应试者账户信息、有关考试的情形(进展)的数据、试题数据、解答数据、解答评价数据及应试者评价数据等数据。考试管理者终端13可以通过输入装置204进行应试者账户信息的输入、登录信息的输入、考试开始的指示等。考试管理者终端13可以通过输出装置203显示应试者账户信息、登录画面、试题内容、应试者的解答及评价结果等。考试管理者终端13可以通过通信装置205并经由网络14与服务器11进行通信。例如，可以从服务器11接收登录画面、应试者账户信息、试题数据、解答数据、应试者评价数据、考试的进展信息，可以向服务器11发送考试条件信息(包含考试开始指示)、应试者账户信息及登录信息。

[服务器管理者终端]

服务器管理者终端15也可以具有上述的计算机200的硬件结构。在服务器管理者终端15的存储装置202中，除网络浏览器等的程序以外，还可以暂时或非暂时保存浏览器数据、与服务器11进行收发的数据、例如服务器管理者账户信息、考试管理者账户信息、应试者账户信息、有关考试的情形(进展)的数据、试题数据、解答数据、解答评价数据及应试者评价数据等数据。服务器管理者终端15可以通过输入装置204进行服务器管理者账户信息的输入、考试管理者账户信息的输入、登录信息的输入、试题内容的输入等。服务器管理者终端15可以通过输出装置203显示服务器管理者账户信息、考试管理者账户信息、登录画面、试题内容、应试者的解答、及评价结果等。服务器管理者终端15可以通过通信装置205经由网络14与服务器11进行通信。例如，可以从服务器11接收登录画面、服务器管理者账户信息、考试管理者账户信息、应试者账户信息、试题数据、解答数据、应试者评价数据、考试的进展信息，可以向服务器11发送服务器管理者账户信息、考试管理者账户信息、应试者账户信息及登录信息。

＜2.联机考试的流程＞

其次，参照流程图对上述系统的联机考试方法的步骤进行说明。

2－1从考试条件的设定到前半测试开始

图25中，用流程图记载了从考试管理者访问服务器进行应试者注册及考试条件输入到构想创造力测试(前半测试)的测试画面显示于应试者终端为止的处理流程。当考试管理者从考试管理者终端13输入规定的url而访问服务器11时，服务器11将登录画面发送到考试管理者终端13(s101)。接着，当考试管理者在考试管理者终端13输入id及密码，并按下登录按钮时(s102)，服务器11的认证处理部321判断所输入的管理者id及密码与存储于考试管理者账户数据文件346内的数据是否一致(s103)，在一致的情况下，将考试管理者用的管理画面发送到考试管理者终端13(s104)，在不一致的情况下，发送错误消息(s105)。

如果登录成功，则在考试管理者终端13显示管理画面(例：图21及图22)。考试管理者在管理画面上输入应试者信息及考试条件并发送到服务器11(s106)。服务器11接收到应试者信息及考试条件后，通过数据注册部322将这些数据分别保存到应试者账户数据文件345及考试条件数据文件348中(s107)。接着，服务器11将传达所注册的应试者信息及考试条件的管理画面发送到考试管理者终端13(s108)。考试管理者在管理画面上确认该注册的信息后，在图21所示的管理画面上点击“前半测试开始”的按钮时，将前半测试的开始指示发送到服务器11(s109)。服务器11的试题提取部323在接收到从考试管理者终端13发送的前半测试开始的指示时，在应试者评价数据文件344等中将情形变更为表示前半测试开始的情形进行保存(s110)。另外，也可以在应试者评价数据文件344等中保存前半测试的开始时刻。在应试者账户数据文件345及考试条件数据文件348等其它文件中也存在情形的字段时，同样地将情形变更。此外，来自考试管理者的“前半测试开始的指示不仅包含点击“前半测试开始”的按钮，而且还包含预先设定前半测试开始日期并注册到服务器11中。该情况下，在设定的日期，服务器11自动地执行s110。

接着，服务器11从试题数据文件341提取试题数据，将包含试题数据的前半测试画面发送到各应试者终端12(s111)。由此，在应试者终端12显示组合了如图18所示的有关5w1h的选择式试题及描述与之对应的需求及构想的试题的前半测试画面(s112)。此外，虽然省略流程图的说明，但为了在应试者终端12显示前半测试画面，需要应试者终端12也按与考试管理者终端13同样的步骤接收id及密码的认证来登录。

2－2从前半测试的开始到结束

图26中，用流程图记载了从构想创造力测试(前半测试)的开始到前半测试结束的处理流程。通过上述的步骤在应试者终端12显示前半测试画面后，应试者在该画面上输入对于试题的解答内容，点击“下一步”按钮。于是，解答数据从该应试者终端12发送到服务器11(s113)。服务器11接收到解答数据时，通过限制时间判断部324判断是否在限制时间内接收到包含解答内容的解答数据(s114)。

判断为在限制时间内时，数据注册部322对该解答数据赋予构想解答id，将该解答数据与发送的应试者的应试id等附加关联，存储到解答数据文件342(s115)。另外，判断为在限制时间内的情况下，限制时间判断部324以向发送该解答数据的应试者的应试者终端12再次发送前半测试画面的方式进行指示。试题提取部323按照限制时间判断部324的指示向对应的应试者终端12发送前半测试画面(s111)。这样，只要在限制时间内，前半测试画面就重复向应试者终端12发送。

另一方面，服务器11的限制时间判断部324与有无从应试者终端12接收解答数据无关地判断为超过了限制时间的情况下，为了记录前半测试结束的消息，将应试者评价数据文件344等中的情形变更为“前半测试结束”(s116)。另外，从收发部310向应试者终端12及考试管理者终端13发送前半测试结束画面或前半测试结束的进展信息(s117)。由此，在应试者终端12显示前半测试结束的消息的画面(s118)，在考试管理者终端13显示例如图21所示的进展信息(s119)。

作为其它方法，服务器11也可以在s111中发送可以一次记入多个回答内容的前半测试画面。另外，应试者终端12也可以在s113中将多个解答内容汇总后发送给服务器11。该情况下，服务器11可以一次接收所有解答数据，不需要重复进行s111。

2－3从后半测试的开始到结束

图27中，用流程图记载从构想评价测试(后半测试)的开始到后半测试结束的处理流程。在前半测试通过上述的步骤结束后，考试管理者在图21所示的管理画面上点击“后半测试开始”按钮时，将后半测试的开始指示发送到服务器11(s201)。服务器11的评价者决定部325在接收到后半测试开始的指示时，取得通过内置于服务器11的随机数产生装置206产生的随机数，使用该随机数决定应评价存储于解答数据文件342的各解答数据中的解答内容(构想)的应试者(s202)。此时，评价者决定部325可以在用于管理作为评价者的应试者对于各回答内容的评价的进展状况的后半测试进展管理数据文件349中，对作为评价者的每一应试者关联保存应试id、应评价的构想解答id及必要评价数等。此外，评价者决定部325进行的该决定过程不限于来自考试管理者终端13的后半测试开始的指示，只要根据用于开始评价者决定过程的任何指示开始即可。例如，该决定过程可以通过由考试管理者终端13接收仅用于决定评价者的指示来执行，也可以按照其它指示来执行，还可以将情形向前半测试结束变更改为触发来执行。

解答提取部326按照应评价评价者决定部325的各解答的应试者的决定，基于存储于解答数据文件342的构想解答id和作为评价者的应试者的应试id，提取各应试者应评价的解答内容(构想)，并将其发送到对应的各应试者终端12(s203)。在应试者终端12，显示如图19所记载的每一应试者应评价的解答内容画面(s204)。应试者在该画面上点击对于解答内容的评价(“good”或“notgood”)的按钮，并点击“下一步”按钮。这样一来，解答评价数据从该应试者终端12向服务器11发送(s205)。当服务器11接收到解答评价数据时，数据注册部322对该解答评价数据赋予解答评价id，将该解答评价数据与发送的应试者的应试id及构想解答id等附加关联，存储在解答评价数据文件343(s206)。

接着，服务器11的评价数判断部332每次从应试者终端12接收到对于一个解答内容的评价，就将与该应试者的应试id对应的后半测试进展管理数据文件349中的已评价数增加一个，同时，判断该应试者是否达到按照上述决定的必要评价数(s207)。其结果判断为未达到必要评价数的情况下，解答提取部326基于存储于解答数据文件342中的构想解答id和作为评价者的应试者的应试id，提取该应试者下一个应评价的解答内容(构想)，将未评价的解答数据发送到对应的各应试者终端12(s203)。这样，直至达到必要评价数为止，后半测试画面重复向应试者终端12发送。

另一方面，服务器11的评价数判断部332判断为达到必要评价数的情况下，为了记录该应试者的后半测试结束的消息，将应试者评价数据文件344等的情形变更为“后半测试结束”(s208)。另外，评价数判断部332将后半测试结束画面或后半测试结束时的进展信息从收发部310发送到应试者终端12及考试管理者终端13(s209)。当在应试者终端12及考试管理者终端13接收到该画面或进展信息时，在应试者终端12显示后半测试结束的消息的画面(s210)，在考试管理者终端13显示例如图21所示的进展信息(s211)。

2－4得分计算

图28中，用流程图记载了构想评价测试(后半测试)结束后，通过服务器11进行应试者的评分，并将其结果发送到应试者及考试管理者为止的处理流程。在后半测试通过上述的步骤结束之后，考试管理者从考试管理者终端13将得分计算开始的指示通过例如考试管理者在图21所示的管理画面上点击“得分计算开始”按钮(s301)而发送到服务器11(s301)。此外，“得分计算开始”按钮也可以在后半测试结束后，在考试管理者的管理画面上出现。接着，当服务器11接收到该指示时，服务器11的解答评价部327基于存储于、解答评价数据文件343的各解答评价及构想解答id，对各解答数据中的每个构想解答id计算对于解答内容的评价的得分(s302)。接着，应试者评价部328基于对每个构想解答id赋予的得分，计算有关每个应试id的创造力的得分(s303)。

这样，在暂时计算有关各应试者的创造力的得分后，对于来自得分高的应试者的评价赋予加权，对每个构想解答id再次计算(修正)对于解答内容的评价的得分(s304)，进而，基于修正后的得分再次计算(修正)每一应试id的得分(s305)。步骤s304及s305重复预先设定的次数。

通过将步骤s304及s305重复规定次数，计算有关各应试者的创造力的最后得分，同时，也决定对于各解答内容的评价的最后得分。服务器11的评价精度运算部330将对于与作为评价者的应试者的应试id附加关联的各解答内容的评价的得分和赋予给该解答内容的最后得分进行对比，将两者的近似性对每个应试者进行汇总，由此计算座位各应试者的鉴别的得分(s306)。

这样，当计算出有关各应试者的创造力的最后得分及作为鉴别的得分时，应试者评价提取部329生成包含评分结果的显示图像，将其发送到对应的应试者终端12(s307)。得分也可以在标准化后发送。另外，应试者评价提取部329将全部应试者的计算结果画面发送到考试管理者终端13(s307)。在应试者终端12及考试管理者终端13中，当接收到该画面时，则显示图20所示的评分结果的画面(s308、s309)。在评分结果的画面上，不仅显示每一类别的得分，而且还将各应试者相对于整体应试者的构想分布的构想分布绘制在多维空间上进行显示。

主要符号说明

11服务器

12应试者终端

13考试管理者终端

14网络

15服务器管理者终端

200计算机

201运算装置

202存储装置

203输出装置

204输入装置

205通信装置

206随机数产生装置

207计时器

310收发部

320控制部

321认证处理部

322数据注册部

323试题提取部

324限制时间判断部

325评价者决定部

326解答提取部

327解答评价部

328应试者评价部

329应试者评价提取部

330评价精度运算部

331得分标准化部

332评价数判断部

340存储部

341试题数据文件

342解答数据文件

343解答评价数据文件

344应试者评价数据文件

345应试者账户数据文件