专利名称：自动评价方法、自动评价系统及存储自动评价程序的存储媒体的制作方法
技术领域：
本发明涉及根据键输入等输入项目、和对该输入项目的输出画面等的参照输出结果，能够自动评价目标系统上工作的程序的自动评价方法、自动评价系统及存储自动评价程序的存储媒体。
因此，在微型计算机的开发中，应用程序的开发也和硬件的开发一样重要。为了开发应用程序，利用了电路中模拟(以下记为ICEIn Circuit Emulation)。ICE能在目标板上模拟应用程序的动作。如上所述，应用程序的动作确认中，必须确认的输入项目很多。因此，利用ICE，操作者直接输入输入项目时，不但需要长时间进行输入，而且操作者可能产生输入错误。此外，操作者通过画面输出输入项目和模拟结果进行确认时，需要很长时间，而且操作者可能产生确认错误。另外，在评价该动作确认的应用程序时，为了提高评价制度，会反复进行对同一输入项目的评价。因而，为了高精度和有效地进行应用程序的动作确认，利用了自动评价系统，能够反复自动输入许多输入项目，并能自动评价对该输入项目的输出结果。
在上述自动评价系统中，利用模拟装置的模拟结果，能够自动评价在目标系统上动作的应用程序。为此，需要具有自动评价系统和模拟装置能够共同存取的存储器，由此使自动评价系统和模拟装置间的存取成为可能。此时，模拟装置对输入项目进行模拟，并进行输出该模拟结果的通常的处理。因此，不需要在应用程序中附加任何自动评价的步骤。
在上述自动评价系统中，需要预先制作输入项目文件，并制作与该输入项目对应的参考数据。然后，依次将输入项目向模拟器传送，参照反映了模拟的结果的显示画面(显示存储器)，接收结果数据，将该结果与预先制作的参考数据进行比较，来进行自动评价。
但是，在实际的输入数据中，有时即使实际上没有输入键输入，也会重写显示画面。即，有一种闪烁光标，或在画面上移动的字符，这是一种键输入以外的输入项目。例如，在闪烁光标的情况下，因为通过在目标程序上动作的应用程序重写为正转模式和反转模式的2种画面内容，自动评价系统将其在适当的时间读入时，不能正确地进行自动评价。
因此，为了到达可靠性高的评价，需要确定模拟的结果，在画面重写完成的时间读取显示画面数据。这样，在以往，与闪烁光标对应的部分的数据不是屏蔽处理及评价的对象。或者，对在目标系统上动作的程序进行修改，采取了停止闪烁等措施。
因而，前者使评价系统的精度下降，后者使程序的质量恶化。
本发明鉴于上述情况，对于每个输入项目，通过将该输入项目得到的输出画面的状态的数量(更新所反映输入项目的输出画面的种类)设定为次数数据，按照次数反复对一个输入项目评价，来提供能提高评价精度的自动评价的自动评价方法、自动评价系统及存储自动评价程序的存储媒体。
根据该自动评价方法，即使对一个输入项目的输出画面的状态变化，也不用进行屏蔽处理，不需要对在目标系统上动作的程序进行修改，因此，能够减轻程序员的负担。
而且能对一个输入项目进行一次以上的评价，其结果，能够提高评价精度。
权利要求2所述的自动评价方法，在权利要求1的方法中，上述次数与上述输入项目的数据一起被设定。
根据该自动评价方法，因为对于每个输入项目，将更新输出画面的状态所存在的几种种类作为次数数据进行设定，所以能够对一个输入项目重复进行与上述次数相当次数的评价，因此能提高评价精度。
为了解决上述课题，权利要求3的自动评价系统，通过参照对任意的输入项目模拟的结果和输出画面，自动评价在目标系统上动作的程序，其特征在于，具有输出画面参照装置，进行上述模拟，进行模拟，参照上述输出画面，其参照次数与反映上述输入项目且输入项目被更新的输出画面的状态数对应，评价装置，通过将该参照结果与预先制作的和上述次数相当的参考数据依次进行比较，进行自动评价。
根据该自动评价系统，输出画面参照装置参照输出画面，其参照次数与一个输入项目具有的多个状态数对应，评价装置反复进行与该状态对应次数的评价。所以，即使对一个输入项目的输出画面的状态变化，也不用进行屏蔽处理，不需要对在目标系统上动作的程序进行修改，因此，能够减轻程序员的负担。而且能对一个输入项目进行一次以上的评价，能够提高评价精度，从而能构成高性能的自动评价系统。
权利要求4的自动评价系统，在权利要求3所述的自动评价系统中，还具有模拟装置，上述模拟装置进行模拟，并在输出画面每次根据上述次数而更新时，通知显示重写结束项目。
根据该自动评价系统，输出画面参照装置在每次从模拟装置接收显示重写结束项目的通知时，反复参照输出画面，向评价装置发送该参考数据。因此，评价装置反复进行评价，其评价次数与该状态次数相当，因此能够提高评价精度。
为了解决上述课题，权利要求5的存储媒体，存储一种自动评价程序，该自动评价程序通过参照对任意的输入项目的模拟的结果、输出画面，自动评价在目标系统上动作的程序，上述自动评价程序具有读取输入项目及上述各输入项目的预先制作的参考数据的步骤；依次传送上述被读取的输入项目，触发模拟的执行的步骤；进行模拟，参照上述输出画面，其参照次数与反映上述输入项目且输入项目被更新的输出画面的状态数对应的步骤；通过将该参照结果与预先制作的和上述次数相当的参考数据依次进行比较，进行自动评价的步骤。
根据该存储自动评价程序的存储媒体，能够利用对模拟器的输入项目模拟的结果进行自动评价，所以即使对一个输入项目的输出画面的状态变化，也不用进行屏蔽处理，也不需要对在目标系统上动作的程序进行修改。因此，能够减轻程序员的负担，而且能对一个输入项目进行一次以上的评价，能够提高评价精度。
权利要求6所述的自动评价程序，在权利要求5的存储媒体中，上述自动评价程序还包括在每次从模拟器接收显示重写结束项目时，参照上述输出画面，反复进行上述自动评价的步骤。
根据该存储自动评价程序的存储媒体，通过接收显示重写结束项目，能够只在在任何状态下模拟结果都确定的时间取入模拟的结果数据。因此能够得到稳定的参照数据，从而使可靠性高的评价成为可能。
图2是用于说明本实施例的自动评价系统和模拟器间的存取方法的引用图。
图3是输入项目和参照输出结果的一例的示意图，(a)是键输入，(b)是(a)图的键输入前的LCD的参照输出画面，(c)是(a)图的键输入的LCD的参照输出画面。
图4是用于实现本实施例的自动评价系统的自动评价方法的个人计算机的功能展开图。
图5是本实施例的自动评价方法的流程图。
本发明的自动评价系统和自动评价方法能够利用模拟器的模拟结果，自动评价在目标系统上动作的应用程序。此时，模拟器对输入项目进行模拟，进行输出该模拟结果的通常的处理。因此，应用程序不需要附加自动评价用的功能。而且，该自动评价系统和自动评价方法参照输出画面，其参照次数对应于能取得一个输入项目的输出画面状态的数量，并反复进行与该状态对应次数的自动评价。此外，本发明的存储自动评价程序的存储媒体，通过经由该存储媒体将自动评价程序装载在电子计算机中并执行，能够构成本发明的自动评价系统，并能实现本发明的自动评价方法的自动评价。
目标系统例如是根据应用程序进行动作的个人计算机等。输入项目与目标系统的安装的装置的规格对应而设定，作为对象目标输入项目根据安装装置的输入装置而不同。作为对象的输入项目，例如为键输入、声音输入等。参照输出结果是对输入项目的目标系统的正常的输出，与目标系统的安装的装置的规格对应而设定，作为对象的参照输出结果根据安装装置的输入装置而不同。作为对象的参照输出结果为画面输出、声音输出等。
在本实施例中，通过存储自动评价程序的存储媒体，将自动评价程序装载在电子计算机中，通过个人计算机执行该自动评价程序的动作，进行自动评价，构成自动评价系统。而且，该自动评价系统为了获得输入项目和参照输出结果，利用与个人计算机连接的磁盘装置。在本发明的实施例中，通过存储模拟程序的存储媒体，将模拟程序装载在电子计算机中，通过个人计算机执行该模拟程序的动作，进行模拟评价，构成模拟系统。自动评价系统和模拟器在同一计算机内构成。在本发明的实施例中，目标系统为微型计算机。此外，在本发明的实施例中，作为微型计算机的被装入方，为可以从外部进行键(按钮)输入，向LCD输出画面的装置，例如游戏机、时钟、数据库等。
首先，参照
图1，说明自动评价系统1和模拟器3的整体结构。自动评价系统1通过个人计算机PC的磁盘装置DU，从存储自动评价程序的存储媒体读取自动评价程序，并将自动评价程序装载在主存储装置中，通过中央处理装置CP(包括主存储装置)，进行自动评价。磁盘装置DU为能与软盘和光盘等存储媒体对应进行读写的装置。自动评价系统1从磁盘装置DU读取存储在输入项目IF中的输入项目，将该输入项目向模拟器3传送。进而，自动评价系统1从磁盘装置DU读取存储在参考输出文件OF中的参照输出结果，与对模拟器3的输入项目模拟的结果进行比较，来进行自动评价。
自动评价系统1将评价结果作为结果记录文件存储在磁盘装置DU中，或向显示装置DP输出画面。
模拟器3通过个人计算机PC的磁盘装置DU从存储模拟程序的存储媒体读取模拟程序，并将模拟程序装载在主存储装置中，在中央处理装置CP上执行，进行模拟。模拟器3从磁盘装置DU读取微型计算机的应用程序AP，模拟该应用程序AP的动作。
当从自动评价系统1传送来输入项目时，模拟器3根据该输入项目模拟应用程序AP的动作。模拟器3将该模拟结果存储在RAM(随机存储器)10中，该随机存储器作为本发明的自动评价系统1和模拟器3存取的公用存储器，被分为个人计算机PC的主存储装置的一部分(参照图2)。
模拟器3能够与安装装置的键输入对应，由键盘KB从外部操作，与安装装置的LCD的画面输出对应，向显示装置DP输出LCD画面。
在这里，为了在进行模拟的同时进行应用程序AP的调试，模拟器3与调整器2连接。调整器2通过个人计算机PC的磁盘装置DU，从存储调试程序的存储媒体读取调试程序，装载在主存储装置中，由中央处理装置CP执行，进行调试。调整器2能够进行模拟器3的启动/停止、模拟器3上的数据的参照和数据的重写等。而且，调整器2能够在每个步骤执行或中断应用程序AP。
在这里，说明输入项目文件IF和参考输出文件OF。输入项目文件IF和参考输出文件OF利用自动评价系统1的输入项目数据制作功能和参考数据制作功能来制作，或预先通过编辑来制作。
下面说明通过自动评价系统1制作输入项目文件IF的情况。首先，通过自动评价系统1将个人计算机的安装装置的各个键分配给键盘KB的各个键。然后，用户准备与安装装置的规格对应的多种项目，将键一个一个地输入。由此，自动评价系统1确定每一个输入项目的键的种类和输入顺序，作为输入项目数据。而且，当对于一个输入项目，微型计算机的安装装置的LCD的输出画面变化时，将与该更新的输出画面的状态的数量对应的次数作为输入项目数据。最后，自动评价系统1将所有的输入项目的输入项目数据存储在输入项目文件IF中。
输入项目文件IF被赋予任意的文件名，存储在存储媒体中，被设定为能从磁盘装置DU读出的状态。相应地，输入项目文件IF与个人计算机的规格变更、安装装置的规格变更、评价内容的变更等对应，能够进行变更。例如，如图3(a)所示，作为一个输入项目20，按照按下“A”键、“B”键、“C”键的顺序操作键。此时，输入项目20将A、B、C键的种类和该键的输入顺序作为输入项目数据，存储在输入项目文件IF中。在闪烁光标的情况下，因为对该输入项目的输出画面的状态为2个，所以与输出画面的状态的数量对应的次数存储在输入项目文件IF中。
接着，说明用自动评价系统1制作参考输出文件OF的情况。因为参考输出文件OF中存储了将一个或多个参照输出结果与一个输入项目对应的参考数据，所以与输入项目文件IF的制作对应而制作。在这里。对于每个输入项目，在反映该输入项目并被更新的输出画面的状态有多个时，根据该多个输出画面的状态，设定各个输出结果。
例如，在闪烁光标的情况下，设定2个参照输出结果。
在用户每次输入作为输入项目的键时，自动评价系统1将该键输入作为输入项目向模拟器3传送。模拟器3对该键输入进行模拟，将模拟结果在显示装置DP上显示。显示后，用户确认显示装置DP的显示内容，如果正确则确定为参照输出结果。相应地，根据本发明的实施例，由于安装装置的输出装置是LCD，该参照输出结果(参考数据)是LCD显示用的图像数据和在LCD上显示时的位置数据。
应用程序AP在开发的中途时，与应用程序AP的修改对应，制作参考输出文件OF。此时，参考输出文件OF能够在自动评价的项目中，追加应用程序AP的错误校正部位和规格变更部位等，进行包括应用程序AP的变更部位的自动评价。或者，也可以在用户输入一个输入项目的键后，通过自动评价系统1的参考数据制作用的编辑，制作LCD的显示用的图像数据，作为参照输出结果。
最后，自动评价系统1将所有的参照输出结果的参考数据存储在参考输出文件OF中。参考输出文件OF被赋予任意的文件名，存储在存储媒体中，被设定为能从磁盘装置DU读出的状态。然后，参考输出文件OF的文件名记载在输入项目文件IF中，根据输入项目文件IF而被读出。例如，如图3(b)所示，在输入项目20被输入前，在LCD的参照输出画面21中，在左上端显示[_]。当作为输入项目20进行(a)图的键输入时，如图(c)所示，在LCD的参照输出画面22中，从左上端至右方显示作为参照输出结果23的[ABC_]。当[_]为闪烁光标时，作为正转模式，显示[ABC_]，作为反转模式，显示[ABC]，作为参照输出结果23。
此时，对于参照输出结果23，将[ABC_]和[ABC]的LCD的显示用的图像数据和LCD画面上的显示位置数据作为参考数据，存储在参考输出文件OF中。
下面参照图2，说明进行自动评价系统1和模拟器3的自动评价时的动作。
当用户启动自动评价系统1时，存储在输入项目文件IF中的输入项目数据ID从磁盘装置DU装入个人计算机PC内。由用户指定输入项目文件IF的文件名。当装入输入项目数据ID时，自动评价系统1将存储在参考输出文件OF中的参考数据RD装入个人计算机PC内，该参考输出文件OF的文件名记载在输入项目文件IF中。
自动评价系统1从输入项目数据ID向模拟器3传送一个输入项目。输入项目的传送利用了个人计算机的OS(操作系统)的API(应用程序界面)指令。例如，OS为Window98的情况下，使用API指令的FindWindow，取得模拟器3的窗口处理程序。
然后使用API指令的PostMessage(邮件信息)，将输入项目数据ID中的一个输入项目向窗口处理程序传送。即，通过API指令能够在自动评价系统1和模拟器3间进行输入项目的传送。由于自动评价系统1和模拟器3使用API指令等的OS具有的功能，为传送输入项目不必追加特别的功能。
在每次传送输入项目时，模拟器3根据该输入项目，对应用程序AP的动作进行模拟。模拟器3为了在显示装置DP上显示，将作为模拟结果的LCD的显示用的图像数据及位置数据暂时存储在RAM10中。当输入项目数据ID中，与输出画面的状态的数量对应的次数被多次设定时，将对应于该次数的模拟结果暂时存储。模拟器3还将存储在该RAM10中的LCD的显示用的图像数据显示在显示装置DP中。在这里进行的模拟器3的处理与对通常的应用程序AP的动作进行模拟的处理相同，为进行自动评价不需要进行特别的处理。因此，应用程序AP能够使用与实际装载在微型计算机的应用程序相同的程序。RAM10是个人计算机PC的主存储装置，由自动评价系统1和模拟器3可共用的RAM构成。因此，RAM10可以被自动评价系统1和模拟器3存取。即，在自动评价系统1和模拟器3之间，通过RAM10可以进行模拟结果的交换。由于自动评价系统1和模拟器3利用了个人计算机PC的RAM10，所以能够不必为参照模拟结果而追加特别的功能。此外，RAM10也可以是个人计算机具有的VRAM(视频随机存储器)。
在模拟后，自动评价系统1参照存储在RAM10中的模拟结果。自动评价系统1将该模拟结果与作为参照输出结果的参考数据(LCD的显示用的图像数据及位置数据)进行比较，该参照输出结果与被装入的参考数据RD中向模拟器3传送的输入项目对应。自动评价系统1判断两个结果是否一致，评价输入项目的应用程序AP的动作。然后，自动评价系统1将该判定结果存储在结果记录文件中。在结果记录文件中，可以存储所有的判定结果，也可以只在模拟结果与参照输出结果不同的情况下存储判定结果。
自动评价系统1可以将模拟结果与参照输出结果并排地在显示装置DP上显示，成为用户能够确认的状态。自动评价系统1也可以将判定结果显示装置DP上显示。
在每次对一个输入项目评价结束后，自动评价系统1对存储在输入项目数据ID的后续的输入项目反复进行上述处理，进行自动评价。当对输入项目数据ID的所有的输入项目的评价结束时，自动评价系统1根据用户的指示，将结果记录文件存储在硬盘等存储媒体中，结束自动评价。
下面具体说明对一个输入项目的输出画面的状态有多个时，自动评价系统1的自动评价。图4是实现自动评价方法的作为自动评价系统的个人计算机的功能展开图，图5是表示该动作步骤的流程图。图中，与图1具有相同符号的部件与图1相同。
在图4中，本实施例的自动评价系统1在功能上大体分为自动评价装置11和模拟装置30。模拟装置30将模拟器3内置，通过该模拟器3，对在目标系统上动作的程序(应用程序AP)的动作进行模拟，并如后述那样，监视反映该结果的输出画面的数据更新所确定的时间，并通过显示重写项目通知部32送给自动评价装置11。
自动评价装置11由评价系统本体111和输出画面参照部112构成。输出画面参照部112如后述那样，在每次从模拟装置30获得输出画面的数据更新所确定的时间信息(显示重写结束项目)时，在该时间参照输出画面，将该参考数据送给评价系统本体111。评价系统本体111将该参照结果(模拟结果)与预先制作的参考数据进行比较，其比较的次数与反映输入项目且输入项目被更新的画面输出的状态的数量相对应，来进行自动评价。
模拟装置30由进行模拟的模拟器本体31和显示重写结束项目通知部32构成，该显示重写结束项目通知部32检查显示重写结束，生成输出显示重写结束项目。此外，113是输入项目文件，114是参考文件，115是记录文件。
以下参照图5所示流程图，详细说明自动评价方法。
自动评价装置11首先从磁盘装置DU中，从预备好的输入项目文件113读出输入项目数据ID(步骤S51)。在输入项目数据ID中，设定了与一个输入项目更新的输出画面的状态数量对应的次数数据(n)。
接着，自动评价装置11对于取入的输入项目，通过API指令向模拟装置30具有的模拟器本体31传送(步骤S52)。模拟器本体31响应输入项目(步骤S53)，开始模拟。
接着，模拟器本体31通过模拟器生成显示数据(结果数据)，更新RAM10的内容(步骤S54)。然后，模拟装置30检查模拟结果数据的写入是否结束(步骤S55)。这里，模拟装置30直到写入结束为止，继续检查。当从应用程序AP向RAM10的写入在一定时间或周期时间没有发生时，模拟装置30判断模拟结果数据的重写结束。进而，模拟装置30在将模拟结果数据(显示数据)重写结束后，从显示重写项目通知部32传送显示重写结束项目，停止模拟(步骤S56)。接着，自动评价装置11接收显示重写结束项目后，取入模拟结果数据(步骤S57)。取入结束后，自动评价装置11将画面数据读入结束通知向模拟装置30传送。这样，在接收画面数据读入结束通知后，模拟装置30重新开始模拟(步骤S58)。
接着，自动评价装置11计数状态数n(步骤S59)。在状态数为0以外的情况下，自动评价装置11对状态数n进行减1的运算，继续模拟结果数据的取入，模拟器本体31执行步骤S54的处理。另一方面，在状态数n为0时，自动评价装置11从参考文件114中读取参考数据RD(文件)(步骤S60)。接着，自动评价装置11的评价系统本体111将参考数据RD与模拟结果数据进行比较(步骤S61)。评价系统本体111判断模拟结果数据与参考数据RD是否一致，评价输入项目的应用程序AP的动作(步骤S62)。在该评价中，因为模拟结果数据被取入，其取入次数与状态数n对应，所以将n个模拟结果数据与参考数据RD分别比较。其结果，自动评价装置11在n个模拟结果数据与参考数据RD全部一致时结束处理，在不一致时将错误记录存储在记录文件115中，结束处理(步骤S63)。
模拟装置30具有的显示重写项目通知部32在生成模拟器本体31的结果数据的同时，监视该结果数据的写入周期，在这里，通过预先规定的时钟进行计时，检查模拟结果数据的确定，发行显示重写结束项目(步骤S56)。自动评价装置11的输出画面参照部112等待来自显示重写结束项目通知部32的项目的到来，取入此时的模拟结果数据(步骤S57)。自动评价装置11进行状态数n的计数(步骤S59)，在计数值为0以外时，继续模拟结果数据的取入，在计数值为0时，将与模拟结果数据对应的参考数据RD读入评价系统本体111(步骤S60)。评价系统本体111将参考数据RD与模拟结果数据进行比较和评价(步骤S61、S62)。在该评价中，自动评价装置11判断n个模拟结果数据与参考数据RD是否一致，对输入项目评价应用程序AP的动作(步骤S62)，将该判定结果存储在记录文件115中(步骤S63)。
如上所述，根据本自动评价系统1，通过存取API指令和RAM10，能使自动评价系统1和模拟器3间的存取成为可能。因此，为了从自动评价系统1向模拟器3传送输入项目及用自动评价系统1参照模拟器3的模拟结果，可以不对自动评价系统1和模拟器3追加特别的功能。而且，在应用程序AP中不需要加入自动评价用的功能，可以是与实际装载在微型计算机的应用程序相同的程序。此外，根据本自动评价系统1，即使对于一个输入项目存在多个输出画面的状态，也能对各个输出画面进行自动评价。
本发明不限于上述实施例，可以在各种形态下实施。
例如，为了在自动评价系统1和模拟器3之间进行信息交换，利用了API指令和RAM，但不限于这些装置，也可以利用其他的装置。
而且，以上是将自动评价系统1和模拟器3在同一个人计算机上构成，但也可以在工作站等其他的电子计算机上构成。
此外，也可以通过网络，将在其他的计算机上保存的自动评价程序下载到构成自动评价系统和模拟器的个人计算机上来执行。
根据本发明的自动评价方法，因为进行模拟，参照输出画面，其参照次数与反映输入项目且输入项目被更新的输出画面的状态数对应，通过将该参照结果与预先制作的次数相当的参考数据依次进行比较，进行自动评价，所以即使对一个输入项目的输出画面的状态变化，也不用进行屏蔽处理，也不需要对在目标系统上动作的程序进行修改。因此，能够减轻程序员的负担，而且能对一个输入项目进行一次以上的评价，能够提高评价精度。
根据本发明的自动评价方法，因为对于每个输入项目，将更新输出画面的状态所存在的几种种类作为次数数据进行设定，所以能够对一个输入项目重复进行与上述次数相当次数的评价，因此能提高评价精度。
根据本发明的自动评价系统，输出画面参照装置参照输出画面，其参照次数与一个输入项目具有的多个状态数对应，评价装置反复进行与该状态对应次数的评价。所以，即使对一个输入项目的输出画面的状态变化，也不用进行屏蔽处理，也不需要对在目标系统上动作的程序进行修改，因此，能够减轻程序员的负担。而且能对一个输入项目进行一次以上的评价，能够提高评价精度，从而能构成高性能的自动评价系统。
根据本发明的自动评价系统，通过显示重写结束项目，能够只在在任何状态下模拟结果都确定的时间取入模拟的结果数据。因此能够得到稳定的参照数据，从而使可靠性高的评价成为可能。
根据本发明的存储自动评价程序的存储媒体，能够利用对模拟器的输入项目模拟的结果进行自动评价，所以即使对一个输入项目的输出画面的状态变化，也不用进行屏蔽处理，也不需要对在目标系统上动作的程序进行修改。因此，能够减轻程序员的负担，而且能对一个输入项目进行一次以上的评价，能够提高评价精度。
根据本发明的存储自动评价程序的存储媒体，通过接收显示重写结束项目，能够只在在任何状态下模拟结果都确定的时间取入模拟的结果数据。因此能够得到稳定的参照数据，从而使可靠性高的评价成为可能。
权利要求
1.一种自动评价方法，通过参照对任意的输入项目模拟的结果和输出画面，自动评价在目标系统上动作的程序，其特征在于，进行模拟，参照上述输出画面，其参照次数与反映上述输入项目且输入项目被更新的输出画面的状态数对应，通过将该参照结果与预先制作的和上述次数相当的参考数据依次进行比较，进行自动评价。
2.根据权利要求1所述的自动评价方法，其特征在于，上述次数与上述输入项目的数据一起被设定。
3.一种自动评价系统，通过参照对任意的输入项目模拟的结果和输出画面，自动评价在目标系统上动作的程序，其特征在于，具有输出画面参照装置，进行上述模拟，参照上述输出画面，其参照次数与反映上述输入项目且输入项目被更新的输出画面的状态数对应，评价装置，通过将该参照结果与预先制作的和上述次数相当的参考数据依次进行比较，进行自动评价。
4.根据权利要求3所述的自动评价系统，其特征在于，还具有模拟装置，上述模拟装置进行模拟，并在输出画面根据上述次数而更新时，通知显示重写结束项目。
5.一种存储媒体，存储一种自动评价程序，该自动评价程序通过参照对任意的输入项目的模拟的结果、输出画面，自动评价在目标系统上动作的程序，其特征在于，上述自动评价程序具有读取输入项目及上述各输入项目的预先制作的参考数据的步骤；依次发送上述被读取的输入项目，触发模拟的执行的步骤；进行模拟，参照上述输出画面，其参照次数与反映上述输入项目且输入项目被更新的输出画面的状态数对应的步骤；通过将该参照结果与预先制作的和上述次数相当的参考数据依次进行比较，进行自动评价的步骤。
6.根据权利要求5所述的自动评价程序，其特征在于，上述自动评价程序还包括在每次从模拟器接收显示重写结束项目时，参照上述输出画面，反复进行上述自动评价的步骤。
全文摘要
对于每个输入项目,将该输入项目的输出画面的状态数(反映输入项目且输入项目被更新的输出画面的种类)作为次数数据进行设定,通过对一个输入项目反复进行与该次数相当的评价,提高评价精度。一种自动评价系统,通过参照对任意的输入项目的模拟的结果、输出画面,自动评价在目标系统上动作的程序,模拟器本体31进行模拟,输出画面参照部113参照上述输出画面,其参照次数与反映上述输入项目且输入项目被更新的输出画面的状态数对应,评价系统本体111通过将该参照结果与预先制作的和上述次数相当的参考数据依次进行比较,进行自动评价。
文档编号G06F11/36GK1383508SQ01801698
公开日2002年12月4日 申请日期2001年6月14日 优先权日2000年6月14日
发明者武田和义 申请人:精工爱普生株式会社