评价系统、评价装置、评价方法以及评价程序的制作方法

专利名称：评价系统、评价装置、评价方法以及评价程序的制作方法
技术领域：
本发明涉及评价系统、评价装置、评价方法以及评价程序，该评价系统包括成为评价对象的对象设备；操作所述对象设备的遥控器；以及控制所述遥控器使所述对象设备动作、自动评价所述对象设备的动作的评价装置。
背景技术：
目前，使用遥控器来控制设备本体的动作的电子设备得到了广泛的应用。在这样的电子设备中，需要验证是否能够正确地进行基于遥控器的控制，并评价电子设备的动作。目前，例如在电子设备的评价负责人等实际操作遥控器、判断电子设备是否按照操作进行动作这样的情况下，通过人手进行该验证以及评价。但是，近年来基于遥控器的电子设备控制变得越来越复杂，通过人手进行验证以及评价需要大量工时，因此期待验证以及动作的自动化。例如，在专利文献1中记载了能够不费工夫、不费成本地对装置进行评价的评价系统以及评价方法。专利文献1日本特开2002-189617号公报如上所述，在通过人手进行验证以及评价时，必须花费大量的人员以及时间，并且会有操作遥控器错误的担忧。另外，通过人手进行验证以及评价时，在进行与作为评价对象的电子设备的状态迁移等有关的时间的测量时，人使用秒表(Stop watch)进行测量。因此难以测量正确的时间。另外，在发生再现性差的故障时，需要人分析在验证动作中所取得的日志，并且通过手动操作遥控器使该故障再现。此时，除了日志的分析需要大量的时间以外，也很难通过手动忠实地再现故障。因此，例如也想到了通过市场上销售的工具等来控制电子设备，但此时成为单方向控制，因此无法进行与作为评价对象的电子设备的状态相符的控制和灵活的控制。另外， 即使在作为评价对象的电子设备中发生故障，也只能使该电子设备保持原样地继续动作。

发明内容
本发明是鉴于上述问题而提出的发明，其目的在于提供一种能够减少与验证以及评价有关的工时，并且能够进行正确的自动评价的评价系统、评价装置、评价方法以及评价程序。为了达到上述目的，本发明采用了如下结构。本发明提供一种评价系统(100)，其包括成为评价对象的对象设备(300)；操作所述对象设备(300)的遥控器000)；以及评价装置000)，其控制所述遥控器(400)使所述对象设备(300)动作、自动评价所述对象设备(300)的动作，所述评价系统(100)的特征在于，所述评价装置(200)具有执行单元040)，其生成并执行用于使所述遥控器(400) 操作所述对象设备(300)的代码(code)；发送单元031)，其将所述代码发送到所述遥控器；接收单元032)，其接收所述对象设备取得的日志；分析单元050)，其分析所述日志；以及判断单元025)，其根据所述分析单元(250)的分析结果来判断所述对象设备(300)的动作的正误，使所述对象设备(300)执行下一个动作。另外，在本发明的评价系统中，所述评价装置(200)具有状态存储单元OM)， 其存储有表示所述对象设备(300)的状态的值，所述分析单元(250)从所述日志取得表示所述对象设备(300)的状态的值，所述判断单元025)比较通过所述分析单元(250)取得的所述日志中包含的表示所述对象设备(300)的状态的值、与存储在所述状态存储单元 (224)中的表示所述对象设备的状态的值，来判断所述对象设备(300)的正误。另外，在本发明的评价系统中，在所述日志中包含表示所述对象设备(300)的状态的迁移开始的时刻和所述状态的迁移结束的时刻的时刻信息，所述分析单元(250)从所述日志取得所述时刻信息，所述判断单元(225)根据所述时刻信息来测量与所述对象设备的状态的迁移有关的时间。另外，在本发明的评价系统中，所述评价装置(200)具有脚本编译单元021)，其编译脚本代码(script code)，来生成用于使所述遥控器(400)进行操作的代码。另外，在本发明的评价系统中，所述评价装置(200)具有脚本代码生成单元 010)，其生成所述脚本代码。另外，在本发明的评价系统中，所述评价装置(200)具有日志保存单元060)，其保存从所述对象设备(300)取得的日志；以及变换单元070)，其将保存在所述日志保存单元Q60)中的日志变换为脚本代码。另外，在本发明的评价系统中，所述评价装置(200)具有数据库，其存储有与所述对象设备(300)的动作模式有关的信息，所述对象设备(300)以与所述动作模式对应的预定格式来取得所述日志。本发明提供一种评价系统中的评价装置000)，所述评价系统包括成为评价对象的对象设备(300)；操作所述对象设备的遥控器G00)；以及控制所述遥控器(400)使所述对象设备(300)动作、自动评价所述对象设备(300)的动作的所述评价装置000)，所述评价装置的特征在于具备执行单元040)，其生成并执行用于使所述遥控器(400)操作所述对象设备(300)的代码；发送单元031)，其将所述代码发送到所述遥控器；接收单元 032)，其接收以预定格式从所述对象设备取得的日志；分析单元050)，其分析所述日志； 以及判断单元025)，其根据所述分析单元(250)的分析结果来进行所述对象设备(300)的动作的正误判断，使所述对象设备(300)执行下一个动作。本发明提供一种基于评价系统(100)的评价方法，该评价系统(100)包括成为评价对象的对象设备(300)；操作所述对象设备(300)的遥控器000)；以及控制所述遥控器(400)使所述对象设备(300)动作、评价所述对象设备的动作的评价装置000)，所述评价方法的特征在于，具备以下步骤执行步骤，所述评价装置生成并执行用于使所述遥控器 (400)操作所述对象设备(300)的代码；发送步骤，所述评价装置将所述代码发送到所述遥控器G00)；接收步骤，所述评价装置接收所述对象设备(300)取得的日志；分析步骤，所述评价装置分析所述日志；以及判断步骤，所述评价装置根据所述分析步骤中的分析结果来进行所述对象设备(300)的动作的正误判断，使所述对象设备(300)执行下一个动作。本发明提供一种在评价系统中执行的评价程序，所述评价系统包括成为评价对象的对象设备(300)；操作所述对象设备(300)的遥控器000)；以及控制所述遥控器(400)使所述对象设备(300)动作、自动评价所述对象设备(300)的动作的评价装置 O00)，所述评价程序的特征在于，使所述评价装置执行如下步骤执行步骤，生成并执行用于使所述遥控器(400)操作所述对象设备(300)的代码；发送步骤，将所述代码发送到所述遥控器G00)；接收步骤，接收以预定格式从所述对象设备(300)取得的日志；分析步骤，分析所述日志；以及判断步骤，根据所述分析步骤中的分析结果来进行所述对象设备(300) 的动作的正误判断，使所述对象设备(300)执行下一个动作。另外，上述括号内的参照标号是便于理解而附加的标号，其只不过是一个例子，并不限于图示的方式。根据本发明能够减少与验证以及评价有关的工时，并且进行正确的评价。


图1是用于说明本实施方式的评价系统的概要的图。图2是表示本实施方式的评价装置的硬件结构的图。图3是用于说明构成本实施方式的评价系统的各装置的功能结构的图。图4是用于说明本实施方式的评价系统的动作的图。图5是用于说明脚本执行部的处理的流程图。图6是表示登录在状态存储部中的信息的一个例子的图。图7是表示以预先设定的格式取得的日志的一个例子的图。图8是表示对应表的例子的第一图。图9是表示对应表的例子的第二图。图10是表示对应表的例子的第三图。符号说明100评价系统；200评价装置；210 UI部；220脚本执行部；230通信部；240命令执行部；250日志分析部；260日志保存存储器；270日志变换部；300对象设备；400遥控器
具体实施例方式在本实施方式中，对评价对象的电子设备自动执行验证动作，取得验证结果的日志(log)，分析所取得的日志，对电子设备的动作进行评价。(实施方式)以下参照附图对本发明的实施方式进行说明。图1是用于说明本实施方式的评价系统的概要的图。本实施方式的评价系统100包括评价装置200、成为评价对象的电子设备(以下称为对象设备)300、以及操作对象设备的遥控器400。例如通过LAN (Local Area Network) 电缆等连接本实施方式的评价装置200和对象设备300。另外，评价装置200例如通过 USB (Universal Serial Bus)电缆等遥控器操作电缆与遥控器400连接。评价装置200和遥控器400通过红外线进行通信。本实施方式的对象设备300例如是STBGet Top Box)等。所谓STB是接收电缆电视广播或卫星广播、地面波电视广播(数字广播、模拟广播)、IP (Internet Protocol)广播等的广播信号，通过普通的电视变换为能够视听的信号的装置。另外，对象设备300并不限于STB。对象设备300只要是能够通过遥控器400操作的电子设备即可，例如也可以是游戏机或音频播放器等。在本实施方式的评价系统100中，评价装置200控制遥控器400使对象设备300 动作。具体来讲，从评价装置200向遥控器400发送用于使对象设备300动作的信号。遥控器400根据该信号，通过红外线通信向对象设备300发送操作信号。对象设备300根据来自遥控器400的操作信号进行动作，将动作的履历、即日志发送到评价装置200。评价装置200分析从对象设备300收到的日志，评价对象设备300的动作是否正确。在本实施方式中，评价装置200，例如经由telnet CTelecommunication network)从对象设备300取得日志ο图2是表示本实施方式的评价装置的硬件结构的图。本实施方式的评价装置200经由总线B连接输入装置11、输出装置12、驱动装置 13、辅助存储装置14、存储器装置15、运算处理装置16、接口装置17。输入装置11由键盘、鼠标等构成，用于输入各种信号。输出装置12由显示装置等构成，用于显示各种窗口、数据等。驱动装置13驱动记录在记录介质18中的程序等。辅助存储装置14存储所安装的评价程序和必要的文件、数据等。存储器装置15在评价装置200启动时，从辅助存储装置14中读出并存储评价程序。运算处理装置16控制评价装置200的整体的处理。另外，运算处理装置16根据存储在存储器装置15中的本发明的评价程序来实现后述的各种处理。接口装置17由调制解调器、LAN卡等构成，用于将评价装置200连接在网络上。本发明的评价程序是控制评价装置200的各种程序中的至少一部分程序。例如通过记录介质18的分发或从网络下载等来提供评价程序。记录有评价程序的记录介质18 能够使用以CD-ROM、软盘、光磁盘等形式光学地、电气地或磁性地记录信息的记录介质、以 ROM (Read Only Memory)、闪速存储器等形式电气地记录信息的半导体存储器等各种类型的记录介质。另外，当将记录有评价程序的记录介质18设置在驱动装置13中时，经由驱动装置 13将评价程序从记录介质18安装到辅助存储装置14中。将从网络下载的评价程序经由接口装置17安装到辅助存储装置14中。图3是用于说明构成本实施方式的评价系统的各装置的功能结构的图。本实施方式的评价装置200具有UI (User Interface)部210、脚本执行部220、通信部230、命令执行部M0、日志分析部250、日志保存存储器沈0以及日志变换部270。本实施方式的评价装置200通过脚本执行部220执行在UI部210中生成的脚本， 经由通信部230，通过命令执行部240将命令(遥控码)发送到遥控器400。遥控器400接受遥控码后将操作信号发送到对象设备300。对象设备300接受到操作信号进行动作，将该动作的结果作为日志发送到评价装置200。评价装置200经由通信部230接收日志，将通过日志分析部250进行分析的分析结果传送给脚本执行部220。脚本执行部220根据日志的分析结果对对象设备300的动作进行评价。另外，评价装置200的通信部230将接收到的日志保存到日志保存存储器沈0，通过日志变换部270将接收到的日志变换为脚本代码(script code) 0
以下，对各部分做进一步说明。本实施方式的UI部210具有脚本代码生成部211、显示部212。本实施方式的脚本代码生成部211，例如将用于生成脚本代码的显示画面显示在显示部212上。显示部212 例如是构成输出装置12的显示器等。本实施方式的脚本代码生成部211，例如可以通过在生成脚本代码时，能够简单地生成所期望的脚本代码的脚本生成支援用的应用程序等来实现。本实施方式的脚本执行部220具有脚本编译部221、执行数据存储部222、执行部 223、以及状态存储部224。脚本编译部221对通过UI部210生成的脚本代码进行编译，作为执行数据。执行数据存储部222存储执行数据。执行部2 读出并执行存储在执行数据存储部222中的执行数据。另外，本实施方式的执行部223具有判断部225，其比较根据日志分析部250的分析结果获得的状态值与存储在状态存储部2M中的状态的值，判断对象设备300的动作。后面将阐述判断部225的详细处理。状态存储部2 存储用于判断部225中的判断的与对象设备300的状态有关的信息。在本实施方式的状态存储部224中，例如存储表示对象设备300从遥控器400接收到信号的状态的值、表示对象设备300开始选台的状态的值、以及表示对象设备300结束选台的状态的值等。后面将对存储在状态存储部224中的状态的值进行阐述。存储在本实施方式的状态存储部224中的状态的值包含预先设定的恒定的值和能够通过UI部210进行变更的值。另外，在本实施方式的状态存储部2M中存储有将通过对象设备300显示的各UI画面的种类、UI本身具有的设定值、坐标信息等关联起来的信息。在本实施方式中，执行数据存储部222和状态存储部2 例如也可以是设置在评价装置200的辅助存储装置14内的存储区域。通信部230具有遥控码发送部231、日志接收部232。遥控码发送部231将从命令执行部240输出的遥控码发送到遥控器400。日志接收部232接收从对象设备300发送的
日志ο命令执行部240根据存储在执行数据存储部222中存储的执行数据生成针对遥控器400的遥控码。当生成了遥控码时，通过遥控码发送部231向遥控器400发送遥控码。日志分析部250分析通过日志接收部232接收到的日志，取得在日志中包含的对象设备300的状态的值。将通过日志分析部250取得的状态的值传递给执行部223。日志保存部260保存从日志接收部232接收到的日志。日志变换部270将保存在日志保存部沈0中的日志变换为脚本代码。后面将阐述日志变换部270的详细处理。本实施方式的对象设备300具有日志取得部310、日志发送部320。本实施方式的日志取得部310以预先设定的预定格式取得对象设备300从遥控器400接受操作信号后进行动作时的日志。日志发送部320向评价装置200发送通过日志取得部310取得的预定格式的日志。本实施方式的遥控器400具有遥控模块器410。遥控模块410在从评价装置200 接收到遥控码时，根据遥控码向对象设备300输出操作信号。以下，参照图4说明本实施方式的评价系统100的动作。图4是用于说明本实施方式的评价系统的动作的图。在图4中表示针对对象设备300即STB执行广播电波的切换处理(选台)、判断动作的正误的例子。评价装置200通过脚本执行部220编译并执行脚本代码，生成通过命令执行部240 指示选台的遥控码(步骤S401)。然后，评价装置200向遥控器400发送遥控码。遥控器 400接受该遥控码，通过红外线通信向对象设备300发送操作信号(步骤S402)。对象设备300接受到操作信号时，通过日志取得部310取得接收状况(接收状态) 作为日志，通过日志发送部320向评价装置200发送日志(步骤S403)。评价装置200通过日志接收部232接收日志时，通过日志分析部250从日志取得接收状态的值，通过判断部 225根据接收状态的值判断对象设备300的动作(步骤S404)。对象设备300根据操作信号开始选台，通过日志取得部310取得选台开始状况 (选台开始状态)的日志。然后，对象设备300通过日志发送部320向评价装置200发送所取得的日志(步骤S405)。评价装置200通过分析部250从日志取得选台开始状态，通过判断部225根据选台开始状态的值来判断对象设备300的动作(步骤S406)。接着，在对象设备300中，当广播电波的切换完成、选台结束时，日志取得部310取得选台结束(选台结束状态)的日志，通过日志发送部320向评价装置200发送该日志(步骤S407)。评价装置200通过日志分析部250从日志取得选台结束状态的值，通过判断部 225根据选台结束状态的值来判断对象设备300的动作(步骤S408)。另外，在本实施方式中，当预定时间以上不从对象设备300输出日志时，评价装置 200可以认为超时。以下，参照图4、图5进一步说明上述处理中的评价装置200的脚本执行部220的处理。图5是用于说明脚本执行部的处理的流程图。评价装置200通过脚本编译部221编译在UI部210中指定的“Sendding_keycode 0x2A”的脚本代码，并将执行数据存储在执行数据存储部222中(步骤S501)。关键码(key code) 0x2A例如是使对象设备300 “选台BS/102台”的码。接着，执行部223从执行数据存储部222读出执行数据，开始脚本的执行(步骤S502)。接着，执行部223识别向遥控器400发送的代码(步骤S50!3)。然后，执行部223 执行代码例程(code routine)(步骤S504)。接着，执行部223通过命令执行部240执行与关键码0x2A对应的遥控码(步骤 S505)。由此，从遥控码发送部231向遥控器400发送遥控码。接着，评价装置200的脚本代码执行部220通过判断部225确认遥控码已被对象设备300收到(步骤S506)。本实施方式的对象设备300如图4所示那样，当接收到关键码0x2A时，取得日志作为接收到的状态。对象设备300的日志取得部310以预先指定的格式取得日志。日志取得部 310 取得 “ Ircode = 0x2A Ircode Receive Time = 08/11/19/18/00/54/94 Ircode Receive Matus = 0x00”作为日志。在该日志中包含对象设备300接收到的代码、接收到代码的时间、表示接收到代码的接收状态。然后，对象设备300通过日志发送部320向评价装置200发送该日志。日志分析部250在从日志接收部232传递了该日志时，取得在日志中包含的接收状态的值，传递给判断部225。判断部225比较所传递的状态的值(0x00)与存储在状态存储部224中的对应的值，判断对象设备300是否接收到遥控码。本实施方式的判断部225参照状态存储部224，判断在状态存储部2 中是否将接收状态=0x00作为表示通过对象设备300完成接收遥控码的值进行了存储。如果接收状态=0x00是表示接收完成的值，则判断部225判断为通过对象设备300完成接收遥控码。 当在状态存储部2M中没有将接收状态=0x00作为表示接收完成的值进行存储时，判断部 225不判断为通过对象设备300完成接收遥控码。返回到图5，接着，评价装置200的脚本执行部220通过判断部225根据日志分析部250从日志接收部232接收到的日志，确认在对象设备300的通常的视听状态下的选台已开始(步骤S507)。本实施方式的对象设备300，如图4所示，以预先指定的格式取得日志作为选台开始状态。日志取得部 310 取得 “Changging_Ch_MartMatus = 0x1006”、“Changging_Ch_ StartTime = 08/11/19/18/00作4/97”作为日志。在该日志中包含表示对象设备300中的选台开始的选台开始状态和开始选台的时刻。然后，对象设备300通过日志发送部320向评价装置200发送该日志。日志分析部250从该日志取得选台开始状态的值。本实施方式的判断部225判断选台开始状态的值=0x1006是否是表示对象设备300中的选台开始的值。因为在存储在状态存储部2 中的后述的对应表90中定义为选台开始状态=0x1006,所以判断部225判断通过对象设备300的选台已经开始。另外，判断部225在日志中的选台开始状态的值不是0x1006时，由于与状态存储部224中所定义的值不同，因此判断为在对象设备300中没有开始选台。接着，评价装置200的脚本执行部220通过判断部225根据日志分析部250从日志接收部232接收到的日志，确认在对象设备300中选台已结束(步骤S508)。本实施方式的对象设备300，如图4所示，以预定格式取得日志作为选台结束状态。日志取得部 310 取得 “Changging_ChJnfo = BS/102Changging_Ch_EndStatus = 0x2000Changging_Ch_EndTime = 08/11/19/18/00/55/00”作为日志。在该日志中包含表示选台后的频道信息、表示对象设备300中选台结束的选台结束状态、以及结束选台的时刻。 然后，对象设备300通过日志发送部320向评价装置200发送该日志。日志分析部250从该日志取得选台结束状态的值。在本实施方式中，日志中的选台结束状态的值是0x2000。本实施方式的判断部225判断选台结束状态=0x2000是否为表示对象设备300中的选台结束的值。因为在状态存储部224中存储的后述的对应表10 中定义为处理正常结束时的状态=0x2000，所以判断部225判断为通过对象设备300的选台已结束。另外，判断部225在日志中的选台结束状态的值不是0x2000时，由于与在状态存储部224中定义的值不同，因此判断为在对象设备300中选台没有结束。当通过对象设备300的选台结束时，评价装置200开始执行下一个脚本命令(步骤 S509)。另外，在本实施方式中，可以将通过日志分析部250取得的状态的值存储在状态存储部224中。并且，在本实施方式中还可以使用由日志分析部250使状态存储部2M存储的状态的值，来判断对象设备300的动作。在本实施方式中，通过该结构，能够使用在脚本代码执行过程中新取得的状态的值进行对象设备300的验证以及评价，能够增加对象设备300的验证以及评价的变化。另外，在本实施方式中，例如在日志中包含时刻信息，因此，例如能够计测从对象设备300接收到关键码的时刻到选台结束为止的时刻。因此，在本实施方式中能够自动地测量对象设备300中的与状态迁移有关的时间。另外，对判断通过本实施方式的评价装置200进行的对象设备300的动作的正误进行说明。在本实施方式的状态存储部224中登录有构成各UI画面的各对象(按钮、输入框等)。图6是表示登录在状态存储部中的信息的一个例子的图。图6 (A)是表示UI画面的一个例子的图，图6(B)是表示定义UI画面各按钮的结构体的例子的图，图6(C)是表示定义了按钮A时的例子的图。当使用图6(B)表示的结构体61来定义图6(A)表示的画面60中显示的按钮时，则如图6(C)所示那样。另外，在本实施方式的状态存储部224中存储有对应表，该对应表是将在各UI画面的动作模式(pattern)和与动作模式对应的状态的值对应起来的表。动作模式例如是将焦点对象从按钮A移动到按钮B的动作、使焦点对象从按钮A移动到按钮C显示其它UI画面的动作等。在本实施方式的评价装置200中比较对象设备300和存储在状态存储部2M中的对应表，判断对象设备300的动作的正误。例如，在本实施方式中对使对象设备300执行在画面60中从按钮A向按钮B变更焦点对象的动作的情况进行说明。此时，评价装置200根据表示是否发送了遥控码的日志、 表示焦点对象的移动开始的日志、以及表示焦点对象的移动结束的日志，自动地评价对象设备300的动作。本实施方式的评价装置200向遥控器400发送操作“一”(将焦点对象从画面60 上左侧向右侧移动)的遥控码。经由遥控器400，将该遥控码发送到对象设备300。对象设备300接受该遥控码并执行处理，通过日志取得部310以预先设定的格式取得处理结果的
日志ο图7是表示以预先设定的格式取得的日志的一个例子的图。图7所示的日志70 是在对象设备300中显示的画面60中进行了将焦点对象从左侧向右侧移动的操作时，从对象设备300向评价装置200发送的日志的例子。图7所示的日志70的行11表示对象设备300接收到的遥控码。行11的码是表示按压了遥控器400的十字键等的右按钮的遥控码。日志70的行12表示接收到行11的遥控码的时刻，行13表示当前正在显示的画面60。并且，行14表示当前处于焦点的按钮的坐标。在行14中，可知当前处于焦点的坐标与存储在评价装置200的状态存储部224中的按钮A的坐标对应。日志70的行15表示焦点已从左向右移动(状态迁移)。在本实施方式中，表示各状态迁移的状态的值，作为对应表存储在评价装置200的状态存储部224中。以下对存储在状态存储部224中的对应表进行说明。图8是表示对应表的例子的第一图，图9是表示对应表的例子的第二图，图10是表示对应表的例子的第三图。图8的对应表80定义了画面状态或其它状态中的状态的值， 是将命令BEF0RE_STATUS和命令PRESENT_STATUS作为对象的值。图9的对应表90是定义了动作迁移中的状态的值，是将命令START_STATUS作为对象的值。图10的对应表10是定义了动作迁移结束时的状态的值，是将命令END_STATUS作为对象的值。行13 的命令 BEF0RE_STATUS 的状态值是 0x0100。因为日志 70 的 BEF0RE_STATUS 的状态值是对应表80中与菜单画面中的一个画面、即画面60对应的值，所以评价装置200 的判断部225判断当前正在显示的画面是画面60。行5的命令START_STATUS的状态值是0x1032。因为日志70的START_STATUS的状态值是对应表90中、与菜单画面中进行光标移动“一”的动作对应的值，所以评价装置 200的判断部225判断为对象设备300的动作正确。行16表示开始焦点对象的移动的时刻。行17表示焦点对象移动后显示的画面。 判断部225根据行17判断当前正在显示的画面与行13同样，是画面60。行18表示移动目标的按钮的坐标。在行18中，可知移动目标的按钮的坐标与存储在状态存储部224中的按钮B的坐标对应。行19表示焦点对象的移动已结束。在行19中，命令END_STATUS的状态值是 0x2000。因为日志70的END_STATUS的状态值是在对应表10中与正常时对应的值，所以评价装置200的判断部225判断为对象设备300中的操作已正确结束。行110表示焦点对象的移动结束的时刻。这样，在本实施方式的评价装置200中，能够根据存储在状态存储部2M中的动作模式和日志70判断对象设备300的动作的正误。另外，在本实施方式的评价装置200中，能够根据从对象设备300取得的日志来生成脚本代码。本实施方式的评价装置200将通过日志接收部232接收到的日志保存到日志存储器沈0。通过日志变换部270将所保存的日志从日志变换为脚本代码。在本实施方式中，通过该功能，例如在发生难以再现的故障时，能够根据日志正确地再现发生该故障的动作。如以上所述，在本实施方式的评价装置200中比较存储在状态存储部224中的表示对象设备300的动作的状况的状态的值和在从对象设备300输出的日志中包含的状态的值，能够自动地判断对象设备300的正误。因此，在本实施方式中，能够削减与对象设备300 的动作的验证以及评价有关的工时、并能够执行正确的评价。另外，在本实施方式中，能够根据从对象设备300取得的日志生成使输出所取得的日志的动作再现的脚本代码。因此，根据本实施方式即使在发生了再现性困难的故障时， 也能够正确地再现该故障，因此能够减少与对象设备300的动作的验证以及评价有关的工时。另外，在本实施方式中，能够保存评价实施用的脚本代码，通过仅执行保存的脚本代码，能够容易地执行对对象设备300的评价。此外，在本实施方式中，对将STB作为对象设备300进行了说明，但本实施方式还能够适用于将通过嵌入式软件进行动作的所有电子设备作为对象设备。以上，根据各实施方式对本发明进行了说明，但是，上述实施方式中表示的要件并不限制本发明。关于这些，能够在不脱离本发明宗旨的范围内进行变更，并能够根据其应用方式来适当决定。
权利要求
1.一种评价系统，其包括成为评价对象的对象设备；操作所述对象设备的遥控器；以及控制所述遥控器使所述对象设备动作、自动评价所述对象设备的动作的评价装置，所述评价系统的特征在于， 所述评价装置具备执行单元，其生成并执行用于使所述遥控器操作所述对象设备的代码； 发送单元，其将所述代码发送到所述遥控器； 接收单元，其接收所述对象设备取得的日志； 分析单元，其分析所述日志；以及判断单元，其根据所述分析单元的分析结果来进行所述对象设备的动作的正误判断， 使所述对象设备执行下一个动作。
2.根据权利要求1所述的评价系统，其特征在于，所述评价装置具有状态存储单元，其存储有表示所述对象设备的状态的值， 所述分析单元从所述日志取得表示所述对象设备的状态的值， 所述判断单元比较在通过所述分析单元取得的所述日志中包含的表示所述对象设备的状态的值、与存储在所述状态存储单元中的表示所述对象设备的状态的值，来判断所述对象设备的正误。
3.根据权利要求1或2所述的评价系统，其特征在于，在所述日志中包含表示所述对象设备的状态的迁移开始的时刻和所述状态的迁移结束的时刻的时刻信息，所述分析单元从所述日志取得所述时刻信息，所述判断单元根据所述时刻信息来测量与所述对象设备的状态的迁移有关的时间。
4.根据权利要求1 3中任意一项所述的评价系统，其特征在于，所述评价装置具有脚本编译单元，其编译脚本代码，来生成用于使所述遥控器进行操作的代码。
5.根据权利要求4所述的评价系统，其特征在于，所述评价装置具有脚本代码生成单元，其生成所述脚本代码。
6.根据权利要求4或5所述的评价系统，其特征在于， 所述评价装置具有日志保存单元，其保存从所述对象设备取得的日志；以及变换单元，其将保存在所述日志保存单元的日志变换为脚本代码。
7.根据权利要求1 6中任意一项所述的评价系统，其特征在于，所述评价装置具有数据库，其存储有与所述对象设备的动作模式有关的信息， 所述对象设备以与所述动作模式对应的预定格式来取得所述日志。
8.一种评价装置，其对成为评价对象的对象设备、操作所述对象设备的遥控器、以及控制所述遥控器使所述对象设备动作、评价所述对象设备的动作，所述评价装置的特征在于， 具备执行单元，其生成并执行用于使所述遥控器操作所述对象设备的代码； 发送单元，其将所述代码发送到所述遥控器； 接收单元，其接收以预定格式从所述对象设备取得的日志；分析单元，其分析所述日志；以及判断单元，其根据所述分析单元的分析结果来进行所述对象设备的动作的正误判断， 使所述对象设备执行下一个动作。
9.一种基于评价系统的评价方法，该评价系统包括成为评价对象的对象设备；操作所述对象设备的遥控器；以及控制所述遥控器使所述对象设备动作、评价所述对象设备的动作的评价装置，所述评价方法的特征在于，具备以下步骤执行步骤，所述评价装置生成并执行用于使所述遥控器操作所述对象设备的代码；发送步骤，所述评价装置将所述代码发送到所述遥控器；接收步骤，所述评价装置接收所述对象设备取得的日志；分析步骤，所述评价装置分析所述日志；以及判断步骤，所述评价装置根据所述分析步骤的分析结果来进行所述对象设备的动作的正误判断，使所述对象设备执行下一个动作。
10.一种评价程序，在成为评价对象的对象设备、操作所述对象设备的遥控器、以及控制所述遥控器使所述对象设备动作、评价所述对象设备的动作的评价装置中执行该评价程序，所述评价程序的特征在于，使所述评价装置执行如下步骤执行步骤，生成并执行用于使所述遥控器操作所述对象设备的代码；发送步骤，将所述代码发送到所述遥控器；接收步骤，接收以预定格式从所述对象设备取得的日志；分析步骤，分析所述日志；以及判断步骤，根据所述分析步骤中的分析结果来进行所述对象设备的动作的正误判断， 使所述对象设备执行下一个动作。
全文摘要
本发明提供一种评价系统、评价装置、评价方法以及评价程序，能够减少与验证及评价有关的工时。该评价装置具有生成并执行使遥控器操作对象设备的代码的执行单元；向遥控器发送代码的发送单元；接收对象设备取得的日志的接收单元；分析日志的分析单元；以及根据分析单元的分析结果来判断所述对象设备的动作的正误的判断单元。
文档编号G06F11/34GK102214136SQ20111009002
公开日2011年10月12日 申请日期2011年4月8日 优先权日2010年4月9日
发明者安藤润一, 宫本浩胜, 村山章太郎 申请人:三美电机株式会社