外部控制装置、声音对话型控制系统、控制方法及记录介质与流程

本发明涉及以声音或图像提供与声音输入信息对应的响应信息的外部控制装置等。

背景技术：

作为以往技术，已知能够使用声音或图像这样的多个手段向用户提供信息的装置。例如在专利文献1中公开了一种将与用户的声音对应的响应消息以声音或文本形式输出的终端装置。

现有技术文献

专利文件

专利文献1：日本公开专利公报“特开2014-002383号”(2014年1月9日公开)

技术实现要素：

本发明所要解决的技术问题

但是，专利文献1中记载的终端装置是能够以声音或文本形式向用户提供信息的构成，但存在无法基于信息的内容以用户容易理解的形式提供该信息的问题。

本发明的一方案以解决所述问题为目的，提供一种以用户容易理解的形式提供信息的外部控制装置。

解决问题的方案

为了解决所述技术问题，本发明一方案的外部控制装置进行以下控制：接收声音输入输出装置所受理的用户的声音输入信息，对所述声音输入信息进行解析，获取与该声音输入信息联的关联信息，基于所获取的所述关联信息的内容，判定向所述用户提供的响应信息中是否包含图像，在判定为在向所述用户提供的所述响应信息中包含所述图像的情况下，在显示装置显示该图像。

本发明一方案的控制方法进行以下控制：接收声音输入输出装置所受理的用户的声音输入信息，对所述声音输入信息进行解析，获取与该声音输入信息相关的关联信息，基于所获取的所述关联信息的内容，判定在向所述用户提供的所述响应信息中是否包含图像，在判定为在向所述用户提供的所述响应信息中包含所述图像的情况下，在显示装置显示所述图像。

发明效果

根据本发明的一方案，能够以用户容易理解的形式提供信息。

附图说明

图1是表示本发明第一实施方式的声音对话型控制系统的概要的示意图。

图2是表示本发明第一实施方式的声音对话型控制系统的要部构成的一例的框图。

图3是表示本发明第一实施方式的声音对话型控制系统中的一连串处理的时序图。

图4表示本发明第一实施方式的声音输入输出装置执行的处理的一例的流程图。

图5是表示本发明第二实施方式的声音对话型控制系统的概要的示意图。

图6是表示本发明第二实施方式的声音对话型控制系统中的一连串处理的时序图。

图7是表示本发明第三实施方式的声音对话型控制系统的概要的示意图。

图8是表示本发明第三实施方式的声音对话型控制系统中的一连串处理的时序图。

图9是表示本发明第三实施方式的声音输入输出装置执行的处理的一例的流程图。

具体实施方式

〔第一实施方式〕

以下使用图1至图4对本发明的一实施方式进行详细说明。

(声音对话型控制系统的构成)

使用图1及图2对本实施方式的声音对话型控制系统1的构成进行说明。图1是表示声音对话型控制系统1的概要的示意图。

如图1所示，声音对话型控制系统1包括外部控制装置100、声音输入输出装置200、路由器300及显示装置400。构成声音对话型控制系统1的各种装置全部配置在相同的室内或相同的建筑物内。以下使用各种装置配置在用户住宅内的例子进行说明。

如图1所示，声音对话型控制系统1从声音输入输出装置200以声音输出与由声音输入输出装置200受理的用户的声音输入信息对应的响应信息。另外，在响应信息为适合基于图像提供的内容的情况下，声音对话型控制系统1在显示装置400上显示图表、一览表、地图(图片)或动画等图像。

外部控制装置100是能够经由路由器300与声音输入输出装置200及显示装置400通信的服务器。外部控制装置100是对例如基于在住宅设置的太阳光发电装置的发电量、基于在住宅内设置的家电设备的电力消耗量等进行管理的hems(homeenergymanagementsystem)服务器。外部控制装置100接收声音输入输出装置200受理的用户声音输入信息，对该声音输入信息进行解析。外部控制装置100基于所解析的内容，获取与声音输入信息相关的关联信息。另外，外部控制装置100基于所获取的关联信息的内容，判定向用户提供的响应信息中是否包含图像。例如，在所获取的关联信息中包含图表、一览表、地图(图片)或动画等图像信息的情况下，与以声音提供相比，这类信息以图像提供对于用户来说容易掌握内容。因此，外部控制装置100在关联信息中含有适合以图像显示的信息的情况下，判定为向用户提供的响应信息中含有图像。在判定为响应信息中含有图像的情况下，外部控制装置100例如进行下述控制：使向用户提供的响应信息的一部分从声音输入输出装置200以声音输出，并在显示装置400上显示图像。并且，向用户提供的图像可以包含在所获取的关联信息中，另外，也可以由外部控制装置100根据所获取的关联信息生成。

并且，外部控制装置100也可以在使显示装置400显示图像之前，从声音输入输出装置200输出向用户询问是否在显示装置400显示图像的提案消息(消息)。在该情况下，外部控制装置100在针对提案消息，从声音输入输出装置200接收到来自用户的表示许可将图像显示在显示装置400上这一情况的声音输入信息后，使显示装置400显示图像。另外，外部控制装置100也可以将响应信息的至少一部分以声音信息形式从声音输入输出装置200输出并向用户提供。

(外部控制装置100的构成)

使用图2对外部控制装置100的构成进行说明。图2是表示声音对话型控制系统1的要部构成的一例的框图。

在以下的说明中，以对外部控制装置100是对在住宅内设置的家电设备所使用的电力消耗量等进行管理的hems服务器的情况为例进行说明。

外部控制装置100包括通信部10、存储部20及控制部30，控制部30包括声音解析部31、含义解析部32、信息获取部33、图像显示判定部34及语音数据生成部35。

通信部10经由路由器300在与声音输入输出装置200及显示装置400之间进行各种数据收发。在存储部20中收纳有与住宅的发电量及电力消耗量等相关的各种信息。也可以在存储部20收纳的信息中含有例如表示发电量及电力消耗量的演变的图表等图像。

控制部30对外部控制装置100的各部进行综合控制。声音解析部31针对从声音输入输出装置200接收到的声音输入信息(＝包含用户语音的声音数据)进行声音解析，生成文本数据。含义解析部32以适当的子句对声音解析部31生成的文本数据进行划分等并进行含义解析，将解析结果向信息获取部33发送。并且，声音解析部31及含义解析部32中的声音解析及含义解析，也可以以在以往的声音识别技术中使用的方法实施。

信息获取部33基于声音解析部31及含义解析部32解析的内容，从该存储部20获取与外部控制装置100从声音输入输出装置200受理的声音输入信息相关的关联信息。信息获取部33将从存储部20获取的关联信息向图像显示判定部34输出。

图像显示判定部34基于从信息获取部33输出的关联信息的内容，判定在向用户提供的响应信息中是否含有图像。即，图像显示判定部34基于从信息获取部33获取的关联信息的内容，判定是仅以声音向用户提供响应信息还是以声音和图像一起向用户提供。例如，在从信息获取部33获取的关联信息中含有图表、一览表、地图(图片)或动画等适合于图像提供的信息的情况下，图像显示判定部34判定为响应信息中含有图像。在该情况下，图像显示判定部34将在存储部20中收纳的包含图像信息的url的响应信息向语音数据生成部35输出。另一方面，在从信息获取部33获取的关联信息中不包含适合于图像提供的信息的情况下，图像显示判定部34判定为响应信息中未包含图像。在该情况下，图像显示判定部34仅将声音信息作为响应信息向语音数据生成部35输出。

语音数据生成部35基于从图像显示判定部34输出的响应信息中包含的声音信息，生成声音数据(＝语音数据)。语音数据生成部35生成语音数据的方法，可以是以往的对话型机器人中生成响应消息所使用的方法。语音数据生成部35将生成的响应消息经由通信部10向声音输入输出装置200发送。

声音输入输出装置200是用于在与声音对话型控制系统1的用户之间进行声音输入输出的装置。声音输入输出装置200能够经由路由器300等与外部控制装置100及显示装置400进行通信。并且，声音输入输出装置200与显示装置400间的通信可以是经由路由器300的通信，也可以是不经由路由器300的例如红外线通信等直接通信。声音输入输出装置200将从用户受理的声音作为声音输入信息向外部控制装置100发送。另外，声音输入输出装置200将从外部控制装置100接收到的语音数据作为与声音输入信息对应的响应信息以声音提供。此外，声音输入输出装置200能够基于从外部控制装置100接受到的各种指示对显示装置400进行操作。例如，声音输入输出装置200能够从外部控制装置100基于指示对显示装置400进行电源接通操作。另外，声音输入输出装置200从外部控制装置100基于指示，将在存储部20中收纳的图像信息的url向显示装置400发送。

路由器300是对通信路径进行中转的中转装置，是在通常的通信中使用的路由器。

显示装置400是能够与外部控制装置100及声音输入输出装置200进行通信，并能够将响应信息以图像显示的显示器。显示装置400按照来自声音输入输出装置200的指示将电源接通。另外，显示装置400在从声音输入输出装置200获取到图像信息的url的情况下，访问外部控制装置100，从外部控制装置100获取图像信息，显示图表等图像。显示装置400例如也可以是能够与外部通信的电视。

(声音对话型控制系统中的一连串处理)

使用图3对图1中例示的声音对话型控制系统1中的一连串处理进行说明。

首先，若声音对话型控制系统1的用户发言“今日的发电量是多少？”，则发言内容作为声音输入信息向声音输入输出装置200输入(s1：声音输入(发电量询问))。然后，声音输入输出装置200将在s1中受理的声音输入信息向外部控制装置100发送(s2：声音发送(发电量询问))。

外部控制装置100对从声音输入输出装置200接收到的声音输入信息，使用声音解析部31及含义解析部32进行解析。进而，信息获取部33基于解析结果，由存储部20将当日发电量作为与声音输入信息相关的关联信息获取。然后，外部控制装置100根据信息获取部33所获取的当日发电量，利用语音数据生成部35生成语音数据“约为22.1kw。本月最多。”，并向声音输入输出装置200发送(s3：语音数据发送(发电量))。声音输入输出装置200将接收到的语音数据以声音形式向用户提供(s4：声音输出(发电量))。

在s4后，外部控制装置100的图像显示判定部34基于在s3中由信息获取部33从存储部20获取的与当日发电量相关的关联信息的内容，判定响应信息中是否含有图像。另外，在判定为含有图像的情况下，外部控制装置100使用语音数据生成部35，生成提案消息并向声音输入输出装置200发送(s5：语音数据发送(图表显示提案))，其中的提案消息提案将表示当日发电量的图表作为图像在显示装置400上显示。提案消息是“查看发电图表么？”这样的语音数据。声音输入输出装置200将接收到的语音数据以声音形式向用户提供(s6：声音输出(图表显示提案))。

在s6后，若作为用户许可在显示装置400上显示图像的了解消息，发言“是的，请处理。”，则发言内容作为声音输入信息向声音输入输出装置200输入(s7：声音输入(图表显示指示))。然后，声音输入输出装置200将在s7中受理的声音输入信息向外部控制装置100发送(s8：声音发送(图表显示指示))。

外部控制装置100将从声音输入输出装置200接收到的声音输入信息，使用声音解析部31及含义解析部32进行解析。若根据解析结果确认声音输入信息包含了解消息，则语音数据生成部35生成用于将显示装置400的电源接通的语音数据“打开电视”。外部控制装置100将所生成的语音数据向声音输入输出装置200发送(s9：语音数据发送(显示装置电源接通))。声音输入输出装置200将接收到的语音数据以声音形式向用户提供(s10：声音输出(显示装置电源接通))。

在s9后，外部控制装置100的控制部30将用于在显示装置400显示表示当日发电量的图表的图像的指示，与该图表的url一起向声音输入输出装置200发送(s11：图表画面显示指示(url))。声音输入输出装置200在接收到用于显示图表的图像的指示及该图表的url时，操作显示装置400将电源接通(s12：显示装置电源接通)。进而，声音输入输出装置200将图表的显示指示及该图表的url向显示装置400发送(s13：图表画面显示指示(url))。显示装置400在从声音输入输出装置200接收到图表的显示指示及该图表的url时，向外部控制装置100请求以url指定的图表画面(s14：图表画面请求(url))。外部控制装置100对应于请求，将以url指定的图表画面向显示装置400发送并使之显示(s15：图表画面发送)。

通过以上的处理，声音对话型控制系统1能够由外部控制装置100进行下述控制：判定为在与声音输入输出装置200受理的声音输入信息对应的响应信息中包含图像并提供，将该图像显示在显示装置400上。

(声音输入输出装置执行的处理流程)

在本实施方式中，使用该图4对声音输入输出装置200执行的处理流程进行说明。

首先，若声音输入输出装置200受理来自声音对话型控制系统1的用户的声音输入(在s21中为是)，则将基于该声音输入的声音输入信息向外部控制装置100发送。声音输入输出装置200作为与声音输入信息对应的响应信息接收由外部控制装置100生成的语音数据。然后，声音输入输出装置200将接收到的语音数据作为响应信息以声音输出(s22)。

在s22后，声音输入输出装置200执行与在外部控制装置100中判定响应信息中是否包含图像的判定结果(s23)对应的处理。对于声音输入输出装置200来说，在外部控制装置100中判定为响应信息中包含图像的的情况下(在s23中为是)，执行s24的处理。另一方面，在外部控制装置100中判定为响应信息中不包含图像的情况下(s23中为否)，声音输入输出装置200结束一连串处理。

在s24中，声音输入输出装置200若接收向所述用户询问是否在显示装置400上显示图像的提案消息，作为由外部控制装置100生成的语音数据，则将该提案消息以声音输出(s24)。然后，声音输入输出装置200受理表示用户许可在显示装置400上显示图像这一情况的了解消息。然后，由外部控制装置100判定声音输入输出装置200是否受理了解消息(s25)。在受理了解消息的情况下(在s25中为是)，处理进入s26。另一方面，在没有受理了解消息的情况下(在s25中为否)，结束一连串处理。

在s26中，若声音输入输出装置200从外部控制装置100接收表示将显示装置400的电源接通这一情况的语音数据，则将该语音数据以声音输出(s27)。然后，声音输入输出装置200若从外部控制装置100接收用于使显示装置400显示响应信息的图像的指示，则基于该指示对显示装置400进行操作，使该显示装置400显示响应信息的图像(s27)。

通过以上的处理，声音输入输出装置200利用外部控制装置100将与声音输入信息对应的响应信息以声音向用户提供，进而在能够以图像提供响应信息时，能够以显示该图像的方式操作显示装置400。

按照这种方式，声音对话型控制系统1能够利用外部控制装置100，判定与用户向声音输入输出装置200进行了声音输入的内容对应的响应信息中是否包含图像。进而，能够在外部控制装置100判定为以图像提供响应信息的情况下，使显示装置400显示该图像。由此，适合以图像提供的信息能够以图像提供，其他信息例如从声音输入输出装置以声音形式提供。因此，具有能够以用户容易理解的形式提供信息，能够提供便利性优异的外部控制装置的效果。

〔第二实施方式〕

以下使用图5至图6对本发明的第二实施方式进行说明。并且，为了便于说明，对具有与在所述实施方式中说明的部件相同功能的部件标注相同的附图标记，不对其进行重复说明。

(声音对话型控制系统的构成)

使用图5对本实施方式的声音对话型控制系统1的构成进行说明。图5是表示声音对话型控制系统1的概要的示意图。

如图5所示，本实施方式的声音对话型控制系统1的基本构成与所述第一实施方式相同，但局部构成不同。在本实施方式中，外部服务器500具有与用户向声音输入输出装置200输入的声音输入信息相关的关联信息，该外部服务器500设置在与设置声音输入输出装置200、显示装置400及外部控制装置100的位置不同的位置。并且，外部控制装置100是基于对声音输入信息进行解析的内容，从外部服务器500获取关联信息的构成。并且，作为外部控制装置100获取关联信息的对象的外部服务器500，可以根据外部控制装置100需要的关联信息的种类选择其他外部服务器500。例如，外部控制装置100也可以按检索对象从其他外部服务器500获取关联信息。

外部控制装置100的基本构成与所述第一实施方式相同，但局部构成不同。在本实施方式中，外部控制装置100基于对用户向声音输入输出装置200输入的声音输入信息解析的内容，从外部服务器500获取关联信息。并且，是将所获取的关联信息经由声音输入输出装置200及显示装置400向用户提供的构成。

显示装置400的基本构成与所述第一实施方式相同，但局部构成不同。在本实施方式中，显示装置400按照基于声音输入输出装置200的操作，在与外部服务器500之间进行通信，能够显示从该外部服务器500接收到的图像。

(声音对话型控制系统中的一连串处理)

使用图6，对图5例示的声音对话型控制系统1中的一连串处理进行说明。

首先，若声音对话型控制系统1的用户发言“本周末有好玩的活动？”，则发言内容作为声音输入信息被向声音输入输出装置200输入(s31：声音输入(检索指示))。然后，声音输入输出装置200将在s31中受理的声音输入信息向外部控制装置100发送(s32：声音发送(检索指示))。

外部控制装置100将从声音输入输出装置200接收到的声音输入信息，使用声音解析部31及含义解析部32进行解析。进而，信息获取部33基于解析结果，针对外部服务器500检索周末举办的活动(s33：检索)。外部控制装置100在从外部服务器500接收检索结果作为包含url的信息时(s34：检索结果响应(url))，图像显示判定部34根据检索结果的内容判定响应信息中是否包含图像。在判定为包含图像的情况下，外部控制装置100根据检索结果利用语音数据生成部35生成包含提案将在周末举办的事件一览显示在显示装置400上的提案消息的语音数据“有烟花大会。还查看其他活动？”，并向声音输入输出装置200发送(s35：语音数据发送(检索结果))。声音输入输出装置200将接收到的语音数据以声音形式向用户提供(s36：声音输出(检索结果))。

在s36后，若用户作为了解消息发言“是的，请处理。”，则发言内容作为声音输入信息被向声音输入输出装置200输入(s37：声音输入(列表显示指示))。然后，声音输入输出装置200将在s37中受理的声音输入信息向外部控制装置100发送(s38：声音发送(列表显示指示))。

外部控制装置100将从声音输入输出装置200接收到的声音输入信息，使用声音解析部31及含义解析部32进行解析。若根据解析结果确认声音输入信息包含了解消息，则语音数据生成部35生成用于将显示装置400的电源接通的语音数据“打开电视。”。外部控制装置100将生成的语音数据向声音输入输出装置200发送(s39：语音数据发送(显示装置电源接通))。声音输入输出装置200将接收到的语音数据以声音形式向用户提供(s40：声音输出(显示装置电源接通))。

在s40后，外部控制装置100的控制部30将用于在显示装置400以图像形式显示周末举办的事件一览的指示，与该一览的url一起向声音输入输出装置200发送(s41：显示指示(检索结果画面url))。声音输入输出装置200在接收用于显示包含事件一览在内的检索结果画面的指示及该一览的url时，操作显示装置400而将电源接通(s42：显示装置电源接通)。进而，声音输入输出装置200将一览的显示指示及该一览的url向显示装置400发送(s43：显示指示(检索结果画面url))。显示装置400在从声音输入输出装置200接收一览的显示指示及该一览的url时，向外部服务器500请求以url指定的检索结果画面(s44：画面请求(检索结果画面))。外部服务器500对应于请求将以url指定的检索结果画面向显示装置400发送并使之显示(s45：画面输出(检索结果画面))。

通过以上的处理，声音对话型控制系统1从外部服务器500获取与声音输入输出装置200受理的声音输入信息相关的关联信息。进而在判定为将响应信息以图像提供的情况下，能够由外部控制装置100进行显示装置400从外部服务器500获取该图像并进行显示的控制。

(声音输入输出装置执行的处理流程)

在本实施方式中，声音输入输出装置200执行的处理流程与在第一实施方式说明的图4相同。其理由在于，由于声音输入输出装置200未与外部服务器500通信，因此该声音输入输出装置200执行的处理无变更。

〔第三实施方式〕

以下使用图7至图9对本发明的第三实施方式进行说明。并且，为了便于说明，对具有与在所述实施方式中说明的部件相同功能的部件标注相同的附图标记，不对其进行重复说明。

(声音对话型控制系统的构成)

使用图7对本实施方式的声音对话型控制系统1的构成进行说明。图7是表示声音对话型控制系统1的概要的示意图，如图7所示，本实施方式的声音对话型控制系统1的基本构成与所述第一实施方式相同，但局部构成不同。在本实施方式中，声音对话型控制系统1是在与设置有声音输入输出装置200、路由器300及显示装置400的位置不同的位置设有外部控制装置100的构成。此外，外部控制装置100是经由互联网销售商品的提供互联网邮购服务的服务器。并且，声音对话型控制系统1将与外部控制装置100提供的互联网邮购服务相关的画面以图像形式向显示装置400输出。用户在与声音输入输出装置200之间进行声音的输入输出，从而能够针对互联网邮购服务进行订购。

外部控制装置100的基本构成与所述第一实施方式相同，但局部构成不同。在本实施方式中，外部控制装置100是经由互联网销售商品的、提供互联网邮购服务的服务器。在图7的例子中，外部控制装置100经由路由器300与声音输入输出装置200及显示装置400连接，但只要是能够通信的构成，也可以不限于经由路由器300的通信。例如，也可以是，外部控制装置100与声音输入输出装置200通过经由基站的移动电话网络连接，与显示装置400经由路由器300连接。

外部控制装置100进一步与保管商品的仓库600能够通信地连接。外部控制装置100在从用户确定了所受理的订单内容时，将该订单内容向仓库600发送。

仓库600保管由外部控制装置100提供的互联网邮购服务处理的各种商品。仓库600在从外部控制装置100接收订单内容时，对应于该订单内容将商品集中包装，向订购元的用户配送商品。

(声音对话型控制系统中的一连串处理)

使用图8对图7中例示的声音对话型控制系统1中的一连串处理进行说明。

首先，声音对话型控制系统1的用户发言“请购买今日货品。”，则发言内容作为声音输入信息向声音输入输出装置200输入(s51：声音输入(邮购开始指示))。然后，声音输入输出装置200将在s51中受理的声音输入信息向外部控制装置100发送(s52：声音发送(邮购开始指示))。

外部控制装置100将从声音输入输出装置200接收到的声音输入信息使用声音解析部31及含义解析部32进行解析。若根据解析结果确认声音输入信息包含邮购开始指示，则外部控制装置100的图像显示判定部34判定为需要使用显示装置400的图像显示。然后，语音数据生成部35生成用于将显示装置400的电源接通的语音数据“打开电视”。外部控制装置100将所生成的语音数据向声音输入输出装置200发送(s53：语音数据发送(显示装置电源接通))。声音输入输出装置200将接收到的语音数据以声音形式向用户提供(s54：声音输出(显示装置电源接通))。

在s54后，外部控制装置100将用于在显示装置400上将互联网邮购服务的画面以图像显示的指示与该画面的url一起向声音输入输出装置200发送(s55：显示指示(邮购画面url))。声音输入输出装置200若接收到互联网邮购服务的画面的显示指示及该画面的url，则操作显示装置400将电源接通(s56：显示装置电源接通)。进而，声音输入输出装置200将画面的显示指示及该画面的url向显示装置400发送(s57：显示指示(邮购画面url))。显示装置400若从声音输入输出装置200接收画面的显示指示及该一览的url，则按照显示指示，进行与外部控制装置100提供的互联网邮购服务的站点url的连接(s58：连接(邮购站点))。外部控制装置100对应于连接，将以url指定的互联网邮购服务的画面向显示装置400发送并使之显示(s59：画面输出(邮购站点))。

在通过s59在显示装置400显示互联网邮购服务的画面后，用户确认显示内容，发言“牛肉、土豆、葱、胡萝卜、米、……”的订单内容。若进行了发言，则发言内容作为声音输入信息被向声音输入输出装置200输入(s60：声音输入(订单内容))。然后，声音输入输出装置200将在s60中受理的声音输入信息向外部控制装置100发送(s61：声音发送(订单内容))。

外部控制装置100将在s61中从声音输入输出装置200接收到的声音输入信息，使用声音解析部31及含义解析部32进行解析。若根据解析结果确认声音输入信息包含订单内容，则控制部30将用于由显示装置400将该订单内容向外部控制装置100发送的指示向声音输入输出装置200发送(s62：输入指示(订单内容))。声音输入输出装置200若从部控制装置100接收输入指示，则将来自用户的包含订单内容的输入内容，与使显示装置400显示反映该输入内容的画面的指示一起，向显示装置400发送(s63：显示指示(输入结果))。显示装置400若接收输入内容及指示，则将该输入内容向外部控制装置100发送(s64：发送(输入内容))。外部控制装置100若接收输入内容，则基于该输入内容更新画面，将更新后的画面向显示装置400发送。显示装置400显示接收到的更新后画面(s65：画面输出(更新后画面))。

在s65后，外部控制装置100利用语音数据生成部35生成包含确认是否以更新后的画面表示的订单内容确定订单的确认消息的语音数据。进而，外部控制装置100将包含确认消息的语音数据向声音输入输出装置200发送(s66：语音数据发送(确认消息))。声音输入输出装置200若从外部控制装置100接收包含确认消息的语音数据，则输出该语音数据(s67：声音输出(确认消息))。根据图示的例子，声音输入输出装置200进行包含确认消息的“按照显示可以吗？xxxx日元。”的发言。

在s67后，若用户发表“是。”，则发言内容作为声音输入信息被向声音输入输出装置200输入(s68：声音输入(了解消息))。然后，声音输入输出装置200将在s68中受理的声音输入信息向外部控制装置100发送(s69：声音发送(了解消息))。

外部控制装置100将从声音输入输出装置200接收到的声音输入信息，使用声音解析部31及含义解析部32进行解析。若根据解析结果确认声音输入信息包含了解消息，则外部控制装置100将使显示装置400进行确定订单内容的操作的操作指示向声音输入输出装置200发送(s70：输入指示(订单确定))。声音输入输出装置200若从外部控制装置100接收操作指示，则向显示装置400指示按照该操作指示确定订单内容(s71：确定操作指示(订单内容))。显示装置400若从声音输入输出装置200接收指示，则基于该指示在画面上进行操作，向外部控制装置100发送表示确定订单内容这一情况的指示(s72：发送(确定操作))。外部控制装置100若从显示装置400接收指示，则执行确定订单内容的处理，向显示装置400发送用于通知订单已确定这一情况的画面并进行显示(s73：画面输出(确定画面))。

通过以上的处理，声音对话型控制系统1的用户能够使用声音输入输出装置200及显示装置400，利用由外部控制装置100提供的互联网邮购服务。更具体来说，能够通过针对声音输入输出装置200的声音输入执行各种操作，针对外部控制装置100订购商品。

(声音输入输出装置执行的处理流程)

在本实施方式中，使用图9对声音输入输出装置200执行的处理流程进行说明。

首先，声音输入输出装置200受理用户利用声音输入的邮购开始指示(在s81中为是)。声音输入输出装置200将基于该声音输入的声音输入信息向外部控制装置100，接收与该声音输入信息对应的响应信息。响应信息包含显示装置400的将电源接通指示和与该指示对应的语音数据，以及该外部控制装置100提供的互联网邮购服务的站点url的显示指示。并且，声音输入输出装置200在以声音输出语音数据后，按照接收到的指示将显示装置400的电源接通。并且，声音输入输出装置200使显示装置400与互联网邮购服务的站点url连接，并显示邮购画面(s82)。

然后，声音输入输出装置200若按照显示装置400显示的邮购画面的内容受理由用户以声音输入的订单(s83)。则将与订单相关的声音输入信息向外部控制装置100发送。声音输入输出装置200作为与声音输入信息对应的响应信息，接收与用户确认是否以当前的订单内容确定订单的确认消息对应的语音数据。然后，声音输入输出装置200将接收到的语音数据以声音输出(s84)。

在s84后，声音输入输出装置200判定是否受理从用户处通过声音输入了解订单内容确定的了解消息(s85)。若受理了了解消息(在s85中为是)，则声音输入输出装置200将与了解消息相关的声音输入信息向外部控制装置100发送，作为与该声音输入信息对应的响应信息，接收显示装置400进行确定订单操作的指示。声音输入输出装置200使显示装置400进行确定订单的操作来确定订单内容(s86)。另一方面，在没有受理了解消息时(在s85中为否)，声音输入输出装置200通过再次执行s83至s85的处理，受理另外的订单。

通过以上处理，声音输入输出装置200能够通过声音输入进行针对外部控制装置100提供的互联网邮购服务的各种操作。另外，对于声音输入输出装置200来说，作为与声音输入信息对应的响应信息，确认消息等能够以声音输出，邮购画面等能够以图像显示。

通过以上处理，声音对话型控制系统1能够判定在针对外部控制装置100提供的互联网邮购服务输入输出的信息中的与用户声音输入的声音输入信息的内容对应的响应信息中是否包含图像。进而，在外部控制装置100判定为响应信息中包含图像的情况下，能够使显示装置400显示该图像。

〔变形例〕

在所述各实施方式中，外部控制装置100由单一服务器构成，但也可以是将多个服务器组合的构成。例如，外部控制装置100也可以由能够与声音输入输出装置200通信的服务器、和能够与显示装置400通信的其他服务器构成。

在所述各实施方式中，声音输入输出装置200将从用户受理的声音输入信息向外部控制装置100发送，外部控制装置100对声音输入信息进行解析。但是，例如也可以由声音输入输出装置200进行声音输入信息的声音解析，由外部控制装置100针对声音解析的结果使用含义解析部32进行含义解析。此外，声音输入输出装置200也可以设有外部控制装置100的全部构成。

〔总结〕

本发明第一方案的外部控制装置(100)进行下述控制：接收声音输入输出装置(200)受理的用户的声音输入信息，对所述声音输入信息进行解析，获取与该声音输入信息联的关联信息，基于所获取的所述关联信息的内容，判定向所述用户提供的响应信息中是否包含图像，在判定为在向所述用户提供的所述响应信息中包含所述图像的情况下，将该图像显示在显示装置(400)上。

根据所述构成，外部控制装置能够判定与用户进行了声音输入的内容对应的响应信息中是否包含图像，在判定为包含图像的情况下，使显示装置显示该图像。由此，适合以图像提供的信息能够以图像提供。因此，能够提供能够以用户容易理解的形式提供信息的便利性优异的外部控制装置。

本发明第二方案的外部控制装置(100)也可以是，在所述第一方案中，在判定为所述响应信息包含所述图像的情况下，将向所述用户提供的所述响应信息的一部分以声音信息形式从所述声音输入输出装置(200)输出。

根据所述构成，能够以声音提供响应信息的一部分。由此，能够使适合以图像提供的信息以图像提供，其他信息例如从声音输入输出装置以声音形式提供。用户能够以图像和声音一起确认响应信息，因此能够以用户容易理解的形式提供信息。另外，能够缩短确认所需的时间等，利便性优异。

本发明第三方案的外部控制装置(100)也可以是，在所述第一或第二方案中，从所述声音输入输出装置(200)输出向所述用户询问是否将所述图像显示在所述显示装置(400)上的消息，在所述用户许可将所述图像显示在所述显示装置上的情况下，将所述图像显示在所述显示装置上。

根据所述构成，外部控制装置能够在用户许可的情况下以图像提供响应信息。

本发明第四方案的外部控制装置(100)也可以是，在所述第一至第三方案中的任一方案中，从外部服务器(500)获取所述关联信息。

根据所述构成，外部控制装置能够从外部服务器获取关联信息，因此即使外部控制装置自身没有收纳关联信息，也能够恰当地获取关联信息。

本发明第五方案的声音对话型控制系统(1)也可以是，包括：所述第一至第四方案中的任一方案的外部控制装置(100)；受理用户的声音输入信息的声音输入输出装置(200)；以及显示所述外部控制装置所获取的图像的显示装置(400)。

根据所述构成，具有与所述第一方案相同的作用效果。

本发明第六方案的控制方法为进行下述控制的方法：接收声音输入输出装置(200)受理的用户的声音输入信息，对所述声音输入信息进行解析，获取与该声音输入信息联的关联信息，基于所获取的所述关联信息的内容，判定向所述用户提供的响应信息中是否包含图像，在判定为在向所述用户提供的所述响应信息中包含所述图像的情况下，将所述图像显示在显示装置(400)上。

根据所述构成，具有与所述第一方案相同的作用效果。

本发明各方案的外部控制装置100也可以由计算机实现，在该情况下，通过使计算机作为所述外部控制装置100具备的各部分(软件要素)动作而使所述外部控制装置100由计算机实现的外部控制装置100的控制程序及记录该程序的计算机可读取记录介质也包含在本发明的范围内。

本发明不限定于上述各实施方式，能够在权利要求表示的范围内进行多种变更，将在不同实施方式中分别公开的技术手段适当组合得到的实施方式也包含在本发明的技术范围内。此外，通过将在各实施方式中分别公开的技术手段组合，能够形成新的技术特征。

附图标记说明

1声音对话型控制系统

100外部控制装置

10通信部

20存储部

30控制部

31声音解析部

32含义解析部

33信息获取部

34图像显示判定部

35语音数据生成部

200声音输入输出装置

400显示装置