本公开涉及控制装置、显示装置、方法和程序。
背景技术：
在相关技术中，已知用于在利用语音用于对环境中的受控装置进行控制的远程控制器中的用户接口的技术。例如，专利文献1公开了一种用于将语音命令识别为用户输入的技术。专利文献2公开了用于输出针对用户的操纵的语音引导的技术。
引用列表
专利文献
专利文献1：jp11-120647a
专利文献2：jp2001-338213a
技术实现要素：
技术问题
随着信息处理技术的进步，机器和用户之间的交互被进一步改进及多样化。然而，考虑到信息传递的可靠性、及时性或选择性，已知的语音交互结构仍有改进的空间。
解决方案
根据本公开，提供了一种控制装置，包括：装置控制单元，被配置成控制一个或更多个受控装置；语音通知单元，被配置成输出与至少一个受控装置有关的面向用户的语音通知；以及显示控制单元，被配置成使显示装置显示与由语音通知单元输出的语音通知对应的消息。
另外，根据本公开，提供了一种显示装置，其要被连接到控制一个或更多个受控装置并且输出与至少一个受控装置有关的面向用户的语音通知的控制装置，显示装置包括：显示器控制单元，被配置成根据从控制装置接收到的指令使显示单元显示与由控制装置输出的语音通知对应的消息。
此外，根据本公开，提供了一种由控制一个或更多个受控装置的控制装置执行的控制方法，该控制方法包括：输出与至少一个受控装置有关的面向用户的语音通知；以及使显示装置显示与所输出的语音通知对应的消息。
另外，根据本公开，提供了一种由连接到控制装置的显示装置执行的显示控制方法，该控制装置控制一个或更多个受控装置并输出与至少一个受控装置有关的面向用户的语音通知，该方法包括：根据从控制装置接收的指令使显示单元显示与由控制装置输出的语音通知对应的消息。
另外，根据本公开，提供了一种存储程序的计算机可读介质，所述程序使控制装置的处理器用作如下单元：装置控制单元，被配置成控制一个或更多个受控装置；语音通知单元，被配置成输出与至少一个受控装置有关的面向用户的语音通知；以及显示控制单元，被配置成使显示装置显示与由语音通知单元输出的语音通知对应的消息。
另外，根据本公开，提供了一种存储程序的计算机可读介质，所述程序使连接至控制装置的显示装置的处理器用作显示控制单元，控制装置控制一个或更多个受控装置并输出与至少一个受控装置有关的面向用户的语音通知，显示控制单元被配置成根据从控制装置接收到的指令使显示单元显示与由控制装置输出的语音通知对应的消息。
发明的有益效果
根据本公开的技术，可以通过以优选形式混合语音交互和视觉交互来进一步提升用户的便利性。注意，上述效果不一定是限制性的。利用或代替上述效果，可以实现本说明书中描述的效果中的任何一种效果或可以根据本说明书领会的其他效果。
附图说明
图1是示出可以使用根据本公开的交互系统的环境的示例的说明图。
图2a是示出控制器和受控装置之间的关系的第一示例的说明图。
图2b是示出控制器和受控装置之间的关系的第二示例的说明图。
图2c是示出控制器和受控装置之间的关系的第三示例的说明图。
图3a是示出辅助代理的配置的第一示例的说明图。
图3b是示出辅助代理的配置的第二示例的说明图。
图3c是示出辅助代理的配置的第三示例的说明图。
图3d是示出辅助代理的配置的第四示例的说明图。
图3e是示出辅助代理的配置的第五示例的说明图。
图4是示出根据实施方式的控制器的逻辑功能的配置的示例的框图。
图5a是示出语音通知的示例的说明图。
图5b是示出与语音通知对应的消息的显示的第一示例的说明图。
图5c是示出与语音通知对应的消息的显示的第二示例的说明图。
图5d是示出用于提醒对与语音通知对应的消息的确认的通告的示例的说明图。
图6是示出用于与语音通知对应的消息的显示的第一场景的说明图。
图7是示出用于与语音通知对应的消息的显示的第二场景的说明图。
图8是示出用于与语音通知对应的消息的显示的第三场景的说明图。
图9是示出用于与语音通知对应的消息的显示的第四场景的说明图。
图10是示出用于与语音通知对应的消息的显示的第五场景的说明图。
图11是示出根据实施方式的辅助代理的逻辑功能的配置的示例的框图。
图12是示出根据实施方式的消息窗口的基本配置的示例的说明图。
图13是示出图12所示的消息窗口上的标签的切换的示例的说明图。
图14是示出具有高优先级的消息项的显示的示例的说明图。
图15a是示出消息项的显示的另一示例的说明图。
图15b是示出消息项的显示的另一示例的说明图。
图16是示出消息窗口的显示的时间变化的示例的说明图。
图17是示出从消息窗口到远程控制窗口的转换的示例的说明图。
图18是示出根据实施方式的由受控装置执行的处理的流程的示例的流程图。
图19是示出根据实施方式的由控制器执行的处理的流程的示例的流程图。
图20是示出根据实施方式的由辅助代理执行的处理的流程的示例的流程图。
图21a是示出与外部服务器的协作的第一示例的说明图。
图21b是示出与外部服务器的协作的第二示例的说明图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施方式(a)。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略这些结构元件的重复说明。
另外，将按照如下顺序进行描述。
1.系统概述
1-1.假设环境的例子
1-2.控制器
1-3.若干问题
1-4.辅助代理的介绍
2.控制器的配置示例
3.辅助代理的配置示例
4.处理的流程
4-1.受控装置的处理
4-2.控制器的处理
4-3.辅助代理的处理
5.与外部服务器的协作
6.结论
<1.系统概述>
[1-1.假设环境的示例]
图1是示出可以使用根据本公开的交互系统的环境的示例的说明图。参考图1的左半部分，环境1包括例如用户居住的住宅的起居室。在起居室中有受控装置10a、10b和10c。受控装置10a是调节起居室的室内温度的空调。受控装置10b是包括用于显示电视广播的内容的显示器的电视装置。受控装置10c是具有自动打开和关闭功能的幕帘10c。参考图1的右半部分，在环境1中还包括安装在住宅外部的受控装置10d和10e。受控装置10d是管理门的锁定和解锁的智能锁。受控装置10e是发出照明光的外灯。注意，受控装置不限于图1的示例。在环境1中，可以存在任意类型的受控装置。在下面的描述中，在不需要对受控装置10a至10e彼此区分的情况下，通过省略后缀于附图标记的字母将受控装置10a至10e统称为受控装置10。省略后缀于附图标记的字母的意思适用于其他组成元件。
根据本公开的交互系统被用于存在一个或更多个受控装置10的环境中。虽然图1示出了作为环境的示例的用户居住的住宅的形状，但是根据本公开的交互系统可以用于任何其他环境，例如汽车、其他交通工具、办公室、商店、教育设施或公共设施。另外，一个交互系统可以以整合的方式存在于多个地理上分离的环境(例如，住宅和汽车或者住宅和办公室)中。
参照图1，进一步示出了通信装置20和作为可以被包括在交互系统中的装置的示例的控制装置30。通信装置20中继受控装置10和控制装置30之间的通信。通信装置20可以是例如任意类型的通信装置，诸如无线局域网(lan)接入点，路由器或者lan交换机。在控制装置30执行与受控装置10的直接通信的情况下(例如，经由自组织网络或经由装置中或装置间的连接线路)，可以不包括通信装置20。
[1-2.控制器]
控制装置30具有控制一个或更多个受控装置10的功能。在本说明书中，控制受控装置的逻辑功能被称为“控制器”。在图1的示例中，控制装置30包括控制器100。例如，控制器100对空调10a进行控制，使得室内温度被调节到适合用户的温度。另外，控制器100对电视装置10b进行控制，使得显示用户期望的视频内容；对幕帘10c进行控制，使得实现房间的期望亮度；根据预定的安全规则控制智能锁10d；以及控制外灯10e的开/关或照明光的强度。
响应于来自控制器100的请求或者当特定触发条件被满足时，受控装置10周期性地向控制器100报告与受控装置10有关的状态。例如，除了诸如目标温度、风量和风向的装置操作状态之外，空调10a的状态还可以包括诸如由温度传感器测量的温度和由湿度传感器测量的湿度的环境状态。另外，在检测到特定事件的情况下，受控装置10将事件的发生报告给控制器100。例如，电视装置10b可以将要推荐给用户的广播节目的播出时间的接近作为事件报告。另外，智能锁10d可以将锁定或解锁作为事件报告。
控制器100可以根据从受控装置或传感器(未示出)获取的状态和/或预先存储的控制条件来自动地控制受控装置。另外，控制器100可以根据经由用户接口获取的用户输入来控制受控装置。在控制器100和受控装置10之间交换的控制信号可以经由诸如红外线、可见光线或无线电波的无线信道来发送，或者可以经由有线信道来发送。
图2a至图2c示出了控制器和受控装置之间的关系的示例。在图2a所示的第一示例中，控制器100是安装在与受控装置10a和10b分离的控制装置30上的模块。控制器100控制受控装置10a和10b中的每个并且从受控装置10a和10b接收状态报告或事件报告。在图2b所示的第二示例中，控制器100被安装为包含在受控装置10b中的模块。控制器100控制受控装置10b并监视与受控装置10b有关的状态。在图2c所示的第三示例中，控制器100被安装为包含在受控装置10b中的模块。此外，受控装置10b与受控装置10a通信。受控装置10b中的控制器100除了控制受控装置10b并监视与受控装置10b有关的状态之外，还控制受控装置10a并接收来自受控装置10a的状态报告或事件报告。注意，图2a至图2c示出控制器100被安装为单独操作的功能模块的示例。稍后将进一步描述与外部模块(例如，外部服务器)协作地提供控制器100的功能的示例。
在一个实施方式中，控制器100经由语音接口执行与用户的交互。通常，控制器100输出与至少一个受控装置10有关的面向用户的语音通知。用户可以通过听到从控制器100输出的语音通知来理解与受控装置10有关的状态、理解事件的发生或者确定控制器100建议的控制是否被批准。语音接口优于其他类型的用户接口之处在于：用户的视觉注意力不是必需的，甚至具有低it技能的用户也可以容易地熟悉语音接口，并且能够实现类似于通过对话进行的人类交互的伪交互。用于从用户到控制器100的用户输入的手段也可以是语音接口。代替语音接口或除了语音接口之外，用于用户输入的手段还可以是其他类型的用户接口(例如，诸如按钮或开关的机械接口，触摸接口或手势接口)。
[1-3.一些问题]
可以说语音接口具有上述优点，但也存在一些问题。首先，存在用户不在语音通知输出时语音到达的范围内的可能性。另外，即使用户在语音到达的范围内，用户也可能没有听到语音通知，或者用户可能不希望此时响应语音通知。其次，尽管重复输出相同内容的语音通知确实增加了内容将被传送给用户的可能性，但是有意避免响应的用户可能因重复而受到干扰。第三，例如，当在用户离开期间累积的许多信息作为语音通知被输出时，用户可能因通知所需的长持续时间而感到负担。另外，长通知中的仅一些可能是用户想知道的内容，但是用户难以简单地选择并且仅获取用户期望的语音通知。
[1-4.辅助代理的介绍]
在根据本公开的技术的实施方式中，引入了在本说明书中称为“辅助代理”的附加功能，以解决或至少减少当控制受控装置的控制器提供语音接口时可能产生的上述问题中的一个或更多个问题。辅助代理通过提供视觉用户接口以补偿由控制器提供的语音接口的不便来辅助控制器。注意，控制器本身具有代理的角色，原因在于对受控装置的控制在用户和受控装置之间中继。另外，如下面将描述的，辅助代理还可以具有控制受控装置的功能。因此，本说明书中的术语“控制器”和“代理”并不限制根据本公开的技术，并且为了方便，用于分别指代仅两种类型的功能。
通常，辅助代理使显示装置显示与由控制器输出的语音通知对应的消息。辅助代理可以与控制器安装在同一装置上，或者可以安装在经由通信接口与控制器通信的另一装置上。
图3a至图3e示出了辅助代理的部置的示例。在图3a所示的第一示例中，控制器100和辅助代理200两者被安装成集成在与受控装置10分离的控制装置30上。辅助代理200可以使显示装置40a在屏幕上显示消息。在此，显示装置40a是投影仪，并且屏幕是桌子上的投影平面。
在图3b所示的第二示例中，控制器100和辅助代理200两者被安装成集成在受控装置10b上。辅助代理200可以使显示装置40b显示消息。在此，显示装置40b相当于电视装置的显示器。
在图3c所示的第三示例中，辅助代理200被安装在与包含控制器100的控制装置30分离的受控装置10b上，并且控制装置30(控制器100)和受控装置10b(辅助代理200)分别经由通信接口35a和35b彼此通信。辅助代理200可以使显示装置40b显示消息。
在图3d所示的第四示例中，辅助代理200被安装在显示终端40c上，显示终端40c是与控制装置30(控制器100)和受控装置10不同的装置。控制装置30(控制器100)和显示终端40c(辅助代理200)经由各自的通信接口彼此通信。辅助代理200可以使显示终端40c显示消息。图3d示出了作为显示终端40c的示例的平板个人计算机(pc)，但是其上可以安装辅助代理的显示终端不限于上述示例。例如，辅助代理可以安装在诸如台式pc、膝上型pc、智能电话、游戏终端、汽车导航装置、头戴式显示器或智能手表的任意其他类型的终端上。
在图3e所示的第五示例中，存在多个辅助代理200a、200b、200c和200d。辅助代理200a被安装成与控制装置30上的控制器100集成。辅助代理200b安装在被固定安装的受控装置10b上。辅助代理200c安装在具有移动性的显示终端40c上。辅助代理200d安装在具有移动性的显示终端40d上。注意，在本说明书中，假定表述“具有移动性”包括诸如目标终端的携带、安装在移动的用户上或植入到移动的用户的身体中的各种移动形式。辅助代理可以安装在自主执行诸如步行、跑步或飞行的操作的自主移动机器(例如，机器人)上。
不管如上所述的辅助代理200如何部置，辅助代理200在控制器100输出面向用户的语音通知的情况下使显示装置显示与至少一个面向用户的语音通知对应的消息。即使在用户位于远离控制器100的位置的情况下，如果屏幕在用户附近，用户也可以立即确认消息的内容。另外，用户可以在期望的定时处确认消息的显示内容，或者可以在期望的定时处对内容作出响应。另外，由于辅助代理200提供视觉用户接口作为控制器100的语音接口的替代手段，所以控制器100可以不过度重复语音通知。辅助代理200所提供的视觉用户接口可以以各种形式显示许多信息。语音交互和视觉交互的这样的混合可以引起信息传送的可靠性、及时性或选择性的改善，由此改善用户的便利性。在下一部分中将详细描述控制器100和辅助代理200的这种更详细配置的示例。
<2.控制器的配置示例>
图4是示出根据实施方式的控制器100的逻辑功能的配置的示例的框图。控制器100包括语音通知单元110、语音识别单元120、图像识别单元130、装置控制单元140、存储单元150和显示控制单元160。在图4的示例中，语音通知单元110连接到扬声器31。语音识别单元120连接到麦克风32。图像识别单元130连接到摄像机33。装置控制单元140连接到一个或更多个传感器34、通信接口35、一个或更多个输入接口36以及红外线接口37。显示控制单元160连接到通信接口35、显示装置40和通告装置41。显示装置40可以是例如投影仪或监视器。通告装置41可以是例如发光二极管(led)灯或振动器。
(1)语音通知单元
语音通知单元110和语音识别单元120具有通过控制器100执行与用户的语音交互的作用。通常，语音通知单元110经由扬声器31输出与由控制器100控制的至少一个受控装置10有关的面向用户的语音通知。例如，语音通知单元110可以基于由装置控制单元140指定的通知文本使用自动语音合成技术来生成语音通知。作为替代，语音通知单元110可以获取与由装置控制单元140指定的通知号码或来自存储单元150的另一段识别信息对应的语音数据，并且可以根据所获取的语音数据再现语音通知。
由语音通知单元110输出的语音通知可能不被认为一定被目标用户听到并接收到。语音通知单元110可以将同一语音通知重复多次。在此，在实施方式中，在语音通知单元110输出语音通知之后，辅助代理200显示与语音通知对应的消息。因此，语音通知单元110不会将同一语音通知重复过多次数。
在下面要描述的语音识别单元120或图像识别单元130或另一人检测传感器检测到附近有用户的情况下，语音通知单元110可以输出用于提醒用户去看消息(在下文中称为提醒通知)的另外的语音通知，同时辅助代理200能够显示对应于先前输出的语音通知的消息。在此，消息可以已经由辅助代理200显示，或者可以利用作为触发的任何用户输入来显示。另外，在听到提醒通知的用户请求接收输出语音通知(例如，通过语音命令或另一用户输入)而不是查看所显示的消息的情况下，语音通知单元110可以经由扬声器31再次输出该输出语音通知。
(2)语音识别单元
语音识别单元120使用语音识别技术识别经由麦克风32输入的语音的内容。例如，语音识别单元120识别用户说出的语音命令。由语音识别单元120识别的语音命令可以包括用于控制受控装置10的语音命令。通常，用于控制受控装置10的语音命令由用于识别目标装置的名称和与控制内容有关的关键字形成(例如“电视”+“打开”)。在控制器100建议针对受控装置10的特定控制的情况下，可以仅由具有批准或拒绝的含义的简单关键字形成作为对该建议的响应的语音命令。另外，由语音识别单元120识别的语音命令可以包括定向到控制器100的语音命令。例如，语音识别单元120可以识别指示用户请求重新输出语音通知的语音命令。另外，语音识别单元120可以识别指示用户明确请求将语音通知发送到辅助代理200的语音命令。例如通过将存储单元150预先存储的语音命令的模式与输入语音的模式进行比较，语音识别单元120可以识别单个语音命令。
此外，语音识别单元120可以通过将通过分析语音信号获得的频谱与个人用户的声纹进行比较来标识说出语音的用户。另外，语音识别单元120可以仅识别位于附近的用户的存在而不标识个人用户。
(3)图像识别单元
图像识别单元130使用图像识别技术识别从摄像机33输入的拍摄图像中示出的环境1的情况。例如，图像识别单元130可以通过识别向控制器100说出语音的用户的面部来标识个体用户。另外，图像识别单元130可以仅识别位于附近的用户的存在。另外，图像识别单元130可以通过读取用户作出的手势来识别用于控制受控装置10的手势命令或者定向到控制器100的手势命令。手势命令可以是与在例如由投影仪投影的显示图像上方移动的用户的手或手指的运动或形状对应的命令。图像识别单元130可以例如通过将存储单元150预先存储的图像特征量与从拍摄图像提取的图像特征量进行比较来标识用户并识别用户的存在或识别手势命令。
(4)装置控制单元
装置控制单元140控制一个或更多个受控装置10。根据特定实施方式，装置控制单元140控制以由传感器34输入的环境状态工作的受控装置10，使得环境状态满足控制目标值。可以经由通信接口35从受控装置10接收环境状态。在下文中，列出环境状态和相应受控装置的类型的组合的示例：
-室内温度：空调、加热装置和冷却装置；
-室内湿度：空调、加湿器和除湿机；
-环境音量：电视装置和媒体播放器；
-环境照度：照明装置和幕帘；以及
-房屋粉尘量：空气净化器。
根据另一实施方式，装置控制单元140根据从传感器34或受控装置10获取的环境状态来决定受控装置10的控制目标值或目标操作状态，并且控制受控装置10，使得达到所决定的目标值或目标状态。在下文中，列出了环境状态、相应受控装置的类型以及控制内容的组合的示例：
-室内温度：热水器(水温)；
-环境照度：显示器(亮度)和投影仪(亮度)；以及
-房屋粉尘量：自主清洁器(等级、开/关和活动场所)。
根据又一实施方式，在满足动态学习或预先存储在存储单元150中的日期或时间的控制条件的情况下，装置控制单元140控制受控装置10。在下文中，列出了受控装置的类型和控制内容的组合的示例：
-电视装置：特定频道的再现；
-记录器：内容的图像/声音的记录；
-幕帘：打开或关闭；
-外灯：开/关和颜色(例如，圣诞节颜色)；以及
-汽车：在外出时启动发动机。
根据又一实施方式，装置控制单元140根据基于从语音识别单元120或图像识别单元130输入的识别结果确定的用户的存在来控制受控装置10。在下文中，列出了用户的存在的类型、相应受控装置的类型以及控制的内容的组合的示例：
-用户返回/外出：空调(开/关)；
-用户返回：热水器(开)；以及
-用户不在：智能锁(安全等级：高)。
注意，这样的示例不限制可以应用根据本公开的技术的控制的内容。控制器100可以根据任何方案控制任何类型的受控装置10。
装置控制单元140基于经由通信接口35从受控装置10接收到的报告来指示语音通知单元110向用户输出语音通知。例如，装置控制单元140可以定期地从受控装置10接收环境状态和/或操作状态。在检测到预定用户输入(例如，语音命令、手势命令或来自输入接口36的任何输入)的情况下，装置控制单元140可以请求受控装置10给出状态报告。当从受控装置10接收到状态报告或事件报告时，装置控制单元140使语音通知单元110向用户输出用于传送所报告的状态或事件的语音通知。
装置控制单元140可以仅在预定通知条件被满足的情况下从语音通知单元110输出语音通知。例如，语音通知的通知条件可以与下面列出的参数中的一个或更多个相关联：
-受控装置的操作状态；
-环境状态；
-用户的存在；
-特定用户的存在；以及
-日期和/或时间。
在实施方式中，被指示要从装置控制单元140输出的语音通知中的一些包括用于请求用户响应的内容。例如，装置控制单元140开始控制受控装置10，并且在控制被改变或结束之前通过语音通知请求用户批准控制操作。然后，装置控制单元140在控制操作被批准的情况下执行动作，以及在控制操作被拒绝的情况下不执行动作。另外，装置控制单元140可以通过语音通知向用户建议被预测为对用户来说优选的控制操作。对于用户来说优选的控制操作的内容可以由用户设置并且可以由存储单元150存储。作为替代，可以基于来自用户的指令或批准的历史来学习对于用户来说优选的控制操作。装置控制单元140在建议被批准的情况下执行建议的控制操作，并且在提议被拒绝的情况下不执行建议的控制操作。
在控制操作被批准或者无需用户批准的控制操作开始的情况下，装置控制单元140经由通信接口35或者红外线接口37向目标受控装置10发送控制信号。受控装置10根据接收到的控制信号进行操作。受控装置10可以将操作结果报告给控制器100。
在装置控制单元140指示语音通知单元110输出语音通知之后，装置控制单元140进一步与显示控制单元160协作地执行与语音通知对应的视觉交互。与语音通知对应的视觉交互将稍后详细描述。
(5)存储单元
存储单元150存储由控制器100控制受控装置10以及与用户的交互所需的各种数据。例如，存储单元150存储可以包括用户标识信息(标识符、昵称等)、用户属性信息(年龄、性别、喜好等)的用户信息以及根据用户的设置信息(例如，消息选择条件和显示顺序)。另外，存储单元150存储各种控制设置，诸如用于语音通知的通知条件和用于控制受控装置10的控制条件。此外，存储单元150可以存储用于由语音通知单元110输出的语音通知的语音数据。另外，存储单元150可以存储用于语音识别单元120的语音识别的字典数据。另外，存储单元150可以存储用于图像识别单元130的图像识别的图像特征量数据。
(6)显示控制单元
显示控制单元160使辅助代理200显示与由语音通知单元110输出的语音通知对应的消息。在实施方式中，显示控制单元160在语音通知的输出经过特定时间间隔之后使辅助代理200显示与语音通知对应的消息。从显示控制单元160发送到辅助代理200的指令可以包括指示消息被显示的时间的时间戳。作为替代，从显示控制单元160发送到辅助代理200的指令可以包括指示语音通知被输出的时间的时间戳和指示上述时间间隔的信息。另外，在经过上述时间间隔之后发送指令的情况下，时间信息可以不被包括在指令中。从显示控制单元160发送到辅助代理200的指令可以包括另一段信息，例如消息的优先级。
图5a示出了语音通知的示例。参照图5a，从控制器100输出专用于用户u1的语音通知n11。语音通知n11具有用于向用户u1建议观看给用户u1推荐的广播内容的内容。用户u1可以通过语音命令或另一用户输入来批准或拒绝通过语音通知n11的建议。在此，由于用户u1专注于另一项工作或者语音通知n11的音量不足，用户u1没有响应语音通知n11。
图5b示出在距语音通知n11的输出经过了特定时间间隔之后执行的与语音通知对应的消息的显示的第一示例。在此，辅助代理200与控制器100处于同一装置中，并且使用显示装置40显示消息。参照图5b，辅助代理200根据来自控制器100的指令显示与语音通知n11对应的消息m11。控制器100输出新的语音通知n12，而不是重复语音通知n11。
图5c示出了在距语音通知n11的输出经过特定时间间隔之后执行的与语音通知对应的消息的显示的第二示例。在此，辅助代理200位于与控制器100分离的装置中，并且经由通信接口从控制器100接收消息。参照图5c，辅助代理200根据来自控制器100的指示在用户u1使用的显示终端上显示与语音通知n11对应的消息m13。
显示控制单元160可以使辅助代理200显示分别对应于多段输出语音通知的多段消息。另外，显示控制单元160可以使用通告装置41作出用于提醒用户查看所显示的消息的通告。用于提醒消息的确认的通知可以是例如振动器的振动或打开或闪烁具有特定颜色或图案的led灯。
图5d示出了用于提醒对与语音通知对应的消息的确认的通告的示例。在此，辅助代理200与控制器100处于同一装置中。参照图5d，辅助代理200根据来自控制器100的指令显示与语音通知n11对应的消息m11和与语音通知n12对应的消息m12。控制器100通过语音输出提醒通知n14。另外，辅助代理200通过打开led灯41a来通告存在指示等待用户响应的消息。
图6是示出用于与语音通知对应的消息的显示的第一场景的说明图。在第一场景中，首先在时间t21从控制器100输出语音通知n21。随后，在距时刻t21经过了时间间隔t1之后的时刻t22，辅助代理200显示与语音通知n21对应的消息m21。由于检测到用户输入，消息m21在时刻t22之后的时刻t23消失。消息m21消失的原因是由于预先决定的显示时段的到期或下面将描述的状态的改变而不能满足通知条件。
在输出具有用于请求用户的响应的内容的语音通知的情况下，显示控制单元160可以在经过时间间隔之前检测到用户的响应的情况下使辅助代理200不显示与语音通知对应的消息。图7是示出用于与语音通知对应的消息的显示的第二场景的说明图。即使在第二场景下，在时刻t21，从控制器100输出语音通知n21。随后，在与时间间隔t1的经过时间点对应的时刻t22到来之前，用户u1在时刻t24响应于语音通知n21而发出语音命令c21。在这种情况下，显示控制单元160通过语音命令的识别而理解现在没有必要显示对应于语音通知n21的消息m21。因此，即使当时刻t22到来时，显示控制单元160也使辅助代理200不显示消息m21。
在与受控装置10有关的状态满足预定通知条件的情况下，在经过时间间隔之前状态不满足通知条件的情况下，显示控制单元160可以使辅助代理200不显示与语音通知输出对应的消息。图8是示出用于与语音通知对应的消息的显示的第三场景的说明图。即使在第三场景中，在时刻t21从控制器100输出语音通知n21。语音通知n21具有用于建议用户u1观看受控装置10b中的特定广播内容的内容并且在广播内容未被再现的条件下输出语音通知n21。随后，在与经过时间间隔t1的时间点对应的时刻t22到来之前，在时刻t25用户u1在不使用控制器100的情况下操纵受控装置10b以开始观看推荐广播内容。在这种情况下，显示控制单元160现在通过来自受控装置10b的报告理解语音通知n21的通知条件不满足。因此，即使当时刻t22到来时，显示控制单元160也使辅助代理200不显示消息m21。
如上所述，可以使用各种类型的显示装置中的任意类型的显示装置来安装辅助代理200。例如，任意类型的显示装置与控制器100集成在同一装置。其他类型的显示装置是与控制器100分离的装置。与控制器100分离的装置可以进一步被分类为固定类型的装置和具有移动性的装置。显示控制单元160可以根据关于显示消息的显示装置的这种安装位置或移动性的类型来设置语音通知的输出与相应消息的显示之间的时间间隔。关于安装位置的类型可以被分类为同一装置、环境内部或同一环境的外部。移动性的类型可以分类为例如非移动性(固定)和移动性。
图9是示出用于与语音通知对应的消息的显示的第四场景的说明图。在第四场景中，存在三个辅助代理200。辅助代理之一与控制器100集成在包括显示装置40a的装置中。另一辅助代理安装在安装于与控制器100的环境相同的环境中的固定显示终端40b上。剩余的辅助代理安装在具有移动性的显示终端(移动终端)40c上。在时刻t31，首先从控制器100输出语音通知n31。随后，在距时刻t31经过时间间隔t32之后的时刻t35，由显示装置40a显示与语音通知n31对应的消息m31。随后，在距时刻t31经过时间间隔t33之后的时刻t36，在固定显示终端40b上显示与语音通知n31对应的消息m32。时间间隔t33比时间间隔t32长。在经过时间间隔t33之前检测到用户输入或者不满足通知条件的情况下，可以不显示消息m32。随后，在据时刻t31经过时间间隔t34之后的时刻t37，在移动终端40c上显示与语音通知n31对应的消息m33。时间间隔t34比时间间隔t32和t33长。在经过时间间隔t34之前检测到用户输入或不满足通知条件的情况下，可以不显示消息m33。以这种方式，通过以从距控制器100更近的显示装置开始的顺序显示具有时间差的消息，可以减少给不在受控环境的用户或对控制不感兴趣的用户过度频繁地显示的消息的不便。
在如第四场景中那样存在多个辅助代理200的情况下，显示控制单元160可以在预定选择条件下选择显示消息的辅助代理(或显示装置)。在下文中，将选择条件的示例与假设情况的描述一起列出。注意，选择条件可以被组合：
-选择条件1：显示装置的类型，
可以通过被安装成固定于环境的显示装置来显示对应于与仅处于特定环境中的用户相关的语音通知的消息；
-选择条件2：显示装置的当前位置，
不在位于远离环境的位置处的移动终端上显示对应于与仅处于特定环境中的用户相关的语音通知的消息；
-选择条件3：用户的属性，
不在年龄小于阈值的用户的移动终端上显示对应于与安全性相关的语音通知的消息；
-选择条件4：用户的存在，
不在没有用户的环境中的显示装置上显示任何消息；
-选择条件5：用户的权限，
可以仅在由具有受控装置的控制权限的用户所指定的显示装置上显示对应于与特定受控装置有关的语音通知的消息；以及
-选择条件6：消息的优先级，
可以在由所有用户或特定用户使用的显示装置上优先地或强制地显示与被给予高优先级的语音通知对应的消息而不受另一条件的影响。
图10是示出用于与语音通知对应的消息的显示的第五场景的说明图。在第五场景中，存在三个辅助代理200。辅助代理之一与控制器100集成在包括显示装置40a的装置中。另一个辅助代理安装在用户u2所使用的移动终端40c上。剩余的辅助代理安装在用户u1所使用的移动终端40d上。在时刻t41，首先从控制器100输出语音通知n41。随后，在距时间t41经过时间间隔t42之后的时刻t45，显示装置40a显示与语音通知n41对应的消息m41。随后，在距时刻t41经过时间间隔t43之后的时刻t46，在移动终端40c上显示与语音通知n41对应的消息m42。时间间隔t43比时间间隔t42长。另一方面，在移动终端40d上不显示与语音通知n41对应的消息而不受时间的过去的影响。与语音通知n41对应的消息未被显示的原因在于，例如，用户u1不处于特定环境中、用户u1的年龄小于阈值、或者用户u1没有参与语音通知n41的权限。以这种方式，通过在预定选择条件下选择性地决定显示与语音通知对应的消息的装置，可以抑制不必要消息的显示并确保与受控装置的控制相关的安全性。
在检测到用于请求辅助代理200发送通知的用户输入(例如，语音命令)的情况下，显示控制单元160可以指示辅助代理200显示与语音通知对应的消息。在这种情况下，可以通过辅助代理200显示与语音通知对应的消息而不受上述时间间隔的影响。在用户处于用户即使听到语音通知也可能不会返回适当响应的情形的情况下，可以利用辅助代理200推迟用户对通知作出响应的定时。
<3.辅助代理的配置示例>
图11是示出根据实施方式的辅助代理200的逻辑功能的配置的示例的框图。辅助代理200包括用户接口单元210和显示控制单元220。在图11的示例中，用户接口单元210连接到一个或更多个输入接口46。显示控制单元220连接到通信接口35和显示装置40。
用户接口单元210具有通过辅助代理200执行与用户的交互的作用。例如，用户接口单元210经由输入接口46检测用户输入并将用户输入信号输出到显示控制单元220。输入接口46可以包括诸如触摸传感、键盘、小键盘、按钮、开关、摄像机、麦克风、人检测传感器、振动传感器或姿态传感器的任意输入装置。如在控制器100中那样，用户接口单元210可以使用语音识别技术识别语音命令作为用户输入，或者可以从拍摄的图像识别手势命令。
显示控制单元220经由同一装置内的连接线或通信接口35连接到控制器110。在通过控制器100向用户输出语音通知的情况下，显示控制单元220根据从控制器100接收的指令使显示器装置40显示与语音通知对应的消息。在实施方式中，在距语音通知的输出经过特定时间间隔之后，显示控制单元220使显示装置40显示与语音通知对应的消息。
作为一个示例，显示控制单元220可以使显示装置40使用简单的显示项(诸如对话框或弹出窗口)仅显示单个消息。作为另一示例，显示控制单元220还可以使显示装置40显示具有一个或更多个消息项的消息窗口。在后一示例中，每个消息项可以显示用于标识相应受控装置的信息以及对应于与受控装置有关的语音通知的消息。用于标识受控装置的信息可以是诸如装置的名称或标识符的文本信息，或者可以是诸如图标的图像信息。
图12是示出根据实施方式的消息窗口的基本配置的示例的说明图。参照图12，示出了具有用于显示多个消息的多个消息项的消息窗口w1。消息窗口w1具有标签格式并且包括可以相互切换和显示的第一标签61、第二标签62和第三标签63。第一标签61是用于显示所有有效消息项的“所有消息”标签。第二标签62是用于显示与来自控制器100的给用户的建议相关的消息项的“建议”标签。第三标签63是用于显示与由控制器100收集的状态相关的消息项的“状态”标签。
在图12的示例中，第一标签61具有消息项51、52、53、54、55、56和57。每个消息项的图标标识每个消息项显示与语音通知对应的消息的受控装置。消息项51显示用于建议用户激活作为空调的受控装置10a的加热功能的消息。当用户在显示建议期间通过用户输入(例如，触摸“ok”按钮)批准建议时，显示控制单元220发出给控制器100的建议被批准(例如，发送响应)的信号。用户可以例如通过语音命令直接给予控制器100批准，而不涉及辅助代理200。另外，用户可以直接操纵受控装置10a。消息项52显示用于通知用户室内温度的消息，其中由受控装置10a报告作为环境状态的该室内温度。在不需要显示受控装置10a的状态的情况下，用户可以将消息项52设置成使得通过触摸位于消息项52的右上角的“x”按钮而不显示消息项52。消息项53显示用于建议用户切换作为电视装置的受控装置10b的频道并观看特定广播节目的消息。消息项54显示用于向用户通知门的锁定状态的消息，其中由作为智能锁的受控装置10d报告作为操作状态的门的锁定状态。消息项55显示用于向用户通知关于显示期间的频道的信息的消息，其中由受控装置10b报告作为操作状态的关于显示期间的频道的信息。消息项56显示用于向用户通知打开或关闭状态的消息，其中由作为幕帘的受控装置10b报告作为操作状态的打开或关闭状态。消息项57显示用于向用户通知打开状态的消息，
其中由作为外灯的受控装置10e报告作为操作状态的打开状态。显示控制单元220可以分别设置单个消息项的诸如颜色、大小、形状或闪烁模式的显示属性或每种类型(状态报告或事件报告或建议)的消息的动画类型或消息窗口w1中的每个优先级。
注意，图12所示的消息窗口w1的结构仅仅是示例，并且可以提供具有另一配置的窗口。例如，消息窗口中显示的消息项的数量可以与由控制器100控制或管理的受控装置的数量相同(即，为一个受控装置提供一个消息项)。因此，用户容易确定处于环境下的许多受控装置的一般情况，同时避免窗口中的显示的复杂化。另外，对于属于同一类别的多个受控装置，可以仅显示一个消息项(例如，为多个照明装置提供一个消息项)。另外，可以在窗口中提供用于响应于多个建议消息而包括地返回批准或拒绝的gui项。该消息的内容可能与语音通知的内容不匹配。例如，消息的文本可以根据显示装置的类型或目标用户的属性而改变。对于初级用户，可以处理或简化消息的文本，使得初级用户可以容易地理解消息的内容。
图13是示出图12所示的消息窗口w1中的标签的切换的示例的说明图。参照图13，作为当用户触摸第二标签62的索引部分时获得的结果，在消息窗口w1中显示与“建议”标签对应的第二标签62。第二标签62包括消息项51和53，即，仅用于显示从控制器100向用户的建议消息的消息项。用户可以立即识别仅请求用户响应的消息，并通过选择性显示返回适当的响应(例如，建议的批准或拒绝)。从显示消息开始经过了预定时间段仍未检测到用户的响应的建议可被视为建议被批准，否则建议被视为被拒绝。
显示控制单元220可以按照上述消息窗口w1中相应消息的时间戳的顺序决定窗口中的消息项的显示顺序。在此，时间戳可以指示辅助代理200第一次显示或(从控制器100)接收相应消息的时间，或者可以指示从控制器100输出相应语音通知的时间。在图12的示例中，消息窗口w1中的消息项以时间戳的降序排列(较新的项位于较高的位置)。
显示控制单元220可使显示装置40选择性地显示从控制器100接收的消息，而不是使显示装置40在窗口中显示所有接收到的消息。例如，显示控制单元220可以根据与控制器100的显示控制单元160有关的上述的选择条件1至6中的一个或者选择条件1至6中的两个或更多个的组合(即，根据显示消息的显示装置的类型或当前位置，用户的属性、存在或权限，或消息的优先级)来选择要在消息窗口中显示的消息项。
显示控制单元220可以在消息窗口中优先显示被设置高优先级的消息，而不受上述显示顺序的影响。图14是示出具有高优先级的消息项的显示的示例的说明图。参照图14，在消息窗口w2中以叠加在消息项51和53上的形式显示消息项58。消息项58显示用于向用户通知如下事件的消息：该事件指示在作为智能锁的受控装置10d中门被解锁。基于预先在控制器100或辅助代理200中注册的设置(例如，每个受控装置、每种语音通知或每个受控装置的每种消息的设置)向每个消息授予优先级。当执行优先或强制显示时，例如，可以将优先需要用户确认(例如，在安全性等方面)的消息可靠地传送给用户。
图15a是示出消息项的显示的另一示例的说明图。在图15a中，再次示出参照图13描述的消息窗口w1。通过触摸消息项51的图标而显示的弹出菜单65中的菜单项“历史”被用户触摸。另外，作为结果，显示历史窗口w3，在该历史窗口w3中按时间顺序示出了关于与消息项51对应的受控装置10的消息历史。通过附加地提供仅显示特定于一个装置的消息的窗口，容易也向用户传送诸如特定受控装置中的状态变化或事件发生情况的细节，同时简单地保持主消息窗口的内容。
图15b是示出消息项的显示的另一示例的说明图。在图15b中，示出了作为可以通过特别安装在移动终端上的辅助代理200来显示的示例的消息窗口w4。消息窗口w4具有消息项71、72和73。消息项71、72和73并非全部是从控制器100接收到的消息，并且是由显示控制单元220在预定选择条件下选择的项(例如，由用户设置成使得即使在用户外出时也显示的项)。另外，消息项71指示来自控制器100的两个建议被保留。例如，当用户触摸包括在消息项71中的按钮“读取”时，可以将分别显示建议内容的两个消息项加载到消息窗口w4中。当显示这样的选择的消息时，可以实现适合用户的行为状况或兴趣度的简单交互。
图16是示出消息窗口的显示的时间变化的示例的说明图。参照图16，在时刻t＝t51，在消息窗口w51中首先显示具有最新时间戳的消息项81。在消息窗口w51中，除了消息项81之外还显示消息项82和83。消息项81具有指示了给用户关于受控装置10a的控制的建议的内容。消息项82具有指示了给用户关于受控装置10b的控制的建议的内容。
在时刻t＝t52，用户通过触摸消息项82中的按钮批准经由消息项82来自控制器100的建议。响应于该用户输入，消息项82从消息窗口w52消失，并且在消息项81之上替代地显示新的消息项84。消息项84具有如下内容，其指示作为当用户在消息项82中批准提议时获得的结果而发生的受控装置10b的状态的改变。
在时刻t＝t53，例如，假设作为当用户操纵受控装置10a(不涉及辅助代理200)时获得的结果，与消息项81对应的语音通知的通知条件被满足。然后，消息项81从消息窗口w52消失，并且在最上面的级替代地显示新的消息项85。消息项85具有如下内容：其指示作为当用户操纵受控装置10a时获得的结果而发生的受控装置10a的状态的改变。
在时刻t＝t54，利用作为机会的在受控装置10d中的新事件的发生在最上面的级显示新的消息项86。消息项86具有如下内容，其指示在受控装置10d中作为事件检测到的操作状态上变化。在关于受控装置10d的状态或事件中设置了高优先级的情况下，消息项86可以以如下模式被优先显示在消息窗口中，在该模式中，消息项86可以区别于其他消息项(显示属性)。
消息窗口可以具有用于让用户整体地操纵环境中的一个或更个受控装置10的入口的角色。例如，在检测到在消息窗口中的消息项上的预定用户输入的情况下，显示控制单元220可以使显示装置40显示远程控制窗口，以远程操纵由消息项标识的受控装置10。
图17是示出从消息窗口到远程控制窗口的转换的示例的说明图。在图17的左上方，再次示出与图16所示的消息窗口相同的消息窗口w51。消息窗口w51具有消息项81、82和83。例如，当用户对与受控装置10a对应的消息项81执行轻拂时，显示用于操纵受控装置10a的远程控制窗口w52。当用户对消息项82执行轻拂时，显示用于操纵受控装置10b的远程控制窗口w53。当用户对消息项83执行轻拂时，显示用于操纵受控装置10c的远程控制窗口w54。当提供这样的用户接口时，用户可以拒绝来自控制器100的建议(或另一通知)，并且用户还可以在由控制器100提供控制建议且建议不合适的情况下利用建议作为机会快速地执行期望的控制。
<4.处理的流程>
[4-1.受控装置的处理]
图18是示出由根据实施方式的受控装置10执行的处理的流程的示例的流程图。参照图18，受控装置10首先获取环境状态(步骤s110)。例如，空调10a可以获取诸如环境温度和环境湿度的状态。注意，各种受控装置10可能不一定获得环境状态。相应地，步骤s110可以被省略。
接下来，受控装置10执行自主操作(步骤s112)。例如，在空调10a正在运行的情况下，空调10a基于环境温度和目标温度之间的差来改变送风温度。电视装置10b基于观看预约或录制预约的预约数据开始接收、再现或记录目标广播节目。基于定时器的设置，幕帘10c从关闭状态变为打开状态或从打开状态变为关闭状态。
随后，受控装置10确定状态报告的定时是否到来(步骤s114)。状态报告的定时可以定期预先设定，或者可以设定为特定时间。在受控装置10确定状态报告的定时到来的情况下，受控装置10将环境状态或操作状态发送到控制器100(步骤s116)。
随后，受控装置10确定是否执行事件报告(步骤s118)。例如，智能锁10d可以将在由用户设置的时段期间的门的解锁或者某人对门的解锁的尝试的失败确定为要报告给控制器100的事件。在受控装置10确定执行事件报告的情况下，受控装置10将事件报告发送到控制器100(步骤s120)。
随后，受控装置10确定是否从控制器100或另一装置接收到控制信号(步骤s122)。在接收到控制信号的情况下，受控装置10根据接收到的控制信号执行操作(步骤s124)。例如，在从控制器100接收到用于给出打开外灯10e的指令的控制信号的情况下，外灯10e被打开。
[4-2.控制器的处理]
图19是示出由根据实施方式的控制器100执行的处理的流程的示例的流程图。参照图19，装置控制单元140首先从一个或更多个受控装置10及一个或更多个传感器34收集环境状态和操作状态(步骤s130)。除了来自外部服务器的状态之外，装置控制单元140还可以获取例如补充信息，例如电子节目表或天气数据。
随后，语音识别单元120通过执行语音识别来检测用户的存在并标识用户或检测用户说出的语音命令(步骤s132)。另外，图像识别单元130可以通过执行图像识别来检测用户的存在并标识用户或检测手势命令。
随后，装置控制单元140通过确定关于每个受控装置10的相关通知条件来确定是否输出面向用户的语音通知(步骤s134)。该确定可以基于诸如如下的指标：在步骤s130中收集的环境状态和操作状态、在步骤s132中获取的用户的存在、以及日期。当装置控制单元140确定输出了一段或更多段面向用户的语音通知时，装置控制单元140使语音通知单元110经由扬声器31按顺序输出语音通知段(步骤s136)。
随后，显示控制单元160确定是否由辅助代理200显示与由语音通知单元110输出的语音通知对应的消息(步骤s136)。在显示控制单元160确定什么消息由辅助代理200显示的情况下，显示控制单元160选择要显示消息的一个或更多个显示装置(步骤s140)或者显示控制单元160基于例如显示装置的类型、用户的存在或者消息的优先级决定所选择的显示装置中的每个的时间间隔(步骤s142)。
随后，显示控制单元160针对要显示的单独消息确定在步骤s142中确定的时间间隔是否已经过去(步骤s144)。在该时间间隔过去之前检测到要请求的用户的响应或者相应的通知条件不满足的情况下，显示控制单元160撤销消息的显示。在时间间隔已经过去并且消息的显示的撤销没有结束的情况下(步骤s146)，显示控制单元160指示辅助代理200显示与语音通知对应的消息(步骤s148)。
随后，装置控制单元140确定受控装置10是否受到控制(步骤s150)。例如，在检测到用于给出控制受控装置10的指令的用户输入的情况下，装置控制单元140决定控制受控装置10。在此，用户输入可以作为语音命令、手势命令或者控制器100的另一输入被检测到，或者可以通过来自辅助代理200的信令(例如，对控制操作的建议的批准)被检测到。当装置控制单元140决定控制受控装置10时，装置控制单元140将控制信号发送至受控装置10(步骤s152)。
[4-3.辅助代理的处理]
图20是示出由根据实施方式的辅助代理200执行的处理的流程的示例的流程图。参照图20，显示控制单元220首先经由通信接口35或同一装置中的连接线从控制器100接收消息显示指令(步骤s210)。
随后，显示控制单元220生成与被指示要(在分配给消息的时间间隔过去之后)显示的消息对应的消息项，或者更新现有的消息项，以便显示新指示的消息(步骤s212)。
随后，显示控制单元220通过在窗口中布置一个或更多个有效消息项来形成最新的消息窗口(步骤s214)。例如，显示控制单元220可以在预定的选择条件下过滤要显示的消息并且以预定的显示顺序重新排列消息项。
随后，显示控制单元220使显示装置40显示由一个或更多个有效消息项形成的消息窗口(在已经显示消息窗口的情况下更新显示)(步骤s220)。
另外，用户接口单元210经由例如输入接口46监视用户输入(步骤s220)。当用户接口单元210检测到用户输入时，显示控制单元220根据检测到的用户输入执行操作(步骤s222)。在此执行的操作可以是任何操作，例如切换消息窗口中的标签，显示用于操纵指定的受控装置10的远程控制窗口，或者用于给控制器100发送建议的批准或拒绝的信号。
<5.与外部服务器的协作>
在前面的部分中，已经描述了交互系统包括单个控制器100和一个或更多个辅助代理200的示例。然而，本公开不限于该示例。控制器100可以由彼此协作的多个装置来实施。
图21a是示出与外部服务器的协作的第一示例的说明图。参照图21a，除了处于环境1中的控制器100a之外，还示出了经由网络3与控制器100a通信的外部服务器5。于是，控制器100b在外部服务器5上操作。控制器100a包括例如图4中所示的控制器100的功能块中的语音通知单元110、装置控制单元140和显示控制单元160。另一方面，控制器100b包括在图4中所示的控制器100的功能块中的语音识别单元120和图像识别单元130。控制器100a将经由麦克风32获取的语音信号或从语音信号中提取的语音特征数据传送给控制器100b，并将语音命令的识别委托给控制器100b。另外，控制器100a将经由摄像机33获取的图像信号或从图像信号中提取的图像特征数据发送到控制器100b，并将图像识别委托给控制器100b。控制器100b使用丰富的处理资源和大量字典数据来执行被委托的语音识别或图像识别，并将执行的结果返回给控制器100a。控制器100a基于从控制器100b返回的识别结果来控制与用户和受控装置10的交互。注意，控制器100a和100b的功能的分配不限于本文中描述的示例。
控制器100b可以具有控制由环境1外部的终端访问或对环境1中的控制器100a或其他装置访问的作用。另外，来自外部服务器5的单独装置(例如家庭网关(未示出))可以具有访问控制的作用。
图21b是示出与外部服务器的协作的第二示例的说明图。参照图21b，再次示出处于环境1中的控制器100a、与控制器100a通信的外部服务器5以及在外部服务器5上操作的控制器100b。在第二示例中，控制器100a包括在图4中所示的控制器100的功能块中的所有单元。控制器100b还包括图4中所示的控制器100的功能块中的所有单元。在此，控制器100a中可用的处理资源和存储资源少于控制器100b中可用的处理资源和存储资源。例如，当诸如语音识别、图像识别、受控装置的控制或显示控制的处理的负荷超过容量时，控制器100a将一些处理委托给控制器100b。当处理的负荷低时，控制器100a单独执行处理。
<6.结论>
上面已经参照图1至图21b描述了根据本公开的技术的实施方式。根据前述实施方式，关于至少一个受控装置的面向用户的语音通知从控制一个或更多个受控装置的控制器输出，并且由显示装置显示与语音通知对应的消息。因此，即使当语音通知没有到达用户或者用户未能听到语音通知时，用户也可以稍后确认所显示的消息的内容并且在必要时响应该消息。通过确保这种补充的交互方式，主要执行语音交互的控制器不会过度重复面向用户的语音通知。通过混合这样的语音交互和这样的视觉交互，可以提高信息传送的可靠性、及时性或选择性，并且因此可以改善用户的便利性。
另外，根据前述实施方式，在输出语音通知之后经过一定时间间隔之后，显示与语音通知对应的消息。因此，确保用户响应于语音通知采取适当的动作所需的时间延后。于是，可以避免与语音通知对应的消息在如下情况下被不必要地显示的情形：由于用户的快速响应达到语音通知的目的；或受控装置的状态上的改变；或语音通知内容的有效性变得不必要。
另外，根据前述实施方式，可以根据显示消息的显示装置的类型动态地决定直到单独的显示装置显示消息的时间间隔。因此，例如，仅在使处于首先安装有控制装置的环境中的用户注意到通知但适当的响应可能不能获得的情况下，否则可以实现用于吸引用户注意的逐步的交互。
另外，根据前述实施方式，与语音通知对应的消息与用于标识相应受控装置的信息一起显示在列出一个或更多个消息项的消息窗口中。因此，用户可以通过消息窗口简单地确定处于环境下的多个受控装置的总体情况。另外，用户可以稍后通过在消息项上提供的gui项来返回在输出语音通知时可能还没有返回的响应。另外，通过根据每个显示终端的设置改变要显示的消息，可以减少错过重要消息或用户特别感兴趣的消息的可能性。
注意，根据前述实施方式，通过语音交互来实现控制器和用户之间的主要交互，并且补充地提供视觉交互。然而，本公开不限于该示例。可以采用与语音交互具有类似性质的另一类型的交互手段(例如，用于连续显示信息的字幕或诸如手语的手势交互)来代替语音交互。在根据本公开的技术中，可以通过视觉交互补充其他类型的交互方法的缺陷。
本说明书中描述的各种处理可以使用软件、硬件以及软件和硬件的组合之一来实现。软件的程序被预先存储在例如设置在每个装置内部或外部的存储介质(非暂态介质)中。然后，例如，每个程序在执行时被读取到随机存取存储器(ram)，并且由诸如中央处理单元(cpu)的处理器执行。
另外，参照本说明书中的流程图描述的处理可能不一定按照流程图中指示的顺序执行。这些处理的一些步骤可以并行执行。另外，可以采用另外的处理步骤或者可以省略处理的一些步骤。
以上参照附图描述了本公开的优选实施方式，而本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种变化和修改，并且应该理解，其自然会落入本公开的技术范围内。
此外，在本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。也就是说，利用或代替上述效果，根据本公开的技术可以实现根据本说明书的描述对于本领域技术人员来说明显的其他效果。
另外，本技术也可以如下配置。
(1).一种控制装置，包括：
装置控制单元，被配置成控制一个或更多个受控装置；
语音通知单元，被配置成输出关于至少一个受控装置的面向用户的语音通知；以及
显示控制单元，被配置成使显示装置显示与由所述语音通知单元输出的所述语音通知对应的消息。
(2).根据(1)所述的控制装置，其中，所述显示控制单元在从输出所述语音通知起经过了一定时间间隔之后使所述显示单元显示与所述语音通知对应的所述消息。
(3).根据(2)所述的控制装置，其中所述语音通知包括用于请求用户的响应的内容，并且
在经过所述时间间隔之前检测到所述反应的情况下，所述显示控制单元使所述显示装置不显示与所述语音通知对应的所述消息。
(4).根据(2)或(3)所述的控制装置，其中，在关于所述受控装置的状态满足预定通知条件的情况下，输出所述语音通知，并且
在经过所述时间间隔之前所述状态不满足所述预定通知条件的情况下，所述显示控制单元使所述显示装置不显示与所述语音通知对应的所述消息。
(5).根据(2)至(4)中任一项所述的控制装置，其中，所述显示控制单元根据关于显示所述消息的所述显示装置的安装位置或移动性的类型来设置所述时间间隔。
(6).根据(1)至(5)中任一项所述的控制装置，还包括：
识别单元，被配置成识别所述控制装置附近的用户的存在，
其中，在所述识别单元识别出所述用户的存在的情况下，当所述显示装置能够显示与所述语音通知对应的所述消息时，所述语音通知单元输出用于提醒用户看所述消息的附加语音通知。
(7).根据(1)至(6)中任一项所述的控制装置，其中，所述显示装置是与所述控制装置分离的装置。
(8).根据(1)至(7)中任一项所述的控制装置，其中，所述一个或更多个受控装置包括包含所述控制装置的第一受控装置和与所述控制装置分离的第二受控装置至少之一。
(9).一种显示装置，其连接到控制一个或更多个受控装置并且输出关于至少一个受控装置的面向用户的语音通知的控制装置，所述显示装置包括：
显示控制单元，被配置成根据从所述控制装置接收到的指令使显示单元显示与由所述控制装置输出的所述语音通知对应的消息。
(10).根据(9)所述的显示装置，其中，所述显示控制单元在从所述控制装置输出所述语音通知经过了一定时间间隔之后使所述显示单元显示与所述语音通知对应的消息。
(11).根据(9)或(10)所述的显示装置，
其中，所述显示控制单元使所述显示单元显示具有一个或更多个消息项的消息窗口，并且
每个消息项显示用于标识对应的受控装置的信息和关于所述受控装置的消息。
(12).根据(11)所述的显示装置，其中，所述显示控制单元根据所述显示装置的类型或当前位置，用户的属性、存在或权限或所述消息的优先级来选择要在所述消息窗口中显示的消息项。
(13).根据(11)或(12)所述的显示装置，
其中，所述消息窗口具有与所述一个或更多个受控装置中的每个对应的消息项，并且
所述显示控制单元按照相应消息的时间戳的顺序决定在所述消息窗口中的所述消息项的显示顺序。
(14).根据(13)所述的显示装置，其中，所述显示控制单元使得不管所述显示顺序如何，设置有高优先级的消息被优先在所述消息窗口中显示。
(15).根据(11)至(14)中任一项所述的显示装置，其中，在检测到针对所述消息窗口中的特定消息项的预定用户输入的情况下，所述显示控制单元使所述显示单元显示用于远程操纵通过使用所述消息项标识的受控装置的远程控制窗口。
(16).根据(11)至(15)中任一项所述的显示装置，其中，在所述消息窗口中显示的消息项的数量与受控装置的数量相同。
(17).一种由控制一个或更多个受控装置的控制装置执行的控制方法，所述方法包括：
输出关于至少一个受控装置的面向用户的语音通知；以及
使显示装置显示与所输出的语音通知对应的消息。
(18).一种由连接到控制装置的显示装置执行的显示控制方法，所述控制装置控制一个或更多个受控装置并输出关于至少一个受控装置的面向用户的语音通知，所述方法包括：
根据从所述控制装置接收到的指令使显示单元显示与由所述控制装置输出的语音通知对应的消息。
(19).一种存储程序的计算机可读介质，所述程序使控制装置的处理器用作如下单元：
装置控制单元，被配置成控制一个或更多个受控装置；
语音通知单元，被配置成输出关于至少一个受控装置的面向用户的语音通知；以及
显示控制单元，被配置成使显示装置显示与由所述语音通知单元输出的所述语音通知对应的消息。
(20).一种存储程序的计算机可读介质，所述程序使连接至控制装置的显示装置的处理器用作显示控制单元，所述控制装置控制一个或更多个受控装置并输出关于至少一个受控装置的面向用户的语音通知，所述显示控制单元被配置成根据从所述控制装置接收到的指令使显示单元显示与由所述控制装置输出的所述语音通知对应的消息。
附图标记列表
1环境
5外部服务器
10受控装置
20通信装置
30控制装置
40显示装置
100控制器
110语音通知单元
120语音识别单元
130图像识别单元
140装置控制单元
150存储单元
160显示控制单元
200辅助代理
210用户接口单元
220显示控制单元