控制设备及其控制方法与流程

本发明涉及用于监测和控制家用电器的控制设备及其控制方法。

背景技术：

近来，随着有线/无线数据通信技术的快速发展和通信网络的广泛分布，诸如互联网的高速通信服务已得以广泛推广。特别地，随着高速互联网服务进入家庭，传统的基于pc的网络技术已经发展为针对远程控制数字家用电器的家庭网络技术。

家庭网络系统是用于在有线或无线局域网上连接数字家用电器、传感器、照明灯具、加热和冷却设备、气体设备等从而随时随地控制用户期望的设备的系统。

这样的家庭网络系统一般包括家庭服务器(或家庭监测网关)、多个家庭网络设备(下文称为控制目标设备)以及控制器，其中，家庭服务器用作主机，多个家庭网络设备由家庭服务器监测和控制，控制器通过仅与家庭服务器连接来本地或远程地监测和控制多个控制目标设备。

在这种情况下，家庭服务器通常实现于住宅网关(rg)或室内控制终端(wallpad)上，并且控制器通常实现于室内控制终端、tv、手机、计算机等中。家庭服务器和控制器可集成和实现为一个设备。例如，除了用作家庭服务器外，tv还可用作控制设备。

在家庭网络系统中，家庭服务器可自动识别通过多种物理媒介(例如，电力线、诸如rs-232的串行通信、以太网等)连接至家庭网络的控制目标设备，例如，tv、冰箱、灯、微波炉、传感器、热水器以及洗衣机，并可在屏幕上显示识别的家庭网络设备以控制用户期望控制的设备。

控制器通过与家庭服务器通信来监测和控制多个控制目标设备。

在家庭网络系统中，家庭服务器将数据发送至外部网络或从外部网络接收数据，其中，外部网络主要以互联网网络的形式实现。

用户使用控制设备(例如，pc、笔记本、智能手机、平板pc、tv、可穿戴设备以及多种遥控器)来访问位于家庭内部或外部的家庭服务器，然后访问与家庭内部的家庭网络连接的多个家用电器。

此外，在多个电子设备在外部服务器中注册的情况下，用户通过外部服务器访问在外部服务器中注册的多个电子设备，而不使用家庭服务器。

当用户使用控制设备监测和控制家庭内部的控制目标设备时，该用户应选择控制目标设备中的一个、在网络上访问所选择的控制目标设备、执行验证、然后监测或控制控制目标设备。因此，对于用户而言，控制设备难于使用。

例如，通常一起使用诸如用于调节空气的空调或空气净化器以及用于调节湿度的加湿器的家用电器。在这种情况下，用户会不方便且低率地向每个电子设备发出操作控制命令。

技术实现要素：

技术问题

一方面提供了控制设备及其控制方法，该控制设备配置为将预定指令输入至聊天页面以连同控制或单独控制多个电子设备的操作。

另一方面提供了控制设备及其控制方法，该控制设备配置为在指令被输入至聊天页面时执行指令自动补全功能、推荐指令提供功能、相似指令提供功能以及图标指令提供功能。

又一方面提供了控制设备及其控制方法，该控制设备具有通知窗口，该通知窗口用于通知电子设备的操作事件并配置为在通知窗口被触摸作为输入时显示用于与电子设备聊天的聊天单元页面。

再一方面提供了控制设备及其控制方法，其中，控制设备包括总览单元、对话框以及移动按钮，其中，当用于家庭网络的应用运行时，总览单元具有家用电子设备的图标，对话框配置为显示家用电子设备的操作状态，以及移动按钮用于横向移动显示有图标的页面。

再一方面提供了控制设备及其控制方法，其中，控制设备包括具有多个按钮的主键，该多个按钮用于当用于家庭网络中的应用运行时基于预定操作命令整体控制家用电子设备。

再一方面提供了控制设备及其控制方法，其中，控制设备包括聊天单元，该聊天单元配置为当用于家庭网络中的应用运行时使用快捷按钮与家用电子设备聊天，其中，聊天语句针对快捷按钮预先确定。

技术方案

根据一方面，用于控制至少一个电子设备的操作的控制设备，该控制设备包括用户接口单元以及控制单元，其中：用户接口单元配置为具有聊天页面，该聊天页面包括会话显示窗口、会话输入窗口、图标选择窗口以及发送按钮，其中，会话显示窗口用于显示与至少一个电子设备的会话，会话输入窗口用于接收用于控制至少一个电子设备的操作的字符，图标选择窗口用于显示与至少一个电子设备对应的图标，以及发送按钮用于发送通过会话输入窗口接收的字符；以及控制单元配置为基于由会话输入窗口接收的批控制指令连同控制至少一个电子设备的操作。

控制设备还包括存储单元，该存储单元配置为存储用于同时控制至少两个或更多电子设备的批控制指令。当所输入的字符是批控制指令时，控制单元同时控制至少两个或更多电子设备。

当所输入的字符是批控制指令时，控制单元执行控制以使得针对全部设备的图标被显示在图标选择窗口中。

控制设备还包括存储单元，该存储单元配置为存储用于单独控制任一电子设备的控制指令。当所接收的字符是用于单独控制任一电子设备的控制指令时，控制单元检测与控制指令对应的电子设备，控制所检测到的与控制指令对应的电子设备的操作，以及执行控制以在图标选择窗口中显示所检测到的电子设备的图标。

当所输入的字符是单独控制指令时，控制单元检测具有单独控制指令的电子设备以及执行控制以使得所检测到的电子设备的图标被显示在图标选择窗口中。

当两个或更多电子设备与用于单独控制任一电子设备的控制指令对应时，控制单元执行控制以显示该两个或更多电子设备的列表。当任一电子设备被选择时，控制单元基于控制指令控制所选择的电子设备的操作。

当两个或更多电子设备与用于单独控制任一电子设备的控制指令对应时，控制单元执行控制以在图标选择窗口中显示针对全部电子设备的图标。

控制单元检测由会话输入窗口接收的字符是否是设备名称，当由会话输入窗口接收的字符是设备名称时检测具有该设备名称的电子设备，以及执行控制以使得所检测到的电子设备的图标被显示在图标选择窗口中。

当设备名称和字符被会话输入窗口接收并且随后发送按钮被输入时，控制单元检测所输入的字符是否是快捷字母，当所输入的字符是快捷字母时检测与所输入的字符对应的指令，以及基于所检测到的指令控制所检测到的电子设备的操作。

当设备名称和字符被会话输入窗口接收并且随后发送按钮被输入时，控制单元检测所输入的字符是否是指令，当所输入的字符不是指令时检测与所输入的字符的相似度等于或大于特定值的指令，以及执行控制以显示所检测到的指令。

当设备名称和字符被会话输入窗口接收时，控制单元检测将所输入的字符作为首字母的指令，以及执行控制以显示所检测到的指令。

控制单元检测具有在图标选择窗口上选择的图标的电子设备，检测所检测到的电子设备的操作状态，以及执行控制以基于所检测到的操作状态显示可执行推荐指令的列表。

控制单元检测具有由会话输入窗口接收的设备名称的电子设备，检测所检测到的电子设备的操作状态，以及执行控制以基于所检测到的操作状态显示可执行推荐指令的列表。

控制单元检测具有由会话输入窗口接收的设备名称的电子设备，以及执行控制以显示用于控制所检测到的电子设备的指令的列表。

根据另一方面，用于控制至少一个电子设备的操作的设备包括：用户接口单元，该用户接口单元具有会话显示窗口、会话输入窗口、图标选择窗口以及聊天页面，其中，与至少一个电子设备的会话显示在会话显示窗口中，会话输入窗口配置为接收用于控制至少一个电子设备的操作的字符，与至少一个电子设备对应的图标显示在图标选择窗口中，用于发送由会话输入窗口接收的字符的发送按钮布置在聊天页面上；以及控制单元，该控制单元配置为检测与由会话输入窗口接收的字符对应的指令以及基于所检测到的指令控制至少一个电子设备的操作。

当设备名称和字符被会话输入窗口接收并且随后发送按钮被输入时，控制单元检测所输入的字符是否是快捷字母，以及当所输入的字符是快捷字母时检测与所输入的字符对应的指令。

当设备名称和字符被会话输入窗口接收并且随后发送按钮被输入时，控制单元检测所输入的字符是否是指令，当所输入的字符不是指令时检测具有与所输入的字符的相似度等于或大于特定值的指令，以及执行控制以显示所检测到的指令。

当设备名称和字符被会话输入窗口接收时，控制单元检测将所输入的字符作为首字母的指令，以及执行控制以显示所检测到的指令。

控制单元检测具有在图标选择窗口上选择的图标的电子设备，检测所检测到的电子设备的操作状态，以及执行控制以基于所检测到的操作状态显示可执行推荐指令的列表。

控制单元检测具有由会话输入窗口接收的设备名称的电子设备，检测所检测到的电子设备的操作状态，以及执行控制以基于所检测到的操作状态显示可执行推荐指令的列表。

控制单元检测具有由会话输入窗口接收的设备名称的电子设备，以及执行控制以显示用于控制所检测到的电子设备的指令的列表。

有益效果

根据一方面，通过将预定指令输入至聊天页面以连同控制或单独控制多个电子设备的操作，能够容易地控制多个电子设备的操作。

通过在指令被输入至聊天页面时提供指令自动补全功能、推荐指令、相似指令以及图标指令，也能够容易地输入指令。

通过在主页面的快速面板窗口中显示用于通知电子设备的操作事件的通知窗口，即使当没有在用户接口单元中运行应用时，也能够允许电子设备的操作状态被容易地检测。

此外，通过触摸快速面板窗口中的通知窗口作为输入能够容易地访问聊天页面、控制页面以及服务页面。

即使当没有在用户接口单元中运行应用时，因为电子设备的操作状态通过弹窗被显示，所以也能够容易地和快速地检测电子设备的操作状态。

通过显示多个家用电器中的每个还能够便于识别，以及通过在图标附近将电子设备的操作状态显示为对话框能够容易地检测家用电器的操作状态。即，能够为用户提供方便。

此外，因为电子设备的操作状态可通过仅触摸图标来改变，所以能够容易地控制电子设备的操作以及使用主键的多个按钮同时整体控制电子设备，从而提高电子设备的便利性和控制效率。通过利用弹窗输出电子设备的状态被改变的事件，也能够快速和容易地检测电子设备的状态信息。

此外，通过使用聊天单元的快捷按钮，也能够将操作命令简单容易地发送到至少一个电子设备。

附图说明

图1是示出了根据实施方式与控制设备通信的家庭网络系统的示例性图示。

图2是根据实施方式与控制设备通信的家庭网络系统的框图。

图3是示出了根据实施方式的控制设备仪表板页面和插件页面的示意性图示。

图4至图6是示出了根据实施方式的控制设备仪表板页面中总览单元的运行的示例性图示。

图7是示出了根据实施方式的控制设备仪表板页面中主键的示例性图示。

图8是示出了根据实施方式的控制设备仪表板页面中主键的运行的示例性图示。

图9是根据实施方式的控制设备第二插件页面中主键设定窗口318的示例性图示。

图10和图11是示出了根据实施方式的控制设备第二插件页面中主键的设置的示例性图示。

图12a至图18是根据实施方式的控制设备的仪表板页面中聊天单元的运行的示例性图示。

图19和图20是示出了根据实施方式在控制设备主页面上显示的快速面板窗口的示例性图示。

图21是示出了根据另一实施方式的控制设备的控制框图。

图22是示出了根据另一实施方式的控制设备的聊天页面的显示的示例性图示。

图23和图24是示出了根据另一实施方式设置在控制设备中的用户接口单元的聊天页面的显示的示例性图示。

图25至图27是示出了根据另一实施方式设置在控制设备中的用户接口单元的聊天页面的会话参与方的显示的示例性图示。

图28至图33是示出了根据另一实施方式对设置在控制设备中的用户接口单元的聊天页面的指令输入的示例性图示。

具体实施方式

在下文中，将参照附图详细描述本发明的实施方式。

图1是示出了根据实施方式与控制设备通信的家庭网络系统的示例性图示，以及图2是示出了根据实施方式与控制设备通信的家庭网络系统的框图。与控制设备通信的家庭网络系统包括多个电子设备100a至100h以及网络。

电子设备100a至110h(它们中的每个均执行预定独特功能)通过执行经由网络与控制设备通信的附加功能来发送与操作状态对应的操作信息，并执行与控制设备发送的操作命令对应的操作。这里，控制设备300包括移动设备。

电子设备包括非便携式家用电器，诸如，机器人清洁器100a、照明灯具100b、洗衣机100c、空调100d、电视100e、烹饪电器100f、冰箱100g以及洗碗机100h，以及电子设备还可包括在家中使用的终端，例如，笔记本、pc以及平板。此外，电子设备还可包括设置有相机和麦克风的安全设备。

网络200是通过将家中使用的全部电子或电气设备连接至一个系统来允许双向通信的家庭网络。

具体地，网络200可允许信息通过有线/无线互联网在多个电子设备与控制设备300之间共享。

家庭信息发送方法可分为有线方案和无线方案。有线方案的示例包括使用现有电话线的家庭电话线网络联盟(pna)、ieee1394、电力线等。无线方案的示例包括家庭射频(rf)、蓝牙、红外数据通讯(irda)和无线局域网(例如，wifi)、无线个域网(zigbee)、z波以及短程通信(例如，nfc等)。

网络200包括管理和控制多个电子设备的家庭服务器。

家庭服务器可实现于住宅网关(rg)、室内控制终端或tv上。

家庭服务器可以以软件实现并设置在家中的多种电子设备或多种移动设备中。此外，家庭服务器可以以硬件实现并与家中的多种电子设备或多种移动设备组合。

即，家庭服务器显示家中的多个电子设备的操作状态、从用户接收针对多个电子设备中的至少一个的操作命令、然后将操作命令发送到该至少一个电子设备。

控制设备300通过有线或无线通信与多个电子设备中的至少一个通信。

此外，控制设备300可与家中的多个电子设备中的每个通信，并可通过与家庭服务器通信来发送或接收多个电子设备的信息。

控制设备300包括用于与家庭网络通信以监测和控制家中的多个电子设备的应用。当用户运行应用时，控制设备300输出家中的多个电子设备中的至少一个的操作状态、从用户接收操作命令以及基于接收的操作命令控制该至少一个电子设备的操作。

控制设备300(可以是可移动至家外的终端设备，诸如，智能手机、平板pc、笔记本等，或固定在家内的设备，诸如，tv、多种遥控器等)可以是可安装有内容供应商提供的应用的终端设备，也可以是具有在制造商制造设备时即安装在设备中的应用、软件或固件的设备。

如图2中所示，控制设备300包括用户接口单元310、控制单元320、存储单元330以及通信单元340。

用户接口单元310输出布置在家中的多个电子设备中的预注册电子设备的操作状态，以及接收针对预注册电子设备中的至少一个的操作命令。

用户接口单元310包括用于显示预注册电子设备的操作状态的显示单元，以及用于从用户接收操作命令的输入单元。

这里，输入单元是用于接收操作命令的触摸板，以及用户接口单元310可实现为触摸屏，在该触摸屏中整体形成显示单元的显示面板以及输入单元的触摸板。

此外，除通过触摸板外，输入单元还可通过电子笔、定位设备(鼠标等)以及键盘来接收输入。在这种情况下，输入单元可与显示单元的显示面板分别形成。但是，当输入单元为触摸式电子笔时，输入单元可与显示单元的显示面板整体形成。

用户接口单元310包括供各种应用图标显示于其上的主页面。

用户接口单元310在主页面上显示用于监测和控制电子设备的应用的图标、在用户选择应用图标时将应用选择信号发送至控制单元320以及基于控制单元320的命令显示与应用运行对应的页面。下文将描述用户接口单元的页面显示配置。

当应用运行时，控制单元320控制用户接口单元310以输出预注册电子设备的操作状态，以及基于输入至用户接口单元310的操作命令控制发送与针对至少一个电子设备的操作命令对应的信号。

下文将结合用户接口单元的页面显示配置来描述控制单元320的控制配置。

存储单元330存储由用户注册的家用电子设备的识别信息以及用于监测和控制预注册电子设备的应用。

存储单元330存储针对主键每个按钮的用于预注册电子设备的操作命令，以及存储针对聊天单元每个快捷按钮的针对电子设备的操作命令。

通信单元340与预注册电子设备通信。

此外，通信单元340也可与家庭服务器通信。

将参照图3至图20来详细描述用户接口单元310。此外，也将描述控制单元320的控制操作。

图3是示出了根据实施方式的控制设备仪表板页面和插件页面的示例性图示。

当应用运行时，用户接口单元310将仪表板页面310a显示为初始页面。

这里，仪表板页面310a为供与通过家庭网络连接的多个电子设备有关的基本信息、用于控制操作的信息等显示于其上的页面。

当滑动触摸输入至仪表板页面310a时，用户接口单元310将页面从仪表板页面310a切换至插件页面310b或310c。

即，当从左至右施加的滑动触摸输入至仪表板页面310a时，用户接口单元310显示第一插件页面310b，其中，用于注册电子设备的设备注册项显示在第一插件页面310b上。当从右至左施加的滑动触摸输入至仪表板页面310a时，用户接口单元310显示第二插件页面310c，其中，用于服务和设定电子设备的服务项显示在第二插件页面310c上。

此外，在显示第一插件页面310b的情况下输入从右至左施加的滑动触摸时，用户接口单元310显示仪表板页面310a。

根据实施方式，插件页面的数量是2，但是可以是1或3或更多。

控制单元320检测正在显示的页面，当输入从右至左施加的滑动触摸时执行切换控制以显示位于当前页面右侧的页面，以及当输入从左至右施加的滑动触摸时执行切换控制以显示位于当前页面左侧的页面。

例如，在显示仪表板页面310a的情况下输入滑动触摸时，控制单元320检测滑动触摸方向。控制单元320在检测到的滑动触摸方向是从左至右的情况下控制向第一插件页面310b的切换，以及在检测到的滑动触摸方向是从右至左的情况下控制向第二插件页面310c的切换。

仪表板页面310a包括用于显示预注册电子设备的列表信息和操作信息的总览单元311以及用于显示运行命令信息和监测信息的控件单元312、313和314，其中运行命令信息和监测信息用于快速和容易地控制预注册电子设备的操作。

此外，仪表板页面310a还包括页面切换单元315，该页面切换单元315配置为从仪表板页面直接切换至插件页面、从插件页面直接切换至仪表板页面或从一个插件页面直接切换到另一插件页面。

用语“直接切换”包括通过单次触摸而不是滑动触摸来切换页面。

即，页面切换单元315包括在数量上等于多个页面的页按钮。多个页按钮的排列与多个页面的排列对应。与当前显示的页面的位置对应的页按钮显示为与其余页按钮不同。从而，用户可识别当前显示的页面的位置。

此外，可预置多个页面的排列信息，并且用户可改变页面的排列。

例如，根据实施方式的用户接口单元一共包括三个页面，即，仪表板页面、第一插件页面和第二插件页面。对于三个页面的排列，第一插件页面布置在仪表板页面的左侧，而第二插件页面布置在仪表板页面的右侧。

因此，页面切换单元315总共具有三个页按钮。在这三个页按钮中，左页按钮与第一插件页面310b链接，中间页按钮与仪表板页面310a链接，以及右页按钮与第二插件页面310c链接。

当左页按钮被触摸时，第一插件页面310b显示在用户接口单元上。在这种情况下，左页按钮具有与其它按钮不同的颜色。

当中间页按钮被触摸时，仪表板页面310a显示在用户接口单元上。在这种情况下，中间页按钮具有与其它按钮不同的颜色。

当右页按钮被触摸时，第二插件页面310c显示在用户接口单元上。在这种情况下，右页按钮具有与其它按钮不同的颜色。

即，控制单元320执行控制以检测页面切换单元315的多个页按钮中被触摸的页按钮、检测与检测到的页按钮对应的页面以及在用户接口单元310上显示检测到的页面。

第一插件页面310b和第二插件页面310c每个均是用于改变主功能的设定信息、设定附加功能或接收服务的页面。

具体地，第一插件页面310b包括设备检测按钮以及注册设定按钮316，其中，设备检测按钮具有与预注册电子设备有关的注册信息，注册设定按钮316用于注册新设备。

第二插件页面310c包括设定改变按钮、服务按钮以及针对每个预注册电子设备的管理按钮317，其中，设定改变按钮用于改变主键、聊天单元以及控件单元主视图的设定，服务按钮用于接收对预注册电子设备的服务。

图4至图6是示出了根据实施方式的控制设备仪表板页面中总览单元的运行的示例性图示。将参照图4至图6来详细描述总览单元311。

如图4中所示，总览单元311显示预注册电子设备的列表以及显示预注册电子设备的图标a1。

此外，总览单元311还包括用于移动页面的移动按钮a2，其中，在该页面上排列有预注册电子设备的图标。

即，移动按钮a2是这样的按钮，其用于移动当前显示的图标以改变图标的显示位置从而显示被隐藏并且未显示在总览单元中的一个页面上的其它电子设备的图标。

在这种情况下，当预注册电子设备的图标的数量小于一个页面上可显示的图标的预定数量时，移动按钮a2处于隐藏状态。当预注册电子设备的图标的数量大于一个页面上可显示的图标的预定数量时，移动按钮a2处于显示状态。

移动按钮a2包括第一方向按钮“<”以及第二方向按钮“>”，其中，第一方向按钮“<”指示从当前显示的页面移动至在第一方向上延伸的页面，第二方向按钮“>”指示从当前显示的页面移动至在第二方向上延伸的页面。这里，第二方向是与第一方向相反的方向。

当第一方向按钮“<”被选择时，总览单元311将当前页面中预定数量的电子设备的图标在第二方向上移动一列以重新排列图标。当第二方向按钮“>”被选择时，总览单元311将当前页面中的预定数量的电子设备的图标在第一方向上移动一列以重新排列图标。

在这种情况下，当第一方向按钮“<”被选择时，总览单元311在页面的最左列重新排列新的电子设备的图标，并移除已经位于最右列的电子设备的图标。当第二方向按钮“>”被选择时，总览单元311在最右列重新排列新的电子设备的图标，并移除已经位于最左列的电子设备的图标。

此外，当第一方向按钮“<”被选择时，总览单元311显示位于当前页面左侧的页面并显示排列在左侧页面上的电子设备的图标。当第二方向按钮“>”被选择时，总览单元311显示位于当前页面右侧的页面并显示排列在右侧页面上的电子设备的图标。

如图4中所示，当清洁器、照明灯具、洗衣机以及空调的图标排列在总览单元311的当前页面上的情况下第二方向按钮“>”被触摸时，位于当前页面的右侧页面上的空调2、机器人清洁器2以及电视的图标被显示。

当显示有空调2、机器人清洁器2以及电视的图标的情况下第一方向按钮“<”被触摸时，总览单元311将当前显示的页面移至左侧页面并再次显示位于左侧页面上的清洁器、照明灯具、洗衣机以及空调的图标。

虽然总览单元311的移动按钮被触摸，但是控制单元320控制用户接口单元310使得控件单元312、313以及314的页面维持在当前状态。

此外，总览单元311还包括对话框a3，其中，对话框a3通知预注册电子设备的表示当前操作状态的打开/关闭状态或进度状态。对话框a3位于图标a1附近以使得对话框a3容易被用户识别。

对话框a3基于控制单元320的命令改变表示电子设备操作状态的通知。

即，当显示在总览单元311中的图标中的任一个被触摸时，控制单元320改变与被触摸的图标对应的电子设备的操作状态，并控制用户接口单元310以使得改变的操作状态显示在对话框中。

例如，当空调处于打开状态的情况下空调的图标被触摸时，控制单元320控制空调关机并控制用户接口单元310使得空调的关闭状态显示在对话框中。当空调处于关闭状态的情况下空调的图标被触摸时，控制单元320控制空调开机并控制用户接口单元310使得空调的打开状态显示在对话框中。

如图5中所示，在显示有机器人清洁器、照明灯具、洗衣机以及空调的图标的情况下，当开机的空调的图标被触摸时，总览单元311使用对话框通知空调关机的操作，以及当关机的机器人清洁器的图标被触摸时，使用对话框通知机器人清洁器进行清洁的操作。

此外，当洗衣机处于打开状态的情况下洗衣机的图标被触摸时，控制单元320检测到洗衣机正在工作的状态并控制用户接口单元310使得检测到的洗衣机正在工作的状态显示在对话框中。

如图6中所示，当显示有机器人清洁器、照明灯具、洗衣机以及空调的图标的情况下处于打开状态的洗衣机的图标被触摸时，总览单元311使用对话框通知洗衣机的进度状态为“已过去一小时十分钟”。

此外，控制单元320可检测预注册电子设备的更新状态、错误状态以及预定状态中的至少一个，并可控制用户接口单元使得检测的状态信息显示在对话框中。

即，对话框a3通知电子设备的更新信息、错误信息以及预定信息中的任一个。

此外，当至少一个电子设备的操作状态响应于输入至控件单元的主键312的触摸输入以及聊天单元313的聊天指令输入而改变时，控制单元320控制用户接口单元310使得改变的操作状态显示在对话框中。

用户接口单元310的控件单元包括用于基于预置操作命令操作预注册电子设备的主键312、用于与预注册电子设备中的至少一个聊天的聊天单元313以及输出家内部图像的家视图单元314。这将参照图7和图8描述。

图7为示出了根据实施方式的控制设备仪表板页面中的主键的示例性图示。

主键312包括用于整体控制多个电子设备的操作的按钮。该按钮预先包括针对每个电子设备的操作命令。

主键312的按钮可基于用户的计划来设定。

如图7中所示，主键312包括外出(going-out)按钮b1、回家(coming-home)按钮b2以及晚安(good-night)按钮b3。

当用户接口单元的主键312被触摸时，控制单元320检测被触摸的按钮以将针对与检测到的按钮对应的每个电子设备的预置操作命令发送至预注册电子设备，从而允许预注册电子设备基于预置操作命令操作。在这种情况下，用户接口单元310通过对话框通知预注册电子设备的操作状态。

可额外添加用于整体控制主键312的按钮。可通过第二插件页面的“主键设定按钮”来执行添加。

此外，“主键设定按钮”可排列在主键中。

此外，可改变针对主键312的每个按钮的针对电子设备的操作命令。也可通过第二插件页面的“主键设定按钮”来执行该改变。

此外，可删除设定有主键312的按钮。也可通过第二插件页面的“主键设定按钮”来执行该删除。

图8是示出了根据实施方式的控制设备仪表板页面中的主键的运行的示例性图示。

如图8中所示，总览单元311显示机器人清洁器、照明灯具、洗衣机以及空调的图标，并在图标中的每个附近显示通知每个电子设备的操作状态的对话框。

假设针对每个电子设备的与外出按钮对应的操作命令包括关闭照明灯具的电源和关闭空调的电源，并且针对每个电子设备的与回家按钮对应的操作命令包括打开照明灯具的电源和打开空调的电源。

当机器人清洁器的操作状态为关闭、照明灯具的操作状态的为关闭、洗衣机的操作状态为打开以及空调的操作状态为打开的情况下主键312的外出按钮b1被触摸(t)时，用户接口单元310将机器人清洁器以及照明灯具的操作状态保持在关闭状态、将洗衣机的操作状态保持在打开状态以避免洗衣机在工作时被停止、关闭空调的操作状态，以及通过对话框通知每个电子设备的操作状态。

当机器人清洁器的操作状态为关闭、照明灯具的操作状态的为关闭、洗衣机的操作状态为关闭以及空调的操作状态为关闭的情况下主键312的回家按钮b2被触摸(t)时，用户接口单元310将机器人清洁器以及洗衣机的操作状态保持在关闭状态、打开照明灯具和空调的电源、并通过对话框通知每个电子设备的操作状态。在这种情况下，当用户触摸(t)空调的图标时，用户接口单元310关闭空调的电源并通过对话框通知关闭电源。

图9是根据实施方式的控制设备第二插件页面中主键设定页面318的示例性图示，以及图10和图11是示出了根据实施方式的控制设备第二插件页面中的主键设置的示例性图示。

当第二插件页面中的主键设定按钮被触摸时，用户接口单元310将仪表板页面切换为主键设定页面318。

如图9中所示，主键设定页面318包括预注册电子设备的图标d1、用于移动电子设备的图标列表的移动按钮d2、通知为每个电子设备预置的操作命令的对话框d3、以及多个预注册按钮d4、多个按钮中的每个的编辑按钮d5以及用于添加整体控制按钮的添加按钮d6。

如图10中所示，在照明灯具开机、电视关机、空调被预置为25℃的目标室内温度以及清洁器被预置为正在操作的情况下，当外出按钮被选择并且照明灯具的图标被触摸时，主键设定页面318将针对照明灯具的操作命令改变至关闭状态，然后通过对话框通知改变。当空调的图标被触摸时，主键设定页面318将针对空调的操作命令改变为关闭状态，然后通过对话框通知改变。

因此，针对每个电子设备的与主键的外出按钮对应的预置命令包括关闭照明灯具的电源、关闭电视的电源、关闭空调的电源以及操作清洁器。

如图11中所示，在外出按钮、回家按钮、晚安按钮以及早安按钮被设定为整体控制按钮的情况下，当早安按钮的编辑按钮被触摸时，主键设定页面318显示针对每个电子设备的与早安按钮对应的预置操作命令信息。在这种情况下，当选项菜单的删除按钮被触摸时，主键设定页面318显示用于通知删除与早安按钮关联的全部信息的窗口。当“ok”按钮被触摸时，主键设定页面318显示已移除了早安按钮的多个按钮。

图12a至图12d是根据实施方式当控制设备仪表板页面中的聊天单元运行时聊天页面的示例性图示以及示出了与会话输入方法对应的聊天页面中的变化的示例性图示。

当聊天单元313被触摸时，用户接口单元310将仪表板页面切换至聊天页面319。聊天页面319与图12a中所示的一样。

如图12a中所示，聊天页面319包括用于显示与至少一个电子设备的会话的会话显示窗口e1、用于选择至少一个电子设备的图标或全部电子设备的图标的图标选择窗口e2、以及用于选择与预注册电子设备中的至少一个会话的输入方法和用于输入会话的会话输入窗口e3。

这里，会话输入窗口e3包括文本窗口e31、发送按钮e32、列表按钮e33、麦克风按钮e34以及目标窗口e35，其中，文本窗口e31用于选择消息输入方法，发送按钮e32用于指示发送文本语句，列表按钮e33用于指示显示隐含聊天指令的快捷按钮的列表，麦克风按钮e34用于指示输入语音，以及目标窗口e35用于显示与用户聊天的电子设备的图标。

当触摸被输入时，文本窗口e31显示qwert类型小键盘e36。

此外，小键盘e36包括用于切换至韩语字符或数字的按钮。当切换按钮被触摸时，可显示韩语字符或数字。

图12b、图12c和图12d是示出了与会话输入方法对应的聊天页面的变化的示例性图示。将参照图13至图18描述这部分内容。

如图12b中所示，当文本窗口被触摸时，显示小键盘e36从而执行为用户聊天而预备的程序。

如图13中所示，当洗衣机的图标被触摸时，聊天页面319在目标窗口上显示洗衣机的图标。当文本窗口被触摸时，聊天页面319显示小键盘e36从而执行允许用户聊天的预备程序。

当查问洗衣机的进度状态的消息被输入并且随后发送按钮被触摸时，聊天页面319在代表性显示窗口上显示输入的消息、从洗衣机接收与当前进度状态有关的信息、并在进度条等上显示接收的进度状态。

此外，聊天页面同时显示聊天语句输入至会话显示窗口的时间。

此外，如图14中所示，当空调的图标被触摸时，聊天页面319在目标窗口上显示空调的图标。当文本窗口被触摸时，聊天页面319显示小键盘e36从而执行允许用户聊天的预备程序。

当操作命令通过消息被输入并且随后发送按钮被触摸时，聊天页面319在会话显示窗口上显示输入的打开操作命令，并显示由空调提供的当前室内温度。当目标室内温度通过消息被输入并且随后发送按钮被触摸时，聊天页面319在会话显示窗口上显示输入的目标室内温度，从空调接收命令将被执行的回复，并在会话显示窗口上显示接收的回复。

如图15中所示，当用于选择全部设备的图标被选择时，聊天页面319在目标窗口上显示用于选择全部设备的图标。当文本窗口被触摸时，聊天页面319显示小键盘e36从而执行允许用户聊天的预备程序。

当用于监测全部设备的聊天语句通过小键盘被输入时，聊天页面319在会话显示窗口上显示输入的聊天语句。当监测信息从预注册电子设备被接收时，聊天页面319在会话显示窗口上显示接收的针对每个电子设备的监测信息。

当显示有针对每个电子设备的监测信息的情况下会话显示窗口被触摸时，聊天页面319隐藏小键盘。

如图16中所示，当用于选择全部设备的图标被选择时，聊天页面319在目标窗口上显示用于选择全部设备的图标。当文本窗口被触摸时，聊天页面319显示小键盘e36从而执行允许用户聊天的预备程序。

当用于通知全部设备外出的聊天语句通过小键盘被输入时，聊天页面319在会话显示窗口上显示输入的聊天语句。当与外出对应的操作状态信息从预注册电子设备接收时，聊天页面319在会话显示窗口上显示接收的针对每个电子设备的操作状态信息。

当显示有针对每个电子设备的操作状态信息的情况下会话显示窗口被触摸时，聊天页面319隐藏小键盘。

当空调的图标被触摸时，聊天页面319在目标窗口上显示空调的图标。当文本窗口被触摸时，聊天页面319显示小键盘e36从而执行允许用户聊天的预备程序。

当操作命令通过消息被输入并且随后发送按钮被触摸时，聊天页面319在会话显示窗口上显示输入的打开操作命令，并显示由空调提供的当前室内温度。当目标室内温度通过消息被输入并且随后发送按钮被触摸时，聊天页面319在会话显示窗口上显示输入的目标室内温度、从空调接收命令将被执行的回复、并在会话显示窗口上显示接收的回复。

如图12c中所示，当列表按钮e33被触摸时，聊天页面319显示多个快捷按钮e37并从而执行允许用户聊天的预备程序，其中，在该多个快捷按钮e37上显示相应的聊天指令。

图17示出了针对每个预注册电子设备的快捷按钮的示例。

图17的部分(a)是与用于选择全部设备的图标对应的快捷按钮列表的示例性图示。当用于选择全部设备的图标被选择时，多个快捷按钮具有用于整体地控制全部预注册电子设备的相应操作命令。此外，用于将控制命令发送至全部设备的多个快捷按钮与主键的按钮对应。

图17的部分(b)是与空调的操作控制对应的快捷按钮列表的示例性图示，图17的部分(c)是与机器人清洁器的操作控制对应的快捷按钮列表的示例性图示，图17的部分(d)是与洗衣机的操作控制对应的快捷按钮列表的示例性图示，图17的部分(e)是与烹饪电器的操作控制对应的快捷按钮列表的示例性图示，以及图17的部分(f)是与冰箱的操作控制对应的快捷按钮列表的示例性图示。

如图18中所示，当空调的图标被触摸时，聊天页面319在目标窗口上显示空调的图标。当从空调接收与当前室内温度有关的信息时，聊天页面319在会话显示窗口上显示接收的当前室内温度。

当列表按钮被触摸时，聊天页面319显示多个快捷按钮e37，其中，用于与空调关联的操作控制的聊天指令显示在该多个快捷按钮e37上。

当在多个快捷按钮中触摸指示空调的快捷按钮时，聊天页面319在会话显示窗口上显示与触摸的快捷按钮对应的会话、从空调接收操作状态、以及显示“将执行空气调节操作”的会话。当列表按钮在已经过去预定时间段后被触摸时，聊天页面319隐藏列表按钮。接着，当会话输入窗口中的列表按钮被触摸时，聊天页面319显示图标选择窗口和快捷按钮列表。

当显示有图标选择窗口和快捷按钮列表的情况下用于选择全部设备的图标被触摸时，聊天页面319在目标窗口上显示用于选择全部设备的图标，并显示与用于选择全部设备的图标对应的快捷按钮的列表。

接着，当在多个快捷按钮中触摸外出按钮时，聊天页面319在会话显示窗口上显示用于通知外出按钮已经被触摸的会话，并将针对每个电子设备的与外出按钮对应的预置操作命令发送至每个电子设备。

此外，聊天页面同时显示聊天语句输入至会话显示窗口的时间。

如图12d中所示，当麦克风按钮e34被触摸时，聊天页面319显示用于接收语音命令的语音输入窗口e38从而执行允许用户聊天的预备程序。

如图12d中所示，当洗衣机的图标被触摸时，聊天页面319在目标窗口上显示洗衣机的图标。当麦克风按钮e34被触摸时，聊天页面319显示用于输入语音命令的语音输入窗口e38从而执行允许用户聊天的预备程序。

此外，语音输入窗口包括用于设定语音命令反馈的按钮、用于输入语音的按钮以及用于执行切换至小键盘的小键盘切换按钮。

当用于输入语音的按钮被触摸的情况下说出语句时，聊天页面319通过麦克风收集并随后识别语音，以及在会话显示窗口上显示识别的语音。当与识别的语音对应的询问是关于洗衣机的进度状态时，聊天页面319从洗衣机接收与当前进度状态有关的信息，并使用进度条等显示接收的进度状态。

此外，聊天页面同时显示聊天语句输入至会话显示窗口的时间。

家视图单元314可以以预定间隔输出用户家的内部图像。当触摸命令被输入时，家视图单元314可放大家视图图像并将放大的图像输出至仪表板页面。

此外，家视图单元314可响应于用户命令输出先前的图像。

图19和图20是示出了根据实施方式显示在控制设备主页面上的快速面板窗口的示例性图示。

如图19中所示，控制设备确定在未运行应用时是否至少一个电子设备的操作状态已经改变。当确定电子设备中的至少一个的操作状态已经改变时，控制设备通过快速面板窗口在用户接口单元310的主页面上显示与操作状态的改变对应的通知信息。

此外，在未运行应用时，控制设备通过快速面板窗口在主页面上显示与至少一个电子设备的更新、错误以及管理周期有关的通知信息。

当快速面板窗口中的通知信息被触摸时，用户接口单元310详细显示与对应的电子设备有关的信息。

如图20中所示，用户接口单元可显示与对应的电子设备有关的教程并执行与管理洗衣机有关的操作。

例如，当显示诸如“清洁洗衣机的洗衣滚筒”的消息的情况下触摸用于指示清洁洗衣滚筒的按钮时，用户接口单元将洗衣滚筒清洁命令发送至洗衣机并在用户接口单元上显示洗衣滚筒的正在进行清洁的状态。

图21是根据将参照图22描述的另一实施方式的控制设备的控制框图。

如图21中所示，控制设备300与另一控制设备通信，并基于操作命令或与另一控制设备发送的操作命令关联的信息将控制命令发送至多个电子设备中的至少一个。

这里，另一控制设备是可安装在人体中并且可作为穿戴设备(例如以腕表、带或眼镜的形式提供)的信息技术(it)设备。可穿戴设备能够输入/输出和通信。

例如，控制设备300可以是与腕表型设备通信的智能手机，而另一控制设备可以是腕表型设备。

可选地，控制设备300可以是与tv遥控器关联的tv，而另一控制设备可以是单独的tv遥控器。

即，另一控制设备从用户接收针对多个电子设备中的至少一个的操作命令，并将接收的操作命令发送至预注册控制设备300。用于控制家中电子设备的应用可安装在另一控制设备中。

虽然未示出，但是另一控制设备可包括输入单元。

通过另一控制设备输入单元的输入的示例可包括触摸输入、电子笔、定位设备(例如，鼠标等)、键盘、语音以及操作。

此外，另一控制设备可包括输出单元。

通过另一控制设备输出单元的输出的示例可包括通过诸如触摸板等显示单元的输出、声音输出、振动输出以及光输出。

控制设备300与另一控制设备可有线地或无线地连接。有线连接方案可包括移动高清链接(mhl)以及通用串行总线(usb)，而无线连接方案可包括蓝牙、wifi、无线个域网(zigbee)、irda以及短程通信。

虽然未示出，但是使用控制设备300和另一控制设备控制电子设备的方法例如将被如下描述。

通过另一控制设备的输入可以是语音输入。当另一控制设备具有触摸板时，该输入可以是触摸输入。

在控制命令通过语音输入而输入至另一控制设备的情况下，当另一控制设备将语音信息发送至控制设备时，控制设备300分析语音、获得对应的指令并执行与指令对应的控制操作。

可选地，当另一控制设备数字化或编码语音信息并将数字化的或编码的语音信息发送至控制设备300时，控制设备300分析数字化的或编码的信息，获得对应的指令，并执行与指令对应的控制操作。

可选地，当另一控制设备分析语音信息并将表示分析结果的特定信息发送至控制设备300时，控制设备300获得与该特定信息关联的指令并执行与该指令对应的控制操作。

可选地，当另一控制设备分析语音信息、获得与语音信息对应的指令并将获得的指令发送至控制设备300时，控制设备300执行与该指令对应的控制操作。

在控制命令通过触摸输入而输入至另一控制设备的情况下，当另一控制设备将与触摸的图标对应的信息发送至控制设备300时，控制设备300获得与信息对应的指令，并执行与指令对应的控制操作。

可选地，当另一控制设备通过与触摸的图标对应的信息获得对应的指令并将获得的指令发送至控制设备300时，控制设备300执行与指令对应的控制操作。

这里，控制命令可以是用于控制多个电子设备的命令。

当用于控制多个电子设备的命令输入至另一控制设备时，另一控制设备确定输入的命令是否是用于控制该多个电子设备的命令，并将确定的结果发送至控制设备300。

确定结果可与输入的命令同时发送或与输入的命令分开发送。

可选地，另一控制设备确定输入的命令是否是用于控制多个电子设备的命令。当输入的命令是用于控制多个电子设备的命令时，另一控制设备直接将控制命令发送至待控制的电子设备，而不通过控制设备300发送。

可选地，当用于控制多个电子设备的命令输入至另一控制设备时，控制设备300确定用于控制多个电子设备的命令是否有效，并执行对应的控制操作。

当使用如上所述的另一控制设备时，用户可简单地通过腕表型设备或tv遥控器控制家用电子设备。

例如，用户可以通过对腕表型设备说“晚安”来一起关闭家用电器的电源。

根据另一实施方式的控制设备具有与根据实施方式的控制设备不同的聊天配置。

如图21所示，控制设备300包括用户接口单元600、控制单元370、存储单元330以及通信单元340。

用户接口单元600输出布置在家中的多个电子设备中的预注册电子设备的操作状态，并接收用于预注册电子设备中的至少一个的操作命令。

用户接口单元600包括用于显示预注册电子设备的操作状态的显示单元以及用于从用户接收操作命令的输入单元。

这里，输入单元是用于接收操作命令的触摸板，以及用户接口单元600可以以显示单元的显示面板与输入单元的触摸板整体形成的触摸屏的形式实现。

此外，除了触摸板外，输入单元的输入可通过电子笔、定位设备(鼠标等)、键盘、语音识别以及姿势识别来接收。

在这种情况下，输入单元可与显示单元的显示面板分开形成。但是，当输入单元为触摸式电子笔时，输入单元可与显示单元的显示面板整体形成。

用户接口单元600在主页面上显示用于监测和控制电子设备的应用的图标，在应用的图标被用户选择时将应用选择信号发送至控制单元370，并基于控制单元370的命令显示与应用的运行对应的页面。

当显示在用户接口单元600的主页面上的聊天单元被触摸时，主页面切换至聊天页面。

当仪表板页面的聊天单元被触摸时，用户接口单元600将仪表板页面切换至聊天页面600a并显示聊天页面600a。这与图22的部分(a)中所示的相同。

如图22的部分(a)中所示，聊天页面600a包括会话显示窗口610、会话输入窗口620、图标选择窗口630以及发送按钮640，其中，会话显示窗口610用于显示与至少一个电子设备的会话，会话输入窗口620用于选择与预注册电子设备中的至少一个会话的输入方法以及用于输入会话，图标选择窗口630用于选择用于操作待被监测和控制的至少一个电子设备的图标或用于选择全部电子设备的图标，发送按钮640用于发送文本。

如图22的部分(b)中所示，当显示于图标选择窗口中的全部电子设备被选择或当用于控制多个电子设备的主图标被选择时，用户接口单元600的聊天页面600a附加地输出用于显示预注册电子设备列表的目标窗口631和用于显示预定指令的快捷语句按钮窗口632。

此外，目标窗口631和快捷语句按钮窗口632可作为文本窗口650输出，或者快捷语句按钮窗口632可作为文本窗口650输出而没有目标窗口631。

如图22的部分(c)中所示，当会话输入窗口620被选择时，用户接口单元600的聊天页面600a附加地输出文本窗口650以选择字符输入方案。

这里，当触摸输入时，文本窗口650包括qwert型小键盘或10键型小键盘。

此外，小键盘包括用于切换至韩语字符或数字的按钮。当切换按钮被触摸时，可显示韩语字符或数字。

可选地，用户接口单元还可显示指示语音输入的麦克风按钮。

当会话显示窗口610被触摸时，用户接口单元的聊天页面600a将目标窗口、快捷语句按钮窗口或文本窗口切换至隐藏状态。

当运行应用时，控制单元370控制用户接口单元600使得预注册电子设备的操作状态或用户所需的通知信息被输出，以及基于通过触摸输入至用户接口单元600的操作命令来控制发送与至少一个电子设备的操作命令对应的信号。

当批控制指令输入时，控制单元370将会话参与方设备切换至全部设备。

这里，批控制指令不是用于控制一个电子设备的指令而是预定义为控制多个电子设备的指令。

控制单元370执行控制以将与批控制关联的单独控制指令或批控制指令本身发送至与该批控制指令关联的多个电子设备。

此外，控制单元370执行控制以将批控制指令发送至家中的全部电子设备。

这里，单独控制指令是待由与批控制指令关联的对应的电子设备执行的指令。

当与任一电子设备对应的单独控制指令被输入时，控制单元370自动将对应的电子设备切换为会话参与方设备。当电子设备的设备名称被输入时，会话参与方设备切换至具有所输入的设备名称的电子设备。

控制单元370可通过快捷语句按钮窗口而不是文本窗口接收对批控制指令的选择或对单独控制指令的选择。

将在下文中基于对聊天页面的输入/输出的示例来详细描述控制单元的这种配置。

存储单元330存储由用户注册的家用电子设备的识别信息和用于监测和控制预注册电子设备的应用，以及存储批控制指令和单独控制指令。

存储单元330存储针对每个字符的相似控制指令和推荐指令以及存储针对每个指令的操作命令。

通信单元340与家中的电子设备和家庭服务器通信。

将参照图23至图27详细描述显示用户接口单元的聊天页面的聊天的示例。

图23和图24是用于连同控制多个电子设备的聊天页面的示例性图示。

如图23中所示，当图标选择窗口630被触摸时，用户接口单元显示预注册电子设备的图标(例如，房子形图标)。当在预注册电子设备的图标中触摸针对全部设备的图标时，用户接口单元在图标选择窗口630上显示针对全部设备的图标。

当针对多个电子设备的批控制指令通过用户接口单元的会话输入窗口620输入时，控制单元将与批控制关联的单独控制指令(即，待由与批控制指令关联的对应设备执行的指令)或批控制指令本身发送至与批控制指令关联的多个电子设备。此外，控制单元将批控制指令发送至家中的全部电子设备。

当批控制指令与指代全部设备的词语(例如，家或其昵称)一起输入至用户接口单元的会话输入窗口620时，控制设备可将与批控制关联的单独控制指令(即，待由与批控制指令关联的对应设备执行的指令)或批控制指令本身发送至与批控制指令关联的多个电子设备。

此外，控制单元可将批控制指令发送至家中的全部电子设备。在这种情况下，可容易地执行批控制而不考虑在输入批控制指令前会话参与方是谁。

在批控制指令被发送之后，控制单元允许与结果有关的信息显示在用户接口单元的聊天页面的会话显示窗口610上。

如图所示，与批控制指令关联的每个设备可显示操作的操作状态或结果。虽然未示出，但是表示全部设备的会话参与方可一起显示它们的状态或结果。

例如，针对批控制指令“外出”的结果，每个关联设备(即，空调、机器人清洁器等)均显示结果。即，假设当指令“外出”输入时，空调被设定为关机，以及清洁器被设定为执行清洁操作，控制设备在聊天页面的会话显示窗口以及空调的图标上显示关机的会话，在清洁器的图标上显示清洁操作开始的会话。

此外，具有房子形图标的会话参与方可一起显示状态或结果(例如，“外出模式已运行”等)。

虽然图23中未示出，但是当针对多个预定设备的批控制指令输入至会话输入窗口620时，控制设备也可将会话参与方设备切换至全部设备并将与批控制关联的单独控制指令(即，待由与批控制指令关联的对应设备执行的指令)或批控制指令本身发送至与批控制指令关联的多个电子设备。此外，控制单元可将批控制命令发送至家中的全部电子设备。

如图24中所示，当没有在聊天页面的图标选择窗口630中选择针对全部设备的图标的情况下批控制指令输入至会话输入窗口620时，用户接口单元自动将显示于图标选择窗口630中的电子设备图标改变为针对全部设备的图标并显示针对全部设备的图标。

例如，当机器人清洁器的图标显示于聊天页面的图标选择窗口630中的情况下输入作为批控制指令的“外出”指令时，用户接口单元在图标选择窗口630上显示针对全部设备的图标并在会话显示窗口610上除了显示针对全部设备的图标之外还显示批控制指令“外出”。

此外，控制设备的控制单元确定输入至用户接口单元的外出指令是否是批控制指令。

图25、图26和图27是用于单独控制任一电子设备的聊天页面的示例性图示。

如图25中所示，当针对全部设备的图标显示于聊天页面的图标选择窗口630中的情况下输入单独控制指令时，用户接口单元在图标选择窗口630上显示与输入的单独控制指令对应的电子设备的图标并在会话显示窗口610上显示输入的单独控制指令。

在这种情况下，控制设备的控制单元确定输入的指令是否是单独控制指令、检测具有所确定的单独控制指令的电子设备以及将与单独控制指令对应的操作命令发送至所检测到的电子设备，并且在用户接口单元的聊天页面的会话显示窗口610上显示与所检测到的电子设备的操作状态有关的信息。

例如，当针对全部设备的图标显示在聊天页面的图标选择窗口630中的情况下将“充电”指令作为单独控制指令输入时，用户接口单元在图标选择窗口630上显示机器人清洁器的图标。

在这种情况下，控制设备的控制单元检测执行充电的电子设备，其中，充电是输入指令。当所检测到的电子设备被确定为机器人清洁器时，控制单元将充电命令发送至机器人清洁器、从机器人清洁器接收与充电操作有关的信息以及在用户接口单元的聊天页面的会话显示窗口610上显示接收的信息。

如图26中所示，当针对全部设备的图标显示在图标选择窗口630中的情况下通过文本窗口650输入消息时，用户接口单元在会话输入窗口620上显示输入的消息。当在输入显示于会话输入窗口620上的消息后触摸发送按钮640时，用户接口单元在会话显示窗口610上显示输入的消息。

用户接口单元显示具有相同指令的多个电子设备的图标列表中的至少一个以及多个电子设备的设备名称列表。当从列表中触摸任何一个时，用户接口单元在会话输入窗口620上显示在触摸区域中显示的电子设备的设备名称。

此外，用户接口单元可显示在会话显示窗口610上显示的多个电子设备的图标列表和设备名称以及通过会话输入窗口620接收电子设备的设备名称。

即，控制设备的控制单元检测指令(即，显示在会话输入窗口620上的消息)是否是与多个电子设备对应的相重指令。当指令被确定为是相重的时，控制单元在用户接口单元的聊天页面的会话显示窗口610上显示与相重指令关联的多个电子设备的图标列表。

当从显示在用户接口单元的会话显示窗口610上的多个电子设备的图标列表中选择至少一个图标时，控制设备的控制单元检测与所选择的至少一个图标对应的电子设备并在会话输入窗口620上显示所检测到的电子设备的设备名称。

此外，控制设备存储与每个相重指令的电子设备有关的信息以及存储针对每个电子设备的操作命令。

例如，当针对全部设备的图标显示于聊天页面的图标选择窗口630中的情况下将“关闭”指令作为相重指令输入时，用户接口单元检测可施加“关闭”指令的电子设备(即，处在打开状态的电子设备)并显示检测到的电子设备的图标列表或设备名称列表。

用户接口单元从电子设备的图标列表接收对至少一个电子设备图标的触摸或通过会话输入窗口接收设备名称并将“关闭”操作命令发送到接收的电子设备。

如图27中所示，当特定电子设备的名称(或用于识别电子设备的特定输入)通过文本窗口650输入时，会话状态改变为对应的电子设备，而不考虑当前会话参与方。

例如，用户接口单元检测显示在会话输入窗口620上的消息是否是设备名称。当检测的消息被确定为是设备名称时，用户接口单元检测具有所确定的设备名称的电子设备并将检测到的电子设备的图标显示在图标选择窗口630上。

当消息通过文本窗口650输入时，用户接口单元在会话输入窗口620上显示输入的消息。当在输入显示于会话输入窗口620上的消息后触摸发送按钮640时，用户接口单元在会话显示窗口610上显示输入的消息、检测会话输入窗口620上的输入指令以及在会话显示窗口610上显示检测到的“充电”指令。

例如，当输入“为机器人清洁器充电”时，会话参与方改变为机器人清洁器(虽然之前的会话参与方是全部设备(房子形图标))，用于充电的控制命令发送至机器人清洁器。此外，会话参与方图标改变为机器人清洁器。

控制设备的控制单元将与检测到的“充电”指令对应的操作命令发送至机器人清洁器、从机器人清洁器接收与充电操作有关的信息以及允许所接收的信息显示在用户接口单元的会话显示窗口610上。

将参照图28至图33详细描述在用户接口单元的聊天页面输入指令的示例。

如图28的部分(a)中所示，用户接口单元直接接收用户通过聊天页面的会话输入窗口使用的自然语言。如部分(b)中所示，用户接口单元选择针对每个操作命令预置的指令并通过聊天页面的会话输入窗口接收选择。如部分(c)中所示，用户接口单元在聊天页面上显示针对每个电子设备的图标目标窗口和快捷语句按钮窗口632，以及接收对图标和按钮的触摸或接收通过语音的输入，其中，针对快捷语句按钮窗口632设定有针对每个电子设备的指令。

当输入通过语音接收时，控制设备可在会话窗口上显示识别的语音。此外，当输入通过语音而接收时，控制设备可显示针对所识别的语音的备选指令组，并且可显示该组以使用户从该组中选择合适的指令。

如图29中所示，当显示于会话输入窗口620上的消息是设备名称时，用户接口单元在图标选择窗口630上显示具有该设备名称的电子设备的图标。当会话输入窗口620以点击或长按的方式被触摸时，用户接口单元显示预置的指令列表。在这种情况下，指令被设定为针对每个电子设备的列表。

当从预置指令列表中触摸任一指令时，用户接口单元在会话输入窗口620上显示被触摸的指令。当用户触摸发送按钮时，用户接口单元显示输入至会话显示窗口610的电子设备的设备名称以及指令。

控制设备的控制单元检测显示于会话输入窗口620上的消息是否是设备名称。当确定所检测的消息是设备名称时，控制单元检测具有所确定的设备名称的电子设备以及在图标选择窗口630中显示所检测到的电子设备的图标。

例如，当“机器人清洁器”输入至会话输入窗口620时，用户接口单元在图标选择窗口630上显示机器人清洁器的图标。当通过点击或长按来触摸会话输入窗口620时，用户接口单元显示用于控制机器人清洁器的预置指令列表。

当从预置指令列表中触摸“关闭”时，用户接口单元在会话输入窗口620上显示被触摸的指令。当发送按钮被触摸时，用户接口单元在会话显示窗口610上显示由用户选择的会话。

如图30中所示，当显示于会话输入窗口620上的消息是设备名称时，用户接口单元在图标选择窗口630上显示具有该设备名称的电子设备的图标，并显示以通过文本窗口650输入的至少一个字符开头的指令的列表。即，当至少一个字符被输入时，用户接口单元基于自动补全功能显示指令。

当从指令列表中选择任一指令时，用户接口单元在会话输入窗口620上显示所选择的指令。当发送按钮被触摸时，用户接口单元在会话显示窗口上显示设备名称和指令。

此外，控制设备存储指令以及构成指令的词语的顺序信息。

例如，当“机器人清洁器”通过文本窗口650输入时，用户接口单元在会话输入窗口620上显示机器人清洁器，并且也在图标选择窗口630上显示机器人清洁器的图标。当“s”通过文本窗口650输入时，用户接口单元显示以“s”开头的指令的列表。

当从以“s”开头的指令中选择“start”时，用户接口单元在会话输入窗口620上显示“start”。当发送按钮被触摸时，用户接口单元在会话显示窗口610上显示设备名称(机器人清洁器)和指令(start)。

如图31中所示，当显示于会话输入窗口620上的消息是设备名称时，用户接口单元在图标选择窗口630上显示具有该设备名称的电子设备的图标，并在会话输入窗口上显示通过文本窗口650输入的指令。当发送按钮被触摸时，用户接口单元在会话显示窗口上显示该设备名称和指令。

当输入指令是未识别的指令时，用户接口单元将与该输入指令最相似的指令显示为可选按钮。当所显示的按钮被选择时，再一次地，将所选择的指令与设备名称一起显示。

在这种情况下，控制设备的控制单元确定输入指令与具有输入设备名称的电子设备的指令之间的词语相似度、确定相似度等于或大于某值的指令以及将所确定的指令选择作为相似指令。

例如，当“机器人清洁器”通过文本窗口650输入时，用户接口单元在会话输入窗口620上显示机器人清洁器，并且也在图标选择窗口630上显示机器人清洁器的图标。当“star”通过文本窗口650输入时，用户接口单元显示与“star”最相似的命令“start”。

即，控制设备的控制单元将构成用于控制机器人清洁器的指令的词语与“star”作比较，并将与“star”最相似的命令“start”确定为相似指令。

如图32中所示，当显示在会话输入窗口620上的消息是设备名称时，用户接口单元在图标选择窗口630上显示具有该设备名称的电子设备的图标，并基于具有该设备名称的电子设备的操作状态显示作为推荐指令列表的指令。当从推荐指令列表中选择任一指令然后触摸发送按钮时，用户接口单元在会话显示窗口610上显示设备名称和指令。

在这种情况下，控制设备的控制单元检测具有输入设备名称的电子设备的操作状态、基于检测的操作状态检测可运行的操作命令以及检测与检测到的操作命令对应的指令。

例如，当“机器人清洁器”通过文本窗口650输入时，用户接口单元在会话输入窗口620上显示机器人清洁器，并且也在图标选择窗口630上显示机器人清洁器的图标。用户接口单元基于机器人清洁器的操作状态显示推荐指令列表。

当从推荐指令列表中选择指令“停止”时，用户接口单元在会话输入窗口上显示“停止”。当发送按钮被触摸时，用户接口单元在会话显示窗口610上显示设备名称和指令。

在这种情况下，当机器人清洁器被确定为处于充电操作时，控制设备的控制单元检测可运行的操作、检测用于控制所检测到的操作的指令以及在推荐指令列表中显示用于指示开始清洁的开始指令和用于指示停止充电的停止指令。

作为另一示例，当空调处于停止运行状态时，控制单元可将操作开始命令显示作为推荐指令。当空调处于运行状态时，控制单元可显示操作停止指令、目标温度调高/调低指令以及操作模式改变指令。

如图33中所示，当显示于会话输入窗口620上的消息是设备名称时，用户接口单元在图标选择窗口630上显示具有该设备名称的电子设备的图标。当预置快捷字母通过文本窗口650输入时，用户接口单元在会话输入窗口上显示快捷字母。当发送按钮被触摸时，用户接口单元在会话显示窗口610上显示与设备名称和快捷字母对应的指令。

在这种情况下，控制设备存储针对每个快捷字母的指令。在这种情况下，针对每个快捷字母的指令可根据电子设备而不同地设定。

即，控制设备的控制单元检测与输入快捷字母对应的指令并控制显示所检测到的指令。

例如，当“机器人清洁器”通过文本窗口650输入时，用户接口单元在会话输入窗口620上显示机器人清洁器，并且也在图标选择窗口630上显示机器人清洁器的图标。当通过文本窗口650输入“c”然后触摸发送按钮时，用户接口单元在会话显示窗口610上除了显示设备名称(机器人清洁器)外还显示具有快捷字母“c”的指令“清洁(clean)”。

在这种情况下，通过在聊天时使用快捷字母输入指令，能够容易地与电子设备聊天。