家庭网络系统中的设备控制方法和装置与流程

本发明涉及利用对用户的动作和室内位置的识别来控制家庭网络系统中的设备的方法和装置。

背景技术：

家庭网络技术是通过家庭中的单个网络来对设备(诸如，计算机、外围设备和家电)进行连接和控制的技术。此技术不仅能从内部访问还能从外部访问住宅中通过因特网线或电话线建立的网络，从而控制包括计算机、电视、视频播放器以及冷却器/加热器的所有设备。

为此，需要利用家庭中的单个设备以集成的方式控制所有设备的协议。因此，使用包括以太网、家庭电话线网络联盟(PNA)和IEEE1394的有线家庭网络技术以及包括蓝牙、超宽带(UWB)、ZigBee，无线1394、家庭射频(RF)、超声波通信和Z-Wave的无线家庭网络技术。

对于家庭网络系统，对设备进行控制的功能已作为主要功能出现，相应地，需要允许用户容易地对家庭网络中的各设备进行控制的工具。

然而，迄今为止，已开发的家庭网络系统采用这样的方法，在该方法中，用户选择目标设备的控制设备(诸如遥控器)并且通过所选择的控制设备多次执行按键输入操作以对设备进行控制，这造成极大的不便。

因此，需要一种方法使得用户方便地对家庭网络系统中的目标设备进行控制。

技术实现要素：

技术问题

本发明提供供用户方便地对家庭网络系统中的目标设备进行控制的方法和装置。

此外，本发明提供利用对用户的动作和室内位置的识别来控制家庭网络系统中的设备的方法和装置。

技术方案

根据本发明，用于在家庭网络系统的第一终端中对提供服务的设备进行控制的方法包括：在第一终端的动作被识别之后，在预定时间内从第二终端接收动作识别信息；辨识第一终端是否位于至少一个设备的有效服务范围之内；以及基于动作识别信息和第一终端是否位于有效服务范围之内，激活用于控制至少一个设备的界面。

此外，根据本发明，用于在家庭网络系统的第一终端中对提供服务的设备进行控制的装置包括：收发器，在第一终端的动作被识别之后，在预定时间之内从第二终端接收动作识别信息；以及控制器，辨识第一终端是否位于至少一个设备的有效服务范围之内，并且基于动作识别信息和第一终端是否位于有效服务范围之内来激活用于控制至少一个设备的界面。

有益效果

本发明采用室内位置识别从而直观地且方便地对设备进行控制，其中，当用户位于所要控制的设备的范围之内时，所述室内位置识别使得能够自动激活控制UI。此外，在本发明中，当通过特定动作触发室内位置识别过程时，室内位置识别仅被短时间地执行，因此对功率损耗敏感的便携式终端或可穿戴设备可有利地执行室内位置识别。此外，本发明使多个终端和单个终端能够执行动作识别，从而准确地确定用户的意图。

同时，多种附加的效果可在本发明以下实施方式的详细说明中隐含地或明确地公开。

附图说明

图1示出根据本发明实施方式的家庭网络系统；

图2示出根据本发明实施方式的家庭网络系统中的主终端100的配置；

图3示出根据本发明实施方式的家庭网络系统中的子终端110的配置；以及

图4示出根据本发明实施方式家庭网络系统的主终端100对设备进行控制的方法。

具体实施方式

下文中，将参照附图对本发明的示例性实施方式进行详细描述。在以下描述中，应注意的是，将仅仅对理解根据本发明实施方式的操作所需要的部分进行描述，而且为了不令本发明的主题模糊将省略其他部分的描述。

本发明的要点是，当用户作出特定动作时执行室内位置识别过程；以及当用户位于要控制的设备的服务范围内时，利用安装在家庭网络系统中的终端中的传感器，通过动作识别来激活终端上的用户界面(UI)。用户的动作可被一个终端识别，以及为提高准确度和便利性，还可通过同步动作识别被多个同步终端识别。

为此，将详细描述根据本发明实施方式用于控制家庭网络系统中的设备的方法和装置。在下文中，参照附图，本发明的实施方式示出识别多个终端之间的同步动作。同时，在由一个终端执行动作识别的过程中，当检测到特定动作时，终端可在没有同步操作的情况下激活室内位置识别模块。

图1示出根据本发明实施方式的家庭网络系统。

参照图1，家庭网络中包括第一设备150、第二设备170和第三设备190，服务器130是管理家庭网络中所包括的所有设备150、170和190以及主终端100的本地服务器。此处，第一设备150、第二设备170和第三设备190可以是家电，诸如电视、洗衣机、计算机以及冰箱；每个设备提供的服务可由处于预限定有效服务范围内的主终端100控制。

主终端100和子终端110中的每一个由从已检测用户动作的传感器输出的传感器数据识别动作。子终端110向主终端100发送包括与所识别的动作有关的动作信息的动作识别事件，以准确地理解用户意图以及识别用户手势。

当主终端100自身识别动作以及从子终端110接收动作识别事件(包括预定有效时间内生成的动作信息)时，主终端100识别出用户企图控制至少一个设备。在本发明的实施方式中，主终端100识别动作，然后将用于请求与有效时间内执行的动作识别有关的动作识别事件的请求消息发送至子终端110。请求消息包括有效时间和主终端100的识别符中的至少一个。当子终端110在有效时间内识别动作时，子终端110将动作识别事件发送至主终端100。当从子终端100接收到动作识别事件时，主终端100识别出用户企图控制至少一个设备。有效时间是指处于主终端100识别动作的时间前后的时间范围中的至少一个中所包括的时间。

此处，由主终端100和子终端110识别动作以对至少一个设备进行控制称为识别同步动作。

当主终端100识别同步动作时，主终端100将用于请求室内位置识别的室内位置识别请求消息发送至服务器130。

在本文中，有效服务范围是指用于控制连接至所控制的家庭网络的设备150、170和190中的每一个的有效服务范围，其根据初始系统设置被预先限定。用于每个设备的预限定有效服务范围可根据用户在主终端100中的设置而改变。

使用Geo-Fencing来识别主终端100和子终端110是否位于特定设备的有效服务范围内。此外，室内位置识别并非始终被主终端110和服务器130检测，而是仅针对在同步动作被识别之后的某一有效时间被激活。

换言之，如以上所述，当主终端100识别同步动作并且将室内位置识别请求消息发送至服务器130时，服务器130命令所连接的设备150、170和190识别室内位置。然后，设备150、170和190各自利用信标消息通过服务器130将包括设备ID和有效服务范围的信息发送至主终端100。

此处，在识别室内位置的过程中，使用能够进行室内位置识别的无线电通信技术，诸如Zigbee、Z-Wave、蓝牙、低能耗蓝牙(BLE)以及超声波通信，来进行设备150、170和190与主终端100之间的通信。此外，为识别预限定同步动作，在子终端110与主终端100之间使用无线电通信技术。

主终端100利用短程通信来计算每个设备与主终端100之间的距离，以及基于通过服务器130从设备150、170和190接收的信息(包括设备ID和有效服务范围)来辨识主终端100是否位于至少一个设备的有效服务范围之内。

此处，供设备150、170和190提供服务的有效服务范围可根据用户的设置而改变。对于设备150、170和190中的每一个，用于提供服务的有效服务范围是预先限定的，以及与有效服务范围有关的信息通过信标消息被发送至主终端100。此处，当对供各个设备150、170和190提供服务的有效服务范围进行修改时，主终端100可执行以下修改过程。

主终端100在用于对设备进行控制的应用的设置菜单中显示每个设备的有效服务范围，并且显示用于修改有效服务范围的UI。例如，当用户通过UI将设备150的已设置为5m的有效服务范围改为3m时，主终端100将有效服务范围修改为3m，并且将已修改的有效服务范围存储在应用的数据库(DB)中。在这种情况下，当设备150通过信标消息将5m的有效服务范围发送至主终端100时，主终端100从设备150接收信标消息。然而，主终端100在检索应用的DB时辨识出有效服务范围被改为3m、删除信标消息内所包括的有效服务信息、并且基于应用的DB中已更新的有效服务范围来识别位置。此处，并非在设备150中直接更新有效服务范围，而是由主终端100将已更新的有效服务范围存储在应用的DB中，因为每个用户可能想要不同的有效服务范围并且由主终端100将已更新的有效服务范围存储在应用的DB中防止另一用户更改有效服务范围。

返回参考图1，作为室内位置识别的结果，当主终端100位于第三设备190的有效服务范围之内时，主终端100激活显示器上用于控制第三设备190的UI。

同时，虽然图1中未示出，但是当主终端100位于两个或更多设备的有效服务范围之内时，主终端100可在激活用于相应设备的控制UI之前，激活供用户选择要控制的设备的另一UI。当用户选择要控制的设备时，主终端100激活用于所选择的设备的控制UI。

图2示出根据本发明实施方式的家庭网络系统中的主终端100的配置。

参照图2，主终端100包括控制器210和显示器250，控制器210包括位置识别模块211、家庭网络模块212、控制UI管理模块213、主终端网络模块214、同步动作识别模块215以及传感器数据处理器216。

传感器数据处理器216利用安装在主终端100中的动作传感器来检测用户动作，以及利用与所检测动作有关的传感器数据来识别动作。传感器数据处理器216将与所识别的动作有关的动作信息发送至同步动作识别模块215。

同步动作识别模块215从传感器数据处理器216接收动作信息，并且通过网络模块214向子终端110发送用于请求与发生在预定有效时间内的动作识别有关的动作识别事件的请求消息。当通过主终端100的网络模块214从子终端110接收到包括有效时间内生成的动作信息的动作识别事件时，同步动作识别模块215将指示同步动作被识别的同步动作识别事件发送至家庭网络模块212。

同步动作识别模块215可辨识从传感器数据处理器216发送的动作信息和从子终端110发送的动作识别事件中所包括的动作信息是否是预限定动作。换言之，主终端100和子终端110通过其各自的传感器数据处理器来识别预限定动作。当从传感器数据处理器216发送的动作信息和从子终端110通过主终端100的网络模块214发送的动作信息在有效时间之内被生成时，主终端100的同步动作识别模块215识别出发生同步动作。

例如，假设在手环式可穿戴设备的情况下当用手拿起蜂窝电话时，用户想要对设备进行控制。此处，手环式可穿戴设备是子终端110，蜂窝电话是主终端100。假设子终端100的预限定动作在用户保持蜂窝电话注视屏幕时所生成的手环预限定三维位置值的范围内，以及针对某一时间段在每个轴上维持预限定阈值大小或更小的动作(定义为“动作A”)。此外，假设主终端100的预限定动作在用户作出拿起蜂窝电话的动作(定义为“动作B1”)以观看屏幕和注视屏幕时所生成的蜂窝电话三轴位置值的范围内，以及针对某一时间段在每个轴上维持预限定阈值大小或更小的动作(定义为“动作B2”)。

基于这些假设，主终端100的传感器数据处理器216和同步动作识别模块215在以下情况中识别同步动作。将发生动作B1时的时间定义为T(mb1)以及将发生动作B2时的时间定义为T(mb2)，当T(mb1)<T(mb2)且T(mb2)-T(mb1)是预限定阈值时间或更小时，主终端100的传感器数据处理器216识别动作。

此外，将检测到动作B时的时间定义为T(mb)以及将检测到子终端110的动作A时的时间定义为T(ma)，主终端100的同步动作识别模块215在T(ma)与T(mb)之间的时间差是预限定阈值时间或更小时(即，当同步动作发生在有效时间内时)识别同步动作，并且将同步动作事件发送至家庭网络模块212。

当从同步动作识别模块215接收同步动作识别事件时，家庭网络模块212将用于激活设备150、170和190的室内位置识别的位置识别请求消息发送至服务器130，并且命令主终端100的位置识别模块211执行室内位置识别。

位置识别模块211通过服务器130从设备150、170和190接收包括设备ID和有效服务范围的信息。位置识别模块211基于所接收的信息、利用主终端100与设备150、170和190之间的无线电信号的强度或往返行程延迟时间(RTT)来计算主终端100与设备150、170和190之间的距离，从而基于所接收的信息辨识主终端100是否位于至少一个设备的有效服务范围内。当确定出主终端100位于至少一个设备的有效服务范围中时，位置识别模块211命令控制UI管理模块213激活设备的控制UI。控制UI管理模块213显示设备的控制UI。

此处，如以上所述，当主终端100位于两个或更多设备的有效服务范围之内时，控制UI管理模块213可在激活用于相应设备的控制UI之前，激活供用户选择要控制的设备的另一UI。当用户选择要控制的设备时，控制UI管理模块213激活用于所选择设备的控制UI。

同时，即使在用户不想对设备进行控制而是作出与同步动作识别条件对应的动作的情况下，当同步动作识别模块215识别同步动作并且位置识别模块211确定出主终端100位于至少一个设备的有效服务范围内时，控制UI模块213也可激活控制UI。照此，当虽然用户不想对设备进行控制但是控制UI被激活时，用户可能在使用终端过程中产生不便。为了使用户的不便最小化，控制UI管理模块213可如以下来操作。

控制UI管理模块213可根据主终端100的屏幕何时被开启和关闭来激活控制UI，在这种情况下，可由用户在设置菜单上创建激活控制UI的模式。

首先，当主终端100的屏幕被关闭时，控制UI管理模块213根据用户的设置激活整个屏幕或屏幕的一部分上的控制UI。在激活整个屏幕上的控制UI的模式中，当主终端100识别同步动作并且被确定位于至少一个设备的有效服务范围中时，控制UI管理模块213自动激活整个屏幕上的设备控制UI。在激活屏幕的一部分上的控制UI的模式中，当主终端100识别同步动作并且被确定位于至少一个设备的有效服务范围之内时，控制UI管理模块213从用户接收针对某一时间段是否激活屏幕的一部分上的设备控制UI的确认(即，输入)，并且在从用户接收到确认时激活整个屏幕上的设备控制UI。

当主终端100的屏幕被开启时，控制UI管理模块213根据用户的设置激活整个屏幕上的控制UI，或者激活主终端100的屏幕上部的通知窗口。在激活整个屏幕上的控制UI的模式中，用与当主终端100的屏幕被关闭时相同的方式，当主终端100识别同步动作并且被确定位于至少一个设备的有效服务范围内时，控制UI管理模块213自动激活整个屏幕上的设备控制UI。在激活主终端100的屏幕上部的通知窗口的模式中，当主终端100识别同步动作并且被确定位于至少一个设备的有效服务范围于之内时，控制UI管理模块213激活主终端100的屏幕上部的通知窗口(例如，通知栏)，并且在从用户接收到激活设备UI的选择时通过所激活的通知窗口来激活控制UI。此处，用户可触摸相应图标或可拖放通知窗口以通过所激活的通知窗口来选择激活设备的UI。

图3示出根据本发明实施方式的家庭网络系统中的子终端110的配置。

参照图3，子终端110包括子终端网络模块311、同步动作识别模块312以及传感器数据处理器313。

传感器数据处理器313利用安装在子终端110中的动作传感器来检测用户动作，并且利用与所检测动作有关的传感器数据来识别动作。同步动作识别模块312从主终端100接收用于请求与发生在有效时间内的动作识别有关的动作识别事件的请求消息，并且辨识传感器数据处理器313是否执行发生在有效时间内的动作识别。当传感器数据处理器313在有效时间内执行动作识别时，同步动作识别模块312通过子终端网络模块311向主终端100发送包括与由传感器数据处理器313识别的动作有关的动作信息的动作识别事件。

图4示出根据本发明实施方式家庭网络系统的主终端100对设备进行控制的方法。在下文中，参照图4对主终端100识别用户的动作和位置并且激活要控制的设备的控制UI的顺序方法进行描述。

参照图4，主终端100利用所安装的动作传感器来检测用户动作，以及利用与所检测动作有关的传感器数据来识别动作(401)。主终端100执行动作识别，以及辨识包括预定有效时间内所生成的动作信息的动作识别事件是否从子终端110被接收(403)。换言之，当主终端100执行动作识别以及从子终端110接收包括预定有效时间内所生成的动作信息的动作识别事件时，主终端100确认同步动作事件发生(403)。

例如，当用户在附件型终端(即，子终端)中作出用手拿起蜂窝电话(即，主终端)的动作并且在电视前方注视屏幕时，主终端确定用户企图对电视进行控制，并且在蜂窝电话上显示电视控制UI。此处，当子终端利用传感器数据识别已定义的动作并且将动作信息发送至主终端时，可在动作信息中指定与动作被检测时的时间和动作类型有关的信息。主终端将基于由主终端获得的传感器数据计算出的动作信息与来自子终端的动作信息作比较以识别同步动作。

当同步动作事件发生时，主终端100将用于请求设备150、170和190的室内位置识别的位置识别请求消息发送至服务器130(405)。

主终端100通过服务器130从设备150、170和190接收包括设备ID和有效服务范围的位置识别响应消息(407)。

基于包括在所接收的位置识别响应消息内的信息，主终端100利用短程通信计算每个设备与主终端100之间的距离(409)，以及辨识主终端100是否位于至少一个设备的有效服务范围之内(411)。

主终端100激活显示器上与所辨识的有效服务范围对应的设备控制UI(413)。此处，主终端100在应用的DB中预先存储用于对设备进行控制的控制UI。

因此，本发明采用室内位置识别，当用户位于要控制的设备的范围之内时，其使得能够自动激活控制UI从而直观地且方便地对设备进行控制。此外，在本发明中，当通过特定动作触发室内位置识别过程时，室内位置识别仅被短时间地执行，因此对功率损耗敏感的便携式终端或可穿戴设备可有利地执行室内位置识别。此外，本发明使多个终端和单个终端能够执行动作识别，从而准确地确定用户的意图。

虽然在本发明的详细说明中已对实施方式进行了描述，但在不脱离本发明的范围的情况下，可对本发明进行多种形式的修改。因此，本发明的范围不应当仅仅基于所描述的示例性实施方式来确定，而是应基于所附权利要求和其等同物来确定。