用户终端装置及其控制方法与流程

示例实施例的各方面涉及用户终端装置及其控制方法，并且例如，涉及用于管理在预定服务空间中的至少一个设备的用户终端装置及其控制方法。

背景技术：

随着电子技术的发展，已经研发和发布了各种类型的设备，并且提供各种通信功能的设备广泛地用于普通家庭中。此外，传统地不提供通信功能的设备现在正提供通信功能、创建物联网(internetofthings，iot)的环境。

iot是物联网的缩写，其指代我们日常生活中的物体经由有线或无线的网络连接以共享信息的环境。另外，用户可以使用通信功能远程控制各种设备。

然而，为了控制或监视特定的iot设备需要某个程序，而根据iot设备或iot制造商，需要各自的程序，这给使用iot设备带来不便。

使用在现有网站中选择设备和连接每个设备支持的资源等的方法来可以生成iot设备之间的宏命令，但在这种情况下，用户应该连接到相应的网页服务并从各种设备当中选择期望的设备，这给用户带来不便。

因此，需要一种通过不仅控制并监视iot设备而且以更直观的方式生成iot设备之间的宏命令来管理iot设备的方法。

技术实现要素：

技术问题

示例实施例的一方面涉及用户终端装置及其控制方法，该用户终端装置基于映射信息识别被包括在拍摄图像中的设备并管理所识别设备，在该映射信息中，在预定服务空间内的至少一个设备和相应的图像被映射。

技术方案

根据示例实施例，提供了用户终端装置，该用户终端装置包括：储存器，被配置为存储映射信息，在该映射信息中，在预定服务空间内的至少一个设备和对应的图像被映射；相机；显示器，被配置为显示相机捕获在预定服务空间内的至少一个设备的拍摄图像；以及处理器，被配置为基于映射信息识别被包括在拍摄图像中的设备，并被配置为响应于接收到与所识别设备有关的用户命令，在拍摄图像上显示基于用户命令的信息。

处理器，响应于接收到与所识别设备的功能的控制有关的用户命令，可以从外部接收关于所识别设备的功能的信息，并在所拍摄图像上显示信息，并运行从显示的关于所识别设备的功能的信息中所选择的功能。

处理器可以在拍摄图像的区域上显示用于生成连续运行多个设备的至少一个功能的宏命令的ui，并且响应于在ui上接收到从关于对应于每个设备的功能的信息中所选择的至少一个功能，可以在ui上生成连续运行多个设备的功能的宏命令。

处理器，响应于感测到被包括在所生成的宏命令中的设备的功能的运行，可以运行被包括在宏命令中的另一设备的功能。

处理器，响应于接收到显示用于生成宏命令的ui的用户命令，可以在预定时间点基于多个设备的操作状态的历史，提供要被包括在宏命令中的关于多个设备的功能的推荐列表。

该装置还可以包括包含通信电路的通信器，该通信器被配置为执行与安装在预定服务空间内的网络装置的通信以控制至少一个设备，并且该处理器可以向网络装置发送在所识别设备上运行所选择的功能的命令。

处理器，响应于接收到监视所识别设备的操作状态的用户命令，可以接收关于所识别设备的操作状态的信息，并且在拍摄图像上显示所识别设备的区域上显示该信息。

处理器，响应于接收到生成关于拍摄图像的快照图像的用户命令，可以在拍摄图像上生成包括与所识别设备对应的互联网协议(internetprotocol，ip)信息和mac地址信息中的至少一个的快照图像。

处理器可以感测被包括在拍摄图像中的设备的类型，并且在预定空间内广播关于与所感测的设备类型对应的设备的响应请求信号，并且响应于从至少一个设备接收到的响应信号，可以显示发送响应信号的设备的列表，并且基于用户命令将映射被包括在拍摄图像中的设备的图像与从显示列表中选择的设备的映射信息存储在储存器中。

处理器，响应于接收到响应信号，可以显示设备列表，在该列表中，基于接收信号的强度和接收到响应信号的时间中的至少一个来连续排列至少一个设备的识别信息。

根据示例实施例，提供了控制用户终端装置的方法，其包括：显示捕获在预定服务空间内的至少一个设备的拍摄图像；基于映射信息识别被包括在拍摄图像中的设备，在该映射信息中，在预定服务空间内的至少一个设备和对应的图像被映射；以及响应于接收到与所识别设备有关的用户命令，在拍摄图像上显示基于用户命令的信息。

在拍摄图像上显示可以进一步包括：响应于与所识别设备的功能的控制有关的用户命令，从外部接收关于所识别设备的功能的信息，并在拍摄图像上显示该信息，并运行从显示的关于所识别设备的功能的信息中所选择的功能。

该方法可以进一步包括：在拍摄图像的区域上显示用于生成连续运行多个设备的至少一个功能的宏命令的ui；并且响应于从ui接收到从关于对应于每个设备的功能的信息中所选择的至少一个功能，生成连续运行从ui接收到的多个设备的功能的宏命令。

该方法可以进一步包括响应于感测到被包括在所生成的宏命令中的设备的功能的运行，运行被包括在宏命令中的另一设备的功能。

该方法可以进一步包括响应于接收到显示用于生成宏命令的ui的用户命令，可以在预定时间点基于多个设备的操作状态的历史，提供要被包括在宏命令中的关于多个设备的功能的推荐列表。

控制可以包括向安装在预定服务空间内的网络装置发送在所识别设备上运行所选择的功能的控制命令，以控制至少一个设备。

在拍摄图像上显示可以包括：响应于接收到监视所识别设备的操作状态的用户命令，接收关于所识别设备的操作状态的信息，并且在拍摄图像上显示所识别设备的区域上显示该信息。

该方法还可以包括，响应于接收到生成关于拍摄图像的快照图像的用户命令，在拍摄图像上生成包括与所识别设备对应的互联网协议(internetprotocol，ip)信息和mac地址信息中的至少一个。

该方法还可以包括：感测被包括在拍摄图像中的设备的类型，并且在预定空间内广播关于与所感测的设备类型对应的设备的响应请求信号，响应于从至少一个设备接收到的响应信号，显示发送响应信号的设备的列表，并将被包括在拍摄图像中的设备的图像与从显示列表中选择的设备进行映射，并存储映射信息。

显示设备列表还包括，响应于接收到响应信号，显示设备列表，在该设备列表中，基于接收信号的强度和接收到响应信号的时间中的至少一个来连续排列至少一个设备的识别信息。

发明的有益效果

根据上述各种示例实施例，用户终端装置基于映射信息识别被包括在拍摄图像中的设备并管理所识别设备，因此用户可以更方便地管理各种设备。

附图说明

从下面结合附图的详细描述，本公开的以上和/或其它方面将变得更清楚，在附图中，相似的参考标号指代相似的元件，并且其中：

图1是示出根据示例实施例的示例设备管理系统的图；

图2a和图2b是示出根据示例实施例的用户终端装置的示例配置的框图；

图3是示出根据示例实施例的存储在储存器中的示例软件结构的图；

图4是示出根据示例实施例的用于接收与设备有关的用户命令的示例ui的图；

图5是示出根据示例实施例的控制设备的功能的示例的图；

图6a至图6d是示出根据示例实施例的使用多个功能生成宏命令的示例的图；

图7是示出根据示例实施例的监视设备的操作状态的示例方法的图；

图8a和图8b是示出根据示例实施例的生成和使用快照图像的示例方法的图；

图9a和图9b是示出根据示例实施例的生成映射信息的示例方法的图；以及

图10是示出根据示例实施例的控制用户终端装置的示例方法的流程图。

具体实施方式

可以不同地修改本公开的示例实施例。因此，特定示例实施例在附图中示出并在详细描述中被更详细地描述。然而，将理解，本公开不限于特定示例实施例，但在不脱离本公开的范围和精神的情况下包括所有修改、等同物以及替代物。并且，因为熟知的功能或结构将以不必要的细节模糊本公开，所以将不对它们进行具体地描述。

下文中，将参考附图更详细地描述各种示例实施例。

图1是示出根据示例实施例的示例设备管理系统10的图。如图1所示，设备管理系统10可以包括用户终端装置100、至少一个设备200、以及网络装置300。

设备管理系统10可以被实施为例如使用单一系统使能双边通信的的能够连接用于房屋中的电气/电子产品的家庭网络系统，但也可以被实施为经由网络连接并控制多个设备的系统。例如，设备管理系统10可以包括经由网络连接并控制公司中的设备的系统。

例如，网络装置300可以被实施为网关装置、网络服务器、外部云服务器等，并且控制设备管理系统10中的至少一个设备200的操作。换句话说，网络装置300可以控制可以与网络装置300通信的装置200的操作。例如，网络装置300可以被实施为家庭服务器、云服务器等。

例如，网络装置300可以基于从用户终端装置100接收到的用户命令来生成控制至少一个设备200的控制命令，并且向设备200发送该控制命令。

另外，网络装置300可以存储与用户命令对应的控制命令以便基于所接收到的用户命令控制至少一个设备200。

例如，如果设备管理系统10被建立为如图1所示，则网络装置300可以存储用以控制由智能tv、家庭影院、灯、机器人清洁器、以及百叶窗提供的各种功能的控制命令，并且向每个设备发送与用户命令对应的控制命令。更具体地，一旦从用户终端装置100接收到改变tv音量的用户命令，网络装置300就可以将预先存储的控制命令当中与改变tv音量的用户命令对应的控制命令发送到tv。

在以上描述中，用户终端装置100使用网络装置300执行与至少一个设备200的通信，但这仅仅是示例。例如，一旦用户终端装置100和至少一个设备200使用网络装置300连接，用户终端装置100和至少一个设备200就可以直接执行通信而无需网络装置300。此外，有可能用户终端装置100和至少一个设备200从一开始直接执行通信。

用户终端装置100可以存储映射信息，在该映射信息中，在预定服务空间内的至少一个设备200和其对应的图像被映射。例如，用户终端装置100可以存储其中tv和其对应的图像被映射的信息。此外，用户终端装置100可以存储tv的模型名称、互联网协议(ip)地址、mac地址、tv的位置和tv的外围图像。然而，这仅仅是示例，并且用户终端装置100可以存储不仅关于tv而且也关于照明装置、冰箱、洗衣机等的映射信息，和具有通信功能的任何设备的映射信息。

用户终端装置100可以拍摄图像并且显示预定服务空间内的至少一个设备200的图像。预定服务空间可以是连接到相同通信网络的空间或由网络装置300生成的空间。

用户终端装置100可以基于映射信息识别被包括在拍摄图像中的设备。例如，如果在拍摄图像中找到tv，则用户终端装置100可以比较映射信息中关于tv的图像与拍摄图像中的tv图像，以从拍摄图像中识别tv。然而，这仅仅是示例，并且用户终端装置100可以不仅使用映射信息中关于tv的图像而且使用tv的外围图像，来从拍摄图像中识别tv。

如果输入了与所识别设备200有关的用户命令，则用户终端装置100可以在拍摄图像上显示基于用户命令的信息。例如，用户终端装置100可以显示与所识别设备200有关的菜单，并且如果从所显示的菜单输入监视所识别设备200的操作状态的用户命令，则用户终端装置100可以请求并显示关于所识别设备200的操作状态的信息。以下将更详细地描述基于用户命令的特定操作。

设备200可以是连接到网络的电子装置。例如，设备200可以是桌上型计算机、笔记本计算机或智能电话。然而，这仅仅是示例，并且设备200可以是具有通信功能的电子装置。

如上所述，用户终端装置100可以识别设备管理系统10中的设备200，并管理所识别设备200。

图2a和图2b是示出根据示例实施例的用户终端装置100的示例配置的框图。

根据图2a，用户终端装置100可以包括储存器110、相机120、显示器130和处理器140。

图2a示出用户终端装置100是具有各种功能(诸如存储功能、拍摄功能、显示功能、控制功能等)的装置，该图以全面的方式示出每个元件。因此，根据示例实施例，可以省略或改变图2a中示出一些元件，或可以添加新元件。

储存器110可以存储信息，在该信息中，预定服务空间内的至少一个设备200和其对应的图像被映射。例如，储存器110可以存储与预定服务空间内的tv对应的图像、与照明装置对应的图像、以及与洗衣机对应的图像。然而，这仅仅是示例。至于具有通信功能的设备，储存器110可以将映射信息连同其对应的图像一起存储。

存储在储存器110中的信息可以是用户设置的映射信息。此外，储存器110可以存储被包括在从另一用户的用户终端装置接收到的拍摄图像中的映射信息，稍后将对其进行详细描述。

除了映射信息之外，储存器110还可以存储关于设备200提供的功能的信息。例如，储存器110可以不仅存储关于tv的映射信息，而且可以存储关于tv提供的通电/断电功能、音量控制功能、频道切换功能等的信息。在控制设备200的功能的情况下，用户终端装置100可以提供功能列表而无需与设备200单独通信。

此外，除了映射信息之外，储存器110还可以存储以下将更详细描述的宏命令等。以下将更详细地提供关于生成和运行宏命令的特征的描述。

相机120是用于拍摄图像的元件。用户终端装置100可以使用相机拍摄在预定服务空间内的至少一个设备200。相机120可以在特定时间点生成由至少一个设备200拍摄的图像，但还可以连续拍摄图像。显示器130可以显示连续拍摄的图像，以下将更详细地对其进行描述。

相机120包括镜头、快门、光圈、固态成像器件、模拟前端(analogfrontend，afe)以及定时发生器(timinggenerator，tg)。快门调整由主题反射的光线进入用户终端装置100的时间，且光圈通过机械地增加或减少光进入的开口尺寸调整入射到镜头的光的量。当主题反射的光累积为光电荷时，固态成像器件通过光电荷将图像输出为电信号。tg输出定时信号以读出固态成像元件的像素数据，并且afe通过采样将从固态成像元件输出的电信号进行数字化。

显示器130可以在处理器140的控制下显示所拍摄的图像。此外，显示器130可以显示指示被包括在拍摄图像中的由设备200所提供的功能的ui、用于控制设备200的菜单等。然而，这仅仅是示例，并且显示器130可以显示用户交互能被输入的ui。

显示器130可以被实施为，例如液晶显示面板(liquidcrystaldisplaypanel，lcd)、有机发光二极管(organiclightemittingdiodes，oled)等，但并不限于此。此外，根据示例实施例，显示器130可以被实施为柔性显示器、透明显示器等。

处理器140可以基于映射信息识别被包括在拍摄图像中的设备200，并且如果输入了与所识别设备200有关的用户命令，则可以在拍摄图像上显示根据用户命令的信息。

此外，如果输入了与控制所识别设备200的功能有关的用户命令，则处理器140可以接收并在拍摄图像上显示关于所识别设备200的功能的信息，并且控制运行从所显示的关于所识别设备200的功能的信息中选择的功能。

处理器140可以在拍摄图像的一个区域上显示用于生成顺序运行多个设备的至少一个功能的宏命令的ui，并且如果在ui上输入了从关于对应于每个设备的功能的信息中选择的至少一个功能，则可以在ui上生成顺序运行多个设备的功能的宏命令。

具体地，如果感测到被包括在所生成的宏命令中的设备200的功能的运行，则处理器140可以运行被包括在宏命令中的另一设备的功能。

此外，如果被包括在所生成的宏命令中的设备200的功能被运行，则处理器140可以控制设备200发送用于通知设备200的功能的运行的信号，并且如果该信号被接收到，则可以感测设备200的功能已经被运行。

用户终端装置100还可以包括通信器(例如，包括通信电路)，该通信器执行与安装在预定服务空间内的网络装置300的通信，以控制至少一个设备200，并且处理器140可以向网络装置300发送在所识别设备200中运行所选择的功能的控制命令。

此外，如果输入监视所识别设备200的操作状态的用户命令，则处理器140可以接收关于所识别设备200的操作状态的信息，并且在拍摄图像上显示所识别设备200的区域上显示该信息。

如果输入生成关于拍摄图像的快照图像的用户命令，则处理器140可以在拍摄图像上生成包括与所识别设备对应的ip信息和mac地址信息的快照图像。

此外，处理器140可以感测被包括在拍摄图像中的设备的类型，在预定空间内广播关于与所感测的设备类型对应的设备200的响应请求信号，如果从至少一个设备200接收到响应信号，则显示发送响应信号的设备的列表，并且基于用户命令将被包括在拍摄图像中的设备的图像与从显示列表中选择的设备进行映射的映射信息存储在储存器110中。

这里，如果接收到响应信号，则处理器140可以显示设备的列表，在该设备列表中，基于接收信号的强度和接收到响应信号的时间中的至少一个来连续排列关于至少一个设备200的识别信息。

图2b是示出根据另一示例实施例的用户终端装置100的更详细的示例配置的框图。根据图2b，用户终端装置100包括储存器110、相机120、显示器130、处理器140、通信器(例如，包括通信电路)150、接口单元(例如，包括接口电路)155、音频处理器160、视频处理器170、扬声器180、按钮181、以及麦克风182。将不提供关于与图2a的那些元件重叠的图2b的元件的描述。

处理器140使用存储在储存器110中的各种程序来控制用户终端装置100的总体操作。

具体地，处理器140包括ram141、rom142、主cpu143、图形处理器144、第一至第n接口145-1～145-n，以及总线146。

ram141、rom142、主cpu143、图形处理器144、第一至第n接口145-1～145-n等可以通过总线146互相连接。

第一至第n接口145-1～145-n连接到上述各种元件。接口中的一个可以是经由网络连接到外部装置的网络接口。

主cpu143使用存储在储存器110中的操作系统(operatingsystem，o/s)访问储存器110并执行启动。此外，主cpu143使用存储在储存器110中的各种程序等执行各种操作。

rom142存储用于系统启动的命令的集合。如果输入开启命令并因此供应电力，则主cpu143将存储在储存器110中的o/s复制到ram141，并根据存储在rom142中的命令运行o/s，从而启动系统。如果完成了启动，则主cpu143将存储在储存器110中的各种应用程序复制到ram141，并运行复制到ram141的应用程序，从而执行各种操作。

图形处理器144使用运算器(未示出)和渲染器(未示出)生成包括各种对象(诸如图标、图像、文本等)的屏幕。运算器(未示出)基于接收到的控制命令，根据屏幕的布局操作每个对象按照其显示的属性值(诸如坐标值、形状、尺寸和颜色)。渲染器(未示出)基于运算器所计算的属性值生成包括对象的各种布局的屏幕。由渲染器(未示出)生成的屏幕在显示器130的显示区域显示。

同时，上述处理器140的操作可以通过存储在储存器110中的程序来执行。

储存器110存储各种数据，诸如驱动用户终端装置100的o/s软件模块、其中至少一个设备200与其对应的图像被映射的映射信息、至少一个设备200的特定信息等。

在这种情况下，处理器140可以基于存储在储存器110中的信息处理并显示输入图像。

相机120是在用户的控制下拍摄静止图像和运动图像的元件。相机120可以包括多个相机，诸如前置相机和后置相机。

通信器150可以基于使用各种通信电路的各种类型的通信方法来执行与外部装置的通信。

通信器150包括各种通信电路，该通信电路包括但不限于，例如，wifi芯片151、蓝牙芯片152、无线通信芯片153等。wifi芯片151和蓝牙芯片152分别使用wifi方法和蓝牙方法执行通信。无线通信芯片153是指根据各种通信标准执行通信的芯片，所述通信标准诸如ieee、zigbee、第三代(3rdgeneration，3g)、第三代合作伙伴(3rdgenerationpartnershipproject，3gpp),长期演进(longtermevolution，lte)等。

接口单元155经由接口电路接收各种用户交互。如果用户终端装置100被实施为提供触摸功能的电子装置，则用户接口单元155可以例如以触摸屏的形式实现，该触摸屏具有相对于触摸板的夹层结构。在这种情况下，用户接口155可以用作上述显示器130。

音频处理器160是处理音频数据的元件。音频处理器160可以执行针对音频数据的各种处理，诸如解码、放大、噪声滤波等。

视频处理器170是处理视频数据的元件。视频处理器170可以执行针对音频数据的各种图像处理，诸如解码、缩放、噪声滤波、帧率转换、分辨率转换等。

扬声器180是不仅输出经音频处理器160处理过的各种音频数据而且输出各种告警声音、语音消息等的元件。

按钮181可以被实现为诸如机械按钮、触摸板、滑轮等各种类型的按钮，其可以在某一区域(诸如，主体的外表的前面、侧面、或后面)形成。麦克风182是接收用户声音或其它声音并将其转换成音频数据的元件。

图3是示出根据示例实施例的存储在储存器110中的示例软件结构的图。

根据图3，储存器110可以存储包括基本模块111、感测模块112、通信模块113、演示模块114、网络浏览器模块115、以及服务模块116的软件。

基础模块111是指处理从被包括在用户终端装置100中的每个硬件发送的信号并且将经处理的信号发送到上层模块的基础模块。基础模块111可以包括管理数据库(database，db)或注册表的储存器模块111-1，支持硬件的认证、许可、安全存储的安全模块111-2，支持网络连接的网络模块111-3等。

感测模块是收集来自各种传感器的信息并分析和管理所收集的信息的模块，并且可包括面部识别模块、语音识别模块、运动识别模块等。

通信模块113是用于执行与至少一个设备200或网络装置300的通信的模块。

演示模块114是组成显示屏的模块，并且可以包括多媒体模块114-1和ui渲染模块114-2。多媒体模块114-1可以包括播放器模块、摄像录像机模块、声音处理模块等。ui渲染模块114-2可以包括：合成各种对象的图像合成器模块、合成并在屏幕上生成坐标以显示图像的坐标合成器模块、从硬件接收各种事件的x11模块、提供用于配置2d或3d类型的ui的工具的2d/3dui工具箱等。

网络浏览器模块115是指执行网络浏览和访问网络服务器的模块。

服务模块116是包括提供各种服务的各种应用的模块。具体地，服务模块116可以包括各种程序模块，诸如除了根据示例实施例的ui提供程序之外的内容播放程序、通知管理程序、其它小部件等。例如，服务模块116可以包括提供用于管理根据示例实施例的至少一个设备200的ui的服务程序。

图3示出各种程序模块，但可以省略和改变所示出的程序模块中的一些，或可以根据用户终端装置100的类型和特性添加其它模块。例如还可以包括支持与硬件相关联的基于位置的服务的基于位置的模块，诸如gps芯片。

下文中将描述基本配置和各种实施例以便更好的理解。

图4是示出根据示例实施例的用于接收与设备200有关的用户命令的示例ui的图。

参考图4，处理器140可以显示相机120在预定服务空间内拍摄的至少一个设备200。此外，处理器140可以在拍摄图像上重叠用于接收与所识别设备200有关的用户命令的ui，并在拍摄图像上提供该ui。例如，处理器140可以提供用于接收关于控制、监视、生成宏命令、以及生成快照图像的用户命令的ui。

同时，处理器140可以在从拍摄图像识别至少一个设备200时显示ui。然而，这仅仅是示例，并且处理器140可以首先显示ui，然后当存在用户输入时，可以从拍摄图像识别至少一个设备200。

同时，拍摄图像可以是用户终端装置100实时拍摄的预览图像。例如，当用户终端装置100移动时，拍摄图像可以改变。然而，这仅仅是示例，并且拍摄图像可以是静止图像。例如，拍摄图像可以是某个时点的静止图像。可替换地，拍摄图像可以是由另一用户终端装置拍摄然后被接收并被存储的拍摄图像。拍摄图像可以是在显示预览图像的同时在设备被识别的时刻所存储的图像。下文中，将在拍摄图像包括所有上述概念的假设的基础上提供描述。

同时，图4未示出网络装置300。然而，处理器140可以通过网络装置300执行与至少一个设备200的通信，并且可以直接执行与至少一个设备200的通信。网络装置300可以是家庭内的网关、服务器、外部云服务器等，但并不限于此。网络装置300可以是可以中继针对至少一个设备的通信的任何设备。在下文中，除非另有描述，否则假定用户终端装置100和设备之间的直接通信以及通过网络装置300的间接通信是可能的。

图5是示出根据示例实施例的，控制设备200的功能的示例的图。

参考图5，处理器140可以基于其中预定服务空间内的至少一个设备200与其对应的图像被映射的映射信息，识别被包括在拍摄图像中的设备200，并且如果输入关于所识别设备200的用户命令，则可以在拍摄图像上显示根据用户命令的信息。

具体地，如果输入关于所识别设备200的功能的控制的用户命令，则处理器140可以从外部接收关于所识别设备200的功能的信息，并且在拍摄图像上显示该信息。例如，如果输入关于tv的功能的控制的用户命令，则处理器140可以接收并显示tv的开启/关闭功能、静音功能、频道切换功能、音量控制功能等。然而，这仅仅是示例，并且用户终端装置200可以存储关于设备200的功能的信息，并且处理器140可能不会从设备200接收关于功能的信息而显示关于所识别设备200的功能的预先存储的信息。

同时，处理器140可以基于当前识别设备220的状态，从关于所识别设备200的功能的信息当中仅显示关于可控功能的信息。例如，如果tv当前是关闭的，处理器140可以感测tv的操作状态，则可以仅显示开启功能而可能不会显示关闭功能。

同时，用户终端装置100还可以包括通信器150，该通信器150被配置为执行与安装在预定服务空间内的网络装置300的通信以控制至少一个设备200，并且处理器140可以向网络装置300发送在所识别设备200中运行所选择的功能的控制命令。

这里，处理器140可以通过网络装置300向所识别设备200发送与用户命令相对应的信号，并且接收该信号的响应信号。然而，这仅仅是示例，并且处理器140可以直接执行与所识别设备200的通信。

图5是在ui中选择控制的视图，并且处理器可以接收并显示关于tv的功能的信息510和关于电灯的功能的信息520。然而，这仅仅是示例，并且如果用户直接触摸tv并请求关于tv的功能的信息，则处理器140可以仅显示关于tv的功能的信息510。

处理器140可以控制运行从显示的关于所识别设备200中的功能的信息当中所选择的功能。例如，如果用户选择开启电灯的功能，则处理器140可以控制开启电灯。如上所述，网络装置300或服务器可以从处理器140接收控制信号，但处理器140也可以直接执行与电灯的通信以控制电灯。

图6a至图6d是示出根据示例实施例的使用多个功能生成宏命令的示例的图。

参考图6a，处理器140可以在拍摄图像的一个区域上显示生成宏命令的ui610，该宏命令顺序运行多个设备的至少一个功能。处理器140可以显示包括触发区域和动作区域的ui610。然而，这仅仅是示例，并且处理器140可以显示没有分离区域的ui610。

如果在ui上输入从关于与每个设备相对应的功能的信息中选择的至少一个功能，则可以生成顺序运行在ui上输入的多个设备的功能的宏命令。例如，如果用户针对触发区域拖放感测tv的开启操作，针对动作区域拖放电灯的关闭功能，并且触摸规则生成按钮，则处理器140可以生成当感测到tv开启时关闭电灯的规则。然而，这仅仅是示例，并且处理器140可以聚焦触摸区域和动作区域中的一个，并且控制将用户触摸的功能添加到聚焦区域。

处理器140可以区分并显示针对每个设备200的添加到触发区域和动作区域的功能。例如，处理器140可以将对开启tv的感测显示为要添加到触发区域的功能621，并将开启tv的功能显示为要添加到动作区域的功能622。然而，这仅仅是示例，并且如图4所示，处理器140可以在没有区分关于设备200的功能的信息的情况下该信息。

同时，如果在没有区分区域的情况下显示ui610，则处理器140可以顺序显示所选择的功能，并且生成顺序运行该功能的宏命令。

处理器140可以通过将多个功能添加到触发区域和动作区域中的至少一个来生成宏命令。例如，如果tv被开启且频道被更换，则处理器140可以生成关闭电灯的宏命令。此外，如果tv被关闭，则处理器140可以生成关闭电灯并停止洗衣机的操作的宏命令。

同时，处理器140可以生成针对单个设备而不是多个设备的宏命令。例如，如果tv被开启，则处理器140可以生成将tv的音量设置为特定值的宏命令。

如果感测到被包括在所生成的宏命令中的设备200的功能被运行，则处理器140可以控制运行被包括在宏命令中的另一设备的功能。例如，处理器140可以控制当tv被关闭时关闭电灯。然而，这仅仅是示例，并且处理器可以向对应的设备200发送所生成的宏命令以直接执行操作。例如，处理器140可以向tv发送所生成的宏命令，并且控制每当tv被关闭时就关闭电灯。

如果被包括在所生成的宏命令中的设备200的功能被运行，则处理器140可以控制设备200发送用于通知设备200的功能已经被运行的信号，并且如果该信号被接收到，则可以感测设备200的功能已经被运行。例如，如果生成了当tv被开启时就关闭电灯的宏命令，则处理器140可以控制每当开启tv时就发送用于通知tv已开启的信号。

参考图6b，处理器140可以在拍摄图像的一个区域上显示生成宏命令的ui640，该宏命令同时运行多个设备的至少一个功能。处理器140可以显示关于所识别设备的功能的信息650、660，并将从关于该功能的功能650、660中所选择功能添加到ui640。

如果存在所有运行按钮的用户的输入，则处理器140可以控制对应的设备200同时地运行被包括在ui640中的功能。例如，处理器140可以生成同时地控制tv的开启功能、tv音量控制功能、和电灯的关闭功能的宏命令，并且可以根据所有运行按钮的输入控制tv和电灯。

参考图6c，处理器140可以在拍摄图像的一个区域上显示关于宏命令的推荐列表的ui670。处理器140可以生成并提供通常能被用户使用的宏命令。例如，处理器140可以提供当tv被开启时关闭电灯的宏命令以增加对tv观看的注意力、提供在电话交谈期间静音tv的宏命令以减小噪声等。

这种推荐宏命令可在制造用户终端装置100时添加，但并不限于此。例如，可以基于多个用户的使用模式生成新的推荐宏命令。

如果输入从推荐列表中的宏命令中生成宏命令的按钮时，可以生成并应用对应的宏命令。

在以上描述中，仅描述了宏命令的生成，但是处理器140可以显示当前生成的宏命令的列表并提供用于检测它们的ui。

参考图6d，如果输入显示生成宏命令的ui680的用户命令，则处理器140可以在预定时间基于多个设备的操作状态的历史提供关于要被包括在宏命令中的多个设备的功能的推荐列表。例如，在预定时间，当tv开启时，处理器140可以根据用户命令感测多个设备的当前操作状态，并且存储开启电灯的历史。在此状态下，如果当前tv被开启且电灯被关闭，则处理器140可以在预定时间消逝以后，确定开启tv并关闭电灯的功能已经运行，并在推荐列表中提供这样的功能。

处理器140可以在预定时间请求关于多个设备的操作状态的信息，并存储接收到的关于操作状态的信息。例如，处理器140可以在用户不使用用户终端装置100的时候接收并存储关于多个设备的操作状态的信息。然而，这仅仅是示例，并且处理器140可以每隔一小时接收并存储关于多个设备的操作状态的信息。

如果输入显示生成宏命令的ui680的用户命令，则处理器140可以请求关于多个设备的操作状态的信息，并且在预定时间将接收到的关于操作状态的信息与关于多个设备的操作状态的信息进行比较。然而，这仅仅是示例，处理器140可以在用户使用用户终端装置100的时候请求关于多个设备的操作状态的信息，并且在预定时间将接收到的关于操作状态的信息与关于多个设备的操作状态的信息进行比较。此外，处理器140可以每隔一小时请求关于多个设备的操作状态的信息，并且将接收到的关于操作状态的信息与一小时以前关于多个设备的操作状态的信息进行比较。

处理器140可以比较具有时间差的关于操作状态的多条信息，确定操作状态信息的改变历史，并向用户提供该信息。然而，这仅仅是示例，并且处理器140可以仅当相同改变的历史已经累计了多次时才向用户提供这样的信息。此外，如果相同改变的历史已经累计了多次，则处理器140可以不向用户提供这样的信息，并可以立即生成宏命令。

图7是示出根据示例实施例的，监视设备200的操作状态的示例方法的图。

参考图7，如果输入监视所识别设备200的操作状态的用户命令，则处理器140可以接收关于所识别设备200的操作状态的信息，并且在拍摄图像上的显示所识别设备的区域显示该信息。例如，处理器140可以接收关于tv的操作状态的信息710，并且在拍摄图像上显示tv的区域上显示该信息。另外，处理器140可以接收关于灯的操作状态的信息720，并且在拍摄图像上显示灯的区域上显示该信息。

关于tv的操作状态的信息可以包括功率、频道、音量等当前状态，但并不限于此。例如，关于tv的操作状态的信息可以包括关于当前显示的频道的广播公司的信息、关于连接到tv的外部装置的信息等。

图8a和图8b是示出根据示例实施例的，生成和使用快照图像的示例方法的图。

参考图8a，如果输入生成关于拍摄图像的快照图像的用户命令，则处理器140可以在拍摄图像上生成包括与所识别设备对应的ip信息和mac地址信息中的至少一个的快照图像。例如，如果用户触摸快照按钮810，则处理器140可以生成包括关于被包括在拍摄图像中的tv和电灯的信息的快照图像，并且关于tv和电灯的信息可以被存储为快照图像的标签信息。稍后将描述将设备信息存储在快照图像中的方法。

处理器140可以向另一用户终端装置发送当用户触摸分享按钮820时所生成的快照图像，或接收在另一用户终端装置中生成的快照图像。处理器140可以使用接收到的快照图像控制被包括在快照图像中的设备200。例如，处理器140可以从朋友接收关于朋友的房屋的快照图像，并且控制朋友的房屋的tv。在这种情况下，处理器140可以使用被包括在快照图像中的设备信息当中的ip信息和mac地址信息中的至少一个来控制tv。

如果用户终端装置100与被包括在快照图像中的设备200在相同的网络上，则处理器140可以使用服务器等控制设备200的操作状态。然而，如果用户终端装置100与被包括在快照图像中的设备200在相同的网络上，则处理器140可以直接控制设备200的操作状态。可替换地，处理器140可以经由蓝牙连接到被包括在快照图像中的设备200并且控制设备200。如果处理器140经由蓝牙连接到设备200，则可以使用被包括在快照图像中的设备信息当中的mac地址信息。处理器140可以显示包括生成的或接收到的快照图像的ui。处理器140可以使用快照图像控制位于不同地方的设备200。

同时，处理器140可以使用接收到的快照图像来控制设备200、监视、生成宏命令等的上述功能。此外，处理器140可以使用多个图像生成宏命令。例如，当朋友的房屋中的计算机被开启时，处理器140可以生成开启位于用户房屋中的笔记本计算机的宏命令。

图8b示出以jpeg格式生成的快照图像的结构830和使用编辑器实际打开快照图像时的二进制信息840。处理器140可以向元数据添加设备信息并以jpeg格式生成快照图像。处理器140可以使用appn段850包括快照图像中的除了图像的基本信息所需的各种元信息之外的期望数据。

每个appn段850可以包括标记编号860、数据大小870、数据880。标记编号860指示appn段850的起始位置。标记编号860后面的数据大小870指示数据的大小。数据大小870后面的数据880存储实际需要的数据。

数据880可以存储多达524362字节，其大到足以包括与拍摄图像中的所识别设备相对应的ip信息和mac地址信息中的至少一个。处理器140可以在数据880中存储设备的通信协议、设备名称、制造商、设备提供的功能等。此外，处理器可以包括并存储关于快照图像中的设备图像的位置信息(x、y、宽度、高度)等。

在以上描述中，仅说明了jpeg格式的快照图像，但这仅仅是示例。以可以添加设备信息的格式的任何图像可以被使用。

处理器140可以使用元数据在一个文件中生成设备信息和图像信息，但还可以在多个文件中生成设备信息和图像信息。例如，处理器140可以生成已被用作快照图像的现有的图像信息，并且将关于设备的信息生成为xml格式的文件，使得可以在仅当存在两个文件时才能控制该设备。

图9a和图9b是示出根据示例实施例的生成映射信息的示例方法的图。

参考图9，处理器140可以感测被包括在拍摄图像中的设备的类型，并且在预定空间内广播关于与感测到的设备类型相对应的设备200的响应请求信号。例如，如果在拍摄图像中感测到tv的形状，则处理器140可以在预定空间内广播与设备200当中的tv相对应的设备200的响应请求信号。接收响应请求信号的设备200可以确定设备本身是否是tv，并且如果确定该设备是tv，则可以发送响应信号，并且如果该设备不是tv，则可以不执行操作。如上所述，设备200可以向网络装置300发送响应信号，并且还可以直接向用户终端装置100发送响应信号。

如果从至少一个设备200接收到响应信号，则处理器140可以显示发送响应信号的设备的列表910。例如，处理器140可以从客厅里的tv、主房间里的tv、和小房间里的tv接收响应信号，并显示对应的设备列表910。然而，这仅仅是示例，并且设备140可以显示发送响应信号的设备的型号名称，该型号名称可以是当客厅里的tv、主房间里的tv和小房间里的tv中的每一个连接到网络装置300时由用户设置的名称。

处理器140可以基于用户命令将映射信息存储在储存器110中，在该映射信息中，将被包括在拍摄图像中的设备200的图像与所选择的设备200进行映射。例如，处理器140可以根据用户命令生成映射信息，以将拍摄图像上的tv图像与客厅里的tv进行映射。

此外，处理器140可以不仅映射拍摄图像上的tv图像，而且可以映射tv的外围图像。随后，即使在从不同视角拍摄的图像中，处理器140也可以使用tv图像和tv的外围图像，根据映射信息识别客厅里的tv。

参考图9b，如果接收到响应信号，则处理器140可以显示设备列表920、930，在设备列表920、930中，基于接收信号的强度和接收到响应信号的时间中的至少一个来顺序排列至少一个设备200的识别信息。例如，如果接收信号强或接收到响应信号的时间短，则处理器140可以确定与用户终端装置100相对应的设备200位于相邻区域中，并且可以确定设备200很可能被包括在拍摄图像中。因此，处理器140可以将对应的设备200的型号名称等布置在上部(upper)区域中，并且显示设备列表使得用户可以容易地选择该设备。

图10是示出根据示例实施例的控制用户终端装置的示例方法的流程图。

显示其中拍摄了预定服务空间内的至少一个设备的图像(s1010)。基于其中预定服务空间内的至少一个设备被映射到其对应图像的映射信息，识别被包括在拍摄图像中的设备(s1020)。如果输入与所识别设备有关的用户命令，则在拍摄图像上显示根据用户命令的信息(s1030)。

在拍摄图像上显示信息的步骤(s1030)可以进一步包括：如果输入与所识别设备的功能的控制有关的用户命令，则从外部接收关于所识别设备的功能的信息，并在拍摄图像上显示该信息，并控制运行从所显示的关于所识别设备的功能的信息当中选择的功能。

此外，在拍摄图像的一个区域中显示生成运行多个设备的至少一个功能的宏命令的ui，并且如果在ui上输入了从关于与每个设备相对应的功能的信息中选择的至少一个功能，则生成顺序运行在ui上输入的多个设备的功能的宏命令的步骤可以进一步被包括。

如果感测到被包括在所生成的宏命令中的设备的功能的运行，则可以进一步包括运行被包括在宏命令中的另一设备的功能的步骤。

如果输入显示生成宏命令的ui的用户命令，则可以进一步包括在预定时间基于多个设备的操作状态的历史，提供关于要被包括在宏命令中的多个设备的功能的推荐列表的步骤。

此外，控制的步骤可以包括向安装在预定服务空间内的网络装置发送在所识别设备中运行所选择的功能的控制命令，以控制至少一个设备。

在拍摄图像上显示信息的步骤(s1030)可以包括：如果输入监视所识别设备的操作状态的用户命令，则接收关于所识别设备的操作状态的信息，并且在拍摄图像上显示所识别设备的区域中显示该信息。

如果输入生成关于拍摄图像的快照图像的用户命令，则可以在拍摄图像上生成包括与所识别设备对应的ip信息和mac地址信息中的至少一个的快照图像。

还可以包括感测被包括在拍摄图像中的设备的类型，在预定空间内广播关于与所感测的设备类型对应的设备的响应请求信号，如果从至少一个设备接收到响应信号，则显示发送响应信号的设备的列表，并且存储映射信息，在该映射信息中，被包括在拍摄图像中的设备的图像与从设备列表当中选择的设备进行映射的步骤。

此外，显示设备列表的步骤可以包括：如果接收到响应信号，则显示设备列表，在该列表中，基于接收到的响应信号的强度和接收到响应信号的时间中的至少一个来顺序排列至少一个设备的识别信息。

根据上述各种示例实施例，用户终端装置可以基于映射信息识别被包括在拍摄图像中的设备，并因此管理所识别设备。这样，用户可以更方便地管理各种设备。

根据上述各种示例实施例，用户终端装置可以基于关于用户交互和去激活(inactivate)不必要的应用的使用历史数据来确定是否去激活应用，从而提高资源和电池的效率。这样可以加强用户便利。

同时，根据上述各种示例实施例的方法可以被编程并存储在各种存储介质中。因此，根据上述各种示例实施例的方法能够在运行存储介质的各种类型的电子装置中实施。

例如，根据示例实施例，可以提供存储程序的非瞬时性计算机可读介质，所述程序顺序执行以下步骤：显示拍摄在预定服务空间内的至少一个设备的图像；基于其中在预定服务空间内的至少一个设备与其对应图像进行映射的映射信息识别被包括在拍摄图像中的设备；并且如果输入了与所识别设备有关的用户命令时，在拍摄图像上显示根据用户命令的信息。

非瞬时性可记录介质是指可以半永久地存储数据并且可以由装置读取的介质。例如，上述各种应用和程序可以被存储并提供在诸如cd、dvd、硬盘、蓝光盘、usb、存储卡、rom等的非瞬时性可记录介质中。

前述示例实施例和优点仅仅是示例，并且不会被解释为限制本公开。本教导可以容易地被应用到其它类型的装置。而且，对本公开的示例实施例的描述旨在是说明性的，而不是限制权利要求的范围，并且对于本领域的技术人员来说，许多替换、修改和变化将是显而易见的。