用于控制外部设备的显示装置、系统和方法与流程

相关申请的交叉引用

本申请要求于2016年4月1日在韩国知识产权局提交的第10-2016-0040408号韩国专利申请的优先权，该申请的公开内容通过引用以其整体并入本文。

根据示例性实施方式的设备和方法涉及用于控制外部设备的显示装置、系统及其控制方法。

背景技术：

由于电子技术的发展，各种类型的电子产品已被开发出并得到普及。例如，多种显示装置(诸如，电视机(tv)、移动电话、个人计算机(pc)、智能电话、平板电脑和个人数字助理(pda))已在大多数普通家庭中广泛使用。

随着显示装置的使用增加，用户对更多种功能的需求也增加。具体地，由于可以在多种电子设备之间传送和接收信息，因此越来越需要通过一个电子设备来控制其它电子设备。

例如，用户可以通过智能电话或可穿戴电子设备来控制外部电子设备，诸如空调、电视机、音频扬声器和其它电子设备。

然而，当前使用的用户界面的缺点在于其缺乏允许用户容易地辨识的直观性。此外，当前使用的用户界面的缺点在于，由于它提供统一的集成控制窗口，它不反映环境的变化。例如，当外部电子设备的位置改变时，或者当外部电子设备被移除时，用户必须直接设置外部电子设备的位置或删除外部电子设备项目，这导致不便。

技术实现要素：

示例性实施方式的一方面涉及配置成通过至少一个外部设备的图像来控制外部设备的显示装置、系统及其控制方法。

根据示例性实施方式的一方面，提供了配置成控制附着有识别标记的至少一个外部设备的显示装置，该显示装置包括显示器、图像拾取单元或成像传感器、通信器或通信电路以及处理器，其中：图像拾取单元或成像传感器配置成获取与至少一个外部设备有关的图像；通信器或通信电路配置成与服务器和外部设备中的至少之一进行通信；处理器配置成传送从图像中包括的识别标记获取的识别信息，以及响应于从服务器或至少一个外部设备接收的用于控制外部设备的控制信息，基于所接收的控制信息来控制显示器以将用于控制外部设备的对象与外部设备图像进行匹配并显示该对象。

控制信息可以包括以下中的至少之一：外部设备的当前状态、外部设备的控制参数、外部设备的名称、用于控制至少一个外部设备的软件以及与用于控制外部设备的对象有关的信息。

至少一个外部设备的控制参数可以包括以下中的至少之一：控制功能的类型、每种类型的控制范围和每种类型的控制精度。

对象可以包括以下中的至少之一：用于控制外部设备的开关图像、用于控制外部设备的按钮图像以及用于控制外部设备的远程控制图像。

装置还可以包括配置成接收用户输入的输入单元，以及其中处理器响应于所接收的与对象有关的用户输入，可以基于外部设备的控制参数生成与用户输入对应的控制命令并将所生成的控制命令传送到外部设备。

对象可以是能够操作为响应用户输入的图像，以及处理器可以生成与对象的操作状态对应的控制命令，并将所生成的控制命令传送到外部设备。

处理器可以生成用户界面屏幕并使用户界面屏幕显示以用于控制和管理与所生成的对象匹配的外部设备。

根据另一示例性实施方式的一方面，提供了包括有服务器和显示装置的系统，该系统包括：显示装置，配置成获取多个外部设备的图像，其中多个外部设备中的每个相应的外部设备附着有识别标记，以及显示装置配置成传送从图像中包括的多个识别标记获取的识别信息；以及服务器，配置成接收识别信息，并且作为响应，向显示装置传送用于控制多个外部设备中与所接收的多个识别信息的每个相应外部设备对应的每个外部设备的控制信息，以及显示装置基于所接收的控制信息，将用于控制多个外部设备中的每个外部设备的多个对象与多个外部设备图像中的相应外部设备图像进行匹配并显示该多个对象。

根据另一示例性实施方式的一方面，提供了用于控制附着有识别标记的至少一个外部设备的显示装置的控制方法，该方法包括：获取至少一个外部设备的图像；将从图像中包括的识别标记获取的识别信息传送到服务器；从服务器接收用于控制外部设备的控制信息；以及基于从服务器接收的控制信息，将用于控制外部设备的对象与外部设备图像进行匹配并显示该对象。

控制信息可以包括以下中的至少之一：外部设备的当前状态、外部设备的控制参数、外部设备的名称、用于控制外部设备的软件以及与用于控制外部设备的对象有关的信息。

外部设备的控制参数可以包括以下中的至少之一：控制功能的类型、每种类型的控制范围和每种类型的控制精度。

对象可以包括以下中的至少之一：用于控制外部设备的开关图像、用于控制外部设备的按钮图像以及用于控制外部设备的远程控制图像。

该方法还可以包括：接收针对对象的用户输入；基于与对象对应的外部设备的控制参数生成与用户输入对应的控制命令；以及将所生成的控制命令传送到外部设备。

对象可以是能够操作为响应用户输入的图像，以及将所生成的控制命令传送到外部设备可以包括：生成与对象的操作状态对应的控制命令以及将所生成的控制命令传送到外部设备。

显示可以包括，生成并显示用户界面屏幕，其中用户界面屏幕用于控制和管理与对象匹配的外部设备。

根据另一示例性实施方式的一方面，提供了包括有服务器和显示装置的系统的控制方法，该方法包括：通过显示装置分别获取附着有识别标记的多个外部设备的图像；通过服务器将用于控制多个外部设备中与所接收的多个识别信息中的每个信息对应的每个外部设备的控制信息传送到显示装置；以及基于所接收的控制信息，通过显示装置将用于控制多个外部设备中每个外部设备的多个对象与多个外部设备图像中的每个外部设备图像进行匹配并显示该多个对象。

根据上述多种示例性实施方式，用户可以直接观看图像并控制外部设备，从而提供良好的直观性并增强用户的便利性。

附图说明

参照附图，示例性实施方式的上述和/或其它方面将更加明显，在附图中：

图1是示出根据示例性实施方式的显示装置的配置的框图；

图2和图3是用于示出根据示例性实施方式的与外部设备有关的图像的视图；

图4是用于示出根据示例性实施方式的在显示装置与服务器之间传送和接收信息的过程的时序视图；

图5是示出根据示例性实施方式的对象与多个外部设备图像中的每个外部设备图像匹配的视图；

图6是示出根据另一示例性实施方式的显示装置100的配置的视图；

图7是用于示出根据示例性实施方式的与对象有关的操作的视图；

图8是用于示出根据示例性实施方式的显示装置实施为tv的情况的视图；

图9是示出根据示例性实施方式的显示装置的具体配置的框图；

图10是根据示例性实施方式的存储在存储设备中的软件模块的视图；

图11是示出根据示例性实施方式的系统的配置的框图；

图12是用于示出根据示例性实施方式的显示装置的控制方法的流程图；

图13是用于示出根据示例性实施方式的显示装置的具体控制方法的流程图；以及

图14是用于示出根据示例性实施方式的系统的控制方法的流程图。

具体实施方式

在下文中，将参照附图更详细地描述示例性实施方式。

图1是示出根据示例性实施方式的显示装置100的配置的框图。

参考图1，显示装置100包括显示器110、图像拾取单元120(例如，成像传感器)、通信器130(例如，通信电路)以及处理器140。此处，显示装置是用于控制附着有识别标记的至少一个外部设备的电子装置，以及可以实施为多种电子装置，诸如tv、电子黑板、电子台桌、大屏显示器(lfd)、智能电话、平板pc、台式pc、笔记本pc、机顶盒、智能手表、可穿戴设备或具有显示器的其它类型的电子设备。

此外，显示器110可以显示广播节目或多种内容，以及可以实施为液晶显示器(lcd)、有机发光显示器(oled)、等离子体显示面板(pdp)或其它类型的显示器。此外，根据示例性实施方式的显示器110可以显示与用于控制至少一个外部设备的对象匹配的图像，或显示用户界面屏幕。

图像拾取单元120可以获取与至少一个外部设备有关的图像，以及可以实施为相机、透镜、红外线传感器或其它类型的成像装置。

通信器130可以与服务器和外部设备中的至少之一进行通信，以及可以使用各种通信方法(诸如蓝牙(bt)、无线保真(wi-fi)、zigbee、3g、lte、红外(ir)、串行接口、通用串行总线(usb)、以太网、近场通信(nfc)等)与接入点(ap)进行通信。

具体地，根据示例性实施方式的外部设备和显示装置可以连接到ap。此处，术语“ap”是指用作无线lan中的基站的小输出无线设备，其充当有线通信硬件与无线通信硬件之间的桥接器。从有线网络的角度来看，ap可以以路由器或交换机实现，因此，ap可以将有线网络扩展到无线网络。例如，ap可以实现为连接到调制解调器、无线网卡等的ip共享器。也就是说，当通信器130与ap进行通信时，通信器130还可以通过ap与连接到ap的其它外部设备或服务器进行通信。当然，通信器130可以通过wifi直连或其它通信方法直接与其它外部设备或服务器通信。

处理器140可以将从包括在图像中的识别标记获取的识别信息传送到服务器，以及当从服务器一旦接收到用于控制外部设备的控制信息时，基于控制信息来控制显示器110以将用于控制外部设备的对象与外部设备图像进行匹配并显示该对象。另外或可替代地，可以从外部设备接收控制信息。

此处，外部设备可以通过短距离通信或无线通信连接到显示装置100，以及被定义为可控对象。每个外部设备设置有识别标记，以用于允许当通过设置在显示装置100中的图像拾取单元120拍摄外部设备时识别外部设备。这种识别标记可以以这样的形式来实现，该形式包括用于使每个外部设备能够被识别的信息，该形式诸如是条形码形式、qr码形式或序列号。

因此，当显示装置100通过图像拾取单元120获取与至少一个外部设备有关的图像时，所获取的图像中不仅包括外部设备，而且还包括与外部设备相关联的识别标记。

处理器140可以从图像中包括的识别标记获取外部设备的识别信息。例如，处理器140可以基于存储有识别标记和相应识别信息的查找表，从图像中包括的识别标记获取外部设备的识别信息。

此外，如果存在多个外部设备，则显示装置100可以通过图像拾取单元120获取与多个外部设备有关的一个图像，并且所获取的图像可以包括多个识别标记。处理器140可以从所获取的图像中包括的多个识别标记获取与多个外部设备中的每个外部设备有关的识别信息，这将参照图2和图3进行详细描述。

图2和图3是用于示出根据示例性实施方式的与外部设备有关的图像的视图。

图2示出用户可以使用智能电话220拍摄tv200的照片。此处，智能电话220与示例性实施方式的显示装置100对应，以及tv200与外部设备对应。

tv200设置有用于识别tv的识别标记210。因此，当通过智能电话220获取图像时，所获取的图像包括tv的图像200'和识别标记的图像210'。然而，在此实施方式中，tv的图像200'限定为所获取的图像中包括的tv，以及识别标记的图像210'限定为所获取的图像中包括的识别标记。

因此，处理器140可以从所获取的图像中包括的识别标记210获取tv200的识别信息。例如，处理器140可以基于存储有识别标记和相应识别信息的查找表，获取tv200的与所获取图像中包括的识别标记210'对应的识别信息。

同时，如图2所示，用户可以使用显示装置100仅拍摄一个外部设备。然而，用户还可以通过将多个外部设备包括在一个图像中一次拍摄多个外部设备，如图3所示。

关于以上内容，图3示出用户使用智能电话220拍摄房屋中起居室视图的情况。在起居室中设置有多种外部设备，诸如tv310、第一灯320、第二灯330、空调340、第一窗帘350、第二窗帘360和风扇370。

每个外部设备设置有识别标记。具体地，用于识别tv的识别标记311附着至tv310，用于识别第一灯的识别标记321附着至第一灯320，用于识别第二灯的识别标记331附着至第二灯330，用于识别空调的识别标记341附着至空调340，用于识别第一窗帘的识别标记351附着至第一窗帘350，用于识别第二窗帘的识别标记361附着至第二窗帘360，以及用于识别风扇的识别标记371附着至风扇370。

因此，处理器140可以从起居室视图的图像中包括的多个识别标记(即，附着至每个外部设备的识别标记311、321、331、341、351、361、371)获取tv310、第一灯320、第二灯330、空调340、第一窗帘350、第二窗帘360和风扇370的识别信息。

处理器140可以通过通信器130将所获取的识别信息传送到服务器，以及可以从服务器接收用于控制外部设备的控制信息。可替代地，如果外部设备中的一个被配置成能够传送这种控制信息，则处理器可以从该外部设备接收控制信息。例如，智能tv可以能够传送控制信息。

此处，控制信息可以包括以下中的至少之一：外部设备的当前状态、外部设备的控制参数、用于控制外部设备的软件或外部设备的名称以及与用于控制外部设备的对象相关的信息。

具体地，外部设备的当前状态可以例如包括这样的信息：外部设备当前是否正在运行，外部设备为空调时当前温度的设置，或外部设备为窗帘时幕帘当前打开的程度。

外部设备的控制参数包括以下中的至少之一：控制功能的类型、每种类型的控制范围和每种类型的控制精度。

例如，如果外部设备是灯，则灯的控制参数中包括的控制功能的类型可以是灯的on(开)/off(关)控制，每种类型的控制范围可以是0或1(0与off对应以及1与on对应)，以及每种类型的控制精度可以是1，其为0与1之间的差。

如果外部设备是风扇，则风扇的控制参数中包括的控制功能的类型是风量的on/off控制、风向的on/off控制以及定时器设置。每种类型的控制范围可以是：对于风量，为1至4步；对于风向，为0至180度；对于定时器，为0至360分钟；以及风扇的on/off控制。每种类型的控制精度可以是：在风量的情况下，以一步计进行控制；在风向的情况下，以10度计进行控制；在定时器的情况下，以1分钟计进行控制；以及在风扇的on/off控制方面，0可以与off对应以及1可以与on对应。

如果外部设备是温度控制器，则温度控制器的控制参数中包括的控制功能的类型可以是温度控制和定时器设置，以及每种类型的控制范围可以是：对于温度，为18-30度，以及对于定时器设置，为0至24小时。每种类型的控制精度可以是：在温度的情况下，以0.5度计进行控制；以及在定时器设置的情况下，以1分钟计进行控制。

如果外部设备是窗帘，则窗帘的控制参数中包括的控制功能的类型可以是控制窗帘向左或向右移动的功能。每种类型的控制范围可以是：当向左移动时，为0；或者当向右移动时，为1，以及每种类型的控制精度可以是1，其为0与1之间的差。

如上所述，外部设备的控制参数中包括的控制功能的类型、控制范围和控制精度可以根据外部设备的类型而改变。

用于控制外部设备的对象信息是处理器140通过将对象信息与图像组合来生成用于控制外部设备的对象所必需的信息，以及该图像包括用于控制外部设备的开关图像、用于控制外部设备的按钮图像以及用于控制外部设备的远程控制图像中的至少之一。

例如，用于控制外部设备的开关图像可以是显示on/off以改变灯的on/off状态的开关图像。用于控制外部设备的按钮图像可以是显示方向以用于使窗帘向左或向右移动的按钮图像，以及用于控制外部设备的远程控制图像可以是显示功能键的远程控制图像。用于控制外部设备的按钮图像和远程控制图像可以是显示用于控制tv或空调的功能键的远程控制图像。

此外，用于控制外部设备的对象信息可以包括3d模型信息，并且这种3d模型信息可以用于实现增强现实。用于控制外部设备的开关图像、用于控制外部设备的按钮图像以及用于控制外部设备的远程控制图像可以由一个图像组成，但它们可以由多个图像组成以根据操作表示状态变化。

此外，可以向外部设备分配特定标签。一般来说，可以将诸如“tv”、“空调”、“温度控制器”、“风扇”等的标签分配给相应类型的设备。可替代地，可以将用户选择的标签分配给外部设备。

同时，处理器140可以基于从服务器接收的控制信息来生成用于控制外部设备的对象，以及可以控制显示器110以便将所生成的对象与外部设备图像进行匹配并显示该对象。此处，外部设备图像限定为图像中包括的外部设备。

具体地，处理器140可以基于外部设备的当前状态、外部设备的控制参数、外部设备的名称以及用于控制外部设备的对象信息中的至少之一来生成用于控制外部设备的对象。

例如，基于外部设备的当前状态，处理器140可以确定外部设备当前是否正在操作，以及设备正在哪个状态下操作。处理器140还可以根据基于外部设备的控制参数的方法来确定如何控制外部设备。处理器140还可以基于用于控制外部设备的对象信息来确定如何配置用于控制外部设备的对象，从而生成用于控制外部设备的对象。

例如，如果外部设备是温度控制器并且当前设置温度为20度，则处理器140可以基于温度控制器的当前状态确定温度控制器当前正在操作并且设置温度为20度。然后，处理器140可以确定：温度控制器可以以0.5度的增量从18度调整到30度；以及定时器可以基于温度控制器的控制参数，在0至24小时的范围内以1小时为单位进行调整。处理器140还可以基于用于控制温度控制器的对象信息来确定是否以远程控制器的形式配置对象以用于控制温度控制器。因此，处理器140可以生成呈远程控制器形式的对象，该对象指示：温度控制器当前正在操作；设置温度为20度；温度调整范围是以0.5度的增量从18度到30度；以及定时器可以在0至24小时的范围内以1小时为单位进行调整。

将参照图4详细描述在显示装置100与服务器之间接收和传送信息的过程。

图4是用于示出根据示例性实施方式的在显示装置与服务器之间传送和接收信息的过程的时序视图。

参考图4，如果用户使用显示装置100拍摄图像，则显示装置100获取与外部设备有关的图像(101)，以及从图像中包括的识别标记获取识别信息(102)。

在从识别标记获取识别信息之后，显示装置100将所获取的识别信息传送到服务器400(103)。

随后，服务器400在数据库中搜索与识别信息对应的控制信息(401)，以及将检索到的控制信息传送到显示装置100(104)。

显示装置100基于所接收的控制信息生成对象(105)，以及将所生成的对象与外部设备图像进行匹配并显示该对象(106)。

同时，处理器140可以将所生成的每个对象与每个外部设备图像进行匹配，以及在显示器110上显示所生成的每个对象，这将参照图5进行详细描述。

图5是示出根据示例性实施方式的对象与多个外部设备图像中的每个外部设备图像匹配的视图。

参考图5，如以上参照图3所描述的，处理器140可以从识别标记获取起居室中各种外部设备(仅作为示例，tv310、第一灯320、第二灯330、空调340、第一窗帘350、第二窗帘360和风扇370)的识别信息，将所获取的识别信息传送到服务器，当一旦接收到控制信息时，基于控制信息将用于控制各种外部设备(tv310、第一灯320、第二灯330、空调340、第一窗帘350、第二窗帘360和风扇370)的对象与每个外部设备图像进行匹配，以及显示与图5中的图像类似的图像500。

例如，处理器140可以生成用于控制tv310的远程控制图像312，以及将远程控制图像312与tv310进行匹配并显示远程控制图像312；生成用于控制第一灯320的开关图像322，以及将开关图像322与第一灯320进行匹配并显示开关图像322；生成用于控制第二灯330的开关图像332，以及将开关图像332与第二灯330进行匹配并显示开关图像332；生成用于控制空调340的远程控制图像342，以及将远程控制图像342与空调340进行匹配并显示远程控制图像342；生成用于控制第一窗帘350的按钮图像352，以及将按钮图像352与第一窗帘350进行匹配并显示按钮图像352；生成用于控制第二窗帘360的按钮图像362，以及将按钮图像362与第二窗帘360进行匹配并显示按钮图像362；以及生成用于控制风扇370的拨盘开关图像372，以及将拨盘开关图像372与风扇370进行匹配并显示拨盘开关图像372。

此外，处理器140可以将图5中示出的图像500实施并显示为用户界面屏幕，以用于控制和管理与所生成的对象匹配的外部设备。这种用户界面屏幕可以向用户提供用于精细调整所生成的对象(诸如，远程控制图像312和342、开关图像322和332、按钮图像352和362以及拨盘开关图像372)的编辑功能。此外，这种用户界面屏幕可以通过执行实时处理而实现为增强现实图像，以及可以在头戴式显示器、智能电话或配置成显示增强现实图像的其它类型的电子设备中使用。

如果用户选择了对象，则处理器140可以放大并显示对象以使得用户可以容易地操作对象。处理器140还可以在对象被放大时更详细地显示对象，以使得更多的功能(诸如，附加的虚拟按钮)在对象被放大时是可用的。

图6是示出根据另一示例性实施方式的显示装置100的配置的视图。

参考图6，显示装置100包括显示器110、图像拾取单元120、通信器130、处理器140和输入单元150。此处，显示器110、图像拾取单元120、通信器130和处理器140已在上文进行描述，因此将不进一步描述。

输入单元150可以接收用户输入，以及可以实施为直接接收用户的触摸输入的触摸面板。可替代地，输入单元可以实施为用于从远程控制设备接收信号的信号接收单元。

此外，当接收到与对象有关的用户输入时，处理器140可以基于与对象对应的外部设备的控制参数来生成与用户输入对应的控制命令，并将所生成的控制命令传送到外部设备。

例如，当用户在图5中示出的图像500上向用于控制第一灯320的对象322(也称为，开关图像322)施加操作时，处理器140可以基于与用于控制第一灯320的对象322对应的第一灯320的控制参数，通过控制第一灯320的对象生成与操作输入对应的控制命令，即，控制功能的类型(电灯的on/off)、每种类型的控制范围(0或1)以及每种类型的控制精度(1)，以及将所生成的控制命令传送至第一灯320。

具体地，与通过用于控制第一灯320的对象输入的用户操作对应的控制命令可以包括与打开还是关闭第一灯320有关的信息，以及这种控制命令中包括的信息可以依赖于外部设备的类型、根据外部设备的类型而改变的控制功能的类型、每种类型的控制范围以及每种类型的控制精度而改变。

对象可以实施为可操作的图像以与用户输入对应，以及处理器140可以生成与对象的操作状态对应的控制命令，并将所生成的控制命令传送到外部设备。

图7是用于解释根据示例性实施方式的与对象322有关的操作的视图。

例如，当第一灯320的当前状态是off时，用于控制第一灯320的对象322可以通过反映第一灯320的当前状态来显示开关处于off位置。在这种情况下，如果用户向对象322施加用于打开第一灯320的输入，则处理器140可以响应于用户输入而改变对象322，使得开关设置在on位置，从而允许对象可根据用户输入被操作。与此同时，处理器140可以生成用于打开第一灯320的控制命令，并将该控制命令传送到第一灯320，以便实际打开第一灯。简而言之，在显示装置上的显示对象可以以这样的方式显示：其状态与其控制的外部设备的状态对应。

在图7中，作为示例性实施方式描述第一灯320的对象322。然而，各种外部设备的每个对象都可以实施为可操作的图像以便与用户输入对应。例如，如果用于改变频道的用户操作被输入至用于控制tv310的对象312(也称为，远程控制图像312)，则处理器140可以提供这样的效果：按压设置在用于控制tv310的对象312上的功能键。

此外，处理器140可以根据用户操作来放大并显示用于控制外部设备的对象，以进一步提高用户操作的便利性。

当然，上述对象被实施为可操作的图像以便与用户输入对应，这样的特征同样适用于增强现实系统。

图8是用于示出根据示例性实施方式的显示装置实施为tv的情况的视图。

参考图8，可以在tv800上提供图像500，图像500中用于控制外部设备的多个对象中的每个对象与相应外部设备图像匹配，以及用户可以使用远程控制器810来操作与每个外部设备图像匹配的至少一个对象。

例如，用户可以使用远程控制器810来选择在tv800上显示的图像500中包括的多个对象中的一个，以及通过对所选择的对象进行操作，tv800可以将用于控制外部设备的控制命令传送到与所选择的对象对应的外部设备。

如此，用户可以对图像500(其中用于控制外部设备的对象与外部设备图像匹配)直接执行触摸输入来操作对象，以及可以使用远程控制器810来操作对象。在此示例性实施方式中，可以从不同于tv的设备获取图像，然后可以将该图像传送到tv。例如，用户可以利用智能电话捕获外部对象的图像。

图9是示出根据示例性实施方式的显示装置900的具体配置的框图。

参考图9，显示装置900包括显示器110、图像拾取单元120、通信器130、处理器140、输入单元150和存储设备160。为简洁起见，对于图9的元件中已在上文描述过的元件将不再提供详细描述。

处理器140可以控制显示装置900的全部操作。

具体地，处理器140包括ram141、rom142、主cpu143、图形处理器144、第一至第n接口145-1～145-n以及总线146。

ram141、rom142、主cpu143、图形处理器144，第一至第n接口145-1～145-n等可以通过总线146彼此连接。

第一至第n接口145-1到145-n连接到上述各个元件。接口之一可以是通过网络与外部设备连接的网络接口。至少一个接口可以是无线网络接口。

主cpu143访问存储设备160，并使用存储在存储设备160上的操作系统(o/s)执行启动，以及使用存储在存储设备160上的多种程序、内容、数据等执行多种操作。

具体地，主cpu143可以从图像中包括的识别标记获取识别信息，基于从服务器接收的用于控制外部设备的控制信息生成用于控制外部设备的对象，以及生成与针对对象的用户操作对应的控制命令。

rom142存储用于系统启动的命令集。当输入打开命令并供应电力时，主cpu143根据存储在rom142中的命令，将存储在存储设备160中的o/s复制到ram141，以及执行o/s以启动系统。当完成启动时，主cpu143将存储在存储设备160上的多种应用程序复制到ram141，并通过执行复制到ram141的应用程序来执行多种操作。

图形处理器144使用操作器(operator)(未示出)和渲染器(未示出)生成包括有多种对象(诸如图标、图像、文本等)的屏幕。操作器(未示出)根据屏幕布局，使用所接收的控制命令来计算属性值，诸如显示每个对象的坐标值、形式、大小、颜色等。渲染器(未示出)基于操作器(未示出)中计算的属性值来生成包括有对象的多种布局的屏幕。

具体地，图形处理器144可以将由主cpu143生成的对象实现为图形用户界面(gui)、图标、用户界面屏幕，或者虚拟按钮或滑块。

另外，上述处理器140的操作可以通过存储在存储设备160中的程序来执行。

存储设备160存储多种数据，诸如用于驱动显示装置900的操作系统(o/s)软件模块以及各种多媒体内容。

具体地，存储设备160可以包括软件模块，该软件模块用于从图像中包括的识别标记获取识别信息，基于用于控制外部设备的控制信息生成用于控制外部设备的对象，以及执行生成与针对对象输入的用户输入对应的控制命令的功能。

图10是根据示例性实施方式的与存储在存储设备160中的软件模块有关的视图。

参考图10，存储设备160可以存储程序，诸如标记辨识模块161、识别信息获取模块162、对象生成模块163、控制命令生成模块164、ui生成模块165或其它类型的模块。

同时，上述处理器140的操作可以由存储在存储设备160中的程序执行。在下文中，将详细描述处理器140使用存储在存储设备160中的程序进行的操作。

具体地，标记辨识模块161可以执行辨识图像中包括的附着至外部设备的识别标记的功能。例如，识别标记可以以qr码、条形码或序列号的形式实施，以及标记辨识模块161可以执行检测图像中包括的所有识别标记的功能。

识别信息获取模块162可以执行从所辨识的识别标记获取识别信息的功能。

对象生成模块163可以基于用于控制外部设备的控制信息来执行生成用于控制外部设备的对象的功能。

当一旦接收到与对象有关的用户输入时，控制命令生成模块164可以基于与对象对应的外部设备的控制参数，执行生成与用户输入对应的控制命令的功能。

ui生成模块165可以执行生成用于控制和管理与所生成的对象匹配的外部设备的用户界面屏幕的功能。

图11是示出根据示例性实施方式的系统1000的配置的框图。

参考图11，系统1000包括服务器400和显示装置100，显示装置100获取与多个外部设备有关的图像，其中识别标记附着至每个相应的外部设备。显示装置100传送从图像中包括的多个识别标记获取的多个识别信息数据集，以及服务器400将控制信息传送到显示装置，其中控制信息用于控制多个外部设备中的与所接收的多个识别信息数据集中的每个识别信息数据集对应的每个外部设备。此处，显示装置100可以基于所接收的控制信息将用于控制多个外部设备中每个外部设备的多个对象与多个外部设备图像中的每个外部设备图像进行匹配并显示该多个对象。

换句话说，显示装置100可以获取包括多个外部设备的一个图像，获取多个外部设备中每个外部设备的识别信息，基于用于控制多个外部设备中每个外部设备的控制信息来生成多个对象，以及根据与多个对象中的至少一个对象有关的单个用户操作，向多个对象中的每个对象传送控制命令。

图12是用于示出根据示例性实施方式的显示装置的控制方法的流程图。

图12中，用于控制附着有识别标记的至少一个外部设备的显示装置的控制方法包括获取与至少一个外部设备有关的图像(操作s1210)。

随后，该方法包括将从图像中包括的识别标记获取的识别信息传送到服务器，以及从服务器接收用于控制外部设备的控制信息(操作s1220)。

该方法包括基于所接收的控制信息，将用于控制外部设备的对象与外部设备图像进行匹配并显示该对象(操作s1230)。

此处，控制信息可以包括以下中的至少之一：外部设备的当前状态、外部设备的控制参数、外部设备的名称以及与用于控制外部设备的对象相关的信息。

外部设备的控制参数包括以下中的至少之一：控制功能的类型、每种类型的控制范围和控制精度。

对象可以包括以下中的至少之一：用于控制外部设备的开关图像、用于控制外部设备的按钮图像以及用于控制外部设备的远程控制图像。

同时，根据示例性实施方式的显示装置的控制方法还可以包括：接收与对象有关的用户输入；基于与对象对应的外部设备的控制参数，生成与用户输入对应的控制命令；以及将所生成的控制命令传送到外部设备。

此处，对象是可操作为与用户输入对应的图像，传送步骤可以包括：生成与对象的操作状态对应的控制命令以及将所生成的控制命令传送到外部设备。

显示步骤可以包括：生成并显示用户界面屏幕以用于控制和管理与所生成的对象匹配的外部设备。

图13是用于示出根据示例性实施方式的显示装置的具体控制方法的流程图。

参考图13，显示装置100可以获取图像(操作s1310)，辨识图像中包括的识别标记(操作s1320)，以及执行控制获取(操作s1330)。此处，控制获取(操作s1330)是用于限制由不同于指定用户的第三方任意地拍摄和控制与外部设备有关的图像的权限。只有通过用户帐户执行用户认证的指定用户可以获取与外部设备有关的控制权。

显示装置100可以向服务器查询外部设备的控制信息(操作s1340)，基于从服务器接收的控制信息获取外部设备的控制参数(操作s1350)，获取用于控制外部设备的对象信息(操作s1360)，以及获取外部设备中设置的当前值(操作s1370)。

显示装置100可以生成其中虚拟操作开关图像与图像合成在一起的ui(操作s1380)。

显示装置100可以确定进入手动编辑模式(操作s1390)。具体地，如果附着至任何一个外部设备的识别标记未被图像精确地捕获，使得显示装置100不能辨识识别标记，则显示装置100进入手动编辑模式(操作s1390-1)以便根据用户操作将与未辨识出的识别标记有关的信息直接添加至显示装置100的存储设备160。

当外部设备的位置改变时，显示装置100可以进入手动编辑模式(操作s1390-1)，以根据与外部设备位置的改变有关的用户操作来改变外部设备在图像中的位置。

此外，当完成对识别标记的辨识时，显示装置100可以进入手动编辑模式(操作s1390-1)并执行控制获取(操作s1320)。

同时，当接收到与所生成的ui有关的用户输入时(操作s1391)，显示装置100可以将与用户输入对应的控制命令传送到外部设备以控制外部设备(例如，灯、洗衣机、收音机等)(操作s1392)。

图14是用于示出根据示例性实施方式的系统的控制方法的流程图。

如图14中所示，包括有服务器和显示装置的系统的控制方法包括：利用显示装置分别获取与附着有识别标记的多个外部设备有关的图像。该方法还包括将从图像中包括的多个识别标记获取的多个识别信息数据集传送到服务器(操作s1410)，以及服务器向显示装置传送用于控制多个外部设备中的与所接收的多个识别信息中的每个信息相对应的每个外部设备的控制信息(操作s1420)。显示装置基于所接收的控制信息，将用于控制多个外部设备中的每个外部设备的多个对象与多个外部设备图像中的每个外部设备图像进行匹配并显示该多个对象(操作s1430)。

另外，可以提供非暂时性计算机可读介质，其中存储有用于根据示例性实施方式顺序地执行控制方法的程序。

非暂时性计算机可读介质是指半永久地存储数据而不是非常短时间地存储数据的介质，诸如寄存器、缓存、存储设备、存储器等，以及是装置可读取的。具体地，上述各种应用或程序可以存储和提供在诸如cd、dvd、硬盘、ssd、蓝光盘、通用串行总线(usb)、存储卡、rom等的非暂时性计算机可读介质中。

尽管未在显示装置的上述框图中示出总线，但显示装置中的各个组件之间的通信可以通过总线来执行。此外，每个设备还可以包括执行上述各个步骤的处理器，诸如cpu、微处理器等。

前述示例性实施方式和优点仅仅是示例性的，并且不应被认为是限制示例性实施方式。本教导可以容易地应用于其它类型的装置。此外，对示例性实施方式的描述旨在是说明性的，并不意图限制权利要求书的范围。