本公开涉及显示设备及其控制方法，并且更具体地，涉及与外围设备执行多UI服务的显示设备及其控制方法。
背景技术：
已经根据电子设备的发展，开发出各种应用。近年来，已经开发出多个用户可通过电子设备之间的交互而一起参与的应用。
然而，为了使多个用户参与此应用，必须在每个用户各自的电子设备中安装对应的应用。另外，应一直保持适于针对每个电子设备安装的操作系统的应用的开发和针对每个操作系统开发的每个应用的管理。因此，存在的问题是，不仅开发针对一个应用的每个操作系统的应用带来了额外的成本，而且由于维护针对每个操作系统开发的应用而引起成本的增加。
同时，在多个电子设备之间提供多UI服务的传统方法中，服务仅仅通过镜像方法将之前存储的内容从主设备发送到目标设备。此外，由于传统的多UI服务提供方法是用于将对应内容发送到目标设备的方法，因此存在的问题是，由于发送而导致的数据量增加，这造成数据发送速度下降。
技术实现要素：
要解决的任务
本发明的目的是更高效地提供多个电子设备之间的多UI服务。
解决问题的手段
根据示例性实施例，一种对显示设备进行控制的方法包括以下步骤：显示被划分成多个区域的应用执行画面；提取与所述多个区域当中的将发送到外围设备的区域相关的源信息；以及将所提取的源信息发送到所述外围设备。
所述提取的步骤可包括：响应于所述外围设备的靠近，确定所述外围设备靠近的位置；提取与所述多个区域当中的与所确定的位置相关的第一区域的源信息，其中，所述外围设备基于从所述显示设备接收到的源信息来显示所述第一区域的信息。
所述提取的步骤可包括：响应于所述外围设备的靠近，基于所述外围设备的设备信息来提取所述多个区域当中的能由所述外围设备执行的第一区域的源信息，其中，所述外围设备基于从所述显示设备接收到的源信息来显示所述第一区域的信息。
所述提取的步骤可包括：响应于所述外围设备的靠近，基于所述外围设备的设备信息和所述多个区域的执行信息来提取所述外围设备能执行的区域的源信息，并且将所述信息发送到所述外围设备。
所述发送的步骤可包括：响应于所述多个区域当中的第一区域是用于接收用户命令或显示用户信息的区域，将所述第一区域的源信息发送到所述靠近的外围设备当中的与预设第一条件对应的第一外围设备，并且响应于所述多个区域当中的第二区域显示内容，将所述第二区域的源信息发送到所述靠近的外围设备当中的与预设第二条件对应的第二外围设备。
所述提取的步骤可包括提取所述多个区域当中的与用户命令对应的第一区域的源信息，并且其中，所述发送的步骤可包括将所述第一区域的源信息发送到能够进行通信的外围设备当中的与用户命令对应的外围设备。
所述方法还可包括基于所述多个区域当中的除了与发送到所述外围设备的源信息相关的区域之外的区域来编辑并显示所述执行画面。
所述编辑并显示执行画面的步骤可包括：当输入了执行画面返回命令或检测到发送所述源信息的所述外围设备没有靠近的事件时，对编辑后的所述执行画面进行重新编辑并且作为初始应用执行画面进行显示，并且当发生将与改变后的区域相关的源信息发送到所述外围设备的事件时，基于所述多个区域当中的除了改变后的区域之外的区域，对编辑后的执行画面进行重新编辑和显示。
所述方法还可包括当从发送所述源信息的外围设备接收到用户命令时，基于接收到的所述用户命令来控制所述应用的操作。
所述源信息可包括用于执行将发送到所述外围设备的第一区域的执行代码和资源中的至少一个，并且所述提取的步骤可包括通过分析与所述第一区域相关的预定源信息和用于执行所述第一区域的执行代码来提取与所述第一区域相关的源信息。
根据另一个示例性实施例，一种显示设备包括：通信器，其被配置成与能够进行通信的外围设备执行数据通信；显示器，其被配置成显示被划分成多个区域的应用的执行画面；以及控制器，其被配置成控制所述通信器，以提取与构成所述应用执行画面的多个区域相关的预存储源信息当中的与将发送到所述外围设备的区域相关的源信息，并且将所提取的所述源信息发送到所述外围设备。
所述显示设备还包括：至少一个传感器，其被配置成感测所述外围设备的靠近，其中，如果感测到所述外围设备靠近，则所述控制器确定所述外围设备的靠近位置，提取与所确定位置相关的所述第一区域的源信息并且将其发送到所述第一外围设备，并且所述外围设备基于从所述显示设备接收到的所述源信息来显示所述第一区域的信息。
所述显示设备还包括：至少一个传感器，其被配置成感测所述外围设备的靠近，其中，如果通过所述传感器感测到所述外围设备靠近，则所述控制器基于所述外围设备的设备信息，提取所述多个区域当中的所述外围设备能执行的所述第一区域的源信息，将所提取的源信息发送到所述外围设备，并且所述外围设备基于从所述显示设备接收到的所述源信息来显示所述第一区域的信息。
所述显示设备还包括：至少一个传感器，其用于感测所述外围设备的靠近，其中，如果通过所述传感器感测到所述外围设备靠近，则所述控制器基于所述外围设备的设备信息和所述多个区域的执行信息来提取所述外围设备能执行的区域的源信息，并且将所述信息发送到所述外围设备。
如果所述多个区域当中的所述第一区域是用于接收用户命令或显示用户信息的区域，则控制器将所述第一区域的源信息发送到与预设第一条件对应的所述第一外围设备，并且如果第二区域是用于显示内容的区域，则所述控制器根据预设第二条件将所述第二区域的源信息发送到所述第二外围设备。
该设备还包括用于接收用户命令的输入单元，并且所述控制器可根据通过所述输入单元输入的用户命令来控制所述通信器提取与所述用户命令对应的所述第一区域的源信息并且将所提取的所述源信息发送到与所述用户命令对应的外围设备。
所述控制器可基于所述多个区域当中的除了与发送到所述外围设备的源信息相关的区域之外的区域来编辑并显示所述执行画面。
当输入了执行画面返回命令或检测到发送所述源信息的所述外围设备没有靠近的事件时，所述控制器对编辑后的所述执行画面进行重新编辑并且作为初始应用执行画面进行显示，并且当发生将与改变后的区域相关的源信息发送到所述外围设备的事件时，所述显示设备可基于所述多个区域当中的除了改变后的区域之外的剩余区域对编辑后的执行画面进行重新编辑，并且显示重新编辑后的应用执行画面。
当从发送所述源信息的所述外围设备接收到用户命令时，所述控制器可基于接收到的所述用户命令来控制所述应用的操作。
所述源信息包括用于执行将发送到所述外围设备的第一区域的执行代码和资源中的至少一个，并且所述控制器可分析用于执行所述第一区域的预定源信息或执行代码并且提取与所述第一区域相关的源信息。
本发明的效果
根据各种示例性实施例，根据本公开的显示设备能够更高效地提供多个外围设备之间的多UI服务。
附图说明
图1是简要例示根据示例性实施例的多UI服务系统的配置的框图，
图2是简要例示根据示例性实施例的显示设备的配置的框图，
图3是例示根据示例性实施例的显示设备的详细配置的框图，
图4是根据示例性实施例的提取构成应用执行画面的多个区域当中的与将发送到外围设备的区域相关的源信息的示例性示图，
图5是例示根据示例性实施例的显示设备执行画面的示例性示图，
图6是根据示例性实施例的执行显示设备和外围设备之间的多UI服务的第一示例性示图，
图7是根据示例性实施例的执行显示设备和外围设备之间的多UI服务的第二示例性示图，
图8(a)是根据示例性实施例的执行显示设备和多个外围设备之间的多UI服务的第一示例性示图，
图8(b)是根据示例性实施例的用与显示设备执行多UI服务的多个外围设备来执行与事件对应的操作的第一示例性示图，
图8(c)是根据示例性实施例的用与显示设备执行多UI服务的多个外围设备来执行与事件对应的操作的第二示例性示图，
图9是根据示例性实施例的执行根据示例性实施例的显示设备和多个外围设备之间的多UI服务的第二示例性示图，
图10是根据示例性实施例的执行根据示例性实施例的显示设备和多个外围设备之间的多UI服务的第三示例性示图，
图11是根据示例性实施例的执行根据示例性实施例的显示设备和多个外围设备之间的多UI服务的第四示例性示图，
图12是根据示例性实施例的执行根据示例性实施例的显示设备和多个外围设备之间的多UI服务的第四示例性示图，
图13是根据示例性实施例的显示设备的控制方法的第一流程图，
图14是根据另一个示例性实施例的显示设备的控制方法的第二流程图。
实现本公开的最佳方式
具体实施方式
下文中，将参照附图来更详细地描述本公开的示例性实施例。
图1是简要例示根据示例性实施例的多UI系统的配置的框图。
如图1中例示的，多UI服务系统包括显示设备100和多个外围设备200。
这里，显示设备100是能够与多个外围设备200执行数据通信的终端，并且可以是终端设备(诸如，智能TV、智能电话、平板PC或安装在诸如洗衣机、冰箱或空调的家用电器中的终端设备)。显示设备100可以是向多个外围设备200当中的至少一个外围设备200提供与构成根据用户命令执行的应用的执行画面的多个区域当中的至少一个区域相关的源信息。
能够与显示设备100进行数据通信的多个外围设备200可以是如图所示的第一外围设备200-1到第三外围设备200-3，并且第一外围设备200-1到第三外围设备200-3可以是终端设备(诸如，智能TV、智能电话、平板PC或安装在诸如洗衣机、冰箱或空调的家用电器中的终端设备)。
第一外围设备200-1到第三外围设备200-3中的至少一个可基于从显示设备100接收到的源信息来显示与构成显示设备100正执行的应用的执行画面的多个区域当中的特定区域对应的执行画面或信息。
如上所述，显示设备100和外围设备200可以是终端设备(诸如，智能TV、智能电话、平板PC或安装在诸如洗衣机、冰箱或空调的家用电器中的终端设备)。将更详细地描述显示设备100。
图2是简要例示根据示例性实施例的显示设备的配置的框图，图3是例示根据示例性实施例的显示设备的详细配置的框图。
如图2中描述的，显示设备100可包括通信单元110、显示器120、控制单元130、传感器140、输入单元150和存储器160。
通信单元110通过有线/无线与存在于同一网络上的多个外围设备200执行数据通信。因此，通信单元110可将与构成正在执行的应用的执行画面的多个区域中的至少一个区域相关的源信息发送到能够进行数据通信的多个外围设备200当中的至少一个外围设备200。
这里，源信息可包括用于执行构成应用执行画面的多个区域当中的将被发送到外围设备200的第一区域的执行代码和资源中的至少一个。
如图3中例示的，与多个外围设备200执行数据通信的通信单元110包括短距离通信模块111、无线LAN模块113、高清多媒体接口(HDMI)、通用串行总线(USB)和包括诸如电气和电子工程师协会(IEEE)1394的有线通信模块等中的至少一个的连接器115。
短距离通信模块111是用于在显示设备100和多个外围设备200之间无线地执行短距离通信的配置。短距离通信模块111可包括Bluetooth(蓝牙)模块、近场通信(NFC)模块、WiFi模块和Zigbee模块中的至少一个。
无线LAN模块113是与外部网络连接并且根据诸如IEEE的无线通信协议执行通信的模块。另外，无线通信模块还可包括用于根据诸如第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)等的各种移动通信标准而接入移动通信网络来执行通信的移动通信模块。
通信单元110可通过各种无线通信方法来实现，并且如有需要，可应用本说明书中未提到的其他通信技术。
同时，连接器115被配置成提供与诸如USB 2.0、USB 3.0、HDMI和IEEE1394的各种外围设备的接口。此连接器115可根据控制单元143的控制命令，通过与连接器115连接的电缆从包括多个外围设备200的终端设备接收图像内容相关数据。另外，连接器115可经由与连接器115实体连接的有线电缆从电源接收电力。
显示器120可根据用户命令来显示所执行应用的执行画面。另外，显示器120可显示从诸如内容服务器(未示出)的外部源接收的图像内容和经控制单元130处理的图像。显示器120可被实现为液晶显示器(LCD)、有机发光二极管(OLED)或等离子体显示面板(PDP)。如果稍后将描述的输入单元150被实现为触摸板，则显示器120可被实现为与输入单元150一起呈互层结构的触摸屏，输入单元150是触摸板。
控制单元130控制构成显示设备100的组件中的每个的操作。特别地，控制单元130从针对构成应用执行画面的多个区域而存储在存储单元160中的源信息当中，提取与将发送到外围设备200的区域相关的源信息。根据此控制命令，通信单元110可将外围设备220预先提取的源信息发送到外围设备220。这里，外围设备200可以是靠近显示设备100的或者根据用户命令从能与显示设备100通信的多个外围设备200当中选择的设备。因此，此外围设备可基于从显示设备100接收到的源信息来显示与构成应用执行画面的多个区域当中的特定区域对应的执行画面或信息。
传感器140可以是靠近传感器，感测多个外围设备200中的至少一个是否靠近外围设备100。传感器140可形成在显示设备100的一侧或其每侧。
如图3中所示，输入单元150包括用于接收用户操作命令的操作单元151以及用于接收用户触摸命令的控制单元150和用于接收用户触摸命令的触摸输入单元153。这里，操作单元151可被实现为具有各种功能键、数字键、特殊键和字符键的键盘。当显示器220被实现为触摸屏时，触摸输入单元153可以是与显示器220呈互层结构的触摸板。
存储单元160可存储用于执行多个应用中的每个的应用程序。另外，存储单元160可存储经控制单元130处理的各种多媒体数据和内容中的至少一个以及从外部源接收的或者根据用户命令生成的图像内容。另外，存储单元160可存储用于对显示设备进行控制100的操作的操作系统程序。这里，操作系统程序可以是在存储单元160中进行读取和编译的用于在显示设备100打开时操作显示设备100的各配置的程序。存储单元160可以是可拆卸地能安装于显示设备100的ROM、RAM或存储卡(例如，SD卡或记忆棒)、非易失性存储器、易失性存储器、硬盘驱动(HDD)或固态驱动(SSD)。
如图3中例示的，显示设备100还可包括接收器170、信号处理器180和音频输出单元190。
接收器170可包括接收远程控制设备(未示出)所发送的用于对显示设备进行控制100的操作的用户命令的IR接收器(未示出)。具体地，远程控制设备(未示出)可通过诸如IR信号或RF信号的控制信号，将诸如显示设备100的功能设置的用户命令发送到显示设备100。因此，接收器170可通过IR接收器(未示出)基于通过远程控制设备(未示出)接收到的控制信号来接收诸如显示设备100的功能设置的用户命令。另外，接收器170可包括调谐器单元(未示出)，调谐器单元用于从广播服务器(未示出)所提供的多个图像内容中接收用户所选择的广播信道的广播信号。在这种情况下，当通过远程控制设备(未示出)输入信道调谐命令时，接收器170可通过调谐器单元来调谐与从远程控制设备(未示出)接收到的信道选择命令对应的信道并且通过调谐信道来接收广播信号。
信号处理单元180通过利用接收器170或通信单元110接收到的广播信道的广播信号，对从包括多个外围设备200的终端设备接收的数据进行处理。另外，信号处理单元180可对按照通过显示器120能显示形式的用户命令执行的应用相关内容进行处理。
音频输出单元190可经由扬声器输出利用信号处理单元180进行信号处理的音频数据，并且显示器120可在屏幕上显示利用信号处理单元180进行信号处理的视频数据。
如上所述，当通过传感器140检测到与显示设备100靠近的外围设备200或者选择与通过输入单元150输入的用户命令对应的外围设备200时，控制单元130可基于以下实施例，提取与从构成应用执行画面的多个区域当中的将发送到外围设备200的区域相关的源信息。这里，源信息可包括用于执行构成应用执行画面的多个区域当中的将被发送到外围设备200的区域的执行代码和资源中的至少一个。
当检测到或选择了与显示设备100靠近的外围设备200时，控制单元130可提取与构成应用执行画面的多个区域当中的将被发送到外围设备200的区域相关的预定源信息。
根据另一个实施例，当检测到或选择了与显示设备100靠近的外围设备200时，控制单元130可分析用于执行构成应用执行画面的多个区域当中的将被发送到外围设备200的区域的执行代码，并且提取与该区域相关的源信息。
图4是根据示例性实施例的提取构成应用执行画面的多个区域当中的与将发送到外围设备的区域相关的源信息的示例性示图。
如图4A中所示，显示设备100可根据用户命令来显示被划分成多个区域的应用的执行画面410。此应用执行画面410可被划分成多个区域，并且每个区域具有如图4(b)中所示的分层结构。具体地，构成应用执行画面410的多个区域中的每个区域可分层地配置有用于执行各区域的执行代码和与各执行代码关联的资源。
例如，如图4A中所示，构成应用执行画面410的多个区域中的第一区域411可与显示设备100靠近地设置，或者可被确定为将根据用户命令在所选择的外围设备200中执行的区域。
在这种情况下，如图4(b)中所示，控制单元130针对用于执行应用的执行画面420的执行程序中与多个区域当中的第一区域411对应的执行代码来执行静态/动态分析。如果基于分析结果来提取与第一区域411对应的执行代码的相关资源，则控制单元130可分析第一区域411、与第一区域411对应的执行代码和与从执行代码中提取的资源的关系，以提取与第一区域411相关的源信息411’。
当提取了用于第一区域411的源信息411’时，控制单元130将针对第一区域411提取的源信息411'发送到外围设备200。因此，外围设备200可基于从显示设备100接收到的源信息411'来显示第一区域411的信息。
控制单元130可基于如下所示的示例性实施例，在构成应用执行画面的多个区域当中，确定将被发送到至少一个外围设备200的区域。
如果通过至少一个传感器140检测到外围设备200靠近显示设备100，则控制单元130可基于至少一个传感器140感测到的感测信息来检测外围设备200靠近的位置。然后，控制单元130提取外围设备200靠近构成应用执行画面的多个区域的位置相关的第一区域的源信息，并且控制通信单元110将源信息发送到与显示设备100靠近的外围设备200。因此，通信单元110将第一区域的源信息发送到与显示设备100靠近的外围设备200。外围设备200可基于从显示设备100接收到的源信息来生成与第一区域相关的执行画面或信息，并且将其在屏幕上显示。
根据另一个实施例，当通过至少一个传感器140检测到外围设备200靠近显示设备100时，控制单元130可基于通过至少一个传感器140感测到的检测信息向靠近显示设备100的外围设备200发出请求。因此，当从与显示设备100靠近的外围设备200接收到设备信息时，控制单元130基于所获取的外围设备200的设备信息来控制构成应用执行画面的多个区域，并且提取与显示设备100靠近的外围设备200能执行的第一区域的源信息。这里，设备信息可以是用于在外围设备200中进行数据处理的规格信息。
然后，控制单元130控制通信单元110将所提取的源信息发送到与显示设备100靠近的外围设备200。因此，通信单元110将第一区域的源信息发送到与显示设备100靠近的外围设备200。因此，外围设备200可基于从显示设备100接收到的源信息来生成与第一区域相关的执行画面或信息，并且将其在屏幕上显示。
根据另一个实施例，当通过至少一个传感器140检测到外围设备200靠近显示设备100时，控制单元130可基于通过至少一个传感器140感测到的检测信息向与显示设备100靠近的外围设备200发送设备信息。因此，当从与显示设备100靠近的外围设备200接收到设备信息时，控制单元130基于外围设备200的设备信息和构成应用执行画面的多个区域的信息，提取能在与显示设备100靠近的外围设备200中执行的第一区域的源信息。这里，设备信息可以是用于在外围设备200中进行数据处理的规格信息。
然后，控制单元130控制通信单元110将所提取的源信息发送到与显示设备100靠近的外围设备200。因此，通信单元110将第一区域的源信息发送到与显示设备100靠近的外围设备200。因此，外围设备200可基于从显示设备100接收到的源信息来生成与第一区域相关的执行画面或信息，并且将其在屏幕上显示。
根据另一个实施例，控制单元130可分析构成正执行的应用的执行画面的多个区域，并且基于分析结果和与显示设备100靠近的外围设备200的设备信息，可提取至少一个区域的源信息并且将其发送到与对应条件对应的外围设备200。
具体地，如果构成应用执行画面的多个区域中的第一区域是用于接收用户命令的区域或用于显示用户信息的区域，则控制单元130可确定与预设第一条件对应的第一外围设备200-1是第一区域的源信息将被发送到的设备。例如，构成应用执行画面的多个区域当中的第一区域可以是用于接收用户的简单用户命令或显示用户的个人信息的区域。在这种情况下，控制单元130控制诸如智能手表的小型终端的第一外围设备200-1或与显示设备100靠近的外围设备200的第一外围设备200-1作为源信息将被发送到的设备。
这样，当确定了第一区域的源信息将被发送到的设备时，控制单元130提取第一区域的源信息并且将所提取的源信息发送到第一外围设备200-1并且控制通信单元110来发送数据。因此，通信单元110将第一区域的源信息发送到与显示设备100靠近的第一外围设备200-1。因此，第一外围设备200-1可基于从显示设备100接收到的源信息来接收与第一区域相关的用户命令，或者可以生成并显示用于提供用户信息的UI画面。
另一方面，如果构成应用执行画面的多个区域中的第二区域是用于显示内容的区域，则控制单元130控制显示单元100在与显示设备100靠近的外围设备200当中显示与预定第二条件对应的内容。第二外围设备200-2可被确定是发送第二区域的源信息的设备。例如，构成应用执行画面的多个区域当中的第二区域可以是用于提供含大量信息的内容的区域。在这种情况下，控制单元130可将与显示设备100靠近的外围设备200当中的具有用于高数据处理规格的第二外围设备200-2确定为将发送第二区域的源信息的设备。
如上所述，当确定了将发送第二区域的源信息的设备时，控制单元130提取第二区域的源信息并且将所提取的第二区域的源信息发送到第二外围设备200-2并且控制通信单元110来发送数据。因此，通信单元110将第二区域的源信息发送到与显示设备100靠近的第二外围设备200-2。因此，第二外围设备200-2可基于从显示设备100接收到的源信息来生成并显示与第二区域相关的内容UI画面。
根据另一个实施例，控制单元130可基于通过输入单元150输入的用户命令来生成构成应用执行画面的多个区域中的至少一个。这里，用户命令可包括针对构成执行应用的执行画面的多个区域中的一个的第一用户命令以及让设备基于第一用户命令来发送所选择区域的源信息的第二用户命令。
也就是说，当通过输入单元150输入第一用户命令时，控制单元130从构成应用执行画面的多个区域当中，提取与第一用户命令对应的第一区域的相关源信息。如果通过输入单元150输入第二用户命令，则控制单元130确定能够与显示设备100-1通信的多个外围设备200当中的与第二用户命令对应的第一外围设备200是否控制通信单元110来发送所提取的与第一区域关联的源信息。因此，通信单元110将第一区域的源信息发送到与第二用户的命令对应的第一外围设备200-1。
因此，第一外围设备200-1可基于从显示设备100接收到的源信息来生成与第一区域相关的执行画面或信息，并且将其在屏幕上显示。
在本发明中，已经描述了以下情况：提取与第一用户命令对应的区域的源信息，然后输入让外围设备200发送所提取源信息的第二用户命令。然而，输入单元150可同时接收第一用户命令和第二用户命令。
当与构成正执行应用的执行画面的多个区域中的至少一个相关的源信息被发送到至少一个外围设备200时，可基于不包括与源信息相关的区域的剩余区域来编辑应用执行画面，并且可显示编辑后的执行画面。
例如，应用执行画面被划分为成第一区域到第三区域，并且与第一区域到第三区域中的第一区域相关的源信息被发送到与显示设备100靠近的外围设备200。在这种情况下，控制单元130可基于第一区域到第三区域中的除了第一区域之外的第二区域和第三区域来重构并显示应用执行画面。
同时，如果检测到输入了执行画面返回命令或源信息被发送到的外围设备200与显示设备100的周缘不靠近，则控制单元130可对所编辑的应用的执行画面进行重新编辑并且将其作为初始执行画面显示。
当发生用于将与改变后区域相关的源信息发送到外围设备200的事件时，控制单元130可基于构成应用执行画面的多个区域当中的除了改变后区域之外的剩余区域对所编辑执行进行重新编辑，并且通过显示器120来显示重新编辑后的执行画面。
例如，与显示设备100的一侧靠近的外围设备200可从显示设备100接收与构成应用执行画面的多个区域中的第一区域相关的源信息。接收到源信息的外围设备200可从显示设备100的一侧移动到另一侧，并且引起附近的事件发生。如此，当检测到外围设备200与显示设备100的另一侧靠近时，控制单元130确定与显示设备100的另一侧靠近的外围设备200的位置，提取与所确定位置相关的第二区域的源信息，并且将所提取的源信息发送到外围设备200。此后，控制单元130对基于构成应用执行画面的多个区域当中的除了第二区域之外的剩余区域而编辑的执行画面进行重新编辑，并且通过显示器120来显示重新编辑后的执行画面。
通过上述各种实施例接收到与构成应用执行画面的多个区域当中的特定区域相关的源信息的外围设备200可显示与显示区域中的某个区域相关的信息。当在显示信息的状态下输入用于应用控制的用户命令时，外围设备200将所输入的用户命令发送到显示设备100。因此，控制单元130可基于从外围设备200接收到的用户命令来控制正执行的应用的操作。
到目前为止，已经详细描述了根据本发明的用于向外围设备200提供多UI服务的显示设备100的各种配置。下文中，确定显示设备100中的构成应用执行画面的多个区域当中的将被发送到外围设备200的区域，并且将详细描述在外围设备200中执行所确定区域的操作。
图5是例示根据示例性实施例的显示设备执行画面的示例性示图。
如图5中所示，显示设备100可根据用户命令来执行所选择的应用，并且显示所执行应用的执行画面510。如上所述，应用执行画面510可被划分成多个区域。因此，显示设备100可通过基于构成应用执行画面410的每个区域的执行代码和资源中的至少一个执行相应区域来显示应用执行画面510。
具体地，应用执行画面510可以被划分为第一区域511到第三区域515。在这种情况下，显示设备100可基于与构成应用执行画面510的第一区域511到第三区域515中的每个对应的执行代码以及与每个执行代码相关的资源，执行第一区域511到第三区域515并且用所执行的第一区域511到第三区域515的组合来显示应用执行画面410。
图6是根据示例性实施例的执行显示设备和外围设备之间的多UI服务的第一示例性示图。
如图5中例示的，显示设备100可显示由第一区域511到第三区域515构成的应用的执行画面510。同时，外围设备200可与显示应用执行画面510的显示设备100的一侧靠近。
如此，当外围设备200靠近一侧时，基于以上提到的各种示例性实施例，显示设备100可将构成应用执行画面510的第一区域511到第三区域515当中的第二区域513确定作为将在外围设备200中执行的区域。然后，显示设备100提取被确定是将由靠近显示设备100一侧的外围设备200执行的区域的第二区域513的源信息，并且将所提取的源信息发送到靠近显示设备100的外围设备200。与显示设备100靠近的外围设备200基于从显示设备100接收到的源信息，生成与构成应用执行画面510的第一区域511到第三区域515当中的第二区域510相关的UI画面620，并且将其在屏幕上显示。
另一方面，已经将与第二区域513相关的源信息发送到外围设备200的显示设备100可基于第一区域511到第三区域515当中的除了第二区域513之外的剩余区域(也就是说，第一区域511和第三区域515)的源信息来编辑应用执行画面510，并且显示所编辑的执行画面610。
图7是根据示例性实施例的执行显示设备和外围设备之间的多UI服务的第二示例性示图。
如图6中例示的，与显示设备100的一侧靠近的外围设备200可基于从显示设备100接收到的第二区域513的源信息来生成并显示与第二区域513相关的UI画面620。以这种方式，处于显示设备100的一侧并且显示与第二区域513相关的UI画面620的外围设备200可移动到显示设备100的另一侧。
如图7中所示，与显示设备100的左侧靠近设置的外围设备200可靠近显示设备100的上侧设置。如此，如果检测到靠近显示设备100的左侧设置的外围设备200是靠近显示设备100的上侧，则显示设备100可基于各种示例性实施例进行显示，可确定构成执行画面510的第一区域511到第三区域515中的第一区域511是将在与显示设备100的上侧靠近的外围设备200中执行的区域。然后，显示设备100提取被确定是将由与显示设备100的上侧靠近的外围设备200中执行的区域的第一区域511的源信息，并且将所提取的源信息发送到与显示设备100的上侧靠近的外围设备200。因此，与显示设备100的上侧靠近的外围设备200基于从显示设备100接收到的源信息，生成与构成应用执行画面510的第一区域511、第二区域513和第三区域515当中的第一区域510相关的UI画面720，并且进行显示。
另一方面，如上所述，当与第一区域511相关的源信息被发送到外围设备200时，正基于构成应用执行画面510的第一区域511、第二区域513和第三区域515当中的除了第二区域513之外的第一区域511和第三区域515的源信息来显示所编辑应用的执行画面610的显示设备100可基于构成应用执行画面510的第一区域511到第三区域515当中的除了第一区域511之外的剩余的第二区域513和第三区域515的源信息来编辑应用执行画面510，并且显示编辑后的执行画面710。
下文中，将更详细地描述以下操作：确定显示设备100中的构成应用执行画面的多个区域当中的将发送到多个外围设备200的区域并且执行多个外围设备200中的所确定区域。
图8(a)是根据示例性实施例的执行显示设备和多个外围设备之间的多UI服务的第一示例性示图。
如图5中例示的，显示设备100可显示构成第一区域511到第三区域515构成的应用的执行画面510。同时，可彼此通信的多个外围设备200当中的第一外围设备200-1可靠近显示应用执行画面510的显示设备100的上侧。显示设备200-2可靠近显示应用执行画面510的显示设备100的左侧。
如上所述，当第一外围设备200-1和第二外围设备200-2靠近显示设备100的上侧和左侧时，显示设备100可确定构成执行画面510的第一区域511到第三区域515当中的第一区域511是将在与显示设备100的上侧靠近的第一外围设备200-1中执行的区域，并且确定第二区域513是将在与显示设备100的左侧靠近的第二外围设备200-2中执行的区域。
如上所述，当确定将由靠近显示设备100的第一外围设备200-1和第二外围设备200-2中的每个执行的区域时，显示设备100提取被确定是将在与显示设备100靠近的第一外围设备200-1和第二外围设备200-2中执行的区域的第一区域511和第二区域513的源信息。然后，显示设备100将第一区域的源信息发送到与显示设备100的上侧靠近的第一外围设备200-1，并且将第二区域的源信息发送到与显示设备100的左侧靠近的第二外围设备200-2。
因此，靠近显示设备的第一外围设备200-1基于从显示设备100接收到的源信息，生成与构成应用执行画面510的第一区域511到第三区域515当中的第二区域510相关的UI画面820，并且将UI画面在屏幕上显示。另外，基于从显示设备100接收到的源信息，与显示设备100的左侧靠近的第二外围设备200-2生成与构成应用执行画面510的第一区域511到第三区域515当中的第二区域510相关的UI画面830，并且将其在屏幕上显示。
另一方面，已经将与第一区域511和第二区域513相关的源信息发送到第一外围设备200-1和第二外围设备200-2的显示设备100可基于第一区域511到第三区域515当中的作为除了第一区域511和第二区域513外的剩余区域的第三区域515的源信息来编辑应用执行画面510，并且显示编辑后的执行画面810。
图8(b)是根据示例性实施例的用与显示设备执行多UI服务的多个外围设备来执行与事件对应的操作的第一示例性示图。
如图8(a)中例示的，靠近显示设备上侧的第一外围设备200-1基于从显示设备100接收到的源信息来生成与第一区域511相关的UI画面820，并且显示UI画面。另外，与显示设备100的左侧靠近的第二外围设备200-2可基于从显示设备100接收到的源信息来显示与第二区域513相关的UI画面830。
如图8(b)中例示的，当第一外围设备200-1显示与第一区域511相关的UI画面820时，如果根据用户操纵而甚至发生画面切换，则可将UI画面820在与画面切换事件对应的方向上旋转并且显示旋转后的UI画面820’。
也就是说，位于相对于第一外围设备200-1的中心轴的垂直方向(水平方向)上的第一外围设备200-1可根据用户操纵而位于水平方向(长度方向)上。在这种情况下，第一外围设备200-1可将在水平方向上生成的UI画面820切换成与垂直方向对应的UI画面820'，并且显示UI画面820'。
图8(c)是根据示例性实施例的用与显示设备执行多UI服务的多个外围设备来执行与事件对应的操作的第二示例性示图。
如图8(a)中例示的，靠近显示设备上侧的第一外围设备200-1基于从显示设备100接收到的源信息来生成与第一区域511相关的UI画面820，并且显示UI画面。另外，与显示设备100的左侧靠近的第二外围设备200-2可基于从显示设备100接收到的源信息来显示与第二区域513相关的UI画面830。
如图8(c)中例示的，当发生通过社交网络服务(SNS)接收消息的事件时，显示与第二区域513相关的UI画面830的第二外围设备200-2可将当前显示的UI画面830切换成用于提供社交网络服务的公共UI画面840，并且显示该画面。
然而，本发明不限于此，并且当发生通过SNS接收消息的事件时，显示与第二区域513相关的UI画面830的第二外围设备200-2可重叠并显示公共UI画面840，以便在所显示的UI画面830上提供社交网络服务。
然而，本发明不限于此，并且当发生通过SNS接收消息的事件时，显示与第二区域513相关的UI画面830的第二外围设备200-2可显示与第二区域513相关的UI画面830，并且提供指示接收到该消息的通知服务。
图9是根据示例性实施例的执行显示设备和多个外围设备之间的多UI服务的第二示例性示图。
如图9(a)中例示的，显示设备100可根据用户命令来执行纸牌游戏相关应用，显示所执行应用的执行画面910。在显示设备100周围，可存在第一外围设备200-1至第四外围设备200-4。
另一方面，当显示关于纸牌游戏应用的执行画面910时，显示设备100可接收针对执行画面910中包括的各对象911-917的选择命令以及针对外围设备200-1至200-4的选择命令，在外围设备200-1至200-4上将显示与每个对象对应的UI画面。
具体地，在执行画面910中包括的相对于纸牌游戏应用的多个对象911-917当中，输入用于提供与第一对象911相关的UI服务的针对第一对象911和第一外围设备200-1的用户命令，显示设备100基于所输入的用户命令来提取与第一对象911相关的第一区域的源信息并且将该信息发送到第一外围设备200-1。当输入用于提供与第二对象相关的UI服务的针对第二对象913和第二外围设备200-2的用户命令时，显示设备100基于所输入的用户命令来提取与第二对象913相关的第二区域的源信息并且将该信息发送到第二外围设备200-2。
当输入用于提供与第三对象相关的UI服务的针对第三对象915和第三外围设备200-3的用户命令时，显示设备100基于所输入的用户命令来提取与第三对象915相关的第三区域的源信息并且将该信息发送到第三外围设备200-3。最后，当输入用于提供与第四对象相关的UI服务的针对第四对象917和第四外围设备200-4的用户命令时，显示设备100基于所输入的用户命令来提取与第四对象917相关的第三区域的源信息并且将该信息发送到第四外围设备200-4。
然而，本发明不限于此，并且显示设备100可基于与显示设备100靠近的第一外围设备200-1到第四外围设备200-4的每个位置，确定多个对象911至917当中的将被发送到第一外围设备200-1到第四外围设备200-4的对象。
例如，第一外围设备200-1和第四外围设备200-4可靠近显示设备100的上侧和下侧，并且第二外围设备200-2和第三外围设备200-3可与显示设备100的左侧和右侧靠近。在这种情况下，考虑到第一外围设备200-1至第四外围设备200-2的靠近位置，显示设备100可提取与第一对象911和第四对象917相关的第一区域和第四区域的源信息，并且将其发送到与上侧和下侧靠近的第一外围设备200-1和第四外围设备200-4。显示设备100可提取与第二外围设备200-2和第三外围设备200-3相关的第二区域和第三区域的源信息，并且将其发送到与左侧和右侧靠近的第二外围设备200-2和第三外围设备200-3。
因此，如图9(b)中所示，第一外围设备200-1和第二外围设备200-2可基于从显示设备100接收到的源信息，显示与第一对象911和第二对象913对应的UI画面911’和913’。第三外围设备200-3和第四外围设备200-4可基于从显示设备100接收到的源信息，显示分别与第三对象915和第四对象917对应的UI画面915’和917’。
另一方面，已经将第一对象911到第四对象917中的每个的源信息发送到第一外围设备200-1到第四外围设备200-4的显示设备100可基于构成执行画面910的第一到第五区域当中的除了与第一到第四区域相关的第一对象911到第四对象917之外的第五区域来编辑关于应用的执行画面910。
基于从显示设备100接收到的源信息，当从显示与第一对象911至第四对象917对应的UI画面911’至917’的第一外围设备200-1至第四外围设备200-4当中的第一外围设备200-1接收到与UI画面911’相关的用户命令时，输入用户命令被发送到显示设备100。当从第一外围设备200-1接收到用户命令时，显示设备100可基于接收到的用户命令来重新编辑并显示所显示的执行画面920。
图10是根据示例性实施例的执行显示设备和多个外围设备之间的多UI服务的第三示例性示图。
如图10中所示，显示设备100可在屏幕上显示内容列表UI 1010，内容列表UI 1010包括用于标识多个内容中的每个的缩略图。在显示内容列表UI1010的状态下，显示设备100可将与包括在内容列表UI 1010中的缩略图对应的内容源信息发送到能够基于用户命令进行通信的多个外围设备200当中的至少一个外围设备200。
如所例示的，在显示设备100的屏幕上显示的内容列表UI 1010可包括A至H缩略图图像，并且能够与显示设备100通信的外围设备200可以是智能TV、车载导航和笔记本。另一方面，用户可请求将与显示设备100的屏幕上显示的内容列表UI 1010中的A缩略图图像对应的内容在作为第一外围设备200-1的智能TV上显示，将与B缩略图图像对应的内容在作为第二外围设备200-2的导航上显示，并且将与C缩略图图像对应的内容在作为第三设备200-3的笔记本中显示。
响应于该请求，显示设备100提取与屏幕上显示的内容列表UI 1010中包括的多个缩略图图像当中的A缩略图图像相关的源信息并且将其发送到第一外围设备200-1，提取与B缩略图图像相关的源信息并且将其发送到第二外围设备200-2，并且提取与C缩略图图像相关的源信息并且将其发送到第三外围设备200-3。
因此，作为第一外围设备200-1的智能TV基于从显示设备100接收到的源信息来显示与A缩略图图像相关的A内容1020，并且第二外围设备200-2可基于从显示设备100接收到的源信息来显示与B缩略图图像系相关的B内容1030。作为第三外围设备200-2的笔记本可基于从显示设备100接收到的源信息，在屏幕上显示与C缩略图图像相关的C内容1040。
图11是根据示例性实施例的执行显示设备和多个外围设备之间的多UI服务的第四示例性示图。
如图11中例示的，显示设备100可按选项卡视景的形式显示应用的执行画面1110，并且构成应用执行画面1110的多个区域可包括用于显示A选项卡到C选项卡的第一区域1111到第三区域1115和用于显示从A选项卡到C选项卡当中选择的选项卡的第四区域1117。
如所例示的，当输入A选项卡到C选项卡当中的针对步骤A的选择命令时，用于显示选项卡视景类型的应用的执行画面1110的显示设备可将与A选项卡相关的A内容在第四区域1117上显示。
同时，用户可请求用采用显示设备100的屏幕上显示的选项卡视景格式的应用执行画面1110，在与显示设备100靠近的第一外围设备200-1上显示与B选项卡相关的b内容，并且在第二外围设备200-2上显示与C选项卡相关的C内容1130。
响应于此请求，显示设备100提取与显示B选项卡的第二区域1113关联的源信息并且将该信息发送到第一外围设备200-1，并且提取与显示C选项卡的第三区域1113相关的源信息并且将所提取的信息发送到第二外围设备200-2。
因此，第一外围设备200-1可基于从显示设备100接收到的源信息，在屏幕上显示在针对B选项卡的选择命令时要执行的b内容1120。第二外围设备200-2可基于从显示设备100接收到的源信息，在屏幕上显示在针对C选项卡的选择命令时要执行的c内容1130。
图12是根据示例性实施例的执行显示设备和多个外围设备之间的多UI服务的第四示例性示图。
如图12中例示的，根据示例性实施例，安装在诸如智能TV 10、智能冰箱20和智能空调30的家用电器上的显示设备100和外围设备200在外围设备200靠近预定阈值距离内时可彼此连接，并且可将与用于对显示设备进行控制100的操作的控制UI相关的源信息发送到外围设备200。
更具体地，当安装在智能TV 10中的显示设备100检测到外围设备200处于预定阈值距离内时，显示设备100提取用于控制智能TV 10的TV功能的源信息，并将所提取的源信息到外围设备200。因此，外围设备200可基于从智能TV 10接收到的源信息来生成用于控制智能TV 10的TV功能的控制UI 1210，并且将控制UI 1210在屏幕上显示。
安装在智能冰箱20中的显示设备100在检测到外围设备200处于预定阈值距离内时，提取用于控制智能冰箱20的制冷功能的源信息，并且将所提取的源信息发送到外围设备200。因此，外围设备200可基于从智冰箱20接收到的源信息来生成用于控制智能冰箱20的冰箱功能的控制UI 1220，并且将控制UI 1220在屏幕上显示。
安装在智能空调30中的显示设备100在检测到外围设备200处于预定阈值距离内时，提取用于控制智能空调30的空调功能的源信息，并且将所提取的源信息发送到外围设备200。因此，外围设备200可基于从智能空调30接收到的源信息来生成用于控制智能空调30的空调功能的控制UI 1230，并且将控制UI 1230在屏幕上显示。
根据另一个实施例，外围设备200可被安装在智能TV 10、智能冰箱20和智能空调30中的每个中，以执行用于控制每个家用电器的操作的显示设备100的执行程序，并且此可执行程序可被周期性更新并存储在外围设备200中。
因此，如果确定外围设备200位于距智能TV 10、智能冰箱20和智能空调30中的至少一个的预定阈值距离内并且连接到安装在家用电器上的显示设备100，则外围设备200可将与更新后的执行程序相关的源信息发送到安装在附近家用电器中的显示设备100。因此，安装在诸如智能TV 10、智能冰箱20和智能空调30的家用电器中的显示设备100基于从外围设备200接收到的源信息来将预先安装的执行程序更新成最新版本。
下文中，将详细描述根据本发明的用于控制与至少一个外围设备200执行多UI服务的显示设备100的操作的方法。
图13是根据示例性实施例的显示设备的控制方法的第一流程图。
如图13中例示的，显示设备100根据用户命令来显示用户所请求的应用的执行画面(S1310)。这里，应用执行画面可以是被划分成多个区域的UI画面。
当显示被划分成多个区域的应用的执行画面时，显示设备提取与构成应用执行画面的多个区域当中的将被发送到外围设备的区域相关的源信息(S1320)。这里，源信息可包括用于执行构成应用执行画面的多个区域当中的将被发送到外围设备200的区域的执行代码和资源中的至少一个。
当提取到源信息时，显示设备100将所提取的源信息发送到外围设备200(S1330)。因此，外围设备200可基于从显示设备100接收到的源信息来显示关于构成应用执行画面的多个区域当中的与接收到的源信息相关的区域的信息。
根据一个实施例，当多个外围设备200中的至少一个与显示设备100靠近时，显示设备100确定靠近外围设备200的位置。然后，显示设备100提取构成应用执行画面的多个区域当中的与外围设备200的位置相关的第一区域的源信息，并且将在显示设备100上提取的第一区域的源信息向靠近的外围设备200显示。因此，外围设备200可基于从显示设备100接收到的源信息来显示与第一区域相关的信息。
根据另一个实施例，当多个外围设备200中的至少一个外围设备200与显示设备100靠近时，显示设备100基于外围设备200的设备信息来显示外围设备200。设备可提取可在外围设备200中执行的第一区域的源信息并且将所提取的源信息发送到外围设备200。因此，外围设备200可基于从显示设备100接收到的源信息来显示与第一区域相关的信息。
根据另一个实施例，当多个外围设备200中的至少一个外围设备200与显示设备100靠近时，基于靠近外围设备200的设备信息和多个外围设备200中的每个的执行信息，显示设备100基于该信息来提取与显示设备100靠近的外围设备200中的可执行区域的源信息。然后，显示设备100可将所提取的源信息发送到与显示设备100靠近的外围设备200。
此时，如果构成应用执行画面的多个区域中的第一区域接收到用户命令或者接收到用户信息，则显示设备100可将第一区域的源信息发送到与预设第一条件对应的第一外围设备200-1。
同时，如果构成应用执行画面的多个区域当中的第二区域是用于显示内容的区域，则显示设备100可将第二区域的源信息发送到与显示设备100靠近的外围设备200当中的与预设第二条件对应的第二外围设备200-2。
根据另一个实施例，显示设备100可提取构成应用执行画面的多个区域当中的与用户命令对应的第一区域的源信息。当提取到第一区域的源信息时，显示设备100可将第一区域的源信息发送到可通信的外围设备200当中的与用户命令对应的外围设备200。
同时，显示设备100确定是否通过上述各种实施例从已经发送了所提取源信息的外围设备200接收到用户命令(S1340)。确定的结果是，当从已经发送源信息的外围设备200接收到用户命令时，显示设备100控制基于从外围设备200接收到的用户命令来执行应用的操作(S1350)。
具体地，从构成应用执行画面的多个区域当中接收与特定区域相关的源信息的外围设备200可基于接收到的源信息来显示与构成应用执行画面的多个区域当中的区域的部分相关的信息。在显示信息的同时，当输入用于控制应用的用户命令时，外围设备200将所输入的用户命令发送到显示设备100。因此，显示设备100可基于从外围设备200接收到的用户命令来控制操作应用的操作。
图14是根据另一个示例性实施例的显示设备的控制方法的第二流程图。
如图14中所示，显示设备100显示被划分成多个区域的应用的执行画面(S1410)。当显示被划分成多个区域的应用的执行画面时，显示设备提取与构成应用执行画面的多个区域当中的将被发送到外围设备的区域相关的源信息(S1420)。当提取到源信息时，显示设备100将所提取的源信息发送到外围设备200(S1430)。因此，外围设备200可基于从显示设备100接收到的源信息来显示关于构成应用执行画面的多个区域当中的与接收到的源信息相关的区域的信息。
上述的步骤S1410至S1430的操作与上述图13的步骤S1310至S1330的操作相同。因此，以下将省略步骤S1410至S1430的操作的详细描述。
另一方面，当步骤S1430中提取的源信息被发送到外围设备200时，显示设备100基于构成应用执行画面的多个区域当中的除了与被发送到外围设备的源信息相关的区域之外的剩余区域来编辑应用执行画面(S1440)。
例如，应用执行画面被划分为成第一至第三区域，并且与第一至第三区域中的第一区域相关的源信息被发送到与显示设备100靠近的外围设备200。在这种情况下，显示设备100可基于第一至第三区域中的除了第一区域之外的第二区域和第三区域来重构并显示应用执行画面。
同时，当输入了执行画面返回命令或者检测到发送源信息的外围设备200并没有靠近的事件时，显示设备100可对编辑后的执行画面进行重新编辑并且作为初始应用执行画面进行显示。
当发生用于将与改变后的区域相关的源信息发送到外围设备200的事件时，显示设备100可基于多个区域当中的除了改变后的区域之外的剩余区域对编辑后的执行画面进行重新编辑，并且显示重新编辑后的应用执行画面。
以上的示例性实施例和优点仅仅是示例性，将不被视为限制本发明构思。示例性实施例可容易地应用于其他类型的设备或装置。另外，对示例性实施例的描述旨在是例示性的，而没有限制本发明构思的范围，并且对于本领域的技术人员而言，许多替代形式、修改形式和变形形式将是显而易见的。