用于控制显示装置的方法和系统以及计算机可读记录介质的制作方法
【专利摘要】一种用于控制显示装置的便携式装置和方法，包括：接收显示在显示装置的屏幕上的图标的第一布置的第一显示信息；基于第一显示信息将图标的第一布置显示在便携式装置的显示器上；修改显示在便携式装置的显示器上的图标的第一布置，以产生图标的第二布置；基于图标的第二布置来产生第二显示信息；将用于将图标的第二布置显示在显示装置的显示器上的请求发送到显示装置，其中，所述请求包括第二显示信息。
【专利说明】用于控制显示装置的方法和系统以及计算机可读记录介质
【技术领域】
[0001]与示例性实施例一致的方法和设备涉及控制显示装置，更具体地，涉及一种用于远程地编辑显示装置的屏幕的方法和系统。
【背景技术】
[0002]具有通信功能的显示装置的功能已经多样化。例如，数字电视(TV)可执行多种功能，诸如web浏览、应用浏览和内容浏览以及接收广播内容的功能。
【发明内容】
[0003]技术问题
[0004]需要远程地控制显示装置的多种功能。
[0005]技术方案
[0006]一个或更多个示例性实施例提供一种用于使用便携式装置来控制显示在显示装置上的屏幕的方法和系统。
[0007]—个或更多个示例性实施例还提供了一种用于使用便携式装置来控制显示在显示装置上的包括多个应用的屏幕的方法和系统。
[0008]一个或更多个示例性实施例还提供了一种用于使用便携式装置基于显示在显示装置上的屏幕来控制显示装置的方法和系统。
[0009]发明的有益效果
[0010]根据以上实施例，可使用便携式装置来远程地控制显示装置的屏幕或/和功能。
【专利附图】
【附图说明】
[0011]通过参照附图详细描述示例性实施例，本发明的以上和/或其它方面和实施例将变得更加清楚，其中:
[0012]图1A是示出根据示例性实施例的用于控制显示装置的屏幕编辑和/或功能的系统的框图；
[0013]图1B是示出根据示例性实施例的用于控制显示装置的屏幕编辑和/或功能的系统的框图；
[0014]图2A是示出根据示例性实施例的便携式装置的框图；
[0015]图2B是示出根据示例性实施例的便携式装置的框图；
[0016]图3是示出根据示例性实施例的显示装置的框图；
[0017]图4是示出根据示例性实施例的控制显示装置的屏幕编辑的方法的流程图；
[0018]图5A到图是示出根据图4的方法的显示装置和便携式装置的屏幕的示图；
[0019]图6是示出根据示例性实施例的产生图4的方法的第二布置的处理的流程图；
[0020]图7是示出根据示例性实施例的在控制显示装置的屏幕编辑的方法中便携式装置的操作的流程图；
[0021]图8是示出根据示例性实施例的控制显示装置的屏幕编辑的方法的流程图；
[0022]图9是示出根据示例性实施例的控制显示装置的屏幕编辑的方法的流程图；
[0023]图10是示出根据示例性实施例的控制显示装置的屏幕编辑的方法的流程图；
[0024]图11是示出根据示例性实施例的控制显示装置的屏幕编辑和功能的方法的流程图；
[0025]图12是示出控制显示装置的功能的示图；
[0026]图13是示出根据示例性实施例的控制显示装置的屏幕编辑的方法的流程图；
[0027]图14是示出根据示例性实施例的控制显示装置的屏幕编辑的方法的流程图；
[0028]图15是示出根据示例性实施例的控制显示装置的屏幕编辑的方法的流程图；
[0029]图16是示出根据示例性实施例的控制显示装置的屏幕编辑的方法的流程图；
[0030]图17是示出根据示例性实施例的控制显示装置的屏幕编辑的方法的流程图；
[0031]图18是示出根据示例性实施例的执行显示装置的功能的方法的流程图；
[0032]图19是示出根据示例性实施例的控制显示装置的屏幕编辑的方法的流程图；
[0033]图20是示出根据示例性实施例的使用服务器来控制显示装置的屏幕编辑的方法的流程图；
[0034]图21是示出根据示例性实施例的控制显示装置的屏幕编辑的方法的流程图；
[0035]图22是示出根据示例性实施例的控制显示装置的屏幕编辑的方法的流程图。
【具体实施方式】
[0036]最优实施方案
[0037]根据示例性实施例的一方面，提供了一种用于控制显示装置的方法，所述方法包括:接收显示在显示装置的屏幕上的图标的第一布置的(或者指示或确定显示在显示装置的屏幕上的图标的第一布置的)第一显不信息；基于第一显不信息将图标的第一布置显不在便携式装置的显示器上；修改显示在便携式装置的显示器上的图标的第一布置，以产生图标的第二布置；基于图标的第二布置来产生第二显示信息；将对于将图标的第二布置显示在显示装置的显示器上的请求发送到显示装置，其中，所述请求包括第二显示信息。
[0038]第一显示信息可包括:图标的显示位置信息，其中，图标的显示位置信息指示显示在显示装置的屏幕上的图标的位置的。
[0039]显示位置信息可包括:指示显示在显示装置的屏幕上的处于坐标位置的图标参照显示装置的屏幕的坐标位置的绝对位置的坐标信息。
[0040]显示位置信息可包括:指示在显示装置的屏幕上图标相对于彼此的相对位置的坐标信息。
[0041]第一显示信息还可包括:图标的图标图像数据。
[0042]第一显示信息可以是可扩展标记语言(XML)数据。
[0043]第二显示信息可以是(或者包括或相应于):被修改为指示将显示在显示装置的屏幕上的图标的新位置的第一显示信息。
[0044]第二显示信息可以是(或者包括或相应于):第一显示信息与将显示在显示装置的屏幕上的图标的新位置之间的差异。
[0045]所述方法还可包括:在显示装置将图标的第一布置显示在显示装置的显示器上的同时，将图标的第二布置显示在便携式装置的显示器上。
[0046]所述修改步骤可包括下列步骤中的至少一个步骤:将图标的第一布置下的图标中的至少一个图标的位置改变为图标的第二布置下的图标中的所述至少一个图标的新位置；删除图标的第一布置下的图标中的所述至少一个图标；将新图标添加到图标的第一布置下的图标。
[0047]第一显示信息是可扩展标记语言(XML)数据，并且所述修改步骤可包括:基于所述改变、所述删除和所述添加中的至少一个来修改XML数据。
[0048]所述修改步骤可包括:接收在便携式显示器的显示器上的输入，其中，所述输入用于修改图标的第一布置下的图标；基于所述输入来产生图标的第二布置。
[0049]图标可包括:表示将由显示装置再现的内容的图标和表示显示装置的应用的图标。
[0050]根据另一示例性实施例的一方面，提供了一种便携式装置，包括:显示器；通信单元，接收显示在显示装置的屏幕上的图标的第一布置的(或者指示或确定显示在显示装置的屏幕上的图标的第一布置的)第一显不信息；控制器，基于第一显不信息控制显不器将图标的第一布置显示在显示器上，接收修改显示在显示器上的图标的第一布置的输入，基于所述输入来产生图标的第二布置，基于图标的第二布置来产生第二显示信息，并控制通信单元将对于将图标的第二布置显示在显示装置的显示器上的请求发送到显示装置，其中，所述请求包括第二显示信息。
[0051]根据另一示例性实施例的一方面，提供了一种记录有促使便携式装置执行编辑显示装置的屏幕的方法的程序的非暂时性计算机可读介质，所述方法包括:接收显示在显示装置的屏幕上的图标的第一布置的(或者指示或确定显示在显示装置的屏幕上的图标的第一布置的)第一显示信息；基于第一显示信息将图标的第一布置显示在便携式装置的显示器上；修改显示在便携式装置的显示器上的图标的第一布置，以产生图标的第二布置；基于图标的第二布置来产生第二显示信息；将对于将图标的第二布置显示在显示装置的显示器上的请求发送到显示装置，其中，所述请求包括第二显示信息。
[0052]发明模式
[0053]当在此使用术语“和/或”时，该术语包括一个或更多个相关列出项的任何以及全部组合。当诸如“……中的至少一个”的表述位于一列元素之后时，该表达修饰整列元素而不修饰所述列中的单个元素。
[0054]现在将参照附图更全面地描述示例性实施例。然而，应理解的是，示例性实施例不限于所公开的特定形式，而是示例性实施例涵盖落入本公开的精神和范围内的所有修改、等同物和替代物。另外，当描述示例性实施例时，省略会模糊本发明的发明点的关于相关的公知功能或配置的详细描述。
[0055]当在此使用术语“第一”、“第二”等以及“首要”、“次要”等时，所述术语并不表示任何顺序、数量或重要性，而是用于使元件、区域、组件、层或区段彼此区分。
[0056]在此使用的大多数术语是在本公开所属【技术领域】中已被广泛使用的一般术语。然而，在此使用的一些术语可被创建以反映本领域技术人员的意图、先例或者新技术。另外，在此使用的一些术语可被任意地选择。在这样的情况下，以下将对所述术语进行详细描述。因此，应该基于在此使用的特定术语的独特含义和本公开的上下文来理解所述特定术语。
[0057]当在此使用单数形式时，除非上下文清楚地另有指示，否则所述单数形式也意在包括复数形式。还将理解的是，在此使用的术语“包括”和/或“包括……的”表示存在陈述的特征、整体、步骤、操作、构件、组件和/或上述项的组合，但不排除存在或添加一个或更多个其它特征、整体、步骤、操作、构件、组件和/或上述项的组合。
[0058]在此使用的表述“第一布置”和“第二布置”分别指示基于包括在所显示的屏幕中的信息的位置的一维(ID)或二维(2D)布置。所显示的屏幕的示例可包括:菜单屏幕、应用浏览屏幕、内容浏览屏幕、web浏览屏幕和外围装置控制屏幕。
[0059]在此使用的术语“对象”指示包括在屏幕中的信息片段，其中，所述屏幕被显示。包括在屏幕中的信息的示例可包括:应用的图像、内容的图像、web页的图像和外围装置的图像。应用的图像、内容的图像、web页的图像和外围装置的图像中的每一个指示可清楚地呈现应用、内容、web页和外围装置中的每一个的象征图像或作为菜单项显示的图像。应用的图像可与例如应用的图标相应。
[0060]表述“对象的信息”指示应用、内容、web页和外围装置的信息。对象的信息可包括象征图像(诸如，图标、缩略图)或作为菜单项显示的图像。在此使用的对象的信息可包括:包括在屏幕中的信息以及未包括在屏幕中的信息。包括在屏幕中的信息的示例可包括下列项中的至少一个:象征图像、缩略图和作为菜单项显示的图像。未包括在屏幕中的信息可包括下列项中的至少一个:例如，显示位置信息、应用具体信息(或指导信息)、应用预览信息和应用编辑控制信息(例如，移动、擦除、复制、设置、添加等)。应用具体信息可包括:应用的标题、应用的类型和指示应用内容的信息。
[0061]与应用的信息相似，内容的信息、web页的信息和外围装置的信息可包括:包括在屏幕中的信息和未包括在屏幕中的信息。未包括在屏幕中的信息指示未显示在屏幕上的信息。未包括在屏幕中的信息可指示信息的元数据或属性信息。
[0062]外围装置指示可连接到显示装置的装置。外围装置的示例可包括:例如，媒体记录/再现设备、打印机、相机和音频设备。
[0063]在此使用的表述“第一布置”和“第二布置”均指示屏幕上的信息的布置。也就是说，第一布置和第二布置中的每一个可指示屏幕上的作为菜单项显示的应用的布置、屏幕上的内容的布置、屏幕上的作为菜单项显示的web页的布置或屏幕上的作为菜单项显示的外围装置的布置。
[0064]第一布置指示基于显示在显示装置上的屏幕的布置。第二布置指示通过控制便携式装置的屏幕编辑而产生的布置。因此，第二布置可指示包括通过基于第一布置改变包括在屏幕中的信息而获得的信息的整个屏幕的信息布置。然而，第二布置可仅指示屏幕上的改变后的信息的布置。
[0065]基于显示在显示装置上的多个对象的信息来控制屏幕编辑可被解释为控制显示在显示装置上的信息的屏幕编辑或者对显示装置进行控制。
[0066]在此使用的表述“用户输入信息”可取决于用户手势。可根据输入装置来定义用户手势。也就是说，当输入装置基于触摸屏时，用户手势的示例可包括但不限于:例如，轻击、触摸并保持、两次轻击、拖动、平移、轻弹、拖放和轻拂。可通过使用用户的手指或触摸工具(例如，手写笔)来执行基于触摸屏的用户手势。
[0067]当输入装置基于相机时，用户手势的示例可包括:基于由相机捕捉的图像的空间手势。然而，用户手势的示例可包括:基于便携式装置的移动的空间手势(例如，便携式装置的摇晃)。
[0068]当输入装置包括物理按钮、转盘、滑动开关、操纵杆和点击式转盘中的至少一个时，用户输入信息可取决于用户对输入装置的物理控制。当输入装置基于音频输入装置时，用户输入信息可取决于基于自然语言的对用户的语音的语音识别。
[0069]现在将参照示出示例性实施例的附图更全面地描述示例性实施例。在附图中，相同或相应的元件由相同或相应的标号来表示，因此将不对相同或相应的元件进行重复描述。
[0070]图1A是示出根据示例性实施例的用于编辑显示装置120的屏幕的图1A中的系统100的框图。图1A的框图可示出便携式装置110、显示装置120和服务器130之间的网络配置。
[0071]参照图1A，系统100包括:便携式装置110、显示装置120和服务器130。
[0072]系统不限于图1A中示出的系统100，而是可根据图1B中的系统101而实施。如图1B中示出，系统101包括:便携式装置111和显示装置121。便携式装置110和111以及显示装置120和121可被分别称作第一装置和第二装置。便携式装置110和111可表示用于控制显示装置120和121的屏幕编辑的装置或用于控制显示装置120和121的装置。
[0073]图1A和图1B的便携式装置110和111的示例可包括智能电话、笔记本、平板、移动装置、手持式装置、手持式PC、平板电话和个人数字助理(PDA)，但不限于此。
[0074]图1A的便携式装置110从显示装置120或服务器130接收显示在显示装置120上的屏幕的信息。便携式装置110基于屏幕的信息来产生用于编辑显示在显示装置120上的屏幕的编辑控制信号。便携式装置110还可产生用于控制显示装置120的功能的功能控制信号。便携式装置110将编辑控制信号或功能控制信号发送到显示装置120或服务器130。
[0075]图1B的便携式装置111从显示装置121接收显示在显示装置121上的屏幕的信息。便携式装置111基于屏幕的信息来产生针对显示在显示装置121上的屏幕的编辑控制信号或功能控制信号。便携式装置111将编辑控制信号或功能控制信号发送到显示装置121。
[0076]图1A和图1B的显示装置120和121的示例可包括:具有通信功能的电视以及具有通信功能和显示功能的数字消费电子(CE)装置，但不限于此。数字CE装置的示例可包括:具有通信功能的数字TV和冰箱以及互联网协议TV(IPTV)，但不限于此。
[0077]当显示信息请求信号被接收到时，图1A的显示装置120将所显示的屏幕的信息发送到移动装置110或服务器130。当针对所显示的屏幕的信息的编辑控制信号或功能控制信号从便携式装置110或服务器130被接收到时，显示装置120根据编辑控制信号来编辑所显示的屏幕，或者根据功能控制信号来控制基于所显示的屏幕的功能。编辑所显示的屏幕是这样的控制:所述控制用于调整所显示的屏幕，以显示新信息或对显示在屏幕上的信息的不同配置。基于屏幕的功能控制信号可以是例如用于执行显示屏幕上所涉及的应用的应用执行控制信号。
[0078]当显示信息请求信号被接收到时，图1B的显示装置121将所显示的屏幕的信息发送到便携式装置111。当针对所显示的屏幕的信息的编辑控制信号或功能控制信号从便携式装置111被接收到时，显示装置121可根据编辑控制信号来编辑所显示的屏幕，或者根据功能控制信号来控制基于所显示的屏幕的功能。基于屏幕的功能控制信号可以是例如用于执行显示屏幕上所涉及的应用的应用执行控制信号。
[0079]图1A的服务器130与便携式装置110和显示装置120进行通信，以控制显示装置120的屏幕编辑和/或功能。
[0080]服务器130包括:通信单元131、存储单元132和处理器133。通信单元131可与便携式装置110和显示装置120进行有线通信或无线通信。因此，可按照与包括在便携式装置110中的通信单元208相似的方式来配置和操作通信单元131，以下将对此进行解释。
[0081]存储单元132存储可由处理器133执行的至少一个程序以及程序资源。具体地，存储单元132存储显示在显示装置120上的屏幕的编辑历史信息，从而存储对显示在显示装置120上的屏幕所做出的编辑的历史。编辑历史信息可与用户、便携式装置和编辑后的对象相关联地存储。另外，编辑历史信息可与这样的路径或信息相关联地存储:通过或利用所述路径或息，被擦除的息或编辑后的息可被恢复。
[0082]处理器133可包括至少一个处理器。处理器133通过加载存储在存储单元132中的程序来从便携式装置I1接收显示在显示装置120上的请求信号，从显示装置120接收按照第一布置显示的多个应用的信息，将所述多个应用的信息发送到便携式装置110，并将从便携式装置HO接收到的所述多个应用的第二布置的信息发送到显示装置120。所述多个应用的信息指示显示在显示装置120上的屏幕信息。
[0083]当系统是如图1A中所示的包括便携式装置110、显示装置120和服务器130的系统100时，便携式装置110和显示装置120通过服务器130发送和接收用于控制屏幕编辑和/或功能的信息。
[0084]服务器130的示例可包括云服务器和家庭网关，但不限于此。
[0085]当系统是如图1B中所示的包括便携式装置111和显示装置121的系统101时，用于控制屏幕编辑和/或功能的信息可在便携式装置111和显示装置121之间直接发送和接收，而无需将服务器130用作中介装置。
[0086]图2A是示出根据示例性实施例的图1A和图1B的便携式装置110和111中的每一个的框图。
[0087]参照图2A，便携式装置110和111中的每一个包括:用户输入单元201、感测单元
202、触摸屏203、相机204、音频输入单元205、音频输出单元206、存储单元207、通信单元208、端口 209、处理器210和供电单元211。然而，便携式装置110和111中的每一个的结构不限于此。
[0088]用户输入单元201接收用于控制便携式装置110和111中的每一个的操作的输入(或控制数据)。用户输入单元201可包括下列项中的至少一个:键区、圆顶开关、可替代鼠标的触摸板、滚轮、滚轮开关和硬件(H/W)按钮。感测单元202检测便携式装置110和111中的每一个的当前状态(诸如，便携式装置110和111中的每一个的位置、用户是否接触到便携式移动装置110和111、便携式装置110和111中的每一个的方位或便携式装置110和111中的每一个的减速)，并产生用于控制便携式装置110和111中的每一个的操作的传感信号。
[0089]感测单元202可包括接近传感器。接近传感器指示这样的传感器:所述传感器通过使用电磁场或红外线而并非机械接触，来检测接近预设的检测表面的对象的存在或存在于预设的检测表面周围的对象的存在。接近传感器的示例包括:透射式光电传感器、直接反射型光电传感器、镜面反射型光电传感器、高频振荡型接近传感器、静电电容型接近传感器、磁性接近传感器和红外接近传感器。
[0090]可通过取决于用户手势的用户请求或选择来产生基于触摸屏203的用户输入数据。可根据触摸发生的次数、触摸样式(pattern)、触摸区域、触摸强度或压力中的一个或更多个来定义用户手势。基于用户手指的触摸被解释为可接触触摸屏203的触摸区域的用户身体部位的触摸。
[0091]另外，触摸屏203可包括用于检测触摸屏203的触摸或接近触摸的各种传感器中的任意传感器。包括在触摸屏203中的传感器指示这样的传感器:所述传感器检测触摸屏203上的样式或用户手势，并产生通过感测被识别为用户手势的拖动、轻弹、轻击、触摸并保持、两次轻击、平移或轻拂而获得的信号。
[0092]用于检测触摸屏203的触摸的传感器的示例是触觉传感器。触觉传感器可检测多种信息片段，诸如接触表面的粗糙度、接触对象的硬度和接触点的温度。对触摸屏203的触摸与指点装置触摸面板的情况相应。触摸的示例可包括多点触摸。触摸屏203的接近触摸与指点装置实际上没有触摸触摸屏203，而是到达与触摸屏203相距预定距离的位置的情况相应。指点装置是用于触摸触摸屏203的特定部分或接近于触摸屏203的位置的工具。指点装置的示例可包括手写笔和用户的手指。指点装置可表示外部输入装置。
[0093]当屏幕编辑被控制时，可提供基于手写笔的用户界面(UI)。例如，可提供这样的U1:所述UI在包括在触摸屏203上所显示的屏幕中的信息上显示特定标记(例如，当信息被擦除时，标记“X”)，并通过使用手写笔来移除所述信息或者移动屏幕信息(比如，spoide效果)。Spoide效果指示这样的现象:像是水(屏幕信息)被吸入spoide (手写笔)内，然后从spoide落下。
[0094]触摸屏203输出由便携式装置110和111中的每一个处理的信息。例如，触摸屏203响应于下列项而显示屏幕:由感测单元202检测到的信号，或通过用户输入单元201输入的用户输入信息或控制数据，或由包括在触摸屏203中的感测单元感测到的触摸样式或用户手势。触摸屏203可表示输入/输出(I/O)装置。当触摸屏203是I/O装置时，显示在触摸屏203上的屏幕包括Π或图形用户界面(⑶I)。触摸屏203按照从显示装置120接收到的第一布置来显示屏幕信息，并基于用户输入信息来显示改变后的屏幕信息，并且接收用户输入信息。
[0095]触摸屏203的示例可包括但不限于:液晶显示器(IXD)、薄膜晶体管IXD、有机发光二极管显示器、柔性显示器、3D显示器和有源矩阵有机发光二极管(AMOLED)显示器。触摸屏203可表示显示器。可根据便携式装置110和111的类型来提供两个或更多个触摸屏
203。
[0096]相机204处理图像帧，诸如在视频呼叫模式、拍摄模式等模式下由图像传感器获得的静止图像或运动图像。可将处理后的图像帧显示在触摸屏203上。由相机204处理的图像巾贞可被存储在存储单元207中，或者可通过通信单元208或端口 209被发送到目标装置。根据便携式装置110和111中的每一个的结构，相机204可包括两个或更多个相机。另夕卜，相机204可用作对用户的空间手势进行识别的输入装置。
[0097]音频输入单元205在呼叫模式、视频记录模式、语音识别模式等模式下接收外部声音信号，将所述外部声音信号转换为电语音数据，并将所述电语音数据发送到处理器210。音频输入单元205可包括:例如，麦克风。音频输入单元205可包括用于去除在接收外部声音信号时所产生的噪音的各种去噪算法。
[0098]使用音频输入单兀205输入的声音信号可以是用于编辑显不装置120和121中的每一个的屏幕或者控制屏幕上的功能的用户输入信息。也就是说，通过使用音频输入单元205而输入的声音信号可以是从基于自然语言的对用户语音的语音识别获得的用户输入信息。通过音频输入单兀205输入的外部声音信号可被存储在存储单兀207中，或者可通过通信单元208或端口 209被发送到目标装置。
[0099]根据便携式装置110和111与用户之间的界面功能，用户输入单元201、感测单元202、触摸屏203、相机204和音频输入单元205均可表示输入装置或I/O装置。例如，当便携式装置110和111与用户之间的界面功能包括触摸识别功能、语音识别功能和空间手势识别功能时，用户输入单元201、感测单元202、相机204和音频输入单元205均可表示输入装置，而触摸屏203可表示I/O装置。
[0100]音频输出单元206输出在呼叫模式、音频再现模式等模式下从外部接收到的声音信号或音频信号。音频信号输出单兀206可包括扬声器。音频输入单兀205和音频输出单元206可被整体地配置，诸如以头戴式耳机的形式。
[0101]存储单元207存储可由处理器210执行的至少一个程序以及程序资源。所述至少一个程序的示例包括:用于执行控制基于屏幕的功能和/或编辑显示装置120和121中的每一个的屏幕的方法的程序，便携式装置110和111中的每一个的操作系统程序，便携式装置110和111中的每一个的应用，以及执行便携式装置110和111中的每一个的各种功能(例如，通信功能和显示功能)所需的程序。
[0102]程序资源的示例包括:执行程序所需的信息，用于控制屏幕编辑的UI屏幕信息，以及答复所选择的编辑控制功能的消息信息。
[0103]用于控制屏幕编辑的Π屏幕信息可包括:用于所选择的屏幕信息的屏幕编辑(移动、擦除、复制、添加、设置或备份)的UI屏幕信息。用于控制屏幕上的功能的UI屏幕信息可包括:用于执行所选择的屏幕信息的UI屏幕信息。用于控制屏幕编辑的UI屏幕信息和用于控制基于屏幕的功能的UI屏幕信息可被一起提供。
[0104]存储在存储单元207中的用于执行控制显示装置120和121中的每一个的屏幕编辑和/或功能的方法的程序可包括:用于控制显示装置120和121中的每一个的屏幕编辑和/或功能的应用，或包括显示装置120和121中的每一个的屏幕编辑菜单和/或功能控制菜单的遥控应用。
[0105]因此，控制显示装置120和121中的每一个的屏幕编辑和/或功能的方法可在用于控制屏幕编辑和/或功能的应用被执行之后被执行或者在遥控应用被执行之后被执行，随后屏幕编辑或功能控制被执行。
[0106]存储单元207可单独地包括下列存储单元:存储执行便携式装置110和111中的每一个的各种功能所需的至少一个程序(包括操作系统)的存储单元，存储应用以及用于执行控制显示装置120和121的屏幕编辑的方法的资源和至少一个程序的存储单元。
[0107]另外，存储单元207可存储编辑历史信息。也就是说，编辑历史信息可由处理器210作为第二布置而产生，并可被存储在存储单元207中。可产生编辑历史信息，使得所有编辑后的程序被顺序地获知。可选地，可以以编辑后的屏幕为单元来产生编辑历史信息，使得编辑之前的屏幕的内容和编辑之后的屏幕的内容被获知。
[0108]存储单元207的示例可包括:非易失性存储器(诸如高速随机存取存储器(RAM)、磁盘存储装置或闪存)和其它非易失性半导体装置。因此，存储单元207可表示存储器。
[0109]通信单元208被配置为经由有线网络或无线网络将数据发送到显示装置120和服务器130并从显示装置120和服务器130接收数据，其中，无线网络诸如:无线互联网、无线内联网、无线电话网络、无线局域网(LAN)、W1-Fi网络、W1-Fi直接(WFD)网络、第三代(3G)网络、第四代(4G)LTE(长期演进)网络、蓝牙网络、红外线数据协会(IrDA)网络、射频识别(RFID)网络、超宽带(UWB)网络、ZigBee网络和近场通信网络。
[0110]通信单元208可包括以下中的至少一个但不限于此:广播接收模块、移动通信模块、无线互联网模块、有线因特网模块、短距离通信模块和位置信息模块。
[0111]广播接收模块通过广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道的示例可包括卫星信道和地面信道。移动通信模块经由移动通信网络将无线信号发送到基站、外部终端(例如，显示装置120和121中的每一个)和服务器130中至少一个，并从基站、外部终端(例如，显示装置120和121中的每一个)和服务器130中至少一个接收无线信号。无线信号可包括各种类型的数据，诸如语音呼叫信号、视频呼叫或文本/多媒体消息发送/接收。无线互联网模块指示用于无线互联网访问的模块。有线网络模块指示用于有线互联网访问的模块。
[0112]短距离通信模块指示用于基于短距离的通信的模块。短距离通信技术的示例可包括:基于蓝牙的技术、基于RFID的技术、基于红外通信的技术、基于UWB的技术、基于Zigbee的技术、基于WFD的技术和基于近场通信(NFC)的技术。
[0113]位置信息模块是用于检测或获得便携式装置110和111中的每一个的位置的模块。例如，位置信息模块可以是全球定位系统(GPS)模块。GPS模块从多个卫星接收位置信息。位置信息可包括:具有维度和经度的坐标信息。
[0114]端口 209可使用即插即用接口(诸如，通用串行总线(USB)端口(未示出))与外部装置(未示出)进行数据的发送和接收。即插即用接口指示这样的模块:所述模块允许外部装置与便携式装置110和111连接并自动被配置用于访问。
[0115]供电单元211对便携式装置110和111中的每一个的各种元件进行供电。供电单元211包括:至少一个电源，诸如，电池或交流电(AC)电源。便携式装置110和111中的每一个可不包括供电单元211，而是可包括可连接到外部供电单元(未示出)的连接单元(未示出)。
[0116]处理器210可以是用于控制便携式装置110和111中的每一个的整体操作的至少一个处理器。根据便携式装置I1和111中的每一个的功能，处理器210的至少一个处理器可以是多个处理器或处理器核心，并且可作为多个处理器而进行操作。
[0117]处理器210可控制用户输入单元201、感测单元202、触摸屏203、相机204、音频输入单元205、音频输出单元206、存储单元207、通信单元208、端口 209和供电单元210。因此，处理器210可表示控制器、微处理器或数字信号处理器。另外，处理器210可提供基于触摸屏203的用户界面和通过使用与输入装置相应的用户输入单元210、感测单元202、相机203和音频输入单兀205而输入的用户输入信息。处理器210可通过至少一条总线(未示出)与便携式装置110和111的元件连接，其中，所述至少一条总线使便携式装置110和111的元件彼此连接。
[0118]处理器210可执行与控制显示装置120和121中的每一个的屏幕编辑和/或功能的方法相关的至少一个程序。处理器210可从存储单元207读取程序并执行所述程序，或者可从通过通信单元208连接的外部装置(诸如，应用提供服务器(未示出)或市场服务器(未示出))下载程序并执行所述程序。将理解的是，处理器210包括:处理器210与便携式装置110和111中的每一个中的各种功能模块之间的接口功能单元。可如图4、图6-图8、图9-图11和图19中所示地执行与控制显示装置120和121中的每一个的屏幕编辑和/或功能的方法相关的处理器210的操作。
[0119]图2B是示出根据另一示例性实施例的图1A和图1B的便携式装置110和111中的每一个的框图。参照图2B，便携式装置110和111中的每一个包括:触摸屏220、处理器221、存储器222和通信单元223。触摸屏220按照与图2A的触摸屏203相同的方式被配置，并且显示多个对象并接收用户输入信息。
[0120]通信单元223按照与图2A的通信单元208相同的方式被配置，并且与显示装置120和121中的每一个进行通信。
[0121]处理器221提供基于触摸屏220的用户界面，从显示装置120和121中的每一个接收第一布置下的多个对象的信息，基于所述多个对象的信息在触摸屏220上显示所述多个对象，产生第二布置并基于用户输入信息来改变所述多个对象的信息，并将第二布置的信息发送到显示装置120和121中的每一个。因此，可使用触摸屏220来编辑所述多个对象中的至少一个，并且可由显示装置120和121基于第二布置的信息将编辑后的多个对象显示在显示装置120和121中的每一个上。
[0122]图3是示出显示装置的框图。显示装置可以是图1A和图1B的显示装置120和121。在图3中，显示装置120和121可以是具有通信功能的TV。
[0123]参照图3，显示装置120和121中的每一个包括:无线通信单元301、通信单元302、广播信号接收单元303、存储单元304、处理器305、图像处理单元306、显示单元307、音频处理单元308、音频输出单元309和音频输入单元310。显示装置120和121不限于图3中的结构，并且可不包括广播信号接收单元303。
[0124]无线通信单元301被配置为与例如遥控器(未示出)进行无线通信。当遥控器可包括IR发送器时，无线通信单元301可包括:相应的IR接收器，接收从遥控器发送的红外信号，对所述红外信号进行解调，并将解调后的红外信号发送到处理器305。当遥控器可包括RF模块时，无线通信单元301可包括:相应的RF模块，接收从遥控器发送的RF信号，并将所述RF信号发送到处理器305。无线通信单元301不限于IR接收器和RF模块，并且可被配置为采用一种或更多种其它技术(例如，诸如蓝牙通信技术的短距离通信技术)。
[0125]通信单元302经由无线通信模块与便携式装置110和111中的每一个或服务器130进行无线数据通信。显示装置120和121可经由无线通信网络、有线通信网络与便携式装置110和111中的每一个以及服务器130进行通信，其中，无线通信网络诸如蓝牙网络、RFID网络、WiFi网络、IrDA网络、UWB网络、Zigbee网络或近场通信(NFC)网络，有线通信网络诸如家庭电话线网络联盟(PNA)、电力线通信(PLC)、IEEE 1394、有线互联网或其它各种家庭网络中的任何一种。
[0126]当从通过通信单元302连接的便携式装置110和111中的每一个或服务器130接收到针对正显示的信息的请求信号时，处理器305通过通信单元302将显示在显示单元307上的信息发送到请求的便携式装置110和111中的每一个或请求的服务器130，并基于从便携式装置110或111中的每一个或服务器130顺序地接收到的第二布置的信息来编辑并显示显示在显示单元307上的信息片段中的至少一个，或者对功能进行控制。如同图2A的处理器210，处理器305可包括至少一个处理器。
[0127]广播信号接收单元303将从调谐器(未示出)接收到的广播信号划分为图像信号和语音信号，并输出所述图像信号和语音信号。也就是说，调谐器从通过天线接收到的RF广播信号当中选择与先前存储的所有频道或由用户选择的频道相应的RF广播信号。另外，调谐器将所选择的RF广播信号转换为中频信号、基带图像或语音信号。中频信号、基带图像或语音信号被输入到处理器305。
[0128]存储单元304可以是这样的存储器:所述存储器存储用于处理和控制由处理器305执行的各种信号的程序，并且可存储便携式装置110和111中的每一个的信息、显示装置120和121中的每一个的信息以及显示装置120和121中的每一个的用户信息。便携式装置110和111中的每一个的信息可用于:当存在来自便携式装置110和111中的每一个的访问控制授权请求信号时，确定是否允许访问。可选地，便携式装置110和111中的每一个的信息可用于:在显示在显示装置120和121中的每一个上的信息被发送到便携式装置110和111中的每一个之后，显示连接到显示装置120和121中的每一个的便携式装置110和111中的每一个。便携式装置110和111中的每一个的信息可表示授权信息。
[0129]处理器305控制显示装置120和121中的每一个的整体功能。处理器305可控制通过通信单元302与便携式装置110和111进行的数据交换。处理器305可通过执行存储在存储单元304中的程序来形成UI屏幕，并通过图像处理单元306将UI屏幕显示在显示单元307上。
[0130]UI屏幕可包括:显示便携式装置110和111中的每一个的信息的屏幕。另外，UI屏幕可包括:显示通过便携式装置110和111中的每一个选择的屏幕信息(例如，应用)的屏幕。也就是说，当接收到通过便携式装置110和111中的每一个所选择的应用的信息时，可提供可将所选择的应用与未被选择的应用进行区分的UI屏幕。
[0131]图像处理单元306包括:图像解码器(未示出)和缩放器(未示出)。图像处理单元306处理将显示在屏幕上的从广播信号接收单元303输出的图像信号。图像解码器对解复用后的图像信号进行解码，缩放器针对显示单元307执行缩放，以输出解码后的图像信号的分辨率。
[0132]显示单元307可输出由图像处理单元306处理的图像。输出的图像的示例可包括:从广播信号接收单元303接收到的图像、UI屏幕、包括多个应用的应用浏览屏幕、包括内容的内容浏览屏幕、web浏览屏幕和可选择的外围装置控制屏幕。显示单元307可包括触摸屏，并且可用作输入装置。
[0133]音频处理单元308处理从广播信号接收单元303输出的语音信号和包括在通过通信单元302接收到的内容中的音频，并将处理后的语音信号和音频输出到音频输出单元309。音频输出单兀309可被不同地配置为输出立体声信号、3.1声道信号或5.1声道信号。
[0134]另外，音频处理单元308可处理从音频输入单元310输入的信号，并将所述信号发送到处理器305。音频输入单元310可包括麦克风。
[0135]图4是示出根据示例性实施例的控制显示装置120和121的屏幕编辑的方法的流程图。虽然可由图2A的处理器210或图2B的处理器221来执行图4的方法，但是为了便于进行解释，将基于处理器210与显示装置120之间的关系来解释下文。
[0136]在操作S401，处理器210通过通信单元208从显示装置120接收多个对象的信息。所述多个对象的信息是显示装置120上的按照第一布置显示的屏幕信息。显示装置120可表示外部显示装置。
[0137]为了接收所述多个对象的信息，处理器210可执行单独的屏幕编辑控制应用或者可执行存储在存储单元207中的遥控应用，并选择屏幕编辑菜单项来执行用于控制屏幕编辑的功能。处理器210可通过通信单元208将显示信息请求信号发送到显示装置120。
[0138]接收到的信息可包括下列项中的至少一个:例如，每个对象的显示图像信息(诸如，应用或缩略图标)、每个对象的显示位置信息(诸如，相对坐标位置或绝对坐标位置、或指示对象相对于彼此或显示屏幕的布置的布局信息)、每个对象的详细信息(诸如，对象的标识、包括标题的元数据、URL、文件类型、到对象的文件路径、对象的属性等)、每个对象的预览信息(对象的预览数据或简要描述)和每个对象的编辑控制信息(诸如，可对对象执行的可用命令，例如删除、移动、隐藏、备份、设置等)。
[0139]删除命令可以是用于删除对象的命令。移动命令可以是用于改变所显示的对象的位置的命令。隐藏命令可以是用于使对象从用户的视野隐藏的命令。备份命令可以是用于将存储在显示装置120中的对象备份到便携式装置110或服务器130的命令。设置命令可以是用于设置对象的属性(诸如内容的音频或视频再现属性)的命令。当对内容进行再现时，音频再现属性可以是声道信息(立体声、5:1、6:1等)、声音效果信息、音量信息、衰减信息、平衡信息等。视频再现属性可以是对比度、色彩平衡、亮度、屏幕宽高比等。另外，接收到的信息可包括:通过捕捉显示在显示装置120上的信息而获得的信息，例如，图标的图像或对象的布置。
[0140]可根据可由便携式装置110解译的格式、可由显示装置120解译的格式或可由便携式装置110和显示装置120解译的通用格式(诸如，可扩展标记语言(XML)格式)来形成信息的格式。便携式装置110、显示装置120和服务器130必要时可将信息在格式之间进行转换。
[0141]在操作S402，处理器210基于通过通信单元208接收到的信息，按照第一布置将多个对象显示在便携式装置110的触摸屏203上。最初显示在触摸屏203上的屏幕按照第一布置来显示所述多个对象。触摸屏203可复制显示装置120的屏幕，或者可在显示在触摸屏203上的子窗口内复制显示装置120的屏幕。处理器210可将接收到的信息重建为适合于触摸屏203。例如，如果显示装置120的屏幕在尺寸上比触摸屏203大，则可按比例缩小所述多个对象以将其显示在触摸屏上。因此，即使显示装置110的显示尺寸与触摸屏203的尺寸不同，也仍可将所述多个对象如实地再现在触摸屏203上。
[0142]图5A到图是示出当用于编辑显示装置120和121的屏幕的屏幕编辑功能被执行时，显示在显示装置120和121以及便携式装置110和111上的屏幕的示图。
[0143]参照图5A，当屏幕510被显示在显示装置120和121上时，显示在便携式装置110和111中的每一个的显示单元203上的屏幕511与屏幕510相同(换言之，所述屏幕最初按照相同的总布置来显示相同的内容)。在图5A中，多个应用被显示在屏幕510上，并且所述多个应用的布置被复制在屏幕511上。当用户选择所显示的应用中的一个或更多个时，在屏幕511上布置可随后被修改。如上所述，关于所述多个应用的信息可以是显示位置信息、显示图像信息和其它属性信息，并且可被形成为由便携式装置110或显示装置120解译的格式。图5A示出根据通用XML格式而形成格式的信息520，其中，通用XML格式可由便携式装置110或显示装置120解译，以存储、修改和在便携式装置110和显示装置120之间复制对象的布置。
[0144]在操作S403，处理器210产生第二布置。可基于用于操纵所显示的应用中的一个的用户输入来产生第二布置。响应于接收到用户输入，处理器210可合适地编辑所述多个对象的信息。也就是说，当用户选择显示在图5A的便携式装置110的触摸屏203上的屏幕511上的一个对象时，用于控制所选择的对象的编辑的Π屏幕513_1可被显示在图5B的屏幕513上。虽然屏幕512示出在显示单元203的屏幕511上所选择的应用被显示在显示装置120上，但是所述选择可不被复制在显示装置120上，仅仅那些对布置的改变会被反映在显示装置120上。因此，对便携式装置110执行的操作会被复制在或者不会被复制在显示装置120上，仅仅对布置的改变会被反映。
[0145]当用户选择UI屏幕513_1上的“擦除”时，显示在图5B的触摸屏203上的屏幕513被改变为图5C的屏幕515或图的屏幕517，并且基于屏幕515或屏幕517的第二布置被产生。通过擦除所选择的对象来获得图5C的屏幕515。通过下述处理来获得图的屏幕517:擦除所选择的对象，并移动每个对象的显示位置以填充被擦除的对象的显示位置。换言之，在删除所选择的对象之后，可重新布置所显示的对象的阵列。可由便携式装置110相应地编辑关于对象的新的第二布置的信息，使得所述信息可被发送到显示装置120以被复制在显示装置120上。在显示装置120上的编辑被完成之前，所述信息可被发送到显示装置120以用于由用户确认改变，因而用户可在显示装置120上的编辑被完成之前预览显示装置120上的改变，并从显示装置120请求确认。新布置可被迁移到显示装置，如屏幕514和屏幕516中所示。
[0146]可使用基于触摸屏的装置的编辑功能来修改下面的UI，但不限于图5A到图中的UI。
[0147]图6是示出根据示例性实施例的产生第二布置的处理的流程图。
[0148]在操作S601，处理器210通过触摸屏203检测基于第一布置下的多个对象的图像的用户选择。用户选择可基于触摸，但是可基于用户的各种手势或者通过使用用户输入单元201的硬件按钮而执行。
[0149]在操作S602，处理器210通过通信单元208将由用户选择的对象的信息发送到显示装置120和121。因此，显示单元120和121可显示所选择的对象的信息，如图5B的屏幕512上所示。也就是说，每当与显示的对象有关的事件发生时，处理器210可通过通信单元208将关于事件的事件信息发送到显示装置120和121。可选地，如上所述，在编辑被完成之后，处理器210可通过通信单元208仅将第二布置的信息发送到显示装置120和121，并可不发送事件信息。
[0150]在操作S603，处理器210将用于控制针对所选择的对象的屏幕编辑的Π屏幕显示在便携式装置110的触摸屏203上。也就是说，处理器210可显示Π屏幕，诸如图5B的UI屏幕513_1。Π屏幕可根据所选择的对象而改变。可根据所选择的对象的可编辑功能来确定UI屏幕。例如，第一对象可与备份选项或隐藏选项或用于改变对象的属性的设置选项相关联。
[0151]在操作S604，处理器210检测通过触摸屏203的关于UI屏幕513_1的用户选择。在操作S605，处理器210根据检测结果来产生第二布置。第二布置可通过修改关于第一布置的信息而产生，或者可以是仅指示修改的新信息。根据第二布置，可将显示在便携式装置110的触摸屏203上的屏幕改变为屏幕515或屏幕517，但不限于此。
[0152]当在Π屏幕513_1中项“移动”被选择，并且在所选择的对象被拖到另一位置的同时指示对项“移动”的选择的触摸被保持时，显示在触摸屏203上的屏幕可被改变为所选择的对象被移动到拖动停止的位置的屏幕。另外，在将UI屏幕513_1提供在触摸屏203的没有任何对象被显示的区域中，并且Π屏幕513_1上的项“设置”被选择的情况下，处理器210可执行用于设置新对象或现有对象的属性的任务。另外，当在Π屏幕513_1中项“备份”被选择时，处理器210可将关于所选择的项的信息作为备份信息存储在便携式装置110的存储单元207中。关于所选择的对象的信息包括可用于操纵所选择的对象的信息，但不限于此。
[0153]在操作S404，处理器210通过通信单元208将第二布置的信息发送到显示装置120和121。如上所述，第二布置的信息可通过第一布置的信息而修改，或者可仅仅是指示对第一布置的信息的改变的信息。因此，所述多个对象中的至少一个对象由显示装置120和121进行编辑，并由显示装置120和121基于第二布置的信息而显示在显示单元120上。也就是说，可基于第二布置的信息将图5C的编辑后的屏幕514或图的编辑后的屏幕516显示在显示单元120上。
[0154]图7是示出根据示例性实施例的控制装置装置120和121的屏幕编辑的方法的流程图。虽然可由图2A和图2B的处理器210和211中的每一个执行图7的方法，但是为了便于进行解释，将在假设由处理器210执行所述方法的情况下解释下文。
[0155]图7示出关于多个对象的信息被转换为适合于由便携式装置110和111以及显示装置120和121解译的格式的示例。图7的操作S701、操作S703和操作S704与操作S401到操作S403相似，因此省略对操作S701、操作S703和操作S704的多余解释。
[0156]在操作S702，处理器210通过通信单元208从显示装置120和121接收信息，并将所述多个对象的信息转换为根据便携式装置110和111中的每一个的数据格式的信息。因此，如图5A中所示，第一布置下的所述多个对象的信息可由便携式装置110和111解译，并且显示在显示装置120和121上的屏幕可被复制在便携式装置110和111上。
[0157]在操作S705，处理器210将第二布置的信息转换为根据显示装置120和121的数据格式的信息，并通过通信单元208将转换后的信息发送到显示装置120和121。可由通信单元208对所述信息进行转换。因此，关于第二布置下的所述多个对象的信息可由显示装置120和121解译。
[0158]图8是示出根据示例性实施例的控制显示装置120和121的屏幕编辑的方法的流程图。图8示出按照第二布置将多个对象显示在便携式装置110和111中的每一个上的功能被添加到图4的方法的示例。
[0159]图8的操作S801到操作S803和操作S805与操作S401到S403和操作S404相似，因此省略对操作S801到操作S803和操作S805的多余解释。
[0160]在操作S803，处理器210产生第二布置。在操作S804，处理器210按照第二布置将所述多个对象显示在便携式装置110和111的触摸屏203上。也就是说，处理器210显示包括第二布置下的所述多个对象的图5C的屏幕515或图的屏幕517。
[0161]图9是示出根据示例性实施例的控制显示装置120和121的屏幕编辑的方法的流程图。图9示出存储编辑历史信息的操作被添加到图4的方法的示例。图9的操作S901到操作S903和操作S905与图4的操作S401到操作S404相似，因此省略对操作S901到操作S903和操作S905的多余解释。
[0162]在操作S903，处理器210产生第二布置。在操作S904，处理器210产生第二布置的编辑历史信息，并将编辑历史信息存储在存储单元207中。编辑历史信息可指示第一布置与第二布置之间的区别，并且所述区别可与编辑日期或时间相关联。在这种情况下，处理器210可通过通信单元208将编辑历史信息发送到显示装置120和121，并与显示装置120和121共享编辑历史信息。
[0163]图10是示出根据示例性实施例的控制显示装置120和121的屏幕编辑的方法的流程图。图10示出接收到显示装置120和121的显示屏幕的信息而不是多个对象的信息的示例。
[0164]也就是说，在步骤S1001，处理器210通过通信单元208接收显示装置120和121的显示屏幕的信息。便携式装置110和111可将请求显示信息的显示信息请求信号发送到显示装置120和121，并响应于所述请求从显示装置120和121接收显示屏幕的信息。为此，如图4的操作S401中所述，便携式装置110和111中的每一个可选择显示装置120和121的屏幕编辑控制应用或遥控应用的屏幕编辑控制菜单。
[0165]在操作S1002，处理器210将接收到的信息显示在便携式装置110和111的触摸屏203上。在操作S1003，当通过触摸屏203检测到用于调整所显示的信息的用户输入信息时，处理器210基于检测到的用户输入信息来改变屏幕以获得改变后的屏幕，并产生改变后的屏幕的信息。可按照与用于产生第二布置的方式相似的方式来执行用于改变屏幕以获得改变后的屏幕并产生改变后的屏幕的信息的处理。
[0166]在操作S1004，处理器210通过通信单元208将改变后的屏幕的信息发送到显示装置120和120。因此,显示装置120和121编辑并显示编辑后的屏幕。
[0167]图11是示出根据示例性实施例的控制显示装置120和121中的每一个的屏幕编辑和功能的方法的流程图。可由处理器210来执行图11的方法。
[0168]图11的操作S1101、操作S1102、操作S1104和操作S1105与图4的操作S401、操作S402、操作S403和S404相似，因此省略对操作SI 101、操作SI 102、操作SI 104和操作SI 105
的多余解释。
[0169]在操作S1103，通过触摸屏203检测用户输入信息，当检测到的用户输入信息是用于编辑显示在触摸屏203上的屏幕的编辑请求时，处理器210进行至操作S1104和操作S1105。
[0170]在操作S1103，通过触摸屏203检测用户输入信息，当检测到的用户输入信息是用于执行包括在显示在触摸屏203上的屏幕中的至少一个对象的执行请求时，处理器210进行至操作S1106。在操作S1106，处理器210通过通信单元208将执行请求信号发送到显示装置120和121。因此，显示装置120和121执行所选择的对象。所选择的对象可表示所选择的屏幕信息。当所选择的对象是运动图像时，显示装置120和121根据接收到的执行请求信号来再现运动图像。
[0171]也就是说，可如图12中所示地控制显示装置120和121的功能。图12示出用于控制显示装置120和121的功能的屏幕。假设web页屏幕1210被显示在显示装置120和121上并且屏幕1212被显示在便携式装置110和111的触摸屏203上(如图12中所示)，当显示在便携式装置110和111的触摸屏203上的搜索字段窗口被触摸并且数据被输入到搜索字段窗口内时，将关键词1224显示在屏幕1222上，将关键词1224的信息发送到显示装置120和121，并将与屏幕1222相同并且包括关键词1223的窗口 1221显示在显示装置120和121的屏幕1220上。当使用便携式装置110和111来输入信息时，将关键词的信息发送到显示装置120和121，并可在搜索被请求时执行相应的任务。
[0172]图13是示出根据示例性实施例的控制显示装置120和121的屏幕编辑和功能的方法的流程图。由图3的处理器305执行图13的操作。
[0173]在操作S1301，处理器305按照第一布置将多个对象显示在显示单元307上。在操作S1302，处理器305通过通信单元302将所述多个对象的信息发送到便携式装置110和111。可响应于便携式装置110和111的显示信息请求信号来执行所述发送。所显示的所述多个对象可以是与用户相关联的多个对象。因此，如果显示装置120和121的用户是另一个用户时，显示在显示单元307上的所述多个对象可以是与不同用户相关联的不同的对象集。
[0174]在操作S1303，处理器305通过通信单元302从便携式装置110和111接收所述多个对象的第二布置的信息。
[0175]在操作S1304，当第二布置的信息被接收到时，处理器305基于第二布置的信息来按照第二布置将所述多个对象显示在显示单元307上。如上所述，处理器305可基于第一布置与第二布置之间的差异来编辑第一布置的信息，或者可接收第二布置的信息。
[0176]图14是示出根据示例性实施例的控制显示装置120和121的屏幕编辑的方法的流程图。图14示出将指示由便携式装置110和111选择的对象的信息显示在屏幕上的功能被添加到图13的操作的示例。因此，图14的操作S1401、操作S1402、操作S1405和操作S1406与操作S1301到操作S1304相似，因此省略对操作S1401、操作S1402、操作S1405和操作S1406的多余解释。
[0177]在操作S1403，处理器305通过通信单元302接收由便携式装置110和111的用户选择的至少一个对象的信息。因此，在操作S1404，处理器305显示指示从按照第一布置显示在显示单元307上的多个对象当中选择对象的信息。例如，所选择的对象可在显示器307上被突出显示或扩大,指示对所述对象的选择。
[0178]图15是示出根据示例性实施例的控制显示装置120和121的屏幕编辑的方法的流程图。图15示出产生并存储历史信息的功能被添加到图13的操作的示例。因此，图15的操作S1501到操作S1504与操作S1301到操作S1304相似，因此省略对操作S1501到操作S1504的多余解释。
[0179]在操作S1504，显示在显示单元307上的屏幕被编辑。在操作S1505，处理器305产生编辑历史信息，并将编辑历史信息存储在存储单元304中。在这种情况下，处理器305可通过通信单元302将编辑历史信息发送到便携式装置110和111，并与便携式装置110和111共享编辑历史信息。
[0180]在操作S1505，处理器305可将编辑历史信息存储为根据所显示的信息对编辑历史信息进行管理。例如，当所显示的屏幕是应用浏览屏幕时，编辑历史信息被存储为应用浏览的编辑历史信息。例如，应用图标可被布置或修改，并且对应用图标进行编辑的历史可被存储。另外，当显示屏幕是内容浏览屏幕时，编辑历史信息被存储为内容浏览的编辑历史信息。例如，内容图标或缩略图可被布置或修改，并且对内容图标进行编辑的历史可被存储。可选择地，处理器305可将编辑历史信息存储为根据所显示的信息对编辑历史信息进行管理。
[0181]图16是示出根据示例性实施例的控制显示装置120和121的屏幕编辑的方法的流程图。
[0182]在操作S1601，按照第一布置显示所述多个对象。在操作S1602，从请求关于所述所显示的多个对象的信息的便携式装置I1接收信息请求信号。在操作S1603，响应于接收到信息请求信号，将关于按照第一布置显示的所述多个对象的信息发送到便携式装置110。
[0183]在操作S1604，处理器305通过通信单元302从便携式装置110和111接收信号。当接收到的信号是第二布置的信息时，在操作S1605，处理器305基于第二布置的信息来按照第二布置将所述多个对象显示在显示单元307上。
[0184]另一方面，当通过通信单元302接收到的信号是针对所选择的对象的执行请求信号时，处理器305进行至操作S1606，并且处理器305执行所选择的对象。
[0185]图17是示出根据示例性实施例的控制显示装置的屏幕编辑的方法的流程图。
[0186]在操作1701，显示装置120将多个对象显示在显示单元307上。在操作1702，便携式装置110通过通信单元208将访问控制授权请求信号发送到显示装置120。在操作1703，显示单元120确定是否允许访问便携式装置110。访问控制可以是基于存储在存储单元207中的便携式装置110的信息的授权处理。
[0187]如果确定允许访问便携式装置110，则方法进行至操作1704。在操作1704，显示装置120通过通信单元302通知便携式装置110访问是否被允许。
[0188]在操作1705，便携式装置110向显示装置120请求显示在显示装置120上的多个对象的信息。在操作1706，显示装置120将所述多个对象的信息发送到便携式装置110。
[0189]在操作1707，便携式装置110对所述多个对象进行编辑。可如参照图5A到图所述地执行所述编辑。
[0190]在操作1708，便携式装置110基于编辑结果来产生第二布置的信息。在操作1709，便携式装置110将第二布置的信息发送到显示装置120。在操作1710，显示装置120相应地编辑显示在显示单元307上的所述多个对象。接下来，在操作1711，显示装置120将编辑结果存储在存储单元304中。在操作1712，显示装置120通知便携式装置110编辑完成。
[0191]图18是示出根据示例性实施例的执行显示装置120的功能的方法的流程图。
[0192]参照图18，在操作1801，显示装置120显示多个对象。在操作1802，便携式装置110将访问控制授权请求信号发送到显示装置120。在操作1803，与图17的操作1703相似，显示装置120确定是否允许访问便携式装置。
[0193]在操作1804，显示装置120将指示允许访问的确认信号发送到便携式装置110。在操作1805，便携式装置110向显示装置120请求关于显示在显示装置120上的对象的信息。
[0194]在操作1806，显示装置120将关于对象的信息发送到便携式装置110。在操作1807，便携式装置110产生用于执行至少一个所选择的显示的对象的执行控制信号。在操作1808，便携式装置110将执行控制信号发送到显示装置120，以执行所述至少一个所选择的显示的对象。因此，在操作1809，显示装置120执行所选择的对象。
[0195]图19是示出根据示例性实施例的使用便携式装置110来控制显示装置120的屏幕编辑的方法的流程图。由处理器210执行图19的方法。
[0196]在操作S1901，处理器210通过通信单元208从服务器130接收按照第一布置显示在显示装置120上的多个对象的信息。
[0197]在操作S1902，处理器210基于从服务器130接收到的所述多个对象的信息来按照第一布置显示所述多个对象。
[0198]在操作S1903，处理器210基于检测到的用户输入信息，通过改变所述多个对象的信息来产生第二布置。在操作S1904，处理器210通过通信单元208将第二布置的信息发送到服务器130。
[0199]图20是示出根据示例性实施例的控制显示装置120的屏幕编辑的方法的流程图。由图1A的处理器133执行图20的方法。
[0200]在操作S2001，通信单元131从便携式装置110接收针对关于显示在显示装置120上的对象的信息的信息请求信号。用于与显示装置120进行通信的信息被包括在信息请求信号中。用于与显示装置120进行通信的信息可包括显示装置120的标识信息或显示装置120的地址，诸如，互联网协议(IP)地址。在操作S2002，处理器133使用包括在于操作S2001接收到的信息请求信号中的用于与显示装置120进行通信的信息，来通过通信单元131向显示装置120请求关于显示在显示装置120上的对象的信息。
[0201 ] 在操作S2003，通过通信单元131从显示装置120接收按照第一布置显示的所述多个对象的信息。在操作S2004，处理器133通过通信单元131将所述多个对象的信息发送到便携式装置110。在操作S2005，通过通信单元131从便携式装置110接收所述多个对象的信息的第二布置的信息。在操作S2006，处理器133通过通信单元131将第二布置的信息发送到显示装置110。
[0202]服务器130可与用户信息相关联地对显示在显示装置120上的多个对象的信息进行分类，并且将相关联的信息存储在存储单元132中并对相关联的信息进行管理。在这种情况下，当显示在显示装置120上的所述多个对象的信息不是仅针对便携式装置110的用户的多个对象的信息时，便携式装置110的用户可请求服务器130将仅针对所述用户的所述多个对象的信息显示在显示装置120上。换言之，可显示用户专属信息，诸如，仅与用户相关联的对象。可根据用户的标识或与用户相关联的便携式装置110的标识来确定用户专属信息。
[0203]根据所述请求，服务器130将存储在服务器130中的仅针对便携式装置110的用户的所述多个对象的信息发送到显示装置120和便携式装置110。因此，便携式装置110和显示装置120同时显示从服务器130接收到的所述多个对象的信息。
[0204]便携式装置110显示所述多个对象的信息，并基于所述多个对象的信息来控制屏幕编辑或功能。每当发生控制事件或者编辑操作被完成时，可通过服务器130将对屏幕编辑或功能的控制的结果发送到显示装置120，或者可直接将所述控制的结果从便携式装置110发送到显示装置120。
[0205]显示装置120根据屏幕编辑控制信号来编辑屏幕，或者根据功能控制信号来控制所显示的对象的功能。
[0206]图21是示出根据示例性实施例的控制显示装置120的屏幕编辑的方法的流程图。由处理器305执行图21的方法。
[0207]在操作S2101，由处理器305按照第一布置来显示多个对象。在操作S2102，处理器305通过通信单元302从服务器130接收针对所显示的信息的请求信号。在操作S2103，处理器305将所显示的多个对象的信息发送到服务器130。
[0208]接下来，在操作S2104，通过通信单元302从服务器130接收第二布置的信息。在操作S2105，处理器305显示通过基于第二布置的信息来编辑显示在显示单元307上的所述多个对象中的至少一个对象而获得的屏幕。
[0209]图22是示出根据示例性实施例的控制显示装置120的屏幕编辑的方法的流程图。
[0210]在操作2201，显示装置120显示多个对象。在操作2202，便携式装置110将访问控制授权请求信号发送到服务器130。
[0211]显示在显示装置120上的所述多个对象可以是由服务器130提供的仅针对便携式装置110的用户的多个对象。也就是说，对象可以是用户专属对象。
[0212]在操作2203，服务器130确定是否允许便携式装置110进行访问。可基于便携式装置110的信息来执行所述确定。便携式装置110的信息可包括便携式装置110的标识信息和/或便携式装置110的用户信息。
[0213]如果确定允许访问，则方法进行至操作2207。在操作2207，服务器130可通知便携式装置110访问被允许。然而，可由显示装置120替代服务器130执行访问控制。
[0214]在操作2204，服务器130将访问控制授权请求信号中继到显示装置120。在操作2205，显示装置120确定是否允许访问。在操作2206，显示装置120通知服务器130访问被允许。在操作2207，服务器130可通知便携式装置110访问被允许。
[0215]在操作2208，便携式装置110将信息请求信号发送到服务器130。在操作2209，月艮务器130将所述多个对象的信息请求信号发送到显示装置120。针对关于所述多个对象的Ih息的/[目息请求/[目号可表不显[目息请求/[目号。
[0216]在操作2210，显示装置120将当前显示在显示装置120上的所述多个对象的信息发送到服务器130。在操作2211，服务器130将从显示装置120接收到的所述多个对象的信息发送到便携式装置110。
[0217]在操作2212，便携式装置110执行屏幕编辑。在操作2213，便携式装置110将与屏幕编辑相应的控制命令(诸如，关于对象的第二布置的信息)发送到服务器130。
[0218]在操作2214，服务器130将控制命令转换为具有可由显示装置120处理的数据格式的控制命令。在操作2215，服务器130将转换后的控制命令发送到显示装置120。在操作2216，显示装置120根据从服务器130接收到的转换后的控制命令来执行编辑。在操作2217，当编辑被完成时，显示装置120显示编辑后的屏幕，并将编辑完成消息发送到服务器130。服务器130在操作2218存储结果，并在操作2219将执行完成通知消息发送到便携式装置110。所存储的结果可包括根据所述编辑的历史信息。服务器130可将编辑历史信息发送到便携式装置I1和/或显示装置120，以与便携式装置110和/或显示装置120共享编辑历史信息。
[0219]根据一个或更多个示例性实施例的包括用于执行控制显示装置的屏幕编辑的方法的命令的至少一个程序可被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质包括:可存储可由计算机系统读取的数据的任何存储装置。计算机可读记录介质的示例包括:只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储装置。计算机可读记录介质可分布在网络连接的计算机系统上，以便按照分布式方式来存储并执行计算机可读代码。
[0220]虽然已经具体地示出并描述了示例性实施例，但是示例性实施例和术语仅被用于提供对本公开的完整理解，而不应被解释为限制。应仅在描述性意义上考虑示例性实施例，而不是为了限制目的。因此，本发明构思的范围不由具体描述限定，而是由权利要求限定，并且将解释为包括所述范围内的所有差异。
【权利要求】
1.一种用于控制显示装置的方法，所述方法包括: 接收显示在显示装置的屏幕上的图标的第一布置的第一显示信息； 基于第一显示信息将图标的第一布置显示在便携式装置的显示器上； 修改显示在便携式装置的显示器上的图标的第一布置，以产生图标的第二布置； 基于图标的第二布置来产生第二显示信息； 将对于将图标的第二布置显示在显示装置的显示器上的请求发送到显示装置，其中，所述请求包括第二显示信息。
2.如权利要求1所述的方法，其中，第一显示信息包括:图标的显示位置信息，其中，显示位置信息指示显示在显示装置的屏幕上的图标的位置。
3.如权利要求2所述的方法，其中，显示位置信息包括:指示显示在显示装置的屏幕上的处于坐标位置的图标参照显示装置的屏幕的坐标位置的绝对位置的坐标信息。
4.如权利要求2或权利要求3所述的方法，其中，显示位置信息包括:指示在显示装置的屏幕上图标相对于彼此的相对位置的坐标信息。
5.如权利要求2或权利要求3所述的方法，其中，第一显示信息还包括:图标的图标图像数据。
6.如权利要求5所述的方法，其中，第一显示信息是可扩展标记语言数据。
7.如权利要求2或权利要求3所述的方法，其中，第二显示信息包括:被修改为指示将显示在显示装置的屏幕上的图标的新位置的第一显示信息。
8.如权利要求2或权利要求3所述的方法，其中，第二显示信息包括:第一显示信息与将显示在显示装置的屏幕上的图标的新位置之间的差异。
9.如权利要求1或权利要求2或权利要求3所述的方法，还包括:在显示装置将图标的第一布置显示在显示装置的显示器上的同时，将图标的第二布置显示在便携式装置的显示器上。
10.如权利要求1或权利要求2或权利要求3所述的方法，其中，所述修改步骤包括下列步骤中的至少一个步骤: 将图标的第一布置下的图标中的至少一个图标的位置改变为图标的第二布置下的图标中的所述至少一个图标的新位置； 删除图标的第一布置下的图标中的至少一个图标； 将新图标添加到图标的第一布置下的图标。
11.如权利要求10所述的方法，其中，第一显示信息是可扩展标记语言(XML)数据， 其中，所述修改步骤包括:基于所述改变、所述删除和所述添加中的至少一个来修改XML数据。
12.如权利要求1或权利要求2或权利要求3所述的方法，其中，所述修改步骤包括: 接收在便携式显示器的显示器上的输入，其中，所述输入用于修改图标的第一布置下的图标； 基于所述输入来产生图标的第二布置。
13.如权利要求1或权利要求2或权利要求3所述的方法，其中，图标包括:表示将由显示装置再现的内容的图标和表示显示装置的应用的图标。
14.一种便携式装置，包括: 显示器； 通信单元，接收显示在显示装置的屏幕上的图标的第一布置的第一显示信息； 控制器，基于第一显示信息控制显示器将图标的第一布置显示在显示器上，接收修改显示在显示器上的图标的第一布置的输入，基于所述输入来产生图标的第二布置，基于图标的第二布置来产生第二显示信息，并控制通信单元将对于将图标的第二布置显示在显示装置的显示器上的请求发送到显示装置，其中，所述请求包括第二显示信息。
15.一种记录有促使便携式装置执行用于控制显示装置的方法的程序的非暂时性计算机可读介质，所述方法包括: 接收显示在显示装置的屏幕上的图标的第一布置的第一显示信息； 基于第一显示信息将图标的第一布置显示在便携式装置的显示器上； 修改显示在便携式装置的显示器上的图标的第一布置，以产生图标的第二布置； 基于图标的第二布置来产生第二显示信息； 将对于将图标的第二布置显示在显示装置的显示器上的请求发送到显示装置，其中，所述请求包括第二显示信息。
【文档编号】H04N21/431GK104272253SQ201380018952
【公开日】2015年1月7日 申请日期:2013年4月8日 优先权日:2012年4月7日
【发明者】全炳贞, 郑渊建, 申仁暎, 全惠暎, 崔善, 崔源宗 申请人:三星电子株式会社