专利名称：显示控制设备、显示控制方法和程序的制作方法
技术领域：
本公开涉及显示控制设备、显示控制方法和程序。
背景技术：
近年来，图像识别技术已经被高度开发，并且，现在能够从成像设备识别在输入图像中包含的真实对象(例如，诸如布告板或建筑物的对象)的位置或姿势。作为上述的对象识别的应用例子，增强现实(AR)应用是已知的。根据AR应用，与真实对象相关的虚拟对象(例如，广告信息、导航信息或游戏信息)可以被重叠在真实空间图像中包含的真实对象上。另一方面，已知远程桌面技术是这样的技术，其中，根据远程操作，使用操作终端，控制由执行终端执行命令。例如，如果使用远程桌面技术，则可以给操作终端分配执行该命令的权利。例如，如果许可执行该命令，则可以使用操作终端来控制命令的执行，但是，如果限制命令执行，则限制使用操作终端的对命令执行的控制。例如，在专利文献(PTL) I中公开了上述的远程桌面技术。[引文列表][专利文献][PTL I]JP 2007-334633A
发明内容
[技术问题]但是，尚未公开允许用户容易地识别这样的命令的技术，当要由用户操作的终端使用经过另一终端的显示控制的画面的识别结果来控制该另一终端的命令执行时，限制该命令的执行。因此，希望实现用于允许用户容易地识别限制其执行的命令的技术。[解决问题的方案]根据第一示例实施例，本公开针对一种信息处理系统，其包括:一个或多个处理单元，所述一个或多个处理单元获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；并且，所述一个或多个处理单元基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。该系统可以包括:用户界面，该用户界面接收在第二显示器上显示的用户界面的表示中显示的多个图形表示之一的选择；以及通信接口，其中，所述一个或多个处理单元控制通信接口，以把与在第二显示器上显示的用户界面的表示中显示的多个图形表示之一的选择相对应的信息发送到包括第一显示器的信息处理设备。根据另一个示例实施例，本公开针对一种由信息处理系统执行的信息处理方法，该方法包括:获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；以及，基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。根据另一个示例实施例，本公开针对一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令在由信息处理系统执行时使得信息处理系统执行处理，该处理包括:获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；以及，基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。[本发明的有益效果]根据上述的本公开的实施例，可以使用户能够容易地识别这样的命令，当要由用户操作的终端使用经过另一个终端的显示控制的画面的识别结果来控制另一终端的命令执行时，限制该命令的执行。
图1是示出根据本公开实施例的显示控制系统的配置的说明图。图2是示出执行终端的功能配置例子的框图。图3是示出操作终端的功能配置例子的框图。图4是示出由执行终端发送到操作终端的信息的例子的示图。图5是示出由操作终端的显示控制单元进行的显示控制的示图。图6是示出根据操作终端的显示控制单元的显示控制显示的画面的例子的示图。图7是示出由操作终端的发送控制单元进行的发送控制的示图。图8是示出命令执行结果的例子的示图。图9是示出根据本公开实施例的显示控制系统的操作的流程的流程图。图10是示出根据本公开实施例的变型例的发送信息的例子的示图。图11是示出根据本公开实施例的变型例的显示控制系统的操作的流程的流程图。[附图标记列表]I 显示控制系统10执行终端20操作终端
100显示控制设备110操作检测单元120发送控制单元130显示控制单元140获取单元150命令执行单元200显示控制设备210图像获取单元220识别单元230信息获取单元240显示控制单元250操作检测单元260发送控制单元
具体实施例方式在下文中，将参照附图详细地描述本公开的优选实施例。请注意，在本说明书和附图中，基本上具有相同的功能和结构的结构元件用相同的附图标记表示，并且，省略这些结构元件的重复说明。另外，在本说明书和附图中，基本上具有相同的功能配置的多个组成元件通过在相同的附图标记后面跟随不同的字母字符加以区分。但是，当不需要区分具有基本上相同的功能配置的多个组成元件时，仅仅使用相同的附图标记。另外，将按照下面的顺序描述“具体实施方式
”。1.显示控制系统的概要2.执行终端的功能配置例子3.操作终端的功能配置例子4.显示控制设备中设置的功能5.显示控制系统的操作6.变型例7.结论〈1.显示控制系统的概要>在下文中，首先，将参照图1描述根据本公开实施例的显示控制系统的概要。图1是示出根据本公开实施例的显示控制系统的配置的说明图。如图1所示，根据本公开实施例的显示控制系统I包括执行终端10和操作终端20。执行终端10可以显示包括一个或多个项目的画面。对项目的数量没有特别的限制。在图1所示的例子中，由执行终端10显示包括项目Itml至Itml5的画面D10。例如，这些项目可以均对应于由执行终端10实现的各个应用。操作终端20可以对由执行终端10显示的画面进行成像。在图1所示的例子中，由操作终端20对由执行终端10显示的画面DlO进行成像。另外，在图1所示的例子中，通过成像获得的图像(下文中被称为“捕获图像”)被包含在由操作终端20显示的画面D20中。该“捕获图像”可以对应于当前正被捕获并被显示为画面D20的图像，或者，可以是以前被捕获并存储的图像，该图像随后被显示为画面D20。这里，如果用户执行选择操作终端20的项目的操作，则执行终端10执行对应于该项目的命令。例如，如果用户执行选择操作终端20的项目Itm3的操作，则执行终端10执行对应于项目Itm3的命令“转变到照片选择画面”。虽然在图1中智能电话被示出为执行终端10和操作终端20的例子，但是，执行终端10和操作终端20都不限于智能电话。例如，执行终端10和操作终端20均可以是个人数字助理(PDA)、便携式电话、便携式音乐播放设备、便携式视频处理设备或便携式游戏装置。随便提一下，还考虑希望限制来自操作终端20的命令执行的控制的情况。例如，如果执行终端10的用户不希望任意地示出运动图像给其他人，那么存在这样的情况，即:其中，即使执行选择操作终端20的项目Itm2的操作时，也希望禁止命令“转变到运动图像选择画面”的执行。在这样的情况中，可以分配执行该命令的权利给操作终端。此时，如果可以使操作终端20的用户能够容易地识别限制其执行的命令，那么可以改进对于操作终端20的用户的便利性。鉴于上述情形，已经作出了本公开的实施例。根据本公开的实施例，当使用由执行终端10显示的画面的识别结果来执行由执行终端10进行的命令执行的控制时，操作终端20可以使操作终端20的用户能够容易地识别限制其执行的命令。在下文中，将参照图2描述根据本公开实施例的执行终端10的功能配置。<2.执行终端的功能配置例子>图2是示出执行终端10的功能配置例子的框图。参照图2，执行终端10包括输入设备12、存储设备14、显示设备16、通信设备18和显示控制设备100。显示控制设备100包括操作检测单元110、发送控制单元120、显示控制单元130、获取单元140和命令执行单元 150。(输入设备)输入设备12是用来允许用户操作执行终端10或输入信息到执行终端10的输入装置。输入设备12可以包括，例如，键盘、键区、鼠标、按钮、开关或触摸面板。输入设备12可以包括识别用户手势的手势识别模块。(存储设备)存储设备14使用诸如半导体存储器或硬盘的存储介质来存储用于由执行终端10进行的处理的程序和数据。例如，存储设备14存储用于包括项目的画面的显示控制的程序。此外，例如，存储设备14存储用于执行对应于该项目的命令的程序。(显示设备)显示设备16是由液晶显示器(IXD)、有机发光二极管(OLED)或阴极射线管(CRT)构成的显示模块。显示设备16可以是执行终端10的一部分，或者，可以与执行终端10分开地配置。(通信设备)通信设备18是以有线或无线的方式与操作终端20通信的通信接口。当被连接到网络时，通信设备18可以经由网络与操作终端20通信。另外，通信设备18可以不涉及网络而直接与操作终端20通信。例如，通信设备18可以与操作终端20通过无线电波执行近场无线通信或者执行红外通信。(显示控制设备)显示控制设备100对应于诸如中央处理单元(CPU)或数字信号处理器(DSP)的处理器。显示控制设备100通过执行在存储设备14或另一个存储介质中存储的程序来操作稍后描述的显示控制设备100的各种功能。显示控制设备100可以不被嵌入在执行终端10中，并且，可以被嵌入在另一个设备(例如，服务器)中。上面参照图2已经描述了根据本公开实施例的执行终端10的功能配置。在下文中，将参照图3详细地描述根据本公开实施例的操作终端20的功能配置。<3.操作终端的功能配置例子>图3是示出操作终端20的功能配置例子的框图。参照图3，操作终端20包括成像设备21、输入设备22、存储设备24、显示设备26、通信设备28和显示控制设备200。显示控制设备200包括图像获取单元210、识别单元220、信息获取单元230、显示控制单元240、操作检测单元250和发送控制单元260。(成像设备)成像设备21通过使用诸如电荷耦合器件(CXD)或互补金属氧化物半导体(CMOS)的成像元件对真实空间进行成像来产生捕获图像。虽然成像设备21被假设是本公开实施例的操作终端20的一部分，但是，成像设备21可以与操作终端20分开地配置。(输入设备)输入设备22是用来允许用户操作操作终端20或输入信息到操作终端20的输入装置。输入设备22可以包括，例如，键盘、键区、鼠标、按钮、开关或触摸面板。输入设备22可以包括识别用户手势的手势识别模块。(存储设备)存储设备24使用诸如半导体存储器或硬盘的存储介质来存储用于由操作终端20进行的处理的程序和数据。另外，存储设备24存储要用于对象识别的特征量字典和虚拟对象数据，该虚拟对象数据是充当显示目标的虚拟对象的数据。此外，存储设备24可以存储作为对象识别结果产生的识别结果。(显示设备)显示设备26是由液晶显示器(IXD)、有机发光二极管(OLED)或阴极射线管(CRT)构成的显示模块。显示设备26可以是操作终端20的一部分，或者，可以与操作终端20分开地配置。(通信设备)通信设备28是以有线或无线的方式与执行终端10通信的通信接口。当被连接到网络时，通信设备28可以经由网络与执行终端10通信。另外，通信设备28可以不涉及网络而直接与执行终端10通信。例如，通信设备28可以与执行终端10通过无线电波执行近场无线通信或者执行红外通信。(显示控制设备)显示控制设备200对应于诸如中央处理单元(CPU)或数字信号处理器(DSP)的处理器。显示控制设备200通过执行在存储设备24或另一个存储介质中存储的程序来操作稍后描述的显示控制设备200的各种功能。显示控制设备200可以不被嵌入在操作终端20中，并且，可以被嵌入在另一个设备(例如，服务器)中。上面参照图3已经描述了根据本公开实施例的操作终端20的功能配置。在下文中，将参照图4至8详细地描述根据本公开实施例的显示控制设备100和200。<4.显示控制设备中设置的功能〉图4是示出由执行终端10发送到操作终端20的信息(在下文中被称为“发送信息”)的例子的示图。如图4所示，发送信息包括配置信息和授权信息。配置信息指示包括一个或多个项目的画面的配置。显示控制单元130可以根据配置信息显示画面。在图4中所示的例子，配置信息指示构成画面DlO的项目Itml至Itml5的位置和大小。例如，当项目位置是基于画面的预定点的位置时，项目的位置可以由项目的预定点的位置表示。例如，画面DlO的左上角可以是画面的预定点，但是，画面的预定点可以不是画面DlO的左上角。另外，项目的左上角可以是项目的预定点，但是，项目的预定点可以不是项目的左上角。另外，虽然在图4中所示的例子中通过把画面DlO的预定点的位置表示为(0，0)，把项目Itml至Itml5的预定点的位置表示为(XI，Yl)至(X15，Y15)，以及把项目Itml至Itml5的大小(宽度，高度)表示为(Wl，Hl)至(W15，H15)，来表示项目的坐标，但是对表示的类型没有特别的限制。例如，代替每一个项目的坐标，项目之间的间隔的大小、以及画面末端与项目之间的间隔的大小可以作为配置信息被包含在发送信息中。在这种情况下，可以按照项目编号的顺序布置稍后将描述的表示许可命令的执行的信息或者指示限制命令的执行的信息。另夕卜，如果每一个项目具有除矩形以外的形状，那么可以用另一种表示来限定每一个项目的坐标。例如，每一个项目可以是点，但是，在这种情况下，每一个项目的大小可以不作为配置信息被包含在发送信息中。此外，例如，如果已经通过操作终端20识别了每一个项目的大小，但是每一个项目的大小可以不作为配置信息被包含在发送信息中。授权信息由指示许可命令的执行的信息(在下文中被简称为“许可”)或者指示限制命令的执行的信息(在下文中被简称为“限制”)构成。在图4中所示的例子中，“许可”或“限制”与来自项目Iteml至Itml5中的每一个的要执行的命令的执行相关联。例如，如果由操作检测单元110已经检测到来自用户的设置操作，可以设置授权信息。例如，由用户通过输入设备12输入设置操作。虽然如果在下面限制命令的执行，则禁止命令的执行，但是也可以不禁止命令的执行。另外，可以逐步地施加对命令的执行的限制。如果发送控制单元120控制要发送到操作终端20的发送信息，那么由通信设备18根据控制把发送信息发送到操作终端20。例如，如果操作检测单元110已经检测到来自用户的发送操作，则可以发送发送信息。例如，由用户通过输入设备12输入发送操作。由操作终端20的通信设备28接收从执行终端10发送的发送信息。显示控制设备200的信息获取单元230可以获取由通信设备28接收到的发送信息。另一方面，图像获取单元210获取画面DlO的捕获图像。例如，根据由操作终端20的成像设备21进行的成像，可以获得画面DlO的捕获图像。显示控制单元240可以控制由图像获取单元210获取的捕获图像被显示。显示设备26可以根据由显示控制单元240进行的显示控制来执行显示。例如，在图1中示出的例子中，显示控制单元240控制要被显示为画面D20的捕获图像。识别单元220通过识别画面DlO来获取识别结果。例如，识别单元220识别在由图像获取单元210获取的捕获图像中包含的画面DlO以及画面DlO的捕获图像中的位置和姿势。例如，识别单元220可以通过把从捕获图像确定的特征量与画面DlO的特征量匹配来识别在捕获图像中包含的画面。更具体地说,识别单元220根据诸如尺度不变特征变换(scaleinvariant featuretransform, SIFT)方法或随机蕨方法(random fernsmethod)的特征量确定方法来确定捕获图像内的真实对象的特征量，并且，把确定的特征量与真实对象的特征量匹配。识别单元220识别用于标识与捕获图像内的真实对象的特征量最匹配的特征量相关联的画面DlO的信息、以及捕获图像中的画面DlO的位置和姿势。这里，识别单元220使用特征量字典，在该特征量字典中，真实对象的特征量数据与用于标识真实对象的信息相关联。特征量字典可以由存储设备24存储或者由通信设备28从服务器接收。例如，真实对象的特征量数据可以是根据SIFT方法或随机蕨方法从真实对象的学习图像确定的一组特征量。画面DlO的识别不限于此例子。例如，识别单元220可以通过识别诸如人工标记(例如，条形码或快速响应(QR)码)或者与画面DlO相关联的自然标记的已知图形或符号或标记来间接地识别画面D10。另外，识别单元220可以识别画面D10，并且从画面DlO的捕获图像中的大小和形状识别画面DlO的位置和姿势。另外，虽然上面已经描述了这样的例子:其中，识别单元220根据图像处理识别捕获图像中包含的画面DlO的位置和姿势，但是，识别画面DlO的位置和姿势的技术不限于基于图像处理的识别技术。例如，识别单元220可以检测成像设备21的方向和操作终端20的当前位置，并且，基于 检测结果来估计捕获图像中包含的画面DlO以及捕获图像中的画面DlO的位置和姿势。图5是示出由显示控制单元240进行的显示控制的示图。显示控制单元240执行控制，使得如果授权信息指示命令的执行被限制(“限制”的情况)，那么基于配置信息和画面识别结果来执行限制显示，该限制显示是指示限制命令的执行的显示。例如，显示控制单元240可以把限制显示添加到由图像获取单元210获取的捕获图像。如果如图4所示的配置信息和授权信息已经由信息获取单元230获取，那么“限制”与项目坐标(X2，Y2，W2，H2)、(X10, Y10,W10,H10)和(XII, Yll, ffll, Hll)相关联。因此，优选的是，显示控制单元240基于项目坐标(X2，Y2，W2，H2)、(ΧΙΟ, Y10, HO, H10)和(XII, Yll, ffll, Hll)以及画面DlO的识别结果控制要执行的限制显示。例如，如果画面DlO的位置和姿势已经被识别为画面DlO的识别结果，那么显示控制单元240基于画面DlO的位置和姿势转换项目坐标(X2, Y2, W2, H2)、(ΧΙΟ, Y10, HO, H10)和(XII，Yll, Wll, Hll)。在图5中，在显示控制单元240已经转换项目坐标之后的坐标(在下文中被称为“转换的坐标”)被示出为(X2，，Y2’，W2’，H2’)、(ΧΙΟ，，Υ10，，W10，，Η10’ )和(xir，υιγ，wir ,Hir )。显示控制单元240可以把限制显示添加到由转换的坐标指示的位置。在图5所示的例子中，显示控制单元240可以把限制显示添加到由转换的坐标(Χ2’，Y2’，W2’，Η2’)、(ΧΙΟ’，Υ10’，W10’，Η10’ )和(XII，，ΥΙΓ，ffll’，Η1Γ )指示的位置。显示设备 26 可以根据由显示控制单元240进行的显示控制来执行显示。图6是示出根据由显示控制单元240进行的显示控制所显示的画面的例子的示图。在图6所示的例子中，其中限制显示R2、RlO和RlI被添加到由转换的坐标(X2，，Y2’，W2’，H2’)、(X10’，Y10’，W10’，H10’ )和(Χ1Γ，Y11’，W11’，Η11’ )指示的位
置的捕获图像被显示为画面D21。虽然在图6所示的例子中通过限制显示R2、R10和Rll使项目变灰，但是，对于限制显示方法没有特别的限制。例如，限制显示可以是从中删除每一个项目的显示。如果如上所述地进行限制显示，那么显示控制设备200使得用户能够容易地识别这样的命令:当使用经过由显示控制设备100进行的显示控制的画面的识别结果来执行由显示控制设备100进行的命令执行的控制时，限制该命令的执行。在图6所示的例子中，用户容易识别针对对应于项目Itm2的命令“转变到运动图像选择画面”、对应于项目ItmlO的命令“Fasebook”和对应于项目Itmll的命令“日记”中的每一个限制授权。用户可以选择这样的命令:当浏览如上所述地进行限制显示的画面Dll时，许可该命令的执行。在图6所示的例子中，用户可以选择项目Itml、Itm3至Item9和Iteml2至Iteml5中的一个。这里，例如，用户希望输入把画面上的坐标作为指定坐标(s’，t’)指定给输入设备22的操作。在这种情况下，操作检测单元25检测指定指定坐标(s’，t’ )的操作。图7是示出由发送控制单元260进行的发送控制的示图。如图7所示，例如，如果操作检测单元250已经检测到指定指定坐标(s’，t’ )的操作，那么发送控制单元260基于画面DlO的位置和姿势转换指定坐标(s’，t’)。指定坐标(s’，t’)的转换之后的坐标由(s，t)表示。发送控 制单元260控制要发送给显示控制设备100的坐标(s，t)。如果坐标(s，t)被控制以由发送控制单元260发送给显示控制设备100，那么坐标(s，t)由通信设备28根据控制发送给执行终端10。由通信设备28发送的坐标(s，t)由执行终端10的通信设备18接收。随后，如果坐标(s，t)被通信设备18接收时，显示控制设备100的获取单元140获取由通信设备18接收的坐标(s，t)。如果项目坐标已经被获取单元140获取并且授权信息指示许可命令的执行(“许可”的情况)，那么命令执行单元150执行该命令。因为如图4所示“许可”与项目Itm3相关联,所以,优选的是,如果由获取单元140获取的坐标(s, t)与由项目Itm3的坐标(例如，由(X3，Y3，W3，H3)限定的范围内的坐标)一致，如图7所示，则命令执行单元150执行对应于项目Itm3的命令“转变到照片选择画面”。图8是示出命令执行结果的例子的示图。如果命令执行单元150已经执行了对应于项目Itm3的命令“转变到照片选择画面”，那么显示控制单元130控制对应于照片选择画面的画面D12以如图8所示被显示。如果执行显示控制单元130的显示控制，那么根据显示控制由显示设备16显示画面D12。另外,在图8所示的例子中，如果成像设备21对画面D12进行成像，并且图像获取单元210获取捕获的图像，那么显示控制单元240控制捕获的图像以被显示为画面D22。如果获取单元140没有获取项目坐标，那么优选的是，命令执行单元150不执行命令。另外，如果授权信息指示命令的执行被限制(“限制”的情况)，那么优选的是，命令执行单元150限制命令的执行。例如，如果由获取单元140获取的坐标(s，t)是项目Itm2的坐标，那么优选的是，命令执行单元150执行对应于项目Itm2的命令“转变到运动图像选择画面”，因为“限制”与项目Itm2相关联，如图4所示。
另外，虽然坐标(s，t)可以被控制以如上所述无条件地被发送，但是发送控制单元260可以确定是否满足了预定的条件，并且，如果满足了预定的条件，则发送控制单元260控制坐标(s，t)被发送。另外，如果尚未满足预定条件，则发送控制单元260可以控制坐标(s，t)不被发送。例如，如果在基于画面DlO的位置和姿势的指定坐标(s’，t’)的转换之后的坐标(s，t)与一组项目坐标(XI，Yl, ffl, Hl)至(X15，Y15, W15, H15) 一致或与其接近，那么发送控制单元260控制坐标(s，t)以被发送给显示控制设备100。另一方面，如果坐标(s，t)与一组项目坐标(X1，Y1，W1，H1)至(X15，Y15，W15，H15)不一致或不与其接近，那么发送控制单元260可以控制坐标(s，t)以不被发送给显示控制设备100。接近范围可以被预设，或者可以不被设置。另外，例如，如果授权信息指示许可命令的执行(“许可”的情况)，那么发送控制单元260可以控制坐标(s，t)以发送给显示控制设备100。另一方面，如果授权信息指示命令的执行被限制(“限制”的情况)，那么发送控制单元260可以控制坐标(s，t)以不发送给显示控制设备100。如果操作检测单元110已经检测到来自用户的命令指定操作，那么命令执行单元150可以执行根据命令指定操作指定的命令。在这种情况下，如果操作检测单元110已经检测到了来自用户的命令指定操作，那么优选的是，不管授权信息如何，命令执行单元150都执行该命令。另一方面，当获取单元140获取了项目坐标时，优选的是，如果授权信息指示许可命令的执行(“许可”的情况)，那么命令执行单元150执行该命令。另外，当获取单元140获取了项目坐标时，优选的是，如果授权信息指示命令的执行被限制(“限制”的情况)，那么命令执行单元150限制命令的执行。例如，由用户通过输入设备12输入命令指定操作。上面参照图4至8已经描述了根据本公开实施例的显示控制设备100和200中设置的功能。在下文中，将参照图9详细地描述根据本公开实施例的显示控制系统I的操作。〈5.显示控制系统的操作〉图9是示出根据本公开实施例的显示控制系统I的操作的流程的流程图。如果执行终端10的显示控制单元130执行包括各项目的画面的显示控制，如图9所示，那么显示设备16根据由显示控制单元130的显示控制显示包括各项目的画面(步骤SlD0如上所述，对于项目的数量没有特别的限制。随后，发送控制单元120控制画面的配置信息和用于要从该项目起执行的命令的授权信息以发送给操作终端20。根据发送控制单元120的控制，通信设备18把配置信息和授权信息发送给操作终端20 (步骤S12)。如上所述，例如，如果操作检测单元110已经检测到来自用户的发送操作，那么发送配置信息和授权信息。随后，如果操作终端20的通信设备28从执行终端10接收配置信息和授权信息(步骤S21)，那么信息获取单元230获取由通信设备28接收到的配置信息和授权信息。另一方面，如果成像设备21对经过显示控制单元130的显示控制的画面进行成像，那么图像获取单元210获取根据由成像设备21进行的成像而获得的捕获图像(步骤S22)。识别单元220从捕获图像识别画面(步骤S23)。随后，如果显示控制单元240执行捕获图像的显示控制，那么显示设备26显示捕获图像(步骤S24)。随后，如果授权信息指示命令的执行被限制(步骤S25中的“是”)，那么显示控制单元240基于配置信息和识别结果把限制显示添加到捕获图像(步骤S26)，并且前进到步骤S27。如果授权信息没有指示命令的执行被限制(即，如果授权信息指示许可命令的执行)(步骤S25中的“否”)，那么显示控制单元240前进到步骤S27。随后，如果操作检测单元250已经检测到来自用户的指定坐标，那么发送控制单元260基于根据由识别单元220进行的识别获得的识别结果转换指定的坐标(步骤S27)，并且，控制转换的坐标以被发送。通信设备28根据由发送控制单元260进行的控制发送转换的坐标(步骤S28)。应该注意，虽然显示控制单元240基于配置信息和识别结果把限制显示添加到捕获图像(步骤S26)，但是，可以通过把对应于命令的状态从限制改变为许可来去除限制显示。例如，口令或其它认证信息可以在操作终端20处被输入并被发送给执行终端10。在成功认证时，执行终端10然后可以把数据发送给操作终端20，从而指示命令的状态从限制改变为许可。输入该认证信息的示例过程可以包括选择图6所示的限制显示R2、RlO和Rll中的一个。在选择这些显示之一时，显示控制单元240控制显示器以显示提示用户输入认证信息的界面。该认证信息然后从操作终端20被发送到执行终端10，如上所略述的。在基于成功认证从执行终端10接收到指示命令的状态已经从限制改变为许可的数据时，显示控制单元240控制显示器以从捕获图像去除限制显示。随后，如果执行终端10的通信设备18接收到转换的坐标(步骤S13)，那么获取单元140获取由通信设备18接收的坐标。如果由通信设备18接收的坐标不是项目坐标(或者，不接近于项目坐标)(步骤S14中的“否”)，那么命令执行单元150结束操作而不执行命令。作为替代方案，显示控制单元130可以重新执行显示控制(步骤S11)。如果由通信设备18接收的坐标是项目坐标(或者，接近于项目坐标)(步骤S14中的“是”)，那么命令执行单元150前进到步骤S15。如果授权信息没有指示许可命令的执行(S卩，如果命令的执行被指示为被限制)(步骤S15中的“否”)，那么命令执行单元150结束操作而不执行命令。作为替代方案，显示控制单元130可以重新执行显示控制(步骤S11)。如果授权信息指示许可命令的执行(步骤S15中的“是”)，那么命令执行单元150执行命令(步骤S16)并结束操作。作为替代方案，显示控制单元130可以重新执行显示控制(步骤SI I)。显示控制单元130可以执行命令执行结果的显示控制。上面参照图9已经描述了根据本公开实施例的显示控制系统I的操作。将参照图10详细地描述根据本公开实施例的变型例的显示控制设备100和200中设置的功能。〈6.变型例〉图10是示出根据本公开实施例的变型例的发送信息的例子的示图。如图10所示，除了配置信息和授权信息以外，发送信息还可以包括用于标识命令的信息(在下文中被称为“命令标识信息”)。但是，命令标识信息不是不可缺少的信息。如果执行终端10的发送控制单元120控制如上所述的发送信息被发送，那么通信设备18发送发送信息。由通信设备18发送的发送信息由操作终端20的通信设备28接收并由信息获取单元230获取。这里，例如，如果操作检测单元250已经检测到了指定命令的操作，那么发送控制单元260可以控制用于标识命令的命令标识信息以发送给显示控制设备100。这里，发送控制单元260可以确定是否已经满足预定的条件，并且，如果满足了预定的条件，则发送控制单元260控制命令标识信息被发送。另外，如果尚未满足预定条件，则发送控制单元260可以控制命令标识信息不被发送。例如，如果操作检测单元250已经检测到指定坐标(s’，t’ )的操作，并且在基于画面DlO的位置和姿势的指定坐标(s’，t’ )的转换之后的坐标(s，t)与一组项目坐标(XI, Yl, ffl, Hl)至(X15，Y15，W15，H15) —致或与其接近，那么发送控制单元260可以控制对应于项目的命令标识信息以被发送给显示控制设备100。例如，如果操作检测单元250已经检测到指定坐标(s’，t’)的操作，并且在指定坐标(s’，t’ )的转换之后的坐标(s，t)与项目坐标(X3，Y3，W3，H3) —致或与其接近，那么发送控制单元260可以控制与其项目相关联的命令标识信息“COM3”以被发送给显示控制设备100。虽然由发送控制单元260控制其发送的命令标识信息可以被包含在发送信息中，但是，当命令标识信息没有包含在发送信息中时，命令标识信息可以是由配置信息限定的项目数等。另一方面，例如，如果授权信息指示许可命令的执行(“许可”的情况)，那么发送控制单元260可以控制命令标识信息以发送给显示控制设备100。另一方面，如果授权信息指示命令的执行被限制(“限制”的情况)，那么发送控制单元260可以控制命令标识信息以不发送给显示控制设备100。如果通信设备28根据由发送控制单元260进行的控制来发送命令标识信息，那么执行终端10的通信设备18接收命令标识信息，并且获取单元140获取由通信设备18接收的命令标识信息。如果获取单元140已经获取了命令标识信息，并且，授权信息指示许可命令的执行，那么命令执行单元150可以执行该命令。如果获取单元140尚未获取命令标识信息，那么命令执行单元150可能无法执行该命令。另外，如果授权信息指示命令的执行被限制，那么命令执行单元150可以限制命令的执行。上面参照图10已经描述了根据本公开实施例的变型例的显示控制设备100和200中设置的功能。在下文中，将参照图11详细地描述根据本公开实施例的变型例的显示控制系统I的操作。图11是示出根据本公开实施例的变型例的显示控制系统I的操作的流程的流程图。如果执行终端10的显示控制单元130执行包括各项目的画面的显示控制，如图11所示，那么显示设备16根据由显示控制单元130的显示控制显示包括各项目的画面(步骤S31)。如上所述，对项目的数量没有特别的限制。随后，发送控制单元120控制画面的配置信息以及用于要从该项目起执行的命令的授权信息和命令标识信息以发送给操作终端20。根据发送控制单元120的控制，通信设备18把配置信息、授权信息和命令标识信息发送给操作终端20 (步骤S32)。例如，如果操作检测单元110已经检测到来自用户的发送操作，那么可以发送配置信息、授权信息和命令标识信息。随后，如果操作终端20的通信设备28从执行终端10接收配置信息、授权信息和命令标识信息(步骤S41 )，那么信息获取单元230获取由通信设备28接收到的配置信息、授权信息和命令标识信息。另一方面，如果成像设备21对经过显示控制单元130的显示控制的画面进行成像，那么图像获取单元210获取根据由成像设备21进行的成像而获得的捕获图像(步骤S42)。识别单元220从捕获图像识别画面(步骤S43)。随后，如果显示控制单元240执行捕获图像的显示控制，那么显示设备26显示捕获图像(步骤S44)。
随后，如果授权信息指示命令的执行被限制(步骤S45中的“是”)，那么显示控制单元240基于配置信息和识别结果把限制显示添加到捕获图像(步骤S46)，并且前进到步骤S47。如果授权信息没有指示命令的执行被限制(即，如果命令的执行被指示为许可)(步骤S45中的“否”)，那么显示控制单元240前进到步骤S47。随后，如果操作检测单元250已经检测到来自用户的指定坐标，那么发送控制单元260基于根据由识别单元220进行的识别获得的识别结果转换指定的坐标(步骤S47 )。如果转换后的坐标不是项目坐标(或者不接近于项目坐标)(步骤S48中的“否”)，那么发送控制单元260结束操作而不执行命令。作为替代方案，显示控制单元130可以重新执行显示控制(步骤S31)。另一方面，如果转换后的坐标是项目坐标(或接近于项目坐标)(步骤S48中的“是”)，那么发送控制单元260控制对应于该项目的命令标识信息被发送。通信设备28根据由发送控制单元260进行的控制发送命令标识信息(步骤S49)。如果执行终端10的通信设备18接收到命令标识信息(步骤S33)，那么获取单元140获取由通信设备18接收的命令标识信息。随后，如果授权信息没有指示许可命令的执行(即，如果命令的执行被指示为被限制)(步骤S34中的“否”)，那么命令执行单元150结束操作而不执行由命令标识信息标识的命令。作为替代方案，显示控制单元130可以重新执行显示控制(步骤S31)。如果授权信息指示许可命令的执行(步骤S35中的“是”)，那么命令执行单元150执行由命令标识信息标识的命令(步骤S36)并结束操作。作为替代方案，显示控制单元130可以重新执行显示控制(步骤S31)。显示控制单元130可以执行命令执行结果的显示控制。上面参照图11已经描述了根据本公开实施例的变型例的显示控制系统I的操作的流程。<7.总结〉如上所述，根据本公开的显示控制设备200具有信息获取单元230，该信息获取单元230获取包括显示控制设备100的一个或多个项目的画面的配置信息和用于从该项目起执行的命令的授权信息。另外，如果授权信息指示命令的执行被限制，那么显示控制设备200包括显示控制单元240，该显示控制单元240基于画面识别结果和配置信息控制要执行的限制显示，该限制显示是指示命令的执行被限制的显示。因此，如果使用经过由执行终端10进行的显示控制的画面的识别结果来执行由执行终端10进行的命令执行的控制，那么要由用户操作的操作终端20使得用户能够容易地识别限制其执行的命令。虽然参照附图已经描述了本公开的优选实施例，但是本公开的技术范围不限于此。本领域的技术人员应该理解，根据设计要求和其他因素可以想到各种修改、组合、子组合和替换，只要它们在所附的权利要求或其等同物的范围即可。例如，虽然上面已经描述了显示控制设备200具有画面识别功能的例子，但是服务器可以代替显示控制设备200具有上述功能。例如，如果显示控制设备200已经把捕获图像发送给服务器，那么服务器可以代替显示控制设备200从捕获图像识别画面。如上所述，本公开的技术还可以应用于云计算。另外，本说明书的显示控制系统I的操作中的步骤不必一定按照流程图中描述的顺序以时序执行。例如，显示控制系统I的操作中的步骤可以按照与流程图中描述的顺序不同的顺序处理或者被并行地处理。
另外，可以创建这样的计算机程序:用于使诸如CPU、只读存储器(ROM)和嵌入在执行终端10或操作终端20中的随机存取存储器(RAM)的硬件具有与上述的执行终端10或操作终端20的每一种配置相同的功能。另外，还提供记录计算机程序的存储介质。另外，本技术还可以被配置为如下。(I) 一种信息处理系统，包括:一个或多个处理单元，所述一个或多个处理单元获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；并且，所述一个或多个处理单元基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。(2) (I)的信息处理系统，还包括:图像捕获单元，所述图像捕获单元捕获与在第一显示器上显示的用户界面相对应的图像数据。(3) (I)至(2)中的任何一个的信息处理系统，其中，所述一个或多个处理单元获取与在第一显示器上显示的用户界面相对应的授权信息和配置信息中的至少一个。(4) (I)至(3)中的任何一个的信息处理系统，其中，配置信息指示所述多个图形表不中的每一个被显不在第一显不器上的位置。(5) (I)至(4)中的任何一个的信息处理系统，其中，授权信息指示是否能够访问与所述多个图形表示中的每一个相对应的功能。(6) (I)至(5)中的任何一个的信息处理系统，其中，所述一个或多个处理单元基于获取的配置信息来生成用户界面的表示。(7) (I)至(6)中的任何一个的信息处理系统，其中，所述一个或多个处理单元控制第二显示器显示用户界面的表示，使得对于与不能被访问的功能相对应的所述多个图形表示中的至少一个施加预定的视觉效果。(8) (I)至(7)中的任何一个的信息处理系统，其中，所述一个或多个处理单元控制第二显示器显示用户界面的表示，使得省略与不能被访问的功能相对应的所述多个图形表示中的至少一个。(9) (I)至(8)中的任何一个的信息处理系统，其中，所述一个或多个处理单元控制第二显示器显示用户界面的表示，使得图像被重叠在与不能被访问的功能相对应的所述多个图形表示中的至少一个上。(10) (I)至(9)中的任何一个的信息处理系统，还包括:用户界面，该用户界面接收在显示于第二显示器上的用户界面的表示中显示的所述多个图像表示中的一个的选择。(11) (I)至(10)中的任何一个的信息处理系统，还包括:通信接口，其中，所述一个或多个处理单元控制通信接口，以把与在显示于第二显示器上的用户界面的表示中显示的所述多个图像表示中的一个的选择相对应的信息发送给包括第一显示器的信息处理设备。(12) (I)至(11)中的任何一个的信息处理系统，还包括:通信接口，其中，所述一个或多个处理单元控制通信接口，以把与在显示于第二显示器上的用户界面的表示中显示的所述多个图像表不中的一个的选择相对应的坐标信息发送给包括第一显不器的信息处理设备。(13) (I)至(12)中的任何一个的信息处理系统，还包括:通信接口，其中，所述一个或多个处理单元控制通信接口，以把与在显示于第二显示器上的用户界面的表示中显示的所述多个图像表示中的一个的选择相对应的命令标识信息发送给包括第一显示器的信息处理设备。(14) (I)至(13)中的任何一个的信息处理系统，其中，所述多个图形表示中的一个对应于照片浏览应用。(15) (I)至(14)中的任何一个的信息处理系统，还包括:用户界面，该用户界面接收与显示于第二显示器上的用户界面的表示中显示的照片浏览应用相对应的图形表示的选择；以及通信接口，其中，所述一个或多个处理单元控制通信接口，以把与对应于照片浏览应用的图形表示的选择相对应的信息发送给包括第一显示器的信息处理设备，该信息处理设备响应于接收到与该图形表示的选择相对应的信息来执行照片浏览应用。(16) (I)至(15)中的任何一个的信息处理系统，其中，信息处理系统是第一信息处理设备，并且，所述多个图形表示中的每一个图形表示对应于在第二信息处理设备处实现的相应功能。(17) (I)至(16)中的任何一个的信息处理系统，其中，与在第一显示器上显示的用户界面相对应的捕获图像数据是静止图像数据。(18) (I)至(17)中的任何一个的信息处理系统，还包括:用户界面，该用户界面接收与不能被访问的功能相对应的认证信息。(19) (I)至(18)中的任何一个的信息处理系统，其中，所述一个或多个处理单元控制显示器改变用户界面的表示，以指示基于接收到的认证信息能够访问功能。(20) (I)至(19)中的任何一个的信息处理系统，其中，当在第二显示器上选择与不能被访问的功能相对应的图形表示时，用户界面显示画面以输入认证信息。(21) (I)至(20)中的任何一个的信息处理系统，其中，所述多个图形表示至少包括对应于功能的图标。(22)—种由信息处理系统执行的信息处理方法,该方法包括:获取与在第一显不器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；以及基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。(23) —种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令在由信息处理系统执行时使得信息处理系统执行处理，该处理包括:获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；以及基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。
权利要求
1.一种信息处理系统,包括: 一个或多个处理单元， 所述一个或多个处理单元获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；并且 所述一个或多个处理单元基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。
2.根据权利要求1所述的信息处理系统，还包括: 图像捕获单元，所述图像捕获单元捕获与在第一显示器上显示的用户界面相对应的图像数据。
3.根据权利要求1所述的信息处理系统，其中 其中，所述一个或多个处理单元获取与在第一显示器上显示的用户界面相对应的授权信息和配置信息中的至少一个。
4.根据权利要求3所述的信息处理系统，其中 配置信息指示所述多个图形表示中的每一个被显示在第一显示器上的位置。
5.根据权利要求3所述的信息处理系统，其中 所述一个或多个处理单元基于获取的配置信息来生成用户界面的表示。
6.根据权利要求1所述的信息处理系统，其中 所述一个或多个处理单元控制第二显示器显示用户界面的表示，使得对于与不能被访问的功能相对应的所述多个图形表示中的至少一个施加预定的视觉效果。
7.根据权利要求1所述的信息处理系统，其中 所述一个或多个处理单元控制第二显示器显示用户界面的表示，使得省略与不能被访问的功能相对应的所述多个图形表示中的至少一个。
8.根据权利要求1所述的信息处理系统，其中 所述一个或多个处理单元控制第二显示器显示用户界面的表示，使得图像被重叠在与不能被访问的功能相对应的所述多个图形表示中的至少一个上。
9.根据权利要求1所述的信息处理系统，还包括 用户界面，该用户界面接收在显示于第二显示器上的用户界面的表示中显示的所述多个图像表示中的一个的选择。
10.根据权利要求9所述的信息处理系统，还包括: 通信接口，其中，所述一个或多个处理单元控制通信接口，以把与在显示于第二显示器上的用户界面的表示中显示的所述多个图像表示中的一个的选择相对应的信息发送给包括第一显不器的信息处理设备。
11.根据权利要求9所述的信息处理系统，还包括: 通信接口，其中，所述一个或多个处理单元控制通信接口，以把与在显示于第二显示器上的用户界面的表示中显示的所述多个图像表示中的一个的选择相对应的命令标识信息发送给包括第一显示器的信息处理设备。
12.根据权利要求9所述的信息处理系统，其中 所述多个图形表示中的一个对应于照片浏览应用。
13.根据权利要求12所述的信息处理系统，还包括:用户界面，该用户界面接收与显示于第二显示器上的用户界面的表示中显示的照片浏览应用相对应的图形表示的选择；以及 通信接口，其中，所述一个或多个处理单元控制通信接口，以把与对应于照片浏览应用的图形表示的选择相对应的信息发送给包括第一显示器的信息处理设备， 该信息处理设备响应于接收到与该图形表示的选择相对应的信息来执行照片浏览应用。
14.根据权利要求1所述的信息处理系统，其中 信息处理系统是第一信息处理设备，并且，所述多个图形表示中的每一个图形表示对应于在第二信息处理设备处实现的相应功能。
15.根据权利要求1所述的信息处理系统，其中 与在第一显示器上显示的用户界面相对应的捕获图像数据是静止图像数据。
16.根据权利要求1所述的信息处理系统，还包括: 用户界面，该用户界面接收与不能被访问的功能相对应的认证信息。
17.根据权利要求16所述的信息处理系统，其中 所述一个或多个处理单元控制显示器改变用户界面的表示，以指示基于接收到的认证信息能够访问功能。
18.根据权利要求16所述 的信息处理系统，其中 当在第二显示器上选择与不能被访问的功能相对应的图形表示时，用户界面显示画面以输入认证信息。
19.一种由信息处理系统执行的信息处理方法,该方法包括: 获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；以及 基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。
20.一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令在由信息处理系统执行时使得信息处理系统执行处理，该处理包括: 获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；以及 基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。
全文摘要
本发明涉及涉及显示控制设备、显示控制方法和程序。一种信息处理系统获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；并且，所述信息处理设备基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。
文档编号G06F3/0481GK103176690SQ20121044295
公开日2013年6月26日 申请日期2012年11月8日 优先权日2011年11月16日
发明者笠原俊一 申请人:索尼公司