信息处理系统的制作方法
【专利摘要】本实用新型涉及一种信息处理系统，该信息处理系统包括：获取与在第一显示器上显示的用户界面相对应的捕获图像数据的获取单元，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；以及基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示的控制单元，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。本实用新型的实施例所要解决的问题是允许用户容易地识别限制其执行的命令。本实用新型的实施例所实现的技术效果是使用户能够容易地识别这样的命令，当要由用户操作的终端使用经过另一个终端的显示控制的画面的识别结果来控制另一终端的命令执行时，限制该命令的执行。
【专利说明】信息处理系统
【技术领域】
[0001]本实用新型涉及信息处理系统。
【背景技术】
[0002]近年来，图像识别技术已经被高度开发，并且，现在能够从成像设备识别在输入图像中包含的真实对象(例如，诸如布告板或建筑物的对象)的位置或姿势。作为上述的对象识别的应用例子，增强现实(AR)应用是已知的。根据AR应用，与真实对象相关的虚拟对象(例如，广告信息、导航信息或游戏信息)可以被重叠在真实空间图像中包含的真实对象上。
[0003]另一方面，已知远程桌面技术是这样的技术，其中，根据远程操作，使用操作终端，控制由执行终端执行命令。例如，如果使用远程桌面技术，则可以给操作终端分配执行该命令的权利。例如，如果许可执行该命令，则可以使用操作终端来控制命令的执行，但是，如果限制命令执行，则限制使用操作终端的对命令执行的控制。例如，在专利文献(PTL)I中公开了上述的远程桌面技术。
[0004][引文列表]
[0005][专利文献]
[0006][PTL1]
[0007]JP2007-334633A
实用新型内容
[0008][技术问题]
[0009]但是，尚未公开允许用户容易地识别这样的命令的技术，当要由用户操作的终端使用经过另一终端的显示控制的画面的识别结果来控制该另一终端的命令执行时，限制该命令的执行。因此，希望实现用于允许用户容易地识别限制其执行的命令的技术。
[0010][解决问题的方案]
[0011]根据第一示例实施例，本实用新型针对一种信息处理系统，其包括:一个或多个处理单元，所述一个或多个处理单元获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；并且，所述一个或多个处理单元基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。
[0012]该系统可以包括:用户界面，该用户界面接收在第二显示器上显示的用户界面的表示中显示的多个图形表示之一的选择；以及通信接口，其中，所述一个或多个处理单元控制通信接口，以把与在第二显示器上显示的用户界面的表示中显示的多个图形表示之一的选择相对应的信息发送到包括第一显示器的信息处理设备。
[0013][本实用新型的有益效果]
[0014]根据上述的本实用新型的实施例，可以使用户能够容易地识别这样的命令，当要由用户操作的终端使用经过另一个终端的显示控制的画面的识别结果来控制另一终端的命令执行时，限制该命令的执行。
【专利附图】
【附图说明】
[0015]图1A和图1B是示出根据本实用新型实施例的显示控制系统的配置的说明图，其中图1A示出了执行终端，图1B示出了操作终端。
[0016]图2是示出执行终端的功能配置例子的框图。
[0017]图3是示出操作终端的功能配置例子的框图。
[0018]图4A和图4B是示出由操作终端的显示控制单元进行的显示控制的示图。
[0019]图5A和图5B是示出根据操作终端的显示控制单元的显示控制显示的画面的例子的示图。
[0020]图6A和图6B是示出由操作终端的发送控制单元进行的发送控制的示图。
[0021]图7A和图7B是示出命令执行结果的例子的示图。
[0022]图8是示出根据本实用新型实施例的显示控制系统的操作的流程的流程图。
[0023]图9是示出根据本实用新型实施例的变型例的显示控制系统的操作的流程的流程图。
[0024]图10是根据本实用新型实施例的实施例的信息处理系统的示意图。
[0025][附图标记列表]
[0026]I显示控制系统
[0027]10执行终端
[0028]20操作终端
[0029]100显示控制设备
[0030]110操作检测单元
[0031]120发送控制单元
[0032]130显示控制单元
[0033]140获取单元
[0034]150命令执行单元
[0035]200显示控制设备
[0036]210图像获取单元
[0037]220识别单元
[0038]230信息获取单元
[0039]240显示控制单元
[0040]250操作检测单元
[0041]260发送控制单元
【具体实施方式】
[0042]在下文中，将参照附图详细地描述本实用新型的优选实施例。请注意，在本说明书和附图中，基本上具有相同的功能和结构的结构元件用相同的附图标记表示，并且，省略这些结构元件的重复说明。[0043]另外，在本说明书和附图中，基本上具有相同的功能配置的多个组成元件通过在相同的附图标记后面跟随不同的字母字符加以区分。但是，当不需要区分具有基本上相同的功能配置的多个组成元件时，仅仅使用相同的附图标记。
[0044]另外，将按照下面的顺序描述“【具体实施方式】”。
[0045]1.显示控制系统的概要
[0046]2.执行终端的功能配置例子
[0047]3.操作终端的功能配置例子
[0048]4.显示控制设备中设置的功能
[0049]5.显示控制系统的操作
[0050]6.变型例
[0051]7.结论
[0052]〈1.显示控制系统的概要>
[0053]在下文中，首先，将参照图1A和图1B描述根据本实用新型实施例的显示控制系统的概要。
[0054]图1A和图1B是示出根据本实用新型实施例的显示控制系统的配置的说明图。如图1A和图1B所示，根据本实用新型实施例的显示控制系统I包括执行终端10和操作终端20。执行终端10可以显示包括一个或多个项目的画面。对项目的数量没有特别的限制。在图1A所示的例子中，由执行终端10显示包括项目Itml至Itml5的画面D10。例如,这些项目可以均对应于由执行终端10实现的各个应用。
[0055]操作终端20可以对由执行终端10显示的画面进行成像。在图1B所示的例子中，由操作终端20对由执行终端10显示的画面DlO进行成像。另外，在图1B所示的例子中，通过成像获得的图像(下文中被称为“捕获图像”)被包含在由操作终端20显示的画面D20中。该“捕获图像”可以对应于当前正被捕获并被显示为画面D20的图像，或者，可以是以前被捕获并存储的图像，该图像随后被显示为画面D20。这里，如果用户执行选择操作终端20的项目的操作，则执行终端10执行对应于该项目的命令。
[0056]例如，如果用户执行选择操作终端20的项目Itm3的操作，则执行终端10执行对应于项目Itm3的命令“转变到照片选择画面”。
[0057]虽然在图1A和图1B中智能电话被示出为执行终端10和操作终端20的例子，但是，执行终端10和操作终端20都不限于智能电话。例如，执行终端10和操作终端20均可以是个人数字助理(PDA)、便携式电话、便携式音乐播放设备、便携式视频处理设备或便携式游戏装置。
[0058]随便提一下，还考虑希望限制来自操作终端20的命令执行的控制的情况。例如，如果执行终端10的用户不希望任意地示出运动图像给其他人，那么存在这样的情况，即:其中，即使执行选择操作终端20的项目Itm2的操作时，也希望禁止命令“转变到运动图像选择画面”的执行。在这样的情况中，可以分配执行该命令的权利给操作终端。此时，如果可以使操作终端20的用户能够容易地识别限制其执行的命令，那么可以改进对于操作终端20的用户的便利性。
[0059]鉴于上述情形，已经作出了本实用新型的实施例。根据本实用新型的实施例，当使用由执行终端10显示的画面的识别结果来执行由执行终端10进行的命令执行的控制时，操作终端20可以使操作终端20的用户能够容易地识别限制其执行的命令。在下文中，将参照图2描述根据本实用新型实施例的执行终端10的功能配置。
[0060]<2.执行终端的功能配置例子>
[0061]图2是示出执行终端10的功能配置例子的框图。参照图2，执行终端10包括输入设备12、存储设备14、显示设备16、通信设备18和显示控制设备100。显示控制设备100包括操作检测单元110、发送控制单元120、显示控制单元130、获取单元140和命令执行单元 150。
[0062](输入设备)
[0063]输入设备12是用来允许用户操作执行终端10或输入信息到执行终端10的输入装置。输入设备12可以包括，例如，键盘、键区、鼠标、按钮、开关或触摸面板。输入设备12可以包括识别用户手势的手势识别模块。
[0064](存储设备)
[0065]存储设备14使用诸如半导体存储器或硬盘的存储介质来存储用于由执行终端10进行的处理的程序和数据。例如，存储设备14存储用于包括项目的画面的显示控制的程序。此外，例如，存储设备14存储用于执行对应于该项目的命令的程序。
[0066](显示设备)
[0067]显示设备16是由液晶显示器(IXD)、有机发光二极管(OLED)或阴极射线管(CRT)构成的显示模块。显示设备16可以是执行终端10的一部分，或者，可以与执行终端10分开地配置。
[0068](通信设备)
[0069]通信设备18是以有线或无线的方式与操作终端20通信的通信接口。当被连接到网络时，通信设备18可以经由网络与操作终端20通信。另外，通信设备18可以不涉及网络而直接与操作终端20通信。例如，通信设备18可以与操作终端20通过无线电波执行近场无线通信或者执行红外通信。
[0070](显示控制设备)
[0071]显示控制设备100对应于诸如中央处理单元(CPU)或数字信号处理器(DSP)的处理器。显示控制设备100通过执行在存储设备14或另一个存储介质中存储的程序来操作稍后描述的显示控制设备100的各种功能。显示控制设备100可以不被嵌入在执行终端10中，并且，可以被嵌入在另一个设备(例如，服务器)中。
[0072]上面参照图2已经描述了根据本实用新型实施例的执行终端10的功能配置。在下文中，将参照图3详细地描述根据本实用新型实施例的操作终端20的功能配置。
[0073]<3.操作终端的功能配置例子>
[0074]图3是示出操作终端20的功能配置例子的框图。参照图3，操作终端20包括成像设备21、输入设备22、存储设备24、显示设备26、通信设备28和显示控制设备200。显示控制设备200包括图像获取单元210、识别单元220、信息获取单元230、显示控制单元240、操作检测单元250和发送控制单元260。
[0075](成像设备)
[0076]成像设备21通过使用诸如电荷耦合器件(CXD)或互补金属氧化物半导体(CMOS)的成像元件对真实空间进行成像来产生捕获图像。虽然成像设备21被假设是本实用新型实施例的操作终端20的一部分，但是，成像设备21可以与操作终端20分开地配置。
[0077](输入设备)
[0078]输入设备22是用来允许用户操作操作终端20或输入信息到操作终端20的输入装置。输入设备22可以包括，例如，键盘、键区、鼠标、按钮、开关或触摸面板。输入设备22可以包括识别用户手势的手势识别模块。
[0079](存储设备)
[0080]存储设备24使用诸如半导体存储器或硬盘的存储介质来存储用于由操作终端20进行的处理的程序和数据。另外，存储设备24存储要用于对象识别的特征量字典和虚拟对象数据，该虚拟对象数据是充当显示目标的虚拟对象的数据。此外，存储设备24可以存储作为对象识别结果产生的识别结果。
[0081](显示设备)
[0082]显示设备26是由液晶显示器(IXD)、有机发光二极管(OLED)或阴极射线管(CRT)构成的显示模块。显示设备26可以是操作终端20的一部分，或者，可以与操作终端20分开地配置。
[0083](通信设备)
[0084]通信设备28是以有线或无线的方式与执行终端10通信的通信接口。当被连接到网络时，通信设备28可以经由网络与执行终端10通信。另外，通信设备28可以不涉及网络而直接与执行终端10通信。例如，通信设备28可以与执行终端10通过无线电波执行近场无线通信或者执行红外通信。
[0085](显示控制设备)
[0086]显示控制设备200对应于诸如中央处理单元(CPU)或数字信号处理器(DSP)的处理器。显示控制设备200通过执行在存储设备24或另一个存储介质中存储的程序来操作稍后描述的显示控制设备200的各种功能。显示控制设备200可以不被嵌入在操作终端20中，并且，可以被嵌入在另一个设备(例如，服务器)中。
[0087]上面参照图3已经描述了根据本实用新型实施例的操作终端20的功能配置。在下文中，将参照表I以及图4A至7B详细地描述根据本实用新型实施例的显示控制设备100和 200。
[0088]<4.显示控制设备中设置的功能〉
[0089]表I是示出由执行终端10发送到操作终端20的信息(在下文中被称为“发送信息”)的例子的示图。如表I所示，发送信息包括配置信息和授权信息。配置信息指示包括一个或多个项目的画面的配置。显示控制单元130可以根据配置信息显示画面。在表I中所示的例子，配置信息指示构成画面DlO的项目Itml至Itml5的位置和大小。
[0090]例如，当项目位置是基于画面的预定点的位置时，项目的位置可以由项目的预定点的位置表示。例如，画面DlO的左上角可以是画面的预定点，但是，画面的预定点可以不是画面DlO的左上角。另外，项目的左上角可以是项目的预定点，但是，项目的预定点可以不是项目的左上角。另外，虽然在表I中所示的例子中通过把画面DlO的预定点的位置表示为(0，0)，把项目Itml至Itml5的预定点的位置表示为(XI，Yl)至(X15，Y15)，以及把项目Itml至Itml5的大小(宽度，高度)表示为(W1，H1)至(W15，H15)，来表示项目的坐标，但是对表示的类型没有特别的限制。[0091]表1
[0092]
【权利要求】
1.一种信息处理系统，其特征在于包括:成像设备、输入设备、存储设备、显示设备、通信设备和显示控制设备， 所述成像设备通过使用成像元件对真实空间进行成像来产生捕获图像， 所述输入设备用于允许用户操作信息处理系统或输入信息到信息处理系统， 所述存储设备用于使用存储介质来存储用于由信息处理系统进行的处理的程序和数据， 所述通信设备包括以有线或无线的方式与执行终端通信的通信接口， 所述显示控制设备包括图像获取单元、识别单元、信息获取单元、显示控制单元、操作检测单元和发送控制单元， 所述图像获取单元用于获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能，用户界面包括多个图形表示，每一个图形表示对应于相应的功能， 所述识别单元通过识别画面来获取识别结果， 所述信息获取单元获取由通信设备接收到的发送信息， 所述显示控制单元基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能， 所述操作检测单元用于检测来自用户的指定坐标， 所述发送控制单元用于进行发送控制。
2.根据权利要求1所述的信息处理系统，其特征在于 在第一显示器上显示的用户界面与获取的授权信息和配置信息中的至少一个相对应。
3.根据权利要求2所述的信息处理系统，其特征在于 配置信息指示所述多个图形表示中的每一个被显示在第一显示器上的位置。
4.根据权利要求2所述的信息处理系统，其特征在于 所述显示控制单元基于获取的配置信息来生成用户界面的表示。
5.根据权利要求1所述的信息处理系统，其特征在于 所述显示控制单元控制第二显示器显示用户界面的表示，使得对于与不能被访问的功能相对应的所述多个图形表示中的至少一个施加预定的视觉效果。
6.根据权利要求1所述的信息处理系统，其特征在于 所述显示控制单元控制第二显示器显示用户界面的表示，使得省略与不能被访问的功能相对应的所述多个图形表示中的至少一个。
7.根据权利要求1所述的信息处理系统，其特征在于 所述显示控制单元控制第二显示器显示用户界面的表示，使得图像被重叠在与不能被访问的功能相对应的所述多个图形表示中的至少一个上。
8.根据权利要求1所述的信息处理系统，其特征在于 所述多个图形表示中的一个对应于照片浏览应用。
9.根据权利要求1所述的信息处理系统，其特征在于 信息处理系统是第一信息处理设备，并且，所述多个图形表示中的每一个图形表示对应于在第二信息处理设备处实现的相应功能。
10.根据权利要求1所述的信息处理系统，其特征在于捕获的图像数据是静止图像数据。
11.根据权利要求1所述的信息处理系统，其特征在于 当在第二显示器上选择与不能被访问的功能相对应的图形表示时，用户界面显示画面以输入认证信息。
【文档编号】G06F3/14GK203689435SQ201220584715
【公开日】2014年7月2日 申请日期:2012年11月8日 优先权日:2011年11月16日
【发明者】笠原俊一 申请人:索尼公司