信息处理设备、方法、系统、工作台和记录介质的制作方法
【专利摘要】提供了信息处理装置、工作台、显示控制方法、程序、便携式终端和信息处理系统。该信息处理装置包括：检测第一用户输入的触摸板、与检测第二用户输入的便携式终端通信的通信单元、获得包括可操作对象的内容数据的数据获得单元、输出显示对象的内容图像的显示输出单元和控制在内容图像中显示的对象的操作的控制单元，其中如果由触摸板检测到第一用户输入，则控制单元执行对象的第一操作，而如果由通信单元从便携式终端中接收到第二用户输入，则执行对象的第二操作。
【专利说明】信息处理设备、方法、系统、工作台和记录介质
[0001 ] 本发明是申请日为2011年11月04日、申请号为201110345348.0、发明名称为“信息处理装置、显示控制方法和信息处理系统”的发明专利申请的分案申请。
技术领域
[0002]本发明涉及信息处理装置、工作台、显示控制方法、程序、便携式终端和信息处理系统。
【背景技术】
[0003]近年来，例如，诸如内容条目的创建和使用、以及电视游戏、在线购物、以及数字应用的操作之类的各种领域都导向用户接口(UI)，其促进了显示在屏幕上的内容条目与用户之间的更紧密的互动。日本未审查专利申请公开N0.2009-42796提出了通过以复杂的方式使用触摸垫上的触摸及经由相机检测的手势来提高图像对象的操作的直观性(intuitiveness)的方法。
【发明内容】
[0004]然而，在使用手势识别的方法中，只执行与预先登记的手势相对应的操作，因此对于用户来说灵活地移动对象是困难的。另外，学习登记的手势对用户来说是负担。另外，例如，在黑暗的地方，人们担心UI不能正确地识别由相机捕捉的用户手势，因此不能正常地起作用。
[0005]想要提供新颖的和改进的信息处理装置、工作台、显示控制方法、程序、便携式终端以及信息处理系统，能够提供解决至少一个问题的用户接口。
[0006]根据本发明实施例，提供了信息处理装置，包括:触摸板，检测第一用户输入;通信单元，与检测第二用户输入的便携式终端通信;数据获得单元，获得包括可操作对象的内容数据；显示输出单元，输出显示对象的内容图像；以及控制单元，控制在内容图像中显示的对象的操作，其中如果触摸板检测到第一用户输入，则控制单元执行对象的第一操作，而如果通信单元从便携式终端接收到第二用户输入，则执行对象的第二操作。
[0007]第二用户输入可以是与改变便携式终端的方位相对应的用户输入，而第二操作可以是内容图像中的对象的方位的改变。
[0008]另外，第一用户输入可以是用户在触摸板上的拖动，而第一操作可以是内容图像中对象的尺寸改变、移动或者视点改变。
[0009]另外，第一用户输入可以是用户在触摸板上的触摸，而第一操作可以是从多个可操作对象中选择操作目标对象。
[0010]第一用户输入可以是用户在触摸板上的拖动，而第一操作可以是内容图像中的对象的移动。在这种情况下，控制单元可以取决于基于第二用户输入而改变的对象的方位来控制对象的移动方向。
[0011]便携式终端还可以检测第三用户输入，以及如果通信单元从便携式终端中接收到第三用户输入，则控制单元可以在多个操作候选之间切换基于第一用户输入执行的第一操作。
[0012]显示输出单元可以输出内容图像到信息处理装置的外部显示装置。
[0013]控制单元可以显示示出关于触摸板上的对象的操作的解释的操作指南。
[0014]根据本发明的另一实施例，提供了工作台，包括:具有内置于其中的信息处理装置的主体；以及在其上侧布置信息处理装置的触摸板的显示表面的上面板。
[0015]根据本发明的又一实施例，提供了显示控制方法，用于控制具有触摸板并能够与便携式终端通信的信息处理装置中的内容条目的显示，包括:获得包括可操作对象的内容数据;输出显示对象的内容图像;如果由触摸板检测到第一用户输入，则执行显示在内容图像中的对象的第一操作；以及如果从便携式终端接收到第二用户输入，则执行显示在内容图像中的对象的第二操作。
[0016]第二用户输入可以是与改变便携式终端的方位相对应的用户输入，而第二操作可以是内容图像中的对象的方位的改变。
[0017]第一用户输入可以是用户在触摸板上的拖动，而第一操作可以是内容图像中对象的尺寸改变、移动或者视点改变。
[0018]根据本发明的又一实施例，提供了使得控制具有触摸板并能够与便携式终端通信的信息处理装置的计算机用作以下单元的程序:数据获得单元，获得包括可操作对象的内容数据；显示输出单元，输出显示对象的内容图像；以及控制单元，控制显示在内容图像中的对象的操作，其中如果由触摸板检测到第一用户输入，则控制单元执行显示在内容图像中的对象的第一操作，而如果从便携式终端接收到第二用户输入，则执行显示在内容图像中的对象的第二操作。
[0019]根据本发明的又一实施例，提供了便携式终端，包括:通信单元，与具有检测第一用户输入的触摸板的信息处理装置通信;传感器，检测第二用户输入;数据获得单元，获得包括可操作对象的内容数据;显示输出单元，输出显示对象的内容图像；以及控制单元，控制显示在内容图像中的对象的操作，其中如果通信单元从信息处理装置接收到第一用户输入，则控制单元执行对象的第一操作，而如果传感器检测到第二用户输入，则执行对象的第二操作。
[0020]根据本发明的又一实施例，提供了信息处理系统，包括:信息处理装置，具有检测第一用户输入的触摸板；以及便携式终端，具有检测第二用户输入的传感器并可以与信息处理装置通信，其中信息处理装置以及便携式终端中的至少一个包括:数据获得单元，获得包括可操作对象的内容数据;显示输出单元，输出显示对象的内容图像；以及控制单元，控制显示在内容图像中的对象的操作，以及其中如果触摸板检测到第一用户输入，则控制单元执行对象的第一操作，而如果传感器检测到第二用户输入，则执行对象的第二操作。
[0021]如上所述，根据本发明实施例的信息处理装置、工作台、显示控制方法、程序、便携式终端和信息处理系统，可以提供解决至少一个上述问题以及比基于手势识别的UI更能提高操作的灵活性的UI。
【附图说明】
[0022]图1是说明信息处理系统的概况的示意图。
[0023]图2是说明根据第一实施例的便携式终端的配置示例的框图。
[0024]图3是说明根据第一实施例的信息处理装置的配置示例的框图。
[0025]图4是说明在信息处理装置与便携式终端之间的人体通信的图。
[0026]图5是说明根据第一实施例的显示控制处理的预处理的流程的示例的序列图。
[0027]图6是说明根据第一实施例的显示控制处理的流程的示例的序列图。
[0028]图7是说明与内容数据相关联的UI构成数据的示例的图。
[0029]图8是说明用户输入与操作内容之间的映射的示例的图。
[0030]图9是说明用于装置搜索的查询分组的分组格式的示例的图。
[0031]图10是说明对图9中的查询分组的响应分组的分组格式的示例的图。
[0032]图11是说明显示在信息处理装置的触摸板上的操作指南的示例的图。
[0033]图12是说明传感器数据分组的分组格式的示例的图。
[0034]图13是说明由根据第一实施例的信息处理装置执行的处理的流程的示例的流程图。
[0035]图14是说明由根据第一实施例的便携式终端执行的处理的流程的示例的流程图。
[0036]图15是说明根据第二实施例的显示控制处理的预处理的流程的示例的序列图。
[0037]图16是说明根据第二实施例的显示控制处理的流程的示例的序列图。
【具体实施方式】
[0038]在下文中，将参考附图描述本发明的示例性实施例。另外，在本说明书以及附图中，实质上具有相同功能配置的组成元件用相同的附图标记给出，将省略其重复描述。
[0039]实施例将按以下次序描述。
[0040]1.系统概况
[0041 ] 2.第一实施例的描述
[0042]2-1.便携式终端的配置示例
[0043]2-2.信息处理装置的配置示例
[0044]2-3.显示控制处理的流程示例
[0045]2-4.每个装置中的处理
[0046]3.第二实施例
[0047]4.结论
[0048]1.系统概况
[0049]图1是说明根据本发明实施例的信息处理系统I的概况的示意图。在图1中，信息处理系统I包括显示装置10、便携式终端20和信息处理装置100。在图1所示的示例中，由用户持有便携式终端20。另外，信息处理装置100内置于位于用户前面的工作台50中。
[0050]在信息处理系统I中，显示装置10在屏幕上显示用户指定的内容条目。显示装置10可以是例如具有屏幕的电视机，诸如液晶显示器、PDP(等离子显示面板)、CRT(阴极射线管)、0LED(有机发光二极管)、用于PC(个人计算机)的监视器、或者其他显示装置。
[0051]便携式终端20是具有诸如陀螺仪传感器、电子指南针或者加速度传感器之类的至少一个传感器的便携式终端装置。便携式终端20部分提供UI给用户，以便与信息处理装置100合作地使用上述传感器操作由显示装置10显示的内容条目。便携式终端20可以是智能手机、PDA(个人数字助理)、PND(便携式导航装置)、便携式游戏终端或者便携式音乐播放器。
[0052]工作台50具有上面板52、一个或者多个腿54以及主体56。主体56具有内置于其中的信息处理装置100的模块组(module group)。信息处理装置100的触摸板的显示表面暴露于上面板52的表面。
[0053]信息处理装置100具有带有可以检测用户的触摸的触摸板的装置。信息处理装置100部分地提供UI给用户，以便与便携式终端20合作地使用上述触摸板操作由显示装置10显示的内容条目。在图1所示的示例中，信息处理装置100内置于工作台50中；但是，代替地，信息处理装置100也可以在独立于工作台50配置的例如PC(个人计算机)中。在这种情况下，在使用期间，信息处理装置100可以放置在工作台50上。
[0054]信息处理装置100可以根据诸如无线LAN(局域网)、蓝牙(注册商标)或者NFC(近场通信)之类的任意无线通信协议与便携式终端20通信。代替地，信息处理装置100可以经由用户的身体，例如，使用日本未审查专利申请公开N0.2010-21984中公开的人体通信技术，来与便携式终端20通信。
[0055]在本说明书中，将详细描述通过便携式终端20与信息处理装置100的合作实现的UI。在以下描述的第一实施例中，信息处理装置100用作UI的主机。另外，在第二实施例中，便携式终端20用作UI的主机。
[0056]2.第一实施例的描述
[0057]2-1.便携式终端的配置示例
[0058]图2是说明根据第一实施例的便携式终端20的配置示例的框图。参考图2，便携式终端20包括输入单元22、通信单元24、存储单元26、数据获得单元28、控制单元30、显示单元32和显示输出单元34。
[0059]输入单元22包括一个或者多个传感器、触摸板、键盘和按钮，或者诸如开关之类的其他输入部分，并检测到便携式终端20的用户输入。输入单元22中包括的传感器可以是例如陀螺仪传感器、电子指南针、加速度传感器等。输入单元22按时间顺序输出由传感器测量到的数据(在下文中，称为传感器数据)到控制单元30。
[0060]通信单元24包括用于在便携式终端20与信息处理装置100之间的通信的通信接口。通信单元24可以包括在其上实现诸如无线LAN、蓝牙(注册商标)或者NFC之类的无线通信协议的无线通信接口。代替地，通信单元24可以包括例如具有用于上述人体通信的电极的人体通信接口。另外，通信单元24可以包括便携式终端20使用其连接到外部网络的连接接口。
[0061]存储单元26使用诸如硬盘或者半导体内存之类的存储介质，来存储其中描述了由便携式终端20执行的处理逻辑的程序以及控制数据。另外，存储单元26可以存储包括可以由用户操作的对象的内容数据。存储在存储单元26中的内容数据可以是图像数据、2D或者3D视频数据、动画数据、交互网页等。
[0062]数据获得单元28可以获得包括可操作对象的内容数据。例如，数据获得单元28可以获得由便携式终端20的成像部分(未示出)成像的图像数据或者视频数据。另外，数据获得单元28可以获得经由通信单元24从外部网络下载的内容数据。
[0063]控制单元30使用诸如CPU(中央处理单元)、MPU(微处理单元)或者DSP(数字信号处理器)之类的处理器来控制便携式终端20的整个操作。例如，控制单元30经由通信单元24与信息处理装置100建立通信。另外，控制单元30经由通信单元24输出从输入单元22输入的传感器数据到信息处理装置100。另外，控制单元30可以在显示单元32或者其他装置的屏幕上显示存储在存储单元26中的内容数据列表，以便用户指定要再现的内容数据。
[0064]显示单元32具有便携式终端20的唯一屏幕。显示单元32可以在控制单元30的控制下在屏幕上显示例如便携式终端20的桌面图像、应用图像、内容数据列表等。
[0065]显示输出单元34是用于从便携式终端20输出图像到显示装置10的输出接口。在实施例中，如稍后描述所示，由信息处理装置100再现内容数据，以及从信息处理装置100输出内容图像到显示装置10。然而，实施例并不限于此，也可以由便携式终端20再现内容数据，并且也可以将内容图像从便携式终端20的显示输出单元34输出到显示装置10。
[0066]2-2.信息处理装置的配置示例
[0067]图3是说明根据第一实施例的信息处理装置100的配置示例的框图。在图3中，信息处理装置100包括触摸检测单元112、显示单元114、通信单元120、存储单元130、数据获得单元140、显示输出单元150和控制单元160。
[0068]触摸检测单元112和显示单元114构成触摸板110。触摸检测单元112检测例如用户在暴露于图1所示的工作台50的上面板52的表面的显示表面上的触摸，并输出指示触摸位置的电信号到控制单元160。显示单元114在触摸板的显示表面上显示从控制单元160输入的图像。由显示单元114显示的图像包括输出到显示装置10的内容图像中显示的对象的操作指南的图像。
[0069]通信单元120包括用于在信息处理装置100与便携式终端20之间的通信的通信接口。通信单元120可以包括在其上实现诸如无线LAN、蓝牙(注册商标)或者NFC之类的无线通信协议的无线通信接口。代替地，通信单元120也可以包括例如具有用于上述人体通信的电极的人体通信接口。另外，通信单元120可以包括信息处理装置100使用其连接到外部网络(因特网、DLNA网络等)的连接接口。
[0070]图4是说明人体通信的图，其是在便携式终端20与信息处理装置100之间的通信的示例。在图4中，用户Ua握住(或者安装)便携式终端20并与信息处理装置100接触。在图4所示的示例中，便携式终端20的通信单元24包括电极24a以及调制与解调(调制解调器)单元24b。电极24a与具有参考电位(GND:地)的地或者空气电容耦合，从而形成电容器。用类似的方式，信息处理装置100的通信单元120包括电极120a以及调制解调器单元120b。电极120a也与具有参考电位的地或者空气电容耦合，从而形成电容器。由于电极之间的电位差，而可以调制通信信号，并且经由用户Ua的身体在便携式终端20与信息处理装置100之间传输该通信信号。另外，人体通信只是示例，也可以经由其他通信形式在便携式终端20与信息处理装置100之间执行通信。
[0071]再次参考图3，继续描述根据实施例的信息处理装置100的配置示例。
[0072]存储单元130使用诸如硬盘或者半导体内存之类的存储介质存储其中描述由信息处理装置100执行的处理逻辑的程序和控制数据。另外，存储单元130存储包括可以由用户操作的对象的内容数据。
[0073]数据获得单元140获得包括可操作对象的内容数据。例如，数据获得单元140可以获得存储在存储单元130中的内容数据。另外，数据获得单元140可以经由通信单元120获得存储在便携式终端20的存储单元26中的内容数据。另外，数据获得单元140可以经由通信单元120获得从外部网络下载的内容数据。由数据获得单元140获得的内容数据可以由控制单元160再现。
[0074]显示输出单元150是用于从信息处理装置100输出图像到显示装置10的输出接口。显示输出单元150可以是实现诸如HDMI (高清晰度多媒体接口)或者DVI (数字视频接口)之类的视频传输协议的视频输出接口。显示输出单元150的输出接口可以是有线接口或者无线接口。
[0075]控制单元160使用诸如CPU、MPU或者DSP之类的处理器来控制信息处理装置100的整个操作。例如，控制单元160在显示单元114或者其他装置的屏幕上显示由数据获得单元140获得的内容数据列表，以便用户指定要再现的内容数据。另外，控制单元160经由显示输出单元150在显示装置10上显示通过再现指定的内容数据而获得的内容图像。控制单元160经由通信单元120建立与便携式终端20的通信。另外，控制单元160响应于由触摸板110检测到的第一用户输入以及由便携式终端20检测到的第二用户输入来控制内容图像中显示的对象的操作。由便携式终端20检测的第二用户输入可以通过由通信单元120接收的传感器数据来识别。
[0076]2-3.显示控制处理的流程示例
[0077]将参考图5和图6描述由信息处理系统I执行的显示控制处理的流程的示例。
[0078](I)预处理
[0079]图5是说明根据实施例的显示控制处理的预处理的流程的示例的序列图。参考图5，示出包含用户、便携式终端20、信息处理装置100和显示装置10的预处理的序列的示例。
[0080]首先，当用户指定要再现的内容数据时(步骤S102)，开始显示控制处理的预处理。例如，用户从显示在信息处理装置100的触摸板110的显示表面上的内容数据的列表选择想要的条目，并触摸所选的条目，从而指定内容数据。
[0081]接下来，信息处理装置100的数据获得单元140从信息处理装置100的存储单元130、便携式终端20的存储单元26或者外部网络获得指定的内容数据(步骤S104)。另外，在步骤S104数据获得单元140获得与内容数据相关联的UI形成数据，并定义用户输入与内容数据中包括的对象的操作之间的相对应关系(步骤S106)。
[0082]图7是说明与内容数据相关联的UI形成数据的示例的图。图7示出内容数据132的数据格式的示例。在图7的数据格式中，内容数据132包括公共报头134、扩展报头136和对象数据138。公共报头134在其中存储标准报头信息，诸如内容数据的种类、创建日期和数据长度。对象数据138在其中存储构成内容条目的对象的实际数据。
[0083]UI形成数据存储在例如扩展报头136中。UI形成数据包括例如与使用的传感器有关的信息和操作定义信息。与要使用的传感器有关的信息是指定用于对象数据138的实际数据中包括的对象的操作的传感器的信息。与使用的传感器有关的信息可以是指示使用或者不使用诸如陀螺仪传感器、电子指南针、加速度传感器和触摸板之类的每种传感器的位流或者代码值。操作定义信息是定义经由上述传感器检测的用户输入与对象的更抽象的操作内容之间的映射的信息。
[0084]图8是说明在用户输入与操作内容之间的映射的示例的图。图8示出关于用户输入的六个输入事件EV01、EV11、EV12、EV13、EV21和EV31的用户输入的种类以及相对应的操作内容。例如，信息处理装置100的触摸板上的轻敲与选择将要操作的对象相对应(事件EvODo根据三种输入状态(事件Ev11至Ev13)，触摸板上的拖动与对象的移动、尺寸改变和视点改变之一相对应。便携式终端20的传感器检测的方位的改变与对象的旋转(3D旋转或者2D旋转)相对应(事件Ev21)。当通过旋转对象改变对象的方位时，可以改变与输入事件Ev11相对应的对象的移动方向。例如，UI可以以如果对象竖直站立，则对象根据输入事件Evll沿直线行进，以及如果对象倾斜，则对象根据输入事件Evll以曲线移动的方式来实现。按下便携式终端20的预定按钮与在输入状态之间的切换相对应(事件Ev31)。
[0085]图8中用户输入与操作内容之间的映射的定义只是示例。例如，在触摸板上的拖动之中，垂直方向上的拖动可以映射成对象的尺寸改变，水平方向上的拖动可以映射成对象的移动。另外，对于每个用户来说，可以自定义或者个性化用户输入与操作内容之间的映射。然而，当用于操作对象的UI功能分布到便携式终端20以及信息处理装置100的触摸板110中时，对象方位的改变，S卩，对象的旋转优选地映射成便携式终端20方位的改变。这是因为便携式终端20在由用户握住的状态下方位可以灵活地改变，而信息处理装置100的触摸板110布置在工作台50上从而实质上固定。如果便携式终端20中的对象的方位的控制与触摸板110中的对象的移动的控制同时执行，则用户可以用双手灵活地操作对象。
[0086]另外，这里描述了UI形成数据包括在内容数据的报头中的示例。然而，例如，在对于具体内容条目标准化UI配置的情况下，可以从内容数据省略UI构成数据。另外，在内容数据中只描述指示UI构成数据的位置的URL(统一资源定位器)，且信息处理装置100可以存取URL，并另外获得UI构成数据。
[0087]再次参考图5，继续描述显示控制处理的预处理的示例。
[0088]如果获得由用户指定的内容数据，则信息处理装置100的控制单元160经由显示输出单元150输出处于初始状态的内容图像并在显示装置10上显示内容图像(步骤S108)。
[0089]如果UI构成数据与内容数据相关联，则控制单元160搜索具有在UI构成数据内与使用的传感器有关的信息所指定的传感器的装置(步骤S112)。例如，通信单元120发送具有预定格式的查询分组给信息处理装置100的外围装置，从而执行装置搜索。如果从信息处理装置100中接收到查询分组，则便携式终端20通过发送对查询分组的响应分组来响应装置搜索(步骤SI 14)。
[0090]图9是说明用于装置搜索的查询分组的分组格式的示例的图。参考图9，示例性的查询分组132包括查询报头134、查询侧功能信息136和请求功能信息138。查询报头134在其中存储报头信息，诸如查询分组的ID、信息处理装置100的ID、分组格式的种类和分组长度。查询侧功能信息136包括与信息处理装置100(其是查询侧)的性能有关的信息(例如，可用通信协议的种类、传感器的种类等)。请求功能信息138包括与请求接收查询的装置的功能有关的信息。在图9所示的示例中，在请求功能信息138内包括请求实现想要的UI的传感器的列表。
[0091]图10是说明对图9所示的查询分组的响应分组的分组格式的示例的图。在图10中，示例性的响应分组142包括响应报头144和响应侧功能信息146。响应报头144在其中存储报头信息，诸如响应分组的ID、相对应的查询分组的ID、便携式终端20的ID和分组长度。响应侧功能信息146包括与作为响应侧的便携式终端20的性能有关的信息。在图10所示的示例中，响应侧功能信息146包括对由查询分组的请求功能信息138所指示的传感器组的便携式终端20可用的传感器的列表。
[0092]再次参考图5，继续描述显示控制处理的预处理的示例。
[0093]如果从便携式终端20接收到响应分组，则信息处理装置100的控制单元160通过例如连接信息的交换、相互认证等与便携式终端20建立通信(步骤SI 16)。
[0094]接下来，控制单元160基于UI构成数据中包括的操作定义信息而在显示单元114上显示操作指南(步骤S118)。图11是说明由显示单元114显示的操作指南的示例的图。在图11中，示例性的操作指南150包括触摸区域范围152、输入状态显示部分154和终端操作解释部分156。触摸区域范围152是指示用户执行用户输入，诸如触摸或者拖动的区域的帧。输入状态显示部分154指示多个输入状态之中的当前输入状态以及输入状态的切换方法。终端操作解释部分156指示使用便携式终端20执行哪种操作的解释。另外，在存在便携式终端20不可用的传感器的情况下，在终端操作解释部分156中可以示出对于传感器的解释。用户确认操作指南并使用便携式终端20与信息处理装置100的触摸板110两者，从而操作由显示装置10显示的可操作对象。
[0095]当显示如图11所例示的操作指南时，完成信息处理系统I中的显示控制处理的预处理。
[0096](2)显示控制处理
[0097]图6是说明根据实施例的显示控制处理的流程的示例的序列图。预处理之后的显示控制处理涉及用户、便携式终端20、信息处理装置100和显示装置10。另外，典型地通过事件驱动方法执行显示控制处理。因此，图6所示的过程和用户输入的数量仅为了方便描述。在以下描述中，由信息处理装置100的触摸板110检测的用户输入称为第一用户输入，而由便携式终端20检测并由信息处理装置100的通信单元120接收的用户输入称为第二用户输入。
[0098]例如，如果由触摸板110检测到第一用户输入(步骤S130)，则控制单元160执行内容图像中显示的对象的第一操作(步骤S132)。如参考图8描述所示，例如，第一用户输入可以是用户在触摸板110上的触摸，而第一操作可以是从多个可操作对象选择操作目标对象。另外，例如，第一用户输入可以是用户在触摸板110上的拖动，而第一操作可以是对象的尺寸改变、移动或者视点改变。控制单元160基于输入状态而分析第一用户输入，并且根据第一操作输出内容图像(步骤S134)。
[0099]另外，例如，如果由便携式终端20检测到第二用户输入(步骤S140以及S142)，则控制单元160执行内容图像中显示的对象的第二操作(步骤S144)。如参考图8描述的，例如，第二用户输入可以是便携式终端20的方位的改变，而第二操作可以是对象的方位的改变。控制单元160基于由通信单元120接收的传感器数据而识别第二用户输入，并且根据第二操作输出内容图像(步骤S146)。
[0100]例如，如果由触摸板110检测到第一用户输入(步骤S150)以及由便携式终端20检测到第二用户输入(步骤S152以及S154)，则可以执行不同于第一和第二操作的对象的操作(步骤S156)。例如，因为对象的方位基于第二用户输入而改变，所以对象可以在根据已经改变的对象的方位的不同方向上基于第一用户输入而移动。控制单元160可以输出与这种操作相对应的内容图像(步骤S158)。
[0101]图12是说明可以在图6所示的步骤S142和S154中从便携式终端20发送到信息处理装置100的传感器数据分组的分组格式的示例的图。在图12中，示例性的传感器数据分组152包括传感器数据报头154、以及一个或者多个传感器数据字段156a至156η。传感器数据报头154可以包括例如便携式终端20的ID、分组中传感器数据字段的数量、指示测量时间的时间戳、等等。每个传感器数据字段156a至156η可以包括根据传感器的种类的测量结果。例如，传感器数据可以包括关于陀螺仪传感器的每个旋转方向的角速度、关于电子指南针的方位角(azimuth)、关于加速度传感器的三轴加速度以及关于触摸板的触摸位置、拖动位置等的数据值。
[0102]2-4.每个装置中的处理
[0103](I)主机侧装置
[0104]图13是说明由根据实施例的用作UI的主机的信息处理装置100执行的处理的流程的示例的流程图。
[0105]在图13中，首先，数据获得单元140获得内容数据(步骤S161)。接下来，数据获得单元140获得与内容数据相关联的UI构成数据(步骤S162)。控制单元160从UI构成数据识别在用于操作内容数据中包括的对象的UI中使用的传感器(步骤S163)。另外，控制单元160经由显示输出单元150输出处于初始状态的内容图像到显示装置10(步骤S164)。
[0106]其后，通信单元120发送用于装置搜索的查询分组(步骤S165)。信息处理装置100等待来自外围装置的响应(步骤S166)。这里，如果即使在已经过去预定等待时间之后还没有响应，则控制单元160控制对象的操作而不使用其他装置(步骤S167)。另一方面，例如，如果从便携式终端20接收到响应分组，则控制单元160与便携式终端20建立通信(步骤S168)。另外，控制单元160根据UI构成数据在显示单元114上显示如图11所例示的操作指南(步骤S169)。
[0107]其后，控制单元160等待要检测的用户输入(步骤S170)。如果检测到用户输入，则控制单元160从用户输入识别输入事件，并根据识别的输入事件控制对象的操作。另外，控制单元160更新输出到显示装置10的内容图像(步骤S171)。这种对象的操作可以继续，直到例如停止从便携式终端20接收传感器数据时为止(步骤S172)。另外，如果接收到传感器数据停止，则控制单元160结束与便携式终端20的通信(步骤S173)。另外，由于来自用户的外在命令或者其他事件，可以结束便携式终端20与信息处理装置100之间的通信，而不是停止传感器数据的接收。
[0108](2)从机侧装置
[0109]图14是说明由根据实施例的用作UI的从机的便携式终端20执行的处理的流程的示例的流程图。
[0110]首先，便携式终端20的通信单元24等待将要从信息处理装置100接收的用于装置搜索的查询分组(步骤S181)。如果由通信单元24接收到查询分组，则控制单元30生成包括便携式终端20可以的传感器的列表的响应分组，以及经由通信单元24生成对信息处理装置100的响应分组(步骤S182)。另外，控制单元30与信息处理装置100建立通信(步骤S183)。
[0111]其后，控制单元30经由通信单元24继续发送由输入单元22的传感器测量的数据给信息处理装置100作为传感器数据(步骤S184)。另外，控制单元30可以发送诸如按下预定按钮之类的输入事件给信息处理装置100。便携式终端20与信息处理装置100之间的通信可以继续，例如直到检测到用于结束对象的操作的命令时为止，或者直到检测到用户变得远离信息处理装置100(或者工作台50)时为止(步骤S185)。另外，与结束对象的操作一起，控制单元30结束与信息处理装置100的通信(步骤S186)。
[0112]3.第二实施例的描述
[0113]接下来，根据本发明第二实施例，将描述当便携式终端20用作UI的主机以及信息处理装置100用作UI的从机时的处理的流程的示例。
[0114](I)预处理
[0115]图15是说明根据第二实施例的显示控制处理的预处理的流程的示例的序列图。参考图15，示出涉及用户、便携式终端20、信息处理装置100以及显示装置10的预处理的序列的示例。
[0116]首先，当用户指定要再现的内容数据时，开始显示控制处理的预处理(步骤S202)。例如，用户从显示在便携式终端20的显示单元32上的内容数据列表选择想要的条目，从而指定内容数据。
[0117]接下来，便携式终端20的数据获得单元28从便携式终端20的存储单元26、信息处理装置100的存储单元130、或者外部网络获得指定的内容数据(步骤S204)。另外，数据获得单元28获得与步骤S204中的内容数据相关联的UI构成数据，并定义用户输入与内容数据中包括的对象的操作之间的相对应关系(步骤S206)，并且如果获得由用户指定的内容数据，则便携式终端20的控制单元30经由显示输出单元34输出处于初始状态的内容图像，并在显示装置10上显示内容图像(步骤S208)。
[0118]如果UI构成数据与内容数据相关联，则控制单元30搜索具有由在UI构成数据内与使用的传感器有关的信息指定的传感器的装置(步骤S212)。例如，通信单元24发送具有预定格式的查询分组给便携式终端20的外围装置，从而执行装置搜索。如果从便携式终端20接收到查询分组，则信息处理装置100通过发送对查询分组的响应分组来响应装置搜索(步骤S214)。
[0119]如果从信息处理装置100中接收到响应分组，则便携式终端20的控制单元30通过例如连接信息的交换、相互认证等与信息处理装置100建立通信(步骤S216)。
[0120]接下来，控制单元30发送UI构成数据中包括的操作定义信息给信息处理装置100，并在信息处理装置100的显示单元114上显示操作指南(步骤S218)。当显示如图11所例示的操作指南时，完成根据实施例的显示控制处理的预处理。
[0121](2)显示控制处理
[0122]图16是说明根据实施例的显示控制处理的流程的示例的序列图。预处理之后的显示控制处理涉及用户、便携式终端20、信息处理装置100和显示装置10。另外，图16所示的过程和用户输入的数量仅是为了方便描述。
[0123]例如，如果信息处理装置100的触摸板110检测到第一用户输入(步骤S230)，则便携式终端20的控制单元30经由通信单元24从信息处理装置100中接收指示触摸位置的传感器数据(步骤S232)。另外，控制单元30执行内容图像中显示的对象的第一操作(步骤S234)，并且根据第一操作输出内容图像(步骤S236)。
[0124]另外，例如，如果输入单元22的传感器检测到第二用户输入(步骤S240)，则控制单元30执行内容图像中显示的对象的第二操作(步骤S242)。控制单元30根据第二操作输出内容图像(步骤S244)。
[0125]例如，如果触摸板110检测到第一用户输入(步骤S250和S252)并且由输入单元22的传感器检测到第二用户输入(步骤S254)，则控制单元30可以执行不同于第一和第二操作的对象的操作(步骤S256)。控制单元30根据不同于第一和第二操作的对象的操作来输出内容图像(步骤S258)。
[0126]显示控制处理中执行的对象的操作可以与根据图8例示的用户输入与操作内容之间的映射的操作相同。
[0127]4.结论
[0128]迄今为止已经参考图1至图16描述了本发明的第一和第二实施例。根据实施例，实现使用由信息处理装置100的触摸板110检测到的第一用户输入以及由便携式终端20检测到的第二用户输入两者的用户接口。也就是说，因为与用单个装置执行操作的情况相比较，扩展用户输入的变化，用户可以使用两个装置灵活地移动对象。特别地，近年来，各种传感器已经微型化，以及已经将微型化传感器安装在以智能手机为代表的多种便携式终端上。因此，根据上述实施例，通过使用市场上分发的便携式终端的传感器来扩展摇篮型(cradletype)计算机(或者至少在其使用期间放置在工作台上的计算机)的用户接口，可以有效地改进操作的方便性。另外，不具有用于输入字符的、诸如键盘之类的适当的输入部分的装置(例如，诸如信息处理装置100之类的触摸板终端、或者诸如显示装置10之类的电视机)链接到便携式终端，从而可以解决字符输入到装置时的不便。
[0129]另外，当用右手操纵信息处理系统的触摸板以及用左手握住便携式终端时，用户可以移动。因此，用户可以通过将UI功能适当地分布到两个装置中来执行直观或者流畅的操作。
[0130]例如，第二用户输入与改变便携式终端的方位相对应，以及第二操作与内容图像中对象方位的改变相对应。因此，可以使用能够自由地改变其方位而与安装表面无关的便携式终端来操作对象的方位。特别地，在操作目标显示在3D空间中的情况下，这种用户接口是有用的。
[0131]另外，例如，第一用户输入是用户在信息处理装置的触摸板上的拖动，而第一操作是在内容图像中对象的尺寸改变、移动或者视点改变。通常，触摸板上的拖动比在实际空间中移动便携式终端的情况更准确地促进反映用户想要的距离和方向。因此，在操作的准确度期望到一定程度的情况下，采用上述配置相比将对象的移动与方位改变两者映射到用户输入对便携式终端是更有利的。
[0132]另外，根据上述实施例，内容图像输出到外部显示装置，且关于对象的操作的操作指南显示在信息处理装置的触摸板上。从而，当观看操作指南时，用户可以容易地操作内容图像中的对象。
[0133]另外，在本说明书中描述的由便携式终端以及信息处理装置执行的一系列处理可以使用任意软件、硬件、或者软件与硬件的组合实现。组成软件的程序存储在例如预先安装在每个装置内或者每个装置外的存储介质中。另外，在执行期间每个程序加载到例如RAM(随机存取内存)，以及由诸如CPU之类的处理器执行。
[0134]本发明包含与于2010年11月11日在日本专利局提交的日本优先专利申请JP2010-252748中公开的主题有关的主题，在此通过引用并入其全部内容。
[0135]本领域技术人员应该理解在附加权利要求或者其等价物的范围内，可以取决于设计要求及其他因素而进行多种修改、组合、部分组合以及变更。
【主权项】
1.一种信息处理设备，包括: 电路，所述电路在操作过程中: 生成用于在显示装置上显示显示对象的信号； 响应于在第一装置上的第一用户输入执行与所述显示对象相关的第一处理，从而提供用于在所述显示装置上显示的所述第一图像内容；以及 响应于在第二装置上的第二用户输入执行与所述显示对象相关的第二处理，从而提供用于在所述显示装置上显示的所述第二图像内容，所述第二装置与所述第一装置分离， 所述显示装置与所述第一装置和所述第二装置分离，以及 所述第一用户输入包含对所述第一装置的表面的已选择位置的检测，并且所述第二用户输入包含所述第二装置的方位的改变，从而所述电路使能(I)要执行的所述第一处理，使得响应于对所述第一装置的表面的所述已选择位置的检测提供用于在所述显示装置上显示的所述第一图像内容(2)要执行的所述第二处理，使得响应于所述第二装置的方位的改变提供用于在所述显示装置上显示的所述第二图像内容。2.根据权利要求1所述的信息处理设备，其中，所述第一装置的表面是显示表面。3.根据权利要求1所述的信息处理设备，其中，所述第一装置的表面包括触摸传感器。4.根据权利要求3所述的信息处理设备，其中，所述第一用户输入是对所述触摸传感器的触摸。5.根据权利要求1所述的信息处理设备，其中，所述信息处理设备与所述第二装置和所述显示装置无线地通信。6.根据权利要求1所述的信息处理设备，其中，所述第一装置的表面是工作台上部。7.根据权利要求1所述的信息处理设备，其中，当所述第一用户输入和所述第二用户输入被同时检测到时，所述电路执行第三处理，所述第三处理与所述第一处理和所述第二处理不同。8.根据权利要求1所述的信息处理设备，其中，所述第一用户输入是用户在所述第一装置的触摸板上的拖拽，而所述第一处理是所述显示对象的尺寸改变、移动或者视点改变。9.根据权利要求1所述的信息处理设备，其中，所述第一用户输入是用户在所述第一装置的触摸板上的触摸，而所述第一处理是从多个可操作对象中选择操作目标对象。10.根据权利要求1所述的信息处理设备，其中，所述第一用户输入是用户在所述第一装置的触摸板上的拖动，而所述第一处理是在内容图像中的对象的移动，以及 其中，所述电路取决于基于所述第二用户输入而改变的显示对象的所述方位来控制所述显示对象的移动方向。11.根据权利要求1所述的信息处理设备，其中，所述第二装置检测第三用户输入，以及 其中，当从第二装置接收到指示检测到所述第三用户输入的信息时，所述电路将所述第一处理在多个候选操作之间切换。12.根据权利要求1所述的信息处理设备，其中，所述显示装置在所述信息处理设备的外部。13.根据权利要求1所述的信息处理设备，其中，所述电路在所述第一装置上显示示出关于触摸板上的所述显示对象的操作的解释的操作指南。14.根据权利要求1所述的信息处理设备，其中，所述电路使能所述第一装置或者所述第二装置在操作时作为主装置来操作并且使能所述第一装置或者所述第二装置中的另一个作为从装置来操作，从而，当所述第一装置是主装置时，所述第一处理和所述第二处理中的每个由所述第一装置执行，并且，当所述第二装置是主装置时，所述第一处理和所述第二处理中的每个由所述第二装置执行。15.—种工作台，包括: 主体，具有内置于其中的根据权利要求1所述的信息处理设备；以及 上面板，其中执行所述检测的所述第一装置的触摸板的显示表面布置在其上侧。16.一种信息处理方法，包括: 生成用于在显示装置上显示显示对象的信号； 响应于在第一装置上的第一用户输入执行与所述显示对象相关的第一处理，从而提供用于在所述显示装置上显示的所述第一图像内容；以及 响应于在第二装置上的第二用户输入执行与所述显示对象相关的第二处理，从而提供用于在所述显示装置上显示的所述第二图像内容，所述第二装置与所述第一装置分离所述显示装置与所述第一装置和所述第二装置分离，以及 所述第一用户输入包含对所述第一装置的表面的已选择位置的检测，并且所述第二用户输入包含所述第二装置的方位的改变，从而执行所述第一处理以提供用于在所述显示装置上显示的所述第一图像内容是响应于对所述第一装置的表面的所述已选择位置的检测，并且，执行所述第二处理以提供用于在所述显示装置上显示的所述第二图像内容是响应于所述第二装置的方位的改变。17.—种非易失性记录介质，其上记录由计算机进行的可执行程序: 生成用于在显示装置上显示显示对象的信号； 响应于在第一装置上的第一用户输入执行与所述显示对象相关的第一处理，从而提供用于在所述显示装置上显示的所述第一图像内容；以及 响应于在第二装置上的第二用户输入执行与所述显示对象相关的第二处理，从而提供用于在所述显示装置上显示的所述第二图像内容，所述第二装置与所述第一装置分离， 所述显示装置与所述第一装置和所述第二装置分离，以及 所述第一用户输入包含对所述第一装置的表面的已选择位置的检测，并且所述第二用户输入包含所述第二装置的方位的改变，从而执行所述第一处理以提供用于在所述显示装置上显示的所述第一图像内容是响应于对所述第一装置的表面的所述已选择位置的检测，并且，执行所述第二处理以提供用于在所述显示装置上显示的所述第二图像内容是响应于所述第二装置的方位的改变。18.一种信息处理系统，包括: 第一装置； 第二装置，与所述第一装置分离；以及 电路，所述电路在操作过程中: 生成用于在显示装置上显示显示对象的信号； 响应于在第一装置上的第一用户输入执行与所述显示对象相关的第一处理，从而提供用于在所述显示装置上显示的第一图像内容；以及 响应于在第二装置上的第二用户输入执行与所述显示对象相关的第二处理，从而提供用于在所述显示装置上的显示的第二图像内容， 所述第一用户输入包含对所述第一装置的表面的已选择位置的检测，并且所述第二用户输入包含所述第二装置的方位的改变， 从而所述电路使能(I)要执行的所述第一处理，使得响应于对所述第一装置的表面的所述已选择位置的检测提供用于在所述显示装置上显示的所述第一图像内容(2)要执行的所述第二处理，使得响应于所述第二装置的方位的改变提供用于在所述显示装置上显示的所述第二图像内容。
【文档编号】G06F3/0488GK105892867SQ201610251638
【公开日】2016年8月24日
【申请日】2011年11月4日
【发明人】川上大介
【申请人】索尼公司