信息处理设备、信息处理方法以及计算机程序的制作方法

信息处理设备、信息处理方法以及计算机程序的制作方法
【专利摘要】一种信息处理设备，可以包括控制单元，该控制单元通过检测从设备的外部输入至设备的至少一个信息信号，基于对于(i)用户的位置变化以及(ii)用户的状态的确定来控制用户接口。
【专利说明】信息处理设备、信息处理方法以及计算机程序
[0001]相关申请的交叉引用
[0002]本申请要求于2012年I月13日提交日本专利局的日本专利申请JP2012-005551的优先权，其全部内容通过引用合并到本文中。
【技术领域】
[0003]本公开内容涉及具有还用作为输入单元的显示屏(诸如触摸板)的信息处理设备、信息处理方法及计算机程序，更具体地，涉及包括大屏幕的信息处理设备、信息处理方法及计算机程序，该大屏幕能够被多个用户共享，并且使得多个用户能够通过触摸板的操作执行协同动作。
【背景技术】
[0004]近年来，具有还用作为输入单元的显示屏(诸如触摸板)的平板终端迅速普及。由于使用窗口小部件或桌面作为接口能够容易地在视觉上看到平板终端的操作方法，所以平板终端能够比通过使用键盘或鼠标进行输入操作的个人计算机更方便用户使用。
[0005]已经提出了如下触敏装置:其从多点感测装置(诸如多点触摸屏)读取基于与该多点感测装置相关联的触摸输入的数据，并且基于从多点感测装置读取的数据来识别多点手势(例如，参见PTL I)。
[0006]通常，在平板终端的屏幕上以各种取向布置有用户要操作的多个对象。要操作的单独对象可以包括再现内容(如运动图像或静止图像)、从另一用户接收的电子邮件或消息等。为了正好面对用户来显示期望的要操作的对象，用户需要单独地旋转地操作平板终端主体。例如，可以容易地旋转操作具有A4或A5尺寸的平板终端。然而，当平板终端具有几十英寸的大屏幕时，对于单个用户来说当操作对象时难以旋转地操作平板终端。
[0007]可以考虑多个用户同时对具有大屏幕的平板终端中的单独对象进行操作的使用形式。
[0008]例如，已经提出了如下平板终端:当通过使用接近传感器检测到在终端的侧边缘中用户存在的位置时，识别用户的右臂与左臂之间的区域，并且将该区域映射到用户的触摸点区域上(例如，参见NPL1)。当检测到多个用户时，通过设置用户对每个对象的各自操作权限或通过事先阻止用户的额外参与，平板终端禁止用户操作由另一用户操作的对象，以便旋转该对象以正好面对该用户。
[0009]作为由多个用户共享具有大屏幕的平板终端的使用形式，除了如上所述用户各自操作要操作的对象的情况以外，还可以考虑用户交换要操作的对象并且执行协同动作的情况。当设置由用户占用的触摸点区域，并且在每个区域中由用户操作给定操作权限的对象时，难以实现协同动作。
[0010]当显示在终端的屏幕上的GUI固定而不取决于用户与屏幕之间的距离或用户状态时，存在如下问题:用户可能位于很远，但是显示在屏幕上的信息太细密而不能使该信息被很好地理解，或用户可能位于附近，而小量的信息显示在屏幕上。类似地，当使得用户能够操作终端的输入单元固定而不取决于用户与屏幕之间的距离或用户状态时，存在如下问题:用户可能位于附近但没有用于操作终端的遥控器，或用户为了操作触摸板而需要接近终端。
[0011]在根据相关技术的对象显示系统中，在不考虑对象的实际尺寸信息的情况下，在屏幕上显示实际存在的对象的图像。因此，存在如下问题:要显示的对象的尺寸取决于屏幕的尺寸或分辨率(dpi)而变化。
[0012]在显示系统中，当在屏幕上以并列或重叠方式同时显示多个源的图像内容时，同时显示的图像的尺寸关系不正确，并且图像的相应区域的尺寸或位置全部不同，因此用户难以识别图像。
[0013]当具有旋转机制的终端中的屏幕的方向变化时，对用户来说难以识别图像，因此需要旋转显示屏。
[0014]引用列表
[0015]专利文献
[0016]PTL1JP-A-2010-170573
[0017]非专利文献
[0018]NPLl:http://www.autodeskresearch.com/publicat1ns/medusa(2011 年 12 月15日)概要

【发明内容】

[0019]技术问题
[0020]期望提供包括大屏幕的信息处理设备、信息处理方法及计算机程序，该大屏幕能够被多个用户共享，并且可以使得多个用户通过触摸板的操作适当地执行协同动作。
[0021]也期望提供不管用户位置或用户状态而对用户操作给出高度便利性的信息处理设备、信息处理方法及计算机程序。
[0022]也期望提供能够在不取决于实际对象的尺寸或屏幕的尺寸或分辨率的情况下在屏幕上以适当的尺寸正常显示对象的图像的信息处理设备、信息处理方法及计算机程序。
[0023]也期望提供能够在屏幕上以并列或重叠方式适当地同时显示多个源的图像内容的信息处理设备、信息处理方法及计算机程序。
[0024]也期望提供能够在任何旋转角度或者在旋转其主体时在其变化过程中最佳地调整图像内容的显示形式的信息处理设备、信息处理方法及计算机程序。
[0025]问题的解决方案
[0026]根据本公开内容的一个实施方式，一种信息处理设备可以包括控制单元，该控制单元通过检测从设备的外部输入至该设备的至少一个信息信号，基于对于(i)用户的位置变化以及(ii)用户的状态的确定来控制用户接口。
[0027]根据本公开内容的一个实施方式，一种信息处理方法可以包括由处理器通过检测从信息处理设备的外部输入至该信息处理设备的至少一个信息信号，基于对于(i)用户的位置变化以及(ii)用户的状态的确定来控制用户接口。
[0028]根据本公开内容的一个实施方式，一种非暂态记录介质能够记录有可被计算机执行的程序，其中，该程序可以包括通过检测从信息处理设备的外部输入至该信息处理设备的至少一个信息信号，基于对于(i)用户的位置变化以及(ii)用户的状态的确定来控制用
户接口。
[0029]根据本公开内容的实施方式的计算机程序定义了以计算机可读格式描述的以便于在计算机上实现预定处理的计算机程序。换句话说，通过将根据本公开内容的实施方式的计算机程序安装在计算机中，在计算机上进行协同动作，以实现与根据本公开内容的其他实施方式的信息处理设备相同的操作优点。
[0030]有益效果
[0031]根据本公开内容的实施方式，可以提供包括大屏幕的信息处理设备、信息处理方法以及计算机程序，该大屏幕可以被多个用户共享，并且可以允许多个用户通过触摸板的操作适当地进行协同动作。
[0032]根据本公开内容的实施方式，可以提供通过取决于用户位置或用户状态优化显示GUI或输入单元来对用户给予高便利性的信息处理设备、信息处理方法以及计算机程序。
[0033]根据本公开内容的实施方式，可以提供在不取决于实际对象的尺寸或屏幕的尺寸或分辨率的情况下，一般能够在屏幕上以适当的尺寸显示对象的图像的信息处理设备、信息处理方法以及计算机程序。
[0034]根据本公开内容的实施方式，可以提供能够提供以下屏幕的信息处理设备、信息处理方法以及计算机程序，该屏幕能够被用户容易地识别，并且在该屏幕中，当在屏幕上以并列或重叠方式同时显示多个源的图像内容时通过执行图像归一化处理而将图像的相应区域的尺寸或位置相互匹配。
[0035]根据本公开内容的实施方式，可以提供能够在任何旋转角度或者在旋转其主体时在其变化过程中最佳地调整图像内容的显示形式的信息处理设备、信息处理方法以及计算机程序。
[0036]根据下文要描述的实施方式或参照附图的详细描述，本公开内容的其他要求、特征或优点将变得明显。
【专利附图】

【附图说明】
[0037][图1]图1是示出了具有大屏幕的信息处理设备的使用形式的示例(墙面)的图。
[0038][图2]图2是示出了具有大屏幕的信息处理设备的使用形式的另一示例(桌面)的图。
[0039][图3A]图3A是示出了具有大屏幕的信息处理设备的使用形式的又一示例的图。
[0040][图3B]图3B是示出了具有大屏幕的信息处理设备的使用形式的又一示例的图。
[0041][图3C]图3C是示出了具有大屏幕的信息处理设备的使用形式的又一示例的图。
[0042][图4]图4是示意性示出了信息处理设备的功能配置的图。
[0043][图5]图5是示出了输入接口单元的内部配置的图。
[0044][图6]图6是示出了输出接口单元的内部配置的图。
[0045][图7]图7是示出了对要操作的对象进行处理的操作单元的内部配置的图。
[0046][图8]图8是示出了在屏幕上设置用户占用区域的状态的图。
[0047][图9A]图9A是示出了在设置用户占用区域A之前将要操作的相应对象#1至#6随机定向的状态的图。
[0048][图9B]图9B是示出了通过设置用户A的用户占用区域A将要操作的对象#1至#6变成正好面对用户A的状态的图。
[0049][图10]图10是示出了通过检测除了用户A以外的用户B的存在，来在屏幕上额外设置共用区域和用户B的用户占用区域B的状态的图。
[0050][图11]图11是示出了通过检测除了用户A和用户B以外的用户D的存在，来在屏幕上额外设置共用区域和用户D的用户占用区域D的状态的图。
[0051][图12]图12是示出了通过检测除了用户A、用户B和用户D以外的用户C的存在，来在屏幕上额外设置共用区域和用户C的用户占用区域C的状态的图。
[0052][图13A]图13A是示出了用于基于屏幕的形状或尺寸以及用户数量将屏幕划分成相应用户的用户占用区域的区域划分模式的图。
[0053][图13B]图13B是示出了用于基于屏幕的形状或尺寸以及用户数量将屏幕划分成相应用户的用户占用区域的区域划分模式的图。
[0054][图13C]图13C是示出了用于基于屏幕的形状或尺寸以及用户数量将屏幕划分成相应用户的用户占用区域的区域划分模式的图。
[0055][图13D]图13D是示出了用于基于屏幕的形状或尺寸以及用户数量将屏幕划分成相应用户的用户占用区域的区域划分模式的图。
[0056][图13E]图13E是示出了用于基于屏幕的形状或尺寸以及用户数量将屏幕划分成相应用户的用户占用区域的区域划分模式的图。
[0057][图14]图14是示出了由监视器区域划分单元执行的监视器区域划分处理的流程的流程图。
[0058][图15]图15是示出了通过将对象拖动或抛掷到用户占用区域中，来将要操作的对象自动旋转成正好面对用户的状态的图。
[0059][图16A]图16A是示出了将新出现在用户占用区域中的对象自动旋转成正好面对用户的状态的图。
[0060][图16B]图16B是示出了将新出现在用户占用区域中的对象自动旋转成正好面对用户的状态的图。
[0061][图17]图17是示出了由对象优化单元执行的对象优化处理的流程的流程图。
[0062][图18]图18是示出了取决于用户触摸对象的位置来控制旋转方向的状态的图。
[0063][图19]图19是示出了取决于用户触摸对象的位置来控制旋转方向的状态的图。
[0064][图20]图20是示出了在信息处理设备与由用户携带的终端之间交换对象的交互的示例的图。
[0065][图21]图21是示出了由装置交互数据发送和接收单元执行的装置交互数据发送和接收处理的流程的流程图。
[0066][图22]图22是示出了将要操作的对象在用户占用区域之间移动以拷贝对象的状态的图。
[0067][图23]图23是示出了取决于到用户的距离来执行优化处理的操作单元的内部配置的图。
[0068][图24A]图24A是示出了表格的图，在该表格中设置了基于用户位置和用户状态由显示⑶I优化单元执行的⑶I显示优化处理。
[0069][图24B]图24B是示出了信息处理设备的屏幕基于用户位置和用户状态的变化的图。
[0070][图24C]图24C是示出了信息处理设备的屏幕基于用户位置和用户状态的变化的图。
[0071][图24D]图24D是示出了信息处理设备的屏幕基于用户位置和用户状态的变化的图。
[0072][图24E]图24E是示出了信息处理设备的屏幕基于用户位置和用户状态的变化的图。
[0073][图25A]图25A是示出了用于随机显示要操作的各种对象以及自动变换对象的屏幕的显示示例的图。
[0074][图25B]图25B是示出了要自动变换的多个对象的显示位置或尺寸时刻改变的屏幕的显示示例的图。
[0075][图26]图26是示出了在用户看电视但不操作电视的状态下的屏幕的显示示例的图。
[0076][图27A]图27A是示出了在用户正在操作电视的状态下的屏幕的显示示例的图。
[0077][图27B]图27B是示出了在用户正在操作电视的状态下的屏幕的显示示例的图。
[0078][图28]图28不出了表格的图,在该表格中设置了基于用户位置和用户状态由输入单元优化单元执行的输入单元优化处理。
[0079][图29]图29是表格的图，在该表格中设置了基于用户位置由距离检测模式切换单元执行的距离检测模式切换处理。
[0080][图30]图30是示出了根据相关技术的对象显示系统的问题的图。
[0081][图31]图31是示出了根据相关技术的对象显示系统的问题的图。
[0082][图32]图32是示出了执行与监视器性能对应的对象实际尺寸显示处理的操作单元的内部配置的图。
[0083][图33]图33是示出了在具有不同监视器规格的屏幕上以实际尺寸显示同一对象的图像的示例的图。
[0084][图34]图34是示出了在同一屏幕上以正确的相互尺寸关系显示具有不同实际尺寸的两个对象的图像的示例的图。
[0085][图35]图35是示出了以实际尺寸显示对象的图像的示例的图。
[0086][图36]图36是示出了以实际尺寸显示的对象的图像被旋转或在姿态方面被改变的示例的图。
[0087][图37A]图37A是示出了估计主题的实际尺寸信息的状态的图。
[0088][图37B]图37B是示出了基于所估计的主题的实际尺寸信息来执行对象实际尺寸显示处理的状态的图。
[0089][图38A]图38A是示出了相互视频聊天的用户的面部尺寸或位置全部不同的状态的图。
[0090][图38B]图38B是示出了通过对多个图像的归一化处理将相互视频聊天的用户的面部尺寸或位置相互匹配的状态的图。[0091][图39A]图39A是示出了并列显示在屏幕上的用户的体形的尺寸或位置与指导者的体形的尺寸或位置不相互匹配的状态的图。
[0092][图39B]图39B是示出了通过对多个图像的归一化处理，将并列显示在屏幕上的用户的体形的尺寸或位置与指导者的体形的尺寸或位置相互匹配的状态的图。
[0093][图39C]图39C是示出了通过对多个图像的归一化处理而归一化的用户的体形被显示为与指导者的体形重叠的状态的图。
[0094][图40A]图40A是示出了产品的样品图像没有以正确的尺寸关系在适当位置处与用户的图像重叠的状态的图。
[0095][图40B]图40B是示出了产品的样品图像以正确的尺寸关系在适当位置处与用户的图像重叠的状态的图。
[0096][图41]图41是示出了执行图像归一化处理的操作单元的内部配置的图。
[0097][图42]图42是示出了图像内容的整个区域被显示为不在任何旋转角度覆盖图像内容的显示形式的图。
[0098][图43]图43是示出了在任何旋转角度将图像内容中的感兴趣区域最大化的显示形式的图。
[0099][图44]图44是示出了旋转图像内容以便不显示无效区域的显示形式的图。
[0100][图45]图45是示出了关于图42至图44示出的显示形式中的旋转位置的图像内容的缩放比的关系的图。
[0101][图46]图46是示出了当旋转信息处理设备时在操作单元中控制图像内容的显示形式的处理的流程的流程图。
[0102][图47]图47是示出了操作单元的内部配置的图，该操作单元在信息处理设备主体的任何旋转角度或者在其转变过程中执行调整图像内容的显示形式的处理。
【具体实施方式】
[0103]在下文中，将参照附图详细描述本公开内容的实施方式。
[0104]A.系统配置
[0105]根据一种实施方式的信息处理设备100具有大屏幕，并且可以将如图1所示的悬挂在墙上的“墙面”形式和如图2所示的安装在桌子上的“桌面”形式考虑为信息处理设备的主要使用形式。
[0106]在图1中示出的“墙面”形式中，通过使用例如旋转和附接机制单元180将信息处理设备100旋转且可拆卸地附接至墙。旋转和附接机制单元180还用作信息处理设备100与其外部之间的电接触，电源电缆或网络电缆(在图中未示出两者)通过旋转和附接机制单元180连接至信息处理设备100，并且信息处理设备100可以从商用交流电源接收驱动电力，并且能够访问因特网上的各种服务器。
[0107]如下文将描述的，信息处理设备100包括距离传感器、接近传感器和触摸传感器，并且能够获取正好面对屏幕的用户位置(距离和方向)。当检测到用户时或在正在检测用户的状态下，可以在屏幕上表达波状检测指示符(下文将描述)或表示检测状态的照明，以给用户视觉反馈。
[0108]信息处理设备100基于用户位置自动选择最佳交互。例如,信息处理设备100基于用户位置自动选择或调整⑶I (图形用户接口)显示，诸如要操作的对象的构架和信息密度。信息处理设备100可以基于用户位置或到用户的距离，从多个输入单元(诸如具有屏幕的触摸输入、接近输入、使用手等的手势、遥控器以及基于用户状态的间接操作)中自动选择一个输入单兀。
[0109]信息处理设备100包括一个或更多个摄像机，并且除了用户位置以外还可以根据使用摄像机捕捉的图像来识别人、对象或装置。信息处理设备100包括极近距离通信单元，并且还可以直接且自然地向极近距离内的附近用户所携带的装置发送数据和从极近距离内的附近用户所携带的装置接收数据。
[0110]在墙面形式的大屏幕上，定义了由用户操作的对象。要操作的每个对象具有功能模块(如运动图像、静止图像、文本内容、因特网网站、应用或窗口小部件)的特定显示区域。要操作的对象包括电视广播的接收内容、来自记录介质的再现内容、通过网络获取的流视频、以及从另一设备(如用户携带的移动终端)输入的运动图像和静止图像。
[0111]如图1所示，当悬挂在墙上的信息处理设备100的旋转位置被设置成水平放置大屏幕时，可以几乎以电影中显示的视野将图像显示为具有与整个屏幕相对应的尺寸的对象。
[0112]在此，如图3A所示，当悬挂在墙上的信息处理设备100的旋转位置被设置成竖直放置大屏幕时，可以竖直地布置具有16:9的宽高比的三个屏幕。例如，可以同时布置和显示三种内容#1至#3:同时从不同的广播站接收的广播内容、来自记录介质的再现内容以及网络上的流视频。当用户使用例如指尖竖直操作屏幕时，如图3B所示，竖直地滚动相应的内容。当用户使用指尖水平地操作三级中的任何地方时，如图3C所示，水平地滚动相应级的屏幕。
[0113]另一方面，在图2中示出的“桌面”形式中，将信息处理设备100直接安装在桌子上。在图1中示出的使用形式中，旋转和附接机制单元180也用作电接触(如上所述)。然而，在如图2所示信息处理设备100安装在桌子上的状态下，与信息处理设备100的电接触是不可见的。因此，在图中示出的桌面形式中，信息处理设备100可以被构造成以内置电池而不使用电源来操作。当信息处理设备100包括与无线LAN(局域网)的移动站的功能相对应的无线通信单元，并且旋转和附接机制单元180包括与无线LAN的接入点的功能相对应的无线通信单元时，信息处理设备100可以通过与旋转和附接机制单元180(甚至在桌面形式中其作为接入点)的无线通信来访问因特网上的各种服务器。
[0114]在桌面形式的大屏幕上，定义了要操作的多个对象。要操作的每个对象具有功能模块(如运动图像、静止图像、文本内容、因特网网站、应用或窗口小部件)的特定显示区域。
[0115]信息处理设备100包括在大屏幕的四个边缘中的每个边缘处检测用户的存在或状态的接近传感器。如上所述，接近大屏幕的用户可以被使用摄像机成像，并且可以被识别为人。极近距离通信单元检测被检测到存在的用户是否携带诸如移动终端的装置，或检测来自用户所携带的终端的数据发送和接收请求。当用户或由用户携带的终端被检测到时，或在正在检测用户的状态下，可以在屏幕上表达波状检测指示符或表示检测状态的照明(下文将描述)，以给用户视觉反馈。
[0116]当通过使用接近传感器等检测用户的存在时，信息处理设备100使用检测结果来执行Π控制。当除了检测到用户的存在以外还检测到躯干、手或腿、用户的头的位置等时，检测结果可以用于更详细的Π控制。信息处理设备100包括极近距离通信单元，并且还可以直接且自然地向极近距离内的附近用户发送数据和从极近距离内的附近用户接收数据。
[0117]在此，作为Π控制的示例，信息处理设备100取决于所检测的用户的布置，来在大屏幕中设置每个用户的用户占用区域以及由用户共享的共用区域。检测每个用户在用户占用区域和共用区域中的触摸传感器输入。屏幕的形状以及区域被划分的模式不限于矩形形状，而是可以具有以下形状:如正方形形状、环形形状以及包括立体形状(如圆锥形状)的形状。
[0118]当信息处理设备100的屏幕在尺寸上增大时，在桌面形式中产生使得多个用户可以同时输入触摸的空间余量(margin of space)。如上所述，通过在屏幕中设置共用区域和用户的用户占用区域，多个用户可以舒适且有效地享受同时操作。
[0119]将放置在用户占用区域中的对象的操作权限给予相应的用户。用户可以通过将对象从共用区域或另一用户的用户占用区域移动到他或她自己的用户占用区域，来将要操作的对象的操作权移动到他或她自己。当要操作的对象进入用户占用区域中时，自动改变其显示，使得对象正好面对用户。
[0120]当要操作的对象在用户占用区域之间移动时，取决于进行移动操作的触摸位置，物理地且自然地移动对象。当用户朝向彼此拉一个对象时，可以划分或拷贝要操作的对象。
[0121]图4示意性示出了信息处理设备100的功能框图。信息处理设备100包括:从外部接收信息信号的输入接口单元110、基于输入信息信号执行显示屏等的控制的操作处理的操作单元120、基于操作结果将信息输出至外部的输出接口单元130、由硬盘驱动器(HDD)等形成的大容量存储单元140、连接至外部网络的通信单元150、提供驱动电力的电源单元160、以及电视调谐器单元170。存储单元140存储由操作单元120执行的各种处理算法以及用于操作单元120中的操作处理的各种数据库。
[0122]输入接口单元Il0的主要功能包括:检测用户的存在、检测所检测到的用户对屏幕(即触摸板)的触摸操作、检测由用户携带的装置(如移动终端)以及从该装置接收传输数据的处理。图5示出了输入接口单元110的内部配置。
[0123]遥控器接收单元501从遥控器或移动终端接收遥控器信号。信号分析单元502通过对所接收的遥控器信号进行解调和解码来获取遥控器命令。
[0124]摄像机单元503采用单目式，或者双目式和主动式中的一种或两种。摄像机单元503由成像装置，如CMOS(互补金属氧化物半导体)或(XD(电荷耦合装置)构成。摄像机单元503包括控制其平移、倾斜、缩放等的摄像机控制器。摄像机单元503通知操作单元120摄像机信息，如平移、倾斜、缩放，并且可以基于来自操作单元120的摄像机控制信息来控制摄像机单元503的平移、倾斜、缩放。
[0125]图像识别单元504识别由摄像机单元503捕捉的图像。具体地，图像识别单元504通过使用背景差异检测用户的面部或手部运动来识别手势，识别包括在捕捉图像中的用户的面部，识别躯干，或识别到用户的距离。
[0126]麦克风单元505接收由用户发出的声音或语音。语音识别单元506对输入语音信号进行识别。
[0127]距离传感器507例如由PSD (位置敏感检测器)构成，并且检测从用户或对象返回的信号。信号分析单元508分析所检测的信号并且测量到用户或对象的距离。除了 PSD传感器以外，热电传感器或简单摄像机可以用作距离传感器507。一般地，距离传感器507监视用户是否存在于距信息处理设备100的一定半径内，例如距其5至10米。因此，优选地，具有低功耗的传感器装置可以用作距离传感器507。
[0128]触摸检测单元509由在屏幕上叠加的触摸传感器等构成，并且从用户的指尖与屏幕接触的地方处输出检测信号。信号分析单元510分析检测信号，并且获取位置信息。
[0129]接近传感器511安装在大屏幕的四个侧边缘中每一个处，并且通过使用例如电容来检测用户身体接近屏幕。信号分析单元512分析检测信号。
[0130]极近距离通信单元513通过例如NFC(近场通信)来从用户携带的装置接收非接触通信信号。信号分析单元514通过对所接收的信号进行解调和解码来获取接收数据。
[0131]三轴传感器单元515由陀螺仪等构成，并且检测信息处理设备100关于X轴、y轴和z轴的姿态。GPS(全球定位系统)接收单元516接收GPS卫星的信号。信号分析单元517分析来自三轴传感器单元515和GPS接收单元516的信号，并且获取信息处理设备100的位置信息或姿态信息。
[0132]输入接口集成单元520将信息信号的输入集成，并且将所集成的信息信号输出至操作单元120。输入接口集成单元520将信号分析单元508、510、512和514的分析结果集成，并且获取和输出在信息处理设备100周围的用户的位置信息至操作单元120。
[0133]操作单元120的主要功能包括基于输入接口单元110的用户检测结果、屏幕触摸检测结果以及从用户携带的装置所接收的数据来进行操作处理，如UI屏幕生成处理，并且将操作结果输出至输出接口单元130。操作单元120可以通过加载安装在存储单元140中的应用程序并且执行所加载的应用程序来执行每个应用的处理操作。将在下文中描述与每个应用对应的操作单元120的功能配置。
[0134]输出接口单元130的主要功能包括基于操作单元120的操作结果在屏幕上显示UI，并且将数据发送至用户携带的装置。图6示出了输出接口单元130的内部配置。
[0135]输出接口集成单元610基于操作单元120的监视器划分处理、对象优化处理以及装置交互数据发送和接收处理的操作结果来集成和处理信息输出。
[0136]输出接口集成单元610指示内容显示单元601将运动图像内容或静止图像内容(如所接收的电视广播内容和从诸如蓝光光盘的记录介质再现的内容)的图像和语音输出至显示单元603和扬声器单元604。
[0137]输出接口集成单元610指示⑶I显示单元602将要操作的对象显示在显示单元603 上。
[0138]输出接口集成单元610指示照明显示单元605从照明单元606输出表示检测状态的照明显示。
[0139]输出接口集成单元610指示极近距离通信单元513通过非接触通信将数据发送至用户携带的装置等。
[0140]信息处理设备100可以基于从摄像机单元503所捕捉图像中的识别或距离传感器507、触摸传感器509、接近传感器511、极近距离通信单元513等的检测信号来检测用户。通过从摄像机单元503所捕捉的图像中识别面部或通过使用极近距离通信单元513来识别用户携带的装置，可以指定所检测到的用户的个人身份。所指定的用户可以登录到信息处理设备100。能够登录的账户可以限于特定用户。信息处理设备100取决于用户位置或用户状态适当地使用距离传感器507、触摸传感器509和接近传感器511，来接收用户的操作。
[0141]信息处理设备100通过通信单元150连接至外部网络。到外部网络的连接格式仅限于有线方式和无线方式中之一。信息处理设备100可以与移动终端(如用户携带的智能手机)或另一设备(如平板终端)通信。所谓的“三个屏幕”可以由信息处理设备100、移动终端和平板终端这三种类型的设备的组合来构成。信息处理设备100可以提供以下Π:该UI使得三个屏幕在比其他两个屏幕更大的屏幕上相互交互。
[0142]例如，在用户触摸屏幕或将他的或她携带的终端带到靠近信息处理设备100的动作的背景下，在信息处理设备100与相应的携带终端之间发送和接收数据(如运动图像、静止图像、文本内容等)，该数据是要操作的对象的实体。可以在外部网络上安装云服务器等，并且三个屏幕可以使用云服务器的操作能力。也就是说，可以通过使用信息处理设备100享受云计算的益处。
[0143]下面将顺序描述信息处理设备100的一些应用。
[0144]B.多个用户在大屏幕上的同时操作
[0145]信息处理设备100可以由多个用户通过使用大屏幕而同时操作。具体地，由于信息处理设备包括对于大屏幕的四个侧边缘中的每一个检测用户的存在或用户状态的接近传感器511，并且取决于多个用户的布置在屏幕中设置用户占用区域和共用区域，所以多个用户可以舒适且有效地同时操作信息处理设备。
[0146]当信息处理设备100的屏幕在尺寸上增大时，在桌面形式中产生多个用户可以同时输入触摸的这样的空间余量。如上所述，通过在屏幕中设置共用区域和用户的用户占用区域，多个用户可以舒适且有效地享受同时操作。
[0147]将对于放置在用户占用区域中的对象的操作权限给予相应的用户。用户可以通过将对象从共用区域或另一用户的用户占用区域移动到他或她自己的用户占用区域，来将要操作的对象的操作权限移动到他或她自己。当要操作的对象进入用户的用户占用区域时，自动改变其显示，使得对象正好面对用户。
[0148]当要操作的对象在用户占用区域之间移动时，取决于进行移动操作的触摸位置来物理地且自然地移动对象。当用户相互拉一个对象时，可以划分或拷贝要操作的对象。
[0149]当执行该应用时操作单元120的主要功能包括优化对象，以及基于输入接口单元110中的用户检测结果、屏幕触摸检测结果以及从用户携带的装置接收的数据来生成Π。图7示出了用于处理要操作的对象的操作单元120的内部配置。操作单元120包括监视器区域划分单元710、对象优化单元720以及装置交互数据发送和接收单元730。
[0150]当从输入接口集成单元520获取用户的位置信息时，监视器区域划分单元710参照存储在存储单元140中的装置数据库711以及与形状或传感器布置有关的区域划分模式数据库712在屏幕上设置用户占用区域和共用区域。监视器区域划分单元710将设置的区域信息输出至对象优化单元720以及装置交互数据发送和接收单元730。下文将描述监视器区域划分处理的流程的细节。
[0151]对象优化单元720从输入接口集成单元520接收与在屏幕上对要操作的对象执行的操作有关的信息。对象优化单元720根据从存储单元140加载的优化算法721来执行与用户的操作(如旋转、移动、显示、划分或拷贝由用户操作的对象)对应的对象优化处理，并且将经优化的对象输出到显示单元603的屏幕上。下文将描述对象优化处理的细节。
[0152]装置交互数据发送和接收单元730从输入接口集成单元520接收用户或用户携带的装置的位置信息以及与该装置发送和接收的数据。装置交互数据发送和接收单元730根据从存储单元140加载的发送和接收算法731，通过与用户携带的装置的交互来执行数据发送和接收处理。对象优化单元720与数据发送和接收处理对应地优化对象。例如，对象优化单元720伴随着通过与用户携带装置的交互的数据发送和接收处理来执行对象优化处理，诸如旋转、移动、显示或拷贝与所发送和接收的数据相关联的对象，并且将经优化的对象输出到显示单元603的屏幕。下文将描述伴随着与装置的交互的对象优化处理的细节。
[0153]随后，将详细描述监视器区域划分处理。将监视器区域划分处理假定为在信息处理设备100以桌面形式被多个用户共享的使用形式下的处理，但也可以在信息处理设备以墙面形式被多个用户共享的使用形式下进行。
[0154]当通过使用输入接口集成单元520来检测用户的存在时，监视器区域划分单元710对屏幕分配相应用户的用户占用区域。图8示出了当基于布置在屏幕的侧边缘上的接近传感器511 (或距离传感器507)的检测信号而检测到用户A的存在时，监视器区域划分单元710在屏幕中设置用户A的用户占用区域A的状态。当检测到仅存在一个用户时，如图所示，可以将整个屏幕设置为相应用户的用户占用区域。
[0155]在此，当设置了用户占用区域A时，对象优化单元720基于从输入接口集成单元520获取的用户A的位置信息来改变用户占用区域A中要操作的对象的方向，以便正好面对用户。图9A示出了在设置用户占用区域A之前将对象#1至#6随机定向的状态。在图中，对象中的附 图标记…的倾斜度表示对象的取向。图9B示出了通过设置用户A的用户占用区域A来将区域中的所有对象#1至#6变成正好面对用户A的状态。
[0156]当检测到仅存在用户A时，可以将用户A的用户占用区域A设置成整个屏幕。相反，当检测到存在两个或更多个用户时，优选地，可以设置能够由用户共享的共用区域来进行用户之间的协同动作。
[0157]图10示出了当基于接近传感器511或距离传感器507的检测信号而在屏幕的相邻侧边缘处检测到除了用户A以外还存在用户B时，监视器区域划分单元710在屏幕中额外设置共用区域以及用户B的用户占用区域B的状态。基于用户A和用户B的位置信息，用户A的用户占用区域A退缩到用户A所位于的地方，而用户B的用户占用区域B出现在用户B所位于的地方附近。当新检测到存在用户B时，在用户占用区域B中显示波状检测指示符。屏幕中除了用户占用区域A和用户占用区域B以外的区域全部为共用区域。在用户B接近信息处理设备100从而在屏幕中新设置用户占用区域B之后用户占用区域B中的任何对象最初被触摸的时间点处，可以使用户占用区域B成为有效的。尽管在图10中未示出，但在设置用户占用区域B的时间点或用户占用区域B成为有效的点处将新变成用户占用区域B的区域中要操作的对象变成正好面对用户B。
[0158]图11示出了当在屏幕的另一侧边缘上检测到除了用户A和用户B以外还存在用户D时，监视器区域划分单元710在屏幕中在用户D所位于的地方附近额外设置用户D的用户占用区域D的状态。通过在用户占用区域D中显示波状检测指示符，能够表达出新检测到存在用户D。图12示出了当在屏幕的另一侧边缘上检测到除了用户A、用户B和用户D以外还存在用户C时，监视器区域划分单元710在屏幕中在用户C所位于的地方附近额外设置用户C的用户占用区域C的状态。通过在用户占用区域C中显示波状检测指示符，能够表达出新检测到存在用户C。
[0159]图8至图12中示出的用户占用区域和共用区域的区域划分模式仅是示例。区域划分模式也取决于屏幕的形状、检测到存在的用户的数量以及用户的布置。区域划分模式数据库712存储与屏幕的形状或尺寸以及用户数量对应的区域划分模式有关的信息。装置数据库711存储关于信息处理设备100中所使用的屏幕的形状或尺寸的信息。当从输入接口集成单元520输入检测到的用户的位置信息时，监视器区域划分单元710从装置数据库711读取屏幕的形状或尺寸，并且从区域划分模式数据库712查阅相应的区域划分模式。图13A至图13E示出了取决于屏幕的形状或尺寸以及用户数量将屏幕划分成相应用户的用户占用区域的区域划分模式。
[0160]图14是示出了由监视器区域划分单元710执行的监视器区域划分处理的流程的流程图。
[0161]首先，监视器区域划分单元710基于来自接近传感器511或距离传感器507的检测信号的信号分析结果，来检查屏幕附近是否存在用户(步骤S1401)。
[0162]当检测到存在用户时(步骤S1401中“是”)，监视器区域划分单元710获取存在的用户的数量(步骤S1402)，并且还另外获取用户的位置(步骤S1403)。基于从输入接口集成单元520接收的用户的位置信息来进行步骤S1401至S1403的处理。
[0163]随后，监视器区域划分单元710参考装置数据库711获取与在信息处理设备100中使用的显示单元603的屏幕形状或接近传感器511的布置有关的装置信息，并且使用该信息和用户的位置信息从区域划分模式数据库712查阅相应的区域划分模式(步骤S1404)。
[0164]监视器区域划分单元710基于所获取的区域划分模式在屏幕中设置共用区域和用户的用户占用区域(步骤S1405)，并且该处理的流程结束。
[0165]下面将描述由对象优化单元720执行的对象优化处理的细节。
[0166]当从输入接口集成单元520输入与用户在屏幕上对对象进行的操作有关的信息时，对象优化单元720响应于用户的操作来执行显示处理，诸如对屏幕上的对象进行旋转、移动、显示、划分或拷贝等。响应于用户的拖动或抛掷操作而对对象进行旋转、移动、显示、划分或拷贝的处理类似于桌面的屏幕上的GUI操作。
[0167]在该实施方式中，在屏幕中设置用户占用区域和共用区域，并且对象优化单元720取决于存在要操作对象的区域来优化显示。优化处理的代表示例是改变每个用户占用区域中的相应对象的方向以便正好面对相应用户的处理。
[0168]图15示出了在共用区域中的对象#1被拖动或抛掷到用户A的用户占用区域A，并且对象的一部分或中心坐标进入用户占用区域A的时间点处，对象优化单元720自动旋转对象#1以便正好面对用户A的状态。图15还示出了在用户B的用户占用区域B中的对象#2被拖动或抛掷到用户A的用户占用区域A，并且对象的一部分或中心坐标进入用户占用区域A的时间点处，对象优化单元720自动旋转对象#2以便正好面对用户A的状态。
[0169]如图10所示，当用户B接近信息处理设备100时，在屏幕上在用户B附近新设置用户占用区域B。当在用户占用区域B中存在正好面对用户A的对象#3并且用户占用区域B新出现时，如图16B所示，对象优化单元720自动旋转对象#3以便立即正好面对用户B。[0170]可替代地，代替于立即旋转对象，用户占用区域B可以在通过用户B接近信息处理设备100而新设置用户占用区域B之后最初触摸用户占用区域B中的任何对象的时间点处成为有效的。在这种情况下，在用户占用区域B成为有效的时间点处，可以同时旋转用户占用区域B中的所有对象以正好面对用户B。
[0171 ] 对象优化单元720可以基于从输入接口集成单元520获取的用户的操作信息以及从监视器区域划分单元710接收的区域信息来执行优化对象的处理。图17是示出了由对象优化单元720执行的对象优化处理的流程的流程图。
[0172]当从输入接口集成单元520接收到由用户操作的对象的位置信息并且从监视器区域划分单元710获取了划分的监视器区域信息时，对象优化单元720检查被用户操作的对象所存在的区域(步骤S1701)
[0173]在此，当被用户操作的对象存在于用户占用区域中时，对象优化单元720检查对象是否被定向为正好面对用户占用区域中的用户(步骤S1702)。
[0174]当对象未被定向为正好面对用户时(步骤S1702中“否”)，对象优化单元720旋转对象，以便正好面对相应用户占用区域中的用户(步骤S1703)。
[0175]当用户将对象从共用区域或另一用户的用户占用区域拖动或抛掷到他或她的用户占用区域时，可以基于用户触摸对象的位置来控制旋转方向。图18示出了在通过允许用户触摸对象的重心位置的右侧并且拖动或抛掷对象，对象进入用户占用区域的时间点处，围绕重心位置顺时针旋转对象以正好面对用户的状态。图19示出了通过允许用户触摸对象的重心位置的左侧并且拖动或抛掷对象，来围绕重心位置逆时针旋转对象以正好面对用户的状态。
[0176]如图18和图19所示，可以通过改变对象围绕重心位置的旋转方向来给用户自然的操作感觉。
[0177]随后，下面将描述由装置交互数据发送和接收单元730执行的装置交互数据发送和接收处理。
[0178]如图4所示，信息处理设备100可以通过使用通信单元150与另一设备(如用户携带的移动终端)进行通信。例如，在用户触摸屏幕或将他或她携带的终端带到靠近信息处理设备100的动作的背景下，在信息处理设备100与相应的携带终端之间发送和接收诸如运动图像、静止图像、文本内容等的数据，该数据是要操作的对象的实体。
[0179]图20示出了在信息处理设备100与用户携带的终端之间给予和获得对象的交互的示例。在图中示出的示例中，当用户A使他或她携带的终端接近分配给用户的用户占用区域A附近时，进行以下Π表达:对象从终端附近出现并且流入用户占用区域A。
[0180]信息处理设备100可以基于来自极近距离通信单元513的检测信号的信号分析结果或来自摄像机单元503的捕捉的用户图像的识别结果来检测用户携带的终端接近用户占用区域A附近。装置交互数据发送和接收单元730可以通过使用用户A与信息处理设备100之间的上下文(context)(或用户A与另一用户之间通过信息处理设备100的交换)，来指定是否存在要从用户发送至信息处理设备100的数据以及要发送的数据是什么。当存在发送数据时，在用户将他或她携带的终端带到靠近用户占用区域A的动作的背景下，装置交互数据发送和接收单元730在信息处理设备100与相应的携带终端之间发送和接收诸如运动图像、静止图像、文本内容的数据，该数据是要操作的对象的实体。[0181]在该背景下，当向用户携带的终端发送数据和从用户携带的终端接收数据时，通过使用对象优化单元720中的对象优化处理，装置交互数据发送和接收单元730进行以下UI表达:要操作的对象从用户携带的终端出现在显示单元603的屏幕上。图20示出了要操作的对象从用户A携带的终端流入用户占用区域A的Π表达的示例。
[0182]图21是示出了由装置交互数据发送和接收单元730执行的装置交互数据发送和接收处理的流程的流程图。当基于来自极近距离通信单元513的检测信号的信号分析结果，某个用户携带的终端接近他或她的用户占用区域附近时，启动装置交互数据发送和接收单元730的处理。
[0183]装置交互数据发送和接收单元730基于来自极近距离通信单元513的检测信号的信号分析结果，来检查是否存在通信中的用户携带的终端(步骤S2101)。
[0184]当存在通信中的用户携带的终端时(步骤S2101中“是”)，装置交互数据发送和接收单元730基于来自极近距离通信单元513的检测信号的信号分析结果来获取终端的位置(步骤S2102)。
[0185]装置交互数据发送和接收单元730检查是否存在要发送至用户携带的终端的数据以及要从用户携带的终端接收的数据(步骤S2103)。
[0186]当存在要发送至用户携带的终端的数据以及要从用户携带的终端接收的数据时(步骤S2103中“是”)，装置交互数据发送和接收单元730根据发送和接收算法731取决于终端的位置来进行要操作的对象的UI显示(参见图20)。装置交互数据发送和接收单元730在Π显示的背景下向终端发送数据以及从终端接收数据，该数据是对象的实体(步骤S2104)。
[0187]如图20和图21所示，由信息处理设备100从用户携带的终端获取的对象被布置在相应用户的用户占用区域中。当在用户之间给予和获得数据时，仅必须要执行在用户占用区域之间移动对象的操作。图22示出了由用户A将用户B保持在用户占用区域B中的对象拷贝到用户占用区域A的状态。可替代地，可以划分对象而不是拷贝对象。
[0188]当拷贝在屏幕上的对象是诸如运动图像或静止图像的内容时，简单地准备独立数据。当拷贝的对象是应用的窗口时，准备应用的另一窗口，该另一窗口可以被最初保持对象的用户和拷贝目的地的用户协同操作。
[0189]C.取决于用户位置的输入单元和显示⑶I的最佳选择
[0190]信息处理设备100包括距离传感器507和接近传感器511，并且在例如图1和图3中示出的墙面形式下可以检测信息处理设备100的主体(即屏幕)到用户的距离。
[0191]信息处理设备100包括触摸传感器509、接近传感器511、摄像机单元503和遥控器接收单元501，并且可以向用户提供多个输入单元，诸如触摸屏幕、接近、使用手的手势、遥控器以及取决于用户状态的间接操作。相应的输入单元取决于从信息处理设备100的主体(即屏幕)到用户的距离适当地操作。例如，位于距信息处理设备100的主体50cm内的用户可以通过直接触摸屏幕来稳妥地操作要操作的对象。由于位于距信息处理设备100的主体2m内的用户太远而不能直接触摸屏幕，但可以通过识别由摄像机单元503捕捉的图像来精确地捕捉面部或手的动作，所以用户可以输入手势。位于距信息处理设备100的主体超过2m的用户可以操作遥控器，因为图像识别的精确度低，但是可以稳妥地输入遥控器信号。取决于到用户的距离来改变具有要显示在屏幕上的对象的构架或信息密度的最佳GUI显不O
[0192]在该实施方式中，由于信息处理设备100取决于用户位置或到用户的距离而自动选择多个输入单元中的输入单元，并且取决于用户位置自动选择或调整⑶I显示，所以提高了用户的便利性。
[0193]图23示出了取决于到用户的距离执行优化处理的操作单元120的内配配置。操作单元120包括显示⑶I优化单元2310、输入单元优化单元2320和距离检测模式切换单元2330。
[0194]显示⑶I优化单元2310取决于用户位置和用户状态来优化具有要显示在显示单元603的屏幕上的对象的构架或信息密度的最佳GUI显示。
[0195]在此，通过由距离检测模式切换单元2330切换的距离检测模式来获取用户位置。当用户位置变得靠近时，通过使用根据摄像机单元503所捕捉图像的面部识别或与用户携带的终端的接近通信，个人认证(personal authenticat1n)是可以的。基于根据摄像机单元503所捕捉图像的图像识别或距离传感器507中的信号分析来指定用户状态。用户状态广义地被分类成“存在用户(存在)”和“不存在用户(不存在)”两种状态。状态“存在用户”被分类成“用户正在看电视(显示单元603的屏幕)(观看中)”和“用户没在看电视(非观看中)”两种状态。状态“用户正在看电视”被分类成“用户正在操作电视(操作中)”和“用户没在操作电视(非操作中)”两种状态。
[0196]显示⑶I优化单元2310在确定用户状态时参考存储单元140中的装置输入单元数据库。在取决于所确定的用户位置和用户状态而优化显示GUI时，参考存储单元140中的GUI显示(构架和密度)数据库和内容数据库。
[0197]图24A示出了以下表格，在该表格中布置了由显示⑶I优化单元2310执行的、与用户位置和用户状态对应的显示⑶I优化处理的。图24B至图24E示出了信息处理设备100的屏幕取决于用户位置和用户状态的变化。
[0198]在“不存在用户”的状态下，显示⑶I优化单元2310停止显示单元603的屏幕显示，并且等待直到检测到存在用户为止(参见图24B)。
[0199]在“存在用户”的“用户没在看电视”的状态下，显示⑶I优化单元2310选择“自动变换(automatic zapping) ”作为最佳显示⑶I (参见图24C)。自动变换是随机显示要操作的各种对象并且吸引用户的注意力来看电视。用于变换的对象包括由显示CTI优化单元2310基于内容数据库所选择的多个对象，诸如除了通过使用电视调谐器单元170所接收的电视广播的节目内容以外，通过因特网从通信150获取的网络内容以及来自另一用户的电子邮件或消息。
[0200]图25A示出了用于自动变换的显示⑶I的示例。显示⑶I优化单元2310可以如图25B所示时刻改变显示在屏幕上的位置或尺寸(也就是说，暴露程度)，以作用于用户的潜意识。当用户的位置变得靠近并且个人认证变得可能时，显示⑶I优化单元2310可以使用所识别的用户信息选择要自动变换的对象。
[0201]在“用户正在看电视”的“用户没在操作电视”的状态下，显示⑶I优化单元2310选择“自动变换”作为最佳显示GUI (参见图24D)。在此，与上述不同，可以通过如图26所示将屏幕划分成展示区(stage)等等来规则地布置基于内容数据库所选择的多个对象，以便于对单独对象的显示细节的理解。当用户的位置变得靠近并且个人认证是可能的时，显示GUI优化单元2310可以使用所识别的用户的信号选择要自动变换的对象。显示GUI优化单元2310可以取决于用户位置来控制显示GUI的信息密度，使得当用户远离时GUI的信息密度降低，而当用户靠近时GUI的信息密度提高。
[0202]另一方面，在“用户正在看电视”的“用户正在操作电视”的状态下，用户使用由输入单元优化单元2320优化的输入单元来操作信息处理设备100 (参见图24E)。在该状态下，最佳输入单元的示例包括对遥控器接收单元501的遥控器信号的输入、对摄像机单元503的手势输入、由触摸传感器509检测的触摸输入、对麦克风505的语音输入以及对接近传感器511的接近输入。显示⑶I优化单元2310可以取决于用户的输入操作来显示所划分的展示区中的对象作为最佳显示GUI，并且可以响应于用户的操作来滚动或选择性地操作对象。如图27A所示，在通过使用输入单元所指示的屏幕上的位置处显示光标。由于上面没有放置光标的对象不是用户感兴趣的，所以可以降低亮度等级以表达与图中的阴影线所表示的感兴趣对象的对比(其中光标放置在图中使用用户的指尖触摸的对象#3上)。如图27B所示，当用户选择上面放置光标的对象时，所选择的对象可以显示在整个屏幕中(可替代地，可以被放大并且尽可能大地显示)(其中所选择的对象#3在图中被放大)。
[0203]输入单元优化单元2320取决于用户位置和用户状态来优化用户使用其操作信息处理设备100的输入单元。
[0204]如上所述，在由距离检测模式切换单元2330切换的距离检测模式下获取用户的位置。当用户的位置变得靠近时，通过根据摄像机单元503所捕捉图像的面部识别或与用户携带的终端的接近通信，个人认证是可能的。通过根据摄像机单元503所捕捉图像的图像识别或距离传感器507的信号分析来指定用户状态。
[0205]输入单元优化单元2320在确定用户状态时参考存储单元140中的装置输入单元数据库。
[0206]图28示出了以下表格:在该表格中布置了由输入单元优化单元2320执行的、与用户位置和用户状态对应的输入单元优化处理。
[0207]在“不存在用户”的状态、“存在用户”的“用户没在看电视”的状态、以及“用户正在看电视”的“用户没在操作电视”的状态下，输入单元优化单元2320等待，直到用户的操作开始为止。
[0208]在“用户正在看电视”的“用户正在操作电视”的状态下，输入单元优化单元2320主要取决于用户位置来优化相应的输入单元。输入单元的示例包括对遥控器接收单元501的遥控器信号的输入、对摄像机单元503的手势输入、由触摸传感器509检测的触摸输入、对麦克风505的语音输入以及对接近传感器511的接近输入。
[0209]遥控器接收单元501对于用户的所有位置都启动(也就是说，一般说来几乎都启动)，并且等待，直到接收到遥控器信号为止。
[0210]当用户变得较远时，根据捕捉图像的摄像机单元503的识别精确度降低。当用户变得太靠近时，用户的体形容易偏离摄像机单元503的视野。因此，输入单元优化单元2320接收在几十厘米至几米的用户位置的范围内对摄像机单元503的手势输入。
[0211]对叠加在显示单元603的屏幕上的触摸板的触摸不限于用户的手触及到的范围。因此，输入单元优化单元2320接收直到几十厘米的用户位置的范围内对触摸传感器509的触摸输入。甚至在未被触摸的情况下，接近传感器511可以检测在几十厘米内的用户。因此，输入单元优化单元2320接收接近输入直到触摸输入是不可能的用户位置。
[0212]当用户变得较远时，对麦克风单元505的语音输入的识别精确度降低。因此，输入单元优化单元2320接收在几米的用户位置的范围内对摄像机单元503的手势输入。
[0213]距离检测模式切换单元2330执行以下处理:对信息处理设备100取决于用户位置来检测到用户的距离或用户的位置的模式进行切换。
[0214]在确定用户状态时，距离检测模式切换单元2330参考存储单元140中的用于每个检测模式的区域覆盖数据库。
[0215]图29示出了以下表格:在该表格中布置了由距离检测模式切换单元2330执行的、与用户位置对应的距离检测模式切换处理。
[0216]距离传感器507由具有较低功耗的传感器装置简单构成，诸如PSD传感器或热电传感器或简单摄像机。一般地，为了监视在距信息处理设备1005至10米的半径内是否存在用户，距离检测模式切换单元2330 —般开启距离传感器507。
[0217]当摄像机单元503采用单目式时，图像识别单元504基于背景差异来执行用户的运动识别、面部识别和躯干识别。距离检测模式切换单元2330开启在70厘米至6米的用户位置的范围内的图像识别单元504的识别(距离检测)功能，在该范围内获得根据所捕捉图像的满意的识别精确度。
[0218]当摄像机单元503采用双目式或主动式时，图像识别单元504可以在稍微较近的60厘米至5米的范围内 实现足够的识别精确度，并且距离检测模式切换单元2330开启在该用户位置的范围内的图像识别单元504的识别(距离检测)功能。
[0219]当用户变得太靠近时，用户的体形容易偏离摄像机单元503的视野。因此，当用户变得太靠近时，距离检测模式切换单元2330可以关闭摄像机单元503和图像识别单元504。
[0220]对叠加在显示单元603的屏幕上的触摸板的触摸不限于用户的手触及到的范围。因此，距离检测模式切换单元2330开启在几十厘米的用户位置的范围内的触摸传感器509的距离检测功能。甚至在未被触摸的情况下，接近传感器511可以检测在几十厘米内的用户。因此，距离检测模式切换单元2330开启接近传感器511的距离检测功能直到触摸输入是不可能的用户位置。
[0221]作为具有多个距离检测模式的信息处理设备100的设计方法，由于用于检测比几米或10米更远的远程位置的距离检测模式被设计成检查用户的存在，并且因此应当一般被开启，所以优选地使用具有低功耗的装置。相反，由于用于检测比I米更近的位置的距离检测模式通过获取具有高密度的信息可以具有识别功能(诸如面部识别功能和躯干识别功能)，但在识别处理中消耗大功率，所以在不能实现满意的识别精确度的距离上关闭其功倉泛。
[0222]D.取决于监视器性能的对象的实际尺寸显示
[0223]在根据相关技术的对象显示系统中，在屏幕上显示实际存在的对象的图像而不考虑其实际尺寸信息。因此，要显示的对象的尺寸取决于屏幕的尺寸或分辨率(dpi)而改变。例如，具有a厘米的横向宽度的包被显示在32英寸监视器上时的横向宽度a’与该包被显示在50英寸监视器上时的横向宽度a”不同(a! = a’！ =a”)(参见图30)。
[0224]当在同一监视器屏幕上同时显示多个对象的图像时，在不考虑对象的实际尺寸信息的情况下，没有正确地显示对象的相互尺寸关系。例如，当在同一监视器屏幕上同时显示具有a厘米的横向宽度的包和具有b厘米的横向宽度的袋时，以a’厘米显示包而以b’厘米显示袋，也就是说，没有正确地显示其相互尺寸关系(a:b? a’:b’)(参见图31)。
[0225]例如，在网购产品中，当样品图像不能再现实际尺寸时，用户不能准确地将产品与他或她自己的体形搭配，从而可能购买不正确的产品。当意图通过网购同时购买多个产品并且在屏幕上同时显示产品的样品图像，但没有正确地显示样品图像的相互尺寸关系时，用户不能准确地以组合来搭配产品，从而可能以不适当的组合购买产品。
[0226]相反，根据本实施方式的信息处理设备100管理要显示的对象的实际尺寸信息，以及与显示单元603的屏幕的尺寸和分辨率(像素间距)有关的信息，并且即使在对象或屏幕的尺寸改变时一般也在屏幕上以实际的尺寸显示对象的图像。
[0227]图32示出了取决于监视器性能执行对象实际尺寸显示处理的操作单元120的内部配置。操作单元120包括实际尺寸显示单元3210、实际尺寸估计单元3220和实际尺寸扩展单元3230。假定实际尺寸显示单元3210、实际尺寸估计单元3220和实际尺寸扩展单元3230中的至少一个功能块被实施在通过通信单元150连接的云服务器上。
[0228]当在同一监视器屏幕上同时显示多个对象的图像时，实际尺寸显示单元3210通过考虑对象的实际尺寸信息，取决于显示单元603的屏幕的尺寸和分辨率(像素间距)，一般以实际尺寸显示对象的图像。当在显示单元603的屏幕上同时显示多个对象的图像时，实际尺寸显示单元3210正确地显示对象的相互尺寸关系。
[0229]实际尺寸显示单元3210从存储单元140读取监视器规格，诸如显示单元603的屏幕的尺寸和分辨率(像素间距)。实际尺寸显示单元3210从旋转和附接机制单元180获取监视器状态，诸如显示单元603的屏幕的方向和倾斜度。 [0230]实际尺寸显示单元3210从存储单元140中的对象图像数据库读取要显示的对象的图像，并且从对象实际尺寸数据库读取对象的实际尺寸信息。在此，假定对象图像数据库或对象实际尺寸数据库被布置在通过通信单元150连接的数据库服务器上。
[0231]实际尺寸显示单元3210基于监视器性能和监视器状态来转换对象的图像，使得要显示的对象被以实际尺寸显示在显示单元603的屏幕上(可替代地，使得对象的相互尺寸关系是正确的)。也就是说，即使当同一对象的图像被显示在具有不同监视器规格的屏幕上时，a = a’ = a”也成立,如图33所示。
[0232]如图34所示，当在同一屏幕上显示具有不同的实际尺寸的两个对象的图像时，实际尺寸显示单元3210显示a:b = a’:b’的关系，也就是说，正确的相互尺寸关系。
[0233]例如，当用户通过使用样品图像的显示来网购时，信息处理设备100可以实现对象的实际尺寸显示或可以如上所述以正确的尺寸关系显示对象的多个样品图像。因此，用户可以准确地搭配产品，从而能够减少产品的错误选择。
[0234]另外将描述将实际尺寸显示单元3210中的对象图像的实际尺寸显示应用于网购应用的示例。响应于用户对目录的显示屏上的期望产品图像的触摸，将该产品的图像切换成实际尺寸显示(参见图35)。以实际尺寸显示的图像响应于用户的触摸能够在姿态方面被旋转或改变，从而能够以改变后的实际尺寸对象的方向来显示(参见图36)。
[0235]实际尺寸估计单元3220执行估计以下对象的实际尺寸的处理:该对象的实际尺寸信息是尽管参考对象实际尺寸数据库也不能获得的，诸如由摄像机单元503成像的人。例如，当实际尺寸被估计的对象是用户的面部时，基于用户面部数据，诸如通过使用图像识别单元504识别由摄像机单元503捕捉的图像而获得的用户的面部尺寸、年龄和方向，以及在由距离检测模式切换单元2330切换的距离检测模式下所获得的用户的位置，来估计用户的实际尺寸。
[0236]所估计的用户的实际尺寸信息被反馈至实际尺寸显示单元3210，并且被存储在例如对象图像数据库中。根据用户面部数据而估计的实际尺寸信息被用于实际尺寸显示单元3210中的取决于监视器性能的后续的实际尺寸显示。
[0237]例如，如图37A所示，当显示包括主题(婴儿)的捕捉图像的对象时，实际尺寸估计单元3220基于其面部数据估计实际尺寸。之后，即使当用户通过触摸操作来放大和显示对象时，如图37B所示，对象不被放大超过主题的实际尺寸。也就是说，没有不自然地放大婴儿的图像，从而保持了图像的真实性。
[0238]当网络内容和由摄像机单元503成像的内容以并列或重叠方式显示在显示单元603的屏幕上时，可以通过基于所估计的实际尺寸对内容的图像进行归一化(normalize)，来实现协调的并列或重叠显示。
[0239]实际尺寸扩展单元3230将通过实际尺寸显示单元3210实现在显示单元603的屏幕上的对象的实际尺寸显示以3D来实现，也就是说，包括深度方向。当通过仅在水平方向上的双目式或视差射线重构类型(parallax rays reconstruct1n type)以3D来显示对象时，仅在生成3D图像时所假定的观看位置处实现期望的效果。可以通过在所有方向上的视差射线重构类型从任何位置以实际尺寸来显示对象。
[0240]实际尺寸扩展单元3230检测用户的视点位置，并且也在仅在水平方向上的双目式或视差射线重构类型中关于所检测的位置来校正3D图像，由此，可以从任何位置实现相同的实际尺寸显示。
[0241]例如，可以参考共同拥有的JP-A-2002-300602、JP-A-2005-149127 和JP-A-2005-142957。
[0242]E.图像组的同时显示
[0243]在显示系统中，可以以并列或重叠方式在同一屏幕上同时显示多个源的图像内容。其示例包括⑴多个用户相互视频聊天的情况、⑵从记录介质(诸如DVD)再现的(或者通过网络以流方式再现的)指导者的图像或者由摄像机单元503捕捉的用户他自己或她自己的图像在瑜伽课等时间被同时显示的情况、以及⑶网购中的产品的样品图像以及由摄像机单元503捕捉的用户他自己或她自己的图像以重叠方式显示以用于搭配的情况。
[0244]在(I)至(3)中的任何情况下，当没有正确显示同时显示的图像的尺寸关系时，用户不能适当地使用所显示的图像。例如，当相互视频聊天的用户的面部的尺寸或位置全部不同时(图38A)，与聊天对方的面对面接触特性被破坏，从而不促进谈话。当用户的体形与指导者的体形的尺寸或位置不相互匹配时(图39A)，用户难以检查他或她的动作与指导者的动作之间的差异，不能看到要改正和改进的任何点，从而不能实现课程的满意结果。当产品的样品图像没有与用户(该用户在他或她的手里拿着产品做出姿势)的图像在适当的位置以正确的尺寸关系重叠时，用户难以确定产品是否与用户相配，从而不能实现准确的搭配(图40A) ο
[0245]相反，当以并列或重叠方式显示多个源的图像内容时，根据本实施方式的信息处理设备100将图像进行归一化，并且基于诸如图像的比例(scale)或相应区域的信息，以并列或重叠方式显示经归一化的图像。当执行归一化时，信息处理设备对数字图像数据(诸如静止图像和运动图像)执行数字缩放图像处理等。当并列图像或重叠图像中之一是使用摄像机单元503捕捉的图像时，对实际的摄像机执行光学控制，诸如平移、倾斜和缩放。
[0246]可以使用诸如通过面部识别获得的面部尺寸、年龄和方向的信息或诸如通过个人识别获得的躯干形状或尺寸的信息来简单地实施图像归一化处理。当以并列或重叠方式显示多个图像时，对一个图像自动执行镜像或旋转处理，以容易地匹配其他图像。
[0247]图38B示出了通过对多个图像的归一化处理而使相互视频聊天的用户的面部尺寸或位置相互匹配的状态。图39B示出了通过对多个图像的归一化处理而使并列显示在屏幕上的用户的体形与指导者的体形的尺寸或位置相互匹配的状态。图40B示出了通过对多个图像的归一化处理而使产品的样品图像被显示成在适当的位置处以正确的尺寸关系与用户(该用户在他或她的手里拿着产品做出姿势)的图像重叠的状态。在图39B或图40B中，除了尺寸归一化处理之外，还进行镜像处理，以便用户容易地根据由摄像机单元503捕捉的图像来校正用户的姿势。如果需要，也可以进行旋转处理。当用户的体形与指导者的体形可以被归一化时，可以如图39C所示以重叠方式显示其图像，而不是如图39B所示并列显示其图像，由此，用户可以容易地识别用户的姿势与指导者的姿势之间的差异。
[0248]图41示出了进行图像归一化处理的操作单元120的内部配置。操作单元120包括图像间归一化单元4110、面部归一化单元4120和实际尺寸扩展单元4130。在此，图像间归一化单元4110、面部归一化单元4120和实际尺寸扩展单元4130中的至少一个功能块被假定成实施在通过通信单元150连接的云服务器上。
[0249]图像间归一化单元4110进行归一化处理，使得在多个图像之间正确地显示用户的面部图像与另一对象之间的尺寸关系。
[0250]图像间归一化单元4110通过输入接口集成单元520接收使用摄像机单元503捕捉的用户的图像。此时，也获取在对用户进行成像时的摄像机信息，诸如摄像机单元503的平移、倾斜和缩放。图像间归一化单元4110从图像数据库中获取要与用户的图像并列或重叠显示的另一对象的图像，并且获取用户的图像与另一对象的图像以并列或重叠方式显示的模式。图像数据库可以布置在存储单元140中，或可以布置在通过通信单元150来访问的数据库服务器上。
[0251]图像间归一化单元4110对用户的图像执行图像处理，诸如放大、旋转和镜像，使得根据归一化算法来校正关于另一对象的尺寸关系或姿势，并且生成用于控制摄像机单元503的平移、倾斜、缩放等的摄像机控制信息，以便适当地捕捉用户的图像。例如，如图40B所示，通过图像间归一化单元4110的处理以与另一对象的图像的正确尺寸关系来显示用户的图像。
[0252]面部归一化单元4120进行归一化处理，使得使用摄像机单元503捕捉的用户的面部图像以与另一对象的面部图像(例如，从记录介质再现的图像中的指导者的面部或与用户视频聊天的对方用户的面部)的正确尺寸关系来显示。
[0253]面部归一化单元4120通过输入接口集成单元520接收使用摄像机单元503捕捉的用户的图像。此时，也获取在对用户进行成像时的摄像机信息，诸如摄像机单元503的平移、倾斜和缩放。面部归一化单元4120通过存储单元140或通信单元150获取要与用户的捕捉图像并列或重叠显示的另一对象的面部图像。[0254]面部归一化单元4120对用户的图像进行图像处理，诸如放大、旋转和镜像，使得面部图像的尺寸关系是正确的，并且生成用于控制摄像机单元503的平移、倾斜、缩放等的摄像机控制信息，以便适当地捕捉用户的图像。例如，如图38B、图39B和图39C所示，通过面部归一化单元4120的处理以与另一面部图像的图像的正确尺寸关系来显示用户的图像。
[0255]实际尺寸扩展单元4130将通过图像间归一化单元4110实现在显示单元603的屏幕上的对象的并列或重叠显示以3D来实现，即包括深度方向。当通过仅在水平方向上的双目式或视差射线重构类型以3D来显示对象时，仅在生成3D图像时所假定的观看位置处实现期望的效果。可以通过在所有方向上的视差射线重构类型从任何位置以实际尺寸来显示对象。
[0256]实际尺寸扩展单元4130检测用户的视点位置，并且也在仅在水平方向上的双目式或视差射线重构类型中关于所检测的位置来校正3D图像，由此，可以从任何位置实现相同的实际尺寸显示。
[0257]例如，可以参考共同拥有的JP-A-2002-300602、JP-A-2005-149127 和JP-A-2005-142957ο
[0258]F.在旋转屏幕上的视频内容的显示方法
[0259]如上所示，根据本实施方式的信息处理设备100的主体通过使用旋转和附接机制单元180而旋转且可拆卸地附接至例如墙。当旋转地操作主体，同时信息处理设备100的电源接通时，也就是说，当要操作的对象显示在显示单元603上时，相应地旋转对象，使得用户可以以正确的姿势观看对象。
[0260]下面将描述在信息处理设备100的主体的任何旋转角度或者在其转变过程中最佳地调整图像内容的显示形式的方法。
[0261]在屏幕的任何旋转角度或者在其转变过程中的图像内容的显示形式的示例包括如下三种方法:(I)在任何旋转角度完全不覆盖图像内容的显示形式、(2)图像内容中的感兴趣内容在任何旋转角度被最大化的显示形式、以及(3)旋转图像内容以便不产生无效区域的显示形式。
[0262]图42示出了显示图像内容的整个区域，以便当逆时针旋转信息处理设备100 (屏幕)90度时不在任何旋转角度覆盖图像内容的显示形式。如图所示，当在水平放置的屏幕上显示水平方向上长的图像内容，并且将屏幕逆时针旋转90度成竖直放置时，图像内容在尺寸上减小，并且在屏幕中出现由黑色表示的无效区域。在将屏幕从水平放置状态改变成竖直放置状态的过程中，图像内容具有最小尺寸。
[0263]当图像内容的至少一部分被覆盖时，存在如下问题:作为版权作品的图像内容失去了同一性(identity)。在图42所示的显示形式中，在任何旋转角度或者在其转变过程中保证了作为版权作品的同一性。也就是说，这种显示形式适合于所保护的内容。
[0264]图43示出了在将信息处理设备100 (屏幕)逆时针旋转90度的过程中在任何旋转角度将图像内容中的感兴趣区域最大化的显示形式。在图中，图像内容中的包括使用虚线所围绕的主题的区域被设置为感兴趣区域，并且在任何旋转角度将该感兴趣区域最大化。由于感兴趣区域是竖直方向上长的，所以通过将屏幕从水平放置状态改变成竖直放置状态，图像内容被放大。在从水平放置状态向竖直放置状态转变的过程中，在屏幕的对角线方向上将感兴趣区域最大化地放大。在从水平放置状态向竖直放置状态转变的过程中，在屏幕中出现由黑色表达的无效区域。
[0265]作为图像内容中的感兴趣区域吸引注意力的显示形式，可以考虑旋转图像内容同时保持感兴趣区域的尺寸恒定的修改示例。随着屏幕的旋转，感兴趣区域看起来平滑地旋转，但是放大了无效区域。
[0266]图44示出了当将信息处理设备100 (屏幕)逆时针旋转90度时旋转图像内容以便不产生无效区域的显示形式。
[0267]图45示出了在图42至图44中示出的显示形式下图像内容的旋转位置与缩放比率之间的关系。在图42中示出的在任何旋转角度完全不覆盖图像内容的显示形式中，可以保护内容，但在转变过程中产生了大的无效区域。由于在转变过程中图像被缩小，所以可能给用户不舒适的感觉。在图43中示出的在任何旋转角度将图像内容中的感兴趣区域最大化的显示形式中，可以在改变屏幕的过程中平滑地显示感兴趣区域，但在转变过程中产生了无效区域。在图44中示出的显示形式中，在转变过程中不产生无效区域，在转变过程中放大了图像内容，从而可能给观看图像内容的用户不自然的印象。
[0268]图46是示出了当旋转信息处理设备100 (显示单元603的屏幕)时在操作单元120中控制图像内容的显示形式的处理的流程的流程图。例如，当旋转和附接机制单元180检测到信息处理设备100的主体被旋转，或当三轴传感器515检测到信息处理设备100的主体在旋转位置方面变化时，开始该处理的流程。
[0269]当旋转信息处理设备100 (显示单元603的屏幕)时，操作单元120获取显示在屏幕上的图像内容的属性信息(步骤S4601)。然后，检查屏幕上显示的图像内容是否是被版权等保护的内容(步骤S4602)。
[0270]在此，当显示在屏幕上的图像内容是被版权等保护的内容时(步骤S4602中“是”)，操作单元120选择如图42所示的显示图像内容的整个区域以便不在任何旋转角度覆盖图像内容的显示形式(步骤S4603)。
[0271]当显示在屏幕上的图像内容不是被版权等保护的内容时(步骤S4602中“否”)，检查是否存在由用户指定的显示形式(步骤S4604)。
[0272]当用户选择显示图像内容的整个区域的显示形式时，处理的流程进行至步骤S4603。当用户选择最大化地显示感兴趣区域的显示形式时，处理的流程进行至步骤S4605。当用户选择不显示无效区域的显示形式时，处理的流程进行至步骤S4606。当用户不选择任何显示形式时，选择三种显示形式之中被设置为默认的显示形式。
[0273]图47示出了执行在信息处理设备100的主体的任何旋转角度或者在其转变过程中调整图像内容的显示形式的处理的操作单元120的内部配置。操作单元120包括显示形式确定单元4710、旋转位置输入单元4720和图像处理单元4730，并且对从所接收的电视广播或记录介质再现的图像内容的显示形式进行调整。
[0274]显示形式确定单元4710根据图46中示出的处理的流程来确定当在信息处理设备100的主体的任何旋转角度或者在其转变的过程中旋转图像内容时的显示形式。
[0275]旋转位置输入单元4720通过输入接口集成单元520接收由旋转和附接机制单元180或三轴传感器515获得的信息处理设备100的主体(或显示单元603的屏幕)的旋转位置。
[0276]图像处理单元4730基于由显示形式确定单元4710确定的显示形式对从所接收的电视广播或记录介质再现的图像内容进行处理，以便适合于倾斜一旋转角度的显示单元603的屏幕，该旋转角度被输入至旋转位置输入单元4720。
[0277]G.本公开的技术
[0278]本说明书中所公开的技术可以具有下面的配置。
[0279](I) 一种信息处理设备,包括:
[0280]控制单元，通过检测从所述设备的外部输入至所述设备的至少一个信息信号，基于对于(i)用户的位置变化以及(ii)用户的状态的确定来控制用户接口。
[0281](2)根据(I)所述的设备，其中，所述用户接口包括要显示在显示单元上的图形用户接口。
[0282](3)根据(2)所述的设备，其中，所述设备包括所述显示单元。
[0283](4)根据⑴所述的设备，其中，所述控制单元基于所述用户的位置变化和所述用户的状态，来控制要显示在显示单元的显示屏上并且由用户操作的一个或更多个对象的构架或信息密度中的至少一个.[0284](5)根据⑴所述的设备，其中，所述控制单元基于所述用户的位置变化和所述用户的状态，来控制由用户操作的一个或更多个对象的构架或信息密度中的至少一个。
[0285](6)根据(I)所述的设备，其中，所述控制单元根据用户是否正在观看显示单元的显示屏来控制所述用户接口。
[0286](7)根据(6)所述的设备，其中，当用户正在观看所述显示屏时，所述控制单元选择自动变换处理来在所述显示屏上显示至少一个对象。
[0287](8)根据⑴所述的设备，其中，所述控制单元基于所述用户的位置变化来控制要显示在显示单元的显示屏上的对象的信息密度。
[0288](9)根据⑴所述的设备，其中，所述控制单元基于所述用户的位置是否是所述用户能够被个人认证的位置来控制对要显示在显示单元的显示屏上的对象的选择。
[0289](10)根据(9)所述的设备，其中，当所述用户的位置是所述用户能够被个人认证的位置时，所述控制单元使用所识别的所述用户的信息来控制对要显示在所述显示屏上的对象的选择。
[0290](11)根据⑴所述的设备，其中，所述控制单元基于所述用户的位置变化和所述用户的状态来优化所述用户接口的输入单元。
[0291](12)根据(11)所述的设备，其中，所述输入单元包括接近传感器、麦克风、触摸传感器、摄像机单元或遥控器中的至少一个。
[0292](13)根据(I)所述的设备，其中，所述控制单元根据所述用户是否正在观看显示单元的显示屏来优化所述用户接口的输入单元。
[0293](14)根据(I)所述的设备，其中，所述控制单元基于所述用户的位置变化来优化所述用户接口的输入单元。
[0294](15)根据(I)所述的设备，其中，所述控制单元基于所述用户的位置是否是用户能够被个人认证的位置来优化所述用户接口的输入单元。
[0295](16)根据⑴所述的设备，其中，所述控制单元基于检测到的距离来控制在模式之间进行切换的处理，以所述模式来检测从显示单元的显示屏到所述用户的距离。
[0296](17)根据(I)所述的设备，其中，所述控制单元确定相对于显示单元的所述用户的位置变化。
[0297](18)根据⑴所述的设备，其中，所述用户的状态基于所述用户的位置变化来确定。
[0298](19) 一种信息处理方法，包括:
[0299]由处理器通过检测从信息处理设备的外部输入至所述信息处理设备的至少一个信息信号，基于对于(i)用户的位置变化以及(ii)用户的状态的确定来控制用户接口。
[0300](20) 一种记录有能够由计算机执行的程序的非暂态记录介质，所述程序包括:
[0301]通过检测从信息处理设备的外部输入至所述信息处理设备的至少一个信息信号，基于对于(i)用户的位置变化以及(ii)用户的状态的确定来控制用户接口。
[0302](101) 一种信息处理设备,包括:
[0303]显示单元；
[0304]用户检测单元，检测存在于所述显示单元周围的用户；以及
[0305]操作单元，当所述用户检测单元检测到用户时，对要显示在所述显示单元上的对象进行处理。
[0306](102)根据(101)所述的信息处理设备，其中，所述用户检测单元包括接近传感器，所述接近传感器布置在所述显示单元的屏幕的四个侧面边缘的每一个中，并且检测出现在相应侧面边缘附近中的用户。
[0307](103)根据(101)所述的信息处理设备，其中，所述操作单元取决于由所述用户检测单元检测的用户的布置来在所述显示单元的屏幕上设置每个所检测到的用户的用户占用区域和由用户共享的共用区域。
[0308](104)根据(103)所述的信息处理设备，其中，所述操作单元在所述显示单元的屏幕上显示要由用户操作的一个或更多个对象。
[0309](105)根据(104)所述的信息处理设备，其中，所述操作单元对要在所述用户占用区域中操作的对象进行优化。
[0310](106)根据(104)所述的信息处理设备，其中，所述操作单元对要在所述用户占用区域中操作的对象进行旋转，以便正好面对相应用户。
[0311](107)根据(104)所述的信息处理设备，其中，所述操作单元对从所述共用区域或另外的用户占用区域移动到相应用户占用区域的对象进行旋转，以便正好面对相应用户。
[0312](108)根据(107)所述的信息处理设备，其中，当用户在区域之间拖动和移动对象时，所述操作单元控制要操作的对象基于用户相对于对象的重心位置的操作位置被旋转的旋转方向。
[0313](109)根据(103)所述的信息处理设备，其中，当在所述显示单元的屏幕中设置由所述用户检测单元新检测到的用户的用户占用区域时，所述操作单元显示表示新检测到用户的检测指示符。
[0314](110)根据(104)所述的信息处理设备，还包括:
[0315]数据发送和接收单元，向由用户携带的终端发送数据以及从用户携带的终端接收数据。
[0316](111)根据(110)所述的信息处理设备，其中，所述数据发送和接收单元执行与由通过所述用户检测单元检测到的用户携带的终端的数据发送和接收处理，并且所述操作单元使与从由用户携带的终端接收的数据对应的对象出现在相应用户占用区域中。
[0317](112)根据(104)所述的信息处理设备，其中，当在用户的用户占用区域之间移动对象时，所述操作单元将对象拷贝或划分到作为目的地的用户占用区域。
[0318](113)根据(112)所述的信息处理设备，其中，所述操作单元在作为目的地的用户占用区域中显示准备为独立数据的对象的拷贝。
[0319](114)根据(112)所述的信息处理设备，其中，所述操作单元在作为目的地的用户占用区域中显示对象的拷贝，所述对象是能够由用户协同操作的应用程序的另外的窗口。
[0320](115) 一种信息处理方法,包括:
[0321]检测周围存在的用户；以及
[0322]当在检测用户中检测到用户时对要显示的对象进行处理。
[0323](116) 一种计算机可读计算机程序，所述计算机程序使计算机用作:
[0324]显示单元；
[0325]用户检测单元，检测所述显示单元周围存在的用户；以及
[0326]操作单元，当所述用户检测单元检测到用户时对要显示在所述显示单元上的对象进行处理。
[0327](201) —种信息处理设备，包括:
[0328]显示单元；
[0329]用户位置检测单元，其检测相对于所述显示单元的用户的位置；
[0330]用户状态检测单元，其检测相对于所述显示单元的显示屏的用户状态；以及
[0331]操作单元，其基于由所述用户位置检测单元检测的用户位置以及由所述用户状态检测单元检测的用户状态，来控制要显示在所述显示单元上的GUI。
[0332](202)根据(201)所述的信息处理设备，其中，所述操作单元基于所述用户位置和所述用户状态，来控制要显示在所述显示单元的显示屏上并且被用户操作的一个或更多个对象的构架或信息密度。
[0333](203)根据(201)所述的信息处理设备，其中，所述操作单元取决于所述用户是否正在观看所述显示单元的显示屏来控制要显示在所述显示屏上的对象的构架。
[0334](204)根据(201)所述的信息处理设备，其中，所述操作单元基于所述用户的位置来控制要显示在所述显示单元的显示屏上的信息密度。
[0335](205)根据(201)所述的信息处理设备，其中，所述操作单元取决于所述用户是否位于所述用户能够被个人认证的位置，来控制对要显示在所述显示单元的显示屏上的对象的选择。
[0336](206)根据(201)所述的信息处理设备，还包括允许用户操作要显示在所述显示单元的显示屏上的对象的一个或更多个输入单元，其中，所述操作单元取决于所述用户是否正在通过使用所述输入单元操作对象，来控制要显示在所述显示屏上的对象的构架。
[0337](207) —种信息处理设备，包括:
[0338]显示单元；
[0339]一个或更多个输入单元，其允许用户操作要显示在所述显示单元的显示屏上的对象；
[0340]用户位置检测单元，其检测关于所述显示单元的用户位置；[0341]用户状态检测单元，其检测关于所述显示单元的显示屏的用户状态；以及
[0342]操作单元，其基于由所述用户位置检测单元检测的用户位置以及由所述用户状态检测单元检测的用户状态来优化所述输入单元。
[0343](208)根据(207)所述的信息处理设备，其中，所述操作单元取决于所述用户是否正在观看所述显示单元的显示屏来控制所述输入单元的优化。
[0344](209)根据(207)所述的信息处理设备，其中，所述操作单元在所述用户正在观看所述显示单元的显示屏的状态下，基于由所述用户位置检测单元检测的用户位置来优化所述输入单元。
[0345](210) 一种信息处理设备,包括:
[0346]显示单元；
[0347]用户位置检测单元，其检测关于所述显示单元的用户位置；
[0348]检测从所述显示单元的显示屏到用户的距离的多个距离检测模式；以及
[0349]操作单元，其基于由所述用户位置检测单元检测的用户位置来控制在所述距离检测模式之间的切换。
[0350](211)根据(210)所述的信息处理设备，其中，所述操作单元一般开启检测距位于很远的用户的距离的距离检测模式。
[0351](212)根据(210)所述的信息处理设备，其中，所述操作单元开启以下距离检测模式:检测距位于附近的用户的距离，并且仅在获得足够的识别精确度的距离范围内执行识别处理。
[0352](213) —种信息处理方法，包括:
[0353]检测关于显示屏的用户位置；
[0354]检测关于所述显示屏的用户状态；以及
[0355]基于在检测用户位置中所检测的用户位置以及在检测用户状态中所检测的用户状态，来控制要显示在所述显示屏上的GUI。
[0356](214) 一种信息处理方法,包括:
[0357]检测关于显示屏的用户位置；
[0358]检测关于所述显示屏的用户状态；以及
[0359]基于在检测用户位置中所检测的用户位置以及在检测用户状态中所检测的用户状态，来优化允许用户操作显示在所述显示屏上的对象的一个或更多个输入单元。
[0360](215) 一种信息处理方法,包括:
[0361]检测关于显示屏的用户位置；以及
[0362]基于在检测用户位置中所检测的用户位置，来控制对从所述显示单元的显示屏到用户的距离进行检测的多个距离检测模式之间的切换。
[0363](216) 一种计算机可读计算机程序，所述计算机程序使计算机用作为:
[0364]显示单元；
[0365]用户位置检测单元，其检测关于所述显示单元的用户位置；
[0366]用户状态检测单元，其检测关于所述显示单元的显示屏的用户状态；以及
[0367]操作单元，其基于由所述用户位置检测单元检测的用户位置以及由所述用户状态检测单元检测的用户状态，来控制要显示在所述显示单元上的GUI。[0368](217) 一种计算机可读计算机程序，所述计算机程序使计算机用作为:
[0369]显示单元；
[0370]一个或更多个输入单元，其允许用户操作要显示在所述显示单元的显示屏上的对象；
[0371]用户位置检测单元，其检测关于所述显示单元的用户位置；
[0372]用户状态检测单元，其检测关于所述显示单元的显示屏的用户状态；以及
[0373]操作单元，其基于由所述用户位置检测单元检测的用户位置以及由所述用户状态检测单元检测的用户状态来优化所述输入单元。
[0374](218) 一种计算机可读计算机程序，所述计算机程序使计算机用作为:
[0375]显示单元；
[0376]用户位置检测单元，其检测关于所述显示单元的用户位置；
[0377]检测从所述显示单元的显示屏到用户的距离的多个距离检测模式；以及
[0378]操作单元，其基于由所述用户位置检测单元检测的用户位置来控制在所述距离检测模式之间的切换。 [0379](301) —种信息处理设备，包括:
[0380]显示单元；
[0381]对象图像获取单元，其获取要显示在所述显示单元的屏幕上的对象的图像；
[0382]实际尺寸获取单元，其获取与要显示在所述显示单元的屏幕上的对象的实际尺寸有关的?目息；以及
[0383]操作单元，其基于由所述实际尺寸获取单元获取的对象的实际尺寸来处理对象的图像。
[0384](302)根据(301)所述的信息处理设备，还包括显示性能获取单元，所述显示性能获取单元获取与包括所述显示单元的屏幕的尺寸和分辨率的显示性能有关的信息，其中，所述操作单元基于由所述实际尺寸获取单元获取的对象的实际尺寸以及由所述显示性能获取单元获取的显示性能，来处理要以实际尺寸显示在所述显示单元的屏幕上的对象的图像。
[0385](303)根据(301)所述的信息处理设备，其中，当在所述显示单元的屏幕上同时显示由所述对象图像获取单元获取的多个对象的图像时，所述操作单元对所述多个对象的图像进行处理，以便正确地显示所述多个对象的图像的相互尺寸关系。
[0386](304)根据(301)所述的信息处理设备，还包括:
[0387]摄像机单元；以及
[0388]实际尺寸估计单元，其对所述摄像机单元捕捉的图像中所包括的对象的实际尺寸进行估计。
[0389](305)根据(301)所述的信息处理设备，还包括:
[0390]摄像机单元；
[0391]图像识别单元，其对所述摄像机单元捕捉的图像中所包括的用户的面部进行识另Ij，并且获取面部数据；
[0392]距离检测单元，其检测到用户的距离；以及
[0393]实际尺寸估计单元，其基于用户的面部数据以及到用户的距离来估计用户的面部的实际尺寸。
[0394](306) 一种信息处理方法,包括:
[0395]获取要显示在屏幕上的对象的图像；
[0396]获取与要显示在所述屏幕上的对象的实际尺寸有关的信息；以及
[0397]基于在获取与对象的实际尺寸有关的信息中所获取的对象的实际尺寸来处理对象的图像。
[0398](307) 一种计算机可读计算机程序，所述计算机程序使计算机用作为:
[0399]显示单元；
[0400]对象图像获取单元，其获取要显示在所述显示单元的屏幕上的对象的图像；
[0401]实际尺寸获取单元，其获取与要显示在所述显示单元的屏幕上的对象的实际尺寸有关的?目息；以及
[0402]操作单元，其基于由所述实际尺寸获取单元获取的对象的实际尺寸来处理对象的图像。
[0403](401) 一种信 息处理设备,包括:
[0404]摄像机单元；
[0405]显示单元；以及
[0406]操作单元，当在所述显示单元的屏幕上显示用户的图像时，其对由所述摄像机单元捕捉的用户的图像进行归一化。
[0407](402)根据(401)所述的信息处理设备，还包括:
[0408]对象图像获取单元，其获取要显示在所述显示单元的屏幕上的对象的图像；以及
[0409]并列或重叠模式获取单元，其获取在所述显示单元的屏幕上以并列或重叠方式显示用户的图像和对象的图像的并列或重叠模式，其中，所述操作单元对用户的图像和对象进行归一化，以便对用户的图像与对象的尺寸关系和位置进行校正，并且基于所获取的并列或重叠模式以并列或重叠方式来显示经归一化的用户的图像以及经归一化的对象。
[0410](403)根据(402)所述的信息处理设备，其中，所述操作单元控制所述摄像机单元来对由所述摄像机单元捕捉的用户的图像进行归一化。
[0411](404)根据(401)所述的信息处理设备，还包括:
[0412]用户面部数据获取单元，其获取由所述摄像机单元成像的用户的面部数据；以及
[0413]对象内面部数据获取单元，其获取要显示在所述显示单元的屏幕上的对象中的面部数据，
[0414]其中，所述操作单元执行归一化处理，以便对用户的面部数据和对象内面部数据的尺寸关系和位置进行校正。
[0415](405)根据(404)所述的信息处理设备，其中，所述操作单元控制所述摄像机单元来对由所述摄像机单元捕捉的用户的图像进行归一化。
[0416](406) 一种信息处理方法,包括:
[0417]获取要显示在屏幕上的对象的图像；
[0418]获取在所述显示单元的屏幕上以并列或重叠方式显示由所述摄像机单元捕捉的用户的图像和对象的图像的并列或重叠模式，对用户的图像和对象进行归一化，以便对用户的图像和对象的尺寸关系和位置进行校正；以及[0419]基于所获取的并列或重叠模式以并列或重叠方式对经归一化的用户的图像以及经归一化的对象进行处理。
[0420](407) 一种信息处理方法,包括:
[0421]获取由摄像机单元成像的用户的面部数据；
[0422]获取要显示在屏幕上的对象中的面部数据；
[0423]执行归一化处理，以便对用户的面部数据和对象内面部数据的尺寸关系和位置进行校正。
[0424](408) 一种计算机可读计算机程序，所述计算机程序使计算机用作为:
[0425]摄像机单元；
[0426]显示单元；以及
[0427]操作单元，当在所述显示单元的屏幕上显示用户的图像时，其对由所述摄像机单元捕捉的用户的图像进行归一化。
[0428](501) 一种信息处理设备,包括:
[0429]显示单元，其在屏幕上显示图像内容；
[0430]旋转角度检测单元，其检测所述屏幕的旋转角度；
[0431]显示形式确定单元，其确定在所述屏幕的任何旋转角度或在其转变过程中的图像内容的显示形式；以及
[0432]图像处理单元，其基于由所述显示形式确定单元确定的显示形式对图像内容进行处理，以便适合于以所述旋转角度检测单元所检测的旋转角度倾斜的屏幕。
[0433](502)根据(501)所述的信息处理设备，其中，所述显示形式确定单元从包括以下三个显示形式的多个显示形式中确定显示形式:在任何旋转角度都不覆盖图像内容的显示形式、在任何旋转角度将图像内容中的感兴趣内容最大化的显示形式、以及旋转图像内容以便不产生无效区域的显示形式。
[0434](503)根据(501)所述的信息处理设备，其中，所述显示形式确定单元基于图像内容的属性信息来确定在所述屏幕的任何旋转角度或在其转变过程中的显示形式。
[0435](504)根据(501)所述的信息处理设备，其中，所述显示形式确定单元对于受保护图像内容确定在任何旋转角度都不覆盖图像内容的显示形式。
[0436](505) 一种信息处理方法,包括:
[0437]检测显示图像内容的屏幕的旋转角度；
[0438]确定在所述屏幕的任何旋转角度或在其转变过程中的图像内容的显示形式；以及
[0439]基于在确定显示形式中所确定的显示形式来处理图像内容，以便适合于以在检测旋转角度中所检测的旋转角度倾斜的屏幕。
[0440](506) 一种计算机可读计算机程序，所述计算机程序使计算机用作为:
[0441]显示单元，其在屏幕上显示图像内容；
[0442]旋转角度检测单元，其检测屏幕的旋转角度；
[0443]显示形式确定单元，其确定在所述屏幕的任何旋转角度或在其转变过程中的图像内容的显示形式；以及
[0444]图像处理单元，其基于由所述显示形式确定单元确定的显示形式来处理图像内容，以便适合于以所述旋转角度检测单元所检测的旋转角度倾斜的屏幕。[0445]工业实用性
[0446]已经参照【具体实施方式】描述了本公开内容。然而，对本【技术领域】普通技术人员来说明显的是，在不偏离本公开内容的概念的情况下，可以修改或替换实施方式。
[0447]在该说明书中，将具有大屏幕的电视接收机举例为本公开内容所应用于的信息处理设备100，但本公开内容的概念不限于该示例。本公开内容可以类似地应用于除了电视接收机之外的诸如个人计算机或平板终端的信息处理设备，或具有小屏幕尺寸的信息处理设备。
[0448]尽管已经参照上面提到的示例描述了本公开内容，但是不应当以限制性方式分析本公开内容的描述。应当参照所附权利要求来确定本公开内容的概念。
[0449]本领域的技术人员应该理解，取决于设计要求和其他因素，可以出现各种修改、组合、子组合及替换，只要它们在所附权利要求或者权利要求的等同方案的范围内。
[0450]附图标记列表
[0451]100:信息处理设备
[0452]110:输入接口单元
[0453]120:操作单元
[0454]130:输出接口单元
[0455]140:存储单元
[0456]150:通信单元
[0457]160:电源单元
[0458]170:电视调谐器单元
[0459]180:旋转和附接机制单元
[0460]501:遥控器接收单元
[0461]502:信号分析单元
[0462]503:摄像机单元
[0463]504:图像识别单元
[0464]505:麦克风单元
[0465]506:语音识别单元
[0466]507:距离传感器
[0467]508:信号分析单元
[0468]509:触摸传感器
[0469]510:信号分析单元
[0470]511:接近传感器
[0471]512:信号分析单元
[0472]513:极近距离通信单元
[0473]514:信号分析单元
[0474]515:三轴传感器单兀
[0475]516:GPS 接收单元
[0476]517:信号分析单元
[0477]520:输入接口集成单元[0478]601:内容显示单元
[0479]602 KUI显示单元
[0480]603:显示单元
[0481]604:扬声器单元
[0482]605:照明显示单元
[0483]606:照明单元
[0484]710:监视器区域划分单元
[0485]711:装置数据库
[0486]712:区域划分模式数据库
[0487]720:对象优化单元
[0488]721:优化算法
[0489]730:装置交互数据发送和接收单元731:发送和接收算法
[0490]2310:显示⑶I优化单元
[0491]2320:输入单元优化单元
[0492]2330:距离检测模式切换单元
[0493]3210:实际尺寸显示单元
[0494]3220:实际尺寸估计单元
[0495]3230:实际尺寸扩展单元
[0496]4110:图像间归一化单元
[0497]4120:面部归一化单元
[0498]4130:实际尺寸扩展单元
[0499]4710:显示形式确定单元
[0500]4720:旋转位置输入单元
[0501]4730:图像处理单元
【权利要求】
1.一种信息处理设备,包括: 控制单元，通过检测从所述设备的外部输入至所述设备的至少一个信息信号，基于对于⑴用户的位置变化以及(ii)用户的状态的确定来控制用户接口。
2.根据权利要求1所述的设备，其中，所述用户接口包括要显示在显示单元上的图形用户接口。
3.根据权利要求2所述的设备，其中，所述设备包括所述显示单元。
4.根据权利要求1所述的设备，其中，所述控制单元基于所述用户的位置变化和所述用户的状态，来控制要显示在显示单元的显示屏上并且由用户操作的一个或更多个对象的构架或信息密度中的至少一个。
5.根据权利要求1所述的设备，其中，所述控制单元基于所述用户的位置变化和所述用户的状态，来控制由用户操作的一个或更多个对象的构架或信息密度中的至少一个。
6.根据权利要求1所述的设备，其中，所述控制单元根据用户是否正在观看显示单元的显示屏来控制所述用户接口。
7.根据权利要求6所述的设备，其中，当所述用户正在观看所述显示屏时，所述控制单元选择自动变换处理来在所述显示屏上显示至少一个对象。
8.根据权利要求1所述的设备，其中，所述控制单元基于所述用户的位置变化来控制要显示在显示单元的显示屏上的对象的信息密度。
9.根据权利要求1所述的设备，其中，所述控制单元基于所述用户的位置是否是所述用户能够被个人认证的位置来控制对要显示在显示单元的显示屏上的对象的选择。
10.根据权利要求9所述的设备，其中，当所述用户的位置是所述用户能够被个人认证的位置时，所述控制单元使用所识别的所述用户的信息来控制对要显示在所述显示屏上的所述对象的选择。
11.根据权利要求1所述的设备，其中，所述控制单元基于所述用户的位置变化和所述用户的状态来优化所述用户接口的输入单元。
12.根据权利要求11所述的设备，其中，所述输入单元包括接近传感器、麦克风、触摸传感器、摄像机单元或遥控器中的至少一个。
13.根据权利要求1所述的设备，其中，所述控制单元根据所述用户是否正在观看显示单元的显示屏来优化所述用户接口的输入单元。
14.根据权利要求1所述的设备，其中，所述控制单元基于所述用户的位置变化来优化所述用户接口的输入单元。
15.根据权利要求1所述的设备，其中，所述控制单元基于所述用户的位置是否是用户能够被个人认证的位置来优化所述用户接口的输入单元。
16.根据权利要求1所述的设备，其中，所述控制单元基于检测到的距离来控制在模式之间进行切换的处理，以所述模式来检测从显示单元的显示屏到所述用户的距离。
17.根据权利要求1所述的设备，其中，所述控制单元确定相对于显示单元的所述用户的位置变化。
18.根据权利要求1所述的设备，其中，所述用户的状态基于所述用户的位置变化来确定。
19.一种信息处理方法,包括:由处理器通过检测从信息处理设备的外部输入至所述信息处理设备的至少一个信息信号，基于对于(i)用户的位置变化以及(ii)用户的状态的确定来控制用户接口。
20.一种记录有能够被计算机执行的程序的非暂态记录介质，所述程序包括: 通过检测从信息处理设备的外部输入至所述信息处理设备的至少一个信息信号，基于对于(i)用户的位置变 化以及(ii)用户的状态的确定来控制用户接口。
【文档编号】G06F3/0488GK104040474SQ201380004826
【公开日】2014年9月10日 申请日期:2013年1月9日 优先权日:2012年1月13日
【发明者】阪井祐介 申请人:索尼公司