信息处理装置、信息处理方法及程序的制作方法
【技术领域】
[0001]本公开内容涉及信息处理装置、信息处理方法及程序。
[0002]本公开内容包含与2012年12月27日向日本专利局提交的日本优先权专利申请JP 2012-285025中公开的主题有关的主题，该日本优先权专利申请的全部内容通过引用并入在本文中。
【背景技术】
[0003]近年来，已经提出了经由来自摄像机的图像来接收用户输入的用户界面(UI)。
[0004]作为一个示例，JP 2002-196855A公开了一种方法，该方法将用于Π目的的目标图像叠加在用户的镜像图像所出现的图像上，并且执行与用户手的运动所选择的目标图像关联的应用处理。JP 2005-216061A同时公开了一种方法，该方法通过确定在输入图像中的用户的头和手的位置并且自动地在所确定的位置附近显示目标图像，来消除在使用摄像机图像的Π中进行初始设置(例如设置摄像机角度)的困难。
[0005]引用列表
[0006]专利文献
[0007]PTL I:JP 2002-196855A
[0008]PTL 2:JP 2005-216061A
【发明内容】
[0009]技术问题
[0010]然而，在用户的头或手的附近的屏幕区域是有限的。这意味着使用JP2005-216061A中公开的方法，当在Π中提供大量的可选择对象时，屏幕变得挤满了这些对象，这反过来使得可用性降低。
[0011]因此，期望的是实现即使当提供大量可选择对象时也能够避免由于屏幕拥挤而引起可用性降低的改进的UI。
[0012]问题的解决方案
[0013]根据一个方面，描述了一种信息处理系统，该信息处理系统包括:处理电路，所述处理电路被配置为响应于对用户启动的操作对象的识别来控制显示屏幕上的Π对象从识别前位置向识别后位置的移动，其中，所述识别后位置在空间上与预定显示特征的显示位置有关，其中，所述预定显示特征是从摄像机捕获图像得到的图像。
[0014]根据另一个方面，描述了一种信息处理方法，该信息处理方法包括:使用处理电路响应于对用户启动的操作对象的识别来控制显示屏幕上的Π对象从识别前位置向识别后位置的移动，其中，识别后位置在空间上与预定显示特征的显示位置有关，以及预定显示特征是从摄像机捕获图像得到的图像。
[0015]根据又一方面，描述了一种具有计算机可读指令的非暂态计算机可读介质，该计算机可读指令在被处理电路执行时执行方法，该方法包括:使用该处理电路响应于对用户启动的操作对象的识别来控制显示屏幕上的Π对象从识别前位置向识别后位置的移动，其中，识别后位置在空间上与预定显示特征的显示位置有关，以及预定显示特征是从摄像机捕获图像得到的图像。
[0016]发明的有益效果
[0017]根据本公开内容的以上实施方式，实现了下述Π ??该UI即使当提供大量可选择对象时也能够避免由于屏幕的拥挤而引起的可用性降低。
【附图说明】
[0018][图1]图1是有助于解释根据本公开内容的第一实施方式的信息处理装置的概述的图。
[0019][图2]图2是有助于解释根据本公开内容的第二实施方式的信息处理装置的概述的图。
[0020][图3]图3是示出了根据第一实施方式的信息处理装置的示例硬件配置的框图。
[0021][图4]图4是示出了根据第一实施方式的信息处理装置的逻辑功能的示例配置的框图。
[0022][图5]图5是有助于解释图像识别结果的一个示例的图。
[0023][图6]图6是有助于解释可以被识别的另一姿势的第一示例的图。
[0024][图7]图7是有助于解释可以被识别的另一姿势的第二示例的图。
[0025][图8]图8是有助于解释可以被识别的另一姿势的第三示例的图。
[0026][图9]图9是有助于解释可以被识别的另一姿势的第四示例的图。
[0027][图10]图10是有助于解释可以被识别的另一姿势的第五示例的图。
[0028][图11]图11是有助于解释可以被识别的另一姿势的第六示例的图。
[0029][图12]图12是有助于解释可以被识别的另一姿势的第七示例的图。
[0030][图13]图13是有助于解释Π对象的第一示例的图。
[0031][图14]图14是有助于解释Π对象的第二示例的图。
[0032][图15]图15是有助于解释Π对象朝向用户靠近的模式的第一示例的图。
[0033][图16]图16是有助于解释Π对象朝向用户靠近的模式的第二示例的图。
[0034][图17]图17是有助于解释UI对象朝向用户靠近的模式的第三示例的图。
[0035][图18]图18是有助于解释UI对象朝向用户靠近的模式的第四示例的图。
[0036][图19]图19是有助于解释与在图17中所示的示例对应的优先级数据的示例的图。
[0037][图20]图20是有助于解释与在图18中所示的示例对应的优先级数据的示例的图。
[0038][图21]图21是有助于解释Π对象朝向用户靠近的模式的第五示例的图。
[0039][图22]图22是有助于解释操作事件的第一示例的图。
[0040][图23]图23是有助于解释操作事件的第二示例的图。
[0041][图24]图24是有助于解释操作事件的第二不例和第四不例的图。
[0042][图25]图25是有助于解释操作事件的第五示例的图。
[0043][图26]图26是有助于解释操作事件的第六示例的图。
[0044][图27]图27是有助于解释操作事件的第七示例和第八示例的图。
[0045][图28]图28是有助于解释操作事件的第九示例的图。
[0046][图29]图29是有助于解释包含多个操作对象的操作场景的第一示例的图。
[0047][图30]图30是有助于解释包含多个操作对象的操作场景的第二示例的图。
[0048][图31]图31是有助于解释包含多个操作对象的操作场景的第三示例的图。
[0049][图32]图32是有助于解释输出图像的窗口组成的第一示例的图。
[0050][图33]图33是有助于解释输出图像的窗口组成的第二示例的图。
[0051][图34]图34是示出了根据第一实施方式的处理流程的示例的前半部分流程图。
[0052][图35]图35是示出了根据第一实施方式的处理流程的示例的后半部分流程图。
[0053][图36]图36示出了根据第二实施方式的信息处理装置的示例硬件配置的框图。
[0054][图37]图37是有助于解释在第二实施方式中的操作场景的示例的图。
【具体实施方式】
[0055]在下文中，将参照附图详细地描述本公开内容的优选实施方式。要注意的是，在本说明书和附图中，具有基本上相同的功能和结构的结构元件用相同的附图标记来标示，并且省略了这些结构元件的重复解释。
[0056]按以下指示的顺序给出下面的描述。
[0057]1.概述
[0058]2.第一实施方式
[0059]2-1.示例硬件配置
[0060]2-2.示例功能配置
[0061]2-3.UI对象的靠近模式
[0062]2-4.操作事件的各种示例
[0063]2-5.多个操作对象的结合
[0064]2-6.示例窗口组成
[0065]2-7.不例处理流程
[0066]3.第二实施方式
[0067]4.结论
[0068]〈1.概述〉
[0069]首先，将参照图1和图2描述可以应用根据本公开内容的实施方式的技术的信息处理装置的概述。根据本公开内容的实施方式的技术可以应用于使用以下图像的多种装置和系统:在该图像中用户出现，作为用户界面的一部分。作为示例，根据本公开内容的实施方式的技术可以应用于数字家用电器，例如电视装置。根据本公开内容的实施方式的技术也可以应用于终端装置，例如PC(个人计算机)、智能电话、PDA(个人数字助理)或游戏控制台。根据本公开内容的实施方式的技术也可以应用于特殊用途的装置，例如娱乐装置。
[0070]图1是有助于解释根据本公开内容的第一实施方式的信息处理装置100的概述的图。如在图1中所示，信息处理装置100是电视装置。信息处理装置100包括摄像机101、麦克风102以及显示器108。摄像机101收集正在看着信息处理装置100的显示器108的用户的图像。麦克风102收集由这样的用户产生的语音样本。显示器108显示由信息处理装置100生成的图像。由显示器108显示的图像除了内容图像之外还可以包括用户界面(UI) O在图1的示例中，用户Ua和Ub正在看着显示器108。在显示器108上，显示Π图像WOlo使用由摄像机101收集的收集图像来生成Π图像W01，并且Π图像WOl实现了所谓的“镜像图像”显示。多个Π对象Obj叠加在Π图像WOl上。用户Ua和Ub可以通过经由使用他们身体的各种姿势操作UI对象Obj来与图像处理装置100进行交互。经由麦克风102输入至信息处理装置100的语音命令也可以用来实现与信息处理装置100的交互。
[0071]图2是有助于解释根据本公开内容的第二实施方式的信息处理装置200的概述的图。如在图2中所示，信息处理装置200是平板PC。信息处理装置200包括摄像机201、麦克风202以及显示器208。摄像机201收集正在看着信息处理装置200的显示器208的用户的图像。麦克风202收集由这样的用户产生的语音样本。显示器208显示由信息处理装置200生成的图像。由显示器208显示的图像除了内容图像之外还可以包括用户界面(UI)图像。在图2的示例中，用户Uc正在看着显示器208。在显示器208上，显示Π图像W02。使用由摄像机201收集的收集图像来生成UI图像W02，并且UI图像W02实现了所谓的“镜像图像”显示。多个Π对象Obj也叠加在Π图像W02上。用户Uc可以通过经由使用身体的各种姿势操作UI对象Obj来与图像处理装置200进行交互。
[0072]根据现有的方法，由用户操作的Π对象可以自动地布置在图像中用户的头或手的附近。然而，由于在用户的头或手附近的屏幕区域是有限的，因此当提供多个Π对象时，存在着这些Π对象拥挤在用户附近的风险。如果Π对象拥挤在有限的屏幕区域，选择单个Π对象就变得困难，这反过来可以使得可用性降低。由于这个原因，信息处理装置100和信息处理装置200根据在下面部分详细描述的框架来避免这样的可用性降低。
[0073]<2.第一实施方式>
[0074]<2-1.示例硬件配置〉
[0075]图3示出了信息处理装置100的示例硬件配置的框图。如在图3中所示，信息处理装置100包括摄像机101、麦克风102、输入设备103、通信接口(I/F) 104、存储器105、调谐器106、解码器107、显示器108、扬声器109、远程控制I/F 110、总线111以及处理器112。
[0076](I)摄像机
[0077]摄像机101包括图像收集元件，例如CXD (电荷耦合器件)或CMOS (互补金属氧化物半导体)，并且收集图像。由摄像机101收集的图像(构成视频的帧)被当作由信息处理装置100处理的输入图像。
[0078](2)麦克风
[0079]麦克风102收集由用户产生的语音样本并且生成语音信号。由麦克风102生成的语音信号可以被当作要由信息处理装置100进行语音识别的输入语音。麦克风102可以是全方向的麦克风，或具有固定方向或可变方向的麦克风。
[0080](3)输入设备
[0081]输入设备103是由用户使用以直接操作信息处理装置100的设备。作为示例，输入设备103可以包括设置在信息处理装置100的壳体上的按钮、开关、刻度盘等。当检测到用户输入时，输入设备103生成与所检测到的用户输入对应的输入信号。
[0082](4)通信接口
[0083]通信I/F 104用作为信息处理装置100与其它装置之间的通信的媒介。通信I/F104支持任意无线通信协议或有线通信协议，并且与其他装置建立通信连接。
[0084](5)存储器
[0085]存储器105由存储介质(例如半导体存储器或硬盘驱动器)构成，并且存储由信息处理装置100处理的程序和数据以及内容数据。作为一个示例，由存储器105存储的数据可以包括用于后面描述的图像识别和语音识别的特征数据。要注意的是，在本说明书中描述的一些程序和数据或所有程序和数据可以不由存储器105存储，以及作为替代可以从外部数据源(作为示例，数据服务器、网络存储装置或外部附接的存储器)获取。
[0086](6)调谐器
[0087]调谐器106从经由天线(没有示出)接收的广播信号的期望频道上提取内容信号，并且将内容信号解调。调谐器106然后将解调的内容信号输出至解码器107。
[0088](7)解码器
[0089]解码器107对来自从调谐器106输入的内容信号的内容数据进行解码。解码器107可以对来自经由通信I/F 104接收的内容信号的内容数据进行解码。内容图像可以基于由解码器107解码的内容数据来生成。
[0090]⑶显示器
[0091]显示器108具有由IXD(液晶显示屏)、OLED(有机发光二极管)、CRT(阴极射线管)等构成的屏幕，并且显示器108显示由信息处理装置100生成的图像。作为示例，参照图1和图2描述的内容图像和UI图像可以显示在显示器108的屏幕上。
[0092](9)扬声器
[0093]扬声器109具有膜片和电路元件例如放大器，并且基于由信息处理装置100生成的输出语音信号来输出音频。扬声器109的音量是可变的。
[0094](10)远程控制接口
[0095]远程控制I/F 110是接收从用户使用的远程控制器发送的远