信息处理设备和信息处理方法与流程

文档序号:11971351阅读:284来源:国知局
信息处理设备和信息处理方法与流程
本公开涉及一种信息处理设备、信息处理方法以及计算机程序。

背景技术:
存在用于基于用户手势而不使用键盘、鼠标或远程控制器来操作电视机、个人计算机等的技术(例如,参照JP2008-146243A、JP2007-310914A以及JP2011-513847T)。如果使用这样的技术,则可以在不使用诸如键盘、鼠标或远程控制器的操作单元的情况下,远程地操作电视机、个人计算机等。例如,JP2008-146243A中描述的技术使用少数手势来执行大多数功能,以停止不期望的功能。此外,JP2007-310914A中描述的技术通过检测面部器官的移动来执行远程操作。另外,JP2011-513847T中描述的技术通过用户身体的直接的、直观的以及自然的运动来提供对应的图标功能的选择。

技术实现要素:
因此,尽管存在用于基于用户手势而远程操作电视机、个人计算机等的技术,但是当通过仅检测面部的方向或面部器官的移动来执行远程操作时,例如,显示在50英寸以上的较大屏幕上的光标的较大移动使得难以精确地指定位置。此外,当通过仅检测用户的手的移动来执行远程操作时,尽管显示在屏幕上的光标的精确移动是可能的,但是显示在屏幕上的光标的较大移动很困难。因此,根据本公开的实施例,提供了一种新颖且改进的信息处理设备、信息处理方法以及计算机程序,其能够在用户执行基于手势的远程操作时,便利基于特定手势的检测而执行的远程操作。根据本公开的实施例,提供了一种信息处理设备,其包括:操作检测单元,其被配置成检测用户的面部的方向和用户执行的操作;区域选择单元,其被配置成在操作检测单元检测到用户执行了第一操作时,基于第一操作期间用户的面部的方向而选择屏幕上的区域;以及信息显示单元,其被配置成在屏幕上显示信息,其中,信息显示单元被配置成在区域选择单元选择的屏幕上的区域上显示信息,并且如果区域选择单元选择的区域和区域选择单元基于操作检测单元检测的用户的面部的方向而选择的区域分离预定量以上,则信息显示单元被配置成在屏幕上显示提示复位操作的信息,复位操作用于对通过区域选择单元进行的选择进行复位。根据这样的配置,操作检测单元检测用户的面部的方向和用户执行的操作。当操作检测单元检测到用户执行了第一操作时,区域选择单元基于第一操作期间用户的面部的方向而选择屏幕上的区域。因此,信息处理设备可以在用户执行基于手势的远程操作时,便利基于特定手势的检测而执行的远程操作。此外,根据本公开的实施例,提供了一种信息处理方法,其包括:检测用户的面部的方向和用户执行的操作;当检测到用户执行第一操作时,基于第一操作期间用户的面部的方向而选择屏幕上的区域;以及在屏幕上显示信息,其中,在所选择的屏幕上的区域上显示信息,并且如果所选择的区域和基于所检测的用户的面部的方向而选择的区域分离预定量以上,则在屏幕上显示提示复位操作的信息,复位操作用于对选择进行复位。此外,根据本公开的实施例,提供了一种被配置成使计算机执行以下步骤的计算机程序:检测用户的面部的方向和用户执行的操作;以及当检测到用户执行第一操作时,基于第一操作期间用户的面部的方向而选择屏幕上的区域。因此,根据上述本公开的实施例,可以提供一种新颖且改进的信息处理设备、信息处理方法以及计算机程序,其能够在用户执行基于手势的远程操作时,便利基于特定手势的检测而执行的远程操作。附图说明图1是示出根据本公开的实施例的显示设备100的外观示例的说明图;图2是示出根据本公开的实施例的显示设备100的功能配置示例的说明图;图3是示出根据本公开的实施例的显示设备100中包括的操作检测单元140的功能配置示例的说明图;图4是示出由面部检测单元142执行的转换处理的说明图;图5是示出由面部检测单元142执行的转换处理的说明图;图6是示出由面部检测单元142执行的转换处理的说明图;图7是示出由面部检测单元142检测的面部所指示的显示单元110的显示区域上的位置的计算的说明图;图8是示出由面部检测单元142执行的转换处理的说明图;图9A是示出根据本公开的实施例的显示设备100的控制示例的说明图;图9B是示出根据本公开的实施例的显示设备100的控制示例的说明图;图9C是示出根据本公开的实施例的显示设备100的控制示例的说明图;图10是示出根据本公开的实施例的显示设备100的操作的流程图;图11是示出显示设备100中显示单元110上显示的屏幕的示例的说明图;图12是示出显示设备100中显示单元110上显示的屏幕的示例的说明图;图13A是示出显示设备100中显示单元110上显示的屏幕的示例的说明图;图13B是示出显示设备100中显示单元110上显示的屏幕的示例的说明图;以及图14是示出根据本公开的实施例的显示设备100的硬件配置的框图。具体实施方式在下文中,将参照附图详细地描述本公开的优选实施例。注意,在该说明和附图中,具有基本相同的功能和结构的结构元件以相同的附图标记表示,并且省略对这些结构元件的重复说明。将基于以下顺序进行描述。<1.本公开的实施例>[显示设备外观示例][显示设备功能配置示例][显示设备操作]<2.总结><1.本公开的实施例>[显示设备外观示例]首先,将描述根据本公开的实施例的显示设备的外观示例。图1是示出根据本公开的实施例的显示设备100的外观示例的说明图。现在将参照图1描述根据本公开的实施例的显示设备100的外观。图1中示出的显示设备100(其是根据本公开的信息处理设备的示例)检测用户的手势,并且基于这些手势执行处理。如图1所示,根据本公开的实施例的显示设备100包括显示单元110和摄像装置120。显示单元110基于所提供的信号显示图像。摄像装置120(其设置在与显示单元110的显示面相同的方向)捕获面对显示单元110的显示面的物体的图像。图1中示出的显示设备100被配置成从摄像装置120捕获的图像中检测用户手势,并且基于这些手势执行处理。图1中示出的显示设备100可以是任何装置,只要它被配置成从摄像装置120捕获的图像中检测用户的手势并且基于这些手势执行处理即可。例如,该显示设备100可以是电视机、连接至个人计算机或一些其他信息处理设备的显示器、或者投影仪。以上参照图1描述根据本公开的实施例的显示设备100的外观示例。接下来,将描述根据本公开的实施例的显示设备100的功能配置示例。[显示设备功能配置示例]图2是示出根据本公开的实施例的显示设备100的功能配置示例的说明图。现在将参照图2描述根据本公开的实施例的显示设备100的功能配置示例。如图2所示,根据本公开的实施例的显示设备100包括显示单元110、摄像装置120、图像处理单元130、操作检测单元140、区域选择单元150以及信息显示单元160。如上所述,显示单元110基于所提供的信号显示图像。在根据本公开的该实施例中,显示单元110基于从信息显示单元160中提供的信号显示信息。显示单元110的示例包括诸如液晶显示面板、有机EL显示面板以及等离子显示面板的显示装置。如果显示设备100是如通过在墙面等上对图像进行投影来显示信息的投影仪的设备,则显示单元110可以由对图像进行投影的装置或该装置显示投影图像的显示面构成。如上所述,设置在与显示单元110的显示面相同的方向的摄像装置120捕获面对显示单元110的显示面的物体的图像。摄像装置120例如包括诸如CCD图像传感器或CMOS图像传感器的图像传感器。摄像装置120可通过将经由镜头入射到图像传感器上的光转换成电信号,获取将作为图像数据的基础的数据。摄像装置120将电信号提供至图像处理单元130。图像处理单元130通过对由摄像装置120获得的电信号执行预定信号处理来获得图像数据。由摄像装置120执行的预定信号处理的示例包括噪声降低处理、白平衡处理等。图像处理单元130将通过执行信号处理而获得的图像数据提供至操作检测单元140。操作检测单元140使用从图像处理单元130提供的图像数据,检测面对显示单元110的显示面的用户做出的操作。当使用图像数据检测到用户操作时,操作检测单元140将检测结果输出至区域选择单元150。在使用图像数据检测用户操作期间,操作检测单元140执行例如面部识别处理和用于检测通过用户进行的预定操作的处理。区域选择单元150使用来自操作检测单元140的用户操作检测结果,从显示单元110的显示区域当中选择区域。以下将更加详细描述由区域选择单元150执行的区域选择处理。当从显示单元110的显示区域当中选择区域时,区域选择单元150将关于所选区域的信息提供至信息显示单元160。信息显示单元160使显示单元110在由区域选择单元150选择的显示单元110的显示区域中的区域上显示预定信息。由信息显示单元160显示在显示单元110上的预定信息是让用户执行操作或者做出选择的信息,诸如光标、图标、菜单屏幕等。以上参照图2描述了根据本公开的实施例的显示设备100的功能配置示例。接下来,将描述根据本公开的实施例的显示设备100中包括的操作检测单元140的功能配置示例。图3是示出根据本公开的实施例的显示设备100中包括的操作检测单元140的功能配置示例的说明图。现在将参照图3描述根据本公开的实施例的显示设备100中包括的操作检测单元140的功能配置示例。如图3所示,根据本公开的实施例的显示设备100中包括的操作检测单元140包括面部检测单元142和手势检测单元144。面部检测单元142使用从图像处理单元130提供的图像数据,检测面部是否包括在图像数据中。此外,如果面部包括在图像数据中,则面部检测单元142估计该面部指示显示单元110的显示区域中哪个位置。手势检测单元144使用从图像处理单元130提供的图像数据,检测用户朝向显示单元110执行的预定手势。操作检测单元140将通过面部检测单元142进行的面部检测结果和通过手势检测单元144进行的手势检测结果输出至区域选择单元150。区域选择单元150可使用从操作检测单元140提供的、通过面部检测单元142进行的面部检测结果和通过手势检测单元144进行的手势检测结果,从显示单元110的显示区域当中选择区域。以上描述了根据本公开的实施例的显示设备100中包括的操作检测单元140的功能配置示例。接下来,将描述根据本公开的实施例的显示设备100的操作。根据本公开的实施例的显示设备100可从通过用摄像装置120捕获图像而获得的图像数据中,检测面对显示设备100中的显示单元110的显示屏的用户的面部和用户做出的手势。显示设备100可基于用户的面部和用户做出的手势的检测结果,从显示设备100中的显示单元110的显示区域中选择区域(例如,显示区域上的位置或范围)。此外,显示设备100还可在所选区域上显示信息(例如,光标、菜单等)。在下面的描述中,作为根据本公开的实施例的显示设备100的操作示例,将描述如下处理:该处理用于从通过用摄像装置120捕获图像而获得的图像数据中检测面对显示设备100中的显示单元110的显示面的用户的面部和手势,以及在显示单元110上与用户的面部的方向对应的位置上显示光标。此外,还将描述如下处理:该处理用于检测面对显示设备100中的显示单元110的显示面的用户做出的手势,以及基于该手势移动光标。现在将详细地描述面部检测单元142使用基于图像坐标的面部检测位置来执行的如下处理:该处理用于估计以显示设备100中的显示单元110为中心的显示单元中心坐标系中的面部位置。首先,面部检测单元142将基于图像坐标的面部检测位置转换为图像中心坐标系的面部位置,并且然后将该面部位置转换为摄像装置中心坐标系中的面部位置。然后,面部检测单元142将摄像装置中心坐标系中的面部位置转换成以显示设备100中的显示单元110为中心的显示单元中心坐标系中的面部位置。图4是示出由面部检测单元142执行的至图像中心坐标系的面部位置的转换处理的说明图。根据以下公式确定从基于图像坐标的面部检测位置(x,y)(其中,0≤x,y≤1)到图像中心坐标系的面部位置(v_rad,h_rad)(rad)的转换。v-rad=face_cy*camViewAngleHh-rad=face_cx*camViewAngleH各变量具有如下含义。face_cx:图像中心坐标系中的水平方向面部检测位置(-0.5到0.5)。face_cy:图像中心坐标系中的垂直方向面部检测位置(-0.5到0.5)。face_cx:x+w/2+0.5face_cy:x+h/2+0.5camViewAngleV:摄像装置垂直方向视角(rad)camViewAngleH:摄像装置水平方向视角(rad)w:面部检测宽度(0到1)h:面部检测高度(0到1)图5是示出由面部检测单元142执行的将图像中心坐标系中的面部位置转换为摄像装置中心坐标系中的面部位置的处理的说明图。可根据如下公式执行从图像中心坐标系中的面部位置(v_rad,h_rad)(rad)到摄像装置中心坐标系中的面部位置(cam_x,cam_y,cam_z)(mm)的转换。cam_x=1000*FACESIZE_AT_1000/wcam_y=cam_x*tan(h_rad)cam_z=cam_x*tan(v_rad)注意,FACESIZE_AT_1000表示在1000(mm)的距离时的面部尺寸w(0到1)。图6是示出由面部检测单元142执行的将摄像装置中心坐标系中的面部位置转换成以在显示设备100中的显示单元110为中心的显示单元中心坐标系中的面部位置的处理的说明图。可根据如下公式执行从摄像装置中心坐标系中的面部位置(cam_x,cam_y,cam_z)(mm)到以显示设备100中的显示单元110为中心的显示单元中心坐标系中的面部位置(pos_x,pos_y,pos_z)(mm)的转换。pos_x=cam_x*cos(pitch)+cam_z*sin(pitch)+shift_xpos_y=cam_y+shift_ypos_z=cam_x*sin(pitch)+cam_z*cos(pitch)+shift_z各变量具有如下含义。pitch:相对于显示设备100的倾斜角(rad)shift_{x,y,z}:从摄像装置120的中心到显示设备100中的显示单元110的中心的x、y或者z方向上的偏差(mm)。因此,面部检测单元142可根据基于图像坐标的面部检测位置,确定显示单元中心坐标系中的面部位置。面部检测单元142获取面部检测位置(x,y)(0到1)和面部正面对的面部方向(theta,phi)(rad)。基于计算,面部检测单元142可根据显示单元中心坐标系中的面部位置和面部方向,确定由该面部指示的显示单元110的显示区域上的位置。图7是示出由面部检测单元142检测到的面部指示的显示单元110的显示区域上的位置的计算的说明图。根据显示单元中心坐标系中的面部位置(pos_x,pos_y,pos_z)(mm)和面部方向,可根据如下公式执行到由该面部指示的显示单元110的显示区域上的位置(dsp_x,dsp_y,dsp_z)(mm)的转换。theta=atan(pas_y/pos_x)phi=atan(pas_z/pos_x)各变量具有如下含义。dsp_x=0.0dsp_y=-pos_y+pos_x*tan(yaw+theta)dsp_z=-pos_z+pos_x*tan(pitch+phi)图8是示出将由面部检测单元142检测到的面部指示的屏幕上的位置转换成图像坐标系中的光标位置的处理的说明图。可根据如下公式执行由面部检测单元142检测到的面部指示的屏幕上的位置(dsp_x,dsp_y,dsp_z)(mm)到图像坐标系中的光标位置(csr_x,csr_y)(pixel)的转换。csr_x=(-dsp_y/dsp_size_w+0.5)*dsp_rsl_wcsr_y=(-dsp_z/dsp_size_h+0.5)*dsp_rsl_h各变量具有如下含义。dsp_size_w:显示器水平横幅长(mm)dsp_size_h:显示器垂直横幅长(mm)dsp_rsl_w:显示器水平横幅分辨率(pix)dsp_rsl_h:显示器垂直横幅分辨率(pix)因此,可根据摄像装置中心坐标系中的面部位置和面部方向,确定由该面部指示的显示单元110的显示区域上的区域(坐标)。接下来,将基于具体示例更加详细地描述由手势检测单元144执行的手势检测处理。例如,当用户面对摄像装置120并且改变他/她的手成诸如拳头(石头-纸-剪刀中的“石头”)或者张开的手掌(石头-纸-剪刀中的“纸”)的特定形状时,由手势检测单元144检测手,并且开始手的移动的追踪(手追踪)。当事实是从图像数据中检测到用户执行特定操作时,手势检测单元144根据基于图像坐标的检测位置估计摄像装置中心坐标系中的手位置。以与上述面部检测单元142相似的方式执行手势检测单元144进行的手位置的估计处理。手势检测单元144基于估计的摄像装置中心坐标系中的手位置在水平和垂直方向上的移动量(dHw,dHh)(mm/s),根据以下公式,确定预定时间dt之后的图像坐标系中的光标位置(csr_xt+dt,csr_yt+dt)。csr_xt+dt=csr_xt+gain*dHwcsr_yt+dt=csr_ht+gain*dHh注意,“gain”是系数。通过改变增益值,可调整基于手追踪的光标的移动量。面部信息对光标具有影响的时间只在手追踪开始时。在手追踪继续时,面部信息对光标的移动不具有任何影响。在手追踪继续时,显示设备100使用关于手势检测单元144已经检测到的用户的手的位置的信息来控制光标。根据本公开的实施例的显示设备100可通过执行上述操作容易地将光标移动至目标位置,使得使用面部信息进行光标的较大移动,并且在使用面部信息移动光标之后,基于手的移动进行光标的更细小移动。图9A到9C是示出根据本公开的实施例的显示设备100的控制示例的说明图。图9A到9C示出基于用户面对根据本公开的实施例的显示设备100、并移动他/她的面部和/或执行预定手势,控制显示在显示单元110上的光标的移动的示例。在图9A到9C中示出了显示设备100显示的网页浏览器的示例,基于用户面对显示设备100、并移动他/她的面部和/或举起他/她的手臂而操作该网页浏览器。图9A示出如下状态:光标111由信息显示单元160显示在显示设备100中的显示单元110上,面对显示设备100的用户朝向(look)不是光标111的显示位置的显示单元110的给定位置L1的方向。因此,当用户仅仅朝向显示单元110的给定位置L1的方向时,信息显示单元160不将光标111的显示位置移动至位置L1。图9B示出如下状态:光标111由信息显示单元160显示在显示设备100中的显示单元110上,面对显示设备100的用户朝向不是光标111的显示位置的显示单元110的给定位置L1的方向,并且执行举起他/她的手的手势。当用户朝向显示单元110的给定位置L1的方向的同时执行举起他/她的手的手势时,摄像装置120捕获用户的图像,操作检测单元140从所捕获的图像数据中检测用户面部的方向和用户手势,区域选择单元150基于操作检测单元140的检测结果选择显示单元110的位置(位置L1),并且信息显示单元160在区域选择单元150选择的位置显示光标。注意,当从图9A中的状态改变至图9B中的状态时,显示设备100可以按让用户看到光标111的移动轨迹的方式移动光标111,或者可在不显示轨迹的情况下立即移动光标。此外,当从图9A中的状态改变至图9B中的状态时,显示设备100可使光标111高亮(例如,可照亮光标111的周围)以让用户知道光标111已经移动。图9C示出如下状态:在图9B中示出的状态之后,面对显示设备100的用户移动他/她举起的右手。当面对显示设备100的用户在图9B中示出的状态之后移动他/她举起的右手时,摄像装置120捕获用户的图像,操作检测单元140从所捕获的图像数据中检测用户手势,区域选择单元150基于操作检测单元140的检测结果选择显示单元110的位置,并且信息显示单元160在区域选择单元150选择的位置显示光标。即,如果用户向右移动他/她的手,则信息显示单元160执行向右移动光标的控制,并且如果用户向左移动他/她的手,则信息显示单元160执行向左移动光标的控制。如图9C所示,当显示设备100通过追踪用户手臂的移动而移动光标111时,显示设备100例如可当检测到用户已经执行另外的操作(例如,降低身体前面举起的手臂等)时,选择网页浏览器显示的网页上的链接。注意,如图9C所示,即使面对显示设备100的用户在移动他/她举起的右手的同时改变他/她的面部的方向,显示设备100在显示光标时也不追踪他/她面部的方向的变化。为了进行光标位置的较大移动,例如,用户降低他/她的右手臂,移动他/她的面部的方向以匹配他/她想要光标显示的位置,再次举起他/她的右手臂,并且握紧并打开他/她的手。当显示设备100检测到用户已经降低了他/她的右手臂,并且然后再次举起他/她的右手臂时,显示设备100执行控制以在用户的面部正朝向该点的位置显示光标。这样,显示设备100可基于通过用摄像装置120捕获用户的图像而获得的结果,控制显示在显示单元110上的光标的移动。图10是示出根据本公开的实施例的显示设备100的操作的流程图。图10的流程图示出当显示设备100从摄像装置120捕获的图像数据中识别用户的面部和手势、并且基于识别结果在显示单元110上显示信息时执行的操作。现在将参照图10描述根据本公开的实施例的显示设备100执行的操作。为了识别用户的面部和手势,并且基于识别结果在显示单元110上显示信息,首先,显示设备100利用显示设备100中包括的摄像装置120捕获用户轮廓的图像(步骤S101)。然后,当利用显示设备100中包括的摄像装置120捕获了用户外形的图像时,显示设备100从摄像装置120捕获的图像数据中检测用户的面部的方向和用户手势(步骤S102)。通过操作检测单元140执行用户的面部的方向和用户手势的检测。基于诸如上述的处理执行通过操作检测单元140进行的用户的面部的方向和用户手势的检测。然后,当在步骤S102中从摄像装置120捕获的图像数据中检测到用户的面部的方向和用户手势时,显示设备100基于检测到的用户的面部的方向和用户手势,选择显示单元110的显示区域上的区域(步骤S103)。通过区域选择单元150执行基于检测到的用户的面部的方向和用户手势的显示单元110的显示区域上的区域的选择。然后,当在步骤S103中基于检测到的用户的面部的方向和用户手势选择了显示单元110的显示区域上的区域时,显示设备100在步骤S103中选择的显示单元110的显示区域上的区域上显示信息(图标、菜单等)(步骤S104)。通过信息显示单元160执行在步骤S103中选择的显示单元110的显示区域上的区域上的信息的显示。然后,当在步骤S104中显示设备100在步骤S103中选择的显示单元110的显示区域上的区域上显示了信息(图标、菜单等)时,显示设备100检测在步骤S102中检测到的手势之后随后执行的用户手势,并且基于该手势改变显示单元110的显示区域上的所选区域(步骤S105)。通过区域选择单元150执行显示单元110的显示区域上的选择区域的改变。在步骤S105中执行的处理对应于图9C中示出的控制。即,在用户的右手臂举起之后,如果操作检测单元140检测到右手臂移动,则区域选择单元150基于来自操作检测单元140的检测结果改变选择区域,并且信息显示单元160基于区域选择单元150改变的选择区域移动显示在显示单元110上的光标111。通过执行这样一系列处理,显示设备110可检测用户的面部的方向和用户手势,使用该检测结果从显示单元110的显示区域当中选择区域,并且在该所选区域上显示信息。例如,如果用户正朝向显示单元110的方向,则当显示设备100从显示单元110的显示区域当中检测到用户正朝向的位置、并且进一步检测到用户执行了特定操作(例如右手臂的举起)时,显示设备100在用户正朝向的位置显示光标。然后,在基于用户朝向显示单元110的方向并且执行上述特定操作而光标显示在显示单元110上的状态中,如果显示设备100检测到用户执行了另一个另外的特定操作(例如,移动举起的右手臂),则显示设备100可基于该操作移动显示在显示单元110上的光标。以上描述了显示设备100的操作。在以上描述中,尽管描述了显示设备100显示网页浏览器、并且使用光标操作该网页浏览器的示例,但是很显然本公开不局限于这样的示例。例如,当显示设备100正显示诸如移动图像或者静止图像的内容时,即使让用户执行诸如选择或者播放/停止内容的控制,显示设备100也可以基于面部方向和/或手势的检测执行上述控制。图11是示出显示在显示设备100中的显示单元110上的屏幕的示例的说明图。图11示出了如下状态:当内容C1显示在显示单元110上时,基于用户手势显示菜单M1。为了显示该菜单M1,例如,用户朝向显示菜单M1的区域,并且执行特定操作(例如,举起他/她的右手臂)。当用户执行特定操作时,显示设备100检测用户的面部的方向。如果用户的面部正朝向显示菜单M1的区域,则通过信息显示单元160在显示单元110上显示菜单M1。注意,尽管图11中示出了菜单M1显示在显示单元110的右侧区域上的示例,但是本公开不局限于这样的示例。例如,当操作检测单元140检测到用户正朝向显示单元110的左侧区域的同时执行上述特定操作时,菜单M1可显示在显示单元110的左侧区域上。此外,例如,如果不同于菜单M1的另外菜单要显示在显示单元110的左侧区域上,则显示设备100可被配置使得:当用户朝向显示单元110的右侧区域并且执行特定操作时显示菜单M1,并且当用户朝向显示单元110的左侧区域并且执行特定操作时显示不同于菜单M1的菜单。在图11中示出了如下情况:当显示设备100正显示诸如移动图像或者静止图像的内容时,使用户执行诸如选择或者播放/停止该内容的控制。接下来,将描述使用户从显示单元110的多个区域当中选择一个区域的情况。图12是示出显示在显示设备100的显示单元110上的屏幕的示例的说明图。在图12中,示出了使用户从6个区域R1到R6当中选择一个区域的示例。注意,在六个区域R1到R6中显示的可以是诸如移动图像或者静止图像的内容,或者可以是网页浏览器显示的网页的缩小尺寸的显示。为了从六个区域R1到R6当中选择一个区域,用户朝向六个区域R1到R6之一的方向,并且执行特定操作(例如举起他/她的右手臂)。显示设备100检测用户执行特定操作时的用户的面部的方向。如果用户正朝向区域R1到R6之一,则显示设备100选择该区域,并且然后例如放大缩小尺寸的网页并且将它全屏显示。显示设备100也可检测用户执行特定操作时的用户的面部的方向,并且基于面部正朝向的方向改变显示的操作。例如,如果用户想要垂直地向上或者向下滚动显示设备100在显示单元110上显示的纵长的网页,则用户在朝向显示单元110的显示区域的上面部分或者下面部分的同时执行特定操作(例如举起他/她的右手臂)。如果在执行该操作时用户正朝向显示单元110的显示区域的上面部分,则显示设备100可向上滚动显示在显示单元110上的网页,并且如果用户正朝向显示单元110的显示区域的下面部分,则显示设备100向下滚动显示在显示单元110上的网页。即使当用户想要以左右方向滚动时,也可通过类似地检测用户的面部的方向执行左右方向上的滚动。当用户通过移动他/她的手臂操作光标时,存在用户可移动他/她的手臂的范围的限制。因此,当用户执行了特定操作(例如,举起他/她的右手臂)时,显示设备100可在显示单元110上显示用户可操作的可移动范围。图13A和13B是示出显示在显示设备100中的显示单元110上的屏幕的示例的说明图。图13A和13B示出了如下示例:当用户执行了特定操作(例如,举起他/她的右手臂)时,用户可操作光标111的可移动范围S1由显示设备100显示在显示单元110上。注意,可根据用户的面部的方向和用户执行特定操作时的用户的姿势确定用户的可移动范围。例如,当用户通过举起他/她的右手臂在用户正朝向的位置显示光标111时,如果举起右手臂接近他/她的面部,则如图13A所示,光标111的可移动范围S1由以显示光标111的位置为中心的大体上圆形形状定义。另一方面,如果举起右手臂远离他/她的面部,则光标111的可移动范围S1是如图13B中示出的形状。显示设备100可基于检测到的特定操作的差异改变操作控制。例如,显示设备100可被配置使得,当用户举起了他/她的右手臂时,通过识别当用户再次紧握他/她的右手或者右手张开之间的手的形状的差异而执行不同的操作。如果处理目标的位置和检测到的面部的位置分离预定量以上,则显示设备100可提示用户执行用于对处理进行复位的复位操作。例如,如果检测到用户进行的特定操作(例如,举起他/她的右手臂)并且光标显示在显示单元110上,如果用户面对显示单元110时用户的面部正朝向的位置和显示在显示单元110上的光标的位置分离预定距离,则显示设备100可在显示单元110上显示如下信息:该信息提示用户执行用于对光标显示进行复位的复位操作。显示设备100还可基于在用户执行特定操作并且光标显示在显示单元110上之后的、用户的面部的位置和用户执行特定操作的部位的位置之间的距离,改变显示在显示单元110上的光标的速度增益。例如,如果用户的面部的位置和用户执行特定操作的部位的位置之间的距离近,则可降低基于用户手臂的移动的光标的移动速度,而如果用户的面部的位置和用户执行特定操作的部位的位置之间的距离远,则可提高基于用户手臂的移动的光标的移动速度。在光标显示在显示单元110上之后,显示设备100还可基于光标周围可选择的内容的有无,改变光标的移动速度。例如,在光标显示在显示单元110上之后,如果光标周围存在多个可选择的内容,则为了便利内容选择,显示设备100可降低光标的移动速度,并且如果光标周围仅存在可选择的一条内容或者根本没有内容,则为了强调光标的可操作性,显示设备100可提高光标的移动速度。尽管在以上描述中,显示设备100基于用户执行特定操作(尤其是身体操作)时面部的方向在显示单元110上显示光标,但是本公开不局限于此。例如,显示设备100可基于用户发出特定语音时用户的面部的方向在显示单元110上显示光标。接下来,将参照图14更加详细地描述根据本公开的实施例的显示设备100的硬件配置。图14是示出根据本公开的实施例的显示设备100的硬件配置的框图。显示设备100主要包括CPU901、ROM903以及RAM905。此外,显示设备100还包括主机总线907、桥909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923以及通信设备925。用作计算处理装置和控制装置的CPU901基于记录在ROM903、RAM905、存储装置919或可拆卸记录介质927中的各种程序,控制显示设备100中的全部或部分操作。ROM903存储由CPU901使用的程序、计算参数等。RAM905暂时存储要由CPU901使用的程序、以及在程序执行期间适当地变化的参数。这些单元由主机总线907相互连接,其中,主机总线907由诸如CPU总线的内部总线构成。主机总线907连接到其是PCI(外围组件互连/接口)总线等的外部总线911。输入装置915是由用户操作的操作装置,诸如鼠标、键盘、触摸板、按钮、开关、操纵杆等。输入装置915例如可以是利用红外线或其它无线电波的遥控装置(所谓的“遥控”),或者可以是诸如支持显示设备100的操作的移动电话或PDA(个人数字助理)的外部连接装置929。输入装置915例如包括输入控制电路,该输入控制电路基于用户使用上述操作装置输入的信息生成输入信号,并且将生成的输入信号输出至CPU901。显示设备100的用户可以通过操作该输入装置915,将各种类型的数据输入到显示设备100,并且发布处理操作指令。输出装置917由可以在视觉上或听觉上向用户通知所获取的信息的装置构成。这样的装置的示例包括诸如CRT(阴极射线管)显示器、液晶显示器装置、等离子显示面板装置、有机EL(电致发光)显示器以及灯的显示装置、诸如扬声器和头戴耳机的音频输出装置、打印机设备、移动电话、传真机等。例如,输出装置917输出基于由显示设备100执行的各种处理而获得的结果。具体地,显示设备将基于由显示设备100执行的各种处理而获得的结果显示作为文本或者图像。另一方面,输出装置917将再现的音频数据或者由音频数据构成的音频信号转换成模拟信号,并且输出所转换的模拟信号。存储装置919是用于存储数据的装置,其被配置成显示设备100的存储单元的示例。存储装置919例如由诸如HDD(硬盘驱动器)的磁存储单元装置、半导体存储装置、光存储装置、磁光存储装置等构成。例如,该存储装置919存储由CPU901执行的程序和各种数据、以及外部获得的各种数据。驱动器921是用于记录介质的读写器,并且被安装在显示设备100中或外部附接。驱动器921读取记录在诸如磁盘、光盘、磁光盘或半导体存储器的安装的可拆卸记录介质927上的信息,并且将所读取的信息输出至RAM905。此外,驱动器921也可将信息写入在诸如磁盘、光盘、磁光盘或半导体存储器的安装的可拆卸记录介质927上。记录介质927的示例包括致密型(CF)、闪存、SD存储卡(安全数码存储卡)等。此外,记录介质927还可是安装有非接触式IC(集成电路)芯片的IC卡(集成电路卡)、电子装置等。连接端口923是用于将装置直接连接到显示设备100的端口。连接端口923的示例例如包括USB(通用串行总线)端口、IEEE(电气和电子工程师协会)1394端口、SCSI(小型计算机系统接口)端口等。连接端口923的其它示例包括RS-232C端口、光音频端子、HDMI(高清多媒体接口)端口等。通过将外部连接装置929连接到该连接端口923,显示设备100从外部连接设备929直接获取各种数据,并且将各种数据提供到外部连接设备929。通信设备925例如是由用于连接到通信网931的通信装置构成的通信接口。通信设备925例如可以是有线或无线LAN(局域网)、WUSB(无线USB)通信卡。此外,通信设备925可以是光通信路由器、ADSL(非对称数字用户线)路由器、或用于各种通信的调制解调器。该通信设备925例如可以基于诸如TCP/IP(传输控制协议/网际协议)的预定协议向因特网或其他通信装置发送信号和接收来自因特网或其他通信装置的信号等。此外,连接到通信装置925的通信网931由有线或无线连接的网络构成,并且例如可以是因特网、家庭LAN、红外通信、无线电波通信、卫星通信等。以上,示出了可由根据本公开的实施例的显示设备100执行的硬件配置的示例。可使用通用部件配置上述构成元件,或者其可由专用于每个构成元件的功能的硬件构成。因此,可以基于实施本公开时的技术水平适当地修改所利用的硬件配置。<2.总结>根据如上所述的根据本公开的实施例的显示设备100,检测正朝向显示设备100中的显示单元110的用户的面部的位置和用户操作。在根据本公开的实施例的显示设备100检测到用户执行了特定操作时,显示设备100基于该时刻的面部的位置选择显示单元110的区域,并且在所选区域上显示预定信息(光标或者菜单)。根据本公开的实施例的显示设备100可以在用户尝试执行基于手势的远程操作时,便利基于特定手势的检测而执行的远程操作。可通过硬件或者通过软件执行上述根据本公开的实施例的显示设备100的操作。例如,如果通过软件执行,则通过显示设备100中设置的CPU或者一些其他控制设备读取并且顺序执行计算机程序来执行操作,该计算机程序存储在显示设备100中设置的诸如ROM的记录介质上。本领域的技术人员应该理解,在所附权利要求或其等同方案的范围内,根据设计需要和其它因素,可进行各种修改、组合、子组合以及变更。此外,本技术也可如下配置。(1)一种信息处理设备,其包括:操作检测单元,其被配置成检测用户的面部的方向和用户执行的操作;以及区域选择单元,其被配置成在操作检测单元检测到用户执行了第一操作时,基于第一操作期间用户的面部的方向而选择屏幕上的区域。(2)根据(1)的信息处理设备,其中,当操作检测单元检测到用户已从第一操作切换至第二操作时,区域选择单元被配置成基于第二操作而改变所选区域。(3)根据(1)或(2)的信息处理设备,还包括:信息显示单元,其被配置成在屏幕上显示信息,其中,信息显示单元被配置成在区域选择单元选择的屏幕上的区域上显示信息。(4)根据(3)的信息处理设备,其中,信息显示单元被配置成基于操作检测单元检测的用户的面部的位置而改变所显示的信息。(5)根据(3)或(4)的信息处理设备,其中,信息显示单元被配置成基于操作检测单元检测的第一操作的内容而改变所显示的信息。(6)根据(3)到(5)中任一个的信息处理设备,其中,信息显示单元被配置成基于操作检测单元检测的面部的方向,改变在用户执行第一操作时的显示。(7)根据(3)到(6)中任一个的信息处理设备,其中,信息显示单元被配置成在区域选择单元选择的屏幕上的区域上显示光标。(8)根据(3)到(7)中任一个的信息处理设备,其中,信息显示单元被配置成在屏幕上显示在用户执行第一操作的时刻的用户可操作区域。(9)根据(3)到(8)中任一个的信息处理设备,其中,如果区域选择单元选择的区域和区域选择单元基于操作检测单元检测的用户的面部的方向而选择的区域分离预定量以上,则信息显示单元被配置成在屏幕上显示提示复位操作的信息,该复位操作用于对通过区域选择单元进行的选择进行复位。(10)根据(2)到(9)中任一个的信息处理设备,其中,当操作检测单元检测到用户已从第一操作切换至第二操作时,区域选择单元被配置成基于用户执行第二操作的位置和操作检测单元检测的用户的面部的位置之间的距离,改变用于基于第二操作而改变所选区域的速度。(11)根据(2)到(10)中任一个的信息处理设备,其中,当操作检测单元检测到用户已从第一操作切换至第二操作时,区域选择单元被配置成基于第二操作而改变所选区域,并且基于所选区域周围的多条内容,改变用于基于第二操作而改变所选区域的速度。(12)一种信息处理方法,其包括:检测用户的面部的方向和用户执行的操作;以及当检测到用户执行第一操作时,基于第一操作期间用户的面部的方向而选择屏幕上的区域。(13)一种被配置成使计算机执行以下步骤的计算机程序:检测用户的面部的方向和用户执行的操作;以及当检测到用户执行第一操作时,基于第一操作期间用户的面部的方向而选择屏幕上的区域。本公开包含与2012年3月29日向日本专利局提交的日本优先权专利申请JP2012-076211中公开的主题内容相关的主题内容,在此通过引用将其全文合并于此。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1