信息处理装置、信息处理方法及程序的制作方法_4

文档序号:8548051阅读:来源:国知局
长度内手在输入图像中基本保持静止的用户手的运动来识别保持手静止的姿势G2。操作控制单元172响应于与姿势G2的识别对应的操作事件来停止Π对象Bll至Π对象B16在屏幕上的运动。在下一个Π图像ST25中,也没有更新Π对象Bll至Π对象B16的显示位置。
[0194]在下一个Π图像ST26中,图像识别单元152可以根据作为操作对象的用户Ud的手进行旋转的运动来识别旋转手的姿势G3a。响应于这样的操作事件,操作控制单元172使UI对象Bll至Π对象B16的显示位置绕着图像中的参考点旋转(沿图像中的Dl方向)。作为示例,这里提到的参考点可以是手区域的重心,Π对象Bll至Π对象B16的中心,或任何其它任意点。
[0195]由于使用前面描述的停止Π对象的运动的操作事件,所以当期望的Π对象已经到达适合操作的显示位置时,用户可以停止对象的进一步运动,然后可以准确地操作期望的Π对象。
[0196]此外,由于使用前面描述的旋转UI对象的显示位置的操作事件,所以用户可以将已靠近用户附近的Π对象的显示位置移动至更容易处理的位置。替代于响应旋转手的姿势的识别来旋转UI对象的显示位置,可以响应于用户手的运动来平行地移动UI对象的显示位置。注意,替代于图24中的示例所示的所有显示Π对象旋转或移动,可以仅使一些Π对象旋转或移动。作为一个示例,要旋转或移动的至少一个Π对象可以由用户用他的/她的手跟踪UI对象的姿势来指定。
[0197](4)第五示例
[0198]图25是有助于解释操作事件的第五示例的图。在图25的上半部分,作为操作对象的用户的手与Π对象B13和Π对象B14 —起示出。图像识别单元152可以根据用户的手向左和向右挥动的运动来识别挥动手的姿势G1。通过比较此时手区域在Π图像中的位置与各个UI对象的显示位置,操作控制单元172可以确定UI对象B13被指定。响应于这样的操作事件,操作控制单元172使指定UI对象B13的显示位置远离于用户移动。在图25的下半部分,Π对象B13的显示位置被移动远离用户,并且替代于Π对象Β13,Π对象Β14靠近用户的手。
[0199]由于使用这样的操作事件,即使不需要的Π对象比期望的Π对象更早地靠近用户,用户仍然可以从用户附近的屏幕区域移除不需要的Π对象,从而防止该屏幕区域的拥挤。
[0200](5)第六示例
[0201]图26是有助于解释操作事件的第六示例的图。在图26中,沿着时间轴示出了在图21中所示的UI图像ST51和UI图像ST52以及下面的UI图像ST54。
[0202]用户Ud出现在Π图像ST51中,并且实现了镜像图像显示。Π对象Bll至Π对象Β16也被布置在默认显示位置。UI对象Bll至Π对象Β16是属于预先定义的多个分类中的第一分类的对象。作为一个示例,第一分类是与电视节目再现功能有关的分类。要注意的是,在初始状态,UI对象不需要对于用户可见。例如,在初始状态下,UI对象可以被放置在屏幕外,或者可以是透明的或半透明的。UI对象可以在用户举起他的/她的手的定时处从非活动状态(未显示或半透明的)改变为活动状态(显示的或非透明的)。
[0203]在Π图像ST52中,由于用户Ud举起他的手,UI对象Bll至Π对象Β16开始靠近用户Udo在UI图像ST52中,图像识别单元152可以根据用户的手向左和向右挥动的运动来识别挥动手的姿势G1。响应于与姿势Gl的识别对应的操作事件,操作控制单元172用属于第二分类的Π对象替换布置在Π图像中的对象Bll至对象Β16。第二分类可以是不同于第一分类的任意分类(例如与内容再现功能有关的分类)。
[0204]在Π图像ST54中,对象Bll至对象Β16被从屏幕移除,并且新的Π对象Β31至UI对象Β37被布置在屏幕上。
[0205]由于使用这样的操作事件,信息处理装置100能够在屏幕上仅显示一些UI对象,而不显示可以在屏幕上显示的所有Π对象候选者。因此,显著缓解了屏幕区域的拥挤。用户也可以经由简单的姿势使此时暂时未显示的期望Π对象显示在屏幕上,以及适当地操作这样的Π对象。
[0206]要注意的是,要在UI图像中显示的UI对象的分类的选择可以取决于用户手的形状。例如,可以响应于分别表示数字一至数字五的五种手形的识别,用属于第一分类至第五分类中的任何一种分类的UI对象来替代到目前为止已经显示的UI对象。
[0207]此外,姿势Gl可以被定义为不是用于切换要显示的Π对象的分类的姿势,而是用于切换用来设置靠近速度的优先级设置标准的姿势。在这种情况下,响应于与姿势Gl对应的操作事件,操作控制单元172根据新的优先级设置标准来重设被显示的UI对象中的至少一个的优先级。
[0208](6)第七示例和第八示例
[0209]图27是有助于解释操作事件的第七示例和第八示例的图。在图27中,沿着时间轴示出了在图18中示出的Π图像ST42以及下面的Π图像ST44、ST45和ST46。
[0210]用户Ud出现在Π图像ST42中,并且举起他的手。Π对象B21至Π对象B26以操作控制单元172分别设置的靠近速度朝向用户Ud靠近。
[0211]在下一个UI图像ST44中,图像识别单元152可以根据从手掌展开的形状改变成手闭合的形状的用户手的运动来识别抓握对象的姿势G5。通过比较此时手区域在Π图像中的位置与各个Π对象的显示位置,操作控制单元172可以确定Π对象B25被指定(即,被抓握)。响应于与姿势G5的识别对应的操作事件,操作控制单元172此后使指定UI对象B25的显示位置跟踪手区域的位置(也就是说,使UI对象B25与操作对象一起移动)。
[0212]在下一个Π图像ST45中,除指定Π对象B25之外的Π对象被移除。此外,在图像中设置两个屏幕区域Rll和R12。作为一个示例,在Π图像中,操作控制单元172可以设置与指定UI对象B25所关联的处理数量相等数量的屏幕区域。作为一个示例,如果UI对象B25是用于照相内容的内容项,则屏幕区域Rll可以与启动图像浏览器关联,以及屏幕区域R12可以与发送附加有照相内容的消息关联。
[0213]在下一个Π图像ST46中,由于用户手区域向与屏幕区域R12重合的位置运动,UI对象B25的显示位置也向与屏幕区域R12重合的位置移动。响应于与Π对象B25向该特定屏幕区域的运动对应的操作事件,操作控制单元172使得应用单元140执行与UI对象B25关联的处理。在这里,作为一个示例,通过应用单元140启动消息发送功能,并且照相内容可以被附加至新消息。
[0214]由于使用这样的操作事件,即使在多种处理与单个UI对象有关的情况下,用户也可以用容易的和直观的操作来启动用于UI对象的期望处理。
[0215](7)第九示例
[0216]图28是有助于解释操作事件的第九示例的图。在图28中,沿着时间轴示出了四个UI图像ST61至ST64。
[0217]用户Ud出现在Π图像ST61中,并且实现了镜像图像显示。Π对象Bll至Π对象B16也被布置在默认显示位置。UI对象Bll至Π对象B16是属于预先定义的多个分类中的第一分类的对象。作为一个示例,第一分类是与电视节目再现功能有关的分类。此外,在图像中设置了四个屏幕区域R21至R24。屏幕区域R21至屏幕区域R24可以分别与不同的分类关联。
[0218]在Π图像ST62中,由于用户Ud举起她的手,UI对象Bll至Π对象B16开始朝向用户Ud接近。用户Ud手的位置与屏幕区域R23重合。假定屏幕区域R23与第一分类关联。
[0219]在Π图像ST63中,由于手区域的位置在向下方向上降低,用户Ud手区域的位置与屏幕区域R24重合。假定屏幕区域R24与不同于第一分类的分类关联。响应于与作为操作对象的手在屏幕区域之间的运动对应的操作事件,在Π图像中布置的对象Bll至对象B16被以属于另一分类的对象来替换。
[0220]在Π图像ST63中,对象Bll至对象B16被从屏幕移除,并且新的Π对象B41至UI对象B45被布置在图像上。在下一个UI图像ST64中,UI对象B41至UI对象B45开始朝向用户Ud靠近。
[0221]用与在前面描述的第六示例相同的方式,由于使用这样的操作事件,信息处理装置100能够在屏幕上仅显示一些Π对象,而不是显示可以显示的所有Π对象候选者。因此,显著缓解了屏幕区域的拥挤。用户也可以经由仅仅移动手的简单操作来使在当时未显示的期望Π对象显示在屏幕上,以及适当地操作这样的Π对象。
[0222]〈2-5多个操作对象的结合>
[0223]到目前为止主要描述了在输入图像中识别单个操作对象的示例。然而,利用根据本公开内容的技术,可以在输入图像中识别多个操作对象。在本部分,将参照图29至图31来描述包含多个操作对象的一些示例操作场景。
[0224](I)第一示例
[0225]图29是有助于解释包含多个操作对象的操作场景的第一示例的图。在该第一示例中,单个用户的左手和右手被识别为单独的操作对象。
[0226]在图29中,沿着时间轴示出了四个Π图像ST71至ST74。
[0227]用户Ud出现在Π图像ST71中,并且实现了镜像图像显示。Π对象B51至Π对象B58被布置在默认显示位置。假定在本文中UI对象B51至Π对象B58根据分组标准被分成多个组。作为示例,可以根据与在前面描述的优先级、相应菜单项或内容项的类型、或显示位置有关的标准来分组Π对象,或者可以随机地分组Π对象。
[0228]在下一个Π图像ST72中,用户Ud举起他的左手,并且手区域A21被识别。响应于针对手区域A21对姿势GO的识别,操作控制单元172使得包括在第一组中的UI对象B53至UI对象B56开始朝向用户Ud靠近。
[0229]在下一个Π图像ST73中,用户Ud还举起他的右手,并且手区域A22被识别。响应针对手区域A22对姿势GO的识别,操作控制单元172使得包括在第二组中的UI对象B51、B52、B57及B58开始朝向用户Ud靠近。
[0230]在下一个Π图像ST74中,Π对象B53至Π对象B56在用户Ud的左手附近以环形布置,并且π对象B51、B52、B57及B58在用户Ud的右手附近以环形布置。作为一个示例,响应于用户将他的手合在一起的姿势的识别,操作控制单元172可以通过将这些UI对象的两个环合并来形成单个环。如果手区域位于屏幕的边缘部分,操作控制单元172可以使环的形状变形。
[0231]根据该操作场景,用户可以使用双手使大量Π对象靠近用户附近。通过将双手可以到达的区域进行合并所生成的范围比一个手可以到达的区域更宽。这意味着用户可以快速地从附近的大量Π对象中指定期望的Π对象,并且操作该期望的Π对象。
[0232](2)第二示例
[0233]图30是有助于解释包含多个操作对象的操作场景的第二示例的图。在该第二示例中,两个用户的手被识别为单独的操作对象。
[0234]在图30中,沿着时间轴示出了两个Π图像ST81至Π图像ST82。
[0235]用户Ud和用户Ue出现在Π图像ST81中,并且实现了镜像图像显示。还显示了UI对象B61至UI对象B68。用户Ud举起他的左手并且手区域A21被识别。响应于针对手区域A21对姿势GO的识别,UI对象B61至Π对象B68朝向用户Ud靠近。
[0236]在下一个Π图像ST82中,用户Ud举起她的右手并且手区域A31被识别。响应于针对手区域A31对姿势GO的识别,操作控制单元172使得UI对象B61、B64、B65和B68开始朝向用户Ue靠近。作为一个示例,UI对象可以根据与每个用户的操作历史或用户属性有关的分组标准被分成多个组。在图30的示例中,尽管UI对象B62、B63、B66和B67包括在意图用于用户Ud的第一组中,但是Π对象B61、B64、B65和B68包括在意图用于用户Ue的第二组中。
[0237]在Π图像ST82中,通过将Π对象B61、B64、B65和B68的显示属性(例如,颜色)设置为与其他UI对象不同的属性值,操作控制单元172表示UI对象B61、B64、B65和B68包括在意图用于用户Ue的第二组中。如果两组的目标位置互相干扰,操作控制单元172可以使目标位置移位以消除这样的干扰。
[0238]根据该操作场景,可以在多个用户之间共享UI对象。当在多个用户之间共享UI对象时,对于每个用户可以使针对该用户的适当Π对象靠近该用户,从而可以快速地操作期望的UI对象。参照图25描述的操作事件的第五示例可以被定义为将UI对象传递至另一用户的操作事件,可以在这个操作场景中使用这样的操作。
[0239](3)第三示例
[0240]图31是有助于解释包含多个操作对象的操作场景的第三示例的图。在该第三示例中,两个用户的手也被识别为单独的操作对象。
[0241]在图31中,沿着时间轴示出了在图30中示出的Π图像ST81和下面的Π图像ST83o
[0242]用户Ud和用户Ue出现在Π图像ST81中,并且实现了镜像图像显示。还显示了UI对象B61至UI对象B68。用户Ud举起他的左手并且手区域A21被识别。响应于针对手区域A21对姿势GO的识别,UI对象B61至Π对象B68继续朝向用户Ud靠近。
[0243]在下一个Π图像ST83中,用户Ue使用她的右手触摸Π对象B65。响应于针对用户Ue右手的手区域A32对姿势G4a的识别,操作控制单元172可以确定UI对象B65被指定。响应于这样的操作事件,操作控制单元172使应用单元140执行与指定的UI对象B65关联的处理。
[0244]根据该操作场景,不同的用户可以容易地操作已经朝向给定用户靠近的UI对象。
[0245]要注意的是,到目前为止主要描述了 UI对象在UI图像中是二维布置的示例。然而,各个Π对象不限于具有二维显示位置,并且可以具有与深度对应的属性。如果信息处理装置100能够使用已知的方法(例如视差)来识别摄像机与操作对象之间距离,操作控制单元172可以基于这样识别的距离来确定哪个UI对象已经被用户指定。
[0246]〈2-6.示例窗口组成〉
[0247]图32和图33示出了可以由本实施方式使用的
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1