专利名称：信息处理装置和方法、以及程序的制作方法
技术领域：
本发明涉及信息处理装置和方法、以及程序，并且更具体地涉及被配置为基于姿势来操作在后台中执行的应用的信息处理装置和方法、以及程序。
背景技术：
对于结合了相机的个人计算机和移动电话而言，用于通过识别用户做出的姿势来控制应用的技术被提出。图1示出了根据基于姿势操作应用的背景技术的个人计算机221的示例。在图1所示的个人计算机221中，控制器241与由相机223捕捉的镜像242 —起被显示在显示器222上。用户的手261被相机223识别，并且控制器241上的各个按钮基于用户的手261 的位置和形状而被选择。通过此选择，正在显示器222上显示图像M3的应用被控制。此外，在日本未经实审专利申请公布No. 2008-282092中，提出了如下的信息处理装置当自从操作开始以后在某时间段中没有输入时或者当姿势输入已失败时，该信息处理装置显示用于笔式装置或鼠标装置的姿势输入列表，以便使用户能学习姿势命令。
发明内容
然而，在根据背景技术的技术中，与显示器222的前台(foreground)中所显示的应用相对应的图像被姿势控制。因此，在根据背景技术的技术中，要控制的应用可能不基于姿势而被控制，直到与该应用相对应的图像被显示在显示器222的前台中为止。能够基于姿势来操作没有显示在显示器的前台中的应用是所希望的。根据本发明的一个实施例的一种信息处理装置包括检测装置，该检测装置用于检测由用户做出的姿势；识别装置，该识别装置用于识别由检测装置检测到的姿势的类型； 控制装置，该控制装置用于控制第一应用和第二应用的操作；以及输出装置，该输出装置用于输出第一应用或第二应用的信息。如果当控制装置正在前台中控制第一应用的操作时姿势被识别装置识别，则控制装置基于由识别装置识别的姿势的类型来控制在第一应用的后台中操作的第二应用的操作。信息处理装置还可包括确定装置，该确定装置用于确定是否存在被识别的姿势。 在第一应用的信息被输出的通常模式中，当由确定装置确定不存在被识别的姿势时，控制装置可将通常模式切换为反馈模式，在反馈模式中关于姿势的操作信息被反馈给用户。信息处理装置还可包括推断装置，该推断装置用于当由确定装置确定不存在被识别的姿势时通过类推来推断姿势的类型。控制装置可使输出装置输出与由推断装置推断的姿势的类型相对应的、用于学习姿势的反馈信息。反馈信息可以是被推断的姿势的移动图像或动画。当用户已执行了与某姿势相对应的操作时，控制装置可切换通常模式和反馈模式。在反馈模式中，输出装置可输出检测装置进行检测时捕捉的用户的镜像以及姿势 的列表，作为操作信息。在通常模式中，当第ニ应用的操作基于姿势而被控制时，输出装置可将与基于姿 势的控制结果相对应的信息输出特定时间段。输出装置可输出音频信息作为与基于姿势的控制结果相对应的信息。当到反馈模式的切换已被执行时，输出装置可以以半透明的方式显示在第ー应用 的图像上叠加的反馈模式的图像。当到反馈模式的切换已被执行时，输出装置可在作为第ー应用的图像的ー部分的 区域中显示反馈模式的图像。根据本发明的ー个实施例的ー种信息处理方法包括以下步骤检测由用户做出的 姿势；识别在检测的步骤中检测到的姿势的类型；控制第ー应用和第ニ应用的操作；以及 输出第ー应用或第ニ应用的信息。如果当在控制的步骤中第ー应用的操作正在前台中被控 制时在识别的步骤中姿势被识别，则控制的步骤基于在识别的步骤中识别的姿势的类型来 控制在第ー应用的后台中操作的第ニ应用的操作。根据本发明的ー个实施例的ー种程序是用于使计算机执行以下步骤的程序检测 由用户做出的姿势；识别在检测的步骤中检测到的姿势的类型；控制第ー应用和第ニ应用 的操作；以及输出第ー应用或第ニ应用的信息。如果当在控制的步骤中第ー应用的操作正 在前台中被控制时在识别的步骤中姿势被识别，则控制的步骤基于在识别的步骤中识别的 姿势的类型来控制在第ー应用的后台中操作的第ニ应用的操作。根据本发明的ー个实施例，由用户做出的姿势被检测，所检测到的姿势的类型被 识别，并且第ー应用和第ニ应用的操作被控制。第ー应用或第ニ应用的信息被输出。如果 当第ー应用的操作正在前台中被控制时姿势被识别，则在第ー应用的后台中操作的第ニ应 用的操作基于所识别的姿势的类型而被控制。根据本发明的实施例，可以基于姿势来容易地控制在后台中操作的应用的操作。
图1是描述根据背景技术的通过姿势遥控来控制的操作的示图；图2是示出个人计算机的外部配置的示图；图3是示出根据本发明的ー个实施例的个人计算机的硬件的配置示例的框图；图4是示出中央处理单元(CPU)的功能配置的示例的框图；图5是示出通常模式下的显示示例的示图；图6是描述用于输入姿势命令的处理的流程图；图7是示出通常模式下的另ー显示示例的示图；图8是示出姿势命令与操作内容之间的关系的示图；图9是描述用于建议输入方法的处理的流程图；图10是示出反馈模式下的显示示例的示图；图11是示出建议输入方法的显示示例的示图；图12是示出建议输入方法的另ー显示示例的示图13是示出姿势命令与显示内容之间的关系的示图；图14是示出通常模式下的另一显示示例的示图；图15是示出通常模式下的另一显示示例的示图；图16是示出反馈模式下的另一显示示例的示图；并且图17是示出反馈模式下的另一显示示例的示图。
具体实施例方式图2是示出根据本发明的一个实施例的个人计算机1的配置示例的示图。图2所示的个人计算机1包括主体13和显示器12，在显示器12上安装了相机11。 相机11捕捉静止图像或移动图像，它们可通过单眼相机、立体相机、红外线相机等来获得。当用户2用他/她的手3在三维空间中做出姿势时，姿势的图像被相机11捕捉。 基于所捕捉的图像来识别姿势，并且执行与所识别的姿势的类型相对应的控制。因此，用户 2可以不控制与显示器12上显示的图像相对应的应用，也就是说，用户2可以不控制前台中操作的应用而是控制后台中操作的应用。个人计算机的配置图3是示出个人计算机1的硬件的配置示例的框图。在个人计算机1中，CPU 22、只读存储器(ROM) 23和随机存取存储器(RAM) 24通过总线25彼此相连接。输入/输出接口沈也与总线25连接。包括web相机的相机11，包括键盘、触摸面板、触摸板、笔式装置、鼠标和麦克风的输入单元27，显示器12，包括扬声器 (未示出)的输出单元21，以及包括硬盘和非易失性存储器的存储单元观与输入/输出接口沈连接。此外，包括网络接口的通信单元四和驱动可拆卸介质31的驱动器30与输入 /输出接口 26连接，其中可拆卸介质31例如是磁盘、光盘、磁光盘或半导体存储器。在如上所述地配置的个人计算机1中，例如，CPU 22通过经由输入/输出接口沈和总线25将程序载入RAM 24中，来执行存储单元观中存储的程序，以便执行上述的系列处理。要由个人计算机1 (CPU 22)执行的程序例如可被记录在可拆卸介质31上并且被提供，其中可拆卸介质31是磁盘(包括柔性盘)。程序可被记录在作为包装介质(package medium)的可拆卸介质31上并且被提供。光盘(致密盘-只读存储器(⑶-ROM)、数字多功能光碟(DVD)等)、磁光盘、半导体存储器等被用作包装介质。可替代地，可通过诸如局域网、因特网或数字卫星广播之类的有线或无线通信介质来提供程序。然后可通过将可拆卸介质31插进驱动器30中，来经由输入/输出接口沈在存储单元观中安装程序。此外，可通过经由有线或无线通信介质利用通信单元四接收程序，而在存储单元观中安装程序。可替代地，可预先在ROM 23或存储单元观中安装程序。要由个人计算机1执行的程序可以是以这里描述的顺序按时间先后经受处理的程序，或者可以是在必要的时候例如当进行呼叫时经受处理的程序。图4是示出CPU 22的功能配置的示例的框图。CPU 22包括获得单元41、检测单元42、确定单元43、计算单元44、输出单元45、识别单元46、控制单元47、推断(inference)单元48和存储单元49。要注意的是，CPU 22的各块被配置为能够在必要时互相提供/接收信号。CPU 22的获得单元41从相机11、输入单元27或存储单元28获得信息。作为检测装置的检测单元42从相机11捕捉的图像来检测手区域。作为确定装置的确定单元43 确定处理是否满足特定条件。计算单元44计算例如所检测的手区域的重心的位置。作为输出装置的输出单元45输出信息给显示器12。作为识别装置的识别单元46识别姿势命令。作为控制装置的控制单元47控制对应用的操作。作为推断装置的推断单元48通过类推(analogy)来推断姿势命令。存储单元49在存储单元观中存储获得单元41从输入单元27获得的信息。通常模式实行本发明的个人计算机1以通常模式和反馈模式来控制每个应用。通常模式是由用户选择的应用的图像被显示的模式。反馈模式是关于姿势的操作信息被反馈给用户的模式。图5是示出通常模式下的显示示例的示图。如图5所示，在通常模式中，作为前台中操作的第一应用而被web浏览器示出的图像61 (在下文中在必要时被简称为web浏览器 61)由输出单元45显示在显示器12上。与之对比，在后台中，音乐播放器正作为第二应用而操作。基于用户用他/她的手指直接接触键盘、鼠标、触摸面板、触摸板、笔式装置等的操作，来控制第一应用的操作。另一方面，基于在三维空间中移动他/她的手的用户所执行的姿势操作，来控制第二应用的操作。在图5的示例中，为在后台操作的音乐播放器选择的歌曲的标题62被显示在web 浏览器61中。要注意的是，标题62可能不被显示。用于输入姿势命令的处理在图6中示出了当在图5中已示出的通常模式下由用户输入姿势时用于输入姿势命令的处理。图6是描述用于输入姿势命令的处理的流程图，其中从用户获得的姿势被识别并且所识别的姿势的类型被输入作为姿势命令。如图5所示，当在某应用(例如，web浏览器)正在前台中操作的状况下、另一应用(例如，音乐播放器)正在后台中操作的时候，执行用于输入姿势命令的处理。在步骤Sl中，获得单元41获得由相机11捕捉的图像。也就是说，图像被捕捉并且时间戳被获得作为此时的时间信息。获得单元41同时获得多个图像。要获得的图像可以是已被相机11获得的图像，或者可以是经编辑的图像，例如灰度图像等。在步骤S2中，检测单元42从所获得的图像检测手区域。例如，在已获得的多个图像中改变的区域被检测为手区域。也就是说，因为背景图像是静止的，所以两个图像之间的背景部分的像素值的差将为零或足够小。另一方面，因为手可以移动，所以两个图像之间的手部分的像素值的差可以是足够大的值。差值等于或高于某阈值的范围可被检测为手区域。在步骤S3中，确定单元43确定步骤S2中检测的手区域是否存在。也就是说，所选择的图像和特定时间段或更久以前例如IOOms或更久以前捕捉的图像被比较，以便确定是否存在如下区域在该区域中，具有等于或高于阈值的像素值的差的区域的尺寸在标准范围内。基于时间戳来确定图像是否是特定时间段以前捕捉的图像。如果在步骤S3中确定手区域不存在，也就是说，如果像素值的差等于或大于阈值的区域的尺寸大于或小于标准范围，则处理返回至步骤Si。
如果在步骤S3中确定手区域存在，也就是说，如果像素值的差等于或大于阈值的区域的尺寸在标准范围内，则在步骤S4中，计算单元44计算所检测到的手区域的重心的位置。如果存在通过步骤S2的处理检测到的多个手区域，则计算单元44可选择这些区域中的一个并且计算所选择区域的重心的位置，或者可为所检测到的手区域中的每一个都计算重心的位置。在步骤S5中，输出单元45在显示器12上输出所检测的手区域的重心的位置的轨迹。在图7中示出了手区域的重心的轨迹被显示在显示器12上的示例。图7是示出以通常模式显示用户的手的区域的轨迹的示例的示图。在图7的示例中，手区域的轨迹81被显示在显示器12上。图7所示的轨迹81是当姿势命令“左挥”被用户输入时的轨迹的示例，其中“左挥”是手从画面的右边向左边挥动的姿势。在此示例中，轨迹81是通过圆的移动来表示的，圆的中心是图6所示的步骤S4中计算的重心的位置。在沿着移动的每个位置处示出的圆被显示特定时间段，并且在特定时间段已流逝之后消失。要注意的是，轨迹81的圆的尺寸可根据时间的流逝、手区域的尺寸或者手区域的移动的速度而变为更大或更小。例如，圆的尺寸可随着时间流逝而变得更大，接着在达到某值之后变得更小，在此之后圆消失。不仅可以通过圆而且可以通过单曲线或表示用户的手的移动的别的任何东西来表示轨迹81。通过将轨迹81显示特定时间段，在没有显著地妨碍利用web浏览器61的操作的情况下，用户可检查他/她的姿势。要注意的是，轨迹81可以仅在反馈模式中被显示并且可以不在通常模式中被显示。在此情况下，可防止轨迹81使与前台中操作的应用相对应的图像难以看见。往回参考图6，在步骤S5中的用于输出轨迹的处理之后，在步骤S6中识别单元46 基于手区域的重心的位置的轨迹来识别姿势命令。也就是说，姿势的类型被识别。图8中示出了要识别的姿势命令的示例。图8是示出姿势命令与相应的操作内容之间的关系的控制表。控制表预先被存储在存储单元观中。姿势命令和相应的操作内容的示例将被描述。如参考图7所描述的，当“左挥”被输入为姿势命令时，控制单元47将当前为音乐播放器选择的歌曲改变为下一首歌曲。“右挥”是手从画面的左边向右边挥动的姿势。当“右挥”被输入为姿势命令时，控制单元47将当前为音乐播放器选择的歌曲改变为前一首歌曲。“举起手”是将手在相机11的前面保持特定时间段的姿势。当“举起手”被输入为姿势命令时，控制单元47要么停止当前正在回放的歌曲要么回放已被停止的歌曲。从形成作为输出装置的输出单元21的扬声器输出歌曲的回放声音。“顺时针画两圈”是手顺时针地画两次圆圈的姿势。当“顺时针画两圈”被输入为姿势命令时，控制单元47将当前被音乐播放器选择的歌曲注册为“收藏(favorite) ”。“逆时针画两圈”是手逆时针地画两次圆圈的姿势。当“逆时针画两圈”被输入为
8姿势命令时，控制单元47从“收藏”中去除当前被音乐播放器选择的歌曲。“摆手”是手在相机11的前面向左右移动几次的姿势。当“摆手”被输入为姿势命令时，控制单元47执行模式的切换。也就是说，当当前模式是通常模式时，到反馈模式的切换被执行，并且当当前模式是反馈模式时，到通常模式的切换被执行。稍后将参考图10来描述反馈模式。操作“摆手”是当姿势未被识别时，也就是说，当有必要向用户提供反馈信息时，用户自然地做出的姿势。因此，通过将姿势“摆手”关联到模式的切换，可以更容易地向用户提供反馈信息。不用说，例如，像当帘幕正被双手打开时已被放在一起的手向左右分开的、诸如 “打开手”之类的姿势可被关联到模式的切换。“上下移动手”是手在相机11的前面上下移动几次的姿势。当“上下移动手”被输入为姿势命令时，控制单元47随机地选择音乐播放器中注册的歌曲。当由用户做出的姿势被如上所述地识别出时，姿势命令被输入并且对应于姿势命令的处理被执行。要注意的是，姿势命令和对应于姿势命令的处理不限于图8所示的示例。往回参考图6，在步骤S7中，确定单元43确定是否存在被识别的姿势命令。也就是说，确定被识别的姿势命令是否匹配图8的控制表中的姿势命令。如果在步骤S7中确定不存在被识别的姿势命令，也就是说，如果确定被识别的姿势命令不匹配图8的控制表中的姿势命令，则在步骤S8中执行用于建议输入方法的处理。 在图9中示出了用于建议输入方法的处理的细节。用于建议输入方法的处理图9是示出图6的步骤S8中的用于建议输入方法的处理的细节的流程图。用于建议输入方法的处理是用于当用户输入的姿势未被识别时使用户能学习用于输入姿势的方法的处理。在步骤S31中，确定单元43确定当前模式是否是反馈模式。反馈模式的细节在图 10中示出。反馈模式图10是示出反馈模式下的显示示例的示图。在反馈模式中，至少镜像和姿势命令列表被显示为关于姿势的操作信息。在图10的反馈模式的显示示例中，轨迹81、镜像82、姿势命令列表83、姿势命令 84 (更具体地，姿势命令84-1到84-6)、护封图片(jacketpicture) 85 (更具体地，护封图片 85-1到85-7)、歌手名86-2以及歌曲名87_2被显示在显示器12上。在反馈模式中，镜像82被显示在背景中，其中镜像82是已被相机11捕捉并且经受了图像处理的用户的图像。镜像是左右翻转的图像。也就是说，当用户移动他/她的右手时，在镜像82中显示的用户71的图像中左手72移动。当用户的左手移动时，在镜像82 中右手移动。通过如上所述地显示镜像82，正通过手输入姿势的用户的移动与显示器12上显示的用户71的手72的移动相对应，从而使用户能容易地通过姿势检查操作。也可以代替镜像82而显示已用来检测移动的手、身体、面部等的区域，或者显示通过对镜像82进一步执行另一类型的图像处理而获得的图像。
通过对镜像82执行另一类型的图像处理而获得的图像可以是例如图像的颜色已被变为单色、深褐色等的图像，面部或身体的一部分已被识别并且被变为与该部分相对应的化身(avatar)的图像，铅笔素描，像油画般的图像等。通过执行图像处理，对他/她的面部被直接显示会感到不舒服的用户可以舒适地执行操作。用户可输入的姿势的列表，也就是说，姿势命令84-1到84-6被显示在姿势命令列表83上。在姿势命令84-1到84-6处，对每个姿势的简单输入方法、即移动手的方式以及操作内容被指示。姿势命令84-1的图像示出图8的控制表中的姿势命令“左挥”。与姿势命令84-1 相对应的“下一首”表示操作内容“改变为下一首歌曲”。姿势命令84-2的图像示出控制表中的姿势命令“右挥”。与姿势命令84-2相对应的“前一首”表示操作内容“改变为前一首歌曲”。姿势命令84-3的图像示出控制表中的姿势命令“举起手”。与姿势命令84-3相对应的“播放-停止”表示操作内容“在回放与停止之间的切换”。姿势命令84-4的图像示出控制表中的姿势命令“顺时针画两圈”。与姿势命令 84-4相对应的“翘拇指(thumbup) ”表示操作内容“注册到收藏”。姿势命令84-5的图像示出控制表中的姿势命令“上下移动手”。与姿势命令84-5 相对应的“打乱次序(shuffle) ”表示操作内容“歌曲的随机选择”。姿势命令84-6的图像示出控制表中的姿势命令“摆手”。与姿势命令84-6相对应的“切换模式”表示操作内容“模式的切换”。因为简单地指示姿势以及与姿势相对应的操作的姿势命令84被如上所述地显示在姿势命令列表83上，所以用户可以容易地检查姿势的类型以及相应的操作内容。作为每个护封图片85的图像，与音乐播放器中存储的每首歌曲相对应的护封图像被显示。在护封图片85-1到85-7之中，护封图片85_2示出当前被选择的歌曲的护封。例如使得当前被选择的护封图片85-2的图像上下跳动或者显示得比未被选中的护封更大， 以便使得护封图片85-2被选择是清楚的。作为歌手名86-2的指示“redtallon”是当前被选择的护封图片85_2的歌曲的歌手名。当前被选择的歌曲名87-2 “青春的森林”是护封图片85-2的歌曲的名字。通过如上所述地显示反馈模式，用户可检查姿势的输入操作、姿势未被识别的原因、姿势的类型和操作内容、以及诸如音乐播放器之类的相应的应用的操作。往回参考图9，如果在步骤S31中确定当前模式不是反馈模式，也就是说，如果确定当前模式是通常模式，则在步骤S32中控制单元47将通常模式切换为反馈模式。在步骤S31中确定当前模式是反馈模式的情况下，或者在步骤S32的处理被执行之后，处理进至步骤S33。在步骤S33中，推断单元48基于由图6的步骤S4的处理计算出的手区域的重心的位置的轨迹、通过类推，来推断姿势命令。也就是说，与图6的步骤S6中的用于识别姿势命令的处理类似的处理被执行，而且姿势有多可能是某姿势命令(可能性(likelihood))被计算和评价以便通过类推来推断姿势命令。例如，当用户做出画圈的姿势时，推断单元48计算该姿势是圆圈的可能性。作为评价处理，推断单元48然后确定可能性是否等于或高于阈值，即例如60%或更多。如果针对由用户画的圈计算的可能性例如是80%，则推断单元48通过类推而将用户做出的姿势推断为圆圈。在步骤S34中，确定单元43确定是否存在被推断出的姿势命令。也就是说，确定针对姿势计算的可能性是否等于或高于特定阈值。如果在步骤S34中确定存在被推断出的姿势命令，也就是说，如果确定针对姿势计算的可能性等于或高于特定阈值，则在步骤S35中输出单元45输出用于输入姿势命令的方法。在图11和图12中示出了输出用于输入姿势命令的方法作为用于学习姿势的反馈信息的示例。用于输入姿势命令的方法的建议图11示出反馈模式中利用移动图像来输出用于输入姿势命令的方法的示例。图 12示出反馈模式中利用动画来输出用于输入姿势命令的方法的示例。用户预先设置移动图像(图11)还是动画(图12)要被输出作为对用于输入姿势命令的方法的输出。存储单元49在存储单元观中存储所设置的输入方法。当步骤S35的处理被执行时，由用户设置的输入方法被从存储单元观读出。在图11中，输入方法建议窗口 101被显示在镜像82的左上处。要注意的是，输入方法建议窗口 101的显示位置不限于左上，只要显示位置在反馈模式的显示区域内即可。在输入方法建议窗口 101中，姿势的指示者121、指示者的手122以及用于学习姿势的姿势指示线123被显示。姿势指示线123表示用于学习画圈的姿势的输入方法。通过回放指示者121根据姿势指示线123移动他/她的手122的移动图像，来向用户建议用于输入姿势的方法。因为用户的操作被显示在镜像82中，所以用户可以在同时检查镜像82中的手72 和轨迹81的移动以及输入方法建议窗口 101中的移动图像的情况下，学习用于输入姿势的方法。打算用于建议输入方法的、用于学习的移动图像被预先存储在存储单元观中并且按照姿势的类型被分类。要被输出的用于学习的移动图像是基于通过图9的步骤S33中的类推来推断的姿势或者已由用户任意选择的姿势而确定的。要注意的是，在图11的输入方法建议窗口 101中，可以显示通过对要显示的图像执行图像处理而获得的镜像。在图12中，动画141和动画141的轨迹142被显示在镜像82中。动画141的轨迹142表示用于学习画圈的姿势的输入方法。动画141沿着动画 141的轨迹142移动。因为动画141和动画141的轨迹142被显示在镜像82中，所以用户可通过根据动画141移动他/她的手72来学习用于输入姿势的方法。在图12中，也显示了已由用户沿着动画141的轨迹142移动的手72所生成的轨迹81。
如利用用于学习的移动图像的情况那样，用于建议输入方法的动画也被预先存储在存储单元观中并且按照姿势的类型被分类。要被输出的动画是基于通过图9的步骤S33 中的类推来推断的姿势或者已由用户任意选择的姿势而确定的。往回参考图9，如果在步骤S34中确定不存在被推断出的姿势命令，也就是说，如果确定针对姿势计算的可能性低于特定阈值，或者在步骤S35的处理之后，则用于建议输入方法的处理终止并且处理返回至图6的步骤Si。由于以上已描述的用于建议输入方法的处理，当通过姿势的输入已失败时，也就是说，当即使在姿势已被输入的时候所希望的操作也不被执行时，用户可检查姿势不被识别的原因并且学习作为解决方法的用于输入姿势命令的正确方法。在以上描述中，当姿势命令在通常模式中未被识别时，到反馈模式的切换被自动地执行(步骤S3》，并且用于通过类推来推断姿势命令的处理被执行(步骤S3； )。可替代地，可以仅当对姿势命令的推断已被执行之后姿势命令已通过类推而被推断出时(当步骤 S34的处理被确定为“是”时)，才自动地执行到反馈模式的切换(步骤S32)。往回参考图6，如果在步骤S7中确定存在被识别的姿势命令，也就是说，如果确定被识别的姿势命令匹配图8的控制表中描述的任何姿势命令，则在步骤S9中确定单元43 确定姿势命令是否被识别为“摆手”。如果在步骤S9中姿势命令被识别为“摆手”，也就是说，当模式的切换被用户所指示时，在步骤SlO中确定单元43确定当前模式是否是通常模式。如果在步骤SlO中确定当前模式是通常模式，则在步骤Sll中控制单元47将模式切换为反馈模式。如果在步骤SlO中确定当前模式不是通常模式，也就是说，如果确定当前模式是反馈模式，则在步骤S12中控制单元47将模式切换为通常模式。要注意的是，从反馈模式到通常模式的切换可当姿势已被正确地识别时被自动地执行。另一方面，如果在步骤S9中姿势命令未被识别为“摆手”，也就是说，当除模式切换以外的处理被用户指示时，在步骤S13中控制单元47执行与姿势命令相对应的处理。“与姿势命令相对应的处理”指用于执行图8的控制表中描述的操作内容的处理。 例如，当回放被指示时，歌曲从作为输出单元21的扬声器被输出，但是对具体示例的描述被省略，因为已参考图8在上面描述了具体示例。在步骤S14中，确定单元43确定当前模式是否是通常模式。如果在步骤S14中确定当前模式是通常模式，则输出单元45将与姿势命令的控制结果相对应的信息输出在显示器12上达特定时间段。在图13中示出了与姿势命令相对应的显示内容的示例。图13是示出表示姿势命令和与姿势命令相对应的显示内容之间的关系的显示表的示图。要注意的是，图8的控制表和图13的显示表可一起作为单个表来管理。当“左挥”被输入为姿势命令时，输出单元45将歌曲列表向左移动一个护封图片。 在图14中示出了当“左挥”已被输入时的通常模式的显示示例。图14是示出在通常模式中当“左挥”已被输入为姿势命令时的显示示例的示图。 图14示出从图10所示的状况已两次执行“左挥”的状态，也就是说，护封图片85-4的歌曲被选择的状态。也就是说，图14的示例示出如下状况图10所示的护封图片85-1到85_7中的每一个都已向左移动了两个护封图片，并且护封图片85-4的歌曲被选择。此外，随着“左挥”被执行两次，已被显示在画面的左边的护封图片85-1和85-2不再被显示，并且护封图片85-8和85-9被新显示在画面的右边。往回参考图13，当“右挥”被输入为姿势命令时，输出单元45将歌曲列表向右移动一个护封图片。也就是说，当在图14的状况下输入“右挥”时，其中护封图片85-3到85_9中的每一个都已向右移动了一个护封图片的图像被输出。此外，护封图片85-9不再被显示，并且图10所示的护封图片85-2被显示在图14中的护封图片85-3的位置中。当“举起手”被输入为姿势命令时，输出单元45在显示器12的画面区域内显示回放或停止的图标。当“顺时针画两圈”被输入为姿势命令时，输出单元45在护封图片85上显示指示 “收藏”的图标。在图14中的护封图片85-4的右上处显示的收藏标记88-4是指示“收藏” 的图标。当“逆时针画两圈”被输入为姿势命令时，输出单元45从护封图片85去除指示“收藏”的图标的显示。也就是说，图14中的收藏标记88-4的显示被删除。当“上下移动手”被输入为姿势命令时，已被随机选择的护封图片85-21、歌手名 86-21和歌曲名87-21(它们都未被示出)被分别显示在图14中的护封图片85_4、歌手名 86-4和歌曲名87-4的位置处。此外，在护封图片85-21之前或之后的护封图片85-20和85_22到85_26(未示出)代替图14中的护封图片85-3和85-5到85_9而被显示。当对应于姿势命令的处理被如上所述地执行时，对应于姿势命令的信息被显示在 web浏览器61中。要注意的是，姿势命令以及与姿势命令相对应的显示内容不限于图13的示例。此外，作为图6的步骤S15的处理，输出单元45可输出诸如话音或效果声音之类的音频信息。例如，当姿势命令“左挥”被输入时，输出单元45回放诸如“下一首歌曲”或 “下一首”之类的操作名称或者姿势命令的名称等的话音，或者诸如风噪声或混合声音之类的效果声音，以作为音频信息。在步骤S15的处理中，输出单元45可输出与图13的显示表上的显示内容相对应的显示图像或音频信息，或者可以既输出显示图像又输出音频信息。要注意的是，在通常模式中，显示图像在特定时间段之后被删除。在这样做时，可抑制显示图像以免对由用户利用web浏览器61执行的操作造成显著的妨碍。例如，与姿势命令相对应的图标可被显示在web浏览器61的图像的显示区域的一部分上，或者显示图像可以以半透明的方式被显示在web浏览器61的图像上。如果在步骤S14中确定当前模式不是通常模式，也就是说，如果确定当前模式是反馈模式，则在步骤S16中输出单元45输出与姿势命令的控制结果相对应的信息。在步骤S16的处理中输出的信息与在步骤S15的处理中输出的相同。在步骤S11、S12、S15和S16的处理之后，处理返回至步骤Sl并且相同的处理被重复。因此，在查看前台中操作的应用的同时，用户可基于姿势来操作后台中操作的应用。此外，用户可检查基于姿势而对后台中操作的应用执行的操作的结果，而不妨碍前台中操作的应用的操作。通常模式下的其他显示示例图15是示出通常模式下的另一显示示例的示图。图15示出通过识别作为姿势的手的形状来控制后台中操作的应用的操作的示例。图15中的手的附近区域161代替图7 所示的轨迹81而被显示。也就是说，通过在图6的步骤S4中计算手的形状而不是计算手区域的重心的位置，并且通过在步骤S5中利用输出单元45输出手的附近区域161而不是输出手区域的重心的位置的轨迹81，来执行此处理。用户的手的形状可以是例如闭合的手、张开的手或者翘拇指形状(立起拇指)。可通过识别这些姿势来控制后台中操作的应用的操作。反馈模式下的其他显示示例图16和图17是示出反馈模式下的其他显示示例的示图。图16是示出反馈模式的图像以半透明的方式被叠加在通常模式的图像(图5)上并且被输出的示例的示图。在图16的示例中，为了简单，仅仅半透明镜像181被显示为反馈模式的图像。通过如上所述地显示在通常模式的图像上叠加的反馈模式的半透明图像，用户可在显示诸如web浏览器61之类的应用的同时反馈姿势的操作。图17是示出在作为通常模式的图像(图5)的一部分的区域中输出反馈模式的图像(图10)的示例的示图。在图17的示例中，在web浏览器61的显示区域的右下区域中输出反馈窗口 201。反馈窗口 201中的显示与图10所示的反馈模式的图像中的相同。要注意的是，虽然在通常模式和反馈模式中都输出了轨迹81，但是当如图17的示例中那样在作为通常模式的图像的一部分的区域中输出反馈模式的图像时，可仅在任一模式图像上显示轨迹81。在图17的示例中，仅在反馈模式的图像上显示轨迹81。要注意的是，第一应用和第二应用分别不限于web浏览器和音乐播放器。在以上实施例中，因为音乐播放器正在后台中操作，所以基于姿势命令来操作音乐播放器。然而，当web浏览器正在后台中操作时，基于姿势命令来操作web浏览器。不用说，在后台中操作的仅仅特定的应用(例如，音乐播放器)可基于姿势命令而被操作。本申请包含与2010年3月8日递交日本专利局的日本优先专利申请JP 2010-050630中所公开的主题相关的主题，该日本优先专利申请的全部内容由此通过引用而被结合。本领域的技术人员应当理解，各种修改、组合、子组合以及变更可根据设计需求和其他因素而发生，只要它们在所附权利要求或其等同物的范围内。
权利要求
1.一种信息处理装置，包括检测装置，所述检测装置用于检测由用户做出的姿势； 识别装置，所述识别装置用于识别由所述检测装置检测到的所述姿势的类型； 控制装置，所述控制装置用于控制第一应用和第二应用的操作；以及输出装置，所述输出装置用于输出所述第一应用或所述第二应用的信息， 其中，如果当所述控制装置正在前台中控制所述第一应用的操作时所述姿势被所述识别装置识别，则所述控制装置基于由所述识别装置识别的所述姿势的类型来控制在所述第一应用的后台中操作的所述第二应用的操作。
2.根据权利要求1所述的信息处理装置，还包括确定装置，所述确定装置用于确定是否存在被识别的姿势，其中，在所述第一应用的信息被输出的通常模式中，当由所述确定装置确定不存在被识别的姿势时，所述控制装置将所述通常模式切换为反馈模式，在所述反馈模式中关于所述姿势的操作信息被反馈给所述用户。
3.根据权利要求2所述的信息处理装置，还包括推断装置，所述推断装置用于当由所述确定装置确定不存在被识别的姿势时通过类推来推断所述姿势的类型，其中所述控制装置使所述输出装置输出与由所述推断装置推断出的所述姿势的类型相对应的、用于学习所述姿势的反馈信息。
4.根据权利要求3所述的信息处理装置，其中所述反馈信息是被推断的姿势的移动图像或动画。
5.根据权利要求4所述的信息处理装置，其中当所述用户已执行了与特定姿势相对应的操作时，所述控制装置控制所述通常模式与所述反馈模式之间的切换。
6.根据权利要求5所述的信息处理装置，其中，在所述反馈模式中，所述输出装置输出所述检测装置进行检测时捕捉的所述用户的镜像以及姿势的列表，作为所述操作信息。
7.根据权利要求6所述的信息处理装置，其中，在所述通常模式中，当所述第二应用的操作基于所述姿势而被控制时，所述输出装置将与基于所述姿势的控制结果相对应的信息输出特定时间段。
8.根据权利要求7所述的信息处理装置，其中所述输出装置输出音频信息作为与基于所述姿势的控制结果相对应的信息。
9.根据权利要求8所述的信息处理装置，其中，当到所述反馈模式的切换已被执行时， 所述输出装置以半透明的方式来显示叠加在所述第一应用的图像上的所述反馈模式的图像。
10.根据权利要求8所述的信息处理装置，其中，当到所述反馈模式的切换已被执行时，所述输出装置在作为所述第一应用的图像的一部分的区域中显示所述反馈模式的图像。
11.一种信息处理方法，包括以下步骤 检测由用户做出的姿势；识别在检测的步骤中检测到的所述姿势的类型； 控制第一应用和第二应用的操作；以及输出所述第一应用或所述第二应用的信息，其中，如果当在控制的步骤中所述第一应用的操作正在前台中被控制时在识别的步骤中所述姿势被识别，则控制的步骤基于在识别的步骤中识别的所述姿势的类型来控制在所述第一应用的后台中操作的所述第二应用的操作。
12.—种程序，所述程序用于使计算机执行以下步骤 检测由用户做出的姿势；识别在检测的步骤中检测到的所述姿势的类型； 控制第一应用和第二应用的操作；以及输出所述第一应用或所述第二应用的信息，其中，如果当在控制的步骤中所述第一应用的操作正在前台中被控制时在识别的步骤中所述姿势被识别，则控制的步骤基于在识别的步骤中识别的所述姿势的类型来控制在所述第一应用的后台中操作的所述第二应用的操作。
13.一种信息处理装置，包括检测单元，所述检测单元被配置为检测由用户做出的姿势； 识别单元，所述识别单元被配置为识别由所述检测单元检测到的所述姿势的类型； 控制单元，所述控制单元被配置为控制第一应用和第二应用的操作；以及输出单元，所述输出单元被配置为输出所述第一应用或所述第二应用的信息， 其中，如果当所述控制单元正在前台中控制所述第一应用的操作时所述姿势被所述识别单元识别，则所述控制单元基于由所述识别单元识别的所述姿势的类型来控制在所述第一应用的后台中操作的所述第二应用的操作。
全文摘要
本发明提供了信息处理装置和方法、以及程序。信息处理装置包括检测单元，该检测单元被配置为检测由用户做出的姿势；识别单元，该识别单元被配置为识别由检测单元检测到的姿势的类型；控制单元，该控制单元被配置为控制第一应用和第二应用的操作；以及输出单元，该输出单元被配置为输出第一应用或第二应用的信息。如果当控制单元正在前台中控制第一应用的操作时姿势被识别单元识别，则控制单元基于由识别单元识别的姿势的类型来控制在第一应用的后台中操作的第二应用的操作。
文档编号G06F3/01GK102193627SQ20111005106
公开日2011年9月21日 申请日期2011年3月1日 优先权日2010年3月8日
发明者繁田修, 野田卓郎 申请人:索尼公司