信息处理装置和信息处理方法

专利名称：信息处理装置和信息处理方法
技术领域：
本发明涉及信息处理装置和信息处理方法。
背景技术：
近年来，随着电子设备的改进功能，在电子设备的远程操作设备(下面称为遥控 器)中安排的按钮已经变得更加复杂。例如，在电视机的情况下，在许多情况下不但安排对 应于频道或语音/电源的操作的操作按钮，而且安排对应于电视接收机或与其连接的外部 设备的各种功能(如节目指南操作、记录操作、图像质量/声音质量切换、偏好设置)的操 作按钮。此外，提供简单的遥控器，其上仅安排对应于最小需要的功能的操作按钮，但是当 利用其他功能时，用户最终需要操作另一遥控器。因此，包括多种不同功能的电子设备的遥 控器具有对于用户缺乏便利性的问题。 例如，在日本专利申请公开No. 2006-014875等中公开了一种技术，其使得用户能 够不使用遥控器而给出预定处理的指令到电子设备。日本专利申请公开No. 2006-014875 其中公开了一种信息处理装置，其能够通过成像装置捕获用户的操作，并且取决于用户的 操作执行预定处理。例如，该技术已经应用在游戏设备(如EYET0Y PLAY(索尼公司的注册 商标))中。即使不使用遥控器，用户也可以通过用手势表示对应于希望的处理的操作来给 出预定处理的指令到游戏设备。

发明内容
然而，即使当日本专利申请公开No. 2006-014875中描述的技术应用到AV设备 (如电视机或个人计算机)时，也不一定改进用户的便利性。这是因为如果用户没有掌握 与设备中提供的所有功能对应的所有复杂操作，则他/她不能将希望的处理的指令给到设 备。例如，在连接到多个外部设备的电子设备(如电视机)的情况下，很难要求用户掌握对 应于所有外部设备中提供的功能的操作。换句话说，用户不能通过像在操作物理遥控器时 的直观操作来将预定处理的指令给到设备。结果，存在这样的问题，最终对于用户更方便的 是操作物理遥控器，并且不能有效利用上述技术。 因此，已经根据上面的问题作出本发明，并且希望本发明提供一种新颖和改进的 信息处理装置和信息处理方法，其能够取决于对于显示为3D图像的虚拟遥控器的用户的 直观操作内容而执行预定处理，从而改进用户的设备操作的便利性。 根据本发明的实施例，提供一种信息处理装置，包括图像发送单元，用于显示作 为虚拟遥控器的远程操作设备的3D图像；至少一个成像单元，用于取得用户的图像；3D图 像检测单元，用于基于通过所述成像单元取得的视频，检测用户的运动；指令检测单元，用 于基于通过所述3D图像检测单元的检测结果、和在通过所述图像发送单元显示的所述虚 拟遥控器上安排的预定操作按钮的位置，确定用户是否已经按压在所述虚拟遥控器上安排 的预定操作按钮；以及指令执行单元，用于基于通过所述指令检测单元的确定结果，执行对 应于所述虚拟遥控器上的用户按压的操作按钮的预定处理。
使用上述结构，所述信息处理装置可以通过所述图像发送单元显示作为虚拟遥控 器的远程操作设备的3D图像。此外，所述信息处理装置可以通过至少一个成像单元取得用 户的图像。所述信息处理装置可以基于通过所述成像单元取得的视频，通过3D图像检测单 元检测用户的运动。所述信息处理装置可以基于通过所述3D图像检测单元的检测结果、和 在通过所述图像发送单元显示的所述虚拟遥控器上安排的预定操作按钮的位置，确定用户 是否已经按压在所述虚拟遥控器上安排的预定操作按钮。此外，所述信息处理装置可以通 过指令执行单元执行对应于所述虚拟遥控器上的用户按压的操作按钮的预定处理。
所述信息处理装置还可以包括形状检测单元，用于通过基于由所述成像单元取得 的视频来检测用户身体的部分，并且比较检测到的部分与之前登记的关于用户身体的部分 的信息，指定所述成像单元的成像区域中的用户。所述图像发送单元可以显示适于由所述 形状检测单元指定的用户的之前登记的虚拟遥控器。 所述信息处理装置还可以包括如麦克风的声音收集单元，用于收集语音；以及 语音检测单元，用于通过比较由所述声音收集单元收集的语音和之前登记的关于用户的语 音的信息，指定已经生成通过所述声音收集单元收集的语音的用户。所述图像发送单元可 以显示适于由所述语音检测单元指定的用户的之前登记的虚拟遥控器。 所述图像发送单元可以基于通过所述指令检测单元的确定结果，改变所述虚拟遥
控器的形状、以及要安排在所述虚拟遥控器上的操作按钮的种类或者位置。 在安排在所述虚拟遥控器上的操作按钮中，所述图像发送单元可以仅改变和显示
在所述指令检测单元中确定为已经由用户按压的操作按钮的颜色和/或形状。 所述图像发送单元可以响应于用户的运动改变所述虚拟遥控器的显示位置，使得
将所述虚拟遥控器显示给由所述3D图像检测单元检测的用户。 当由所述3D图像检测单元检测的用户的操作匹配之前登记的预定操作时，所述 图像发送单元可以取决于用户的操作来改变所述虚拟遥控器的显示位置，其中所述之前登 记的预定操作与改变所述虚拟遥控器的显示位置的指令对应。 当由所述3D图像检测单元检测的用户的操作匹配与通电指令对应的之前登记的 预定操作时，所述指令执行单元可以使所述信息处理装置通电。 当由所述语音检测单元检测的声音匹配与通电指令对应的之前登记的预定声音 时，所述指令执行单元可以使所述信息处理装置通电。 所述信息处理装置还可包括外部设备的遥控器规范输入单元，用于获取关于与所 述信息处理装置相关联操作的外部设备的遥控器规范的信息。基于关于所述外部设备的遥 控器规范的信息，所述图像发送单元可以显示其上安排对应于所述外部设备中提供的预定 功能的操作按钮的虚拟遥控器。 当多个用户存在于所述成像单元的成像区域中时，所述图像发送单元可以将仅适 于一个用户的之前登记的虚拟遥控器显示给该用户。 当多个用户存在于所述成像单元的成像区域中时，所述图像发送单元可以将适于 各个用户的之前登记的虚拟遥控器同时显示给每个用户。 根据本发明的另一实施例，提供一种信息处理方法，包括以下步骤显示作为虚拟 遥控器的远程操作设备的3D图像；通过至少一个成像单元连续取得用户的图像；基于通过 成像步骤取得的视频，检测用户的运动；基于通过3D图像检测步骤的检测结果、和在通过图像发送步骤显示的所述虚拟遥控器上安排的预定操作按钮的位置，确定用户是否已经按 压在所述虚拟遥控器上安排的预定操作按钮；以及基于通过指令检测步骤的确定结果，执 行对应于所述虚拟遥控器上的用户按压的操作按钮的预定处理。 如上所述，根据本发明，通过取决于对于显示为3D图像的虚拟遥控器的用户的直 观操作内容而执行预定处理，可能改进用户的设备操作的便利性。


图1是示出通过根据本发明的一个实施例的电视机100的用户的使用概念的说明 图； 图2是示出根据实施例的电视机100的功能结构的一个示例的框图；
图3是示出由根据实施例的电视机100执行的处理的流程的一个示例的流程图；
图4是示出根据实施例、如何通过用户适当地改变虚拟遥控器200的显示的说明 图； 图5是示出根据本实施例、用于将虚拟遥控器200显示给多个用户中的仅仅一个 用户的概念的说明图； 图6是示出根据实施例、用于将不同的虚拟遥控器200同时显示给观看电视机IOO 的多个用户的概念的说明图；以及 图7是示出根据实施例的电视机100的硬件结构的一个示例的框图。
具体实施例方式
下文中，将参照附图详细描述本发明的优选实施例。注意，在本说明书和附图中，
具有基本相同功能和结构的结构元件用相同的参考标号表示，并且省略这些结构元件的重
复说明。将以以下顺序给出描述。
1.本发明的实施例的概述 2.根据一个实施例的电视机100的功能结构 3.通过电视机100的处理流程 4.电视机100的使用示例 5.信息处理装置的硬件结构 6.结论 (1 本发明的实施例的概述) 在详细说明根据本发明的本实施例的信息处理装置之前，将首先描述一个实施例 的概述。在以下说明中，电视接收机IOO(下面称为电视机IOO)将描述为根据本发明实施例 的信息处理装置的一个示例，但是本发明不限于此。根据本实施例的电视机100不限于特 定的信息处理装置，只要其是能够利用遥控器来做出操作指令的电子设备，如个人计算机、 监视器设备或游戏设备。 如上所述，近年来，随着各种信息处理装置(如电视机、记录/重放设备和个人计 算机)的多样化功能，在遥控器上安排的操作按钮也已经变得更加复杂。例如，在连接到多 个外部设备的电子设备(如电视机)的情况下，在许多情况下，电视机的遥控器不但提供有 对应于在电视机中提供的许多功能的操作按钮，而且提供有对应于在外部设备中提供的各
6种功能的操作按钮。在此情况下，存在这样的问题存在用户不需要的许多操作按钮，并且 设备操作的便利性差。此外，取决于使用信息处理装置的用户，需要的操作按钮是不同的， 并且不统一确定。例如，对于老人方便的遥控器不同于对于儿童方便的遥控器。此外，对于 频繁使用外部连接到电视机的重放设备的用户方便的遥控器不同于对于频繁观看特定TV 频道的用户方便的遥控器。 为了解决这样的问题，需要为每个用户提供适于各个用户的物理遥控器主体，这 实际上是困难的。 另一方面，假设在前述日本专利申请公开No. 2006-014875中描述的技术用来通 过成像设备捕获用户的操作，并且执行对应于该操作的预定处理，从而消除对物理遥控器 主体的需要。然而，用户需要掌握与设备中提供的功能对应的所有操作，这对于所有用户 不一定是方便的。例如，取决于使用设备的制造商或者类型，用户需要的操作是不同的。因 此，用户不能像在操作典型的物理遥控器主体时一样通过直观操作将预定处理的指令给到 设备。结果，存在这样的问题即使当将该技术应用于广泛使用的信息处理装置(如电视机 或个人计算机)时，也不能改进设备操作的便利性。 根据本发明的一个实施例的电视机100可以解决该问题。换句话说，取决于对于 显示为3D图像的虚拟遥控器200的用户的直观操作内容，根据本实施例的电视机100执行 预定处理，从而改进用户的设备操作的便利性。具体地，电视机100显示伪遥控器(称为虚 拟遥控器200)的3D图像，通过成像设备识别对在虚拟遥控器200上安排的操作按钮的用 户操作，并且取决于用户操作执行预定处理。 更具体地，电视机100显示其上安排对应于各种设备的操作按钮的遥控器的3D 图像，并且将其作为虚拟遥控器200呈现给用户。用于将虚拟遥控器200呈现给用户的方 法包括在日本专利申请公开No. 2002-300608中描述的、其中用户放置具有对于每片眼镜 (glass)不同的偏振特性的一副眼镜的方法；在日本专利申请公开No. 2004-77778中描述 的、不需要一副眼镜的方法等。此外，可以利用全息技术。然而，在本实施例中，3D图像显示 方法不限于特定方法，只要其可以将遥控器的3D图像呈现给用户。 电视机100还可以通过成像设备取得用户操作的图像。因此，电视机100可以识 别在虚拟遥控器200的显示位置的用户操作。因此，电视机100可以通过取得用户操作的 图像识别对虚拟遥控器200的用户操作。结果，取决于虚拟遥控器200的用户操作内容，电 视机100可以执行预定处理。换句话说，用户可以像在操作物理遥控器主体时一样通过直 观操作将预定处理的指令给到电视机100。 因为呈现给用户的虚拟遥控器200仅是伪3D图像，所以电视机100可以显示其上 仅安排适于每个用户的操作按钮的虚拟遥控器200。换句话说，电视机IOO可以将适于使用 该装置的用户的虚拟遥控器200呈现给每个用户。例如，可以为老年人或儿童显示其上仅 安排简单操作按钮的虚拟遥控器200，并且可以为使用外部连接的重放设备的用户显示其 上仅安排与重放设备中提供的功能对应的操作按钮的虚拟遥控器200。
此外，取决于对于虚拟遥控器200的用户操作内容，电视机IOO可以动态改变要呈 现给用户的虚拟遥控器200。例如，当用户在观看TV节目中按压重放设备的电源按钮时，电 视机100可以将显示从用于电视机的虚拟遥控器200动态改变为用于重放设备的虚拟遥控 器200。
7
结果，用户可以通过根据他的/她的偏好或希望的操作，在虚拟遥控器200上移动 他的/她的手指等来操作电视机100。换句话说，用户可以像在操作典型的物理遥控器时一 样通过直观操作来操作电视机100。 图1是示出通过具有上述特性的电视机100的用户的使用概念的说明图。参照图 1，可见电视机100为用户显示虚拟遥控器200。因此，用户可以像在操作实际物理遥控器时 一样，通过在虚拟遥控器200上直观地移动他的/她的手指来指令电视机100执行预定处理。 下面将详细描述具有上述特性的电视机100。
(2.根据一个实施例的电视机100的功能结构) 接下来，将描述根据本发明的一个实施例的电视机100的功能结构。图2是示出 根据本实施例的电视机100的功能结构的一个示例的框图。 如图2所示，电视机100主要包括第一成像单元102、第二成像单元104、形状检测 单元106、3D图像检测单元108、指令检测单元110、虚拟遥控器设计单元112、指令执行单 元114和图像发送单元116。电视机100还包括作为用于语音识别的功能的声音收集单元 118和语音检测单元120。此外，电视机100还包括作为获取外部设备124的遥控器规范的 功能的外部设备的遥控器规范输入单元122。 配置电视机100的各个功能单元由中央处理单元(CPU)控制来执行各种功能。此 外，在图2中示出的电视机100的功能结构是用于说明本实施例的一个示例，并且本发明不 限于此。换句话说，除了图2中示出的功能结构外，电视机100还可以包括各种功能，如广 播接收功能、通信功能、语音输出功能、外部输入/输出功能和记录功能。在以下的说明中， 将围绕作为本实施例的特性的虚拟遥控器200的处理详细描述图2中示出的各个功能结构 单元。(第一成像单元102，第二成像单元104) 如上所述，根据本实施例的电视机100通过成像设备取得用户操作的图像，以便 执行取决于用户操作内容的处理。第一成像单元102和第二成像单元104是在电视机100 中提供的成像设备。 第一成像单元102和第二成像单元104(其也可以简称为成像单元105)由光学系 统(如用于在成像面上对来自被摄体的光成像的透镜)、成像设备(如具有成像面的电荷耦 合器件(CCD))等制成。成像单元105将通过透镜捕获的被摄体图像转换为电信号，并且输 出该信号。在成像单元105中提供的成像设备不限于CCD，并且例如可以是互补金属氧化物 半导体(CMOS)等。此外，由成像单元105取得的视频信号通过AD转换器(未示出)转换 为数字信号，然后传送到形状检测单元106或3D图像检测单元108。 根据本实施例的电视机100包括两个成像设备，但是本发明不限于该结构。如上 所述，电视机100检测已经由成像单元105取得的对虚拟遥控器200的用户操作，并且执行 对应于该操作的处理。因此，在本实施例中，提供两个成像设备，用于更精确地识别在虚拟 遥控器200上的用户的小运动。因此，取决于要求的质量或规范，电视机100可以包括一个 或三个或更多成像设备。
(形状检测单元106) 形状检测单元106例如检测作为包含在由成像单元105取得的视频区域中的用户身体的部分的面部。如上所述，根据本实施例的电视机100的特征在于呈现适于用户的最 佳虚拟遥控器200。因此，电视机IOO识别包含在由成像单元105取得的视频中的用户的面 部，并且呈现适于识别的用户的虚拟遥控器200。 例如，形状检测单元106可以检测包含在由成像单元105取得的视频中的面 部区域，并且确定该面部区域是否匹配之前登记的用户的面部。面部检测方法例如可 以采用支持向量机(support vector machine)、提升(boosting)、神经网络、特征面部 (Eigen-Faces)等，但是不限于特定方法。此外，形状检测单元106可以通过利用肤色检测、 红外传感器等改进检测包含在取得的图像中的用户的面部的精度。 通过形状检测单元106的用户的面部检测的结果传送到随后描述的虚拟遥控器 设计单元112。响应于此，虚拟遥控器设计单元112可以经由图像发送单元116，将适于由 形状检测单元106指定的用户的虚拟遥控器200呈现给该用户。 [OOSO] (3D图像检测单元108) 3D图像检测单元108基于由成像单元105取得的视频检测对虚拟遥控器200的 用户操作。如上所述，根据本实施例的电视机100的特征在于响应于对显示为3D图像的 虚拟遥控器200的用户的直观操作，对虚拟遥控器200执行对应于用户的操作内容的处理。 因此，电视机100基于由成像单元105取得的视频，检测对虚拟遥控器200的用户操作，以 便取决于检测结果改变虚拟遥控器200的显示，或者执行在电视机100中提供的各种功能 (如频道改变)。 例如，3D图像检测单元108可以基于所谓的帧差分(frame differential)方法来 检测用户的手部运动，所述帧差分方法用于提取由成像单元105取得的预定帧和该帧的前 一帧之间的视频差别。如上所述，电视机100包括两个成像设备。因此，3D图像检测单元 108可以在两个光学系统(透镜)中的两个传感器上成像对象，并且计算到对象的距离，对 象已经通过该距离的位置在传感器上成像。 尽管3D图像检测单元108可以包括更复杂的检测功能来更精确地识别用户的运 动，但是本发明不旨在改进用户的运动检测精度，因此将省略其细节。换句话说，通过3D 图像检测单元108的用户的运动检测方法不限于特定检测方法，只要其可以通过成像单元 105检测成像区域中用户的运动。 通过3D图像检测单元108的用户的运动检测的结果传送到随后描述的指令检测 单元110。(指令检测单元110) 指令检测单元110基于从3D图像检测单元108传送的用户的运动检测结果，识别 对虚拟遥控器200的用户的操作内容，并且将识别结果传送到指令执行单元114或虚拟遥 控器设计单元112。 例如，指令检测单元110可以基于用户的运动和呈现给用户的虚拟遥控器200的 位置关系，识别对虚拟遥控器200的用户的操作内容。例如，当识别用户已经按压在虚拟遥 控器200上安排的预定频道按钮时，指令检测单元110指令指令执行单元114切换到该频 道。响应于此，指令执行单元114可以将频道切换指令传输到电视机100中提供的每个功 能结构单元。 当取决于对虚拟遥控器200的用户的操作内容确定需要改变要呈现给用户的虚拟遥控器200时，指令检测单元110指令虚拟遥控器设计单元112切换虚拟遥控器200的 显示。响应于此，虚拟遥控器设计单元112可以改变虚拟遥控器200的用户按压的按钮的 颜色或形状，或者将显示改变为具有最适于电视机100的用户希望的功能的形状的虚拟遥 控器200。(虚拟遥控器设计单元112) 虚拟遥控器设计单元112确定要呈现给用户的虚拟遥控器200的种类、或者在虚 拟遥控器200上安排的操作按钮的种类或位置，并且指令图像发送单元116显示虚拟遥控 器200。如上所述，根据本实施例的电视机100可以呈现适于使用电视机100的用户的虚拟 遥控器200，或者取决于对虚拟遥控器200的用户操作适当地改变要呈现给用户的虚拟遥 控器200。因此，响应于通过指令检测单元110的指令，电视机100三维地显示适于由形状 检测单元106指定的用户的虚拟遥控器200，或者适当地更新虚拟遥控器200的显示。
例如，用户可以预先在电视机100中登记适于他/她自己的最佳遥控器。例如，老 人或儿童可以预先在电视机100中登记其中仅安排用于频道改变或音量调节的简单操作 按钮的遥控器形状。频繁观看特定频道的用户可以预先在电视机100中登记仅安排对应于 他的/她的偏好频道的操作按钮的遥控器形状。根据从形状检测单元106传送的检测结果， 虚拟遥控器设计单元112可以以由形状检测单元106指定的用户预先登记的遥控器形状生 成虚拟遥控器200，并且经由图像发送单元116将该虚拟遥控器200呈现给用户。
用户可以像在操作典型的物理遥控器主体时一样，通过在由电视机100呈现的虚 拟遥控器200上直观地移动他的/她的手指，将预定处理的指令给到电视机100。例如，用 户可以通过按压在虚拟遥控器200上安排的频道按钮，指令电视机100改变频道。然而，在 本实施例中，因为虚拟遥控器200仅是非实体的伪3D图像，所以可能出现用户难以确定虚 拟遥控器200的操作内容是否已经成功传送到电视机100的问题。 根据本实施例的电视机100可以消除上面的问题。如上所述，在通过3D图像检测 单元108检测到对虚拟遥控器200的用户操作后，通过指令检测单元110将用于对应于用 户的操作内容的处理的指令传送到虚拟遥控器设计单元112。虚拟遥控器设计单元112根 据从指令检测单元110传送的指令内容，改变呈现给用户的虚拟遥控器200的显示。例如， 虚拟遥控器设计单元112可以生成其中改变用户操作的按钮的颜色或形状的遥控器图像， 并且改变呈现给用户的虚拟遥控器200的显示。因此，用户可以识别对虚拟遥控器200的 他的/她的操作内容已经精确地传送到电视机100。 用户可以通过按压在虚拟遥控器200上安排的预定模式按钮，指令电视机100改 变为对应于预定模式的虚拟遥控器200。在此情况下，虚拟遥控器设计单元112可以根据从 指令检测单元110传送的指令内容，将呈现给用户的虚拟遥控器200的显示改变为以对应 于用户选择的模式的遥控器形状的虚拟遥控器200。换句话说，电视机IOO可以响应于对虚 拟遥控器200的用户操作，以最佳地适于用户当前使用电视机100的功能的遥控器形状将 虚拟遥控器200呈现给用户。
(指令执行单元114) 指令执行单元114响应于来自指令检测单元110的指令，指令各个功能结构单元 执行在电视机100中提供的各种功能。如上所述，根据本实施例的电视机100的特征在于 响应于对显示为3D图像的虚拟遥控器200的用户的直观操作，执行取决于对虚拟遥控器
10200的用户的操作内容的处理。此外，在通过上述成像单元105、3D图像检测单元108和指 令检测单元110确定对虚拟遥控器200的用户的操作内容之后，将执行预定处理的指令从 指令检测单元110传送到指令执行单元114。 响应于此，指令执行单元114可以指令电视机100的各个功能结构单元执行取决 于对虚拟遥控器200的用户的操作内容的各种处理。例如，指令执行单元114可以根据对 虚拟遥控器200的用户的操作内容，指令各个功能结构单元执行各种处理，如频道改变、音 量调节、断电、模式切换、数据重放、记录预约、节目指南获取和页面转发。当随着处理的执 行改变显示时，指令执行单元114可以指令图像发送单元116切换显示。
(图像发送单元116) 图像发送单元116三维地显示用户观看的节目、重放数据、虚拟遥控器200等。换 句话说，图像发送单元116以由虚拟遥控器设计单元112生成的遥控器形状，将三维虚拟遥 控器200的图像显示给由成像单元105取得的用户。此外，例如图像发送单元116可以将 节目、通过外部连接的重放设备的重放视频等三维地显示给用户，并且由图像发送单元116 显示的视频的种类不限于特定视频。 此外，如上所述，用于将3D视频呈现给用户的方法包括用户放置具有对于每个 眼镜不同的偏振特性的一副眼镜的方法；或者通过利用视差屏障(disparity barrier)、双 凸透镜、全息系统等而不需要一副眼镜的方法。然而，在本实施例中，3D图像显示方法不限 于特定方法，只要其可以将遥控器的3D图像呈现给用户。
(声音收集单元118) 声音收集单元118包括麦克风，用于收集电视机100周围的语音，将语音转换为电 信号并且输出该电信号等。如上所述，根据本实施例的电视机ioo可以取决于通过形状检 测单元106的面部检测结果，显示适于用户的虚拟遥控器200。然而，例如当用户已经在电 视机100中登记他的/她的语音等时，电视机100可以从由声音收集单元118收集的语音 指定用户，并且显示适于指定的用户的虚拟遥控器200。将通过麦克风收集的语音数据转换 为数字信号，然后传送到语音检测单元120。
(语音检测单元120) 语音检测单元120比较从声音收集单元118传送的语音数据与之前在电视机100 中登记的用户的语音数据，以便指定使用电视机100的用户。例如，语音检测单元120在预 定的时间间隔对从声音收集单元118传送的语音数据执行频率分析等，以便提取频谱或其 它声学特性量(参数)。语音检测单元120基于提取的参数和之前登记的用户的语音模式， 识别由声音收集单元118收集的语音。将通过语音检测单元120的语音识别结果传送到虚 拟遥控器设计单元112。响应于此，虚拟遥控器设计单元112可以显示适于由语音检测单元 120指定的用户的虚拟遥控器200。 当电视机100处于断电时，不将虚拟遥控器200呈现给用户。因此，用户不能操作 虚拟遥控器200，使得他/她不能利用虚拟遥控器200来使电视机100通电。在此情况下， 尽管用户可以例如通过按压在电视机100主体中提供的主电源按钮130来使电视机100通 电，但是他/她需要复杂操作。 在此情况下，当检测到对应于对于电视机100的通电指令的预定语音时，语音检 测单元120可以指令指令执行单元114使电视机100通电。结果，用户例如通过"啪啪"拍。取决于由语音检测单元120检 测的语音而执行的处理不限于对电视机100的通电处理。换句话说，电视机100可以取决 于通过语音检测单元120检测的语音执行电视机100中提供的各种处理。
通过语音检测单元120的语音识别不限于特定识别方法，并且可以采用能够比较 和识别传送到语音检测单元120的语音数据与之前登记的用户的语音数据的各种系统。
(外部设备的遥控器规范输入单元122) 外部设备的遥控器规范输入单元122获取关于外部连接到电视机100的外部设备 124的遥控器规范的信息，并且将该信息传送到虚拟遥控器设计单元112。如上所述，电视 机100可以将其上安排与电视机100中提供的各种功能对应的操作按钮的虚拟遥控器200 呈现给用户。然而，近年来，在许多情况下，电视机与相互关联操作的多个外部设备(如记 录/重放设备、卫星广播接收调谐器和扬声器系统)连接。存在这样的问题因为为电视机 和与其连接的外部设备准备各个遥控器，所以用户必须取决于要使用的设备选择合适的遥 控器，这是复杂的。用于电视机的一些遥控器可以在其上一起安排对应于记录/重放设备 的功能的操作按钮，但是存在在一个遥控器上安排许多操作按钮的问题，这对于用户是不 便的。 根据本实施例的电视机100可以解决该问题。换句话说，根据本实施例的电视机 100将作为3D图像的虚拟遥控器200呈现给用户，从而自由改变虚拟遥控器200的形状、按 钮的安排等。换句话说，当用户希望操作记录/重放设备时，电视机100可以显示对应于记 录/重放设备的虚拟遥控器200，而当用户希望操作扬声器系统时，电视机100可以显示对 应于扬声器系统的虚拟遥控器200。 外部设备的遥控器规范输入单元122从与电视机100相关联的、连接到电视机100 的外部设备124获取关于可执行功能的信息，并且将该信息传送到虚拟遥控器设计单元 112。响应于此，虚拟遥控器设计单元112可以将其上安排对应于与电视机100相关联的外 部设备124的可执行功能的操作按钮的虚拟遥控器200呈现给用户。因此，电视机100可 以取决于对与外部设备124对应的虚拟遥控器200的用户的操作内容，执行与电视机100 相关联的外部设备124中提供的预定功能。换句话说，用户可以像在操作典型的遥控器时 一样，仅通过直观地移动他的/她的手指来操作电视机100和外部设备124，而不使用多个 物理遥控器。 例如，外部设备的遥控器规范输入单元122可以从外部设备124获取关于遥控器 的信息，下载遥控器规范，或者通过更新软件来更新遥控器规范。因此，即使当新的外部设 备124连接到电视机100时，外部设备的遥控器规范输入单元122也仅获取外部设备124 的遥控器规范，使得电视机100可以将对应于该外部设备124的虚拟遥控器200呈现给用 户。 上面已经详细描述了根据本实施例的电视机100的功能结构。
(3.通过电视机100的处理流程) 接下来，将参照图3的流程图描述由上面配置的电视机IOO执行的处理的流程。图 3是示出由电视机IOO执行的处理的流程的一个示例的流程图。图3中示出的处理流程是 在电视机100的主电源连接到电插座之后连续执行的处理的流程。 如图3所示，在主电源连接到电插座之后，电视机100在步骤300确定用户是否已经做出通电指令。如上所述，当电视机100的电源没有通电时，不显示虚拟遥控器200。因 此，用户不能通过使用虚拟遥控器200来指令电视机100通电。因此，电视机100可以使用 预设的预定条件作为触发确定来自用户的通电指令。 例如，当用户已经简单地按压在电视机100中提供的物理主电源按钮130时，电视 机100可以确定已经由用户做出通电指令。然而，因为该操作对于用户是复杂的，所以电视 机100可以使用其它方法确定来自用户的通电指令。 例如，电视机100可以通过由前述语音检测单元120的语音检测确定来自用户的 通电指令。例如，电视机100可以预先将拍用户手的声音"啪啪"或用户说"通电"的语音 登记为用于通电指令的语音。在此情况下，当确定经由声音收集单元118收集的语音是"啪 啪"或"通电"的语音时，语音检测单元120确定已经从用户做出通电指令，并且指令指令执 行单元114使电视机100通电。 此外，例如，电视机IOO可以通过由前述形状检测单元106的形状检测确定来自用 户的通电指令。电视机100可以预先将用户的面部或预定操作(如挥手)登记为用于通电 指令的视频。在此情况下，当从由成像单元105取得的视频检测到登记的用户的面部或预 定操作时，形状检测单元106确定已经从用户做出通电指令，并且指令指令执行单元114使 电视机100通电。 因此，电视机100处于通电等待状态，直到在步骤300确定已经做出通电指令。另
一方面，当在步骤300确定已经做出通电指令时，在步骤302，电视机100通电。接下来，在步骤304，电视机100生成要呈现给用户的虚拟遥控器200的图像。由
上述虚拟遥控器设计单元112执行用于虚拟遥控器200的图像生成处理。 例如，虚拟遥控器设计单元112可以生成适于已经做出通电指令的用户的虚拟遥
控器200的图像。在上述步骤300中，当可以通过由语音检测单元120的语音检测或由形状
检测单元106的检测结果指定用户时，虚拟遥控器设计单元112可以生成适于指定的用户
的虚拟遥控器200的图像。电视机100可以预先登记适于每个用户的遥控器形状或种类，
并且在通电时显示该遥控器形状或种类，或者可以在通电时显示最后用作适于用户的虚拟
遥控器200的虚拟遥控器200的形状或种类。 接下来，在步骤306，电视机100经由图像发送单元116三维地显示由虚拟遥控器 设计单元112生成的虚拟遥控器200的图像，并且将该图像呈现给用户。此时，图像发送单 元116可以将虚拟遥控器200显示给基于由成像单元105取得的视频而检测的用户。在将 虚拟遥控器200显示给用户之后，连续执行随后描述的步骤308到322中的处理。
在步骤308，电视机100分析由成像单元105取得的视频。具体地，3D图像检测单 元108基于由成像单元105取得的视频来检测用户的操作，并且将检测结果传送到指令检 测单元110。 响应于此，在步骤310，指令检测单元110确定用户的操作是否是按压在虚拟遥控 器200上安排的预定操作按钮。指令检测单元110基于由3D图像检测单元108检测的用 户的运动、或由图像发送单元116显示的虚拟遥控器200的位置，确定用户是否已经按压在 虚拟遥控器200上安排的预定操作按钮。 电视机100连续分析取得的图像，直到在步骤310确定用户已经按压在虚拟遥控 器200上安排的预定操作按钮。换句话说，虚拟遥控器200处于操作等待状态。
当在步骤310确定用户已经按压在虚拟遥控器200上安排的预定操作按钮时，在 步骤312，指令检测单元110识别用户的操作内容。如上所述，指令检测单元110可以基于 由3D图像检测单元108检测的用户的运动、在显示的虚拟遥控器200上安排的操作按钮的 位置等，识别用户已经按压哪个操作按钮。 接下来，在步骤314，指令检测单元110确定在步骤312识别的用户的操作内容是 否是电源切断指令。用户当然可以通过操作虚拟遥控器200来切断电视机100的电源。因 此，当确定对虚拟遥控器200的用户的操作内容是电源切断指令时，指令检测单元IIO指令 指令执行单元114使电视机100断电。 响应于此，在步骤328，指令执行单元114切断电视机100的电源。此后，虚拟遥控 器200处于通电等待状态，直到在上述步骤300中确定已经做出通电指令。
另一方面，当在步骤314确定用户的操作内容不是电源切断指令时，在步骤316， 指令检测单元110确定在步骤312识别的用户的操作内容是否是擦除虚拟遥控器200的指 令。用户当然可以通过操作虚拟遥控器200来擦除虚拟遥控器200的显示。例如，当选择 预定频道或观看TV节目时，用户可以擦除虚拟遥控器200的显示。因此，当确定对于虚拟 遥控器200的用户的操作内容是指令擦除虚拟遥控器200的显示的操作时，指令检测单元 110指令指令执行单元114擦除虚拟遥控器200的显示。 响应于此，在步骤324，指令执行单元114经由图像发送单元116擦除虚拟遥控器 200的显示。此时，电视机100可以在擦除时存储虚拟遥控器200的形状或按钮安排。因 此，当下一次相同用户指令显示虚拟遥控器200时，电视机100可以显示在之前虚拟遥控器 200的显示的擦除的之前时间的虚拟遥控器。 另一方面，当在步骤316确定用户的操作内容不是擦除虚拟遥控器200的指令时， 指令检测单元110将关于在步骤312中的识别结果的信息传送到指令执行单元114和虚拟 遥控器设计单元112。 响应于此，在步骤318，指令执行单元114基于从指令检测单元110传送的识别结 果，指令各个功能结构单元执行在电视机100和外部设备124中提供的预定处理。例如，当 指令检测单元110识别用户已经按压频道改变操作按钮时，指令执行单元114指令图像发 送单元116显示用户选择的频道的节目。此外，指令执行单元114可以基于对虚拟遥控器 200的用户的操作内容，指令各个功能结构单元执行用于在电视机IOO和外部设备124中提 供的各种功能的处理。结果，用户可以通过按压在显示的虚拟遥控器200上安排的操作按 钮，将预定处理的指令给到电视机100或外部设备124。 此外，在步骤320，虚拟遥控器设计单元112基于从指令检测单元110传送的识别 结果，生成要呈现给用户的新的虚拟遥控器200的图像。例如，当指令检测单元110识别用 户已经按压频道改变操作按钮时，虚拟遥控器设计单元112生成对其改变了用户按压的操 作按钮的颜色或形状的虚拟遥控器200的图像，并且经由图像发送单元116显示虚拟遥控 器200的图像。因此，用户可以视觉地识别他的/她的操作内容已经精确地传送到电视机 100。 当指令检测单元110识别用户已经按压用于外部设备124的操作模式切换的操作 按钮时，虚拟遥控器设计单元112经由图像发送单元116，显示其上安排外部设备124的操 作按钮的虚拟遥控器200。因此，用户通过直观地按压在虚拟遥控器200上安排的操作按
14钮，不但可以操作电视机100，而且可以操作外部设备124。 此后，在步骤322，电视机100确定是否对于预设的处理时间还没有检测到对虚拟 遥控器200的用户操作。例如，当用户没有操作虚拟遥控器200某一时间段时，电视机100 可以自动擦除虚拟遥控器200。因此，当在步骤322确定用户没有操作虚拟遥控器200预定 时间段时，在步骤324，电视机100经由图像发送单元116擦除虚拟遥控器200的显示。
另一方面，当在步骤322确定用户没有操作虚拟遥控器200的时间段还没有经过 预设的预定时间段时，继续显示虚拟遥控器200，并且重复上述在步骤308到320中的处理。
用户可以任意地设置或改变自动擦除虚拟遥控器200的处理的存在或不存在、直 到擦除虚拟遥控器200的时间等。因此，在步骤322中的处理是任意处理和不是必定需要 的，并且要确定的时间段不限于特定时间段。 当在步骤324擦除虚拟遥控器200时，在步骤326，电视机100确定用户是否已经 指令显示虚拟遥控器200。如上所述，当不使用虚拟遥控器200时(如当观看TV节目时) 用户可以擦除虚拟遥控器200的显示。因此，当希望再次使用虚拟遥控器200并且指令电 视机100执行预定处理时，用户需要指令电视机100再次显示虚拟遥控器200。在此情况 下，电视机100可以像关于在上述步骤300中的通电指令的确定一样，使用预设的预定条件 作为触发来确定显示虚拟遥控器200的用户指令。 例如，电视机IOO可以基于通过语音检测单元120的语音检测，确定用于显示虚拟 遥控器200的用户指令，或者基于通过形状检测单元106的形状检测，确定用于显示虚拟遥 控器200的用户指令。 当在步骤326确定已经做出用于显示虚拟遥控器200的指令时，在步骤304到306 再次将虚拟遥控器200呈现给用户。此时，电视机100可以显示适于由语音检测或形状检 测所指定的用户的虚拟遥控器200。 上面已经详细描述在电视机100的主电源连接到电插座之后连续执行的处理的 流程。通过连续执行上面的处理，电视机100可以适当地更新虚拟遥控器200的显示，或者 连续响应于在电视机100的通电状态下的用户的操作指令，执行取决于用户的操作内容的 预定处理。 (4.电视机100的使用示例) 如上所述，电视机100通过显示虚拟遥控器200可以执行取决于用户的直观操作 的预定处理，而不使用物理遥控器。因此，电视机100还可以通过设计虚拟遥控器200的种 类或显示位置进一步改进用户的可操作性的便利性。下面将描述能够通过利用根据本实施 例的电视机100的特性进一步改进用户的设备操作的便利性的使用示例。
如上所述，电视机100可以改变要适当地显示的虚拟遥控器200的种类或者要安 排的操作按钮的种类，以便显示作为3D图像的虚拟遥控器200。因此，用户可以通过按压在 虚拟遥控器200上显示的模式切换按钮，容易地改变虚拟遥控器200的形状或按钮安排。
图4是示出如何通过用户适当地改变虚拟遥控器200的显示的说明图。例如，在 图4的示例中，显示了虚拟遥控器200，其上安排对应于如在图4的图b中所示的典型电视 机100中提供的功能的操作按钮。例如，当用户按压安排在虚拟遥控器200的左下的到"简 单模式"的切换按钮时，电视机100通过上面的处理，将显示切换到对应于在图4的图a中 示出的"简单模式"的虚拟遥控器200。例如，当用户按压安排在虚拟遥控器200的右下的到"重放模式"的切换按钮时，电视机100通过上面的处理，将显示切换到对应于如图4的 图c中所示的外部设备124的重放功能的虚拟遥控器200。 以此方式，用户可以取决于希望的操作内容适当地切换虚拟遥控器200的显示。 因此，因为用户不需要像之前一样具有多个物理遥控器，所以根据本实施例的电视机100 可以改进用户的设备操作的便利性。 取决于与电视机100关联操作的外部设备124的规范，对应于在图4的图c中示 出的重放模式的、在虚拟遥控器200上显示的操作按钮是不同的。在过去，存在这样的问 题当新的外部设备连接到电视机时，需要不同于电视机的物理遥控器的新的物理遥控器， 这对于用户是复杂的。相反，在根据本实施例的电视机100的情况下，如果获取关于外部设 备124的遥控器规范的信息，则也可以容易地显示对应于新连接的外部设备124的虚拟遥 控器200。即使当多个外部设备124连接到电视机100时，如果获取关于所有连接的外部设 备124的遥控器规范的信息，则也可以显示对应于所有外部设备124的虚拟遥控器200。
因此，即使当多个外部设备124连接到电视机100时，用户也不需要使用多个物理 遥控器。换句话说，用户指令电视机100显示对应于操作希望的设备的虚拟遥控器200，并 且按压显示的虚拟遥控器200，从而也指令外部设备124执行预定处理。
通过利用可以适当地改变虚拟遥控器200的显示的特性，电视机100可以通过显 示适于使用的用户的虚拟遥控器200，进一步改进用户的设备操作的便利性。
用户可以自由定制适于他/她自己的虚拟遥控器200的形状或要安排的操作按 钮，并且预先将它们登记在电视机100中。电视机100可以基于如上所述的语音检测或形 状检测，从由成像单元105取得的视频指定使用电视机100的用户。因此，当指定的用户已 经登记虚拟遥控器200时，电视机100仅显示登记的虚拟遥控器200。 因此，用户可以使用用户友好的唯一虚拟遥控器200。在过去，准备其上安排复杂 操作按钮的物理遥控器、和其上安排简单操作按钮的物理遥控器，并且对每个用户使用多 个遥控器，例如，前者由熟悉设备的用户使用，而后者由老人或儿童使用。对于传统的物理 遥控器，可以为了用户的偏好设置偏好的频道等。然而，存在这样的问题当一个遥控器由 一个家庭的多个成员使用时，在遥控器中设置其他家庭成员的偏好频道，这对于用户是不 便的。 相反，根据本实施例的电视机IOO可以显示对于使用电视机100的每个用户不同 的虚拟遥控器200。换句话说，即使当由多个用户使用一个电视机IOO时，也可以为使用电 视机100的每个用户显示最佳虚拟遥控器200。结果，因为不像以前一样，多个用户不需要 使用相同的物理遥控器，所以根据本实施例的电视机100可以进一步改进用户的设备操作 的便利性。 当多个用户同时使用电视机100时，电视机100可以仅将虚拟遥控器200呈现给 特定用户。例如，当从由成像单元105取得的视频检测到多个用户时，电视机100选择仅仅 一个用户，并且将虚拟遥控器200仅呈现给该用户。 图5是示出用于将虚拟遥控器200显示给多个用户中的仅仅一个用户的概念的说 明图。参照图5，可见尽管在成像单元105的成像区域中存在三个用户，但是虚拟遥控器200 仅显示给坐在中间的用户。因此，只有坐在中间的用户按压虚拟遥控器200，从而指令电视 机100执行预定处理。此外，不将虚拟遥控器200显示给其他用户或坐在电视机100的前面但是不观看电视机100的用户。换句话说，电视机100可以将虚拟遥控器200仅显示给
希望使用虚拟遥控器200的用户，从而进一步改进用户的设备操作的便利性。 用于选择为其显示虚拟遥控器200的用户的方法不限于特定方法，并且电视机
100可以从各种观点选择为其显示虚拟遥控器200的用户。电视机100可以将出现在取得
的图像的中间的用户、执行特定操作的用户、或者与之前登记的用户一致的用户选择为对
其显示虚拟遥控器200的用户。 当多个用户同时使用电视机100时，电视机IOO可以同时呈现对于每个用户不同 的虚拟遥控器200。如上所述，电视机100可以基于通过形状检测单元106或语音检测单元 120的检测结果和之前登记的用户信息，指定使用电视机100的用户。此夕卜，电视机100可 以登记为每个用户定制的虚拟遥控器200，或者存储用户最后使用的虚拟遥控器200的形 状等。因此，电视机100可以对成像单元105的成像区域中指定的各个多个用户显示最佳 虚拟遥控器200。 图6是示出用于显示对于同时观看电视机100的各个多个用户不同的虚拟遥控器 200的概念的说明图。参照图6，可见尽管在成像单元105的成像区域中存在两个用户，但 是为每个用户显示虚拟遥控器200。虚拟遥控器200可以是由每个用户之前在电视机100 中登记的定制的虚拟遥控器200或每个用户最后使用的虚拟遥控器200。
以此方式，电视机100可以同时为各个多个用户显示不同的虚拟遥控器200。因 此，同样当一些家庭成员观看电视机100时，电视机IOO可以同时将适于每个用户的虚拟遥 控器200呈现给各个用户。结果，与之前不同，多个用户不需要在一个物理遥控器200中设 置他们偏好的频道，并且每个用户可以使用具有对于他/她自己最可操作的形状或按钮安 排的虚拟遥控器200。换句话说，根据本实施例的电视机IOO可以同时呈现对各个用户最佳 的虚拟遥控器200，而不用物理遥控器，从而进一步改进用户的设备操作的便利性。
如上所述，由电视机100呈现给用户的虚拟遥控器200不是物理遥控器而是伪3D 图像。因此，电视机100可以自由改变虚拟遥控器200的显示位置。例如，在传统的物理遥 控器的情况下，用户在移动的同时不在他的/她的手中携带遥控器的情况下，在他的/她的 当前位置不能指令电视机执行预定处理。相反，根据本实施例的电视机100可以取决于用 户的位置或操作，适当地改变显示虚拟遥控器200的位置。 例如，随着在成像单元105的成像区域内移动的用户的手的位置，电视机100可以 适当地改变虚拟遥控器200的显示位置。因此，即使当用户改变观看电视机100的位置时， 也总是将虚拟遥控器200显示给用户。此外，例如，电视机100可以响应于用户的操作改变 显示虚拟遥控器200的位置。例如，当用户从右到左移动他的/她的手时，电视机100可以 从右到左移动虚拟遥控器200的显示。例如，当用户执行将虚拟遥控器200抓在他的/她 的手中的操作时，电视机100可以响应于用户的手的随后运动改变虚拟遥控器200的显示 位置。在虚拟遥控器200上安排用于改变虚拟遥控器200的显示位置的操作按钮，使得当 用户按压该操作按钮时，电视机100可以取决于操作内容改变虚拟遥控器200的显示位置。
以此方式，电视机100可以适当地改变作为伪3D图像的虚拟遥控器200的显示位 置，从而进一步改进用户的设备操作的便利性。
(5.信息处理装置的硬件结构) 接下来，将参照图7详细描述根据本实施例的信息处理装置的硬件结构。图7是
17用于说明根据本实施例的信息处理装置的硬件结构的框图。 根据本实施例的信息处理装置主要包括CPU 901、 ROM 903、 RAM 905、桥909、接口 913、输入设备915、输出设备917、存储设备919、驱动器921、连接端口 923和通信设备925。
CPU 901用作计算处理设备和控制设备，并且根据在ROM 903、 RAM905、存储设备 919或可移除记录介质927中记录的各种程序，控制信息处理装置内的全部或部分操作。 ROM 903在其中存储由CPU 901使用的程序、计算参数等。RAM 905在其中临时存储在CPU 901的执行中使用的程序、在它们的执行中适当地改变的参数等。这些经由用内部总线(如 CPU总线)配置的主机总线907相互连接。 输入设备915是由用户操作的操作部件，如鼠标、键盘、触摸板、按钮、开关或操纵 杆。此外，输入设备915用输入控制电路配置，所述输入控制电路用于基于由用户通过上面 的操作部件输入的信息生成输入信号，并且将该信号输出到CPU 901。 输出设备917包括能够三维地显示前述虚拟遥控器200等的显示设备，如CRT显 示器、液晶显示器、等离子体显示器或EL显示器。此外，输出设备917用能够听觉地将获取 的信息通知给用户的设备配置，所述输出设备917包括如扬声器的语音输出设备。
存储设备919是配置为根据本实施例的信息处理装置的存储单元的一个示例的 数据存储设备。存储设备919用磁存储设备(如硬盘驱动器(HDD))、半导体存储设备、光学 存储设备、磁光存储设备等配置。
驱动器921是用于记录介质的读取器/写入器，并且并入或外部附接到根据本实 施例的信息处理装置。驱动器921读出记录在可移除记录介质927(如安放的磁盘、光盘、 磁光盘或半导体存储器)中的信息，并且将该信息输出到RAM 905。此外，驱动器921可以 在安放的可移除记录介质927中写入数据等。连接端口 923旨在用于直接连接到外部设备124，所述连接端口 923比如USB端 口、光学音频端子、IEEE1394端口、SCSI端口或HDMI端口。外部设备124连接到连接端口 923，使得上述电视机100可以从外部设备124获取关于遥控器规范的信息。
通信设备925例如是用用于连接到通信网络931的通信设备等配置的通信接口 。 通信设备925例如是有线或无线LAN、蓝牙、用于光通信的路由器、用于ADSL的路由器、用于 各种通信的调制解调器等。连接到通信设备925的通信网络931用以有线或无线方式连接 的网络等配置，并且例如可以是因特网、家庭LAN、红外通信、无线电波通信、卫星通信等。
上面已经示出能够实现根据本发明的一个实施例的信息处理装置的功能的硬件 结构的一个示例。上述每个组件可以用通用元件配置，或可以以专用于每个组件的功能的 硬件配置。因此，取决于执行本实施例时的技术水平，可以适当地改变要使用的硬件结构。
(6.结论) 上面已经通过电视机100的示例描述了根据本发明的一个实施例的信息处理装 置。如上所述，根据本实施例的信息处理装置可以将遥控器的伪3D图像作为虚拟遥控器呈 现给用户，在所述遥控器的伪3D图像上安排了与信息处理装置中提供的各种功能对应的 操作按钮。因此，用户不需要使用物理遥控器。根据本实施例的信息处理装置可以通过成 像设备检测对虚拟遥控器的用户操作。因此，用户可以像在操作物理遥控器时一样，通过直 观地按压在虚拟遥控器上安排的操作按钮来指令信息处理装置执行预定处理。此外，根据 本实施例的信息处理装置可以适当地改变要显示的虚拟遥控器的种类或位置。换句话说，根据本实施例的信息处理装置可以为每个用户显示最佳虚拟遥控器，仅显示虚拟遥控器给
特定用户，同时为多个用户显示不同的虚拟遥控器，或取决于用户的位置改变虚拟遥控器
的位置。如上所述，根据本实施例的信息处理装置取决于对显示为3D图像的虚拟遥控器的
用户的直观操作内容执行预定处理，从而改进用户的设备操作的便利性。 本领域的技术人员应该理解，取决于设计要求和其它因素，可以出现各种修改、组
合、子组合和替换，只要它们在权利要求或其等同物的范围内。 例如，在上面的实施例中示例的虚拟遥控器200的形状、按钮的种类或安排等仅 仅是用于说明前述实施例的示例，并且本发明不限于此。换句话说，信息处理装置取决于用 户的定制设置，自由地改变虚拟遥控器200的形状、按钮的种类或安排，或者获取外部设备 的遥控器规范，从而显示新的虚拟遥控器200。这是基于这样的事实作为本发明的一个特 性的虚拟遥控器200仅仅是伪3D图像，并且不能通过传统的物理遥控器实现。
例如，已经通过上面实施例中的用户的面部检测的示例描述了通过形状检测单元 106的用户指定方法，但是本发明不限于此。例如，形状检测单元106可以通过预先登记用 户的手部等的图像、并且比较登记的图像与由成像单元105取得的手部，指定使用电视机 IOO的用户。以此方式，只要形状检测单元106可以通过比较预先登记的形状与包含在由成 像单元105取得的视频中的用户身体的部分的形状来指定用户，要确定的形状就不限于特 定形状。 在上面的实施例中示例的用于将3D图像显示给用户的方法、基于成像数据的运 动检测方法、语音识别方法等仅仅是用于说明上面的实施例的示例，并且本发明不限于此。 换句话说，只要可以将3D图像显示给用户，就不限制是否使用一副眼镜。此外，只要可以识 别用户的运动或语音，本发明就不限于特定方法，并且取决于信息处理装置所要求的规范 等，可以使用各种检测方法或识别方法。 在本说明书中，在流程图或序列图中描述的各步骤包含按时间序列以描述的顺序 执行的处理和并行或单独执行的处理，尽管各处理不必以时间序列执行。以时间序列处理 的步骤当然可以根据需要适当地改变其顺序。 本申请包含涉及于2008年12月3日向日本专利局提交的日本优先权专利申请JP 2008-308799中公开的主题，在此通过引用并入其全部内容。
权利要求
一种信息处理装置，包括图像发送单元，用于显示作为虚拟遥控器的远程操作设备的3D图像；至少一个成像单元，用于取得用户的图像；3D图像检测单元，用于基于通过所述成像单元取得的视频，检测用户的运动；指令检测单元，用于基于通过所述3D图像检测单元的检测结果、和在通过所述图像发送单元显示的所述虚拟遥控器上安排的预定操作按钮的位置，确定用户是否已经按压在所述虚拟遥控器上安排的预定操作按钮；以及指令执行单元，用于基于通过所述指令检测单元的确定结果，执行对应于所述虚拟遥控器上的用户按压的操作按钮的预定处理。
2. 如权利要求1所述的信息处理装置，还包括形状检测单元，用于通过基于由所述成像单元取得的视频检测用户身体的部分，并且比较检测到的部分与之前登记的关于用户身体的部分的信息，指定所述成像单元的成像区域中的用户，其中所述图像发送单元显示适于由所述形状检测单元指定的用户的之前登记的虚拟遥控器。
3. 如权利要求2所述的信息处理装置，还包括包括麦克风的声音收集单元，用于收集语音；以及语音检测单元，用于通过比较由所述声音收集单元收集的语音和之前登记的关于用户的语音的信息，指定已经生成通过所述声音收集单元收集的语音的用户，其中所述图像发送单元显示适于由所述语音检测单元指定的用户的之前登记的虚拟遥控器。
4. 如权利要求3所述的信息处理装置，其中所述图像发送单元基于通过所述指令检测单元的确定结果，改变所述虚拟遥控器的形状、以及要安排在所述虚拟遥控器上的操作按钮的种类或者位置。
5. 如权利要求4所述的信息处理装置，其中在安排在所述虚拟遥控器上的操作按钮中，所述图像发送单元仅改变和显示在所述指令检测单元中确定为已经由用户按压的操作按钮的颜色和/或形状。
6. 如权利要求5所述的信息处理装置，其中所述图像发送单元响应于用户的运动改变所述虚拟遥控器的显示位置，使得将所述虚拟遥控器显示给由所述3D图像检测单元检测的用户。
7. 如权利要求6所述的信息处理装置，其中当由所述3D图像检测单元检测的用户操作匹配之前登记的预定操作时，所述图像发送单元取决于用户的操作改变所述虚拟遥控器的显示位置，其中所述之前登记的预定操作对应于改变所述虚拟遥控器的显示位置的指令。
8. 如权利要求7所述的信息处理装置，其中当由所述3D图像检测单元检测的用户操作匹配与通电指令对应的之前登记的预定操作时，所述指令执行单元使所述信息处理装置通电。
9. 如权利要求8所述的信息处理装置，其中当由所述语音检测单元检测的声音匹配与通电指令对应的之前登记的预定声音时，所述指令执行单元使所述信息处理装置通电。
10. 如权利要求9所述的信息处理装置，还包括外部设备的遥控器规范输入单元，用于获取关于与所述信息处理装置相关联操作的外部设备的遥控器规范的信息，其中基于关于所述外部设备的遥控器规范的信息，所述图像发送单元显示其上安排对 应于所述外部设备中提供的预定功能的操作按钮的虚拟遥控器。
11. 如权利要求1所述的信息处理装置，其中当多个用户存在于所述成像单元的成像 区域中时，所述图像发送单元将仅适于一个用户的之前登记的虚拟遥控器显示给该用户。
12. 如权利要求1所述的信息处理装置，其中当多个用户存在于所述成像单元的成像 区域中时，所述图像发送单元将适于各个用户的之前登记的虚拟遥控器同时显示给每个用 户。
13. —种信息处理方法，包括以下步骤 显示作为虚拟遥控器的远程操作设备的3D图像；通过至少一个成像单元连续取得用户的图像； 基于通过成像步骤取得的视频，检测用户的运动；基于通过3D图像检测步骤的检测结果、和在通过图像发送步骤显示的所述虚拟遥控 器上安排的预定操作按钮的位置，确定用户是否已经按压在所述虚拟遥控器上安排的预定 操作按钮；以及基于通过指令检测步骤的确定结果，执行对应于所述虚拟遥控器上的用户按压的操作 按钮的预定处理。
全文摘要
提供一种信息处理装置，其包括图像发送单元，用于显示作为虚拟遥控器的远程操作设备的3D图像；至少一个成像单元，用于取得用户的图像；3D图像检测单元，用于基于通过所述成像单元取得的视频，检测用户的运动；指令检测单元，用于基于通过所述3D图像检测单元的检测结果、和在通过所述图像发送单元显示的所述虚拟遥控器上安排的预定操作按钮的位置，确定用户是否已经按压在所述虚拟遥控器上安排的预定操作按钮；以及指令执行单元，用于基于通过所述指令检测单元的确定结果，执行对应于所述虚拟遥控器上的用户按压的操作按钮的预定处理。
文档编号H04N5/44GK101751125SQ20091025268
公开日2010年6月23日 申请日期2009年12月3日 优先权日2008年12月3日
发明者丸尾淳, 津村武男 申请人:索尼株式会社