专利名称：利用三维运动技术的家庭娱乐高级控制装置的制作方法
技术领域：
本发明涉及家庭娱乐装置及其应用的控制，尤其涉及一种通过使用一控制装置来控制家庭娱乐装置和向家庭娱乐装置传送数据的方法和系统。
手持式装置，例如遥控装置，常用于控制消费性电子装置，例如电视机和游戏机。随着手持装置和消费性电子装置变得越来越复杂，业界已开发出新的用于将命令输入手持装置的技术。这些新技术中，包括了检测手持装置的方位以产生一命令的方法。例如，美国专利第4,745,402及4,796,019号，公开了一种用于控制电视上的光标位置的方法。美国专利第6,603,420公开了一种遥控装置，通过检测遥控装置移动的趋向来实现对诸如电视的频道和音量的控制。
这些手持装置保留数据的能力以及消费性电子装置中更复杂性能的开发，已经对如何控制这些消费性电子装置提出了新的挑战。例如，常常需要从手持装置向消费性电子装置发送数据，反之亦然。手持装置还应当提供一种自然的、有效的机制来指示将要执行一个动作，诸如数据传送。因此，确实需要一种改进的手持装置，能够有效地产生命令并向消费性电子装置发送数据或接收来自消费性电子装置的数据。
本发明公开了一种用于产生命令并在一手持装置与一基础装置(包括消费性电子装置)之间传送数据的装置和方法。该手持装置能够检测其自身的移动，将此移动视为一项命令，并执行或传送此项命令。手持装置的移动可以包括用户拿着该装置时所做的手势，例如将该手持装置向一基础装置投掷的移动，就象用户挥动球拍那样。用户产生的命令范围从基本的开/关命令到复杂的过程如数据传送均涵盖在其中。
在一个实施例中，用户可以训练该装置学习与已有的或新的命令相关联的新动作。例如，用户可以做将手持装置向一基础装置投掷的动作。手持装置分析这项动作的组成来创建一个动作模型，这样，以后对这项动作就可作唯一地识别。
参照附图和以下详细描述，将获得对本发明和本发明的其它特征和优点的深入理解。
图1示出了本发明的一种示例性手持装置。
图2A和图2B是被图1所示手持装置视为命令的手势的示意图。
图3是图1所示手持装置的结构框图。
图4是动作检测子系统的一个示例性实施例的示意图。
图5是描绘图1所示手持装置的系统过程的一种示例性实现方式的流程图。
图6是描绘动作训练过程的一种示例性实现方式的流程图。
图7是描绘动作检测过程的一种示例性实现方式的流程图。
图8是图解说明一个投掷动作的动作模型的曲线图，此动作模型是基于在三个垂直平面的各个平面上的期望加速度而建立的。
图1示出了本发明一个示例性的手持装置300，例如依照本发明特征做了改进的飞利浦超快遥控器(Philips Super Pronto)，以下结合图3进一步论述。该手持装置300能够检测其自身的动作，将所检测到的动作视为一项或多项命令，并执行或传送这项或这些命令。
图2A和图2B显示了一个用户能够使用所述手持装置300做出的手势。例如图2A所示，用户作出一个将手持装置300向一基础装置如电视机210投掷的手势。图2B则显示用户作出一个将手持装置300向一基础装置如电视机倾倒的手势。这些手势和相关的动作表明用户201想要从手持装置300发送数据到电视机210。在此情况下，用户应首先定位和识别所述数据(例如一图片或音乐)，然后向该基础装置作出所述手势。所述数据，例如，可以通过从显示在该手持装置300上的一个目录中选择出一个项目的方式来识别。之后这些数据将被发送。另外，如果该数据是一张图片，它可显示在电视上(可选地)，或者，如果该数据是音乐，则它可通过扬声器播放(可选地)。其他的手势包括做一个从基础装置向用户的牵引动作。在此情况下，这个手势指示应将所识别的数据传送到手持装置300。然后将从基础装置本身或者另外的装置(例如一服务器)处取回所述数据。由于在用户201所在区域范围内存在有许多基础装置210至214，因此该手持装置300具有识别这些基础装置210至214中哪一个应接收到所传送的数据的能力(这将在下文章节中详细描述)。图3是本发明的示例性手持装置300的结构示意图。如业界所已知的，此处所讨论的方法和装置可以作为一种本身包括计算机可读介质的制品分发，所述介质上实现有计算机可读代码设置。该计算机可读程序代码设置可连同一计算机系统如中央处理器301一起操作，以执行全部或部分步骤而完成这里论述的所述方法或构建所述装置。该计算机可读介质可以是可记录介质(例如软盘、硬盘、光盘或存储卡等)，亦或是传输式介质(例如包含光学纤维的网络、万维网、电缆，或利用时分多址、码分多址的无线信道，或者其他射频信道)。任何一种能够存储适合与计算机系统共同使用的信息的已知或改进介质都可以被采用。所述计算机可读代码设置可以是可供计算机读取指令和数据的任何装置，例如磁性介质上的磁变量或光盘表面上的高度变量。
存储器302将配置处理器301以完成本文所公开的方法、步骤和功能。该存储器302可以是分布式的或本机的，而处理器301可以是分布式的或单机的。存储器302可以采用电子存储器、磁性存储器或光学存储器，或者是这些或其他类型存储装置的任意组合。此处的术语“存储器”应当作足够宽泛的解释以包括可从中读取信息或把信息写入可被中央处理器301访问的可编址空间的地址。
如图3所示，该存储器302包括动作模型数据库303、系统过程500、动作训练过程600和动作检测过程700，其中系统过程500、动作训练过程600和动作检测过程700将分别结合图5、图6和图7在下文作进一步描述。该手持装置300还包括动作检测子系统400、射频(RF)通信子系统305和红外线检测子系统(IDS)310，其中该动作检测子系统400将结合图4作进一步描述。
该射频通信子系统305通过一种公知的方式提供手持装置300与一个或多个基础装置210至214之间的通信。例如，该射频通信子系统305可利用无线通信的IEEE 802.11标准或其任何扩展。红外线检测子系统310以定向的方式发出红外光，从而以信号通知基础装置210-214它应执行正由手持装置300发送的命令。仅只是那些检测到红外线信号的基础装置210-214会执行所发送的命令。所述命令是通过射频通信子系统305以一种公知的方式向基础装置210-214传送的。在一个替代实施例中，可通过以公知的方式调制红外信号(例如利用红外线爆发器(IR Blaster)标准)来传送该命令。
图4示出了动作检测子系统400的一个示例性实施例。该动作检测子系统包含X轴加速计传感器410、Y轴加速计传感器411、Z轴加速计传感器412以及相应的模拟-数字转换器415、416和417。加速计传感器410、411和412分别检测该手持装置300沿X轴、Y轴和Z轴的加速度。所述加速计传感器410、411和412可以采用例如利用来自加利福尼亚州联合市的尼克特金(NECTokin)公司生产的商用三维运动传感器。模拟-数字转换器415、416和417分别将加速计传感器410、411和412检测到的(多个)加速度转换为可被中央处理器301读取的数字形式。在替代实施例中，其他组件，包括压敏电阻元件、倾角传感器及磁方向传感器等，均可用于测定该手持装置300的位置、运动的方向和/或速度。
图5示出了系统过程500的一个示例性实施例。系统过程500最初在等待将在步骤505输入的命令，如果在步骤505中用户输入一个训练命令，则系统过程500执行步骤510，其中调用动作训练过程600。如果在步骤505中用户做了一个表明命令的手势或动作，则系统过程将执行步骤515，其中调用动作检测过程700。当所述调用的程序600、700完成时，系统过程500返回到步骤505以等待新命令的输入。
图6示出了动作训练过程600的一个示例性实施例。动作训练过程600学习用户所示范的新的手势和动作，用以识别已存在的或新的命令。例如，用户201可能希望训练手持装置300检测一个投掷动作例如将手持装置300向电视机210投掷的动作。用户首先按压手持装置300上的一个开关，以表明将会作出一个新的手势(可选择地，用户可训练该手持装置300将某个动作视为欲执行训练程序的一个表示)。动作训练过程600最初在等待将被一个或多个加速计传感器410、411和412所检测的动作(步骤601)，之后，通过周期性地对读取自模拟-数字转换器415、416和417的数据进行采样和存储，记录被传感器410、411和412所检测到的该项动作(步骤605)。每次在采样步骤605中读取一组样本后，将进行一项测试以确定在一个特定的时间周期内是否没有动作被检测到，这意味着该手势或动作已经完成(步骤608)。如果在步骤608中还有动作被检测到，则重复步骤605以读取该下一组样本；否则，动作训练过程600将在步骤610中创建并存储捕获的该动作模型。此动作模型是以一种公知的方式创建的，例如，下列出版物即记载了对动作和手势进行分析、比较和建模的方法Ho-Sub Yoon，Jung Soh，Younglae J.Bae和Hyun Seung Yang等人所著的题为“使用位置、角度和速度的组合特征的手部姿势识别、模式识别(Hand Gesture Recognition Using Combined Features ofLocation，Angle and Velocity)”的论文，Pattern Recognition刊物，第34卷，2001年第7期，第1491-1501页；匹兹堡市，卡耐基梅隆大学(Carnegie Mellon University)，机器人技术协会(The Robotics Institute)的Cristopher Lee和Yangsheng Xu所著的题为“用于人/机器人接口的在线、交互式手势学习(Online，Interactive Learning of Gestures for Human/RobotInterfaces)”的论文1996年，明尼阿波利斯市举行的电气和电子工程师协会(IEEE)有关机器人技术和自动控制的国际会议(IEEEInternational Conference on Robotics and Automation)；Mu-Chun Su，Yi-Yuan Chen，Kuo-Hua Wang，Chee-Yuen Tew和Hai Huang所著的题为“使用合成模式识别的3D手臂动作识别(3DArm Movement Recognition Using Syntactic PatternRecognition)的论文，Artificial Intelligence in Engineering第14卷，第2期，2000年4月，第113-118页；Ari Y.Benbasat和Joseph A.Paradiso所著的题为“用于手势识别和应用的惯性度量框架(An Inertial Measurement Frameworkfor Gesture Recognition and Applications)”的论文，美国剑桥市的麻省理工学院(MIT)媒体实验室，2001年；以及Mu-Chun Su，Yi-Yuan Chen，Kuo-Hua Wang，Chee-Yuen Tew和Hai Huang所著的3D Arm Movement Reconition Using SyntacticPattern Recognition，Artificial Intelligence in Engineering第14卷，第2期，第113-118页，2001年4月。以上论文都在此引入以作参考。
所建的模型将用于解释将来用户201所做的手势和动作。在步骤615中，在步骤610中建立起来的模型被赋与一项命令或过程，当与该模型相关联的动作被检测到时，所述命令或过程将被执行。可通过公知的方式识别要执行的命令，例如，按压手持装置300上与该命令相关联的某个开关，或者在一键盘上输入与该命令相关联的一项代码。在一个替代实施例中，用户可通过在系统上(例如在触摸屏上)完成多个动作来输入(记录)一系列的命令，这有点类似于在MS Word中记录一个宏命令。然后这一系列的命令可以与单一手势相关联。被赋与的命令或程序与相关的动作模型一起被存储在动作模型数据库303中。
图7示出了动作检测过程700的一个示例性实施例。动作检测过程700对用户201所做的手势或动作进行解释，以确定要执行的命令。例如，如果用户201做出将手持装置300向电视机210投掷的动作，手持装置300将会把这个手势视为是从手持装置300向电视机210发送数据的命令。动作检测过程700最初通过对读取自模拟-数字转换器415、416和417的数据进行周期性地采样和存储(步骤705)，来记录被加速计传感器410、411和412检测到的动作。每次在采样步骤705中读取一组样本之后，将进行一项测试以确定在一个设定的时间周期内是否没有动作被检测到，这意味着手势或动作已经完成(步骤708)。如果在步骤708中还有动作被检测到，则重复步骤705以读取该下一组样本；否则，动作检测过程700将步骤705中采集到的数据与存储在手持装置300中的动作模型进行比较(步骤710)。在步骤710中，将产生各个模型对照的分值。然后，与在步骤710中获得最高分值的模型相关联的命令或程序将在步骤715中被执行。例如，如果具有最高分值的模型是一个“投掷动作”的模型，则将以一个公知的方式执行数据传送过程(未图示)。举例说，该数据传送过程可以公知方式采用802.11标准来完成。在步骤720中，红外线检测子系统(IDS)310也被激发，从而产生一个射向投掷动作方向的红外信号。基础装置210-214中，只有那些检测到该红外信号的基础装置将接收通过射频通信子系统305传送的数据。
图8显示了一个表示图2A所示投掷动作的示例性动作模型。如图所示，Z轴加速计传感器表明这是一个位于X-Y轴平面内的动作(即在Z轴方向没有动作)。X轴加速计传感器表明，该动作在X轴上具有一个快的加速度，在这个动作的半程处达到速度的峰值，并且随着动作的完成，减速渐增。在Y轴方向上也存在一个相似但较小的动作。
应当理解，本文所显示和描述的实施例及其变化仅仅是对本发明原理的举例说明，本领域的技术人员可以在不脱离本发明的精神和权利要求范围的情况下作出各种修改。
权利要求
1.一种用于控制一基础装置的设备，包括一存储器；及与所述存储器耦合的至少一个处理器，用于检测所述设备的动作；解释所述动作以识别出一命令，该命令触发所述设备与所述基础装置之间的数据传送；执行所述命令。
2.如权利要求1所述的设备，其中，所述执行所述命令的操作包括向所述基础装置传送第二命令。
3.如权利要求1所述的设备，其中，所述检测到的动作是投掷动作。
4.如权利要求1所述的设备，其中，所述检测到的动作是倾倒动作。
5.如权利要求1所述的设备，其中，所述检测到的动作是从所述基础装置定向的牵引动作。
6.如权利要求1所述的设备，进一步操作用于通过检测和记录一示范动作而添加一项或多项新命令。
7.如权利要求6所述的设备，进一步操作用于根据所述记录的示范动作建立一个动作模型。
8.如权利要求7所述的设备，进一步操作用于将所述一项或多项新命令分配给所述动作模型。
9.如权利要求1所述的设备，进一步包括有三维动作传感器用于执行所述动作检测操作。
10.如权利要求1所述的设备，进一步包括有一或多个动作模型，其中所述一或多个动作模型的每个分配有一命令。
11.如权利要求10所述的设备，其中，所述解释所述动作的操作是通过将所述检测到的动作与所述一或多个所述动作模型中的一个或多个进行比较来进行的。
12.一种用于控制一基础装置的方法，包括检测所述设备的一个动作；解释所述动作以识别触发所述设备与所述基础装置之间的数据传送的命令；及执行所述命令。
13.如权利要求12所述的方法，其中，所述执行所述命令的步骤包括传送第二命令至所述基础装置。
14.如权利要求12所述的方法，其中，所述检测动作的步骤是一个投掷动作。
15.如权利要求12所述的方法，其中，所述检测动作的步骤是一个倾倒动作。
16.如权利要求12所述的方法，其中，所述检测动作的步骤是一个从所述基础装置定向牵引的动作。
17.如权利要求12所述的方法，进一步包括通过检测和记录一示范动作而添加一或多项新命令的步骤。
18.如权利要求17所述的方法，进一步包括根据所述记录的示范动作创建一动作模型的步骤。
19.如权利要求18所述的方法，进一步包括将所述一或多项新命令分配给所述动作模型的步骤。
20.如权利要求12所述的方法，其中，所述解释所述动作的步骤是通过将所述检测到的动作与一或多个动作模型进行比较而进行的。
21.一种用于控制一基础装置的制品，包括机器可读介质，包含一或多个程序，这些程序被执行时将完成以下步骤检测所述设备的一个动作；解释所述动作，以识别一个触发所述设备与所述基础装置之间数据传送的命令；及执行所述命令。
全文摘要
本发明公开一种手持装置，用于产生命令及在该手持装置与一基础装置(包括消费性电子设备)之间传送数据。该手持装置检测该装置本身的动作，将该动作视为一项命令，并执行或传送该命令。该手持装置的动作包括用户拿着该手持装置时所做的手势，例如将该手持装置朝向一基础装置投掷的动作。用户产生的命令范围包括从基本的开/关命令到复杂的过程，例如数据的传送。在一个实施例中，用户可以训练该装置学习与已有的或新的命令相关联的新动作。手持装置分析这项动作的基本组成来创建一个动作模型，这样以后对这项动作就可作唯一地识别。
文档编号G08C17/00GK1910636SQ200580002720
公开日2007年2月7日 申请日期2005年1月17日 优先权日2004年1月20日
发明者B·E·R·德鲁伊特, D·朗曼, J·W·图, V·P·布伊尔, T·A·拉什纳, E·J·范莱昂宁, S·埃格纳 申请人:皇家飞利浦电子股份有限公司