能够使对象活跃的电子设备和方法

专利名称：能够使对象活跃的电子设备和方法
技术领域：
本发明涉及一种电子设备，并且尤其涉及一种能够为交互式机器人或交互式虚拟角色的至少一部分确定新动画的电子设备。
本发明还涉及一种能够使对象活跃的方法，并且尤其涉及一种能够使交互式机器人或交互式虚拟角色的至少一部分活跃的方法。
本发明还涉及一种计算机程序产品，所述计算机程序产品当执行时使可编程的设备能够起到这种电子设备的作用。
在A.J.N.van Breemen、K.Crucq、B.J.A.Krose、M.Nuttin、J.M.Porta和E.Demeester所写的“A User-Interface Robot for AmbientIntelligent Environments”中已知这种电子设备的实施例，上述文章在2003年ASER的会议记录中公布，Bardolino，意大利，第176-182页。此文章描述了具有由动态嘴巴、眼睛和眉毛组成的‘真实’面部的交互式家用机器人。这些对象中的每个可以具有几个位置之一。对象从一个位置到另一位置的活跃是瞬时的。尽管这使机器人能够迅速地对用户输入作出反应，然而它使机器人的行为变得不那么可信，由此在机器人和用户之间的交流也不那么高效。
本发明的第一目的在于提供一种在开头段所描述的那种类型的电子设备，所述电子设备能够使对象在交互式环境中相对流畅地活跃。
本发明的第二目的是提供一种在开头段所描述的那种类型的能够使对象活跃的方法，所述方法能够使对象在交互式环境中相对流畅地活跃。
第一目的依照本发明借助包括处理部件的电子设备来实现，所述处理部件能够根据对象在第一动画中的至少一个位置以及根据所述对象的第二动画的第一部分来确定所述对象的新动画的第一部分，并且能够根据所述第二动画的第二部分来确定所述新动画的第二部分。代替使第二动画的第一部分的动画能够完全像创造者定义的那样，有益地是，该电子设备能够即时再现所述第二动画。一旦接收用于触发第二动画的用户输入，那么就可以在不导致突然过渡的情况下再现新动画的第一部分。该电子设备例如可以是消费者电子设备，也可以例如是机器人，在所述消费者电子设备中虚拟角色充当用于控制消费者电子设备的用户接口。
发明人认识到通过把音频动物机器人学(animatronics)技术应用于已知的家用机器人，可以创建可信的交互式用户接口机器人。在游乐园中，音频动物机器人学——用于创建逼真的机械角色的技术也是已知的。依照预定义的位置序列来使机械角色活跃以产生平滑逼真的运动。这些音频动物机器人学技术还可以应用于其它动画，例如应用于在电子游戏或其它计算机或消费者电子设备相关应用中所使用的虚拟角色(例如动物或人)的动画。
发明人还认识到用于把音频动物机器人学应用于使对象活跃的已知方法的简单策略是不方便的。如果当正在执行第一动画时响应于例如用户输入之类的刺激必须执行新动画，那么第一简单的策略在执行从空档开始的第二动画之前要等待着直到第一动画在空档处结束为止，就会导致延迟，因此产生缺少交互的行为。如果第一动画在与第二动画开始的相同位置处没有结束，那么甚至可能有必要创建附加延迟以便在两个动画之间产生平滑过渡，如US2003/0191560中所述。另一方面，第二简单策略在第一位置处中止第一动画，把(虚拟或机械)对象瞬间移动到第二动画的开始位置，并且执行所述第二动画，这会导致已知的家用机器人执行不那么可信的动画。在本发明中，过渡过滤器在过渡期间组合部分第一动画(即至少一个位置)和部分第二动画以在动画之间产生平滑过渡。
第二目的依照本发明是借助包括以下步骤的方法来实现的，所述步骤能够在第一周期期间根据对象在所述对象的第一动画中的至少一个位置并且根据所述对象的第二动画的第一部分来使所述对象活跃，并且能够在第二周期期间根据所述对象的第二动画的第二部分来使所述对象活跃。第一周期是在第一动画和第二动画之间的过渡周期。在第二周期中，所显示的动画通常等于第二动画的第二部分。
对象i的新动画Si可以通过使用图7的方程式(1)和(2)计算而得到。在方程式(1)和(2)中，t是当前时间，tt是第一周期(过渡周期)的长度，t1是第一周期的开始时间，并且t1+tt是第一周期的结束时间和第二周期的开始时间。(一个对象的)第一动画由函数SiA表示并且(相同对象的)第二动画由函数SiB表示。第二动画在时间t1开始并且在时间t1+tt之后结束。第一动画在时间t1之前开始。第一动画不必继续到时间t1+tt第一动画可能在时间t1被中止或者在时间t1和时间t1+tt之间的时间t2结束。在第一种情况下，SiA(t)在t1和t1+tt之间等于SiA(t1)。在后一种情况下，SiA(t)在t2和t1+tt之间等于SiA(t2)。
在方程式(2)中，标量α线性地依赖时间。使其按指数依赖时间会使内插更为平滑。在方程式(1)的候选形式中，Si(t)可以被写为递归函数。在t1和t1+t之间，Si(t+Δ)例如可以是Si(t)和SiB(t+Δ)的线性组合。
例如可以由制造电子设备的制造商借助电子设备本身、由开发涉及虚拟角色的软件的软件开发者借助软件本身和/或由运行所述软件的服务供应商，来执行能够使对象活跃的方法。可以在不同的设备上计算并显示动画。例如，因特网上的服务器可以计算动画并且因特网上的客户端可以显示所述动画。活跃的对象可以是整个机器人或虚拟角色，也可以是机器人或虚拟角色的一部分(例如嘴巴)。机器人或虚拟角色的动画可以包括所述机器人或虚拟角色的多个部分的多个动画，每个部分具有独立的位置。在这种情况下，对于每个部分独立地执行所述方法是有益的，而对于第一周期(即过渡周期)来说使用完全相同的开始和结束时间也是有益的。
参考附图将进一步阐明并描述本发明的方法和电子设备的这些及其它方面，其中

图1示出了本发明的电子设备的实施例的正视图；图2示出了图1的实施例的面部表情的例子；图3是图1的实施例的框图；图4示出了图1的实施例的面部表情的动画；图5是示出图3的两个块的细节的框图；图6图示了利用本发明方法执行的图1的实施例的对象的动画；和图7示出了使用计算图6的动画的两个方程式。
在附图内相应元素由相同的附图标记来标识。
在图1中示出了电子设备的实施例称作iCat的、有情感的用户接口机器人。iCat识别用户，建立他们的简档并且处理用户请求。使用所述简档来使不同种类的家庭自动化功能个性化。例如，当特定用户请iCat创建‘轻松气氛’时，就使用个性化的光和声音条件。为了学习丰富的用户简档，要求在iCat和用户之间有良好的社会关系，这是因为他们都应当彼此理解并且乐意把时间花在彼此讲授关于他们自身的东西上。期望可信的用户接口机器人使此关系更令人愉快且有效。
图1示出了iCat的传感器和致动器。机器人配备有13个标准R/C伺服机构s1……s13，用于控制面部的不同部分，诸如眉毛、眼睛、眼睑、嘴巴和头位置。图2示出了可以由此伺服机构配置实现的某些面部表情。在鼻子中，安装照相机cam1以用于面部识别和头部跟踪。iCat的脚包含两个麦克风mic1和mic2，用于记录它所听到的声音并且确定声源的方向。还安装扬声器sp1，用于播出声音(WAV和MIDI文件)并且产生语音。此外，iCat被连接到家庭网络以用于控制家中的设备(例如灯、VCR、TV、收音机)并且从因特网获得信息。最后，几个触摸传感器touch1……touch6被安装以用来感测用户是否触摸了机器人。
用户接口机器人应当都能够执行推理(例如关于用户的简档和意图)并且对用户输入作出快速反应(例如当用户触摸机器人时)。用于提供考虑以及反应能力的混合体系结构最适于这些要求。图3示出了通用的混合体系结构。它由接收传感器信息并且由能够访问致动器的两个层组成。较高层执行诸如计划、推理和任务控制之类的考虑(deliberative)任务。较低层实施行为执行任务。此层包含用于从更高考虑层接收命令(例如定位点、目标)的一组机器人行为(控制规则)。当命令被实现时，机器人行为返回状态信息。
音频动物机器人学的领域开发了工程技术来创建逼真的角色。它们的主要方法在于建立规定的角色表现，即它们编程伺服机构、灯、声音和语音事件的脚本，当角色需要执行时运行所述脚本。此方法的优点在于对角色运动提供了精密的控制，这提供了使用动画原理来适当地设计所述角色的机会。这样，可信的行为被实现。缺点在于缺乏交互性角色无法依照除其程序所规定的另一方式来动作。图4示出了应用于用户接口机器人iCat的预编程动画脚本的例子。此脚本用来使iCat入睡。代替只是降低头部并且闭上眼睛，而是使用动画原理来使iCat活跃。首先，使用预报来使用户准备iCat将要睡眠。让iCat首先打呵欠来进行此预报(图4中的上面五帧)。其次，应用缓进缓出的动画原理。通过使运动在末尾时更为缓慢，它们变得更为自然。最后结果是一个表现得直观且可被理解的机器人。
机器人动画是用于使机器人活跃的致动器动作(例如伺服机构、灯、声音和语音动作)的序列。在使机器人活跃中即在计算机器人应当怎样动作以致它是可信且交互中的主要问题在于开发一种用于计算设备动作序列的计算模型。可以区分不同类别的计算模型预编程的-机器人动画被存储在表中。典型情况下，这种机器人动画是手活跃或者根据运动捕获的数据来产生。
模拟的-机器人动画被定义为模拟/数学模型；例如眨眼模型。
模仿的-在线学习机器人动画，例如当模仿人类或其它机器人时。
机器人行为-用于定义机器人动画的控制规则(例如头部跟踪)，使用传感器信号来产生设备动作。
代替使用一个计算模型来使用户接口机器人活跃，使用多个模型更为有益。每个模型定义了只用于控制有限组的机器人致动器的独立机器人动画。这样，可以使用不同的计算模型用于入睡和唤醒的预编程模型、用于眨眼和当说话时基于照相机的头部跟踪和嘴唇同步的机器人行为的模拟模式。不利的是，使用多个模型引入了若干问题。第一，单个模型需要在正确时刻以及在正确条件下开始和停止。混合机器人体系结构的考虑层计算这些条件。当执行多个机器人动画模型时出现另一问题。单个动画事件需要被同步，以致伺服机构、灯、声音和语音事件在相同时刻发生。还需要合并同时活动的机器人动画的单个动作。最后，需要适当地处理由于在机器人动画之间切换而导致的不想要的瞬时行为(例如突然的改变)。
机器人动画引擎被开发来处理用于使用户接口机器人活跃的多个计算模型。此引擎是混合机器人体系结构中行为执行层的一部分。尽管更高级考虑过程产生用于控制机器人动画的命令时，但是该引擎本身处理在先前部分中所描述的特定合并问题。抽象的机器人动画接口用来集成不同的计算机器人动画模型。此接口定义了机器人动画的三个基本方面。第一，每个机器人动画具有唯一的名称属性。此名称用来指代特定的机器人动画。其次，机器人动画具有初始化方法，每当机器人动画(重新)开始时该初始化方法被调用。在此调用期间，可以向诸如计数器之类的变量给予初始值。最后，机器人动画具有用于提供下一动画事件的方法。每个特定的计算机器人动画模型从抽象的机器人动画接口导出。其均可以具有与该计算模型相关的附加属性和方法。例如，预编程的机器人动画从盘片中加载，由此具有关于此的特殊方法。基于模仿的机器人动画典型情况下具有用于学习新动画事件的方法。
机器人执行引擎能够同时运行几个机器人动画，同时处理合并问题。图5示出了机器人动画引擎的体系结构及其所有组件动画库-预加载并存储所有机器人动画。
命令分析器-解释从更高级考虑层所接收的命令。
动画信道-控制单个机器人动画的执行。
合并逻辑-把多个动画事件组合为单个事件。
过渡过滤器-实现动画事件的无波动序列。
时钟-确定动画信道的执行帧率。
动画信道分层——使用多个动画——是用于创建并管理游戏中可信的角色行为的通用技术。使用动画信道的已知原理来控制多个动画的执行。与基于机器人行为的体系结构相比，动画信道可以在运行时从动画库中加载机器人动画或卸载。不同的信道参数可以被设置为控制所加载机器人动画的执行。例如，动画信道可以使所述动画循环，延迟后开始，在特定的帧开始或者在另一动画信道上同步。一旦机器人动画已经被加载并且所有参数已经被设置，那么就可以开始、停止、暂停或继续动画。
合并逻辑虽然按优先级排列动画是用于合并动画的标准技术，然而它不能处理所有混合情况。因此，就使用运行时可配置的合并逻辑组件，其对于不同情况提供了使用动画引擎的灵活性，所述不同情况均要求其自己的混合策略。可以在运行时以每个致动器为基础来设置合并逻辑组件的特定混合配置。用于每一单个伺服机构、灯、声音或语音信道来说，可以配置混合操作符。可以使用以下混合操作符优先级-由具有较高优先级的致动器动作否决具有较低优先级的致动器动作。
(加权的)相加-致动器动作乘以加权系数然后相加。
最小/最大-选择具有最小值/最大值的致动器动作。
乘法-乘以所有致动器动作。
这些操作符通常用于机器人学以及动画这两个领域。可以添加来用于扩展合并逻辑组件的附加已知操作符包括多解析过滤、内插、时间弯曲、波形整形和运动位移映射。
过渡过滤器从一个机器人动画到另一个机器人动画的突然改变可能会导致突然过渡。用于防止这一点的一种技术是使用特殊的关键帧来定义机器人动画的开始和结束帧。新的机器人动画可以仅仅当其开始帧与前一机器人动画的结束帧相匹配时才开始。然而，此技术无法被应用于机器人行为，这是因为致动器动作是在运行时从传感器输入和内部变量而计算得到的。因此，使用第二种技术过滤。过渡过滤器组件用来实现在机器人动画之间的平滑过渡。
图6图示了用于伺服机构si的过渡过滤器的工作情况。在时间t1，发生切换。在称作过渡周期tt的有限时段期间，使用图6的方程式(1)和(2)把新的伺服机构动画sBi与前一伺服机构动画sAi的最后值相组合。过渡过滤器在过渡周期期间计算两个机器人动画的线性组合。标量α线性地依赖于时间；使它指数地依赖时间将使内插更为平滑。
应用为了评估所建议的机器人动画引擎，给出一种方案，其中用户接口机器人iCat在称作HomeLab的氛围为智能家庭环境中管理灯和音乐。使用语音来对iCat进行请求。除识别语音之外，iCat必须能够执行头部跟踪，以致当用户讲话时它保持看着该用户，当它向用户讲话时保持嘴唇同步，保持眨眼以便更为逼真并且表现出用于正确地对用户请求作出反应的面部表情(例如当请求被理解时看起来很快乐并且当所述请求不清楚时看起来很悲伤)。使用不同的计算模型来实现这些机器人动画。
定义了五个动画信道来处理多个机器人动画。表1示出了这些信道并且描述了它们的目的。例如，信道0用于控制所有致动器设备的机器人动画(例如图4中所示的入睡机器人动画)，并且信道2用于控制嘴巴的四个伺服机构(s8，s9，s10，s11；参见图1)的嘴唇同步机器人动画。
表1
虽然已经结合优选实施例描述了本发明，但是应当理解，对本领域技术人员来说在上面概述原理之内对其修改将是显而易见的，因而本发明不局限于所述优选实施例而是意图包含这种修改。本发明在于每个新颖的特征以及每个特征的组合。在权利要求中的附图标记不限制它们的保护范围。动词“包括”的使用及其变形不排除存在未在权利要求中声明的元件。在元件之前的数量词“一个”或“一种”的使用不排除存在多个这种元件。
“装置”对所属技术领域的技术人员来说显而易见的是其意味着包括任何硬件(诸如独立的或集成电路或电子元件)或软件(诸如程序或部分程序)，所述软件在操作中执行或者被设计成用于执行指定的功能，其可以单独或与其它功能结合，单独或与其它元件合作。本电子设备可以借助于包括若干不同元件的硬件来实现，也可以借助于适当编程的计算机来实现。“计算机程序”应被理解为意指在诸如软盘之类的计算机可读介质上所存储的、可经由诸如因特网之类的网络下载的，或以任何其它方式销售的任何软件产品。
权利要求
1.一种电子设备，包括处理部件，所述处理部件能够根据对象(s1...s12)在第一动画中的至少一个位置和根据所述对象的第二动画的第一部分来确定所述对象(s1...s12)的新动画的第一部分；并且根据所述第二动画的第二部分来确定所述新动画的第二部分。
2.如权利要求1所述的电子设备，其中所述电子设备是机器人并且所述对象包括所述机器人的一个或多个伺服机构。
3.如权利要求1所述的电子设备，其中所述新动画的第一部分的持续时间不依赖所述第二动画的开始时间。
4.如权利要求1所述的电子设备，其中一旦接收了确定的用户输入，那么所述处理部件就执行所述新动画的第一部分，所述确定的用户输入触发所述第二动画。
5.如权利要求1所述的电子设备，其中所述第二动画的第一部分对所述新动画的第一部分的贡献在过渡周期期间按指数增加。
6.一种计算机程序产品，当其执行时使可编程设备能够起到如权利要求1所述的电子设备的作用。
7.一种能够使对象(s1...s12)活跃的方法，包括步骤能够在第一周期期间根据所述对象(s1...s12)在所述对象的第一动画中的至少一个位置和根据所述对象(s1...s12)的第二动画的第一部分来使所述对象(s1...s12)活跃；并且能够在第二周期期间根据所述对象(s1...s12)的第二动画的第二部分来使所述对象(s1...s12)活跃。
8.一种电子设备，包括处理部件，所述处理部件能够在第一周期期间根据所述对象(s1...s12)在所述对象的第一动画中的至少一个位置和根据所述对象(s1...s12)的第二动画的第一部分来使所述对象(s1...s12)活跃；并且在第二周期期间根据所述对象(s1...s12)的第二动画的第二部分来使所述对象(s1...s12)活跃。
9.一种用于使对象(s1...s12)活跃的方法，包括步骤在第一周期期间根据所述对象(s1...s12)在所述对象的第一动画中的至少一个位置和根据所述对象(s1...s12)的第二动画的第一部分来使所述对象(s1...s12)活跃；并且在第二周期期间根据所述对象(s1...s12)的第二动画的第二部分来使所述对象(s1...s12)活跃。
全文摘要
本发明的电子设备包括处理部件，所述处理部件能够根据对象在第一动画中的至少一个位置和根据所述对象的第二动画的第一部分来确定所述对象的新动画的第一部分。该处理部件还能够根据所述第二动画的第二部分来确定所述新动画的第二部分。能够使对象活跃的方法包括能够在第一周期期间根据所述对象在所述对象的第一动画中的至少一个位置和根据所述对象的第二动画的第一部分来使所述对象活跃的第一步骤。所述方法包括能够在第二周期期间根据所述对象的第二动画的第二部分来使所述对象活跃的第二步骤。
文档编号A63H11/00GK1929894SQ200580007880
公开日2007年3月14日 申请日期2005年3月10日 优先权日2004年3月12日
发明者A·J·N·范布里门 申请人:皇家飞利浦电子股份有限公司