。
[0%2] 现在参照图8,本发明的实施例示出了通过多个模块控制的脸部的脸部表情。脸部 由多个肌肉形状81或者表示有鱼尾纹表面的脸部特征表示。该些肌肉形状的动作和图形 表示是由一系列表情模块84、85、86提供的。表情模块可W具有对于肌肉形状81的预定义 权重，使得当被触发时，他们给脸部提供权重、强度或输入，W产生适当表情。预定义权重可 W由之前的数据捕获来获得。例如，表情模块可W设及皱眉84、笑容85和愤怒的表情86。 脸部表情可W由用作表情发生器87、88、89的一个或多个模式发生器来控制。表情发生器 87-89提供混合和成形多个表情模块的手段。例如，父母亲可能要求愤怒的皱眉，该可通过 混合愤怒的表情和皱眉的脸来实现。在其它示例中，表情可W更加独特，例如组合笑容和惊 讶，W产生愉快的惊讶的整体表情。表情发生器可W包括基于其输入变量预先训练的响应 曲线。
[0%3] 表情发生器可W链接到神经行为模型，具体地链接到针对感情的模型。例如，表情 发生器可W连接到用于惩罚90或奖励91的模块。表情发生器可W获取系统的明显感情中 的任何一个或多个的输入，配置脸部表情的适当混合作为输出。系统可W包含于整体的结 构元件95下，W便提供所需结构并支持系统的组织。在优选实施例中，系统包括与脸部表 情系统关联的一个或多个学习元件。例如，学习元件可W改变表情发生器的权重，使得在延 长的时段中为做出特定表情而被奖励的模型具有对于奖励表情更强的权重，因此更加频繁 地呈现表情。通过调节的学习也可W由模型完成。例如，将刺激引发的感觉活动与调节之 后行为的感情触发关联的关联模块会通过只暴露于刺激而触发行为。该类似于"经典条件 反射"或己甫洛夫条件反射。
[0264] 图形输出或动画可W通过使用脑干或皮层模式发生器组成，使用形成为模块的生 物合理的再现神经网络模型建模，产生在脸神经核中解析的活动，再作为动画权重输出。如 所示的，模型的图形输出W及特定的脸部模型被设计成由从仿真的运动神经元产生的肌肉 激活来驱动。运动神经元可W包含于单独的模块中，或者可W形成模块的图形部分的一部 分。脸部表情几何流形（geometric manifold)由对个别肌肉激活W及明显非线性的组合 激活的效果进行建模来产生。图形动画可W使用包括扫描、几何建模和生物力学仿真的过 程。
[02化]脸部表情流形可W使用个别肌肉激活的综合生物力学仿真来生成。该提供了该样 的优点，即图形输出是各个特征的阵列中每一个的组合，但形成单个连贯和灵活的整体。系 统还可w允许各部分被打开或关闭，使得模糊部分可w被查看，或者某些特征可w被集中。 当系统中包含的模型正正在仿真人的大脑或其部分时，关闭计算模型的某些部分可W引起 系统象已经接受到脑损伤那样表现。该可W被称作合成病变。
[0266]系统还可W允许艺术性地对脸部表情建模，W便允许构造具有类似人的品质的风 格化的人物或卡通。使用物理型模型的优点是与模型的未来机器人（例如在类人型的机器 人）实现兼容。脸部表情可W基于脸部生物力学的有限集合，然而，在优选的实施例中，结 构与脸部的解剖紧密匹配。数字实体可W包括化身W及显示或音频-视觉输出，包括光、卡 通人物、颜色或读者已知的各种其它输出或显示。
[0%7] 系统可W包括深的和浅的脂肪层、深的和浅的肌肉、筋膜和/或连接组织的模型。 脸上的变形或脸部运动的效果可W通过使用大变形有限元弹力获得，其用来通过仿真的肌 肉激活使脸部变形离开平静位置。每块肌肉单独的W及与通常被共同激活的肌肉组合的动 作可W被仿真W产生分段线性的表情流形或脸部运动模式。在一个实施例中，预先计算的 脸部几何结构在模型中被组合，W使用逼真的变形和皮肤运动产生实时的脸部动画。然而， 其它方法可W被开发W产生预先计算的几何结构或在运行中处理几何结构。在本发明的实 施例中，图形输出可W用来驱动机器人的脸部或类似的物理表示。此外，脸部的物理表示和 图形输出能显示关于图形输出（诸如紧张或舒展或压力）的进一步的细节。
[0268] 学习元件
[0269] 模型还允许学习和/或情节记忆元件。该些元件可存储数据值或权重的集合 的模块的形式实现。权重可W与神经网络相关。在一个实施例中，至少一些权重是突触类 权重。权重可W改变或适应环境或模型的输入中的变化。例如，权重可对多己胺水平作出 反应，其中，较高水平可W指示更加有塑性的状态。W此方式，模型的神经网络可W自动调 节，结果可W随时间变化。社交学习的动态性对开发逼真的交互是关键的，作为与小孩交互 的一方或用户会预料到在提供正或负的增强反馈时小孩会改变其响应。学习模块可W形成 模块的计算部分的一部分，还可W根据需要如上文描述的W图形形式显示。
[0270] 学习模块可W是关联学习元件或关联引擎或模块。例如，模型可W被训练成使得 模型通过对之前的事件作出反应来学习。正增强周期可W出现在与用户的反应似乎表现出 成功的结果时，成功的结果通过系统鼓励权重或路径的增强。两个变量、模块或输入和输出 之间的关联指示在他们之间形成的关系，其中，第一个的变化直接或间接地引起后一个变 化。在一些情况下，多个关联可W形成或者可W来自相同的模块/变量或刺激。该意味着 下一次相同的事件出现时，W类似的方式是优先的。第二示例可W使用负面示例，其中，权 重基于对一些刺激的负面响应而变化。在交互周期中，该允许在关联引擎中构建优先权重 集合，对于模型的反应进行变化或修改。在一些实施例中，刺激和权重之间的关联可W是非 直接的、过滤的或被通过系统或其它学习模块的路径影响。在一些情况下，特别是当关注生 物系统时，学习过程可W适当地是非直接的，变化的全部效果只在虚拟对象的行为中可观 察到。目P，不容易察觉特定的权重是如何变化产生效果的。
[0271] 在一些实施例中，学习模块可W取决于内部活动或内部源或刺激。该允许系统产 生内部世界，而不是只取决于外部刺激。例如，内部稳态失衡（例如疲倦）会影响行为，不设 及外部输入或与其无关。或者行为可能受内部产生的历史/记忆影响，所W会是非直接的 内部响应。在另外的实施例中，与天气系统类似，神经网络可W在其活动中是不断演化的， 其中的一些呈现混乱行为，w非线性方式取决于其过去的状态。在一个实施例中，系统包括 设计为中央模式发生器的神经网络，中央模式发生器即使在与外部刺激隔离时，也生成某 些行为动作。例如，喉呀语可W由有节奏地操作的中央模式发生器（CPG)产生，该可W为学 习模块提供基础。在其它实施例中，学习网络可W形成内部刺激之间的关联，反馈环只具有 非直接外部输出或主要集中在模块之间的交互之间的变化。
[0272] 人们并不知道CPG已经用于数字动画中，CPG提供创建活动的时间序列（可能是 周期性的或有节奏的）的方式。此活动可W是系统的核屯、特征，在生物上是合理的，允许神 经网络或模块的计算元件产生模式。例如，类似哭或笑或呼吸的行为是由中央模式发生器 驱动的。中央模式发生器可W通过使用拟合算法将动画拟合到递归神经网络（RNN)来构造 或编码。在激活脚W时（通过例如激活信号），可W产生模式。产生的模式将可变性引入到 动画中，所W动画不会完全重复（原因是它由潜在的混浊系统产生或一部分具有潜在的混 浊系统），但具有相似的重复。例如，该可W基于相似的输入提供响应的可变性，我们将相似 的输入与一些生物行为关联。
[0273] 在一些实施例中，可能期望固定模块的关联。例如，模型可W被训练成W特定方式 动作，该可能不需要改变。替代性地，系统改变或修改的能力可能随时间或神经行为元件变 化。在该种情况下，关联引擎或模块可W被称作固定的或模式模块。模式模块可W用于图形 元件，包括预先构建的外观（包括脸部表情）。可W有可塑性变量，其可W控制关联模块或 学习模块可能的变化量。该可W通过限制任何时间步长的权重的可能变化来起作用。模块 的可塑性允许调节变化速度，并且可W被优化W在记忆的保持和新记忆拾取之间折衷。在 一些情况下，单个模块的权重可W具有变化的可塑性。可塑性可W受反馈W及（诸如来自 神经递质的）外部调制信号影响。
[0274] 例如，关联模块可W用来教导模块玩简单的游戏（诸如兵鸟球）。模型可W具有为 兵鸟球屏幕的视觉输入的刺激，并通过移动其眼睛输出兵鸟球拍的位置。增强手段可W通 过增加神经递质（诸如多己胺）来提供。当模型成功地通过发出喉呀声的运动用兵鸟球拍 击中球时，模型接收更多的多己胺，神经行为系统可W将此与球/兵鸟球拍的跟踪关联，增 强与此有关的关联模块。
[0275] 示例性模块
[0276] 现在参照图6,通过巧眼的实现示出了模型的灵活性。此特征可W被并入作为如图 5中描述并显示的脸部61、眼睛62和角膜63的脸部结构的一部分。眼睛的巧动是通过动 眼系统协调的，使得巧眼易于在扫视中出现。在一个实施例中，系统可W由具有适当的神经 网络的模块来建模。在动画模型中，巧眼系统也必须具有图形元件-链接到眼脸和眼睛周 围的肌肉。因为眼睛系统的结构化和组合特性W及被加入的计算数据，该些连接是直接的。 然而，眼睛还与大脑的其它区域有复杂的关系。例如，巧眼率可能受多己胺活动的影响。模 型的结构允许此完全不同的复杂系统在不对眼睛系统进行改动时，提供巧眼系统的输入。 如果一些形式的反馈进入神经系统，则该也会被简单地连接。互连两个系统的能力可W依 从于模型的层级结构和每个模块的不同特性。
[0277] 在另一示例中，我们可W考虑当环境出现变化时会发生什么情况，例如，当模型 的视场出现变化时，该是由照相机检测的。照相机的输出映射到仿真视网膜，其检测亮度 变化，并映射到上丘的活动，上丘的活动分解竞争输入，并指导动眼系统（由多个神经核组 成）生成扫视眼运动，扫视眼运动被发送到动画系统。不期望的刺激引起多己胺通过构造 (tectonigral)路径释放。如果影响基底神经节的新的或奖励的多己胺释放，在刺激下下凹 的眼睛，通过赫布化ebbian)可塑性修改当前的运动活动和W后的响应。杏仁核将当前的 情绪状态与刺激关联，可W触发下丘脑的荷尔蒙释放，激活脑干运动回路，驱动脸部肌肉， 通过激活预先计算的生物力学仿真的变形产生动画。子系统的响应和可塑性受不同的神经 调质和荷尔蒙水平的影响，他们也影响有效状态。因为模型的行为受其历史W及外部事件 的影响，动画由复杂的非线性系统动态特性产生，通过参数生理学约束自调节。该基于视觉 环境变化和神经系统的生物理解描述特定的反应集合。然而，应当理解复杂性可能不只通 过描述的模型表达，模型可W变化W根据需要包括或去掉某些部分或特征。 悦7引应用
[0279] 为了提供所描述的系统和方法的可能使用的示例，简要讨论设及游戏环境和广告 环境的应用。然而，本发明可W不仅仅局限于该些实施例。在游戏环境中，用户可W控制与 其它游戏中的人物交互的动画人物或虚拟对象。在许多游戏中，该些人物的动作是非常简 单的或者类似僵尸。该些游戏人物可W使用本发明的实施例实现，有助于克服许多游戏人 物的类似于计算机或类似于机器人的特性或特征。类似于计算机的特性可W包括具有不断 的交互或者具有不变化的交互。
[0280] 基于神经行为模型的人物可W具有宽范围的技能或者没有技能，同时代表非常逼 真的交互。而且，游戏开发者可直接方式调节人物或者允许人物学习，W便根据应用 提供宽范围的不同的人物类型。例如，人物可W被建模成或多或少对神经递质或其它变量 (神经调制）可接受，诸如催产素或多己胺，或者根据该人物的期望使用，具有更慢的反应 时间。模型的互连图形部分使该些变化清楚、令人信服，例如人物如果沮丧，则可能会由于 交互表现出沮丧，该种沮丧的脸部表情可能是相当逼真的和/或基于用户和人物之间的交 互平滑变化的。该可W提供另外的优点，原因是它能够创建具有不同交互能力的多个人物， W产生复杂世界。
[0281] 具有学习方面或模块的人物允许在人物和用户之间的交互被记住，神经行为模型 可W在人物再次相遇时是逼真的。例如，用户对其友好的人物可W具有记住此情况的学习 模块，并在下次交互时进行积极的交互。W此方式，用户和人物之间的交互在图形上是逼真 的，会W现实或有趣的方式通过一系列交互发展。
[0282] 在另外的示例中，系统或方法可W被应用到或与广告装置、显示屏或网页关联。在 此示例中，模型可W与用户交互W呈现想法或产品。模型可W具有为用户脸部的视觉输入 的刺激，提供用户可W看到的动画视觉输出。用户的交互不是单方面的，而是交互式的，该 里，用户对某些信息元件的不同响应可W引起模型处理响应，对关于下次呈现什么或者如 何呈现此信息作出选择。同时，模型的图形或视觉元件呈现逼真的和有感情的脸部表情，W 便改善与用户的关系。因为模型组合了图形和处理元件，它可W构建强大的连接，其至少部 分可W缩小恐怖谷效应。模型的神经行为信息还可W用来判断广告的效果。模型的处理或 图形还可W被修改，W便提供期望的服务。例如，汽车穿梭餐厅可W具有接收订单的模型， 其具有类似人的品质，W便克服任何反计算机的偏见，还可W由类似于与餐厅关联的人物 的图形输出来表示。
[0283] 在另外的示例中，系统可W用在人机交互环境中。机场登记通常是人流密集的，要 求乘客很快通过。然而，有限的成功使用化身或数字实体与乘客交互。该部分是由于缺少 化身的交互性。然而，基于神经行为的化身能够基于乘客响应改变行为W提供更好的服务。 该可通过视觉地监视乘客或者通过查看由乘客提供的答案来实现。描述的模型提供能够感 测和改变行为W及可扩展或可适应不同情况或乘客交互点的系统。
[0284] 系统操作
[0285] 系统可W在通用计算机上运行。系统的架构可W包括多个等级或数据结构。在一 个实施例中，在模型架构中有多个等级。该些等级可W包括：
[0286] ?定义每个模块类型和功能的编程；
[0287] ?组合和排序多个模块的结构；W及 [028引?提供模块之间的联接和通信的结构
[0289] 将模型分成包括不同细节水平的模块的层级允许模型中的模块之间的广泛互连， 原因是模块之间清楚分开，但整体结构提供连接他们的手段。例如，如果连接是对眼睛，贝U 眼睛可W与脸部或鼻子分开，允许不影响剩余的模型建立与眼睛的新连接。模型的组织结 构还允许容易地找到眼睛并产生链接。在一些实施例中，连接可W在模型中的基本上任何 变量之间进行。
[0290] 该可W允许图形与神经模型交互，形成复杂的动画系统。在一些实施例中，所描述 的结构提供W直接方式产生复杂的动画的能力，原因是它使设计等级和技能分开和区别。
[0291] 该允许第一用户创建模块；第二用户适当地构造和对模型分组，第S用户建立模 块之间的连接和数据流。连接可W看成是描述模块之间或者模块或系统的变量之间的相互 关系的一种方式。在一些情况下，单个用户可W执行任务中的每一个任务，但可单独方 式进行，W便可W在不影响系统或者不要求大的重构或重组系统时更新一个部分。W此方 式，模型可W由模块或模块模板的库或集合构造。该允许将建模分成编码/准备部分和（模 块/模块模板的）汇编和（连接器的）链接部分。汇编部分不一定要求编程部分的理解或 者技能组，并且可W由模型结构领域的技术人员W直截了当的方式执行。模块模板可W是 不用清楚限定功能的模块的宽泛描述。该些可W通过增加功能或图形来重新定义，例如由 已知的科学模型来形成模块。库可W根据建议的构造方法包括模块和模块模板的混合。库 可W包括能够产生行为结构或神经行为结构的模块的集合。
[0292] 在一个实施例中，操作员或用户选择模块W包括到模型或网络中，选择模块之间 的连接，调节与模块关联的参数W及模块在所需结构中的相对位置。操作员然后观察在屏 幕上显示的数字实体或化身，调节会影响由模型控制的化身的响应的特征的模块选择、位 置、参数和模块的连接的组合。例如，化身的人物可W通过改变所需结构的拓扑或布局来被 影响或配置。新模块可W被增加，模块部分被复制或者结构部分（例如树分支）被去掉。模 块或系统之间连接的变化也会影响人物-例如，如果不再在模块之间发射神经递质，或者 传输不再那么有效。所需的配置量取决于差异的水平，或者化身或虚拟对象的行为之间的 差异的重要性。
[0293] 在一个实施例中，额外的信息处理能力是基于不同信号的精确定时，该对系统是 可调节的参数。因此，模型的结果可W取决于信息是如何通过模型连接的。在一个实施例 中，模块的相对位置可W是参数。该能够使模块的运动引起位置-参考数据被调节。在一 个实施例中，单纯的暂时参考帖代替位置参考帖被使用。
[0294] 模块应当首先或者在使用之前适于被模型识别。多个模块的结构或层级然后可W 被创建。结构上的每个点或节点可W链接到其它节点，并且可W包含