[0236] 在本发明的实施例中，生物行为是通过提供图形输出的生物模型仿真的。图形输 出可W指任何形式的视觉或呈现的输出。例如，产生行为和社交学习的大脑过程用来制作 可与用户交互的脸部的逼真模型的动画。在本发明的另一实施例中，所述模型可W应用到 交互式动画。所述动画可W合并交互式行为和学习中设及的基本神经系统的多尺度计算 模型。每个计算单元或模块可W起自包含黑盒子的作用，能够实现任何尺度的一系列模型 (例如从单个神经元到网络）。模块然后可W链接W创建形成模型的网络或结构。
[0237] 神经行为模型使用底层神经路径或回路来产生行为。产生的神经回路复杂度可W 从相对简单的反馈环或神经网到复杂的生物系统的呈现。因此，虚拟对象或数字实体包括 人或动物的大的模型，诸如小孩的脸W及其它任何呈现的或者能够在虚拟或计算机产生或 实现的环境中使用的模型。在一些情况下，对象或实体可W是不完整的，他们可W局限于实 体的一部分，例如诸如手或脸的身体部分；特别是在不需要完整模型时。人或对象的化身或 其它呈现包括于数字实体或虚拟对象的定义中。在一些实施例中，数字实体或虚拟对象的 人物或行为可W通过神经行为模型改变。系统制作数字实体或虚拟对象的动画，W便允许 实体或对象的真实运动或变化。
[0238] 动画可W合成或复制行为，通过先进的3D计算机图形模型呈现此行为。在宽泛的 意义上，模型可W提供可W适应外部刺激的行为系统，该里外部刺激指与模型的内部刺激 分离的刺激。例如，一个实施例可W与人通过屏幕界面交互，或者可W实现为机器人。此功 能可w通过神经类型的系统或者神经类型的系统和神经系统的功能替代的混合来实现。所 述系统的一个实施例可W称作是自动画的，原因是动画是根据外部刺激使用习得的方法执 行的，而不需要干预动画。
[0239] 在本发明的实施例中，模型的图形/动画元件与模型的计算元件在所需结构（优 选是层级结构）中链接。该结构允许代码的一部分被包含或被分组，意味着该部分可W作 为一组组件被复制或移动。所述结构可W包括从属结构，从属结构包括树状元件。在替代 性布置中，层级结构可W另一种形式实现W产生所需结构。在一个实施例中，可W使用多个 层级。所需结构的一个重要特征是它提供模块之间的进一步的链接，所述链接重点在关系 或物理或伪物理布置。W此方式，所需结构提供模型中的每个模块的基础或关系结构。在 优选的实施例中，所需结构按层级排列，W便容易地显示和理解结构。由于包含图形和计算 元件的模块W清楚和可构建的方式被关联，该允许改进地描述模型并且允许建模者更高效 地构建模型。
[0240] 本发明的实施例可W包括由层级结构中的一系列模块定义的模型。该可W类似于 将物理元件分解成其合成或组件部分的方式。每个模块可W具有零个、一个或多个从属模 块。多个模块可W形成树状结构。此结构用于或设及图形结构，但还包括计算元件。计算 元件可W单独地但类似所需的/层级结构定义。元件可W引用代码的区段、子模块或部分 或与代码的链接，W执行功能。有单独的代码元件允许分离每个模块中的不同功能的控制。 优选地，模块可W包含计算和图形元件中的两者或任何一个。在优选的实施例中，每个模块 能够包含每个元件，只要求该元件被激活。W此方式，在查看层级和模块之间的关系时模型 的结构被清楚地观察，其计算元件和图形元件是清楚的。因此，模型可W提供创建神经行为 或屯、理行为动画的改进方法。在一些实施例中，可W有更多的元件，W提供附加特征或分离 模块结构。传感元件可W包括于一个、多个或每个模块中，W便允许来自内部或外部刺激的 输入。
[0241] 图形元件通常包括几何结构、着色器和纹理信息或代码。图形元件的该些特征可 W被外部模块连接或修改。着色器和纹理可W用在通用GPU (GPGPU)意义上W用于计算。图 形元件的一种典型实现可W用于虚拟脸部。脸部的几何结构、纹理和着色器可W保存在称 作"脸"的目录中。脸目录还可W包含与脸关联的计算元件。W此方式，图形元件和计算元 件包括于所需结构的单个模块中，但也是分开的，W允许管理和更新或链接。具体地，不同 的图形元件和计算元件可W被操作，例如显示脸部的神经网络或运动的操作。例如，计算元 件可W将来自脸神经核模块的肌肉激活变量馈送到着色器或动画变形模块，着色器或动画 变形模块可W:
[0242] ?使脸部几何结构的顶点变形
[0243] ?修改被读取的纹理数据的映射（例如W基于由于血流造成的表情，改变皮肤的 外观）
[0244] ?基于在着色器外部计算的连接应变信息，修改阴影计算。
[0245] 所需结构由多个模块之间的连接补充。该些连接或链接有助于控制计算系统和动 画需求之间的复杂的动态和相互-关系。连接可W在模型中的任何模块或元件（包括图形 和计算模块）的输入和输出（变量）之间链接。模型的图形和计算方面的此通信和灵活性 允许设计者/程序员或用户高效地创建非常复杂的模型。不需要复制分离的或者弱链接的 特征或动作，w及模型的图形和计算部分。在本发明的实施例中，输入和输出可w优选通过 高级模块连接或路由，使得层级的分支可W变成基本上自包含的。大多数连接然后可W连 接到高级模块，W避免进入内部模块的复杂度。连接和其它模型特征提供调制系统中的信 号的手段。信号的调制允许行为是可训练的，训练成高效的，原因是训练与模型的细节无 关。例如，神经递质可W实现为与多个模型的连接，其值可W改变W适应模型或模型行为。
[0246] 连接可W在模块的图形和计算元件之间建立，该些连接提供基于复杂的生物模型 创建复杂的类似人的仿真手段。连接可W提供第一和第二变量（其中，变量是模块的输入 和/或输出）之间的关联。该改进了现有技术的系统，现有技术的系统允许创建神经模型， 但具有有限的图形或动画，限制了该些图形或动画之间的界面。通过组合图形和计算元件， 反馈环和动画和底层模型之间的关系可W被控制和/或描述。该还允许更高效地更新模 型，原因是内部关系在更新或优化过程中可W是可见的，包括实时的。
[0247] 在本发明的实施例中，每个模块与其它模块连接，W形成网络或所需结构。在此实 施例中，变量（显示为模块上的点，在此直线与模块连接）由连接（可W称作传输线）连接， 该些连接连接变量并可W引入延迟，延迟取决于或代表网络中互连模块之间的距离。在一 些实施例中，连接使用或根据与连接模块关联的位置参考数据确定延迟。在其它实施例中， 延迟引入模块中或者在单独的延迟模块中。在一些实施例中，时间提前代替延迟使用，或者 可W不存在延迟。连接可W在模块之间传送形式为时间-信号的基于时间的数据。模块对 信号连同其它信号进行操作，W产生用来控制化身或数字实体的响应，该响应例如在屏幕 或其它数字呈现装置上显示给用户。所接收的基于时间的信号的相对时间和操作会影响模 块的输出。因此，数字实体、化身或虚拟对象的响应和/或响应的特征可W被W下的一个或 多个影响；模块的选择、模块功能操作的选择、模块在网络内的布置和/或模块之间的相对 位置和连接选择。
[0248] 如本文中使用的词语"连接器"或"传输线"可W是适于连接两个或多个变量的任 何通信线，可W包括面向对象的界面。时间和/或延迟属性可W被模块之间的连接影响。例 如，在每个时间步长变量从发射变量移动到接收变量的实施例中，发射和接收变量之间的 干设模块的存在会使数据的通信延迟。在其它实施例中，连接本身可W具有定时或延迟组 件。优选地，使用标准化的网络或通信格式，使得所有的模块可W在变量之间通信。该可能 需要定义模块内部的代码如何产生标准化的网络格式的包装器或模块的初始化。在替代性 实施例中，模块的位置和模块的视觉距离或其它位置参考数据可W影响定时。
[0249] 大脑和脸部特征的一个示例性模型示于图1中。所述模型可W包括生物、计算和 图形元件。优选地，计算和图形元件可W宽泛地或基本上基于生物系统。在一个实施例中， 生物建模架构允许一系列低级模块被连接，或被构建成组，然后被连接W形成高级组件。该 可W遵循或由进化的分层结构或进化的神经结构衍生出，其中，简单的基本模型被链接，并 被组合W产生复杂的整体特征。基本模块可W给模块的核屯、功能提供高级模块，提供连接 到此更基本系统的附加功能。生物建模架构然后用来基于生物学构建动画系统。系统的一 个优点是复杂的动画系统可W通过构建多个单独的、低级模块来构造，他们之间的连接给 模型提供类似于人的或者类似于动物的能力。
[0巧0] 图la图解说明模型的总图，其示出了包括一些周围特征的大脑的呈现。此模型 可W包括神经系统的子模型和神经解剖，神经解剖包括基于科学模型的系统和神经网络系 统。具体地，可w使用已知类型的生物神经网络。此结构能够使由产生行为的计算模型产 生的内部过程可视化。此结构还提供用户和系统之间的可描述或可理解形式的交互。模型 或模块可W由理论模型、数据驱动的经验模型、该些或简化模型的组合来驱动。在一些实施 例中，模型的交互特性允许化身或动画的行为变化，W便构造期望的行为或测试行为模式 或生物效应。
[0251] 诸如图la的化身、数字实体或动画的创建需要用于神经系统的构造、可视化和动 画的建模方法。用于神经模型的新模型环境和方法被公开，并可W称作大脑语言炬L)。BL 允许用户从基于生物的神经网络模型创建动画和实时可视化，并允许在交互式背景下查看 模型效果。例如，图1示出了模型的大脑和眼睛21的图像，部分22和变量、输入或输出23、 24、25。该种视觉环境不仅适于创建模型，对于模型的开发和模型的可视化也是理想的。可 视化可W使用用户界面，W允许调节网络或允许配置输入W便被用户接收。模型可W使用 照相机、麦克风或根据需要其它任何传感器可视地、可听地或图形接收输入，提供输出。不 同形式的输入可能需要具有适当的包装器的不同的输出模块，W将数据合并到模型中。 悦5引化建模环境提供用户和模型之间的双向通信。在实施例中，模型可W与用户通过 视觉和/或听觉通信进行交互。该意味着模型可W发出声音、改变方向或位置、W同样方式 对用户作出反应，并且优选地该些动作应当是逼真的W及类似于人的。在一个示例中，如果 用户没有注视模型的方向，则模型可能会哭。替代性地，模型可W监视并对在其环境中的声 音或动作作出反应。在进一步的实施例中，环境中的声音或动作可W影响模型随时间的操 作。动画、环境（通过传感器）和神经模型之间的交互是可能的，原因是建模环境提供用于 复杂系统的互连的丰富结构。该提供了测试、改进和优化模型的手段。
[0253] 图2图解说明了动画输出，它是幼儿的脸部和上身的3D呈现。输出呈现可W显示 模型结果W及影响模型。例如，系统可W实时地分析视频和音频输入W使用行为模型对护 理者或同行的行为作出反应。类似地，模型可W被动画正在注视的方向和任何外部声音或 动作影响。外脸部可W使用生物力学信息或建模来呈现。在动画中，该通常是基于肌肉的 形状。在替代性实施例中，输出可W是机器人、卡通人物或其它装置的一部分。该些可能不 直接与人或类似人的特征类似，但可W共享类似人的动作或响应。在基于动物或类似人的 特征的实施例中，模型的生物基础可W允许或要求产生更逼真模型的逼真建模限制。与动 画输出31 -起，还可W显示许多变量、输入或输出32 W提高对模型的理解。
[0巧4] 系统还能够描述和制作数字实体的动画。描述允许数字实体通过模型部分的结构 和布置被查看。由于设计和动画是紧密禪连在一起的，该使得用户能够高效地构造模型，而 不要求创建单独的神经模型和动画模型，然后再在后面禪连。模型的描述可W包括系统是 什么W及系统的各部分如何连接的运行数据和/或描述。数字实体的动画与此描述紧密禪 连，但增加了与系统如何运行W及系统的每个部分如何在时间步长中操作的计算和图形信 息。模型的紧密禪连是由包含及直接链接图形、计算和/或变换元件的模块产生的特征，使 得每个模块形成总模型的一个区断。该允许组件级的模块被构造成凝聚连贯的整体，或者 组合形成连接模块的结构。
[0巧5] 在一个实施例中，模块可W包括用于脸部动画的肌肉级的组件。该可W由神经行 为模型驱动，可W具有与肌肉有关的图形元件和与肌肉的操作有关的计算元件。肌肉组件 可W从模型接收建议采用的优选位置或动作的输入。神经网络模式发生器可W从类似的肌 肉组件的集合接收输入或预期输出，并将他们组合，形成用于较大肌肉或肌肉区的连贯的 输出效果。因为图形输出的低级控制，可W形成非常复杂的脸部表情。该是因为模型不仅 尝试组合一系列可能的表情，或者将脸部的数据点的网格匹配，而是基于动物或人类的解 剖或生物系统构造脸部表情。稍后描述的其它实施例可W通过输出或表情和有限元弹性的 组合提供连贯的脸部表情。
[0256] 对模型的图形和计算元件的低级控制还提供在细节级的范围内学习模型的各个 方面的能力。例如，如果特定肌肉的动作是重要的，则模型可W局限到显示该个动作，同时 维持模型的剩余部分的计算或操作。类似地，模型可W显示输出的图形动画和关于模型的 计算的输出，包括此计算的图形输出。例如，小孩的模型可W用来探究多己胺对巧眼率的效 果。主要的图形输出可W是小孩的脸部或头部W及其脸部运动。然而，小孩体内的多己胺 水平的曲线也可W可视化，W便类似于图2中所示的进行比较。在第二示例中，小孩的模型 可W用来与用户交互，W对多己胺对特定行为的奖励学习的效果建模-例如，当小孩作出 某个表情时，用户积极地应答，然后多己胺调制可塑性的学习效果意味着此表情极有可能 被重复。用户可W看到小孩脸部行为的变化，还看得见纹状体（striatal)神经网络的突触 权重的变化。
[0257] 在一个实施例中，仿真神经回路的可视化可W允许用户在任何给定时间或者在更 示意性的显示器上看到产生行为的在神经解剖背景下正在起作用的神经回路。此模型的特 征是用图形观看皮肤下面，看到对激活脸部肌肉有贡献的神经回路模型的活动。化中可用 的查看形式的范围允许用户在神经解剖背景下随屯、查看模型的各个部分W及提供更加传 统的"数字集中的"显示器，该可能更适于更加抽象的模型W及实时模型参数修改。
[0巧引可视化可W通过向来自模型中适当模块的多己胺变量的多己胺变量或连接增加 图形元件或可视化元件来实现。用户然后可能想检查药物对多己胺/奖励系统的效果。该 可能设及将来自药物的连接器增加到神经行为模型的模块。用户可能想要看到该是如何影 响神经系统的一些部分的操作的。该还是可W通过创建或激活与系统的该部分关联的图形 或可视化元件来实现，该可W在多个等级上从脸部组件到个别的神经元模块被激活。该是 可能的原因是仿真是由具有所需结构的模块的组合构建的，模块具有计算和图形元件，使 得基于计算或数据的处理和图形处理可W被个别地或单独地研究、描述和修改。基于模块 的方法还允许通过在所需结构中引入另外的模块来增加计算或显示元件的进一步的细节。 W此方式，产生例如脸部行为的模型的状态可W通过图形和示意图或者通过探究映射到底 层神经解剖的活动而被可视化。
[0巧9] 动画/图形
[0%0] 图2示出了具有类似人的脸部的动画。逼真的脸部和脸部表情的产生和动画制作 可W通过使用模型来实现。神经控制系统作为用于脸部动画的产生模型是优选的，原因是 它通过构造表情的块来构造脸部运动。该可W有助于创建数字实体或虚拟对象中的更加一 致的总体表情。脸部运动的神经控制需要使用多个并行系统，包括自发感情系统，他们在解 剖学和功能上与脸神经核不同。基于与神经系统的连接控制脸部动画或表情的能力提供了 产生逼真的动画并配置和优化动画W便使其更加类似人的手段。模型的脸部动画可W基于 脸部运动系统的架构使用神经解剖模型。该可W从与模型关联的其它模块获取输入，不过 优选是基于已知的科学模型。在系统的实施例中，脸部或其它图形特征可W形成结构的单 独部分或者单独的结构，w便集中在真实脸部的图形需要。此脸部结构然后连接或链接到 神经行为模型，W便被控制。
[0261] 在本发明的实施例中，复杂的图形输出（诸如脸部）可W由只包含或者大的图形 数据的一系列模块形成。W此方式，脸部可W与计算方面更无关，W允许改变脸部（或者其 它图形图像）的细节。脸部可W被设置为一组模块，第一模块代表脸部，所需结构中的多个 模块则代表子特征。在第一示例中，模块可W只代表脸部的表面，或者在第二示例中，模块 可W代表脸部和脸部后面的肌肉或者组织元件。脸部的特征可W根据上文讨论的获得，其 中，一系列的脸部表情被计算、记录和描述。在一个实施例中，脸部表情可W在模型中混合， W产生复合表情。使用混合脸部表情的优点是该确保表情是完整的，使用所需肌肉的全部。 例如，一个人强颜欢笑可W通过笑容的非对称特性与发自内屯、的笑相区别，该是因为个别 肌肉被命令，代替一起操作的肌肉的刻意的微笑模式