神经行为动画系统的制作方法
【技术领域】
[0001] 本发明设及能够制作动画的仿真虚拟对象或数字实体的系统和方法。本发明特别 应用于使用基于生物的模型或者行为模型特别是神经行为模型制作动画的方法和系统。
【背景技术】
[0002] 随着动画和数字技术的发展，个人用户和计算机或数字实体之间的界面或交互有 很大发展。能够智能地处理信息、W类似人的方式交互并呈现自身的类似人的机器或计算 机系统是期望的。该部分是因为个人用户与类似人的系统和/或机器人交互得更好。其次 是更类似人的系统可W具有更加逼真的动作、响应和动画，因此，降低了包括恐怖谷效应的 感知技术的障碍。
[0003] 该种类型的动画有许多明显的技术问题。首先，类似于人或类似于动物的功能需 要被建模，该本身是极其有挑战性的。获得类似于人的功能，并使用该功能来创建用户或观 看者信任的视觉或图形响应也有挑战。困难响应的一个示例是脸部表情。如果系统是与用 户交互的系统，即交互式的，则处理视觉和/或音频输入数据有另外的挑战。
[0004] 该些挑战也有技术问题。类似于人的模块需要W系统是灵活的（需要根据所需应 用而变化）并由程序员/开发者可使用的方式与图形、动画和传感器集成（系统应当是相 对直观的或至少能够大致被程序员理解），同时还能被有效地编译和运行。
[0005] 现有的系统不能充分解决该些问题。在下文讨论一些已知的系统。
[0006] 动画类型的程序
[0007] 控制系统和信号处理领域已经产生了诸如Simulink?和VisSim?的可视编程语 言。该些视觉系统的使用已经扩展到其它领域，因为该些系统提供创建系统并自动生成编 程代码的有效方式。在典型的示例中，Simulink?系统可W通过连接一连串块单元（块单元 代表例如一个电组件或一组电组件）来构造，W便根据需要链接输入和输出。此系统然后 通过评估块结构和系统属性来被编译，W扁平化结构重新构造模型，并给块操作排序。在该 个意义上，视觉设计用来创建模型的可理解视图。然而，模型W排序的和集中的方式操作。 类似的视觉类型的程序也已知用来使编码过程或回路布置更加直接了当。
[0008] 动画和3D绘图程序也是已知的，例如Autodesk Maya?使用节点图形架构来代表 复杂的3D图形。Autodesk Maya允许通过多个不同的等级来产生和结构化动画。指令然后 可W提供给动画，W鼓励与环境的交互。一些程序在动画和功能方面接口，包括使用Jitter 的Max?可视编程。在该些情况下，图形引擎基本上与一些其它的程序或装置（诸如用于 Jitter的声音）分离或由其控制。在其它情况下，动画仿真的复杂性是通过使用可能动 作的有限集合来克服的。例如，化vok Animation Studio?(HA巧通过使用有限的状态机 (FSM)提供有效的人物动画。使用南加利福巧亚扣SC)大学研究院的创新性技术（ICT)的 Virtual Human工具箱、Cerebella,可W基于附带的对话产生动画物理行为的自动生成，然 而，Cerebella需要输入关于人物的屯、理状态的详细信息W创建适当的动画。
[0009] 神经模型系统
[0010] 基于神经网络的模型（包括诸如s順S和Emergent的程序）提供了各种各样的神 经网络环境。在不同的程序中，模型可W提供生物类型的神经元或可W构建人工神经网络。 有效的神经网络可W包含成百上千个神经元来仿真甚至更直接的模型。使用大的神经网络 的复杂性导致尝试建立基于人工智能（AI)的装置。诸如由MIT Leonardo开发的那些社交 或个人机器人看上去具有类似于人的品质。然而，他们必须W严格的不可变的方式被编程， 通常他们要求特殊实现可能的动作，并取决于特定的硬件或者是不可变的。
[0011] 人工智能机器人
[0012] 神经-机器人和/或基于大脑的装置尝试通过复制基于大脑的功能来创建期望的 交互从而产生类似于人的系统。该些模型通常是非常大的，由低级的神经元复制完整的大 脑系统，将系统与类似于生物交互的系统链接。基于大脑的装置是被构建成仿效由神经系 统产生的行为的机器人。该些装置通常尝试具有类似于人的动作和传感器阵列，但不提供 通过与人交互的交互式体验。基于大脑的装置被设计用于具体的机器人或应用，通常不能 广泛支持大范围的不同操作。
[0013] 总之，已知系统不具有充分执行W下当中的一个或多个的能力：
[0014] ?适应具有不同等级的仿真细节的多个模型；
[0015] ?执行高等级和低等级仿真；
[0016] ?集成和优先考虑作为仿真的一部分的动画和图形；
[0017] ?提供可W共同包括仿真系统的多个模型的视觉或动画输出；
[0018] ?提供具有调节、去掉或复制模型组件所需的灵活性的环境；
[0019] ?提供对建模者或开发者容易理解的环境；
[0020] ?提供基于生物神经系统的动画系统；
[0021] ?提供学习能力。
[00。] 发巧目的
[0023] 本发明的目的是提供用于仿真虚拟对象的计算机实现的系统或方法，他们能够克 服或者至少缓解上述问题中的一个或多个，或者至少提供一种有用的替代。
[0024] 本发明的另一目的是提供用于基于神经行为模型提供动画现实或虚拟对象或数 字实体的计算机实现的系统或方法。
[0025] 本发明的另一目的是提供用于基于神经行为模型描述数字实体的计算机实现的 系统或方法。
[0026] 本发明的另一目的是提供具有提高的复杂性、细节、丰富度或对刺激的响应的化 身，W及用于控制是交互式的化身并允许调节交互特征的系统。
[0027] 本发明的其它目的通过W下描述将变得显然。
【发明内容】
[002引在一方面，本发明解决了灵活地将真实世界的输入刺激与机器中的虚拟神经行为 模型或模型组件集成的技术问题，使得机器提供交互式动画。
[0029] 在另一方面，本发明解决了使用机器集成不同规模的个别神经或神经行为模型的 技术问题。
[0030] 在另一方面，本发明解决了允许模型组件之间的关系变化或改变的技术问题，使 得程序员可w使用机器来容易地识别和实现整个神经-行为模型中的变化或者动画或动 画的交互方面的变化。
[0031] 在第一方面，本发明可W宽泛地提供一种用于制作虚拟对象或数字实体的动画的 计算机实现的系统，所述系统包括多个模块，所述模块具有计算元件和图形元件，
[0032] 所述模块W所需结构排列，
[0033] 每个模块具有至少一个变量，并与至少一个连接器关联，其中，所述连接器将所述 结构中的模块之间的变量链接，所述模块一起提供神经行为模型。
[0034] 在一个实施例中，所述模块W诸如层级结构的结构排列。
[0035] 在一个实施例中，所述层级包括树结构。
[0036] 在一个实施例中，所述结构由所述动画对象的生物结构的生物性质衍生出。
[0037] 在一个实施例中，所述结构由进化的神经结构衍生出。
[0038] 所述层级可W是树结构，并且可W取决于动画对象的性质。例如，所述层级结构可 W由动画对象中存在的或其需要的生物性质或结构衍生出。因此，如果对象是脸部，则所述 结构可W包括该样一种层级，其中，包括关于角膜的计算和图形特征的模块依从于（层级 上低于）关于眼睛的模块。
[0039] 所述层级结构可W另外或替代性设及仿真对象的进化性质或结构，例如进化的大 脑或神经结构。
[0040] 树结构的使用便于识别仿真对象的背景下的模块功能。
[0041] 连接器的使用提供了显著的灵活性，允许在多个模块之间链接变量，产生模块之 间的链接，形成复杂的神经行为模型。连接器还在降低模型特征的重复时有帮助，并提供对 系统建模和系统操作时更高的效率，原因是连接器清楚地指出系统是如何链接的。
[0042] 在一个实施例中，所述系统包括具有听觉或图形或视觉输入或刺激的至少一个模 块和具有听觉或图形或视觉输出的至少一个模块。
[0043] 在一个实施例中，所述系统的一部分代表大脑。
[0044] 在一个实施例中，每个模块的图形元件可W在可视和隐藏之间切换。
[0045] 在一个实施例中，模块可W有超过一个可能的图形元件。
[0046] 在一个实施例中，一个或多个模块的图形元件包括计算元件的代表。
[0047] 图形元件可W提供模块中对GPU的支持、着色器和其它图形工具，W便有创建每 个或任何一个模块的图形输出的直接手段。例如，模块的神经元活动可W连接到颜色、听觉 或视觉输出而不需要产生新模块。
[0048] 在一个实施例中，模块代表一个或多个神经元。
[0049] 在一个实施例中，模块可W代表生物模型。
[0化0] 在一个实施例中，所述模块中的至少一个可W代表高级系统，所述模块中的至少 一个可W代表低级系统。
[0化1] 在一个实施例中，来自模块的变量可W通过连接器链接到多个模块中的任何一 个。
[0052]在一个实施例中，所述模块可W具有通过执行模块操作的一部分的所需结构与其 关联的附加模块。
[0化3] 在一个实施例中，所述模块中的至少一个是关联模块，所述关联模块通过变量权 重链接所述模块的输入和输出。
[0054] 在一个实施例中，所述关联模块具有固定权重。
[0化5] 在一个实施例中，模块的图形元件可W被打开或关闭。
[0056] 在一个实施例中，模块可W具有多个图形元件，每个元件具有单独的图形输出。 [0化7] 在一个实施例中，所需结构建立模块之间的关系。
[005引在一个实施例中，所述多个模块可W具有变换元件。
[0化9] 在一个实施例中，所述变换元件基于由所需结构链接的模块修改模块的图形输 出。
[0060] 在一个实施例中，所述多个模块中的至少一个具有图形输入。
[0061] 在一个实施例中，所述系统具有至少一个图形输出。
[0062] 在一个实施例中，所述多个模块中的一个产生链接变量的图形输出。
[0063] 在一个实施例中，所述多个模块中的一个具有来自外部一种或几种刺激的输入。
[0064] 在一个实施例中，所述系统能够学习一种或几种外部刺激。
[0065] 在一个实施例中，所述系统从外部提供刺激。
[0066] 在一个实施例中，所述系统与用户或环境交互。
[0067] 在一个实施例中，所述模块的一个或多个具有学习或记忆元件。
[006引在一个实施例中，所述学习元件由关联元件实现。
[0069] 在一个实施例中，所述关联元件是突触权重模块。
[0070] 在一个实施例中，模块的操作通过连接到所述模块的调制值来调制。
[0071] 在一个实施例中，所述调制值与神经递质/神经调质有关。
[0072] 在一个实施例中，每个模块在所述模型是时间步长时执行动作。
[0073] 在一个实施例中，所述对象可W是虚拟对象。
[0074] 在一个实施例中，所述连接器可W使用标准化网络格式通信。
[0075] 在一个实施例中，所述连接器可W传送时变数据。
[0076] 在一个实施例中，所述连接器可W引入定时和/或延迟属性。
[0077] 在一个实施例中，所述定时和/或延迟元件可W取决于连接或结构的性质。
[007引在另一方面，本发明可W宽泛地提供一种用于制作对象或数字实体的动画的计算 机实现的系统，所述系统包括多个模块，所述模块具有计算元件和图形元件，
[0079] 每个计算元件具有模块类型和至少一个变量，并且与至少一个连接器关联，
[0080] 其中，所述连接器链接模块之间的变量，被链接的模块一起代表制成动画的虚拟 对象的图形和计算模型。
[0081] 在一个实施例中，所述系统包括输入，所述输入用于接收听觉或视觉输入刺激。
[0082] 在一个实施例中，本发明可W包括传感元件。
[0083] 在另一方面，本发明可W宽泛地提供一种用于制作对象的动画的计算机实现的系 统，所述系统包括多个模块，
[0084] 每个模块具有从接口类型、动画类型和神经元类型中选择的类型，
[0085] 每个模块具有变量，并与连接器关联，
[0086] 其中，所述连接器链接模块之间的变量，被链接的模块一起代表动画对象的图形 和计算模型。
[0087] 在一个实施例中，每个模块可W从多个预先定义的模块中选择。
[008引在一个实施例中，所述系统可W包括是接口类型的输入模块和是动画类型模块的 输出模块。
[0089] 在一个实施例中，所述系统可W包括一个或多个学习模块。
[0090] 在一个实施例中，所述输入和/或输出可W包括图形或计算信息。
[0091] 在一个实施例中，所述模块被排列成模拟生物结构。
[0092] 在一个实施例中，所述模型是神经行为模型。
[0093] 在又一方面，提供了一种对动画编程的方法，所述方法包括步骤：
[0094] 创建模块的所需结构，每个模块与动画的一部分关联，并能够包括计算元件、图形 元件、变换元件和输入和/或输出的集合，其中，计算和图形元件与一部分动画关联，
[0095] 创建多个模块之间的多个连接，所述连接出现在每个模块的输入和输出之间，
[0096] 其中，模块的层级和多个连接限定动画系统和动画系统的模型控制。
[0097] 在一个实施例中，所需结构是层级。
[009引在一个实施例中，所述输入和/或输出是模块的变量。
[0099] 在一个实施例中，所述层级和/或连接可W复制神经行为系统。
[0100] 在一个实施例中，所述层级和/或连接可W复制神经回路。
[0101] 在一个实施例中，所述方法可W包括另一步骤；改变元件之间的连接W改变动画。
[0102] 在一个实施例中，所述模块的一个或多个可W是学习模块。
[0103] 在一个实施例中，所述方法可W包括另一步骤：允许学习模块基于输入和/或输 出的集合修改。
[0104] 在一个实施例中，所述学习模块的可塑性可W被改变。
[01化]在一个实施例中，所述方法包括步骤；从多个预定义模块或模块类型中选择每个 模块。
[0106] 在一个实施例中，所述方法包括步骤：调节预定义模块W提供期望操作。
[0107] 在一个实施例中，所需结构的模块中的一个或多个是学习模块。
[0108] 在一个实施例中，所述方法包括步骤：允许学习模块基于输入数据修改，然后固定 学习模块的操作。
[0109] 在另一方面，本发明可W宽泛地提供一种制作对象或数字实体的动画的计算机实 现的方法，所述方法包括步骤：
[0110] 提供多个模块，所述多个模块一起仿真神经行为模型，多个模块中的每个模块具 有图形元件，W及
[0111] 处理所述模块，使得对象或实体的解剖特征的变换产生该解剖特征的一个或多个 子部分的相应变换。
[0112] 在另一方面，本发明可W宽泛地提供一种制作对象或数字实体的动画的计算机实 现的方法，所述方法包括步骤：
[0113] 提供多个模块，所述多个模块一起提供神经行为模型，多个模块中的每个模块具 有图形元件，
[0114] W时间步长方式处理所述模块，W提供在每个时间步长中每个模块的图形信息，
[0115] 评估实时约束，W及
[0116] 如果满足所述实时约束，则擅染所述图形信息。
[0117] 在一个实施例中，图形信息的擅染可W出现在已经处理多个时间步长之后。
[0118] 在另一方面，本发明可W宽泛地提供一种用于制作对象或数字实体的动画的计算 机实现的系统，所述系统包括多个模块，所述多个模块能够具有计算元件、图形元件和一个 或多个变量，
[0119] 其中，所述多个模块中的至少一个创建图形输出特征，
[0120] 所述多个模块中的至少一个适于改变所述图形输出特征的外观，W及
[0121] 所述多个模块中的至少一个是关联模块，所述关联模块包括链接输入和输出变