动态响应虚拟角色的多模态模型的制作方法

动态响应虚拟角色的多模态模型
1.相关申请交叉引用
2.本实施例要求2019年6月6日提交的题为“动态响应化身的多模态模型”的美国临时专利申请no.62/858,234的优先权，通过引用其整体并入本文。
技术领域
3.本技术的教导一般地涉及对设备上的虚拟角色的控制。本技术的教导更具体地涉及使用多模态模型控制设备上的动态响应虚拟角色。


背景技术：

4.虚拟角色(或“化身”)可以便于与用户设备(例如，智能电话，计算机，增强现实设备)上的用户的交互。虚拟角色可以包括在用户设备的显示器上显示的环境中描绘的角色的虚拟代表。虚拟角色不需要具有视觉形式。他们只需要能够通过用户设备与用户进行通信。可以确认和检查来自用户的输入以确定虚拟角色要采取的动作。虚拟角色可以采取所确定的动作(例如，执行动画，语音)，便于虚拟角色和用户之间的持续交互。
5.生成虚拟角色的一个重要考虑是虚拟角色响应于用户接收到的输入而采取的动作的准确性。通常，对输入的更准确响应可以增加与虚拟角色交互的用户体验。相反，如果虚拟角色误解了用户提供的输入，则虚拟角色可能对输入提供不准确的响应，降低与虚拟角色的用户体验。
附图说明
6.图1示出了根据多种实施例的用于控制虚拟角色的输出的多模态模型的流程图。
7.图2示出了根据多种实施例的使用多模态来纠正虚拟角色的错误的流程图。
8.图3示出了根据多种实施例的用于控制虚拟角色的多模态模型的流程图。
9.图4示出了根据多种实施例的在多模态模型上实现的与虚拟角色交互的系统。
10.图5示出了根据多种实施例的在设备上显示的虚拟角色示例。
11.图6示出了根据多种实施例的用户和显示虚拟角色的用户设备之间的交互的流程图。
12.图7示出了根据多种实施例的从虚拟角色反应中提取洞见的流程图。
13.图8示出了根据多种实施例的洞见仪表板。
14.图9示出了根据多种实施例的使用多模态模型控制虚拟角色的方法的框图。
15.图10是示出处理系统的示例的框图，在其中可以实现本文描述的至少一些操作。
16.附图和表格描绘的多种实施例仅用于说明。本领域技术人员将认识到在不脱离本技术原理的情况下可以采用替代实施例。因此，虽然在附图中示出了具体实施例，但该技术可进行多种修改。
具体实施方式
17.下面阐述的实施例代表了使本领域技术人员能够实践实施例的必要信息并示出了实践实施例的最佳模式。在根据附图阅读以下描述后，本领域技术人员将理解本技术的概念并且将认识到本文未特别提及的这些概念的应用。这些概念和应用落入本技术和所附权利要求的范围内。
18.可以参考特定计算机程序，系统配置，网络等来描述实施例。然而，本领域技术人员将认识到这些特性同样适用于其他计算机程序类型，系统配置，网络类型等。例如，虽然术语“wi-fi网络”可用于描述网络，但相关实施例可被部署在其他类型的网络中。
19.此外，所公开的技术可以使用专用硬件(例如，电路)，用软件和/或固件适当编程的可编程电路，或者专用硬件和可编程电路的组合来体现。因此，实施例可以包括具有指令的机器可读介质，该指令可以用于对计算设备(例如，基站或联网计算机服务器)进行编程以检查由电子设备生成的视频内容，确认包括在视频内容中的元素，应用分类模型来确定适当的动作，并执行该适当的动作。
20.在本公开中，术语“化身”可以与“虚拟角色”互换。虚拟角色可以包括用户设备上能够与用户交流的虚拟实体。这种交流可以通过不同类型的交互发生，例如通过声音(对话)，文本(例如聊天或消息应用)，图像/视频，音乐，和/或任何任意程序的执行(例如，虚拟角色打开具有许可以调整的物联网嵌入式系统中的灯开关)等。虚拟角色可能看起来有动画身体，可以只是声音，或者基于文本的代理，例如，但具有动画身体可能不是必需的。
21.术语
22.本文使用的术语的目的仅是为了描述实施例，并不旨在限制本公开的范围。在情境允许的情况下，使用单数或复数形式的词也可分别包括复数或单数形式。
23.如本文所用，除非另有具体说明，术语诸如“处理”，“计算”(“computing”，“calculating”)，“确定”，“显示”，“生成”等指的是计算机或类似的电子计算设备的动作和过程，其用于将在计算机存储器或寄存器中代表为物理(电子)量的数据操作和转换为在计算机存储器，寄存器，或其他此类储存介质，传输，或显示设备中类似代表为物理量的其他数据。
24.如本文所用，术语诸如“连接”，“耦接”等可以指两个或更多个元件之间的任何直接或间接的连接或耦接。元件之间的耦接或连接可以是物理的，逻辑的，或其组合。
25.对“一实施例”或“一个实施例”的引用意味着所描述的特定特性，功能，结构，或特征被包括在至少一个实施例中。此类短语的出现不一定指相同的实施例，也不一定指相互排斥的替代实施例。
26.除非情境另有明确要求，否则词语“包括”(“comprise”和“comprising”)应被解释为包含性意义而非排他性或穷举性意义(即，“包括但不限于”的意义)。
27.术语“基于”也应被解释为包含性意义，而不是排他性或穷举性意义。因此，除非另有说明，否则术语“基于”旨在意味着“至少部分基于”。
28.术语“模块”泛指软件组件，硬件组件，和/或固件组件。模块通常是功能组件，其可以基于指定的输入生成有用的数据或其他输出。模块可以是自包含的。计算机程序可以包括一个或多个模块。因此，计算机程序可以包括负责完成不同任务的多个模块或负责完成多个任务的单个模块。
29.当关于多个项目的列表使用时，单词“或”旨在涵盖以下所有解释：列表中的任何项目，列表中的所有项目，以及列表中项目的任何组合。
30.在本文描述的任何过程中执行的步骤顺序是示例性的。然而，除非与物理可能性相反，否则可以以多种顺序和组合来执行这些步骤。例如，可以在本文描述的过程中添加或移除步骤。同样，步骤可以被替换或重新排序。因此，任何过程的描述旨在是开放式的。
31.系统概述
32.虚拟角色(或“化身”)可以便于经由用户设备与用户的交流。虚拟角色可以是角色的虚拟代表(例如，书籍，电影，电视中的角色)，名人的代表，人的代表，动物的代表，假想生物的代表，以及现实世界中通常无生命的但出于交互的目的可以与人交流(如有声读物)的对象的代表。此外，虚拟角色可以代表没有物理形式的实体或动画，如鬼魂，幽灵(spirit)，或情感。例如，用户可以通过与用户相关联的智能电话与代表超级英雄的虚拟角色进行交互。从生成虚拟角色的系统的角度来看，系统可以接收来自用户的输入并基于该输入确定响应。
33.用于生成虚拟角色的一个重要考虑是虚拟角色响应于用户接收到的输入而采取的动作的准确性。通常，对输入的更准确响应可以增加与虚拟角色交互的用户体验。相反，如果虚拟角色误解了用户提供的输入，则虚拟角色可能对输入提供不准确的响应，降低与虚拟角色的用体验。
34.在许多情况下，提供给虚拟角色的输入被分离并分别处理。例如，虚拟角色可以接收用户的声音数据和面部特性信息。然而，信息可以被分离并被分别与确认动画/语音相关联地处理以用于虚拟角色的输出，这可能会降低虚拟角色的动画/语音的准确性。
35.用于虚拟角色控制和错误纠正的多模态模型
36.本实施例可以至少部分地涉及自动控制角色的动作并使用多模态模型纠正错误以提供由虚拟角色执行的准确动作的程序。多模态模型可以包括确认与用户相关的信息的多种模式(例如，语音，面部表情，环境信息，从与用户的先前交互中收集的信息，以及系统了解的关于用户的信息)并将信息与多种内部模型组合，以响应用户输入为虚拟角色动态生成准确的动画/动作的模型。
37.多模态模型可以对从由多模态传感器阵列产生的数据信号中提取的信息执行错误纠正。换句话说，从真实世界环境中收集读数的多模态数字传感器的任意阵列以及为每种类型的数据信号量身定制的任意一组预处理和信息提取过程可以使用从每个传感器提取的信息来纠正从其他数据信号中提取的信息的错误。除了传感器在交互时收集的信息外，多模态错误纠正还可以使用从过去收集的关于用户的信息。例如，多模态错误纠正(mmec)可以使用用户过去对角色说过的事情的转录(transcripts)来促进(fuel)错误纠正。此外，mmec可以使用存储在包含关于用户信息的知识库(本体)中的信息来指导错误纠正。关于用户过去的经验证的信息可用于纠正当前正在收集的噪声信号。知识库中的信息可以是计算机自动提取的事物，也可以是人手动输入的结构化程度更高的信息。
38.图1示出了根据多种实施例的用于控制虚拟角色的输出的多模态模型的流程图。多模态模型可以将语音识别技术，自然语言理解，计算机视觉(例如，用户的面部表情识别，关于用户的物理环境和其他物理对象的“世界意识”数据)，知识库(本体)，指定虚拟角色的人格面具(persona)，和社交模拟组合为统一的多模态模式。多模态模型可能能够一起使用
多个内部模型来制作可信且注入情感(emotionally engaging)的人工智能算法，从而产生准确的虚拟角色。
39.如图1所示，系统可以从传感器阵列接收原始输入(输入102a-n)。该系统可以包括执行单模式信号处理的预处理104。该系统可以包括先验知识106，其包括被编码到知识库和模型中的关于世界的信息，以及存储器108，其存储被编码的关于用户的在先经验信息。该系统可以包括可以执行错误纠正的多模态信号处理110。该系统可以基于该多模态信号处理输出增强结果112。
40.在一些实施例中，计算机系统可以包括许多不同的传感器，例如产生音频信号的麦克风，产生视频流信号的相机，可以产生温度信号的热敏电阻，产生气味信号的嗅觉传感器，gps传感器，加速度计等。系统可以从这些传感器接收信号，量化现实世界中发生的事情，并使用这些信号的数字代表来纠正彼此的内容。
41.所接收的与用户有关的输入可以与被包括在多模态模型中的内部模型组合。如上所述，模型可以包括自然语言理解，知识模型，人格面具，关于用户生活/历史和社交模拟的结构知识，它们一起可以增加与虚拟角色交互时的准确性和用户体验。
42.作为示例，输入可以包括用户说“我很高兴”的声音，其中内部模型可以利用自然语言理解来确认词“我很高兴”。在该示例中，第二输入可以包括确认用户表情的面部表情信息。内部模型可能包括面部识别技术，例如计算机视觉，以确定用户的面部表情。系统可以核对以确定用户是否在微笑，这可以代表用户实际上很高兴的证明。如果面部表情确定用户正在皱眉或悲伤，则系统可以检查所有输入以确认“高兴”的声音输入不正确并且实际上是“悲伤”。如本例所示，多模态模型可以交叉参考并证明多个子系统或内部模型的准确性，以提高虚拟角色活动的准确性。
43.作为另一示例，如果用户正在说话并向代表超级英雄的虚拟角色提供声音输入，则系统可以接收来自用户的声音输入，说“我最喜欢的反派是choker”。在确认声音输入的词之后，系统可以利用知识模型来检查词“choker”并确认它在语法上接近词“小丑”，内部模型中与超级英雄相关的已知角色。知识模型可以建议用户实际上是指“小丑”，这可以增加由代表超级英雄的虚拟角色提供的输出的准确性。
44.在一些实施例中，多模态模型可以接收从连接到设备的传感器(例如，相机，麦克风)捕获的声音数据，面部表情数据，和环境信息。可以使用用户单词(例如，包括用户正在说的内容的线性文本流)的自动语音识别(asr)来检查和处理声音数据。可以使用面部表情识别算法(例如，可以识别许多常见面部表情的算法)来检查和处理面部表情信息。环境信息可以通过识别许多对象(例如，常见对象，例如狗，植物，咖啡杯，其他人等)的世界意识计算机视觉算法来检查和处理。世界意识算法可以识别关于用户物理世界的其他数据点(无论是内部还是外部，明亮还是黑暗等)。
45.在一些实施例中，仅当用户设备正在使用具有多个相机的设备(例如，智能电话)上的增强现实输出时，一个或多个计算机视觉算法可以是起作用(active)的。在某些情况下，用户设备可能不会一直输出增强现实显示，并且只能访问一个相机或没有相机。
46.一种内部模型可以包括自然语言理解(nlu)模型，其能够基于声音输入信息从asr数据中确认主题，观点(pov)，事件，意图，名词，动词等。换句话说，当内部模型从用户接收到经由asr识别的词时，内部模型可以添加与用户的声音数据相关的额外的洞见和情境层。
47.作为示例，用户可以说，“我整天都在学校并且我学会了如何弹吉他。这非常有趣。”内部模型可以提取用户正在以第一人称说话，他们是主语，并且他们的意图是学习吉他。多模态模型可能会检查内部模型并生成响应，例如“我很高兴您学习吉他很开心！”这可能比仅使用asr技术更准确，系统会理解“吉他”这个词，但不会确定它是如何与其他任何事物相关的，以及演讲者对此有何感受，或他们的目标是什么。因此，系统将无法对用户的声音输入做出肯定或否定的响应。
48.在一些实施例中，内部模型可以包括代表虚拟角色的世界的知识模型。例如，如果客户是电影工作室以生成他们的角色的虚拟角色，则知识模型可能具有与该角色相关的信息以最好地刻画(portray)该角色。该信息可能包括代表角色个性特定方面的“人格面具”。知识模型可以包括解释其他用户和虚拟角色动态的社交模拟。在一些实施例中，知识模型可以通过从多种来源(例如，脚本，漫画书，书籍，用户输入等)接收用于该角色的信息来自动生成与该角色相关的更多信息。
49.系统可以接收原始数据(例如，流式语音数据，实时语音转文本)，捕获面部表情识别数据，以及捕捉关于用户的物理环境和物理对象的世界意识数据。系统可以相互比较原始数据，同时还运行内部模型，nlu算法，知识模型，人格面具，和社交模拟，以从用户获得额外的情境和含义。基于该信息和模型，多模态模型可以更准确地生成用于虚拟角色的输出。
50.当计算机使用传感器来得到关于世界的信息时，由传感器转换的数据相对于它们试图描绘的现实可能包含错误。传感器可以对现实世界事件生成的信息进行采样。除了这种信息丢失之外，用于解释传感器产生的数据流的计算方法也可能容易出错。在这个范例中可能有两个主要的错误位置；传感器到数据信号的转换中，以及数据流的解释中。多模态错误纠正可以帮助减少传感器输出转换为数据信号时引入的一些错误。此外，如果数据信号具有更高的准确性，则可能更容易解释它们，因为它们更准确地代表了现实。这可能就是多模态错误纠正如何帮助提高多个方面(fronts)的准确性。
51.图2示出了根据多种实施例的使用多模态来纠正虚拟角色的错误的流程图200。如图2所示，多个传感器(例如，图像传感器202a，音频传感器202b，嗅觉传感器202c，传感器n 202n)可以在输入层204处提供数据。来自输入层204的数据可以包括数字图像信号206a，数字音频信号206b，数字嗅觉特性信号206c，数字信号n 206n等。可以使用单模式信息提取208来处理该输入数据，其可以包括计算机视觉预处理210a，音频预处理210b，嗅觉预处理210c，预处理类型n 210n等。多模态错误纠正216可以接收经处理的信息并检测信息流中的错误。例如，视觉信息流218a，音频信息流218b，嗅觉信息流218c，信息流n 218n，先验知识220，和可以由多模态错误纠正216处理以在输出层224中获得增强流(例如，226a-n)的存储器。
52.当与其他设备交互时，每个设备可以使用独特版本的多模态错误纠正。可以从所有感知中合并信息，连同常识和世界知识，以破译真实世界中实际发生的事情。计算机可能会被指示如何合成不同模式的信息和世界的先验信息(被编码到知识库和模型中)。多模态错误纠正阶段中的每个连接都可以代表使用来自不同来源的数据信号来改进最终数据流。
53.如何使用来自不同传感器的信息来改进数据流质量的一些示例可以包括使用基于音频的asr和基于计算机视觉的唇读来改进asr结果，使用嗅觉传感器来纠正asr或图像识别，使用图像/对象识别来纠正asr，使用asr来纠正图像识别，使用世界(无论是真实世界
还是虚构世界)知识来改进asr，cv等。
54.在一些实施例中，没有具体提及虚拟角色的原因可能是该错误纠正过程可以用于不同类型的系统中。该系统可用于让虚拟角色意识到所说的内容，正在发出的声音，有关物理世界，以及有关用户对角色的物理反应，但它可以被其他类型的计算机系统使用，例如自动驾驶汽车或智能家居。
55.在一些实施例中，多模态错误纠正阶段的目的可以是检测漏报并重新分类它们的值。这可能会改进信息提取管道的召回率。
56.如图2所示，可以整合世界知识资产。在图2中，世界知识可能包括对管道多模态错误纠正阶段的输入。世界知识可以与输入层中传感器提取的信号分别代表。输入层的传感器提取的信息可以捕获有关当前世界上正在发生的事件的信息。世界信息的示例包括用户正在说什么，可以在相机帧中检测到哪些对象等。
57.在一些实施例中，可以预先收集一些世界知识资产。世界知识资产可以包括关于世界的事实，无论是关于真实世界的事实信息，还是关于故事世界的虚构信息(如虚构角色的世界)。常识知识可以包括在世界知识资产中，就像对象“马克杯”是一种“杯子”，其可以用于语义上与吃喝有关的事件。此外，关于虚构角色的设定的信息也可以编纂为世界知识资产。例如，对于的世界来说，就是对英雄“蝙蝠侠”玩心理游戏的反派。蝙蝠侠世界中的其他反派可能包括“毒藤女”和“冰冻人”。这些信息可以被编码到结构化的知识库或本体中。
58.世界知识/资产可以与传感器数据流分开，因为它代表过去收集的信息，而来自输入层中的传感器的信号可以代表在与计算机系统交互起作用时持续获取的数据信号。世界知识库可以是静态的或在交互/用户会话期间不再增长。知识库可以被预先策划和填充，以便计算机可以有效率地使用这些编纂信息来做出更好的决策，或者在某些情境下，以帮助多模态错误纠正过程。
59.该信息可以改善多模态错误纠正过程。例如，信息可以包括用户与计算机系统谈论蝙蝠侠世界(在哥谭市)。用户说了些什么，然后asr系统认为用户说：“choker是个坏人。”在蝙蝠侠的世界里，“小丑”是个反派，更有可能是用户想说“小丑是个坏人”。该系统可用于智能家居，汽车，或与用户交互的任何其他设备。
60.图3示出了根据多种实施例的用于控制虚拟角色的多模态模型的流程图300。该系统可以包括从用户接收输入并实现用于多模态模型的内部模型。
61.实现虚拟角色的特性的内部模型可以允许虚拟角色实时或接近实时地动作和响应。代替分离和分别处理多种输入(来自用户的声音输入，用户的面部表情识别)，本实施例可以输入和检查多个输入以理解和生成由虚拟角色在动作中代表的更准确的动画/语音/输出。接收到的输入的示例可以包括与用户的声音302，用户的面部表情304，和用户的环境306相关的信息(例如，通过扫描视频转播(feed)的背景并查看计算机视觉算法是否可以识别常见对象，如宠物，电视，家具等)。
62.输入还可以包括内部模型输入，例如自然语言理解308数据，知识模型数据310，社交模拟数据312等。多模态模型314可以处理输入302-310以生成代表虚拟角色采取的行动的输出316。本实施例可以接收多个输入并将这些输入相互比较以生成用于虚拟角色的准确输出。
63.图4示出了根据多种实施例的与在多模态模型上实现的虚拟角色交互的系统400。如图4所示，用户可以提供来自用户设备上(例如，智能电话，增强现实眼镜，电脑，游戏机等)的一个或多个传感器(例如相机，麦克风等)的输入信息(例如，语音，面部识别，环境信息等)。多模态模型可以在用户设备之一上或在经由诸如互联网的网络连接到用户设备的外部设备上执行。多模态模型可以检查输入信息，执行内部模型，并输出显示，其示出虚拟角色在由传感器所捕获的显示中。例如，如图4所示，虚拟角色被显示在由传感器所捕获的环境中的某个位置。
64.作为示例，用户设备可以捕获包括对象(例如，对象404)的环境402。所显示的环境406和所确认的对象408可以在具有虚拟角色410的界面上提供。传感器412可以捕获用户设备周围的环境。例如，传感器412可以捕获与用户414相关的信息。
65.多模态模型可以生成用于包括动画和语音两者的虚拟角色的输出。可能的动画可以存储在角色的潜在动画库中。这可能与对应于每个动画的类似的预先录制的音频文件库相关联。可以为每个角色构建库，并为为其他角色创建单独的库提供基础。
66.在一些实施例中，该系统可以包括跨所有虚拟角色共有的通用绑定模块。绑定是3d动画中的一种技术，其本质上(essentially)可以创建3d角色的例如骨骼，肌肉，和皮肤。我们可以跨网络中的一个或多个虚拟角色上使用通用绑定模块。
67.系统可以生成由ai驱动的程序动画。换句话说，如果ai想说，“我也喜欢吉他”，ai可能会指示虚拟角色微笑，并且它应该按程序发生，而不必已经具有用于特定角色微笑的静态动画文件。
68.在一些实施例中，多模态模型可以生成声音而不必具有预先录制许多音频文件。多模态模型可以接收相对较短的时间的角色声音(例如，5到15小时)，并创建一个文本转语音/语音合成系统，该系统将为ai尝试说的任何事物生成正确的发声声音。
69.本实施例可以在被配置为输出增强现实显示的设备上执行，但是本实施例可以在任何合适的显示器上执行，例如触摸屏，监视器，屏幕等。在一些实施例中，本系统可以在用户设备上利用面向前和面向后相机两者，特别是如果系统同时利用fer和世界意识内部模型。
70.在一些实施例中，控制在设备上显示的虚拟角色可以包括从设置在设备(例如，智能电话，计算机，具有ar能力的设备)上的传感器(例如，相机，麦克风)接收输入信息。控制虚拟角色可以包括实现至少两个内部模型(例如，多模态模型)，其被配置为确认输入信息的特征，结合由内部模型所确认的特征以确认由内部模型所确认的特征之间的相似度。寻找特征之间的相似度可以确认从输入信息的第一源(例如，用户说“我很高兴”)所确认的特征是否与从输入信息(例如，正在皱眉或悲伤的用户面部表情)的第一源所确认的特征不匹配。在特征具有低于阈值的相似度的情况下，内部模型可以基于检查包括虚拟角色常见的信息的知识模型来确认更可能是准确的特征。
71.控制虚拟角色可以包括检查与虚拟角色相关联的潜在动作库以确定与由内部模型所确认的特征匹配的动作。控制虚拟角色可以包括输出动作以使虚拟角色执行与由内部模型所确认的特征匹配的动作。
72.在一些实施例中，控制虚拟角色可以包括确定由内部模型所确认的第一特征的相似度低于阈值相似度。控制虚拟角色可以包括检查代表条目列表的第三内部模型，该条目
代表通常与虚拟角色相关联的信息。控制虚拟角色可以包括将第一特征与在与虚拟角色相关联的列表中列出的条目进行匹配，其中由内部模型所确认的特征包括在列表中列出的条目。
73.在一些实施例中，输入信息包括代表用户语音的音频信息，代表用户面部表情的面部表情信息，以及代表由设备的传感器捕获的环境的环境信息。
74.在一些实施例中，内部模型包括被配置为从音频信息获得情境和含义的自然语言理解模型，被配置为确认特定于虚拟角色的信息的知识模型，以及被配置为确认与用户和其他虚拟角色相关的数据的社交模拟模型。
75.在一些实施例中，控制虚拟角色可以包括在设备的显示器上显示虚拟角色并指示虚拟角色执行代表对用户的查询的初始动作，其中输入信息代表用户对该查询的响应。
76.在一些实施例中，通过传感器获取的信息可能导致知识库(本体)中的信息需要被修改。例如，如果用户说“我最喜欢的披萨配料是凤尾鱼”，而当前版本的知识库说用户最喜欢的披萨主题是蘑菇，那么知识库现在可能是错误的，且需要被更新以反映对凤尾鱼的新偏好。因此，传感器获取的新信息可用于纠正错误或更新知识库中的信息。
77.在一些实施例中，虚拟角色可以访问关于用户过去的信息。这可以包括他们生活中事件的时间线。例如，虚拟角色可能知道用户5年前拥有一家面包店。该信息可以以多种方式被充分利用。如果角色知道用户是面包师，则可能有一整套面包师的词汇或行话，例如“knead(揉)”这个词。“knead”这个词听起来像“need(需要)”这个词，在自动语音识别中经常会被转录错。许多系统可能会将“knead”一词错误地转录为“need”。如果虚拟角色知道用户是面包师，则系统可以理解用户更有可能会说“knead(揉)”这个词并更准确地转录它。如果角色知道用户是面包师，那么可以基于他们的职业了解他们将使用的单词类型，从而更准确地转录他们的语音。
78.在网络浏览器上执行的完全交互式虚拟角色
79.在许多情况下，用户下载在用户设备上渲染虚拟角色所需的信息以便生成虚拟角色。为了让用户下载虚拟角色信息，客户可以说服用户下载与增强现实虚拟角色相关联的应用程序。在用户设备上执行明确地下载特定应用的步骤可能会给用户带来分歧，这可能导致用户无法实现虚拟角色。
80.本实施例可以涉及动态渲染的虚拟角色(或即时虚拟角色)，其渲染和生成利用如本文所述的多模态模型的3d虚拟角色。虚拟角色可以包括类似于角色的3d视觉“身体”。即时虚拟角色可以被嵌入在超链接中。即时虚拟角色可以在多种网络上共享，例如社交媒体网络。例如，公司可以是娱乐公司，其可以与一群粉丝共享流行角色或名人的虚拟角色。公司可以共享超链接或其他标识符(例如，指向视频的链接)，文本消息等。当通过网络(例如，社交媒体)共享时，即时虚拟角色可以在社交媒体转播中或经由网络浏览器立即执行，无需用户为了查看它而下载应用。
81.即时虚拟角色可以在网络浏览器上运行。这可以使得虚拟角色能够和与用户相关联的智能电话交互。多模态模型可以通过移动网络浏览器(例如)以较短的加载时间(例如1秒)将用户无缝迁移到基于网络的增强现实中。因此，用户可以在网页(例如)上选择一个链接，上面写着“点击这个链接，名人就会出现在你的房子里”。通过点击链接，虚拟角色可以近乎实时地(例如，少于1秒)出现在屏幕上。
82.系统可以创建具有合适3d文件格式(例如，gl传输格式(gltf))的高度优化的3d文件。用于虚拟角色的动画和音频文件可以被分批流式传输到用户设备，以便执行虚拟角色所需的较早批首先被发送到用户设备并优先处理。这些批在执行后可能会被丢弃，以便为其他批的信息腾出更多空间。被发送给用户的批可以基于来自用户的输入和由虚拟角色生成的响应来修改且是动态的。
83.在一些实施例中，系统可以包括对用户环境(例如，地板)的基于网络的跟踪，使得即时虚拟角色位于显示器上的适当位置。
84.在一些实施例中，系统在用户的移动网络浏览器中实时或接近实时地执行语音识别，自然语言理解，面部表情识别，和世界意识算法。
85.在一些实施例中，系统使用计算机视觉算法来确认前景中的对象。例如，系统可以确定虚拟角色站在沙发后面，其中算法修改虚拟角色以适当地被沙发遮挡(occluded)，因此看起来他正站在沙发后面。
86.在一些实施例中，系统支持多用户会话，使得两个或更多人可以经由分别的用户设备(例如，智能电话)看到一个虚拟角色或在同一地点看到虚拟角色。计算机视觉算法可以跟踪用户的环境并将其与多个设备实时同步，即使这些设备的世界视角略有不同。
87.在一些实施例中，系统支持从不同地方同步观看即时虚拟角色。例如，如果多模态模型为名人生成虚拟角色(例如，名人音乐家)，并且她想同时为一大群人演奏一首歌，则系统可以生成一大群名人虚拟角色都在或几乎同时在演奏音乐。
88.在一些实施例中，系统可以支持用户通过拍摄他们自己或可以被转换成3d模型的其他目标的图像来创建他们自己的即时虚拟角色。
89.在一些实施例中，使用多模态模型动态生成虚拟角色包括将链接嵌入到将网络浏览器链接到应用的网页以生成虚拟角色。动态生成虚拟角色可以包括从设备接收链接已被选择的选择。这可以指示与设备交互的用户希望具有在设备的显示器上显示虚拟角色。动态地生成虚拟角色可以包括从应用传送代表生成虚拟角色的信息的数据流并且在设备的显示器上显示虚拟角色。
90.动态地生成虚拟角色可以包括从设置在设备上的传感器接收输入信息并且实现包括在多模态模型中的至少两个内部模型。内部模型可以被配置为确认输入信息的特征并且组合由内部模型所确认的特征以确认由内部模型所确认的特征之间的相似度。动态生成虚拟角色可以包括检查与虚拟角色相关联的潜在动作库以确定与内部模型所确认的特征匹配的动作，并输出与内部模型所确认的特征匹配的动作代表要虚拟角色执行动作的指令。
91.在一些实施例中，动态生成虚拟角色包括为虚拟角色启动第一动作，其中第一动作代表对用户的查询，其包括由虚拟角色执行的语音和动画，其中输入信息代表用户对查询的响应。
92.在一些实施例中，动态生成虚拟角色包括经由网络将被嵌入的链接共享给多个用户，从一组设备接收代表该链接已被选择的选择，以及将来自应用的代表生成虚拟角色的信息的数据流传送到包括在这组设备中的每个设备。
93.在一些实施例中，动态生成虚拟角色包括在第一时间传送第一批数据流，第一批包括初始生成虚拟角色的信息并在第一时间之后的第二时间传送第二批数据流，第二批包
括由虚拟角色输出第一动作的信息，其中第一批在第二时间被丢弃。
94.在一些实施例中，动态生成虚拟角色包括检查环境信息以确认包括在环境中的地板并将虚拟角色安置在环境中所确认的地板正上方的第一位置处。
95.从与虚拟角色的多模态交互中提取洞见
96.客户(例如，公司)可以使用本文描述的实施例中的至少一些来生成虚拟角色。在指定的时间段内，客户可能有很多人(例如，一百万人)与虚拟角色交互。例如，娱乐公司可能同时为许多人生成名人的虚拟角色。
97.本实施例可以至少部分地涉及从用户与虚拟角色的交互中提取洞见。在与虚拟角色交互期间，可以根据由任何一组传感器收集的数据自动提取洞见。
98.图5示出了根据多种实施例的在设备500上显示的示例虚拟角色502。虚拟角色可以包括有生命的实体的虚拟代表，例如真实人类，虚构人类，或假想角色(如太空外星人或会说话的狗)的代表。虚拟角色可以在计算机屏幕上被看到，最常见的是，对于本技术的情境，在智能电话上。虚拟角色可以具有在屏幕上被动画化的身体的代表。虚拟角色不需要在视觉上出现，它可以仅以声音的形式呈现。它还可以仅经由文本(聊天)或图像进行交流。
99.虚拟角色可以通过智能电话上的扬声器讲话来与人类用户交谈。计算机讲话的音频可以由文本转语音合成器合成。虚拟角色可能会通过讲话的动作影响真实世界，但虚拟角色可以通过其他方式影响世界，例如开灯和关灯，打开音乐，以及控制机器人遍及房间的运动。
100.虚拟角色的一个关键特征是它们可以包括生命性。生命性可能包括角色执行影响真实世界的动作的能力。虚拟角色决定如何对真实世界(甚至虚拟世界)中的事物做出反应的能力使他们有生命。
101.图6示出了根据多种实施例的用户和显示虚拟角色的用户设备之间的交互的流程图600。与虚拟角色的交互可以包括人602和虚拟角色606何时经由设备604彼此通信。人和虚拟角色可以以多种形式促进交流，例如经由语音608和/或肢体语言610。与虚拟角色的交互可以包括当一个人主动与虚拟角色互动时。虚拟角色的有生命可能与人或动物的有生命不同，但虚拟角色可能会模拟生命性，并且虚拟角色可能会以语义连贯甚至有趣的方式做出响应。虚拟角色可以提供任何合成语音612和/或动画肢体语言614。
102.一些交互可以是对话的形式。虚拟角色可以使用手机的麦克风来聆听人类用户正在对虚拟角色所说的话。麦克风可以将声波转变为音频文件，通过语音转文本模型可以将其转换为文本，然后可以通过自然语言理解模型来解释该文本。一旦虚拟角色理解了人类用户所说的话，它就可以开始决定如何回应人类用户，无论是通过合成语音，在物理手势响应中为其身体设置动画，还是两种类型的反应的组合。
103.虚拟角色还可以通过在虚拟空间中移动来进行交流。虚拟空间可以包括可以在计算机屏幕上可视化的任何三维空间代表，例如代表增强现实或虚拟现实的手机或可以代表增强现实或虚拟现实的耳机。虚拟角色在虚拟空间中移动的一些示例可以包括，在说话时，它的嘴唇会变成动画的，以示意它正在使用其虚拟嘴唇说话，改变其肢体语言以表达不同的感受或情感，改变其面部表情以示意不同的情感，改变其身体部分的位置的设置来表达不同的感受(交叉双臂表示防御，双手放在臀部表示显示支配地位等)等。
104.洞见可以包括从原始数据中提取的一条结构化信息或理解，其可以与测量我们对
这种理解是正确的确定程度的某种统计相耦合。例如，为了测试笑话是否有趣，系统可能会向大量(100或1000)人发送即时虚拟角色。虚拟角色向每个用户(或测试对象)讲笑话。然后，即时虚拟角色记录用户在笑话讲完后的反应。该系统可以分析用户的反应，以确定这个笑话是否有趣。用户可以通过多种不同的方式来表达这一点，如通过笑，计算机可以通过计算机视觉来找到用户脸上的笑，并通过分析用户的音频来找到笑声来自动分类。如果没有笑声，或者如果用户有负面反应，这也可以被计算机自动获取，这可以暗示用户不认为这个笑话有趣。由于实验的规模，将这个笑话测试发送给大量的人，系统可以收集关于这个笑话有多有趣的统计数据。这个实验的结果是一个洞见；知道这个笑话是否有趣(这是一些结构化的理解)并从统计上知道它有多有趣(测量我们对我们的结构化理解的确定程度)。
105.图7示出了根据多种实施例的从虚拟角色反应中提取洞见的流程图700。当人类用户与虚拟角色交互时，可以收集许多类型的信息。人类通常会与虚拟角色交谈。人类还可以通过肢体语言传达他们的感受。人们所说的文本和人们使用的身体反应或肢体语言可能是我们将关注的两种人类交流类型，本实施例可以应用于可由传感器获取并转换为数据信号以供计算机解释的任何其他类型的交流。
106.用于将来自真实世界的刺激转化为该数据的数字代表以供虚拟角色基于此做出决策的相同过程可用于提取基于该数据的洞见。当决定如何对人类用户做出反应时，系统可以从虚拟角色有权访问的相同数据中提取洞见。从本质上讲，人类用户可能会有反应(无论通过讲话或做出身体姿势)，这种真实世界的刺激会被输入传感器阵列获取并转变为原始数字信号。可以对该信号执行信号处理(一种模式或多种模式)。这可能导致无干扰(cleaned)的信息信号。该信号至少可以用于两件事，第一，它可以被保存在长期储存器中，以便以后可以从该数据中提取洞见，第二，信息信号可以被发送到虚拟角色的做出决策的设施，以便角色可以决定如何对真实世界的刺激做出反应。
107.在这种情境下，提取洞见可能类似于将真实世界的事件转换为结构化的理解，供虚拟角色基于此做出决策。对于多个用例，用于得到无干扰信息信号的数据处理管道可能是相同的。一旦保存了有关用户在与虚拟交互期间的反应的信息，就可以提取有关该交互的洞见。本文的洞见可能是从一组未定义的数据中提取的一些理解或更高级的信息。
108.本实施例涉及从与虚拟角色的交互中提取洞见的能力。这可能与从文本流中提取洞见不同，因为与虚拟角色的交互具有更多结构，并且它们会产生多模态数据信号(语音，视觉数据流，嗅觉数据流等)。
109.例如，设备可以捕获表示由用户702提供的刺激的输入传感器阵列704。可以使用多模态数字信号处理708来处理原始数字信号阵列706。无干扰的(或处理过的)信息信号710可以经由任何洞见提取712被处理并存储在用户数据储存器716中和/或用做出决策的逻辑处理以获得虚拟角色反应714以在用户设备718上输出虚拟角色720的反应。
110.图8示出了根据多种实施例的洞见仪表板800。如图8所示，客户可以查看仪表板或洞见门户，以查看对代表与虚拟角色交互的用户的受众的许多洞见。由于接收到与用户有关的多种信息，系统可以确认用户的多种特征。例如，系统可以确认代表对虚拟角色采取什么动作的反应的用户的面部表情或用户的语气。接收到的信息还包括用户周围的环境。
111.洞见仪表板可以显示信息报告，例如用户数，新用户数，每日平均用户数，和总交互时间。洞见仪表板还可以包括洞见信息的图形代表，例如主动凝视时间，语音冗长程度
(verbosity)，购买信息，项目选择信息，和情绪信息。
112.在一些实施例中，虚拟角色可以便于客户和用户之间通过用户设备的多种交易。例如，虚拟角色可以确认用户想要购买的物品，虚拟角色可以将用户转发到特定的网页或便于直接交易。
113.洞见可以对来自与虚拟角色交互的用户数据运行情绪分析和其他算法。例如，一个角色可能会虚拟地接收另一个角色的消息，并询问用户他们对这些角色合作拍电影的感觉如何。洞见可以确认总响应率(例如，洞见向公司表明，78％的受众认为这是一个好主意)。
114.在一些实施例中，一种方法可以包括在与和虚拟角色交互的用户相关联的一组设备中的每一个上生成一个虚拟角色。该方法可以包括接收与和该组设备交互的用户有关的输入信息。该方法可以包括在每个设备上实现至少两个内部模型。内部模型可以被配置为确认输入信息的特征并且组合由内部模型确认的特征以确认由内部模型确认的特征之间的相似度。对于与该组设备中的每个设备相关联的特征，该方法可以包括检查与虚拟角色相关联的潜在动作库以确定与内部模型确认的特征匹配的动作。对于该组设备中的每个设备，该方法可以包括输出与内部模型所确认的特征匹配的动作，该内部模型代表指令以使虚拟角色执行该动作。
115.该方法可以包括获取与虚拟角色和与该组设备相关联的用户之间的交互有关的信息。该方法可以包括基于所获取的与交互相关的信息来生成代表虚拟角色和用户之间的交互的特性的报告。
116.在一些实施例中，报告包括与虚拟角色交互的用户数，每日平均用户数，和用户的平均交互时间。
117.在一些实施例中，该方法包括生成与和虚拟角色交互的用户相关联的主动凝视时间，语音冗长程度，项目选择信息，和情绪信息中的至少一个的图形代表，其中该虚拟代表包括在报告中。
118.例如，如图8所示，洞见报告可以包括总用户指标802，上个月的新用户指标804，过去24小时的新用户指标806，每日平均用户指标808，每月平均用户指标810，总交互时间指标812，代表时间对体验段的平均凝视时间图814，代表时间对体验段的语音冗长程度图816，由用户响应于与虚拟角色的交互采取的后续动作(例如，购买的电影票818，项目选择820)，虚拟角色情绪822等中的任何一个。
119.虚拟角色层
120.本实施例可以允许在许多应用中实现虚拟角色。例如，虚拟角色可以帮助商店里的顾客找到产品，或者帮助五金店顾客挑选新油漆，或者可以用更个性化，更友好的面孔替换基于触摸屏的自动取款机。在一些实施例中，虚拟角色在真实世界中的位置可以被显示在地图绘制(mapping)应用中。
121.在一些实施例中，洞见可以包括改进系统，其将数据反馈到机器学习数据集中并自动改进结果。例如，如果虚拟角色要求一百万人自拍呢？该系统可以使用所有这些照片来制作用于从自拍相机照片中检测用户的面部的新算法。
122.图9示出了根据多种实施例的使用多模态模型控制虚拟角色的方法的框图。该方法可以包括接收输入信息，例如语音信息，面部表情信息，环境信息等(块902)。接收到的信
息可以是多模态的(例如，音频，视觉资料)。
123.该方法可以包括在环境中的某个位置显示虚拟角色(块904)。虚拟角色可以被覆盖或添加到真实世界环境中，例如由传感器/相机捕获的环境。在一些实施例中，虚拟角色可以在被显示在环境中时输出第一动作。例如，第一动作可以包括对用户的询问。
124.该方法可以包括实现内部模型以处理输入信息(块906)。内部模型可以处理输入信息以确定有关用户的多种信息，例如用户所讲的话，用户的面部表情等。
125.该方法可以包括检查由至少两个内部模型确认的特征以确定第一所确认特征是否在与第二所确认特征的阈值相似度内(块908)。确认特征之间的相似度可以包括参考内部模型以确定与通常和虚拟角色相关联的特征匹配的特征。
126.作为示例，第一所确认特征可以包括确认用户说出的词是“我很伤心”。第二所确认特征可以包括确认显示用户正在微笑或高兴的面部表情。因此，比较这些特征可能会导致确定这些特征不在阈值相似度内。如下所述，知识模型可用于确认哪个对比特征更可能准确。例如，知识模型可以确认虚拟角色的先前动作最有可能征求用户的积极反应。在这个示例中，显示用户正在微笑的特征可能更准确，而第一特征是不正确的，因为用户可能说的是“我很高兴”而不是“我很伤心”。
127.该方法可以包括将第一所确认特征和第二所确认特征与特定于虚拟角色知识模型中包括的虚拟角色的信息进行比较以确认所选择的特征(块910)。知识模型可以包括特定于虚拟角色的信息，例如用户的常见响应，与虚拟角色相关的术语，其他经常与虚拟角色相关的角色等。
128.该方法可以包括访问虚拟角色的潜在动作库(块912)。库可以包括数据库，注册表，列表等，其包括代表特定虚拟角色的潜在动画/语音的信息。还可以通过使用生成模型在运行时创建潜在动作。
129.该方法可以包括基于处理过的输入信息确定虚拟角色要执行的动作。多模态模型可以处理与用户有关的多种信息并组合多种信息以更准确地确定动作。确定动作可以包括确认库中与从处理过的输入信息所确认的准确动作最接近地匹配的动作。
130.该方法可以包括显示在环境中执行动作的虚拟角色(块914)。在一些实施例中，该方法可以包括基于确认用户设备的选择来动态生成虚拟角色(块916)。动态生成可包括以短延迟(例如，小于1秒)控制虚拟角色。用户设备的选择可以包括与用户设备交互的用户点击超链接。
131.该方法可以包括为客户生成洞见报告(块918)。洞见报告可以包括关于用户与在用户设备上生成的虚拟角色交互的多种信息。
132.在第一示例实施例中，公开了用于控制虚拟角色的方法。该方法可以包括从设备接收多模态输入信息，多模态输入信息包括语音信息，面部表情信息，和代表设备周围环境的环境信息中的任一个。该方法还可以包括在设备上呈现的显示环境中的某个位置显示虚拟角色。该方法还可以包括实现至少两个内部模型以确认多模态输入信息的特征。
133.该方法还可以包括检查至少两个内部模型的所确认特征以确定所确认特征的第一所确认特征是否包括所确认特征的第二所确认特征的相似特性的阈值数量。该方法还可以包括将第一所确认特征和第二所确认特征与特定于虚拟角色知识模型中包括的虚拟角色的信息进行比较，以基于确定第一所确认特征包括所确认特征的第二所确认特征的相似
特性的阈值数量来选择所选择的特征。
134.该方法还可以包括访问与虚拟角色相关联的潜在动作库以确定与所选择的特征匹配的动作，该动作包括将由虚拟角色执行的动画和相关联的音频。该方法还可以包括通过修改呈现在设备上的环境中的虚拟角色并输出相关联的音频来实现所确定的动作。
135.在一些实施例中，至少两个内部模型包括能够从语音信息解析语音情绪的语音识别模型和能够基于面部表情信息检测面部特性情绪的面部特性识别模型，其中所选择的特征是语音情绪和面部特性情绪中共有的情绪，其中所确定的动作是基于该情绪确定的。
136.在一些实施例中，至少两个内部模型包括能够检索包括与先前和用户的互动相关的信息的先验知识信息的先验知识模型，其中基于使用先验知识模型处理过的先验知识信息来选择所选择的特征。
137.在一些实施例中，内部模型包括被配置为从音频信息获得情境和含义的自然语言理解模型，被配置为确认环境信息的意识模型，以及被配置为确认与用户和其他虚拟角色相关的数据的社交模拟模型。
138.在一些实施例中，该方法可以包括指示虚拟角色在设备上执行代表对用户的查询的初始动作，其中输入信息代表用户对查询的响应。
139.在一些实施例中，该方法可以包括经由网络向多个用户共享所嵌入的链接。该方法还可以包括从一组设备中的任何一个设备接收表示所嵌入的链接已被选择的选择。该方法还可以包括，响应于接收该选择，向发送该选择的一组设备中的设备传送数据流以在该设备上显示虚拟角色。
140.在一些实施例中，该方法可以包括在第一时间传送第一批数据流，第一批包括用于在设备的显示器上初始生成虚拟角色的信息。该方法还可以包括在第一时间之后的第二时间传送第二批数据流，第二批包括由虚拟角色输出第一动作的信息，其中第一批在第二时间被丢弃。
141.在一些实施例中，该方法可以包括检查环境信息以确认代表环境的地板的环境的一部分。该方法还可以包括将虚拟角色安置在代表环境地板的环境的一部分上方的第一位置。
142.在第二示例性实施例中，提供了一种被配置为提供对与由设备捕获的用户相关的多模态输入的响应的设备。该设备可以包括至少一个存储器。至少一个存储器可以包括至少两个被配置为从多模态输入信息中确认特征的内部模型。至少一个存储器还可以包括虚拟角色知识模型，该模型包括特定于虚拟角色的信息。至少一个存储器还可以包括与虚拟角色相关联的潜在动作库，每个动作与一个动画相关联以由虚拟角色和相关联的音频执行。
143.该设备还可以包括至少一个处理器。至少一个过程可以被配置为接收多模态输入信息，其包括语音信息，面部表情信息，和代表环境的环境信息中的至少一种。至少一个过程还可以被配置为检查由至少两个内部模型确认的特征以确定第一所确认特征是否在与第二所确认特征的阈值相似度内。至少一个过程还可以被配置为将第一所确认特征和第二所确认特征与虚拟角色知识模型进行比较以确认所选择的特征。
144.至少一个过程还可以被配置为通过检查与虚拟角色相关联的潜在动作库来确定与所选择的特征匹配的动作，该动作包括要在设备上输出的音频。至少一个过程还可以被
配置为在设备上输出音频。
145.在一些实施例中，至少一个处理器还被配置为在设备的显示器上显示虚拟角色在从环境信息获得的环境中的位置。所述至少一个过程还可以被配置为通过修改在设备上呈现的环境中的虚拟角色来实现包括要在设备上输出的音频和由虚拟角色要执行的所选择动画的动作。
146.在一些实施例中，至少两个内部模型包括能够检索包括与先前和用户的互动相关的信息的先验知识信息的先验知识模型，其中所选择的特征是基于使用先验知识模型处理的先验知识信息来选择的。
147.在一些实施例中，至少两个内部模型包括能够从语音信息解析语音情绪的语音识别模型和能够基于面部表情信息检测面部特性情绪的面部特性识别模型，其中所选择的特征是语音情绪和面部特性情绪中共有的情绪，其中所确定的动作是基于该情绪确定的。
148.在第三示例性实施例中，提供了一种在用户设备的网络浏览器上动态生成虚拟角色的计算机实现的方法。计算机实现的方法可以包括向用户设备的网络浏览器嵌入链接，该链接将网络浏览器链接到在用户设备上执行的应用。计算机实现的方法还可以包括从用户设备接收链接已经被选择的表示。计算机实现的方法还可以包括将数据流从代表信息的应用传送到网络浏览器以生成虚拟角色。
149.计算机实现的方法还可以包括在用户设备的网络浏览器上显示虚拟角色。计算机实现的方法还可以包括从用户设备接收多模态输入信息，多模态输入信息包括语音信息，面部表情信息，和代表环境的环境信息。计算机实现的方法还可以包括实现至少两个内部模型以确认多模态输入信息的特征。
150.计算机实现的方法还可以包括检查由至少两个内部模型所确认的特征以确定第一所确认特征是否在第二所确认特征的阈值相似度内。计算机实现的方法还可以包括将第一所确认特征和第二所确认特征与特定于虚拟角色知识模型中包括的虚拟角色的信息进行比较，以基于确定第一所确认特征包括所确认特征中的第二所确认特征的相似特性的阈值数量来选择所选择的特征。
151.计算机实现的方法还可以包括访问与虚拟角色相关联的潜在动作库以选择与所选择的特征匹配的动作，该动作包括将由虚拟角色执行的动画和相关联的音频。计算机实现的方法还可以包括在执行动作并输出相关联的音频的环境中显示虚拟角色。
152.在一些实施例中，网络浏览器包括在用户设备上执行的在移动应用上显示的页面。
153.在一些实施例中，计算机实现的方法可以包括存储与所选择的特征和动作有关的信息。计算机实现的方法还可以包括为多个用户聚合一系列所选择的特征和动作。计算机实现的方法还可以包括为多个用户处理一系列所选择的特征和动作，以获得与虚拟角色和多个用户的互动相关的一组分析。计算机实现的方法还可以包括呈现分析仪表板以显示与虚拟角色和多个用户的互动相关的这组分析。
154.示例处理系统
155.图10是示出处理系统的示例的框图，在其中可以实现本文所述的至少一些操作。例如，处理系统1000的一些组件可以被托管(hosted)在如本实施例中所述的电子设备上。
156.处理系统1000可以包括一个或多个中央处理单元(“处理器”)1002，主存储器
1006，非易失性存储器1010，网络适配器1012(例如，网络接口)，视频显示器1018，输入/输出设备1020，控制设备1022(例如，键盘和指点设备)，包括存储介质1026的驱动单元1024，和通信连接到总线1016的信号生成设备1030。总线1016被示出为表示一个或多个通过适合的网桥，适配器，或控制器连接的物理总线和/或点对点连接的抽象。因此，总线1016可以包括系统总线，外围组件互连(pci)总线或pci-express总线，hypertransport或工业标准架构(isa)总线，小型计算机系统接口(scsi)总线，通用串行总线(usb)，iic(i2c)总线，或电气和电子工程师协会(ieee)标准1594总线(即，“火线(firewire)”)。
157.处理系统1000可以共享与台式计算机，平板计算机，个人数字助理(pda)，智能电话，游戏机，音乐播放器，可穿戴电子设备(例如，手表或健身追踪器)，联网(“智能”)设备(例如，电视或家庭助理设备)，虚拟/增强现实系统(例如，头戴式显示器)，或能够执行一组指定处理系统1000要采取的动作的指令(顺序或以其他方式)的另一电子设备的计算机处理器架构类似的计算机处理器架构。
158.虽然主存储器1006，非易失性存储器1010，和存储介质1026(也称为“机器可读介质”)被示出为单个介质，但术语“机器可读介质”和“存储介质”应该被认为包括存储一组或多组指令1028的单个介质或多个介质(例如，集中式/分布式数据库和/或相关的缓存和服务器)。术语“机器可读介质”和“存储介质”还应理解为包括能够存储，编码，或携带由处理系统1000执行的一组指令的任何介质。
159.一般而言，为实现本公开的实施例而执行的例程可以被实现为操作系统或特定应用，组件，程序，对象，模块，或指令序列(统称为“计算机程序”)的一部分。计算机程序通常包括在计算设备中的多种存储器和存储设备中的不同时间设置的一个或多个指令(例如，指令1004，1008，1028)。当指令由一个或多个处理器1002读取和执行时，使处理系统1000执行操作以执行涉及本公开的多个方面的元素。
160.此外，虽然已经在全功能计算设备的情境中描述了实施例，但是本领域技术人员将理解多种实施例能够以多种形式作为程序产品被分布。无论用于实际影响分布的特定类型的机器或计算机可读介质如何，本公开均适用。
161.机器可读存储介质，机器可读介质，或计算机可读介质的其他示例包括可记录类型介质，例如易失性和非易失性存储设备1010，软盘和其他可移动磁盘，硬盘驱动器，光盘(例如，光盘只读存储器(cd-roms)，数字多功能磁盘(dvd))，和例如数字和模拟通信链路的传输类型的介质。
162.网络适配器1012使处理系统1000能够与处理系统1000外部的实体通过处理系统1000和外部实体支持的任何通信协议在网络1014中传递数据。网络适配器1012可以包括网络适配器卡，无线网络接口卡，路由器，接入点，无线路由器，交换机，多层交换机，协议转换器，网关，网桥，网桥路由器，集线器，数字媒体接收器，和/或中继器。
163.网络适配器1012可以包括防火墙，其控制和/或管理访问/代理计算机网络中的数据的许可并且跟踪不同机器和/或应用之间的不同信任级别。防火墙可以是具有硬件和/或软件组件的任意组合的任意数量的模块，其能够在一组特定的机器和应用，机器和机器，和/或应用和应用之间实施一组预定的访问权利(例如，以规范这些实体之间的流量和资源共享)。防火墙还可以管理和/或访问访问控制列表，其详细说明了包括个人，机器，和/或应用对对象的访问和操作权利的许可，以及许可权利所在的环境。
164.本文介绍的技术可以通过可编程电路(例如，一个或多个微处理器)，软件和/或固件，专用硬连线(即，不可编程)电路，或这些形式的组合来实施。专用电路可以采用一种或多种专用集成电路(asic)，可编程逻辑器件(pld)，现场可编程门阵列(fpga)等形式。
165.本文公开的技术可以包括从设计图提取信息以补充产品制造过程的能力的工具或系统。本实施例可以帮助报价/估计的生成/修改，制造反馈的生成，制造调度/订购过程等。
166.备注
167.除非上下文另有明确要求，否则在通篇说明书和权利要求书中，词语“包括”(“comprise”，“comprising”)等应被解释为包含性意义，而不是排他性或穷举性意义；也就是说，是“包括但不限于”的意义。如本文所用，术语“连接”，“耦接”，或其任何变体是指两个或多个元件之间的任何直接或间接的连接或耦接；元件之间的耦接或连接可以是物理的，逻辑的，或其组合。此外，在本技术中使用的词语“本文”，“以上”，“以下”，和类似含义的词语，是指本技术的整体，而不是本技术的任何特定部分。在上下文允许的情况下，上述具体实施方式中使用单数或复数的词语也可以分别包括复数或单数。提及两个或多个项目的列表中的“或”一词涵盖了该词的以下所有解释：列表中的任何项目，列表中的所有项目，以及列表中项目的任意组合。
168.如本文所用，术语“基本上”是指动作，特征，属性，状态，结构，项目，或结果的完全或接近完全的程度或等级。例如，“基本上”封闭的对象意味着该对象是完全封闭的或几乎完全封闭的。在一些情况下，与绝对完全的确切允许偏离程度可能取决于特定情境。但是，一般来说，接近完成将具有与获取绝对和全部完成相同的总体结果。“基本上”的使用同样适用于被使用在否定含义中，指完全或接近完全缺乏动作，特征，属性，状态，结构，项目，或结果。
169.以上本技术的示例的具体实施方式并非旨在穷举或将本技术限制为以上公开的精确形式。虽然以上出于说明的目的描述了本技术的具体示例，但是如相关领域的技术人员将认识到的，多种等同修改是可以在本技术的范围内的。例如，当过程或块以给定的顺序呈现时，替代实现可以以不同的顺序执行具有步骤的例程，或者采用具有块的系统，并且一些过程或块可以被删除，移动，添加，细分，组合，和/或修改以提供替代或子组合。这些过程或块中的每一个都可以以多种不同的方式实现。此外，虽然过程或块有时被示出为串行执行，但这些过程或块可以替代地并行执行或实现，或者可以在不同时间执行。此外，本文提到的任何特定数字仅是示例：替代实现可以采用不同的值或范围。
170.本文提供的本技术的教导可以被应用于其他系统，不一定是上述系统。可以组合上述多种示例的元件和动作以提供本技术的进一步实现。本技术的一些替代实现不仅可以包括上述那些实现的额外的元件，而且还可以包括更少的元件。
171.根据以上具体实施方式，可以对本技术进行这些和其他改变。尽管以上描述描述了本技术的某些示例，并且描述了所包括的最佳模式，但无论以上在文本中显得多么详细，本技术都可以以多种方式实践。系统的细节在其具体实现中可能有很大不同，但仍被本文公开的技术所涵盖。如上所述，在描述本技术的某些特性或方面时使用的特定术语不应被视为暗示该术语在本文中被重新定义以受限于与该术语相关联的本技术的任何特定特征，特性，或方面。通常，以下权利要求中使用的术语不应被解释为将本技术限制于说明书中公
开的特定示例，除非以上具体实施方式部分明确定义了这些术语。因此，本技术的实际范围不仅涵盖所公开的示例，还包括根据权利要求实践或实现本技术的所有等同方式。