交互式多模态书籍阅读的系统和方法与流程

交互式多模态书籍阅读的系统和方法
相关申请
1.本技术要求2020年2月29日提交的名称为“systems and methods for interactive,multimodal book reading[交互式多模态书籍阅读的系统和方法]”的美国临时专利申请序列号62/983,591和2021年2月26日提交的名称为“systems and methods for interactive,multimodal book reading[交互式多模态书籍阅读的系统和方法]”的63,154,554的优先权，这两个申请的全部内容通过引用并入本文。
技术领域
[0002]
本披露涉及为多模态书籍应用程序处理读物的系统和方法。


背景技术：

[0003]
在阅读当前媒体制品(例如，书籍、漫画书、报纸、杂志、宣传册等)时，没有为用户提供反馈方式。用户只是阅读了这本书，并且如果他们想了解有关读物的更多信息，他们可能要登录互联网进行探讨。另外，为了确定儿童或用户是否在了解读物，人类必须监视阅读读物的用户，并询问用户是否了解读物的概念。因此，需要一种用于处理、增强和分析读物(例如，书籍、杂志、漫画书、报纸、宣传册、其他印刷材料等)的多模态系统。


技术实现要素：

[0004]
在参考附图考虑以下描述和所附权利要求时，这些和其他特征和本发明技术的特性、以及相关结构元素的操作方法和功能、以及零件的组合与制造的经济性将变得更加显而易见，所有附图形成本说明书的一部分，在附图中，相同的附图标记表示各个附图中的对应部分。然而，将明确了解的是，附图仅出于说明和描述的目的，而不旨在作为对本发明的限制的限定。如在本说明书和权利要求中所使用的，除非上下文中另外明确指明，否则单数形式的“一个(a)”、“一个(an)”以及“该(the)”包括复数对象。
附图说明
[0005]
图1a图示了根据一种或多种实施方式的用于与儿童和/或父母互动的社交机器人或数字伴侣的系统。
[0006]
图1b图示了根据一种或多种实施方式的社交机器人或数字伴侣。
[0007]
图1c图示了根据一种或多种实施方式的儿童与社交机器人或数字伴侣互动的系统中的模块或子系统。
[0008]
图2图示了根据一些实施方式的示例性机器人计算设备的系统架构。
[0009]
图3图示了根据一种或多种实施方式的被配置成为多模态书籍应用程序处理读物的系统。
[0010]
图4a图示了根据一种或多种实施方式的为多模态书籍应用程序处理读物的方法400；
[0011]
图4b图示了根据一些实施方式的用户与多模态书籍阅读系统互动的过程；
[0012]
图4c图示了根据一些实施方式的未处理读物的即时处理和多模态书籍阅读系统的使用；
[0013]
图5a图示了根据一些实施方式的用于交互式多模态书籍阅读的系统中的模块的框图；
[0014]
图6a图示了根据一些实施例的用户或消费者与机器人计算设备(或数字伴侣)之间的交流。
[0015]
图6b图示了根据一些实施例的用户与机器人计算设备进行交流。
[0016]
图6c图示了根据一些实施例的用户使用机器人计算设备来阅读书籍。
具体实施方式
[0017]
以下详细描述根据本文披露的实施例提供了对在本披露中描述的发明的特征和优点的更好了解。尽管详细描述包括许多具体实施例，但这些仅作为示例提供并且不应被解释为限制本文所披露的发明的范围。
[0018]
本文描述的是用于处理、增强和分析读物的多模态系统。在一些实施方式中，读物可以是书籍、杂志、漫画书、报纸、宣传册和/或其他印刷材料。在一些实施方式中，这些材料可以以印刷形式或电子形式(经由平板电脑、计算设备和/或移动通信设备上的电子书或其他软件应用程序)提供。在一些实施方式中，多模态书籍阅读系统呈现用于交互式多模态设备阅读书籍的系统。本专利申请也适用于其他读物，比如书籍、百科全书、杂志、手册、印刷宣传册和/或其他印刷材料。在本说明书的其他部分中，可以使用术语“读物(reading article)”。在一些实施方式中，为了开始书籍阅读，用户可以选择大声说出书名和/或展示或指向书籍的封面(或内部的页)。在一些实施方式中，用户的展示或指向可以通知成像设备捕获要阅读的书名、要阅读的书籍的文本和/或要阅读的书籍的图像。进一步地，多模态书籍阅读系统还可以基于过去用户与多模态书籍阅读系统的交互，主动选择处于用户适当阅读水平的书籍以及选择供用户阅读的书籍。
[0019]
在一些实施方式中，在多模态书籍阅读系统接收到对书籍或读物的选择之后，用户可以开始阅读书籍。在一些实施方式中，当用户开始阅读书籍或读物时，包括多模态书籍阅读系统的机器人计算设备可以从一个或多个输入源或设备(例如，多个模态)跟随故事和/或用户阅读书籍。在一些实施方式中，输入设备可以包括：来自一个或多个麦克风的语音输入(因为可以大声朗读书籍)、视觉(通过让机器人计算设备的一个或多个成像设备捕获)和/或实施在书籍内的射频芯片(其可以被机器人计算设备的一个或多个rfid阅读器捕获)。在一些实施方式中，机器人计算设备的多模态书籍阅读系统可以包括识别书籍或读物中的一个或多个特定页和/或从所阅读的单词和/或短语中识别一个或多个页的能力或技术。另外，多模态书籍阅读系统还能够通过查看书籍、和/或甚至识别和/或跟随手指指向单词或短语来识别书籍或读物中的一个或多个特定页。在一些实施方式中，多媒体书籍阅读系统还可以具有由以下各项组成的多模态输出：一个或多个扬声器和音频处理器，用于发出语音和声音；显示器，用于显示图形和/或显示面部表情；以及马达，用于使机器人计算设备的附肢、颈部和/或头部移动，或与驱动系统和/或轮子或胎面交互以将机器人计算设备移动到新位置和/或将机器人的头部、颈部、手臂或肩部移动到不同定位。在一些实施方式
中，多模态输出可以用于提升读物体验。在一些实施方式中，到新位置的移动或运动有助于机器人计算设备获得关于用户正在阅读的内容的更好信息(例如，声音或图像)。
[0020]
在一些实施方式中，多模态书籍阅读系统可以包括书籍数据库。在一些实施方式中，书籍数据库可以包括或包含大量经过预处理(扫描了相关文本、参数和数据)的书籍。在一些实施方式中，资产数据库可以包括允许用户体验高保真书籍阅读体验的增强内容。在一些实施方式中，多模态书籍阅读系统可以知道被预处理并存储在数据库中的书籍的确切节奏和/或内容。在一些实施方式中，多模态书籍阅读系统可以生成要询问用户的问题，向用户提供评论以提高对书籍的了解，和/或能够评价用户对书籍的理解能力。在一些实施方式中，用户可能具有尚未由多模态书籍阅读系统预处理的书籍，这种书籍可以在用户阅读它们时进行处理。在一些实施方式中，多模态书籍阅读系统可以即时分析未处理的书籍或读物，以便从书籍中定位和确定关键词、主题、其他概念，识别角色、体裁，和/或识别情节。在一些实施方式中，多模态书籍阅读系统可以通过以下方式来执行这些动作：扫描书籍的页，使用一个或多个成像设备来视觉识别位于书籍或读物中的对象、角色和/或图像。在一些实施方式中，多模态书籍阅读系统还可以显示和执行适合书籍或读物的氛围(例如，悬疑、搞笑、悲伤等)的多模态输出。在一些实施方式中，例如，这些表现或多模态输出可以包括但不限于播放音乐、显示面部表情、做手势、生成声乐表达或单词(笑声和叹息声)、生成声乐评论、以及通过机器人计算设备的附肢、颈部和/或头部的移动产生视觉反应。在一些实施方式中，多模态书籍阅读设备或系统可以基于在阅读期间收集的信息来自动创建问题和评论。在一些实施方式中，可以将这种即时增强保存在资产数据库中以与多模态书籍阅读系统的其他用户一起使用。
[0021]
在一些实施方式中，书籍数据库可以从来自公共数据库(比如来自古腾堡计划(project gutenberg))的馈送或通过与出版商(例如，这样的数据库)的交易来接收书籍文本和其他书籍参数或特性。换言之，出版商可能同意共享其书籍的电子数据库。在一些实施方式中，机器人计算设备的多媒体书籍阅读器允许跟踪用户的阅读。在一些实施方式中，由于多模态书籍阅读器跟踪用户的进度，所以它能够通过根据故事情节播放对应的声音和/或歌曲、改变机器人计算设备显示器中的灯、在机器人计算设备显示器上示出面部仪态、以及移动机器人计算设备的不同部分来为读者创造气氛。在一些实施方式中，机器人计算设备的多模态书籍阅读器系统甚至可以打断读者或用户、生成问题或评论、或向用户提出问题或评论，这使得书籍阅读成为一种交互式体验，使读者能够更好地理解所阅读的文本。在一些实施方式中，多模态书籍阅读器系统可以交互地评价读者的阅读理解水平。在一些实施方式中，这种类型的交互式和多模态阅读系统可能对读者更具吸引力，因此可能会潜在地增加年轻读者的数量。在一些实施方式中，多模态阅读系统可以进一步基于客观评价分数(包括但不限于用户的阅读清晰度、阅读速度、流利度、阅读理解能力和/或还有所阅读的书籍的词汇量)来评价用户的阅读水平。在一些实施方式中，这些客观评价分数指导对要向用户建议的新阅读材料的选择，以改进和/或提高阅读理解水平。
[0022]
在一些实施方式中，多模态书籍阅读器提供了比其他可用系统更多的优势。在一些实施方式中，多媒体书籍阅读器系统包括多模态输入(音频、视频、触摸、rfid)和多模态输出(语音、声音、图形、手势等)以辅助和提升阅读书籍(或阅读材料)。在一些实施方式中，多模态书籍阅读器系统可以通过让用户使用语音输入(和麦克风捕获)、触摸输入、向机器
人计算设备展示书籍或阅读材料、做手势和/或指向书籍或阅读材料、或经由鼠标或键盘输入对书籍或阅读材料的选择来从已知或未知书籍的列表中选择标题来发起书籍阅读会话。在一些实施方式中，多模态书籍阅读器系统可以通过基于用户的描述(“我想阅读惊悚小说”)、用户喜欢的过去的书籍或阅读材料、在用户阅读能力范围内的书籍或阅读材料(儿童书籍与成人书籍)、或由算法识别的书籍或阅读材料(例如，通过与出版商的交易，或经由阅读新书或其他阅读材料的广告)主动建议书籍或阅读材料来帮助用户选择书籍或阅读材料。在一些实施方式中，当用户开始阅读书籍或阅读材料时，多媒体书籍阅读器系统可以从一个或多个输入源跟随故事：例如，通过一个或多个麦克风的语音输入(因为正在阅读书籍)，通过一个或多个成像设备的视觉输入，或读取在书籍或其他阅读材料内实施的射频芯片。
[0023]
在一些实施方式中，当跟随从书中阅读的故事时，机器人计算设备的多模态书籍阅读系统可以生成或提供视觉输出、声学输出、语音反馈、移动性命令和/或动作以及其他增强材料以强化故事、理解能力、参与度并提高读者或用户的阅读技能。在一些实施方式中，多模态书籍阅读系统可以包括书籍数据库，该书籍数据库包括大量经过预处理的书籍。在一些实施方式中，可以用内容来增强经预处理的书籍以允许高保真书籍阅读体验，并且该内容可以存储在资产数据库中。在一些实施方式中，多模态书籍阅读系统能够打断读者并提出问题或评论，从而使得书籍阅读成为一种交互式体验，使读者能够更好地理解所阅读的文本。在一些实施方式中，可以对未预处理并存储在书籍数据库中的其他书籍或阅读材料进行处理(单独地或在读者阅读书籍时)。在一些实施方式中，多模态书籍阅读系统可以基于书籍中出现的关键词、主题、概念或通过使用其他模态捕获书籍的部分(例如，对诸如对象、角色、场景等的视觉识别)来增强新处理的书籍。在一些实施方式中，多模态书籍阅读设备可以基于在阅读期间收集的信息来自动创建问题和评论。在一些实施方式中，可以将这种对书籍或阅读材料的即时增强保存在数据库中以与多模态书籍阅读系统的其他用户一起使用。在一些实施方式中，多模态书籍阅读系统可以基于客观评价分数(包括但不限于阅读清晰度、阅读速度、流利度、阅读理解能力和/或书籍的词汇量)来评价阅读水平或用户或读者。在一些实施方式中，多模态书籍阅读系统可以计算和/或生成上述评价信息，然后将评价信息报告给用户和/或其他相关方(例如，父母、教师、监护人等)。在一些实施方式中，这些客观评价分数指导对要向用户建议的新阅读材料的选择，以改进和/或提高阅读理解水平。
[0024]
尽管使用了术语“机器人计算设备”，但本文的教导和披露还适用于数字伴侣、包括话音识别软件的计算设备、包括手势识别软件的计算设备、包括声音识别软件的计算设备和/或包括面部识别软件或面部表情软件的计算设备。在一些情况下，这些术语可以互换使用。图1a图示了根据一种或多种实施方式的用于与儿童和/或父母互动的社交机器人或数字伴侣的系统。图1c图示了根据一种或多种实施方式的儿童与社交机器人或数字伴侣互动的系统中的模块或子系统。图1b图示了根据一种或多种实施方式的社交机器人或数字伴侣。在一些实施方式中，机器人计算设备105(或数字伴侣)可以与儿童互动并与儿童建立交流交互。在一些实施方式中，机器人计算设备105与儿童111之间将存在双向交流，目的是在交流交互中建立多轮会话(例如，双方轮流会话)。在一些实施方式中，机器人计算设备105可以经由口语(例如，音频动作)、视觉动作(显示屏上的眼睛或面部表情的移动)和/或身体
动作(例如，机器人计算设备的颈部或头部或附肢的移动)与儿童交流。在一些实施方式中，机器人计算设备105可以使用成像设备来评估儿童的肢体语言、儿童的面部表情，并且可以使用语音识别软件来评估、捕获和/或记录儿童的语音。
[0025]
在一些实施方式中，儿童还可以具有一个或多个电子设备110。在一些实施方式中，一个或多个电子设备110可以允许儿童登录到服务器计算设备或其他基于云的计算设备上的网站，以便访问学习实验室和/或参与存放在网站上的交互式游戏。在一些实施方式中，儿童的一个或多个计算设备110可以与云计算设备115通信以访问网站120。在一些实施方式中，网站120可以位于服务器计算设备或其他基于云的计算设备上。在一些实施方式中，网站120可以包括学习实验室(其可以被称为全球机器人实验室(grl))，儿童可以在其中与同机器人计算设备105相关联的数字角色或人物进行交互。在一些实施方式中，网站120可以包括交互式游戏，儿童可以在其中参与竞赛或目标设定练习。在一些实施方式中，其他用户能够与电子商务网站或程序进行接口连接(其中，其他用户(例如，儿童、父母或监护人)可以购买与机器人相关联的物品(例如，漫画书、玩具、徽章或其他附属物品))。
[0026]
在一些实施方式中，机器人计算设备或数字伴侣105可以包括一个或多个成像设备、一个或多个麦克风、一个或多个触摸传感器、一个或多个imu传感器、一个或多个马达和/或马达控制器、一个或多个显示设备或监视器、和/或一个或多个扬声器。在一些实施方式中，机器人计算设备可以包括一个或多个处理器、一个或多个存储器设备、和/或一个或多个无线通信收发器。在一些实施方式中，计算机可读指令可以存储在一个或多个存储器设备中，并且可以是可执行的以执行许多动作、操作和/或功能。在一些实施方式中，机器人计算设备可以对可以从上文列出的机器人计算设备的部件捕获和/或获得的数据、参数和/或测量值、音频文件和/或图像文件执行分析处理。
[0027]
在一些实施方式中，一个或多个触摸传感器可以测量用户(儿童、父母或监护人)是否触摸了机器人计算设备的一部分，或者是否有另一个对象或个人与机器人计算设备接触。在一些实施方式中，一个或多个触摸传感器可以测量触摸的力、触摸的维度和/或方向以确定例如是否是探索性触摸、推开、拥抱或另一类型的动作。在一些实施方式中，例如，触摸传感器可以位于或定位在机器人计算设备的附肢或手的前部和后部上、或机器人计算设备的腹部区域上。因此，软件和/或触摸传感器可以确定儿童是否在握手或抓住机器人计算设备的手，或者他们是否在揉搓机器人计算设备的胃。在一些实施方式中，其他触摸传感器可以确定儿童是否正在拥抱机器人计算设备。在一些实施方式中，触摸传感器可以与其他机器人计算设备软件结合使用，其中，机器人计算设备能够告诉儿童，如果他们想跟随故事的一条路径，就将他们的左手握在一起，如果他们想跟随故事的另一条路径，就握住左手。
[0028]
在一些实施方式中，一个或多个成像设备可以捕获与机器人计算设备交互的儿童、父母或监护人的图像和/或视频。在一些实施方式中，一个或多个成像设备可以捕获儿童、父母或监护人周围区域(例如，周围环境)的图像和/或视频。在一些实施方式中，一个或多个麦克风可以捕获儿童、父母或监护人说出的声音或口头命令。在一些实施方式中，可由处理器或音频处理设备执行的计算机可读指令可以将捕获的声音或话语转换成音频文件以进行处理。在一些实施方式中，所捕获的视频文件、音频文件和/或图像文件可以用于识别面部表情和/或帮助确定由机器人设备执行或说出的未来动作。
[0029]
在一些实施方式中，一个或多个imu传感器可以测量机器人计算设备的不同部分
的速度、加速度、取向和/或位置。在一些实施方式中，例如，imu传感器可以确定附肢或颈部的移动速度。在一些实施方式中，例如，imu传感器可以确定一部分或机器人计算设备(例如颈部、头部、身体或附肢)的取向，以识别手是在挥动还是处于静止定位。在一些实施方式中，imu传感器的使用可以允许机器人计算设备对其(身体的)不同部分进行定向，以便对用户显得更友好或更有吸引力。
[0030]
在一些实施方式中，机器人计算设备可以具有一个或多个马达和/或马达控制器。在一些实施方式中，计算机可读指令可以由一个或多个处理器执行，并且作为响应，命令或指令可以传送到一个或多个马达控制器以向马达发送信号或命令，从而使马达移动机器人计算设备的各部分。在一些实施方式中，这些部分可以包括机器人计算设备的附肢或手臂和/或机器人计算设备的颈部或头部。在一些实施方式中，马达和/或马达控制器可以控制机器人计算设备从一个定位到另一个定位(例如，在不同位置之间)的移动。在一些实施方式中，马达和/或马达控制器可以与连接到轮子和/或胎面系统的驱动系统进行接口连接，以移动机器人计算设备。
[0031]
在一些实施方式中，机器人计算设备可以包括显示器或监视器。在一些实施方式中，监视器可以允许机器人计算设备显示面部表情(例如，眼睛、鼻子或嘴的表情)，以及向儿童、父母或监护人显示视频或消息。在一些实施方式中，显示器还可以向儿童、父母或监护人显示图形图像。
[0032]
在一些实施方式中，机器人计算设备可以包括一个或多个扬声器，其可以被称为输出模态。在一些实施方式中，一个或多个扬声器可以实现或允许机器人计算设备交流单词、短语和/或句子，从而参与与用户的会话。另外，当儿童、父母或监护人正在执行动作和/或与机器人计算设备互动时，一个或多个扬声器可以为他们发出音频声音或音乐。
[0033]
在一些实施方式中，该系统可以包括父母计算设备125。在一些实施方式中，父母计算设备125可以包括一个或多个处理器和/或一个或多个存储器设备。在一些实施方式中，计算机可读指令可以由一个或多个处理器执行以使父母计算设备125执行多个操作和/或功能。在一些实施方式中，这些特征和功能可以包括为该系统生成和运行父母接口。在一些实施方式中，可由父母计算设备125执行的软件还可以更改用户(例如，儿童、父母或监护人)设置。在一些实施方式中，可由父母计算设备125执行的软件还可以允许父母或监护人在系统中管理他们自己的账户或他们孩子的账户。在一些实施方式中，可由父母计算设备125执行的软件可以允许父母或监护人发起或完成父母同意，以允许使用机器人计算设备的某些特征。在一些实施方式中，可由父母计算设备125执行的软件可以允许父母或监护人关于从机器人计算设备捕获的内容和由系统分析和/或使用的内容来设置目标或阈值或设置。在一些实施方式中，可由父母计算设备125的一个或多个处理器执行的软件可以允许父母或监护人查看由系统生成的不同分析，以便了解机器人计算设备是如何操作的、他们的孩子针对既定目标的进度如何、和/或儿童是如何与机器人计算设备交互的。
[0034]
在一些实施方式中，系统可以包括云服务器计算设备115。在一些实施方式中，云服务器计算设备115可以包括一个或多个处理器和一个或多个存储器设备。在一些实施方式中，计算机可读指令可以从一个或多个存储器设备中检索并且可由一个或多个处理器执行以使云服务器计算设备115执行计算和/或附加功能。在一些实施方式中，该软件(例如，可由一个或多个处理器执行的计算机可读指令)可以管理所有用户(例如，儿童、父母和/或
监护人)的账户。在一些实施方式中，该软件还可以管理个人可识别信息在云服务器计算设备115的一个或多个存储器设备中的存储。在一些实施方式中，该软件还可以对从儿童、父母或监护人捕获的声音文件执行音频处理(例如，语音识别和/或情境识别)，以及生成可以由机器人计算设备115说出的语音和相关音频文件。在一些实施方式中，云服务器计算设备115中的软件可以执行和/或管理对从机器人计算设备接收到的图像的视频处理。
[0035]
在一些实施方式中，云服务器计算设备115的软件可以分析从各种传感器和/或其他输入模态接收的输入，以及从其他软件应用程序收集关于儿童实现设定目标的进度的信息。在一些实施方式中，云服务器计算设备软件可以由一个或多个处理器执行以便执行分析处理。在一些实施方式中，分析处理可以是关于儿童相对于既定目标的表现如何的行为分析。在一些实施方式中，分析处理可以是关于儿童在与机器人会话(或阅读书籍或参与其他活动)方面相对于既定目标的表现如何的行为分析。
[0036]
在一些实施方式中，云服务器计算设备的软件可以接收关于用户或儿童如何响应内容的输入，例如，儿童是否喜欢故事、增强内容和/或由机器人计算设备的一个或多个输出模态生成的输出。在一些实施方式中，云服务器计算设备可以接收关于儿童对内容的响应的输入，并且可以执行关于内容的效果如何以及内容的某些部分是否可能不起作用(例如，被感知为无聊或潜在的故障或不起作用)的分析。
[0037]
在一些实施方式中，云服务器计算设备的软件可以从机器人计算设备的硬件部件(比如传感器、电池、马达、显示器和/或其他部件)接收诸如参数或测量值等输入。在一些实施方式中，云服务器计算设备的软件可以从硬件部件接收参数和/或测量值，并且可以对接收的参数、测量值或数据执行iot分析或其他分析处理以确定机器人计算设备是否发生故障和/或未以最佳方式运行。
[0038]
在一些实施方式中，云服务器计算设备115可以包括一个或多个存储器设备。在一些实施方式中，一个或多个存储器设备的部分可以存储各种账户持有人的用户数据。在一些实施方式中，用户数据可以是用户地址、用户目标、用户详细信息和/或偏好。在一些实施方式中，用户数据可以被加密和/或存储可以是安全存储。
[0039]
图1c图示了根据一些实施方式的包括机器人计算设备的系统的功能模块。在一些实施例中，本文描述的至少一种方法由系统300执行，该系统包括会话系统116、机器控制系统121、多模态输出系统122、多模态感知系统123以及评估系统215。在一些实施方式中，会话系统216、机器控制系统121、多模态输出系统122、多模态感知系统123以及评估系统215中的至少一个可以包括在机器人计算设备或机器中。在一些实施例中，机器可以是机器人、或机器人计算设备、或数字伴侣设备。在一些实施方式中，会话系统216可以通信地耦合到机器人计算设备的控制系统121。在一些实施例中，会话系统可以通信地耦合到评估系统215。在一些实施方式中，会话系统216可以通信地耦合到会话内容储存库220。在一些实施方式中，会话系统216可以通信地耦合到会话测试系统350。在一些实施方式中，会话系统216可以通信地耦合到会话创作系统141。在一些实施方式中，会话系统216可以通信地耦合到目标创作系统140。在一些实施方式中，会话系统216可以是由会话系统服务器提供的基于云的会话系统，其经由互联网通信地耦合到控制系统121。在一些实施方式中，会话系统可以是具体化的聊天操作系统。
[0040]
在一些实施方式中，会话系统216可以是包括在机器人计算设备或实施方式中的
嵌入式会话系统。在一些实施方式中，控制系统121可以被构造成控制多模态输出系统122和包括一个或多个传感器的多模态感知系统123。在一些实施方式中，控制系统121可以被构造成与会话系统216交互。在一些实施方式中，机器或机器人计算设备可以包括多模态输出系统122。在一些实施方式中，多模态输出系统122可以包括音频输出子系统、视频显示子系统、机械机器人子系统、发光子系统、led(发光二极管)环、和/或led(发光二极管)阵列中的至少一个。在一些实施方式中，机器或机器人计算设备可以包括多模态感知系统123，其中，多模态感知系统123可以包括至少一个传感器。在一些实施方式中，多模态感知系统123包括以下各项中的至少一项：热检测子系统的传感器、视频捕获子系统的传感器、音频捕获子系统的传感器、触摸传感器、压电式压力传感器、电容式触摸传感器、电阻式触摸传感器、血压传感器、心率传感器和/或生物特征传感器。在一些实施方式中，评估系统215可以通信地耦合到控制系统121。在一些实施方式中，评估系统215可以通信地耦合到多模态输出系统122。在一些实施方式中，评估系统215可以通信地耦合到多模态感知系统123。在一些实施方式中，评估系统215可以通信地耦合到会话系统216。在一些实施方式中，评估系统215可以通信地耦合到客户端设备110(例如，父母或监护人的移动设备或计算设备)。在一些实施方式中，评估系统215可以通信地耦合到目标创作系统140。在一些实施方式中，评估系统215可以包括目标评估模块的计算机可读指令，这些指令在由评估系统执行时可以控制评估系统215处理从多模态感知系统123生成的信息以评估与由会话系统216处理的会话内容相关联的目标。在一些实施方式中，目标评估模块是基于由目标创作系统140提供的信息生成的。
[0041]
在一些实施方式中，目标评估模块215可以基于由会话创作系统140提供的信息来生成。在一些实施例中，目标评估模块215可以由评估模块生成器142生成。在一些实施方式中，会话测试系统可以从测试操作员接收用户输入，并且可以(直接地或者经由会话系统216)向控制系统121提供多模态输出指令。在一些实施方式中，会话测试系统350可以(直接从控制系统121或经由会话系统216)接收指示由机器或机器人计算设备感测到的人类响应的事件信息。在一些实施方式中，会话创作系统141可以被构造成生成会话内容并将会话内容存储在内容储存库220和会话系统216之一中。在一些实施方式中，响应于会话系统216当前使用的内容的更新，会话系统可以被构造成将更新的内容存储在内容储存库220中。
[0042]
在一些实施例中，目标创作系统140可以被构造成生成用于生成会话内容的目标定义信息。在一些实施方式中，目标创作系统140可以被构造成将生成的目标定义信息存储在目标储存库143中。在一些实施方式中，目标创作系统140可以被构造成将目标定义信息提供给会话创作系统141。在一些实施方式中，目标创作系统143可以向客户端设备提供目标定义用户界面，该用户界面包括用于接收用户提供的目标定义信息的字段。在一些实施例中，目标定义信息指定要用于评估目标的目标评估模块。在一些实施方式中，每个目标评估模块是评估系统215的子系统和多模态感知系统123的子系统中的至少一个。在一些实施例中，每个目标评估模块使用评估系统215的子系统和多模态感知系统123的子系统中的至少一个。在一些实施方式中，目标创作系统140可以被构造成通过与机器或机器人计算设备通信来确定可用的目标评估模块，并且更新目标定义用户界面以显示所确定的可用目标评估模块。
[0043]
在一些实施方式中，目标定义信息定义目标的目标级别。在一些实施例中，目标创
作系统140基于从客户端设备接收的信息(例如，经由目标定义用户界面提供的用户输入的数据)来定义目标级别。在一些实施例中，目标创作系统140基于模板自动定义目标级别。在一些实施例中，目标创作系统140基于由目标储存库143提供的信息自动定义目标级别，该目标储存库存储形成类似目标定义的目标级别的信息。在一些实施方式中，目标定义信息定义目标级别的参与者支持级别。在一些实施例中，目标创作系统140基于从客户端设备接收的信息(例如，经由目标定义用户界面提供的用户输入的数据)来定义参与者支持级别。在一些实施方式中，目标创作系统140可以基于模板自动定义参与者支持级别。在一些实施例中，目标创作系统140可以基于由目标储存库143提供的信息自动定义参与者支持级别，该目标储存库存储形成类似目标级别定义的参与者支持级别的信息。在一些实施方式中，会话内容包括指示应评估特定目标的目标信息，并且会话系统216可以(直接地或经由控制系统121)向评估系统215提供指令以启用评估系统215的相关目标评估模块。在目标评估模块被启用的情况下，评估系统215执行目标评估模块的指令以处理从多模态感知系统123生成的信息并生成评估信息。在一些实施方式中，评估系统215将所生成的评估信息(直接地或经由控制系统121)提供给会话系统215。在一些实施方式中，评估系统215可以基于评估信息(直接地或者经由控制系统121)更新会话系统216处的当前会话内容或可以选择会话系统100处的新会话内容。
[0044]
图1b图示了根据一些实施方式的机器人计算设备。在一些实施方式中，机器人计算设备105可以是机器、数字伴侣、机器人计算设备和/或包括计算设备的机电设备。这些术语在说明书中可以互换使用。在一些实施方式中，如图1b所示，机器人计算设备105可以包括头部组件103d、显示设备106d、至少一个机械附肢105d(图1b中示出了两个)、身体组件104d、垂直轴旋转马达163和/或水平轴旋转马达162。在一些实施方式中，机器人计算设备可以包括多模态输出系统122和多模态感知系统123(图1b中未示出，但在下面的图2中示出)。在一些实施方式中，显示设备106d可以允许面部表情106b在生成之后被示出或展示。在一些实施方式中，面部表情106b可以通过两个或更多个数字眼睛、数字鼻子和/或数字嘴来示出。在一些实施方式中，可以使用其他图像或部分来示出面部表情。在一些实施方式中，水平轴旋转马达163可以允许头部组件103d左右移动，这允许头部组件103d模仿人的颈部移动，就像人左右摇头。在一些实施方式中，垂直轴旋转马达162可以允许头部组件103d在上下方向上移动，就像人上下点头。在一些实施方式中，可以使用附加马达将机器人计算设备(例如，整个机器人或计算设备)移动到房间或空间(或甚至另一个房间)中的新定位或地理位置。在这种实施方式中，附加马达可以连接到驱动系统，该驱动系统导致轮子、轮胎或胎面旋转并因此物理地移动机器人计算设备。
[0045]
在一些实施方式中，身体组件104d可以包括一个或多个触摸传感器。在一些实施方式中，身体组件的(多个)触摸传感器可以允许机器人计算设备确定它是否被触摸或拥抱。在一些实施方式中，一个或多个附肢105d可以具有一个或多个触摸传感器。在一些实施方式中，一个或多个触摸传感器中的一些可以位于附肢105d的末端(其可以代表手)。在一些实施方式中，这允许机器人计算设备105确定用户或儿童是否正在触摸附肢的末端(这可以表示用户在握住用户的手)。
[0046]
图2是描绘了根据各实施方式的机器人计算设备(例如，图1b的105)的系统架构的简图。在一些实施方式中，图2的机器人计算设备或系统可以被实施为单个硬件设备。在一
些实施方式中，图2的机器人计算设备和系统可以被实施为多个硬件设备。在一些实施方式中，图2的机器人计算设备和系统可以实施为asic(专用集成电路)。在一些实施方式中，图2的机器人计算设备和系统可以实施为fpga(现场可编程门阵列)。在一些实施方式中，图2的机器人计算设备和系统可以实施为soc(片上系统)。在一些实施方式中，总线201可以与处理器226a-n、主存储器227(例如，随机存取存储器(ram))、只读存储器(rom)228、一个或多个处理器可读存储介质210、以及一个或多个网络设备211进行接口连接。在一些实施方式中，总线201与显示设备(例如102c)和用户输入设备中的至少一个进行接口连接。在一些实施方式中，总线101与多模态输出系统122进行接口连接。在一些实施方式中，多模态输出系统122可以包括音频输出控制器。在一些实施方式中，多模态输出系统122可以包括扬声器。在一些实施方式中，多模态输出系统122可以包括显示系统或监视器。在一些实施方式中，多模态输出系统122可以包括马达控制器。在一些实施方式中，马达控制器可以被构造成控制图1b的机器人系统的一个或多个附肢(例如105d)。在一些实施方式中，马达控制器可以被构造成控制图1b的机器人系统的附肢(例如105d)的马达。在一些实施方式中，马达控制器可以被构造成控制马达(例如，机动化的马达、机械机器人附肢)。
[0047]
在一些实施方式中，总线201可以与多模态感知系统123(其可以被称为多模态输入系统或多模态输入模态)进行接口连接。在一些实施方式中，多模态感知系统123可以包括一个或多个音频输入处理器。在一些实施方式中，多模态感知系统123可以包括人类反应检测子系统。在一些实施方式中，多模态感知系统123可以包括一个或多个麦克风。在一些实施方式中，多模态感知系统123可以包括一个或多个相机或成像设备。
[0048]
在一些实施方式中，一个或多个处理器226a-226n可以包括arm处理器、x86处理器、gpu(图形处理单元)等中的一个或多个。在一些实施方式中，处理器中的至少一个可以包括支持simd(单指令多数据)系统的至少一个算术逻辑单元(alu)，该simd系统为乘法和累加运算提供本地支持。
[0049]
在一些实施方式中，中央处理单元(处理器)、gpu和多处理器单元(mpu)中的至少一者可以被包括在内。在一些实施方式中，处理器和主存储器形成处理单元225。在一些实施方式中，处理单元225包括通信地耦合到ram、rom和计算机可读存储介质中的一个或多个的一个或多个处理器；处理单元中的一个或多个处理器经由总线接收由ram、rom和计算机可读存储介质中的一个或多个存储的指令；并且该一个或多个处理器执行接收到的指令。在一些实施方式中，处理单元是asic(专用集成电路)。
[0050]
在一些实施方式中，处理单元可以是soc(片上系统)。在一些实施方式中，处理单元可以包括支持simd(单指令多数据)系统的至少一个算术逻辑单元(alu)，该simd系统为乘法和累加运算提供本地支持。在一些实施方式中，处理单元是中央处理单元，比如intel xeon(英特尔至强)处理器。在其他实施方式中，处理单元包括诸如nvidia tesla(英伟达特斯拉)等图形处理单元。
[0051]
在一些实施方式中，一个或多个网络适配器设备或网络接口设备205可以提供用于交换数据和命令的一个或多个有线或无线接口。这样的有线和无线接口包括例如，通用串行总线(usb)接口、蓝牙接口、wi-fi接口、以太网接口、近场通信(nfc)接口等。在一些实施方式中，一个或多个网络适配器设备或网络接口设备205可以是无线通信设备。在一些实施方式中，一个或多个网络适配器设备或网络接口设备205可以包括个域网(pan)收发器、
广域网通信收发器和/或蜂窝通信收发器。
[0052]
在一些实施方式中，一个或多个网络设备205可以通信地耦合到另一机器人计算设备(例如，与图1b的机器人计算设备105类似的机器人计算设备)。在一些实施方式中，一个或多个网络设备205可以通信地耦合到评估系统模块(例如，215)。在一些实施方式中，一个或多个网络设备205可以通信地耦合到会话系统模块(例如，110)。在一些实施方式中，一个或多个网络设备205可以通信地耦合到测试系统。在一些实施方式中，一个或多个网络设备205可以通信地耦合到内容储存库(例如，220)。在一些实施方式中，一个或多个网络设备205可以通信地耦合到客户端计算设备(例如，110)。在一些实施方式中，一个或多个网络设备205可以通信地耦合到会话创作系统(例如，160)。在一些实施方式中，一个或多个网络设备205可以通信地耦合到评估模块生成器。在一些实施方式中，一个或多个网络设备可以通信地耦合到目标创作系统。在一些实施方式中，一个或多个网络设备205可以通信地耦合到目标储存库。在一些实施方式中，软件程序(比如操作系统211、应用程序212和设备驱动程序213)中的机器可执行或计算机可读指令可以从处理器可读存储介质、rom或任何其他存储位置加载到(处理单元的)一个或多个存储器设备中。在这些软件程序的执行期间，相应的计算机可执行指令可以被(处理单元的)处理器226a
ꢀ‑
226n中的至少一个经由总线201访问，并且然后可以被处理器中的至少一个执行。由软件程序使用的数据也可以存储在一个或多个存储器设备中，并且这种数据在软件程序的计算机可执行指令的执行期间被一个或多个处理器226a-226n中的至少一个访问。
[0053]
在一些实施方式中，处理器可读存储介质210可以是硬盘驱动器、闪存驱动器、dvd、cd、光盘、软盘、闪存、固态驱动器、rom、eeprom、电子电路、半导体存储器设备等之一(或两个或更多个的组合)。在一些实施方式中，处理器可读存储介质210可以包括用于操作系统211、软件程序或应用软件212、设备驱动程序213的计算机可执行指令(和相关数据)，以及用于图2的一个或多个处理器226a-226n的计算机可执行指令。
[0054]
在一些实施方式中，处理器可读存储介质210可以包括机器控制系统模块214，其包括用于控制机器人计算设备执行由机器控制系统执行的过程(比如使机器人计算设备的头部组件移动)的计算机可执行指令。
[0055]
在一些实施方式中，处理器可读存储介质210可以包括评估系统模块215，其包括用于控制机器人计算设备执行由评估系统执行的过程的计算机可执行指令。在一些实施方式中，处理器可读存储介质210可以包括会话系统模块216，其可以包括用于控制机器人计算设备105执行由会话系统执行的过程的计算机可执行指令。在一些实施方式中，处理器可读存储介质210可以包括用于控制机器人计算设备105执行由测试系统执行的过程的计算机可执行指令。在一些实施方式中，处理器可读存储介质210，用于控制机器人计算设备105执行由会话创作系统执行的过程的计算机可执行指令。
[0056]
在一些实施方式中，处理器可读存储介质210，用于控制机器人计算设备105执行由目标创作系统执行的过程的计算机可执行指令。在一些实施方式中，处理器可读存储介质210可以包括用于控制机器人计算设备105执行由评估模块生成器执行的过程的计算机可执行指令。
[0057]
在一些实施方式中，处理器可读存储介质210可以包括内容储存库220。在一些实施方式中，处理器可读存储介质210可以包括目标储存库180。在一些实施方式中，处理器可
读存储介质210可以包括用于情绪检测模块的计算机可执行指令。在一些实施方式中，情绪检测模块可以被构造成基于所捕获的图像数据(例如，由感知系统123、和/或成像设备之一捕获的图像数据)来检测情绪。在一些实施方式中，情绪检测模块可以被构造成基于所捕获的音频数据(例如，由感知系统123、和/或麦克风之一捕获的音频数据)来检测情绪。在一些实施方式中，情绪检测模块可以被构造成基于所捕获的图像数据和所捕获的音频数据来检测情绪。在一些实施方式中，可由情绪检测模块检测的情绪包括愤怒、轻蔑、厌恶、恐惧、快乐、中立、悲伤和惊讶。在一些实施方式中，可由情绪检测模块检测的情绪包括快乐、悲伤、愤怒、困惑、厌恶、惊讶、平静、未知。在一些实施方式中，情绪检测模块被构造成将检测到的情绪分类为积极、消极或中立。在一些实施方式中，机器人计算设备105可以在机器人计算设备执行动作之后使用情绪检测模块来获得、计算或生成所确定的情绪分类(例如，积极、中立、消极)，并与所执行的动作相关联地存储所确定的情绪分类(例如，存储在存储介质210中)。
[0058]
在一些实施方式中，测试系统可以与机器人计算设备分离的硬件设备或计算设备，并且测试系统包括至少一个处理器、存储器、rom、网络设备和存储介质(根据与本文针对机器120描述的系统架构类似的系统架构来构造)，其中，存储介质存储用于控制测试系统150执行由测试系统执行的过程的计算机可执行指令，如本文所述。
[0059]
在一些实施方式中，会话创作系统可以是与机器人计算设备105分离的硬件设备，并且会话创作系统可以包括至少一个处理器、存储器、rom、网络设备和存储介质(根据与本文针对机器人计算设备105描述的系统架构类似的系统架构来构造)，其中，存储介质存储用于控制会话创作系统执行由会话创作系统执行的过程的计算机可执行指令。
[0060]
在一些实施方式中，评估模块生成器可以是与机器人计算设备105分离的硬件设备，并且评估模块生成器可以包括至少一个处理器、存储器、rom、网络设备和存储介质(根据与本文针对机器人计算设备描述的系统架构类似的系统架构来构造)，其中，存储介质存储用于控制评估模块生成器执行由评估模块生成器执行的过程的计算机可执行指令，如本文所述。
[0061]
在一些实施方式中，目标创作系统可以是与机器人计算设备分离的硬件设备，并且目标创作系统可以包括至少一个处理器、存储器、rom、网络设备和存储介质(根据与所描述的系统架构类似的系统架构来构造，用于控制目标创作系统执行由目标创作系统执行的过程的指令。在一些实施方式中，目标创作系统的存储介质可以包括本文描述的目标定义用户界面的数据、设置和/或参数。在一些实施方式中，目标创作系统的存储介质可以包括用于本文描述的目标定义用户界面(例如，用户界面)的计算机可执行指令。在一些实施方式中，目标创作系统的存储介质可以包括本文描述的目标定义信息(例如，目标定义信息)的数据。在一些实施方式中，目标创作系统的存储介质可以包括用于控制目标创作系统生成本文描述的目标定义信息(例如，目标定义信息)的计算机可执行指令。
[0062]
图3图示了根据一种或多种实施方式的被配置成为多模态书籍应用程序处理读物的系统300。在一些实施方式中，系统300可以包括一个或多个计算平台302。(多个)计算平台302可以被配置为根据客户端/服务器架构、对等架构和/或其他架构与一个或多个远程平台304通信。(多个)远程平台304可以被配置为经由(多个)计算平台302和/或根据客户端/服务器架构、对等架构和/或其他架构与其他远程平台通信。用户可以经由(多个)远程
平台304来访问系统300。结合系统300描述的一个或多个部件可以与结合图1a、图1b、图1c和图2描述的一个或多个部件相同或相似。例如，在一些实施方式中，(多个)计算平台302和/或(多个)远程平台304可以与机器人计算设备105、一个或多个电子设备110、云服务器计算设备115、父母计算设备125和/或其他部件中的一个或多个相同或相似。
[0063]
(多个)计算平台302可以由计算机可读指令306配置。计算机可读指令306可以包括一个或多个指令模块。指令模块可以包括计算机程序模块。
[0064]
(多个)计算平台302可以包括电子存储装置344、一个或多个处理器346和/或其他部件。(多个)计算平台302可以包括用于实现与网络和/或其他计算平台的信息交换的通信线路或端口。图3中的(多个)计算平台302的图示不旨在进行限制。(多个)计算平台302可以包括多个硬件、软件和/或固件部件，它们一起操作以提供本文归属于(多个)计算平台302的功能。例如，(多个)计算平台302可以由作为(多个)计算平台302一起操作的计算平台云来实施。
[0065]
电子存储装置344可以包括以电子方式存储信息的非暂态存储介质。电子存储装置344的电子存储介质可以包括与(多个)计算平台302一体提供(即，基本上不可移除)的系统存储装置和/或经由例如端口(例如，usb端口、火线端口等)或驱动器(例如，磁盘驱动器等)可移除地连接到(多个)计算平台302的可移除存储装置中的一种或两种。例如，电子存储装置344可以包括光学可读存储介质(例如，光盘等)、磁性可读存储介质(例如，磁带、磁性硬盘驱动器、软盘驱动器等)、基于电荷的存储介质(例如，eeprom、ram等)、固态存储介质(例如，闪存驱动器等)、和/或其他电子可读存储介质中的一种或多种。电子存储装置344可以包括一个或多个虚拟存储资源(例如，云存储、虚拟专用网络和/或其他虚拟存储资源)。电子存储装置344可以存储软件算法、由(多个)处理器346确定的信息、从(多个)计算平台302接收的信息、从(多个)远程平台304接收的信息、和/或使(多个)计算平台302如本文所述发挥作用的其他信息。
[0066]
(多个)处理器346可以被配置为在(多个)计算平台302中提供信息处理能力。同样地，(多个)处理器346可以包括数字处理器、模拟处理器、被设计用于处理信息的数字电路、被设计用于处理信息的模拟电路、状态机、和/或用于以电子方式处理信息的其他机制中的一个或多个。尽管(多个)处理器346在图3中示出为单一的实体，但这仅用于说明目的。在一些实施方式中，(多个)处理器346可以包括多个处理单元。这些处理单元可以物理地位于同一设备内，或者(多个)处理器346可以表示协同操作的多个设备的处理功能。(多个)处理器346可以被配置为执行如关于图5所图示和描述的模块510、515、518、520、525、530、535、540、545、550、590、和/或595、和/或其他模块。(多个)处理器346可以被配置为通过软件、硬件、固件，软件、硬件和/或固件的某种组合，和/或用于在(多个)处理器346上配置处理能力的其他机制，来执行模块510、515、518、520、525、530、535、540、545、550、590和/或595和/或其他模块。如本文所用，术语“模块”可以指执行归属于模块的功能的任何部件或部件集。这可以包括在执行处理器可读指令期间的一个或多个物理处理器、处理器可读指令、电路系统、硬件、存储介质或任何其他部件。
[0067]
应当理解，尽管模块510、515、518、520、525、530、535、540、545、550、590和/或595在图3和图5中被图示为在单个处理单元内实施，但在(多个)处理器346包括多个处理单元的实施方式中，模块510、515、518、520、525、530、535、540、545、550、590和/或595中的一个
或多个可以远离其他模块实施。对由下文描述的不同模块510、515、518、520、525、530、535、540、545、550、590和/或595提供的功能的描述是出于说明性目的，并且不旨在是限制性的，因为任何模块510、515、518、520、525、530、535、540、545、550、590和/或595都可以提供比所描述的更多或更少的功能。例如，模块510、515、518、520、525、530、535、540、545、550、590和/或595中的一个或多个模块可以被去除，并且其一些或全部功能可以由模块510、515、518、520、525、530、535、540、545、550、590和/或595中的其他模块提供。作为另一示例，(多个)处理器346可以被配置为执行一个或多个附加模块，这些附加模块可以执行归属于以下模块510、515、518、520、525、530、535、540、545、550、590和/或595之一的一些或全部功能。
[0068]
图4a图示了根据一种或多种实施方式的为多模态书籍应用程序处理读物的方法400。如之前所讨论的，读物可以是书籍、杂志、报纸、漫画书、印刷期刊、宣传册或其他书面材料。下文呈现的方法400的操作旨在是说明性的。在一些实施方式中，方法400可以用一个或多个未描述的附加操作来完成和/或不使用一个或多个所讨论的操作。另外，在图4中图示并在下文描述方法400的操作的顺序不旨在是限制性的。
[0069]
在一些实施方式中，方法400可以在一个或多个处理设备(例如，数字处理器、模拟处理器、被设计用于处理信息的数字电路、被设计用于处理信息的模拟电路、状态机、和/或用于以电子方式处理信息的其他机制)中实施。一个或多个处理设备可以包括响应于以电子方式存储在电子存储介质上的指令而执行方法400的一些或全部操作的一个或多个设备。一个或多个处理设备可以包括通过硬件、固件和/或软件被配置为专门设计用于执行方法400的一个或多个操作的一个或多个设备。
[0070]
图4a图示了根据一些实施方式的多模态书籍阅读系统中的书籍处理器模块的操作。在一些实施方式中，多模态书籍阅读系统可以处理读物以使用户参与到更好的阅读体验中。在一些实施方式中，操作402可以包括识别读物的标题。如之前所讨论的，在一些实施方式中，机器人计算设备可以通过扫描书籍的封面和/或捕获(通过光学字符识别或其他类似技术)书籍的标题来识别书籍的标题。在一些实施方式中，书籍处理模块还可以扫描书籍封面的一个或多个图像。在一些情况下，书籍处理模块还可以从与出版商的交易中或通过其他数据馈送(比如来自古腾堡计划)接收标题。在一些实施方式中，书籍处理模块还可以接收口语以识别书籍的标题，以及在其他实施方式中。在一些实施方式中，书籍处理模块还可以接收计算设备的输入以识别书籍的标题。在一些实施方式中，操作402可以接收识别标题的口语，或者可以接收来自键盘或鼠标(或类似设备)的输入以识别书籍的标题。根据一种或多种实施方式，操作402可以由通过包括图5a中标识的软件和/或硬件模块的计算机可读指令配置的一个或多个硬件处理器执行。
[0071]
在一些实施方式中，操作404可以包括将读物的标题存储在书籍数据库550中。在一些实施方式中，这可以为读物的标题创建数据库记录，这些数据库记录将用读物的附加信息和特性填充。在一些实施方式中，可以手动添加这样的附加信息，在一些其他实施方式中，可以从电子可用来源收集附加信息，并且在一些其他实施方式中，可以通过自动处理在用户阅读阅读材料期间获取的信息来生成附加信息。根据一种或多种实施方式，操作404可以由通过包括图5a中标识的软件和/或硬件模块的计算机可读指令配置的一个或多个硬件处理器执行。
[0072]
在一些实施方式中，操作406可以包括扫描读物的两个或更多个页并生成表示读
物的内容的文本。在一些实施方式中，操作406可以扫描读物的一小部分或重要部分或所有页。在一些实施方式中，这允许书籍处理器模块捕获读物的相关部分。在一些实施方式中，可能不需要操作406，因为读物的文本可以由第三方计算系统(例如，来自古腾堡计划或其他书籍储存库系统或软件程序)提供或者可以由出版商提供。在一些实施方式中，书籍处理器还可以捕获读物的页中的图像。在一些实施方式中，这些图像可以存储在书籍数据库550中并且与存储的书籍标题相关联或相关。在一些实施方式中，根据一种或多种实施方式，操作406可以由通过包括书籍处理器模块或故事处理器模块的计算机可读指令配置的一个或多个硬件处理器执行。
[0073]
在一些实施方式中，操作408可以包括分析所生成的读物文本以识别读物或书籍的特性。在一些实施方式中，书籍或故事处理器模块可以识别角色、情节、体裁和/或词汇量水平、以及书籍的其他特性。在一些实施方式中，第三方(例如，公有领域数据库、评审公司和/或出版商)也可以将读物的特性传送给书籍处理模块。根据一种或多种实施方式，操作408可以由通过包括与书籍或故事处理器模块相同或相似的模块的计算机可读指令配置的一个或多个硬件处理器执行。
[0074]
在一些实施方式中，操作410可以包括将读物的所识别特性存储在书籍数据库550中。在一些实施方式中，根据一种或多种实施方式，操作410可以由通过包括书籍处理模块和/或书籍数据库的计算机可读指令配置的一个或多个硬件处理器执行。
[0075]
在一些实施方式中，操作412可以包括将所识别特性与书籍数据库中的读物标题相关联。例如，书籍的标题可以是“moby dick(白鲸记)”，并且特性可以包括书籍中的角色、情节、阅读水平和其他相关特性。在一些实施方式中，根据一种或多种实施方式，操作412可以由通过包括书籍或故事处理模块的计算机可读指令配置的一个或多个硬件处理器执行。
[0076]
在一些实施方式中，操作414可以包括为读物的一个或多个部分生成增强内容文件。在一些实施方式中，增强内容可以是视觉内容(例如，用于机器人计算设备的显示器的图形或面部表情)、音频内容(例如，口语、声音或音乐)、或运动相关内容(例如，使机器人计算设备耸肩、举手、移动、跳舞或上下移动头部的内容)。在一些实施方式中，所生成的增强内容可以基于从读物中捕获的文本(例如，有一头奶牛因此生成“哞”声，或者存在飞机时可以生成或使用喷气式发动机的声音)。在一些实施方式中，所生成的增强内容可以至少部分地基于读物的所识别特性。例如，如果书籍被识别为冒险惊悚小说，则可以选择播放某些音乐。作为另一示例，如果读物的一部分包括令人沮丧或悲伤的场景，则可以生成用于面部表情的指令以使机器人计算设备在读物的这部分期间显示悲伤的面部表情。在一些实施方式中，根据一种或多种实施方式，操作414可以由通过包括书籍或故事处理模块的计算机可读指令配置的一个或多个硬件处理器执行。
[0077]
在一些实施方式中，操作416可以包括将增强内容文件存储在资产数据库540中并将增强内容文件与读物的不同部分以及书籍数据库550中的读物记录相关联。在一些实施方式中，根据一种或多种实施方式，操作416可以由通过包括书籍处理模块的计算机可读指令配置的一个或多个硬件处理器执行。在一些实施方式中，这完成了对书籍或故事处理模块的描述。
[0078]
图4b图示了根据一些实施方式的用户与多模态书籍阅读系统互动的过程。在一些实施方式中，用户必须选择读物以开始阅读并将对读物的这种选择传送给多模态书籍阅读
系统。在一些实施方式中，操作418可以包括选择供用户阅读的读物。在一些实施方式中，用户可以通过话音命令来识别读物。在一些实施方式中，用户可以通过展示读物的封面(或者甚至向机器人计算设备展示读物的页)来识别读物。在一些实施方式中，书籍识别器模块518可以从封面捕获标题或图像(或来自其他页的文本或其他页的图像)，并将其与书籍数据库550中存储的经处理读物(例如，书籍、漫画书、杂志、报纸等)的标题、图像和/或段落进行比较以确定用户所阅读的读物标题。在一些实施方式中，用户可以通过将书名输入到计算设备中(例如，经由键盘或鼠标)来识别书籍。在一些实施方式中，用户可以对读物做手势，并且书籍识别器模块518可以使用上述输入模态中的一个(或多个)来识别正在阅读哪个读物。在一些实施方式中，根据一种或多种实施方式，操作418可以由通过包括书籍识别器模块518的计算机可读指令配置的一个或多个硬件处理器执行。
[0079]
在一些实施方式中，用户或读者可以在机器人计算设备处于相同区域(例如，在用户旁边，因此机器人计算设备可以看到读物，或者面对用户，其中该设备也可以看到读物的一部分)时阅读读物。在一些实施方式中，操作420可以包括通过使用一个或多个多模态输入设备跟随用户的阅读来捕获用户阅读读物的测量值和/或参数。在一些实施方式中，测量值和/或参数的捕获可以包括在用户阅读书籍时捕获用户的话音，以便稍后分析话音的音调变化、阅读速度、发音和其他特性。在一些实施方式中，测量值和/或参数的捕获可以包括使用一个或多个成像设备来捕获用户的身体姿势、面部表情和/或手势，并且这些稍后将被用于确定读物的测量值和/或参数。在一些实施方式中，测量值和/或参数的捕获可以包括在用户阅读书籍时使用一个或多个成像设备从书籍中捕获页、单词和/或插图。在一些实施方式中，书籍跟踪系统515还可以与故事处理器模块535通信以识别用户当前位于读物中的什么位置(例如，哪一页和/或段)。根据一种或多种实施方式，操作420可以由通过包括书籍跟踪系统515和/或表现分析器模块525的计算机可读指令配置的一个或多个硬件处理器执行。
[0080]
在一些实施方式中，操作422可以包括通过评审由一个或多个多模态输入设备捕获的所捕获测量值和/或参数来确定用户阅读读物的用户进度。在一些实施方式中，表现分析器模块525可以使用所捕获的测量值和参数来识别用户的阅读理解水平、用户是否正确地发音读物中的单词、读物的词汇量水平、用户的阅读速度以及这是否是适当的阅读速度、用户是否在阅读方面有困难等。在一些实施方式中，根据一种或多种实施方式，操作422可以由通过包括书籍跟踪系统模块和/或表现分析器模块525的计算机可读指令配置的一个或多个硬件处理器执行。
[0081]
在一些实施方式中，多模态书籍阅读系统能够通过由机器人计算设备或数字伴侣的多模态输出提供附加的听觉效果(声音、音乐和/或话音)、视觉效果(图形和/或面部表情)和/或机器人计算设备的移动(例如，挥手、点头表示赞同；摆出更友好的姿势、跳舞；或移动)来增强阅读体验。为了提供这种增强内容，机器人计算设备必须首先检索增强内容。在一些实施方式中，操作424可以包括从资产数据库540中检索增强内容文件、音频文件、视觉效果或动作文件和/或移动指令。增强内容文件的检索至少部分地基于捕获的测量值和/或参数以及用户在推进读物的阅读过程中的进度。在一些实施方式中，阅读系统支持模块530可以接收来自表现分析器模块525或书籍跟踪系统的输入，包括用户的参数、测量值和/或统计数据，并且可以确定用于机器人计算设备交互的下一个最佳选项。换言之，阅读支持
系统模块530可以是确定机器人计算设备与用户的后续步骤或交互的代理。在一些实施方式中，例如，阅读系统支持模块530可以从表现分析器模块525接收统计数据和/或参数，并且可以确定存在读者是否真正理解阅读材料的问题(例如，存在发音错误的单词或用户阅读速度太快)。在一些实施方式中，例如，阅读支持系统530可以推荐向读者提问以验证用户是否理解了阅读材料。在一些实施方式中，阅读支持系统530可以要求故事处理器模块535从资产数据库540中检索要输出给用户的一个或多个适当问题。在一些实施方式中，这些问题然后可以发送到机器人计算设备中的音频处理子系统和/或扬声器。在一些实施方式中，例如，阅读支持系统530可以识别用户处于包括特定情境(例如，具有农场动物的场景)的部分中，并且可以将指令或命令传送到故事处理器模块535以从资产数据库540中检索声音文件和/或视觉效果文件(例如，农场动物的声音和/或农场动物的图形)，然后通过机器人计算设备的输出模态(例如，机器人计算设备的音频处理模块和/或扬声器和/或显示器)传送这些文件。在一些实施方式中，根据一种或多种实施方式，操作424可以由通过包括阅读系统支持模块530、故事处理器模块535和/或资产数据库540的计算机可读指令配置的一个或多个硬件处理器执行。
[0082]
在一些实施方式中，操作426可以包括将一个或多个增强内容文件传输到机器人计算设备的一个或多个多模态输出设备中的至少一个(例如，机器人计算设备的音频系统、监视器和/或马达或马达控制器)以用于呈现给用户。在一些实施方式中，根据一种或多种实施方式，操作426可以由通过包括故事处理器模块535和/或多模态输出系统510的计算机可读指令配置的一个或多个硬件处理器执行。在一些实施方式中，马达和/或马达控制器可以与驱动系统和/或轮子或胎面交互以将机器人计算设备移动到新的位置或定位，以改变面部表情或播放某些声音文件。
[0083]
生成和传输音频内容的示例之一是向用户说出关于读物的问题。在一些实施方式中，操作428可以包括进一步包括生成音频文件并将该音频文件传输到机器人计算的扬声器。在一些实施方式中，音频文件可以表示要以可听方式播放给用户以请求来自用户的响应的问题或评论。根据一种或多种实施方式，操作428可以由通过包括故事处理器模块535和/或多模态输出系统510的计算机可读指令配置的一个或多个硬件处理器执行。
[0084]
在一些实施方式中，用户可以对机器人计算设备的动作(例如，口头动作、视觉动作和/或移动动作)做出响应。在一些实施方式中，操作430可以包括进一步包括接收来自用户的响应和/或由机器人计算设备分析响应以进一步确定用户对读物的理解能力(例如，或其他参数或测量值)。在一些实施方式中，接收到的响应可以是响应音频文件，并且响应音频文件可以由机器人计算设备分析以识别其他参数的阅读理解能力。在一些实施方式中，接收到的响应可以是用户做出的手势或用户采取的动作(举起他们的手、上下点头)，这可以由一个或多个成像设备和/或传感器捕获，然后分析以确定用户的阅读理解能力以及其他参数。该分析可以由表现分析器模块执行，并且输入可以由多模态输入设备(例如，一个或多个麦克风、成像设备和/或传感器)接收。在一些实施方式中，根据一种或多种实施方式，操作430可以由通过包括表现分析器模块525的计算机可读指令配置的一个或多个硬件处理器执行。
[0085]
在一些实施方式中，机器人计算设备然后可以基于捕获的参数和测量值和/或其分析来确定用户的阅读水平。在一些实施方式中，在操作432中，机器人计算设备和/或表现
分析器模块可以基于由一个或多个输入设备捕获的参数和测量值以及所阅读的书籍的特性来计算用户的阅读水平。在一些实施方式中，例如，机器人计算设备和/或表现分析器模块可以基于但不限于阅读清晰度、阅读速度、流利度、阅读理解能力和/或书籍的词汇量来评价或计算阅读水平。本文描述的阅读操作是交互式的，并且可以是连续的，直到用户完成阅读书籍或阅读该制品。在一些实施方式中，根据一种或多种实施方式，操作432可以由通过包括表现分析器模块525、书籍跟踪系统模块515、阅读支持系统模块530和/或故事处理器模块535的计算机可读指令配置的一个或多个硬件处理器执行。在一些实施方式中，根据一种或多种实施方式，图4b所示的流程图将继续从操作418到操作432的循环，直到用户已经停止阅读该制品或书籍的阅读。
[0086]
在一些实施方式中，根据一种或多种实施方式，在用户读完书籍之后，在操作434中，机器人计算设备的表现分析器模块可以基于捕获的参数和测量值以及所确定的阅读水平来生成用户表现报告，并且可以将该报告传送给相关方，比如父母、监护人、治疗师和/或儿童(在一些情况下)、和/或与父母、监护人、治疗师和/或儿童(在一些情况下)相关联的计算设备。在一些实施方式中，根据一种或多种实施方式，操作434可以由通过包括表现分析器模块525的计算机可读指令配置的一个或多个硬件处理器执行。
[0087]
图4c图示了根据一些实施方式的未处理读物的即时处理和多模态书籍阅读系统的使用。在一些实施方式中，操作436可以包括在用户正在阅读读物时捕获读物封面的标题或图像和/或读物的两个或更多个页的文本，以识别读物的标题并开始捕获读物的内容。由于这是几乎在同一时间来即时处理读物、分析书籍阅读并提供交互式阅读体验，因此图4c包括图4a和图4b的元素，因此此处不再赘述。在一些实施方式中，操作438可以包括通过跟随用户阅读读物来捕获用户阅读读物的测量值或参数。
[0088]
在一些实施方式中，操作440可以包括分析所生成的文本以识别读物的特性，包括读物中的体裁、情节、氛围和/或角色。在一些实施方式中，操作442可以包括将所识别特性存储在书籍数据库中。在一些实施方式中，操作444可以包括至少部分地基于所识别特性以及用户在读物或书籍中的位置为读物的一个或多个部分生成增强内容文件。
[0089]
在一些实施方式中，操作446可以包括将增强内容文件存储在书籍数据库中并将增强内容文件与读物的不同部分相关联。在一些实施方式中，操作448可以包括通过评审从一个或多个输入设备捕获的测量值和/或参数来确定用户阅读读物的进度。在一些实施方式中，操作450可以包括基于所捕获的测量值和参数以及用户阅读读物的进度从资产数据库540中检索增强内容文件。在一些实施方式中，操作452可以包括将增强内容文件传输到一个或多个多模态输出设备。在一些实施方式中，因为这是进行中的交互式体验，所以当用户继续阅读时，流程图将不断地循环回到步骤436，直到用户读完书籍，然后可以为用户捕获和/或分类读物的整个内容。在图4c中描述的实施例中，操作436-452可以由执行计算机可读指令的一个或多个硬件处理器来执行，图5a中描述的软件和/或硬件模块。
[0090]
图5a图示了根据一些实施方式的多模态交互式书籍阅读系统的不同子系统和/或模块。在一些实施方式中，多模态交互式书籍阅读系统可以包括资产数据库540、书籍推荐器模块545、现有书籍数据库550、故事处理器模块535、阅读支持系统模块530、表现分析器模块525、表现报告系统520、书籍识别器模块515、书籍跟踪系统或模块515和/或多模态输出系统510。在一些实施方式中，多模态交互式书籍系统500的某些部分可以与用户505交流
和/或交互。在一些实施方式中，资产数据库540可以包括与多本书相关联的增强内容(例如，声音文件、视觉效果文件、马达移动文件、图形文件)，这些书籍的内容存储在书籍数据库550中。在一些实施方式中，增强内容可以与书籍的特定部分或在阅读书籍期间可以使用增强内容的时间相关。在一些实施方式中，书籍数据库550可以包括书籍文本、书籍的图像和/或从书籍中提取的其他内容的副本。在一些实施方式中，书籍数据库550可以包括存储在其中的书籍的特性(例如，体裁、角色、阅读水平、词汇量水平、情节等)。在一些实施方式中，书籍数据库550可以通过光学字符识别(ocr)或通过第三方通过数据传递提供该信息来捕获书籍的文本。类似地，书籍数据库可以通过扫描封面(实时地或在预处理步骤期间)和/或通过从已经捕获了书籍的第三方接收图像来捕获书籍(包括但不限于封面)的图像。在一些实施方式中，书籍推荐器模块545可以接收来自用户或来自多模态交互式书籍阅读系统的模块的其他子系统的输入，并且至少部分地基于输入，可以为用户推荐一本或多本书。在一些实施方式中，书籍推荐器模块545可以从多模态书籍阅读系统的其他用户接收增强内容或资产和/或推荐。在一些实施方式中，书籍推荐器模块545还可以学习不同用户的兴趣并基于用户之间的共同兴趣来提供书籍或读物的推荐。在一些实施方式中，例如，系统可以接收用户想要阅读冒险书或喜剧书作为输入。在该示例中，书籍推荐器模块545可以接收该输入并推荐该类别或体裁的书籍。
[0091]
在一些实施方式中，书籍跟踪系统或书籍跟踪模块515可以接收来自多模态输入系统的输入并且识别用户在当前时间可能在书籍中的位置。在一些实施方式中，例如，书籍跟踪系统515可以从一个或多个麦克风接收用户的话音(用户正在阅读书籍)，对接收到的用户话音执行话音识别以将用户的话音转换为文本，然后将转换的文本与存储在书籍数据库中的书籍的经处理部分进行比较，以确定用户在书籍中的位置。在一些实施方式中，书籍跟踪系统515可以将位置标识符或参数提供给故事处理器模块535，以便故事处理器模块535从资产数据库540中为所识别的位置参数或位置标识符链接增强内容。在一些实施方式中，例如，如果在书中第3页提到了奶牛，则书籍跟踪系统515可以在听到用户的话音之后识别读者在第3页，可以将该位置标识符传送给故事处理器模块535，该故事处理器模块可以检索“哞”的声音文件和/或奶牛图像。在该说明性示例中，故事处理器模块535然后可以将“哞”的声音文件和/或奶牛图像传送到多模态输出系统510(例如，具体地，机器人计算设备或数字伴侣的显示器和/或机器人计算设备或数字伴侣的扬声器)。在一些实施例中，在另一示例中，书籍跟踪系统515可以接收书籍的页或包括页码的书籍部分的图像作为输入。在一些实施方式中，在该说明性示例中，书籍跟踪系统515可以分析接收到的图像并确定用户所在的页，并且可以将该信息传送给故事处理器模块535以如上所述地使用。在一些实施方式中，可以将用户所在的页码以及用户已经阅读该书籍的时间范围传送到表现分析器模块525，该表现分析器模块可以计算用户的阅读速度(并且该信息中的一些可以用来辅助计算用户的阅读理解水平)。
[0092]
在一些实施方式中，书籍识别器模块518能够识别用户正在阅读什么书籍。在一些实施方式中，用户可以说出书名，机器人计算设备的一个或多个麦克风可以接收说出的名称，并且机器人计算设备可以处理说出的名称，将其转换为文本，并且书籍识别器模块可以将转换的文本与已由机器人计算设备处理或预处理的现有书籍的标题进行比较。在一些实施方式中，书籍识别器模块518然后可以识别书籍是已识别的或者是尚未经过处理的书籍。
在一些实施方式中，书籍识别器模块518可以接收用户已经经由计算设备上的菜单选择的输入(例如，用户或父母/监护人经由例如伴侣应用程序选择的书籍)。在一些实施方式中，书籍识别器模块518可以经由机器人计算设备的一个或多个成像设备扫描书籍的正面，将书籍的标题的图像和/或文本与预先存储的书籍的标题和/或图像进行比较，然后识别该书籍是已经由机器人计算设备系统或与机器人计算设备系统进行接口连接的系统处理和/或识别的书籍之一。在一些实施方式中，书籍识别器模块518可以扫描用户已经选择的书籍的页，将用户书籍的扫描页与来自已经由多模态书籍阅读系统处理的书籍的文本进行比较，并且可以识别用户拥有的书籍是否已被系统处理。在一些实施方式中，用户拥有的书籍可以包括包含书籍标识符参数的rfid芯片或发射器。在一些实施方式中，书籍识别器518可以使用机器人计算设备或数字伴侣的rfid阅读器来捕获存储在rfid芯片上的书籍标识符参数，将所捕获的书籍标识符参数与现有的经处理书籍进行比较，以便识别用户的书籍是否已经经过处理并且可在多模态书籍阅读系统中使用。
[0093]
在一些实施方式中，表现分析器模块525可以通过接收来自书籍跟踪系统的输入并且基于阅读书籍的速度、单词是否正确发音、用户是否看起来了解所阅读的书籍的概念或细节计算统计数据来评审用户的阅读能力。在一些实施方式中，表现分析器模块525可以与书籍推荐器模块545和/或书籍数据库通信以获得阅读书籍的现有参数或测量值。在一些实施方式中，这些现有参数或测量值可以标识书籍的词汇量水平、普通读者阅读书籍花费多长时间等。在一些实施方式中，表现分析器模块525可以将用户的统计数据和表现测量值传送给表现报告系统520。在一些实施方式中，表现报告系统520可以与伴侣应用程序和/或父母的软件应用程序通信。
[0094]
在一些实施方式中，阅读支持系统530可以是多模态书籍阅读系统500中的代理或分析模块。在一些实施方式中，阅读支持系统530可以从表现分析器模块525接收表现分析和/或测量值，可以从书籍推荐器模块545接收书籍推荐器响应，和/或可以从书籍数据库550接收关于书籍的信息和/或细节。在一些实施方式中，阅读支持系统或模块530然后可以确定是否改变用户的阅读体验。在一些实施方式中，阅读支持系统或模块530可以确定用户阅读书籍的速度太快并且可能希望确定用户是否理解了书籍。在一些实施方式中，阅读支持系统或模块530可以生成可以发送到故事处理器模块535、然后经由多模态输出系统发送到用户的问题列表。多模态书籍阅读系统可以评估对问题的响应，以便量化用户对所阅读的文本的了解，并且可能在提升对应阅读理解技能的方式方面为用户提供附加指导。在一些实施方式中，阅读支持系统530还可以基于来自书籍跟踪系统515的输入来确定读者在什么位置，并且可以向故事处理器535提供关于应该为用户显示或再现资产数据库540中的哪些增强内容的推荐。另外，阅读支持系统530可以基于用户在书籍中的位置来推荐可以实施机器人计算设备的哪些移动。在一些实施方式中，故事处理器535可以确定如何将由阅读支持系统530推荐并且存放在或位于资产数据库540中的内容整合到正在进行的或当前的与用户的会话和/或交互中。在一些实施方式中，故事处理器模块530还可以接收来自书籍跟踪系统515的输入，以便确定用户在书籍中的什么位置以及故事中是否可能存在可能更容易整合增强内容或其他信息的自然断点和/或变化。在一些实施方式中，故事处理器模块535可以将检索到的文件从资产数据库540传送到多模态输出系统510，以便与用户交互。
[0095]
图6a图示了根据一些实施例的用户或消费者与机器人计算设备(或数字伴侣)之
间的交流。图6b图示了用户605与机器人计算设备610进行交流。图6c图示了用户605使用机器人计算设备610来阅读书籍611。在一些实施例中，用户605可以与机器人计算设备610交流，并且机器人计算设备610可以反过来与用户605交流，从而创建会话交互。在一些实施例中，用户605可能正在阅读书籍611，并且机器人计算设备610可能在用户阅读书籍611的同时与用户605交互。在一些实施例中，多个用户可以同时与机器人计算设备610交流，但是为了简单起见，图6a中仅示出了一个用户。在一些实施例中，用户605可以具有面部特征(例如，鼻子607、一只或多只眼睛606和/或嘴608)，机器人计算设备610可以分析这些面部特征的图像。在一些实施例中，用户可以使用嘴608说话，并且使用鼻子607、一只或多只眼睛606和/或嘴608做出面部表情。在一些实施例中，用户605可以经由用户的嘴说话并发出可听声音。在一些实施例中，机器人计算设备610可以包括一个或多个成像设备(相机)618、一个或多个麦克风616、一个或多个惯性运动传感器614、一个或多个触摸传感器612、一个或多个显示器620、一个或多个扬声器622、一个或多个无线通信收发器655、一个或多个马达624、一个或多个处理器630、一个或多个存储器设备635、和/或计算机可读指令640。在一些实施例中，计算机可读指令640可以包括图5中描述的系统和模块(模块530、535、525、545、515、518和520)，这些系统和模块可以处理和负责书籍阅读活动和与用户交流。在一些实施例中，机器人计算设备510的一个或多个无线通信收发器555可以与其他机器人计算设备、运行父母软件应用程序的移动通信设备、和/或各种基于云的计算设备通信。还有作为计算机可读指令的一部分的其他模块。在一些实施例中，计算机可读指令可以存储在一个或多个存储器设备535中并且可以由一个或多个处理器530执行，以便执行图5中描述的基于阅读的模块的功能以及机器人计算设备510的其他功能。图1a和图1c中描述的特征和功能也适用于图6a，在此不再赘述。
[0096]
在一些实施例中，(多个)成像设备618可以捕获机器人计算设备610周围的环境的图像，包括用户的图像和/或用户565的面部表情。在一些实施例中，麦克风616可以捕获来自一个或多个用户的声音。在一些实施例中，惯性运动单元(imu)传感器614可以捕获机器人计算设备610的移动的测量值和/或参数。在一些实施例中，一个或多个触摸传感器612可以在用户触摸机器人计算设备610时捕获测量值，和/或显示器620可以显示机器人计算设备610的面部表情和/或视觉效果。在一些实施例中，一个或多个扬声器622可以播放或再现音频文件并播放声音(这可以包括机器人计算设备说话和/或为用户播放音乐)。在一些实施例中，一个或多个马达624可以从一个或多个处理器630接收指令、命令或消息以使机器人计算设备610的身体部位或部分(包括但不限于手臂、颈部、肩部或其他附肢)移动。在一些实施例中，一个或多个马达624可以经由一个或多个马达控制器接收消息、指令和/或命令。
[0097]
图6c图示了根据一些实施例的儿童消费者使用机器人计算设备来阅读书籍(或其他读物)。在许多交互中，用户605可以如图6b所示的面对机器人计算设备610。机器人计算设备610可以包括一个或多个显示器620和/或一个或多个扬声器622。一个或多个显示器可以包括一个或多个led条和/或灯。用户605可以包括眼睛606、鼻子607和/或嘴608。当用户605正在阅读读物(例如书籍)时，书籍609可以放置在用户605的前方，并且用户的手和/或手指609可以指向书籍611中的单词或图片。在该实施例中，机器人计算设备610能够捕获书籍611和/或用户605两者的图像，以提升用户的书籍阅读体验和/或计算用户的阅读表现统
计数据。尽管这里指定了书籍611，但是本文描述的技术也适用于其他读物。在一些实施例中，儿童用户605可以面对机器人计算设备610，并且在其他实施例中，儿童用户605可以坐在机器人计算设备610旁边。在这些实施例中，可能优选的是，成像设备(或多个成像设备)618能够查看书籍和/或能够让书籍处于成像设备(或多个成像设备)618的视野中。这允许机器人计算设备能够看到、查看和捕获书籍不同部分的图像。
[0098]
在一些实施例中，儿童用户605可能决定阅读书籍，但可能尚未决定阅读哪本书。在一些实施例中，儿童可以说“我想读书”，并且机器人计算设备610可以经由一个或多个麦克风616接收一个或多个相关联的声音文件，可以在将接收到的一个或多个声音文件转换为文本之后分析这些文件，可以生成响应声音文件，并且可以通过陈述“您想阅读什么类型的书”来响应儿童用户。作为响应，儿童用户605可以用书籍的类型或体裁(冒险或恐怖书籍，喜剧或有趣的书籍，或者传记或关于人的书籍)或书籍主题(例如，长颈鹿、太空或海滩)来响应。在这些实施例中，机器人计算设备610可以经由一个或多个麦克风616接收用户的响应声音文件，将响应声音文件转换为一个或多个文本文件，分析一个或多个文本文件以确定书籍的体裁(或类型)或书籍的主题。在这些实施例中，书籍推荐器模块545可以接收一个或多个文本文件并与书籍数据库550通信以确定可供呈现给用户的书籍选项。在这些实施例中，书籍数据库550可以将可用的书籍传送给书籍推荐器模块545，该书籍推荐器模块可以生成与所选书籍的标题相对应的一个或多个声音文件，并且可以将这些声音文件传送给多模态输出系统510的一个或多个扬声器622以向用户505呈现一本或多本书的标题。在一些实施例中，如果只有一本书符合所选类型或主题，则可能只有一个书籍标题。在一些实施例中，书籍推荐器模块545在考虑推荐什么书籍时可以考虑用户过去的阅读选择。在一些实施例中，书籍推荐器545在推荐书籍的标题时可以使用用户的阅读特性或测量值(例如，用户可以是初级读者，可能存在符合所选类型或主题的三本书的标题(其中一个用于中级读者并且两个用于初级读者)，并且书籍推荐器模块545可以只为初级读者推荐这两本书的标题)。在这些实施例中，儿童用户605然后可以通过选择书籍的标题之一(其可以被称为书a)“让我们阅读书a”来响应。在这些实施例中，机器人计算设备610接收书籍选择话音文件，将这些文件转换为文本，并且书籍选择文本文件可以传送到书籍推荐器模块545，该书籍推荐器模块将关于所选书籍的必要信息加载到机器人计算设备610的一个或多个存储器设备635，使得机器人计算设备610可以增强用户对书籍的阅读。在一些实施例中，在做出最终选择之前，书籍的选择可以在儿童用户605和/或机器人计算设备610之间进行几轮交互。然后，用户605挑选书籍并开始阅读所选书籍611，如图6c所示。在其他实施例中，用户605可以只选择一本书611来开始阅读。在一些实施例中，用户可以选择机器人计算设备610具有其参数和信息以及增强内容的书籍611。在一些实施例中，用户可以选择机器人计算设备610尚未处理的书籍611，并且机器人计算设备可以在用户阅读书籍611时对其进行处理，如图4a中所述。
[0099]
在一些实施例中，儿童用户605可以开始阅读所选书籍611。在一些实施例中，机器人计算设备610可以使用多模态输入系统或设备(例如，成像设备618、麦克风616或传感器612和614)来监测和捕获用户阅读特性和/或测量值。在这些实施例中，机器人计算设备610的一个或多个麦克风616可以记录或捕获用户阅读的一个或多个声音文件，并将用户的一个或多个阅读声音文件转换成一个或多个阅读文本文件。在这些实施例中，机器人计算设
备610以多种方式使用一个或多个阅读文本文件，以便提升用户体验和/或提高用户阅读技能。在一些实施例中，故事处理器模块535可以将一个或多个阅读文本文件传送到书籍跟踪系统或模块515，以便确定所选书籍中用户当前正在阅读的位置。在这些实施例中，书籍跟踪系统515可以将识别的书籍位置传送给故事处理器模块535，该故事处理器模块进而可以与资产数据库540通信以检索与书籍611中用户605正在阅读的位置相关的增强内容540。在该实施例中，例如，用户605可能正在阅读一个故事并且故事的这部分可能是关于狗的，并且故事处理器模块535可以从资产数据库540检索吠叫声音文件并在一个或多个扬声器622上播放吠叫声音文件。类似地，故事处理器模块535可以从资产数据库540检索狗的动画和/或视频文件，和/或可以在机器人计算设备610的显示设备620上播放这些检索到的狗的动画图像和/或视频文件。这是为了帮助用户享受书籍阅读体验。在一些实施例中，机器人计算设备610还可以分析用户是否喜欢增强内容。更具体地，机器人计算设备的多模态输入设备(612、615、616和/或618)可以响应于增强接触的播放或显示来捕获用户可能说出的声音或单词(经由一个或多个麦克风616)和/或表情或身体移动(经由成像设备616或传感器612或614)。例如，如果用户在听到播放的声音文件(吠叫)时皱眉或在观看狗动画时左右摇头，则机器人计算设备610可以捕获这些声音文件和/或图像，并且故事处理器模块535与表现分析器525结合可以识别该增强内容未被该用户很好地接受并且可以存储该增强内容的喜爱度参数以供未来使用。这提高了多模态书籍阅读系统的成功率，因为它有助于识别哪些增强内容提升了阅读体验，以及哪些增强内容没有提升用户的阅读体验。
[0100]
在这些实施例中，儿童用户605可以继续阅读所选书籍611，并且机器人计算设备610可以继续监视或观看儿童对所选书籍611的阅读并为所选书籍611的不同部分生成增强内容。在这些实施例中，儿童可能正在阅读所选书籍并且可能会说“小狗要走了”。在这些实施例中，机器人计算设备610可以捕获口语，将它们转换成文本并分析口语文本以确定用户在书中的什么位置。基于书籍跟踪系统515对接收到的文本文件的分析，故事处理器模块535可以从资产数据库540检索动作命令以指示机器人计算设备610挥手并说出短语“再见小狗”。在这些实施例中，故事处理器模块535可以将命令传送到马达控制器和马达624以使机器人计算设备的手臂和手627向用户605挥动，和/或传送一个或多个声音文件以使(多个)扬声器622播放“再见小狗”。在一些实施例中，机器人计算设备610可以使用其多模态输入设备(例如，一个或多个麦克风616和/或成像设备618)来确定用户对生成的增强内容的反应。在一些实施例中，基于对用户反应的分析(例如，面部表情和/或肢体语言的捕获和分析和/或声音文件的捕获和分析)，并且可以存储增强内容的喜爱度参数，如上所述。
[0101]
在一些实施例中，机器人计算设备610可以通过了解用户阅读到什么位置并且了解另一个动作即将到来来预测所选书籍611中发生的事情。在这些实施例中，机器人计算设备610可以捕获儿童用户605说出书中的单词和/或短语“我去看看前面发生了什么事”。机器人计算设备610可以使用一个或多个麦克风616来捕获声音文件、将声音文件转换成文本文件和/或分析文本文件。在这些实施例中，书籍跟踪系统515可以确定用户在书籍中阅读的位置，并且将位置或位置参数提供给故事处理器模块535，该故事处理器模块可以确定书籍611中的下一个动作。在该实施例中，例如，书籍中的下一个动作可能是书籍中的角色正在接近人群，并且用户会被巨大的噪音吓到。在这个说明性示例中，故事处理器模块535可以确定关于书籍611中即将发生的事件的增强内容，并且可以从断言数据库540中检索对应
的增强内容。例如，故事处理器模块535可以产生命令或指令以及使机器人计算设备610的显示器620上的眼睛变大的标记文件，并检索人群噪音的声音文件，包括在检索到的声音文件的一半处出现巨大的碰撞噪音。在该说明性示例中，故事处理器模块535可以将指令和/或命令以及标记文件传送到多模态输出系统510的显示器620，以使机器人计算设备以受惊的方式睁大它们的眼睛并且一个或多个扬声器622发出响亮的人群噪音，包括巨大的碰撞噪音。在该说明性示例中，机器人计算设备610还可以捕获用户的反应并确定所生成的增强内容的喜爱度或成功率参数或测量值，如上文所讨论的。
[0102]
在一些实施例中，当用户正在阅读时，用户可能不会大声说出单词。在一些实施例中，机器人计算设备610可以替代地使用一个或多个成像设备618来在用户605正在阅读所选书籍611时捕获所选书籍611的页的图像。在这些实施例中，机器人计算设备610可以分析一个或多个捕获的图像，和/或书籍跟踪模块515和/或书籍识别器模块518可以基于捕获的和/或分析的图像来确定用户或消费者在书籍中的什么位置。在这些实施例中，书籍跟踪模块515和/或书籍识别器模块518可以将位置或位置参数传送到存储处理器模块535。在这些实施例中，故事处理器模块535可以使用位置或位置参数从资产数据库540中识别与所识别的位置和/或位置参数相关联的增强内容。在这些实施例中，故事处理器模块可以检索与位置或位置参数相关联的增强内容，并且可以将增强内容传输到多模态输出系统510，该多模态输出系统向用户播放和/或显示增强内容。例如，书籍跟踪模块518和/或书籍识别器模块518可以确定用户在书籍611中某人正在睡觉的位置，可以将该位置或参数传送给故事处理器模块535，该故事处理器模块进而可以检索呈指令或命令形式的增强内容，以使机器人在面部表情中闭眼和/或机器人的扬声器发出打鼾声和/或“嘘”声。在这些实施例中，故事处理器模块535可以将这些检索到的指令和/或命令传送到多模态输出系统510以使扬声器发出所识别的声音并且使监视器620显示所识别的面部表情。在其他类似的实施例中，增强内容可以是显示枕头和/或人睡觉的视频，以便模仿所选书籍611中的位置。在这些实施例中，也可以分析用户对增强内容的喜爱程度，如上文详细讨论的。
[0103]
在一些实施例中，机器人计算设备610还可以在儿童用户605正在阅读书籍时分析用户对所选书籍611的阅读特性和/或表现。在一些实施例中，用户可能正在阅读书籍611，并且多模态输入设备可以捕获用户大声朗读所选书籍的一个或多个声音文件和/或还有用户阅读书籍611的图像。在一些实施例中，一个或多个成像设备618可以在阅读书籍时捕获书籍的页，并且书籍跟踪模块515可以分析所捕获的页的图像以确定用户当前在书籍611中的什么位置。在这些实施例中，书籍跟踪模块515可以识别来自图像的页码、来自图像的插图和/或来自图像的单词，并将这些与已知的或现有的页码、插图和/或单词进行比较以识别书籍611中的位置。在一些实施例中，机器人计算设备610的成像设备618还可以捕获用户605的图像。在一些实施例中，用户的图像可以由故事处理器模块535和/或阅读支持系统530接收和/或分析以确定是否有任何视觉提示可以用来辅助计算用户的阅读特性。例如，阅读支持系统可以分析图像并识别用户正在皱着眉头、皱眉和/或可能将他们的手悬在空中(以沮丧的方式)。在该实施例中，阅读支持系统然后可以识别用户在阅读书籍时变得沮丧并且使用这一点来采取与用户交互的后续步骤。
[0104]
类似地，书籍跟踪模块515可以接收由用户生成的一个或多个文本文件和/或相关联的声音文件，并且可以分析这些文本文件以从声音文件中提取单词或短语，并且将这些
进行比较以了解所选书籍的单词或短语。在这些实施例中，书籍跟踪模块515还可以与计时器模块进行接口连接，该计时器模块识别用户已经阅读书籍的时间。在这些实施例中，计时器模块可以通过书籍跟踪系统515经由用户正在阅读书籍的图像(例如，用户的嘴唇在移动或用户正在指向书籍中的单词处)和/或经由捕获的声音文件(例如，用户开始说出单词)来开始跟踪用户何时开始阅读书籍。在这些实施例中，书籍跟踪模块515可以在用户阅读所选书籍时多次确定所选书籍中的位置以及相关联的时间测量值和/或参数。这可以一直持续到用户读完书籍为止。在一些实施例中，书籍跟踪模块515然后可以将所捕获的声音文件、一个或多个接收到的文本文件、多个计时器测量值或参数、以及与计时器测量值或参数相对应的用户在书籍中的位置传送到表现分析器模块525。在一些实施例中，该信息的传送可以在用户阅读书籍期间发生或者可以在用户阅读书籍之后发生。响应于接收到该信息，表现分析器模块525然后可以使用该信息来计算和/或生成用户阅读表现测量值或参数。在一些实施例中，表现测量值或参数可以包括用户阅读速度、用户阅读书籍的时间、阅读理解能力和/或读者发音准确度、以及读者完成书籍所花费的时间。在一些实施例中，表现分析器模块525可以将生成的表现测量值或参数与已知的第三方阅读表现参数和/或先前的用户阅读表现参数进行比较。
[0105]
机器人计算设备还可以使用用户的阅读表现参数来辅助用户改善和/或提升用户的阅读体验。例如，如果机器人计算设备610了解到这是用户第一次阅读所选书籍611并且表现分析器模块确定用户正在快速阅读，则阅读支持系统模块530可以确定：应当测试用户以验证用户是否理解所选书籍611。在这些示例中，阅读支持系统530可以请求和/或接收问题列表，以关于所选书籍询问用户以查看用户是否了解该书籍。在这些实施例中，阅读支持系统可以将问题列表传递到故事处理器模块535，该故事处理器模块然后可以将问题转发到多模态输出系统510的一个或多个扬声器622以说出来自用户的问题。在这些示例中，用户可以说出答案，一个或多个麦克风616可以捕获具有用户答案的声音文件，一个或多个答案声音文件可以由机器人转换为一个或多个答案文本文件，并且一个或多个答案文本文件可以传送到阅读支持系统530。在这些实施例中，阅读支持系统530可以将答案与由书籍推荐器模块和书籍数据库550提供的已知答案进行比较。在这些实施例中，阅读支持系统530然后可以将比较结果提供给表现分析器模块530以供稍后与用户或用户的父母分享。在其他实施例中，如果阅读支持系统530确定用户正在快速阅读，则阅读支持系统530可以将指令或命令和/或声音文件传送到故事处理器模块535，然后传送到多模态输出系统510的一个或多个扬声器622，这些扬声器向用户播放“请慢下来，你的阅读速度太快了”这样的话，以使用户慢下来。在一些实施例中，阅读支持系统530可以接收用户表现参数并且识别用户正在错误地发音某些单词。在这些实施例中，阅读支持系统530可以在用户表现参数或测量值中识别这一点，并可以与用户的父母分享。在一些实施例中，阅读支持系统530还可以与故事处理器模块535通信，以通过多模态输出系统510与用户沟通该词(和其他词)被错误发音。在这些实施例中，阅读支持系统530可以与书籍跟踪系统515通信以确定单词或短语何时将被说出。基于该信息，阅读支持系统530和/或故事处理器535可以确定何时打断用户对书籍611的阅读以让用户知道如何正确地发音被错误发音的单词或短语。在一些实施例中，阅读支持系统530还可以确定，在用户完成阅读所选书籍611之后，关于书籍611的内容和特性对用户进行测试。在该实施例中，阅读支持系统530可以检索用于所选书籍(例如，整本
书)的问题列表，并且可以将这些问题传送到故事处理器模块535，并通过多模态输出系统510的扬声器622传送到用户。如上文所讨论的，用户将说出或写出答案，多模态输入设备将捕获答案，然后将答案提供给阅读支持模块530，该阅读支持模块将确定答案是否正确和/或将该比较提供给表现分析器模块525。
[0106]
在一些实施例中，用户的父母可能想要确定用户在书籍阅读方面的表现如何。在这些实施例中，表现分析器模块525可以将用户的阅读表现参数和/或测量值传送给表现报告系统520。在这些实施例中，表现报告系统520可以将用户的阅读表现统计数据传送到父母软件应用程序，该父母软件应用程序可以显示用户阅读表现的结果。在一些实施例中，表现报告系统520可以基于用户过去的阅读表现和当前的阅读表现来计算聚合的阅读参数和/或测量值。在一些实施例中，表现报告系统520可以接收读者的表现统计数据并且基于从表现分析器接收到的输入来计算新的表现阅读参数。例如，在该实施例中，表现报告系统520可以接收来自用户所做的任何测试的分数、正确发音的单词百分比、和/或其他视觉信息，并且可以至少部分地基于这些参数来计算用户的阅读理解分数。在一些实施例中，表现报告系统520可以将报告传送给外部计算设备，特别是父母的移动通信设备上的父母或监护人软件应用程序。在该实施例中，父母或监护人随后可以评审用户的阅读表现统计数据和/或查看用户是否达到预设目标。
[0107]
在一些实施例中，用户可能阅读未被预先扫描和/或机器人不知道的书籍。然而，机器人计算设备可能仍然能够辅助用户阅读书籍、提供增强内容、辅助创造积极的阅读体验、和/或帮助父母或监护人了解用户是否理解用户正在阅读的书籍。参考图5，多模态书籍阅读系统500还可以包括自然语言处理模块595和/或多模态输入模块或系统590。在这些实施例中，当用户正在阅读未知书籍时，多模态输入模块590的一个或多个麦克风可以在用户正在阅读未知书籍时捕获用户的话音并创建话音文件。多模态输入模块590和/或自然语言处理模块595可以将用户的话音文件转换为文本文件，并且自然语言处理模块595可以分析用户的文本文件以生成或提取用户正在阅读的书籍的书籍参数和/或特性(例如，书籍中有哪些角色、书籍的氛围或语气是什么、书籍的阅读水平是什么、书籍的体裁是什么等)。在这些实施例中，自然语言处理模块530可以传送这些提取的书籍参数和/或特性，并且可以将这些提取的书籍参数和/或特性传送到书籍跟踪系统515和/或故事处理器模块535。在这些实施例中，故事处理器模块535可以分析提取的书籍参数和/或特性，并且可以至少部分地基于提取的书籍参数和/或特性从资产数据库540中提取或检索增强内容以提升用户对书籍的阅读。这可以是使故事处理器模块535与多模态输出模块590通信，以基于提取的书籍参数和/或特性为未知书籍设置正确的环境。在这些实施例中，故事处理器模块535还可以基于提取的书籍参数和/或特性来生成关于书籍主题的问题。在这些实施例中，所生成的书籍问题可以传送到多媒体输出系统590以播放给用户。在这些实施例中，用户可以说出问题的答案，并且多模态书籍阅读系统(例如，多模态输入模块590、自然语言处理模块595)可以处理响应话音文件，将响应话音文件转换为响应文本文件，并且表现分析器模块525可以确定用户是否提供了以及书籍中问题的正确答案(这可以帮助确定用户是否正在理解和/或了解该书籍。在一些实施例中，自然语言处理模块595还可以将用户的文本文件传送到表现分析器模块525，以针对用户对未知书籍的阅读来确定用户的表现测量值或值。这些表现测量值可以包括阅读速度、阅读理解能力、口语质量等。
[0108]
在一些实施例中，多模态输出系统510还可以分析未知书籍的图像。在这些实施例中，当用户正在阅读未知书籍时，多模态输入模块590的一个或多个成像设备可以捕获书籍中的插图的图像。在这些实施例中，所捕获的图像可以由书籍识别器模块518分析以识别所捕获的图像是否包括与书籍数据库550中的书籍主题和/或资产数据库540中的增强内容相似的主题。作为示例，如果在书籍中并因此在所捕获的图像中有马的插图，则书籍识别器模块518可以将该信息传送到阅读支持系统530和/或故事处理器535。故事处理器模块535然后可以从资产数据库540检索与马相关的增强内容文件，以用来(如上所述)提升用户的阅读体验。
[0109]
如上文详述的，本文描述和/或图示的计算设备和系统广义地表示能够执行计算机可读指令(比如包含在本文描述的模块中的那些)的任何类型或形式的计算设备或系统。在其最基本的配置中，这些计算设备可以各自包括至少一个存储器设备和至少一个物理处理器。
[0110]
如本文所用，术语“存储器”或“存储器设备”通常表示能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中，存储器设备可以存储、加载和/或维护本文描述的一个或多个模块。存储器设备的示例包括但不限于随机存取存储器(ram)、只读存储器(rom)、闪速存储器、硬盘驱动器(hdd)、固态驱动器(ssd)、光盘驱动器、高速缓存、前述一个或多个的变体或组合、或任何其他合适的存储存储器。
[0111]
另外，如本文所用的术语“处理器”或“物理处理器”通常是指能够解释和/或执行计算机可读指令的任何类型或形式的硬件实施的处理单元。在一个示例中，物理处理器可以访问和/或修改存储在上述存储器设备中的一个或多个模块。物理处理器的示例包括但不限于微处理器、微控制器、中央处理单元(cpu)、实施软核处理器的现场可编程门阵列(fpga)、专用集成电路(asic)、前述一个或多个的部分、前述一个或多个的变体或组合、或任何其他合适的物理处理器。
[0112]
尽管被图示为单独的元素，但本文描述和/或图示的方法步骤可以表示单个应用程序的各部分。另外，在一些实施例中，这些步骤中的一个或多个可以表示或对应于一个或多个软件应用程序或程序，当由计算设备执行时，这些软件应用程序或程序可以使计算设备执行一个或多个任务，比如方法步骤。
[0113]
另外，本文描述的一个或多个设备可以将数据、物理设备和/或物理设备的表示从一种形式变换为另一种形式。例如，本文所述的一个或多个设备可以接收要变换的样本的图像数据、变换图像数据、输出变换的结果以确定3d过程、使用变换的结果来执行3d过程、并存储变换结果以产生样本的输出图像。另外或可替代地，本文所述的一个或多个模块可以通过在计算设备上执行、在计算设备上存储数据和/或以其他方式与计算设备交互来将处理器、易失性存储器、非易失性存储器和/或物理计算设备的任何其他部分从一种形式的计算设备变换为另一种形式的计算设备。
[0114]
如本文所用，术语“计算机可读介质”通常是指能够存储或承载计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于传输型介质(比如载波)以及非暂态型介质，比如磁存储介质(例如，硬盘驱动器、磁带驱动器和软盘)、光学存储介质(例如，光盘(cd)、数字视频光盘(dvd)和blu-ray磁盘)、电子存储介质(例如，固态驱动
器和闪存介质)以及其他分发系统。
[0115]
本领域普通技术人员将认识到本文披露的任何过程或方法可以以多种方式进行修改。本文描述和/或图示的过程参数和步骤顺序仅作为示例给出并且可以根据需要而变化。例如，虽然本文图示和/或描述的步骤可以以特定顺序示出或讨论，但这些步骤不一定需要以所图示或讨论的顺序执行。
[0116]
本文描述和/或图示的各种示例性方法还可以省略本文描述或图示的一个或多个步骤，或者包括除了所披露的那些步骤之外的附加步骤。进一步地，如本文所披露的任何方法的步骤可以与如本文所披露的任何其他方法的任何一个或多个步骤组合。
[0117]
除非另有说明，否则如说明书和权利要求中使用的术语“连接到”和“耦合到”(及其派生词)应解释为允许直接连接和间接连接(即，经由其他元件或部件)两者。另外，如在说明书和权利要求中使用的术语“一个(a)”或“一个(an)”将被解释为意味着“至少一个”。最后，为了便于使用，如在说明书和权利要求中使用的术语“包括(including)”和“具有(having)”(及其派生词)可以与“包括(comprising)”一词互换并应具有相同的含义。
[0118]
如本文所披露的处理器可以通过指令进行配置以执行如本文所披露的任何方法的任何一个或多个步骤。
[0119]
如本文所用，术语“或”被包括性地使用，以指代替代物和组合中的项。如本文所用，诸如数字等字符指代相似的元素。
[0120]
本披露的实施例已如本文所阐述的那样被示出和描述并且仅作为示例提供。在不脱离本披露的范围的情况下，本领域的普通技术人员将认识到许多适配、改变、变化和替换。在不脱离本披露和本文披露的发明的范围的情况下，可以使用本文披露的实施例的若干替代方案和组合。因此，本文披露的发明的范围应仅由所附权利要求及其等同物的范围来限定。
[0121]
尽管出于说明的目的，已经基于目前被认为是最实用和最优选的实施方式对本发明技术进行了详细描述，但是应当理解，这种详细描述仅仅是出于说明目的，并且本技术不限于所披露的实施方式，相反，旨在涵盖在所附权利要求的精神和范围内的修改和等同布置。例如，应当理解，本发明技术设想在可能的范围内，任何实施方式的一个或多个特征都可以与任何其他实施方式的一个或多个特征进行组合。
[0122]
尽管出于说明的目的，已经基于目前被认为是最实用和最优选的实施方式对本发明技术进行了详细描述，但是应当理解，这种详细描述仅仅是出于说明目的，并且本技术不限于所披露的实施方式，相反，旨在涵盖在所附权利要求的精神和范围内的修改和等同布置。例如，应当理解，本发明技术设想在可能的范围内，任何实施方式的一个或多个特征都可以与任何其他实施方式的一个或多个特征进行组合。