用于提供持久伙伴装置的设备和方法与流程

相关申请的交叉引用本申请要求保护在2014年7月15日提交的美国临时专利申请序号62/024738的权益。所有上述申请通过引用全部结合到文中。本申请一般涉及持久伙伴装置。特别地，本申请涉及用于提供伙伴装置的装置和方法，该伙伴装置适于持续存在于人的环境中并且与伙伴装置的用户交互来提供对装置的情感投入和/或与关于伙伴装置的用户与伙伴装置的交互的应用、内容、服务或纵向数据收集关联。
背景技术：
：相关领域描述尽管例如智能电话和平板计算机的装置具有增加的能力（例如联网特征、高清晰度视频、触摸界面和应用），这类装置在它们的能力上局限于与人类用户接洽，例如以从与装置交互提供伙伴关系和增强情感体验的益处。存在用于提供伙伴关系的改进装置和相关方法和系统的需要。技术实现要素：本公开涉及用于提供伙伴装置的方法和系统，该伙伴装置适于持续存在于人的环境中并且与伙伴装置的用户交互来提供对装置的情感投入和/或与关于伙伴装置的用户与伙伴装置的交互的应用、内容、服务或纵向数据收集关联。装置可以是与相关硬件、软件和其他组件交互以对于广泛应用提供富交互的系统的部分，如本文进一步描述的。根据例示范性和非限制性实施例，用于开发用于持久伙伴装置(pcd)的技能的开发平台包括:资产开发库,具有应用编程界面(api),其配置成使开发者能够进行下列中的至少一种:发现、创建、编辑和访问可用于创建可被pcd运行的技能的一种或多种内容资产;表达工具组,具有一个或多个api,经由其接收与如由开发者所指定的技能相关联的一种或多种表达,其中技能响应于至少一个定义的输入而由pcd可运行;行为编辑器,用于指定用于技能的pcd的一种或多种行为序列;和技能部署设施,具有用于部署技能到运行引擎的api用于运行技能。根据例示范性和非限制性实施例，用于实现使用软件开发工具包(sdk)开发技能的平台包括配置成映射接收的输入到所编码的响应的逻辑级模块和包括配置成检测一种或多种视觉功能事件和通知逻辑级模块一种或多种所检测的视觉功能事件的视觉功能模块的感知级模块、配置成检测定义的声音和通知逻辑级模块所检测的语音/声音的语音/声音识别器和配置成生成表达定义的情感/个人状态的一种或多种动画和传输一种或多种动画到逻辑级模块的表达引擎。附图说明在图（其不必按比例绘制）中，相似的数字可描述若干视图中的基本上类似部件。具有不同字母后缀的相似数字可代表基本上类似部件的不同实例。图大体上通过示例而非限制的方式图示在本文献中论述的某些实施例的详细描述。图1图示根据示范性和非限制性实施例的pcd的许多视图；图2图示根据示范性和非限制性实施例的pcd的软件架构；图3图示根据示范性和非限制性实施例的心理-社交交互模块（psim）的架构；图4图示根据示范性和非限制性实施例、示出由pcd的问候交互的简化版本的任务网络；图5图示根据示范性和非限制性实施例的pcd的硬件架构；图6图示根据示范性和非限制性实施例的pcd的机械架构；图7图示根据示范性和非限制性实施例、用于提供呼叫应答和消息传递服务的方法的流程图；图8图示根据示范性和非限制性实施例由pcd中继故事的方法的流程图；图9图示根据示范性和非限制性实施例、通过使用pcd来指示和/或影响用户情感状态的方法的流程图；图10图示根据示范性和非限制性实施例由pcd实现故事表演或动画特征的方法的流程图；图11图示根据示范性和非限制性实施例、用于生成背景故事并且对背景故事编码的方法的流程图；图12图示根据示范性和非限制性实施例、用于访问交互数据并且使用它来解决用户需求的方法的流程图；以及图13图示根据示范性和非限制性实施例、用于基于用户输入来调整pcd行为的方法的流程图。图14图示根据示范性和非限制性实施例，显示循环、持久或半持久视觉元件的示例。图15图示根据示范性和非限制性实施例，显示循环、持久或半持久视觉元件的示例。图16图示根据示范性和非限制性实施例，显示循环、持久或半持久视觉元件的示例。图17图示用于pcd的运行时间技能的示范性和非限制性实施例。图18是实现使用dk开发技能的平台的流程图和各种架构组件的示范性和非限制性实施例的说明。图19是可以提供创建资产的用户界面的示范性和非限制性实施例的说明。图20是可以允许开发者看到pcd的局部感知空间的局部感知空间(lps)可视化工具的示范性和非限制性屏幕截图的说明。图21是根据示范性和非限制性实施例的行为编辑器的屏幕截图的说明。图22是根据示范性和非限制性实施例的创建分支逻辑的正式方式的说明。图23是由此选择逻辑可以作为自变量(argument)添加到行为的示范性和非限制性实施例的说明。图24是模拟窗口的示范性和非限制性实施例的说明。图25是社交机器人表达工具组的社交机器人动画编辑器的示范性和非限制性实施例的说明。图26是pcd动画移动工具的示范性和非限制性实施例的说明。具体实施方式根据示范性和非限制性实施例，提供并且描述有持久伙伴装置（pcd），用于持续存在于人/用户的环境中并且与伙伴装置的用户交互。如文中所用的，"pcd"和"社交机器人"可以互换使用，除了在上下文另有指示的情况下之外。如下文更充分描述的，pcd对持久的社交存在提供截然不同的角色，其通过移动、图形、声音、光、气味而富有表情。在下文进一步引入有对pcd的每个实施例的“数字灵魂”伴随者的概念。如本文使用的，“数字灵魂”指能够采用数字格式存储、充当输入以用于由pcd确定并且运行动作的多个属性。如本文使用的，“环境”指在用户附近（足以允许由pcd的传感器观察用户）内的用户的物理环境。该数字灵魂操作成经由对pcd的交互/界面的社交-情感/人际关系感伴随者在社交交互和融洽关系构建活动中与用户接洽。如下文更充分描述的，pcd100可对它的用户执行很多种功能。根据下文详细描述的示范性和非限制性实施例，pcd可（1）促进并且支持人/用户之间更有意义的参与式、物理嵌入、社交定位的交互以及（2）可参与功利化任务的执行，其中pcd充当助手或提供个人服务的某物，其包含但不限于对用户提供有用信息、帮助调度、提醒、提供特定服务（例如充当摄影师）以帮助家庭创建/保留/共享家庭故事和知识（例如，特殊配方）等，以及（3）娱乐用户（例如，故事、游戏、音乐和其他媒体或内容）并且提供陪同和伙伴关系。根据示范性和非限制性实施例，pcd的各种功能可经由多个操作模式来完成，这些操作模式包含但不限于：i.经由拟人化界面，可选地表达不同个性特质的范围，其包含可随时间适应以提供改善伙伴关系的特质。ii.通过富有表情的温暖的人性化界面，其可输送信息以及感情。如下文描述的，这种界面可通过许多线索来表达情感、感情和个性，这些线索包括面部表情（通过动画或移动）、身体移动、图形、声音、语音、颜色、光、气味及类似物。iii.经由跨多个源（传感器、数据、来自其他装置的信息、互联网、gps等）获取语境化纵向信息来使pcd日益对它的一个或多个用户调整、适应和调谐。iv.经由自适应自我配置/自恢复以更好匹配用户的需要/希望。v.经由考虑特定情形和它的用户的社交和情感细节。参考图1，图示有根据示范性和非限制性实施例的pcd100的许多视图。如图示的，pcd100包含许多示范性输入/传感器装置，其包含例如电容传感器102。一个或多个电容传感器102可操作成感测物理社交交互（其包含但不限于按抚、拥抱、触摸及类似物）以及潜在地充当用户界面。pcd100可进一步包含触摸屏104作为这样的装置，其配置成从用户接收输入以及对于由pcd100向用户输出数据起到图形显示器的作用。pcd100可进一步包含一个或多个拍摄装置106，用于接收视觉特征（其包含但不限于静态图像和视频）的输入。pcd100可进一步包含一个或多个操纵杆108，用于从用户接收输入。pcd100可进一步包含一个或多个扬声器110，用于发出或用别的方式输出音频数据。pcd100可进一步包含一个或多个麦克风112。pcd软件架构参考图2，图示有描绘根据示范性和非限制性实施例的软件架构200的框图。该软件架构200可适应于例如人工智能、机器学习的技术，和关联的软件和硬件系统，其可使pcd100能够为生活提供经验，作为可通过机器人实施例以及通过跨广泛应用的连接装置而与人接洽的情感共鸣角色。根据示范性和非限制性实施例，与pcd100关联的智能可分成一个或多个类别，其可将人类社交代码编码成机器。在一些实施例中，这些一个或多个类别可以是pcd的认知-情绪架构的基础。一个或多个类别可包括但不限于心理-社交感知、心理-社交学习、心理-社交交互、心理-社交表达及类似物。智能的心理-社交感知类别可包括人类社交线索（例如，视觉、听觉、触觉）的集成机器感知，用于支持pcd100的自然社交界面和远场交互。心理-社交学习类别可包括算法，pcd100可通过其通过直接交互并且经由来自由pcd100和装置生态系统所捕获的多模态数据的数据分析来获悉人的身份、活动模式、偏好和兴趣。pcd可记录进入它的近场或远场通信范围的人的语音样本并且利用语音识别系统来获得检测的人的身份和个人数据。此外，pcd可检测在ble使能装置的探索频道中广播的uuid并且对与装置用户关联的个人数据解码。pcd可使用获得的身份和个人数据以从像facebook、twitter、linkedin或类似物的社交网站获取附加的个人信息。pcd可宣告在它的近场或远场通信范围中检测的人的存在和身份连同构建的人的个人简档的显示。心理-社交交互类别可使pcd100能够执行预应式(pro-active)决策制定过程以便支持任务和活动，以及构建与人的信任和情感纽带的融洽关系构建技能-全部通过语言和多模态行为。智能的心理-社交表达类别可使pcd100能够为它的多模态输入编排以“显得逼真”、活跃内容并且通过语音、移动、图形、声音和灯光的编排(orchestra)来与作为情感上协调的角色的人接洽。架构200可包括这样的模块，其对应于多模态机器感知技术、语音识别、富有表情的语音合成，以及利用成本有效的硬件模块（即，移动装置共同的组件）。如在图1中图示的，在pcd100内提供有一个或多个软件子系统并且这些一个或多个子系统将在下文更详细描述。心理-社交感知pcd100的心理-社交感知可包括：听觉感知，其可用于操控语音输入；和视觉-空间感知，其可用于评估用户的位置、捕获用户的情感、识别用户的身份和姿态并且维持与用户的交互。pcd100的听觉感知可使用麦克风202阵列、一个或多个信号处理技术（例如204）和自动语音识别模块206来实现。此外，听觉感知可以以交互式社交机器人的唯一感觉和处理要求通过利用为移动计算生态系统创建的组件和技术来实现。pcd100可包括硬件和软件,用于经由使用麦克风阵列202的语音和使用信号处理模块204a的噪声消除技术以及第三方技术方案来支持多模态远场交互以帮助自动语音识别模块206和听觉场景分析。pcd100可配置成适应于听到并且理解在嘈杂环境中人们在说什么。为了这样做，声音信号可在将它传递到自动语音识别器（asr）模块206之前被传递通过信号处理模块204a。声音信号被处理以使语音与静态和动态背景噪声、回声、马达以及甚至谈话的其他人隔离以便提高asr的成功率。根据示范性和非限制性实施例，pcd100可配置成在空间配置中使用至少4个mems麦克风的阵列。此外，可采用基于声音到达时间的算法（在本文称为波束形成算法）以在特定方向上隔离声音。使用全部六个麦克风信号、方向向量和麦克风的放置，波束形成算法可隔离源自特定空间源的声音。波束形成算法可通过同时允许多个波束而能够提供关于声音的多个源的信息。另外，语音-非语音检测算法可能够识别语音源，并且提供扬声器的空间定位。在一些实施例中，波束形成信息可与pcd100的视觉和意识系统集成以便选择方向以及转动和取向的马达能力。例如，3d传感器可用于在3d空间中检测人头部的位置并且因此可将方向传达给波束形成算法，其可在将源自感测位置的声音传给asr模块206之前隔离它们。在操作期间，pcd100可通过讲话或制造噪声来生成声音。信号处理模块204a可配置成防止这些声音被反馈通过麦克风阵列202并且进入asr模块206中。为了去除扬声器噪声，信号处理模块204a可采用可从由麦克风所接收的信号扣除馈送给扬声器的信号的算法。为了减少谐波丰富的马达噪声，pcd100可配置成实现机械方法和信号处理技术。在一些实施例中，pcd100可监测马达的不同口以便解决从马达的这些部件生成的噪声。在示例中，pcd100可配置成将马达安装在弹性材料中，其可吸收可由电枢轴承采用呼呼声的形式产生的高频率。马达可包括刷子，其可产生仅在马达以高速旋转时明显的咝咝声。因此，pcd100可以以相对低的速度展现动画(animation)和移动以便避免咝咝声。另外，pcd100可配置成实现较低齿轮比并且此外通过降低马达速度以便防止咝咝声。通常，较低质量pwm驱动（像在业余爱好者伺服器中发现的那些）可产生高音的呜呜声。pcd100可配置有质量良好的pwm驱动以便消除该部分的马达噪声。通常，马达的齿轮可引起较低音调的研磨声，其计及马达噪声的大部分。末端齿轮传动(finalgeardrive)可承担传动系统中的大部分转矩，并且从而是大部分噪声的源。pcd100可配置成用摩擦传动替代末端齿轮传动以便使该噪声源最小化。另外，pcd100可配置成采用信号处理技术以便减少由马达生成的噪声。在实施例中，麦克风可紧挨着每个马达放置使得噪声信号可从主麦克风阵列202中的信号扣除。pcd100的音频管道的输出可将净化的音频源馈送入asr模块206中，其可将语音转换成文本并且可能转换成富有有意义置信度的备选竞争词假说，例如使用asr的n-best输出或字格。语音（字）的文本表示然后可被解析以理解用户的意图和用户的提供信息并且最终变换成符号表示（语义）。asr模块206可以以正常音量和对应于典型人际通信距离的距离识别来自用户的语音。在示例中，该距离可以接近5-6英尺或更大，这取决于众多环境属性（包括环境噪声和语音质量）。在示例中，语音识别范围应涵盖典型的12英尺×15英尺房间的区域。馈送给asr模块206的信号将是麦克风阵列波束形成算法的结果并且可源自围绕扬声器大约+/-30度的声学角。相对窄的声学角可允许积极减少背景环境噪声的部分和回响，其是差的语音识别准确性的主要原因。在其中语音信号太低的情景中，例如由于扬声器太远离麦克风或扬声器的声音很轻，pcd100可预应式地请求扬声器靠近点（例如，如果扬声器的距离如由3d传感器确定的那样是可用的）或说得更大声，或两者兼而有之。在一些实施例中，pcd100可配置成采用实时嵌入式asr解决方案，其可以以语法和统计语言模型（slm）支持大的词汇识别。此外，声学asr模型可使用来自声学装备的数据来训练/调谐以便提高语音识别率。根据示范性和非限制性实施例，pcd100可配置成包括自然语言处理层，其可夹在asr模块206与pcd100的交互系统之间。该自然语言处理层可包括自然语言理解（nlu）模块，其可采取由asr生成的文本并且对那个文本赋予意思。在一些实施例中，nlu模块可配置成适应于格式例如扩充巴科斯范式（bnf）标记、java语言语法格式（jsgf）或语音识别语法格式（srgf），其可由上文提到的嵌入式语音识别器支持。因为收集越来越多的用户话音，pcd100可逐渐将传统语法变换成统计语法，其可提供更高语音识别和理解性能，并且允许自动数据驱动适应。根据示范性和非限制性实施例，pcd100可配置成对于每个交互任务使用多模态对话系统用户界面设计原理来设计结构化交互流（基于为pcd100的大脑采用的任务网络表示）。交互流可设计成相继（例如，一次一个输入）或同时（例如，输入可按接收它们的顺序独立处理）接收多模态输入（例如，语音和触摸）并且生成多模态输出（例如，语音提示、pcd的移动、显示图标和文本）。作为示例而非作为限制，pcd100可询问是/否问题，pcd100的眼睛可变成具有可由一个或多个触摸传感器选择的是/否图标的问号形状。在实施例中，pcd100可适于处理可表达意图的自然语言交互（例如，嘿！让我们拍照！）。在实施例中，交互可采用“定向对话”方式跟进。例如，在已经识别拍照的意图后，pcd100可询问定向问题，用于确认刚刚听到什么或请求附加信息（例如你想让我给你拍照吗）。视觉-空间感知根据示范性和非限制性实施例，pcd100可配置成采用一个或多个视觉-空间感知传感器（例如rgb拍摄装置212、深度拍摄装置214和其他传感器）以便接收2d视觉、3d视觉或感测运动或颜色。pcd100可配置成获得周围环境中用户的情感感知。例如，pcd100可检测每个人的表达情感状态。pcd100可包括视觉-空间感知子系统，用于保持跟踪用户和环境的时时物理状态。该子系统可向其他内部软件模块呈现用户的当前状态估计作为动态更新的共享数据结构，叫作局部感知空间（lps）208。lps可通过在以pcd100的当前位置为中心的单个3d坐标系中组合多个感觉输入流而构建，而传感器可使用可计及他的移动的运动变换而在3d中配准。在实施例中，lps208可设计成维持多‘级别’信息，每个进入更高级别的细节并且可要求处理和关键传感器输入。lps208级别可包括：人检测：该级别可检测在附近环境中存在的人。例如，pcd100可使用传感器计算附近人的数量。在实施例中，可采用系统中的视觉运动队列来对pcd100定向。此外，热电红外（pir）感测和简单麦克风输出可集成以对微控制器实现唤醒使得系统能够处于低功率‘睡眠’状态中，但可仍对进入房间的某人作出响应。这可与视觉运动线索和颜色分割模型结合来检测人的存在。检测可与lps208结合。人跟踪：pcd100可配置成在3d中定位人并且因此使用例如视觉、深度、运动、声音、颜色、特征&主动移动的传感器来确定人的轨迹。例如，视觉运动检测和3d人检测的组合可用于定位用户（尤其是他们的头部/面部）。此外，lps208可适于包括时间模型和其他输入来操控闭塞和更加同步的人。除运动和3d线索外，系统还可在线从图像获悉（从移动区和3d）颜色分割模型（朴素贝叶斯）以自适应地使用户面部和手与背景分离并且使多个输入的结果与lps208的空间和时间滤波组合来对系统提供鲁棒的人位置检测。人识别：pcd100可使用对于人id的视觉传感器、听觉传感器或触摸输入来识别已知或未知的人。在示例中，一个或多个开放源opencv库可用于面部识别模块。另外，人跟踪信息和运动检测可组合来识别对于面部检测是候选的图像区的有限集。位姿/姿态跟踪：pcd100可使用视觉分类（例如，面部、身体位姿、骨架跟踪等）或触摸映射来识别每个人的位姿或姿势。在实施例中，3d数据集可用于使该特征与pcd100的传感器模态合并。在示例中，开放源姿态识别工具包可适应于基于视觉和3d视觉特征跟踪来加速自定义姿态识别。关注焦点：pcd100可配置成确定聚焦区使得pcd100可指向或看着确定的聚焦区。各种传感器可组合成对于关注焦点的位置/方向集。例如，人的估计位置可在lps208中生成关注焦点位置集。这些可以是对于人的估计的最大可能位置，连同对于指定位置的关注驱动的置信度。焦点和方向集通过置信度来定级并且产生供由其他模块使用的lps208数据的总体概要。pcd100可使用这些焦点和方向来选择注视目标以便直接对用户寻址并且在多个用户之间无缝地‘翻转它的视线’。另外，这可允许pcd100机器人查看较低-置信度位置来确认附近用户的存在。根据示范性和非限制性实施例，pcd100可配置成在系统中包括活动估计或可包含更多的传感器模态，用于通过语音输入以及来自语音韵律的情感状态的估计来跟踪和识别。lps208可使用对于处理的输入特征的基于网格的粒子滤波器模型来组合来自多个输入的数据。当存在必须通过pcd部件上的进一步感测和动作解决的明显的不确定时，粒子滤波器可对于用户物理状态的鲁棒在线估计以及多个假说情况的表示提供支持。粒子滤波技术还可自然地允许相关属性和感觉输入的混合物组合成物理可测量用户状态的单个概率模型而不要求联合分布的显式、闭式模型。此外，基于网格的粒子滤波器可有助于在单个坐标系中融合3d（立体）和2d（视觉）感测的输入并且实施空间在任何指定时间可被仅仅一个对象占据这一约束。根据示范性和非限制性实施例，pcd100可配置成包括启发式建议分布和启发式过渡模型，其可有助于随时间捕获模型用户状态，甚至在pcd100可未直接看着它们时也如此。这可允许pcd100使用言语和非言语线索的自然轮流多方会话并且可容易在粒子滤波框架内适用。因此，这可允许采用有原则的方式使鲁棒的统计估计与以人为中心的启发法组合。此外，lps208可从重复交互获悉先验概率分布并且将适应于其中人可自走廊、门出现并且绕过柜台的空间中的‘热点’，并且可使用该空间信息来自动对准对于用户的最相关位置。低级图像和信号处理代码可被定制并且基于例如opencv、集成视觉工具包（ivt）、通用数字处理特征和处理器特定优化库等质量开放源工具。根据示范性和非限制性实施例，pcd100可配置成从视频流识别各种级别的情感，例如喜悦、生气、轻视、厌恶、害怕、悲伤、困惑、受挫和惊讶。在实施例中，pcd100可配置成确定头部位置、性别、年龄以及是否有人戴眼镜、具有面部毛发等。根据示范性和非限制性实施例，音频输入系统聚焦在用户上。在一些实施例中，pcd100可配置成例如根据机器人移动、关注方向的运动和估计3d聚焦来实时更新音频波束形成功能的方向。这可允许pcd100选择性地倾听特定‘传感器’，其中存在相关和主动音频输入。这可通过与全3d人感测和关注焦点的集成来提高asr和nlu功能的可靠性。空间概率获悉根据示范性和非限制性实施例，可采用空间概率获悉技术以有助于pcd100在用户进入与他同在时更顺利地接洽。随着时间的过去，pcd100可记得用户的到达和联合存在序列并且对于指定房间使这些统计信息累积。这可给予pcd100预测用户在进入房间时的接洽规则，并且由此可使pcd100能够持续指定时段转动扇区并且甚至猜测房间的占有者。例如，该特征可对pcd100提供使用有限预测以在pcd100可充分识别有人进入房间之前支持像“嘿，比尔是你吗”这样的交互的能力。pcd100可最可能转向空间方向来导致在一天的该时间在相同时间看到有人。心理-社交交互根据示范性和非限制性实施例，pcd100可以是全自主的人为形象。pcd100可具有情感、可选择他自己的目标（基于用户输入）并且执行闭环实时控制系统来实现那些目标以使用户保持愉快和健康。心理-社交交互模块（psim）是闭环离散时间控制系统的顶层，其可处理传感器的输出并且为输出和表达选择动作。各种支持过程可在cpu上并发进行，并且感觉输入可异步交付给决策制定模块。“滴答（tick）”是决策周期，其中pcd100的累积传感器信息、当前短期记忆/知识和任务驱动的意向状态可组合以选择新的动作和表达。图3a描绘根据示范性和非限制性实施例的psim300的架构。psim300的核心是执行程序302，其编排其他元件的操作。执行程序302负责pcd100的大脑的定期更新。psim300的每个“滴答”可包括采用下列方式朝向心理-社交表达模块发出新命令移动的处理步骤集。内部更新：a.情感更新b.目标选择输入操控：a.对来自心理-社交感知304的异步输入采样并且将其更新为决策模块的黑板306。b.输入可包括例如人位置、面部id样本等信息，并且解析的nlu话音形成各种用户。c.仅仅可需要更新为黑板306的新信息可表现得像高速缓存。d.另外，可需要捕获与当前任务相关的信息。查询操控：a.来自知识查询操作的结果从心理-社交知识库308采样为黑板306。b.这可收集查询操作的延期处理的结果以供在当前决策中使用。任务网络310：思考/更新a.执行程序302可运行任务网络310的“思考”操作并且在每个级做出任何必需的动作和决策。任务网络310中的活动节点集可在该过程期间更新。b.任务网络310是充当机器人交互的分级控制器的基于状态机的逻辑的灵活形式。输出操控：a.加载到特定黑板306框架的输出被传输到心理-社交表达模块312。根据示范性和非限制性实施例，执行程序302还可提供任务网络310中任务的异步派遣的重要服务。网络310中的任何任务可能够通过请求异步派遣来执行任何计算密集型工作而使计算延期到并发背景线程。该特征可允许任务网络310编排重量级计算和作为动作的事情（像使网络i/o缓慢或甚至阻断网络i/o）而不“阻断”决策周期或改变pcd100的决策过程的反应性。在一些实施例中，执行程序302可派遣规划操作，其产生任务网络310的新段并且它们将动态附连到执行树以在产品智能成熟时通过规划能力来扩展操作。任务网络310可设想为并发分层有限状态机（chfsm）的形式。然而，行为树设计所使用的方法在允许人类设计师和软件工程师一起工作以在内容管道内创建交互式体验方面取得巨大成功。任务网络设计可采用传统的编程语言实现任务的清晰、有效实现和组成。图4图示任务网络，其示出pcd100的问候交互的简化版本。任务网络310的架构使各种表达、移动、感测动作和语音能够在引擎内集成，并且由此给予设计师对pcd100的交互动态的完全控制。如图示的，网络的微小部分在操作期间在任何时间是活跃的。作为内容创建的部分，视觉任务网络表示可用于在技术和设计受众两者中通信。在该示例中，pcd100的pir传感器检测到进入区域的人。pcd100感知pcd100可需要问候某人并且开始“问候用户”序列这一事实。该“问候用户”序列可使跟踪动作线索初始化并且然后说“你好”，而在他们接近时更新对用户的跟踪。pcd100可保持更新数据输入来捕获用户的面部id。在该情景中，id表明它是jane，因此pcd100移动到序列的下一个部分，其中pcd100可形成检查jane如何在做的话音并且打开他的asr/nlu处理窗口以为响应做准备。一旦jane说些什么，知识查询可用于将话音分类为“好”或“坏”并且pcd100可对jane形成合适的物理和语音反应来完成他的问候。网络可传达智能如何工作的概念。心理-社交表达根据示范性和非限制性实施例，pcd100可配置成包括引擎，其可补充pcd100的社交性。例如，引擎可包括标签系统，用于修改语音输出。引擎可允许控制pcd100的语音质量。在示例中，录音可由配音演员完成以便控制pcd100的语音。引擎可包括例如对于嵌入式装置的高质量压缩音频文件和简单定价模型等特征。此外，pcd100可包括：动画引擎，用于对身体关节旋转提供动画；图形、形状、纹理和颜色；led灯光，或心情着色；计时；和pcd100的任何其他表达方面。这些动画可以伴有例如音频线索、语音、气味等其他表达输出。动画引擎然后可以不同的速度、转变并且在曲线之间播放动画的全部或部分，同时使它与程序动画实时混合。该引擎可灵活适应不同的pcd模型、几何形状和自由度。动态对准根据示范性和非限制性实施例，pcd100可配置成采用算法，其可在程序上使pcd100朝3d空间中的点取向。pcd100的眼睛可似乎固定在单个点上，而pcd100的身体可在播放独立动画，或眼睛可领先，而身体可跟着在特定方向上指示。在实施例中，可使用用于计算pcd的查看目标的闭式几何解算器。该目标位姿然后馈送入多目标混合系统，其可包括对加速约束、加性混合/分层和模拟vor（前庭眼反射）的支持。模拟根据示范性和非限制性实施例，动画引擎可包括模拟器，其可播放动画和程序动画并且事实上使它们混合。模拟器可模拟感觉输入，例如面部检测。在一些实施例中，可构建到虚拟模型的物理模拟，从而考虑机器人的质量、马达的功率和机器人的当前抽运极限（currentdrawlimits）来验证和测试动画。眼睛根据示范性和非限制性实施例，人身（例如，pcd100的眼睛）的图形表示可使用接头来构造以允许它使自己变成和成型为不同对象。眼睛图形引擎可使用自定义动画文件来使虹膜变成不同形状、眨眼、改变它的颜色以及改变纹理来允许全方位的表达。图形pcdapi可支持在2d场景图形风格界面中图形、照片、动画、视频和文本的显示。平台和生态系统pcd100是基于高度集成、高性能嵌入式linux系统的平台，其与移动装置“伙伴”应用的生态系统、基于云的后端和具有可购买内容和功能性的在线商店耦合。pcdsdkpcdsdk可利用现代web开发社区的javascript和开放语言以便提供开放且灵活的平台，在其上第三方开发者可以添加低学习曲线能力。由pcdsdk创建的所有pcd应用、内容和服务可用于从pcd应用商店下载。pcd功能（其包括tts、感觉感知、nlu、动画和其他）中的全部将通过pcdapi而可用。该api使用节点js、在v8顶部建立的javascript平台、chrome的开源javascript引擎。节点js使用事件驱动模型，其快速且高效并且很好地转化成机器人编程。节点js伴随着过多的开箱即用功能性并且可容易扩展为附加物。pcd的api将是节点js附加物。因为附加物也容易被去除或修改，开发者能够与pcd交互所采用的方法可受到控制。例如，开发者可创建出站插座，但也限制出站连接的数量。云架构根据示范性和非限制性实施例，复杂的基于云的后端平台可用于支持pcd的智能、检索新鲜内容并且使人能够与他们的家庭保持联系。家里的pcd装置可经由wi-fi连接到云中的pcd服务器。对pcd云服务器的接入依靠高度安全且加密的web通信协议。可为可支持活跃的pcd用户、照料者和家庭成员的ios、android和html5开发各种应用。利用这些移动和web应用，pcd100可在众多装置上总是和你在一起，从而提供帮助并且始终获悉如何更好地支持你的偏好、需求和兴趣。参考图2，pcd100可配置成在云中监测可使得pcd100对他的家庭唯一的数据，使得用户可以容易升级到未来pcd机器人版本并且保护它们建立的角色和关系。例如，pcd的服务器可配置成在云存储214中收集数据并且从pcd机器人和其他连接装置计算度量以允许机器学习算法改进用户模型216并且更改pcd角色模型218。此外，在云存储214处收集的数据可用于分析什么pcd特征最能与用户共鸣，并且理解跨pcd生态系统的使用模式，以便持续改进产品供应。根据示范性和非限制性实施例，基于云的后端平台可包含数据库系统，以用于意在在众多pcs之间共享的数据的存储和分配。基于云的后端平台还可托管服务应用以在识别人（例如语音id应用）和通过与社交网络的互工作来聚集个人多模态数据方面支持pcd。基于云的服务器根据示范性和非限制性实施例，一个或多个pcd100可配置成使用基于restful的web服务、使用压缩json来与基于云的服务器后端通信。安全性根据示范性和非限制性实施例，零配置网络协议连同oauth认证模型可用于验证身份。此外，apacheshiro可提供围绕作用和许可的额外安全性协议。所有敏感性数据将通过ssl发送。在服务器侧上，使用严格防火墙配置（采用oauth）来获得内容令牌的数据可受到保护。另外，对基于云的服务器的所有调用可需要具有有效的内容令牌。内容交付根据示范性和非限制性实施例，使用服务器api，其包括web服务调用来得到对于指定pcd装置的最新内容。该web服务可提供高级调用，其在简洁、紧凑的工作清单中返回所有待审消息、警报、更新列表（例如，购物、提醒、签入及类似物）和其他内容。pcd机器人然后可基于它的当前日程机会性地检索在该清单中表示的待审数据。在一些实施例中，pcd的现实性是在云中，这意指列表、提醒、嵌入和其他应用状态的主记录被存储在pcd服务器上。为了确保机器人可访问最新内容，api可被频繁调用并且机会地收集内容（但采用及时方式）。工作流程管理根据示范性和非限制性实施例，可使用卸载给云并且将未实时返回结果的功能性。这可紧密地与上文论述的基于日程的消息排队的概念一致。另外，它可牵涉服务器架构，其可允许在restfulweb服务api上进行服务的请求并且给应用服务器派遣工作。amazonsimpleworkflow（swf）或相似的工作流程可用于实现这样的系统连同传统消息排队系统。更新根据示范性和非限制性实施例，可需要更新的内容可包括pcd100的操作系统内核、固件、硬件驱动器、v8引擎或伙伴应用。对这些内容的更新可通过返回关于可用更新的类型的信息并且允许特定项请求的web服务而可用。因为pcd通常将需要机会地避免扰乱在机器人可以引用更新时它可以请求更新的用户活动。某些类型的更新的可用性可推送给机器人，而不是依靠pcd机器人定期轮询更新。记录/度量根据示范性和非限制性实施例，pcd100可向服务器发送日志信息。服务器可将该数据存储在合适的容器（sql或nosql）中。例如hadoop（amazonmapreduce）和splunk等工具可用于分析数据。度量也可以是可查询的，使得报告可关于人们如何与pcd100交互以及如何使用pcd100来运行。这些分析的结果可用于关于pcd如何学习、交互和表现并且也关于在未来更新中可需要什么特征来调整参数。机器学习根据示范性和非限制性实施例，可开发各种训练系统和反馈环以允许pcd机器人和基于云的系统持续改进。pcd机器人可收集可以用于训练机器学习算法的信息。一定量的机器学习可在机器人自身上出现，但在云中，可从许多源聚集数据来训练分类器。基于云的服务器可允许通过向人类编码器发送一定数量的数据在低概率地被正确听见、看到或理解的情况下理清内容而确定地面实况。一旦创建新的分类器，它们可通过上文论述的更新系统发出。分类器/预计器的机器学习和训练可跨越监管、无人监管或强化学习方法与地面实况的更复杂人类编码两者。训练信号可包括pcd机器人完成由用户产生的任务或显式反馈（例如言语、触摸提示、笑脸、姿态等）的知识。使来自拍摄装置的图像（其可包括面部和音频数据）聚集可用于提高云中那些相应系统的质量。远程展示支持根据示范性和非限制性实施例，可使用远程展示特征，其包括视频会话选项。此外，启用围绕视频会话的安全性模型来确保用户的安全性。另外，可使用web应用以及同样移动装置应用，其利用作用、许可和安全性基础设施来保护最终用户以免视频会话能力的未经授权使用。软件基础设施pcd的软件系统的高级能力建立在鲁棒且能胜任的嵌入式linux平台上，其用关键库、板支持、驱动器和其他依赖性来定制以对我们的高级软件系统提供整洁、鲁棒、可靠的开发环境。顶级功能模块在我们的嵌入式linux系统中实现为进程。pcd的模块基础设施专门以采用javascript支持灵活的内容脚本、交互和行为为目标，同时基于语言库支持采用c++和c的计算征税操作。它建立在v8javascript引擎和成功的节点nodejs上，其具有封装为c++模块和库的关键扩展和支持。硬件系统架构图5a图示pcd100的硬件架构，可被工程化来支持pcd100的一个或多个能力的感觉、马达、连接性、功率和计算需求。在一些实施例中，pcd100的一个或多个硬件元件是核心硬件的专门化和适应，其在高端平板和其他移动装置中使用。然而，形状、运动和传感器的物理实现和设置对于pcd100是唯一的。pcd100的总体物理结构在本文还可指3环zeta型。pcd100的这样类型的物理结构可对pcd100提供整洁、可控且有吸引力的作用线。在实施例中，结构可从可由形象动画师使用来传达关注和情感的原理得到。pcd100的物理结构可基于三环音量、运动和必需的传感器放置的范围来定义机械和电气结构的边界。根据示范性和非限制性实施例，pcd100可配置成包括对于移动的三个轴、一个或多个立体视觉拍摄装置504、麦克风阵列506、触摸感测能力508和例如lcd显示器510等显示器。对于移动的三个轴可支持情感表达和指示传感器并且采用自然方式陪伴用户的能力。立体视觉拍摄装置504可配置成支持3d位置和用户跟踪，用于提供视频输入、拍摄装置抓拍及类似物。麦克风阵列506可支持波束形成音频输入来使asr性能最大化。触摸感测能力508可实现备选交互来使得pcd100像朋友，或作为用户界面的形式。lcd显示器510可支持情感表达以及动态信息显式。还可包括环境led灯光。根据示范性和非限制性实施例，硬件架构500可配置成包括电气架构，其可基于来自嵌入式控制和机器人空间的cots处理器并且与来自移动装置和平板空间的高端应用处理器结合。嵌入式控制器负责运动控制和低级传感器聚集，而大部分软件栈在应用处理器上运行。产品中的电气板通过对于v1设计的功能来分离并且这可提供模态性来匹配机器人的物理结构同时减轻对传播进入较大设计更新的一个板的设计改变的需要。在一些实施例中，电气结构可包括拍摄装置接口板，其可集成两个基于移动-行业的低分辨率mipi拍摄装置模块，这些拍摄装置模块可支持硬件同步使得捕获图像可在时间上对立体系统配准。立体拍摄装置设计成采用连续方式流播视频。另外，拍摄装置接口板可支持单个rgb应用拍摄装置，用于拍摄高分辨率照片和视频会议视频质量。rgb应用拍摄装置可设计成用于特定照片拍摄、图像抓拍和视频应用。根据示范性和非限制性实施例，硬件架构可包括麦克风接口板，其可携带麦克风阵列506、音频处理和编解码器支持514并且向主应用处理器516发送音频的数字流。来自我们的编解码器514的音频输出可在扬声器518处于身体的独立部位以用于声音隔离时搜出。根据示范性和非限制性实施例，硬件架构可包括身体控制板520，其可在身体的中央部分中集成并且对pcd100提供马达控制、低级身体感测、功率管理和系统唤醒功能性。作为示例而非作为限制，身体控制板520可围绕工业标准cortex-m4f微控制器平台建立。另外，架构500可包括应用处理器板，其可提供核心片上系统（soc）处理器并且使机器人系统的剩余部分联系在一起。在实施例中，板可使用模块上系统（som）来使开发早期原型的时间和花费最小化。在一些实施例中，应用处理器板可为了降低成本和简化生产而包括soc处理器。应用处理器板的关键接口可包括用于支持mipi拍摄装置、显示器、无线通信和高性能音频的接口。根据示范性和非限制性实施例，硬件架构500可配置成包括功率管理板522，其可解决pcd100的功率要求。功率管理板522可包括功率调节器、电池充电器和电池。功率调节器可配置成调节输入功率使得硬件架构500的一个或多个元件或板可收容调节的电力供应。此外，电池充电器可配置成对电池充电一边使pcd100能够持续长时间地操作。在实施例中，pcd100可具有充电座/基座/架夹，其将包含壁式插头和盲插连接器使得pcd100在放置在基座上时应能够对内部电池充电。机械架构根据示范性和非限制性实施例，pcd100的各种特征采用单个装置的形式提供给用户。图6a图示pcd100的示范性设计，其可配置成包括需要的软件和硬件架构以便采用友好方式对用户提供各种特征。pcd100的机械架构已经为了安静优雅和表达性而优化，同时针对材料的成本有效计费。通过从许多成熟市场仔细选择最佳元件并且使它们一起处于对于pcd100的唯一组合中，产生唯一装置。如在图6a中图示的，机械架构描绘各种板（例如麦克风板、主板、电池板、身体控制板、拍摄装置板）在pcd100内的示范性位置的放置。另外，在pcd100的设计中提供一个或多个孔中提供以便适当允许空气流动来提供冷却效果。根据下文描述的各种示范性和非限制性实施例，pcd利用与处理器通信的许多传感器来感测数据。如下文描述的，这些传感器操作成获得感觉输入的所有方式，处理器经由一系列可编程算法对该感觉输入起作用来执行任务。在满足这些任务中，pcd100利用存储在本地存储器（其形成pcd100的一部分）中的数据并且访问远程存储（例如在服务器处或在云中）的数据，例如经由有线或无线通信模式。同样，pcd100利用各种输出装置，例如触屏、扬声器、触觉元件及类似物来向用户输出信息同时参与社交交互。另外，详述数据、传感器和关于伙伴装置的通信模式的操作和互操作性的非限制性公开可在发布的美国申请2009/0055019a1中找到，其的内容通过引用合并于此。本文描述的实施例呈现这样的伙伴装置可应用的特征和功能性的新颖且不明显的实施例，特别来实现pcd100与用户之间的社交交互。如本领域内技术人员已知的，理解各种形式的传感器数据和技术可用于评估和检测来自物理环境的社交线索。这样的技术包括但不限于语音和语音识别、眼睛移动跟踪、人类姿势、位置、运动及类似物的视觉检测。尽管参考这样的技术描述，该公开广泛地被引向包含由pcd100获取、处理和输出数据来实现本文描述的特征和实施例的任何和所有方法。根据示范性和非限制性实施例，pcd100可在纯物理环境中表达为虚拟存在，例如当在移动计算装置（像移动电话、pda、手表等）上执行时，或可表达为混合模式物理/虚拟机器人。在一些实施例中，可得到用于驱动混合模式、物理或虚拟pcd的源信息，好像它是相同实施例一样。例如，如可经由gui接口输入并且存储在数据库中的源信息可驱动机械pcd以及显示器的动画部件（其形成虚拟pcd的一部分）。在一些实施例中，源信息包括多种源，其包括来自ai系统的输出、来自实时感测的输出；源动画软件模型；运动信息模型及类似物。在一些实施例中，数据可从关于纯粹虚拟形象（在源处）的行为的单个源推动并且然后可以对物理pcd输出物理以及虚拟模式。采用该方式，pcd的实施例可从纯物理到完全虚拟到牵涉两者中的某个的混合模式地跨越整个范围。pcd100拥有并且表达为核心角色，其可存储在云中并且可以允许用户利用物理装置所做的被记住和坚持，使得虚拟角色可以记住物理装置发生了什么并且对其作出反应，并且反之亦然。可以经由云来管理物理和虚拟实例，以便在适当时候从一个传输到另一个、具有双重体验或类似物。如图示的，pcd100包含一般三段式设计，其包括通过大体圆环分离的三个截然不同的体节。通过使每个体节绕环旋转，例如经由内部马达（未示出），pcd100配置成更改它的形状来实现各种形状因子以及用传感器102、104、106、108、112跟踪用户和其他对象。在各种实施例中，pcd100的属性可静态或动态配置，其包括但不限于触屏102的形状、富有表现力的身体移动、特定的富有表现力的声音和记忆、讲话时的特定韵律质量和音质、数字接口的细节、pcd100的“面部”、全谱led照明元件及类似物。根据示范性和非限制性实施例，pcd100可配置成采用多模态用户界面，其中许多输入和输出可同时是有效的。这样类型的并发界面可提供鲁棒的用户体验。在一些实施例中，用户界面输入或输出中的一个或多个可根据导致pcd100的相对次优操作的环境而被累及。同时操作各种模式可有助于自动停止（fail-safe）用户体验和与装置的交互来保证没有通信损失。根据示范性和非限制性实施例，pcd100可配置成处理一个或多个输入以便向pcd100的用户提供丰富体验。pcd100可配置成识别用户的语音。例如，pcd100从语音识别“唤醒词”和/或其他机制以便减少“假阳性”接洽。在一些实施例中，pcd100可配置成在nxm英尺的近场范围内识别语音，其中n和m可通过pcd的语音的声音质量和检测灵敏度来确定。在其他实施例中，pcd100可配置成在超过n英尺的远程范围（涵盖至少12英尺x15英尺房间大小的区域）内识别语音。在一些实施例中，pcd100可配置成识别除口语语言以外的声音。pcd可采用声音签名数据库，其配置有pcd可以识别并且对其起作用的声音。pcd可经由直接或基于云的通信与其他pcd装置共享该数据库的内容。作为示例而非作为限制，除口语词语以外的声音可包括对应于打碎玻璃、门铃、电话铃响、人跌倒、汽笛、枪击、可闻警报及类似物的声音。此外，pcd100可配置成通过要求用户识别与pcd100的现有分类器不匹配的声音源来“获悉”新的声音。装置可能够对多个语言作出响应。在一些实施例中，pcd100可配置成用唤醒词对在近场范围外部的用户作出响应。可需要用户进入装置的视野。在一些实施例中，pcd100可在它的表面上具有触敏区域，在由于任何原因而累及语音输入时可使用该触摸区域。使用这些触摸输入，pcd100可询问是/否问题或在屏幕上显示选项并且可考虑用户在屏幕上的触摸作为来自用户的输入。在一些实施例中，pcd100可使用视觉和移动来将一个用户与其他区分开，尤其当两个或以上用户在视野内时。此外，pcd100可能够在近场范围内解释总骨骼姿势和移动，以及一些共同姿态。这些姿态可比装置控制更加朝社交交互取向。在一些实施例中，pcd100可配置成包括拍摄装置以便拍摄照片和电影。在实施例中，当用户在拍摄装置的预定范围内时，拍摄装置可配置成拍摄照片和电影。另外，pcd100可配置成支持视频会议（pop-ins）。此外，pcd100可配置成包括当拍摄装置处于照片模式时消除“红眼”的模式。在一些实施例中，pcd100可配置成确定它是否被捡起、携带、下降及类似物。另外，pcd100可配置成实现磁力计。在一些实施例中，pcd100可确定环境照明级。另外，pcd100可基于环境光级别将显示器和重点照明亮度级调整到合适的级别。在一些实施例中，pcd100可具有使用gps来估计装置位置的能力。pcd100可确定住宅内的相对位置。在一些实施例中，pcd100可配置成包括一个或多个无源ir运动检测传感器（pir）来帮助总或远场运动检测。在一些实施例中，pcd100可包括至少一个热敏电阻来指示环境的环境温度。根据示范性和非限制性实施例，pcd100可配置成采用智能、自然发声向用户说“一个声音”英语。pcd100可配置成改变所说语音的声调来仿真动画装置情感状态（当pcd100悲伤时听起来是悲伤的，等）在一些实施例中，pcd100可配置成包括至少一个扬声器，其能够播放语音、高保真音乐和音效。在实施例中，pcd100可具有多个扬声器（一个针对语音、一个针对音乐），和/或对于特殊可闻信号和警报的额外扬声器。专用于语音的扬声器可朝用户安置并且对言语频率响应而调谐。专用于音乐的扬声器可对全频响应调谐。pcd100可配置成具有真彩色、全帧速率显示器。在一些实施例中，显示的活动图像在直径上可被（掩蔽）约至少4-1/2’’。在一些实施例中，pcd100可具有最小3个移动自由度，从而允许环境的360度传感器覆盖和似人类姿势和移动的范围（富有表现力的作用线）两者。pcd100可配置成使物理动画与声音、语音、重点照明和显示图形同步。该同步可足够接近以便对于人类感知是无缝的。在一些实施例中，pcd100可具有指定区域，其可对于环境通知和社交交互两者使用重点照明。根据装置形式，重点照明可有助于在pcd100的拍摄装置处于照片或电影捕获模式时照亮照片中的主体。在一些实施例中，pcd100可具有拍摄装置闪光灯，其将在拍摄装置处于照片捕获模式时自动照亮照片中的主体。此外，完成主体的照亮，这对于重点照明可更好。另外，pcd100可具有在拍摄装置处于照片捕获模式时消除“红眼”的模式。根据示范性和非限制性实施例，pcd100可识别并且跟踪用户。在实施例中，pcd100可能够注意到人何时进入近场范围。例如，近场范围可以是10英尺。在另一个实施例中，pcd100可能够注意到人何时进入远场范围。例如，远场范围可以是10英尺。在一些实施例中，pcd100可以视频（面部识别）、深度拍摄装置（骨架特征匹配）和声音（言语id）的组合识别多至5个不同用户。在实施例中，“获悉”例程由pcd100使用来获悉pcd100将能够识别的用户。在一些实施例中，pcd100可在近场范围内以视频、深度拍摄装置和听觉场景分析的组合在全360度中定位和跟踪用户。在一些实施例中，pcd100可在10英尺的远场范围内在全360度中定位和跟踪用户。在一些实施例中，每当用户在近场范围内时，pcd100可维持不同用户相对于它自己的位置的内部图。在一些实施例中，在用户离pcd100更远时，pcd100可使功能性水平下降。在实施例中，pcd100的全功能性可在pcd100的近场范围内对用户可用。在一些实施例中，pcd100可配置成跟踪用户心情和响应。在实施例中，pcd100可通过视频分析、骨架跟踪、语音韵律、用户词汇和言语询问（即，装置问“你好吗”并且解释响应）。根据示范性和非限制性实施例，pcd100可用人类社交代码来编程以将情感内容混入它的动画。特别地，基于用户表达的感知情感内容，程序化智能应应用于pcd100以采用完全自主方式适当调整输出的情感内容。可对pcd100编程以尝试通过语音、灯光、移动和音效的组合来改善用户的感测心情。此外，pcd社交代码可提供与用户建立融洽关系的能力，即镜像行为、模仿头部位姿等。根据示范性和非限制性实施例，可对pcd100编程以基于获悉的用户偏好采用社交接洽方法向用户交付预应式定制的互联网内容（其包括体育新闻和游戏、天气预报、新闻剪辑、关于当前事件的信息，等）和/或开发它自己的偏好用于共享该信息和数据，作为拓宽用户潜在兴趣的方式。pcd装置可编程有调整内容类型和它被传达给它所识别的每个个体用户所采用的方式两者的能力。pcd装置可编程有基于用户偏好和用户对交付的互联网内容的反应和处理习惯随时间改进和优化对个体用户的内容定制/交付的能力。可对pcd编程以参与与用户的社交对话来确认交付的信息被用户所理解。根据示范性和非限制性实施例，pcd100可配置成管理和监测用户的活动。在一些实施例中，通信装置122连同服务可在用户请求时创建并且存储一旦他们前去购物之旅则可以传达给用户的要做事情、杂货或其他列表。在一些实施例中，在请求时，pcd100可将列表推向用户（经由服务）、作为文本（sms）消息推给移动电话，或由我们的移动或web应用。在一些实施例中，用户可经由pcd100上的语音或经由移动或web应用通过服务来做出这样的请求。pcd100可与用户交互来管理列表（即，去除被购买/完成/不再需要的项，基于用户历史对额外列表项给出建议，等）。pcd100可通过在环境谈话中听见和理解关键短语而推断需要增加列表（即，装置听见“我们的咖啡用完了”并且问用户他们是否想要添加到杂物列表的咖啡）。根据示范性和非限制性实施例，pcd100可配置成在正确时间提供用户产生的提醒或消息。pcd100可用于设置用于在正确时间交付提醒的条件。在实施例中，对于提醒的条件可包括实时条件，例如“明天早上你第一次见到我”或“下一次我女儿在这里”或甚至“下周二下午你第一次见到我”及类似物。一旦满足条件设置，pcd100可与用户接洽（来自“查看”以及身体语言/表达感知）并且采用合适的语音和字符交付提醒。在一些实施例中，pcd100可分析提供的心情内容并且使用该信息来影响该提醒的动画/灯光/交付。在其他实施例中，pcd100可在pcd100通过问用户他们是否执行提醒动作而交付提醒之后跟进用户。根据示范性和非限制性实施例，pcd100可在可由用户给出的请求时监测用户的缺乏。例如，用户可告知pcd100他们何时以及为什么逐步远离（例如，“我现在在散步”）以及活动的预期持续时间使得pcd100可确保用户在期望/请求时帧内返回。此外，如果用户在规定窗口内未返回，pcd100可通知如用户由于该不测事件所规定的紧急联络人。pcd100可通过文本消息和/或通过移动应用来通知紧急联络人。pcd100可在用户返回时识别存在并且跟进活动（即，问活动如何，或与活动相关的其他问题）。这样的类型的交互可在pcd100与用户之间实现社交交互，并且还能够为学习数据库收集关于用户的信息。pcd100可向这样的家庭/朋友示出签出/签入时间和当前用户状态，如由用户为了该目的所识别的。这可通过移动应用来实现。pcd100可有更多的深入活动监测/模式化/报告的能力。根据示范性和非限制性实施例，pcd100可配置成通过一个或多个数据连接而连接到外部网络。在一些实施例中，pcd100可访问鲁棒的高带宽无线数据连接，例如wifi数据连接。在实施例中，pcd100可在2.4ghz和5ghz两个频带中以2x2两个流mimo配置实现802.1nwifi规范。在一些实施例中，pcd100可连接到其他蓝牙装置（医学传感器、音频扬声器等）。在实施例中，pcd100可配置成定制它的uuid以包括多模态用户数据并且与其他ble使能pcd100装置共享多模态用户数据。在一些实施例中，pcd100可具有到3g/4g/lte或其他蜂窝网络的连接性。根据示范性和非限制性实施例，众多pcd100装置可使用自组联网技术采用网状网络配置来配置以允许直接数据共享和通信而不需要基于云的服务。备选地，要在多个pcd100之间共享的数据可被上传并且存储在基于云的数据库/数据中心中，其中它可被处理和制备以用于传播到众多pcd100装置。基于云的数据服务可与网状网络设置组合以对处于众多位置中的众多pcd100装置既提供局部和中央数据存储、共享又提供分布。根据示范性和非限制性实施例，伙伴应用可配置成与pcd100连接。在一些实施例中，伙伴应用在下列平台上可是可用的：ios、android和web。伙伴应用可包括直观且易于使用的用户界面（ui），其可不需要超高三个交互来访问特征或功能。伙伴应用可对用户提供对pcd100的虚拟对等物的访问使得用户可访问该虚拟对等物以与真实pcd100交互。在一些实施例中，用户可能够通过伙伴应用访问例如pcd100的购物清单、活动日志等信息。此外，伙伴应用可对用户呈现pcd100本地的用户活动的纵向报告。在一些实施例中，伙伴应用可经由视频和音频使用户连接到pcd100。另外，伙伴应用可异步地提醒用户某些条件（例如，本地用户比签入所预期的要晚，存在大的噪声和本地用户无响应等）。在一些实施例中，允许一系列装置的连接性或对一系列装置的控制的管理/部署应用在web平台上可是可用的。管理应用的ui可对医院/照料者启用管理员或购买者，其需要快速访问详细报告、设置、部署和/或支持能力。此外，团体可能够使用管理应用来访问跨pcd100的管理集存储的信息。管理应用可异步提醒管理员某些条件（例如，本地用户比签入所预期的要晚，存在大的噪声和本地用户无响应等）。另外，管理应用可跨它的管理装置的子集或全部传播消息和提醒。根据示范性和非限制性实施例，支持控制台可允许pcd100的人员监测/支持/诊断/部署一个或多个装置。支持控制台在web平台上可是可用的。在实施例中，支持控制台可支持所有部署pcd装置的列表视图，其可通过唯一序列号、所有者、机构部署设置、固件和应用版本号或注册异常来识别。在实施例中，支持控制台可支持交互式查询，其中标签包括序列号、所有者、机构部署设置、固件和应用版本号或注册异常。此外，支持控制台可支持装置诊断的调用和报告。根据示范性和非限制性实施例，支持控制台可帮助部署新的固件和软件版本（推模型）。此外，支持控制台可帮助部署较新的nlu、新应用等。支持控制台可支持客户支持情景、消息到部署装置的子集或全部的传播以传达像规划的服务停机时间等事情。在一些实施例中，支持控制台可需要支持访问多个装置上度量，其包括（但不为以下所独有）：与pcd100交互所花的时间、跨所有应用/服务分解的时间、对于音频和视频感知算法的聚集命中/未命中度量、记录动作（用于支持数据挖掘，等）、记录异常、警报阈值（例如，支持控制台应在什么异常水平叫喊你）及其他。根据示范性和非限制性实施例，pcd100可参与电信会议。在一些实施例中，电信会议可经由更简单的ui（利用触摸pcd100的身体或触摸屏幕104）或经由言语激活（例如可用许多短语、声音及类似物来发起）而开始执行。在一个实施例中，需要有不超过两个pcd100触摸来发起电信会议。在一些实施例中，呼叫也可作为呼叫调度/提示特征的输出而发起。一旦被发起，pcd100可起到电话的作用，其使用麦克风112和扬声器110来接收和输出来自用户的音频数据同时使用wifi连接、蓝牙、电话连接或其一些组合来影响电话功能性。呼叫可以是标准语音呼叫或包含视频部件。在这样的交互期间，pcd100可对于会话的pcd100末端起到摄影师的作用。在一些实施例中，pcd100可被放置在桌子或具有围绕pcd1000占据房间的多个用户（例如家庭，其全部可在呼叫期间起来、移动和活动）其他社交聚集点中间。在呼叫期间，pcd100可在期望地点指向拍摄装置106。在一个实施例中，pcd100可利用声音定位和面部跟踪来使拍摄装置106保持指向讲话者/用户。在其他实施例中，pcd100可由房间中的人/用户指示（例如，“pcd，看着ruby”）。在其他实施例中，遥远的人可能够规定经由装置来跟踪目标，并且pcd100将自主看着且跟踪该目标。在任一情景中，如果例如远程参与者在使用智能电话、便携式电脑或能够显示视频的其他装置，拍摄装置106接收的（作为输入）呈现给他们。装置可能够理解并且以多个语言作出响应。在这样的交互期间，通过接收言语输入、经由处理器转化输入并且输出转化输出，pcd100还可对于链路另一端上的人起到“译员”的作用。如果在具有pcd100的房间中有可用屏幕（例如tv、ipad及类似物），pcd100可发送（例如经由蓝牙或wifi）要在该tv屏幕上显示的参与者的音频和（如可用的话）视频。如果没有其他屏幕可用，pcd100可中继来自远程参与者的音频，但远程视频可不可用。在这样的实例中，pcd100仅中继远程参与者的话。在一些实施例中，pcd100可对用户变生动且起反应，例如如果远程参与者持续确定时间量地暂停则眨眼且俯视或如果pcd100感测到远程参与者非常兴奋时则做一些舞蹈或“摇动”。在另一个实施例中，pcd100可以是链路的远程端上的人的化身。例如，在触屏104上显示的眼睛或其他区可变成渲染版本（除其他实施例外，基于卡通、图像的或视频流）。可存储渲染并且其对于pcd100可访问。在其他实施例中，pcd100还可检索与远程用户关联并且描述远程用户的数据并且仿效远程用户的运动/非言语线索来增强化身体验。在一些实施例中，在呼叫期间，远程或本地参与者可以暗示参与者的静态图像、视频和音频剪辑以及pcd100拍摄装置视图或注释（例如，“pcd，记住该数字”）的存储。这些标记项将适当地被元标记并且存储在pcd云中。根据其他实施例，pcd100还可有助于在请求时模拟远程交互。例如，用户可要求pcd100建议游戏，其将发起连接游戏模式（在下文更充分描述）并且建议游戏直到两个参与者都同意。在另一个实施例中，用户还可就谈论的一些事情来询问pcd100。作为响应，pcd100可访问对准会话参与者的共同兴趣的“知情pcd”数据库，或对于启示它们所谈论的这一事件为参与者开采pcd日程表（例如，“奶奶，告诉ruby前几天你和你的朋友共进午餐”）。调度助手根据示范性和非限制性实施例，pcd100可基于日程表可用性、特殊日子和/或在链路另一端存在的了解（例如，“你的妈妈现在在家，并且这天是她的生日，你想打电话给她吗”）来建议呼叫。用户可接受建议，在该情况下pcd呼叫应用在pcd100与远程参与者的pcd100、电话、智能装置或skype账户之间启动。用户还可通过要求pcd100稍后调度呼叫来接受建议，在该情况下调度应用将它添加到用户的日程表。呼叫应答和消息传递根据示范性和非限制性实施例，呼叫应答和消息传递功能性可用pcd100实现。该特征应用于放置到pcd100的语音或视频呼叫并且pcd100将未对其他蜂窝连接装置进行呼叫管理服务。参考图7，图示有示范性和非限制性实施例的流程图700。如图示的，在步骤702处，当呼叫放置到pcd100，pcd100可对房间中的人宣告呼叫者。如果房间中没有人，pcd100可检查用户的日程表，并且如果它指示他们不在家，在步骤704处，pcd100可将呼叫直接发送到与pcd100关联的语音邮箱。如果相反它指示他们在家，pcd100将在步骤706处使用较大声音（钟声、铃声、呼喊）来获得房子中人的注意。一旦pcd100得到他的用户的注意，在步骤708处，pcd100可宣告呼叫者并且询问他们是否想接电话。在步骤710处，用户可用简单触摸界面或理想地用自然语言界面作出响应。如果答复是肯定的，在步骤712处，pcd100如在同步按需多模态消息传递特征中描述的那样连接通话。如果答复是否定的，在步骤714处，呼叫被发送到pcd100语音邮箱。如果呼叫者针对语音邮箱，pcd100可问候他们并且要求他们留下消息。在一些实施例中，语音或语音/视频（如果呼叫者在使用kype或等效物）消息可被记录以用于在以后的日期重放。一旦用户返回并且pcd100再次在房间中检测到他们，pcd100可在步骤716处将消息通知他们（在言语上利用“你有消息”，或非言语上利用发光机关炮（pompom），等）并且询问他们是否想听它。如果是的话，pcd100可在tv/平板/等上重放音频或播放音频/视频消息，如上文描述的。用户可具有为以后保存消息的选项。他可以告诉pcd100再次在特定时间或仅仅“稍后”询问，在该情况下pcd100将在预定时间量后再次询问。如果呼叫者是pcd100未知的，pcd100可将呼叫指引到语音邮箱并且告知用户接收来自某数字的未识别呼叫，并且如果其被记录的话则重放消息。用户然后可指示pcd100有效地阻止来自连接/语音邮箱的数字前进。pcd100也可询问用户是否希望同步或异步地返回呼叫。如果用户接受，则pcd100启动合适的消息传递模式来完成用户请求。在一些实施例中，pcd100还可对家中的其他蜂窝或固定电话装置提供呼叫管理器功能性。在再其他实施例中，pcd100可应答呼叫并且通过会话提示呼叫者留下消息，从而扮演个人助理的角色。连接故事阅读根据示范性和非限制性实施例，pcd100可包含链接故事阅读应用以使远程参与者能够“通过”pcd100对房间中具有pcd100的本地参与者阅读故事。阅读者可通过由虚拟pcd110引导的简单的基于web或android应用的界面、通过挑选故事并且阅读它的过程来交互。阅读器可读取如由虚拟pcd110提示的故事的词。在一些实施例中，阅读者的语音将由物理pcd100对倾听者重放，其中预设滤波器应用于阅读者的语音使得阅读者可以采用难以置信地引人注目的方式给角色“配音”，即使他/她没有固有能力来这样做也如此。声轨和音效也可以插入重放内。阅读者的界面还可示出倾听者的“pcd的眼观”视频馈送，并且pcd100可使用它的“摄影师”能力来使倾听者保持在视频中。物理pcd100还可在合适时用短动画对故事作出反应，并且pcd100的眼睛（上文描述的）可变成不同形状以支持故事元素。该功能性可包装在pcd呼叫特征内部使得阅读者和倾听者可以利用关于它的会话等来中断故事。应用可识别阅读者停止阅读故事，并且暂停特征，因此阅读者和倾听者可以未经过滤地谈话。备选地，叙述者可以预先记录故事并且调度它以稍后使用下文描述的故事中继应用来重放。热线根据示范性和非限制性实施例，用户可利用pcd100以经由“一键通”或“对讲机”型接口与“网络内”成员通信。该特征可经由皮肤上的单触或pcd100上的屏幕图标或经由简单的语音命令“pcd100，和妈妈谈话”来访问。在一些实施例中，该特征仅局限于pcd到pcd回话，并且可仅在两个pcd100在它们的链路端上检测到用户存在时可使用。故事中继参考图8，图示有示范性和非限制性实施例的流程图800。如图示的，在步骤802处，用户/故事叙述者可在任何时间为pcd100记录故事以稍后重放。可以采用若干方式记录故事：通过pcd100：故事叙述者将他们的故事告诉pcd100，其记录它用于重放。通过虚拟pcd100web界面或android应用：用户通过虚拟pcd100引导来将他们的故事告诉摄像头。他们还有机会在这些类型的故事中包含更丰富的动画/音效/背景音乐。一旦故事已被记录，在步骤804处，pcd100可根据叙述者设置的调度偏好来重播故事。倾听者将被给予在调度时间听到故事的选项，并且可以接受、谢绝或重新调度故事。在实施例中，在故事叙述期间，pcd100可以预定速率拍摄倾听者的静态照片。一旦故事完成，在步骤806处，pcd100可询问倾听者他/她是否想将消息发回故事叙述者。如果用户接受，则在步骤808处，pcd100可进入“异步多模态消息传递”特征并且编译消息并且将消息发送到叙述者的物理pcd100（如果他们有的话）或经由虚拟pcd100web链路。倾听者可有机会在返回消息中包含倾听故事的他自己/她自己的照片。照片/记忆制造者根据示范性和非限制性实施例，pcd100可包含照片/记忆制造者特征，由此pcd100由于事件接管摄影师的角色。对此存在两个模式：pcd捕捉模式在该模式中，希望处于照片中的用户可站在一起并且说“pcd，给我们拍照”。pcd100确认、然后使用言语线索来使拍摄装置图像中的人/多个人居中（使用像“后退”、“左移”等的线索）。当他们被正确安置时，pcd100告诉他们保持不动，然后使用某种短语来引发笑容（“微笑”，等）。pcd100可使用面部表情识别来告知他们不在笑并且继续尝试引发笑容。当图像中的所有用户在笑时，pcd100可使用自动对焦和闪光灯（如必要的话）来拍摄若干照片。事件摄影师模式在该模式中，用户可指示pcd100在特定时间开始（或“现在”，如期望的话）、持续预定时间量地拍摄事件的照片。pcd100使用声音位置和面部识别的组合来环顾房间并且以用户定义速率拍摄房间中的人的猎影照片。产生的所有照片可本地存储在pcd100存储器中。一旦产生照片，pcd100可将照片已经上传到pcd100云通知用户。在该点处，可以经由pcd100应用或web界面来访问它们，其中虚拟pcd100可引导用户通过删除、编辑、裁剪等照片的过程。它们然后将通过电子邮件发给用户或发帖到面部book等。在该应用的该“开箱即用”版本中，照片可利用永久存储持续预定时间量地仅保持在pcd100云上，其中归档/元标记作为例如下文描述的“现存遗产（livinglegacy）”的部分按月付费供应。如本文描述的，pcd100从而可操作成帮助增强人际和社交场合。在一个实施例中，应用或“app”可在pcd100上配置或安装来访问和操作pcd100的一个或多个接口部件来实现社交活动。例如，pcd100可包括工厂安装的应用，其在执行时操作成与用户交互以根据哪个pcd100着手拍摄和存储一个或多个照片来接收一个或多个参数。例如，用户可对pcd100说“请拍摄聚会上的每个独立个体的至少一个照片”。作为响应，pcd100可使来自可访问客人列表的聚会客人列表并且着手拍摄每个客人的照片。在一个实施例中，pcd100可保持静止并且在个体经过时对于他们的身份来询问他们、记录实例并且拍摄个体的照片。在另一个实施例中，pcd100可与客人交互并且要求他们在客人群体前面设置pcd100以便拍摄他们的照片。在一段时间内（例如聚会的持续时间），pcd100根据用户在满足社交/活动（其包括为社交事件编文档）方面的希望获取聚会客人的一个或多个照片。根据其他示范性实施例，pcd100可读取社交线索并且对其作出反应。例如，pcd100可观察用户、向另一个人指示更轻声说话的需求。作为响应，pcd100可降低它输出言语通信所在的音量。相似地，pcd100可在拥抱或轻抚时发出指示满意度的声音。在其他实施例中，pcd100可发出或用别的方式输出社交线索。例如，pcd100（感测到用户约会去晚了）可在看似紧张状态中前后摆动以便加快用户离开的速率。交互式日程表根据示范性和非限制性实施例，pcd100可配置有日程表系统来捕获工作之余用户和家庭的业务。pcd100可能够共享日程表并且如果其他pcd100的用户给出许可则使这些日程表与其他pcd100的那些集成，使得在每个家庭内具有pcd100的整个大家庭将能够具有对于每个人的单个统一日程表。pcd100日程表中的项可用合适的信息元标记，初始是所约家庭成员的名字、他们对约会/事件的感觉如何、日期或日子特定信息（假日等）及类似物。可进入的事件类型包括但不限于唤醒时间、用餐时间、约会、提醒、打电话、家务/庭院劳动等。注意不是所有的事件都必须设置成特定时间-可以传感器输入为基础来调度事件，例如“提醒我明天早上你第一次看到我带上我的雨伞”。项到pcd100的日程表的输入可采用许多方式完成。一个实施例利用android应用或web界面，其中虚拟pcd100引导用户通过过程。情感符或其他界面是在此时可以用于告诉pcd100用户对应用/事件的感觉如何。该模式中日程表的图形描绘可与outlook相似，从而允许用户看到其他网络成员的事件/约会。pcd100日程表还可具有与outlook在该方面所做的相似的消除约会冲突的特征。在一些实施例中，用户还可能够通过自然语言界面向日程表添加项（“pcd，我再周二下午1点约了牙医，提早半个小时提醒我”，或“pcd，今晚晚餐是下午5:30”）。pcd100过后可探询用户感觉（如果未被用户传达的话）（例如，“你对该约会的感觉如何”），从而允许合适的情感元标记。如果事件提醒被羁绊，pcd100可采用两个方式中的一个来传递提醒。如果为之设置提醒的用户在pcd100的环境中存在，他将亲自传递提醒、用言语提醒、动画、面部表情等来完成。面部表情的情感内容可从事件的元标记得到，例如通过情感或用户言语输入。他的行为还可以从已知上下文得到（例如，他在醒来时总是感到困倦或在用餐时间总是饿）。通过上下文适合于不同事件的表达通过定期创作内容来使它保持非重复和令人愉悦而刷新。如果出现提醒所针对的用户未和pcd100物理在一起，pcd100可以呼唤它们。在这样的实例中，如果它们对此是非响应的，pcd100可用提醒使它们的电话发短信。列表管理器根据示范性和非限制性实施例，pcd100可配置有列表管理器特征。根据该特征，pcd100可在用户请求时创建要做事情列表或购物列表，一旦它们前往购物之旅则其可以发短信给用户。特征可由用户经由简单触摸界面或理想地通过自然语言界面发起。用户可规定要制作的列表类型（例如，“杂货”、“衣服”、“要做事情”或特定类型的商店或商店名字）。pcd100可询问初始在列表上是什么，并且用户可经由口语词语作出响应以使pcd100向列表添加东西。在任何稍后的时间，用户可要求pcd100向列表添加其他项。根据一些实施例，pcd100可能够解析每天的会话来确定应向列表添加项。例如，如果房间中有人说“我们没有牛奶了”，pcd100可自动将其添加到杂货列表。当用户动身前往pcd100维持列表所针对的商店时，用户可请求pcd100将合适列表发短信给它们，使得当他们在商店中购物时该列表对它们可用。另外，如果用户远离pcd100但在商店附近，他们可请求通过android或web应用来发送列表。在他们返回时（即，下一次pcd100在他们请求将列表发短信给他们之后看到用户），pcd100可询问出行如何/用户是否在列表上找到一切，如果“是”，pcd100将清除列表并且等待向它添加其他项。如果“否”，pcd100将探询什么未被购买，并且从列表清除其他项。在要做事情列表的情况下，用户可告诉pcd110“我做了这件事情”，并且该项可从存储的列表去除。用户还可请求将别人的pcd产生的列表发短信给他们（待审的合适许可）。例如，如果成年人将pcd100给予年长的父母，该成年人可以询问pcd100将由他们父母的pcd100产生的购物列表发送给他们，使得他们可以在为自己购物时替他们的父母买杂货，或他们可以在拜访以确保他们具有任何必需工具等之前就妈妈的“要做事情”列表来询问pcd100。知情pcd根据示范性和非限制性实施例，pcd100可配置有“知情”特征。根据该特征，pcd100可使用户了解用户感兴趣的新闻、天气、体育等的最新情况。该特征可在请求时使用简单触摸界面或理想地自然语言界面来访问（例如，“pcd100，告诉我昨晚的棒球成绩”）。用户可具有在一天的某些时间设置“信息会话”的能力。这可通过web或移动应用界面来完成。使用该特征，pcd100可调度成在一天的某些时间中继某些信息。例如，用户可对它们的pcd100编程以在用户清醒之后供应新闻。如果用户说“是”，pcd100可交付用户在他/她的“早间简报”中请求的信息。这可包括某些团体得分/新闻、天气、专业论文标题回顾等。pcd100可以这些项的概述开始并且在任何点，用户可要求知道更多关于特定项，并且pcd100将阅读整个新闻项。新闻项可“pcd化”。具体地，pcd100可对pcd100在阅读的新闻提供评论和反应。这样的反应可由于ai产生而在上下文是相关的。心情、活动、环境监测器根据示范性和非限制性实施例，pcd100可采用对于pcd应用100的应用的形式配置有心情、活动和环境监测器。该应用可被已经购买pcd100的人购买，例如为年长的父母。在购买时，web界面或android应用可用于访问监测设置和状态。虚拟pcd100可引导用户通过该过程。可以监测的事情的一些示例包括（1）pcd100所在的房间/房子中的环境温度，（2）活动（人每小时/天行走的时间#、没有感测到人的小时#等），（3）房间中人/多个人的心情：基于来自传感器的反馈（面部表情、大笑频率、使用某些词/短语的频率，等），表达为有限选择集中的一个以及（4）pcd100可通过询问是否服药或明确看到用药来监测对用药方案的依从性。可已被设置的监测器的状态可以经由应用或web界面来检查，或在超过警报级别的情况下（例如，房间中太冷，在阈值时间量内没有人行走），则文本可以由pcd100发送到监测用户。另外，pcd100可自主提醒用户由监测用户经由应用或web界面设置的某些条件被满足，例如如果太冷则颤抖并且打开暖气。心情环根据示范性和非限制性实施例，pcd100可配置有心情环特征。该心情环特征可利用pcd100的传感器来充当指示器并且甚至用户的心情/情感状态的影响者。该特征可维持用户的情感状态的实时日志。该指示器可基于面部表情识别、体温、眼动、活动级和类型、语音韵律、关键词使用和甚至如pcd100询问用户他们感觉如何这样的简单技术。pcd100将尝试用户验证技术（例如询问）来校正他的解释并且随时间做出用户的更好情感模型。这还可牵涉从pcd100云获悉数据（经证实的传感器数据<->来自其他用户的情感状态映射）的“众包（crowdsourcing）”。参考图9，图示有示范性和非限制性实施例的流程图900。在步骤902处，pcd100解释用户身体/面部/语音细节来确定他的情感状态。pcd100能够随时间准确解释用户身体/面部/语音细节来确定情感状态。一旦pcd100确定用户的情感状态，他在步骤904处将此交回其他。这可以采用许多方式来完成。对于同定位（例如，在医院环境中）的照料者，pcd100可以使用照明/面部图形/姿势的组合来指示他所属的人的心情，使得照料者可以一眼看到照管的人悲伤/快乐/生气等并且相应地干预（或干预）。对于未同定位的照料者（例如，照顾仍然独自生活的年迈父母），pcd100可以通过从它呈现哪个数据以及针对哪个时段方面可定制的移动/web应用来提供该情感状态。一旦建立用户心情的该理解，在步骤906处，pcd100尝试并且实行该心情的改变。这可以自主发生，其中pcd100试图通过讲故事/笑话、怜悯、玩游戏、情感镜像等的过程造成用户情感状态的积极改变。备选地，照料者在被pcd100提醒主要用户处于消极情感状态时可以指示pcd100说/尝试/做某些他们可能知道的将减轻该特定情境中的消极情感的事情。夜灯根据示范性和非限制性实施例，pcd100可配置有夜灯特征。根据该特征，如果用户在午夜醒来，pcd100可充当动画夜灯。如果满足正确条件（例如，时间是在午夜，环境光很低，持续长时间地存在静止和安静或睡眠噪音，并且然后突然有移动或讲话），pcd100可轻轻地唤醒、采用令人安心的颜色使机关炮发光并且可能探询用户是否ok。在一些实施例中，pcd100可启示可令人安心并且有助于使用户重新入睡的活动或应用。可爱的随机行动根据示范性和非限制性实施例，pcd100可配置有可爱的随机行为特征。根据该特征，pcd100可操作成采用设计为令人愉快或发人深省的这一方式在一整天在各种时间说事情/问问题。在一个实施例中，该功能性不牵涉与pcd100的自由形式的自然语言会话，而相反，pcd100说令人感兴趣的、可爱的、有趣的等事情作为思考/会话的素材。在一些实施例中，pcd100可访问pcd100内部或外部定位的语录、短语、笑话等的数据库，其不时地被创建、维持和刷新。数据可来自例如天气、体育、新闻等、rss馈送、来自其他pcd100的众包和用户简档。通过对这些位元标记并且将元标签与个体pcd100用户偏好比较的过程，合适的事实或语录可发送给每个个体pcd100。当pcd100决定交付可爱的随机行动时，pcd100可连接到云、给予用户id并且请求来自数据仓库的位。如上文描述的，服务器将使事实与用户偏好、日子/日期/时间、用户居住区的天气等匹配来确定要交付给该用户的最佳位。在一些实施例中，该特征可起到采取简单问题的形式，其中问题特定到足以更容易进行应答的识别，而对这样的问题的应答可用于有助于建立该用户的简档，从而确保在正确时间交付给他/她的pcd100更多的拟合位。在其他实施例中，用户可专门通过简单的触摸界面或通过自然语言界面来请求可爱行动。在一些实施例中，该特征可采用“喜欢/不喜欢”用户反馈征集以便使算法能够在向该特定用户提供感兴趣的位方面变得更好。djpcd根据示范性和非限制性实施例，pcd100可配置有dj特征。根据该特征，pcd100可操作成以音乐播放、跳舞和来自pcd100的建议为特征。该特征可采用若干模式操作。这样的模式或功能可通过简单触摸界面（从开始到期望动作不超过2个节拍）或在其他实施例中通过自然语言界面来访问和控制。音乐可本地存储或从外部源接收。当pcd100使用该特征播放歌曲时，pcd100可使用节拍跟踪以使歌曲伴随着舞蹈动画、灯光/颜色表演、面部表情等。pcd100的歌曲选择可取决于选择哪个模式，例如：点唱机模式在该模式中，pcd100可播放用户选择的特定歌曲、艺术家或专辑。心情盒模式在该模式中，用户请求某一心情的歌曲。pcd100可使用心情元标签来选择歌曲。用户可以给予关于与pandora相似的歌曲的反馈，从而允许pcd100调整加权以用于进一步选择。环境音乐模式一旦用户选择该模式，pcd100使用来自web的信息（日期、一周的某天、一天里的时间、日程表事件、外面的天气等）以及来自传感器102、104、106、108、112的信息（例如，房间中人的数量/活动级、噪声级等）来选择要播放的歌曲和播放它们所采用的音量，以便在房间中创建背景范围。用户可具有控制音量或跳过歌曲的能力。另外，用户可能够在任何时间请求特定歌曲，而不离开环境音乐模式。可播放请求的歌曲，并且用户选择（如随着音量改变）可在未来选择加权中使用。pcd喜欢尽管在一些实施例中用户可直接访问该模式（“你喜欢什么种类的音乐，pcd”），pcd100还可偶尔将一个或多个选择插入歌曲流内，或尝试在发起点唱机或moodbox模式时播放选择（在环境音乐模式中，pcd100可不这样做）。pcd的音乐选择可基于定期更新的来自pcd100、公司的列表、由作者或由例如来自其他pcd的众包歌曲选择创建。pcd100喜欢也可从用户网络中的特定pcd100拉出特定歌曲-例如pcd100可宣告“你的女儿现在一直在请求这首歌曲”，并且然后播放女儿的喜爱歌曲。跳舞pcd根据示范性和非限制性实施例，在采用任何模式播放歌曲后，pcd100可询问它如何做（并且可根据用户的应答而适当地作出高兴或悲伤的响应），或给予用户关于用户的舞跳得有多好的分数。pcd100还可捕获跳舞用户的照片并且供应以将它们上传到用户的pcd简档、社交媒体网站或通过电子邮件发送它们。各种功能性模式包括：复制你在该模式中，pcd100选择要播放的歌曲，并且任何使用声音位置/面部/骨架跟踪以在vis/rgbd拍摄装置视场中获取用户。在用户跟着音乐跳舞时，pcd100可尝试仿效用户的舞蹈。在歌曲结束时，pcd100可询问如何在复制用户动作中执行它，或给予用户关于用户的节拍保持得有多好的分数。pcd100还可捕获跳舞用户的照片并且供应以将它们上传到用户的pcd简档、社交媒体网站或通过电子邮件将它们发送给用户。复制pcd在该模式中，pcd100跳舞并且用户尝试仿效舞蹈。如果用户做得不好，音乐的重放再次受到影响。在一些实施例中，独立屏幕示出对于用户和pcd100两者要仿效的人类舞者。用户和pcd100两者随之跳舞并且然后pcd100对它自己和用户两者评级。随之跳舞在该模式中，用户播放来自收音机、ipod、唱歌、哼唱等的音乐，并且pcd100尝试随之跳舞，从而在结束时询问它做得有多好。故事表演/动画根据示范性和非限制性实施例，pcd100可配置有故事表演/动画特征。根据该特征，pcd100可操作成允许用户购买对于与pcd100的交互式性能的戏剧。参考图10，图示有示范性和非限制性实施例的流程图1000。在步骤1002处，可完全购买戏剧并且将其存储在用户的pcd云简档中，或它们可租用netflix风格。戏剧/场景的购买可通过例如android应用或web界面而出现，其中虚拟pcd100可引导用户通过购买和安装过程。在一些实施例中，在步骤1004处，用户可选择他们希望表演的戏剧/场景。该选择以及在使用它时的特征的控制可经由简单触摸界面（pcd100的眼睛或身体）或经由自然语言界面来实现。一旦用户选择戏剧，在盘1006处，pcd100可询问用户是否希望排练或表演。不管选择的模式如何，在步骤1008处，pcd100可通过询问用户他们想要成为的形象是否在戏剧中而开始。在该第一时间后，如果再次选择戏剧则pcd100将证实该选择，并且用户可以在任何时间改变。排练模式一旦用户进入排练模式，在步骤1010处，pcd100可供应来表演戏剧以便使用户熟悉戏剧。如果他们已经熟悉，用户可跳过此。如给用户确实希望pcd100表演戏剧，在步骤1012处，pcd100可在用户进行通读时突出对于用户角色的台词。该通读之后，在步骤1014处，pcd100可开始教用户台词。对于每个台词，pcd100可宣告提示和台词，并且然后在用户背诵台词时在触屏104上示出词。pcd100可使用语音识别来确定用户是否正确，并且将保持尝试直到用户正确地复述台词。pcd100然后可向用户供应提示并且让他们复述台词，从而再次尝试直到用户可以朝着提示适当地重复台词。pcd100然后可移到下一个台词。一旦用户获悉所有台词，在步骤1016处，pcd100将利用所有提示进行通读，从而作为响应来检查正确台词并且如必要的话提示用户。注意提示可以起初采取图形的形式，其中眼睛变成启示台词的形状。这可以是在提示方面的第一次尝试，并且如果用户仍然无法记得台词，则pcd100可以发展到言语提示。表演模式一旦用户记住他们希望扮演的角色的所有台词，在步骤1018处，他们可以进入表演模式。在该模式中，pcd100将进行戏剧的全面表演，从而暂停来让用户说他们的台词并且如果用户结巴或忘记则提示。pcd100将在该表演期间、甚至在用户交付台词期间使用全音效、背景音乐、动画和灯光效果。在一些实施例中，在戏剧表演后，pcd100可产生戏剧的卡通/动画版本，其中在他们的台词期间包括用户的语音音频并且使其与他们所扮演的角色的嘴唇同步（如果可能的话）。该卡通可存储在pcd云上、发帖到社交媒体网站或通过电子邮件发给用户用于共享/形成记忆。在一些实施例中，pcd100还可配置成表演具有多个参与者的戏剧，每个扮演他们自己的角色，并且参与者可是远程的（例如，在通话流的另一端上）。跳舞pcd-共享根据示范性和非限制性实施例，pcd100可配置成采用上文描述的跳舞pcd应用的额外特征。在该特征的一些实施例中，用户可为pcd100创建定制舞蹈。这通过移动或web应用来创建，从而允许用户挑选歌曲并且选择舞步以对于pcd100放在一起以随着音乐表演。用户还可让pcd100挑选舞步使得与pcd100协作地创建舞蹈。在一些实施例中，可增加灯光效果/音效（例如，pcd说“下来！”）并且其与舞蹈同步。在其他实施例中，pcd100舞蹈可发送到其他pcd100、展示给虚拟pcd100所扮演的朋友、在线保存等。用户还可演绎由其他pcd100用户所创建的其他pcd100舞蹈。名人产生的内容根据示范性和非限制性实施例，该特征允许用户将名人产生的内容下载或流播到他们的pcd100。内容通过web界面或android应用来选择，其中虚拟pcd100可引导用户通过内容购买过程。内容可以是以下中的任一个：预先语音这可包括对电影《神秘科学影院3000》内笑话的导演/演员评论。所有内容可插入影片。音频水印可用于使内容的pcd100的交付与观看的媒体同步。实时流播在该模式中，pcd100可流播由名人/评论家在中心位置实时产生的内容。内容创建器还可具有实时“操纵”pcd100来实现动画/灯光/颜色效果来补充口语词语。在这样的实例中，因为内容创建器理论上将与用户并发地观看事件并且实时做出评论。这可包括政治评论家对总统演讲、选举报道等提供评论，或用户喜爱的运动员对体育事件提供评论。根据示范性和非限制性实施例，持久伙伴装置（pcd）100适于持续或几乎持续地存在于人或多个人的环境内。在一个实施例中，人是识别人的各种参数数据被pcd获取或对pcd可用所针对的人的实例。如下文更充分描述的，除人的id外，pcd100可进一步识别在行为（调度、例程、习惯等）、偏好、态度、目标、任务等上的模式。识别参数数据可用于使用例如语音识别、面部识别及类似物、利用上文描述的传感器102、104、106、108、112中的一个或多个来识别人的存在。参数数据可本地存储（例如在pcd100的存储器内）或远程存储在pcd100与之有线或无线通信（例如经由蓝牙、wifi及类似物）的服务器上。这样的参数数据可手动输入pcd100或服务器内或可由pcd100随时间获取或作为初始化过程的部分、例如，在将另外未初始化的pcd100带入用户环境内时，用户可执行初始化规程，由此pcd100利用其操作/与之交互来获取用户的语音、面部特征或类似物（和其他相关真实信息）的示例。在下文充分描述的家庭中心实施例中，如果用户形成用户（其包括大家庭）的社交网络则可存在多个。该数据可存储在pcd100内并且可同样由pcd100传达以用于外部存储，例如在服务器处。可手动输入其他识别用户数据（例如用户名字、用户生日、用户眼睛颜色、用户头发颜色、用户体重及类似物），例如经由服务器的图形用户界面、语音界面或形成pcd100的一部分。一旦将参数数据的一部分输入或用别的方式被pcd100获取，pcd100可操作成另外获取其他参数数据。例如，在进行初始化（其包括提供样本语音签名，例如通过对pcd100背诵预定文本）时，pcd100可自主操作成识别讲话的用户并且获取面部识别所需要的面部特征。由于pcd100维持在用户环境内的持久存在，pcd100可随时间操作成获取用户的各种参数数据。在一些实施例中，在初始化期间，pcd100操作成获得关于超出他们的id的人的相关信息。如上文指出的，pcd100可操作成获取背景信息、人口统计信息、喜好、联系信息（电子邮件、手机等）、兴趣、偏好、个性及类似物。在这样的实例中，pcd100可操作成获取例如在“结识”交互期间的基于文本/gui/语音输入的信息。另外，pcd100还可操作成获取联系信息和家庭中心（例如，年长的父母、儿童等）的个性化参数信息，其可在pcd100之间共享以及直接输入pcd100内。在下文更充分描述的各种实施例中，pcd100操作成推动家庭与大家庭的连接。如下文进一步描述的，每日信息（其包括但不限于个的调度、事件、心情及类似物）可对pcd100如何交互、向用户推荐、供应活动、供应信息提供重要上下文。根据示范性和非限制性实施例，pcd100获取的上下文、纵向数据推动自适应系统，其将它的功能和特征配置成日益对于兴趣、偏好和用户的使用案例来调整。例如，如果pcd100获悉用户喜欢音乐，它可以自动从云下载“音乐属性”以能够发现音乐喜好、播放该类音乐以及做出知情音乐推荐。这样，pcd100获悉用户的生活。pcd100可以在真实世界中感测用户并且它可以从连接到pcd100的其他装置、技术、系统、个人计算装置、个人电子装置的生态聚集数据。pcd100从该纵向数据收集获悉人以及使它能够获悉用户并且使它自己配置成更好地适应和匹配它可以提供的功能的活动模式。重要的是，pcd100获悉你的社交/家庭模式、你的生命中（你的大家庭）重要的人是谁，它获悉并且跟踪你的情感/心情，它获悉重要的行为模式（在你区域做某些事情时），它获悉你的偏好、爱好等，它获悉你想知道什么、什么使你愉悦，等。如下文更充分描述的，pcd100配置成与用户交互来提供纵向数据收集设施，用于收集关于pcd100的用户与pcd100的交互的数据。根据示范性和非限制性实施例，pcd100配置成获取纵向数据，其包括与用户的持久交互（经由牵涉视觉、听觉和触觉传感器102、104、106、108、112的交互）的一个或多个属性。在每个实例中，视觉、听觉和触觉感觉可由pcd100从用户感知或用别的方式获取以及由pcd100输送给用户。例如，pcd100可包含拍摄装置传感器106，用于从用户获取视觉信息，其包括与用户的活动、情感状态和身体状况有关的数据。同样，pcd100可包含音频传感器112，用于从用户获取音频信息，其包括从语音识别得到的数据、与应力级有关的数据以及例如用户所利用的娱乐媒体的身份等上下文信息。pcd100可进一步包含触觉传感器102，用于从用户获取触觉信息，其包括与在于pcd100物理接触中用户的触摸或接洽（其包括但不限于抚摸和拥抱pcd100）有关的数据。在其他实施例中，用户还可使用触摸来浏览pcd100的触屏界面。在其他实施例中，pcd100或用户的位置可例如经由用户携带的手机来确定并且用作输入来给出位置上下文-相关信息并且提供服务。如指出的，视觉、听觉和触觉感觉可由pcd100输送给用户。例如，音频输出装置可用于输出声音、警报、音乐、语音指令及类似物并且参与与用户会话。相似地，图形元件可用于将文本和图像输送给用户以及操作成输送图形数据，其包括pcd100与用户之间的通信交互的一部分。它可以使用环境光和其他线索（它的led机关炮）。触觉装置102可用于传达pcd100情感状态和各种其他数据（其包括经由例如振动）并且浏览装置的界面/内容。装置可发出适合用户的情形、心情等的不同的气味。信息可通过连接到pcd100的不同装置来聚集。这可以来自第三方系统（医疗、家庭安全等数据）、移动装置数据（音乐播放列表、照片、搜索历史、日程表、联络人列表、视频灯）、台式计算机数据（尤其通过pcd100门户输入）。除上文描述的传感器外，与pcd100和用户的交互中牵涉的数据和信息可从各种数据源获取、存储在它们上并且输出到它们。在示范性和非限制性实施例中，交互数据可经由云数据或其他连接性模式（蓝牙，等）而存储在pcd100上并且在pcd100与用户之间传送。在一个实施例中，可由pcd100实现对用户的云存储的数据的访问来实现与pcd100的交互。例如，pcd100可搜索互联网、使用应用/服务或访问来自云的数据-例如来自云存储的用户调度和从其处得到来触发交互的使用信息。作为一个示例，pcd100可注意用户在上午9点在附近餐厅与朋友有早餐约会。如果pcd100通知用户在约会前五分钟在家里，pcd100可通过经由音频装置110讲话来与用户交互以询问用户是否不应准备出发。在示范性实施例中，pcd100可基于当前gps坐标和餐厅的gps坐标通过自主进行行驶时间计算来完成该壮举。采用该方式，pcd100可对访问的在线或云数据应用一个或多个算法来触发导致pcd100与用户之间融洽关系构建交互的动作。人们可以经由社交网络、实时或异步方法（例如发送文本、建立实时音频-视觉连接、通过其他应用/服务（facebook、twitter等）连接及类似物）来与pcd100通信。其他示例包括由pcd100访问存储在云中的用户的娱乐和媒体文件，其包括但不限于可用于触发交互的itunes和netflix数据。采用相似方式，根据其他示范性实施例，交互数据可存储在用户环境附近或用户环境中，例如在服务器或个人计算机或移动装置上，并且可被用户访问。pcd100可同样将数据存储在云中。在其他实施例中，交互数据可经由pcd100外部的传感器而获取。根据示范性和非限制性实施例，可产生有活动日志和装置使用日志，例如可存储在pcd100上、服务器上或云中，其可用于推动交互。活动日志可存储用户、pcd100或用户和pcd100两者采用交互式方式参与的信息记录活动。例如，活动日志可记录参与象棋游戏的pcd100和用户的实例。可另外存储有关于在这样的匹配（从其可推断用户的享受水平）期间用户的情感状态的信息。使用该数据，pcd100可将这样的事情确定为用户期望多久下一次象棋、自pcd100和用户上次下象棋过去了多长时间、用户期望参与象棋比赛的可能性及类似物。采用相似方式，装置使用日志可被存储和维持，其指示用户喜欢何时、多久以及如何与pcd100交互。如显而易见的，活动日志和装置使用日志两者都可用于既增加pcd100与用户之间的交互的频率又提高交互质量。根据示范性和非限制性实施例，交互数据可经由手动输入来获取。这样的数据可由用户经由输入装置102、104、106、108、112（其形成pcd100的一部分）直接输入pcd100或输入计算装置（例如服务器、pda、个人计算机及类似物）并且传送或用别的方式传达到pcd100，例如经由蓝牙或wifi/云。在其他实施例中，交互数据可由pcd100经由pcd100与用户之间的对话来获取。例如，pcd100可参与与用户的对话，其包括一系列问题，其中用户的应答经由在pcd100上、服务器上或云中的讲话识别软件转换成文本，结果作为交互数据被存储。对于gui或基于触摸的交互也一样。根据示范性和非限制性实施例，交互数据可经由配置成识别嗅觉数据的传感器102、104、106、108、112产生。同样，pcd100可配置成发出嗅觉气味。在再其他实施例中，gps和其他位置确定设备可并入pcd100内来增强交互。例如，儿童用户可在家庭自驾游或度假中带着他的pcd100。在途中，pcd100可确定它的地理位置、访问互联网来确定附近界标并且通过讨论界标来参与与儿童的对话，其与时间和地点相关。除采用该方式弄清讨论题目外，在一些实施例中，这样的交互的结果可在那时或在稍后的时间传送到远程存储设施，于是存在根据预定义安全设置从多个用户如此获取的累积交互数据。采用该方式，更可取交互模式的集中式数据库可基于用户属性和pcd获取数据（例如，位置）的统计简档而开发。例如，在之前的示例中，pcd100可将它的位置确定为在航空航天博物馆附近的国家广场上并且在自然历史博物馆对面。通过访问集中式数据库并且提供用户的年龄和位置，可确定与用户年龄简档匹配的其他儿童趋于对恐龙感兴趣。因此，pcd100开始参与讨论恐龙同时将用户引导到自然历史博物馆。根据示范性和非限制性实施例，pcd100可至少部分基于用户的各种生理和物理属性和参数来调制与用户的交互的方面。在一些实施例中，pcd100可采用视线跟踪来确定用户的视线方向。这样的信息可用于例如确定用户的兴趣或计量模棱两可。同样，可获取用户的心率和呼吸率。在再其他实施例中，用户的肤色可从视觉传感器数据确定并且用于弄清用户的物理或情感状态。可经由传感器102、104、106、108、112弄清的用户的其他行为属性包括但不限于声律和选词。在其他示范性实施例中，pcd100可弄清并且解释用户的物理姿态，例如挥动或指示，其可随后用作交互的触发。同样，pcd100可评估和分析用户的姿势来确定用户是否站立、伛偻、斜倚及类似物。根据各种示范性和非限制性实施例，pcd100与用户之间的交互可至少部分基于确定的用户情感或精神状态或属性。例如，pcd100可确定并且记录用户眨眼的速率、用户是在笑还是咬住他/她的嘴唇、用户发出笑声的存在及类似物来弄清用户是否可能例如紧张、高兴、担忧、愉快等。相似地，当用户在另外沉寂的环境中保持相对不动和沉默，pcd100可观察用户的视线是否盯着空间中的点并且确定用户处于思考或困惑状态。在再其他实施例中，pcd100可解释用户姿态（例如点头或摇头），作为心理一致或不一致的指示。根据示范性和非限制性实施例，用户交互所经由的界面的一般属性可配置和/或协调成提供拟人或基于非人类的pcd100。在一个实施例中，pcd100配置成显示非人类动物的特性。通过这样做，pcd100与用户之间的交互可通过摹拟和/或放大用户对特定动物的现有情感嗜好而增强。例如，pcd100可在操作成传达兴奋状态时通过吠叫来仿效狗。pcd100可进一步装备有像附器的尾巴，其响应于用户交互可摇摆。同样，pcd100可输出与熟悉的猫科动物“喵喵”相似的声音。除pcd100界面的实时显示外，这样的界面属性可随时间变化以通过调整用户和pcd100动物形象的衰老过程来增强交互。例如，基于狗的pcd100形象可在第一次获取时模仿小狗的动作并且在它的行为和交互上逐渐成熟来提供关于用户部分的用户和pcd形象的关系在演变这一感觉。如指出的，除基于动物或虚构生物的pcd特性外，pcd100可配置成提供仿照人类的拟人界面。这样的人类或“角色”可被预先配置、用户可定义或两者的某一组合。这可包括饰演，其中pcd100可呈现名人、媒体人物或形象（例如，larrybird、jonstewart、来自downtonabby的形象等）的习性和特性。除驻存在pcd100上、pcd100外部外，pcd100的角色或“数字灵魂”可被存储（例如在云中），并且可因此被下载且安装装置其他pcd100上。这些其他pcd可以是图形的（例如，它的外表出现在用户移动装置上）或进入另一个物理pcd100（例如，新模型）。pcd100的角色还可以具有合成或技术性质。因此，pcd100起到拟人化技术的作用，其中看到装置pcd100具有它自己的独特角色，而不是尝试仿真已经存在的别的东西，例如人、动物、知名形象及类似物。在一些实施例中，可为pcd100创建专门的角色，其可以随时间更改和修改以更好适合它的用户。例如，因为这样的技术建立密切关系和感情，用户的pcd100的韵律可随时间更改以更紧密地镜像它的用户自己的韵律的韵律。除它的用户买来使pcd100个性化或定制pcd100的任何化妆或虚拟制品外，pcd100还可改变它的图形外观以适应于它的用户的喜好和偏好。在示范性实施例中，pcd100的数字灵魂定义pcd100的特性和属性以及影响用户与pcd100之间的交互性质的属性。尽管该数字灵魂从pcd100所利用的交互数据和信息分叉以参与与用户的交互，数字灵魂可在与特定用户的响应交互中随时间改变。例如为了分离用户，每个可利用他们自己的pcd100基于例如众所周知的历史人物（例如alberteinstein）安装相同的数字灵魂。从在两个独立pcd100装置上安装那刻起，每个pcd100将采用不同方式交互，这取决于由pcd100产生并且对pcd100可访问的用户特定交互。数字灵魂可以从不同物理形式（例如机器人形式）或数字形式（例如，图形化身）地采用许多形式体现。根据示范性和非限制性实施例，pcd100提供机器学习设施，用于基于收集的数据来提高交互的质量。用于进行机器学习的算法可在pcd100上、在与pcd100通信的计算平台上发生。在示范性实施例中，pcd100可采用关联条件反射以便于用户交互来提供培训和训练。关联或“操作式”条件反射聚焦在使用强化物来增加行为上。通过该过程，在行为和对于该行为的后果之间形成关联。例如，pcd100可在用户快速醒来并且跳下床（如与保持静止相对）时发出愉快的声音。在用户使pcd100明显的愉快状态与这样的动作关联时，pcd100与用户之间的该交互随时间操作成激励用户更快起床。在另一个示例中，在观察到用户在锻炼时，pcd100可发出鼓励的声音或语音。在这样的实例中，pcd100起到对用户期望的动作提供持久正强化的作用。根据各种示范性实施例，pcd100可在进行机器学习时采用本领域内已知的多种分析类型中的一个，其包括但不限于时间模式建模和识别、用户偏好建模、特征分类、任务/策略建模和强化学习。根据示范性和非限制性实施例，pcd100可采用视觉、音频、动觉或“vak”模型，用于识别最适合于与用户交互的交互模式。pcd100可操作成确定用户的主要学习风格。例如，如果pcd100确定用户采用以视觉为主的方式处理信息，pcd100可采用图表或图示，例如在图形显示器104（其形成pcd100的一部分）上，以将信息输送给用户。同样，pcd100可操作成向用户发出问题和其他提示以帮助他们在听觉环境中保持警惕。同样，如果pcd100确定用户采用以听觉为主的方式处理信息，pcd100可在简短说明什么将要到来的情况下开始新的交互并且可以发生了什么的概要而结束。最后，如果pcd100确定用户采用以动觉为主的方式处理信息，pcd100可操作成经由动觉和触觉交互（其牵涉移动和触摸）来与用户交互。例如，为了在早晨使用户起来并且活跃，pcd100可参与活动，其中pcd100请求来自用户的拥抱。在其他实施例中，为了突出并且强化社交交互的元素，pcd100可发出与交互有关的气味。使pcd100在房子中四处走动的能力是作为pcd100的重要方面。在操作中，pcd100操作成给予远程人员用于通信的物理体现和物理社交表达方式，其允许人们“呆在他们的生活流中”而不是必须停止并且蜷缩在屏幕前面（现代视频会议）。因此，pcd100对随意交互提供支持，好像用户在他们的房子中拜访某人一样。用户可在进行其他活动（例如洗盘子等），并且因为不管怎样pcd100可以在房间四周跟踪用户而仍然进行对话。在上文描述的示范性实施例中，pcd100设计成跨房间携带它的传感器和输出等。核心技术方面包括用户可控制pcd100的拍摄装置视图，并且它还可以有助于通过跟踪并且进行逆向运动来使它的拍摄装置保持在目标保持在目标对象上而使此自动化。pcd100可采用保存重要的非言语线索（像眼神接触）这一方式将你的表示（视频流、图形等）渲染到屏幕。pcd100可监测远程人员的头部位姿、身体姿势使得人员具有富有表现力的实体存在。pcd100还可产生它自己的富有表现力的身体移动来适应情形，例如姿势镜像和同步来建立融洽关系。pcd100可进一步触发有趣的动画和声音。因此用户可尝试准确地将你自己传达为你或有趣的形象。这对于连接故事阅读真正有用，其中奶奶可以远程与她的孙子一起阅读故事，同时在故事会话期间呈现不同形象。pcd100可跟踪谁在讲话以使它的视线/你的拍摄装置视图自动转移到讲话者（来减少必须手动控制pcd100中的认知负荷）。pcd100可具有滑动自主接口，使得远程用户可以维护对pcd100的或多或少直接控制，并且它可以使用自主性来补充。pcd100可对用户提供广泛的视场（比其他装置提供/呈现的隧道视觉好得多，因为你必须呆在它的前面）。通过做所有这些事情，并且能够将pcd100放在房子周围的不同地方，远程人员感觉到现在他们不仅可以通信，而且可以参加活动。为了能够在睡觉时共享故事、在游戏室并且与孙辈一起玩、远程参加感恩节晚餐、在你帮助你的女儿烹饪家庭食谱时坐在工作台面上等。它支持无需动手操作，因此你感觉好像你在别处也具有真实物理社交存在。根据示范性和非限制性实施例，pcd100可配置成或适于采用稳定或平衡方式安置在用户生活和操作所在的典型环境的多种表面上或周围。例如，pcd100的大体平坦表面可由摩擦垫制造或至少部分包含摩擦垫，其操作成防止pcd100在平滑表面上滑动。在其他实施例中，pcd100可采用部分可拆分或伸缩式附器，其可被手动或自动部署以将pcd100安置在不平坦表面上。在其他实施例中，装置可具有硬件配件，其使它能够在环境中走动或操纵对象。它可配备有激光指示器或投影仪以能够在外部表面或对象上显示。在这样的实例中，pcd100可在附器的末梢上或附近包含摩擦垫以进一步减少打滑。在再其他实施例中，pcd100可在pcd100的外表面或多个表面上包含一个或多个吸杯用于暂时附连到表面。在再其他实施例中，pcd100可包含钩、环及类似物以用于使pcd100就位固定和/或悬挂pcd100。在其他示范性实施例中，pcd100适于手可携带。具体地，pcd100配置成重量小于10kg并且占据不超过4000cm3的体积。此外，pcd100可包括附连或可拆分带子或把手以供在携带pcd100中使用。根据示范性和非限制性实施例，pcd100配置成持久感知或能够经由计算确定社交线索的存在或出现并且在社交上存在。如此，pcd100可操作以便避免全停期。在一些实施例中，pcd100可定期进入低功率状态或“睡眠状态”来保留电力。在由的睡眠状态期间，pcd100可操作成可能处理缩减输入集以提醒pcd100社交线索的存在，例如人或用户进入pcd100附近、人嗓音的声音及类似物。当pcd100检测到pcd100能够与之交互的人或用户的存在时，pcd100可过渡到高度警惕模式，其中pcd100传感器输入中的更多或全部用于接收和处理上下文数据。保持持久感知社交线索的能力减少pcd100永远断电或手动通电的需求。因为关闭和打开的能力是与机器装置关联的属性，pcd100避免处于完全掉电模式的能力起到增加pcd100是生活伙伴这一感知。在一些实施例中，pcd100可通过发出白噪声或摹拟打鼾的声音来增大处于睡眠状态。在这样的实例中，当用户偶遇pcd100时，pcd100感测用户的存在并且通过例如用指示醒来的噪声（例如打哈欠）问候用户而着手过渡到高度警惕或上电模式。这样的动作充当开始pcd100与用户之间的交互的队列。根据示范性和非限制性实施例，pcd100适于监测、跟踪和表征来自用户的言语和非言语信号和线索。这样的线索的示例包括但不限于姿态、视线方向、选词、声律、身体姿势、面部表情、情感状态、触摸及类似物。所有这样的线索可由pcd100经由传感器装置102、104、106、108、112捕获。pcd100可进一步配置成更改和调整它的行为以有效地摹拟或镜像捕获的线索。通过这样做，pcd100通过似乎反映用户的特性和精神状态来增加pcd100与用户之间的融洽关系。这样的镜像可并入pcd100的人物或数字灵魂用于由pcd100长期展现所述特性或可是暂时的并且例如在一段时间（其包含特定社交交互）内扩展。例如，如果pcd100检测到用户定期使用特定短语，pcd100可将该短语添加到交互数据的语料库以在将来与用户交互时被pcd100持久使用。相似地，pcd100可实时或近实时地摹拟瞬态言语和非言语姿态。例如，如果pcd100检测到用户嗓音的频率提升外加指示兴奋的词速率增加，pcd100可用增加的词速率在比正常频率更高的频率在言语上与用户交互。根据示范性和非限制性实施例，pcd100可经由形成pcd100的一部分的各种物理显示（其包括但不限于身体形状因子、物理移动、图形和声音）展现截然不同的角色或数字灵魂。在一个实施例中，pcd100可采用富有表现力的机械。例如，pcd100可包含可移动下巴附器，其可在经由音频信号的输出而讲话时被激活。这样的附器可被授予足以根据情况摹拟微笑或皱眉的许多自由度。相似地，pcd100可配置有一个或多个“眼状”配件，其能够改变视觉曝光程度。因此，pcd100可以响应于受惊吓、惊讶、感兴趣及类似物来显示“睁大眼睛”表情。根据示范性和非限制性实施例，pcd100可检测它在空间的姿势或位置以在例如屏幕模式与整体模式之间转变。例如，如果pcd100包含用于显示图形信息的屏幕104，pcd100可在用户将屏幕举到用户面部并且到一定位置（用户可以从该位置观看显示器）内时从它所处的无论什么状态转变到向屏幕输出信号的模式。根据另一个实施例，形成pcd100的一部分的一个或多个压力传感器可检测用户何时采用社交方式触摸pcd100。例如，pcd100可从超过压力传感器在经历压力所采用的模式确定用户在按抚、抚摸或轻拍pcd100。不同的检测社交接触模式可充当对于pcd100的触发器，用于展示鼓励或抑制与用户的社交交互的交互式行为。根据示范性和非限制性实施例，pcd100可装备有配件，用于增强pcd100的外观和感觉。这样的配件包括但不限于皮肤、服装、外部和内部灯光、面具及类似物。如上文描述的，pcd100的角色或数字灵魂可从pcd100的物理显示分叉。包括pcd100角色的属性可作为数字数据存储，该字数据可例如经由蓝牙或wifi传输和传达到一个或多个其他计算装置，其包括但不限于服务器和个人计算装置。在这样的上下文中，个人计算装置可以是利用处理器和存储的存储器来执行一系列可编程步骤的任何装置。在一些实施例中，pcd100的数字灵魂可传输到消费者配件，例如手表或移动电话。在这样的实例中，pcd100的角色可有效且临时传输到另一个装置。在一些实施例中，在传输时，pcd100的传输实例可继续感测用户的环境、参与社交交互并且检索和输出交互数据。这样的交互数据可在稍后的时间传输到pcd100或上传到服务器以稍后供pcd100检索。根据示范性和非限制性实施例，pcd100可展出视觉模式，其响应于社交线索来调整。例如，显示器104可在兴奋时发出红光并且在平静时发出蓝光。同样，显示器104可显示动画纸屑掉落以便传达欢庆，例如在用户成功完成任务时。在一些实施例中，对于显示器的纹理和动画可以是用户可选择的或可直接编程到pcd100内或到与pcd100通信的服务器或外部装置内。在再其他实施例中，pcd100可发出一系列嘟嘟声和哨子声来表达模拟情感。在一些实施例中，嘟嘟声和哨子声可效仿从用户的讲话和其他口头话音得到的模式。在一些实例中，嘟嘟声、哨子声和其他听觉输出可充当对pcd100唯一的听觉签名。在一些实施例中，可在多个pcd100（例如形成模拟家庭的一组“相关”pcd100）上采用相同听觉签名的变化形式，来指示相关性程度。在一些实施例中，pcd100可参与表达模式之间的变形转变来传达情感。例如，pcd100可操作显示器104以从随机或伪随机模式或其他图形转变成具有微笑或皱眉的嘴部的显示器，作为用于显示人类情感的方法。在其他示范性实施例中，pcd100可发出气味或信息素来表达情感状态。根据再另一个示范性实施例，可采用对pcd100可访问的形式提供有背景故事，其可以是与用户交互的基础。这样额数据包括参考过去事件的一个或多个故事（既有真实的，也有虚构的），其形成pcd100之前的历史的一部分。例如，pcd100可提供有故事，其可经由告知pcd100的生活中的过往事情的语音产生而输送给用户。这样的故事可在请求时由用户输出，可由交互数据触发。例如，pcd100可从用户数据辨别今天是用户的生日。作为响应，pcd100可被触发以与用户共享与pcd100的过往生日相关的故事。包括背景故事的数据可集中存储并且在请求时由用户或由pcd100自主下载到pcd100。背景故事可由pcd100的制造商产生和存储并且在存储时对用户可用。参考图11，图示有示范性和非限制性实施例的流程图1100。在示例中，在步骤1102处，制造商可接收对于pcd100仿照与对体育、特别是棒球和波斯顿红袜队感兴趣的用户关联的狗这一背景故事的请求作为输入。作为响应，在步骤1104处，制造商或第三方背景故事提供者可产生基本背景故事。在示例中，故事可包括增加有更特定故事（其涉及与红袜队有关的细节所添加到的棒球）的相对通用狗故事。在一些实施例中，在步骤1106处，背景故事可用将允许pcd100的进一步实时定制的变量来编码。例如，背景故事可在例如：“meandmybrothersandsisters<fori==ltomax_siblings,insertsibling_name[i]>wereraisedin...”等伪代码中编码。采用该方式，在被pcd100阅读时，故事可读为包括其他pcd100（其配置成为与pcd100有关）的名字。根据示范性和非限制性实施例，pcd100可提供有可执行模块或程序，用于管理pcd100的同养成特征，由此鼓励用户照管伙伴装置。例如，同养成模块可操作成对用户的天生冲动加以利用以经由牵涉与婴儿关联的声音、图形、气温及类似物的行为通过开始与用户的交互来照管小孩。在同养成模块操作成表达负面情感（例如悲伤、孤独和/或沮丧）同时从用户征集减轻负面情感的动作时，pcd100与用户之间的融洽关系可进一步受到鼓励。这样，鼓励用户与pcd100交互来使pcd100高兴起来。根据示范性和非限制性实施例，pcd100可包括这样的模块，其配置成访问指示用户属性、pcd100的用户与pcd100的交互以及pcd100的用户的环境的交互数据。参考图1200，图示有示范性和非限制性实施例的流程图。在步骤1202处，访问交互数据。一旦被检索和存储，在步骤1206处，交互数据可用于预料用户的需求状态。一旦识别需求状态，在步骤1208处，它可以用于预应式地解决用户需求而不依靠用于执行动作的调度。在一些实施例中，用户的物理外观、姿势及类似物可形成用于识别需求状态的基础。在一些实例中，需求状态的识别可通过调度数据来补充，例如包括交互数据的一部分。例如，调度可指示错过满足用户服用抗生素这一需求的时间。pcd100可部分从面部分析和语音调制分析得到的数据弄清用户的需求状态。根据示范性和非限制性实施例，pcd100可用作信使，用于将消息从一个人中继到另一个。消息包括但不限于发送者嗓音的音频记录、pcd100用字符中继消息、用于增强消息和歌曲的舞蹈/动画/声音剪辑。消息可采用多种方式产生。在一个实施例中，pcd100体现为智能装置上的应用。发送者可打开应用，并且选择消息和关联的声音、调度等。应用中pcd100的虚拟实例可使用户在过程中漫游。在另一个实施例中，通过与pcd100的直接交互，发送者/用户可经由简单触摸界面或自然语言界面指示pcd100在某一将来时间告诉另一个人一些事情。例如，用户可说“pcd，今天早上当我的妻子走进厨房时，播放她的某首歌曲并且告诉她我爱她”。发送者还可让pcd100录下他/她的语音以用作消息的部分。在其他实施例中，代替发送者的pcd100交付消息，消息可由另一个位置处的不同pcd100交付。在再另一个实施例中，用户/发送者可以例如将消息推文到特定pcd100标签，并且pcd100将对用户/接收者说该消息。情感符也可插入消息内，从而提示要由pcd100实行的录音动画/声音脚本。一些示范性情感符是：pcd100符（ticon）意思pcd100符意思’)眨眼oo呵呵呵！o(悲伤od大声笑！！！！！o)愉快ox不问不说ob兔子会吃了你！or断齿pcd100op嘘声！od极好！op嘲笑（capitalraspberries！）o[吸血鬼/顽皮o/嗯…不确定…困惑o{脾气暴躁/脾气暴躁的老人o*颊吻o#秘密。不要说！我的嘴巴很严。os讨厌的pcd100{o啊/好奇ol假笑（或漠不关心）}o生气o+不舒服/吃了坏的/有酸味的东西o>有人跟我说表1：情感符定义另外，消息可被调度以稍后、在特定日期和时间和在某组情况（例如，“你在周二第一次看到某人”或“当某人在周三醒来时，将该消息给他们”）下发送。在其他实施例中，pcd100可用于对没有pcd的用户产生消息。这样的消息可采用web链路的形式产生，并且可包含虚拟pcd100用于交付消息，正如如果接收器具有物理pcd100则物理pcd100将做的一样。如因此显而易见的，pcd100可配置成从多个人（例如朋友和用户的家庭）接收消息，其中消息触发与消息中规定的情感有关的动作。例如，人可将消息发短信给与用户（代表消息的发送者希望经由pcd100输送的情感或社交动作的情感符嵌入其内）关联的pcd100。例如，如果发送者向pcd100发送显示“十分想念你ox”的消息，pcd100可在接收消息时经由语音合成器输出“来自robert的进入消息显示‘十分想念你’”同时发出亲吻声音、在显示器上显示起皱的嘴唇或相似动作。这样，消息发送者可注释他们的消息以利用pcd100可与用户交互所通过的表达模态。参考图14，图示示例的示范性和非限制性实施例，其中pcd100可以在与用户的交互期间利用用户界面来显示循环的、持久的或半持久的视觉元件，例如眼睛。例如，如下所示，为了显示问号，包括指示眼睛表面上的虹膜或反射的较亮圆的视觉元件1400可以在眼睛变形或以其它方式经由中间视觉元件1400'、1400''平滑地转换为问号视觉元件1400'''时将其位置移动到问号的底部。视觉元件如所描述和图示的变形的能力导致高可读性。参考图15，图示示例的示范性和非限制性实施例，其中视觉元件1500(其中眼睛旨在变形为对于眼睛来说视觉太复杂的形状)可以如所示“眨眼”以转换成更加视觉上复杂的形状1500'。例如，如所示，眼睛1500的视觉元件“眨眼”以显示温度或其他天气相关的可变形状1500'。参考图16，图示示例的示范性和非限制性实施例，其中可以从眼睛视觉元件的表面区域形成或挖出口符号。在各种实施例中，可以改变视觉元件的颜色以加强所显示的表达。根据各种示范性和非限制性实施例，与在例如智能电话和平板电脑的常规移动装置上运行的应用相比，pcd100可以具有并展示“技能”。就像在例如ios和android的移动平台上运行的应用程序一样，pcd100可以支持部署各种各样的新技能的能力。pcd技能可以包括javascript包，连同可以调用各种javascriptapi的资源和配置文件，以及向执行引擎馈送信息。结果，可以支持内部和外部开发者开发用于pcd100的新技能。作为基本原理，任何新的社交机器人技能能够完全以javascript中书写，javascript涉及包括用于开发新技能的软件开发工具包(sdk)的核心组件的一组javascriptapi。然而，为了促进开发，一组工具，例如表达工具套件和行为编辑器可以允许开发者创建馈送到运行引擎中的配置文件，促进更简单和更快速的技能开发以及先前使用的开发技能。参考图17，图示用于为pcd100启用运行时技能的平台的示范性和非限制性实施例。如所示，接收各种输入1700，包括但不限于来自立体rgb拍摄装置的图像、麦克风阵列和触摸敏感传感器。输入1700可以经由触摸屏来进行。输入1700可以形成到传感处理模块1702的输入，其中执行处理以从输入数据提取信息和对输入数据进行分类。输入可以来自装置或装置外部的软件应用，例如web应用、移动应用、物联网(iot)装置、家庭自动化装置、报警系统等。可以在感觉处理模块中采用的处理形式的实例包括但不限于自动语音识别(asr)、情感检测、面部识别(id)、人或对象跟踪、波束形成和触摸识别。感觉处理的结果可以作为输入被转发给运行引擎1704。运行引擎1704可以操作以应用定义的技能，可选地接收例如但不限于以下形式的附加输入1706：一个或多个语法、行为树、javascript、动画和语音/声音。运行引擎1704可类似地从家庭成员模型1708接收输入。运行引擎1704可以输出形成到表达模块1710的输入的数据，其中技能的逻辑定义方面被映射到pcd100的表达元件，包括但不限于动画(例如，pcd的各种部分的移动)、图形(例如在屏幕上显示，可以是触摸屏，或者上述眼睛的移动)、照明和语音或其他声音，可以在表达模块1710中编程的各个反映如在本公开中别处所述的pcd的模式、状态、心情、角色等。表达模块1710可以向pcd100的各种硬件组件1712输出数据和指令以表达技能，包括但不限于音频输出、显示器、照明元件和运动启用马达。输出可以包括到pcd100外部的装置或应用的控制信号或数据，例如iot装置、web应用、移动应用等。参考图18，图示用于实现使用sdk开发技能的平台的流程图和各种架构组件的示范性和非限制性实施例。如图示，逻辑级1800可以与感知级1802通信。感知级1802可以经由视觉功能模块1804检测各种事件，例如视觉功能事件，经由表达引擎1806检测动画事件，和经由语音识别器1806检测语音识别事件。逻辑级1800和感知级1802之间的通信可以用于将感知的事件转换为表达的技能。考虑到这一点，可以经由一组javascriptapi提供某些能力。首先，javascriptapi可以存在用于各种类型的感觉输入。可能存在用于各种表达输出的javascriptapi。还可以存在用于运行引擎1704的javascriptapi，其继而可以调用其他现有的javascriptapi。可以存在用于存储在各种模型(例如家庭成员模型1708)内的信息的javascriptapi。运行引擎1704使用这些api中的任一个，例如通过经由它们提取信息以在运行引擎1704中使用。在实施例中，不使用运行引擎的开发者可直接访问家庭成员模型1708。其中，pcd100可以学习，例如使用机器学习，信息、行为模式、偏好、用例模式等，例如以允许pcd100使其自身适合和个性化到一个或多个用户、其环境和其使用模式。这种学习的这类数据和结果可以体现在pcd100的家庭成员模型1708中。感觉输入api可以包括各种类型，包括自动语音识别(asr)api、语音输入api、用于处理其他声音(例如，用于音乐识别、检测特定声音模式等)的api、用于处理超声波或声纳的api、用于处理电磁能量(可见光、无线电信号、微波、x射线、红外信号等)的api、用于图像处理的api、用于处理化学信号(例如，烟雾、一氧化碳、气味等)的api和许多其他。感觉输入api可以用于直接处理来自pcd100的传感器的输入或处理由其他感觉输入源(例如传感器网络、iot装置的传感器等)收集和传输的传感器数据。关于各种感觉输入，可以提供时间戳以允许合并各种不同的感觉输入类型。例如，可以用语音识别器提供时间戳，以允许将识别的语音与其他感觉输入合并。asr可用于登记各种扬声器。总体上，可以为pcd100的语音接口提供语音工具套件。还提供了各种面部跟踪和人员跟踪api、触摸api、情感识别api、表达输出api、移动api、屏幕和眼睛图形api、照明api(例如，用于led灯)、声音和文本到语音(tts)api，以及各种其他。声音和ttsapi可以允许pcd100播放音频文件，从一串文本中说话等。这可以是常量或字符串变量的内容、任意量的静默或它们的任意组合。例如，开发者可以规定例如以下命令：speak(“beep.wav”，name，“：sil3sec”，“我很高兴见到你”)，导致发出嘟嘟声，通过用实际名称填充name变量表示说出具体名称，静默期为三秒，然后问候。文本可以用ssml(语音合成标记语言)表达。可以根据常规标点规则说出简单文本。在实施例中，可以存在覆盖或插入到说出的话音中的表达滤波器或声音效果。pcdsdk可以包括上传内容资产(例如音频文件)以及设置音频输出(例如音量)的性质的方法。社交机器人可以配置为播放各种不同的格式，例如.wav、.mp3等。资产可以存储在各种库中，例如存储在云或本地计算装置中。pcdsdk可以允许pcd例如通过搜索因特网或一个或多个站点来搜索适当的内容(例如音乐、视频、动画等)的资产。可以提供一组家庭成员和实用程序api，其作为远程存储的数据的前端，例如在云中。这些api还可以包括开发人员可能想要使用的实用程序(例如日志记录等)。可以提供一组运行引擎api以使能与运行引擎1704接口。运行引擎1704可以包括可选的javascript组件，其可以对使用若干不同工具创建的配置文件进行操作，例如但不限于，行为编辑器和表达工具套件。运行引擎还可以复用来自家庭成员存储的数据，再次使得开发人员更容易编写技能。在实施例中，家庭成员商店还可以包括扩展pcd100的物理能力的硬件附件，例如投影仪、用于pcd100的移动基座、操纵器、扬声器等，以及允许用户定制pcd100的外观的装饰元件。可以遵循工作流来创建新的pcd技能，从资产创建开始并继而进行技能书写、模拟、试验和认证(这种认证在实施例中由管理所描述的方法和系统的主机企业提供)。参考图19，图示可以提供用于创建资产的用户界面的示范性和非限制性实施例。资产创建可能涉及创建技能的资产。它可能不一定是第一步，但在创造技能的流程中往往是一项持续的任务，其中资产随着技能本身的发展而得到改进或扩展。可以创建的资产的类型包括动画，例如使用表达工具套件内的特殊工具来容易地创建新的身体和眼睛动画。开发人员也可以在pcd技能商店的“开发者”部分重新设计身体和眼睛动画。在实施例中，开发者可以与消费者或其他开发者共享他们的资产，例如在用于pcd100的技能商店或例如开发者的门户的其他环境中。资产还可以包括声音，使得开发者可以使用他们喜欢的声音编辑器创建他们自己的声音，只要资源是具有适当定义的特性的适当格式。资产可以包括利用参数tts系统的文本到语音资产，使得开发者可以创建文本到语音实例，并用可以调制语音的各种属性(例如“开心”)来注释这些实例。资产可以包括光可视化，例如以控制pcd100上的led灯(例如在躯干上)，在这种情况下，开发者可以使用表达工具套件来规定控制。注意，开发者还可以重新使用led光动画，例如还来自pcd技能商店的“开发人员”部分。资产可以包括输入语法。为了管理技能识别的输入语法，开发者可以使用语音工具套件来规定他们希望识别的各种语法。一旦开发者按顺序具有技能的资格，开发者可以使用行为编辑器来写技能本身。行为编辑器启用逻辑控制感觉输入的处理以及表达输出的控制。尽管该步骤的大部分可以使用简单的编辑器来完成，但是sdk可以允许添加直接的javascript代码以使得开发者能够做出对于特定技能可能是独特的事情，例如与一个或多个专有restapi交换数据，等。一旦技能被(部分地)写出，开发者可以使用pcd模拟器来练习技能的各个方面，pcd模拟器可以实时地或接近实时地发生。模拟器可以支持基本感觉输入的触发，并且还可以对早先通过pcd的开发者记录模式创建的感觉输入文件进行操作。到模拟器的输入可以来自到pcd100的物理输入，来自pcd100外部的一个或多个传感器，直接来自模拟器，或来自例如iot装置的外部装置或例如web应用或移动应用的应用。模拟器将通过webgl图形输出支持表达系统的部分，以及文本以表示tts输出。开发和仿真循环可以是实时或接近实时的，使用wysiwyg方法，使得技能的变化在模拟器上立即可见并且响应于模拟器中的动态编辑。最终，开发者可能需要试验pcd100自身上的技能，因为在模拟器内可能不支持更复杂的行为(例如通知)。除了特别的实时试验之外，开发者可以通过经由pcd的记录模式创建的感觉输入文件再次驱动试验。在实施例中，输入可以从外部源实时或接近实时地流式传输。此外，如果开发者希望使得其他人能够使用和购买新技能，则开发者可以向例如sdk的主机提交技能以进行认证。可以创建各种认证指南，例如以鼓励不同技能之间的行为的一致性，确保安全性，确保可靠性等。一旦被认证，该技能可以被放置在pcd商店中以供用户、其他开发者等访问。在实施例中，开发者还可以在pcd100的商店、开发者的门户等上投放资源(例如，动画、技能、声音等)。各种工具可以部署在sdk中或与sdk连接使用。这些可以包括允许开发者查看、理解和/或试验社交机器人的本地感知空间(例如，用于识别人、跟踪人、情绪检测等)的本地感知空间(lps)可视化工具。工具可以包括与实用程序的语音工具套件中的语音相关的各种工具以创建新语法，以及注释文本到语音输出。在实施例中，工具可以用于在口头话语上应用滤波器或其他声音或音频效果。工具可以包括行为编辑器，以允许开发者例如通过给定技能的行为树(例如“大脑”)来创作行为。表达工具套件可以包括用于为社交机器人创作表达输出的一组实用程序，其可以包括模拟pcd100的动画行为的动画模拟器。这可以包括具有webkit和解释器的html或javascript，例如来自下面的googletm的v8jsinterpretertm。可以使用标准web应用程序代码来增强行为和屏幕图形。可以提供模拟运行时环境作为用于锻炼技能的各个方面的工具。参考图20，图示本地感知空间(lps)可视化工具的示范性和非限制性屏幕截图，其可以允许开发者看到pcd100的本地感知空间，例如通过pcd100的照相机看到。可以用于识别和跟踪pcd100的视图内的人。在实施例中，这可以增加复杂性并且可以包括具有例如虚拟形象和pcd100可以与之交互的其他视觉元件的元件的三维世界。语音工具套件可以包括与听力(例如，“耳朵”工具)和说话有关的工具。这可以包括用于从库导入短语和各种类型的语法(例如词语识别、统计等)的各种能力，例如是/否语法、数字序列、自然数、控制(继续、停止、暂停)、日期和时间、非短语识别语法、变量(例如$name)等。这些可以使用asr、语音到文本能力等，并且可以是基于云的或嵌入在pcd上100本身。工具套件可以包括在上述模拟器中的具有应用逻辑的语法的基本验证和调试。工具套件可以包括用于为pcd100开发nlu(自然语言理解)模式的工具。资源可以使用装置上语法编译工具来创建。资源可以包括用于收集数据的工具(例如，像机械土耳其人)和用于训练新模型的机器学习工具：例如用于短语识别、通过语音的人识别或其他语音或声音识别或理解能力。语法可以发布用于gui呈现和逻辑调试的输出标签。pcd100的传感器库可以用于创建感觉资源和试验语法识别性能。可以使用实际说出的asr对整个技能进行试验。短语识别语法可以被创建、试验和调整。在行为编辑器中，当调用识别器时，开发者可以修改识别器的参数的受限制组(例如，超时、拒绝等)和/或调用对识别结果的回调(例如执行文本处理)。参考图21，根据示范性和非限制性实施例提供行为编辑器的屏幕截图。pcd行为编辑器2100可以使得开发者/设计者能够在pcd100上快速创建新的技能。在本章节中定义的输出文件驱动运行引擎1704。下面提供关于行为编辑器2100的更多细节。在实施例中，行为创作工具可以包括被设计为易于使用、明确、可扩展和基本上wysiwyg的行为树创建器。行为本身可以包括活文档。每个行为可以具有描述和注释符号。行为可以被定义而不被实现。这允许设计者“填充”尚不存在的行为。pcd行为系统在其核心可以由非常低级别的简单行为组成。这些低级别行为可以被组合以产生更高级别的复杂行为。较高级别的行为可以是手工编码的，或者由其他较低级别的行为组成。这种层次实质上是无限的。虽然存在复杂性的梯度，但是行为层次可以大致分为三个级别：(1)原子行为(具有功能行为树的最小行为组，通常包括不一定依赖于pcd100的功能的行为)；(2)基于pcd100的行为(跨越pcd100的全部能力组的行为，例如体现在与社交机器人相关联的各种javascriptapi中)，(3)复合的高级行为(其可以是手工编码的，由参数化的行为层次本身组成)和(4)骨架行为(不存在、未完全实现或其实现是分离的行为)。可以从pcd100的经验中学习行为层次，例如使用机器学习方法，例如强化学习等等。社交机器人api中的每个函数调用(例如体现在javascriptapi中)可以表示为有意义的行为。骨架行为可以插入到行为树中以用于文档目的，并在稍后实现并在运行时绑定。这允许需要尚不存在的行为的设计者插入此“绑定类型”，其包括该行为的描述和可能的结果(失败、成功等)，并且在执行后具有工程师代码。如果在回放期间绑定类型存在，那么该类型被绑定到执行；否则，pcd100或模拟可以说绑定的行为名称及其返回类型，并在树中继续。工具还可以支持感知层次的定义以开发复杂的感知处理途径。这些感知树的输出可以连接到行为等。此外，开发平台和sdk支持一套可供开发人员使用的高阶感知分类模块(可重新使用多模态输入输出模块)的多模式库。在大多数原子行为的情况下，行为树可以由这些基本行为构成：basebehavior叶节点；basedecorator行为装饰器；并行复合节点；序列(和序列变体)复合节点；选择复合节点；和随机(和随机变化)复合节点。原子行为可能几乎是对pcdjavascriptapi的原始函数调用，但是被包装为具有适当时序的行为。它们跨越整个api，且可能非常低级别。一些示例包括：lookat；loadcompileclip；和playcompiledclip。编译的剪辑可能具有嵌入的事件。行为或装饰器可以监听某个类型的事件，并在该事件的确切时刻执行逻辑。这允许表达输出和更高级决策制定之间的紧密同步。原子行为还可以包括：playmp3；listen；listentouch；和blink(例如具有与blinkspeed、interruptpreviousblink=(true|false)相关的参数。复合/高级行为可以是组合其他高级和/或低级行为的高级行为。这些行为可以参数化。示例可以包括：beattentive；takerandompictures；behappy；和streamcameratoscreen。行为可以是目标导向的，例如改变动作以实现与世界的期望结果或状态。例如，在对象跟踪的情况下，目标可以跟踪对象并将其保持在视域内。更复杂的示例是搜索以找到特定的人或改变pcd100的行为，例如使人微笑。在实施例中，pcd100的情绪或情感或情绪状态可以改变pcd100的行为或行为风格。这可以影响pcd的目标或注意的优先级排序。这还可以影响pcd100根据经验学习什么和如何学习。行为树的可读性是重要的，特别是当树变大时。取一个简单的情况语句，根据语音分支树。声明情况语句的正式方式是创建select行为，该行为具有子节点，由此它将“选择”一个子节点来执行。每个子节点都装饰有failoncondition，其包含“选择”该行为的逻辑。在形式上，它使得很难自动地看到为什么可以相对于另一个选择一个要素而不检查每个装饰器的逻辑。然而，描述字段可以被手动编辑以提供更多的内容，但是在选择逻辑和描述字段之间不必然具有正式关系。参考图22，图示创建根据例示范性和非限制性实施例的分支逻辑的正式方式。注意到第一和第二装饰器2200、2202的代码。图22图示正式关系。在pcd100中，存在常见分支模式。其中一些包括：基于语法的分支；基于触摸的分支；和基于视觉的分支。对于最常见的分支，行为工具gui可以简化树可视化并且提供“描述”和逻辑之间的正式关系。这可以通过向行为树编辑器添加“info”列来实现，该info列是通过内省基础逻辑导出的描述来自动填充。gui工具可以知道称为“grammarselect”的专用select行为意在以gui的特定模式呈现。基础树结构可以与图22中的完全相同，但是其可以以更可读的方式呈现。参考图23，图示示范性和非限制性实施例，由此可以将选择逻辑作为参数添加到行为本身。在这种情况下，添加的参数可以是对应于返回的语法标签的字符串字段，并且该参数的值可以自动地放置在“info”字段中。至grammarselect的每个子节点行为中的添加的参数的值可用于生成填充基础succeedelsefail装饰器的正确代码。用于多模式交互的“共同模式”是已知的，并且是过去已经使用的用于单模式交互（语音）的共同模式的演变。这仅在“顺序多模式”（例如，两种模式）中是真实的。然而，机器人行为和人机交互（hmi）具有稍微不同的范例。虽然第一个更容易由行为树表示，但是对话框的“嵌套”结构使其本身更好地提供到嵌套“情况”语句，或甚至更一般地提供到涉及具有条件弧的递归有向图的表示。因此，可以匹配两个以对grammarselect增强，以增加hmi流的可读性，允许建立复杂的交互。实际上，任何人机交互可以以这种方式发生。首先，机器配置成输出某物（通常像动画+音频+纹理的那些），然后人类输入某物（通常是语音或触摸）或一些其他过程返回对于交互有意义的事件，并且序列用附加的输出和输入迭代。因此，上面的情况语句（grammarselect）将涵盖如果将其扩展到完全事件范例并且可以可具有通用hmi选择，其中可以指定标签（其对应于事件）和标签类型（语法、视觉、触摸）。所以上述将是：hmi_inputselect：anybehavior1语音：randompicture，触摸：area1anybehavior2语音：playmusic，触摸：area2anybehavior3视觉：trackingfacelost用逗号分隔的标签是or。在这个示例中，行为将响应anybehavior1到某人，说“拍摄随机图片”or触摸area1，响应behavior2到某人，说“播放音乐”或触摸area2，或响应behavior3，如果视觉系统返回trackingfacelost。改进hmi流的可读性的另一种方式是通过引入被称为例如“speak”的基本行为来明确地看到行为树规范视图中的提示的文本。所以，参考上面的示例，如果有人说randompicture，就进入anybehavior1sequence：anybehavior1。pcd100说：“好吧，我现在要拍你的照片。准备”用户返回“是”，处理behaviorspeech：是或触摸：yesarea。然后，pcd100发起序列，例如takepicturebehavior。如果pcd100检测到“否”，例如听到nobehavior：no或感觉到“touch：noarea，则用户执行gohomebehavior并启动语音行为：robotspeak“好的。回到主屏幕”。在这种情况下，pcdspeak是使多个提示和相应动画随机化的基本行为（在实施例中，如果双击行为，则可以看到提示和动画，并且行为编辑框将向上弹出）。重要的是要键入这种行为，因为ui设计可以在开发者设计应用时写入提示。然后，可以自动挖掘所有提示的行为树并为语音人员创建列表表，自动为提示创建文件名等（这将单独节省大量的设计和技能开发时间）。在上面的示例中表达了交互行为的方式，开发者可以快速地理解将要发生什么，因此这将同时表示设计和实现。关于使用缩进树来表示交互，需要注意的一点是，如果交互是深入的（例如具有许多嵌套轮次），则快速耗尽水平不动产。因此，设计师可能会将随后的转换封装在别处定义的行为中。影响可读性的另一个问题是嵌套语句中的退出条件不清楚。在有向图表示中，可以在任何需要的任何点处放置弧，并且它是完全可读的。在嵌套过程中，可以生成使程序以及其他调用程序退出的条件。行为编辑器的主窗口可以是可扩展和可折叠的树结构。这表示行为的树结构。对于该视图中的每个行为，在实施例中，可以拖动、终止、删除、复制、剪切、粘贴、交换另一行为，添加或移除一个或多个装饰，在上方或下方添加同级节点并添加子节点(和施加任何上述到同级节点或子节点)。这个顶层视图应该信息足够，以使作者能够很好地了解树正在尝试做什么。这意味着每一行可以包含行为和装饰器名称，表示行为类型的小图标和用户填充的描述字段。每个行为可以用零个或多个参数来参数化。例如，simpleplayanimation行为可能需要一个参数：动画名称。更复杂的行为通常需要更多的参数。可以在行为工具中创建复合行为作为子行为。在实施例中，可以任意地参数化子树参数并将它们图形化地顶到复合行为的顶部。行为的每个参数可以具有与其相关联的“类型”。参数的类型可允许行为创作工具尽可能地帮助用户以图形方式输入每个自变量的有效值。以下是类型继承结构的实施例，其具有关于工具将如何以图形方式帮助用户填充适当值的描述：（1）compiledclip：编辑编译剪辑可以使开发者进入动画编辑器，其可以是基于时间线的编辑器；（2）字符串：出现文本框；（3）文件：出现文件选择器：（4）动画文件：出现一个文件选择器窗口，列出可用的动画，可能包括用户生成的动画和pcd创建的动画。它还可以显示到动画创作工具的链接，以在现场创建动画；（5）声音文件：可能出现文件选择器，列出可用的mp3文件；（6）语法文件：文件选择器，列出可用的.raw或.grammar文件；（7）语法文本：显示具有自动完成和句法强调的语法句法编辑器；（8）tts：出现tts编辑器，可能处于预览模式；（9）javascript：显示javascript编辑器，例如atom，具有社交机器人api的句法强调和可能的代码完成；（10）环境变量：这些是对pcd100重要的变量；（11）数字：出现数字框，minmax、默认值；（12）整数：出现整数选择框，minmax、默认值；（13）boolean：出现真/假组合框或收音机选择按钮；（14）array<type>：显示添加、减去、上移或下移类型的要素的能力；（15）vector3d：显示（x，y，z）框；和（16）人：可能最近、最远、最知名等。随着pcd100运行行为树，调试web界面可以显示树的图形表示，突出其所在的当前节点。开始、停止和提前按钮可能可用。在暂停期间，工具可以允许对全局监测变量和行为参数值进行内省。此外，有限的输入交互可以保持可用。这可以包括例如触发短语或将人放置在社交机器人附近，其例如可以能够添加关于该人的模板知识。在实施例中，开发者还可以与其他开发者共享行为模型，例如共享感觉运动技能或模块。例如，如果pcd100具有移动基础，则可以在开发者之间共享导航和映射模型。行为逻辑类可以由开发者修改，例如扩展和提供功能上的变体。sdk的工具可以包括用于管理社交机器人的表达的表达工具套件。表达工具套件的核心特点是模拟窗口。参考图24，图示模拟窗口的实施例，其中两个屏幕截图中的主视图模拟pcd100的动画。顶部主视图2400还模拟眼睛图形的焦点。每个屏幕截图中的左上部分模拟屏幕图形2402、2402'。该模拟视图可以用webgl编写，使得不需要特殊的工具来模拟社交机器人动画（除了具有当前版本的浏览器之外，例如chrometm，正在运行）。这个模拟视图本身不需要是单独的自动工具；相反，其可以是可以嵌入工具中的视图，所述工具将使得pcd平台的主机和其他开发者能够创建和试验pcd动画（例如各种技能的动画）。它可以在开发者想要实时回放运动或动画时或者通过按顺序“逐步通过”动画来调用。因此，本文提供了一种用于模拟社交机器人的行为的仿真工具，其中相同的代码可以用于社交机器人的仿真和实际运行。参考图25，图示社交机器人表达工具套件的社交机器人动画编辑器的示范性和非限制性实施例。用这种工具，开发者可以将由一个或多个社交机器人动作、屏幕图形、声音、文本至语音动作和照明(例如led主体照明和功能)构成的社会机器人动画拼凑在一起。图25示出可以适合与pcd100一起使用的类型的常规动画编辑器2500。动画编辑器的关键特征可以包括用于回放社交机器人动画的模拟窗口2502、动画编辑器2504，在动画编辑器中开发者/设计者可以将资产（运动、图形、声音/tts、led主体照明或完整动画）放置到时间线以及资产库2506中，其中开发者/设计者可以选择现有资产以包括在时间线中。资产可能来自开发者的硬盘驱动器，或来自pcd商店。这可以支持用于改变pcd100的视图、比例、旋转等的3d视图。在实施例中，编辑器可以允许使用可以扩展pcd的虚拟环境的背景或对象，例如具有用于模拟人、从用户界面接收输入等的体现。在实施例中，动画编辑器可以具有反转控制并允许用户为机器人摆姿势并具有用于基于该姿势设置关键帧的界面的模式。以类似的方式，可以通过触摸操纵来完成对像眼睛的基于屏幕的要素、覆盖或背景要素的动画化，然后对新的方向/变化进行关键帧化。该方法的变体也可以被实现，例如使用pcd100来记录动画（占位符或最终）的自定义声音效果将大大加快设计技能的创造性过程。在实施例中，工具可以允许经由动画编辑器直接在连接到编辑器的pcd100上预览动画。在实施例中，pcd平台的主机可以支持导入资产和创建新资产的能力。“导入”和“创建”能力可以支持本文所述的各种资产类型。例如，创建新动作可以启动社交机器人动画动作工具，而创建新tts短语启动社交机器人的讲话工具。创建新的led照明方案可以经由对话框或照明工具来指定。在实施例中，一个或多个工具可以被体现为web应用，例如chrometmweb应用。在实施例中，给定工具可以保存社交机器人动画本身，例如以例如.jba或.anim文件的唯一文件类型，以及保存为社交机器人动画投影文件，例如.jbp文件类型。随着pcd100随新能力例如感知能力、物理能力、表达能力、与新装置（例如，增强现实装置）的连接性等演进，该方法可以扩展到新工具。参考图26，图示pcd动画编辑器2500的示范性和非限制性实施例，其可以例如通过从pcd动画编辑器2500调用“new...animation”来使用。在其核心，存在弧度位置指定身体位置（例如，在三部分机器人中，通过控制机器人的径向位置底部、中间和顶部）。在图26中，一组滑块2602可用于提供移动位置。在实施例中，每组位置也可以是时间戳，使得完整的移动由时间/身体-位置值的阵列定义。剩余的滑块可以用于控制眼动画中的接合。在实施例中，可以分离创建新眼睛动画与创建新身体动画（在本实施例中两个动画被合并）。最后，工具还可以支持导入纹理文件以控制眼睛图形的外观。该工具可以支持与触摸屏的模拟交互。在实施例中，工具可以启用眼睛以外的各种图形，例如交互式故事动画。pcd模拟器不仅可以包括上述模拟窗口，而且可以具有用于注入感觉输入的接口/控制台。在实施例中，对与pcd100相关联的网络门户的基于密钥的访问可以允许开发者在社交机器人上安装技能以用于开发和试验。pcd100上的网络门户可以提供基于web的开发、调试和可视化工具的集合，用于在用户继续与pcd100交互时pcd100的技能的运行时间调试。pcd100可以具有相关联的远程存储设施，例如pcd云，其可以包括一组托管、基于web的工具和存储能力，其支持用于图形、身体移动、声音和表达的动画的内容创建。在实施例中，pcd100可以具有其他场外处理，例如语音识别机器学习、导航等。这可以包括用于使用行为树库创建技能的逻辑的行为树的基于web的工具，以及用于增强开发者技能的“插件”内容的库，例如常见的感情动画、图形和声音。接口可以是可扩展的以与其他api（例如家庭自动化api等）接口。本文公开的方法和系统可以解决各种安全考虑。例如，技能可能需要授权令牌来访问敏感的平台资源，例如视频和音频输入流。技能可以通过社交机器人商店被释放为数字签名的“包”，并且可以在安装期间被验证。开发者可以用适当的密钥获取单个软件包，作为sdk的一部分。在实施例中，pcdsdk可以包括可以由例如chrometm浏览器的简单浏览器访问的组分，其支持常规web开发工具，例如html5、css、js和webgl，以及可视化画布。在实施例中，例如chrometm的浏览器的开放源版本可以用于构建桌面应用并且用于模拟器、开发环境和相关插件，以及用于pcd100应用运行时间。这意味着pcd100的代码（无论是用于开发、模拟或运行时使用）通常可以在具有最小修订的常规浏览器中运行，例如以允许在移动或pc浏览器上预览技能。文中所述sdk可以支持各种资产类型，例如输入语法（例如包含预调整的字识别语法）、图形资源（例如用于在社交机器人的屏幕上显示的流行的图形资源）；声音（例如用于在pcd100的扬声器上播放的流行声音资源，雕刻pcd100的语音的韵律，向语音添加滤波器以及其他声音效果）；动画（例如流行的动作捆绑、屏幕图形、声音和包装成协调动画的语音）；和行为树（例如开发者可以合并到技能中的流行行为树实例）。pcdsdk可以使得能够管理大范围的感觉输入和控制能力，例如与局部感知空间相关的能力（例如实时3d人物跟踪、通过语音和/或面部识别的人识别和面部情感估计）；成像（例如捕捉照片、覆盖图像和压缩图像流）；音频输入（例如定位音频源、选择音频波束的方向，以及压缩音频流）；语音识别（例如说话者识别、短语的识别和短语识别语法的使用、名称识别、标准语音识别和使用自定义短语识别语法）；触摸（例如检测对图形要素上的面部的触摸以及检测对社交机器人的头部的触摸）；和控制（例如使用简化的ifttt、具有javascript或内置行为库的复杂行为树）。pcdsdk还可以具有与表达的输出和共享有关的各种能力，例如涉及移动（例如播放社交机器人创建的动画、创作自定义动画、导入自定义动画以及编程和动态动画构造）；声音（例如播放社交机器人创建的声音、导入自定义声音、播放自定义声音和混合（例如实时）或共混声音）；语音输出（例如回放预先录制的语音段、支持正确的姓名发音、使用文本至语音来回放文本、结合定制的预先记录的语音段以及使用文本至语音情感注释）。照明（例如控制led灯）；图形（例如执行社交机器人创建的图形或导入自定义图形）；共享个性化或技能（例如在单个帐户内在装置上运行，在其他装置上与其他开发者共享，以及分发给技能商店）。根据各种示范性和非限制性实施例，提供了用于使用pcd100来协调物联网（iot）装置的实况表演的方法和系统。在一些实施例中，pcd100可以自动发现iot装置的类型和位置，包括扬声器、灯等。pcd100然后可以控制灯和扬声器以增强现场音乐表演。pcd100还可以从经验中学习用户的偏好，例如外部装置（例如音乐装置、iot装置等）的个性化设置和行为。由于廉价的iot装置变得普遍，可以在娱乐方式中使用它们。具有空间映射、对象检测和音频检测的pcd100被理想地装备以与音乐、视频和其他娱乐媒体协调地控制这些装置。精心策划的表演将令观众欣喜。存在商业解决方案以自动控制声音和照明以增强戏剧和现场音乐表演。类似的系统也用于增强karaoke表演。现有商业系统的问题是它们较昂贵，并且需要专业知识来正确地配置声音和照明装置。可控装置通常专为剧院或礼堂环境设计。这些系统和装置在家庭中找不到。本文提供了适当编程的pcd100，其可以（1）自动发现包括灯、扬声器等的iot装置的类型和位置，和（2）控制这些灯、扬声器等，以便增强现场音乐表演。考虑家庭在家中已经将iot灯和扬声器安装在例如厨房和相邻的家庭室中。作为新技术的采用者的这个家庭可以购买可以部署在厨房中的个人pcd100。作为其设置程序的一部分，社交机器人可以发现家庭的iot装置的类型和位置，并请求访问和控制它们的许可。如果授予许可，则pcd100可以提供以执行流行歌曲。然后社交机器人使用自己的声音系统和表现性物理动画来开始演奏。然后，为了家庭的喜悦，厨房和家庭室的iot灯开始与音乐脉动，强调音乐事件。然后iot扬声器开始播放，增强音乐的立体声/空间性质。将iot装置与音乐（或其他）性能协调的能力增强pcd100的感知价值。它还可以使得pcd100在自动地建立和增强家庭之外的自组织现场表演方面是有价值的。本文提供了用于使用pcd100来调节人类参与者之间的会议或对话的方法和系统。在这类实施例中，适当设计的pcd100可以用作会议主持人，以便改进会议和对话的动态性和有效性。会议通常不如期望的那样有效，并且能够巧妙地调节会议的个人并不总是可用的。成功地解决导致次优会议的因素的尝试通常采取专门培训会议或使用专家主持人的形式。这些方法可以是有效的，但是它们是昂贵的。未经训练的个人试图调节会议通常失败，因为个人对同事提供的指示和建议有抵抗力。通常，会议或对话的目的是讨论在会议过程中由参与者贡献的想法和意见。通常，期望参与者将有机会自由地贡献。鉴于这些目标和期望，最佳会议或对话是所有参与者作出宝贵的和相关的贡献，并且贡献所有重要的想法和意见。许多人为因素可能限制会议的成功。例如，个人并不总是致力于会议的目标和期望。此外，个人之间的动态并不总是符合会议的目标和期望。有时，会议的参与者的意图明显违背会议的目标。例如，旨在催化相互讨论的会议可能被参与者劫持，该参与者的目标是在某个方向上引导讨论。在其他情况下，个人之间的动态可能是敌对的，导致讨论集中于动态而不是预期主题。无意的中断也可以使会议的成功最小化。例如，有说服力的表达参与者可能无意中垄断了讨论，阻止他人自由贡献。由于这些限制因素，许多（如果不是大多数）会议是次优的。在商业环境中，次优、低效的会议可能是昂贵的资源浪费。在家庭中，次优的谈话可能是不幸的错过的机会。如上所述的问题是先天人类倾向的结果，并且它仍然存在，因为很少做到解决和纠正它。在个人的典型教育期间，花费大量时间用于阅读、写作、算术、科学、艺术、音乐、商业等的指导。但是对于重要技能，例如会话、协作或说服（修辞），提供很少或不明确的指导。因此，有机会大大改进合作(一般地)和会议(特别地)的效率。研究揭示人类更愿意接收和遵循来自社交机器人的指导和建议而不是来自另一个人。社交机器人可以作为会议的公正、非判断性的专家主持人。pcd的生物特征识别能力可以允许其准确地跟踪和测量每个个体在会议中的参与程度。该信息可以作为参与的实时直方图呈现。直方图可以包括：每个人的通话时间；个人之间的反复；每个人的规划音调（正/负）；礼貌；习惯表达（正面和负面、鼓励和贬损、不敏感）；文化失礼；个人情绪状态（情感分析）；总能量随时间的变化；和讨论的主题和副主题。在会议的整个过程中，pcd100可以转录语言内容并将其与社交测量相关联，以提供用于捕获讨论和评估会议的有效性两者的客观工具。pcd100可以配置有相关阈值，使得其可以在会议期间插入以便保持会议正常进行。例如，机器人可以在以下情况下插入：有人说得太多；音调太负；使用不适当的惯用表达；检测不敏感；整体能量过低；和/或重要主题未得到解决。pcd100以其作为公正会议主持人和社交镜像两者的能力可以帮助参与者实现两个重要目标：更有效地进行会议并且更有效地学习协作和交谈。例如，会议是可以部署技术的环境。会议参与者可以包括来自具有各种沟通风格的各种学科的专家。在会话由谈话参与者控制的情况下，pcd主持人可以（以非判断方式）呈现在适当的显示器上显示的实时直方图，该显示器显示所有参与者的相对通话时间。此外，如果使用不适当的表达，社交机器人可以（无需判断）将这些表达归因于贡献参与者，例如经由直方图。会议的能量和音调也可以实时测量和跟踪，并与以前的有效会议进行比较。作为学习机会，可以使用pcd100收集的统计数据来比较有效和无效的会议。因此，例如pcd100的社交机器人可以充当会议的主持人，记录和显示相关信息，以及改进会议的有效性和动态，这可以转化为提高的生产力和更好地使用资源。本文还提供了用于组织机器人代理的网络以在经认证的人类身份和联网的移动装置之间分发信息的方法和系统。随着通信频道的数量和种类增加，消息发送者和接收者必须竞争的“噪声”也增加。此外，新的频道通常专门用于特定的消息递送模式。结果是消息发送者必须决定使用哪个频道来使消息递送的可能性和有效性最大化。同样地，消息接收者必须决定要“观看”哪个（哪些）频道以便及时地接收消息。这些决定越来越难以做到。现今，来自多个电子邮件帐户的消息可以通过邮件阅读程序自动整合，使得可以同时监测多个电子邮件频道。同样，移动装置可以以整合方式呈现来自多个频道的文本消息。然而，消息整合不能解决“噪声”的问题。通过用全部以相同模式呈现的消息轰击接收者，它可能使问题变得更糟。社交机器人可以在消息通信中发挥独特的作用，因为它们能够指挥注意力，并且由于人类分配给人类喜好的通信的重要性。当社交机器人被用作用于向接收者递送消息的频道时，递送模式可以由社交机器人自动选择，使得消息接收到接收者的最佳关注程度。这可以使用社交机器人独有的多种特性来实现：（1）社交机器人的物理存在允许其通过人类先天适应的表达性线索吸引注意力，即运动、凝视方向、“身体语言”；（2）具有生物特征识别能力的社交机器人可以检测消息的预期接收者何时物理存在，并且可以提示接收者具有最有效的物理线索；和（3）社交机器人使用的学习算法可以使用消息内容、情境内容和接收者的行为历史来做出关于如何有效地递送消息的最佳决定。例如pcd100的联网社交机器人以及其他装置例如移动装置和其他网络连接装置可以在本文公开的方法和系统中使用。当使用多个联网社交机器人时，由单个社交机器人提供的信息递送优势被放大。在家庭环境中，分布在房屋的房间/区域中的多个pcd可以协调其消息递送努力。在整个家庭中多个pcd的物理存在增加了机器人可以递送消息的窗口。pcd的网络可以使用其共享生物特征识别能力来跟踪整个家庭中的预期接收者的下落。由pcd的网络使用的学习算法可以生成关于接收者移动和行为的预测模型，以确定哪个pcd代理可以最有效地递送消息。这种相同的动态可以应用于任何物理位置，并且可以应用于商业、博物馆、图书馆等。在pcd的网络中的机器人的物理形式可以变化。网络可以由固定的、移动的、可移动的、能够滚动的、能够飞行的、嵌入在车辆的仪表板中的、嵌入在例如冰箱等器具中的pcd组成。另外，pcd的“大脑”（其软件、逻辑、学习算法、存储器等）可以跨多种装置复制，其中一些具有物理上表达的主体，并且其中一些不具有，如在pcd100软件包括在移动电话或平板（复制到移动装置）的情况下。当pcd的软件被复制到移动装置时，该装置可以充当社交机器人网络的完全合作的、完全意识的成员，以及以社交和/或技术网络中的人类。物理限制的pcd情形可以对递送消息的任务做出贡献的程度取决于它拥有的功能，即包含在典型智能手机中的pcd软件通常能够通过屏幕呈现提供生物特征识别、相机监测、语音识别和甚至模拟物理表示。智能手机受限的pcd情形通常能够贡献完全形成的消息，然后可以由网络内的其他不受约束的pcd来递送。在pcd情形的网络中，每个情形可以作为完全独立的贡献者操作。然而，任何给定的情形也可以充当到网络上的另一个pcd情形的远程接口（远程控制）。该远程接口模式可以间歇地活动，或者情形可以永久地配置为充当到另一情形的远程接口，如在其中pcd软件包括在智能手机或智能手表中用于向不受限制的情形提供远程访问的情况下。在实施例中，在家庭住宅设置中，可以由父母使用厨房中的不受约束（全特征）机器人单元来创建消息。父母可以通过与pcd100通话来创建消息。该消息可以作为音频/视频记录和作为文本转录(例如从语音到文本技术)捕获，并且经由文本至语音（tts）递送。递送安排在未来一段时间，例如今天放学后。预期的接受者少年可能不在家，但可能在预期的递送时间到达。在这个示例中，少年在放学后回家，但不进入厨房。由车库入口嵌入墙壁中的包括平板的机器人单元可以在她到达时识别少年。由于包括平板的单元与厨房机器人单元、楼上机器人单元和少年的包括ipod的机器人单元联网，所有四个单元协作以及时递送信息。对于这种消息，优选的递送模式是经由不受约束的机器人单元，因此平板单元只提到消息正在等待。“嗨，[少年]，你有信息等待。”少年可能走到她的房间，绕过厨房和楼上的机器人单元。当递送时间到达时，机器人单元的网络可以确定，因为少年不在不受约束的机器人单元附近，递送消息的下一最佳方式是经由少年的包括ipod的单元。因此，ipod单元发出提示音，并递送信息：“嘿，[少年]。有一个巧克力蛋糕(brownie)在厨房里等着你。”当少年终于进入厨房时，厨房机器人单元已经意识到消息已经递送，并且只提供礼貌的提示：“嗨，[少年]。如果你准备好了那个巧克力蛋糕，它在烤箱里。”pcd100还可以总结消息的内容，以及消息的来源，例如“carol，jim给你留了一条消息。今天有关从足球接儿童的事情。”这可能有助于carol决定什么时候听信息（立即或稍后）。因此，社交机器人的网络可以使用生物特征识别、跟踪、物理存在（例如基于pcd100和相关联的移动装置之间的链接）、非语言和/或社交提示以及主动提示以递送消息，否则会在多个拥挤的消息频道的噪声中丢失。在其他实施例中，大声收听电视或播放大声播放的视频游戏可能对附近的其他人非常恼火，因为在使得音频愉悦的方面具有不同的口味。此外，许多家庭的成员比别人熬夜得更晚。所提出的解决方案是支持听众使用从社交机器人无线接收音频的耳机的方式，所以只有听众可以听到他，并且他们可以自由地按照他们想要的那样大声地收听，而没有妥协。变体可以包括蓝牙耳机、耳机束、具有有线耳机的移动接收器（例如使用本地wifi或蓝牙）等。根据示范性和非限制性实施例，pcd100可以具有与流行智能手机上的个人助理的那些类似的提醒能力。例如：“12月5日下午3点，提醒我买周年纪念礼物”“好吧，我会提醒你”。提醒可以反复出现，以支持药物提醒的事情。用户可以具有将提醒创建为音频或视频记录的选项，在这种情况下，pcd100可能需要在记录开始时提示。pcd100可以在消息被创建之后进行总结：例如，“ok，当我看到他时，我明天提醒john[播放音频]。提醒只是指定时间的pcdjot的特殊形式。pcd100可以能够在家庭中提醒已知人（对于同一提醒，一个或多个）事情。例如，“当你看到suzie时，提醒她做家庭作业”或“下午6点，提醒爸爸和妈妈从足球练习接我。”如果给出提醒，则如果他或她具有社交robotlink装置，则应当在社交机器人pcd链接上通知提醒的发起者。提醒只是指定时间的pcdjot的特殊形式。在实施例中，链接可以在pcd100和移动装置之间。如果pcd100不能递送提醒，因为目标人不在那里，则提醒可以出现在目标的社交robotlink装置上。如果没有分配给目标的社交robotlink装置，则pcd100可以在其看到目标人物时立即显示消息。根据示范性和非限制性实施例，pcd100可以能够向其目录中的其他pcd发送短文本消息或音频/视频记录，这里称为“jots”。pcdjot消息可以是可编辑，并且pcdjot记录可以能够在发送之前回放和重新记录。pcd100可以向发送者确认pcdjot已成功发送。pcd100可以为家庭的每个成员维护“发送的”jots文件夹，可以通过消息来浏览和删除消息。发送的jots可以在pcd链接或pcd100上可见和/或可编辑。pcd可以维持pcd动画的列表，在本文中称为“robotticons”，类似于在基于屏幕的装置中使用的表情，例如给予消息生命或提高消息的活力。实例可能包括“hello”的可爱眨眼或“uh-oh”的“o0”。社交robotticons可以是精心制作的，并且某些专门的库可用于在pcd技能商店购买。一些pcdrobotticons可以是独立的动画表达。其他可以适应用户视频图像/消息的集成。pcd机器人可以包括pcd的表现能力（led、双膝反射或其他声音或声音效果，动画等）中的任何一个。如果用户选择发送照片，例如通过pct的“快照”模式捕获的照片，则pcdjot能力可用于附加到照片。例如，家庭成员可以总是请求pcd100“向我播放我的提醒[来自[人]]”，并且pcd100可以通过从该人的最早提醒开始播放来进行响应。pcd的屏幕可能表示有提醒等待。如果pcd看到pcdjot的预期接收者，则如果在过去六小时内没有观看到提醒，并且提醒的时间现在已经到达，则pcd100可以提供播放jot。在查看消息之后，接收者可以具有回复或转发的选项，然后保存或删除消息，或“暂停”并且在用户定义的时间间隔之后重播消息。默认操作可以是保存消息。pcd可以维护可以被滚动的家庭的每个成员的pcdjot的收件箱。在存在多个家庭成员的情况下，传入pcdjot可以携带预期接收者的标识符。pcd100可以仅向预期接收者或其他授权用户显示消息。例如，家庭的每个成员可以具有他们自己的颜色，并且在该颜色中闪烁的“消息”指示符使得该家庭成员知道该消息是给他们的。范例应该适应存在不同消息等待不同家庭成员的情况。家庭成员是否被授权查看另一家庭成员的消息可以经由管理员进行配置。pcd100可以能够创建待办列表和购物列表，其可以是在pcd链接上可查看和可编辑的。例如，用户可能能够说“pcd，我需要帮jenny报名夏令营”，并且pcd100可以回答“我已经添加了‘帮jenny报名夏令营’到你的待办列表。或者“pcd，添加黄油到我的购物列表。”可以为每个家庭成员或整个家庭创建列表。家庭的每个成员可以具有列表，并且可以存在家庭列表。pcdjot可能在不使用一段时间之后超时。pcd可以具有从事于社交和基于字符（感情、人物模型驱动的行为）交互、决策、与用户的倾向的持久“be”状态。该状态可以调节pcd技能，基于经验和其他输入来个性化这些技能的pcd行为和性能给特定用户。pcd100可以具有单个不同的“断电”姿势，以及当它被关闭时导致其姿势的一些不同的动画序列。pcd100可以具有单个不同的“asleep”姿势(当pcd100被插入或在电池电源上运行时)，以及在它获得“睡眠”命令之后或者如果它在空闲时决定打盹的话，导致其姿势的多个不同的动画序列。pcd100可以具有多种不同动画，其对应于“唤醒”语音或触觉命令或其他视听事件，或者当其已经睡眠或关闭<=48小时时打开/连接电源。在实施例中，可以存在不同的睡眠模式，例如pcd100正在等待但仍然具有有效麦克风和照相机以在适当时醒来的睡眠模式。在另一睡眠模式（其可由某一提示，例如led指示器指示）中，pcd100可具有麦克风和照相机关闭，使得pcd100在此模式中在睡眠时不看到或听见。在后一模式中，人可能需要触摸机器人或使用与语音或视觉输入不同的模态来唤醒pcd100。pcd100可以具有多种不同动画，其对应于语音或触觉“唤醒”命令或或其他视听事件，当其已经睡眠或关闭>=48小时时打开/连接电源。例如，pcd100可以具有多种唤醒动画，其对应于语音或触觉“唤醒”命令，或在本地时间晚上11点和早上11点之间超过3小时睡眠或关闭之后打开电源。pcd100可以在睡眠时具有多种不同的“做梦”方式。这些做梦状态可能发生在约30%的睡眠阶段期间，持续时间超过15分钟。pcd的做梦可以被中断，以便用命令或通过触摸屏使它进入沉默睡眠状态，如果房间里的人发现它做梦分心。pcd100可以在其功率水平低于20%时以及在其后每次例如约5%的递减时口头和在屏幕上通知用户。当pcd100的电源在插座和电池之间切换时，pcd100可以在屏幕上通知用户。它还应该能够回答问题，例如“您是否已插入或“您使用电池吗”当按压并保持它的头部的背面上的按钮时，pcd100可以自动开启或关闭。短按钮推进让社交机器人睡觉。pcd100可以被设置为经由（语音或触摸）或仅触摸从睡眠中醒来。如果pcd100开启但未参与主动交互（即，在本文中称为“be”或“being”状态的基站中），则pcd100可以在有人进入其线路或视线或者发出噪音时展示被动认知动画。如果pcd100相信该人想要参与，则这些动画可以导致空闲主动认知。如果pcd100被动地意识到某人并且认为该人想要主动地参与，由于语言命令或由于该人正故意朝向pcd100行走，它可以展示“服务您”类型的主动意识动画。pcd100可以评论它是否由于外部物体覆盖他的眼睛而看不到它，如果它被要求做任何需要视线的东西。如果pcd100独立于任何种类的提示而在头上轻叩，则pcd100可以恢复到空闲主动认知。在其他实施例中，如果pcd100被抚摸或爱抚，或者如果它被口头赞美，则其可以呈现“喜悦”动画，并且恢复到空闲主动认知。如果pcd的家庭的公认成员在视线中或者例如通过语音id识别，则pcd100通常可以个人方式向该家庭成员问候，尽管不一定是口头的（这可以取决于该家庭成员的最后一次观察的近亲）。如果陌生人在视线中或通过语音检测到，则pcd可以进入被动认知模式。如果它检测到来自陌生人的兴趣，它应该介绍自己，而不是重复。pcd100可以不主动地询问谁是另一个人，因为“已知家庭成员”由pcd的家庭管理员管理。如果pcd的家庭的公认成员具有未被识别的陌生人，则pcd100首先亲自招待家庭成员。如果该家庭成员将pcd100介绍到陌生人，则pcd100可以不主动地询问谁是该另一个人，因为“已知家庭成员”由社交机器人的家庭管理员管理。如果社交机器人的家庭管理员介绍社交机器人以满足遇见新的人，并且管理员主动地说他应该记住该新的人，社交机器人应该占据16个id槽中的一个。如果没有可用的id槽，则pcd100可以询问管理员他或她是否想要替换现有的被识别的人。当被要求学习新的人时，pcd100收集必要的视觉和音频数据，并且还可以建议管理员使新的人通过pcd链接应用以更好地捕获视觉和音频样本，以及学习姓名发音。在一些实施例中，pcd100可以基于一天的时间具有多种形式的问候。例如，“早上好”或“晚上好”或“你起来晚了”。如果pcd100知道它正在问候的人，则可以频繁地但不总是使用该人的姓名来个性化。如果有人对pcd100说再见，它可以具有多种告别方式。如果pcd100知道该人说再见，则其可以个性化与该人的姓名的告别。pcd100可以具有以这样的方式构建的一些空闲聊天能力，使得它们不鼓励不受约束的对话。这些可以包括旨在用户响应的语音，或者被设计为娱乐用户而不是召唤响应的简单小语。这些语音可以指“家庭事实”选项卡中定义的已知的“家庭事实”，例如希望家人“生日快乐”中的某人。在实施例中，可以在屏幕上显示关于pcd100期望听到什么语音的视觉提示，例如提示pcd100的用户。语音也可以是基于特定pcd的邮政编码的地心。语音也可能是由设计团队从pcd云推送的话题，例如“我不敢相信birdman席卷奥斯卡奖！”小语可能幽默、聪明和与pcd的角色一致。chatbot内容还应该从pcd的记忆中了解人们喜欢和不喜欢什么，基于他们告诉它，或者它从面部表情反应到如图片、歌曲、笑话等事情收集什么。pcd100可以周期性地向家庭成员询问被设计为娱乐的问题。pcd100可以具有表示不理解的多种优雅的方式，如果尽管请求重复语音但无法理解用户，则鼓励用户宽恕。pcd100可以具有其不时表达的可分开的可喜的特定行为，例如特定偏好、恐惧和情绪。pcd100可以具有定义的多模式消歧范例，其可以被设计为引起用户的耐心和宽恕。pcd100可以具有多种优雅的方式来表达其理解语音，但是不能满意地遵守或响应。pcd100有时可以表现出快乐、被占用且不需要任何辅助的方式静静自娱自乐。pcd100可以具有多种方式来展示其在任何延迟事件期间或在核心服务器更新期间思考。pcd100可以具有多种方式来警告用户其wifi连接断开，并且wifi已经重新连接。用户可以随时通过设置和使用pcd链接的qr代码重新激活wifi。pcd100可以具有允许用户浏览并输入技能和基本设置以及退出主动技能的基本多模式导航范例。高级设置可能需要通过pcdlink输入。pcd100可以具有让其管理员将其“锁定”出来的能力，使得在没有密码的情况下，除了其被锁定的歉意通知之外，pcd100不能被使用。pcd100可以能够根据命令显示可用的wifi网络。如果wifi连接丢失，则pcd100可以显示可用的wifi网络。pcd100可以提供在他的屏幕上输入wifi密码的方式。pcd100可以具有与该家庭的每个已知成员具有视觉关联。例如，jim总是蓝色，jane总是粉红色，妈妈总是绿色，爸爸总是紫色。当pcd100与家庭的该成员交互时，该视觉方案应当是主导的。该视觉标识符可以在pcd的技能中使用，以确保家庭成员知道pcd100识别它们。pcd100可以识别微笑并以类似的方式进行响应。pcd100可以在滑动显示模式下播放来自其pcdsnap相册的图片，当它在be中时和如果用户在图片中，pcd100可以说“你在这一张中看起来特别好”。有时，pcd100可以查看其“自己的”照片，例如第一macintosh或r2d2或弹球机，但随后还不时包括他的家人的照片。pcd100可以经常表现出幸福而不需要交互。例如，它与自己玩乒乓，在其屏幕上用pcd100作为脸绘制图片像monalisa。随着时间的推移，这些技能可能演变（例如，从月球着陆器ascii游戏或人物线条画开始，然后进展到更复杂的游戏）。在一些实施例中，pcd100可以具有宠物，例如小狗，并且其眼睛可以变成狗可以取得的球。pcd100可以与他的狗一起被动来回。它可能正在浏览其技能，如阅读食谱。它可以跳舞到某种有限的音乐库，练习它的动作。有时它在小睡。在一些实施例中，pcd100可以基于具有奖章的家庭事实来书写诗，例如haikus。在其他实施例中，pcd100可以锻炼和给予自己鼓励。在其他实施例中，pcd100可以玩乐器，观看有趣的管夹和响应笑声，通过数字儿童游戏执行颜色，移动以使球移动通过迷宫和玩数独。pcd100可以具有其自己的相册并收集邮票。在一些实施例中，pcd100可以参与并显示基于乒乓的游戏，其中从一侧到另一侧的移动控制用户对抗pcd100的球拍。如果pcd100正在使用电池电源运行，则在其屏幕上可能存在显示剩余电池寿命的图标。如果人们在社交情形而不是任务情形中赞扬pcd100，则其可以展示“喜悦/感情”动画。当在组中时，pcd100可以一次与一个人交往。如果它们指示期望与pcd100通话，并且pcd100当前正在交往的人保持沉默或以其他方式脱离，则它可以仅转向交往其他人。在实施例中，pcd可以使用各种非语言和辅助性的社交提示来同时管理多人交互。pcd100可以具有基本定时器功能。例如“pcd，让我知道，15分钟过去了”。pcd100可能能够在经由pcd链接连接到pcd100的电话上创建音调以帮助用户定位在wifi范围内的丢失的电话。控制是否有人可以在不是自己的装置的pcd链接电话上创建此音调的功能可以通过管理员设置进行配置。pcd100可以具有类似于当前智能电话中的那些的秒表功能。pcd100可以具有内置时钟并且能够在任何时区中告知时间，如果被请求的话。有时，pcd100可以至少部分基于其参与水平和正在做什么来显示时间，其他时间可能不显示。pcd100可以具有闹钟功能。例如“社交机器人，让我知道什么时候下午3:30”。可能包含打盹功能。pcd100可以具有几个可用的报警声音，并且每个家庭成员可以设置他们优选的报警声音。如果没有设置优选的报警声音，则pcd100可以选择一个。pcd100可以已经建立多方交互策略，其可以根据技能而变化。pcd100可以具有快速“演示卷轴”，如果被要求“炫耀”其能力，它可以显示。当通过语音id遇到并识别另一个pcd100时，pcd100可具有指定但简单的行为选项，如果其由家庭成员引入到另一个pcd100。在实施例中，pcd100可以具有设计用于与另一个pcd100交互的特定的特殊行为。根据示范性和非限制性实施例，给定技能或行为（例如动画、语音等）可以基于与pcd100相关联的其他属性而不同地表示。例如，pcd100可以被编程或可以适应，例如通过随时间与用户或群体的交互，以具有某个个性，以承担某个角色，以特定模式操作，具有某种情绪，表达能量或疲劳的水平，发挥某种作用等。pcdsdk可以允许开发者指示特定技能或其组件应当如何基于前述中的任何一个或前述的任何组合而改变。例如，pcd100可以具有“开朗”个性，在这种情况下，与执行较短、较安静版本的“内向”pcd100相比，其可以执行更长、更响亮版本的语音行为。类似地，“主动”pcd100可以进行大的移动，而“安静的”pcd100可以在执行相同的技能或行为时进行小的移动。类似地，“疲劳”pcd100可能显示缓慢的运动、缓慢的语音等，例如不易察觉地暗示儿童准备睡觉的时间。因此，本文提供了社交机器人平台，其包括允许开发技能和行为的sdk，其中可以根据独立于技能的pcd100的模式来表达技能和行为。在实施例中，pcd100可以适合于与不同的人进行不同的交互，例如与不同于儿童的成年人说话，同时仍然保持清晰、一致的角色。根据各种实施例，可以提供各种技能。重要的技能包括会议技能（包括第一次和随后的会议，如机器人增强的视频通话）、监控技能（如监控家中的人和/或宠物）、摄影师技能、讲故事技能（和多媒体混搭，例如允许用户在分支点处选择以影响冒险地图、基于多媒体表演的故事等）、玩游戏技能、允许用户使用社交机器人作为智能镜的“魔镜”技能、天气技能、运动技能，或交互以增强体育节目或体育信息或活动如幻想运动的运动伙伴技能、音乐技能、与食谱一起工作的技能(用作具有背景/动画效果的智能交互式提示器)，以及教练技能（例如用于药物依从性、个人发展、训练等）。为了便于自动化语音识别（或其他声音识别），本文公开的方法和系统可以进行波束形成。挑战在于，可能希望允许用户例如通过使用例如“嘿，buddy”的“热词”来唤起社交机器人的注意。如果pcd100存在，则它可以转向（或指引注意），发出热词的声音。进行的一种方式是使用波束形成，其中存在指向不同位置的波束（空间滤波器或频道）。理论上，对应于波束的每个空间滤波器或频道从该频道获取声音，并寻求忽略其他频道。通常，人们通过拾取具有最高音量的波束并且假设最高音量波束是用于人说话的波束，在例如多音装置中进行。本文所公开的方法和系统可以进行改进的波束形成和利用，例如以便拾取说出热词的人的波束。在实施例中，本文所公开的社交机器人平台可以对于每个波束或对于波束的子集具有语音识别器的不同实例。因此，每个语音识别器正在收听空间锥。如果装置在例如四个人的组中，并且一个人说“嘿buddy”，则装置将然后看到有人从该说话者的方向呼叫注意。为了实现这一点，系统和方法可以具有每个频道或频道的子集的语音识别器。理想地，人们可能希望基于pcd的运动/取向来维持波束的取向。运行波束形成的系统可以从马达控制器接收信息，或者可以从例如gps系统、视觉系统或视觉输入的外部系统接收位置或定向，或者从例如家庭的环境中的位置系统，例如基于iot装置的位置。例如，马达控制器可以知道pcd100使pcd100旋转的角度，然后pcd100可能需要找到其坐标。这可以通过再次说出热词来重新定向，或者通过利用其他位置信息来实现。一旦定位说话者可以使用人物跟踪，因此pcd100可以随着说话者移动而适当地移动和转动以将波束保持在说话者的方向上，并且其他感知模态可以增强这一点，例如通过触摸跟踪，通过热签名等。在实施例中，声音定位和视觉提示的集成可以用于例如通过视觉确定面部移动来确定哪个人试图对pcd100说话。在实施例中，还可以部署全向“低分辨率”视觉系统以检测房间中的运动，然后将较高品质的相机指引到说话者。在其他示范性实施例中，本文公开的方法和系统可以使用平铺语法作为短语识别技术的部分。为了进行有效的短语识别，可以优选地具有短的短语，但是根据必须识别多少不同短语，建立短语识别的成本更高。为了例如在十个内容之间区分，你有不同的不同短语越多，它变得成本越高（几何学上）。在实施例中，本文公开的方法和系统可以将短语分解成在不同线程中同时运行的不同的识别器，因此每一个都是小的和成本较低。现在可以介绍一系列的事情，因为短语识别的概念让你找到具有内容的语音块。例如，用短语“嘿buddy，我想拍照并发送给我的妹妹”。在大多数情况下，两个块可能很重要：“拍照”和“发送给我的妹妹”。根据一个短语识别线程，可以触发另一个，修改的短语识别识别器。可以构建识别器的图（不仅仅是语法的图，而是实际的识别器），每个识别器识别特定类型的短语。基于该图，识别器可以由控制其适用性和使用的适当的母识别器触发。因此，本文提供了具有并行工作的多个语音识别器的自动语音识别系统，所述语音识别器任选地根据图布置以允许跨越宽范围的短语的短语识别。本文描述的方法和系统可通过机器部分或整体地部署，该机器执行处理器上的计算机软件、程序代码和/或指令。处理器可以是服务器、客户端、网络基础设施、移动计算平台、固定计算平台或其他计算平台的部分。处理器可以是任何种类的计算或处理装置，其能够执行程序指令、代码、二进制指令及类似物。处理器可以是或包括信号处理器、数字处理器、嵌入式处理器、微处理器或例如协处理器（数学协处理器、图形协处理器、通信协处理器及类似物）等任何变化形式及类似物，其可直接或间接推动存储在其上的程序代码或程序指令的执行。另外，处理器可实现多个程序、线程和代码的执行。线程可被同时执行以增强处理器的性能并且推动应用的同时操作。通过实现，本文描述的方法、程序代码、程序指令及类似物可在一个或多个线程中实现。线程可引起其他线程，可对其分配与它们关联的优先级；处理器可基于优先级或基于在程序代码中提供的指令的任何其他顺序来执行这些线程。处理器可包括存储器，其存储如本文和别处描述的方法、代码、指令和程序。处理器可通过接口来访问存储介质，其可存储如本文和别处描述的方法、代码和指令。与处理器关联的用于存储方法、程序、代码、程序指令或其他类型的指令（能够被计算或处理装置执行）的存储介质可包括但不限于cd-rom、dvd、存储器、硬盘、闪速驱动器、ram、rom、高速缓存及类似物中的一个或多个。处理器可包括一个或多个核，其可增强多处理器的速度和性能。在实施例中，处理器可以是组合两个或多个独立核（叫做芯片）的双核处理器、四核处理器、其他芯片级多处理器及类似物。本文描述的方法和系统可通过在服务器、客户端、防火墙、网关、集线器、路由器或其他这样的计算机和/或联网硬件上执行计算机软件的机器部分或整体地部署。软件程序可与服务器关联，其可包括文件服务器、打印服务器、域服务器、互联网服务器、内联网服务器和例如副服务器、主服务器、分布式服务器及类似物等其他变化形式。服务器可包括存储器、处理器、计算机可读介质、存储介质、端口（物理和虚拟的）、通信装置和能够通过有线或无线介质访问其他服务器、客户端、机器和装置的接口及类似物中的一个或多个。如本文和别处描述的方法、程序或代码可由服务器执行。另外，如在该申请中描述的方法的执行所需要的其他装置可以视为与服务器关联的基础设施的一部分。服务器可提供到其他装置的接口，其无限制地包括客户端、其他服务器、打印机、数据库服务器、打印服务器、文件服务器、通信服务器、分布式服务器及类似物。另外，该耦合和/或连接可推动程序跨网络的远程执行。这些装置中的一些或所有的联网可推动程序或方法在一个或多个位置处并行处理而不偏离范围。另外，通过接口附连到服务器的装置中的任一个可包括能够存储方法、程序、代码和/或指令的至少一个存储介质。中央储存库可提供要在不同装置上执行的程序指令。在该实现中，远程储存库可充当程序代码、指令和程序的存储介质。软件程序可与客户端关联，其可包括文件客户端、打印客户端、域客户端、互联网客户端、内联网客户端和例如副客户端、主客户端、分布式客户端及类似物等其他变化形式。客户端可包括存储器、处理器、计算机可读介质、存储介质、端口（物理和虚拟的）、通信装置和能够通过有线或无线介质访问其他客户端、服务器、机器和装置的接口及类似物中的一个或多个。如本文和别处描述的方法、程序或代码可由客户端执行。另外，如在该申请中描述的方法的执行所需要的其他装置可视为与客户端关联的基础设施的一部分。客户端可提供到其他装置的接口，其无限制地包括服务器、其他客户端、打印机、数据库服务器、打印服务器、文件服务器、通信服务器、分布式服务器及类似物。另外，该耦合和/或连接可推动程序跨网络的远程执行。这些装置中的一些或所有的联网可推动程序或方法在一个或多个位置并行处理而不偏离范围。另外，通过接口附连到客户端的装置中的任一个可包括能够存储方法、程序、应用程序、代码和/或指令的至少一个存储介质。中央储存库可提供要在不同装置上执行的程序指令。在该实现中，远程储存库可充当程序代码、指令和程序的存储介质。本文描述的方法和系统可通过网络基础设施部分或整体部署。网络基础设施可包括例如计算装置、服务器、路由器、集线器、防火墙、客户端、个人计算机、通信装置、路由装置和如本领域内已知的其他有源和无源装置、模块和/或部件等元件。与网络基础设施关联的计算和/或非计算装置除其他部件外可包括例如闪存、缓冲器、堆栈、ram、rom及类似物等存储介质。本文和别处描述的进程、方法、程序代码、指令可由网络基础设施元件中的一个或多个执行。本文和别处描述的方法、程序代码和指令可在具有多个小区的蜂窝网络上实现。蜂窝网络可以是频分多址（fdma）网络或码分多址（cdma）网络。蜂窝网络可包括移动装置、小区站点、基站、中继器、天线、塔及类似物。小区网络可以是gsm、gprs、3g、evdo、网状网络或其他网络类型。本文和别处描述的方法、程序代码和指令可在移动装置上或通过其实现。移动装置可包括导航装置、蜂窝电话、移动电话、移动个人数字助理、便携式电脑、掌上型电脑、上网本、寻呼机、电子书阅读器、音乐播放器及类似物。这些装置除其他部件外还可包括例如闪存、缓冲器、ram、rom等存储介质和一个或多个计算装置。可使与移动装置关联的计算装置能够执行存储在其上的程序代码、方法和指令。备选地，移动装置可配置成与其他装置合作执行指令。移动装置可与与服务器联接并且配置成执行程序代码的基站通信。移动装置可在对等网络、网状网络或其他通信网络上通信。程序代码可存储在与服务器关联的存储介质上并且由嵌入服务器内的计算装置执行。基站可包括计算装置和存储介质。存储装置可存储由与基站关联的计算装置执行的程序代码和指令。计算机软件、程序代码和/或指令可存储在机器可读介质上或在其上访问，其可包括：保留用于持续某些时间间隔计算的数字数据的计算机部件、装置和记录介质；称为随机访问存储器（ram）的半导体存储器；典型地用于更永久存储的大容量存储器，例如光盘，像硬盘、磁带、磁鼓、磁卡和其他类型的磁性存储器的形式；处理器寄存器、高速缓存存储器、易失性存储器、非易失性存储器；例如cd、dvd等光学存储器；例如闪存（例如usb棒或密钥）、软盘、磁带、纸带、穿孔卡片、独立ram盘、极碟驱动器、可移动大容量存储器、离线及类似物等可移动介质；例如动态存储器、静态存储器、读/写存储器、可变存储器、只读、随机访问、顺序访问、可寻址位置、可寻址文件、可寻址内容、网络附连存储器、存储区网络、条形码、磁性墨水及类似物等其他计算机存储器。本文描述的方法和系统可将物理和/或无形项目从一个状态变换到另一个。本文描述的方法和系统还可将代表物理和/或无形项目的数据从一个状态变换到另一个。在整个附图中的流程图和框图中包括的本文描述和描绘的元件隐含元件之间的逻辑界限。然而，根据软件或硬件工程实践，描绘的元件和其功能可通过计算机可执行介质在具有能够执行存储在其上的程序指令的处理器的机器（作为单片软件结构、作为独立软件模块或作为采用外部例程、代码、服务等等，或这些的任意组合的模块）上实现，并且所有这样的实现可在本公开的范围内。这样的机器的示例可包括但可不限于个人数字助理、便携式电脑、个人计算机、移动电话、其他手持计算装置、医疗装置、有线或无线通信装置、换能器、芯片、计算器、卫星、平板pc、电子书、小配件、电子装置、具有人工智能的装置、计算装置、联网设备、服务器、路由器及类似物。此外，在流程图和框图中描绘的元件或任何其他逻辑部件可在能够执行程序指令的机器上实现。从而，尽管前面的图和说明阐述公开的系统的功能方面，用于实现这些功能方面的软件的特定设置不应从这些说明推断，除非从上下文明确规定或另外清楚可见。相似地，可认识到上文识别和描述的各种步骤可改变，并且步骤的顺序可适应于本文公开的技术的特定应用。所有这样的改变和修改意在落入本公开的范围内。如此，各种步骤的顺序的示出和/或说明不应该理解为要求那些步骤的特定执行顺序，除非由特定应用要求，或从上下文明确规定或另外清楚可见。上文描述的方法和/或进程和其步骤可采用适合于特定应用的硬件、软件或硬件和软件的任何组合实现。硬件可包括通用计算机和/或专用计算装置或特定计算装置或特定计算装置的特定方面或部件。进程可在一个或多个微处理器、微控制器、嵌入式微控制器、可编程数字信号处理器或其他可编程装置连同内部和/或外部存储器中实现。进程可还或代替包含在专用集成电路、可编程门阵列、可编程阵列逻辑或任何其他可配置成处理电子信号的装置或装置的组合中。可进一步认识到进程中的一个或多个可实现为能够在机器可读介质上执行的计算机可执行代码。计算机可执行代码可使用例如c等结构化编程语言、例如c++等面向对象编程语言或任何其他高级或低级编程语言（包括汇编语言、硬件描述语言和数据库编程语言与技术）创建，该语言可被存储、编译或解释以在上文的装置中的一个上运行，以及在处理器、处理器架构的异构组合或不同硬件和软件的组合或能够执行程序指令的任何其他机器上运行。从而，在一个方面，上文描述的每个方法和其组合可包含在计算机可执行代码中，该代码当在一个或多个计算装置上执行时执行其的步骤。在另一个方面，方法可包含在执行其步骤的系统中，并且可采用许多方式跨装置分布，或功能性的全部可集成到专用、独立装置或其他硬件内。在另一个方面，用于执行与上文描述的处理关联的步骤的工具可包括上文描述的硬件和/或软件中的任一个。所有这样的排列和组合都意在落入本公开的范围内。尽管本文描述方法和系统已经连同详细示出和描述的某些优选实施例公开，对其的各种修改和改进将对于本领域内技术人员变得非常明显。因此，本文描述的精神和范围不被前面的示例限制，而要在法律允许的最宽的意义上理解。参考图13，图示有示范性和非限制性实施例的流程图和相应方法1300。方法包括在步骤1302处提供持久伙伴装置（pcd）。方法进一步包括在步骤1304处输入来自用户的从由姿态、视线方向、选词、声律、身体姿势、面部表情、情感线索和触摸组成的组选择的言语和非言语信号中的至少一个。方法进一步包括在步骤1306处调整pcd的行为来镜像言语和非言语信号中的至少一个。开发平台、库、资产、pcd等的所有上述属性可以被扩展以支持其他语言和文化（本地化）。本文引用的所有文献通过引用合并于此。当前第1页12