使用具有物理对象的增强现实以改变用户状态的方法和装置与流程

在此描述的实施例总的涉及增强现实，并且更具体地涉及使用具有物理对象的增强现实以改变空间中的用户的状态。

背景技术：

物理空间中的用户可能具有活动的状态。例如，参加诸如课堂讲座之类的活动的用户可以具有投入水平。如果用户的投入水平不足够高，则用户可能不学习。借助另一个示例，操作车辆的用户可以具有清醒水平(或者相反的睡意水平)。如果用户的清醒水平不足够高(或者用户的睡意水平过低)，用户可能出事故。

因此，可能存在改变空间、车辆、设置等中的用户的状态的当前需要。

技术实现要素：

提供本概述以介绍在下面具体实施方式部分进一步描述的简化形式的构思的选择。本概述不意图标识要求保护的主题的关键特征或者必要特征，也不意图用作帮助确定要求保护的主题的范围。

在此描述的各种示例性实施例可以涉及、包括或采用使用具有物理对象的增强现实的方法的形式。该方法可以包括：确定空间中的用户的状态，检测用户的空间/附近中的至少一个物理对象，以及使用具有检测到的至少一个物理对象的增强现实，以当用户的状态不在阈值时改变用户的状态。

在一些示例中，方法和/或处理单元可以配置为，通过确定对涉及空间中的用户的教育活动的用户的投入水平，确定用户的状态。在这样的示例中，处理单元可以配置为，通过提高对教育活动的用户的投入水平，使用具有检测到的至少一个物理对象的增强现实。在各种示例中，可以以第一模式呈现教育活动，并且处理单元可以配置为，通过以第二模式利用检测到的至少一个物理对象呈现与教育活动有关的资料，使用具有检测到的至少一个物理对象的增强现实。第一模式可以是音频，并且第二模式可以是图像、视频和交互元素中的至少一个。在一些示例中，处理单元还可以配置为：接收教育活动的标识，以及基于标识选择资料。

在各种示例中，方法和/或处理单元可以配置为，通过在操作车辆时确定用户的清醒水平，确定用户的状态。在这样的示例中，处理单元可以配置为，通过在用户的视野中提供视觉警示而使用具有检测到的至少一个物理对象的增强现实，以提高用户的清醒水平。

在一个或者多个示例中，方法和/或处理单元可以配置为，通过检测至少一个物理对象在可由用户观看的区域内作为增强现实的一部分，检测空间中的至少一个物理对象。处理单元可以配置为，通过以下中的至少一个确定用户的状态：接收用户的生物统计数据；以及接收用户的至少一个图像的分析。

在此描述的相关示例性实施例可以涉及、包括或采用有形体现在非瞬时存储介质中的计算机程序产品的形式。计算机程序产品可以包括存储在非瞬时存储介质中的第一组指令，第一组指令可由处理单元执行以确定空间中的用户的状态。计算机程序产品还可以包括存储在非瞬时存储介质中的第二组指令，第二组指令可由处理单元执行，以检测空间中的至少一个物理对象。计算机程序产品可以附加包括存储在非瞬时存储介质中的第二组指令，第二组指令可由处理单元执行，以使用具有检测到的至少一个物理对象的增强现实，从而当用户的状态低于阈值时改变用户的状态

附图说明

现在将对附图中例示的代表示例性实施例做出参考。理解下面的描述不意图将公开限制于一具体实施例或者一组具体实施例。相反，本公开意图覆盖可以被包括在描述的实施例的范围中的替代、修改和等同，如所附权利要求定义和附图中例示的，在附图中：

图1描绘使用增强现实设备时涉及教育活动的用户的示例；

图2a描绘由增强现实计算设备呈现给用户的示例性视图；

图2b描绘当增强现实计算设备试图使用具有物理对象的增强现实提高用户的状态时的图2a的示例性视图；

图3描绘可以在增强现实计算设备中使用的部件和部件的功能关系的示例性框图；

图4a描绘呈现给车辆增强现实计算设备的用户的示例性视图；

图4b描绘当车辆增强现实计算设备试图使用具有物理对象的增强现实提高用户的状态时的图4a的示例性视图；以及

图5描绘例示使用具有物理对象的增强现实的示例性方法的操作的流程图。

不同附图中的相同或者类似参考标号的使用指示类似、相关或者完全相同的项目。

具体实施方式

下面参考附图更完全地描述各种示例性实施例，附图形成各种特定示例性实施例的一部分并且示出特定示例性实施例。然而，实施例可以以很多不同形式实现，并且不应该被视为限制于在此阐述的实施例。而是，提供这些实施例，以使得本公开完全和完整，并且将对本领域技术人员完全传送实施例的范围。因此，下面的详细描述不采用限制含义理解。

增强现实是其元素通过计算设备生成的感官输入来增强(或补充)的物理、真实世界空间的实时视图(直接或间接)。这样的传感器输入可以包括音频、图像、视频、图形、定位和/或方向信息等。例如，计算设备生成的视觉信息可以显示在(和/或投影在)透明屏幕上，用户可以通过透明屏幕看见物理空间。借助另一示例，电子显示器可以呈现与附加计算设备生成的视觉信息组合的物理空间的实时视频。由此，与可以利用模拟空间替代物理空间的虚拟现实相比，增强现实可以加强用户对物理空间的感觉。

在此描述的很多实施例涉及使用具有物理对象的增强现实的方法、系统和计算机程序产品。空间中用户的状态(诸如用户的投入水平、用户的清醒水平、用户的困意水平、用户的满意水平、用户的情绪水平、用户的缺乏沮丧水平、用户的沮丧水平等)可以被确定。空间中的至少一个物理对象可以被识别或者以其他方式被检测。增强现实可以与检测到的物理对象一起使用(诸如通过在与物理对象对应的视觉位置提供一个或者多个图像)以当状态处于阈值时改变用户的状态。以这样的方式，增强现实可以与物理对象一起使用，以改变空间中用户的状态。

在很多示例性实施例中，用户的状态可以是对涉及空间中的用户的教育活动(诸如教室讲座)的用户的投入水平。在这样的实施例中，使用增强现实以提高用户的状态可以包括提高对教育活动的用户的投入水平。

在一些示例中，教育活动可以以第一模式(诸如，可听由处理器传递的可听到的讲座)并且使用增强现实以提高用户的投入水平，可以包括以第二模式利用检测到的对象呈现与教育活动有关的资料(诸如，仿佛在诸如空间中的黑板之类的物理对象上那样显示的图像、视频、或交互元素)。在这样的示例中，教育活动的标识可以被接收到(诸如，通过执行讲座的音频分析，接收指定讲座中正在被讨论的主题的通信等)并且可以基于标识选择资料。

在各种示例性实施例中，用户的状态可以是空间中操作车辆(诸如，汽车、飞机等)的用户的清醒水平。使用增强现实以提高用户的状态可以包括在用户的视野中提供视觉警示，以提高用户的清醒水平。相反，在一些实现方式中，用户的状态可以是用户的困意水平，并且视觉警示可以被提供在用户的视野中，以降低用户的困意水平。

在一些示例性实施例中，检测空间中的物理对象可以包括检测对象在用户可视的区域内作为增强现实的一部分。例如，物理对象可以被检测为通过透明屏幕或者在向用户呈现增强现实时使用的直播视频中可见。

在各种示例性实施例中，用户的状态可以通过各种方式确定。在一些实施例中，用户的生物统计数据可以被接收(诸如，用户的脉搏或者心率、瞳孔扩张、眨眼率、呼吸模式和/或关于用户的任何其他生物统计信息)。在其他示例中，用户的一个或者多个图像可以被分析(诸如，以确定用户在看什么地方、用户的眼睛关注什么地方、用户是否烦躁、用户多长时间眨一次眼等)。

在各种实施例中，用户的特定情绪状态可以被确定，其中，用户的重要信息(诸如，心率、脉搏率、温度、血管扩张、用户皮肤的导电率、瞳孔扩张、面部表情、身体语言、呼吸模式、体液的化学改变和/或气味等)可以指示特定情绪状态(高兴、难过等)或者一般情绪状态(高心率可能指示人兴奋，较低心率可能指示人放松等)。该信息可以单独或者组合地由用户穿戴的可穿戴设备(采用生命体征)、外部传感器系统(采用通过相机或者kinect的视觉输入)、通过音频传感器的听觉输入、通过机器嗅觉传感器的嗅觉、和其他类型的传感器确定。

图1描绘根据本公开的原理的示例性空间，其中，用户101在使用增强现实设备102时涉及教育活动。如所示，教育活动可以是经由向包括用户101的学生讲课的教授103在教室空间100中呈现的教室讲座。

增强现实设备102可以配置为执行使用具有物理对象的增强现实以改变教室空间100中的用户101的状态的方法。增强现实设备102可以确定教室空间100中的用户101的状态，检测教室空间100中的至少一个物理对象104，并且当状态低于阈值时，使用具有检测到的至少一个物理对象的增强现实，以提高用户101的状态。

例如，用户101的状态可以是在教室讲座的情况下的用户的投入水平。用户101的投入水平可以是，在用户101完全关注教室讲座的情况下的高度投入，在用户101主要关注教室讲座的情况下投入，在用户主要关注与教室讲座不同的一些事情但以某一方式关注教室讲座的情况下一定程度的投入，以及在用户101根本没有关注教室讲座的情况下的未投入。

在这样的示例中，确定用户101的状态可以包括在正在教室中传递的讲座的情况下确定用户的投入水平。增强现实设备102可以以多种方式确定用户101的投入水平。增强现实设备102可以包括一个或者多个部件(和/或接收来自包括这样的部件的一个或者其他设备的通信)用于接收指示用户101的投入水平的用户101的生物统计数据(诸如，用户的脉搏或者心率、瞳孔扩张、眨眼率、呼吸模式和/或关于用户的任何其他生物统计信息)、分析用户101的一个或者多个图像以确定用户的投入水平(诸如，确定用户在看什么地方、用户的眼睛关注什么地方、用户是否烦躁、用户多长时间眨一次眼等)和/或以其他方式确定用户101的投入水平。

增强现实设备102可以检测和/或另外选择或者标识教室空间100中的至少一个物理对象，该至少一个物理对象在用户出现在空间100中的情况下可以在用户附近。这样的检测可以涉及检测物理对象在教室空间100内，检测物理对象在用户101可视区域内作为增强现实的一部分，检测物理对象具有其中增强现实可以被呈现的性质(诸如，尺寸、形状和表面的类型)，执行图像识别以识别物理对象和/或物理对象的性质，检测物理对象可由增强现实设备102控制等。例如，如图2a中所示，增强现实设备102可以检测教授103后面的白板104在可由用户101观看的区域200a内作为增强现实的一部分，并且具有对于增强现实设备102呈现资料足够的维度。

增强现实设备102可以使用具有检测到的至少一个物理对象的增强现实以当状态在阈值以下时提高用户101的状态。例如，如图2b中例示，如果用户101的投入水平是某种程度的投入或以下，则增强现实设备102可以在与白板104对应的视觉位置提供可由用户101观看的区域200b中的图像205。在与白板104对应的视觉位置提供图像205(或者，根据在白板104上的用户101的感觉)可以提高用户101的投入水平，使得用户101变得更关注教室讲座。

在一些示例性实现方式中，增强现实设备102可以配置为使用具有检测到的物理对象的增强现实以与正在呈现教育活动的模式不同的模式呈现与教育活动有关的资料。例如，图2b中所示的讲座正在以第一模式经由教授讲话音频呈现。呈现资料可以以第二模式经由图像205视觉呈现。不同人经由不同模式学习更好，并且使用多个模式的呈现可以提高投入。这样的不同模式也可以使得用户101对仅通过音频难于理解的资料更清楚。

虽然图像205被例示并且被描述为图像205，应该理解这是示例。第二模式可以是与教育活动不同的模式呈现的任何种类的内容，诸如一个或者多个图像、视频、交互元素(诸如游戏)等。

在各种示例性实现方式中，增强现实设备102可以配置为选择资料，以资料与教育活动相关联这样的方式呈现。增强现实设备102可以接收教育活动的标识，并且基于标识选择资料。

例如，增强现实设备102可以包括执行对讲座的音频分析的部件以确定讲座讨论图像上的数学曲线。增强现实设备102的处理单元可以接收讲座的主题的指示，并且可以选择图像205，以按图形的方式示出图形。

借助另一示例，教室100中的传送器可以传送与讲座的主题有关的标识符。增强现实设备102可以接收这样的标识符并且可以基于与标识符的关联性选择图像205。

在另一示例中，增强现实设备102可以配置有讲座覆盖什么的规范。这样一来，当选择图像205时，增强现实设备102可以选择与该规范中指示什么相关联的内容。

图3描绘可以在增强现实计算设备102中使用的部件和部件的功能关系的示例性框图。如例示，增强现实设备102可以包括一个或者多个处理单元310、存储媒体311(可以采用磁存储介质、光存储介质、磁光存储介质、只读存储器；随机存取存储器、可擦除可编程存储器、快闪存储器等的形式，但不限于此)、用户接口部件315(诸如一个或者多个显示器316、扬声器、麦克风、输入/输出设备等)、传感器314(诸如一个或者多个生物统计传感器、静止图像相机、摄像机、麦克风、嗅觉传感器等)、通信部件312等。处理单元310可以执行存储媒体311中存储的一组或多组指令，以执行各种增强现实设备102功能。增强现实计算设备102的不同示例可以是googleglasses、hololensfrommicrosoft、sonyvita、nintendo3ds等。

例如，一个或者多个这样组的指令的执行可以配置处理单元310，以确定空间中的用户的状态，检测空间中/用户附近的至少一个物理对象和使用具有检测到的至少一个物理对象的增强现实，以当状态低于阈值时提高用户的状态。借助另一示例，处理单元310可以配置为执行使用具有物理对象的增强现实的各种不同方法和/或与增强现实设备102相关联的其他功能。

在一些示例性实现方式中，显示器316可以是透明屏幕，通过该透明屏幕用户101可以看见诸如教室空间100之类的物理空间，并且在该透明屏幕上，显示器316可以呈现由增强现实设备102的一个或者多个部件(诸如处理单元310)生成的视觉信息。例如，显示器316可以是可变透明液晶屏幕，该可变透明液晶屏幕可被控制，以使得用户可以通过其看见和/或视觉信息可以在该可变透明液晶屏幕上呈现。借助另一示例，增强现实设备102可以包括将视觉信息投影在显示器316上的部件，以使得在用户101通过透明屏幕观看物理空间的同时，用户101可以观看投影的视觉信息。在这样的示例中，视觉信息可以被投影在无限远的距离(例如，重新聚焦到用于相机的无限远)，以使得当切换观看物理空间和呈现的视觉信息时，用户101不重新聚焦他的眼睛。

在另一示例性公开中，显示器316可以是非透明显示器，可操作为呈现与生成的视觉信息结合的物理空间(诸如教室空间)的直播视频。例如，这样的结合可以是如图2b所示利用图像205增强的教室100的视频馈送。

虽然图1-3是示例性的并且在改变对教育活动的用户101的投入水平的上下文中描述，但是应该理解，这是示例。在不脱离本公开的范围的情况下，各种实现方式是可能的并且被考虑。

例如，参加和/或另外涉及图1中呈现的所示讲座的用户101可能具有沮丧水平、清醒水平、满意水平、缺乏沮丧水平和/或任何其他种状态。这样的状态可以被监视并且增强现实可以与这样的检测到的状态一起使用，以更改检测到的状态，诸如以提高用户101的缺乏沮丧水平(其可以与关于讲座呈现资料的他们的困惑对应)等。

借助另一示例，图4a描绘向车辆增强现实计算设备的用户呈现的示例性视图401a。用户可能正操作车辆(诸如，汽车、飞机、船舶等)并且可以具有清醒水平(或者相反的困意水平和/或其他相关水平)。当不足够清醒时操作车辆可能是危险的。这样一来，车辆增强现实计算设备可以使用具有检测到的物理对象的增强现实，以提高用户的清醒水平。

例如，车辆增强现实计算设备可以确定道路402在用户的视图401a内。车辆增强现实计算设备可以使用具有道路402的增强现实以提高用户的清醒水平，诸如通过在用户的视野中提供图4b中例示的视图401b的闪烁的危险指示符406和/或另一视觉警示。闪烁的危险指示符403可以向用户指示该用户低于安全清醒并且需要更振作。这个传递的危险可以使用户更振作，以提高用户的清醒水平。

借助另一示例，用户可以在家庭计算设备上撰写文字处理文档时利用增强现实计算设备。用户可能当不能想出如何完成相关联的文字处理程序中的一些东西时变得沮丧。当用户的缺乏沮丧水平比阈值低时，增强现实计算设备可以检测家庭计算设备的监视器并且可以在不与正由用户利用的文字处理程序区域冲突的监视器的屏幕上的区域中的呈现帮助信息。

借助另一示例，用户可以在看电视时利用增强现实计算设备。可以在电视上显示广告。如果广告被显示过长，用户的满意水平可能降到低于阈值，并且用户可能不注意广告。这样一来，增强现实计算设备可以检测与电视一起处于用户的视角中的壁的一部分，并且在其上显示舞蹈动画。跳舞动画可以使得用户充分娱乐，使得在仍观看广告的同时用户的满意水平提高到阈值以上。以该方式，可以在用户仍观看广告时将用户的满意水平保持在阈值以上。

借助另一示例，用户可以在消费像视频或者音频那样的媒体时利用增强现实计算设备。计算设备可以与机顶盒和/或显示设备交互，其中计算设备意识到用户正在消费什么内容。如果内容中的关键情景或者元素被呈现，用户的状态看上去减小，物理空间/用户的附近的对象可以被检测到并且用于促使用户的注意回到显示设备。对象可以变形为卡通人物并且引起用户关注回到观看节目。

借助另一示例，用户可以在参加视频会议时利用增强现实计算设备。也就是，如果确定会议的特定用户的注意在电话会议过程中正衰退，则可以引起用户注意力集中。可以通过增强现实设备引起用户的附近的物理对象具有对象“改变”为卡通人物并且告诉用户关注会议。

虽然示例性图1-4b在将视觉信息重叠在物理对象的上下文中例示和描述，应该理解这是与呈现一致的描述。在各种示例性实现方式，在不脱离本公开的范围的情况下，检测到的物理对象可以以各种其他方式与增强现实一起使用。

例如，检测可以检测对象可以执行一个或者多个功能并且可控制和/或可以以另外方式由增强现实计算设备利用以执行功能。这样的功能可以是显示资料，而不是使得增强现实计算设备将资料投影在对象上和/或以其他方式利用对象显示资料，以产生音频，产生诸如嗡嗡声的触觉输出或者由用户穿戴的设备产生的其他震动，和/或其他功能。

如上面例示和描述，当在以第一模式呈现教育或其他活动期间用户的状态低于阈值时，增强现实计算设备可以以第二模式呈现资料。然而，理解这是示例，并且以各种实现方式，增强现实计算设备可以在不脱离本公开的范围的情况下改变(和/或发信号通知要改变)这样的活动的各个方面。

例如，用户的状态的评价可以使得呈现被实时调整，以更多关注用户发现更有趣的话题。可替代地，当用户更少投入时，可以确定用户可能需要那些用户可能错过的话题的附加帮助或者附加呈现。在另一替代中，用户状态的评价可以允许分配更多时间给用户发现具有挑战性的话题，以更好地解释和/或加强那些话题。在其他替代中，可以当用户的关注开始下滑时增加课程的交互性，以试图重新捕获用户的注意。

在其他示例性实现方式中，用户的舒适水平或者焦虑水平可以替代关注度而被评价。在不脱离本公开的范围的情况下，各种用户状态可以被评价和响应。

在其他示例性实现方式中，用户的状态可以随着时间被跟踪并且被评价。用户可以在一天的某些时间更多关注并且在其他时间更少关注。基于这样的评价，资料的呈现可以被调整为在用户可能更多关注的时间呈现某些资料并且在用户可能更少关注的时间呈现其他资料。在各种示例中，这样的关于用户的数据可以与来自其他用户的数据聚合。这样的聚合可以用以评价资料、演讲者等的有效性，并且可以基于这样的聚合数据的评价调整资料和/或演讲者，以提高有效性和/或执行其他相关功能。

除了基于检测到的用户状态的呈现的修改，也可以在一些实现方式中执行与呈现有关的外部活动。例如，当在讲座期间用户的关注被检测为落到阈值以下时，相应地可以将针对用户剪裁的家庭作业发送给用户。可以基于用户的状态落到阈值以下，来剪裁家庭作业，以进一步开发用户可能错过的话题，使得用户在用户可能有麻烦的区域工作，在用户可能已经掌握的区域提供更多挑战等。

图5描绘例示使用具有物理对象的增强现实的方法500的操作的示例性流程图。方法500可以由增强现实计算设备102执行。

在501，流程可以开始。流程可以进行到502，其中，计算设备操作。然后流程可以进行到503，其中，确定用户的状态。状态可以是用户的投入水平、用户的清醒水平、用户的满意水平、用户的缺乏沮丧水平和/或可以被监视的任何其他用户状态。

接着，流程可以进行到504，其中，确定状态是否不在阈值。对于步骤504，不在阈值的状态可以是状态在阈值以下，状态在阈值以上和/或状态不等于阈值。如果状态不在阈值，则流程可以进行到505。否则，流程可以返回502，其中，计算设备继续操作。

在505，在用户的状态被确定为不在阈值之后，可以在用户的空间/附近检测物理对象。然后流程可以进行到506，其中，与物理对象一起使用增强现实。可以与物理对象一起使用增强现实，以提高用户的状态，降低用户的状态和/或另外更改或改变用户的状态。在一些示例性实施例中，可以做出确定，以确认物理对象在用户的附近内(在用户的相同的物理空间中)。

然后流程可以返回502，其中，计算设备继续操作。然而，应该理解这是示例。在各种实现方式中，用户的状态可以被评价并且在用户的状态仍没有被充分改变的情况下，可以与物理对象一起使用增强现实。

虽然示例方法500被以上例示和描述为包括以具体顺序执行的具体操作，但是理解这是示例。在各种实现方式中，在不脱离本公开的范围的情况下，可以执行各种顺序的相同、类似和/或不同操作。

例如，示例方法500被例示和描述为在检测对象之前确定用户的状态是否在阈值以下。然而，在其他实现方式中，可以在评价阈值之前检测对象。

在其他示例性实现方式中，评价阈值可以不同于确定用户的状态是否在阈值以下。例如，在各种实现方式中，可以确定用户的状态是否在阈值以上。在其他示例中，在不脱离本公开的范围的情况下，可以针对多个阈值比较用户的状态。

如上面描述和在附图中例示，本公开详细描述与使用具有物理对象的增强现实的方法、系统和计算机程序产品有关的实施例。可以确定空间中的用户的状态(诸如，用户的投入水平、用户的清醒水平、用户的困意水平、用户的满意水平、用户的缺乏沮丧水平、用户的沮丧水平等)。空间中的至少一个物理对象可以被识别或者另外被检测。可以与检测到的物理对象一起使用增强现实(诸如，通过在与物理对象对应的视觉位置提供一个或者多个图像)，以当状态在阈值以下时提高用户的状态。以这个方式，可以与物理对象一起使用增强现实，以改变空间中的用户的状态。

在本公开中，公开的方法可以实现为可由设备读取的指令集或者软件。另外，理解公开的方法中的步骤的特定顺序或者层级是样本方法的示例。在其他示例中，方法中的步骤的特定顺序或者层级可以在保留在本公开的主题的范围内的同时被重新布置。所附方法权利要求以样本顺序呈现各种步骤的元素，并且没有不一定意味着限制于所呈现的特定顺序或者层级。

描述的公开可以提供为计算机程序产品或者软件，其可以包括存储在其上的指令的非瞬时机器可读介质，指令可以用以编程计算机系统(或者其他电子设备)，以根据本公开执行处理。非瞬时机器可读介质包括用于以可由机器(例如，计算机)读取的形式(例如，软件、处理应用)存储信息的任何机制。非瞬时机器可读介质可以采用磁存储介质(例如，软盘、视频磁带等)、光存储介质(例如，cd-rom)、磁光存储介质、只读存储器(rom)、随机存取存储器(ram)、可擦除可编程存储器(例如，eprom和eeprom)、快闪存储器等的形式，但不限于此。

虽然在此已经详细示出和描述并入本公开的教导的实施例，但是本领域技术人员可以容易地设想仍并入这些教导的很多其他变化实施例。已经描述增强现实的系统和方法的示例性实施例(其意图为例示并且不是限制性的)，注意本领域技术人员鉴于上面的教导可以做出修改和变型。因此要理解，可以在如所附权利要求概括的公开的范围内的在所公开的公开的具体实施例中做出改变。

为了本申请和权利要求的目的，使用示例性措辞“a、b和c中的至少一个”，该措辞意味着“仅a，或仅b，或仅c，或a、b和c的任何组合”。