用于在虚拟图像生成系统中更有效地显示文本的技术的制作方法

本发明通常涉及被配置为促进用于一个或多个用户的交互式虚拟和增强现实环境的系统和方法。

背景技术：

现代计算技术和显示技术已经促进了用于所谓“虚拟现实”体验或者“增强现实”体验的系统的发展，其中，数字再现的图像或者其部分以看起来是真实或者可感知为真实的方式呈现给用户。虚拟现实(vr)场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界视觉输入并不透明，而增强现实(ar)场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围的实际世界的可视化的增强。

例如，参考图1，描绘了增强现实场景4，其中，ar技术的用户看见以在背景中的人、树、建筑为特征的真实世界的公园状的设置6以及实体平台8。除了这些项以外，ar技术的终端用户也可以感知他“看见”站在真实世界的平台8上的机器人雕像10，以看起来是蜜蜂的化身的正在飞行的卡通式的头像角色12，即使这些元素10、12在真实的世界中不存在。事实证明，人类的视觉感知系统是非常复杂的，开发一项促进虚拟图像元素在其它虚拟或现实世界图像元素中的舒适的、感觉自然的、丰富的呈现的vr或ar技术是极具挑战的。

vr和ar系统通常采用至少松弛地耦接到用户头部的头戴式显示器(或头盔式显示器、或智能眼镜)，并且因此当终端用户的头部移动时而移动。如果显示系统检测到终端用户的头部运动，则可以更新正在显示的数据，以考虑头部姿态(即，用户头部的方向和/或位置)的变化。

作为示例，如果穿戴头戴式显示器的用户在显示器上观看三维(3d)对象的虚拟表示并且在3d对象出现的区域周围走动，则该3d对象可以对每个视点进行重新渲染，给终端用户感觉到他或她在占据真实空间的对象周围走动。如果头戴式显示器用于在虚拟空间(例如，丰富的虚拟世界)内呈现多个对象，则头部姿态的测量可用于重新渲染场景以匹配终端用户的动态变化的头部位置和方向并提高了虚拟空间的沉浸感。

启用ar的头戴式显示器(即，现实和虚拟元素的同时观看)可以具有几种不同类型的配置。在通常被称为“视频透视”显示器的一个这样的配置中，照相机捕获真实场景的元素，计算系统将虚拟元素叠加到捕获的真实场景上，并且非透明显示器将合成图像呈现给眼睛。另一种配置通常被称为“光学透视”显示器，其中终端用户可以透视显示系统中的透明(或半透明)元件以直接观看来自环境中的真实对象的光。通常被称为“组合器”的透明元件将来自显示器的光叠加在终端用户的真实世界的观看之上。

在某些vr和ar系统中，期望显示与用户当前观看的对象相邻的文本。例如，如果终端用户进入咖啡店并观看在实际或虚拟菜单20上显示的一杯咖啡22a、丹麦22b和冰沙22c，如图2所示，则可能期望以文字方式显示与一杯咖啡22a相邻的描述性消息(例如，“coffee(咖啡)、decaf(低咖啡因)、soy(豆)”)，与丹麦22b相邻的描述性消息(例如，strawberryflavoreddanish(草莓味的丹麦))以及与冰沙22c相邻的描述性消息(例如，strawberry,pineapple,mangosmoothie(草莓、菠萝、芒果冰沙))以便于终端用户决定是否订购一杯咖啡22a、丹麦22b和/或冰沙22c，这可能涉及经由与供应商的传统通信来订购它，或者经由通过vr和ar系统的由终端用户提供的语言或非语言提示来电子订购它。虽然文本显示与消息所属的实际或虚拟对象相邻的描述性消息在理论上有效，但是当今的显示技术的分辨率受限于无法解决的极小的字体，因此需要大面积来显示大的字体，由此可能使终端用户观看的三维场景变得混乱。

因此，需要在虚拟现实或增强现实系统中更有效地显示与虚拟或实际对象相邻的消息。

技术实现要素：

根据本发明的第一实施例，一种操作虚拟图像生成系统的方法包括：允许终端用户可视化三维场景，在用户的视场内空间上关联文本区域(其可被显示)，生成文本消息，以及在文本区域内流式传输文本消息。在一种方法中，文本消息一次在文本区域内流式传输仅一个单词。在另一种方法中，文本消息一次在文本区域中显示至少两个单词，而只强调显示的单词中的一个单词。强调一个单词可以包括以比剩余显示的一个或多个单词更高的亮度强度来显示该一个单词，或者文本区域可以是三维文本区域，在这种情况下，该一个单词可以显示在三维文本区域的前景中，以及剩余显示的一个或多个单词可以显示在三维文本区域的背景中。

一种方法还包括允许终端用户可视化三维场景中感兴趣对象，在这种情况下，文本区域可以与感兴趣对象在空间上相关联，并且文本图像可以识别感兴趣对象的至少一个特征(例如，通过识别感兴趣对象的名称)。如果感兴趣对象是可移动的，则将该文本区域与感兴趣对象在空间上相关联可以包括将文本区域与感兴趣对象链接，以使得文本区域与感兴趣对象的移动协调地移动。该方法可选地包括：显示与感兴趣对象相邻的文本区域指示符，感测终端用户的焦点，以及当终端用户的焦点与文本区域指示符一致时激活文本区域(例如，通过使文本区域在视觉上出现)。如果感兴趣对象是虚拟对象，则允许终端用户可视化虚拟对象可以包括将虚拟对象显示给终端用户。如果感兴趣对象是实际对象，则允许终端用户可视化实际对象可以包括允许终端用户直接可视化来自实际对象的光。

该方法可以可选地包括感测来自终端用户的姿态命令(例如，头部移动或手指或手移动)，在这种情况下，流式传输文本消息可以通过姿态命令来控制。例如，文本消息的流式传输可以响应于姿态命令而被启动或停止。或者，文本消息的每个单词的定时可以响应于姿态命令来控制。或者，文本消息的流式传输速度可以响应于姿态命令而增加或减少。或者，文本消息的流式传输的方向可以响应于姿态命令而改变。

一种方法进一步包括将姿态参考与感兴趣对象相关联，在这种情况下，感测来自终端用户的姿态命令可以包括检测终端用户的解剖部(例如头部或手指或手)相对于姿态参考的角度位置。姿态参考可以被显示为与感兴趣对象相邻的姿态参考对象，并且可以与感兴趣对象分开并且不同，或者可以是感兴趣对象自身。在一个实施例中，姿态参考是围绕感兴趣对象的圆环。

该方法可以可选地包括感测终端用户的眼睛的闪烁，在这种情况下，当终端用户的眼睛闭合时，文本消息的流式传输暂停，并且当终端用户的眼睛打开时，文本消息的流式传输继续。该方法还可以可选地包括识别其中感兴趣对象被设置的焦平面，并基于所识别的焦平面调整文本消息的流式传输速度。可选地，流式传输文本消息可以包括改变文本消息的单词之间的暂停。该方法可以进一步可选地包括生成可听音调的模式，随着单词的流式传输，可听音调分别在时间上与文本消息中的单词对应。

根据本发明的第二实施例，提供了被终端用户使用的虚拟图像生成系统。虚拟图像生成系统包括被配置为允许终端用户可视化三维场景的显示系统。在一个实施例中，显示系统被配置为定位在终端用户的眼睛的前方。在另一个实施例中，显示系统包括投影子系统和部分透明的显示表面，在这种情况下，投影子系统可以被配置为将帧投影到部分透明的显示表面上，并且部分透明的显示表面可以被配置为在终端用户的眼睛和周围环境之间的视场中的位置。在另一个实施例中，虚拟图像生成系统还包括被配置为由终端用户佩戴的框架结构，在这种情况下，框架结构承载显示系统。

虚拟图像生成系统还包括控制系统(例如，包括图形控制子系统单元(gpu)的控制系统)，控制系统被配置为在用户的视场内将文本区域(其可以显示给终端用户)在空间上相关联。控制系统还被配置为生成文本消息，并且指示显示系统在文本区域内流式传输文本消息。在一个实施例中，显示系统被配置用于通过一次显示文本消息的仅一个单词来在文本区域内流式传输文本消息。在另一个实施例中，显示系统被配置用于通过一次显示文本消息的至少两个单词而仅强调至少两个显示的单词中的一个单词来在文本区域内流式传输文本消息。强调该一个单词可以包括以比剩余显示的一个或多个词更高的亮度强度来显示该一个单词，或者文本区域可以是三维文本区域，在这种情况下，一个单词可以显示在三维文本区域的前景中，并且剩余显示的一个或多个单词可以显示在三维文本区域的背景中。

在一个实施例中，显示系统被配置用于允许终端用户可视化三维场景中感兴趣对象，控制系统被配置用于在空间上将文本区域与感兴趣对象相关联，并且文本图像识别感兴趣对象的至少一个特征。如果感兴趣对象是虚拟对象，则显示系统可以被配置用于向终端用户显示虚拟对象。如果感兴趣对象是实际对象，则显示系统可以被配置用于允许终端用户直接可视化来自实际对象的光。如果感兴趣对象是可移动的，则将文本区域与感兴趣对象在空间上相关联可以包括将文本区域与感兴趣对象链接，以使得文本区域与感兴趣对象的移动协调地移动。在一个可选的实施例中，虚拟图像生成系统还包括一个或多个传感器，一个或多个传感器被配置用于感测终端用户的焦点，并且控制系统被配置用于指示显示系统显示与感兴趣对象相邻的文本区域指示符，并且当终端用户的焦点与文本区域指示符一致时激活文本区域(例如，通过使文本区域在视觉上出现)。

虚拟图像生成系统可以可选地包括被配置用于感测来自终端用户的姿态命令的至少一个传感器，在这种情况下，控制系统可以被配置用于基于姿态命令(例如，终端用户的头部移动或手指或手移动)来控制文本消息的流式传输。例如，控制系统可以被配置用于响应于姿态命令来指示显示系统启动或停止流式传输文本消息。或者，控制系统可以被配置用于响应于姿态命令来控制文本消息的每个单词的定时。或者，控制系统可以被配置用于响应于姿态命令来增加或减少文本消息的流式传输速度。或者，控制系统可以被配置用于响应于姿态命令来改变文本消息的流式传输的方向。

在一个实施例中，控制系统还被配置用于将姿态参考与感兴趣对象相关联，在这种情况下，传感器将被配置用于通过检测终端用户的解剖部(例如，头部、手指或手)相对于姿态参考的角度位置来感测来自终端用户的姿态命令。控制系统可以进一步被配置用于指示显示系统将姿态参考显示为与感兴趣对象相邻的姿态参考对象。姿态参考可以与感兴趣对象分开并且不同，或者可以是感兴趣对象自身。在一个实施例中，姿态参考是围绕感兴趣对象的圆环。

在可选实施例中，虚拟图像生成系统还包括被配置用于感测终端用户的眼睛的闪烁的一个或多个传感器，在这种情况下，控制系统可以被配置用于当终端用户的眼睛闭合时，文本消息的流式传输暂停，并且当终端用户的眼睛打开时，文本消息的流式传输继续。在另一个可选实施例中，控制系统还被配置用于识别其中感兴趣对象被设置的焦平面，并基于所识别的焦平面调整文本消息的流式传输速度。在又一个可选实施例中，控制系统被配置用于通过改变文本消息的单词之间的暂停来流式传输文本消息。在又一个可选实施例中，虚拟图像生成系统还包括一个或多个扬声器，在这种情况下，控制系统可以被配置用于指示扬声器生成可听音调的模式，随着单词的流式传输，可听音调分别在时间上与文本消息中的单词对应。

在详细说明、附图和权利要求中描述了本发明的另外的和其它的目的、特征和优点。

附图说明

附图示出了本发明的实施例的设计和应用，其中相似的元件由共同的参考标记表示。为了更好的理解如何获得本发明的上述和其它优点以及目的，以上简要描述的本发明的更详细描述将通过参考其具体实施例来显现，这些在附图中示出。需要理解，这些附图仅描绘了本发明的典型实施例，因此并不能认为限制它的范围，本发明将通过使用附图用附加特征和细节来描述和解释，在附图中：

图1是可以由现有技术增强现实生成设备向终端用户显示的三维增强现实场景的图片；

图2是传统咖啡菜单的平面图；

图3是根据本发明的一个实施例构建的增强现实系统的框图；

图4是由图3的增强现实系统生成的示例性帧的平面图；

图5a是可用于佩戴图3的增强现实系统的一种技术的视图；

图5b是可用于佩戴图3的增强现实系统的另一种技术的视图；

图5c是可用于佩戴图3的增强现实系统的又一种技术的视图；

图5d是可用于佩戴图3的增强现实系统的又一种技术的视图；

图6a-6c是咖啡菜单的平面图，其中根据本发明的一种技术，图3的增强现实系统在与感兴趣对象相邻的文本区域内流式传输文本消息；

图7a-7b是咖啡菜单的平面图，其中图3的增强现实系统激活与感兴趣对象相邻的文本区域；

图8a-8c是咖啡菜单上的感兴趣对象的平面图，其中根据本发明的另一种技术，图3的增强现实系统在与感兴趣对象相邻的文本区域内流式传输文本消息；

图9a-9c是咖啡菜单上的感兴趣对象的平面图，其中根据本发明的又一种技术，图3的增强现实系统在与感兴趣对象相邻的文本区域内流式传输文本消息；

图10a-10c是咖啡菜单的平面图，其中根据本发明的又一种技术，图3的增强现实系统在与感兴趣对象相邻的文本区域内流式传输文本消息；

图11a-11b是咖啡菜单的平面图，其中根据本发明的一种技术，图3的增强现实系统响应于终端用户的头部移动来控制文本消息的流式传输；

图12a-12c是咖啡菜单的平面图，其中根据本发明的另一种技术，图3的增强现实系统响应于终端用户的头部移动来控制文本消息的流式传输；以及

图13是示出的操作图3的增强现实系统以在周围三维场景中流式传输并控制与感兴趣对象相邻的文本消息的方法的流程图。

具体实施方式

以下描述涉及在增强现实系统中使用的显示系统和方法。然而，应当理解，虽然本发明很好地适用于增强现实中的应用，但是本发明在其最广泛的方面可以不受限制。

参考图3，现在将描述根据本发明构造的增强现实系统100的一个实施例。增强现实系统100在终端用户50的视场中提供与实际对象混合的虚拟对象的图像。增强现实系统100以及在此教导的各种技术可以用于除了增强现实以外的应用中。例如，各种技术可以应用于任何投影或显示系统。或者，在此描述的各种技术可以应用于微型投影仪，其中可以由终端用户的手而不是头部进行移动。因此，尽管在此通常在增强现实系统方面进行描述，但是教导不应当限于这种使用的这种系统。

当操作增强现实系统100时有两种基本方法。第一种方法采用一个或多个成像器(例如，照相机)来捕获周围环境的图像。增强现实系统100将虚拟图像混合成表示周围环境的图像的数据。第二种方法采用一个或多个至少部分透明的表面，通过该表面可以看到周围环境，并且增强现实系统100在该表面上产生虚拟对象的图像。

增强现实系统100和在此教导的各种技术可以用于除了增强现实系统以外的应用中。例如，各种技术可应用于任何投影或显示系统。例如，在此描述的各种技术可应用于微型投影仪，其中可以由终端用户的手而不是头部进行移动。因此，虽然在此通常在增强现实系统或虚拟现实系统方面进行描述，但是教导不应当限于这种使用的这种系统。

至少对于增强现实应用，可能期望在相对于终端用户50的视场中的相应实际对象的空间上定位各种虚拟对象。虚拟对象(在此也被称为虚拟多个标签或一个标签或调出)可以采取多种形式中的任何一种，基本上能够表现为图像的任何种类的数据、信息、概念或逻辑构造。虚拟对象的非限制性示例可以包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟仪器对象、或物理对象的虚拟视觉表示。

与本发明更有关的，增强现实系统100在三维场景中将文本区域与实际对象在空间上相关联，在文本区域中所选的文本区域生成文本消息以识别相应实际对象的至少一个特征，并在所选文本区域内流式传输(stream)文本消息。在一个实施例中，一次选择一个文本区域用于文本消息的流式传输和显示，具体地，选择与终端用户当前正在看的实际对象相关联的文本区域。有利地，在与实际对象相关联的文本区域内流式传输文本消息便于在较小区域中显示文本消息，由此提供显示文本消息的紧凑性并由此减少三维场景的任何混乱，提供简洁、交互性和迅速的显示。

尽管文本消息被描述为在增强现实系统中的与实际对象相关联的文本区域中流式传输，但是应当理解，文本消息可以在增强现实系统或虚拟现实系统中的与虚拟对象相关联的文本区域中流式传输。此外，文本消息可以在除了增强现实系统以外的视觉系统中的与实际对象相关联的文本区域中流式传输，例如，其中终端用户简单地通过仅显示与实际对象相邻的文本消息(即，没有虚拟对象被显示)的透明介质来看。

为此，增强现实系统100包括由终端用户50佩戴的框架结构102，由框架结构102承载的显示系统104，以使得显示系统104位于终端用户50的眼睛52的前方，以及由框架结构102承载的扬声器106，以使得扬声器106位于终端用户50的耳道附近(可选地，另一个扬声器(未示出)位于终端用户50的另一耳道附近以提供立体声/可塑形声音控制)。显示系统104被设计为向终端用户50的眼睛52呈现基于照片的辐射图案，基于照片的辐射图案可以被舒适地感知为物理现实的增强，具有高水平的图像质量和三维感知、以及能够呈现二维内容。显示系统104以高频率呈现一序列的帧，这提供单个连贯场景的感知。

在所示的实施例中，显示系统104包括投影子系统108以及投影子系统108在其上投影图像的部分透明的显示表面110。显示表面110位于终端用户50的眼睛52与周围环境之间的终端用户50的视场中。在所示的实施例中，投影子系统108包括一个或多个光纤112(例如，单模光纤)，每个光纤具有光接收到其中的一个端部112a以及从其提供光到部分透明的显示表面110的另一个端部112b。投影子系统108还可以包括产生光的一个或多个光源114(例如，以限定的模式发射不同颜色的光)，并且将光通信地耦合到光纤112的另一端部112a。光源114可以采取多种形式中的任何一种，例如，一组rgb激光器(例如，能够输出红色、绿色和蓝色的激光二极管)，其可操作以根据在像素信息或数据的相应帧中指定的限定的像素图案分别产生红色、绿色以及蓝色相干准直光。激光提供高色彩饱和度并且高度节能。

显示系统104可以进一步包括扫描设备116，扫描设备116响应于控制信号以预定模式扫描光纤112。例如，参考图3，根据一个示例性实施例，像素信息或数据的帧118指定像素信息或数据以呈现图像(例如，一个或多个虚拟对象的图像)。帧118被示意性地示出为具有被分成水平行或线122a-122n的单元120a-120m。帧118的每个单元120可以对单元120所对应的相应像素的多个颜色中的每个指定值和/或强度。例如，帧118可以对每个像素的红色124a指定一个或多个值，绿色124b指定一个或多个值以及蓝色124c指定一个或多个值。值124可以被指定为每个颜色的二进制表示，例如，每个颜色的相应4位数。帧118的每个单元120可以另外包括指定幅度的值124d。应当理解，尽管显示系统104已经被描述为使用扫描光纤技术来实现，但是应当理解，显示系统104可以基于任何显示技术，例如液晶显示器(lcd)、数字光处理(dlp)显示器等。

返回参照图3，增强现实系统100还包括安装到框架结构102的一个或多个传感器(未示出)，用于检测终端用户50的头部54的位置和移动和/或终端用户50的眼睛位置和两眼间距离。这种传感器可包括捕获设备(诸如照相机)、麦克风、惯性测量单元、加速度计、指南针、gps单元、无线电设备和/或陀螺仪。

例如，在一个实施例中，增强现实系统100包括头戴式传感器(transducer)系统126，头戴式传感器系统126包括一个或多个惯性传感器以捕获指示终端用户50的头部54的移动的惯性测量。可以使用这样的以感测、测量或收集关于终端用户50的头部移动的信息。例如，这可以用于检测终端用户50的头部54的测量运动、速度、加速度和/或位置。

增强现实系统100还包括一个或多个前向照相机128，其可用于捕获关于终端用户50位于其中的环境的信息。前向照相机128可用于捕获指示终端用户50相对于该环境和该环境中的特定对象的距离和方向的信息。当头部佩戴时，前向照相机128特别适于捕获指示终端用户50的头部54相对于终端用户50位于的环境以及该环境中的特定对象的距离和方向的信息。例如，前向照相机128可以用于检测头部移动、速度和/或头部移动的加速度。例如，前向照相机128可以用于例如至少部分地基于终端用户50的头部54的方向来检测或推断终端用户50的关注中心。可以在任何方向(例如，相对于终端用户50的参考框架的上/下、左、右)检测方向。

增强现实系统100还包括一对后向照相机129，以跟踪终端用户50的眼睛52的移动、闪烁和聚焦深度。例如，这种眼睛跟踪信息可以通过在终端用户的眼睛处投影光，并检测至少一些投影光的返回或反射来识别。增强现实系统100还包括用户方向检测模块130。用户方向模块130检测终端用户50的头部54的即时位置，并且可以基于从传感器接收的位置数据来预测终端用户50的头部54的位置。重要的是，检测终端用户50的头部54的即时位置便于确定终端用户50正在看的特定实际对象，由此提供将为该实际对象生成的特定文本消息的指示，并进一步提供文本消息将被流式传输在其中的文本区域的指示。用户方向模块130还基于从传感器接收的跟踪数据来跟踪终端用户50的眼睛52。

增强现实系统100还包括控制子系统，控制子系统可以采取多种形式中的任何一种。控制子系统包括多个控制器，例如一个或多个微控制器，微处理器或中央处理单元(cpu)，数字信号处理器，图形处理单元(gpu)，其它集成电路控制器，诸如专用集成电路(asic)，可编程门阵列(pga)，例如现场pga(fpga)，和/或可编程逻辑控制器(plu)。

在所示实施例中，增强现实系统100包括中央处理单元(cpu)132、图形处理单元(gpu)134、以及一个或多个帧缓冲器136。cpu132控制整体操作，而gpu134根据存储在远程数据库150中的三维数据来渲染帧(即，将三维场景转化为二维图像)，并将这些帧存储在帧缓冲器136中。尽管未示出，一个或多个附加集成电路可以控制读入帧缓冲器136和/或从帧缓冲器136读出帧以及显示系统104的扫描设备的操作。读入帧缓冲器146和/或从帧缓冲器146读出可以采用动态寻址，例如，在帧被过度渲染的情况下。增强现实系统100还包括只读存储器(rom)138和随机存取存储器(ram)140。增强现实系统100还包括三维数据库142，gpu134可以从三维数据库142访问用于渲染帧的一个或多个场景的三维数据。

增强现实系统100的各种处理部件可以被物理地包含在分布式系统中。例如，如图5a-5d所示，增强现实系统100包括例如通过有线导线或无线连接146可操作地耦接到显示系统104和传感器的本地处理和数据模块144。本地处理和数据模块144可以以各种配置来安装，诸如固定地附接到框架结构102(图5a)，固定地附接到头盔或帽子56(图5b)，嵌入头戴式耳机中，可拆卸地附接到终端用户50的躯干58(图5c)，或者皮带耦接式配置中可拆卸地附接到终端用户50的臀部60(图5d)。增强现实系统100还包括例如通过有线导线或无线连接150、152可操作地耦接到本地处理和数据模块144的远程处理模块148和远程数据库150，以使得这些远程模块148、150可操作地彼此耦接并且作为资源可用于本地处理和数据模块144。

本地处理和数据模块144可以包括低功耗处理器或控制器以及诸如闪速存储器的数字存储器，这两者都可以用于协助处理、高速缓存以及存储从传感器捕获和/或使用远程处理模块148和/或远程数据库150获取和/或处理的数据，可能在这样的处理或检索之后传递给显示系统104。远程处理模块148可包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。远程数据库150可包括相对大规模的数字数据存储设施，其可通过因特网或在“云”资源配置中的其它网络配置来获得。在一个实施例中，在本地处理和数据模块144中存储全部数据并执行全部计算，允许从任何远程模块完全自主的使用。

上述各种部件之间的耦接146、152、154可以包括用于提供导线或光学通信的一个或多个有线接口或端口，或者用于提供无线通信的诸如经由rf、微波和ir的一个或多个无线接口或端口。在一些实施中，全部通信可以是有线的，而在其它实施中，全部通信可以是无线的。在更进一步的实施中，有线和无线通信的选择可以不同于图5a-5d中所示的。因此，有线或无线通信的具体选择不应当被视为限制性的。

在所示实施例中，用户方向模块130包含在本地处理和数据模块144中，而cpu132和gpu134包含在远程处理模块148中，但是在替代实施例中，cpu132、gpu124或其部分可以包含在本地处理和数据模块144中。3d数据库142可以与远程数据库150相关联。

如以上简要讨论的，增强现实系统100在空间上关联与实际对象中的一个相邻的文本区域，生成识别实际对象的至少一个特征的文本消息，并且在文本区域内流式传输文本消息。例如，参照图6a-6c，文本区域200可以在空间上与感兴趣的对象相关联，并且在这种情况下，一杯咖啡20a例如可以是物理的或可以是菜单上的图片的一杯咖啡。在所示实施例中，文本区域200采取直接位于感兴趣对象20a之上的矩形框的形式，但是在替代实施例中，文本区域200可以采取任何合适的形状。在所示实施例中，文本区域200对终端用户50是可见的。可选地，文本区域200对终端用户50可能是不可见的。在一个实施例中，文本区域200链接到感兴趣对象20a，以使得文本区域200与感兴趣对象20a的移动协调地移动(例如，菜单被移动)。也就是说，如果感兴趣对象20a在三维场景内移动，则文本区域200将与感兴趣对象20a一起移动。

增强现实系统100在文本区域200中流式传输文本消息202(例如“coffee、decaf、soy”。如图所示，文本消息202被流式传输，以使得单词“coffee”首先在文本区域200中显示(图6a)，然后单词“decaf”在文本区域200中显示(图6b)，并且最后单词“soy”在文本区域200中显示(图6c)。文本消息202可以以连续循环的形式进行流式传输，以使得单词“coffee”、“decaf”以及“soy”在文本区域200中连续地重复显示(即，“coffee”、“decaf”、“soy”、“coffee”、“decaf”、“soy”等)。

在可选实施例中，文本区域200可以由终端用户50选择性地激活。具体地，文本区域200可以处于默认不激活状态，其中对终端用户不可见，并且然后被激活以允许文本区域200被终端用户50观看。例如，如图7a-7b所示，增强现实系统100可以显示与感兴趣对象20a-20c(图7a)相邻的文本区域指示符204(在这种情况下为箭头)，感测终端用户50的焦点，当终端用户50的焦点与文本区域指示符204一致时(在这种情况下，当终端用户50聚焦在感兴趣对象20a上时)，激活文本区域200(图7b)。

尽管文本消息202被描述为一次显示一个单词，但是应当理解，文本消息202可以一次显示多于一个单词。例如，当文本消息202中的多于两个的相邻单词足够短时，这可能是有用的，以使得它们可以同时在文本区域200中一起显示。

虽然文本消息202已被描述为以使得文本消息202中的至少一个单词不能被终端用户50看到的方式在文本区域200内流式传输，但文本消息202可以在文本区域200内流式传输，以使得一次显示至少两个单词，但只强调显示的单词中的一个。

例如，可以同时显示文本消息202的两个或多个单词，而通过以比其它当前显示的单词更高的亮度强度显示单词中的一个来强调它。例如，如图8a-8c所示，单词“coffee”和“decaf”可以首先在文本区域200中的另一个之上显示一个，其中采用相对较高的亮度强度强调单词“coffee”，并且采用相对较低的亮度强度不强调单词“decaf”(图8a)；然后“coffee”、“decaf”以及“soy”可以在文本区域200中的另一个之上显示一个，其中采用相对较高的亮度强度强调单词“decaf”，并且采用相对较低的亮度强度不强调单词“coffee”和“soy”(图8b)；然后单词“decaf”和“soy”可以在文本区域200中的另一个之上显示一个，其中采用相对较高的亮度强度强调单词“soy”，并且采用相对较低的亮度强度不强调单词“decaf”(图8c)。

作为另一个示例，三维文本区域可以在空间上与感兴趣对象20a相关联，在这种情况下，文本消息202中的单词中的一个可以通过在文本区域200’的前景中显示它而被强调，并且文本消息202的另一个单词或多个单词可以通过在文本区域200'的背景中显示它而不被强调。例如，如图9a-9c所示，单词“coffee”、“decaf”和“soy”可以首先在文本区域200’中的另一个之后显示一个，其中通过在前景显示“coffee”来强调单词“coffee”，并且通过在背景中显示“decaf”和“soy”而不强调单词“decaf”和“soy”(图9a)；然后单词“decaf”和“soy”在文本区域200'中的另一个之后显示一个，其中通过在前景中显示“decaf”来强调单词“decaf”，并且通过在背景中显示“soy”而不强调单词“soy”(图9b)；然后单词“soy”在文本区域200'中单独显示(图9c)。

文本消息202可以可选地以连续循环进行流式传输，以使得单词“coffee”、“decaf”以及“soy”在文本区域200'中连续地重复显示。在这种情况下，如图10a-10c所示，单词“coffee”、“decaf”和“soy”可以首先在文本区域200’中的另一个之后显示一个，其中通过在前景显示“coffee”来强调单词“coffee”，并且通过在背景中显示“decaf”和“soy”而不强调单词“decaf”和“soy”(图10a)；然后单词“decaf”、“soy”和“coffee”可以在文本区域200’中的另一个之后显示一个，其中通过在前景显示“decaf”来强调单词“decaf”，并且通过在背景中显示“soy”和“coffee”而不强调单词“soy”和“coffee”(图10b)；然后单词“soy”、“coffee”和“decaf”可以在文本区域200’中的另一个之后显示一个，其中通过在前景显示“soy”来强调单词“soy”，并且通过在背景中显示“coffee”和“soy”而不强调单词“coffee”和“soy”(图10c)。

值得注意的是，文本区域200'中的文本消息202的单词的重新排序可以离散地执行(即，单词根据有序序列离散地出现和消失)，或者可以连续地执行(即，单词连续地从背景移动到前景中)。此外，尽管通过以不同的亮度强度或以不同的深度显示文本消息202的单词，文本消息202的单词被描述为在文本区域中被强调或不被强调，但是文本消息202的单词可以是通过显示具有比文本消息202的剩余单词更大的字母的单词中的一个来强调或不强调，或者将单词中的一个显示为实体或不透明并且将文本消息202的剩余单词显示为透明或半透明来强调或不强调。

参考图11a-11b，增强现实系统100显示与感兴趣对象20a相邻的姿态参考对象206，这允许来自终端用户50的姿态命令被感测。具体地，终端用户50的解剖部相对于姿态参考对象206的角度位置被感测。在所示实施例中，用姿态表示的终端用户50的解剖部是终端用户50的头部54，并且因此，其中终端用户50的头部54相对于姿态参考对象206被指向的方向被感测。在替代实施例中，姿态参考对象206不显示给终端用户50，而是不可见姿态参考被并入与感兴趣对象20a相同的坐标系中。在这种情况下，其中终端用户50的头部54相对于姿态参考被指向的方向被感测。

在所示实施例中，姿态参考对象206采取完全环绕感兴趣对象20a的圆环的形式。在圆环206的一部分处指向终端用户50的头部54控制文本消息202的流式传输。例如，当终端用户50跨圆环206扫描他或她的头部54时，当头部54在圆环206的一侧208a被指向时，文本消息202的流式传输可以启动；例如圆环206的左侧208a上的点110a(图11a)，并且当头部54在圆环206的相对侧被指向时终止；例如圆环206的右侧208b上的点110b(图11b)。应当理解，尽管扫描方向在图11a-11b示出为从左到右，扫描可以以不同的方向(包括从上到下、从下到上、从右到左)类似地应用于圆环206，以启动并且然后停止文本消息202的流式传输。

作为另一个示例，当终端用户50跨圆环206扫描他或她的头部时，可以控制文本消息202中的每个单词的定时。例如，如图12a-12c所示，圆环206可以被分成多个同心环，在这种情况下，可以是两个同心环206a、206b。当终端用户50从圆环206的外部到内部扫描他或她的头部54时，随着头部54扫描跨过圆环206的外边缘210a，单词“coffee”将显示在文本区域200中(图12a)；随着头部54扫描跨过同心环206a、206b之间的界面210b，单词“decaf”将显示在文本区域200中(图12b)；并且随着头部54扫描跨过圆环206的内边缘210c，单词“soy”将显示在文本区域200中(图12c)。

相反，当终端用户50从圆环206的内部到外部扫描他或她的头部54时，随着头部54扫描跨过圆环206的内边缘210c，单词“soy”将显示在文本区域200中(图12c)；随着头部54扫描跨过同心环206a、206b之间的界面210b，单词“decaf”将显示在文本区域200中(图12b)；并且随着头部54扫描跨过圆环206的外边缘210a，单词“coffee”将显示在文本区域200中(图12a)。

可以理解的是，如果文本消息中的单词的数量大于三，则可以将圆环206分成进一步的同心环，或者如果文本消息中的单词的数量等于二，则可以根本不将圆环206进行切分(即圆环206的内边缘和外边缘将分别触发显示两个单词)。还可以理解的是，从圆环206的外部向内部扫描头部54，向前流式传输文本消息202，并且从圆环206的内部向外部扫描头部54，倒退流式传输文本消息202。还可以理解的是，文本消息202的流式传输速度通过相对快速地跨过圆环206扫描头部54而增加，并且通过相对缓慢地跨过圆环206扫描头部54而减小。在所示的实施例中，流式传输速度调整是头部54扫描跨过触发显示文本消息202的不同单词的边缘210a、210c和界面214b的函数。可选地，不管圆环206是否包括同心环，流式传输速度调整可以简单地是头部54扫描圆环206的速度的函数。例如，参考图11a-11b，跨过圆环206的左侧快速地扫描头部54将使文本消息202相对快速地流式传输，并且跨过圆环206的左侧缓慢地扫描头部54将使文本消息202相对缓慢地流式传输。

应当注意的是，虽然所示实施例中的姿态参考对象206与感兴趣对象20a是分开的并且不同的，但是在替代实施例中，姿态参考对象206可以是实际对象自身。尽管在所示实施例中，姿态命令由终端用户50的头部54执行，但是应当理解的是，终端用户50的其它解剖部可用于发出命令；例如，可以感测终端用户50的手指或手相对于圆环206指向的方向。

增强现实系统100可以以多种方式中的任何一种方式促进流式传输的文本消息的阅读和理解。在一个实施例中，对于具有相对大量单词的文本消息，增强现实系统100可以改变文本消息的单词之间的暂停，以使得一些相邻单词对之间具有相对较短的暂停，并且其它相邻单词对之间有较长的暂停。例如，文本消息可以被分成五个单词组，在每个组中的单词之间放置相对较短的暂停，并且在五个单词组之间放置相对较长的暂停。

在另一个实施例中，增强现实系统100可以感测终端用户50的眼睛52的闪烁，以使得当终端用户50的眼睛52闭合时文本消息202的流式传输暂停，并且当终端用户50的眼睛52打开时文本消息202的流式传输继续。在又一个实施例中，增强现实系统100基于终端用户50和终端用户50正在观看的实际对象之间的距离来调整文本消息的流式传输速度。例如，实际物体设置于其中的焦平面可以被识别，并且如果焦平面相对接近终端用户50，则文本消息的流式传输速度可以被设置为相对快速，并且如果焦平面离终端用户50相对较远，则文本消息的流式传输速度可以被设置为相对缓慢。在另一个实施例中，增强现实系统100生成可听音调(其可以彼此不同或相同)的模式，随着单词的流式传输，可听音调分别在时间上与文本消息中的单词对应。例如，随着每个单词被显示给终端用户50，增强现实系统100生成并向终端用户50发送可听音调。

已经描述了增强现实系统100的结构和功能，现在将参照图13来描述由增强现实系统100执行以将文本消息流式传输到终端用户50的一个方法300。首先，增强现实系统100允许终端用户50可视化周围环境(例如，咖啡店)中的三维场景(步骤302)。这可以例如在“视频透视”显示器中完成，其中，cpu132指示前向照相机128捕获三维场景的图像数据，并指示显示系统104显示捕获的图像数据给终端用户50；或“光学透视”显示器，其中，简单地允许终端用户直接观看来自三维场景的光。

cpu132还指示gpu134从终端用户50的视点来生成虚拟图像数据，并且在该实施例中，根据三维虚拟场景渲染二维虚拟图像数据(步骤304)。在一个实施例中，虚拟图像数据可以基于预测的头部位置来生成，以便例如通过渲染和扭曲虚拟图像数据来最小化任何延迟问题。

然后，cpu132指示显示系统104将虚拟图像数据作为虚拟图像显示给终端用户50，连同周围三维场景一起，创建三维增强场景(步骤306)。cpu132还指示显示系统104在三维增强场景中显示与感兴趣对象22中所选感兴趣对象22相邻的文本区域指示符204(步骤308)。然后，cpu132经由用户方向检测模块130来感测终端用户50的焦点(步骤310)，并且当终端用户50的焦点与文本区域指示符204中的一个一致时，通过指示显示系统104显示与对应于感兴趣对象20a相邻的文本区域200，激活对应于该一个文本区域指示符204的文本区域200(步骤312)。

接下来，cpu132将姿态参考与对应于激活的文本区域200的感兴趣对象20a相关联(步骤314)，并且可选地指示显示系统104将姿态参考显示为与感兴趣对象20a相邻的姿态参考对象206(步骤316)。然后，cpu132经由用户方向检测模块130检测终端用户50的头部54相对于姿态参考对象206的角度位置(步骤318)。当终端用户50的头部54被指向姿态参考对象206时，cpu132然后生成与对应于激活的文本区域200的感兴趣对象20a相关联的特定文本消息202(步骤320)，并且指示显示系统104启动激活的文本区域200内的文本消息202的流式传输(步骤322)。可选地，cpu132经由用户方向检测模块130识别其中设置感兴趣对象20a的焦平面(步骤324)，并且基于所识别的焦平面调整文本消息的流式传输速度(例如，焦平面离终端用户50越远，流式传输速度越慢，以及焦平面离终端用户50越短，流式传输速度越快)(步骤326)。

然后，cpu132经由用户方向检测模块130检测终端用户50的头部54相对于姿态参考对象206的角度位置/速度(例如，头部54在姿态参考对象206上被指向哪或头部54扫描姿态参考对象206多快)(步骤328)。cpu132基于终端用户50的头部54的检测的角度位置/速度来控制文本消息202的流式传输(例如，速度、向前/倒退等)(步骤330)。cpu132经由用户方向检测模块130检测终端用户50的眼睛52的闪烁(步骤332)，并且当眼睛52闭合时，文本消息202的流式传输暂停，并且当眼睛52打开时，文本消息202的流式传输继续(步骤334)。

虽然已经在增强现实系统的上下文中描述了文本消息的生成和流式传输，但是应当理解的是，可以在显示虚拟对象或者不显示虚拟对象的情况下将文本消息流式传输到与感兴趣的实际对象相邻。例如，系统可以简单地用于在周围三维场景中流式传输与感兴趣的实际对象相邻的文本消息。还应当理解的是，虽然文本消息在本文中已经被描述为在使用最简短的文本量简单地提供感兴趣的对象的标签的情况下被流式传输，但是文本消息也可以被用在虚拟图像生成系统中以用于中等文本(例如，信息图表段落)和用于长文本(例如，书籍章节)的情况。

在前面的说明书中，已经参考本发明的具体实施例描述了本发明。然而，显而易见的是，在不脱离本发明的更广泛的精神和范围的情况下，可以对其进行各种修改和变化。例如，参照过程动作的特定顺序来描述上述过程流程。然而，在不影响本发明的范围或操作的情况下，可以改变许多所描述的过程动作的顺序。因此，说明书和附图被认为是说明性的而不是限制性的。