在可穿戴计算系统上操纵和显示图像的制作方法

在可穿戴计算系统上操纵和显示图像的制作方法
【专利摘要】公开了用于在可穿戴计算系统上操纵和显示实时图像和/或照片的示例方法和系统。可穿戴计算系统可提供可穿戴计算系统的真实世界环境的视图。可穿戴计算系统可对真实世界环境的视图的至少一部分实时成像以获得实时图像。可穿戴计算系统可接收与对实时图像的期望操纵相关联的至少一个输入命令。该至少一个输入命令可以是手部姿势。然后，基于接收到的至少一个输入命令，可穿戴计算系统可依据期望操纵来操纵实时图像。在操纵实时图像之后，可穿戴计算系统可在可穿戴计算系统的显示器中显示被操纵的实时图像。
【专利说明】在可穿戴计算系统上操纵和显示图像
[0001]相关申请的交叉引用
[0002]本申请要求于2011年7月20日递交的题为“Method and System forManipulating and Displaying an Image on a Wearable Computing System(用于在可穿戴计算系统上操纵和显示图像的方法和系统)”的第61/509，833号美国临时专利申请和于2011 年 11 月 8 日递交的题为 “Manipulating and Displaying an Image on a WearableComputing System (在可穿戴计算系统上操纵和显示图像)”的第12/291，416号美国专利申请的优先权，这里通过引用并入这些申请中的每一个的全部内容。
【背景技术】
[0003]除非本文另外指出，否则本部分中描述的材料并不是本申请中的权利要求的现有技术，并且并不因为被包括在本部分中就被承认为是现有技术。
[0004]诸如个人计算机、膝上型计算机、平板计算机、蜂窝电话和无数类型的具备联网能力的设备之类的计算设备在现代生活的许多方面中正越来越普遍。随着计算机变得更先进，预期将计算机生成的信息与用户对物理世界的感知相混合的增强现实设备会变得更普遍。

【发明内容】

[0005]在一个方面中，一种示例方法包括:(i)可穿戴计算系统提供可穿戴计算系统的真实世界环境的视图；(ii)对真实世界环境的视图的至少一部分实时成像以获得实时图像；(iii)可穿戴计算系统接收与对实时图像的期望操纵相关联的输入命令；(iv)基于接收到的输入命令，可穿戴计算系统依据期望操纵来操纵实时图像；以及(V)可穿戴计算系统在可穿戴计算系统的显示器中显示被操纵的实时图像。
[0006]在示例实施例中，对图像的期望操纵可从由以下各项构成的组中选择:在实时图像的至少一部分上拉近(zoom in)、在实时图像的至少一部分上平移(pan)、旋转实时图像的至少一部分以及编辑实时图像的至少一部分。
[0007]在示例实施例中，该方法可包括:可穿戴计算系统提供可穿戴计算系统的真实世界环境的视图；(i)对真实世界环境的视图的至少一部分实时成像以获得实时图像；(ii)可穿戴计算系统接收与对实时图像的期望操纵相关联的至少一个输入命令，其中，至少一个输入命令包括识别实时图像的要被操纵的部分的输入命令，其中，识别实时图像的要被操纵的部分的输入命令包括在真实世界环境的一区域中检测到的手部姿势，其中，该区域对应于实时图像的要被操纵的部分；(iii)基于所接收到的至少一个输入命令，可穿戴计算系统依据期望操纵来操纵实时图像；以及(iv)可穿戴计算系统在可穿戴计算系统的显示器中显示被操纵的实时图像。
[0008]在另一方面中，公开了一种非暂态计算机可读介质，其上存储有指令，所述指令响应于被处理器执行而使得该处理器执行操作。根据示例实施例，所述指令包括:(i)用于提供可穿戴计算系统的真实世界环境的视图的指令；(ii)用于对真实世界环境的视图的至少一部分实时成像以获得实时图像的指令；(iii)用于接收与对实时图像的期望操纵相关联的输入命令的指令；(iv)用于基于接收到的输入命令，依据期望操纵来操纵实时图像的指令；以及(V)用于在可穿戴计算系统的显示器中显示被操纵的实时图像的指令。
[0009]在另外一方面中，公开了一种可穿戴计算系统。示例可穿戴计算系统包括:(i)头戴式显示器，其中，头戴式显示器被配置为提供可穿戴计算系统的真实世界环境的视图，其中，提供真实世界环境的视图包括显示由计算机生成的信息并允许对真实世界环境的视觉感知；(ii)成像系统，其中，成像系统被配置为对真实世界环境的视图的至少一部分实时成像以获得实时图像；(iii)控制器，其中，控制器被配置为(a)接收与对实时图像的期望操纵相关联的输入命令，以及(b)基于所接收到的输入命令，依据期望操纵来操纵实时图像；以及(iv)显示系统，其中，显示系统被配置为在可穿戴计算系统的显示器中显示被操纵的实时图像。
[0010]通过阅读在适当时参考附图的以下详细描述，本领域普通技术人员将清楚这些以及其他方面、优点和替换。
【专利附图】

【附图说明】
[0011]图1是依据示例实施例的用于接收、发送和显示数据的可穿戴计算设备的第一视图。
[0012]图2是依据示例实施例的图1的可穿戴计算设备的第二视图。
[0013]图3是依据示例实施例的计算机网络基础设施的简化框图。
[0014]图4是图示根据示例实施例的方法的流程图。
[0015]图5a是根据示例实施例的可穿戴计算系统的真实世界环境的示例视图的图示。
[0016]图5b是根据示例实施例的用于选择实时图像的一部分来操纵的示例输入命令的图示。
[0017]图5c是根据示例实施例的示例的所显示的被操纵的实时图像的图示。
[0018]图5d是根据另一示例实施例的另一示例所显示被操纵实时图像的图示。
[0019]图6a是根据示例实施例的示例手部姿势的图示。
[0020]图6b是根据示例实施例的另一示例手部姿势的图示。
【具体实施方式】
[0021]以下详细描述参考附图描述了所公开的系统和方法的各种特征和功能。在图中，相似的符号一般识别相似的成分，除非上下文另有规定。本文描述的说明性系统和方法实施例并不打算进行限定。将容易理解，所公开的系统和方法的某些方面可按许多种不同的配置来布置和组合，所有这些在本文都已被设想到。
[0022]1.概沭
[0023]可穿戴计算设备可被配置为允许对真实世界环境的视觉感知并且显示与对真实世界环境的视觉感知有关的计算机生成的信息。有利地，计算机生成的信息可与用户对真实世界环境的感知相集成。例如，计算机生成的信息可利用与用户在给定时刻正在感知或经历的东西有关的有用的计算机生成信息或视图来补充用户对物理世界的感知。
[0024]在一些情形中，操纵真实世界环境的视图对于用户可能是有益的。例如，放大真实世界环境的视图的一部分对于用户可能是有益的。例如，用户可能正看着一路标，但用户可能没有足够靠近该路标到能够清楚阅读路标上显示的街道名称。从而，能够在路标上拉近以便清楚阅读街道名称对于用户可能是有益的。作为另一个示例，旋转真实世界环境的视图的一部分对于用户可能是有益的。例如，用户可能正查看具有颠倒的或向着侧面的文本的某个东西。在这种情形中，旋转该视图的一部分使得文本正向直立对于用户可能是有益的。
[0025]本文描述的方法和系统可促进操纵用户对真实世界环境的视图的至少一部分以便实现用户期望的环境的视图。具体地，所公开的方法和系统可依据期望的操纵来操纵真实世界环境的实时图像。示例方法可包括:(i)可穿戴计算系统提供可穿戴计算系统的真实世界环境的视图；(ii)对真实世界环境的视图的至少一部分实时成像以获得实时图像；
(iii)可穿戴计算系统接收与对实时图像的期望操纵相关联的输入命令；(iv)基于接收到的输入命令，可穿戴计算系统依据期望操纵来操纵实时图像；以及(V)可穿戴计算系统在可穿戴计算系统的显示器中显示被操纵的实时图像。
[0026]依据示例实施例，可穿戴计算系统可以以多种方式操纵实时图像。例如，可穿戴计算系统可在实时图像的至少一部分上拉近，在实时图像的至少一部分上平移，旋转实时图像的至少一部分，和/或编辑实时图像的至少一部分。通过提供以这样的方式操纵实时图像的能力，用户可以有益地实时实现用户期望的环境的视图。
[0027]I1.示例系统和设各
[0028]图1图示了用于接收、发送和显示数据的示例系统100。系统100是以可穿戴计算设备的形式示出的。尽管图1图示了眼镜102作为可穿戴计算设备的示例，但可以额外地或可替换地使用其他类型的可穿戴计算设备。如图1中图示的，眼镜102包括框架元件、透镜元件110和112以及延伸侧臂114和116，其中框架元件包括透镜框架104和106以及中央框架支撑108。中央框架支撑108以及延伸侧臂114和116被配置为分别经由用户的鼻子和耳朵将眼镜102固定到用户的脸部。框架元件104、106和108以及延伸侧臂114和116中的每一个可由塑料和/或金属的实心结构形成，或者可由类似材料的中空结构形成，以允许配线和组件互连在内部按一定路线经过眼镜102。透镜元件110和112中的每一个可由能够适当地显示投影的图像或图形的任何材料形成。此外，透镜元件110和112中的每一个的至少一部分也可充分地透明以允许用户看穿透镜元件。结合透镜元件的这两个特征可促进增强现实或抬头显示，其中投影的图像或图形被叠加在用户透过透镜元件感知到的真实世界视图上或者连同该真实世界视图一起来提供。
[0029]延伸侧臂114和116各自是分别从框架元件104和106延伸开的突起物，并且可被定位在用户的耳后以将眼镜102固定到用户。延伸侧臂114和116还可通过绕着用户的头的后部延伸来将眼镜102固定到用户。额外地或可替换地，例如，系统100可连接到头戴式头盔结构或附于头戴式头盔结构内。其他可能性也是存在的。
[0030]系统100还可包括机载计算系统118、视频相机120、传感器122以及手指可操作触摸板124和126。机载计算系统118被示为定位在眼镜102的延伸侧臂114上；然而，机载计算系统118可设在眼镜102的其他部分上或者甚至远离眼镜(例如，计算系统118可无线或有线地连接到眼镜102)。机载计算系统118例如可包括处理器和存储器。机载计算系统118可被配置为接收和分析来自视频相机120、手指可操作触摸板124和126、传感器122 (以及可能来自其他传感设备、用户接口元素或者这两者)的数据并且生成用于输出到透镜元件110和112的图像。
[0031]视频相机120被示为定位在眼镜102的延伸侧臂114上；然而，视频相机120可设在眼镜102的其他部分上。视频相机120可被配置为以各种分辨率或者以不同的帧率捕捉图像。例如，许多具有小外形参数的视频相机——比如蜂窝电话或网络摄像头中使用的那些一可被包含到系统100的示例中。虽然图1图示了一个视频相机120，但可以使用更多视频相机，并且每一个可被配置为捕捉相同的视图，或者捕捉不同的视图。例如，视频相机120可以是前向的以捕捉用户感知到的真实世界视图的至少一部分。这个由视频相机120捕捉到的前向图像随后可用于生成增强现实，其中计算机生成的图像看起来与用户感知到的真实世界视图交互。
[0032]传感器122被示为安装在眼镜102的延伸侧臂116上；然而，传感器122可设在眼镜102的其他部分上。传感器122例如可包括加速度计或陀螺仪中的一个或多个。传感器122内可包括其他感测设备，或者传感器122可执行其他感测功能。
[0033]手指可操作触摸板124和126被示为安装在眼镜102的延伸侧臂114、116上。手指可操作触摸板124和126中的每一个可被用户用来输入命令。手指可操作触摸板124和126可经由电容感测、电阻感测或表面声波过程等等来感测手指的位置和移动中的至少一者。手指可操作触摸板124和126可能够感测在与板表面平行或在同一平面内的方向上、在与板表面垂直的方向上或者在这两个方向上的手指移动，并且还可能够感测施加的压力的水平。手指可操作触摸板124和126可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。手指可操作触摸板124和126的边缘可形成为具有凸起的、凹陷的或粗糙的表面，从而在用户的手指到达手指可操作触摸板124和126的边缘时向用户提供触觉反馈。手指可操作触摸板124和126中的每一个可被独立操作，并且可提供不同的功能。另外，系统100可包括被配置为从用户接收语音命令的麦克风。此外，系统100可包括允许各种类型的外部用户接口设备连接到可穿戴计算设备的一个或多个通信接口。例如，系统100可被配置用于与各种手持键盘和/或指点设备的连通。
[0034]图2图示了图1的系统100的替换视图。如图2中所示，透镜元件110和112可充当显示元件。眼镜102可包括第一投影仪128，该第一投影仪128耦合到延伸侧臂116的内表面并且被配置为将显示130投影到透镜元件112的内表面上。额外地或可替换地，第
二投影仪132可耦合到延伸侧臂114的内表面并被配置为将显示134投影到透镜元件110的内表面上。
[0035]透镜元件110和112可充当光投影系统中的组合器并且可包括涂层，该涂层反射从投影仪128和132投影到其上的光。或者，投影仪128和132可以是与用户的视网膜直接交互的扫描激光设备。
[0036]在替换实施例中，也可使用其他类型的显示元件。例如，透镜元件110、112本身可包括:诸如电致发光显示器或液晶显示器之类的透明或半透明的矩阵显示器，用于将图像输送到用户的眼睛的一个或多个波导，或者能够将焦点对准的近眼图像输送到用户的其他光学元件。相应的显示驱动器可布置在框架元件104和106内以用于驱动这种矩阵显示器。可替换地或额外地，可以用激光或LED源和扫描系统来将光栅显示直接绘制到用户的一只或两只眼睛的视网膜上。其他可能性也是存在的。[0037]图3图示了计算机网络基础设施的示例示意图。在示例系统136中，设备138能够利用通信链路140 (例如，有线或无线连接)与远程设备142通信。设备138可以是任何类型的可接收数据并显示与数据相对应或相关联的信息的设备。例如，设备138可以是抬头显示系统，比如参考图1和图2描述的眼镜102。
[0038]设备138可包括显不系统144,显不系统144包括处理器146和显不器148。显示器148例如可以是光学透视显示器(optical see-through display)、光学环视显示器(optical see-around display)或视频透视显示器。处理器146可从远程设备142接收数据，并且将该数据配置用于在显示器148上显示。处理器146可以是任何类型的处理器，诸如例如微处理器或数字信号处理器。
[0039]设备138还可包括机载数据存储装置，比如耦合到处理器146的存储器150。存储器150例如可存储可被处理器146访问和执行的软件。
[0040]远程设备142可以是被配置为向设备138发送数据的任何类型的计算设备或发送器，包括膝上型计算机、移动电话等等。远程设备142也可以是服务器或服务器的系统。远程设备142和设备138可包含用于使能通信链路140的硬件，比如处理器、发送器、接收器，
天线等等。
[0041]在图3中，通信链路140被图示为无线连接；然而，也可使用有线连接。例如，通信链路140可以是经由诸如通用串行总线之类的串行总线或者并行总线的有线链路。有线连接也可以是专有连接。通信链路140也可以是使用例如蓝牙?无线电技术、IEEE802.11(包括任何IEEE802.11修订版)中描述的通信协议、蜂窝技术(比如GSM、CDMA、UMTS、EV_DO、WiMAX或LTE)或紫蜂⑧技术等等的无线连接。远程设备142可经由因特网来访问并且例如可对应于与特定的web服务(例如，社交网络、照片共享、地址簿，等等)相关联的计算集群。
[0042]II1.示范件方法
[0043]示范性方法可包括比如系统100这样的可穿戴计算系统以期望的方式操纵用户对真实世界环境的视图。图4是图示根据示例实施例的方法的流程图。更具体而言，示例方法400包括可穿戴计算系统提供可穿戴计算系统的真实世界环境的视图，如块402所示。可穿戴计算系统可对真实世界环境的视图的至少一部分实时成像以获得实时图像，如块404所示。另外，可穿戴计算系统可接收与对实时图像的期望操纵相关联的输入命令，如块406所示。
[0044]基于接收到的输入命令，可穿戴计算系统可依据期望操纵来操纵实时图像，如块408所示。可穿戴计算系统随后可在可穿戴计算系统的显示器中显示被操纵的实时图像，如块410所示。虽然示范性方法400被以示例方式描述为由可穿戴计算系统100执行，但应当理解示例方法可由可穿戴计算设备与一个或多个其他实体相结合来执行，所述其他实体比如是与可穿戴计算系统通信的远程服务器。
[0045]参考图3，设备138可执行方法400的步骤。具体地，方法400可对应于由处理器146在执行非暂态计算机可读介质中存储的指令时执行的操作。在示例中，非暂态计算机可读介质可以是存储器150的一部分。非暂态计算机可读介质上可存储有指令，所述指令响应于被处理器146执行而使得处理器146执行各种操作。所述指令可包括:(i)用于提供可穿戴计算系统的真实世界环境的视图的指令；(ii)用于对真实世界环境的视图的至少一部分实时成像以获得实时图像的指令；(iii)用于接收与对实时图像的期望操纵相关联的输入命令的指令；(iv)用于基于接收到的输入命令依据期望操纵来操纵实时图像的指令；以及(V)用于在可穿戴计算系统的显示器中显示被操纵的实时图像的指令。
[0046]A.提供可穿戴计算系统的真实世界环境的视图
[0047]如上所叙述的，在块402，可穿戴计算系统可提供可穿戴计算系统的真实世界环境的视图。如上所叙述的，参考图1和图2，可穿戴计算系统的显示器148例如可以是光学透视(see-through)显示器、光学环视(see-around)显示器或视频透视显示器。这样的显示器可允许用户感知可穿戴计算系统的真实世界环境的视图并且还可能够显示看起来与用户感知到的真实世界视图交互的计算机生成图像。具体地，“透视”可穿戴计算系统可在透明表面上显示图形，以使得用户看到覆盖在物理世界上的图形。另一方面，“环视”可穿戴计算系统可通过将不透明显示器放置得靠近用户的眼睛来将图形覆盖在物理世界上，以便利用用户的双眼之间的视觉共享并且产生显示是用户看到的世界的一部分的效果。
[0048]在一些情形中，修改或操纵所提供的真实世界环境的视图的至少一部分对于用户可能是有益的。通过操纵所提供的真实世界环境的视图，用户将能够以期望的方式控制用户对真实世界的感知。因此，依据示范性实施例的可穿戴计算系统向用户提供了可使得用户对真实世界的视图对于用户的需求更有用的功能。
[0049]真实世界环境504的示例提供视图502在图5a中示出。具体地，此示例说明了当可穿戴计算系统的用户在驾驶汽车并且正接近一红灯506时该用户看到的视图502。邻近红灯506的是路标508。在一示例中，路标可能离用户太远以至于用户不能清楚辨认出路标508上显示的街道名称510。在路标508上拉近以便阅读路标508上显示了什么街道名称510，对于用户可能是有益的。从而，诊据示范性实施例，用户可输入一个或多个输入命令以指示可穿戴计算系统操纵该视图以使得用户能够阅读街道名称510。示例输入命令和期望的操纵在接下来的小节中描述。
[0050]B.获得真实世界视图的至少一部分的实时图像、接收与期望操纵相关联的输入命令并且操纵实时图像
[0051]为了操纵真实世界环境的视图，可穿戴计算系统可在块404对真实世界环境的视图的至少一部分实时成像以获得实时图像。可穿戴计算系统随后可依据用户期望的操纵来操纵实时图像。具体地，在块406，可穿戴计算系统可接收与对实时图像的期望操纵相关联的输入命令，并且在块408，可穿戴计算系统可依据该期望操纵来操纵实时图像。通过获得真实世界环境的视图的至少一部分的实时图像并且操纵该实时图像，用户可以选择性地实时补充用户对真实世界的视图。
[0052]在一示例中，对真实世界环境的视图的至少一部分实时成像以获得实时图像的步骤404发生在用户输入与对实时图像的期望操纵相关联的命令之前。例如，视频相机120可在取景器模式中操作。从而，相机可连续地对真实世界环境的至少一部分成像以获得实时图像，并且可穿戴计算系统可在可穿戴计算系统的显示器中显示该实时图像。
[0053]然而，在另一示例中，可穿戴计算系统可在可穿戴计算系统对真实世界环境的视图的至少一部分实时成像以获得实时图像之前接收与对实时图像的期望操纵(例如，拉近)相关联的输入命令。在这种示例中，输入命令可发起视频相机在取景器模式中操作以获得真实世界环境的视图的至少一部分的实时图像。用户可向可穿戴计算系统指出用户想要操纵用户的真实世界视图502的哪个部分。可穿戴计算系统随后可确定与用户的真实世界视图相关联的实时图像的那部分是什么。
[0054]在另一示例中，用户可能正在查看实时图像(例如，来自相机的取景器可能正在向用户显示实时图像)。在这种情况下，用户可以指示可穿戴计算系统用户想要操纵实时图像的哪个部分。
[0055]可穿戴计算系统可被配置为从用户接收指出对图像的期望操纵的输入命令。具体地，该输入命令可指示可穿戴计算系统如何操纵用户的视图的至少一部分。此外，该输入命令可指示可穿戴计算系统用户想要操纵该视图的哪个部分。在一示例中，单个输入命令既可指示可穿戴计算系统(i)要操纵视图的哪个部分，又可指示(ii)如何操纵所识别的部分。然而，在另一示例中，用户可输入第一输入命令来识别要操纵视图的哪个部分，并且输入第二输入命令来指出如何操纵所识别的部分。可穿戴计算系统可被配置为以多种方式从用户接收输入命令，这些方式的示例在下文论述。
[0056]1.示例触摸板输入命令
[0057]在一示例中，用户可经由可穿戴计算系统的触摸板——比如触摸板124或触摸板126——来输入输入命令。用户可以以各种方式与触摸板交互以便输入用于操纵图像的命令。例如，用户可在触摸板上执行捏拉缩放(Pinch-zoom)动作以在图像上拉近。视频相机可配备有光学变焦能力和数字变焦能力两者，视频相机利用这些能力来在图像上拉近。
[0058]在一示例中，当用户执行捏拉缩放动作时，可穿戴计算系统朝着实时图像的中心拉近给定量(例如，2X倍率、3X倍率等等)。然而，在另一示例中，不是朝着图像的中心拉近，而是用户可指示系统朝着实时图像的特定部分拉近。用户可以以多种方式来指出要操纵(例如拉近)的图像的特定部分，并且指出要操纵图像的哪个部分的示例在下文论述。
[0059]作为另一示例触摸板输入命令，用户可在触摸板用两根手指作出转动动作。可穿戴计算系统可将这样的输入命令等同为将图像旋转给定度数(例如，与用户转动手指的度数相对应的度数)的命令。作为另一示例触摸板输入命令，可穿戴计算系统可将触摸板上的双叩击等同为在图像上拉近预定量(例如，2x倍率)的命令。作为又一个示例，可穿戴计算系统可将触摸板上的三叩击等同为在图像上拉近另一预定量(例如，3x倍率)的命令。
[0060]i1.示例姿势输入命令
[0061]在另一示例中，用户可通过利用给定姿势(例如，手部运动)来输入操纵图像的命令。因此，可穿戴计算系统可被配置为跟踪用户的姿势。例如，用户可在可穿戴计算系统前方进行手部运动，比如在真实世界环境的区域周围形成边界。例如，用户可圈出用户想要操纵(例如，拉近)的区域。在圈出该区域之后，可穿戴计算系统可以以期望的方式操纵圈出的区域(例如，在圈出的区域上拉近给定量)。在另一示例中，用户可在用户想要操纵的区域周围形成框(例如，矩形框)。用户可用单手或用双手形成边界。另外，所述边界可以是多种形状(例如，圆形或基本为圆形的边界；矩形或基本为矩形的边界；等等)。
[0062]为了检测用户的姿势，可穿戴计算系统可包括姿势跟踪系统。依据一实施例，姿势跟踪系统可跟踪并分析各种移动，比如手部移动和/或附于用户手部的物体(例如，诸如戒指之类的物体)或者握在用户手中的物体(例如，诸如手写笔之类的物体)的移动。
[0063]姿势跟踪系统可以以多种方式跟踪并分析用户的姿势。在一示例中，姿势跟踪系统可包括视频相机。例如，姿势跟踪系统可包括视频相机120。这种姿势跟踪系统可记录与用户的姿势有关的数据。此视频相机可以是与用于捕捉真实世界的实时图像的那个相机相同的视频相机。可穿戴计算系统可分析记录的数据以便确定姿势，随后可穿戴计算系统可识别出哪个操纵与所确定的姿势相关联。可穿戴计算系统可执行光流分析以便跟踪并分析用户的姿势。为了执行光流分析，可穿戴计算系统可分析所获得的图像以确定用户是否在作出手部姿势。具体地，可穿戴计算系统可分析图像帧以确定帧中什么在移动以及什么没有在移动。系统还可分析图像帧以确定用户正在作出的手部姿势的类型(例如，形状)。为了确定手部姿势的形状，可穿戴计算系统可执行形状识别分析。例如，可穿戴计算系统可识别手部姿势的形状并将所确定的形状与各种手部姿势形状的数据库中的形状相比较。
[0064]在另一示例中，手部姿势检测系统可以是激光二极管检测系统。例如，手部姿势检测系统可以是基于衍射图样来检测手部姿势的类型的激光二极管系统。在此示例中，激光二极管系统可包括被配置为产生给定衍射图样的激光二极管。当用户执行手部姿势时，手部姿势可中断该衍射图样。可穿戴计算系统可分析中断的衍射图样以便确定手部姿势。在一示例中，传感器122可包括激光二极管检测系统。另外，激光二极管系统可放置在可穿戴计算系统上的任何适当位置。
[0065]可替换地，手部姿势检测系统可包括闭环激光二极管检测系统。这种闭环激光二极管检测系统可包括激光二极管和光子检测器。在此示例中，激光二极管可发出光，该光随后可从用户的手反射回到激光二极管检测系统。光子检测器随后可检测到反射的光。基于反射的光，系统可确定手部姿势的类型。
[0066]在另一示例中，姿势跟踪系统可包括被配置为识别用户的姿势的扫描仪系统(例如，具有激光扫描镜的3D扫描仪系统)。作为又一个示例，手部姿势检测系统可包括红外相机系统。红外相机系统可被配置为检测来自手部姿势的移动并且可分析该移动以确定手部姿势的类型。
[0067]作为一具体操纵示例，参考图5b，用户可能想要在路标508上拉近以便获得更好的路标508中显示的街道名称510的视图。用户可作出手部姿势以圈出路标508周围的区域520。用户可在可穿戴计算机前方并且在用户对真实世界环境的视图中作出此画圈手部姿势。如上所论述的，可穿戴计算系统随后可对真实世界环境的与用户圈出的区域相对应的至少一部分成像或者已经有了该部分的图像。可穿戴计算系统随后可识别实时图像的与视图502的圈出区域520相对应的区域。计算系统随后可在实时图像的该部分上拉近并且显示实时图像的被拉近部分。例如，图5c示出了所显示的被操纵(例如，被放大)的部分540。所显示的被放大部分540极详细地示出了路标508,从而使得用户能够容易地阅读街道名称510。
[0068]在一示例中，圈出区域520可以是仅仅识别出真实世界视图或实时图像中用户想要操纵的的部分的输入命令。用户随后可输入第二命令来指出期望的操纵。例如，在圈出区域520之后，为了在部分520上拉近，用户可捏拉缩放或叩击(例如双叩击、三叩击等等)触摸板。在另一示例中，用户可输入语音命令(例如，用户可以说出“放大”)以指示可穿戴计算系统在区域520上拉近。另一方面，在另一示例中，圈出区域520的动作可充当既指出
(i)要操纵视图的哪个部分、又指出(ii)如何操纵所识别的部分的输入命令。例如，可穿戴计算系统可将用户圈出视图的一区域视为拉近到圈出的区域中的命令。其他手部姿势可指出其他期望操纵。例如，可穿戴计算系统可将用户在给定区域周围绘出一方形视为将该给定区域旋转90度的命令。其他示例输入命令也是可能的。图6a和图6b描绘了可穿戴计算系统可检测的示例手部姿势。具体地，图6a描绘了真实世界视图602，其中用户在真实世界环境的一区域中利用手604和606作出手部姿势。该手部姿势是形成一矩形框，该矩形框形成真实世界环境的一部分610周围的边界608。另外，图6b描绘了真实世界视图620，其中用户利用手622作出手部姿势。该手部姿势是用户的手622的画圈运动(开始于位置(I)并朝着位置(4)移动)，并且该姿势形成真实世界环境的一部分626周围的椭圆边界624。在这些示例中，所形成的边界包围真实世界环境中的一区域，并且实时图像的要被操纵的部分可对应于所包围的区域。例如，参考图6a，实时图像的要被操纵的部分可对应于被包围的区域610。类似地，参考图6b，实时图像的要被操纵的部分可对应于被包围的区域626。
[0069]如上所叙述的，手部姿势还可识别出期望的操纵。例如，手部姿势的形状可指出期望的操纵。例如，可穿戴计算系统可将用户圈出视图的一区域视为拉近到所圈出的区域中的命令。作为另一示例，手部姿势可以是捏拉缩放手部姿势。捏拉缩放手部姿势可用于既指出用户想要拉近的区域，又指出用户想要在该区域上拉近。作为又一个示例，期望的操纵可以是在实时图像的至少一部分上平移。在这种情况下，手部姿势可以是挥扫手部运动，其中挥扫手部运动识别期望的平移的方向。挥扫手部姿势可包括看起来像两指滚动的手部姿势。作为又一个示例，期望的操纵可以是旋转实时图像的给定部分。在这种情况下，手部姿势可包括(i )在真实世界环境中的一区域周围形成边界，其中，实时图像的要被操纵的给定部分对应于被包围的区域，以及(ii)在期望旋转的方向旋转所形成的边界。指出期望的操纵和/或要操纵的图像的部分的其他示例手部姿势也是可能的。
[0070]ii1.确定用户所聚焦的区域
[0071]在另一示例实施例中，可穿戴计算系统可通过确定用户正聚焦于其上的图像区域来确定要操纵实时图像的哪个区域。从而，可穿戴计算系统可被配置为识别真实世界视图或实时图像中的用户所聚焦的区域。为了确定用户正聚焦在图像的哪个部分上，可穿戴计算系统可配备有眼睛跟踪系统。能够确定用户所聚焦的图像区域的眼睛跟踪系统是本领域公知的。给定的输入命令可与对用户所聚焦的区域的给定操纵相关联。例如，触摸板上的
三叩击可与放大用户所聚焦的区域相关联。作为另一示例，语音命令可与对用户所聚焦的区域的给定操纵相关联。
[0072]iv.示例语音输入命令
[0073]在又一示例中，用户可基于指出要操纵什么区域的语音命令来识别要操纵的区域。例如，参考图5a，用户可以简单地说出“在路标上拉近”。可穿戴计算系统一一可能联合外部服务器——可分析实时图像(或者可替换地基于实时图像的静止图像)以识别路标在图像中的何处。在识别出路标之后，系统可操纵图像以在路标上拉近，如图5c中所示。
[0074]在一示例中，基于语音命令可能不清楚要操纵什么区域。例如，可穿戴计算系统可在其上拉近的路标可能有两个或更多个。在这种示例中，系统可拉近到所有这些路标中。可替换地，在另一示例中，系统可向用户发送消息以询问用户想要在哪个路标上缩放。
[0075]V.示例远程设备输入命令
[0076]在又一个示例中，用户可经由远程设备输入操纵图像的输入命令。例如，关于图3，用户可使用远程设备142来执行图像的操纵。例如，远程设备142可以是具有触摸屏的电话，其中该电话与可穿戴计算系统无线地配对。远程设备142可显示实时图像，并且用户可使用触摸屏来输入操纵该实时图像的输入命令。远程设备和/或可穿戴计算系统随后可依据(一个或多个)输入命令来操纵图像。在图像被操纵之后，可穿戴计算系统和/或远程设备可显示被操纵的图像。除了无线电话以外，其他示例远程设备也是可能的。
[0077]应当理解，上述输入命令和用于跟踪或识别输入命令的方法只打算作为示例。其他输入命令和用于跟踪输入命令的方法也是可能的。
[0078]C.在可穿戴计算系统的显示器中显示被操纵的图像
[0079]在以期望的方式操纵实时图像之后，可穿戴计算设备可在可穿戴计算系统的显示器中显示被操纵的实时图像，如块410所示。在一示例中，可穿戴计算系统可将被操纵的实时图像覆盖在用户对真实世界环境的视图上。例如，图5c描绘了所显示的被操纵实时图像540。在此示例中，所显示的被操纵实时图像被覆盖在路标510上。在另一示例中，所显示的被操纵实时图像可被覆盖在用户的真实世界视图的另一部分上，比如被覆盖在在用户的真实世界视图的外围上。
[0080]D.实时图像的其他示例操纵
[0081]除了在图像的期望部分上拉近以外，对实时图像的其他操纵也是可能的。例如，其他示例可能操纵包括平移图像、编辑图像和旋转图像。
[0082]例如，在在图像的一区域上拉近之后，用户可平移图像以看到被拉近的部分周围的区域。参考图5a，邻近路标508的可以有用户不能阅读的某种类型的另一标志514。用户随后可指示可穿戴计算系统平移被拉近的实时图像540。图5d描绘了被平移的图像542 ；这个被平移的图像542揭示了另一路标514的细节，以便用户可以清楚地阅读路标514的文本。有益地，通过在被拉近的部分周围平移，用户将不需要指示可穿戴计算系统拉远然后又在图像的邻近部分上拉近。实时平移图像的能力从而可在实时操纵图像时节省用户的时间。
[0083]为了在图像上平移，用户可输入各种输入命令，比如触摸板输入命令、姿势输入命令和/或语音输入命令。作为示例触摸板输入命令，用户可在用户想要在图像上平移的方向上、在触摸板上作出挥扫运动。作为示例姿势输入命令，用户可在用户视图的用户想要平移的区域上用用户的手部作出挥扫姿势(例如，从左向右移动手指)。在一示例中，挥扫姿势可包括两指滚动。
[0084]作为示例语音输入命令，用户可以大声说出“平移图像”。另外，用户可给出具体的平移指示，例如“平移路标”、“向右平移两英尺”和“向上平移三英寸”。从而，用户可以以期望的具体度来指示可穿戴计算系统。应当理解，上述输入命令只打算作为示例，而其他输入命令和输入命令的类型也是可能的。
[0085]作为另一示例，用户可通过调整图像的对比度来编辑图像。例如，如果图像昏暗并且由于图像的昏暗难以解读细节，则编辑图像可能是有益的。为了旋转图像，用户可输入各种输入命令，比如触摸板输入命令、姿势输入命令和/或语音输入命令。例如，用户可以大声说出“增大图像的对比度”。其他示例也是可能的。
[0086]作为另一示例，如果需要，用户可旋转图像。例如，用户可能正看着颠倒的或向着侧面的文本。用户随后可旋转图像使得该文本正向直立。为了旋转图像，用户可输入各种输入命令，比如触摸板输入命令、姿势输入命令和/或语音输入命令。作为示例触摸板输入命令，用户可在触摸板上用用户的手指作出转动动作。作为示例姿势输入命令，用户可识别要旋转的区域，然后作出与期望的旋转量相对应的转动或扭曲动作。作为示例语音输入命令，用户可大声说出“将图像旋转X度”，其中X是期望的旋转度数。应当理解，上述输入命令只打算作为示例，而其他输入命令和输入命令的类型也是可能的。
[0087]E.照片的操纵和显示
[0088]除了操纵实时图像并显示被操纵的实时图像以外，可穿戴计算系统还可被配置为操纵照片并且利用被操纵的照片来补充用户对物理世界的视图。
[0089]可穿戴计算系统可拍摄给定图像的照片，并且可穿戴计算系统可在可穿戴计算系统的显示器中显示该照片。用户随后可根据需要操纵该照片。操纵照片在许多方面可与操纵实时图像类似。从而，以上论述的关于操纵实时图像的许多可能性对于操纵照片也是可能的。对于流式视频也可执行类似的操纵。
[0090]操纵照片并且在用户对物理世界的视图中显示被操纵的照片可基本上实时地发生。操纵静止图像时的延迟可稍长于操纵实时图像时的延迟。然而，因为静止图像可具有比实时图像更高的分辨率，所以静止图像的分辨率可以有益地更大。例如，如果用户在在实时图像上拉近时不能实现期望的放大质量，则用户可指示计算系统改为操纵该视图的照片以便改善放大质量。
[0091]IV.结论
[0092]应当理解，本文描述的布置只是为了示例。这样，本领域技术人员将会明白，可以改为使用其他布置和其他元素(例如，机器、接口、功能、顺序和功能的分组等等)，并且根据期望的结果可以完全省略一些元素。另外，所描述的元素中许多是可按任何适当的组合和位置实现为分立或分布的组件或者与其他组件结合实现的功能实体。
[0093]应当理解，对于本文论述的系统和方法收集和/或使用关于用户的任何个人信息或者可能与用户的个人信息有关的信息的情形，可以向用户提供选择参与或不参与涉及这种个人信息(例如，关于用户的偏好的信息)的项目或特征的机会。此外，在存储或使用某些数据之前，可通过一种或多种方式使其匿名，从而去除个人可识别信息。例如，可以隐匿用户的身份，从而不能对用户确定个人可识别信息，并且从而任何所识别的用户偏好或用户交互都是一般化的(例如，基于用户人口统计资料来一般化的)，而不是与特定用户相关联的。
[0094]尽管本文已公开了各种方面和实施例，但本领域技术人员将会清楚其他方面和实施例。本文公开的各种方面和实施例是为了说明，而并不打算进行限定，真实的范围和精神由权利要求以及这种权利要求所应享有的完整等同范围来指出。还要理解，本文使用的术语只是为了描述特定实施例，而并不打算进行限定。
【权利要求】
1.一种方法，包括: 可穿戴计算系统，提供所述可穿戴计算系统的真实世界环境的视图； 对所述真实世界环境的视图的至少一部分实时成像以获得实时图像； 所述可穿戴计算系统接收与对所述实时图像的期望操纵相关联的至少一个输入命令，其中，所述至少一个输入命令包括识别所述实时图像的要被操纵的部分的输入命令，其中，识别所述实时图像的要被操纵的部分的输入命令包括在所述真实世界环境的一区域中检测到的手部姿势，其中，所述区域对应于所述实时图像的要被操纵的部分； 基于所接收到的所述至少一个输入命令，所述可穿戴计算系统依据所述期望操纵来操纵所述实时图像；以及 所述可穿戴计算系统在所述可穿戴计算系统的显示器中显示被操纵的实时图像。
2.如权利要求1所述的方法，其中，所述手部姿势还识别所述期望操纵。
3.如权利要求1所述的方法，其中，所述手部姿势形成边界。
4.如权利要求3所述的方法，其中，所述边界包围所述真实世界环境中的一区域，并且其中，所述实时图像的要被操纵的部分对应于被包围的区域。
5.如权利要求4所述的方法，其中，所述手部姿势的形状识别所述期望操纵。
6.如权利要求3所述的方 法，其中，所述边界是从由基本为圆形的边界和基本为矩形的边界构成的组中选择的。
7.如权利要求1所述的方法，其中，所述手部姿势包括捏拉缩放手部姿势。
8.如权利要求1所述的方法，其中，所述期望操纵是从由以下各项构成的组中选择的:在所述实时图像的至少一部分上拉近、在所述实时图像的至少一部分上平移、旋转所述实时图像的至少一部分以及编辑所述实时图像的至少一部分。
9.如权利要求1所述的方法，其中，所述期望操纵是在所述实时图像的至少一部分上平移，并且其中，所述手部姿势包括挥扫手部运动，其中，所述挥扫手部运动识别期望平移的方向。
10.如权利要求1所述的方法，其中，所述期望操纵是旋转所述实时图像的给定部分，并且其中，所述手部姿势包括(i)在所述真实世界环境中的一区域周围形成边界，其中，所述实时图像的要被操纵的给定部分对应于被包围的区域，和(ii )在期望旋转的方向上旋转所形成的边界。
11.如权利要求1所述的方法，其中，所述可穿戴计算系统接收与对所述实时图像的期望操纵相关联的至少一个输入命令包括: 手部姿势检测系统接收与所述手部姿势相对应的数据； 所述手部姿势检测系统分析接收到的数据以确定所述手部姿势。
12.如权利要求11所述的方法，其中，所述手部姿势检测系统包括被配置为检测所述手部姿势的激光二极管系统。
13.如权利要求11所述的方法，其中，所述手部姿势检测系统包括从由视频相机和红外相机构成的组中选择的相机。
14.如权利要求1所述的方法，其中，所述至少一个输入命令还包括语音命令，其中，所述语音命令识别对所述实时图像的期望操纵。
15.如权利要求1所述的方法，其中，对所述真实世界环境的视图的至少一部分实时成像以获得实时图像包括视频相机在取景器模式中操作以获得实时图像。
16.如权利要求1所述的方法，其中，在所述可穿戴计算系统的显示器中显示被操纵的实时图像包括把被操纵的实时图像覆盖在所述可穿戴计算系统的真实世界环境的视图上。
17.一种非暂态计算机可读介质，其上存储有指令，所述指令响应于被处理器执行而使得该处理器执行操作，所述指令包括: 用于提供可穿戴计算系统的真实世界环境的视图的指令； 用于对所述真实世界环境的视图的至少一部分实时成像以获得实时图像的指令； 用于接收与对所述实时图像的期望操纵相关联的至少一个输入命令的指令，其中，所述至少一个输入命令包括识别所述实时图像的要被操纵的部分的输入命令，其中识别所述实时图像的要被操纵的部分的输入命令包括在所述真实世界环境的一区域中检测到的手部姿势，其中，所述区域对应于所述实时图像的要被操纵的部分； 用于基于所接收到的所述至少一个输入命令，依据所述期望操纵来操纵所述实时图像的指令；以及 用于在所述可穿戴计算系统的显示器中显示被操纵的实时图像的指令。
18.一种可穿戴计算系统，包括: 头戴式显示器，其中，所述头戴式显示器被配置为提供所述可穿戴计算系统的真实世界环境的视图，其中，提供所述真实世界环境的视图包括显示由计算机生成的信息并允许对所述真实世界环境的视觉感知； 成像系统，其中，所述成像系统被配置为对所述真实世界环境的视图的至少一部分实时成像以获得实时图像； 控制器，其中，所述控制器被配置为(i )接收与对所述实时图像的期望操纵相关联的至少一个输入命令，以及(ii)基于所接收到的所述至少一个输入命令，依据所述期望操纵来操纵所述实时图像，其中，所述至少一个输入命令包括识别所述实时图像的要被操纵的部分的输入命令，其中，识别所述实时图像的要被操纵的部分的输入命令包括在所述真实世界环境的一区域中检测到的手部姿势，其中，所述区域对应于所述实时图像的要被操纵的部分；以及 显示系统，其中所述显示系统被配置为在所述可穿戴计算系统的显示器中显示被操纵的实时图像。
19.如权利要求18所述的可穿戴计算系统，还包括手部姿势检测系统，其中，所述手部姿势检测系统被配置为检测手部姿势。
20.如权利要求19所述的可穿戴计算系统，其中，所述手部姿势检测系统包括激光二极管。
【文档编号】G02B27/01GK103814343SQ201280045891
【公开日】2014年5月21日 申请日期:2012年7月10日 优先权日:2011年7月20日
【发明者】X.苗, M.J.海因里希 申请人:谷歌公司