促进电子消息相关的进程和功能的电子消息指令；促进Web浏览相关的进程和功能的Web浏览指令；促进媒体处理相关的进程和功能的媒体处理指令；促进GPS和导航相关的进程和指令的GPS和导航指令；促进相机相关的进程和功能的相机指令；促进其他相关的进程和功能的其他软件指令；和/或促进诊断进程和功能的诊断指令。存储器也可存储数据，包括但不限于，粗信息、位置(兴趣点)、个人简档、文档、图像、视频文件、音频文件，及其他数据。可使用已知方法，诸如结构化或相对数据库，来存储和访问信息。
[0080]图10的便携式设备220是眼镜或护目镜的配置的替换实施例，并包括GPS和片式天线232、微处理器、和GPU 234、相机222，以及无线电236。诸如方向性垫224之类的控件位于侧架(未示的出相对侧)。除控制垫224之外或代替它，可使用由处理器234运行的麦克风和语音命令，或手势命令。电池存储在隔室242中。显示器是透明IXDJn 244处所示。传感器246，248优选地与诸如TOF相机、结构化光相机，或LIDAR之类的深度相机相关联，如此处所描述的。可另选地，两个传感器都可包括全光相机。类似的设备的示例有:由美国麻塞诸塞州Westwood的MicroOptical Corp.制造的MyVue耳机(参见例如，美国专利 N0.6，879，443)，纽约 Rochester Vuzix Corporat1n 所提供的 Vuzix Wrap 920AR、1200VR, Smart Glasses MlOO和Tac-Eye LT。使用南加利福尼亚州的Occulus VR所提供的Occulus Rift头戴式显示器(HMD)，可获得更加身临其境的体验。这样的身临其境虚拟现实HMD在某些应用中是有利的，术语“眼镜”或“护目镜”当用于本申请中时旨在包括这样的身临其境HMD。
[0081]使用诸如图10的实施例之类的可佩带的眼镜的特别的好处是能够包括增强的现实消息和信息，例如，兴趣点重叠到“现实的”背景中。当然，使用一个或多个相机140，141，142，143，146或148，也可和图4_9的便携式设备10 —起使用增强的现实。在高尔夫球示例中，戴眼镜220的高尔夫球手可看到AR消息和赛程(course)信息，并有选择地突出显示特定消息和相对于该消息的额外的信息(例如，Iayup区域、用于球棒选择的风、下一最佳球棒选择、其他高尔夫球手比赛轮(round)的状态等等)。参见，例如，美国专利N0.7,002，551 ;6，919，867 ;7，046，214 ;6，945，869 ;6，903，752 ;6，317，127 (通过引用结合至此)。
[0082]诸如图10的实施例的可佩带的眼镜的另一优点在于能够通过使用手势接口来轻松地控制眼镜220或任何系绳智能电话。即，除眼镜220上的按钮或键之外，或作为它们的替代方案或使用语音命令，也可使用姿势来控制眼镜220的操作。可被相机或传感器中的任何一个识别这样的姿势，取决于应用。深度相机(诸如Kinect或Claris)证明特别适用于手势接口中。然而，诸如RGB相机222之类的常规相机也用于简单姿势识别。(参见，加利福尼亚州Mountain View的Flutter)。也参见，美国专利申请US20100083190 ；US20020118880 ；US20100153457 ；US20100199232 ;以及 USP 7,095,401。
[0083]有多种不同类型的可用于诸如移动设备10，220之类的移动设备中的“范围”或“深度”相机。广泛地说，深度相机使用:
[0084].立体三角测量
[0085].光三角测量的片(sheet)
[0086].结构化光
[0087].飞行时间
[0088].干涉测量
[0089].编码孔径
[0090]在本申请中，“深度相机”或者可另选地“范围相机”有时用于表示这些类型的相机中的任何一种。
[0091]尽管本发明的某些实施例可使用不同类型的深度相机，但是，在此处所讨论的某些实施例中，使用三角测量(立体)、结构化光，以及飞行时间(TOF)相机是有利的。如图15所示，利用常规相机，在点A，B，以及C处的摄影者正在拍摄目标200。元数据(EXIF，图12)给出从每一点A，B，以及C的取向和视场深度。S卩，与图1b中的从点A，B，以及C到目标的矢量相关联的取向和视场深度。视场深度是指表现出可接受地锐利(焦点对准)的距离范围。取决于相机类型、光圈以及聚焦距离，等等，它会不同。此“锐利度”或“焦点”是范围，常常称为模糊(confus1n)圈。可接受地锐利的模糊圈被不严格地定义为:当放大到标准8x10英寸印刷品，并从大约I英尺的标准观察距离观察时将不会注意到。对于数字成像，如果此模糊半径小于像素大小P，则图像被视为焦点对准。
[0092]如图15所示，元数据大大地有助于定位目标200的位置，且在此示例中，点A，B和C的位置数据从GPS数据已知。然而，目标的位置会聚到较小的“区域”，因为拍摄了目标200的更多的点和图像。在图15中，沿着矢量210到目标200，从点A获取图像。不确定的区域被表示为圆弧216。可看出，对于沿着矢量212，214从点B，C获取的图像，目标的位置会聚到在200表示的小区域。
[0093]在立体三角测量中，本申请设想，从不同的位置A，B，C使用不同的相机，如图15所示。可另选地，可使用带有彼此偏移的2个传感器的单一相机，诸如加拿大B.C.Richmond的Point Grey Research Inc.所提供的BumbleBee2，来获得从点到目标，例如，点A到目标200的深度信息。参见，美国专利N0.6915008 ；7692684 ;7167576。
[0094]随着Microsoft Kinect游戏系统的引入，作为深度成像技术的结构化光也获得了欢迎(也参见Asus Xt1nPro)。结构化光成像系统将已知光图案投影到通过相机(多个)查看的3D场景。投影的光图案的失真可允许计算由投影的光图案成像的3D结构。一般而言，成像系统以近红外线光投影已知图案(斑点)。CMOS IR相机观察场景。投影仪和相机之间的校准必须是已知的。通过IR光的扩散器和衍射元素来生成投影。通过虚拟图像(图案)的每一斑点和观察到的图案之间的三角测量来计算深度。当然，各种发射器和检测器中的许多也同样合适，诸如由MEMS激光器发出的光图案或通过IXD、LC0S，或DLP投影仪投影的红外光图案。Primesense为Kinect制造结构化光系统，并在WO 2007/043036和美国专利N0.7，433，024 ;8，050，461 ；8, 350,847中比较详细地说明了其操作。也参见美国专利公开 N0.2012/0140109 ；2012/0042150 ；2009/0096783 ;2011/0052006，2011/0211754。也参见美国专利公开N0.2012/0056982 ；2008/0079802 ；2012/0307075 ;以及美国专利N0.8，279，334 ;6，903，745 ;8，044，996 (通过引用而结合)。从加利福尼亚州 Mountain View的Matterport可获得使用结构化光的扫描仪。
[0095]当前Kinect系统使用红外线投影仪、红外线相机(检测器)、和RGB相机。当前Kinect系统具有640x480像素的深度分辨率，RGB分辨率！1600x1200像素，以60FPS成像，具有0.8m?3.5m的操作范围，3mm@2m距离的空间x/y分辨率、和lcm@2m距离的深度z分辨率。系统可用于无标记的人跟踪、姿势识别、面部识别、运动跟踪。通过在校准阶段提取相对于身体重心的本地测地线极值处的许多兴趣点，系统可培训深度图像路径上的分类器并分类数个个人的解剖界标(例如，头、手、脚)。
[0096]新的Kinect系统可在接近60米的距离处获得相同分辨率，并接纳更多个人和较大数量的解剖界标。据报道，新Kinect系统具有水平地70度垂直地60度和视野，从24比特红绿蓝彩色到16比特YUV变化的920 X 1080相机。视频将以30fps流式播放。深度分辨率还从320X240提高至512 X 424，它将使用IR流--与当前代(current-gen) Kinect不同一一如此，设备在具有有限的光的环境中能够看得很清楚。进一步地，通过结合USB 3.0，将缩短延迟。进一步地，Primesense最近提出了其传感器系统的可被包括到移动设备中的便宜的小版本，嵌入式3D传感器，Capri 1.25。例如，在图5中，一些应用中的传感器146，148构成结构化光系统的发射器/感受器。
[0097]飞行时间(TOF)相机是LIDAR的类别，并包括至少照明单元、镜头和图像传感器。照明单元通常使用IR发射器，且图像传感器测量光从照明单元进行到对象以及返回的时间。镜头收集反射光并将反射光投影到图像传感器上(以及过滤掉不需要的频谱或背景光)。例如，在图5中，在某些实施例中，传感器146包括照明传感器，且传感器148是图像传感器。可另选地，传感器146，148可作为使用其他频谱中的相干的或非相干光的扫描的或无扫描仪的 LIDAR系统的一部分来操作。PMDVis1n (Camcube 或Camboard) ,Mesa Imaging、Fotonic (C-40，C-70)或 ifm 可获得这样的 TOF 相机。德国 Erlangen 的 MetriIus，GmbH 可获得图像处理软件。
[0098]可使用全光相机作为图5中的传感器140 - 148或图10中的222，246，248中的任何一个。全光相机采样全光功能，也称为“光场”相机，有时与计算摄影相关联。诸如Lytos、Adobe、Raytrix和Pelican Imaging之类的多个源提供全光相机。参见，例如，美国专利N0.8，279，325 ;8，289，440 ;8，305，456 ;8，265，478，以及美国专利公开 N0.2008/0187305 ；2012/0012748 ;2011/0669189，以及 www.lytr0.com/science_inside (全部通过引用结合至此)。
[0099]一般而言，全光相机组合微透镜阵列与正方形光圈和传统的图像传感器((XD或CMOS)，以同时从多个角度捕捉图像。然后，处理来自稍微不同的角度的看起来像完全相同的场景的数百或数千版本的捕捉到的图像，以导出光场中的光线。然后，可使用光场来重新生成带有所希望的焦点(多个)的图像，或作为3D点云。软件引擎是复杂的，但是，许多相机包括GPU来处理这样的复杂化的数字处理。
[0100]理想地，全光相机与常规相机的成本大致相同，但是，通过消除焦点组件，变得较小。焦点可通过数字处理来确定，但是，视场深度也可。如果主要图像在微透镜阵列的前面形成，相机在开普勒模式下操作，其中图像在微透镜阵列后面形成的情况下，相机在伽利略模式下操作。参见，T.Georgieu等，Depth of Field in PlenopticCameras, Eurograhics, 2009 年。
[0101]对于常规摄影，光线430穿过光学元件432，并通过传感器434捕捉，如图16A所示。基本上，传感器434上的像素436由所有光线430照射，并记录那些光线的强度的总和。单个光线上的信息丢失。利用光场摄影(也被称为“全光”)，所有光线(辐射)上的信息都被捕捉和记录，如图16B所示。通过捕捉辐射，“计算地”拍摄图片。在图16B中，对象410由透镜系统412成像。虚拟图像414出现在计算平面416处，图像在主要传感器420上被组合。微透镜阵列418具有多个传感器，每一传感器都充当其自己的从不同的位置看虚拟图像的小相机。在一些全光相机中，阵列可接近20，000个微透镜，甚至具有带有不同的焦距的微透镜，提供较大的视场深度。随着硅技术的进步，阵列可变得十分大一一当前有60MP传感器可用一一且摩尔定律似乎还适用，意味着，能实现十分大的传感器阵列以捕捉有关场景的更丰富的信息。处理这些图像的计算能力(例如，GPU)以相同的速率扩展，以实时地实现呈现。
[0102]对于计算摄影，计算地向单个光线应用光学元件，计算地呈现场景。使用全光相机来捕捉场景光线信息。加利福尼亚州Palo Alto的Adobe、Lyto、Pelican Imaging提供全光相机。在这样的全光相机中，使用微透镜来创建相机的阵列来采样全光功能。通常，将通过使用诸如来自NVIDIA (GeForce580)的GPU来呈现图片，使用CUDA或Open GL Shader语言来编程。
[0103]换言之，光场相机组合微透镜阵列与通常在GPU上运行的软件引擎，以创建全光相机。基本上，微透镜阵列418和正方形光圈以及传统的图像传感器420 (C⑶或CMOS) —起使用，以同时从多个角度捕捉对象410的视图。然后，处理来自稍微不同的角度的看起来像完全相同的场景的数百或数千版本的捕捉到的图像，以导出光场中的光线。然后，可使用光场来重新生成带有所希望的焦点(多个)的图像，或作为3D点云。
[0104]因此，在某些实施例中，使用全光相机和计算摄影被认为是优选的。为准确地计算带有常规相机的场景中的深度信息，必须比较两个图像，并匹配对应的点。然后，通过三角测量来提取深度，如此处说明的。通过使用全光相机和计算摄影，通过使用微透镜阵列，一些立体量被嵌入到相机中。即，可为场景中的不同的点，计算视场深度。
[0105]IV.网络操作环境
[0106]作为示例，在图3中，系统100的通信网络205包括一个或多个网络，诸如数据网络(未示出)、无线网络(未示出)、电话网络(未示出)，或其任何组合。可构想，数据网络可是任何局域网(LAN)、城域网(MAN)、广域网(WAN)、公用数据网络(例如，因特网)，或任何其他合适的分组交换网络，诸如市场上的专有的分组交换网络，例如，专有的电缆或光纤网络。另外，无线网络可是，例如，蜂窝网络，并可使用各种技术，包括用于全球演进的增强型数据速率(EDGE)、通用分组无线业务(GPRS)、全球移动通信系统(GSM)、网际协议多媒体子系统(MS)、全球移动通信系统(UMTS)等等，以及任何其他合适的无线介质，例如，全球微波互联接入(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)，卫星、移动自组织(ad-hoc)网络(MANET)，等等。
[0107]作为示例，移动设备智能电话10、平板电脑12、眼镜220，以及体验内容平台207及通信网络205的其他组件，使用已知的新或仍在开发的协议，相互进行通信。在此上下文中，协议包括一组定义通信网络205内的网络节点如何基于通过通信链路发送的信息来彼此进行交互的规则。协议在每一个节点内的不同的操作层有效，从生成和接收各种类型的物理信号，到选择用于传输那些信号的链路，到由那些信号指出的信息的格式，到标识在计算机系统上执行的哪些软件应用程序发送或接收信息。在开放系统互连(OSI)参考模型中描述了用于通过网络交换信息的在概念上不同的协议层。
[0108]在一个实施例中，驻留在设备10上的应用程序和内容平台207上的应用程序可根据客户机-服务器模型进行交互，以便设备10的应用程序按需从内容平台207请求体验和/或内容数据。根据客户机-服务器模型，客户机进程向服务器进程发送包括请求的消息，而服务器进程通过提供服务(