可佩戴的食物营养反馈系统的制作方法
【专利说明】可佩戴的食物营养反馈系统
[0001] 置量
[0002] 人们通常不知晓有关他们消费的食物项的营养信息。尽管人们可能具有对食物 项、卡路里内容、原料以及向他们呈现的食物的益处和后果的一般知晓，但是为每顿餐食跟 踪消费和营养信息是令人厌烦的。提供营养信息对于尝试看管他们的体重的人、具有过敏 限制或严格饮食需求的人而言是有利的。
[0003] 混合的现实显示允许在显示中将虚拟图像与现实世界物理环境混合。用于混合现 实的系统可包括例如，透视头戴式显示器或具有检测佩戴者的视野内的区域的内置相机的 智能电话。这样的系统通常包括在一个或多个应用的控制下提供图像的处理单元。
【发明内容】
[0004] 描述了提供可佩戴食物营养反馈系统的技术。反馈系统包括透视、近眼、头戴式 显示器，该显示器具有检测该装置的视野中的信息的多个传感器。在该视野中检测食物项 并且各种类型的反馈被提供到设备的佩戴者。反馈可包括基于个人佩戴者需求的警报、一 般营养信息、食物消费跟踪和社交交互。该系统包括与显示器和传感器通信的一个或多个 处理设备，该一个或多个处理设备标识在该装置附近的食物项、确定与该装置的佩戴者相 关的反馈信息并在显示器中渲染反馈信息。该技术可被扩展来在涉及食物准备和购买中使 用。
[0005] 提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念的 选集。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮 助确定所要求保护的主题的范围。
[0006] 附图简述
[0007] 图IA是描绘一系统环境中的具有可调整IPD的透视、近眼、头戴式设备的一个实 施例的示例组件的框图，其中该设备可以在该系统环境中操作。
[0008] 图IB是描绘具有可调整IPD的透视、近眼、头戴式设备的另一实施例的示例组件 的框图。
[0009] 图2A是示出延伸到一定距离处的注视点并朝对准远IPD的方向延伸的注视向量 的示例的俯视图。
[0010] 图2B是示出延伸到一定距离处的注视点并朝对准近IPD的方向延伸的注视向量 的示例的俯视图。
[0011] 图3A是用于将透视、近眼、头戴式显示器与IPD对准的方法实施例的流程图。
[0012] 图3B是用于调整透视、近眼、头戴式显示设备以使该设备与佩戴者iro对准的方 法的实现示例的流程图。
[0013] 图3C是示出至少一个透视、近眼、头戴式显示调整机构的机械或自动调整的不同 示例选项的流程图。
[0014] 图4A是透视、近眼、头戴式显示设备的眼镜实施例中的镜架提供对硬件和软件组 件的支持的眼镜腿的侧视图。
[0015] 图4B是透视、近眼、头戴式显示设备的实施例中提供对硬件和软件组件的支持和 对微显示器部件的三维调整的眼镜腿的侧视图。
[0016] 图5A是透视、近眼、头戴式的包括注视检测元件的安排的可活动显示光学系统的 实施例的俯视图。
[0017] 图5B是透视、近眼、头戴式的包括注视检测元件的安排的可活动显示光学系统的 另一实施例的俯视图。
[0018] 图5C是透视、近眼、头戴式的包括注视检测元件的安排的可活动显示光学系统的 第三实施例的俯视图。
[0019] 图是透视、近眼、头戴式的包括注视检测元件的安排的可活动显示光学系统的 第四实施例的俯视图。
[0020] 图6A是可以用于一个或多个实施例的透视、近眼、头戴式显示单元的硬件和软件 组件的一个实施例的框图。
[0021] 图6B是与透视、头戴式显示设备相关联的处理单元的硬件和软件组件的一个实 施例的框图。
[0022] 图7是示出根据本发明技术的表示食物反馈方法的流程图。
[0023] 图8是表示用于实现本技术的系统的框图。
[0024] 图9是示出根据本发明技术的食物反馈方法的第二流程图。
[0025] 图10是表示用于识别对透视、近眼、头戴式显示设备的佩戴者可用的食物项的方 法的流程图。
[0026] 图11是表示用于确定可用的食物项的营养信息的方法的流程图。
[0027] 图12是表示用于确定对于佩戴者的反馈的流程图。
[0028] 图13是示出用于跟踪食物消费的方法的流程图。
[0029] 图14-19是示出被提供给透视、头戴式显示设备的佩戴者的各种类型的反馈的透 视视图。
[0030] 图20是示例性处理设备的框图。
[0031] 图21是另一示例性处理设备的框图。
【具体实施方式】
[0032] 在此描述的技术包括透视、头戴式显示设备，其向佩戴者提供关于佩戴者的交互 和对食物的消费的反馈。在该设备的视野中检测食物项并且各种类型的反馈被提供到该设 备的佩戴者。反馈可包括基于个人佩戴者需求的警报、一般营养信息、食物消费跟踪和社交 交互。该系统标识在佩戴者附近的食物，确定与该装置的佩戴者相关的反馈信息并在显示 器中渲染反馈信息。
[0033] 第三方和用户历史被利用来提供针对佩戴者的准确且定制的反馈。第三方食物提 供者可向用户呈现关于产品的具体营养信息。用户健康可出于消费和食物交互顾虑两者来 被跟踪，并且当问题出现时可向用户提供警报。该技术可被扩展来在涉及食物准备和购买 中使用。
[0034] 图1-6示出适用于实现本系统的示例性透视、显示设备。
[0035] 图IA是描绘一系统环境中的透视显示设备的一个实施例的示例组件的框图，其 中该设备可以在该系统环境中操作。在一个实施例中，该技术实现透视、近眼显示设备。在 其他实施例中，可使用不同类型的透视显示设备。系统10包括作为通过线6与处理单元4 进行通信的近眼、头戴式显示设备2的透视显示设备。在其他实施例中，头戴式显示设备 2通过无线通信来与处理单元4进行通信。处理单元4可以采取各种实施例。在一些实施 例中，处理单元4是可以佩戴在佩戴者的身体（例如，在所示示例中的腕）上或置于口袋中 的分开的单元，并且包括用于操作近眼显示设备2的计算能力中的大部分能力。处理单元 4可以与一个或多个计算系统、热点、蜂窝数据网络等无线地（例如，WiFi、蓝牙、红外、或其 他无线通信手段）通信。在其他实施例中，处理单元4的功能可被集成在显示设备2的软 件和硬件组件中。
[0036] 透视头戴式显示设备2(在一个实施例中它是带镜架115的眼镜的形状）被佩戴 在佩戴者的头上，使得佩戴者可以透视显示器（在该示例中该显示器被实现为用于每一只 眼睛的显示光学系统14)，并且从而具有对该佩戴者前方的空间的实际直接视图。使用术语 "实际直接视图"来指直接用人眼看到现实世界对象，而非看到所创建的对象的图像表示的 能力。例如，透过眼镜看房间将允许佩戴者得到该房间的实际直接视图，而在电视机上查看 房间的视频不是该房间的实际直接视图。基于执行软件（例如，游戏应用）的上下文，该系 统可以将虚拟对象的图像（有时称为虚拟图像或全息图）投影在可由佩戴该透视显示设备 的人观看的显示器上，同时该人还透过该显示器观看现实世界对象。
[0037] 镜架115提供用于将该系统的各元件保持在原位的支承体以及用于电连接的管 道。在该实施例中，镜架115提供了便利的眼镜架作为下面进一步讨论的系统的各元件的 支撑体。在其他实施例中，可以使用其他支承结构。这样的结构的示例是帽舌、帽子、头盔 或护目镜。镜架115包括用于搁置在佩戴者的每一耳部的镜腿或侧臂。镜腿102代表右镜 腿的实施例，并且包括显示设备2的控制电路136。镜架的鼻梁104包括用于记录声音并向 处理单元4传送音频数据的话筒110。
[0038] 图IB是描绘透视显示设备的另一实施例的示例组件的框图。在一些实施例中，处 理单元4是可佩戴在佩戴者的身体（例如腰）上的单独单元，或者可以是诸如移动设备（例 如，智能电话）等单独设备。处理单元4可通过通信网络50与无论位于附近还是位于远程 位置的一个或多个计算系统12有线地或无线地通信（例如，WiFi、蓝牙、红外、RFID传输、 无线通用串行总线（USB)、蜂窝、3G、4G或其它无线通信装置）。在其他实施例中，处理单元 4的功能可被集成在显示设备2的软件和硬件组件中。
[0039] 可以充分利用一个或多个远程的、网络可访问的计算机系统12来作为处理能力 和远程数据访问。图16示出了计算系统12的硬件组件的示例。应用可以在计算机系统12 上执行，其与在透视显示系统10中的一个或多个处理器上执行的应用进行交互或为其执 行处理。例如，3D地图绘制应用可以在所述一个或多个计算机系统12和佩戴者的显示系统 10上执行。
[0040] 另外，在一些实施例中，在相同环境中或相互通信的其他透视、头戴式显示系统10 上执行的应用在各设备间的对等配置中实时地共享数据更新（例如，对象标识和现实对象 的遮挡体之类的遮挡数据）或将数据更新到在一个或多个网络可访问的计算系统中执行 的对象管理服务。
[0041] 在一些示例中共享的数据可相对于设备2可访问的一个或多个参照坐标系来被 参考。在其他示例中，一个头戴式显示（HMD)设备可以从另一个HMD设备接收数据，包括图 像数据或从图像数据导出的数据、发送HMD的位置数据（例如给出相对位置的GPS或IR数 据）、及朝向数据。在HMD间共享的数据的示例是深度图数据，该深度图数据包括由其面向 前的相机113捕捉到的图像数据和深度数据、对象标识数据以及深度图中各现实对象的遮 挡体。现实对象可能仍是未被标识的，或者已被HMD设备上执行的软件或者支持计算机系 统（例如，12或另一显示系统10)识别。
[0042] 环境的一个示例是佩戴者所在的现实场所的360度可视部分。佩戴者可能在看其 环境中作为其视野的子集。例如，房间是一环境。一人可能在家里，并且在厨房正看着冰箱 的顶架。冰箱的顶架在他的显示器视野内，厨房是他的环境，但是他楼上的卧室并不是他当 前环境的一部分，因为墙壁和天花板阻挡了他查看楼上的卧室。当然，随着他移动，他的环 境改变。环境的一些其他示例可以是球场、街道场所、商店的一部分、咖啡店的顾客区域等。 场所可以包括多个环境，例如家可以是一个场所。佩戴者及其朋友可能正佩戴着他们的显 示设备系统玩游戏，这在家里的任何地方发生。随着每一玩家在家中到处移动，其环境改变 了。类似地，围绕若干街区的周界可以是场所，并且在不同的十字路口进入视图时，不同的 交叉路口提供不同的环境来查看。在一些实例中，场所还可以是取决于场所跟踪传感器或 数据的精度的环境。
[0043] 图2A是示出延伸到一定距离处的注视点并朝对准远瞳孔间距（IPD)的方向延伸 的注视向量的示例的俯视图。图2A示出在注视点处相交的注视向量的示例，其中佩戴者的 眼睛有效地聚焦在无限远处（例如五（5)英尺以外），或换言之，示出了在佩戴者正看向正 前方时的注视向量的示例。基于Gullstrand示意眼模型示出了每只眼睛的眼球1601、160r 的模型。对于每只眼睛，眼球160被建模成具有旋转中心166的球，并且包括也被建模成球 且具有中心164的角膜168。角膜随着眼球旋转，并且眼球的旋转中心166可被当作固定 点。角膜覆盖虹膜170,瞳孔162处于虹膜170的中心。在这个示例中，在各个角膜的表面 172上是闪光174和176。
[0044] 在图2A所示的实施例中，传感器检测区域139(1391和139r)与眼镜架115内的 每一显示光学系统14的光轴相对准。在该示例中，与该检测区域相关联的传感器是能够捕 捉表示分别由镜架115左侧的照明器153a和153b生成的闪光1741和1761的图像数据以 及表示分别由照明器153c和153d生成的闪光174i和176r的数据的相机。透过显示光学 系统（眼镜架115中的141和14r)，佩戴者的视野包括现实对象190、192和194以及虚拟 对象182、184和186两者。
[0045] 从旋转中心166穿过角膜中心164到瞳孔162而形成的轴178是眼睛的光轴。注 视向量180有时被称为从小凹穿过瞳孔中心162延伸的视线或视轴。小凹是位于视网膜中 大约1.2度的小的区域。在所计算的光轴和视轴之间的角度偏移具有水平和垂直分量。水 平分量距光轴上达5度，并且垂直分量在2和3度之间。在许多实施例中，光轴被确定，并 且通过佩戴者校准来确定小型校正以获得被选作注视向量的视轴。
[0046] 对于每一佩戴者，虚拟对象可由显示设备在不同的水平和垂直位置处的多个预先 确定的位置中的每一位置处来显示。在对象在每一位置处的显示过程中，可以计算每一眼 睛的光轴，并且光线被建模成从该位置延伸到佩戴者眼睛中。具有水平和垂直分量的注视 偏移角可以基于必须如何移动光轴以与所建模的光线相对准来确定。从不同的位置处，具 有水平或垂直分量的平均注视偏移角可被选作要被应用于每一计算出的光轴的小型校正。 在一些实施例中，水平分量被用于注视偏移角校正。
[0047] 注视向量1801和ISOr并非完全平行，因为随着这些向量从眼球延伸到视野中的 如符号1811和ISlr所指示的有效无限远处的注视点处，它们相互变得更近。在每一显示 光学系统14处，注视向量180看起来与光轴相交，传感器检测区域139以这一交点为中心。 在这一配置中，光轴与瞳孔间距（IPD)对准。在佩戴者看向正前方时，测得的iro也被称为 远 IF1D0
[0048] 在标识供佩戴者聚焦以在一定距离处对准IPD的对象时，该对象可在沿每一显示 光学系统的每一光轴的方向上被对准。一开始，光轴与佩戴者的瞳孔