用于向安全移动通信使用眼睛信号的系统和方法与流程

本发明涉及用于安全分布式和交互系统和服务的便携式或可穿戴基于生物计量的用户识别和认证。

背景技术：

互联网和计算/通信设备的广泛使用导致信息的电子传播的爆炸性增长。然而，在网络安全领域，对安全信息的接收者的可验证控制仍然是重要的问题。此外，信息的接收者还会变为敏感信息源，其中，对该源的身份的实时了解也会是重要的安全问题。这种情形的示例是在线购买的过程期间，对输入信用卡(或其他账户)信息的个人的身份的了解。常用来远程识别接收者或安全信息源的现今技术容易受骗。在美国，每年，身份盗用影响约一千五百万人，估计金融影响为约500亿美元。

为解决这些问题，现在需要利用有关数据安全和用户电子签名的不可抵赖性(non-repudiation)(例如口令)的特殊视点，重新考虑系统架构和任务，其中，签名的真实性正受到挑战。一般来说，不可抵赖包含将动作或变化与独特个体关联。对安全区域，例如，期望实现密钥卡接入系统。如果不是严格强制的政策来禁止共享密钥卡并且来立即报告丢失或被盗卡，将会违反不可抵赖性。否则不能简单地确定谁实施了打开门的动作。

类似地，对计算机账户，账户的个体所有者必须不允许其他人使用那一账户，特别是例如通过泄露他们的账户口令，并且应当实施政策来强制这样做。这阻止账户的所有者拒绝由该帐户实施的动作。

生态系统是动态且快速改变的，其中，无线功能正呈指数地增长。基于云的架构以可控的成本正变得更吸引人并且可实现。在脑中开始重新考虑的地方是过渡和结束架构并且该地方的放置处被称为“数据抽象层”。该抽象层由定义为移动数据和静态数据的数据运动区分，并且包括对于数据生成、数据存储、数据处理和云中的服务器和浏览器的角色的考虑。

前往物联网(IoT)的第一过渡步骤是出现雾计算或雾网络。这是使用一个智能设备、协作的多个智能设备或近用户边缘设备来执行大量处理和存储(而不是主要存储在云数据中心中)、通信(而不是在互联网骨干上路由)以及控制、配置、测量和管理(而不是主要由网络网关，诸如长期演进(LTE)(诸如4-G LTE)中的那些网关控制)的架构。

雾网络由控制平面和数据平面组成。例如，在数据平面上，雾计算使计算服务能够驻留在网络的边缘，与数据中心中的服务器相反。与云计算相比，雾计算强调与终端用户和客户端目标的接近性，得到良好用户体验和故障情形下的冗余。雾联网支持IoT，其中，日常使用的大部分设备将相互连接。示例包括电话、可穿戴健康监测设备、联网车辆和使用诸如Google眼镜的设备的增强现实。IoT的最终目标是为了数据的安全识别、管理和控制，实现物体之间、物体和人之间、所有事物之间和网络之间的连接。

鉴于上述情形，可穿戴显示设备将挑战传统的计算机人机交互。现在，计算机鼠标、游戏杆和其他手动跟踪设备是用于在人机交互(HMI)期间指定位置信息的普适工具。随着可穿戴计算的到来，为正确操作而通常要求静止表面的庞大和突兀的设备不与设计为穿戴在身体上的便携式属性的装置相兼容。

可穿戴显示设备包括诸如由Sony、Samsung、Oculus、Carl Zeissr制造的虚拟现实(“VR”)显示器、诸如由Google(例如)和Vuzix生产的头戴式显示器(“HMD”)、诸如由Microsoft、Vuzix和DigiLens制造的增强现实(“AR”)显示器，以及类似的设备。能使用眼睛跟踪来查看这些显示器并且指定位置信息。然而，在正常人类活动期间，也广泛地使用眼睛。

在相对于安全性的实施例的进一步论述中，如果需要，从面部、眼睛或语音采集的数据构成用户或用户群组的独特生物计量数据。能使用这些采集的数据来在公钥和私钥加密的系统中生成独特私钥。多年来，加密系统已经广泛用于信息保护、认证和访问控制，同样地，在信息安全领域广泛公知。

用于安全信息与生物识别的个人的连续交换的另外的组件是加密所有传送的(即发送或接收)的数据。数据加密具有早于电子计算机的悠久历史。已经开发了许多业已建立的方法来保护数据的机密性、完整性和真实性。大多数加密技术利用能用来加密和/或解密数据流的一个或多个密钥或加密代码。用来编码或解密数据流的密钥能源自多个源，包括先前传送的数据序列、在设备的制造期间嵌入的识别码和使用计数。

利用换位、取代、重定位、掩码、转换表和/或预定数字序列的加密和解密方法在本领域是公知的。更复杂的技术利用应用于更大块(例如大于单字符或字节)的信息的多种方法。此外，与使用在一些形式的存储器设备上存储的软件实现的加密和解密方法相比，通常更需要防止包括受保护硬件组件内的处理步骤的加密和解密方法以免企图解码。

现场可编程门阵列(FPGA)和专用集成电路(ASIC)具体用作加密和解密组件。实际上，Streicher等(美国专利No.8,363,833)和其他描述了甚至自加密用来编程可以用于加密的FPGA的比特流的过程。隐蔽解密安全信息的安全密钥和方法大大地降低除获得对加密数据流的有意义访问的预期接收者外的任何人的风险。

作为另外的背景，蓝牙起源于1998年发布的1.0规范，2000年的称为1.0b的后续版本。这些早期版本被设计成从用户的桌面去除线，这些包括考虑串行、头戴式设备、无绳电话和LAN连接。然而，这些早期版本具有许多问题并且制造商难以使其产品互操作。蓝牙的后续版本1.1、1.2和2.0包括扩展带宽、简档能力，并且最后，在版本2.1中，新安全级，包括现在称为安全简易配对(SSP)。

SSP允许两个设备基于Diffie-Hellman密钥协议，建立链路密钥并且支持四种方法来认证密钥协议。这些方法中的一个，称为Passkey Entry方法使用在一个或两个设备上输入的PIN(即，个人标识码)。然而，已经显示Passkey Entry方法会向在配对过程的第一部分上窃听的任何攻击者泄露该PIN。如果攻击者能够阻止该配对过程成功完成并且用户使用相同PIN两次(或使用固定PIN)，攻击者会在新一轮配对过程中安装中间人攻击。

现在，有许多关于甚至最复杂的协议也面临的挑战的安全风险的论文。需要新的系统和方法来确保所谓的不可抵赖性，“不可抵赖性”通常是指保证某人不能拒绝某事。在这种情况下，拒绝确保使用设备或来自设备的通信的能力不能拒绝合格用户发起的对任何用途、通信或消息的他们的签名的真实性。

技术实现要素：

尽管从全面阅读下文给出的说明书和权利要求将更好地理解本发明，但提供该发明内容以便使阅读者了解本发明的一些新的和有用的特征。当然，该发明内容不旨在为全面叙述本发明的所有特征，也绝不旨在限制在本申请的具体实施方式结束时给出的权利要求的范围。

在本公开中，旨在与计算设备交互的自主性眼睛运动称为“眼睛信号”。

根据一个实施例，为头戴设备(HMD)提供装置、系统和方法，该HMD包括连接到至少一个成像器的至少一个处理器，其中，至少一个成像器面向用户的眼睛。处理器被配置为基本上连续、同时和/或定期地中的至少一个确定眼睛信号估计，其中，使用检测已经由附接到HMD的光源生成的来自眼睛的表面的至少一个闪光的成像器，由处理器确定眼睛信号估计，或其中，成像器检测眼睛的一个或多个不同特征；并且确定用户的生物计量数据，包括用户的面部特征、声音或虹膜数据，其中，生物计量数据用于识别和认证用户以访问和控制HMD、所连接的设备、无线设备和远程服务器中的至少一个。

根据另一实施例，提供装置、系统和方法，可以基本上同时、定期和/或按需利用头戴设备执行虹膜辨识。在形成眼睛信号控制期间的生物计量识别可以用在实时地要求用户识别和/或认证的大量应用中。

在另一实施例中，公开了系统和方法，其中，眼睛信号控制序列用于对从自动取款机(ATM)取钱并且进行在线购买中的至少一个，认证用户。

另一实施例公开了对包括私人、群组或其他测试中的至少一个的在线活动的用户进行认证的系统和方法，，遵守与用于各种形式的雇员的身份诸如专业驾驶、领航或其他交通相结合的性能要求、记录时间、确认由用户口头提供或读取的知情同意的应答，由此在阅读期间的扫视和其他基于眼睛的运动期间对身份的连续确认，并且确认任何具有法律约束力的协议的应答。

另一实施例公开了用于将识别特性与包括以下中的至少一个的其它安全令牌结合的系统和方法：信息令牌(口令)、物理令牌(密钥)、产生的令牌(语音、手势、书写)和其他生物计量令牌，诸如指纹和声波纹。

另一实施例公开了描述多个系统配置的系统和方法，包括：

●存储完全在HMD上执行搜索和匹配的多个用户代码。

●将用户代码发送到用于识别和匹配的特定处理器。

●将用户代码发送到云。

●增加或替换对计算设备的常见的基于口令的访问。

●基本上连续地重复验证设备穿戴者的身份。

另一实施例公开了用于捕捉虹膜的图像或由虹膜图像本地生成的irisCode(例如，如在2015年5月8日提交的“Systems and Methods for Discerning Eye Signals and Continuous Biometric Identification”中所述)，并且将虹膜信息传送到云用于认证任何HMD的系统和方法。

另一实施例公开了替换或增加对计算设备的常见的基于口令的访问的系统和方法。

另一实施例公开了使用连续生物计量识别(CBID)方法的特定实施方式(例如，如在2015年5月8日提交的“Systems and Methods for Discerning Eye Signals and Continuous Biometric Identification”中所述)来通过使用称为“用看购买(look to buy)”的眼睛信号方法或过程“在过道购买(buy at the aisle)”的系统和方法。

另一实施例公开了用于(在HMD或远程显示设备上)显示有关物品的包括成本的信息系统和方法。

另一实施例公开了用于用来识别在用户的环境内简单查看的、用于购买的物品的对象辨识的系统和方法。

另一实施例公开了建立穿戴HMD的用户的真实身份的系统和方法。

另一实施例公开了防止用户身份被窜改或身份被盗的系统和方法。

另一实施例公开了出于教育或法律目的中的至少一个使用HMD来认证用户的系统和方法。

另一实施例公开了出于认证购买的目的使用HMD的系统和方法，其中，经认证的购买用于在线购买安全和离线购买安全，其中，离线包括在零售店。

另一实施例公开了使用HMD的系统和方法，该HMD包括从HMD向外，连接到处理器的第二成像器，其中，第二成像器检测能由处理器解码的码，其中，该码是条形码和QR(例如快速响应)码中的一个，并且其中，处理器解码的数据表示有关产品的信息。

另一实施例公开了使用与产品有关的信息来允许已认证的用户安全地购买产品的系统和方法。

另一实施例公开了允许实体通过相互凝视发起与另一实体的安全通信信道的系统和方法，其中，可以在通信前，建立通信信道的安全性，并且可以在通信期间，连续或以一定间隔重新验证。

另一实施例公开了实现用于各方之间的协作的安全协议来使动作发生的系统和方法，由此，每一方执行一些动作，在此期间，通过CBID，基本上连续地验证他们的身份。

另一实施例公开了当使用HMD设备时，通过限制对支持用于HMD设备的眼睛跟踪的硅芯片中的功能块的访问，增加安全性的系统和方法。

另一实施例公开了管理、协作、过滤和/或定序由与用户的身份相关联的一个或多个可穿戴设备提供的刺激的系统和方法。

在另一实施例中，提供包括基于解释用户的基于凝视的意图，动态地演变用于系统的认知架构的系统和方法。自然眼睛运动由系统解释，并且用于实时图像服务。包括处理器和相机的照明设备由用户穿戴，相机对准用户的眼睛。该系统包括具有存储的指令的存储器。当执行指令时，系统从对准用户的眼睛的相机，接收眼睛测量数据。使用该数据来确定眼睛的第一状态，并且将其与从眼睛的第二状态捕捉的数据比较。当系统确定眼睛的第一和第二状态相同时，将另外的指令发送到系统中的至少一个处理器。

附图说明

当结合下述示例性图考虑时，通过参考详细描述，可以得出本发明的更全面理解。在图中，相同的附图标记在整个图中表示相同的元素或动作。在附图中示出当前的实施例，其中：

图1是人眼的正视图。

图2是从侧面的人眼的剖视图。

图3A描绘示出视觉的区域的眼睛的自上而下视图。

图3B示出视觉的区域的大小的示例近似。

图4描绘整体系统架构。

图5描绘眼睛信号对象的架构。

图6描绘抽象硬件。

图7描绘典型的蓝牙架构。

图8描绘硬件接口和硬件组件。

图9描绘成像架构。

图10描绘生物计量数据生成。

图11描绘认知负荷管理器的分解。

图12描绘认知负荷管理器的系统组件。

图13描绘连接到移动设备的HMD(头戴设备)。

图14描绘连接到云的HMD。

图15描绘连接到家和车辆控制的HMD。

图16描绘HMD和NEST^TM恒温系统之间的通信。

图17示出有关与云通信的HMD的系统架构。

图18描绘数据管理器的分解。

图19示出具有移动到云的处理能力的HMD的系统架构.

图20示出HMD朝物联网的进一步演化。

图21描绘来自移动到远程服务器的HMD的系统架构。

图22描绘所有处理推给云的HMD。

图23描绘HMD和远程服务器通信。

图24描绘与家庭控制系统通信的HMD。

图25描绘与社交媒体通信的HMD。

图26描绘与家庭娱乐系统通信的HMD。

图27描绘与车辆娱乐系统通信的HMD。

图28描绘与车辆控制系统通信的HMD。

图29是执行在线安全购买采取的步骤的流程图。

具体实施方式

在下述描述中，并且为了说明目的，阐述许多具体的细节以便提供对实施例的各个方面的全面理解。然而，相关领域的技术人员将理解到没有这些具体细节，可以实施本文的装置、系统和方法。将理解到可以利用其他实施例并且在不背离本文的装置、系统和方法的范围的情况下可以做出结构和功能改变。在其他实例中，更一般地示出或论述了已知结构和设备以避免混淆实施例。在许多情况下，对操作的描述足以使人能够实施各种形式，特别是当用软件实施操作时。应注意到有许多可以应用所公开的实施例的不同和替选配置、设备和技术。实施例的全面范围不限于以下所述的示例。

眼睛的解剖学在本领域是公知的。为了本公开，描绘和描述相关解剖学。图1和2一般描绘人眼100的解剖学。图1是示出瞳孔145、虹膜115、巩膜150、角膜缘245、瞳孔/虹膜边界250、上眼睑105、下眼睑110和睫毛235的眼睛100的正视图。图2是示出瞳孔145、虹膜115、视网膜52、巩膜150、中心凹160、晶状体165和角膜170的眼睛100的剖视图。瞳孔145是扩展和收缩以调节视网膜52接收的光的眼睛中心处的近似圆黑部分。虹膜115是围绕瞳孔145并且控制瞳孔145的扩展和收缩的眼睛100的有色部分。巩膜150是围绕虹膜115的眼睛100的白色区域。巩膜150包含血管和其他可识别标记。角膜缘245是紧临巩膜150的虹膜115的外缘。瞳孔/虹膜边界250是瞳孔145和虹膜115交会之处。眼睑105、110和睫毛235围绕眼睛100并且在眨眼、闭眼或不同视角期间，偶尔部分地覆盖或遮挡眼睛100的多个部分。视网膜52是衬于眼睛100内从晶状体165接收图像并且将它们转换成用于大脑的信号的感官薄膜。中心凹160是视网膜52中的凹处，其仅包含视锥(无视杆)并且提供特别敏锐的视觉。晶状体165是角膜170后、将光聚集到视网膜52上的眼睛100的近球体。角膜170是覆盖虹膜115、瞳孔145和晶状体165的眼睛的透明部分。

图3A和3B描绘视觉的中心凹、中心凹旁和周边范围。中心凹区域190从用户的凝视点向外约2度。该区域的近似值为成人的手臂之遥处的1美分硬币。中心凹旁范围195是在中心凹区域190外的可视区域，通常离用户的凝视点2至10度。10度中心凹旁视野的近似值为具有成人的手臂之遥处的四英寸直径的圆。周边区域197在中心凹旁区域195的外部并且通常向外10至30度。

图4描绘整体系统架构，包括具有非易失性闪存1050的处理器1035、DRAM存储器1040、硬件抽象层(HAL)1030、以及与外部硬件的物理连接1235、操作系统(OS)1025和处理用于HMD的操作为用于HMD、称为IRIS(用于实时图像服务的接口)的视觉消歧服务(VDS)接口的中间件服务并且可操作为软件控制对象的软件和/或固件1000。中间件服务上方是包含便于IRIS对象与第三方应用的软件集成的软件的软件层1015，并且在中间件服务上方为用于第三方硬件集成和调试的软件工具1020的集合，所述第三方硬件集成和调试包括通过由IEEE 1149.1标准测试访问端口和边界扫描架构支持的联合测试行动小组(JTAG)的如单步和断点的操作。在软件工具和集成层上方为应用编程接口(API)1010，其后为应用1005。此外，系统为增加安全性包括公钥生成器1635和私钥生成器1630。

图5描绘包括识别为电源管理器1140和设备管理器1120的软件块的整体系统架构。电源管理方案由一个或多个开放标准得出，诸如高级配置和电源接口(ACPI)。

ACPI具有三个主要组件：ACPI表、ACPI BIOS和ACPI寄存器。不同于它的前身，如APM或PnP BIOS，ACPI以ACPI BIOS代码实现少量其功能性，其主要任务是将ACPI表加载在系统存储器中。相反，以在ACPI表中存储的ACPI机器语言(AML)字节码提供大多数固件ACPI功能性。为利用这些表，操作系统必须具有用于AML字节码的解释器。由ACPI组件架构(ACPICA)提供参考AML解释器实施方式。在BIOS开发时，由ASL(ACPI源语言)代码编译AML码。到目前为止，ACPI标准的最新版本是2011年。

对可穿戴计算，未来的系统可以实现无操作系统和健壮支持。上文论述的电源管理方案和ACPI元素将需要拉到应用控制层，为应用和用户提供对电源方案的动态控制。如下所述，在非常抽象的实施例中，ACPI可能以分离或分布式方式实现。该当前标准未完全预期可穿戴计算设备如在本说明书中公开的HMD的挑战，因此，公开了用于在多种模式中操作HMD系统的另外的考虑。

HMD可以包括在检测到无眼睛时部署的低功率操作模式。这通常发生在当用户移除头戴物时或当头戴物已经移出用户的头的地方时。能在作为芯片上系统(SOC)的硅中实现该功能性。

任何时刻，能由初始用户重新安装或由新用户穿戴该设备。为了设备校准(例如考虑个体之间的解剖差异)和/或用户认证的目的，期望该设备当被重新安装或重新部署时，能够确定注册用户的身份。这能包括加载配置/校准参数的新集合和区分在先用户和新的用户之间的身份；包括停止、暂停和/或隐藏由在先用户启动的任何正在运行的程序的输出。

通常在旧标准下，只要操作系统电源管理(OSPM)激活ACPI，则其接管对电源管理和设备配置的所有方面的专属控制。OSPM实施方式还向硬件驱动器1197暴露ACPI兼容环境，反过来，每个硬件驱动器1197影响系统、设备和处理器状态；以及将这些作为电源状态全局地管理并且这些包括全局状态、设备状态、处理器状态和性能状态。

功耗是普遍关心的问题，特别是在长时间未穿戴设备时。对该问题的通常部署的解决方案是完全将电子设备关机的“关”开关。然而，“上电”头戴式设备的时间和不便是有限制的，特别是例如如果设备仅暂时从头部移除。

低功率HMD和眼睛信号控制通过使用包括下述的至少一个技术，预期这些问题：

●通过减小处理器的时钟速率，修改处理器状态，

●通过将处理局限于低功率处理器或处理器的一部分，修改性能状态，

●通过以减小的帧速率成像，修改设备状态，

●通过关闭相机或在图像之间转换成低功率模式，修改全局状态，

●减少照明，

●通过减小的空间分辨率，收集和/或处理图像，

●将算法(特别是与搜索虹膜边界相关联的那些算法)限定到低空间分辨率模式，

●在irisCode比较期间，放松严格测量，以及

●制作在直到已经发生低水平认证为止不会“上电”整个设备的低功率模式中操作的专用硬件(芯片或SOC)。此外，这类芯片或SOC将禁止访问其他嵌入功能性或连接或无线连接设备，直到执行认证可能后续执行上电和确定用户的眼睛观看显示器或其他目标物体为止。

该专用硬件能利用能分割一部分电路来在极低功率模式中操作的“混合”芯片制造的现代方法。该混合电路有效地构建“防火墙”，防止未授权用户完全上电或利用设备。

低功率HMD模式的另一应用是当感测到低电池状态时。代替运行设备直到所有全局功能终止为止，“优雅降级”模型作为用于HMD的新的电源状态类的一部分被实现。“优雅降级”能包括通过限制使用更耗电(即，通常更复杂)的图像处理和其他例程的算法方法，以及降低功率同时保持至少部分功能性的许多混合和硬件方法，如上所述。用于处理器和关键操作的低功率模式继续，直到电池最终没电、该单元插入中央电源或该设备被放置得足够接近感应充电站为止。

用于所有形式的可穿戴计算的另一电源管理问题是越复杂的算法眼睛跟踪和用户接口技术会利用更快或并行的中央处理单元(CPU)，但通常这些方法要求更大功率。越大的功耗导致更大和/或更重的电池，和/或再充电或替换电池之间的更短的设备使用时间。

部署更多/更快CPU的替选或补充是使用嵌入或分布式处理方法。这些能在各种硬件组件内实现，包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、复杂可编程逻辑器件(CPLD)和能包括芯片上系统(SoC)配置的混合设备。

嵌入或分布式处理能通过将负荷卸到计算密集的例程，促进现有的、基于CPU的方法。专用于执行这些例程的硬件能更快(通常仅要求一个、或仅几个时钟周期)并且利用更少功率(通常少了大于一个数量级的功率)。分布式处理还能促进使用CPU通常不可行(在时间和功耗约束内)的新算法方法。分布式处理在要求将在大的数据集诸如视频图像上执行的计算的重复和/或同时应用的算法内特别有用。这些在下文的子章节分布式处理中进一步论述。

另一实施例利用低功率分布式处理来检测设备是否已经从头部移除。为了实现“瞬间接通(instant on)”能力，设备必须“感测”其被安装在穿戴者的头上还是已经被移除。执行该功能的方法(而不增加另外的硬件)是确定在眼睛跟踪相机图像内是否能看到眼睛。如别处所述，能通过降低的帧速率、低分辨率成像、低CPU时钟速率等，当不使用设备时(即从头部移除)降低功耗。

对低功率眼睛存在测量，能通过降低照明LED的功率、减小接通的LED的数量和/或仅当真正采样相机图像(以减小的帧速率)时才接通照明器，来消除或减小照明。通过在分布式处理硬件中嵌入相对简单的眼睛几何结构检测例程，也能获得功率的实质减小。该示例用于确定(例如眼睛的)图像是否存在的一种形式的卷积滤波器是焦点滤波器。这种滤波器能被分类为检测高空间对比度边缘的存在的高通空间滤波器。当通常存在失焦图像时(即，不存在位于相机的约25mm焦距处的高对比度对象)不存在这种边缘指示该设备已经从头部移除。另一种方法是检测与白色(即，巩膜)区域相邻的黑暗(即，瞳孔)区域。当检测到聚焦的眼睛时，设备“上电”以用于更高分辨率眼睛跟踪(认为其未完全断电)。

在另一实施例中，设备可以包括微机电系统(MEMS)，诸如用于确定运动的加速度计或速率传感器。当未穿戴设备时，该设备可以以超低功率模式操作，其中，该设备不间歇地搜索眼睛的存在。在超低功率模式中，当检测到设备的运动时，例如当用户拿起该设备时，设备可以仅搜索眼睛的存在。当检测到运动时，设备可以以如按用户偏好设定的预先确定的间隔(例如每隔2秒)或在一段时间(例如1分钟)内基本上连续地发起扫描搜索眼睛。如果设备在预设时间间隔中未检测到眼睛，该设备可以恢复超低功率模式，或者该设备可以在恢复超低功率模式前循环低功率模式。只要检测到眼睛，该设备可以切换成全功率模式或切换成如按所检测的用户的偏好设定的功率设置。主设备所有者(管理员)可以设定当设备未使用时将管理用于该设备的功率模式设置的整体系统功率方案。此外，设备所有者可以锁定对电源方案的改变，使得其他用户不能编辑它们。

图5描绘IRIS对象1000的进一步分解，包括眼睛跟踪1100，用于跟踪用户的眼睛凝视的模块；眼睛数据1105，用于使用用户的生物计量数据的用户识别，诸如面部、语音和虹膜识别；眼睛控制1100，用于将用户的眼睛凝视与显示器关联，iUi^TM接口(包括眼睛信号控制的接口)1116。从眼睛运动收集的眼睛信号1115用来与用户接口iUi1116交互并且在显示器上显示画面和图像。

在IRIS对象1000中，包括作为某些功能的管理器操作的多个软件模块。例如，但不限于：

●设备管理器1120，允许用户控制附接到该系统的硬件，不管是HMD中的成像器、附接的蜂窝电话还是车辆信息娱乐系统。

●数据管理器/个人数据管理1125，实现对用户数据诸如电子邮件、消息等的安全存储和访问。数据管理器1125还可以包括口令管理软件、Web浏览器收藏和密码软件中的一个或多个。高级数据管理能包括例如设置和建立虚拟专用网(VPN)、具有不管本地还是通过互联网可访问的外部处理器的终端服务。

●通信管理器1130，被设计成将信息从一个系统传递到另一个系统，并且提供对系统的远程访问，以及在计算机间以多种格式传送文件。通信管理器1130还可以包括链路管理和数据路由。

●安全管理器1135，是指用来保护HMD和用户免受威胁、病毒、蠕虫、恶意软件或远程黑客侵入的软件步骤或措施；包括预防控制技术，其保护系统及其数据免被窃取或盗用。

●电源管理器1140，管理设备电源方案来优化和最大化用户体验和设备电池寿命。

●显示管理器1145，具有两个基本功能：在iUi 1116的模式中，眼睛如何跟踪屏幕上的对象；以及在HMD中向用户显示哪些内容。显示管理器1145还具有将HMD中的屏幕全部或部分传送到外部显示器的能力，所述外部显示器诸如计算机屏幕、汽车的仪表盘或家庭娱乐监视器，诸如TV。

现在进一步论述安全管理器1135，可以包括多个另外的控制，例如音频/视频(A/V)控制1150、语音控制1155或一些更复杂的控制，例如认知负荷控制1160(图11和12)。

HAL 1030(图6)包括外部硬件系统的“托管”方面，这通常包括专用于特别为集成而开发的IRIS平台的软件。预期的硬件是但不限于蓝牙接口1170(下文作为一个实施例单独论述)、至任何形式或任何类型的TCP通信的TCP/IP接口1175，包括802.2(有线接口)、802.11、802.15(WPAN-除蓝牙外的无线个域网)以及802.20Wi-Max；这包括支持网络以及至有线或无线系统的传输软件1195以及物理链路的栈。此外，还存在对于通过硬件IF 1180的其它系统的考虑，该硬件IF 1180通过物理链路1235与外部软件和/或硬件驱动器接合；这些物理链路能是I²C、USB、串行或专用物理链路。

在一个实施例的论述中，例如，在实施例的非限定示例中，已经选择蓝牙系统，因为它在快速增长的移动设备的市场中很流行。例如，当今几乎所有的车辆具有所谓的信息娱乐系统，这些是诸如音乐和视频的娱乐以及信息的组合，其中，信息可以来自车辆内，如来自传感器的数据，对系统诸如加热器或灯的控制，或可通过互联网获得的信息。这些系统中的大部分使用有线和无线技术来连接至车辆和/或互联网。当今，与车辆的无线连接通常是通过一组标准接口建立的蓝牙，这些称为简档1300(图9)并且托管在蓝牙无线电上方的处理器中，进一步在图5中示为免提简档(HFP)1187、高级音频分发简档(A2DP)1193、音频视频资源控制简档(AVRCP)1190等。

到目前为止，未预期HMD 600将用在车辆中来控制车辆操作915，包括信息娱乐系统910；因此，并入最新简档中的一个是不可避免的，该简档称为人机接口设备(HID)简档；简档1210、1215、1220和1225通过跨硬件抽象的简档，将信息从应用交换到蓝牙模块和蓝牙无线电。图6描绘蓝牙系统架构，包括与简档的连接、网络和传输1230以及数据链路1250和调制解调器1255。

图7描绘分解成其子组件的蓝牙架构1205的分解。所有这些协议的基础是称为服务发现协议(SDP)1310的蓝牙的关键协议，其包括所谓的安全简易配对(SSP)。如今高于V2.1的所有蓝牙标准均要求SSP。安全简易配对使用一种形式的公钥加密，其能帮助防止所谓的“中间人”或MITM攻击。通常，蓝牙HID 1185规范要求用于配对并将两个设备绑定在一起的安全模式4，引证在没有与蓝牙HID主机和蓝牙HID设备的物理接入的情况下，应当不可能执行与任何蓝牙HID主机或设备的配对或绑定。支持绑定的蓝牙HID主机和蓝牙HID设备使用一些形式的非易失性存储器来存储128位链路密钥和对应的BD_ADDR，以及每个链路密钥的类型(认证、未认证或结合)。在HMD的情况下，限制复杂访问，因为在传统意义上没有鼠标或键盘。然而，存在蓝牙未预期到的建立安全链路的其他方式，即使蓝牙知悉公钥加密的规则。

在另一示例中，可以实现从蓝牙HID设备接受敏感信息的蓝牙HID主机仅从包含在“通用桌面键盘”或“通用桌面小键盘”的上层应用集合中的报告接受敏感信息。此外，当利用包含“通用桌面键盘”或“通用桌面小键盘”的上层应用集合的蓝牙HID报告描述符，与任何蓝牙HID设备配对时，该蓝牙HID主机会要求MITM保护，进而，蓝牙HID报告包含使用代码及它们的描述的下述集合中的任何一个：

IC-irisCode：为了生物计量识别的目的，将模式辨识技术应用于眼睛的图像来将虹膜内的表观遗传模式量化为可比位模式的结果。

EIC-加密IC：已经被加密的irisCode，使得其不能被逆向工程为虹膜的原始图像或任何其他基于虹膜的、导出的参数。

TEIC-目标EIC：所识别的EIC，其中，与从眼睛的图像计算的IC的匹配指示关联，并且由此，指示肯定的生物计量识别。

CBID-连续生物计量识别：能在头戴式设备上或通过将EIC、或一只或两只眼睛的图像传送到远程处理器远程执行的生物计量识别的重复的过程。CBID能以固定速率(例如每秒30次)或异步速率(例如每次设备移动或重新安装时)发生。

下述表是指EIC的传输和比较；然而，其在算法上可以将眼睛的图像转换成IC，随后再转换成EIC。由此，CBID能等同地包含涉及虹膜的图像、IC、EIC或其他导出的参数的信息的比较和/或交换。类似地，用于生物计量比较的数据库能等同地(为了识别目的)包含IC、EIC、眼睛的图像、面部的图像(包括眼睛)、虹膜的图像、所谓的“展开的”(即以极坐标表示)虹膜图像或其他导出的参数。因此，引用EIC的交换或比较也指为了生物计量识别目的，任何其他导出的数据集的交换或比较。

在下表1中，其中，能将可编程属性的集合指定到新的蓝牙简档，能使用这些属性：

表1用于蓝牙SDP交易的示例头戴式设备配置

可编程属性的其他示例包括但不限于：

●辨识家庭的各个成员，所有人均被允许使用该设备(例如动态地加载与每一用户相关联的校准因子)

●公共HMD的按次计费租金

●使多个通用头戴式设备可用于公司内的雇员

●从用户已经注册的在线“商店”在线购买，对用于进行购买的设备无限制

●从用户和特定头戴式设备二者已经注册的在线“商店”在线购买

●确定用户是否在“禁飞”名单上

●传统口令的机密名单

●在大型在线课程内进行考试

●可用于初级护理医生、专家和病人的医疗记录

●基于所识别的观众的人口统计的结构化广告

●发送给用户的设备许可协议

●已经查看过法律文件的所有部分的确认

●条款和条件的变化的通知已经发送给用户的确认

●与法律文件有关的知情同意的确认

●飞行员的飞行前检查

●对车辆驾驶员的识别并且可以识别事故前驾驶员分心

●基于用户标识检索电子邮件，其中，为另一用户提供单独的电子邮件访问

●可以标记传出的文本和电子邮件(可选地)来指示CBID用户是作者

●电子地“签名”法律文件

●必须在同时存在学生和导师时举行的考试的管理

●碰巧遇见的人之间/之中的个人信息的交换

●在不要求收款台的实体店中进行的购买

●仅对授权个人开门的远程控制

●基于用户标识获得或限制进入建筑物

●跟踪软禁于家中的个人

●跟踪限制进入娱乐场或与另一个人交互的个人

●确保合法购买酒精或其他对个人年龄敏感的材料

●具有用户标识(能链接到医疗历史)、“生命体征”和地理位置的自动911呼叫

●基于CBID，与自动柜员机交互

●获得进入高机密军事场所

●提供正被调查的个人的历史活动

●限制访问私人通话的音频/视频

●限制访问与参与者的会议的音频/视频

●限制访问与CBID参与者的私人通话的数据集

●我最后一次看见我的车钥匙是在什么时候/什么地点？

●先列出(与篮球或一些其他运动相比)曲棍球分数

●由成年人(而不是孩子)控制家用恒温器

●远程打开家用入门灯

在成像器或视频的图像处理和使用的进一步论述中，在上述实施例中，预期以下系统，其中利用面向眼睛和面部并且向外面向情景的单个传统的2D成像器系统实现HMD。然而，在替选实施例中，预期考虑利用面向面部和眼睛以及情景的多个成像器实现HMD，其中，多个成像器生成立体3D视频图像。除立体3D图像外，申请人已经预期对于其他形式的3D图像生成的考虑。当今，非接触三维相机或数字化器通常分成四种类别：立体数字化器(如上所述)、轮廓数字化器、定时数字化器和投影模式数字化器。根据四种宽泛类别，能概述基础3D表面成像技术：空间相位成像(SPI)、三角测量、飞行时间(TOF)和相干方法。

空间相位成像通常依赖于当光从表面发出以捕捉有关物体的形状的信息时的光的偏振态。三角测量采用两个或以上显示特征、检测器和/或照明体的位置来计算物体几何结构。两个重要的三角测量子类是立体对应(STC)和立体视觉(STO)。立体对应相机通过使用3D几何学，识别两个或以上偏移强度图像中的对应特征来计算特征位置，确定情景中的特征的位置。立体视觉相机依赖于人的生物系统(眼睛、大脑)来由从不同有利点拍摄的2个图像创建3D情景的概念并且投射到观众的眼睛中。最后，相干方法依赖于从表面照射和/或发出的电磁能中的高的空间和/或时间相干度以便确定3D表面几何结构。

图8和9描绘用于2D或3D实施方式的成像器对象码1415。与采用的技术无关，所实现的任何系统必须考虑两个关键因素：人类保真(Human-fidelic)可视化(完全真实感显示)和视觉智能(自动化视觉)。人类保真可视化能在人的脑海中创建与直接观看该情景一样真实或基本上一样真实的情景的视觉概念。成像系统对人类保真来说必须是3D的，因为人类视觉是3D的。第二是视觉智能，是指感测和分析光来理解物理世界的状态。人类情绪、姿势和活动的自动辨识表示视觉智能的示例。2D视频相机努力提供高水平视觉智能，因为当捕捉视频时，2D视频相机会丢弃深度信息。作为忽视深度的结果，3D情景的2D图像次于3D图像。3D图像具有更好的对比度(区分不同物体的能力)。真实情景的真实视频通常包含许多实例，其中，对比度和深度模糊使得自动化系统难以理解情景的状态。

3D视频相机能实现2D相机能实现的一切操作，但增加了刚才提及的优点。不可避免的是单镜头原生3D视频通过提供以下两个感兴趣的好处最终将取代当今提供的2D视频：人类保真可视化和提高的视觉智能。合理地假定全球生产的大部分相机将转换成3D，因为它们变得有成本效益、易于操作、小型且产生视觉保真度。考虑到这一点，当今新兴的技术就成本、复杂性和保真度而言，最可能达到大众市场的是在所论述的宽泛3D成像类别内的空间相位成像。该技术依赖于市售的成像器，其在四个子像素上实现微偏光镜头以得到快速确定反射光中的小的变化的能力，将矢量作为用于每一像素的方向余弦计算并且在X、Y和Z深度上生成三维值；真正的单镜头原生3D视频。

在另一实施例中，能经由使用多于单个相机来查看眼睛，来提高CBID和眼睛信号控制过程的精度。从多个相机基本上同时或顺序获得的图像能用来1)创建眼睛的不同区域的轴上(即，垂直于表面)的视图；2)查看具有在眼睛的图像内位于(眼睛的图像内，3个)不同位置的镜面反向(特别是闪光)的表面；3)允许查看精细结构同时保持查看宽的空间范围的能力；4)通过基于闪光和眼睛结构的多个视图，进行多个测量，增加眼睛跟踪精度；以及5)查看遮挡物体周围，诸如眼睑和睫毛。

分布式/嵌入处理特别有用的另一区域是对于CPU计算上密集的操作的“卸下负荷”处理。眼睛跟踪和虹膜识别算法内的这种“混合”方法(即，混合CPU和嵌入式处理)的示例包括执行快速傅立叶变换(FFT)、随机采样一致性(RANSAC)、所谓的StarBurst特征提取和三角函数的例程。

在系统架构内，包括用于管理为了个人和群组的的安全性、优化性能和总体幸福感而管理认知负荷的方法。通常，认知负荷的概念从通常与态势感知有关的战术战斗项目和活动延伸。反过来，这些驱动程序中的认知负荷控制1160，如驾驶座工作量管理；认知负荷控制1160通常处理与一些外部刺激交互的人类思想。

认知负荷的定义在不同领域稍有不同，例如，在学术意义上，认知负荷是指在任何时刻，强加在工作记忆上的总的脑力活动量；而在人体工程学文献中，被描述为操作者信息处理能力的一部分，或要求满足认知任务需求的资源。每一领域提供测量认知负荷的不同方法。

在本文中，认知负荷被认为特定用户领会或学习一些资料或完成一些任务所需的脑力劳动或需求。认知负荷与在任何单个时间点用户(即，处理新信息的能力)和完成的任务(即复杂度)有关。这归因于人的工作记忆的有限容量和其处理新信息的能力。

用于测量认知负荷的常规方法包括：

1.主观测量，诸如自评量表；

2.生理技术，诸如瞳孔扩张、心率和皮肤电反应；

3.基于任务或性能的测量，诸如临界误差率和任务完成时间；以及

4.行为测量，诸如语言病理学(例如障碍，自言自语等)。

通过测量认知负荷的这些方法，存在许多问题，包括：

1.一些方法是侵入式的并且破坏执行该任务的正常流程；

2.一些方法对用户来说身体上不舒服；

3.一些方法当它们太密集时，不能实时进行；

4.在实验室条件外，数据质量可能不可靠；以及

5.数据质量受外部因素，诸如用户的压力水平影响。

图12描绘解决许多这些问题的认知负荷管理器1160的系统组件。在一个实施例中，移动、可穿戴、植入、消费和其他生理集成计算机采用日益复杂和变化的传感器、数据输入方法、数据存取方法和捕捉、访问和解释能用作大脑的感官输入并且影响认知活动的越来越多数据的处理能力。数据包括生理数据1815和环境数据1810。能使用数据来更好地建立用户的偏好以用于集成、管理和将信息传送到头戴单元。

图13-15描绘用于将HMD连接到另一设备或互联网的三种不同系统架构。图13描绘通过本地链，诸如蓝牙连接到由用户携带的移动设备710的HMD 600；移动设备710经由链路155连接到通常通过700由无线通信公司提供的分组交换网络或当今通常称为分组网络也称为万维网的网络；随后连接到基于web的服务、数据库或外部应用160。

图14描绘包括嵌入或附接到HMD用于直接连接到互联网700和服务提供者160的无线发射机750的HMD 600。

图15描绘包括经由链路725直接连接到互联网的无线收发器750的HMD 600，其中，本地链路通常是分组链路，但也能是其他专用的无线协议。在该配置中，HMD独立于其他智能设备，基本上，HMD始终直接连接到互联网。现在，如果用户想连接智能设备，或现在HMD连接到用于对那一系统的控制和操作的另一系统，用户将通过蓝牙简档，简单地实现本地连接。在家庭音频的情况下，用户将需要使用音频视频传输简档、音频视频资源控制简档或高级音频分发简档。如果用户想连接到车辆，他或她将需要实现免提简档。需要更简单和不太复杂的系统，连同连接到这些系统的方法，特别是如果用户在与他们想控制的系统的本地连接的范围外时。

为解决该新挑战，图16描绘在目前称为“物联网”或IoT的基于“抽象”实时服务器-浏览器云架构中实现HMD的另一实施例。任何抽象层的关键是从一些设备或软件抽离出操作或策略复杂性的能力，这些可以包括专有方面，包括商业秘密和知识产权。该抽象能够支持技术供应商的扩展的或新的商业模型。该架构的良好示例是NEST^TM实验室商业模型。该模型能宽泛地称为“剃刀/剃刀刀片”模型，在这种情况下，NEST^TM恒温器是剃刀，NEST^TM服务是剃刀刀片或简单地说，企业模型包括恒温器的销售和每月定期服务。除硬件和服务的销售外，该商业模型支持用户在他的家中的数据采集。在该系统中，为了“学习”目的，恒温器离线向中央服务器提供数据。

尽管能够经由互联网访问NEST^TM产品，但它们不能直接连接到智能设备以用于控制和操作家庭加热系统。图16描绘经由分组网络155连接到互联网700的HMD 600。为了用户访问他或她的家庭恒温器，用户需要访问NEST^TM服务服务器965上的他们的网页。然而，已经在新的HTML5标准下扩展了web服务器和浏览器的传统角色。看起来就像服务器和浏览器的角色倒置，Web服务器现在是智能恒温器，该服务器向运行浏览器的云中的固定URL仅提供少量数据。云中的该浏览器能由用户使用智能设备或计算机在实际上任何地方访问，以读取其恒温器或与之交互。使用该角色中的Web服务器现在是IoT的关键和基本概念，大大地降低复杂性和成本。

现在鉴于IoT重新考虑图15；访问家庭娱乐、家庭安全系统、或就此而言用于它们的监测、控制和操作的任何家庭仪器(洗衣机、烘干机、冰箱等)，将不同地实施。此外，考虑IoT架构，头戴设备600将能够连接到位于云上的世界上的任何地方的任何消费者、企业或商用设备，用户能经由眼睛信号经由与所包括的显示器的眼睛交互，控制那一设备，所述眼睛信号被定义为将眼睛信号映射到与设备的通信、诊断、控制和交互的标准命令集合。

该新模型抽离出复杂性和成本，例如，其中HMD可以不要求蓝牙或就此而言分布式智能的模型。不可避免的是不远的将来将发生两件事件：首先，无线带宽将继续随着即将来临的千兆服务而呈指数增长；第二，IoT架构随着当今继续部署，将非常快地部署。所需的是有关独立头戴系统如何在快速演进的生态系统内战略地演进的方法和系统。图17-23描绘从智能头戴系统到图23描绘的更简单模型的抽象转变模型。

首先从转变结束开始，图23描绘由基于非常高速的分组的链路、比得上或可能优于本地处理器中的典型通信总线的无线链路连接的HMD 600的IoT架构内的基于云的实施方式。这些处理器总线操作为处理器的子系统来便于在计算机组件之间或计算机之间传送数据。典型的总线类型包括前端总线(FSB)，其在CPU和存储器控制器集线器之间携载数据；直接媒体接口(DMI)，其是处理器中的集成存储器控制器和I/O控制器集线器之间的点对点互连；以及快速路径互连(QPI)，其是CPU和集成存储器控制器之间的点对点互连。在嵌入式计算行业中已经使用其他高速总线来包括用于处理器间通信的SPI。目前未预期的是在基于云的架构和分布式计算中，大部分智能将驻留在所连的设备以外。HTML 5和JSON是为分布式计算优化的标记语言的良好示例。为包括音频、视频和可缩放矢量图，操作系统将演变和操作将可能使用更简单的“发布订阅”访问来满足这些新的分布式架构。

鉴于上文，以及现在关于在云上操作的HMD，HMD连接到操作称为IRIS(用于实时图像服务的接口)的视觉消歧服务(VDS)接口的集中式服务器-浏览器800，该操作的想法非常像对音频的SIRI(语音解释和辨识接口)。IRIS服务用于用户的意图的实时解释、确定和预测的眼睛运动的复杂消歧。IRIS如SIRI一样在云中操作。1126和1127表示上述的IRIS抽象层。HMD现在通过最少量的软件、处理器操作，该处理器使用发布/订阅消息方案，具有更丰富的特征并且配置有有限的操作系统或可能没有操作系统。

在转变开始时，嵌入式IRIS(e-IRIS)1111包括在FOG中操作的多个工具或实用程序，作为组合的实时服务。这些包括数据管理器1125、设备管理器1120、通信管理器1130、电源管理器1140和安全管理器1135a。在e-IRIS抽象1127中，有对应的管理器，稍微不同在于安全管理器1135b，将在下文更详细论述。

图23还描绘支持用户的基于云的版本中集中的眼睛管理工具。这些包括眼睛跟踪器1100、支持安全性的眼睛数据1105、眼睛控制1110、眼睛信号1115和用于眼睛用户接口的iUi 1116。除这些元件外，其他实时服务可用并且关联至包括音频-视频管理器1150、语音管理器1155、认知负荷管理器1160和场境管理器1165的IRIS。这些服务和架构的组合构成IRIS。

现在回到图17以及初始实施例，HMD 600无线地连接到智能设备(诸如智能电话、平板、家用或办公PC)或通过802.11链路仅连接到互联网。所有服务在HMD 600处理器中操作或存储在与HMD 600相关联的存储器中。该实施例将操作为具有操作系统和微处理器和/或其他逻辑元件的独立的计算机。在第一实施例的第一转变步骤中，一些非实时应用将负荷卸到在本地智能电话710、本地PC或其他智能设备上运行的应用。然而，该第一转变实施例将仍然高度依赖于HMD 600中本地可用的资源来按照预期操作。

图18描绘第二转变步骤，其中，数据管理器1125承担新任务。除管理HMD 600上或外的数据外，数据管理器被配置为使用标记语言，诸如或JSON(Java脚本对象表示法)、HTML 4.01或5.0，管理HMD600板上或板外的一些数据。该转变步骤的目标是实现HMD 600中的Web服务器-浏览器关系。在这种情况下，成像器、音频输入或可用于HMD 600的任何其他传感器获取的一些数据被提供给云并且由固定URL引导到基于云的IRIS，在该基于云的IRIS中，用户的浏览器页面驻留并且聚集他/她的数据。该第二转变支持非实时数据应用，例如，HMD 600用于传送已经由用户采集和存储的数据。例如，用户可以捕捉与眼睛或用户的健康有关的照片、音频片段、视频片段或其他用户生理数据，这些数据然后被转移到IRIS，用于存储、聚集或可能后续消歧(在下文更详细所述)。

图19、20和21描绘转变中的第三步骤，其中，无线带宽现在是几乎实时的。Web服务器和浏览器关系在操作上与HMD 600中的现在更成熟的e-IRIS 1111和云中的IRIS 800并行存在。它们跨抽象层1126和1127，几乎实时地相互操作并交互。该新配置现在允许相对于私钥-公钥的安全和实施方式的安全管理器1135的演变。驻留在HMD 600中的安全管理器1135承担如在2015年5月8日提交的“Systems and Methods for Discerning Eye Signals and Continuous Biometric Identification”中所公开的基于某些生物统计学来生成私钥和公钥的任务。如果需要，从面部、眼睛或语音采集的数据构成用户或用户群组的独特生物计量数据。所采集的这些数据可以被用来在公钥和私钥密码的系统中生成独特私钥。

作为背景，多年来，密码系统已经广泛用于信息保护、认证和访问控制。这些密码系统通常分类为对称密钥密码系统和公钥密码系统。对称密钥密码系统将同一密钥用于加密和解密保密信息，然而，使用同一密钥会出问题：1)如果密钥泄漏，则不能保证安全；以及2)如果有多个用户，需要多个密钥，会增加系统成本和数据安全性。公钥密码系统会通过使用一对密码密钥(即私钥和公钥)，克服这些限制。用于解密的私钥被保密，而用于加密的公钥可以分发给多个用户。因此，当在实际加密系统中将实现高安全级时，私钥的保密是主要挑战。

例如，可能与其他生物计量数据结合的用户的irisCode被用来建立后续生成私钥-公钥的独特密钥。由用户的独特生物计量方面生成的公钥被发送到IRIS 800，用于存储在用户的浏览器的安全管理器部分图22的安全管理器1135b中。永不存储私钥，而是每次用户实例化会话时，在HMD 600中生成私钥。当用户戴上HMD 600时，生成私钥，图21 1129，并且在IRIS 800中认证。这确保了目前在web应用中特别是在电子商务中不可用的不可否认性和安全性的水平。

图23描绘在转变到实时HMD 600中的最终步骤。互联网现在多产并且以超过处理器总线的速度操作。出于所有意图和目的，IRIS 800是基于云且实时的。在IRIS 800中收集和聚集数据。IRIS 800现在基于有关人眼的生理以及一般来说用户的学习，实施高级算法，简要地说增强IRIS 800中的消歧。IRIS 800现在能预测用户想要看见或做什么的内容和地点。用户的HMD 600为低成本、低功耗并且立即可换的用品。

最终步骤将用于该设备的所有智能抽象到云700。CBID，现在为基于云700的CBID，基本上是连续且实时的。由于私钥的生成对用户来说是独特的，这允许任何用户在任何时刻拿起任何HMD 600并且使用它，简单地套上它并且他们看到所有他们的个人信息现在驻留的他们的浏览器页面。如果他们的HMD 600被盗，该信息是安全的。如果用户丢失他们的HMD 600，不用担心，简单地借一个，或买一个新的。IRIS 800的CBID或云700方面以新的级别抽象该设备，其抽象用户就像HMI和显示器现在做的一样。

如以上在NEST^TM家庭恒温模型式中所论述的，仅可通过NEST^TM服务门户和页面，访问恒温器。在该实施方式中，HMD 600安全地连接到IRIS 800和用户的页面。如果用户想访问他们的恒温器，IRIS将他们直接并且安全地连接到NEST^TM服务门户965。该模型将扩展到XFINITY，如果用户想访问他/她的账户来设定记录或能够访问XFINITY服务，IRIS将他们直接与XFINITY门户970连接。此外，如果用户想访问他们的COZYHOME应用，再次，在这种情况下，使该链路安全地连接到适当的服务器975。

如上所述，IRIS 800可以链接到用户的社交媒体账户，为用户提供实时访问。图25描绘IRIS 800如何安全地将用户安全连接到他们的Google+账户来查看帖子或几乎实时地粘贴他们想要分享的信息。社交媒体920包括可用于用户的社交媒体服务。

现在转到基于实时云的IRIS 800及其扩展能力，对其用户，基本上连续地聚集和分析眼睛信号。这使得IRIS 800成为用于与场境化眼睛数据(CED)相关联的应用和服务的独特服务和开发平台。在图17的e-IRIS 1111以及图23的IRIS 800二者中，IRIS 800包括场境管理器1165，并且其任务是生成场境化眼睛数据(CED)。CED以从对一只或两只眼睛的不定期和/或基本上连续的监测提取的眼睛数据开始。这些眼睛数据包括眼睛运动，诸如扫视、注视、停留、追赶、漂移、震颤和微跳。眼睛数据还包括眯眼和眨眼、斜视、瞳孔扩张、血管图案、虹膜和瞳孔大小、特征位置、内眼结构尺寸、形状和位置。用于CED的关键方面是使用该数据来检测随时间的行为变化。

CED是眼睛数据与其他类的数据随时间的相互关联来提取关系以用于对于用户的有意义预测、测量、分析、解释和影响。例如，IRIS 800聚集的三类数据是原始数据、语义数据和诱发数据。

原始数据包括由在HMD 600中或在人上或在人中存在的任何传感器捕捉的数据。当今，在体育或健康方面，有许多新的可穿戴的传感器用途，其中，这些新的系统均具有无线能力。IRIS 800能从个人获取该原始数据并且将它与眼睛数据相关联。示例包括但不限于用于捕捉以下的传感器：运动、GSR(皮肤电反应)、温度、心率和心率变异性(HRV)、EOG(眼电图)、EEG(脑电图)、EKG(心电图)、温度、面部肌肉运动和皮肤运动、内部器官或生物系统状态和性能、在一定电磁辐射范围内的场景和图像(可见光、IR、UV和其他电磁频率)、位置(GPS和其它信标传感器)、时间监测跟踪，以及更多。

语义数据包括用户做“什么”的“时间、地点和方式”以及用户与谁一起做的解释或含义。“做”能是工作、游戏、吃饭、训练、阅读和无数其他活动。通过解释用户的活动的场境中的传感器数据，构造这些数据。

从对视觉、触觉、嗅觉、味觉、音频、大脑或其他感官、器官的有意识或无意识的个人反应，或对故意刺激的生物反应，提取诱发数据。

至今，对与“眼睛跟踪”相关联的数据的捕捉主要利用在有限持续时间(按分钟测量)内位于面向用户的眼睛的显示器前方的昂贵、固定、“远程”眼睛跟踪设备用于特定测试而实现；或利用在有限持续时间内在有限人为环境中放在用户上的昂贵、专用、可穿戴眼睛跟踪设备(有时封装为眼镜)用于特定测试而实现。

由于在高红外(室外)环境中基本上没有对环境IR光的过滤或遮蔽，该技术不能良好运作，因此主要在室内捕捉眼睛跟踪数据，这进一步降低眼睛数据捕捉的实用性、宽度和数量。同样地，由于眼睛跟踪技术和设备的开销、有限便携性、受限的形状因子、高功率要求、高计算要求、有限环境鲁棒性和专用“数据捕捉”实用性，限制跨各种“自然”用例的高质量、环境不同的大量数据。尽管有关所捕捉的数据的早期研究已经示出了对人类健康、认知和行为的透彻理解的希望，但是在短持续时间内，已经将对这些数据的一般捕捉限定到特定测试和环境。

可以在各种生命活动的范围中由数百万人穿戴第一代集成IRIS的HMD。在公开的转变计划中，这些数据可以首先由IRIS收集作为历史数据，然后近实时地收集，最后实时地收集。如果该转变发生，其能够按数量级增加捕捉的眼睛数据的数量、质量和情境化。然后，IRIS能够具有将数据与宽范围的其他个人和聚集数据相关关联的能力，所述其他个人和聚集数据诸如个体和群组健康认知和行为。然后，IRIS可以使用该聚集数据来提供对与个人健康、认识和行为相互关联的眼睛数据的理解作为关于自量化、自改进和子实现的起始点。

IRIS将支持用于从将揭露和预测将来行为的大的数据集提取模式的应用，所述行为诸如适应新习惯的可能性、获得产品的兴趣、或赞成新政客的可能性。例如，下文列出将由IRIS场境化的眼睛数据提供的测量和预测的类型，这些包括但不限于：

●测量

○测量瞌睡和疲劳

○测量医疗条件和趋势

○测量对药品、食品或其他食物的反应；

○测量短、中和长期健康趋势；

○测量阅读速度、注意力、兴趣、流畅、词汇、混淆区域

○测量知识、理解和技能

○测量对刺激的情绪状态和反应

○测量对人、场所和事物的兴趣和情绪反应

○测量与人、场所和事物的辨识和熟悉

○测量注意力和认知负荷

○测量特定和一般任务的性能的改进

○测量IRIS的效率和满意度

●预测

○预测医疗状况或疾病的发作；

○预测特定健康事件发生，诸如癫痫发作或惊恐发作

○预测体重增加或减小

○预测健康的一般改善

○预测适应新行为或坏习惯的可能性

○预测任务成功或尽力的可能性

○预测汽车事故

○预测运动技能的改进率

○预测新产品的市场成功

○预测特定股票或股票市场的升降

○预测政治结果、政治稳定和政治动乱

○影响使我们成为今天的人类并且将驱使人性和我们的物种提高和进化的学习、工作、游戏、理解、社会化、创造力、能量、注意力、态度、动机和所有的东西

IRIS应用和工具通过场境化聚集的眼睛数据，正面地影响HMD的用户。IRIS技术将在许多维度提升用户的性能并且将提高其人与人的交互以及其人机交互。

这些中的任何一个的关键共同方面是作为实时安全抽象的IRIS的任务。图26-28描绘用于安全访问用户信息的其他门户，同样地，其中共同元件是IRIS 800。此外，在IRIS中存储的私钥能与大幅简化Web上的用户的交互、用于用户的口令有关以包括安全交易。

根据其他实施例，提供系统和方法以在线购物期间，增强安全性和便利。图29描绘用户操作仅在用户需要将他们的公钥与账户信息链接时才需要发生的设置过程。为了增加的安全性，负责账户的银行或其他金融机构会验证其他形式的目标(即，预期)用户身份并且将链接过程作为服务提供。一旦链接，在线购买选择和交易能由用户利用他们的HMD以表面上瞬时形式执行。

在安全购物的另一实施例中，实时了解设备穿戴者的身份允许与所选择和购买的每一物品电子地交换金融详情。这消除了针对每一交易或交易群组重复输入口令、安全问题或账户信息的需要。因此，这种瞬时购买系统消除包含在所谓在线购物“车”内的过程，因为不再需要为了输入账户信息的目的而聚类物品的需要。仅为了客户方便，在线购物会话期间购买的物品群组能视为集群或为购买者汇总。

根据另一实施例，提供系统和方法来增强所谓的“实体店”零售店的安全和流水线购物。在这种情况下，安装在查看设备穿戴者的环境的头戴设备上的相机能被用来识别可能有兴趣购买的物体。识别能基于通常粘贴到可购买物品上的条码或快速响应(即，Q-R)码。这种物体识别使用本领域公知的图像处理方法。

能通过与零售店相关联的处理单元，生成有关包括推荐的购买价格的物品的信息。然后，可以在附近监视器上或在与设备穿戴者相关联的头戴显示器上显示该信息。如果顾客希望购买给定物品，能由该顾客发起基于CBID的交易。这些交易在整个商店能重复地发生。然后，运送的物品和交易记录之间的匹配会允许由顾客从商店能可验证地移走该物品。基于CBID的零售购买消除了对收款台或收银机的需要。在许多情况下，在购买过程期间的信息的自动实时显示还减少了店员帮助潜在顾客的需要。

这些设备还整合刺激视觉、听觉、触觉、嗅觉、味觉(味道的感觉)、平衡感受(平衡感)、直接神经学、间接(无线)神经学(神经和突触脑电波刺激)、化学、生物活性和多模态输入感觉的日益复杂和变化的数据输出方法。

身体的增加的刺激和信息到大脑的相关联的增强的递送会以微妙而深刻的方式影响大脑活动。由向大脑的多种形式的输入的更多、变动和更快递送产生的认知刺激会正面地影响人体性能。然而，认知超负荷或不适当的刺激会负面地影响性能、损害健康、产生安全危害甚至杀害。

当移动、可穿戴、植入、消费和其他生理集成的计算机激增时，需要管理到身体和大脑的刺激和数据流的解决方案。个人已经在技术刺激情形中采用各种形式的认知管理。一些方法是纯人工的，而用于智能、基于软件的管理的方法开始出现。例如，减少在增加的、高冲击的认知活动期间的音频刺激很常见。考虑当在有挑战性交通中驾驶压力增加时，或当汽车的驾驶员迷路或尝试导航时，驾驶员关掉无线电。转向由无线电的音频刺激提供的有意识或无意识地收听的注意力减少对大脑的其他区域的输入，诸如视觉处理。同时的多模态，诸如打电话，影响驾驶的视觉任务。

在较高认知负荷的时段期间减少体力消耗是常见的另一种形式的自我管理。有关“边走边说(WWT)”的研究显示步态步速与行人讲话时的速率之间的相互关联。通常，已经加入要求较高认知的会谈的行人通常降低他们的行走步速。

与电子刺激相关联的认知负荷管理的最新形式包括临时禁用电子邮件、文本和其他在线形式的中断的应用。然而，这些应用形式非常简单。

当累积和分析通常形成活动和偏好的用户简档的历史场境、性能、生物计量和其他数据时，该方法允许用户定制和优先化以随时间改进。这些还提供用于动态地管理刺激(推迟、终止、排序、重新设定优先级、步测或更多)的各种方法和技术，支持跨多个人的对于风险可控和性能增强的群组活动的刺激聚集和管理。

另一实施例是如1165的场境感知计算。在移动计算范例中，应用发现和利用诸如用户位置、一天中的时间、附近用户和设备的场境信息、专门支持收集和传播场境的用户活动和适用于改变场境的应用是有利的。

为了方便，操作描述为各个互连功能块或不同的软件模块。然而，这不是必要的，而是可能存在将这些功能块或模块等同地聚集成具有不清楚边界的单个逻辑设备、程序或操作的情况。在任一情况下，功能块和软件模块或所述的特征能由它们本身或结合硬件或软件中的其他操作实现。

在实施例中，已经描述和示出了本发明的原则，显而易见的是，在不背离这些原则的情况下，可以在设置和细节方面修改本发明。对权利要求所作的所有修改和变化落在所附权利要求的范围内。