自适应视觉辅助装置的制作方法
本申请是申请日为2012年11月5日、申请号为201280066158.8、发明名称为“自适应视觉辅助装置”的发明专利申请的分案申请。
相关申请的交叉引用
本申请在35u.s.c.§119之下要求每个都在2011年11月4日提交的美国临时申请第61/555930和61/555908号的优先权，其中每个的全部内容通过引用并入本文。
关于联邦政府资助研究的声明
本发明获得在退伍军人管理中心授权号码c4266c之下的政府支持。政府对本发明具有一定的权利。
本公开涉及向使用者提供信息的可戴式辅助装置，比如协助具有视觉障碍的患者的假体。
背景技术：
视觉障碍是一种难以克服的使人衰弱、改变生命的状况。视觉作为感知的复杂性和眼睛与大脑之间的复杂的神经相互作用使得构建旨在更换视障人士的丧失或受损视力的人工装置具有挑战性。此外，对于患者来说，学习从感官增强装置来解释信息可能证明是显著的障碍。
技术实现要素：
本文所公开的方法和系统向人们(包括遭受视觉障碍的那些人)提供感官信息。该系统通常被实现为可戴的视觉辅助装置，比如装在眼镜框架中的假体，具有多个测量并发送信息给使用者的附加集成部件。此外，该系统可任选地包括可用来将附加的感官信息传输给使用者的一个或多个植入式接收器(比如例如眼植入物)或者与其结合使用。该系统还可以实现为用于没有视觉障碍的使用者的视觉辅助装置。例如，这样的装置可以用作感官增强装置。
不是检测并传送大量的感官信息给使用者(其可能对于便携式系统来说是计算望而却步的并且对于将正确解释的人来说是困难的)，本文所公开的方法和系统能够根据辅助装置所用于的环境及使用者所从事的活动类型自适应地检测并处理所获得的感官信息。通过自适应地调节其行为，所述系统和方法可以使用相对适中的硬件(其足够轻便，从而使其不会过分加重使用者的负担)，并且可以选择性地仅将最相关的信息传输给使用者。通过特别定制检测和发送信息给环境和给使用者的活动，使用者的迷惑得以减少，使用者使其感觉适应使用辅助装置的能力得以提高，使用者所戴的硬件的体积得以减少，并且用于将信息传输给使用者的处理时间被减少到一定程度，以使得所述辅助装置允许使用者基于及时从辅助装置所接收的信息进行日常生活的活动，比如在不熟悉的环境中行走。
一般而言，在第一方面，本公开的特征在于一种视觉辅助装置，包括：检测设备，其配置成接收关于所述视觉辅助装置的使用者周围环境的信息；通信设备，其配置成将信息发送给使用者；以及电子处理器，其联接至所述检测设备和通信设备，并且配置成：接收关于使用者的活动的信息；基于使用者的活动，过滤关于使用者周围环境的信息；基于使用者的活动，将优先级分配给所过滤信息的每个元素；以及根据所分配的优先级，通过使用所述通信设备将所过滤信息的元素中的至少一些发送给使用者。
所述装置的实施例可包括以下特征中的一个或多个。
所述检测设备可以包括至少一个图像检测器，其配置成获取使用者周围环境的图像。所述检测设备可以包括至少一个麦克风。所述检测设备可以包括至少一个全球定位系统(gps)传感器。所述检测设备可以包括测距传感器和声波传感器中的至少一个。所述检测设备可以包括至少一个运动传感器。
所述装置可以包括用于所述检测设备的壳体，其配置成戴在使用者的头部上。所述壳体可以包括所述电子处理器。所述壳体可以配置成戴在头部以外的使用者身体的一部分上。
所述检测设备和所述电子处理器可以通过无线通信接口联接。所述通信设备和所述电子处理器可以通过无线通信接口联接。
所述通信接口可以包括至少一个扬声器，其配置成将信息发送给使用者，所发送的信息可以包括从由所述检测设备接收到的信息中导出的并且由所述电子处理器发送至所述扬声器的音频信息。所述通信接口可以包括至少一个振动触觉发送器，其配置成接触使用者身体的皮肤，所述电子处理器可以配置成基于由所述检测设备接收到的信息来将信息发送给使用者，所发送的信息包括施加至使用者身体的皮肤上的振动触觉信号。
所述装置可以包括无线通信接口，其中所述电子处理器通过所述无线通信接口联接至使用者身体中植入的假体装置，并且配置成通过使用所述无线通信接口将信息发送给所述植入的假体装置。所发送的信息可以包括从由所述检测设备接收到的信息中导出的视觉信息。
所述电子处理器可以配置成通过处理由使用者发出并且由所述检测设备接收到的音频指令和非口头指令中的至少一个来接收关于使用者活动的信息。所述电子处理器可以配置成通过处理由所述检测设备接收到的视觉、音频、距离、姿势和文本信息中的至少一个来接收关于使用者活动的信息。所述电子处理器可以配置成通过处理由所述检测设备接收到的位置信息来接收关于使用者活动的信息。
在分配优先级之前，所述电子处理器可以配置成识别所过滤信息的元素中的一个、多个或全部。所述元素可以包括在由所述检测设备接收到的视觉信息中的一个或多个物体。所述元素可以包括在由所述检测设备接收到的视觉信息中的一个或多个脸。所述元素可以包括在由所述检测设备接收到的定位信息中的使用者位置。所述元素可以包括在由所述检测设备接收到的视觉信息中的文本的一个或多个部分。
在将所过滤信息的至少一些元素发送给使用者之前，所述电子处理器可以配置成进一步处理所过滤信息的至少一些元素来细化所述至少一些元素。细化所述至少一些元素包括将标志分配给对应于在由所述检测设备接收到的视觉信息中的脸的元素。可替代地或者另外，细化所述至少一些元素包括将标志分配给对应于在由所述检测设备接收到的视觉信息中的物体的元素。可替代地或者另外，细化所述至少一些元素包括将标志分配给对应于在由所述检测设备接收到的音频信息中的语音的元素中的扬声器。可替代地或者另外，细化所述至少一些元素包括识别与对应于在由所述检测设备接收到的视觉信息中的物体的元素相关联的颜色。
所述电子处理器可以配置成通过确定使用者的活动包括至少一个与日常生活相关的任务来过滤关于使用者周围环境的信息。所述电子处理器可以配置成通过施加与使用者活动相关的一个或多个阈值条件来过滤使用者周围环境的信息。所述电子处理器可以配置成通过将第一或最高优先级分配给对应于使用者周围环境中危险的所过滤信息的元素来将优先级分配给所过滤信息中的每个元素。所述电子处理器可以配置成将比第一优先级更低的优先级分配给对应于标志、建筑物、地标、来自嵌入式射频标签的位置信号、以及导航指令的所过滤信息的元素。
使用者的活动可以是阅读，并且所述电子处理器可以配置成将最高的优先级分配给对应于标题和题目的所过滤信息的元素，以及将较低的优先级分配给对应于其他文本的所过滤信息的元素。
所述电子处理器可以配置成基于在由所述检测设备接收到的视觉信息中的物体与使用者之间的距离和所述物体与使用者正凝视的方向之间的角度关系中的至少一个来将优先级分配给对应于所述物体的每个元素。
所述电子处理器可以配置成通过将所过滤信息的元素发送给远程电子处理器来细化所述元素，并且从所述远程电子处理器接收对应于所细化的元素的信息。所述远程电子处理器可以包括远程计算机系统。
所述壳体可以包括配置成支撑眼镜镜片的框架。
在发送所过滤信息中的至少一些元素之前，所述电子处理器可以配置成重新评估所过滤信息中的一个或多个元素的优先级；以及根据所重新评估的优先级，发送所过滤信息中的一个或多个元素。所述电子处理器可以配置成确定用于重新评估优先级的触发事件是否已发生在发送所过滤信息中的至少一些元素之前；以及仅在如果已发生触发事件时重新评估优先级。所述电子处理器可以配置成通过从基于使用者活动的数据库中检索成组的规则并且将所述成组的规则施加至所过滤信息的一个或多个元素来重新评估优先级。
所述检测设备可以配置成接收关于使用者周围环境的附加信息；以及所述电子处理器可以配置成在所述检测设备接收到附加信息之前调节检测设备的配置。所述电子处理器可以配置成确定在由所述检测设备接收到的视觉信息中使用者的运动部件；以及调节所述检测设备的配置来补偿至少一些运动部件。所述至少一些运动部件可以对应于使用者的不自主运动。
所述通信接口可以包括成对的振动触觉发送器，其位于所述装置的相对侧上，其中，所述成对的发送器配置成将导航信息发送给使用者；以及至少一个附加的振动触觉发送器，其中，所述至少一个附加的振动触觉发送器配置成将不同于导航信息的另一种类型的信息发送给使用者。所述成对的振动触觉发送器可以配置成以第一频率将振动触觉信号施加至使用者身体的皮肤，并且所述至少一个附加的振动触觉发送器可以配置成以与所述第一频率不同的第二频率将振动触觉信号施加至使用者身体的皮肤。所述成对的振动触觉发送器可以配置成以第一信号幅度将振动触觉信号施加至使用者身体的皮肤，并且所述至少一个附加的振动触觉发送器可以配置成以与所述第一信号幅度不同的第二信号幅度将振动触觉信号施加至使用者身体的皮肤。
所述通信接口可以包括配置成将信息发送给使用者的至少一个显示器，并且所发送的信息可以包括从由所述检测设备接收到的信息中导出的并且被所述电子处理器发送至所述显示器的视觉信息。所述壳体可以配置成支撑眼镜镜片，并且所述至少一个显示器可以被定位在对应于眼镜镜片的位置的壳体上的位置。
所过滤信息中的至少一个元素可以对应于使用者周围环境中的文本，并且所述电子处理器可以配置成基于使用者与文本之间的距离将优先级分配给对应于所述文本的至少一个元素。
所述电子处理器可以配置成确定使用者的身份。
一种视觉辅助系统可以包括所述视觉辅助装置；以及视觉假体装置，其嵌入：在使用者的眼睛中或其附近；或者在使用者的视神经中或其附近；或者在使用者大脑的视觉通路或视觉区域内、沿着其或其附近。所述电子处理器可以配置成将从由所述检测设备接收到的视觉信息中导出的所过滤辐射的元素中的至少一些发送至所述视觉假体装置；以及所述视觉假体装置可以配置成将每个所发送的元素中的表示发送至使用者的眼睛、使用者的视神经以及使用者大脑的视觉通路或视觉区域中的至少一个。
所述装置和系统的实施例还可以包括本文所公开的其他特征中的任何一个(如适合的话可以以任何组合的形式)。
在另一方面，本公开的特征在于一种用于向视障受试者提供环境信息的方法，所述方法包括：接收关于受试者周围环境的信息；确定受试者的活动；基于受试者的活动，过滤关于受试者周围环境的信息；基于受试者的活动，将优先级分配给所过滤信息的每个元素；以及根据所分配的优先级，将所过滤信息的元素中的至少一些发送给受试者。
所述方法的实施例可以包括下列特征中的任何一个或多个。
基于受试者的活动来过滤关于受试者周围环境的信息可以包括基于与受试者活动相关联的一个或多个阈值条件来过滤信息。关于受试者周围环境的信息可以包括关于环境的视觉信息、关于环境的音频信息、关于受试者的运动信息、关于环境的运动信息、关于受试者的位置信息、关于环境中一个或多个物体的位置信息、环境的周围光强度、表明受试者是在室内还是在室外的信息、以及关于环境中的物体与受试者之间距离的信息中的一个或多个。
将所过滤信息中的至少一些元素发送至受试者可以包括将所述至少一些元素发送至通信接口，以及使用所述通信接口将所述至少一些元素发送至受试者。所过滤信息中的至少一些元素可以被无线地发送至所述通信接口。
确定受试者的活动可以包括处理由受试者所发出的音频指令和由受试者所发出的非口头指令中的至少一个。确定受试者的活动可以包括处理关于受试者周围环境的视觉、音频、位置、距离、姿势和文本信息中的至少一个。
所述方法可以包括在分配优先级之前识别所过滤辐射的元素中的一个或多个。识别所过滤辐射的元素中的一个或多个可以包括定位关于受试者周围环境的视觉信息中的物体、定位关于受试者周围环境的视觉信息中的脸、确定受试者相对于受试者周围环境的位置、以及定位关于受试者周围环境的视觉信息中的文本的部分的位置中的至少一个。
所述方法可以包括在将所过滤信息中的至少一些元素发送给受试者之前，进一步处理所过滤信息中的至少一些元素来细化所述至少一些元素。细化所述至少一些元素可以包括将标志分配给对应于在关于受试者周围环境的视觉信息中的脸的元素、将标志分配给对应于在关于受试者周围环境的视觉信息中的物体的元素、将标志分配给对应于在关于受试者周围环境的音频信息中的语音的元素中的扬声器、以及识别与对应于在关于受试者周围环境的视觉信息中的物体的元素相关联的颜色中的至少一个。
受试者的活动可以包括至少一个日常生活的任务。将优先级分配给所过滤信息中的每个元素可以包括将第一或最高优先级分配给对应于受试者周围环境中危险的所过滤信息的元素。所述方法可以包括将比第一优先级更低的优先级分配给对应于标志、建筑物、地标、来自嵌入式射频标签的位置信号、以及导航指令的所过滤信息的元素。
所述方法可以包括对于相应于受试者周围环境中的物体的每个元素来说，基于所述物体与受试者之间的距离和所述物体与受试者被定向的方向或受试者视线的方向之间的角度关系中的至少一个来分配元素的优先级。
细化所过滤辐射的元素可以包括将元素发送给远程电子处理器，并且从所述远程电子处理器接收对应于所细化的元素的信息。
所述方法可以包括在发送所过滤信息中的至少一些元素之前重新评估所过滤信息中的一个或多个元素的优先级；以及根据所重新评估的优先级，发送所过滤信息中的一个或多个元素。所述方法可以包括确定用于重新评估优先级的触发事件是否已发生在发送所过滤信息中的至少一些元素之前，以及仅在如果已发生触发事件时重新评估优先级。所述方法可以包括通过从基于受试者活动的数据库中检索成组的规则并且将所述成组的规则施加至所过滤信息的一个或多个元素来重新评估优先级。
所述方法可以包括接收关于受试者周围环境的附加信息；以及在接收附加信息之前，调节用于接收附加信息的检测设备的配置。所述方法可以包括确定在关于受试者周围环境的信息中使用者的运动部件；以及调节所述检测设备的配置来补偿至少一些运动部件。所述至少一些运动部件可以对应于使用者的不自主运动。
所过滤信息中的至少一个元素可以对应于受试者周围环境中的文本，并且所述方法可以包括基于受试者与文本之间的距离将优先级分配给对应于所述文本的至少一个元素。
所述方法可以包括确定受试者的身份。
所述方法的实施例还可以包括本文所公开的其他特征或步骤中的任何一个(如适合的话可以以任何组合的形式)。
此外，所述装置、系统和方法的实施例还可以包括以下特征中的任何一个或多个(如适合的话可以以任何组合的形式)。
所述装置可以是自适应装置。所述电子处理器可以配置成接收来自所述检测设备的一个或多个图像和来自传感器的关于装置的操作信息。所述电子处理器可以基于所述一个或多个图像和所述操作信息来确定使用者的活动。
所述电子处理器可以基于使用者的活动来调节检测设备的配置，和/或基于使用者的活动处理来自所调节的检测设备的一个或多个图像。所述电子处理器可以基于使用者的活动将从处理图像所导出的信息传输给戴该装置的使用者。所述电子处理器可以配置成将关于该装置的一个或多个图像和操作信息传送给远程电子处理器，并且所述电子处理器可以配置成接收来自所述远程电子处理器的包括确定使用者活动的信息。所述电子处理器可以配置成将来自所调节的检测设备的一个或多个图像传送至其中它们被处理的远程电子处理器，并且所述电子处理器可以配置成接收由所述远程电子处理器从处理所导出的信息。图像可以在所述电子处理器与远程电子处理器之间被无线地发送。
所述传感器可以包括音频检测器和/或运动检测器和/或配置成接收电磁和声学信号中的至少一个的检测器。该传感器可以包括可由使用者激活的一个或多个开关。所述检测设备可以包括图像感测元件，其选自由电荷耦合器件(ccd)传感器、互补金属氧化物半导体(cmos)型传感器、以及二极管阵列构成的组。所述检测设备可以包括至少两个图像感测元件。
至少所述检测设备与所述传感器的第一部分可以连接至支撑结构，其中所述支撑结构配置成被戴在戴该装置的人的头部上。所述支撑结构可以包括眼镜框架。所述电子处理器可以不连接至该支撑结构，并且所述电子处理器可以与所述检测设备和传感器无线通信。所述电子处理器可以连接至支撑结构，并且所述电子处理器可以通过通信线路被连接至所述检测设备和传感器。
所述装置可以包括发送设备，其配置成接收从所处理的图像所导出的来自电子处理器的信息，并且配置成将所接收的信息发送给使用者。所述发送装置可以包括音频信号发送器、电磁信号发送器以及振动触觉信号发送器中的至少两个。所述发送设备可以包括第一发送器和第二发送器，且所述第一和第二发送器可以配置成将不同的信息发送给使用者。所述第一发送器可以配置成发送关于在使用者附近中的危险的信息，所述第二发送器可以配置成将导航信息发送给使用者。所述发送设备可以包括可植入的眼发送器。
关于使用者活动的信息可以包括关于使用者运动的信息、关于使用者头部运动的信息、关于使用者眼睛运动的信息、以及关于使用者身体运动的信息中的至少一个。关于使用者环境的信息可以包括关于使用者位置的信息和关于使用者是在室内还是在室外的信息中的至少一个。
所述装置可以包括一个或多个传感器，其配置成通过检测从检测设备的视场内的物体所反射的声波来确定关于所述物体的信息。所述电子处理器可以配置成接收来自所述检测设备的一个或多个图像和来自传感器的关于所述物体的信息，以识别对应于物体子集的一个或多个图像的区域，并且以处理所述一个或多个图像的所识别的区域。
所述方法可以包括使用其中辅助装置由使用者戴的辅助装置的检测设备来测量电磁或声学信号、获得关于使用者活动的信息(例如基于使用者的环境)、基于使用者的活动来调节该装置的配置、使用所述检测设备来测量附加的电磁或声学信号、以及基于使用者的活动来处理该附加信号和将从所处理的附加信号所导出的信息发送给使用者中的一个或多个。所测量的电磁或声学信号可以包括一个或多个图像、一个或多个测距信号、以及来自使用者环境的声音。
调节该装置的配置可以包括确定用于检测设备的配置设定。该配置设定可以包括检测设备的焦距、检测设备的视场、以及检测设备的定向中的至少一个。调节该装置的配置可以包括选择用于过滤附加的电磁或声学信号的过滤器。调节该装置的配置可以包括选择用于处理附加的电磁或声学信号的物体检测算法。所述电磁或声学信号可以包括一个或多个图像，且选择物体检测算法可以包括分析所述一个或多个图像，以确定所述一个或多个图像中的物体并基于所识别的物体来选择物体检测算法。物体检测算法可以包括用于识别危险的算法、用于面部识别的算法、以及光学字符识别算法中的至少一个。基于使用者的活动来调节该装置的配置可以包括使该装置的配置保持不变。
附加的电磁或声学信号可以包括一个或多个图像，并且基于使用者的活动来处理附加信号可以包括调节一个或多个图像，以补偿检测设备的运动。基于使用者的活动来处理附加信号可以包括基于使用者的头部或眼睛的运动来调节一个或多个图像。基于使用者的活动来处理附加信号可以包括过滤所述信号，以除去信号中至少一部分的信息。附加的电磁或声学信号可以包括一个或多个图像，且处理附加信号可以包括识别在一个或多个图像中的危险物体、人的脸、以及打印文本中的至少一个。
所发送的信息可以包括音频信号、电磁信号以及触觉信号中的至少一个。附加的电磁或声学信号可以包括一个或多个图像，且音频信号可以基于在一个或多个图像中的危险物体的识别和/或在一个或多个图像中的人的识别和/或在一个或多个图像中打印文本的音频转录而包括警告。附加的电磁或声学信号可以包括一个或多个图像，并且处理该附加信号可以基于使用者的活动、使用者的环境、或这两者而包括选择性地识别在一个或多个图像中物体的子集。
所述方法可以包括将测量信号的表示发送至远离所述装置的电子处理器，并且使用远程电子处理器来确定使用者的活动。所述方法可以包括使用远离所述装置的电子处理器来基于使用者的活动调节所述装置的配置。所述方法可以包括将附加的电磁或声学信号的表示发送至远离所述装置的电子处理器，并且使用远程电子处理器来基于使用者的活动处理附加信号。
如本文所用，使用者的“活动”对应于使用者试图完成的特定任务、使用者试图实现的目标、或者任何其他的使用者目的。活动的非限制性示例包括室外导航、室内导航、阅读、与他人交谈、吃东西、以及办理业务(例如，用钱支付)。
如本文所用，关于使用者环境的信息的“元素”是从由本文所公开的系统测量的原始信息中提取的各个特征。元素的非限制性示例包括物体、文本、语音、脸、地标、位置信息、距离以及角度定向。
如本文所用，“细化”关于使用者环境的信息的元素对应于确定关于这些元素的附加信息用于向使用者报告。对于许多这样的元素来说，在它们已位于由系统测量的原始信息或在其中被检测后，“细化”是指进一步识别或表征这些元素。例如，在物体已被定位后，通过识别这些物体而使其得以细化。在文本已被定位后，通过将该文本转换成一系列的字母数字字符后而使其得以细化。在语音已被检测到后，通过识别扬声器和/或所讲的话而使语音得以细化。在脸已被定位后，通过识别它们属于谁而得以细化。在地标已被定位后，通过识别这些地标而使其得以细化。
除非另有定义，本文所使用的所有技术和科学术语与由本公开所属领域的普通技术人员通常所理解的具有相同的含义。虽然类似或等同于本文所描述的方法和材料可以用于本发明的实践或测试，但是下面描述合适的方法和材料。本文所提及的所有出版物、专利申请、专利及其他参考文献都通过引用全部并入本文。在冲突的情况下，以本说明书(包括定义)为准。此外，材料、方法以及示例仅是说明性的，且并不旨在进行限制。
一个或多个实施例的细节阐述于下面的附图和说明书中。根据说明书、附图以及权利要求书，其他的特征和优点将是显而易见的。
附图说明
图1是视觉辅助装置的实施例的示意图。
图2是包括用于向视觉辅助装置的使用者提供感官信息的一系列步骤的流程图。
图3是表示运动过程中作为时间函数的使用者头部的垂直加速度的曲线图。
图4a是表示在用于一侧到另一侧的头部运动的偏航平面中作为时间函数的头部速度的曲线图。
图4b是表示在用于一侧到另一侧的头部运动的偏航平面中作为时间函数的头部位置的曲线图。
图5是表示用于将视觉信息的元素发送至辅助装置的使用者的步骤的流程图。
图6是表示用于确定辅助装置的使用者是在室内还是在室外的步骤的流程图。
图7是表示用于确定辅助装置的使用者是否正在行走的步骤的流程图。
图8是表示用于确定人是否在辅助装置的使用者的附近的步骤的流程图。
图9是具有用于视觉辅助装置的检测器的帽子的示意图。
图10是表示用于过滤关于使用者环境的信息的步骤的流程图。
图11是表示用于分配报告优先级给关于使用者环境的信息元素的步骤的流程图。
图12是表示用于重新优先化关于使用者环境的信息元素以便报告给使用者的步骤的流程图。
图13是表示用于调节视觉辅助装置的配置的步骤的流程图。
各个附图中的相同参考符号指示相同的元件。
具体实施方式
i.总体介绍
对于视障人士来说，他们周围环境的复杂性是由难以评估和评判的，因为它们无法利用人的眼睛和大脑所固有的复杂自然的视觉处理。为了解决这些困难，传统的视觉辅助装置通常采用通用的方法向使用者提供视觉信息(或取代的视觉信息)。在这样的辅助装置中，视觉信息：(a)被测量并然后中继至使用者；(b)由可戴的装置直接测量并用于向使用者提供视觉信息；和/或(c)被处理并且以音频或触觉反馈的形式传输给使用者。尽管这样的系统具有某些优点，但是随着所获得的视觉信息的量和复杂性增加，以既有益又不混乱的实时或几乎实时(例如当使用者在行走时)的方式将视觉信息传达给使用者变得越来越难。此外，大量信息的测量和处理，尤其是实时地或几乎实时地，通常消耗显著的能源资源且托管相对复杂的计算硬件，这两者都不太适合轻巧、可戴的辅助装置。即使关于一个人环境的可用信息的仅一小部分要被测量，测量信息的绝对数量将会需要显著的计算资源进行处理，并且当使用实际上不可视的刺激来呈现给视障人士时将难以解释。
本文所公开的方法和系统被设计成提高视障者通过捕获关于环境的信息并将其呈现给人来评判他或她的环境的能力。呈现给人的信息是相关的且实时或几乎实时更新的。此外，该系统可以实现在相对小的、便携式的、可戴的装置比如(但不限于)眼镜框架中。该系统包括各种传感器、处理硬件、软件指令以及电源，并形成自包含的辅助装置。在有利时，该系统还可以与各种外部装置进行通信，以获取关于环境的信息，并且卸载计算密集型任务来减少板载硬件和功耗要求。
为了实现将相关信息迅速传达至视障人士，本文所公开的方法和系统被设计成在将信息发送给使用者之前选择性地处理视觉信息(例如，物体和/或脸的图像)和/或非视觉信息(例如，音频信号比如说出的话和声音)。特别是，通过从所测量的图像仅选择某些特征和/或通过仅选择某些算法用于处理视觉和/或非视觉信息，在能耗和计算硬件要求方面的显著节约得以实现，这直接有利于使用者。另外，通过适当地选择检测设备配置设定和处理器设定，发送给使用者的信息可以专门针对使用者的特殊情况，从而为使用者提高了装置使用的效用及易用性。
如下面更加详细地解释，选择性地处理信息包括根据视障人士的活动来过滤由本文所公开的系统的多个传感器所收集的大量信息。对所收集的信息进行过滤来排除对人的特定活动(或成组的活动)要么是无关紧要的要么是低相关性的所收集的信息。这样，被过滤出的信息未得到进一步处理，减少了系统电子处理器上的计算负载。
本文所公开的方法和系统允许测量多种不同类型的信息，包括一个或多个图像。此外，可以测量音频、运动、测距以及电磁信号来反映该辅助装置的使用者环境。除了将该测量信息的子集呈现给使用者之外，此信息可以用来调节控制系统操作的参数，并且通过选择处理和过滤应用至该信息的算法来控制该信息的处理。
ii.视觉辅助系统
图1示出了视觉辅助装置100的实施例的示意图。辅助装置100——例如部分地实现为眼镜框架102——包括特征表现为检测器110和112的检测设备、传感器120和122、接收器-发送器170和172、以及位于外部壳体132内的电子处理器130和电源160。致动器114和116连接至检测器110，而致动器115和117连接至检测器112。虽然传感器120和122与接收器-发送器170和172的特定布置示于图1中，但更通常的是，这些部件可以以彼此相对的任何布置被定位。例如，在一些实施例中，检测器110和/或检测器(以及其他部件比如传感器102和/或122)可被定位在眼镜框架102的桥上。
致动器114、115、116和117可以连接至框架102的外部表面或嵌入在框架102内(且因此可能不是直接可见的，尽管为了清楚起见将它们在图1中示为可见的)。虽然图1中示出了致动器的特定布置，但更通常的是，致动器可被定位在该装置上的任何位置以提供用于调节检测器的位置和定向。
一个或多个射频线圈150可以连接至框架102或者植入其内。另外，可选的眼睛植入物140可被植入在辅助装置使用者的眼睛104内，并且可选的射频线圈152还可被植入在眼睛104内。检测器110和112、致动器114和116、传感器120和122、接收器-发送器170和172、线圈150以及植入物140每个都通过有线或无线连接而连接至电子处理器130。眼睛植入物140可以以多种方式来实现，包括作为具有定位在眼睛内或眼睛表面上的附加电子元件的薄膜装置。
尽管图1中的装置100包括两个检测器110和112，但更通常的是，该装置可以包括任何数量的检测器。在一些实施例中，检测器110和/或112配置成获得图像，以使得从这些图像中导出的信息可被发送至辅助装置100的使用者。在某些实施例中，检测器110和/或112配置成测量可被发送至使用者的其他类型的信息(例如，非图像信息)。例如，检测器110和/或112可以是测距检测器(例如，激光红外测距检测器和/或基于超声波的测距检测器)，其测量辅助装置100与使用者环境中的物体之间的距离。
一般情况下，各种不同的检测器可以用于该装置中来获得图像。例如，检测器可以包括基于ccd的阵列、基于cmos的光传感器、二极管阵列、模拟摄像机、以及其他成像装置。配置成获得图像的检测器可以检测各个频谱区(包括紫外区、可见光区、和/或红外区)中的电磁辐射。
虽然未在图1中示出，但检测器可以包括——除了一个或多个传感器元件之外——多种可用于操纵由该装置所检测的光学辐射的光学部件。可用于检测器的光学部件包括透镜、分光滤光片、空间过滤器、以及反射元件比如反射镜。
图1中所示的辅助装置包括连接至检测器110的两个致动器114和116。然而，更一般地，装置100可以包括连接至任何一个或多个检测器的任何数量的致动器。一般情况下，致动器允许处理器130通过相对于固定基准点(比如，框架102的中心)平移和/或旋转检测器来(经由从处理器130发送至致动器的控制信号)调节每个检测器的位置和定向。在一些实施例中，致动器114和116连接至检测器内的部件比如透镜、过滤器和/或反射镜，以及允许电子处理器调节检测器的成像特性。例如，致动器114和116可以连接至检测器110内的物镜。通过在检测器110内相对于传感元件平移物镜，电子处理器130可以控制检测器110的焦距。可替代地或者另外地，致动器114和/或116可以连接至一个或多个透镜，其可被平移来改变由检测器110所成像的视场的大小。
虽然在图1中辅助装置100包括两个传感器120和122，但更一般地，该辅助装置可以包括任何数量的传感器。许多不同类型的传感器可以用来将各种各样的信息提供给处理器130。例如，在一些实施例中，辅助装置100可以包括一个或多个运动传感器，其将关于辅助装置100(且因此辅助装置100的使用者的头部)的平移和/或旋转运动的信息提供给处理器130。例如，合适的运动传感器包括加速度计、陀螺仪以及磁力计。
一般情况下，传感器120和122可被定位在辅助装置上的任何位置。在图1中，传感器120和122被定位在眼镜框架的臂上。然而，还可以使用在其他位置的传感器。例如，第一组传感器可被定位在该辅助装置中(例如，在图1所示的眼镜框架中)，第二组传感器可被定位在外部壳体132中，以提供由第一组传感器进行的测量可以相关的参考。
在一些实施例中，辅助装置100可以包括一个或多个音频检测器比如麦克风。所述一个或多个音频检测器可以配置成检测在辅助装置100周围环境中的多种声音，将所检测的声音转换成电信号，并且将该电信号发送给处理器130。在某些实施例中，所检测的声音包括由辅助装置100的使用者发出的可听指令。这些可听指令由处理器130所执行的语音识别算法进行处理，并用于确定辅助装置100的使用者的活动(如将在后面更详细地讨论)。基于使用者的活动，装置100然后可以将关于使用者环境的信息的子集传输给使用者以协助使用者的活动。例如，如果辅助装置100的使用者从事导航，则辅助装置中的音频传感器可以检测警告声音比如汽车喇叭和警报器，处理器130可以从所测量的音频信号中提取并解释这些声音，并且该装置可以将该信息中的一些或全部传输给使用者，以允许他或她避免声音所代表的危险。
此外，在一些实施例中，音频信息可以由监测辅助装置100的远程人发送并被其解释。然后，该远程人可以将信息(包括语言、文本和/或振动触觉信号)发送给辅助装置的使用者来协助使用者的活动。
在某些实施例中，辅助装置100可以包括配置成接收电磁信号的一个或多个传感器。各种各样的信号可被接收并且适当的信息被发送至处理器130。例如，辅助装置100可以包括一个或多个gps接收器，其配置成接收来自远程服务器或远程gps卫星的gps定位信息。位置信息被发送至处理器130并用于确定辅助装置100的位置。
在一些实施例中，辅助装置100可以包括用于接收射频信号的一个或多个传感器。所述射频信号可以通过发送器所传播的地面射频信号，并且提供定位信息(例如，信号可以由处理器130用于通过使用方法比如距离估计和三角测量来确定辅助装置100的位置)。在某些实施例中，所述射频信号可以是来自嵌入在结构比如建筑物、街道指示牌、灯柱、与日常生活的任务相关的物体以及车辆中的射频识别(rfid)标签的信号。该rfid标签信号可被发送至处理器130，其可以将该信号与在连接至处理器130的存储单元中的或存储在远程位置中并可由处理器130访问的数据库进行比较，以确定关于辅助装置100的位置的信息。
在一些实施例中，辅助装置100可以包括配置成用于测距的一个或多个传感器(即，检测测距信号的传感器)。这样的传感器可以通过检测各种电磁和/或声学信号(包括超声信号和红外信号)进行测距。关于所检测的信号的强度和/或方向信息可以被发送至电子处理器130，其可以处理该信息来确定使用者环境中的物体的距离以及物体与使用者被定向的方向之间的角度关系(例如，使用者正面对的方向，如通过确定使用者目光的方向所测量，或者使用者导航的方向，如由位置信息所确定)。处理可以与从由其他传感器(或者由检测器110和/或112)所测量的图像中提取的信息相关联，以将所测量的距离与特定的物体相关联。
例如，在一些实施例中，辅助装置100可以包括配置成测量图像信息的一个或多个传感器，以及配置成测量有关范围信息的一个或多个传感器(例如，通过从在辅助装置100附近的物体中检测超声波回波和/或通过检测从物体散射的激光，包括红外激光)。这样，辅助装置100可以估计出在辅助装置100的视场内的物体的距离和位置，并且确定相对于使用者被定向的方向的物体的角度定向(例如，使用者视线的方向和/或使用者正导航的方向)。
然后，该信息可用于相应地处理其他类型的信息，比如图像信息。例如，如果辅助装置确定位于紧密靠近使用者的物体仅位于该装置视图领域的有限部分内，则处理由传感器所获得的图像可被限制至对应于近处物体所位于的视场的部分的图像的区域。远离视场之内的物体可被完全忽略不计，或者与这些物体相关的处理可被分配至较低的优先级或被推迟至稍后的时间。此外，本文所公开的各种分析算法可以选择性地且优先地应用至最接近辅助装置100的使用者的物体(或最快地接近使用者)，因为这样的物体可能代表更直接的危险和/或具有对使用者更直接的影响。此外，选择性地处理图像的仅某些个区域可能降低辅助装置100的功率及处理要求，并且可以提高该装置的响应性(例如，信息被提供给使用者的速率)。
传感器134(通常，其可以包括一个或多个感测元件)配置成检测外部壳体132的运动。例如，在一些实施例中，传感器134包括将关于使用者身体运动的信息提供给处理器130的一个或多个加速计和/或陀螺仪和/或磁力计。如上面所讨论，处理器130可以使用此信息连同关于使用者头部运动的信息一起来确定使用者的头部相对于使用者身体的其余部分的运动，从而调节所述检测设备的配置并选择合适的算法用于处理由检测设备所获得的图像。
在一些实施例中，传感器134包括可由辅助装置100的使用者激活的一个或多个控制或开关。这些开关或控制为使用者提供控制辅助装置100的操作的另一种方法(例如，独立于发出的音频指令)。由辅助装置的使用者进行的任何控制的调节被传送至处理器130，其然后可以调节检测设备的配置，确定使用者的活动，和/或选择合适的算法用于基于使用者的调节来处理图像。
可选的射频(rf)线圈150可用来检测辅助装置100的使用者的眼睛的运动。例如，位于使用者眼睛中的眼睛植入物可包括一个或多个发送rf线圈152，安装在框架102上的线圈150可用作接收rf线圈。例如，当使用者的眼睛移动时，眼睛植入物和所植入的发送rf线圈152的位置变化。其结果是，发送线圈152与接收线圈150之间减小的rf场变化；代表这种变化的信号可以由接收线圈150进行测量并被发送至处理器130。处理器可以使用关于使用者眼睛运动的这一信息连同关于使用者头部运动的信息(来自传感器120和/或122)和关于使用者身体运动的信息(来自传感器134)来调节检测设备的配置，并选择适当的算法用于处理由检测设备所获得的图像。例如，用于提供使用rf线圈来检测眼睛运动的系统和方法已被公开在美国专利第7967439号中，其全部内容提供引用并入本文。
在一些实施例中，辅助装置100可以包括安装至眼镜框架并定位成捕捉使用者眼睛图像的一个或多个检测器(图1中未示出)。这样，可以检测使用者眼睛的运动。如上所述，处理器130可以从眼睛图像中提取该信息，并且使用该信息来调节检测设备的配置并选择适当的处理算法，如上面所讨论。
电源160通常可以包括一个或多个各种不同的便携式电源，包括电池(比如可再充电电池)、太阳能电池、以及或安装在眼镜框架上或在使用者身体的一部分上的动能来源。例如，合适的动能系统已被公开在美国专利申请公开号us2010/0045241中，以及在y.qi等人的“piezoelectricribbonsprintedontorubberforflexibleenergyconversion,”nanoletters10(2):524-528(2010)中，其中每个的全部内容通过引用并入本文。在一些实施例中，辅助装置100包括可选的射频线圈151，用于接收来自位于壳体132内的电源的操作功率。在某些实施例中，线圈151还可以配置成接收来自检测器110和/或112的视觉信息(例如，图像)，并且可以将该信息发送至处理器130。电源160配置成通过有线或无线连接将电功率传输给处理器130和传感器134。电源160还可以配置成通过无线连接将电功率传输至检测器110和112、传感器120和122、接收器-发送器170和172、致动器114和116、rf线圈150和152以及眼睛植入物140中的任一个或全部。
辅助装置100包括图1中的两个接收器-发送器170和172。然而，更一般地，辅助装置100可以包括任何数量的接收器-发送器，且接收器-发送器可被定位在辅助装置100上的任意位置。例如，在一些实施例中，辅助装置100包括定位在框架102的端部附近的一个或多个致动器(例如，两个致动器)和定位在框架102的镜腿附近的一个或多个致动器(例如，两个致动器)。
接收器-发送器170和172通常配置成接收由处理器130所发送的信号，并且基于所接收的信号将信息发送至辅助装置100的使用者。在一些实施例中，接收器-发送器170和172配置成将不同类型的信息发送给使用者。例如，所述接收器-发送器中的一个可以配置成将音频信息发送至辅助装置100的使用者。音频信息可以包括关于在由检测器110和/或112所获得的一个或多个图像内的物体和/或人物的信息。音频信息还可以包括出现在所述一个或多个图像中的文本的音频表示，比如在打印在标牌或横幅上的页或文本上的打印文本。发送给使用者的音频信息可以进一步包括警告和警报，其通知使用者在所述一个或多个图像内被识别的潜在危险的物体；该警告还可以通知使用者物体是否正在接近使用者，并且可以提供接近信息的估计的距离和/或速度。发送给使用者的音频信息还可以包括导航信息，比如即将到来的街道、地标、建筑物的位置，以及方向信息(包括逐向导航)。
所述接收器-发送器中的一个或多个可以配置成将触觉信息发送给辅助装置的使用者。例如，触感比如压力和/或振动可以被施加至使用者的皮肤(例如，或直接地或通过眼镜框架102的侧棒)，以提醒使用者潜在危险的迎面而来的物体(例如，随着物体接近，所施加的压力可以增加或者振动的幅度可以增加)。触感还可用于在障碍物周围“引导”使用者和/或沿着街道导航——也就是说，通过刺激使用者头部的一侧或另一侧将导航指引提供给使用者，以指示使用者应该移向刺激的方向还是远离刺激的方向。一次中两侧的刺激可能携带附加的意义；例如，在一些实施例中，这样的刺激向使用者指示前面的地面或上升或下降(例如，楼梯或危险的下车)。
在某些实施例中，装置100可以包括两对或更多对的接收器-发送器，每个配置成发送不同类型的触觉信息。例如，成对的振动触觉接收器-发送器(该对中的一个构件定位在框架102的每一侧上)可以将导航信息提供给使用者以在运动例如行走过程中引导使用者。例如，传输导航信息可以包括改变在框架102的任一侧上的振动触觉刺激，以在左或右手方向上引导使用者。一个或多个附加的振动触觉接收器-发送器可定位在框架102上的不同位置(例如，更接近框架102中的透镜)，并且可以配置成警告使用者迎面而来的障碍物和危险。
为了帮助使用者区分由不同接收器-发送器所提供的振动触觉刺激，在一些实施例中，对应于导航信息的振动触觉刺激可以以与对应于关于危险和障碍物的警告的振动触觉刺激所不同的频率被传输。通过以不同的频率传输不同类型的信息，使用者可以在由装置100所提供的信息类型之间进行区分，而不会变得困惑。可替代地，或者另外地，在某些实施例中，对应于导航信息的振动触觉刺激可以以与对应于关于危险和障碍物的警告的振动触觉刺激所不同的振幅被传输。此外，在一些实施例中，可以通过使用与对应于关于危险和障碍物的警告的振动触觉刺激所不同的传输方式来传输对应于导航信息的振动触觉刺激。例如，对应于导航信息的刺激可以通过成对的接收器-发送器(框架102的一侧一个，其在每一侧上提供偏刺激)被传输。与此相反，对应于导航信息的刺激可以通过不同对的接收器-发送器(框架102的一侧一个，其在每一侧上提供对称的刺激)被传输。上述配置中的每个(单独使用或组合使用)允许装置100将一种以上类型的信息单独通过触觉刺激提供给使用者。
在一些实施例中，触感比如压力和/或振动可以用来向使用者指示预定的状况已经被意识到(例如，使用者正在搜索的那个人已经位于由检测器110和/或112所获得的图像中，或者使用者正行进朝向的目的地已经到达)。触觉接收器-发送器的示例公开在美国专利申请2002/0111737、2008/0120029以及在2001/0148607中，并且在美国专利6671618、7788032以及7991576中，其中每个的全部内容通过引用并入本文。
在某些实施例中，音频和触觉感觉信息被提供给辅助装置100的使用者，例如，接收器-发送器170可以配置成发送音频信息，接收器-发送器172可以配置成发送触觉信息，如上所述。由每个接收器-发送器所发送的感觉信息可以是重复的(例如，危险物体在使用者附近的音频和触觉警告)，以确保使用者知道该信息。可替代地，在一些实施例中，所发送的信息可以是互补的。例如，关于在由检测器所获得的图像中的危险物体或人物的音频信息可以由接收器-发送器之一发送，并且向使用者指示至物体或人的大致距离的触觉信息可以由其他接收器-发送器发送。这样，与使用者相关的信息可以被很快地传输，而不会通过发送较更不相关的信息来迷惑使用者。
在一些实施例中，接收器-发送器操作的方式可以根据被传达给使用者的信息的性质而有所不同。例如，接收器-发送器可以以相对较低的频率振动来将导航指引信息提供给使用者，并且以显著更高的频率振动来提供关于使用者附近中更直接的危险的信息。另外，定位在辅助装置100上不同位置的接收器-发送器可以传输不同类型的信息。例如，位于框架102的镜腿附近的接收器-发送器可以通过低频率和/或低振幅的振动提供指引信息，并且位于更靠近端部103的接收器-发送器可以通过更高频率和/或更大振幅的振动提供警告和危险信息。
眼睛植入物140通常是可植入的装置(例如，可植入在眼睛的视网膜之下或之上，或眼睛内的其他地方或其周围、沿着视神经、或者沿着大脑本身内的视觉通路或其内)。例如，植入物140可以是电磁收发器，比如光电二极管阵列。在一些实施例中，植入物140可以配置成通过辅助装置100的透镜106接收光学辐射，并且将光学辐射转换成可以由辅助装置100的使用者进行解释的电子信号。在一些实施例中，透镜106可以是专门配置成用于辅助装置100的使用者的眼睛的折射元件(例如，具有适当的曲率、焦距及其他的光学性能)。
在某些实施例中，植入物140可以是接收器-发送器，其从处理器130接收关于存在于由检测器110和/或112所获得的图像中的物体、人、文本、其他元素的信息，将所接收的信息转换成电信号，并且将电信号发送给辅助装置100的使用者(例如，通过直接刺激使用者眼睛的皮质、视神经、视网膜或另一部分)。在一些实施例中，增强的现实显示可以被发送给使用者。该显示可以包括覆盖(例如，箭头、圆点和其他标记)来指示所感兴趣的方向和突出区域。
各种各样的不同植入物适于与辅助装置100一起使用。可以使用的植入物的示例描述在美国专利和专利申请us6976998；us6389317；us6230057；us2008/0288067；us2008/0275527；us2005/0251223；以及us2002/0111655中，它们各自的内容通过引用并入本文。
壳体132通常是用于处理器130和电源160的袖珍壳体。在一些实施例中，壳体132还可以包围发送器-接收器单元137，其连接至处理器130，例如用于发送和接受来自辅助装置100的其他部件的信息。在某些实施例中，壳体132还可以包围存储单元(图1中未示出)，其连接至处理器130，用于存储辅助装置的配置设定、数据库(例如，物体和/或人的脸、街道、建筑物的内部布局的数据库)、以及其他信息。壳体132还可以包括提供直接连接至壳体内的部件的多个端口；可存在的端口的示例包括连接至电源160的电充电端口、以及连接至处理器130的通信端口。
在某些实施例中，壳体132可以包围发送器-接收器单元(图1中未示出)，其连接至处理器130并且配置成将信息发送至远程装置和位置并且从其接收信息。远程装置包括计算装置(例如，服务器)，其存储如上所述的信息的数据库。更一般地，发送器-接收器单元可将具有连接(有线和/或无线)的处理器130提供至各种分布式网络(例如，计算“云”)。在远程位置的人员和/或装置可以由此接收来自处理器130的信息，将操作指令发送给辅助装置，以及将信息发送至该装置的使用者。各种传输协议可用于将信息无线传输至处理器130并从其传输，包括
辅助装置100的特殊优点是，装置的各种部件容纳在“表面上可接受的”壳体(例如，眼镜框架或者帽或盖)内。由使用者采用至辅助装置的障碍继续是不愿意戴在外观不寻常或奇怪的公共装置和/或其中部件比如摄像机是可见的装置中。本文所公开的装置可被容纳在多种衣物制品或习惯性地戴在公共场所中的其他物件中，从而使该装置的摄像机及其他部件在一定距离处通常是不可见的。因此，辅助装置100的使用者在戴该装置时不会使他或她自己在公共场所引起不适当且不必要的注意。
除了眼镜框架，用于辅助装置的壳体可以包括其他类型的眼镜，比如护目镜、各种服装物品比如帽子、配置成戴在耳朵上的“助听器”式的装置，以及各类首饰比如项链、耳环和胸针。在一些实施例中，辅助装置100的部件可以容纳在不同的壳体中并且可以协同工作；例如，装置100的某些部件比如摄像机和/或传感器可以容纳在耳环或胸针中，而其他部件可以容纳在与耳环相匹配的项链中。在其他实施例中，该装置可以以成对的耳机或头戴式耳机的形式进行或作为其一部分。
在一些实施例中，辅助装置100还可以包括连接至不同或第二支撑结构(例如，连接至不同于眼镜框架102的可戴结构)的附加检测器。例如，该装置可以包括连接至被戴在使用者头部上的帽的一个或多个检测器，或在某些实施方式中整个装置可被装配到帽或盖中或者其上。作为另一示例，该装置可以包括以助听器的样式连接至配置成戴在使用者耳朵上的或连接至其的装置的一个或多个检测器。这些检测器可以包括与检测器110和112有关的本文所公开的任何类型的检测器，并且可以通过有线或无线连接与处理器130传送信息，并且以无线方式接收来自电源160的电功率。处理器130可以配置检测设备中的每个检测器——包括连接至所述第二支撑结构的检测器——基于关于使用者所从事的活动和/或使用者环境的信息。图9示出了帽300(例如，棒球帽)的实施例，检测器111安装至帽的前表面。检测器111可接收来自电源160的运行功率，并且可以无线地将图像发送至处理器130。尽管示出为图9中的棒球帽，但帽300可以是各种设计。例如，在一些实施例中，帽300是保护性的头盔，其配置成由士兵、由消防员、或由从事危险活动并从接收由处理器130所发送的信息收益的其他人所戴。
iii.提供感官信息的方法
本文所公开的系统能够测量各种各样的信息且因此能够将各种各样的感官信息提供给辅助装置100的使用者。辅助装置100通常通过将只有某些类型的感官信息选择性地发送给(并且在一些实施例中选择性地检测)使用者而运行。通过减少由处理器130所处理的并发送至辅助装置100的使用者的信息的量，计算时间和资源可以得到保护，从而导致辅助装置高效、更快、低功耗的运行。此外，从由检测设备所获得的图像中导出的感觉信息可以被实时地被发送给使用者，从而在信息检测与发送之间很少有察觉到的延迟，并且从而使用者可以调节他或她的动态环境的变化。为了本公开的目的，将信息“实时”地发送给使用者是指发送从检测到的图像中导出的感官信息发生在图像检测的2秒内。
图2示出了包括用于向辅助装置100的使用者提供感官信息的一系列步骤的流程图200。在第一步骤210中，提供使用该装置的检测器和传感器中的一个或多个来接收关于使用者环境的信息。该信息被发送(例如，无线地或通过有线连接)至电子处理器130用于进一步分析。
接着，在步骤220中，通过使用该装置传感器中的一个或多个来确定关于辅助装置100的使用者的活动的信息。关于使用者活动的信息可以包括由这些传感器从使用者所测量的信号，比如由使用者所发出的直接声频指令。该信息还可以包括从使用者的环境所接收的信息和/或来自在远程位置的人或计算装置的测量信号。关于使用者活动的信息通常包括两种类型或类别的信息：关于使用者所从事的任务的信息以及关于使用者环境的信息。
(a)来自使用者的信息
(i)直接指令
可以通过由使用者发出至辅助装置的或者由远程的人所发出的直接指令来获得关于辅助装置100的使用者的活动的信息。传感器120和/或122可以是音频传感器，其检测由使用者所发出的口头指令，并将所检测的可听指令的表示发送给处理器130用于解析。此外，传感器134可以包括控制，例如以开关、触摸屏、按钮、滑动条、按键或键盘的形式，其可以由使用者激活以将指令直接发送至处理器130。在这两个示例中，由使用者发送至处理器130的指令涉及关于使用者所从事的各种活动的信息。
(ii)关于使用者的间接信息
除此之外，或者作为替代，来自辅助装置100的使用者的明确发出的指令——通过其各种传感器——还可以自动测量关于使用者活动的信息。可被测量并发送至处理器130的活动信息的类型的示例如下，但示例的清单并不详尽，且还可以测量其他类型的活动信息。
(1)眼睛运动
在一些实施例中，可以通过使用rf线圈150和/或通过使用安装至框架102的摄像机来检测使用者眼睛的运动(例如，当使用者正跟随所感兴趣的物体的运动时)，如本文所公开。即使辅助装置100的使用者具有有限的视觉感知，辅助装置100被设计成当使用者的眼睛在某一特定方向旋转以跟随物体时(无论是直接感知物体，还是通过眼睛植入物140来感知发送至使用者的物体的表示)，使用者眼睛的定向的变化产生在线圈150中所感应的电磁场的变化，且场强的这种变化可被传送至处理器130。基于场强的变化，处理器130可以确定使用者的眼睛的新定向。例如，用于测量眼睛运动的方法公开在美国专利第7967439号中，其全部内容通过引用并入本文。
(2)头部和身体运动
在一些实施例中，传感器110、112和/或134包括加速度计和/或陀螺仪和/或磁力计，其测量辅助装置100的使用者的头部和身体的运动。例如，图3是表示使用者在行走时使用者头部的加速度的曲线图(例如，在大致平行于使用者脊柱的垂直方向上)。基线加速度是由于重力。在所测量的加速度中的快速振荡是由于使用者头部每步的上下运动。图3中所示的信息可被发送至处理器130用于分析。通过分析在时域和/或频域中所测量的加速度信号的内容(例如，通过执行傅立叶变换分析)，处理器130可以确定辅助装置100的使用者正在从事运动，并且此信息可用于确定装置100的使用者的活动。
使用者头部和/或身体的运动还可以发生在其他类型的活动过程中，并且可以通过使用相同类型的传感器(例如，加速度计和/或陀螺仪和/或磁力计)而得以测量。例如，图4a是表示对于从一侧到另一侧主动摆动他或她的头部以跟随移动的物体(如同例如可能发生在网球比赛中，而同时未进行任何运动)的使用者来说在偏航(例如，侧到侧)平面中作为时间函数的角速度的曲线图。图4b是表示对于同一主动运动来说作为时间函数的使用者头部的所测量位置的曲线图。如从图4a中明显看出，使用者头部角速度的快速变化为主动的头部运动提供时间“签名”。同样，在图4b中，头部位置的系列快速变化(后跟头部位置相对稳定的短周期)也为主动的头部运动提供时间签名。在图4a和4b中所示的类型的所测量的角速度和位置信息可被发送至处理器130用于分析。基于图4a和4b中所示的鲜明特征，处理器130可以识别辅助装置100的使用者的头部的来回运动何时是主动在使用者的部分上。
可替代地，在一些实施例中，可以通过使用包括3轴陀螺仪和3轴加速度计的惯性测量单元(imu)来检测运动。所述imu可以实施为任何的传感器120、122和134，例如被包围在框架102和/或壳体132内或者连接至其。传感器可以配置成在三个正交的坐标方向上并且绕着由坐标方向限定的三个坐标轴中的每个测量辅助装置100的使用者的头部和/或身体的位移和角运动。为了确定使用者身体的运动是否正在发生，将由imu所测量的线性加速度(沿着所述三个坐标方向中的一个或多个)与限定截止用于运动检测的线性加速度阈值进行比较。如果所测量的线性加速度低于阈值，则处理器130得出的结论是没有任何的使用者身体运动正在发生(例如，使用者未进行运动)。在一些实施例中，线性加速度阈值可以是在由于重力的加速度以上0.8±0.3m/s2达至少20毫秒的持续时间。如果这个条件得到满足，则使用者已经从静止过渡至运动。这个阈值可以单独地为每个使用者调谐。
如果所测量的线性加速度超过了阈值，那么将由imu所测量的垂直加速度(例如，在大致平行于使用者脊柱的方向上)与限定截止用于人行走的后跟(heel)冲击阈值进行比较。该阈值(如同上面所讨论的线性加速度阈值)是可调节的，以考虑辅助装置的使用者之间的个体差异。如果所测量的垂直加速度超过了后跟冲击阈值，则处理器130得出的结论是辅助装置100的使用者正在行走。如果所测量的垂直加速度未超过该后跟冲击阈值，则处理器130得出的结论是使用者身体的运动正在发生，但该运动并非是由于行走。在某些实施例中，对于成人来说后跟冲击阈值可以从1.5m/s2至2.5m/s2。
如前面所讨论，在一些实施例中，用于测量加速度的传感器存在于框架102中和壳体132中。通过使用两组传感器，可以基于使用者身体的线性和角运动的测量(从安装在壳体中的传感器，其提供参考加速度值)来调节使用者头部的线性和角运动的测量(从安装在框架中的传感器)。
图7中的流程图700是表示用于确定辅助装置100的使用者是否正在行走的一系列步骤。在该流程图中，测量线性和垂直加速度首先发生在第一步骤702中，然后在步骤704中，处理器130基于所测量的线性加速度与线性加速度阈值之间的比较来确定使用者身体的运动是否正在发生。如果运动没在发生，则分析终止于步骤706。如果运动正在发生，则处理器130在步骤708中通过将所测量的垂直加速度与后跟冲击阈值进行比较来确定运动是否对应于使用者的运动。如果所测量的垂直加速度大于后跟冲击阈值，则处理器130在步骤712中确定使用者正在行走。否则，处理器130在步骤710中确定使用者没在行走(但仍然处于运动)。
用于检测运动并确定可实施在辅助装置100中的运动来源的附加系统和方法公开在美国临时专利申请第61/555908号中，其全部内容通过引用并入本文。
(b)关于或来自使用者环境的信息
除了接收以直接指令和/或间接测量形式的关于使用者活动的信息之外，可以由辅助装置100通过使用其各种传感器自动监测环境来获得关于使用者环境的信息。此信息可以包括但不限于颜色、声音、嗓音和语音、脸、环境照明、使用者的地理位置、使用者的航向、使用者的头部和/或身体的姿态、使用者环境中的物体、使用者环境中的文本、危险、使用者视线的方向、以及声源和/或光源。下面的详细讨论提供了可被测量并发送至处理器130的环境信息的类型的示例，但并不详尽，并且还可以测量其他类型的环境信息。
(i)位置和地点
在一些实施例中，辅助装置100中的传感器可以配置成测量可以由处理器130用于确定使用者位置或地点的信息。例如，辅助装置100中的传感器可以配置成接收来自嵌入在结构比如建筑物、灯柱、路牌、车辆及其他结构中的rfid标签的gps位置信号和/或射频信号。基于这些信号，处理器130可以确定相对于各种物体和结构的使用者的地点和/或使用者的位置。可替代地，或者另外地，辅助装置100中的传感器可以配置成接收来自发送器的测距信号(例如，超声波和/或红外信号)，并且处理器130可以基于该测距信号确定相对于使用者附近其他物体的使用者的位置。
此外，其他射频信号比如应答器信号和/或蜂窝射频信号可由处理器130检测并用于确定使用者的位置。例如，处理器130可以基于所检测的射频信号的强度来估算与信号发送器的距离。可替代地，或者另外，处理器130可以基于来自多个发送器的测量信号通过三角测量来确定使用者的位置。
(ii)室外与室内
在一些实施例中，处理器130还可以配置成确定使用者是在室内还是在室外。例如，所测量的gps信号当gps接收器在室内时通常强度较小。通过定量地将所检测的gps信号的幅度与阈值信号幅度进行比较，处理器130可以确定使用者是在室内还是在室外。可替代地，如果辅助装置100中的传感器检测来自已知被嵌入在建筑物内的rfid标签的射频信号，则处理器130可以做出相同的判定。处理器130可以访问rfid标签位置的数据库(例如，无论是存储在壳体132中还是从远程位置可无线地访问)，以确定特定所检测的信号是否对应于内部或外部标签。
图6示出了表示由辅助装置100所测量的不同类型的信息之间的关系和由辅助装置100确定室外或室内状态的流程图600。如在图6中所示，图像27分析结果可以任选地在步骤602被提供，rfid标签检测结果可以任选地在步骤604被提供，且gps信号检测测量可以任选地在步骤606被提供。当这些测量中的一些或全部在步骤608中进行比较时，如果所测量的gps信号强度小于预定义的阈值，或者如果一个或多个“室内”rfid标签被检测，或者如果由处理器130进行的图像分析导致确认室内物体或特征，则处理器130得出的结论是在步骤610中使用者在室内。如果这些条件都不满足，则处理器130得出的结论是在步骤612中使用者在室外。无论是由使用者还是由具有合适许可的遥控者所发出的指令可以由处理器130越过该判定。
在某些实施例中，处理器130可以配置成基于环境光测量来确定使用者是在室内还是在室外。例如，传感器120和/或122可以是辐射检测器(例如，光电二极管、曝光表、或类似装置)，其测量辅助装置100附近的环境光强度和/或光谱，并且将所测量的光强度报告给处理器130。通过将环境光强度与阈值(其限定室内与室外光强度之间的截止)进行比较，处理器130可以确定使用者是在室内还是在室外。可替代地，或者另外，通过将环境光光谱与参考频谱进行比较(例如，参考频谱对应于自然阳光或室内荧光)，处理器130可以确定使用者是在室内还是在室外。
在一些实施例中，处理器130可以配置成基于温度测量来确定使用者是在室内还是在室外。传感器120和/或122可以是温度传感器，其将关于辅助装置100附近的环境温度发送给处理器130。然后，处理器130可以根据环境温度确定使用者是否在室外。例如，如果所测量的环境温度高于约80°f或低于约60°f，则处理器130可以推断出使用者在室外。可替代地，如果所测量的温度在这些上下限值之间，则可能无法——基于单独的温度测量——确定使用者是在室内还是在室外。在这种情况下，本文所公开的其他测量可用于做出判定。
(iii)人的存在
在某些实施例中，处理器130可以配置成确定人是否在辅助装置100的使用者的附近。例如，传感器120和/或122测量被发送至处理器130用于进一步分析的音频信号。处理器130可以将过滤算法应用至所检测的音频信号，以确定语音频率是否存在于音频信号中。如果这样的信号存在，则处理器130得出的结论是人存在于辅助装置100的使用者的附近。音频传感器可以检测出使用者可能不能自然检测的使用者环境中的声音，并且可以将该听觉信息发送给使用者。发送给使用者的听觉信息可被放大，以使得可以理解使用者是否听力受损。
图8示出了包括用于确定一个或多个人是否存在于辅助装置100的使用者的附近的步骤的流程图800。在图8中，视觉信息(例如，一个或多个图像)在步骤802中由该装置任选地获得，且音频信息(例如，所检测的声音)在步骤804中由该装置任选地获得。所述视觉和/或音频信息被发送至处理器130。通过在步骤806中应用脸部检测算法(至视觉信息)及频率和/或语音分析算法(至音频信息)，处理器130确定人是否存在808或者不存在810与辅助装置100的使用者的附近。
返回至图2中的步骤220，在辅助装置100已经获得来自使用者的和来自或关于使用者环境的信息之后，处理器130确定使用者的活动。一般情况下，处理器130基于从使用者所获得的信息和关于使用者环境的信息的分析的组合来确定使用者的活动。在一些实施例中，用于确定使用者活动的更具体的规则可被实施。例如，当从使用者直接获得关于使用者活动的信息时(例如，以口头指令的形式)，处理器130可以仅基于该信息来确定使用者的活动。例如，这些活动可以包括导航、吃饭、阅读、从装置100请求信息、以及与日常生活相关的各种其他活动。
作为另一示例，当未从使用者获得直接信息时(例如，如果装置100的使用者保持沉默，并且未发出任何口头或其他的指令)，处理器130可以基于来自使用者的间接信息(如果有的话)以及关于使用者环境的信息来确定使用者的活动。
例如，在分析关于使用者环境的信息中，基于在图像中所识别的物体，处理器130可以应用算法来确定使用者是在室内还是在室外。处理器130还可以应用算法来确定人脸是否出现在图像中，具有文本的标志是否出现在图像中，以及文本的其他来源是否存在于图像中。可用于检测图像中脸的脸检测和/或识别算法可以包括，例如haar过滤器，其可以与存储在壳体132中的或者在可以由处理器130访问的服务器上的(例如，通过无线连接至因特网，或至云计算系统)脸的数据库一起使用。如后面所要讨论，处理器130还可以通过将所检测的脸与存储在壳体132内的或在由处理器130访问的远程计算装置上(例如，在分布式云计算网络上)的个人信息的数据库进行比较来识别个别人士。此外，如前面所讨论，由辅助装置100中的传感器所检测的音频信号还可以通过语音检测算法和分析方法(例如，傅立叶变换分析方法)由处理器130用于确定人是否存在于辅助装置100的附近。
使用由该装置传感器所收集的上述信息，处理器130甚至在使用者未向装置发出直接指令时可以确定使用者的活动。例如，如上面所解释，通过使用加速度计和陀螺仪传感器来测量使用者头部和身体的运动，处理器130可以确定使用者正在导航(例如，正在进行运动)。作为另一示例，通过检测由装置检测器所收集的视觉信息中的文本，处理器130可以确定使用者正在阅读。由处理器130所作出的判定可以不仅基于视觉信息中存在的文本，而且基于文本的属性。因此，例如，当文本被检测以确定该文本与使用者之间的距离时，处理器130可以分析视觉信息。如果该距离小于距离阈值，例如14、16、18、20、22、24、26、28、或30英寸，则处理器130确定使用者可能感兴趣试图阅读该文本(在文本可能被可听地读给使用者的情况下)。如果该距离大于距离阈值，则处理器130确定使用者未从事阅读活动(例如，如果使用者正在导航街道，并且来自街道标志的视觉信息被收集，但可能不被可听地读给使用者并且代替内部地“阅读”及用于其他功能，则这种情况可能出现)。如后面所要讨论，文本是否被转换为音频信号并发送给使用者取决于用于不同活动的不同组的规则。作为另一示例，通过在使用装置检测器所获得的视觉信息中检测物体比如玻璃器皿、器具、餐具、以及某些类型的文本(例如，菜单)，处理器130可以确定使用者正在吃饭。
一般情况下，装置100配置成识别各种各样不同的使用者活动。例如，这些可以包括与日常生活相关的任务比如：导航(室内或室外)；存在于特定类型的建筑物中和/或在特定的位置比如使用者的家、公园、超市、药店、银行、交通枢纽比如火车站、公交车站、地铁站和机场；阅读；与他人交谈；吃饭；以及数钱。在下面的讨论中，更详细地提供了由装置100所确认的不同活动的示例。然而，所确认的活动的讨论并非是详尽的，还可以由装置100确认其他活动。此外，使用者和/或其他获准的第三方可以限定装置100可以确认的附加活动，并且与附加活动相关的定义可以被存储在装置100的存储器单元中。
如上所讨论，在一些实施例中，装置100确认使用者正在从事室外导航的活动。当此活动一经确认，处理器130就使用装置100的传感器和检测器来收集关于使用者环境的信息，比如位于使用者前面的潜在危险的物体(例如汽车、垃圾容器、路缘石、洞、台阶)、以及各种地标(例如街道、人行横道和十字路口)。处理器130可以将距离估计算法应用于有关使用者环境的视觉信息和/或使用从由一个或多个传感器测量的测距信号中导出的信息来估计各个物体与使用者之间的距离。
处理器130(在图2所示的过程的后续步骤中)可以向使用者就这些物体的存在和接近度提供音频和/或触觉反馈。例如，处理器130可以通过音频和/或触觉信号将位置信息发送给使用者(例如，随着使用者接近由使用者预先选择的位置，振动触觉信号在幅度和/或频率方面增加)。振动触觉信号可以用来在物体周围或沿着人行道的中心“引导”使用者。处理器130还可以将在已经达到预先确定的目标位置时的音频指示器信号和在使用者的路径偏离最直接的或预先选定的路线时的音频信号从使用者发送至目的地。在某些实施例中，振动触觉及音频信息都可以被发送给使用者，以帮助导航和危险回避。在一些实施例中，振动触觉信息越有效地将精细方向的调节传输给使用者，音频信息就越有效地引导使用者执行更粗糙的方向调节。
如上所讨论，在某些实施例中，装置100确认使用者正在从事室内导航的活动。当这个活动被识别时，处理器130就使用装置100的传感器和检测器来收集关于使用者环境的信息比如潜在危险的物体，并且可以实施(在图2所示的过程的后续步骤中)距离及角度过滤器，从而仅关于相对于使用者的一定阈值距离内的和一定角度范围内的物体的信息被报告给使用者。例如，阈值距离可以是50英尺或更小(例如，40英尺或更小、30英尺或更小、英尺或更小、10英尺或更小)。例如，该角度范围可以是向前看90度范围(例如，70度范围、60度范围、50度范围、40度范围)。距离及角度过滤器的实施减少了处理器130分析的信息的量，降低了装置100的总功耗。
在图2的后续步骤中，处理器130还可以使用脸部识别算法来识别面孔出现在所收集的视觉信息中的使用者人，并且可以使用寻路算法用于在特定的建筑物内导航，这取决于使用者的位置。例如，个别建筑物的地图对于处理器130来说通过如本文所述的数据库是可以访问的，并可以用于引导使用者通过这样的建筑物来追寻特定的目标(例如，建筑物内的位置或房间)。处理器130可以应用物体识别算法至视觉信息来识别建筑物内的某些特征比如特定的房间(例如大堂)、电梯以及标志，并报告给使用者。处理器130可以使用该信息来将导航信息提供给装置100的使用者。
在一些实施例中，装置100确认使用者正在从事寻找特定的人的活动。因此，处理器130可以使用装置100的检测器来收集关于使用者环境的视觉信息，然后(在图2所示的过程的后续步骤中)将面部识别算法应用至视觉信息来识别所关心的特定的人。处理器130可以向使用者提供识别使用者环境中的不同人的、指示所识别的人与使用者之间距离的、以及表明所感兴趣的人存在时的音频和/或触觉信号。处理器130还可以通过检测使用装置100的传感器所测量的音频信息中人的声音来识别所感兴趣的人的位置。可替代地，或者另外，位置信息还可以由被感兴趣的人所戴的装置(例如，便携式识别装置)提供，以方便他们的定位。
在某些实施例中，装置100确认使用者从事进行货币交易的活动。处理器130可以应用算法至由装置100的检测器所收集的视觉信息，以将不同的货币面额之间的差异报告给使用者(例如，告知使用者在他或她的手中的钱的数量)。
在一些实施例中，装置100确认使用者正在从事与另一个人交谈的活动。处理器130可以应用算法至由装置100的检测器所收集的视觉信息，以向使用者报告使用者附近的人的面部表情，从而向他或她提供重要的情感语境信息。
在某些实施例中，装置100确认使用者正在从事阅读活动(例如，基于来自使用者的口头指令，激活开关或其他硬件控制，基于检测通过使用装置100的检测器所收集的视觉信息中文本，和/或基于检测使用者指向视觉信息中文本的手或手指)。处理器130可以应用算法来分析文本出现在其中的上下文。例如，当文本出现在标志或横幅上时，处理器130可以构造被发送给使用者的文本的电子语音表示。当处理器130识别在书本、杂志或其他印刷材料的页上的文本时，并且当使用者的手指被确定为定位在文本的一部分上时，处理器130可以构造在使用者手指附近的文本的单词的电子语音表示。处理器130可以监测使用者手指的位置，从而使通过沿着文本行平移他或她的手指，使用者可以诱导处理器130大声“阅读”文本。可替代地，或者另外，被读给使用者的文本的序列可以通过监测使用者眼睛的位置来选择(例如，通过使用rf线圈和/或摄像机，本文所公开)。在某些实施例中，处理器130可以配置成阅读英语以外的语言和/或将一种语言的文本翻译成由使用者所选择的另一种语言的口语单词。
在步骤220中已确定使用者的活动之后，处理器130然后基于使用者的活动来过滤由装置100的传感器所获得的关于使用者环境的信息，如在步骤230中所示。一般情况下，基于使用者的活动来过滤环境信息的步骤减少发送至使用者的信息的量，从而仅发送与使用者相关的信息。通过过滤信息，使用者不被所发送的信息量淹没，并且系统上的计算负载被降低。同时，通过确保与使用者当前活动相关的信息被发送，系统使得使用者能够以有意义的方式与他或她的环境进行交互。
基于使用者的活动来过滤环境信息通常涉及许多步骤。图10是示出了用于基于使用者的活动来过滤环境信息的一系列步骤的流程图1000。在步骤1010中，对环境信息进行分析，以识别信息的具体元素。例如，信息的元素可以包括物体，比如建筑物、标志、地标、路标、汽车、金钱，并且更一般地，各种各样的结构和物品。信息的元素还可以包括文本部分、人、脸及动物。此外，信息的元素可以包括声音(包括语音、非语音及非语言声音)、距离、定向、位置及其他空间关系。更一般地，信息的元素对应于可以从描述使用者环境的物体、人以及属性的环境信息中提取的所有各种特征。
为了识别环境信息的元素，本文所公开的系统和方法应用各种算法来处理由装置的检测器和传感器所接收的信息。例如，处理器130可以使用许多不同类型的图像处理算法来分析关于使用者环境的视觉信息，包括目标志别算法、面部识别算法、光学字符识别及文本识别算法以及距离估计算法。目标志别算法与双峰颜色直方图和/或边缘检测算法相结合可用于识别视觉信息中的标志及其他指标。此外，用于估计视觉信息中环境光强度的算法可以由处理器130用来确定装置100是在室内还是在室外。这样的测量可以用来作为本文所讨论的环境光强度的其他测量的替代，或者除其之外。
在某些实施例中，在此阶段(即在步骤1010中)识别元素不涉及这些元素的细化。例如，处理器130可以应用各种算法来定位视觉信息中的物体，而无需识别这些物体是什么。同样，处理器130可以应用算法来定位视觉信息中的脸，而无需识别脸属于谁。这种识别步骤可以涉及更精深的过程和/或访问信息的数据库，这可能比简单地识别元素更加的计算及能源密集。其结果是，当一些元素可能已被过滤掉时，细化各元素可被推迟至以后的处理步骤，从而降低装置的整体计算负载。有用的目标志别及分类算法的示例公开在下面的文献中，其中每个的全部内容通过引用并入本文：美国专利第5850470和8015132中；j.xiao等人的“sundatabase:largescalescenerecognitionfromabbeytozoo,”ieeeconferenceoncomputervisionandpatternrecognition(2010),pp.3485-3492；以及quattoni等人的“recognizingindoorscenes,”ieeeconferenceoncomputervisionandpatternrecognition(2009),pp.413-420中。
面部识别算法的示例公开在下面的参考文献中，其中每个的全部内容通过引用并入本文：美国专利第5642431和5835616号；viola等人的“rapidobjectdetectionusingaboostedcascadeofsimplefeatures,”ieeeconferenceoncomputervisionandpatternrecognition(2001),pp.511-518；以及turk等人的“eigenfacesforrecognition,”j.cognitiveneuroscience3(1):71-86(1991)中。
文本识别算法的示例公开在美国专利第6446041；7805307；8009928以及8014604号中，并且在互联网地址code.google.com/p/tesseract-ocr/，其中每个的全部内容通过引用并入本文。
语音识别算法的示例公开在美国专利第6161091中，其全部内容通过引用并入本文。
可以使用多种不同的方法来测量测距信号并进行距离估算，包括基于使用多台摄像机(其可用来提供立体输入)、基于声波检测、基于随着使用者接近物体通过测量使用者环境中物体尺寸的变化来确定距离的方法、以及基于激光测距的方法。除了测量物体相对于使用者的距离和角度定向之外，处理器130可以使用作为时间函数的采用这些方法所测量的距离信息来估计正在接近使用者的物体的“撞击时间”。可替代地，或者另外，处理器130可以使用测量距离的多种方法(例如，基于测量物体尺寸变化的方法、以及基于检测到的来自物体的反射声波的方法)来估计对于物体的撞击时间。该估计还可以基于关于使用者的位置信息的变化(例如，使用者移动通过他或她的环境的速度和方向)。例如，系统和方法的示例已公开在以下美国专利中，其中每个的全部内容通过引用并入本文：4992998；6104671；6411327以及8018580。
在一些实施例中，处理器130还可以访问所存储的信息的数据库来识别环境信息的元素。这样的数据库可以本地存储在装置100上和/或可以被远程地存储在分布式网络上并由处理器130访问。一般情况下，装置100与分布式网络比如计算“云”之间的有线和/或无线通信可以以各种方式来实现。在一些实施例中，装置100可以配置成检索存储在存储器和/或同样连接至分布式网络的计算装置中的各种信息。例如，可提供给装置100用于识别环境信息的元素的数据库可以包括：关于街道布局、建筑物、地理地标及其他地图特征的信息；关于建筑物内部布局的信息；关于所感兴趣的本地点的信息；导航信息，包括道路封闭、道路工程、及比较两个地点之间的替代路线的信息；用于输入至面部识别算法的面部库；用于物体识别算法的物体库；以及用于光学字符识别算法的各种风格的文本样本。
除了信息的广义数据库之外，装置100还可以访问一个或多个“个性化”数据库，其存储对于辅助装置的使用者来说是特定的信息。这样的数据库可以存储在集成到装置100中的存储单元中，和/或在分布式网络中的一个或多个装置中。例如，个性化数据库可以包括这样的信息，比如关于使用者经常访问的地方和使用者经常遇到的人的脸的地图和导航信息。
装置100可以访问多种分布式网络。这种网络反过来又可以包括相互通信的各种计算装置，包括电脑、移动电话、gps收发器以及其他计算装置。装置100可以配置成直接访问这样的网络(例如，通过使用连接至处理器130的收发器)。可替代地，或者另外，装置100可以配置成连接至另一计算装置比如移动电话，并通过移动电话与分布式网络中的装置进行通信。这种配置可以确保装置100的功率要求保持适度。
在某些实施例中，辅助装置100可以配置成卸载某些处理任务至位于分布式计算网络上的计算装置。一般情况下，本文所公开的任何步骤可以由网络上的计算装置执行，并且结果被传送至装置100(例如，至处理器130)。例如，在步骤1010中，参与分析环境信息来识别信息元素的步骤中的一些或所有可以被卸载至分布式网络上的远程计算装置(或更一般地，远程电子处理器)。远程计算装置可以分析环境信息，并且通过网络将所识别的元素报告给处理器130。
例如，分布式计算环境的各个方面和特性公开在美国专利申请公开第us2010/0241741号中，其全部内容通过引用并入本文。
环境信息的元素已经在步骤1010中被公开之后，基于活动的成组的排除规则在步骤1020中被从数据库检索。如上所讨论，该数据库可以被本地存储在装置100上或者在可在分布式网络上访问的远程计算装置上。该组排除规则限定用于使用者所从事的特定活动，其中环境信息的元素将被发送给使用者以及其中的元素将不会。通常，未被限定在排除规则中的元素不被发送给使用者。
通常，不同的活动具有不同成组的排除规则。例如，用于导航活动的成组的排除规则包括将一定阈值距离内的物体、一定视角范围领域内的物体、以超过一定阈值速率的速率接近使用者的物体、对应于标志的物体、以及对应于危险的物体或情况(例如，关于使用者前方道路工程的信息)报告给使用者。作为另一示例，用于吃饭活动的成组的排除规则包括将物体比如玻璃、餐具和玻璃器皿、与使用者一定阈值距离内的脸、以及与使用者一定阈值距离内的文本的部分报告给使用者。
接下来，在步骤1030中，处理器130确定是否应该基于使用者输入来改变在步骤1020中所检索的排除规则。可以以各种方式获得来自使用者的输入。在一些实施例中，使用者可以发出口头指令到装置100来修改排除规则。例如，使用者可以指示装置100报告对应于使用者环境中的汽车的所有元素，即使这些元素中一些远离使用者大于阈值距离(且因此通常将被过滤掉)。在某些实施例中，使用者可以通过激活装置100上的控制比如触摸屏、滑动条或按钮发出指令来修改排除规则。在一些实施例中，第三方比如远程监测装置100的人可以发出指令来修改发送给装置100的排除规则(例如，通过至计算装置的用户接口)。如果任何形式的指令被从使用者或获准的第三方接收来修改排除规则，那么在步骤1040中修改这些规则。在使用者的选择，所修改的排除规则可以永久地保存在数据库中。
然后，在步骤1050中，根据排除规则处理来自步骤1010的环境信息的每个识别的元素，以实施环境信息的过滤。在第一处理步骤1060中，处理器130确定被处理的元素是否是在非排除列表上。装置100可以包括(或在内部存储或在可访问网络的远程计算装置上)不应该被从发送至使用者的所排除的元素列表。换句话说，非排除列表上的每个元素始终被发送给使用者。非排除列表上的元素列表可以改变，并且可以由使用者进行修改。例如，在一些实施例中，非排除列表的特征在于危险、文本以及脸。因此，装置100将始终把关于使用者环境中的危险、文本以及脸的信息发送至使用者。更一般地，装置100能够识别的任何元素可表现在非排除列表上。
如果正被处理的特定元素出现在非排除列表上，则在步骤1070中该元素被标记用于报告给使用者。如果不是的话，那么在步骤1080中，应用排除规则(包括来自步骤1040的任何修改)来确定正被处理的元素是否应被报告给使用者。如果该元素应该被报告，则在步骤1070中其被标记用于报告。
接下来，在步骤1090中，如果环境信息的所有识别的元素已被处理，则过滤在步骤1093结束。如果不是所有的元素都已被处理，则在步骤1095选择环境信息的未处理元素，并且控制返回至步骤1060。
返回至图2，在步骤230中已经过滤关于使用者环境中的信息之后，在步骤240中，可以根据在步骤230中所获得的排除规则任选地调节装置100的配置被。后面将结合图13对用于调节装置100的配置的过程进行讨论。
在接下来的步骤250中，在报告给使用者之前，所过滤的信息给予优先级。一般情况下，对所过滤的信息给予优先级有助于确保报告给使用者的信息(除了与使用者的活动相关之外)也根据其对使用者活动的相对重要性而被传输。也就是说，尽管所过滤的信息可以包括与使用者活动相关的多个元素，但某些元素可能比其他更相关或重要，且因此应该首先被报告。例如，对于导航繁忙街道的使用者来说，对应于危险和标志的元素可能比对应于其他行人的脸的元素更加重要，即使这些类型的元素中的每个足够相关以报告给使用者。在步骤250中，所过滤的信息的元素被给予优先级用于报告给使用者，以考虑不同元素之间对使用者活动的相关程度的差异。
一般情况下，对所过滤信息的元素给予优先级涉及多个步骤。图11是包括用于给予这些元素优先级的一系列步骤的流程图1100。在第一步骤1110中，从根据在图2的步骤220中所确定的使用者活动的数据库检索优先级规则的列表。对于使用者的每个活动来说，优先级规则的列表列出了被报告给使用者的所过滤信息的元素的顺序。作为示例，对于室外导航的活动来说，优先级规则可以指定对应于危险的元素应被首先报告，然后按照元素这样的顺序，即对应于其他障碍物第二、地标第三、至导航目标的距离第四、gps定位信息第五、标志上的文本第六、及其他人的脸第七。作为另一示例，对于阅读活动来说，优先级规则可以指定对应于标题的元素被首先报告，然后按照元素这样的顺序，即对应于副标题、大文本段落、以及附图下的说明。作为另一示例，对于吃饭的活动来说，优先级规则可以指定对应于桌子的元素被首先报告，然后按照元素这样的顺序，即对应椅子、玻璃、餐具、以及在与使用者一定阈值距离内的人的脸。
一般情况下，可以基于使用者的活动来不同地给予相同类型信息的优先级。例如，在许多情况下，有可能是在使用者环境中的显著量的文本。然而，基于使用者的活动来对所检测的文本的传输给予优先级。例如，如果使用者从事阅读的活动，则显著位置(例如，与使用者的距离小于相对短的阈值距离，比如16或18英寸)中的文本被赋予高的优先级进行传输，因为该文本很可能对应于使用者所正在阅读的。背景(例如，距离大于与使用者的阈值距离)中的文本被分配较低的优先级，或者根本就不被发送给使用者。与此相反，如果使用者从事导航活动，则在距离大于阈值距离的文本被分配高优先级，因为该文本与导航相关。例如，使用者可以指导装置100(例如，通过口头指令)来导航至特定的地址，并且处理器130可以获取和分析来自由装置100所接收的视觉信息的文本，以将该地址定位在建筑物上并指引使用者到该建筑物。
一般情况下，由从数据库中所检索的优先级规则指定的元素的顺序可以采取任何形式。此外，使用者可以改变优先级规则用于由装置100所识别的任何一个或多个活动。在流程图1100中的下一步骤1120包括确定使用者是否已经启动对优先级规则的改变。如上面结合图10所说明，使用者可以以不同的方式修改优先级规则。在一些实施例中，使用者可以发出口头指令来修改优先级规则，例如，指示装置100在导航过程中优先提高在使用者环境中的标志上的文字的报告。在某些实施例中，使用者可以使用控制比如按钮、滑动条或触摸屏界面来修改优先级规则。如果使用者启动改变优先级规则，则在步骤1130中修改这些规则。在使用者的选择，这样的变化可以永久待在数据库中。
接下来，在步骤1140中，优先级规则(其可能已经被使用者修改)被用于将报告优先级分配给所过滤信息的元素中的每个。该报告优先级建立这些元素被报告给使用者的顺序。一般情况下，这些元素以连续、分级的方式被报告，从具有最高优先级的元素开始。在优先级已经被分配之后，该过程终止于步骤1150。
返回至图2，在步骤250中所过滤的信息已被给予优先级之后，在步骤260中，可以基于在步骤250中所建立的元素的优先级来任选地调节装置100的配置。后面将结合图13对用于调节装置100的配置的过程进行讨论。
接着，在步骤270中，细化已在步骤250中被给予优先级用于报告给使用者的所过滤信息的元素。通常，细化是指这样的步骤，其中位于使用者环境信息中的元素(例如，作为过滤步骤230的一部分)被进一步分析以确定关于元素的附加信息。对于某些元素来说，此附加信息可能已经被确定为或步骤230或步骤250的一部分，因此没有进一步的细化是可能的或合乎需要的。但是对于其他元素来说，细化提供关于使用者环境特征的更多具体信息。
环境信息中元素的各种各样的细化可以通过处理器130来实现，例如，在步骤230中位于视觉信息中的物体可通过应用目标确认和/或识别算法被细化以在步骤270中识别物体。位于视觉信息中的脸可通过应用面部确认和/或识别算法被细化来识别脸。脸上的表情还可以通过施加合适的算法而被确定。在由检测器100的传感器所测量的音频信息中检测到的声音可以通过应用声音确认和/或识别算法被细化来识别扬声器。位于视觉信息中的文本可以通过应用光学字符识别算法来细化。由处理器130用于细化所过滤信息的元素的算法可以与用于在步骤230中定位元素的算法相同，如上面所讨论。
在步骤280中，所过滤信息的细化元素被重新给予优先级用于向使用者报告。根据使用者活动的情况，细化元素的重新优先化是调节信息报告的自适应步骤，以使得信息及时地被发送到使用者。特别是，随着使用者与他或她的环境进行交互，使用者与他或她的环境之间的关系可以因使用者的动作和环境的变化而改变。因此，在步骤260中所建立的初始优先化可能在使用者已执行特定活动达一段时间之后不再是最佳的。重新优先化考虑了这些不断变化的情况，并且也考虑了由使用者所发出的指令来重新配置装置100的操作。
重新优先化细化元素用于报告的过程通常包括多个步骤。图12示出了包括用于重新优先化细化元素的多个步骤的流程图1200。在第一步骤1210中，处理器130从数据库中检索成组的基于活动的触发条件。对于在图2的步骤220中所确定的使用者的特定活动来说，该组触发条件限定细化元素的重新优选化发生的情况。
一般而言，对于每个使用者活动来说，可以限定任何数量的触发事件，并且使用者可以编辑、删除、和/或根据需要添加新的触发事件。触发事件对于它们被限定用于的活动是特定的，虽然对于不同的活动可以限定相同的触发事件。此外，可以限定各种各样不同的触发事件。作为示例，对于室外导航的活动，可以限定报告触发事件的危险，以使得如果使用者与危险之间的距离小于阈值距离则发生重新确定优先级。作为另一示例，触发事件可被限定成使得如果使用者与环境中物体之间的相对速度超过阈值速度则发生重新确定优先级。作为另一示例，触发事件可被限定成使得如果使用者与导航目标或使用者应该改变方向的位置之间的距离小于阈值距离则发生重新确定优先级。作为另一示例，触发事件可被限定成使得如果使用者跨越障碍进入危险或禁止区域(比如进入被标记“禁止进入”或“危险”的房间中)则发生重新确定优先级。对于与另一人谈话的活动来说，触发事件可被限定成使得如果人的面部表情变化则发生重新确定优先级。
虽然上面的触发事件有可能几乎瞬间发生，但是触发事件还可被限定用于可能存在达较长时间段的情况。例如，触发事件可被限定成如果使用者正在导航且未靠近重要地标则发生重新确定优先级。作为另一示例，触发事件可被限定成使得如果大量的类似障碍(例如，树)存在于使用者环境中小于阈值距离则发生重新确定优先级。作为另一示例，触发事件可被限定成使得如果当人接近使用者的距离小于阈值距离时则发生重新确定优先级，并且使得对于使用者来说该人先前已被识别。
在触发事件已在步骤1210中被检索之后，对应于使用者活动的每个触发事件以优先顺序被检查(首先检查最高优先级的事件)，以确定触发事件是否已经发生。最高优先级的事件在步骤1220中被选择，并且在步骤1230中被检查以确定其是否已经发生。如果其已经发生，则控制传递至步骤1250。如果没有发生，则控制传递至步骤1240，其中处理器130确定所有的触发条件是否已被检查。如果所有的条件都已被检查(并且没有任何被触发)，则该过程结束于步骤1270。然而，如果不是所有的条件都被检查，则控制返回至步骤1220，其中新的触发条件被选择并被检查用于发生。
如果到达步骤1250，则触发事件已经发生，并且所发生的事件是发生的最高优先级事件。在检测触发事件之后，处理器130然后从在步骤1250中的数据库中检索对于所发生的触发事件特定的重新优先级规则。一般情况下，重新优先级规则可以采取多种多样的形式，比如用于报告给使用者的元素分级列表、以及相对彼此确定某些元素优先级的条件语句。作为示例，如果触发事件对应于使用者与危险之间的距离小于阈值距离、或者对应于使用者与物体之间的相对速度超过阈值速度，则重新优先级规则可以提高报告危险或物体的更高(例如，最高)的优先级。作为另一示例，如果触发事件对应于使用者与导航目标或使用者应该改变方向的位置之间的距离小于阈值距离，则重新优先级规则可以提高报告正在接近的地标或导航目标至更高(或最高)的优先级。
作为另一示例，如果触发事件对应于使用者穿越障碍进入危险或禁止区域，则重新优先级规则可以提高报告障碍的方向和到障碍的距离更高(或最高)的优先级。作为附加示例，如果触发事件对应于使用者正在交谈的那个人的面部表情的变化，则重新优先级规则可以提高报告人的面部表情至更高(或最高)的优先级。
重新优先级规则还可能导致信息的某些元素在优先级方面被减少。例如，如果触发事件对应于导航远离任何重要地标的使用者，则重新优先级规则可以降低报告指引信息给使用者的优先权，如在一般情况下，指引信息仅在相对于这样的地标被报告时是非常有用的。作为另一示例，如果触发事件对应于存在于使用者的阈值距离内的大量的类似障碍物，则重新优先级规则可以降低报告关于除最接近使用者并在其前面之外的所有障碍物的信息的优先级，或者可替代地，重新优先级规则可以用有开始在对应于最接近障碍物的距离的这些障碍的领域的信息替换报告关于所有这些障碍的信息。作为另一示例，如果触发事件对应于接近先前已被识别至使用者的人，则重新优先级规则可以降低优先级或消除报告在先前的识别中已被报告给使用者的关于此人的某些类型的信息(例如，所穿的服装的类型)。
在重新优先级规则已经在步骤1250中被检索之后，它们被应用至在步骤1260中所过滤信息的细化元素，以重新分配这些元素的报告优先级。该过程结束于步骤1270。
返回至图2，一旦细化元素已在步骤280中被重新确定优先顺序，则它们就根据在步骤290中的优先级次序有序地被报告给使用者。一般情况下，这些元素通过多种信号被报告给使用者。如以上结合图1所讨论，装置100包括接收器-发送器，其可由处理器130用于将使用者环境信息的所过滤的和所细化的元素的音频和/或振动触觉表示发送给使用者。在一些实施例中，装置100与可植入的假体比如视觉植入物进行通信来提供一些元素的表示——特别是从视觉信息中所导出的元素——以直接刺激使用者的眼球神经或视觉皮层。
在某些实施例中，装置100还可以发送一些过滤并细化的元素作为视觉信息。许多视觉障碍的使用者不是完全失明的，其剩余的视力提供了传达关于使用者环境的信息的附加路径。因此，基于将被发送的信息的各种元素的性质，处理器130可以确定哪些个元素最适于发送作为视觉信号。在一些实施例中，处理器130可以使用接收器-发送器来发送作为视觉信号和其他类型信号(例如，音频和/或振动触觉信号)的某些元素，以向使用者提供互补的信息。
多种不同的方法可用于将视觉信号传输至使用者。例如，在一些实施例中，显示器(例如lcd显示器)可被定位在眼镜框架102中，取代存在于一副普通眼镜中的视镜片。这些显示器可以配置成接收来自处理器130的信息，并通过显示器将信息的视觉表示传送给使用者。例如，用于以这种方式发送视觉信息的系统和方法已被公开在美国专利第8135227号中，其全部内容通过引用并入本文。
接下来，在步骤293中，装置100确定使用者是否想要停止装置的操作。一般情况下，这种确定是通过检查装置100的电源按钮的状态来进行的，以查看按钮是否已被使用者按下，和/或确定使用者是否已经发出口头指令来关闭装置。如果使用者已经提供装置100的操作应该被停止的指示，则该过程结束于步骤295。如果不是的话，则装置100的配置可以基于在步骤280中所检索的重新优先级规则而被任选地调节(如将结合图13进一步讨论)，然后控制返回至步骤210。
如上面已经简要到讨论，在流程图200中所示的过程可以在此过程中的多个点任选地调节装置100的配置，以自适应地调节对使用者活动的该装置的操作。图13是包括用于执行此任选调节的一系列步骤的流程图1300。如上面所解释，可以基于在图2所示的过程中的各个点所获得的信息来调节装置100的配置。在步骤1310中，图13所示的过程确定基于在流程图200的步骤230中所检索的排除规则是否应该更新装置100的配置。如果是的话，则在步骤1320更新装置配置。
一般情况下，在此阶段对装置100的配置的更新通常包括去激活某些传感器或检测器，和/或重新配置传感器和/或检测器来仅收集关于使用者环境的某些类型的信息。因为排除规则确立仅信息的某些元素将被报告给使用者，所以在一些实施例中，对于装置100来说不再需要继续收集将不会被报告的信息。结果，通过调节装置100的配置以避免收集非报告的信息，处理器130上的计算负载可得以减少，并且装置100的功耗也可以得到降低。
接下来，在步骤1330中，该过程确定基于在流程图200的步骤250中所检索的优先级规则是否应该更新装置100的配置。如果是的话，则在步骤1340更新装置配置。一般来说，在此阶段对装置100的配置的更新通常包括调节传感器和检测器，以促进收集对应于被赋予高优先级的元素的信息，并且不再强调收集对应于具有低优先级的元素的信息。
在步骤1350中，该过程确定基于发生在流程图200的步骤280中的重新确定优先顺序是否应该更新装置100的配置。如果是的话，则在步骤1360更新装置配置。在步骤1350中如上面所述，在此阶段对装置100的配置的更新通常包括调节传感器和检测器，以促进收集对应于被赋予高优先级的元素的信息，并且不再强调收集对应于具有低优先级的元素的信息。在流程图1300的此阶段调节配置允许装置100在初始报告的优先级因使用者与他或她的环境进行交互而变化时能够有效地收集关于使用者环境的信息。
接下来，在步骤1370中，该过程确定基于来自使用者的指令是否应该更新装置100的配置。在任何时候，使用者可以发出指令，或口头地或通过激活各种控制(例如，触摸屏和按钮)中的一个或多个，以指示应该调节装置100的配置。如果处理器130检测到使用者已经发出了这样的指令，则基于在步骤1380中的所发出的指令来更新装置100的配置。然后，该过程结束于步骤1390。
一般情况下，基于在图2的过程中所获得的信息(例如，排除规则、优先级规则、以及重新优先级规则)和由使用者所发出的指令，可以对装置100的配置进行各种不同的调节。例如，处理器130可以改变焦距、视场、孔径、积分时间、增益、占空比、以及装置中任何传感器和检测器的其他性质。检测器和传感器的变化还可以包括调节用于获取视觉信息的所过滤的元素和调节该获取后应用于视觉信息的后处理算法。例如，该装置中的检测器的部分或全部可以包括可变的中性密度过滤器，且处理器130可以配置成选择定位在每个这样的检测器的传感器元件的前面的中性密度过滤器的光学密度来增大或减小在所收集的视觉信息中的环境光水平。此外，检测器的部分或全部还可以包括可变带通过滤器，且处理器130可以配置成选择定位在每个这样的检测器中的传感器元件的前面的带通过滤器的波长频带(例如，中心波长和带宽)。检测器的部分或全部还可以包括空间过滤器或孔，其可以在尺寸方面增大或减小，以限制到达每个这样的检测器的传感器元件的视场和/或光量。处理器130可以自适应地调节与每个这样的检测器相关联的空间过滤器或孔，以控制光强度和检测器的视场。
此外，为了提高收集某些类型的信息，处理器130可以调节检测器的其他特征。例如，如果装置100确定使用者正从事阅读活动，则处理器130可以增加用于收集视觉信息的检测器的分辨率，从而以更高的分辨率获取文本，便于应用光学字符识别算法。
处理器130还可以配置成调节装置100的配置来考虑不断变化的操作条件。例如，如果由装置100所接收的信号之一的强度降低(例如，gps)，则处理器130可以通过增加由装置100所接收的另一信号的信号强度而补偿，并且在可能的情况下甚至可以调节装置100的操作，以使得通过使用弱信号而通常会被交换的信息通过使用增强的信号而被交换(可能的话)。此外，处理器130可以配置成通过选择哪些算法用来分析所收集的信息的元素并且通过调节所选择的算法的参数来调节装置100的配置。例如，在多个光学字符识别算法可用来分析对应于文本的元素的情况下，处理器130可以选择与所收集的视觉信息最有效工作的算法。作为另一示例，处理器130可以调节被应用至由装置100的检测器所收集的视觉信息的基于软件的过滤器。
当处理器130确定使用者的眼睛、头部或身体的运动已经发生时，可以调节装置100的操作来补偿这种移动。例如，如本文中所讨论，如果处理器130确定使用者正行走时，则处理器130可以应用一个或多个过滤器至视觉信息来补偿在行走过程中检测器的不自主运动。
如果处理器130确定使用者自愿移动他或她的头部(例如，如在图4a和4b中)和/或眼睛，则处理器130可以改变由检测器所获得的视觉信息被处理的方式。对于无论是头部还是眼睛的相对快速的运动，处理器130可以以响应于这样的快速运动来模仿人类大脑的自然视觉处理的方式中断从视觉信息所导出的元素的处理和/或传输，或者在处理之前应用算法以取消模糊或甚至消除来自视觉信息的元素。可替代地，对于头部或眼睛的较慢运动来说，处理器130可以处理视觉信息，并且以保存因视觉信息中运动的伪影的方式直接将信息的元素发送给使用者(经由接收器-发送器170和172)。通常，对于头部或眼睛的慢运动来说，运动伪影不是一样的显著，因此它们可以被保留。这样，根据由装置100所测量的信息和使用者的活动，检测器的运动可被或保留或补偿。
因为由装置100的使用者的眼睛、头部和身体的运动都可以发生在同一时间，所以处理器130配置成确定所有这些类型的运动是否正在发生，基于所检测的运动来解释使用者的动作，并且相应地调节装置100的配置。例如，在一些实施例中，当使用者的头部和眼睛的运动发生在相同的方向上且速度相同时(比如当跟随缓慢移动的物体时)，处理器130不中断视觉信息的处理，并且继续将从视觉信息所导出的元素发送至接收器-发送器170和172。因此，在某些实施例中，当使用者眼睛的相对缓慢的运动发生而没有相应的头部运动时，处理器130也不会中断处理由检测器所获得的视觉信息。
相反，在一些实施例中，当处理器130检测到使用者的头部和眼睛中的一方或双方在相同或不同的方向上快速运动时，处理器130可以中断处理视觉信息和/或将从该信息所导出的元素发送至接收器-发送器170和172，模仿人体自然的视觉前庭功能(例如，以避免“视网膜模糊”)。处理和/或发送保持由处理器130的中断，直到头部和眼睛重新调整。如上述，此行为模仿人体的自然反应，其中视觉处理被中断，直至稳定的图像可被恢复至视网膜。
在某些实施例中，使用者的眼睛可以以会聚的方式向内旋转以把重点放在近场的物体上，或者以发散的方式向外旋转以把重点放在远场的物体上。处理器130可以检测使用者眼睛的这些运动(如上面结合图1所讨论)，并且可以适当地调节装置100的配置。例如，处理器130可以指示致动器114和/或116改变检测器110的定向(并且指示类似致动器改变检测器112的定向)。可替代地，或者另外，例如，处理器130可以指示致动器114和/或116通过在检测器内平移物镜来改变检测器110的聚焦特性(例如，聚焦平面)，以及对于检测器112来说具有相似的改变。
在一些实施例中，使用者眼睛的位置可以保持相对不变，甚至在使用者头部的位置迅速变化时。例如，这种类型的运动对应于人来回摇晃他或她的头部，同时保持在物体或人上的固定目光。当处理器130检测使用者的头部和眼睛运动的这样的组合时，处理器130可以通过使用致动器114和116(以及用于检测器112的相应致动器)来调节检测器110和112的定向，以确保检测器保持定向在基于使用者的眼睛而不是他或她的头部的定向而与视线对应的方向上。这模拟由人体的视觉系统施加在自然前庭眼睛反射上的影响，以使眼睛旋转远离头部运动的方向。
图5示出了表示涉及将视觉信息的元素发送至装置100的使用者的各种步骤的流程图500。如图5所示，在步骤502中，由检测器和传感器所获得的视觉信息被分析，并且此分析的结果连同由使用者在步骤504中所发出的任何指令由处理器130用于在步骤506中确定使用者的活动。在步骤508中，视觉信息还经受运动补偿分析，以基于使用者眼睛、头部和身体的所检测的运动来确定运动补偿是否合适。视觉信息可以是运动补偿的(步骤512)或仍是未补偿的(步骤510)，然后在步骤514中由处理器130处理，以提取如本文所讨论的各种元素。这些元素被过滤、给予优先级，并且然后在步骤516中被发送至装置100的使用者。
除了与装置100的各个部件进行通信之外，在一些实施例中，处理器130还可以与外部装置进行通信，比如移动电话、计算装置、以及远程服务器(包括对于医疗小组成员可以访问的装置)。处理器130可以将各种视觉和非视觉信息、操作信息、以及诊断信息(例如，包括用于评估辅助装置有效性的参数)发送至远程装置。这样，可以评估辅助装置的持续效用而不需测试使用者。
可被发送的附加信息包括关于使用者活动的信息比如使用者不在家中的时间量、关于由该装置所提供的导航提示的精度的信息、以及关于由有关危险的装置所提供的警告的精度的信息。如果使用者落在或遇到需要由警方或医疗小组成员的应急响应的情况，则这些信息还可以包括自动通知。医疗小组成员可以监测装置100与使用者之间的交互，并且还可以与该装置的使用者进行通信。处理器130允许使用者发送紧急信号(例如，通过语音指令)来请求援助。
处理器130还可以接收软件更新、配置设置、以及来自远程装置的数据库信息。传输至远程装置及从其的传输可被加密，用于安全性及保护病人机密性。
在一些实施例中，装置100可以配置成允许由位于远处按月(或更一般地，定期重复)收费的人或自动化系统连续监测。例如，该装置可以以与安全系统或个人报警装置可被监测的同样的方式监测，并且当检测到某些条件时(例如，当使用者的身体迅速移向地面和/或当所获得的视觉信息与来自地面的视图一致时，这两者都表明使用者已经下降)，远程的人或自动化系统可以联系使用者来确定召唤援助是否合适。需要时，使用者还可以直接联系远程监测的人或系统来直接请求援助。
iv.与可植入的假体装置一起使用
如本文中所讨论，装置100可以与可植入的视觉假体用于系统中，比如公开在美国专利第6976998号中的微创视网膜植入物。视网膜或其他植入物可以以与眼镜框架102上的接收器-发送器170和172相类似的方式用作接收器-发送器。特别地，在元素已经根据排除规则被过滤、被给予优先级用于向使用者报告、以及被重新给予优先级之后，可植入的假体装置可以从处理器130接收由装置100所收集的环境信息的元素的表示。然后，可植入的假体装置可以通过视觉组织或途径的刺激直接将这些元素发送给使用者。
这样，假体装置和装置100协同工作，以向系统的使用者提供信息来与他或她的环境交互，而同时不会采用太多的信息淹没使用者。特别地，因为可植入的假体装置通常向使用者提供视觉和/或伪视觉刺激且装置100通常向使用者提供音频和/或振动触觉刺激，这两个装置操作以提供补充信息。例如，在许多情况下，由装置100所提供的以刺激形式的信息允许使用者将物体和人更好地定位在他或她的环境中，而由可植入的视网膜假体所提供的以刺激形式的信息允许使用者更好地理解物体和人。
因此，可植入的视网膜假体装置的操作由处理器130以与处理器130控制接收器-发送器170和172相同的方式控制。也就是说，以由假体装置向使用者所提供的刺激的形式的信息由处理器130(其在假体装置的外部)控制。此外，该信息通过排除规则被过滤并且被给予优先级，以使得仅与使用者活动有关的信息由假体装置及时地且以考虑使用者与他或她的环境之间相互作用的方式提供。此外，例如，处理器130可以响应于由使用者所发出的指令来控制假体装置的操作，包括调节施加至光学组织的刺激的强度。
由假体装置所测量的信息还可以用来调节装置100的配置。例如，如果假体装置配置成测量使用者视线的方向，则处理器130可以使用该信息来重新定向装置100的检测器，如本文所述。作为另一示例，如果假体装置配置成测量用者眼睛的聚焦性能的变化，则处理器130可以使用该信息来调节装置100的检测器的配置，例如改变检测光学装置的焦平面和/或视场。
v.其他应用
本文所公开的系统和方法的各种其他应用也是可能的。在一些实施例中，辅助装置100可以配置成协助有听力障碍的人。传感器120和122可以配置成检测音频信号，且处理器130可以配置成分析该信号，并将其中的音频信息转换成文本。框架102可以包括透明显示器取代眼镜镜片，且处理器130可以配置成将所转换的文本投影在显示器上用于由使用者观看。处理器130还可以配置成分析音频信号，以确定某些声音(例如警报器、喇叭、正在接近的汽车)并且向使用者显示在显示器上的适当通知和警告。
虽然本文中的公开主要集中在用于视力障碍者的辅助装置上，但是本文所公开的方法和系统还可用于没有这种障碍的人的感官增强。例如，本文所公开的系统可以实施在各种可戴的装置中，比如头盔、服装、眼镜、珠宝，以及在其他的便携式装置中。通过以人类通常不能看到的波长检测视觉信息、通过以人类通常无法感知的强度和频率测量音频信息、以及通过测量人类没有能力以其他方式由仪器单独测量的定位信息，该系统可以用于扩展可由使用者感知的信息的范围。这样所测得的信息可以以使用者可以看见、听见和理解的形式提供给使用者。例如，从由系统所检测的红外图像和微弱声音中导出的信息可以被传送至戴着实施为保护性头盔的系统的士兵。同样地，视觉信息可以被传送至戴着实施为头盔的系统的消防员，以引导消防员通过燃烧的建筑物。
例如，用于测量视觉和其他感官信息的可以与本文所公开的辅助装置一起使用的附加的检测方法和系统公开在以下美国专利和专利申请出版物中，其中每个的全部内容通过引用并入本文：5521957；7307575；7642949；7782251；7898468；8021045；us2007/0025512；以及us2008/0187104。
在一些实施例中，本文所公开的系统和方法可以用作用于运动训练、康复以及移动性评估的活动监测装置。通过将监测装置实施为可戴式装置(例如眼镜或太阳镜)，该装置戴着舒适，并且不干扰日常活动。如本文所公开，医疗小组成员可以主动地监测患者而不会专门地求助于亲自评估以获得及时准确的信息。
在某些实施例中，本文所公开的方法和系统可更一般地用作用于各种电子装置的人机界面。例如，本文所公开的辅助装置可以与移动电话搭配，并且可用于免提通话，以及用于声音激活的互联网搜索。
本文所公开的系统和方法还可用于各种安全应用。例如，如果辅助装置的使用者跌落、被攻击，或受到其他伤害，该装置可以向警方或向其他有关当局提供自动通知。该辅助装置可以配置成允许使用者指示遇险状态并自动检测使用者的遇险状态(例如，如果使用者保持不动达足够长的时间段)。
vi.其他使用者
虽然装置100在本文中相对于单个使用者被讨论，但是一般来说，装置100可以被多个人使用。当由多个人使用时，装置100为每个使用者维持单独的配置设置和优先选择，并且在适当情况下为每个使用者维持存储信息的单独数据库。例如，一般的导航信息可被维持在装置100的所有使用者共同拥有的数据库中，而对于由特别使用者常去的位置所特定的导航信息可被维持在使用者特定的数据库中。
以方便由多人使用，装置100可以配置成识别多个使用者。各种方法可用于实现使用者特定的识别。例如，在一些实施例中，使用者可以向装置100发出识别自己的声音指令。在某些实施例中，使用者可以通过激活装置100上的控制比如按钮或触摸屏界面来表明自己的身份。在一些实施例中，使用者可以配备有存取卡或模块，其包括含有关于使用者的识别信息的安全芯片(例如，rfid芯片)。装置100可以在使用者接近装置100时自动检测存取卡或模块。
在某些实施例中，当特定的使用者由装置100确定时，该装置可以要求使用者采用密码来确认他或她的身份。使用者可以通过发出口头指令或通过激活在装置100上的控制(例如，在触摸屏界面上的触摸序列或成组按钮)来输入密码。一旦使用者被验证，装置100就可以通过从其数据库中检索所存储的使用者特定的配置设置、建立与信息的使用者特定的数据库的连接、以及调节其配置来对应于使用者特定的设置来自动地配置自身用于与所验证的使用者的操作。一旦从使用者发出指令(或者当使用者离装置100太远时，如果验证是基于接近度的话)，装置100就可以终止至使用者特定的数据库的连接，并进入待机模式直到另一个使用者被验证。
其他实施例
已经对多个实施例进行了描述。然而，要理解的是，可以在不脱离本公开的精神和范围的情况下进行各种修改。因此，其他实施例在以下权利要求的范围之内。
- 还没有人留言评论。精彩留言会获得点赞！