专利名称：图像获取和显示设备以及图像获取和显示方法
技术领域：
本发明涉及图像获取和显示设备以及图像获取和显示方法，它们 被配置为沿着作为被摄对象方向的用户可视方向捕获被摄对象图像， 并且在他或者她戴上例如作为眼镜型安装单元或者头盔型安装单元 的设备时，在他或者她的眼睛前面显示所捕获的图像。
背景技术：
已经在日本专利申请公开HEI 8 - 126031、 HEI 9 - 27970、和 HEI 9 - 185009中提出了许多使用眼镜型安装单元或者头盔型安装单 元的设备，它们具有布置在用户眼睛前面并且显示图像的显示部分。
发明内容
然而，特别是从帮助用户视觉以及扩展他或者她的视觉能力的观 点上看，相关技术中的设备不控制图像获取操作和显示操作。
考虑到上述情形，所期望的是协助用户的视野以及扩展他或者她 的视觉能力。此外，还期望恰当地控制显示操作和图像获取操作以便与用户的情况(例如，希望、视觉状态、身体情况等)相对应地协助
用户的视野以及扩展他或者她的视觉能力。此外，还期望恰当地控制 显示操作和图像获取操作以便与外部情况(例如，周围环境、被摄对
象、日期与时间、位置等)相对应地进行这些操作。
根据本发明的实施例，提供了一种图像获取和显示设备。该图像 获取和显示设备包括图像获取部分、显示部分、用户信息获得部分、 和控制部分。图像获取部分这样获取图像，以便使用户看到被摄对象 的方向就是被摄对象的方向。显示部分布置在用户眼睛的前面并且显 示由图像获取部分获取的图像。用户信息获得部分获得有关用户的运 动和身体情况的信息。控制部分与由用户信息获得部分获得的信息相 对应地控制图像获取部分的操作或者显示部分的操作。
根据本发明的实施例，提供了 一种图像获取和显示设备的图像获 取和显示方法。该图像获取和显示设备包括图像获取部分和显示部 分。图像获取部分这样获取图像，以便使用户看到被摄对象的方向就 是被摄对象的方向。显示部分布置在用户眼睛的前面并且显示由图像 获取部分获取的图像。获得有关用户运动或者用户身体情况的信息。 与所获得的信息相对应地控制图像获取部分的操作或者显示部分的 操作。
根据本发明的实施例，提供了一种图像获取和显示设备。该图像 获取和显示设备包括图像获取部分、显示部分、外部信息获得部分、 和控制部分。图像获取部分这样获取图像，以便使用户看到被摄对象 的方向就是被摄对象的方向。显示部分布置在用户眼睛的前面并且显 示由图像获取部分获取的图像。外部信息获得部分获得外部信息。控 制部分与由外部信息获得部分获得的信息相对应地控制图像获取部 分的操作或者显示部分的操作。
根据本发明的实施例，提供了 一种图像获取和显示设备的图像获 取和显示方法。该图像获取和显示设备包括图像获取部分和显示部 分。图像获取部分这样获取图像，以便使用户看到被摄对象的方向就 是被摄对象的方向。显示部分布置在用户眼睛的前面并且显示由图像获取部分获取的图像。获得外部信息。与所获得的信息相对应地控制 图像获取部分的操作或者显示部分的操作。
根据本发明的实施例，当用户戴上例如眼镜型安装单元或者头盔 型安装单元这样的图像获取和显示设备时，用户看到布置在他或者她 前面的显示部分。当使显示部分显示由图像获取部分获取的图像时， 用户可以利用显示部分在他或者她的正常视觉方向看见所获取的场 景图像。
在这种情况下，虽然用户通过本发明实施例中的图像获取和显示 设备在他或者她的正常视觉方向上看到场景，但是他或者她看到在显 示部分上显示的图像作为他或者她的正常视觉场景中的场景。当与例 如用户的希望、视野、身体情况等这样的用户情况相对应地改变显示 部分上显示的图像的显示模式时，可以帮助或者扩展他或者她的可视 能力。
当例如显示远景图像(telescopic image)时，用户可以看见他或 者她通常不能看见的远处场景。当用户用他或者她的弱视力眼睛阅读 书本或者报纸时，如果显示部分放大了其中的字符，则他或者她可以 清楚地看到它们。
换句话说，当与用户的情况相对应地控制图像获取部分和显示部 分的操作以及所获取的图像的显示模式时，可以提供其中用户感觉舒 服的视觉情况。
根据本发明的实施例，当用户戴上作为例如眼镜型安装单元或者 头盔型安装单元的图像获取和显示设备时，用户看到布置在他或者她 前面的显示部分。当使显示部分显示由图像获取部分获取的图像时， 用户可以利用显示部分在他或者她的正常视觉方向上看见所获取的 场景图像。
在这种情况下，虽然用户通过本发明实施例中的图像获取和显示 设备在他或者她的正常视觉方向上看到场景，但是他或者她看到显示 部分上显示的图像作为他或者她的正常视觉场景中的场景。当与例如 周围环境状态、被摄对象情况等这样的外部情况相对应地改变在显示
8部分上显示的图像的显示模式时，可以帮助或者扩展他或者她的视觉 能力。
当例如显示远景图像时，用户可以看见他或者她通常不能看见的 远处场景。当用户用他或者她的弱视力眼睛阅读书本或者报纸时，如 果显示部分放大了其中的字符并且调整了其亮度和对比度，则他或者 她可以清楚地看到它们。
换句话说，当与外部信息相对应地控制图像获取部分和显示部分 的操作以及所获取的图像的显示模式时，可以向用户提供其中用户感 觉舒服或者感兴趣的视觉情况。
根据本发明的实施例，由布置在用户前面的显示部分显示由图像 获取部分获取的图像，即，在作为被摄对象方向的用户视觉方向上获 取的图像。当与用户的操作或者有关他或者她的身体情况的信息相对 应地控制图像获取部分的操作或者显示部分的操作时，实质上可以协 助和扩展他或者她的视觉能力。
因为通过与用户的希望或者所确定的与代表他或者她的运动或 者身体情况的信息相对应的情况相对应地控制图像获取部分或者显 示部分来改变显示模式，所以没有向他或者她施加操作负担。此外， 因为恰当地控制了图像获取部分和显示部分，所以图像获取和显示设 备具有高度的用户友好性。
此外，因为显示部分可以变为通过状态(through state )，即透 明或者半透明，而不是显示由图像获取部分获取的图像，所以携带图 像获取和显示设备的用户可以没有困难地生活。因此，在用户的正常 生活中，可以有效地获得本发明实施例的益处。
根据本发明的实施例，由布置在用户前面的显示部分显示由图像 获取部分获取的图像，即，在作为被摄对象方向的用户视觉方向中获 取的图像。当与外部信息相对应地控制图像获取部分的操作或者显示 部分的操作时，实质上可以协助和扩展他或者她的视觉能力。
因为通过与所确定的、与外部信息相对应的周围环境、被摄对象 类型、它的情况等相对应地控制图像获取部分或者显示部分来改变显示模式，所以没有向他或者她施加操作负担。此外，因为恰当地控制 了图像获取部分和显示部分，所以图像获取和显示设备具有高度的用 户友好性。
此外，因为显示部分可以变为通过状态，即透明或者半透明，而 不是显示由图像获取部分获取的图像，所以戴上图像获取和显示设备 的用户可以没有困难地生活。因此，在用户的正常生活中，可以有效 地获得本发明实施例的益处。
根据以下对附图中说明的本发明最佳模式实施例的详细说明，本 发明的这些及其他目的、特征和优点将变得更为明显。
图1是描述根据本发明实施例的图像获取和显示设备的示范性
外观的示意图2是示出根据本发明第一实施例的图像获取和显示设备的框
图3A、图3B、和图3C是分别描述根据本发明实施例的通过状 态、正常获取图像显示状态、和远景图像显示状态的示意图4A和图4B是分别描述根据本发明实施例的通过状态和广角 变焦图像显示状态的示意图5A和图5B是分别描述根据本发明实施例的正常获取图像显 示状态/通过状态和放大图像显示状态的示意图6A和图6B是分别描述根据本发明实施例的正常获取图像显 示状态/通过状态和调整图像显示状态的示意图7A和图7B是分别描述根据本发明实施例的正常获取图像显 示状态/通过状态和增加了红外灵敏度的获取图像显示状态的示意图8A和图8B是分别描述根据本发明实施例的正常获取图像显
示状态/通过状态和增加了紫外灵敏度的获取图像显示状态的示意图；图IO是示出根据本发明第一实施例的控制处理的流程图IIA和图11B是示出根据本发明第一实施例的监视显示启动 触发确定处理的流程图12A和图12B是示出根据本发明第一实施例的图像控制触发 确定处理的流程图13A和图13B是示出根据本发明第一实施例的图像控制触发 确定处理的流程图14是示出根据本发明第一实施例的图像控制触发确定处理的 流程图15是示出根据本发明第一实施例的图像控制触发确定处理的 流程图16是示出根据本发明第一实施例的图像控制触发确定处理的 流程图17A和图17B是示出根据本发明第一实施例的图像控制触发 确定处理的流程图18A和图18B是示出根据本发明第一实施例的监视显示完成 触发确定处理的流程图19是示出根据本发明第一实施例的监视显示完成触发确定处 理的流程图20是示出根据本发明第二实施例的图像获取和显示设备的框
图21A和图21B是分别描述根据本发明第二实施例的未调整图 像显示状态和调整图像显示状态的示意图22A和图22B是描述根据本发明第二实施例的突出显示图像 显示状态的示意图23是示出根据本发明第二实施例的图像控制触发确定处理的 流程图24A和图24B是示出根据本发明第二实施例的图像控制触发 确定处理的流程图；图25是示出根据本发明第二实施例的图像控制触发确定处理的
流程图26是示出根据本发明第二实施例的图像控制触发确定处理的
流程图27是示出根据本发明第二实施例的图像控制触发确定处理的
流程图28A和图28B是示出根据本发明第二实施例的图像控制触发 确定处理的流程图29A和图29B是示出根据本发明第二实施例的图像控制触发 确定处理的流程图；以及
图30A和图30B是示出根据本发明第二实施例的图像控制触发 确定处理的流程图。
具体实施例方式
接下来，将以下列次序描述根据本发明第 一 实施例的图像获取和 显示设备以及图像获取和显示方法。 [3.示范性显示图像] [4.用户情况的确定
[5.示范性操作
系统控制器10与用户希望或者情况相对应地控制图像获取操作 和显示操作。因此，用户识别显示部分2的各种显示模式。图3A到 图3C至图9A到图9C示范性地说明了各种显示模式。
图3A示出了其中显示部分2处于通过状态下的状态。换句话说。 在这个状态下，显示部分2是简单的透明平面部件，而且用户可通过 透明的显示部分2看到视野中的场景。
图3B示出了其中由图像获取部分3获取的图像被显示在处于监 视显示状态下进行操作的显示部分2上的状态。图像获取部分3、获 取图像信号处理部分15、显示图像处理部分12、和显示驱动部分13 在图3A所示的状态下进行操作，以便使它们正常地在显示部分2上 显示获取的图像。在这种情况下，显示部分2上显示的获取图像(正 常获取的图像)几乎与在通过状态下进行操作的显示部分2上显现的 图像相同。换句话说，在这个状态下，用户可看到正常的视野作为获 取的图像。
图3C示出了其中系统控制器10导致图像获取部分3通过图像获取控制部分11获取远景图像并且将远景图像显示在显示部分2上 的状态。
相比之下，当系统控制器10导致图像获取部分3通过图像获取 控制部分11获取广角图像时，在显示部分2上显示近距离广角图像 (未示出)。虽然图像获取部分3通过驱动图像获取部分3的变焦透 镜来执行远景和广角控制，但是获取图像处理部分15可以通过处理 信号来执行这些控制。
图4A示出了其中显示部分2处于通过状态、例如用户正在读取 报纸的状态。
图4B示出了所谓的广角变焦状态。换句话说，图4B示出了这 样的状态，在该状态下，获取近焦距变焦图像并且将其显示在显示部 分2上，以便例如放大报纸中的字符。
图5A示出了这样的状态，其中显示部分2显示正常获取的图像 或者显示部分2处于通过状态下。
此时，当系统控制器IO命令显示图像处理部分12通过显示控制 部分14执行图像放大处理时，在显示部分2上显示如图5B所示的放 大图像。
图6A示出了这样的状态，其中显示部分2显示正常获取的图像 或者显示部分2处于通过状态下。特别地，图6A示出了其中用户正 在读取报纸或者书本的状态。在这种情况下，假定因为周围是昏暗的， 所以用户不能用正常获取的图像或者在显示部分2的通过状态下看见 报纸等中的字符。
在这种情况下，系统控制器IO命令图像获取控制部分11 (图像 获取部分3和获取图像信号处理部分15)增加图像获取灵敏度，和/ 或使显示控制部分14 (显示图像处理部分12和显示驱动部分13 )增 加亮度和调整对比度和锐度，以便在显示部分2上显示比图6A所示 的图像更锐化的、如图6B所示的图像。相反，当系统控制器10使照 明部分4执行照明操作时，可以在显示部分2上锐利地显示图像。
图7A示出了这样的状态，其中显示部分2显示正常获取的图像或者显示部分2处于通过状态下。在这种情况下，用户正处于其中孩 子正在睡觉的黑暗卧室中。因为用户正处于黑暗房间中，所以他或者 她不能利用正常获取的图像或者在显示部分2的通过状态下清楚地看 见孩子。
此时，当系统控制器10命令图像获取控制部分11 (图像获取部 分3和获取图像信号处理部分15 )增加红外图像获取灵敏度时，在显 示部分2上显示如图7B所示的红外获取图像，以便使用户能够看见 孩子们的睡着面部等。
图8A示出了这样的状态，其中显示部分2显示正常获取的图像 或者显示部分2处于通过状态下。
当系统控制器10命令图像获取控制部分ll (图像获取部分3和 获取图像信号处理部分15 )增加紫外图像获取灵敏度时，在显示部分 2上显示如图8B所示的、具有紫外线分量的获取图像。
图9A示出了其中显示部分2处于通过状态下的状态。
当系统控制器10命令显示控制部分14 (显示图像处理部分12 和显示驱动部分13)分别显示图像或者分别显示图像和部分地放大图 像时，可以在显示部分2上显示图9B所示的图像。换句话说，显示 部分2的屏幕4皮分离为区域AR1和AR2，其中区域AR1处于通过状 态或者处于正常图像显示状态，而区域AR2处于放大图像显示状态。
图9C示出了另一个示范性分离显示。在这种情况下，显示部分 2的屏幕被分离为区域AR1、 AR2、 AR3、和AR4，这些区域显示以 预定时间段间隔获取的图像的帧。系统控制器10使显示图像处理部 分12以0.5秒的间隔从所获取的图像信号中提取一帧，并且以区域 AR1、 AR2、 AR3、 AR4、 AR1、 AR2等的次序显示所提取的帧。在 这种情况下，分离地在显示部分2上显示所谓的闪烁显示模式(strobe display mode )的图像。
在上文中已经示范性地说明了各种类型的显示图像。然而，在这 个实施例中，通过控制图像获取部分3、获取图像信号处理部分15、 显示图像处理部分12、和显示驱动部分13的每个处理和每个操作，
20可以实现各种类型的显示模式。
例如，预计有许多类型的显示模式，诸如远景显示模式、广角显 示模式、在从远景显示模式到广角显示模式的范围中变化的缩小显示 模式和放大显示模式、图像放大显示模式、图像缩小显示模式、可变 帧频显示模式(以高帧频获取图像)、高亮度显示模式、低亮度显示 模式、可变对比度显示模式、可变锐度显示模式、增加了灵敏度的获 取图像显示模式、增加了红外灵敏度的获取图像显示模式、增加了紫 外灵敏度的获取图像显示模式、图像效果显示模式(诸如马赛克图像、 亮度反转图像、柔焦图像、部分屏幕突出显示图像、具有可变颜色氛 围图像等)、緩慢显示模式、逐帧显示模式、与这些显示模式相结合 的分离显示模式、与通过状态和获取图像相结合的分离显示模式、闪 烁显示模式、具有所获取图像中的一个帧的静止图像显示模式等。图20示出了根据本发明第二实施例的图像获取和显示设备101的示范性内部结构。系统控制器110包含微计算机，其包括例如CPU (中央处理单元)、ROM (只读存储器)、RAM (随机存取存储器)、非易失性存储器部分、和接口部分。系统控制器110是控制图像获取和显示设备101中的全部部分的控制部分。
系统控制器110与外部情况相对应地控制图像获取和显示设备101中的每个部分。换句话说，系统控制器110与用于检测和确定外部情况的操作程序相对应地进行操作，并且与所检测和确定的情况相对应地控制每个部分。因此，如图20所示，系统控制器110在功能上包括确定外部情况的外部情况确定功能110a和与外部情况确定功能110a的确定结果相对应地控制和命令每个部分的操作控制功能110b。
在图像获取和显示设备101中布置了图像获取部分103、图像获取控制部分111、和获取图像信号处理部分115，作为用于获取在用户前面的图像的结构。
图像获取部分103包括透镜系统(其具有图像获取透镜103a(如图l所示)、光圏、变焦透镜、聚焦透镜等)，使透镜系统执行聚焦操作和变焦操作的驱动系统，以及固态图像传感器阵列，其中固态图像传感器阵列检测由透镜系统获得的获取图像的光、将光转换为电、并且生成与电相对应的获取图像信号。固态图像传感器阵列包含例如CCD (电荷耦合器件)传感器阵列或者CMOS (互补金属氧化物半导体)传感器阵列。
获取图像信号处理部分115包括采样保持/AGC(自动增益控制)电路和视频A/D转换器，其中该采样保持/AGC电路调整由图像获取部分103中的固态图像传感器阵列所荻得的信号的增益并且修整该信号的波形。获取图像信号处理部分115获得获取图像信号作为数字数据。获取图像信号处理部分115为所获取的图像信号执行白平衡处理、亮度处理、彩色信号处理、振动校正处理等。
图像获取控制部分111与从系统控制器110接收的命令相对应地控制图像获取部分103和获取图像信号处理部分115的操作。图像获
42取控制部分111例如开始和停止图像获取部分103和获取图像信号处理部分115的操作。另外，图像获取控制部分lll控制图像获取部分103以(通过马达)执行自动聚焦操作、自动曝光调整操作、光圏调整操作、变焦操作等。
另外，图像获取控制部分lll包括定时发生器。图像获取控制部分111利用由定时发生器生成的定时信号控制固态图像传感器阵列和图像获取控制部分111中的采样保持/AGC电路和视频A/D转换器。另夕卜，图像获取控制部分lll可以利用定时信号改变获取图像的帧频。
另外，图像获取控制部分111控制固态图像传感器阵列和获取图像信号处理部分115的图像获取灵敏度和信号处理。为了控制图像获取灵敏度，图像获取控制部分111控制例如已经从固态图像传感器阵列读取的信号的增益、黑电平设置、获取图像信号处理中的数字数据的各种类型的系数、振动校正处理的校正量等。对于图像获取灵敏度调整，图像获取控制部分lll可以执行总灵敏度调整，而不考虑波段和用于诸如红外线区和紫外线区之类的特定波段的特定灵敏度调整(例如，可以这样获取图像以便截取预定波段)。可以通过在图像获取透镜系统中插入波长滤波器，以及通过为所获取的图像信号执行波长滤波计算处理，来执行波长特定的灵敏度调整。在这些情况下，图像获取控制部分111可以通过插入波长滤波器和/或指定滤波计算系数来控制灵敏度。
作为向用户显示数据的结构，图像获取和显示设备101包括显示部分102、显示图像处理部分112、显示驱动部分113、和显示控制部分114。
将其图像已经由图像获取部分103获取并然后由获取图像信号处理部分115处理的获取图像信号提供给显示图像处理部分112。显示图像处理部分112例如是所谓的视频处理器。显示图像处理部分112为所提供的获取图像信号执行各种类型的显示处理。显示图像处理部分112可以为所获取的图像信号执行例如亮度级调整、彩色校正、对比度调整、锐度(边缘增强)调整等。另外，显示图像处理部分112可以生成其中放大获取图像信号的一部分的放大图像和缩小图像，突出显示一部分图像，分离图像以便进行分离显示，组合图像，生成字符图像和图形图像，以及将所生成的图像和获取图像相叠加。换句话
说，显示图像处理部分112可以为作为获取图像信号的数字图像信号执行各种类型的处理。
显示驱动部分113包含像素驱动电路，其在例如为液晶显示器的显示部分102上显示从显示图像处理部分112提供的图像信号。换句话说，显示驱动部分113以预定的水平/垂直驱动定时将基于图像信号的驱动信号施加到显示部分102中以矩阵形状形成的每个像素中，以导致显示部分102显示图像。另外，显示驱动部分113控制每个像素的透射率以导致显示部分102变为通过状态。
显示控制部分114与从系统控制器110接收的命令相对应地控制显示图像处理部分112的处理和操作以及显示驱动部分113的操作。换句话说，显示控制部分114使显示图像处理部分112执行上述各种类型的处理。另外，显示控制部分114控制显示驱动部分113,以导致显示部分102在通过状态和图像显示状态之间切换显示状态。
在以下的描述中，其中显示部分102变为透明或者半透明的状态被称为"通过状态"，而其中显示部分102显示图像的操作(及其状态)被称为"监视显示状态"。
另外，图像获取和显示设备IOI包括声音输入部分106、声音信号处理部分106、和声音输出部分105。
声音输入部分106包括图l所示的麦克风106a和106b,以及麦克风放大部分，其处理由麦克风106a和106b获得的声音信号。
声音信号处理部分116包含例如A/D转换器、数字信号处理器、D/A转换器等。声音信号处理部分116将从声音输入部分106提供的声音信号转换为数字数据，并且在系统控制器110的控制下执行音量调整、音质调整、音响效果等处理。声音信号处理部分116将产生的声音信号转换为模拟信号，并且将模拟信号提供给声音输出部分105。声音信号处理部分116不局限于执行数字信号处理的结构。相反，声音信号处理部分116可以利用模拟放大器和模拟滤波器执行信号处理。
声音输出部分105包括图1所示的一对耳机扬声器105a,以及用于耳机扬声器105a的放大器电路。
声音输入部分106、声音信号处理部分116、和声音输出部分105允许用户通过图像获取和显示设备101听到外部声音。
声音输出部分105可以被构造为所谓的骨质(osseous)传导扬声器。
另外，图像获取和显示设备101包括声音合成部分127。声音合成部分127合成与从系统控制器110发布的命令相对应的声音，并且输出所合成的声音信号。
声音合成部分127将合成的声音信号输出到声音信号处理部分116。声音信号处理部分116处理合成的声音信号，并且将产生的信号提供给声音输出部分105。声音输出部分105将声音输出给用户。
声音合成部分127生成将在稍后描述的阅读语音的声音信号。
另夕卜，图像获取和显示设备l包括照明部分104和照明控制部分118。照明部分104包含图l所示的发光部分104a (例如，发光二极管)以及导致发光部分104a发光的发光电路。照明控制部分118使照明部分104与从系统控制器110提供的命令相对应地执行发光操作。
因为照明部分104中的发光部分104a 4皮布置为使发光部分104a向前方照明，所以照明部分104在用户的视觉方向上执行照明操作。
作为获得外部信息的结构，图像获取和显示设备101包括周围环境传感器119、获取目标传感器120、 GPS接收部分121、日期与时间计数部分122、图^f象分析部分128、和通信部分126。
周围环境传感器119具体而言是亮度传感器、温度传感器、湿度传感器、大气压力传感器等，用于检测有关周围亮度、温度、湿度、天气等的信息作为图像获取和显示设备101的周围环境。
获取目标传感器120是检测有关图像获取部分103的图像获取操作的获取目标的信息的传感器。获取目标传感器120可以是测距传感器，其检测有关例如从图像获取和显示设备101到获取目标的距离的信息。
获取目标传感器120可以是诸如红外传感器之类的传感器，其是检测获取目标的红外线发射的预定波长和能量的信息的热电传感器。在这种情况下，获取目标传感器120可以检测获取目标是否为诸如人或者动物之类的活体。
作为替代，获取目标传感器120可以是诸如各种类型的UV (紫外线)传感器之一这样的传感器，其检测获取目标的紫外线发射的预定波长和能量的信息。在这种情况下，获取目标传感器120可以检测获取目标是否是荧光材料或者磷光体，并且检测对抗太阳晒黑所必需的外部紫外线发射量。
GPS接收部分121从GPS (全球定位系统)卫星接收无线电波，获得图像获取和显示设备IOI的当前位置，并且输出当前位置的经绵度信息。
曰期与时间计数部分122是所谓的时钟部分，其对日期与时间(年、月、日、小时、分钟和秒)进行计数，并且输出当前日期与时间的信息。
图像分析部分128分析由图像获取部分103和获取图像信号处理部分115获取和处理的图像。换句话说，图像分析部分128分析作为被摄对象的图像，并且获得包含在获取图像中的被摄对象的信息。
通信部分126与外部设备进行数据通信。外部设备的示例包括具有信息处理功能和通信功能的任何类型的设备，诸如计算机设备、PDA (个人数字助理)、移动电话、视频设备、音频设备、和调谐器设备。
另外，外部设备的示例可以包括连接到诸如国际互联网之类的网络的终端设备和服务器设备。
另外，外部设备的示例可以包括非接触型通信IC卡，其具有内置IC芯片、诸如QR码之类的二维条型码、以及通信部分126从中
46获得信息的全息图存储器。
另外，外部设备的示例可以包括另一个图像获取和显示设备
101。
通信部分126可以与例如与无线LAN系统、蓝牙系统等相对应的附近接入点进行通信。作为替代，通信部分126可以直接与具有相应通信功能的外部设备进行通信。
这些周围环境传感器119、获取目标传感器120、 GPS接收部分
121、 日期与时间计数部分122、图4象分析部分128、和通信部分126获得图像获取和显示设备IOI的外部信息，并且将所获得的信息提供给系统控制器110。
系统控制器UO执行操作控制功能110b的处理，以便与由外部情况确定功能110a获得的外部信息相对应地控制图像获取操作和显示操作。换句话说，系统控制器110命令图像获取控制部分111控制图像获取部分103和获取图像信号处理部分115的操作。另外，系统控制器110命令显示控制部分114控制显示图像处理部分112和显示驱动部分113的操作。
在这个实施例中，获得外部信息的结构包括周围环境传感器119、获取目标传感器120、 GPS接收部分121、日期与时间计数部分
122、 图像分析部分128、以及通信部分126。然而，在该结构中，可以省略它们中的一些。另外，可以在图像获取和显示设备IOI中布置其它传感器，诸如检测和分析周围语音的语音分析部分。
系统控制器110与所获得的外部信息相对应地控制图像获取操作和显示操作。因此，用户识别显示部分102的各种显示模式。图3A到图3C至图9A到图9C、图21A和图21B、以及图22A到图22B示范性地说明了各种显示模式。
图3A示出了其中显示部分102处于通过状态的状态。换句话说，在这个状态下，显示部分102是简单的透明平面部件，而且用户可通过透明的显示部分102看到视野中的场景。
47图3B示出了其中由图像获取部分103获取的图像被显示在处于 监视显示状态下进行操作的显示部分102上的状态。图像获取部分 103、获取图像信号处理部分115、显示图像处理部分112、和显示驱 动部分113以图3A所示的状态进行操作，以便使它们正常地在显示 部分102上显示获取的图像。在这种情况下，显示部分102上显示的 获取图像(正常获取的图像)几乎与在通过状态下进行操作的显示部 分102上显现的图像相同。换句话说，在这个状态下，用户看到正常 的视野作为获取的图像。
图3C示出了其中系统控制器110使图像获取部分103通过图像 获取控制部分111获取远景图像的状态。
相比之下，当系统控制器IIO导致图像获取部分103通过图像获 取控制部分111获取广角图像时，在显示部分102上显示近距离广角 图像(未示出)。虽然图像获取部分103通过驱动图像获取部分103 的变焦透镜来执行远景和广角控制，但是获取图像处理部分115可以 通过处理信号来执行这些控制。
图4A示出了其中显示部分102处于通过状态下、例如用户正阅 读报纸的状态。
图4B示出了所谓的广角变焦状态。换句话说，图4B示出了这 样的状态，在该状态下，获取近焦距变焦图像，并且将其显示在显示 部分102，以便例如放大报纸中的字符。
图5A示出了这样的状态，其中显示部分102显示正常获取的图 像或者显示部分102处于通过状态下。
此时，当系统控制器110命令显示图像处理部分112通过显示控 制114执行图像放大处理时，在显示部分102上显示如图5B所示的 放大图像。
图6A示出了这样的状态，其中显示部分102显示正常获取的图 像或者显示部分102处于通过状态下。特别地，图6A示出了其中用 户正在阅读报纸或者书本的状态。在这种情况下，假定因为周围是昏 暗的，所以用户不能用正常获取的图像或者在显示部分102的通过状态下看见报纸等中的字符。
在这种情况下，系统控制器110命令图像获取控制部分111 (图 像获取部分103和获取图像信号处理部分115)增加图像获取灵敏度， 和/或使显示控制部分114 (显示图像处理部分112和显示驱动部分 113)增加亮度和调整对比度和锐度，以便在显示部分102上显示比 图6A所示的图像更锐化的、如图6B所示的图像。相反，当系统控制 器110使照明部分104执行照明操作时，可以在显示部分102上锐利 地显示图像。
图7A示出了这样的状态，其中显示部分102显示正常获取的图 像或者显示部分102处于通过状态下。在这种情况下，用户处于其中 孩子正在睡觉的黑暗卧室中。因为用户处于黑暗房间中，所以他或者 她不能利用正常获取的图像或者在显示部分102的通过状态下清楚地 看见孩子。
此时，当系统控制器llO命令图像获取控制部分lll (图像获取 部分103和获取图像信号处理部分115)增加红外图像获取灵敏度时， 在显示部分102上显示如图7B所示的红外获取图像，以便使用户能 够看见孩子的睡着面部等。
图8A示出了这样的状态，其中显示部分102显示正常获取的图 像或者显示部分102处于通过状态下。
当系统控制器110命令图像获取控制部分111(图像获取部分103 和获取图像信号处理部分115)增加紫外图像获取灵敏度时，在显示 部分102上显示如图8B所示的、具有紫外线分量的获取图像。
图9A示出了其中显示部分102处于通过状态下的状态。
当系统控制器110命令显示控制部分114(显示图像处理部分112 和显示驱动部分113)分别显示图像或者分别显示图像和部分地放大 图像时，可以在显示部分102上显示图9B所示的图像。换句话说， 显示部分102的屏幕^皮分离为区域AR1和AR102，其中区域AR1处 于通过状态或者处于正常图像显示状态下，而区域AR102处于放大 图像显示状态下。
49图9C示出了另一个示范性分离显示。在这种情况下，显示部分 102的屏幕被分离为区域AR1、 AR102、 AR3、和AR4，这些区域显 示以预定时间段间隔获取的图像的帧。系统控制器IIO使显示图像处 理部分112以0.5秒的间隔从所获取的图像信号中提取一帧，并且以 区域AR1、 AR2、 AR3、 AR4、 AR1、 AR2等的次序显示所提取的帧。 在这种情况下，分离地在显示部分102上显示所谓的闪烁显示模式的 图像。
图21A示出了这样的状态，其中显示部分102显示正常获取的 图像或者显示部分102处于通过状态下。因为图21A所示的图像是其 中在屋顶上有阳光和阴影边界的英式足球体育场的场景，所以很难看 见图像。
系统控制器110为CCD传感器或者CMOS传感器上与阴影部分 相对应的像素增加图像获取灵敏度或者显示亮度。相反，系统控制器 110为与阳光相对应的像素降低图像获取灵敏度或者显示亮度。因此， 如图21B所示，显示其中降低了阳光和阴影影响的图像。
图22A和图22B示出了其中显示包含例如小鸟的图像以便突出 显示小鸟的状态。
当在图像中检测到小鸟时，如果突出显示小鸟，则可防止用户遗 漏作为纟皮摄对象的小鸟。
作为突出显示图像的处理，可以降低感兴趣的部分的亮度。作为 替代，可以降低不同于感兴趣部分的部分的亮度。可以用彩色显示感 兴趣的部分。可以单色显示不同于感兴趣部分的部分。作为替代，可 以利用诸如框架、光标、指针标记等之类的任意字符图像来突出显示 感兴趣的部分。
上述显示图像仅仅是示范性的。换句话说，当控制图像获取部分 103、获取图像信号处理部分115、显示图像处理部分112、和显示驱 动部分113的处理和操作时，可以实现各种显示模式。
例如，预计有许多类型的显示模式，诸如，远景显示模式、广角 显示模式、在从远景显示模式到广角显示模式的范围中变化的缩小显示模式和放大显示模式、图像放大显示模式、图像缩小显示模式、可 变帧频显示模式(以高帧频获取图像或者以低帧频获取图像)、高亮 度显示模式、低亮度显示模式、可变对比度显示模式、可变锐度显示 模式、增加了灵敏度的获取图像显示模式、增加了红外灵敏度的获取 图像显示模式、增加了紫外灵敏度的获取图像显示模式、其中截取了 预定波段的图像显示模式、图像效果显示模式(诸如马赛克图像、亮 度反转图像、柔焦图像、部分屏幕突出显示图像、具有可变颜色氛围 的图像等)、緩慢显示模式、逐帧显示模式、与这些显示模式相结合 的分离显示模式、与通过状态和获取图像相结合的分离显示模式、闪 烁显示模式、具有所获取图像中的一帧的静止图像显示模式等。(对外部信息的检测
如上所述，作为获得外部信息的结构，图像获取和显示设备101 包括周围环境传感器119、获取目标传感器120、 GPS接收部分121、 日期与时间计数部分122、图像分析部分128、以及通信部分126。
周围环境传感器119的示例可以包括亮度传感器、温度传感器、 湿度传感器、大气压力传感器等。
亮度传感器检测图像获取和显示设备101的周围亮度信息。
温度传感器、湿度传感器、和大气压力传感器获得可以利用其确 定温度、湿度、大气压力、和天气的信息。
因为周围环境传感器119可以确定周围亮度、户外天气情况等， 所以系统控制器110可以与被确定为外部信息的周围亮度和天气情况 相对应地控制图像获取操作和显示操作。
获取目标传感器120检测有关获取目标的信息。获取目标传感器 120可以是测距传感器或者热电传感器。获取目标传感器120可以获 得到获取目标的距离以及利用其确定获取目标的信息。
当获取目标传感器120已经检测了到获取目标的距离时，系统控 制器110可以与所检测的距离相对应地控制图像获取操作和显示操 作。当获取目标传感器120已经检测到获取目标是诸如人之类的活体 时，系统控制器IIO可以与获取目标相对应地控制图像获取操作和显示操作。
GPS接收部分121获得当前位置的经綷度信息。当GPS接收部 分121已经参考地图数据库等检测到当前位置的经绵度时，可以获得 有关当前位置的信息(有关当前位置邻近的信息)。当图像获取和显 示设备101包括系统控制器110可以访问并且具有相对大的记录容量 的记录介质(诸如HDD (硬盘驱动器)或者闪速存储器)(未在图 20示出)，而且记录介质已经记录了地图数据库时，可以获得有关当 前位置的信息。
即使图像获取和显示设备101不具有内置的地图数据库，图像获 取和显示设备101也可以导致通信部分126访问例如具有内置地图数 据库的网络服务器或者设备，将当前位置的经綷度信息发送到该网络 服务器或者设备，请求该网络服务器或者设备将有关当前位置的信息 发送到通信部分126，并且接收该信息。
有关当前位置的信息示例包括地名、建筑物名称、机构名称、商 店名称、站名等。
另外，有关当前位置的信息示例包括诸如停车场、主题游乐园、 音乐厅、剧场、电影院、和运动场之类的、代表建筑物类型的信息。
另外，有关当前位置的信息示例包括诸如海滨、河流、山脉、山 顶、森林、湖、和草原之类的、自然事物的类型和名称。
有关更详细位置的信息示例包括主题游乐园中的区域、棒球场和 英式足球体育场中的区域、以及音乐厅中的区域。
当已经获得了有关当前位置的信息时，系统控制器110可以与当 前位置、当前位置附近的地理条件、机构等相对应地控制图像获取操 作和显示操作。
日期与时间计数部分122对例如年、月、日、小时、分钟、和秒 进行计数。系统控制器110可以识别出与由日期与时间计数部分122 所计数的值相对应的当前时间、白天或者晚上、月、季节等。因此， 系统控制器110可以与白天或者晚上(时间)相对应地控制图像获取 操作和显示操作，并且与当前季节相对应地控制这些操作。图像分析部分128可以从获取的图像中检测出有关获取目标的 各种类型的信息。
首先，图像分析部分128可以从获取的图像中识别出人、动物、 自然事物、建筑物、机器等作为获取目标的类型。对于动物而言，图 像分析部分128可以识别其中已经获取小鸟作为被摄对象的情况，其 中已经获取小猫作为被摄对象的情况等。对于自然事物而言，图像分 析部分128可以从获取的图像中识别出海、山脉、树、河流、湖、天 空、太阳、月亮等。对于建筑物而言，图像分析部分128可以从获取 的图像中识别出房子、建筑物、体育场等。对于设备而言，图像分析 部分128可以从获取的图像中识别出个人计算机、AV (视听)设备、 移动电话、PDA、 IC卡、二维条形码等作为获取目标。
当将各种类型的获取目标的形状特征预先登记到图像分析部分
128中时，可以与所登记的特征相对应地确定获取图像中所包含的被 摄对象。
另夕卜，图像分析部分128可以例如通过检测图像的相邻帧的差别 来从获取的图像中检测出被摄对象的运动，例如被摄对象的快速运 动。例如，图像分析部分128可以检测其中正在获取被摄对象(例如， 在体育比赛或者正在运行的汽车中的选手)的情况。
另外，图像分析部分128可以通过分析图像来确定周围情况。例 如，图像分析部分128可以确定由于白天、晚上或者天气导致的亮度。 另外，图像分析部分128可以识别出下雨的强度等。
另外，图像分析部分128可以通过分析图像来确定其中例如正在 获取书本或者报纸的情况。例如，图像分析部分128可以通过从图像 中识别出字符或者识别出书本或者报纸的形状来确定这样的情况。
当图像分析部分128已经识别出字符时，系统控制器110可以将 所识别出的字符作为文本数据提供给声音合成部分127。
另外，当人作为被摄对象时，图像分析部分128可以通过分析图 像来根据面部识别人。众所周知的是，可以将人的面部登记为个人特 征数据，其是面部的结构单元的相对位置信息。例如，在眼睛的中心
53和鼻子之间的距离EN和眼睛的距离Ed的比值(Ed/EN)，以及在 眼睛的中心和嘴之间的距离EM和眼睛的距离Ed的比值(Ed/EM)， 对于每个人来说是唯一的。另外，人的面部不会受诸如发型、眼镜等
之类的穿戴物的影响。另外，众所周知的是，人的面部不会随着他或 者她的年龄而改变。
因此，当获取的图像包含人的面部时，图像分析部分128可以通 过分析图像来检测上述个人特征数据。
当图像分析部分128已经从所获取的图像中检测到个人特征数 据时，如果系统控制器110具有例如HDD (硬盘驱动器)、闪速存 储器等作为系统控制器110可以访问并且其中已经记录了个人数据库 的记录介质，则图像分析部分128可以从个人数据库中获得被摄对象 的个人信息。即使图像获取和显示设备101不具有内置的个人数据库， 系统控制器110也可以使通信部分126访问例如具有内置个人数据库 的网络服务器或者设备，请求该服务器或者设备将信息发送到通信部 分126，并且接收来自其的特定个人信息。
当用户已经连同个人特征数据一起向个人数据库登记了用户已 经遇到的、诸如每个人的姓名、单位等之类的个人信息时，如果用户 遇到了特定人员(已经获取了他或者她的图像)的话，则图像获取和 显示设备101可以从个人数据库中检索有关该个人的信息。
当已经准备了其中已经登记了有关名人的信息和个人特征数据 的个人数据库时，如果用户遇到了某一名人，则图像获取和显示设备 101可以从个人数据库中检索有关该个人的信息。
通信部分126可以获得各种类型的外部信息。
例如，如上所述，通信部分126可以获得与从图〗象获取和显示设 备101传送过来的经绵度信息、个人特征数据等相对应的、由外部设 备检索的信息。
另外，通信部分126可以从外部设备获得诸如天气信息、温度信 息、和湿度信息之类的气象信息。
另外，通信部分126可以从外部设备获得机构使用信息、禁止/许可摄影信息、机构引导信息等。
另外，通信部分126可以获得外部设备的标识信息。标识信息的 示例包括在预定通信协议中被标识为网络设备的设备类型和设备ID。
另外，通信部分126可以获得存储在外部设备中的图像数据，由 外部设备再现或者显示的图像数据，以及由外部设备收到的图像数 据。
在上文中，已经示范性地说明了周围环境传感器119、获取目标 传感器120、 GPS接收部分121、日期与时间计数部分122、图像分 析部分128、以及通信部分126可以单独获得的信息。作为替代，这 些部分中的多个可以检测和确定预定外部信息。
结合由周围环境传感器119获得的湿度信息等以及由通信部分 126接收的天气信息，可以更准确地确定当前时间的天气。
另外，与上述结构相比，可以与有关由GPS接收部分121和通 信部分126获得的当前位置的信息以及由图像分析部分117获得的信 息相对应地、更准确地确定获取目标的当前位置和情况。
5.示范性操作I
在这个实施例的图像获取和显示设备101中，系统控制器110 与由周围环境传感器119、获取目标传感器120、 GPS接收部分121、 日期与时间计数部分122、图像分析部分128、以及通信部分126所 获得的外部信息相对应地确定周围环境、获取目标等的情况，并且与 确定结果相对应地控制图像获取操作和显示操作，以便协助和扩展用 户的视觉。
接下来，将描述在系统控制器110的控制下执行的各种示范性操作。
图IO示出了作为系统控制器110的操作控制功能110b的控制处理。
在步骤FlOl，系统控制器110控制显示控制部分114使显示部 分102变为通过状态。当最初导通图像获取和显示设备l时，流程前 进到步骤FIOI。在步骤FIOI，系统控制器110控制显示部分102以
55变为通过状态。
在显示部分2处于通过状态时，在步骤F102,系统控制器110 确定是否已经出现监视显示状态启动触发。可以在图像获取和显示设 备101中布置监视显示启动开关(未示出)。当用户已经操作了这个 开关时，系统控制器110可以确定已经出现了监视显示状态启动触发。 作为替代，如将在稍后描述的那样，系统控制器110可以与外部信息 相对应地确定已经出现了监视显示状态启动触发。
当确定结果表示已经出现了监视显示状态起动触发时，流程前进 到步骤F103。在步骤F103，系统控制器IIO执行监视显示启动控制。 换句话说，系统控制器110命令图像获取控制部分111使图像获取部 分103和获取图像信号处理部分115执行正常的图像获取操作。另外， 系统控制器IIO命令显示控制部分114促使显示图像处理部分112和 显示驱动部分113使显示部分102显示所获取的图像信号作为正常获 取的图像。
在这个处理过程中，将如图3A所示的通过状态切换为如图3B 所示的正常获取图像的监视显示状态。
当显示部分102显示正常获取的图像(其与用户在通过状态下所 看到的场景相同)时，流程前进到步骤F104。在步骤F104，系统控 制器IIO监控是否已经出现了图像控制触发。在步骤F105,系统控制 器IIO监控是否已经出现了监视显示状态完成触发。
当系统控制器110确定必须与由外部情况确定功能110a确定的 外部情况(周围环境、被摄对象、当前日期和时间、当前位置等)相 对应地改变监视显示模式时，系统控制器110在步骤F104确定已经 出现了图像控制触发。
当用户已经利用预定开关执行了监视显示模式完成操作时，系统 控制器110在步骤F105确定已经出现了监视显示状态完成触发。类 似于步骤F102中的触发，系统控制器110可以确定与所检测的外部 信息相对应地已经出现了监视显示状态完成触发。
当确定结果表示已经出现了图像控制触发时，流程从步骤F104前进到步骤F106。在步骤F106，系统控制器IIO控制获取图像的显 示操作。换句话说，系统控制器110命令图像获取控制部分111和显 示控制部分114使显示部分102以与在这个时间点上的外部情况相对 应的显示模式显示图像。
在系统控制器IIO已经在步骤F106控制了显示模式之后，流程 前进到步骤F104或者F105。在步骤F104或者步骤F105,系统控制 器IIO监控是否已经出现了触发。
当确定结果表示已经出现了监视显示状态完成触发时，流程从步 骤F105返回到步骤F101。在步骤FIOI，系统控制器IIO命令图像获 取控制部分lll完成图像获取操作，并且命令显示控制部分114使显 示部分102变为通过状态。
在用户戴上图像获取和显示设备101并且已经导通了其电源时， 系统控制器IIO中的操作控制功能110b执行图IO所示的控制处理。
在这个处理过程中，与在步骤F104中显示控制触发是否已经出 现的确定结果相对应地执行显示模式控制。稍后将参考图23到图30A 和图30B描述触发确定和控制的具体示例。
图23到图30A和图30B示出了系统控制器110的外部情况确定 功能110a的示范性处理。假定这些处理与图IO所示的操作控制功能 110b的处理并行地执行。执行这些并行处理，以^更例如当系统控制器 IIO正在执行图IO所示的处理时，作为中断处理定期地执行图23到 图30A和图30B所示的检测处理。图23到图30A和图30B所示的这 些处理的程序可以内置于执行图IO所示的处理的程序中。作为替代， 这些程序可以是定期调用的其它程序。换句话说，这些程序的结构不 局限于特定的结构。
图23到图30A和图30B示出了在图10所示的步骤F104中确定 是否已经出现图像控制触发的示范性处理。图23示出了确定是否已 经与从周围环境传感器119或者图像分析部分128提供的信息相对应 地出现了图像控制触发的示范性处理。
在图23所示的步骤F1201，系统控制器IIO监控由周围环境传感器119检测的信息以及由图像分析部分117获得的信息中的一个或 者这二者。在这个示例中，周围环境传感器119是亮度传感器。图像 分析部分128分析与获取的图像相对应的周围亮度。
系统控制器110确定与从周围环境传感器119和图像分析部分 128之一或者这二者获得的信息相对应地周围是黑暗的还是太亮了。 例如，量化所检测到的亮度。当检测的亮度是x勒克斯或者更少时， 系统控制器110确定周围是黑暗的。当检测的亮度是y勒克斯或更多 时，系统控制器110确定周围太亮了。
当确定结果表示周围是黑暗的时，流程从步骤F1202前进到步 骤F1204。在步骤F1204，系统控制器110确定已经出现了图像控制 触发。
在步骤F1205，系统控制器IIO计算与周围的当前亮度(暗度) 相对应的调整值。例如，系统控制器IIO获得例如显示亮度、对比度、 锐度、图像获取灵敏度等的调整值，以便使用户可以用获取的图像舒 服地看到周围。
当已经执行了步骤F1204和步骤F1205的处理时，流程从图10 所示的步骤F104前进到步骤F106。在步骤F106,系统控制器110 命令图像获取部分103调整图像获取灵敏度，并且命令获取图像信号 处理部分115或者显示图像处理部分12调整亮度、对比度、锐度等。 当这些部分已经执行了这些处理时，调整显示部分102上显示的图像 的质量。因此，即使周围是黑暗的，用户也可以用显示部分102上显 示的图像来清楚地看到周围。例如，其中周围是黑暗的而且在显示部 分102上显示如图6A所示的图像的情况被改变为其中用户可以清楚 地看到该图像的情况。
当确定结果表示周围是黑暗的时，系统控制器110可以控制照明 部分104进行照明。
当确定结果表示周围太亮时，流程从步骤F1203前进到步骤 F1206。在步骤F1206，系统控制器110确定已经出现了图像控制触 发。
58在步骤F1207,系统控制器IIO计算与周围的当前亮度相对应的 调整值。系统控制器IIO获得例如显示亮度、对比度、锐度、图像获 取灵敏度等的调整值，以便使用户可以舒服地看到周围。在这种情况 下，因为周围太亮了，所以用户感觉眩目。因此，系统控制器110获 得这样的调整值，利用该调整值降低了图像获取灵敏度和显示亮度。
当已经执行了步骤F1206和步骤F1207的处理时，流程从图10 所示的步骤F104前进到步骤F106。在这种情况下，在步骤F106,系 统控制器110命令图像获取部分103调整图像获取灵敏度，并且命令 获取图像信号处理部分115或者显示图像处理部分12调整亮度、对 比度、锐度等。在这些处理中，调整显示部分102上显示的图像的质 量。因此，即使周围太亮，用户也可以用显示部分102上显示的图像
来看到周围而没有感觉眩目。
图24A示出了确定是否已经与从周围环境传感器119所检测的 或者从通信部分126提供的信息相对应地出现了图像控制触发的示范 性处理。
在图24A所示的步骤F1301,系统控制器IIO监控由周围环境传 感器119检测的信息以及由通信部分126接收的信息中的一个或者这 二者。周围环境传感器119的示例包括温度传感器、湿度传感器、和 大气压力传感器。通信部分126从例如网络服务器等连续地接收气象 信息。
系统控制器110可以确定与由例如周围环境传感器119检测的大 气压力、湿度、和温度相对应的周围天气情况。另外，系统控制器IIO 可以确定与由通信部分126接收的气象信息相对应的天气情况。为了 从网络服务器接收天气情况，系统控制器110将由GPS接收部分121 获得的当前位置信息连续地发送到网络服务器，并且从网络服务器接 收与当前位置相对应的区域的气象信息。
虽然系统控制器110可以确定与由周围环境传感器119检测到的 信息或者由通信部分126接收的信息相对应的周围天气情况，但是系 统控制器IIO可以比上述结构更准确地确定与两种类型的信息相对应的天气情况。
系统控制器110确定是否必须与诸如晴空、多云天、雨天、闪电、
台风、下雪等之类的天气情况或者诸如开始下雨、停止下雨、乌云密 布等天气情况改变相对应地调整图像。当确定结果表示必须调整图像
时，流程从步骤F1302前进到步骤F1303。在步骤F1303,系统控制 器110确定已经出现了图像控制触发。在步骤F1304，系统控制器110 计算与当前天气相对应的调整值。系统控制器110获得例如显示亮度、 对比度、锐度、图像获取灵敏度等的调整值，以便使用户可以用获取 的图像清楚地看到周围。
当已经执行了步骤F1303和F1304的处理时，流程从图10所示 的步骤F104前进到步骤F106。在步骤F106,系统控制器110命令图 像获取部分103调整图像获取灵敏度，并且命令获取图像信号处理部 分115或者显示图像处理部分12调整亮度、对比度、锐度等。在这 些处理中，与天气情况相对应地调整显示部分102上显示的图像的质 量。用户可以用显示部分102上显示的图像清楚地看见周围。
作为替代，系统控制器IIO可以与天气情况相对应地控制照明部 分104进行照明。
在这个示例中，系统控制器110确定与由周围环境传感器119 检测的信息或者由通信部分126接收的信息相对应的天气情况。当图 像分析部分128识别出雨天的图像时，系统控制器110可以准确地检 测开始下雨、结束下雨、闪电出现等。
图24B示出了确定是否已经与由周围环境传感器119检测的信 息相对应地出现了导致夜视功能进行操作的图像控制触发的示范性 处理。
在图24B所示的步骤F1310，系统控制器IIO监控由周围环境传 感器119检测的信息。在这个示例中，周围环境传感器119是亮度传 感器。
系统控制器110与由周围环境传感器119检测的信息相对应地确 定周围是否是黑暗的。系统控制器IIO数字化所检测到的亮度。当检测的亮度是x勒克斯或者更少时，系统控制器110确定周围是黑暗的。 当确定结果表示周围是黑暗的时，流程从步骤F1311前进到步
骤F1313。在步骤F1313，系统控制器110确定已经出现了导致夜视
功能开启的图像控制触发。
当已经执行了步骤F1313的处理时，流程从图10所示的步骤
F104前进到步骤F106。在这种情况下，在步骤F106，系统控制器110
控制图像获取和显示设备IOI开启夜视功能。换句话说，系统控制器
110命令图像获取控制部分111增加图像获取部分103的红外图像获
取灵敏度。
在这个处理过程中，执行夜视功能。在其中如图7A所示因为周 围是黑暗的而使用户不能看见周围的情况下，在显示部分102上显示 如图7B所示的增加了红外灵敏度的获取图像。因此，用户可以看见 暗处中的周围情况。
当确定结果表示周围不暗时，流程从步骤F1311前进到步骤 F1312。在这种情况下，在步骤F1312,当已经开启了夜视功能(增 加红外灵敏度的图像获取操作)时，流程前进到步骤F1314。在这种 情况下，在步骤F1314，系统控制器IIO确定已经出现了导致夜视功 能关闭的图像控制触发。当已经执行了步骤F1314的处理时，流程从 图10所示的步骤F104前进到步骤F106。在这种情况下，在步骤F106， 系统控制器IIO控制图像获取和显示设备101关闭夜视功能。换句话 说，系统控制器110命令图像获取控制部分111将红外图像获取灵敏 度恢复为正常的图像获取灵敏度并执行正常的图像获取操作。
在图24B所示的处理中，当用户处于暗室等中时，自动地开启 夜视功能，以使得他或者她在暗室中能够清楚地看见周围。相反，当 用户已经离开了暗室等时，自动地关闭夜视功能。换句话说，实现了 与周围情况相对应地增加用户视觉能力的处理。
作为替代，图像分析部分128可以通过分析获取的图像来检测周 围是否是黑暗的。当已经大大地降低了整个获取图像的亮度时，确定 周围是黑暗的，系统控制器IIO可以确定已经出现了导致夜视功能开
61启的图像控制触发。
图25示出了确定是否已经与由获取目标传感器120检测的信息 或者由图像分析部分128获得的信息相对应地出现了图像控制触发的 示范性处理。
在图25所示的步骤F1401，系统控制器IIO监控由获取目标传 感器120检测的信息以及由图像分析部分128获得的信息中的 一个或 者这二者。获取目标传感器120例如为测距传感器。图像分析部分128 通过分析所获取的图像来计算到被摄对象的距离。
换句话说，系统控制器110与由获取目标传感器120检测的信息 和/或图像分析部分128获得的信息相对应地确定用户正在观看的目 标(获取目标)是远离例如他或者她的手还是与之接近。
当用户在远离体育场场区的座位处观看远处场景或者比赛，而且 系统控制器IIO已经确定获取目标在远处时，流程从步骤F1402前进 到步骤F1404。在步骤F1404，系统控制器110确定已经出现了导致 显示模式被切换到远景变焦显示模式的图像控制触发。此后，流程前 进到步骤F1405。在步骤F1405，系统控制器110计算与到获取目标 的距离相对应的恰当变焦放大率。
当用户正在观看近处场景或者在他或者她手上的报纸，而且系统 控制器IIO已经确定了获取目标在近处时，流程从步骤F1403前进到 步骤F1406。在步骤F1406，系统控制器110确定已经出现了导致显 示模式被切换到放大(张开变焦)显示模式的图像控制触发。此后， 流程前进到步骤F1407。在步骤F1407，系统控制器110计算与到获 取目标的距离相对应的恰当变焦放大率。
当已经执行了步骤F1404和步骤F1405的处理或者步骤F1406 和步骤F1407的处理时，流程从图10所示的步骤F104前进到步骤 F106。在步骤F106，系统控制器110命令图像获取控制部分111执 行具有所计算的放大率的变焦操作。
因此，显示部分102显示与用户正看到的场景相对应的、如图 3C所示的远景图像或者如图4B所示的广角变焦图像。
62在这个示例中，系统控制器110控制远景/广角变焦操作。作为 替代，系统控制器110可以控制图像获取和显示设备101与到获取目
标的距离相对应地改变聚焦位置以及放大/缩小图像。
图26示出了确定是否已经与由获取目标传感器120检测的信息 和由图像分析部分128获得的信息相对应地出现了图像控制触发的示 范性处理。特别地，在该示范性处理中，确定获取目标是否包含报纸、 书本等中的字符。
在图26所示的步骤F1501,系统控制器110监控由获取目标传 感器120检测的信息以及由图像分析部分128获得的信息。在这个示 例中，获取目标传感器120是测距传感器。图像分析部分128通过分 析获取的图像来检测被摄对象是否包含字符。
系统控制器110与由获取目标传感器120检测的信息和/或由图 像分析部分128获得的信息相对应地确定用户正在观看的目标(获取 目标)是否在近处并且包含报纸、书本等中的字符。换句话说，系统 控制器110确定用户是否正在读取在他或者她手中的报纸。
当确定结果表示获取目标在附近并包含字符时，流程从步骤 F1502前进到步骤F1503。在步骤F1503，系统控制器110确定已经 出现了图像控制触发。
在步骤F1504，系统控制器IIO计算用户可以利用其来舒服地阅 读报纸或者书本的调整值。例如，系统控制器IIO获得例如显示亮度、 对比度、锐度、图像获取灵敏度等的调整值，以便使用户可以舒服地 阅读报纸等。
当已经执行了步骤F1503和步骤F1504的处理时，流程从图10 所示的步骤F104前进到步骤F106。在这种情况下，在步骤F106，系 统控制器IIO命令图像获取部分103调整图像获取灵敏度，并且命令 获取图像信号处理部分115或者显示图像处理部分12调整亮度、对 比度、锐度等。在这个处理过程中，调整显示部分102上显示的图像 的质量。因此，如图6B所示，显示部分102显示用户可以清楚阅读 的图像。除了字符检测之外，还可以检测周围亮度，而且检测结果可能对 调整值的计算有影响。
另外，当图像分析部分128分析图像时，图像分析部分128还可 以识别出报纸或者书本的形状，作为流程前进到步骤F1503的条件。
当系统控制器110确定所获取的目标是报纸等时，系统控制器 110可以控制照明部分104进行照明。
并不是调整图像质量，而是显示图像处理部分112可以执行放大 处理，并且使显示部分102显示如图4B所示的放大图像，以便使用 户可以清楚地读取字符。
当图像包含字符时，图像分析部分128可以确定这些字符，并且 将它们作为文本数据提供给系统控制器110。在这种情况下，系统控 制器110使声音合成部分127执行与从图像中检测的文本数据相对应 的声音合成处理。
因此，声音合成部分127生成作为获取图像中所包含的字符的阅 读语音的声音信号。系统控制器110使声音输出部分105输出该阅读 语音。
因此，当用户观看报纸等时，他或者她可以听到其阅读语音。
图27示出了确定是否已经与由日期与时间计数部分122所计数 的当前日期与时间信息相对应地出现了图像控制触发的示范性处理。
在图27所示的步骤F1601，系统控制器IIO检查由日期与时间 计数部分122所计数的当前日期与时间。系统控制器IIO确定与当前 时间(例如早晨)相对应的时区，例如清晨、早晨、白天、傍晚、和 晚上的时区。例如，从4点钟到7点钟的时区是清晨，从7点钟到9 点钟的时区是早晨，从9点钟到17点钟的时区是白天，从17点钟到 19点钟的时区是傍晚，以及从19点钟到4点钟的时区是晚上。
优选为与所确定的月份和日期相对应地改变时区。例如，因为日 出时间和日落时间与月份和日期相对应地改变，所以与月份和日期相 对应地改变时区。例如，在夏季，清晨的时区从4点钟到7点钟。例 如，在冬季，清晨的时区从6点钟到8点钟。当步骤F1601的确定结果表示时区已经改变了时，流程从步骤 F1602前进到步骤F1603。
当时区已经改为清晨时，流程从步骤F1603前进到步骤F1607。 在步骤F1607,系统控制器IIO确定已经出现了导致为清晨执行图像 获取操作/显示操作的图像控制触发。
当时区已经改为早晨时，流程从步骤F1604前进到步骤F1608。 在步骤F1608，系统控制器IIO确定已经出现了导致为早晨执行图像 获取操作/显示操作的图像控制触发。
当时区已经改为白天时，流程从步骤F1605前进到步骤F1609。 在步骤F1609，系统控制器IIO确定已经出现了导致为白天执行图像 获取操作/显示操作的图像控制触发。
当时区已经改为傍晚时，流程从步骤F1606前进步骤F1610。在 步骤F1610，系统控制器IIO确定已经出现了导致为傍晚执行图像获 取操作/显示操作的图像控制触发。
当时区已经改为晚上时，流程前进到步骤F1611。在步骤F1611， 系统控制器110确定已经出现了导致为晚上执行图像获取操作/显示 操作的图像控制触发。
当在步骤F1607、 F1608、 F1609、 F1610、或者F1611的确定结 果表示已经出现了图像控制触发时，流程从图10所示的步骤F104前 进到步骤F106。在步骤F106,系统控制器110命令图像获取控制部 分111和显示控制部分114执行与时区相对应的图像获取操作/显示操 作。例如，系统控制器IIO命令图像获取控制部分111和显示控制部 分114调整例如图像获取灵敏度、亮度、对比度、锐度等。作为替代， 系统控制器110可以命令图像获取控制部分111和显示控制部分114 执行诸如柔焦显示操作之类的图像效果操作。
在这个处理过程中，将与时区相对应的图像提供给用户。例如， 在清晨，将柔化图像提供给用户。在早晨，向用户提供具有强对比度 的清晰图像。在傍晚，向用户提供棕褐色的图像。在晚上，向用户提 供阴暗的图像。因此，可以向用户提供与他或者她的心情和时区相对应的图像。
当然，可以与在每个时区中发生改变的亮度相对应地调整图像质
量，以便提高可见性。
除了时区之外，还可以与天气情况以及用户是否在房间中的用户 情况相对应地调整图像的质量。
作为替代，可以与利用日期与时间信息所确定的季节相对应地而
不是与时区相对应地调整图像的质量。在夏季，例如加重图像的蓝色
分量。在秋天，例如加重图像的红色分量。在冬季，例如加重图像的
白色分量。在春天，例如加重绿色/粉红色分量。因此，可以向用户提 供具有季节感觉的图像。
图28A示出了确定是否已经与由GPS接收部分121和通信部分 126接收的信息相对应地出现了图像控制触发的示范性处理。
在图28A所示的步骤F1701,系统控制器110使通信部分126 将从GPS接收部分121获得的当前位置的经炜度信息发送到具有内 置地图数据库的网络服务器或者设备，使该服务器或者设备从数据库 检索有关当前位置的信息，并且使通信部分126从中接收有关当前位 置的信息。当图像获取和显示设备101具有内置地图数据库时，系统 控制器110可以与从GPS接收部分121接收的经绰度信息相对应地 从内置地图数据库检索有关当前位置的信息。
系统控制器110与所获得的当前位置信息相对应地确定用户是 否处于其中必须执行预定图像控制的地点。当确定结果表示当前位置 是其中必须执行预定图像控制的地点时，流程从步骤F1702前进到步 骤F1703。在步骤F1703，系统控制器110确定已经出现了导致执行 预定图像控制的图像控制触发。
当确定结果表示已经出现了图像控制触发时，流程从图10所示 的步骤F104前进到F106。在步骤F106，系统控制器110命令图像获 取控制部分111和显示控制部分114执行预定的图^f象控制。
在这种情况下，图像控制的示例如下。
当检测结果表示当前位置是运动场、环道等时，因为用户看见的
66目标(获取对象)是快速移动的人、汽车等，所以系统控制器110命
令图像获取控制部分111增加图像获取帧频，以便可以恰当地显示快 速移动的被摄对象。
在当前位置是演奏厅、音乐厅、娱乐会堂、运动场等时，系统控
制器110可以命令图像获取控制部分111执行与到舞台上的获取目标
的距离相对应的远景图像获取操作。当可以确定到诸如舞台之类的获 取目标的距离作为当前位置信息时，可以与所检测的距离相对应地设
置远景放大率。可以由获取目标传感器120 (测距传感器)检测到获 取目标的距离。可以与所检测的距离相对应地设置远景放大率。并不 是执行远景操作，而是系统控制器110可以命令获取图像处理部分115 或者显示图像处理部分112执行图像放大处理。
在当前位置是海滨或者山脉时，系统控制器110命令图像获取控 制部分111执行增加紫外线灵敏度的图像获取操作，使显示部分2显 示如图8B所示的图像，并且使用户识别出紫外线辐射量。
另外，可以用与所获得的当前位置信息相对应的字符图像或者文 本叠加在获取目标的机构、商店等的地名或者名称上。可以在显示部 分102上显示周围区域的广告信息、机构引导信息、和警报信号。
图28B示出了确定是否已经与由GPS接收部分121接收的信息 以及由通信部分126接收的信息相对应地出现了图像控制触发的示范 性处理。特别地，在正在执行增加红外灵敏度的图像获取操作的同时 执行这个示范性处理。
在图像获取部分103正在执行增加红外灵敏度的图像获取操作 时，流程从图28B所示的步骤F1710前进到步骤F1711。
在步骤F1711，系统控制器110使通信部分126将由GPS接收 部分121获得的当前位置的经绰度信息发送到具有内置地图数据库的 网络服务器或者设备，使该服务器或者设备从地图数据库检索有关当 前位置的信息，并且使通信部分126从中接收有关当前位置的信息。 当图像获取和显示设备101具有内置地图数据库时，系统控制器110 与由GPS接收部分121接收的经綷度信息相对应地从内置地图数据库检索有关当前位置的信息。
当系统控制器110已经获得了有关当前位置的信息时，系统控制 器110确定在当前位置上是否必须禁止增加红外灵敏度的图像获取操作。
当确定结果表示在当前位置上必须禁止增加红外灵敏度的图像
获取操作时，流程从步骤F1712前进到步骤F1713。在步骤F1713， 系统控制器110确定已经出现了导致增加红外灵敏度的图像获取操作 完成的图像控制触发。
当在步骤F1713的确定结果表示已经出现了图像控制触发时， 流程从图10所示的步骤F104前进到F106。在步骤F106，系统控制 器IIO命令图像获取控制部分111完成增加红外灵敏度的图像获取操 作。
因为与该位置相对应地禁止了增加红外灵敏度的图像获取操作， 所以可以防止不正确地使用诸如增加红外灵敏度的图像获取操作之 类的特殊图像获取功能。
图29A示出了确定是否已经与由图像分析部分128获得的信息 相对应地出现了图像控制触发的示范性处理。
在图29A所示的步骤F1801，系统控制器IIO监控由图像分析部 分128获得的信息。图像分析部分128通过分析获取的图像来检测被 摄对象是否包含目标。
当分析结果表示获取的图像包含目标时，流程从步骤F1802前 进到步骤F1803。在步骤F1803，系统控制器110确定已经出现了图 像控制触发。
当在步骤F1803的确定结果表示已经出现了图像控制触发时， 流程从图10所示的步骤F104前进到步骤F106。在步骤F106,系统 控制器110命令图像获取控制部分111和显示控制部分114执行预定 的图像控制。
图像控制的示例如下所述。
如果目标是小鸟，则当在获取图像中已经检测到小鸟时，系统控制器110可以命令显示图像处理部分112如图22A和图22B所示为图 像中的小鸟部分执行突出显示操作。在这种情况下，当用户观看野鸟 时,他或者她可以容易地找到并跟随它们。
如果目标是小猫而且用户喜欢猫的话，则当小猫已经进入他或者 她的视野时，因为在显示图像中突出显示了小猫，所以他或者她可以 容易地认出它。
如果目标是人，则当已经在所获取的图像中检测到他或者她时， 系统控制器110可以命令显示图像处理部分112、获取图像信号处理 部分115、或者图像获取部分103突出显示、扩大、或者放大图像中 的人部分。
如果目标是人、动物、建筑物等，则可以仅仅显示目标并不绘制背景。
作为替代，当已经检测到作为目标的人时，可以执行仅仅从图像 中擦除人的图像处理。例如，可以显示其中从自然场景中掩盖人和诸 如汽车之类的人造物的图像。在这种情况下，可以通过用要被掩盖的 目标的周围像素进行插值处理来执行填充目标的像素部分的处理。
另外，可以为诸如人之类的目标执行诸如马赛克显示操作之类的 图像效果操作。
与由图像分析部分128获得的信息相对应地执行图29A所示的 处理。作为替代，如果目标是诸如人或者动物之类的活体，则当作为 获取目标传感器120的热电传感器已经检测到目标时，系统控制器110 可以确定已经出现了图像控制触发。
图29B示出了确定是否已经与由图像分析部分12获得的信息相 对应地出现了图像控制触发的示范性处理。
在图29B所示的步骤F1810,系统控制器IIO监控由图像分析部 分128获得的信息。图像分析部分128通过例如利用在获取图像的帧 之间的差别来分析获取图像，来检测被摄对象是否正在快速移动。
当检测结果表示被摄对象正快速移动时，流程从步骤F1811前 进到步骤F1812。在步骤F1812,系统控制器110确定已经出现了导致要执行闪烁显示操作的图像控制触发。
当在步骤F1812的确定结果表示已经出现了图像控制触发时， 流程从图10所示的步骤F104前进到F106。在步骤F106,系统控制 器110命令显示控制部分114执行图像处理，以便显示如图9C所示 的图像。
在这个处理过程中，执行闪烁显示操作，以便当用户正在观看运 动比赛时，如果选手正快速移动，则他或者她可以看见选手的运动。
在这个示例中，当已经检测到快速运动时，出现导致执行闪烁显 示操作的触发。作为替代，可以出现导致显示模式被切换到高帧频显 示操作的触发。作为替代，当获取目标包含快速运动时，可以出现导 致显示模式被切换到变焦显示模式或者突出显示模式的触发。
图30A示出了确定是否已经与由图像分析部分128获得的信息 相对应地出现了图像控制触发的示范处理。在这个示例中，当已经获 取了一个人时，识别他或者她。
在图30A所示的步骤F1901,系统控制器110监控由图像分析部 分128获得的信息。图像分析部分128通过分析获取的图像来确定被 摄对象是否包含人的面部。当被摄对象包含人的面部时，图像分析部 分128根据面部图像生成个人特征数据。如上所述，个人特征数据例 如为在眼睛中心和鼻子之间的距离EN和眼睛的距离Ed的比值 (Ed/EN)，以及在眼睛中心和嘴之间的距离EM和眼睛的距离Ed 的比值(Ed/EM)。
当已经提取了个人特征数据时，流程从步骤F1902前进到步骤 F1903。在步骤F1903,系统控制器110从个人数据库中检索与个人 特征数据相对应的个人信息。
例如，系统控制器110使通信部分126将个人特征数据发送到具 有内置个人数据库的网络服务器或者设备，使该服务器和设备从个人 数据库中检索个人信息，并且使通信部分126从中接收所检索的结果。 当图像获取和显示设备101具有内置个人数据库时，系统控制器110 可以从个人数据库中检索与个人特征数据相对应的个人信息。当外部设备或者系统控制器110已经从个人数据库检索了预定 人员的个人信息时，流程从步骤F1904前进到步骤F1905。在步骤 Fl卯5，系统控制器110确定已经出现了导致显示个人信息的图像控 制触发。
当确定结果表示已经出现了图像控制触发时，流程从图10所示 的步骤F104前进到F106。在步骤F106，系统控制器110命令显示控 制部分114例如将所检索的个人信息叠加到获取的图像上。
当用户在正在行走的人群中看见用户已经遇见过的一个人或者 某一名人，且该人或者名人已经被登记到个人数据库中时，显示部分 102连同该人的图像一起显示在个人数据库中登记的信息(姓名、单 位、用户曾经相遇的地点等)。因此，用户可以准确地认出这个人。
图30B示出了确定是否已经与由图像分析部分128获得的信息 相对应地出现了图像控制触发的示范性处理。当如图21A所示、由于 阳光和阴影而使得图像不易看见时，执行这个处理过程。
在图30B所示的步骤F1910，系统控制器IIO监控由图像分析部 分128获得的信息。图像分析部分128通过分析获取的图像来检测在 所获取的图像中是否由于日照情况而出现了明亮区域和黑暗区域。
当分析结果表示在该图像中存在阳光和阴影差别时，流程从步骤 F1911前进到步骤F1912。在步骤F1912，系统控制器110确定已经 出现了图像控制触发。
当在步骤F1912的确定结果表示已经出现了图像控制触发时， 流程从图10所示的步骤F104前进到步骤F106。在步骤F106,系统 控制器110命令图像获取控制部分111和显示控制部分114执行图像 处理或者部分地改变图像获取灵敏度，以便使阳光和阴影的差别消 失。因此，如图21B所示，向用户提供不太受阳光和阴影影响并且易 于看见的图像。
当图像包含由于房间或者机构中的照明等的影响而不是由于日 照情况的影响而导致亮和暗的部分差别时，或者当图像部分不清楚 时，系统控制器IIO可以命令图像获取控制部分111和显示控制部分U4部分调整亮度、图像获取灵敏度、对比度等。
在图23到图30A和图30B中，已经描述了在图10的步骤F104 中确定是否已经出现图像控制触发的示范性处理。这个示范性处理可 以应用于图10所示的步骤F102中确定是否已经出现了监视显示状态 启动触发的处理，以及图10所示的步骤F105中确定是否已经出现了 监视显示状态完成触发的处理。
当在图IO所示的步骤FIOI中显示状态为通过状态时，类似于 图23所示的示范性处理，如果已经检测到了周围黑暗或者太亮的情 况，则可以确定出现了监浮见显示状态启动触发，而且通过状态可以被 切换为监视显示状态。
当像图24A所示的示例性处理那样确定结果表示由于天气情况 而必须调整获取图像时，可以确定已经出现了监视显示状态启动触 发。在这种情况下，在预定的天气情况下，可以执行监视显示功能。
当像图24B所示的示例性处理那样确定结果表示周围黑暗时， 可以确定已经出现了监视显示状态启动触发。在这种情况下，当周围 黑暗时，可以自动地执行监视显示功能。
当像图25所示的示范性处理那样获取目标在远处或者近处时， 可以确定已经出现了监视显示状态启动触发。
当像图26所示的示范性处理那样已经检测到了在用户附近的包 含字符的图像时，可以确定已经出现了监视显示状态启动触发。
类似与图27所示的示范性处理，可以确定已经出现了与时区相 对应的监视显示状态启动触发。
当像图28A所示的示范性处理那样当前位置是预定地点时，可 以确定已经出现了监视显示状态启动触发。在这种情况下，可以与预 定地点或者机构类型相对应地执行监视显示功能。
当像图29A所示的示范性处理那样存在有预定目标时，可以确 定已经出现了监视显示状态启动触发。
当像图29B所示的示范性处理那样已经在获取目标中检测到快 速运动时，可以确定已经出现了监视显示状态启动触发。当像图30A所示的示范性处理那样已经检测到预定人员时，可 以确定已经出现了监视显示状态启动触发。
当像图30B所示的示范性处理那样在图像中存在明亮和黑暗分 布时，可以确定已经出现了监视显示状态启动触发。
在这些示范性处理中，当确定已经出现了监视显示状态启动触发 时，流程前进到图10所示的步骤F103。因此，当用户已经戴上处于 通过状态下的图像获取和显示设备IOI而没有执行特殊操作时，图像 获取和显示设备IOI以与情况相对应的监视显示状态进行操作，而且 用户可以在与该情况相对应的监视显示状态下看见图像。
同样地，可以确定是否已经出现了监视显示状态完成触发。
在图23所示的示范性处理中，当检测到周围黑暗或者太亮时， 在其中周围既不黑暗又不太亮的情况下，确定已经出现了监视显示状 态完成触发，而且显示状态可以恢复到通过状态。
在图24A所示的示范性处理中，确定是否必须由于天气情况而 调整获取的图像。当确定结果表示不必调整获取图像时，可以确定已 经出现了监视显示状态完成触发，而且显示状态可以恢复到通过状 态。
类似于图24B所示的示范性处理，可以确定周围是否是黑暗的。 当周围不黑暗时，可以确定已经出现了监视显示状态完成触发，而且 显示状态可以恢复到通过状态。
类似于图25所示的示范性处理，可以确定获取目标是在远处还 是在近处。当确定结果表示获取目标既不远又不近时，可以确定已经 出现了监视显示状态完成触发，而且显示状态可以恢复到通过状态。
像图26所示的示范性处理那样，当在用户附近检测到包含字符 的图像时，在其中还没有检测到图像的情况下，可以确定已经出现了 监视显示状态完成触发，而且显示状态可以恢复到通过状态。
像图27所示的示范性处理那样，可以确定已经与时区、月份和/ 或日期、季节等相对应地出现了监视显示状态完成触发。
像图28A所示的示范性处理那样，在当前位置是预定位置时，可以确定已经出现了监视显示状态完成触发。在这种情况下，可以与 预定位置或者机构类型相对应地停止图像获取功能和监视显示功能。
像图28B所示的示范性处理那样，当停止增加红外灵敏度的图 像获取操作时，可以在步骤F1713确定已经出现了监视显示状态完成 触发，而且显示状态可以恢复到通过状态。
像图29A所示的示范性处理那样，当存在有预定被摄对象时， 可以确定已经出现了监视显示状态完成触发，而且显示状态可以恢复 到通过状态。例如，在这种情况下，禁止在监视显示状态下获取和/ 或显示预定的被摄对象。
作为替代，当确定结果表示没有预定被摄对象时，可以确定已经 出现了监视显示状态完成触发，而且显示状态可以恢复到通过状态。
像图29B所示的示范性处理那样，当检测到获取目标的快速运 动时，在其中还没有检测到快速运动的情况下，可以确定已经出现了 监视显示状态完成触发，而且显示状态可以恢复到通过状态。
像图30A所示的示范性处理那样，当已经检测到预定人员时， 可以确定已经出现了监视显示状态完成触发，而且显示状态可以恢复 到通过状态。在这种情况下，禁止在监视显示状态下获取和/或显示该 预定人员。
作为替代，当确定在图像中没有预定人员时，可以确定已经出现 了监视显示状态完成触发，而且显示状态可以恢复到通过状态。
像图30B所示的示范性处理那样，当在图像中检测到明亮和黑 暗分布时，在其中还没有检测到亮和暗的差别的情况下，可以确定已 经出现了监视显示状态完成触发，而且显示状态可以恢复到通过状 态。
在这些示范性处理中，当确定已经出现了监视显示状态完成触发 而且流程返回到图10所示的步骤F101时，在其中用户对监视显示状 态的需要降低或者消失的情况下，或者在其中禁止监视显示功能的情 况下，显示状态可以自动地切换到通过状态。
74根据这个实施例，由布置在眼镜型安装单元或者头盔型安装单元
中的图像获取部分103获取的图像，即，在作为被摄对象方向的用户 眼睛方向上的获取图像，被显示在用户他或者她眼睛前面的显示部分 102上。在这种情况下，与有关作为外部情况的周围亮度、天气、情 况、识别、被」慑对象的运动、位置、日期与时间等有关的信息相对应 地控制图像获取操作或者显示操作。因此，可以创建实质上协助或者 扩展用户视觉能力的情况。
因为与外部情况相对应地执行图像获取部分103的图像获取操 作和与获取图像信号处理部分115和显示图像处理部分112的信号处 理相对应的显示模式改变，所以没有向用户施加操作负担。另外，因 为恰当地控制了图像获取和显示设备101，所以用户可以容易地使用 它。
另外，因为通过控制显示部分102的透射率使其变为透明或者半 透明的通过状态，所以当用户戴上安装单元时，它不会扰乱他或者她 的正常生活。因此，在用户的正常生活中，可以有效地使用根据这个 实施例的图像获取和显示设备101的益处。
在这个实施例中，已经主要描述了图像获取部分103的图像获取 操作和由获取图像信号处理部分115和显示图像处理部分112的信号 处理实现的显示才莫式。例如，可以与外部情况相对应地控制通电、断 电和待机的切换，以及从声音输出部分105输出的声音的音量和音质。 例如，可以与时间和/或地点相对应地调整會量。-作为^f^，可-以^r-测 周围音量，并且可以与所检测的周围音量相对应地调整扬声器的输出 音量。
图像获取和显示设备101的外观和结构不局限于图1、图2、和 图20所示的那些外观和结构。作为替代，可以进行各种修改。
例如，可以在图像获取和显示设备101中布置存储由图像获取部 分103获取的图像信号的存储部分，以及将图像信号发送到其它设备 的传输部分。
除了作为显示部分102上显示的图像的来源的图像获取部分103之外，还可以在图像获取和显示设备101中布置从外部设备输入图像
的输入部分和接收部分。
在这个实施例中，描述了其中图像获取和显示设备101是眼镜型
安装单元或者头盔型安装单元的示例。然而，只要图像获取和显示设 备沿用户眼睛的方向获取图像并且在他或者她眼睛的前面显示图像， 该设备可以是用户可戴上的任何类型，诸如头戴耳机型、领口型、耳
挂型等。作为替代，图像获取和显示设备101可以是使用诸如回形针
之类的安装部件附着于眼镜、帽舌、头戴耳机等上的单元。
本领域的那些技术人员应当理解只要在权利要求和它们的等效 内容的范围之内，取决于设计要求及其它因素，可以出现各种修改、 组合、子组合以及替换。
权利要求
1、一种图像获取和显示设备，包含图像获取装置，用于这样获取图像以便使用户看到被摄对象的方向为所述被摄对象的方向；显示装置，布置在用户眼睛的前面，并且用于显示由所述图像获取装置获取的图像；外部信息获得装置，用于获得外部信息；以及控制装置，用于与由所述外部信息获得装置获得的信息相对应地控制所述图像获取装置的操作或者所述显示装置的操作。
2、 如权利要求1所述的图像获取和显示设备， 其中所述显示装置能够将显示状态从通过状态切换到图像显示状态或者反过来将显示状态从图像显示状态切换到通过状态，其中所 述通过状态为透明或者半透明的，而在所述图像显示状态中，显示由 所述图像获取装置获取的图像。
3、 如权利要求1所述的图像获取和显示设备，其中所述外部信息获得装置是检测周围环境情况作为外部信息 的传感器。
4、 如权利要求1所述的图像获取和显示设备， 其中所述外部信息获得装置是检测有关所述图像获取装置的获取目标的信息作为外部信息的传感器。
5、 如权利要求l所述的图像获取和显示设备，其中所述外部信息获得装置获得当前位置信息作为外部信息。
6、 如权利要求1所述的图像获取和显示设备，其中所述外部信息获得装置获得当前日期与时间作为外部信息。
7、 如权利要求1所述的图像获取和显示设备， 其中所述外部信息获得装置通过与外部设备的通信获得外部信息。
8、 如权利要求1所述的图像获取和显示设备，其中所述外部信息获得装置通过分析由所述获取装置获取的图 像来获得外部信息。
9、 如权利要求l所述的图像获取和显示设备， 其中由所述外部信息获得装置获得的外部信息是周围亮度、温度、湿度、大气压力、或者天气的信息。
10、 如权利要求1所述的图像获取和显示设备，其中由所述外部信息获得装置获得的外部信息是有关到所述图 像获取装置的获取目标的距离的信息。
11、 如权利要求1所述的图像获取和显示设备，其中由所述外部信息获得装置获得的外部信息是由所述图像获 取装置的获取目标所发射的红外辐射的信息或者能量。
12、 如权利要求1所述的图像获取和显示设备，其中由所述外部信息获得装置获得的外部信息是由所述图像获 取装置的获取目标所发射的紫外辐射的信息或者能量。
13、 如权利要求1所述的图像获取和显示设备，其中由所述外部信息获得装置获得的外部信息是标识所述图像 获取装置的获取目标的信息。
14、 如权利要求1所述的图像获取和显示设备，其中由所述外部信息获得装置获得的外部信息是识别作为所述 图像获取装置的获取目标的人、动物、建筑物、或者设备的信息。
15、 如权利要求1所述的图像获取和显示设备， 其中由所述外部信息获得装置获得的外部信息是所述图像获取装置的获取目标的运动信息。
16、 如权利要求1所述的图像获取和显示设备，其中由所述外部信息获得装置获得的外部信息是识别所述图像 获取装置的获取目标中的人的信息。
17、 如权利要求1所述的图像获取和显示设备， 其中由所述外部信息获得装置获得的外部信息是利用其确定所述图像获取装置的获取目标是否为字符的信息。
18、 如权利要求1所述的图像获取和显示设备，其中由所述外部信息获得装置获得的外部信息是有关与当前位 置相对应的地点的信息。
19、 如权利要求1所述的图像获取和显示设备， 其中由所述外部信息获得装置获得的外部信息是有关与当前位置相对应的区域中的建筑物或者自然物的信息。
20、 如权利要求1所述的图像获取和显示设备， 其中由所述外部信息获得装置获得的外部信息是有关由所述图像获取装置获取的图像的亮度、暗度、或者锐度的信息。
21、 如权利要求1所述的图像获取和显示设备， 其中由所述外部信息获得装置获得的外部信息是由所述图像获取装置获取的图像的局部亮度、暗度、或者锐度的信息。
22、 如权利要求1所述的图像获取和显示设备，还包含声音合成装置，用于合成与由所述图像获取装置获取的图像中所包含的字符相对应的声音；以及声音输出装置，用于输出由所述声音合成装置生成的合成声音； 其中所述控制装置与由所述外部信息获得装置获得的信息相对应地控制由所述声音合成装置生成的合成声音的输出操作。
23、 一种图像获取和显示设备中的图像获取和显示方法，该图像 获取和显示设备具有图像获取装置，用于这样获取图像以便使用户 看到被摄对象的方向是所述被摄对象的方向；以及显示装置，布置在 用户的前面并用于显示由图像获取装置所获取的图像，所述方法包含 步骤获得外部信息；以及与在所述外部信息获得步骤中获得的信息相对应地控制所述图 像获取装置的操作或者所述显示装置的操作。
24、 一种图像获取和显示设备，包含图像获取部分，这样获取图像以便使用户看到被摄对象的方向是 该被摄对象的方向；显示部分，布置在用户眼睛的前面，并且显示由所述图像获取部分获取的图像；外部信息获得部分，获得外部信息；以及控制部分，与由所述外部信息获得部分获得的信息相对应地控制所述图像获取部分的操作或者所述显示部分的操作。
全文摘要
公开了一种图像获取和显示设备。该图像获取和显示设备包括图像获取部分、显示部分、用户信息获得部分、和控制部分。图像获取部分这样获取图像，以便使用户看到被摄对象的方向是被摄对象的方向。显示部分布置在用户眼睛的前面，并且显示由图像获取部分获取的图像。用户信息获得部分获得有关用户的运动和身体情况的信息。控制部分与由用户信息获得部分获得的信息相对应地控制图像获取部分的操作或者显示部分的操作。
文档编号G06F3/01GK101520690SQ20091012681
公开日2009年9月2日 申请日期2007年9月7日 优先权日2006年9月8日
发明者伊藤大二, 佐古曜一郎, 海老泽观, 飞鸟井正道, 鹤田雅明 申请人:索尼株式会社