锁定在感兴趣对象上的放大图像的头戴式显示的制作方法

本发明总体上涉及头戴式显示、放大光学、医学成像、图像处理以及显示呈现的领域。

背景技术：

光学放大镜是带有一组透镜的小型放大设备，通过该组透镜用户能够查看被检查场景的放大外观，由此允许用户清楚地分辨场景中的小细节。这样的放大设备广泛应用于从摄像、印刷和珠宝到医学和牙科的各种应用和技术领域。例如，当执行医学程序，诸如外科手术(例如，心脏外科、脑外科、整形外科)时，医疗工作者为了放大治疗区域可能利用至少一个放大镜。具体地，两个分开的放大镜可以应用于每只眼睛。放大镜可以由用户手持并且只在需要时定位在其眼睛附近，或者可替换地可以永久地固定在他的视野中，诸如安装在眼镜或者可穿戴的头部装置之上。然而，这种配置可能分散用户的注意力并且妨碍他的外围视野。操作放大镜可能是麻烦的，并且当由用户穿戴或固定到用户时提供多余的重量。放大镜也易于掉落、破裂以及随时间而退化。另外，标准放大镜通常提供约4-5倍的放大系数，当需要检查极为细微的对象时这样的放大系数可能是不够的。而且，由于每个放大镜与固定的放大系数相关联，用户不可能在完全不利用不同的放大镜来取代它的情况下根据特定用途选择性地调整所需的放大倍数。放大镜也具有固定焦距，强制用户将头保持在距离对象预先定义的距离。随着放大镜的放大倍数增大，可视放大图像的稳定性降低。

近年来，可穿戴成像设备和可穿戴显示设备的发展取得了显著的进展，产生了包含这样的设备的多种多样的系统和产品。例如，头戴式相机能够用于针对不同的应用捕获图像，诸如根据穿戴者的移动和变化的位置来捕获环境的实时影像。头戴式显示器(HMD)包括配置在用户的单眼(单目)或双眼(双目)前方、通过可穿戴头部或眼部装置(例如，头盔、眼镜、护目镜、隐形眼镜)进行固定的显示光学元件。显示光学元件可以直接定位在眼睛的视野(LOS)中以提供直接视图，或者偏离LOS以提供扫视或周边视图。透视HMD能够在允许周围环境的透明视图的同时将人工影像导向穿戴者。例如，补充可视内容可以投影到HMD上，重叠在用于增强现实环境的感觉的背景视图之上，这被称为增强现实。补充内容通常实时地并且在当前环境中要素的内容中进行呈现。

可穿戴相机或可穿戴显示器可能受到引起眼部疲劳、呕吐和迷失方向的振动和移动，妨碍用户能够分辨出图像中的小细节，因而减低有效分辨率。这些由小或者大的头部移动所引起的振动能够导致图像的线性和旋转位移，这可能显著地改变图像内保持可视的内容。为了获得稳定化的图像针对这些振动进行补偿可以通过稳定相机的机械技术来实现，和/或通过稳定所获得图像的图像处理技术来实现。在一些应用中，用户可能想要实时观看相机捕获到的视频。在这些情况下，可穿戴显示器能够将直接来自可穿戴相机的图像进行投影。当用户想要观察并且将视线集中在特定对象上时，他可以将头戴式相机引导到某一的LOS，并且尝试与关联于他的头部位置和头部方向的当前视野保持一致。然而，头部的移动和相机的振动降低了用户保持聚焦在对象的小细节上的能力。特别地，当投影到显示器上的图像被放大时，头部和相机移动的影响在产生的图像振动中被放大。可替换地，不论用户当前的头部位置和方向，用户可能想要保持聚焦到感兴趣对象，同时保持该对象位于显示器上的便利区域。

Mann的题为“Wearable camera system with viewfinder means(具有取景器装置的可穿戴式相机系统)”的美国专利No.6,307,526涉及一种包括由头戴物承载的电子照相机和由头戴物承载的电子显示器的装置。显示器响应于来自相机的电子输出，为相机提供取景器。镜子被布置成将另外进入佩戴者的眼睛的光转向相机，并将从显示器发射的光转移到佩戴者的眼睛，使得来自显示器的转向光与另外进入眼睛的光共线。分束器位于镜子与眼睛之间。相机前的偏振器定位成阻挡由显示器所发出的偏振光。

Lemelson等人的题为“Selectively controllable heads-up display system(选择性可控的头部显示系统)”的美国专利No.6,847,336涉及用于医疗技术人员的头戴式显示系统。该系统包括用于接收表示数据的输入并且用于控制所需数据的显示的命令计算机处理器。该计算机与头戴式显示系统进行通信并对其进行控制，其中的头戴式显示系统用于通过在用户的视场中对准的方式来显示所需数据。头戴式显示系统器包括并入“免提”菜单选择的用户接口，允许用户控制各种类型数据的显示。免提菜单选择可以利用眼跟踪光标和语音识别计算机以指向和选择特定的菜单和操作来实现。

Rorberg等人的题为“Real-time image scanning and processing(实时成像和处理)”的美国专利No.8,138,991，涉及用于以基本上与用户所感知的无延迟的方式来显示关于视线(LOS)的图像的装置。图像源提供空间上未注册的图像。显示处理器将图像与LOS进行空间注册。显示单元将至少一个空间注册的像素显示在显示表面。图像处理器选择待显示的至少一个投影像素，显示处理器的像素定位器在每个空间未注册图像中确定与所选择的投影像素对应的空间注册像素的位置。

Wheeler等人的题为“User interface(用户接口)”的美国专利No.8,611,015涉及头戴式显示器(HMD)，其具有眼跟踪系统、HMD跟踪系统以及用户向HMD的佩戴者显示虚拟图像的显示器。虚拟图像可以基于HMD跟踪数据进行自动调整。眼跟踪数据被并入用于补偿从HMD跟踪系统的位置和定向传感器错误所引入的所显示虚拟图像中的漂移。具体地说，眼跟踪数据可以用于确定所显示虚拟图像中的注视轴和目标对象。HMD然后可以朝向中心轴移动目标对象。HMD可以基于注视轴、中心轴以及目标对象来记录数据，从而确定用户接口偏好。用户接口偏好可以用于调整HMD中的相似交互。

Ono的题为“Head mounted display device(头戴式显示设备)”的美国专利No.8,669,919涉及向用户提供信息同时在其视场方向拍摄图像的头戴式显示设备。用户头部上所安装的图像显示器允许视图视觉地识别图像。成像器在用户的视场方向上拍摄图像并且生成拍摄到的移动图像。获取待显示在图像显示器上的统一显示图像数据。从移动图像生成与统一显示图像相关的统一移动图像。当与统一移动图像中的一个相关联的相同统一显示图像有关的任何其他统一移动图像被生成时，确定是否利用任何其他的统一移动图像来替换统一移动图像中的一个。当确定替换统一移动图像时，对其进行替换，同时将未被替换的统一移动图像进行组合以生成一致连续的移动图像。

技术实现要素：

根据本发明的一个方面，提供了一种用于在操作者的环境中呈现锁定在感兴趣对象上的放大图像的系统。该系统包括至少一个相机、头部跟踪器、处理器以及头戴式显示器(HMD)。相机设置在操作者的头部上，使得相机与操作者的头部一起移动。处理器与相机、头部跟踪器以及HMD耦接。HMD由操作员佩戴。相机用于获取场景的图像帧序列。头部跟踪器用于通过至少检测操作者头部的取向来检测操作者的视线(LOS)。处理器用于获得至少一个感兴趣对象在场景中的指定坐标，以便确定检测到的操作者LOS与感兴趣对象之间的相对角度，并且确定所获取的图像帧中的感兴趣对象的坐标。处理器还用于基于至少一个先前图像帧来应用用于图像帧的精细稳定的图像处理，以便至少补偿操作者的头部移动，并且用于根据至少一个显示参数，重新缩放图像帧中感兴趣对象周围的区域，从而产生感兴趣对象的相应的放大图像帧。HMD用于将放大的图像帧显示给操作者，使得不管操作者的头部移动，感兴趣对象出现在显示器上的限定位置。处理器还用于基于检测到的操作者的LOS，应用针对图像帧的粗略稳定的图像或信号处理。处理器还用于在重新缩放之前裁剪图像帧中感兴趣对象周围的区域。处理器还可以与次级成像设备进行耦接，用于获取包括感兴趣对象的次级图像帧。处理器还可以用于确定次级图像帧中的感兴趣对象的坐标，并且HMD还可以用于选择性地向操作者显示次级图像帧。HMD可以与相机的放大图像帧一起显示次级图像帧。该系统还可以包括用于从操作者接收指令的用户接口。该指令可以包括：在成像场景中指定感兴趣对象；用于切换视图或改变所显示图像的成像源的指示；显示参数的指定；和/或增加或减少所显示图像的放大系数的指示。用户接口可以与头部跟踪器集成，允许用户通过头部移动来提供指令。HMD可以显示放大图像帧，使得感兴趣对象相对于操作者的LOS被叠加显示在其真实地理位置。HMD可用于显示覆盖在通过HMD所显示的放大图像帧上的补充内容。补充内容可以相对于放大图像帧中的感兴趣对象的放大倍率进行放大。相机可以用于以相对于人类视觉角分辨率增加的角分辨率来获取所述图像帧序列。相机可以包括多个相机，其中HMD用于朝向操作者的每只眼睛显示不同的图像，从而提供感兴趣对象的立体视图。处理器还可以用于确定操作者与感兴趣对象之间的距离，并且用于根据所确定的距离来调整放大的图像帧。处理器进一步用于跟踪获取到的图像帧中的多个感兴趣对象，并且用于生成相应于每个感兴趣对象的多个放大图像帧，其中HMD还用于选择性地显示所生成的放大图像帧中的至少一个。该系统还可以包括与处理器耦接的眼部跟踪器，眼部跟踪器用于检测操作者的注视方向，其中操作者的LOS还根据检测到的注视方向进行确定。相机可以包括：CMOS或CCD相机；可见光相机；红外或近红外相机机；数码相机；摄像机；和/或具有可调节光学倍率设置的相机。HMD可以包括透明显示器，用于呈现所显示的图像，同时允许在操作者FOV中的场景的透视视图。透明显示器可以用于在呈现所显示的图像的同时选择性地降低至少一部分显示区域的透明度。相机和HMD可以沿着共有的光轴对准。HMD还可以用于提供感兴趣对象的障碍物的通知，或提供感兴趣对象超过相机FOV的通知。系统还包括照明器，用于根据操作者的LOS照亮感兴趣对象。

根据本发明的另一方面，还提供了一种用于在操作者的环境中呈现锁定在感兴趣对象上的放大图像的方法。该方法包括使用设置在操作者的头部上的至少一个照相机使得照相机与操作者的头部一起移动来获取场景的图像帧序列的步骤。该方法还包括通过至少检测操作者的头部的取向来检测操作者的视线(LOS)的步骤。该方法还包括如下步骤：指定场景中至少一个感兴趣对象的坐标；确定检测到的操作者LOS与感兴趣对象之间的相对角度；以及确定获取到的图像帧中的感兴趣对象的坐标。该方法还包括如下步骤：基于至少一个先前图像帧应用用于图像帧的精细稳定的图像处理，以便至少补偿操作者的头部移动；以及根据至少一个显示参数，重新缩放图像帧中感兴趣对象周围的区域，以产生感兴趣对象的相应的放大图像帧。该方法还包括在由操作者所佩戴的HMD上显示放大图像帧的步骤，使得感兴趣对象不管所述操作者的头部移动都出现在显示器上的限定位置。该方法还包括基于检测到的操作者的LOS，应用用于图像帧的粗略稳定的图像或信号处理的步骤。该方法还包括在重新缩放之前裁剪图像帧中感兴趣对象周围的区域的步骤。该方法还可以包括利用至少一个次级成像设备来获取包括感兴趣对象的次级图像帧的步骤；以及在HMD上显示次级图像帧的步骤。显示参数可以包括：放大系数；所显示的图像帧的FOV；所显示的图像帧在HMD上的相对位置；和/或所显示的图像帧的对比度、清晰度和/或亮度的选择范围。获取图像帧序列的步骤可以包括以相对于人类视觉角分辨率增加的角分辨率来获取图像帧序列。在HMD上显示放大图像帧的步骤可以包括向操作者的每只眼睛显示不同的图像，提供放大的感兴趣对象的立体视图。检测操作者的LOS的步骤还可以包括检测操作者的注视方向。该方法还可以包括如下步骤：提供感兴趣对象的障碍物的通知，或提供感兴趣对象超过相机的FOV的通知。可以迭代地执行至少一个方法步骤。

附图说明

从下面结合附图所进行的详细描述将更加全面地理解和清楚本发明，其中

图1是根据本发明的实施例构建和操作的用于在操作者的环境中呈现感兴趣对象的放大图像的系统的示意图；

图2是根据本发明的实施例操作的图1的系统的头戴式显示器和头戴式相机的示例配置的示意图；

图3是根据本发明的实施例操作的由执行外科手术的医师所穿戴的图1的系统的头戴式相机所捕获的示例图像序列的示意图；

图4是根据本发明的实施例操作的与图3的相机图像序列对应的向医师显示的示例图像序列的示意图；

图5是根据本发明的另一实施例构建和操作的用于向执行外科手术的医师显示从不同成像源所获得的感兴趣对象的图像的图1的系统的示意图；

图6A是根据本发明的实施例操作的通过图5的操作者的头戴式显示器所看到的示例视图的示意图，只显示与头戴式相机相关联的放大影像；

图6B是根据本发明的另一实施例操作的通过图5的操作者的头戴式显示器所看到的示例视图的示意图，只显示与次级成像设备相关联的放大影像；

图6C是根据本发明的另一实施例操作的通过图5的系统的用户的头戴式显示器所看到的示例视图的示意图，显示与头戴式相机和次级成像设备两者相关联的放大影像；

图7是根据本发明的实施例操作的用于在操作者的环境中呈现感兴趣对象的放大图像的方法的示意图。

具体实施方式

本发明通过提供用于向用户显示通过头戴式显示器(HMD)所看到的视图的放大图像的系统和方法，来克服现有技术的不足，其中的放大图像是基于朝向面对头部方向的视场或者用户的视线(LOS)的至少一个头戴式相机所捕获的图像。该系统可以呈现一系列放大图像帧，该系列放大图像保持锁定在用户可见的关于当前用户头部方向或LOS所确定的感兴趣对象上。图像锁定将感兴趣对象显示在显示器上的预定义位置，而不管用户的头部移动。放大图像也可以经过图像稳定，使得将感兴趣对象的稳定视图显示给用户。用户可以按照需要适应性地选择相关参数和设置，诸如指定新的感兴趣对象，或者调整与放大图像相关的放大级别或者其他显示参数。

现在参考图1，其是根据本发明的实施例构建和操作的用于在操作者(标记为110)的环境中呈现感兴趣对象的放大图像的系统(总体标记为100)的示意图。系统100包括至少一个头戴式相机112、头部跟踪器114、眼部跟踪器116、头戴式显示器(HMD)118、用户接口120、处理器122、以及次级成像设备124。处理器122与相机112，与头部跟踪器114，与眼部跟踪器116，与HMD 118，与用户接口120以及与次级成像设备124通信地耦接。

相机112被安装到操作者110的头部，或者附接到操作者110的头部上或者附近，例如被固定到由操作者110佩戴的可穿戴头部装置(例如头盔、头带、护目镜等)。系统100通常包括多个相机，诸如用于生成立体图像的一对相机112(例如，左相机和右相机)。每个照相机112可以直接位于头部的上方或与其相邻(例如，在头部的顶部或侧面，或肩部上方)，使得照相机112的LOS朝向操作者110所面向的大致方向对准。通常，相机112不一定与操作者110的LOS直接对准(例如，相机112可以相对于操作者LOS向左/右/后偏移进行对准)，只要相机112与头部一起移动并且测量操作者110的LOS。系统100可以包括具有不同视场(FOV)的多个相机112，允许对比单个相机112可能的更宽的整体FOV的成像。

相机112可以是能够获取和存储现实世界场景的图像表示的任何类型的设备，包括在任何波长范围(例如，可见光或不可见光谱中的光、紫外线、红外线、雷达、微波、RF等)获取任何形式的电磁辐射。例如，相机112可以是在可见到近红外(NIR)光谱中操作的互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)照相机。这些相机的主要部件是图像传感器、透镜和电子电路。相机112可操作以获取至少一个图像帧，诸如表示视频图像的连续图像帧序列，其可以被转换为用于后续处理和/或传输的电子信号。因此，本文所用的术语“图像”是指来自上述图像传感器的任何形式的输出，包括在任何光谱区域获取到的场景的任何光学或数字表示，并且包括单个图像帧和图像帧序列(即，“视频图像”)两者。

相机112用于以相对于人类视觉角分辨率(例如操作者110的角分辨率)增加的角分辨率获取图像。相机112可以以多种变化的分辨率进行成像，并且可以允许选择性地调整所获取的图像的分辨率。例如，相机112可以是具有可调节设置的数码相机。相机112的角分辨率与最大可选数字放大率有关。相机112的FOV与操作者110进行的头部移动的可能范围相关，同时保持感兴趣对象在视频帧内。

头部跟踪器114基于操作者的头部位置提供操作者110的一般LOS的指示。这种头部跟踪装置在本领域中是已知的，例如在Lewis的美国专利4,208,725和LaRussa的美国专利4,439,755中所述。眼部跟踪器116例如通过确定瞳孔中心相对于角膜或眼睑的位置来确定操作者110的眼睛注视方向。这样的眼睛跟踪装置是本领域已知的，例如在Smyth的美国专利5,583,795和Spitzer等人的美国专利5,331,149中所述。眼部跟踪器116是可选的，并且系统100可以可选地仅包括头部跟踪器114。仅使用头部跟踪器114通常足以稳定和锁定到感兴趣对象上。除了头跟踪器114之外，使用眼部跟踪器116可以根据操作者110的眼睛位置提供附加的能力和灵活性。

HMD 118包括嵌入在操作者110所佩戴的可穿戴装置(例如头盔、头带、面罩、眼镜、护目镜等)中的显示器。HMD 118将视频图像投影到操作者110将要观看的显示器上。显示光学元件可以直接定位在操作者110的LOS中，以提供投影图像的直接视图，或者可以偏离操作者110的LOS，以提供投影图像的扫视或周边视图。HMD 118可以至少部分透明，使得观看HMD 118的用户可以通过显示器同时观察叠加到显示器上的图像(或其他视觉内容)以及物理环境的视图。透明的HMD向操作者110提供环境的情境意识。一些HMD可以利用主动或被动涂层来降低投影视频区域的透明度水平，从而增加视频对比度。这可以在投影视频图像时完成。需要注意的是，HMD 118提供足够的眼睛浮雕(即，眼睛和显示器之间的距离)以允许戴眼镜的操作者110使用。或者，HMD 118可以并入视力矫正光学器件，以排除对眼镜或其他视力矫正眼镜的需要。

用户接口120允许操作者110或系统100的另一用户控制与系统100的组件相关联的各种参数或设置。例如，用户接口120可以允许操作者110调整由相机112获取的图像的分辨率，以调整显示的图像的放大级别等。用户接口120可以包括光标或触摸屏幕菜单界面，和/或用于允许操作者110经由语音输入指令或数据的语音识别能力。

处理器122从各种系统组件接收指令和数据。处理器122还对由相机112获取的图像帧执行任何必要的图像处理或分析，并且生成用于显示的最终图像。处理器122可以位于距离系统100的其他部件的远处。例如，处理器122可以是可以通过通信介质或网络可以访问的服务器的一部分，诸如远程计算机或远程计算系统或机器。或者，处理器122可以位于与操作者110相邻和/或集成在系统100的其它组件内。例如，处理器122可以经由无线连接耦接到系统100的组件。

次级成像设备124是除相机112之外能够获取和存储真实世界场景的图像表示的另一设备。例如，次级成像设备124可以是用于医疗设置中的医疗成像设备，例如数字显微镜、X射线计算机断层摄影(X射线CT)扫描仪、光学相干断层扫描仪(OCT)、磁共振成像(MRI)扫描器、超声波成像器等。次级成像设备124还可以用于以选择性可调节的分辨率成像。

系统100的组件和设备可以基于硬件、软件或其组合。应当理解的是，与系统100的每个设备或组件相关联的功能可以分布在可以驻留在单个位置或多个位置处的多个设备或组件之中。例如，与处理器122相关联的功能可以分布在多个处理单元(例如用于图像处理功能的专用图像处理器)之间。系统100可以可选地包括和/或与图1中未示出的附加组件相关联，用于能够实现所公开的主题。例如，系统100可以包括用于向各种组件提供电力的电源(未示出)，并且还可以包括用于临时存储图像帧或其他类型的数据的存储器或存储单元(未示出)。

现在参考图2，其是根据本发明的实施例操作的图1的系统的头戴式显示器和头戴式相机的示例配置的示意图。图2描绘了适于安装在操作者110的头部上以及周围的可穿戴装置(总体上标示为130)。可穿戴装置130包括基部132，其上安装有两个相机134A和134B，使得当装置130被佩戴时(即，右相机134A和左相机134B)，相机134A、134B位于操作者110的头部上方。可穿戴装置130还包括由面罩实施的显示部分136，其包括当装置130被穿着时设置在操作者110的眼睛前方的两个显示面板138A、138B(即，设置在操作者110的右眼前面的一个面板138A，以及设置在操作者110的左眼前方另一个面板138B)。应当理解的是，其他类型的可穿戴装置和可穿戴相机或可穿戴显示器的替代配置也在本发明的范围内。

为了示例的目的，现在将在执行心脏手术过程的医师的背景中讨论系统100的操作。在本文中，医师将被认为是系统100的操作者110。现在参考图3和图4。图3是根据本发明的实施例操作的由执行外科手术的医师所佩戴的图1的系统(100)的头戴式相机所捕获的示例图像序列的示意图。图4是根据本发明的实施例操作的与图3的相机图像序列对应的向医师显示的示例图像序列的示意图。操作者110佩戴着头戴式相机112和头戴式显示器118(而系统100通常可以包括多个相机112，例如图2中所示的左相机134A和右相机134B，为了示例性目的，以下的描述参考单个相机112，虽然同样适用于任何数量的相机)。在外科手术期间，相机112在不同的时间点捕获图像序列142、144、146。图像142、144、146以特定分辨率水平被捕获，例如最大的可用分辨率。每个捕获图像142、144、146对应于操作者110的特定LOS，并且因此相应于特定的成像场景，这取决于相机112拍摄图像时操作者110的头部方向。特别地，相机图像142与操作者110的第一头部方向相关联；相机图像144与操作者110的第二头部方向相关联；并且相机图像146与操作者110的第三头部方向相关联。应当注意的是，头部方向可以在由相机112捕获的特定图像序列上保持相同，或者可以是不同的。例如，在基本相似的头部方向上获取相机图像142和144，而与相机图像146相关联的头部方向与相机图像142和144的头部方向基本不同。相机图像142、144、146可以被转换为所捕获的场景的数字信号表示，诸如用转发到处理器122的像素值来表示。

操作者110指定用于系统100进行锁定的处理区域中的感兴趣对象。感兴趣对象可以是与真实世界环境中的一个或多个物理点对应的任何大小、形状或图案。例如，感兴趣对象可以表示位于环境中的统一物理对象或实体，或者可以表示一般环境特征或特征集合(而不一定是统一对象)。感兴趣对象可以是动态的，即，使得对象和/或操作者110在捕获相机图像142、144、146的同时进行运动。在该示例中，感兴趣对象被选择为患者心脏的一部分。操作者110经由用户接口120提供感兴趣对象140的指示，诸如通过对准相应对象上的十字形记号(或替代的设计)，或者通过输入对象140相对于参考坐标系的坐标(例如，中心坐标)。例如，操作者110可以诸如经由语音命令或通过用户接口120的手动指定，在HMD 118上所显示的治疗区域的先前图像上指定患者的心脏。处理器122可以在操作者110的视场中定义至少一个参考点或基准标记，以便能够注册相机112以锁定到指定的对象140上。

处理器122获得如头部跟踪器114所检测的与给定的相机图像142、144、146相关联的操作者110的头部方向(即，在捕获相应的相机图像时操作者110所面对的方向)。处理器122进行确定操作者头部方向与感兴趣对象140的(真实世界)坐标或取向之间的相对角度。系统100可以基于来自头部跟踪器114的头部方向数据、对象140的坐标、用于预测和稳定的应用滤波器和/或直接来自获取到的相机图像142、144、146(例如，不使用专用的头部跟踪器114)，来推导出对象140相对于操作者110的LOS的取向。可以使用多种技术来提供操作者头部相对于感兴趣对象140的位置和/或取向。一种这样的技术是利用头部跟踪器114，并且通过计算由各个立体相机(138A、138B)捕获的一对图像之间的视差来计算从操作者110到对象140的距离。另一种技术是通过利用相机焦点来估计距离。另外的技术可以是将参考对象放置在感兴趣对象140附近，诸如提供精确距离信息的发射器。

处理器122然后确定出现在相机图像上的感兴趣对象140的(图像)坐标。具体地，处理器122跟踪由相机112所捕获的图像帧142、144、146的序列上的感兴趣对象140的位置。对于每个相机图像142、144、146，对象140由以十字为中心的边界指示。对象140可由代表位于环境中的统一物理对象的图像上的像素集来表示。需要注意的是，处理器122可以获得由多个相机112所获取的多组图像帧(例如，每个覆盖不同的FOV)，并且确定用于识别对象坐标的所选择的图像帧，诸如基于通过头部跟踪器114所检测到的操作者LOS和/或基于图像处理。

操作者110进一步经由用户接口120指示待显示图像的相关参数，例如：放大系数；被显示图像的FOV；图像在HMD 118上的相对位置；在被显示图像中对比度清晰度和/或亮度的选择范围；不同的图像处理操作(例如，直方图均衡、跟踪等)等。系统100可以根据所选择的参数来控制某些组件，诸如当捕获后续图像帧时控制相机112的不同成像特征(例如，角度/光学分辨率、视场、焦距、动态范围、灵敏度等)，以便实现被显示图像的所选择的放大级别。系统100可以在默认设置下操作，其可以在初步校准过程期间被初始化，使得系统100选择默认参数(例如，默认放大系数和显示FOV)，除非另有指示。操作者110可随时间改变任何显示参数，或者可以自动定义改变或调整显示参数的条件。例如，可以指示系统100在初始时期以第一放大倍率显示图像，然后在随后的时期期间以第二放大倍率显示；或者可替代地，以一个放大倍率显示第一系列图像，而以不同的放大倍率显示下一系列图像。

随后，处理器122利用标准图像处理技术来操纵相机图像142、144、146，以便根据所选择的显示参数生成对象140的最终图像。具体地，处理器122通过移除围绕感兴趣对象140的图像的至少一些部分来裁剪图像帧142、144、146中的感兴趣区域，然后将剩余的(经过裁剪的)图像部分数字地放大所需的量。然后，将最终图像帧在HMD 118上显示给操作者110，无论操作者110的位置和头部方向，都能在一段时间内提供对象140的放大视图。需要注意的是，也可以在不进行裁剪的情况下生成放大图像，例如通过对在特定相机FOV中捕获的整个图像帧进行重新缩放，以便在特定显示器FOV上实现期望的放大系数。例如，如果相机112以10度的FOV捕获图像142、144、146，并且显示器118的特征在于50度的FOV，则处理器122可以调整整个图像142、144、146的大小(而不仅仅是被裁剪的感兴趣区域)来以20度使配合显示器118，从而获得两倍(x2)的放大系数，或者调整整个图像的大小使得以50度配合显示器118，从而获得五(x5)的放大系数。还要注意的是，处理器122可以仅从相机112接收捕获到的图像帧142、144、146的被选择部分，诸如只是围绕感兴趣对象140的窗口中的图像像素(即，表示“感兴趣的区域”)，而不是接收整个图像帧，由此基本上实现相机112本身中的“裁剪”过程。以这种方式最小化图像像素数据的传输可以用于减少系统100的延迟，增加帧速率，并且减少计算时间和功耗。

参考图4，显示视图152对应于与操作者110的第一头部方向相关联的相机图像142。具体地，心脏的一对放大图像152A、152B被投影在操作者110的每只眼睛的前方，诸如在相应的显示面板(例如，图2中所示的显示面板138A、138B)上，而HMD 118的透明部分根据操作者110当前所面对的位置(即，第一头部方向)示出可操作者110可视的背景区域153。类似地，显示视图154对应于与操作者110的第二头部方向相关联的相机图像144。在图像154中，操作者110看到患者心脏的另一对放大图像154A、154B(表示捕获相机图像144时心脏的状态)。最后，显示视图156对应于与操作者110的第三头部方向相关联的相机图像146。在图像156中，操作者110看到患者心脏的另一对放大图像156A、156B(表示捕获相机图像146时心脏的状态)。需要注意的是，放大的图像可能阻碍通过HMD 118可见的背景场景的至少一部分，因为图像的放大增加其相对于现实世界环境中的背景特征的相对大小。例如，如果放大图像152A、152B具有的放大系数二(2)，则当图像152A，152B被投影到HMD 118上时，将占据显示视图152中的空间的两倍(即，与未放大的患者心脏所占据的可视空间相比)，从而阻挡放大图像152A、152B被投影在的附近的一部分背景区域153。此外，为了改善所显示的视频图像的对比度，HMD 118的透明度可以被显着减小(或完全去除)，以便防止来自背景区域(153)的光产生将会干扰所投影的放大图像(152A、152B)的强DC信号。

每个放大图像152A、152B可以对应于相应的相机，诸如右眼图像对应于右侧相机，而左眼图像对应于左侧相机，从而产生立体视觉效果。可替换地，HMD 118可以显示放置在操作者110的仅单只眼睛之前或者双眼之前的单个放大图像。另外，HMD 118可以显示相同的两个(或更多个)放大图像，诸如对于操作者110的每个眼睛相同的图像。操作者110可以从HMD 118的上述选项中选择以进行显示(例如，作为经由用户接口120由操作者110指示的显示参数的一部分)。需要注意的是，系统100可以基本上实时地进行操作，使得在通过相机112捕获原始图像帧与通过HMD 118显示最终(放大的)图像帧之间基本上存在低延迟(例如，名义上小于捕获单独图像帧的持续时间的延迟)。

基于(至少一部分)先前(例如裁剪和放大)图像帧，处理器122可以可选地在生成用于显示的放大图像时对于相机图像142、144、146执行图像稳定。该图像稳定用于补偿由操作者110的头部移动以及由头部跟踪器114的噪声或误差引起的显示图像中的移动或振动。图像稳定能够基于标准图像处理稳定技术，例如使用任何先前图像帧(或者多个图像帧)的任何相关信息。例如，为了补偿操作者眼睛与相机138A、138B之间的视差，处理器122可以执行通过立体相机(138A、138B)所获取的不同图像帧之间的自动关联，来确定操作者110与对象140之间的距离。可替换地，为了基本防止出现视差，相机138A、138B和HMD的118可以被定位使得它们沿着共同的光轴对准，例如使用分束器。图像稳定可以利用基准标记来实现，诸如具有唯一符号或标记(例如，标线)被放置在感兴趣对象140上或者附近从而用作在处理图像时的参考点。

根据本发明的另一实施例，可以指定多个感兴趣对象。因此，系统100可以生成相应于指定对象中的每一个对象的多组放大图像(遵循以上针对单个对象所描述的方法)，然后选择性地在HMD 118上显示不同对象的放大图像组。例如，操作者110可以提供指令以选择性地在观看锁定在第一对象140A上的放大图像帧的第一序列与锁定在第二对象140B上的放大图像帧的第二序列之间进行切换(例如，通过语音命令、手动指定、头部动作等)。或者，HMD 118可以同时向操作者110显示两组图像(即，第一对象图像帧和第二对象图像帧)。另外，处理器122可以根据操作者110的头部方向(LOS)或其他标准来自动确定放大并锁定哪个指定对象(例如，通过锁定到与操作者110的当前LOS更紧密对准的对象140A上)。

可能会出现这样的情况，其中在系统100已经锁定到指定对象140上之后出现障碍物，例如妨碍相机图像142、144、146上的对象140的视图的手或其他身体部分。在这种情况下，系统100可以通过图像处理来确定已经出现这样的障碍物，并且相应地采取行动。例如，系统100可以利用诸如视觉指示(例如，标记、符号)和/或音频指示(例如，警报、蜂鸣声)的各种警告措施来通知操作者110关于障碍物。例如，障碍物的存在可以通过使HMD118上的显示器的一部分变暗来向操作者110指示，这也可以用于减轻眼睛的疲劳。另一个选择是停止图像稳定处理(精细稳定、裁剪、数字放大)，同时仅保持基于来自头部跟踪器114的LOS数据的滤波/稳定，直到已经移除障碍物。

另一种情况是当操作者100以指定对象140不再位于相机112的FOV中的方式移动头部时，诸如通过过度地转动头部。系统100可以使用头部跟踪器114来检测感兴趣对象140何时已经超过相机FOV，或者感兴趣对象140何时将要超出相机机FOV，相应地通知操作者110，例如通过提供HMD 118上的视觉指示(例如，箭头或符号)和/或音频指示(报警，蜂鸣声)。系统100还可以指示操作者110根据需要重新定位他的头部，以便将对象140移回相机FOV(例如，经由视觉和/或音频指令)。系统100可以可替代地停止稳定、放大和对象锁定过程，并且可以在HMD 118上显示原始相机图像142、144、146或者对象140的先前放大图像帧，直到对象140重新进入相机112的FOV或者直到障碍物被移除。

系统100可以可选地向操作者110显示由次级成像装置124与相机112相关联的放大图像交替地或同时地获取的图像。操作者110可以选择性地在观看基于相机的图像与基于次级成像设备的图像之间切换，或者两者同时进行。现在参考图5，图5是根据本发明的另一实施例构建和操作的用于向执行外科手术的医师显示从不同成像源所获得的感兴趣对象的图像的图1的系统的示意图。操作器110佩戴着头戴式相机112和头戴式显示器118。当照相机112获取与经历外科手术的患者150有关的一系列图像帧时，由数字显微镜体现的次级成像设备124也获取被治疗的患者150的一系列图像帧。具体地，由相机112和数字显微镜124所获取的原始图像包括由操作者110所选择的至少一个感兴趣对象160，该感兴趣对象在该示例中是患者的心脏。由相机112和数字显微镜124所获取的每个图像与拍摄这些图像时操作者110的相应头部方向相关联。替换地，只有相机图像与操作者110的相应头部方向相关联，而数字显微镜124被对准，使得FOV包围对象160(但不一定居中于对象160上)。处理器122接收对象160的真实世界坐标的指示，并且确定操作者110的头部方向与对象160的坐标之间的相对角度。处理器122然后确定每个相机图像和数字显微镜图像中的对象160的图像坐标。通过这种方式，感兴趣对象160的位置在由相机112捕获和由数字显微镜124捕获的图像帧序列上被跟踪。处理器112然后根据针对每个成像源选择的显示参数，继续操纵由每个成像源所获得的图像，以便生成用于显示的感兴趣对象160的图像。需要注意的是，操作者110可以选择与每个图像源相关联的图像有关的不同显示参数。例如，操作者110可以选择用于显示由相机112所获得的图像的第一放大系数和/或显示位置，以及用于显示由数字显微镜124所获得的图像的不同放大系数和/或显示位置。处理器122根据需要执行相关的图像处理操作，例如裁剪、数字放大和/或稳定，以产生与每个成像源相关联的用于显示的最终图像。应当注意的是，从数字显微镜124所获得的原始图像可以经历最少处理(或不处理)用于准备供显示的相应图像，但是可以基本上进行呈现。例如，数字显微镜124可以被引导以根据相关显示参数(例如，放大倍数、FOV、显示位置)来捕获原始图像，使得原始图像可以直接显示在HMD 118上。

现在参考图6A、图6B和图6C。图6A是根据本发明的实施例操作的通过图5的操作者的头戴式显示器所看到的示例视图(总体上标记为162)的示意图，只显示与头戴式相机相关联的放大影像。图6B是根据本发明的另一实施例操作的通过图5的操作者的头戴式显示器所看到的示例视图(总体上标记为172)的示意图，只显示与次级成像设备相关联的放大影像；图6C是根据本发明的另一实施例操作的通过图5的系统的用户的头戴式显示器所看到的示例视图(总体上标记为182)的示意图，显示与头戴式相机和次级成像设备两者相关联的放大影像。所显示的视图162、172、182中的每一个视图对应于由相机112和数字显微镜124在操作者110面向特定方向的同时获取相应图像的相同时间点。在显示视图162(图6A)中，操作者110看到患者心脏的一对放大图像164A、164B(即，感兴趣区域160)和背景区域168。放大图像164A、164B基于由头戴式相机112所捕获的图像(即，遵循初始相机图像的相关处理，包括放大和/或稳定)。在显示视图172(图6B)中，操作者110看到患者心脏的一对放大图像166A、166B和背景区域168。放大图像166A、166B基于由数字显微镜124所捕获的图像(即，遵循在初始显微镜图像的任何必要处理，包括放大和/或稳定)。在显示视图182(图6C)中，操作者110基于由头戴式相机112所捕获的图像看到患者心脏的一对放大图像164A、164B，同时基于由数字显微镜124捕获的图像看到患者心脏的一对放大图像166A、166B。基于相机的图像(164A、164B)可以以任何合适的方式与基于显微镜的图像(166A、166B)一起呈现，诸如彼此重叠、并排、上下等等，从而向操作者110提供两个成像源的充分视图(例如，不妨碍物理环境的背景视图168)。操作者110可以提供指令来选择性地在观看基于相机的图像和/或基于次级成像设备的图像之间切换，诸如经由语音命令、手动指定(例如按下按钮)、头部动作等。应当理解的是，系统100可以提供基于相机的图像(164A、164B)的视图与基于显微镜的图像(166A、166B)的视图之间的平滑过渡。例如，系统100可以以相当高的帧速率(例如，高于每秒25帧)在基于相机的图像(164A、164B)与基于显微镜的图像(166A、166B)之间切换。如前所述，放大图像(164A、164B和/或166A、166B)可能阻挡通过HMD 118可观看的至少一部分背景场景(168)，因为图像的放大倍数增加它们在显示视图中相对于真实世界环境中的背景特征的相对大小。

系统100还可以在HMD 118上显示与指定的感兴趣对象相关的补充内容(例如，增强现实)。例如，参考图3和4，处理器122可以在表示患者的心脏时识别对象140，获得或确定与患者心脏有关的相关信息(例如，从心电图仪所获得的心率或电活动波形)，然后将适当的视觉内容覆盖在HMD 118上的心脏的放大图像(152A、152B)上或者附近。视觉(增强现实)内容可以可选地被放大，诸如符合在HMD 118上所显示的放大图像(152A、152B)的放大系数。补充内容可以是任何类型的图形或视觉设计，诸如：文本；图片；插图；符号；几何设计；突出显示；改变或添加至少一部分感兴趣区域的颜色、形状或大小等。此外，补充内容可以包括音频信息，除了HMD 118上的感兴趣对象的放大图像之外，还可以呈现音频信息，诸如呈现视频影像或相关语音通知或对于对象的显示图像中的相关特征进行阐述。

系统100还可以包括光源或照明器，用于为根据操作者110的头部方向或LOS来照亮指定的感兴趣物体140。例如，操作者110可以装配有可穿戴或头戴式照明源，使得照明器的对准与操作者110的头部方向或LOS相连。

根据本发明的另一实施例，本发明的多个系统(例如系统100)可以相互通信地耦接，允许附加的功能和特征。例如，可以在不同HMD之间发送/接收数据。在另一示例中，图像融合可以在从不同操作者的头戴式相机所捕获的图像之间实现。在另一示例中，基于第一操作者相机的感兴趣对象的放大图像可以显示在第二操作者的HMD上。

现在参考图7，图7是根据本发明的实施例操作的用于在操作者的环境中呈现感兴趣对象的放大图像的方法的模块图。在步骤252中，利用设置在操作者头部上的至少一个相机，以高角分辨率获取图像帧序列。参考图1和图3，头戴式相机112用于根据操作者110所面向的方向来捕获围绕操作者110的视线的图像。相机112以(相对于人类视觉的)高角分辨率来捕获一系列图像142、144、146，每个捕获的图像对应于操作者112的特定头部方向。

在步骤254中，利用头部跟踪器来检测操作者头部的位置和取向。参考图1和3，头部跟踪器114在每个捕获图像142、144、146期间检测操作者110所面向的方向。更具体地，头部跟踪器至少确定头部取向(也可以确定位置)，相对于参考坐标系提供操作者110的一般LOS的指示。可选地，也可以利用眼部跟踪器116来检测操作者110的眼睛注视方向，该眼部跟踪器116可用于协助确定每个图像的操作者110的一般LOS。

在步骤256中，指定成像场景中的感兴趣对象的坐标。参考图1和图3，操作者110指定位于其FOV中的物理环境中的至少一个点，例如代表患者心脏的感兴趣对象140。操作者110可以经由用户接口120指示对象140，诸如通过输入对象140相对于参考坐标系的中心坐标，或者通过在HMD 118上所显示的先前图像上指定对象140。感兴趣对象坐标也可以由另一用户(即除操作者110之外)来指示，或者通过系统100指示利用算法和/或存储器数据(诸如“书签”)的坐标来指示。

在可选步骤258中，基于头部方向将图像或信号处理应用于粗略稳定和预测。参考图1和3，处理器122根据头部跟踪器114所检测到的头部方向，应用某种形式的图像处理或信号处理。例如，处理器122可以将图像滤波器应用于捕获到的图像142、144、146，或通过某种方式改变图像信号。图像/信号处理提供图像的粗略稳定以符合操作者110的LOS(例如，由于头部移动和振动)，以及对象140的一般预测以辅助后续的图像处理。

在步骤260中，确定头部方向与感兴趣对象之间的相对角度。参考图1和图3，处理器122确定操作器110的头部方向(经由头部跟踪器114检测到)与对象140的真实世界坐标之间的相对角度。可以基于头部跟踪器114的取向、感兴趣对象140的坐标以及用于预测和稳定的应用滤波器和/或直接从捕获到的图像142、144、146来计算该角度。

在步骤262中，接收用于显示图像的参数。参考图1和图3，操作者110提供关于显示的图像应当如何出现的相关参数的指示，诸如至少是所显示图像的放大系数以及图像在HMD 118上的相对位置。操作者110可以在初始化过程期间为系统100提供默认参数，可以手动地改变参数和/或定义用于自动改变或调整显示参数的条件。

在步骤264中，在所获取的图像帧中确定感兴趣对象的坐标。参考图1和图3，处理器122确定每个原始相机图像142、144、146中的对象140的图像坐标(像素)(由图3中的边界和十字描绘)。需要注意的是，处理器122可以在每个图像帧中单独地确定对象坐标，或者可以利用本领域已知的标准图像跟踪技术来跟踪对象140在图像帧之间的位置。处理器122还可以组合这些方法，通过在给定数量的图像帧上跟踪对象140的位置，然后利用参考数据新确定下一图像帧中的位置，以便重新校准(并避免跟踪误差的累积)。此外，处理器122可以根据合适的预测模型(可选地与图像跟踪进行组合)，结合对象140的坐标的预测值来增加准确性，诸如使用检测到的操作者110的头部方向。在该阶段(或随后)，可以在图像中的对象140周围裁剪更广泛的区域。更宽区域的边界可以大于用于显示的对象140的区域，因此在额外的稳定之后，可以执行额外的裁剪。

在可选步骤266中，基于先前的图像帧，为了精细稳定而应用图像处理。参考图1和图3，处理器122基于至少一个先前(例如裁剪和放大的)图像帧的至少一部分，对于捕获的图像142、144、146执行图像稳定处理。图像稳定用于补偿由操作者110的头部移动，或者由于头部跟踪器114的准确性不足、漂移、振动和/或其它噪声源而引起的显示图像中的移动或振动。

在可选步骤268中，在图像帧中裁剪感兴趣区域。参考图1、图3和图4，对于每个图像帧142、144、146，处理器122通过移除围绕对象140的图像的至少一些部分来裁剪包围对象140的感兴趣区域。应当理解的是，裁剪可以实现为在步骤266中所定义的图像处理的一部分或与其结合。或者，步骤266的图像处理可以在对象140周围的较宽区域的初始裁剪之后执行，在这种情况下可能需要进一步的裁剪步骤。还应注意的是，可以避免对裁剪的需要，例如仅通过缩放所捕获的图像来实现在显示器118上的期望的放大系数，同时考虑到相对于显示器FOV的相机FOV。

在步骤270中，改变感兴趣区域的大小来产生对象的放大图像帧。参考图1、图3和图4，对于每个图像帧142、144、146，处理器122将剩余的裁剪的图像部分(即，感兴趣的区域)调整或者缩放(数字地放大)所需量，如按照其中所选择的放大系数被指示用于显示图像，或者使得裁剪的图像部分基本上适合整个显示的图像帧。可替换地，处理器122可以重新缩放整个捕获的图像帧142、144、146(即，而不是仅重新缩放感兴趣的裁剪区域)，以便适配显示器118的FOV以获得期望的放大倍数。

在步骤272中，将放大的图像帧投影到由操作者佩戴的头戴式显示器上。参考图1和图4，放大对象140的图像帧顺次显示在由操作者110佩戴的HMD118上。例如，对于第一头部方向，操作者110看到显示视图152，该视图包括投影在操作者110的每只眼睛前面的HMD 118上的患者心脏的一对放大图像152A、152B。随后，操作者110依照第二头部方向，通过HMD 118看到包括患者心脏的另一对放大图像154A、154B的下一个显示视图154至HMD 118(对应于原始相机图像144)。最后，操作者110依照第三头部方向，透过HMD 118看到包括患者心脏的第三对放大图像156A、156B的第三显示视图156(对应于原始相机图像146)。每个放大的图像可以呈现给操作者110的不同的眼睛，对应不同的头戴式相机(138A、138B)，以产生立体视觉效果。

在可选步骤274中，利用次级成像装置获取包括感兴趣对象的次级助图像帧。参考图1和图5，除了由头戴式相机112所捕获的图像帧之外，数字显微镜124捕获在操作者110的FOV中发生的手术过程的图像帧序列，其中两组图像都至少包含指定的感兴趣对象160。由相机112和数字显微镜124所获取的每个图像与拍摄这些图像时操作者110的相应头部方向相关联。

在可选步骤276中，次级图像帧与相机图像同时或交替地投影到头戴式显示器上。参考图1和图5，处理器跟踪由数字显微镜124所捕获的图像帧中的感兴趣对象160的位置，并且按照需要对于原始图像帧执行图像处理操作，诸如裁剪、数字放大和/或稳定，以便根据所需的显示参数生成对象160的最终图像。最后的图像帧与操作者110所选择的基于相机的图像一起和/或交替地顺次显示在由操作者110所佩戴的HMD118上。参考图6B，操作者110通过HMD 118看到包括患者心脏的一对放大图像166A、166B和背景视图168的显示视图172，其中放大图像166A、166B对应于由数字显微镜所捕获的原始图像124。参考图6C，操作者110通过HMD 118看到包括患者心脏的第一对放大图像164A、164B的显示视图182，以及患者心脏的第二对放大图像166A、166B和背景视图168，其中第一放大图像164A、164B对应于由相机112拍摄的原始图像，并且第二放大图像166A、166B对应于由数字显微镜124所捕获的原始图像。

图7的方法通常以迭代的方式实现，使得重复和/或连续地执行至少一些步骤，以便在图像帧序列上保持所指定的感兴趣对象的放大视图(即，使得放大的图像保持锁定在感兴趣对象上至少一个选定的持续时间)。

虽然上文已经结合医学成像描述了系统，但是本发明通常适用于任何目的任何类型的成像，并且可以用于各种各样的应用中，诸如工业、商业、航空、安保或娱乐应用。

虽然已经描述了所公开的主题的某些实施例，以使本领域技术人员能够实践本发明，但是前面的描述仅旨在是示例性的。不应将其用于限制所公开主题的范围，该范围应通过参考以下权利要求来确定。