头戴式显示器的光场捕获和渲染的制作方法
本技术通常涉及捕获和渲染头戴式显示器(head-mounteddisplay)的光场。特别地，几个实施方式是针对光场捕获系统，例如相机阵列和用于提供增强的介导现实可视化(mediated-realityvisualization)的相关的头戴式显示器。
背景技术：
传统的放大镜(例如，手术放大镜)具有许多缺点。例如，传统的放大镜是基于用户矫正视力的需要和瞳孔间距为个人定制的，所以不能在用户之间共享。传统的放大镜也受限于在单一的放大水平，迫使用户将她全部动作调整到该放大水平，或经常以奇怪的角度看向放大镜的“外部”，以执行放大无益或甚至是有害的动作。传统的放大镜仅在非常浅视野深度(depthoffield)内提供清晰图像，同时还提供相对窄的视野。由于传统手术放大镜的庞大构造，盲点是另一问题。
一种方案涉及将从两个相机获得的原始视频传输至头戴式显示器(head-mounteddisplay,hmd)。然而，因为图像捕获和图像显示是不可分离地耦合的，所以在通过hmd显示的图像数据中存在一定的局限性。因此，需要一种改进的系统和方法以用于通过头戴式显示器捕获和渲染立体图像数据至用户。
附图说明
图1为根据本技术的实施方式配置的成像装置的立体图。
图2a和2b分别为根据本技术的实施方式配置的头戴式显示装置的前部立体图和后部立体图。
图3为根据本技术的实施方式配置的介导现实可视化系统的示意图。
图4示出了在外科手术期间使用中的介导现实可视化系统。
图5为根据本技术的一个实施方式的用于捕获和渲染光场以提供介导现实可视化的方法的框图。
图6为使用两个真实相机的数据渲染虚拟相机的示意图。
具体实施方式
本技术针对用于捕获和渲染光场以用于增强的介导现实可视化的系统和方法。在一个实施方式中，例如，与用户间隔开来的光场捕获设备获取图像数据，然后该图像数据被处理并通过头戴式显示器立体地呈现给用户。正如本文所使用的，术语“介导现实”指的是通过使用可穿戴式显示器以增加、减少或其他方式来操纵对现实的视觉的能力。“介导现实”显示器包括至少“虚拟现实”型显示器以及“增强现实”型显示器。
如同顶部、底部、前部、后部、上部、下部、上面、下面、垂直、向上、向下和其他的相对的方位性语言的使用是相对的，且不受限于关于地球表面定义的绝对方向或取向。
下面参照图1-6描述本技术的几个实施方式的具体细节。虽然下面描述了关于用于捕获和渲染光场以提供增强的介导现实可视化的设备、系统和方法的多个实施方式，但其他的实施方式在本技术的范围之内。此外，本技术的其他实施方式能够具有与本文描述的配置、组件和/或程序不同的配置、组件和/或程序。例如，其他的实施方式可以包括除了本文描述的元素和特征以外的额外的元素和特征，或者其他的实施方式可以不包括本文中示出的和描述的数个元素或特征。本技术的数个实施方式可以与国际专利公开号为wo2015/179946、题目为“用于介导现实手术可视化的系统和方法”中公开的技术的方面相结合或合并，其全部内容通过引用合并于此。
以便参考，贯穿本公开，相同的附图标记用于标识相似或类似的组件或特征，但是使用相同的附图标记并不意味着这些部件应该被解释为相同的。事实上，在本文描述的一些实施例中，相同编号的部件在结构和/或功能上是不同的。
选择的介导现实可视化系统的实施方式
图1为成像装置100的立体图。成像装置100包括安装至框架103的多个成像设备101a-j(统称为“成像设备101”)。在使用中，成像装置100可以定位于靠近有益的物体(例如，手术部位、工件或需要放大或其他增强的可视化的其他区域)。成像装置100可以包括作为框架103的一部分的安装电枢，框架103在一些实施方式中可包括改变各个成像设备101的间隔和定向的机构。成像装置100还包括多个光源104a-f(统称为“光源104”)，该多个光源104a-f能够被选择性地激活以实现光度的捕获和处理。成像装置100还包括至少一个投影仪107，该投影仪107能够使用多视角立体和相关技术来投影纹理图案以协助估算场景的几何体。成像装置100可以与用于精确定位和控制的多关节器(multiplejoints)、发动机和编码器一起安装到关节臂(articulatedarm)(未示出)上。通过检测场景的几何体，成像装置100可以用于渲染非平面的焦面，使得即使由于表面拓扑，成像装置100和沿着表面的不同点之间的距离改变，成像的整个表面也处于焦点。
如下文更详细描述的，通过成像装置100收集的信息可以在头戴式显示器200(图2a和2b)中显示，且成像装置100和方法的一些特征可以定制到该头戴式显示器应用。例如，在一些实施方式中，某些技术可以用于减少系统的数据通讯需求，包括选择性地读取各个成像设备101，或选择性地读取每个成像设备101内的像素。
例如，各个成像设备101可以为数码相机，例如ccd或cmos图像传感器和相关的光学器件(optics)。成像设备101安装到框架103，并布置成半球形阵列，成像设备101指向并聚焦在公共点(commonpoint)上。然而，在其他实施方式中，成像设备101可以以不同配置布置，例如，平面阵列，在该平面阵列中，设备不朝焦点聚集，或者甚至彼此分离。
多个光源105围绕框架103设置，并配置为照亮成像装置100的视野。光源105例如可以为leds、荧光灯或任何其他合适的照明光源。如下文中更详的细描述，光源105可以用于光度几何体估算(photometricgeometryestimation)和镜面反射分析。
投影仪107还可以附接至框架103，并配置为将图像投影至成像装置100的视野中。在一个实施方式中，投影仪107为具有1280×800分辨率的标准市售投影仪。在其他实施方式中，投影仪107可以为能够将图像投影至成像装置100的视野中的具有所需的分辨率的任何合适的装置。如下文更详细描述的，投影仪107可以用于获取场景几何体信息。在一些实施方式中，投影仪107可以用一个或者多个光源和配置为投影固定纹理图案的掩膜光学器件来代替，其可以比投影仪107提供的完全动态图案花费更少。
虽然示出了10个成像设备101，但是使用的设备的数量可以广泛地变化。在一些实施方式中，单一的全光相机可以用于代替成像设备101。例如，成像装置100可以包括单一的图像传感器，在图像传感器和主透镜之间具有微透镜阵。该微透镜阵允许捕获光场，可以从该光场中计算具有不同焦面和不同视角(视差)的图像。使用光场视差调节技术，可以补偿不同相机之间图像视点的差异，使得视点不会随着缩放比例变化而变化。多个成像设备101可以通过usb3或其他此类连接器格式来连接，以支持他们产生的高带宽数据。在一个特定的实施方式中，各成像设备101配置为捕获964×964像素的图像，每秒高达30帧。
如下文更详细描述的，从成像装置100捕获的光场数据可以通过例如头戴式显示器立体地渲染至用户。在一些实施方式中，从成像装置100捕获的数据用于渲染两个“虚拟相机”，在用户的每只眼睛处放置一个“虚拟相机”。这些虚拟相机可以根据用户的姿势基于头戴式显示装置的追踪来放置，使得从用户的角度来看，她根本没有穿戴显示设备。
成像设备101的阵列允许捕获光场数据，使得成像装置100能够用作全光相机。通过成像装置100捕获光场数据以及处理捕获的光场有望提供优于通过传统相机的直接视频流或图像捕获流的若干益处。例如，光场渲染能够实现物理相机无法实现的视觉效果，例如多个焦面(甚至是非平面的焦面)、合成孔径和“透视(seeingthrough)”部分遮挡。虽然对物理相机来说并非不可能，但是光场渲染能够毫不费力地实现其他有用的效果，例如，通过同时改变虚拟的瞳孔间距以及场景中虚拟的相机的距离，明显地缩小或放大用户，这利用了投影几何中的尺寸模糊性(scaleambiguity)。通过动态尺寸变化，可以实施缩放功能。然而，不仅仅是放大图像，而是效果可能就像用户实际上缩小了(或者外界变大了)，能够环顾同样的场景，但在更近的有利位置处。
图2a和2b分别为头戴式显示装置200的前部立体图和后部立体图。显示装置200包括框架203，该框架203具有前表面205和与前表面205相对的后表面207。显示设备209设置在后表面207上方，并且远离后表面207向外。显示装置200通常配置为佩戴到用户的头部(未示出)上，特别是佩戴到用户的眼睛上，使得显示设备209朝用户的眼睛显示图像。
在示出的实施方式中，框架203形成为大致类似于标准眼睛，眼框(orbitals)通过鼻梁架(bridge)和向后延伸以接合佩戴者的耳朵的眼镜腿(templearms)连接。在其他实施方式中，然而，框架203可以采用其他形式；例如，带子可以替代眼镜腿，或者，在一些实施方式中，局部头盔可以用于将显示装置200安装至佩戴者的头部。
框架203包括右眼部204a和左眼部204b。当用户佩戴时，右眼部204a配置为大致定位在用户的右眼上，而左眼部204b配置为大致定位在用户的左眼上。显示装置200通常可以为不透明的，使得佩戴显示装置200的用户不能够透过框架203观看。在其他实施方式中，然而，显示装置200可以为透明的或者半透明的，使得在穿戴显示装置200的情况下，用户可以透过框架203观看。显示装置200可以配置为佩戴到用户的标准的眼镜上。例如，显示装置200可以包括钢化玻璃或其他足够坚固的材料以满足外科手术室中用于眼睛保护的osha规定。
显示装置200可以分别包括第一控制电子器件和第二控制电子器件215a-b。参考图3，如下文更详细描述的，控制电子器件215a-b可以配置为在网络上提供与其他组件、例如成像装置100的有线的或无线的通讯。在示出的实施方式中，控制电子器件215a-b耦合至框架203。在一些实施方式中，然而，控制电子器件215a-b耦合至成像装置100，并与显示装置200无线通讯。在其他实施方式中，控制电子器件215a-b可以集成到单独的组件或芯片中，在一些实施方式中，控制电子器件215a-b不是物理地附接至框架203。控制电子器件215a-b可以配置为接收从成像装置100输出的数据，并且还可以配置为控制成像装置100的操作(例如，初始成像，以控制光学变焦、自动对焦和/或以操作集成光源模块)。在一些实施方式中，例如控制电子器件215a-b可以配置为处理从成像装置100输出的数据，以提供数码变焦、以自动对焦和以调节图像参数，例如饱和度、亮度等。在其他实施方式中，图像处理可以在外部设备上执行并通过有线的或无线的通讯链接与控制电子器件215a-b通讯。如下文更详细描述的，可以处理来自成像装置100的输出以集成附加数据，例如预先存在的图像(例如x射线图像、荧光镜检查、mri或ct扫描、解剖图数据等)、同时捕获的其他图像(例如通过内窥镜或设置在手术部位周围的其他图像)、病人重要的数据等。此外，进一步的操作可以允许视野内部区域的选择性放大。
基准标记物(fiducialmarker)217可以设置在框架203的前表面205上。基准标记物217可以用于显示装置200的运动追踪。在一些实施方式中，例如，基准标记物217可以为通过红外光相机系统检测的一个或多个红外光源。在其他实施方式中，基准标记物217可以为磁性探针或电磁性探针、反射元件、或者可用于跟踪显示装置200在空间中的位置的任何其他组件。基准标记物217可以包括或耦合至用于追踪显示装置200的移动和方向的内部罗盘(internalcompass)和/或加速器。
显示设备209设置在框架203的后表面207上，并面向后。如图2b最佳所示，显示设备209包括第一显示器和第二显示器219a-b。例如，显示器219a-b可以包括lcd屏、全像显示器、等离子屏、投影显示器、或具有可以在抬头显示器(heads-updisplay)环境中使用的相对薄的形状因数的任何其他类型的显示器。第一显示器219a设置在框架203的右眼部204a内，同时第二显示器219b设置在框架203的左眼部204b内。第一显示器和第二显示器219a-b向后定向，使得当用户佩戴显示装置200时，第一显示器和和第二显示器219a-b分别通过用户使用用户的右眼和左眼为可视的。每只眼睛使用单独的显示器允许立体显示。立体显示包含分别向左眼和右眼呈现略微不同的二维图像。由于两个图像之间的偏移，因此用户感知三维深度。
第一显示器和第二显示器219a-b可以分别电耦合至第一控制电子器件和第二控制电子器件215a-b。控制电子器件215a-b可以配置为向显示器219a-b提供输入并控制显示器219a-b的操作。控制电子器件215a-b可以配置为向显示器219a-b提供显示输入，例如，已经从成像装置100获取的处理过的图像数据。例如，在一个实施方式中，来自成像装置100的图像数据通过第一控制电子器件215a与第一显示器219a通讯，且类似地，来自成像装置100的图像数据通过第二控制电子器件215b与第二显示器219b通讯。根据成像装置100的位置和配置以及显示器219a-b，可以向用户呈现立体图像，该立体图像模仿用户在不佩戴显示装置200的情况下将看到的景观。在一些实施方式中，从成像装置100获取的图像数据可以被处理，例如数码缩放，从而通过显示器219a-b向用户呈现缩放的视图。
第一眼睛追踪器和第二眼睛追踪器221a-b设置在框架203的后表面上，邻近第一显示器和第二显示器219a-b。第一眼睛追踪器221a可以定位在框架203的右眼部204a内，且可以定向并配置为在用户佩戴显示装置200时追踪用户的右眼的运动。类似地，第二眼睛追踪器221b可以定位在框架203的左眼部204b内，且可以定向并配置为在用户佩戴显示装置200时追踪用户的左眼的运动。第一眼睛追踪器和第二眼睛追踪器221a-b可以配置为确认用户的眼部运动，且可以与控制电子器件215a-b电子通讯。在一些实施方式中，用户的眼部运动可以用于向控制电子器件215a-b提供输入控制。例如，可视菜单可以覆盖通过显示器219a-b显示给用户的图像的一部分。用户可以通过将她的眼睛集中在项目上来指示从菜单中选择的项目。眼睛追踪器221a-b可以确认用户正在关注的项目，并且可以将该项目选择的指示提供至控制电子器件215a-b。例如，该特征允许用户控制施加到特定图像的缩放尺寸。在一些实施方式中，麦克风或物理按钮可以存在在显示装置200上，并可以通过口述指令或物理接触按钮来接收用户输入。在其他的实施方式中，可以使用其他形式的输入，例如通过成像装置100的手势识别、辅助控制等。
本文描述的技术可以应用于内窥镜系统。例如，并非在成像装置100上安装多个相机(具有不同的视野或视图/放大组合)，而是多个相机可以安装在内窥镜器械的尖端上。可选地，单个主透镜加上小透镜阵列可以安装在内窥镜器械的尖端上。然后，诸如重聚焦的光场渲染技术渲染来自两个不同视角的立体图像，或可实施缩放。在这样的情况下，收集的图像可以通过可穿戴的头戴式显示装置200来显示。
图3为根据本技术的实施方式配置的介导现实可视化系统的示意图。该系统包括通过通讯链接301彼此通讯的若干组件，该通讯链接301例如可以为公共网络、诸如内部网的私人网络或其他网络。各组件和通讯链接301之间的连接可以是无线的(例如wifi、蓝牙、nfc、gsm、诸如cdma、3g或4g等的蜂窝通讯)或者是有线的(例如以太网、火线电缆、usb电缆等)。头戴式显示装置200和成像装置100都耦合至通讯链接301。在一些实施方式中，成像装置100可以配置为捕获图像数据，且头戴式显示装置200可以配置为通过集成的显示设备209将图像显示给佩戴显示装置200的用户。显示装置200还包括基准标记物217，该基准标记物217可以通过追踪器303追踪。追踪器303可以通过光学追踪、声波检测或电磁检测、或任何其他合适的方法以位置追踪来确认基准标记物217的位置和运动。成像装置100也可以包括通过追踪器303追踪的一个或多个基准标记物。在一些实施方式中，追踪器303可以配置为在手术期间用于追踪患者的位置或某些解剖特征。例如，跟踪器303可以为手术导航系统、例如美敦力公司(medtronic)的
计算组件307包括多个模块以用于通过通讯链接301与其他组件交互。例如，计算组件307包括显示模块309、运动追踪模块311、配准模块(registrationmodule)313和图像捕获模块315。在一些实施方式中，计算组件307可以包括诸如cpu的处理器，该处理器可以根据存储在计算机可读介质上的计算机可执行的指令来执行操作。在一些实施方式中，显示模块、运动追踪模块、配准模块和图像捕获模块均可以在单独的计算设备中实施，每个计算设备都具有配置为执行操作的处理器。在一些实施方式中，这些模块中的两个或更多可以包含在单个的计算设备中。该计算组件307还与数据库317通讯。
显示模块309可以配置为提供显示输出信息至显示装置200以通过显示设备209呈现至用户。如上所述，显示设备可以包括立体显示器，在该立体显示器中，通过第一显示设备和第二显示设备219a-b(图2b)向每只眼睛提供不同图像。提供至显示装置200的显示输出可以包括通过成像装置100捕获的实时的或近实时的视频馈送。在一些实施方式中，显示输出可以包括其他数据的集成，例如，术前图像数据(例如ct、mri、x光线或荧光镜检查)、标准解剖图像(例如教科书解剖图像或尸体衍生图像)或者当前患者生命体征(例如，ekg、eeg、ssep或mep)。该附加数据例如可以被存储在数据库317中，以通过计算组件307访问。在一些实施方式中，附加实时图像数据可以从附加成像器305中获取，并通过显示装置200的显示设备209呈现给用户(例如，来自手术部位周围的关节臂上的其他相机的、内窥镜的或安装在牵开器上的相机等的实时图像数据)。这些附加数据可以被集成以用于显示；例如，其可以提供为画中画(picture-in-picture)或者在来自成像装置100的实时图像的显示上的其他覆盖图。在一些实施方式中，附加数据可以集成到成像装置100的实时图像的显示中；例如，x射线可以集成到该显示中，使得用户看到作为统一图像的成像装置100的实时图像和x射线数据。为了使附加图像数据(例如x射线、mri等)与成像装置100的实时馈送协同地呈现，可以基于显示装置200的位置和方向，处理和操作附加图像数据。类似地，在一些实施方式中，教科书解剖图像或其他标准图像(例如，从尸体衍生的标记图像)可以被操作和变形，以便正确地定向到捕获的图像上。这可以使得外科医生在手术期间能够从叠加在实时图像数据上部的预存的图像中可视化解剖的标记。在一些实施方式中，用户可以通过语音指令或眼睛运动在不同视图之间切换以选择菜单项目、辅助控制或其他输入。例如，用户可以在成像装置100的图像的实时馈送和一个或多个附加成像器305捕获的图像的实时馈送之间切换。
运动追踪模块311可以配置为确认显示装置200和成像装置100以及任何附加成像器305相对于手术部位的位置和方向。如上所述，追踪器303可以光学地或通过其他技术追踪显示装置200、成像装置100和任何附加成像器305。该位置和方向数据可以用于通过显示模块309提供适当的显示输出。
配准模块313可以配置为配准手术框架中的全部图像数据。例如，可以从运动追踪模块311接收显示装置200、全光成像装置100和任何附加成像器305的位置和方向数据。可以从数据库317或从其他资源接收附加图像数据，例如术前图像。通常不会从显示装置200、成像装置100或任何附加成像器305的视图记录附加图像数据(例如x射线、mri、ct、荧光镜检查、解剖图像等)。因此，补充图像数据必须经过处理和操作，以便以通过显示装置200的显示设备209以适当的视图呈现给用户。配准模块313可以通过将术前图像中检测到的解剖基准标记物或人工基准标记物与通过手术导航系统、显示装置200、成像装置100或其他附加成像器305检测到的那些相同的解剖基准标记物或人工基准标记物进行比较，来配准参照的手术框架中的补偿图像数据。
图像捕获模块315可以配置为从成像装置100，以及任何附加成像器305中捕获图像数据。捕获的图像可以包括连续的视频流和/或静止图像。在一些实施方式中，附加成像器305中的一个或多个可以为全光相机，在这种情况下，图像捕获模块315可以配置为接收光场数据并处理该数据以渲染特定图像。
图4示出了在外科手术期间手术中的介导现实可视化系统。外科医生401在患者的手术部位403上手术期间佩戴头戴式显示装置200。成像装置100安装至关节臂以定位在手术部位403上方。追踪器303跟随显示装置200和成像装置100的运动和位置。如上所述，追踪器303可以通过光学追踪、声波检测或电磁检测或任何其他合适的方法以位置追踪来确认显示装置200和成像装置100上的基准标记物的位置和运动。在一些实施方式中，跟踪器303可以手术导航系统的一部分，例如美敦力公司(medtronic)的
在外科医生401手术时，通过成像装置100捕获的图像被处理并通过显示装置200内的集成的显示设备209(图2b)立体地显示给外科医生。结果为外科医生的视野或由成像装置100捕获的数据产生的任何其他所需视图的介导现实表示。如上所述，附加图像数据或其他数据也可以被集成并显示给外科医生。呈现给外科医生401的显示数据可以同时实时地或延迟地流至远程用户405。该远程用户405同样可以佩戴配置有集成的立体显示器的头戴式显示装置407，或者显示数据可以通过外部显示器呈现给远程用户405。在一些实施方式中，远程用户405可以远程控制手术机器人，在向远程用户405提供临场感和透视感的情况下，允许执行远程手术以改善手术的可视化。在一些实施方式中，多个远程用户可以从多个不同全光相机和设置在手术部位周围的其他成像设备渲染的不同视角同时观看手术部位。
成像装置100和/或显示装置200可以响应于语音指令或甚至追踪外科医生的眼睛——因此，使得外科医生401能够在馈送之间切换并调整所采用的放大率级别。具有患者的生命体征(ekg、eeg、sseps或meps)、成像(ct、mri等)和外科医生所需的任何其他信息的头戴式显示器可以应外科医生的要求而移动，从而消除了中断手术流程以评估外部监控器或咨询麻醉师团队的需要。无线网络可以使成像装置100和/或显示装置200具有与处理器(例如计算组件307)通讯的能力，该处理器可以使用从诸如自动对焦的简单工具到荧光视频血管造影(fluorescencevideoangiography)和肿瘤“涂料(paint)”为外科医生增大视觉工作环境。成像装置100和显示装置200可以代替对昂贵的手术显微镜甚至是不久将来的远程机器人工作站的需要——展示了当前的显微镜和内窥镜结合使用的“定制”玻璃放大镜系统的经济替代品。
头戴式显示装置200可以聚合多个视觉信息流，且不仅将其传送至外科医生以用于可视化，而且将其传送至远程处理能力(例如计算组件307(图3))以用于实时分析和修改。在一些实施方式中，系统可以利用模式识别来帮助识别需要注意的解剖结构和出血源，从而充当数字手术助理。教科书或自适应解剖学(adaptiveanatomy)的实时叠加可以帮助识别结构和/或充当住院医师和其他学习者的教具。在一些实施方式中，系统可以配备有与手术野(surgicalfield)交互的附加技术；例如，成像装置100可以包括激光雷达(lidar)，该激光雷达可以帮助分析组织性能或实时映射手术野，从而帮助外科医生做出关于切除范围等的决定。在一些实施方式中，集成到成像装置100中的光源105可以被“教导”(例如通过机器学习技术)如何最佳地照亮特定手术位置或提供不同波长的光以与生物荧光剂相互作用。
在一些实施方式中，从成像装置100和其他成像器记录的数据随后可以用于产生手术部位的不同视角和可视化。例如，可以生成供以后重放的记录的数据、具有不同的放大率、不同的附加图像数据的集成和/或不同视点的图像。这对于回顾程序或培训目的特别有用。
在一些实施方式中，可以追踪外部工具的位置以进行输入。例如，可以追踪手术刀或其他手术工具的尖端(例如使用追踪器303)，并且放大的体积可以位于手术刀或其他手术工具的尖端的位置。在一些实施方式中，手术工具可以包括用于系统或其他手术系统的触觉反馈或物理控制。在手术工具为电子控制或机电控制(例如在远程手术期间，使用手术机器人控制工具)的情况下，那些工具的控制件可以根据可视化模式来修改。例如，当工具设置在物理体积内以进行视觉转换(例如放大)，工具的控制件可以被修改以补偿视觉缩放、旋转等。这允许控制件在视觉上转换的视图和周围视图内保持相同。即使是在工具和手术部位的可视化被修改的情况下，该工具控制件的修改也可以帮助外科医生在远程手术期间更好地控制工具。
来自于位于靠近有利点的环境中的附加相机的信息可以与耦合至头戴式显示器的成像器的图像融合，从而提高放大有利区域的能力。深度信息可以从深度传感器中生成或获得，并用于通过将焦面与场景的物理几何体共同定位，使整个场景成为焦点。与其他介导现实一样，数据可以被渲染并在环境中可视化。使用光场捕获和渲染可以允许在遮蔽区域周围观察并可以去除镜面反射。在一些实施方式中，光场的处理还可以用于增加组织类型之间的对比。
虽然图4中示出的实施例包含手术，但是本技术的实施方式可有效地应用于各种领域。例如，包括全光成像装置和头戴式显示装置的介导现实可视化系统可以用于建筑、制造、服务行业、游戏、娱乐以及增强的可视化是有益的各种其他环境中。
图5为根据本技术的一个实施方式的用于捕获和渲染增强的可视化的光场的方法的框图。程序500开始于框501。在框503中，校准成像装置100。该校准可以通过与成像装置100和/或头戴式显示装置200有线或无线通讯的远程电子器件(例如计算组件307)来执行。或者在一些实施方式中，该处理可以通过头戴式显示装置200携带的控制电子器件215a-b执行。在一些实施方式中，校准和成像处理步骤可以通过成像装置100携带的控制电子器件来执行。校准成像装置100可以包括估算各个成像设备101的内部参数(即透镜模式)，以及估算各个成像设备101的外部参数(即参考的整体框架中的位置和旋转，本文中称为设备的“姿势”)。估算的内部参数可以用于将成像设备101的原始输入图像转换为从完美针孔投影模式等同地生成的数据，并可用于下文描述的技术中。
对于成像装置100的阵列中的各个成像设备101，可以估算以下内部参数：
(f)，透镜的焦距，用像素表示；
(cx)，透镜焦点中心距图像中心的x偏移量，以及
(cy)，透镜焦点中心距图像中心之间的y偏移量。
用于校正透镜畸变效果(lensdistortioneffects)的一系列参数也可以被估算。透镜畸变导致世界中(其中，透视投影投射为图像中的直线)的直线呈现弯曲，例如鱼眼效果。
当结合相机姿势时，以上参数为具有透镜畸变的针孔相机模型提供足够的信息。针孔模型可以用于将世界中的点投影到相机的图像感应器上的像素上，同样可以将图像像素投影为世界中的光线。输入图像中的噪声和非线性优化标准可能意味着需要多个图像来实现可接受的校准精度。对于数码相机，图像噪声可以来自几种源：
感应器噪声：相机感应器自身由于热效应和量子效应(涂抹(smearing)、晕染(blooming)、扩散、传输效率或动态范围)而增加了与“真实”值的随机偏移量。
量子化：连续信号在空间和值上都被量化的事实妨碍了图像特征的精确定位。
光学的：诸如不完全聚焦的光学效应，以及色差混淆了精确地识别的每像素级别的图像中的特征。
在获取成像装置100中的每个成像设备101的校准参数之后，可以估算相对于彼此的姿势，其中姿势包括相对于参考坐标系的位置信息和旋转信息。如下文更详细描述的，随后精准的姿势信息可以用于几何体的获取以及光场渲染。因为渲染器假设对于通过阵列中的成像设备101捕获的每个光线具有精确空间坐标和方向，所以姿势信息和成像设备校准可以特别地用于光场渲染。如果设备的校准和姿势估算甚至偏离一个像素，那么最终图像可能包含了相邻空间区域的图像，导致模糊效应。因此，精确的校准和姿势信息可以有益于获得清晰的图像。
在一些实施方式中，已知的基准标记物可以通过成像装置100成像，并且可以用于估算每个成像设备的姿势。例如aruco文库可以用于方形基准标记物检测，如在opencv中实施的。当检测已知物理尺寸的标记物并给出精确的设备校准参数时，aruco将提供设备相对于基准标记物的姿势。此外，由于成像设备中的传感器噪声，因此在计算的姿势中可能存在一定程度的不确定性。在一些实施方式中，已知的基准标记物阵列可以用于增加姿势估计的精确度。通过平均几个单独的姿势估算，例如使用非线性姿势估算，可以进一步减小计算的姿势中的噪声。
一旦估算了姿势和设备的校准参数，程序500在框505中继续获取场景几何信息。如前所述，使用稀疏成像设备阵列的光场渲染受益于对场景几何体的合理良好估算。在一些实施方式中，场景几何体可以使用结构光技术来估算，例如基于在opencv中实施的3dunderworld-sls方法的版本。使用立体成像设备对的几何体重建的基本原理是三角测量(triangulation)。假设校准了成像设备，并且该成像设备的姿势相对于一些坐标系是已知的，那么对于图像中的每个像素，从成像设备的中心开始并穿过该像素，光线可以投影到世界中。如果通过两个成像设备看到相同的世界点，并且被成像的点的相应的像素是已知的，那么找到光线的交叉点以定位世界中的点是简单的事情。
实施这种三角测量的复杂性出现在现实世界中。第一个问题涉及确定成像设备b中的哪个像素表示与成像设备a中的特定像素相同的世界点。第二个问题是由于来自于传感器噪声和量化效应的不确定性。即使具有亚像素精确度，传感器噪声可以阻止在不同成像设备的像素之间的完美映射。同样地，来自点对应的投影的光线可能实际上不相交。
结构光通过将已知的图案投影到场景中解决了对应问题。例如，集成到成像装置100中的投影仪107可以用于将已知图案投影到成像设备101的视野中。在一个实施方式中，投影的光形成1维二进制格雷码(1-dimensionalbinarygraycode)，首先是水平方向，然后是垂直方向。因此，每个成像设备图像像素可以唯一地与投影仪107的源像素相关联。在一些实施方式中，该程序包括收集对应于2log2(投影仪分辨率)+2个图像的若干图像以用于几何体捕获，例如在具有1280×800分辨率仪的情况下的44个图像。
结构光对应可能仍然无法实现完美的几何体捕获。由于每个成像设备101的分辨率可以高于投影仪的有效成像的分辨率，因此每个仪像素填充每个成像设备101的多个像素。对于下文描述的(再)投影步骤，可以使用由成像设备101捕获的图像中的平均亚像素坐标。然而，如果场景几何体是足够倾斜的或反射的，使得不充足的光线到达成像设备101以进行解码，那么在所有成像设备101和投影仪107的全视图中可能存在缺失信息的区域。
通过找到相对于平方距离之和的最接近全部投影光线的点，可以解决接近但不相交的问题。在一些实施方式中，光场渲染需要无孔发连续网格，而结构光系统的输出为具有缺失信息的点云(pointcloud)。在这样的实施方式中，缺失信息可以如下填充。因为仅可以对通过一个以上的成像设备101看到并通过投影仪107照射的世界点执行三角测量，因此每个成像设备101从被其遮挡的非凸几何区域捕获“阴影”。填充空白的一个办法是相对于场景旋转成像设备101和投影仪107，然而，这延长了捕获时间并且需要额外的点云配准步骤。可选地，另一个成像设备101可以以这样的方式放置，即实际上“照亮”虚拟阴影(并另外地提供冗余信息)，只留下真正的阴影。同样地，第二投影仪可以提供真正的阴影区域中的信息。通过在阵列中使用多个成像设备101(例如，使用10个成像设备101)，成像装置100跨数个视角捕获冗余信息，仅留下投影仪107投影的任何真实阴影。
为了从点云创建密集网格，程序可以执行以下步骤：
1.校准投影仪：解码的格雷码直接将每个世界点与投影仪像素相关联。该相关性用于以与校准成像设备相同的方法估算投影仪内在函数的粗略校准。
2.创建稀疏深度映射：使用来自步骤1的校准参数将点云投影到平面上，就像投影仪是观察点云的相机一样。
3.创建密集深度映射：由于校准估算和真正事实之间的轻微偏差，在投影中以及在未能正确地解码的区域上将会有孔洞。这些孔洞可以通过从具有良好数据的附近区域进行插值来填充。虽然不完美，但是这种技术对于光场渲染应用来说已经足够了。虽然仍然会存在具有缺失数据的区域，但是将存在密集深度信息的连通分量(connectedcomponent)。
4.创建网格：密集深度映射中的每个有效像素都是网格中的顶点。步骤1中的校准参数可以用于投影像素以获得顶点坐标。面可以定义为来自相邻像素的顶点的三角形。
一旦场景几何体信息被捕获为网格，则程序500在框507中继续，其中在头戴式显示装置200中查询位置和虚拟相机参数。如上所述，头戴式显示装置200的位置可以通过追踪器303追踪。第一眼睛追踪器和第二眼睛追踪器221a-b可以用于确认用户的瞳孔间距(ipd)，且虚拟相机可以相应地定位。在框509中，虚拟相机中的立体图通过头戴式显示装置200来渲染。如下文更详细描述的，虚拟相机中的视图可以使用成像装置100的成像设备101的加权融合(weightedblend)。
图6为基于从两个不同物理成像设备(c1和c2)中收集的光场数据渲染虚拟相机(cv)的示意图。光场渲染包括从采样的光场、例如通过成像装置100所捕获的广场中合成最新的立体图。与每个相机c1和c2相关联的是旋转、平移和内部参数(焦距、失真等)的值。如果可以访问连续光场，那么对于每个虚拟像素，渲染虚拟相机cv中新视图将包括，使用cv的相机模型对将通过该像素投影的光线进行采样。结果是到处都是完美聚焦的图像，完美的针孔渲染。然而，在成像设备的稀疏阵列中，这种方法是不可能的。
考虑到在cv的成像平面上的单个像素pv。忽略透镜畸变，光线rv可以从穿过像素pv的虚拟相机cv的针孔投影到世界中。在虚拟相机cv是真实的情况下，沿rv的第一物体是通过像素pv成像的。假设在沿光线rv的点ω处存在待成像的东西(例如，表面上的点)，如果对于真实相机的像素值pi在它们的视野中具有点ω，那么可以查询任何真实相机(例如相机c1或c2)。例如，真实相机c1的像素p1沿光线r1成像点ω，且真实相机c2的像素p2沿光线r2也成像点ω。每个虚拟像素的所有点ω的集合形成焦面，该焦面是从cv角度看的高度图。
如果n个真实相机成像点ω，那么就需要一种方案为虚拟像素pv分配值，该虚拟像素pv基于从n个真实相机收集的数据成像点ω。在一些实施方式中，程序可以使用像素值pis的加权融合，其中给定的像素pi的权重为虚拟光线rv和对应的真实相机ri的光线之间的角距离、以及点ω处的表面法线(surfacenormal)和虚拟光线rv之间的角距离的函数。可以假设虚拟相机cv的焦面与先前在框505中获取的场景几何体密切一致。然后可以基于灵敏度分析分配权重。在一个实施方式中，灵敏度分析可以包括以下步骤：
1.对于虚拟像素pv，找到它的光线rv与点ω处的焦面的交点，该焦面位于局部近似平面p上(每个像素使用其自身的焦面来单独处理)。
2.对于每个真实相机ci，沿对应的光线ri将点ω反向投影到真实像素pi。
3.沿焦面的法线将焦面扰动量μ，该量μ表示实际几何体所在位置的估计的不确定性。
4.找到ri的ω’i与p+δμ的交叉点。
5.将ω’i投影到亚像素位置p’vi处的cv中。
6.使得di＝||pvp’vi||2为ci的灵敏度差异。
7.对于一些函数f1(d)和归一化因子ν，选择li＝νf1(di)作为pi的权重，因此权重总和为1。
对每个虚拟像素pv重复步骤1-7。在图6所示的实施例中，由于光线r2比光线r1更靠近曲面法线，因此真实像素p2将接收比真实像素p1更大的权重(d2＜d1)。
函数f1(d)可以与径向基函数(radialbasisfunction)相似，并且可以选中为使得归一化权重迅速下降，并绝大多数偏好具有最低差异的光线。例如，可以使用具有长恒定尾(longconstanttail)的径向厄米特样条(hermitespline)，对于表面后面的光线夹具权重(clampweights)为0。即使当最佳的真实光线与虚拟光线具有非常大的角距离，长尾确保将存在至少一些渲染的数据。在样条结束和尾部开始的情况下，置信度阈值(confidencethreshold)是可调参数，该可调参数可以被设定以适应不同相机的几何体——密集阵列提供较低的置信度阈值。在一些实施方式中，在所有权重之和低于阈值的情况下，渲染的图像的选择区域可以人为变暗以在视觉上指示高水平的不确定性，同时还提供虚拟相机应当看到什么的最合理的猜测。
这种用于计算权重的方法是对场景中光路的概率处理的近似。这可以将高权重分配至那些考虑到预期的不确定性，有较大可能实际上被投影至pv的像素pi。像素不是单个点，而是将入射光集成在有限区域上。更完整的模型可以考虑将每个像素的立体角(solidangle)投影到场景中，在其集成光的位置上进行一些分布。权重将反映这些投影的可能性分布。在一些实施方式中，该近似可用于计算方便。
程序在框511中结束。可以重复框503-509中概述的过程。由于光场捕获和图像显示之间的去耦合，因此与框507和509相比，框503和505可以以不同的帧速率独立地并平行地执行。
在一些实施方式中，可以使用光场渲染技术估算并去掉镜面反射。镜面反射是出现在起镜面的物体上的直接反射的光的亮点。如果没有针对镜面反射做出调整，那么当虚拟相机在周围移动时，通过真实相机捕获的镜面反射将根据像素的权重出现渐显或渐出，而不是如预期横跨表面追踪。为了模拟真实的镜面反应，确定以下内容是有益的：1)表面的漫反射(粗糙层(matte))颜色性能，2)表面几何体，3)场景中光线的位置。如上所述，表面几何体可以按照关于框505所描述的来估算。另外，成像装置100可以配备相对于成像设备101定位在已知位置的光源105。同样地，待确定的剩余性能是表面的漫反射(粗糙层)颜色性能。在一些实施方式中，这些性能可以通过在一系列曝光中使用相互正交二进制代码调制光源105的开关值来确定，类似于在码分多址(codedivisionmultipleaccess)方案中采用的方法。代码的正交性允许后置处理步骤分离每个光源105的贡献，以及背景光的贡献，产生堆栈(例如，在装置具有8个光源的情况下9个图像的堆栈)，每个堆栈仅具有一个激活的光源(除了环境条件以外的8个光源)。
通过在逐像素(per-pixel)的基础上检查强度的分布，可以按照漫反射值分配中值——最亮的值表示可能存在镜面高亮区，最暗的值表示当像素处于阴影中的情况。通过对中强度值进行平均，得到的图像可以去除几乎所有的镜面高亮区。对于像素强度变化给出了通过该像素看到的表面有多光滑的良好指示。结合估算的几何体和表面法线，该信息允许在虚拟相机位置相对于成像的表面移动时，模拟移动的镜面高亮区。
实施例
1.一种介导现实可视化系统，其包括：
头戴式显示装置，其包括——
前侧，其面向第一方向；
后侧，其与所述前侧相对、且面向与所述第一方向相对的第二方
向，所述后侧配置为在用户佩戴时，面向用户的脸；以及立体显示设备，其面向所述第二方向，所述立体显示设备包括第
一显示器和第二显示器，其中，当所述头戴式显示装置被用户佩戴时，所述第一显示器配置为将图像显示至所述用户的右眼，所述第二显示器配置为将图像显示至所述用户的左眼；以及
成像装置，其与所述头戴式显示装置分离并间隔开来，所述成像装置配置为捕获光场数据；以及
计算设备，其与所述立体显示设备和所述成像装置通讯，所述计算设备配置为——
接收来自所述成像装置的所述光场数据；
处理所述光场数据以渲染第一虚拟相机和第二虚拟相机；以及
通过在所述第一显示器上显示来自所述第一虚拟相机的图像以及在所述第二显示器上显示来自所述第二虚拟相机的图像，经由所述立体显示设备呈现实时的立体图像。
2.根据实施例1所述的介导现实可视化系统，其中，所述成像装置包括至少8个成像设备。
3.根据实施例1或2所述的介导现实可视化系统，其中，所述成像装置包括全光相机。
4.根据实施例1-3中任一项所述的介导现实可视化系统，其中，所述成像装置耦合至可定位在工作点位上的关节臂。
5.根据实施例1-4中任一项所述的介导现实可视化系统，其中，在与所述头戴式显示装置的用户的眼睛位置对应的位置处渲染所述第一虚拟相机和所述第二虚拟相机。
6.根据实施例1-4中任一项所述的介导现实可视化系统，其中，在与所述头戴式显示装置的用户的眼睛的位置不同的位置处渲染所述虚拟相机。
7.根据实施例1-6中任一项所述的介导现实可视化系统，其中，来自所述第一虚拟相机的图像和来自所述第二虚拟相机的图像均包括非平面焦面。
8.根据实施例7所述的介导现实可视化系统，其中，焦面对应于成像的场景的估算的表面几何体。
9.根据实施例1-8中任一项所述的介导现实可视化系统，其中，所述计算设备还配置为：
接收辅助图像数据；
处理所述辅助图像数据；以及
在所述第一显示器和/或所述第二显示器中呈现来自所述辅助图像数据的处理过的辅助图像。
10.根据实施例9所述的介导现实可视化系统，其中，所述辅助图像数据包括以下中的至少一个：荧光图像数据、磁共振成像数据、计算机断层摄影图像数据(computedtomographyimagedata)、x射线图像数据、解剖图像数据和生命特征数据。
11.根据实施例1-10中任一项所述的介导现实可视化系统，其中，所述计算设备还配置为将所述实时的立体图像呈现至第二头戴式显示装置。
12.根据实施例1-11中任一项所述的介导现实可视化系统，其中，所述成像装置还包括：
多个单独地可控光源，其配置成照亮待成像的场景；以及
投影仪，其配置为将图像投影至待成像的场景中。
13.一种介导现实可视化系统，其包括：
成像装置，其配置为捕获光场数据；
头戴式显示装置，其与所述成像装置分离并间隔开来，所述头戴式显示装置包括——
框架，其配置为佩戴在用户的头部；以及
显示设备，其耦合至所述框架，所述显示设备配置为朝向所述用户的眼睛显示图像；
计算设备，其与所述显示设备以及一个或多个所述成像设备通讯，所述计算设备配置为——
接收来自所述成像装置的所述光场数据；
从所述光场数据渲染至少一个虚拟相机；以及
通过所述显示设备呈现来自所述至少一个虚拟相机的图像。
14.根据实施例13所述的介导现实可视化系统，其中，所述成像装置包括以下中的至少一个：全光相机或至少八个相机。
15.根据实施例13或14所述的介导现实可视化系统，其中，所述计算设备配置为当用户佩戴所述框架时，在与所述用户的眼睛位置对应的位置处渲染所述至少一个虚拟相机。
16.根据实施例13-15中任一项所述的介导现实可视化系统，其中，所述计算设备配置为实时地呈现所述图像。
17.根据实施例13-16中任一项所述的介导现实可视化系统，其中，所述计算设备配置为通过渲染捕获的光场的一部分的放大图来渲染所述至少一个虚拟相机。
18.一种用于提供介导现实可视化的方法，所述方法包括：
通过成像装置捕获光场数据；
处理所述光场数据以渲染至少一个虚拟相机；以及
通过头戴式显示器显示来自所述虚拟相机的图像，其中，所述头戴式显示器与所述成像装置分离并间隔开来。
19.根据实施例18所述的方法，还包括：
处理所述光场数据以渲染两个虚拟相机；以及
通过所述头戴式显示器立体显示来自所述两个虚拟相机的图像。
20.根据实施例18或19所述的方法，其中，渲染所述至少一个虚拟相机包括当所述显示器安装至用户的头部时，在与所述用户的眼睛位置对应的位置处渲染所述至少一个虚拟相机。
21.根据实施例18-20中任一项所述的方法，还包括：
接收辅助图像数据；
处理辅助图像数据；以及
通过所述头戴式显示器显示所述辅助图像数据。
22.根据实施例18-21中任一项所述的方法，其中，渲染所述至少一个虚拟相机包括渲染捕获的光场的一部分的放大图。
结论
上述本技术的实施方式的详细描述并不旨在详尽或将技术限制于上述公开的确切形式。虽然已经上面以说明性的目的描述了本技术的具体实施方式和实施例，但是相关领域的技术人员将认识到在本技术的范围内的各种等效修改是可行的。例如，当以给定顺序呈现步骤时，可选的实施方式可以以不同的顺序执行步骤。还可以结合本文描述的各种实施方式以提供进一步的实施方式。
由以上可知，将要理解的是，本文已经描述的本发明的具体实施方式是为了说明性的目的，但是并未具体展示或描述众所周知的结构和功能，以避免不必要的模糊本技术的实施方式的描述。在上下文允许的情况下，单数术语或复数术语还可以分别包括复数术语或单数术语。
此外，关于两个或两个以上术语列表，除非单词“或者”明确地限定为仅意味着单项术语而排出其他术语，否则在这样的列表中使用“或者”则被解释为包括(a)该列表中的任意单项术语，(b)该列表中的全部术语，(c)该列表中术语的任意结合。另外，术语“包括”自始至终用于表示包括至少所陈述的特征，使得不排除任何更多数量的相同特征和/或其他特征的附加类型。还应当领会的是，虽然本文已经以说明的目的描述了具体的实施方式，但是在不脱离本技术的情况下可以做出各种修改。进一步地，尽管已经在那些实施方式的上下文中描述了与本技术的那些实施方式相关的优势，然而其他的实施方式也可以显示这些优势，并且不是全部的实施方式必须一定要显示出这样的优势以落入本技术的范围之内。因此，本公开和相关技术可涵盖本文未明确示出或描述的其他实施方式。
- 还没有人留言评论。精彩留言会获得点赞！