用于管理描绘颜色偏差内容的图像帧的自动曝光的装置、系统和方法与流程

用于管理描绘颜色偏差内容的图像帧的自动曝光的装置、系统和方法
1.相关申请
2.本技术要求对2020年7月10日提交的美国临时专利申请号63/050,583具有优先权，该专利申请的全部内容通过引用并入本文。


背景技术：

3.自动曝光算法通过分析图像帧以确定图像帧所描绘的场景中存在多少光并基于该分析更新捕获图像帧的图像捕获设备的自动曝光参数来操作。以这种方式，可连续更新自动曝光参数，以使图像捕获设备为正在捕获的图像帧提供所需的曝光量。如果没有良好的自动曝光管理，在图像捕获过程中可能会由于过度曝光(例如，由于饱和度而丢失细节并且图像看起来太亮)或曝光不足(例如，由于噪声而丢失细节并且图像看起来太暗)而丢失细节。
4.虽然常规的自动曝光算法足以为多种类型的图像提供服务，但描绘颜色偏差(color-biased)内容(例如，偏向色谱的一部分而不是具有多种颜色的平衡的内容)的图像可能会带来特殊的挑战。例如，某些颜色与其他颜色相比，亮度自然较低，从而使该颜色看起来较暗。当常规的自动曝光算法处理描绘这种颜色偏差内容的图像帧时，算法可能会使图像帧过度曝光或曝光不足和/或遇到其他不希望的问题。


技术实现要素：

5.下面的描述呈现了本文描述的装置、系统和方法的一个或多个方面的简化概述。该概述不是对所有预期方面的广泛概述，并且既不旨在标识所有方面的关键或决定性要素，也不旨在标明任何或所有方面的范围。其唯一目的是呈现本文描述的系统和方法的一个或多个方面，作为下文呈现的详细描述的前奏。
6.用于管理图像帧的自动曝光的说明性装置可包括一个或多个处理器和存储可执行指令的存储器，当由一个或多个处理器执行时，该可执行指令使装置执行本文所描述的各种操作。例如，该装置可以确定由图像捕获系统捕获的图像帧的偏色度量(color-skew metric)。偏色度量可以指示图像帧偏移到特定颜色的程度。基于偏色度量和自适应目标控制函数，该装置可以确定帧自动曝光目标。基于帧自动曝光目标，该装置可更新一个或多个自动曝光参数，以供图像捕获系统用于捕获附加图像帧。
7.用于管理图像帧的自动曝光的说明性系统可以包括照明源、图像捕获设备和一个或多个处理器。照明源可以被配置为在医疗程序期间照亮身体内的组织。图像捕获设备可以被配置为在医疗程序期间捕获图像帧序列。图像帧序列可以包括描绘身体的内部视图的图像帧，该图像帧表征由照明源照明的组织。一个或多个处理器可以被配置为确定图像帧的偏色度量。偏色度量可以指示图像帧偏移到红色的程度。基于偏色度量和自适应目标控制函数，一个或多个处理器可以确定帧自动曝光目标。基于帧自动曝光目标，一个或多个处理器可以更新一个或多个自动曝光参数，以供图像捕获设备或照明源在捕获图像帧序列的
附加图像帧时使用。
8.说明性非暂时性计算机可读介质可存储指令，该指令在执行时使计算设备的一个或多个处理器执行本文所描述的各种操作。例如，一个或多个处理器可以确定由图像捕获系统捕获的图像帧的偏色度量。偏色度量可以指示图像帧偏斜到特定颜色的程度。一个或多个处理器还可以在给定偏色度量的输入的情况下确定自适应目标控制函数的输出。基于自适应目标控制函数的输出，一个或多个处理器可以更新一个或多个自动曝光参数，以供图像捕获系统用于捕获附加图像帧。
9.用于管理图像帧的自动曝光的说明性方法可以包括本文描述的各种操作，其中的每一个可以由计算设备(诸如本文描述的自动曝光管理装置)执行。例如，该方法可包括确定由图像捕获系统捕获的图像帧的偏色度量。偏色度量可以指示图像帧偏移到特定颜色的程度。该方法可以进一步包括基于偏色度量确定帧自动曝光目标，并确定帧自动曝光值。该方法可以进一步包括基于帧自动曝光目标和帧自动曝光值更新一个或多个自动曝光参数，以供图像捕获系统用于捕获附加图像帧。
附图说明
10.附图图示了各种实施例并且是说明书的一部分。所图示的实施例仅是示例并且不限制本公开的范围。在整个附图中，相同或相似的附图标记表示相同或相似的元件。
11.图1示出了根据本文描述的原理用于管理图像帧的自动曝光的说明性自动曝光管理装置。
12.图2示出了根据本文描述的原理用于管理图像帧的自动曝光的说明性自动曝光管理方法。
13.图3示出了根据本文描述的原理用于管理图像帧的自动曝光的说明性自动曝光管理系统。
14.图4示出了根据本文描述的原理的说明性图像帧和图像帧的偏色特性。
15.图5示出了根据本文描述的原理用于管理图像帧的自动曝光的说明性流程图。
16.图6示出了根据本文描述的原理用于确定图像帧的偏色度量的说明性技术。
17.图7示出了根据本文描述的原理描绘分解的颜色数据的色度特性的说明图。
18.图8示出了根据本文描述的原理，用于量化颜色偏移以作为偏色度量的确定的一部分的说明性流程图。
19.图9示出了根据本文描述的原理基于偏色度量来确定帧自动曝光目标的说明性技术。
20.图10a-图10d示出了根据本文描述的原理的各种自适应目标控制函数的说明性实现方式。
21.图11示出了根据本文描述的原理更新自动曝光参数的说明性技术。
22.图12示出了根据本文描述的原理的说明性计算机辅助医疗系统。
23.图13示出了根据本文描述的原理的说明性计算系统。
具体实施方式
24.本文描述了用于管理图像帧的自动曝光的装置、系统和方法。如上所述，当图像帧
描绘的内容在色谱上更加均衡时，对描绘颜色偏差内容的图像帧的自动曝光管理可能会带来独特的挑战。例如，如果图像帧向相比于其他颜色与更低亮度相关联的特定颜色偏移，并且自动曝光管理没有适当考虑该偏移，则可以标识出过高的自动曝光目标。这可能导致后续图像帧过度曝光。例如，自动曝光算法可能会试图使看起来很暗的图像变亮，这是因为它们的色度向看起来自然暗的颜色偏移，而不是因为场景的照明不足。发生这种情况时，自动曝光算法可能会使与图像帧向其偏移的特定颜色相关联的通道饱和，从而导致后续图像帧的颜色不准确，以及过度曝光导致的细节丢失。例如，如果图像帧向其偏移的颜色为红色，并且随着自动曝光算法过度曝光后续图像帧，红色通道饱和，后续图像帧中的红色可能会呈现对于所捕获影像来说不真实的橙色色调。
25.作为这类问题可能发生的一个示例，将考虑在身体上的医疗程序(例如，手术程序等)期间捕获身体内部视图的内窥镜图像捕获设备。由于血液和血组织在人体内普遍存在，在这种情况下，图像捕获设备可以捕获向红色(例如，内部视图中描绘的与血液相关联的颜色)偏移的图像帧。由于红色可能与低亮度相关联(例如，即使暴露于和/或反射与其他颜色相同量的光时，红色看起来也比其他颜色暗)，因此此类图像帧可能容易出现上述过度曝光和红色饱和度问题(例如，在某些示例中，使血液看起来略呈橙色)。
26.本文所描述的装置、系统和方法提供自动曝光管理，以解决描绘颜色偏差内容的图像(例如，偏向一种颜色(如红色)的影像)的这些和其他问题。例如，本文所描述的自动曝光管理可评估、量化和以其他方式确定图像帧的颜色偏移(例如，图像帧向特定颜色偏移的程度或度)，并可在确定自动曝光目标(例如，后续图像帧的自动曝光算法目标的亮度)时考虑该颜色偏移。通过这种方式，自动曝光管理可以避免过度补偿与某些颜色相关联的潜在误导性亮度(例如，红色看起来比其他颜色暗的事实)，并避免过度曝光、曝光不足和/或可能是这种过度补偿的结果的通道饱和。
27.在整个本说明书中，将参考涉及诸如上文所介绍的身体的血性内部的内窥镜视图的医疗程序示例，以说明所要求保护的主题的各个方面。然而，应当理解，血性(并因此严重红色偏移)场景的内窥镜图像仅作为示例，本文所述的原理可在各种实现方式中应用于任何合适类型的颜色偏差内容，以服务于特定应用或用例。例如，作为几个附加示例，本文所述的自动曝光管理可应用于捕获红色对象的特写图像、捕获被涂成红色的房间中的场景、捕获某些风景(例如，落日、秋天的红叶等)。此外，本文所述的原理可适用于具有不同于红色的颜色(例如，蓝色、黄色、紫色等)的各种颜色偏差图像和场景，其色度属性可类似地致使这些颜色比常规自动曝光算法所考虑的颜色自然呈现出更多或更少的发光。
28.现在将参考附图详细描述各种具体实施例。将理解，以下描述的特定实施例作为各种新颖和创造性原理如何应用于各种情况的非限制性示例来提供。此外，应当理解，本文未明确描述的其他示例也可由所附权利要求的范围涵盖。本文所述的自动曝光管理装置、系统和方法可提供上述任何益处，以及下文将描述和/或显而易见的各种附加和/或替代益处。
29.图1示出了根据本文描述的原理用于管理图像帧的自动曝光的说明性自动曝光管理装置100(装置100)。装置100可由包括在图像捕获系统(例如，内窥镜图像捕获系统等)内的计算机资源(例如，服务器、处理器、存储器设备、存储设备等)、与图像捕获系统相关联的计算系统的计算机资源(例如，通信地耦合到图像捕获系统的)和/或由可服务于特定实现
方式的任何其他合适的计算资源来实现。
30.如图所示，装置100可包括(但不限于)存储器102和处理器104，其选择性地和通信地彼此耦合。存储器102和处理器104可以各自包括或由被配置为存储和/或处理计算机软件的计算机硬件来实现。图1中未明确示出的计算机硬件和/或软件的各种其他部件也可以包括在装置100内。在一些示例中，存储器102和处理器104可以分布在可以服务于特定实现方式的多个设备和/或多个位置之间。
31.存储器102可以存储和/或以其他方式维护处理器104使用的可执行数据，以执行本文描述的任何功能。例如，存储器102可存储可由处理器104执行的指令106。存储器102可以由一个或多个存储器或存储设备(包括本文描述的任何存储器或存储设备)实现，该一个或多个存储器或存储设备被配置为以暂时性或非暂时性方式存储数据。指令106可以由处理器104执行，以使装置100执行本文描述的任何功能。指令106可以由任何合适的应用、软件、代码和/或其他可执行数据实例来实现。此外，存储器102还可以维护处理器104在特定实现方式中访问、管理、使用和/或传输的任何其他数据。
32.处理器104可由一个或多个计算机处理设备实现，包括由通用处理器(例如，中央处理单元(cpu)、图形处理单元(gpu)、微处理器等)、专用处理器(例如，专用集成电路(asic)、现场可编程门阵列(fpga)等)、图像信号处理器等实现。使用处理器104(例如，当处理器104被指示执行由存储在存储器102中的指令106表示的操作时)，装置100可以执行与管理描绘颜色偏差内容(例如，偏移到特定颜色诸如血液红色的内容，身体内部的内窥镜图像通常偏移到该颜色)的图像帧的自动曝光相关联的各种功能。
33.图2示出了根据本文描述的原理的说明性自动曝光管理方法200(方法200)，装置100可以执行该方法来管理图像帧的自动曝光。尽管图2示出了根据一个实施例的说明性操作，但其他实施例可以省略、添加、重新排序和/或修改图2中所示的任何操作。在一些示例中，图2所示的多个操作可以彼此并发(例如，并行)执行，而不是如图所示顺序执行。图2所示的一个或多个操作可由自动曝光管理装置(例如，装置100)、自动曝光管理系统(例如，下文所述的自动曝光管理系统的实现方式)和/或其任何实现方式执行。
34.在操作202处，装置100可以确定由图像捕获系统捕获的图像帧的偏色度量。偏色度量可以指示图像帧偏移到特定颜色的程度。例如，在图像帧描绘正在进行医疗程序的身体的内部内窥镜视图的医疗程序示例中，在操作202处确定的偏色度量可以实现为红色度量，该红色度量指示图像帧偏移到图像帧中描绘的血液和血性组织的红色的程度。在操作202处确定的偏色度量可以以本文所述的任何方式(例如，包括根据下文将更详细描述的技术)来确定，并且可以以以可以服务于特定实现方式的任何方式表示。例如，偏色度量可表示为在0％(例如，对于完全中性的图像帧，其与任何特定颜色的偏移程度不超过任何其他颜色)至100％(例如，对于完全偏移到特定颜色的图像帧)之间变化的百分比。在本示例中，负数百分比可用于表示偏移到特定颜色以外的颜色的颜色偏差，或者这可以用另一种方式解释。在其他实现方式中，可以使用其他表示来量化偏色度量，诸如浮点表示(例如，在0.00至1.00之间或在-1.00至1.00之间变化的度量等)、整数表示(例如，在0至5之间、在0至500之间、在-10至10之间变化的度量等)或其他合适的表示。
35.在操作204处，装置100可以在给定在操作202处确定的偏色度量的输入的情况下确定自适应目标控制函数的输出。例如，如下文将更详细描述和说明的，自适应目标控制函
数可定义如何根据为图像帧确定的自动曝光数据点(例如，自动曝光目标、自动曝光值等)来分析具有不同偏色度量的图像帧。例如，特定自适应目标控制函数可以定义阈值，如果未被特定图像帧的偏色度量超过，则会致使以不对图像帧的内容的颜色偏差做出特殊规定的方式执行图像帧的自动曝光管理。另一方面，如果偏色度量超过阈值，则自动曝光管理可以对偏色度量表示的颜色偏差做出特殊规定。
36.在操作206处，装置100可以基于在操作204处确定的自适应目标控制函数的输出来确定帧自动曝光目标。在某些示例中，装置100还可在操作206处确定一个或多个其他自动曝光数据点(例如，帧自动曝光值等)，或作为图2中未明确示出的附加操作的一部分。由于自适应目标控制函数的输出是以图像帧的偏色度量作为函数的输入来确定的，因此，也可以是这样的情况，在操作206处，可以说装置100基于在操作202处确定的偏色度量来确定帧自动曝光目标。
37.自动曝光值将被理解为表示特定图像帧或其部分(例如，区域、像素组等)的特定自动曝光相关特性(例如，亮度、信号强度等)。例如，装置100可以通过分析由图像捕获系统捕获的图像帧来检测这些特性。像素自动曝光值可以是指为单个像素确定的亮度或在像素被一起分组为网格中的像素单元等的实现方式中为像素组确定的平均亮度。作为另一个示例，帧自动曝光值可指图像帧内包括的一些或所有像素或像素组的平均亮度，使得帧自动曝光值与图像帧的对应方式与像素自动曝光值与特定像素或像素组的对应方式类似。
38.在这些示例中，应当理解，自动曝光值所指的平均亮度(和/或某些示例中的一个或多个其他平均曝光相关特性)可被确定为可服务于特定实现方式的任何类型的平均值。例如，图像帧的平均自动曝光值可指图像帧中像素的平均亮度，该平均亮度是通过对图像帧的每个像素或像素组的相应亮度值求和，然后将该和除以值的总数而确定的。作为另一示例，图像帧的平均自动曝光值可指图像帧中像素的中值亮度，该中值亮度被确定为当每个像素或像素组的所有相应亮度值按值排序时的中心亮度值。作为又一个示例，图像帧的平均自动曝光值可指图像帧中像素的模式亮度，该模式亮度被确定为每个像素或像素组的所有相应亮度值中最普遍或最经常重复的亮度值。在其他示例中，其他类型的平均数(除平均值、中值或模式值外)和/或其他类型的曝光相关特性(除亮度外)也可用于以可以服务于特定实现方式的任何方式确定自动曝光值。
39.自动曝光目标将被理解为指的是特定图像帧或其部分(例如，区域、像素、像素组等)的自动曝光值的目标(例如，目的、期望值、理想值、最佳值等)。装置100可以基于特定环境和任何合适的标准来确定自动曝光目标，并且自动曝光目标可以与由自动曝光值表示的相同的自动曝光相关特性(例如，亮度、信号强度等)相关。例如，可以在期望的亮度水平(或其他与曝光相关的特性)下确定自动曝光目标，诸如与中间灰度相关联的亮度水平等。因此，像素自动曝光目标可以是指为单个像素确定的期望目标亮度或在像素被一起分组为网格中的像素单元等的实现方式中为像素组确定的平均期望目标亮度。作为另一个示例，帧自动曝光目标可以指的是图像帧内包括的一些或所有像素或像素组的平均期望目标亮度，因此，可以以与像素自动曝光目标对应于特定像素或像素组类似的方式表示对应于图像帧的自动曝光目标。类似地，如上文关于如何确定帧自动曝光值所述，此类示例中的帧自动曝光目标可通过使用平均值、中值、模式值或其他合适类型的平均技术对单独的像素自动曝光目标进行平均来确定。
40.如上所述，当图像帧明显偏差或偏移到一种特定颜色(例如，低亮度颜色，如红色)并且在不考虑该颜色偏移的情况下确定自动曝光目标时，可能会出现各种问题(例如，过度曝光问题、通道饱和度问题等)。因此，可以调整(例如，缩放)在操作206处基于上述标准(例如，以中灰色为目标等)确定的原始帧自动曝光目标，以考虑如由在操作202处确定的偏色度量所量化的和在操作204处确定其输出的自适应目标控制函数定义的方式的图像帧的颜色偏差。下面将更详细地提供如何基于偏色度量和自适应目标控制函数来确定帧自动曝光目标的具体示例。
41.在操作208处，装置100可以更新(例如，调整或维护)一个或多个自动曝光参数，以供图像捕获系统用于捕获一个或多个附加图像帧。在一些示例中，装置100可基于图像帧像素的自动曝光值、自动曝光目标和/或其他自动曝光数据点更新一个或多个自动曝光参数，因为这些数据点已被确定(例如，在操作206处)。例如，假设装置100已经确定了图像帧的自动曝光值(帧自动曝光值)和图像帧的自动曝光目标(帧自动曝光目标)，装置100可以在操作208处基于帧自动曝光值和/或帧自动曝光目标更新一个或多个自动曝光参数。例如，装置100可以基于帧自动曝光值和帧自动曝光目标确定图像帧的自动曝光增益(帧自动曝光增益)，并可基于帧自动曝光增益执行一个或多个自动曝光参数的更新。
42.装置100可以通过基于自动曝光增益调整参数或合适地维护参数来更新自动曝光参数。以这种方式，图像捕获系统可使用自动曝光参数(例如，曝光时间参数、快门光圈参数、照明强度参数、图像信号模拟和/或数字增益等)捕获一个或多个附加图像帧(例如，正在捕获的图像帧序列中的后续图像帧)，该自动曝光参数可减小为这些附加图像帧检测到的自动曝光值和这些附加图像帧所期望的自动曝光目标之间的任何差异。因此，与不进行这种调整捕获的情况相比，可以以更理想的曝光特性捕获附加图像帧，并且装置100的用户可以体验到上好的图像(例如，以期望的亮度级别显示细节的图像等)。
43.装置100可以由一个或多个计算设备或由通用或专用计算系统的计算资源来实现，如下文将更详细地描述的。在某些实施例中，实现装置100的一个或多个计算设备或计算资源可与其他部件，诸如用于捕获装置100被配置为处理的图像帧的图像捕获系统，通信地耦合。在其他实施例中，装置100可包括在自动曝光管理系统内(例如，作为其一部分实现)。这样的自动曝光管理系统可以被配置为执行本文描述的将由装置100执行的所有相同功能(例如，包括上文描述的方法200的操作)，但可以进一步并入诸如图像捕获系统的附加部件，以便还能够执行与这些附加部件相关联的功能。
44.图3示出了用于管理图像帧的自动曝光的说明性自动曝光管理系统300(系统300)。如图所示，系统300可包括装置100的实现方式以及图像捕获系统302，该图像捕获系统包括照明源304和图像捕获设备306，该图像捕获设备并入快门308、图像传感器310和处理器312(例如，实现图像信号处理流水线的一个或多个图像信号处理器)。在系统300内，装置100和图像捕获系统302可通信地耦合，以允许装置100根据本文所述的操作引导图像捕获系统304，以及允许图像捕获系统300捕获并向装置100提供图像帧序列314和/或其他合适的捕获的图像数据。现在将描述图像捕获系统302的部件。
45.照明源304可被实现为提供任何类型的照明源(例如，可见光、红外或近红外光、荧光激发光等)，并且可被配置为与图像捕获系统302内的图像捕获设备306互操作。例如，照明源304可向场景提供一定量的照明，以便于图像捕获设备306捕获场景的最佳照明图像。
如前所述，虽然本文描述的原理可应用于各种各样的成像场景，但本文明确描述的许多示例涉及可使用计算机辅助医疗系统执行的医疗程序，如下文将结合图10更详细地描述的。在此类示例中，图像被捕获的场景可包括正在执行医疗程序的身体(例如，活体动物的身体、人或动物尸体、人体或动物解剖结构的一部分、从人体或动物解剖学中移除的组织、非组织工件、训练模型等)的内部视图，并且系统300或其某些部件(例如，图像捕获系统302)可以与计算机辅助医疗系统集成(例如，通过其成像和计算资源实现)。在这些示例中，捕获的图像帧向其偏移的特定颜色可以包括红色(例如，与身体内部视图中普遍存在的血液相关联的颜色)。
46.图像捕获设备306可以由任何合适的相机或被配置为捕获场景的图像的其他设备来实现。例如，在医疗程序示例中，图像捕获设备306可由配置为捕获图像帧序列314的内窥镜图像捕获设备实现，该图像帧序列可包括描绘经历医疗程序的身体的视图(例如，内部视图)的图像帧。如图所示，图像捕获设备306可包括诸如快门308、图像传感器310和处理器312的部件。
47.图像传感器310可以由任何合适的图像传感器，诸如电荷耦合器件(ccd)图像传感器、互补金属氧化物半导体(cmos)图像传感器等实现。
48.快门308可以与图像传感器310互操作，以帮助捕获和检测来自场景的光。例如，快门308可被配置为使图像传感器310暴露于所捕获的每个图像帧的一定量的光。快门308可以包括电子快门和/或机械快门。快门308可以通过打开到由快门光圈参数定义的特定光圈大小和/或打开由曝光时间参数定义的指定时间量来控制图像传感器310被曝光多少光。如下文将更详细描述的，这些快门相关参数可包括在装置100配置为更新的自动曝光参数中。
49.处理器312可以由一个或多个图像信号处理器实现，该图像信号处理器被配置为实现图像信号处理流水线的至少一部分。处理器312可以处理自动曝光统计输入(例如，通过点击流水线中间的信号来检测和处理各种自动曝光数据点和/或其他统计数据)、对图像传感器310捕获的数据执行光学伪影校正(例如，通过减少固定图案噪声，校正缺陷像素，校正透镜阴影问题等)、执行信号重建操作(例如，白平衡操作、去马赛克和颜色校正操作等)、应用图像信号模拟和/或数字增益和/或执行可服务于特定实现方式的任何其他功能。各种自动曝光参数可以指示如何执行处理器312的功能。例如，可设置自动曝光参数以定义处理器312所应用的模拟和/或数字增益，如下文将更详细描述的。
50.在一些示例中，图像捕获设备306的内窥镜实现方式可包括立体内窥镜，该内窥镜包括两组完整的图像捕获部件(例如，两个快门308、两个图像传感器310等)，以适应呈现给所捕获图像帧的查看者的双眼(例如，左眼和右眼)的立体差异。相反，在其他示例中，图像捕获设备306的内窥镜实现方式可以包括具有单个快门308、单个图像传感器310的单镜内窥镜等。
51.装置100可以被配置为控制图像捕获系统302的各种自动曝光参数，并且可以基于由图像捕获系统302捕获的传入图像数据实时调整这样的自动曝光参数。如上所述，图像捕获系统302的某些自动曝光参数可以与快门308和/或图像传感器310相关联。例如，装置100可根据与快门允许图像传感器310暴露于场景的时间长度相对应的曝光时间参数、与快门308的光圈大小相对应的快门光圈参数或与快门318相关联的任何其他合适的自动曝光参数来引导快门308。其他自动曝光参数可以与图像捕获系统302的各方面或与快门308和/或
传感器310无关的图像捕获过程相关联。例如，装置100可调整与照明源304提供的照明强度相对应的照明源304的照明强度参数、与照明源302提供照明的时间段相对应的照明持续时间参数等。作为又一示例，装置100可调整与处理器312应用于图像传感器310生成的亮度数据的一个或多个模拟和/或数字增益(例如，模拟增益、拜耳增益、rgb增益等)相对应的增益参数。
52.这些或其他合适参数中的任何一个或其任何组合可由装置100基于当前图像帧的分析来更新和/或以其他方式调整以用于后续图像帧。例如，在帧自动曝光增益(例如，帧自动曝光目标除以帧自动曝光值)被确定为6.0的一个示例中，可以如下设置各种自动曝光参数：1)当前照明强度参数可以设置为100％(例如，最大输出)；2)曝光时间参数可以设置为1/60秒(例如，60fps)；3)模拟增益可以设置为5.0(上限为10.0)；4)拜耳增益可以设置为1.0(上限为3.0)；以及5)rgb增益可以设置为2.0(上限为2.0)。使用这些设置，增益分布在模拟增益(10.0/5.0＝2.0)、拜耳增益(3.0/1.0＝3.0)和rgb增益(2.0/2.0＝1.0)之间，以建立帧所需的6.0总自动曝光增益(3.0*2.0*1.0＝6.0)。
53.图4示出了说明性图像帧402(例如，图像帧402-a至402-c)和相应图像帧的相应偏色特性404(例如，偏色特性404-a至404-c)。更具体地，如图所示，第一图像帧402-a表示描绘了在颜色偏移方面相对中性的内容(例如，相比于任何其他颜色，该内容没有明显地向任何特定颜色偏移)的说明性图像帧。第二图像帧402-b表示描绘在有限程度上相比于其他颜色而偏移到特定颜色的内容的说明性图像帧。第三图像帧402-c表示描绘在更大程度上偏移到特定颜色的内容的说明性图像帧。例如，图像帧402-b和/或402-c可以表示描绘身体内部视图的图像帧，其内容向其偏移(尽管程度不同)的特定颜色可以是与身体内部视图中描绘的血液相关联的红色。
54.虽然图4被描绘为黑白图，但用于填充图像帧402中描绘的各种形状和背景区域的各种数字1-9将被理解为表示不同的颜色。在这种基于数字的颜色标记法中，相互接近的数字(例如，1和2、8和9等)将被理解为表示类似的颜色(例如，红色和红橙色、绿色和绿黄色等)，而远离彼此的数字(例如，1和8、2和9等)将被理解为表示更明显的颜色(例如，红色和绿色、蓝色和橙色等)。在一些示例中，这种基于数字的标记法可以被解释为环绕，使得数字1被认为与数字9相邻，数字1表示的颜色与数字9表示的颜色相似。
55.在每个图像帧402旁边画出了示出偏色特性404的曲线图。在这些曲线图中，x轴表示由数字1-9表示的不同颜色，而y轴表示图像帧向这些颜色偏移的程度。因此，如对应于图像帧402-a的偏色特性404-a所示，图像帧402-a不特别偏移到任何颜色(例如，如图曲线中没有任何主要峰值或谷值所证明的)，而是相当中性(例如，由沿光谱的所有颜色组成，如相对平坦的图曲线所证明的那样)。
56.相反，如对应于图像帧402-b的偏色特性404-b所示，图像帧402-b确实在一定程度上偏移到色谱中上部的颜色(例如，由数字5-8左右表示的颜色)，如图曲线的左侧和最右侧的谷值以及图曲线的中上部的峰值所证明的。例如，如果数字5表示红色，则偏色特性404-b可指示图像帧402-b包括大量红色和橙色，并且可能包括黄色，而不一定包括大量绿色和蓝色等。
57.更明显的是，如对应于图像帧402-c的偏色特性404-c所示，图像帧402-c可以在很大程度上偏移到光谱中间部分的颜色(例如，由数字4-6，特别是数字5表示的颜色)，如图曲
线的中间的明显峰值和沿着图曲线的其他地方的谷值所证明的。在该示例中，如果数字5再次表示红色，则偏色特性404-c指示图像帧402-c高度偏移或偏差朝向各种红色(例如，红色、粉红色、红橙色、红紫色等)，这可能是身体内部视图的情况，该身体内部视图描绘了医疗程序场景中普遍存在的血液和血性组织。
58.本文所述的自动曝光管理可以被配置为不对相对中性的图像帧(诸如图像帧402-a)应用特殊的颜色偏移功能。然而，如下文将更详细地描述的，本文所述的自动曝光管理可以以在确定这些图像帧的帧自动曝光目标时逐渐考虑颜色偏移的方式来考虑图像帧402-b的相对温和的颜色偏移和图像帧402-c的更显著的颜色偏移。最终，以这些方式考虑帧自动曝光目标可能会致使在这些颜色偏移场景下捕获图像帧序列的图像捕获系统的自动曝光参数的更有益更新。
59.图5示出了用于使用例如装置100、方法200和/或系统300的实现方式来管理图像帧的自动曝光的说明性流程图500。如图所示，流程图500图示了各种操作502-514，每个操作将在下面更详细地描述。应当理解，操作502-514表示一个实施例，其他实施例可省略、添加、重新排序和/或修改这些操作中的任何一个。如将要描述的，流程图500的各种操作502-514可针对图像帧序列中的一个图像帧或多个图像帧(例如，每个图像帧)执行。应当理解的是，根据各种条件，并非每个操作都可以针对每个帧执行，并且图像帧序列中从帧到帧所执行的操作的组合和/或顺序可能不同。
60.在操作502处，可获得由图像捕获系统捕获的图像帧(例如，访问、加载、捕获、生成等)。如前所述，在某些示例中，图像帧可以是描绘至少在某种程度上颜色偏差的图像内容的图像帧(例如，在中性内容的情况下，偏差非常小的程度，在严重偏移到特定颜色的内容的情况下，偏差相对大的程度)。例如，所获得的图像帧可以类似于上述任何图像帧402。操作502可以以任何合适的方式执行，诸如通过从图像捕获系统访问图像帧(例如，在操作502正由通信地耦合到图像捕获系统的装置100的实现方式来执行的情况下)或通过使用集成图像捕获系统来捕获图像帧(例如在操作502正由包括集成图像捕获系统302的系统300的实现方式来执行的情况下)。
61.在操作504处，装置100可以确定在操作502处获得的图像帧的偏色度量。例如，如上所述，偏色度量可以是指示图像帧偏移到特定颜色的程度的量化表示。在某些实现方式中，正在执行的自动曝光管理可被配置为标识到单个特定颜色的偏移(例如，在用于通常描绘体内血性医疗场景的内窥镜图像的实现方式中为红色)。因此，这些示例中的偏色度量可以指示图像帧偏移到该特定颜色的程度。在其他实现方式中，正在执行的自动曝光管理可以被配置为标识对任何颜色(而不是对特定颜色)的偏移。因此，这些示例中的偏色度量可以指示图像帧偏移到任何一种颜色的程度(例如，与图像帧相对于许多颜色的中性程度相反)。如图5所示，图6-图8进一步图示了当在操作504处确定偏色度量时，如何分析和量化颜色偏移。
62.图6示出了用于确定图像帧的偏色度量的说明性技术600并且进一步参考如下面描述的图7和图8所示的概念。如图所示，颜色数据602可用作技术600的输入。颜色数据602可以与在上述操作502处获得的图像帧相关联，并且可以在图像帧被捕获并提供给装置100时由图像捕获系统使用的任何合适的颜色空间(例如，颜色数据格式)，诸如红绿蓝(rgb)颜色空间中表示。然后可以在多个阶段(例如，归一化颜色数据阶段604、分解的颜色数据阶段
606和/或量化偏移阶段608)中处理颜色数据602，以便最终，颜色数据602可以形成作为技术600的输出的帧偏色度量610的基础。
63.在阶段604处，装置100可将颜色数据602归一化，以避免亮度缩放引起的偏差。无论颜色数据602如何表示，颜色数据602可以以某种方式表示亮度数据(与每个像素的亮度相关，而不管颜色如何)和色度数据(与每个像素的颜色相关，而无论亮度如何)。在某些颜色空间和颜色数据格式中，亮度和色度数据是分开表示的，而在其他颜色空间和色彩数据格式中的概念是以合并这些概念的方式表示的，这种方式可以在图像捕获、图像渲染等方面提供便利。在其数据表示中合并色度和亮度概念的颜色空间的一个示例是rgb颜色空间，它以三个值共同表示色度和亮度特性：与红色通道相关联的“r”值、与绿色通道相关联的“g”值和与蓝色通道相关联的“b”值。在rgb颜色空间中，如果像素的亮度不相等，那么在色度特性方面同样为红色的两个像素可以具有不同的“r”值。
64.通过在阶段604处对颜色数据进行归一化，可以根据每个像素的亮度特性将在诸如rgb的颜色空间中表示的颜色数据有效地放置在均匀的场上，从而可以分析每个像素的色度特性而不考虑亮度特性。可能需要由技术600确定的偏色度量来确定像素和帧偏移到特定色度的程度，而不管亮度特性如何。例如，可能需要将亮白色像素视为中性像素，将暗红色像素视为红色偏移像素，尽管在诸如rgb的颜色空间中，亮白色像素可能比暗红色像素与更大的“r”值相关联(仅由于其不同的亮度特性)。在rgb颜色空间中归一化颜色数据的一种方法可以是确定“r”、“g”和“b”值的最大值，并在此基础上生成归一化值。例如，在上述亮白色像素和暗红色像素的示例中，暗红色像素中的最大值可以通过显著余量是红色(“r”值)，但亮白色像素可能没有最大值(或至少没有显著余量)，因为在这种情况下，“r”、“g”和“b”值可能都非常相似。
65.在阶段606处，装置100可分解归一化颜色数据以区分颜色数据的色度属性和颜色数据的亮度属性。例如，每个像素的归一化颜色数据可从上述rgb颜色空间分解为不同的颜色空间，该颜色空间考虑原色、二次色和/或三次色，并分别考虑亮度特性。作为一个示例，在阶段606处对颜色数据的分解可包括将颜色数据从rgb颜色空间转换为青-品红-黄-黑-红-绿-蓝(cmykrgb)颜色空间。作为另一示例，在阶段606处对颜色数据的分解可包括将颜色数据转换为yuv颜色空间、cielab颜色空间或另一合适的颜色空间，该颜色空间允许以与曝光无关的方式(例如，以单独表示亮度和色度特性的方式)方便地分析颜色数据。
66.为了进一步说明这些概念，图7示出了描绘分解的颜色数据的与曝光无关的色度特性的说明图700。如图所示，图700包括已转换为颜色空间(如cmykrgb)的颜色数据的重心图。应当理解，其他合适颜色空间(例如，yuv颜色空间、cielab颜色空间等)的类似图可说明cmykrgb图在这里所示的类似原理，因为这些颜色空间中的每一个同样能够方便地独立于亮度属性分析色度属性。
67.在图7的示例中，示出了模拟人体组织颜色，以说明可用于描绘身体内部视图的内窥镜图像帧的预期的绘图。在图700中，中性点702显示在绘图的中心，以表示中性像素(例如，黑色、白色或任何灰色阴影)，因此与任何其他颜色相比，对一种原色或二次色(例如，红色、品红色、蓝色、青色、绿色或黄色)的偏移不会更多。图700还示出了标记为红色的顶点处的点704，以表示纯红色的像素并且不包括任何其他原色或二次色的任何方面。如图所示，大量相应点706图示了描绘身体内部视图的特定图像帧的每个像素可在图700内绘制的位
置。实际上，本示例中的每个点都被显示为在某种程度上向红色顶点偏移(例如，沿着连接点702和704的中性红色色调线聚集)，而不是表现出与其他原色或二次色相关联的强特性。因此，由图700表示的图像帧可以表现为非常偏红的图像帧，诸如可以预期内窥镜在身体内捕获的影像。
68.回到图6，在阶段608处，装置100可以量化颜色偏移以确定帧偏色度量610。例如，装置100可确定颜色数据的色度属性向特定颜色偏移的程度，并基于对颜色数据的色度属性向特定颜色偏移的程度的确定，可确定帧偏色度量610。作为一个示例，基于图7中的图700所示的图像帧，阶段608可以分析与每个点706相关联的图像帧的每个像素的色度特性，从而以客观方式量化图像帧的红色程度(例如，在该示例中确定指示图像帧向红色偏移程度的客观测量的偏移量)。
69.为了说明如何在阶段608处执行该量化确定，图8示出了用于量化颜色偏移的说明性流程图800，以作为偏色度量的确定的一部分。如图所示，流程图800包括多个操作802-808，这些操作可在装置100到达阶段608(标记为开始(start))和流程图800完成并确定帧偏色度量610(标记为结束(end))之间执行。
70.在操作802处，装置100可以遍历(iterate through)图像帧的每个像素或图像帧的一部分。对于每个像素i，可以在操作804处确定像素偏色度量(csmi)，并且可以在操作816处分配权重值(wi)。如图所示，只要图像帧中仍有尚未分析的像素(未完成)，这种情况就可以持续，并且可以在图像帧的所有像素都已遍历(完成)时结束。如前所述，在某些示例中，像素可以成组处理(例如，像素被划分为网格的单元等)，而不是单独处理。因此，不是为每个单独像素确定像素偏色度量和权重值，还应当理解，这些实现方式可为每个像素组确定像素偏色度量和权重值。此外，在一些实现方式中，为了自动曝光管理的目的，不是遍历图像帧的所有像素(或像素组)，而是可以考虑图像帧的某个区域(例如，图像帧的中心区域，诸如图像帧的中心50％、图像帧的中心80％等)，同时可以忽略图像帧的另一个区域(例如，图像帧的外围区域，诸如图像帧的外部50％、图像帧的外部20％等)。在这些示例中，当要考虑的区域(例如，中心区域)的所有像素都已遍历时，操作802可完成遍历(完成)。
71.在操作804处，装置100可以以任何合适的方式确定图像帧中包括的像素的像素偏色度量(例如，每个像素一个像素偏色度量)。在操作804处确定的像素偏色度量可以是像素偏移到特定颜色(例如，红色等)的程度的客观定量度量。例如，每个像素(或像素组)可与图700上所示的特定点706相关联，并且像素偏色度量可基于特定点706到中性点702(例如，距离越大，像素偏色度量越大)到红色点704(例如，距离越小，像素偏色度量越大)的线性距离、其组合等来确定。如前所述，红色只是一个示例，因此在其他实现方式中，像素偏色度量可基于点706与另一颜色点而非红色点704的接近度来确定。此外，如前所述，图7中所示的cmykrgb颜色空间应当理解为仅是颜色空间的一个示例，图像帧的像素可分解为到颜色空间中并绘制点706。因此，以与亮度分离的方式类似地表示色度特性的其他合适的颜色空间(例如，yuv、cielab等)也可用于在几何上确定像素点与颜色空间内的特定颜色的接近程度。
72.在操作806处，可基于图像帧内多个像素的空间位置，为图像帧或其区域的多个像素中的每个像素(例如，每个像素i)分配权重值。在操作806处分配的权重值可以反映每个像素在图像帧的查看者的关注区域内的可能性有多大，因此，每个像素相对于图像帧中的
其他像素被认为有多重要。例如，在某些实现方式中，可以假设查看者可能将注意力集中在图像帧的中心附近，因此每个像素可被分配指示与图像帧的中心的接近度的权重(例如，较高的权重值指示更接近中心，较低的权重值指示距离中心更远)。作为另一个示例，一种实现方式可以包括眼睛跟踪功能，以实时确定查看者正在关注图像帧的哪个部分，并且每个像素可被分配指示与检测到的实时关注区域(例如，而不是图像帧的中心或除了图像帧的中心之外)的接近度的权重。在其他示例中，可根据其他基于空间位置的标准(例如，与图像帧内移动的感兴趣对象的接近度、与图像帧中除中心以外的另一假定关注区域的接近度等)或非基于空间位置的标准对像素进行加权。可替代地，可以将每个像素视为同等重要，而不管其空间位置如何，并且可以不分配权重值(例如，可以完全省略操作806)。
73.由于操作804和806可能不相互依赖，因此可以独立地、以任何顺序或彼此并行地对每个像素(或像素组)i执行这些操作。在一些示例中，即使可以在操作804处为每个图像帧动态地重新评估和确定像素偏色度量，在操作806处为每个像素分配权重值也可以仅执行一次(例如，分配用于每个图像帧或图像帧序列的静态值)。在其他示例中，可针对每个图像帧动态地执行操作804和806。
74.一旦在操作802处已经遍历了图像帧的所有像素i(或其一部分)，流程可以继续(完成)到操作808。在操作808处，装置100可以将帧偏色度量610确定为像素偏色度量的加权平均值。例如，如操作808的输入所示，可以基于像素偏色度量(csmi)和分配的权重值(wi)来确定偏色度量610。正如每个像素偏色度量可以对应于像素(或像素组)向特定颜色偏移的程度，帧偏色度量610可以对应于图像帧被确定为向特定颜色偏移的程度。由于使用了加权平均值，当较高加权像素(例如，中心像素等)向特定颜色偏移时，帧偏色度量可指示比较低加权像素(如，外围像素等)朝特定颜色偏移更大程度的颜色偏移。加权平均值可使用任何类型的合适平均方法(例如，算术平均值、中值平均值、模式平均值、其组合等)来计算，并可结合权重值以以可服务于特定实现方式的任何方式对较高加权像素给予比较低加权像素更大的加重。如前所述，可以不使用权重值，或者图像帧(或图像帧的一部分)中的像素可以使用相同的权重值(例如，1)。在这些场景中，帧偏色度量610可以取决于像素偏色度量(csmi)，但可能不取决于权重值(wi)。
75.返回图6，帧偏色度量610被示为用于基于在阶段608处执行的颜色偏移的量化来确定偏色度量的技术600的输出。因此，返回图5，一旦确定了帧偏色度量610，装置100就可以从操作504前进到操作506。
76.在操作506处，装置100可以基于在操作504处确定的帧偏色度量610将自适应目标控制函数应用于帧自动曝光目标。例如，如果帧偏色度量610指示图像帧偏移到特定颜色的程度相对较低(低偏移)，则在操作506处应用自适应目标控制函数可使装置100在操作508处确定帧自动曝光目标，而不对图像帧的颜色偏差做出任何特殊的允许。相反，如果帧偏色度量610指示图像帧偏移到特定颜色的程度相对较高(高偏移)，则在操作506处应用自适应目标控制函数可使装置100在操作510处确定帧自动曝光目标，此处可考虑图像帧的颜色偏差而采取还原措施。在一些示例中，低于阈值偏色度量的帧偏色度量610可指示低偏移，和/或高于阈值偏色度量的帧偏色度量610可指示高偏移。
77.为了更详细地说明操作506-510的功能，图9示出了用于基于帧偏色度量确定帧自动曝光目标的说明性技术900。具体而言，如图所示，操作902-906可被执行以生成帧自动曝
光目标908，该帧自动曝光目标908基于帧偏色度量610，有助于考虑帧的颜色偏差程度，以提供自动曝光益处并避免已描述的自动曝光问题。
78.在操作902处，装置100可基于由图像捕获系统捕获的图像帧确定第一(例如，原始)帧自动曝光目标。例如，可以基于像素自动曝光目标的平均值或加权平均值来确定原始帧自动曝光目标，该像素自动曝光目标被确定为与中灰度等相关联的自动曝光值的目标。
79.在操作904处，装置100可以在给定偏色度量(例如，帧偏色度量610)的输入的情况下，将缩放值确定为自适应目标控制函数(例如，预定自适应目标控制函数)的输出。自适应目标控制函数可以指被设计为将各种潜在的偏色度量映射到各种期望的自动曝光目标的函数。例如，在某些实现方式中，自适应目标控制函数可将帧偏色度量作为输入，并可输出缩放值，该缩放值可用于缩放原始帧自动曝光目标，以产生第二(例如，期望的)帧自动曝光目标。第二帧自动曝光目标可以考虑颜色偏差，从而避免上述曝光问题。
80.图10a-图10d示出了各种自适应目标控制函数的示例性实现方式，这些自适应目标控制函数可以用于以各种方式考虑颜色偏差内容。在每个图示的自适应目标控制函数1002(例如，图10a中的自适应目标控制函数1002-a至图10d中的自适应目标控制函数1002-d)中，输入偏色度量(偏色度量)沿x轴表示，其中较低的偏色度量值朝向轴的左侧表示(低)，而较高的偏色度量值朝向轴的右侧表示(高)。然后沿y轴表示自适应目标控制函数的输出缩放值。因此，可以沿着x轴绘制以上述方式确定的帧偏色度量610，从而可以基于由绘制的x值的函数返回的y值来确定自适应目标控制函数1002的输出。
81.如每个自适应目标控制函数1002所示，如果输入偏色度量足够低(例如，低于阈值偏色度量)，则返回的缩放值可以是本文中称为空缩放值(null)的大缩放值。当用于缩放原始帧自动曝光目标时，空缩放值可能没有效果(例如，空效果)。例如，如果通过将原始帧自动曝光目标与缩放值相乘来执行原始帧自动曝光目标的缩放，则空缩放值可以具有值1，以便在与该值相乘时不改变原始帧自动曝光目标。然而，如每个自适应目标控制函数1002所示，如果输入偏色度量足够高(例如，高于阈值偏色度量)，则返回的缩放值可以是本文中称为还原缩放值(reductive)的缩放值。当用于缩放原始帧自动曝光目标时，还原缩放值可以具有还原效果。例如，如果通过将原始帧自动曝光目标与缩放值相乘来执行原始帧自动曝光目标的缩放，则还原缩放值可以具有小于1的值(例如，在0至1之间)，以便在与该值相乘时还原原始帧自动曝光目标。对于具有最大偏色度量的图像帧(例如，如果特定颜色是红色，则为纯红色图像帧)，可能希望将原始帧自动曝光目标还原图像帧的最大量。在图10a-图10d中，最大还原缩放值被标记为full(全还原)并且被示为要应用于最高偏色度量。根据实现方式，可将完全还原值定义为零和空缩放值之间的任何合适水平(例如，在0至1之间)。
82.如图10a和图10b中的自适应目标控制函数1002-a和1002-b的示例分别所示，自适应目标控制函数的不同部分可以返回空缩放值(以产生原始帧自动曝光目标的最小缩放量)或全缩放值(以产生原始帧自动曝光目标的最大缩放量)。具体而言，如图所示，如果图像帧所描绘的内容的颜色偏差偏移的不足以进行特殊处理，则作为输入给出的偏色度量可能不会超过偏色阈值1004-1，并且自适应目标控制函数1002返回的输出可以是空缩放值。相反，如果图像帧所描绘的内容的颜色偏差严重偏移，则作为输入给出的偏色度量可能超过偏色阈值1004-2，并且自适应目标控制函数1002返回的输出可以是全缩放值。
83.在这些极值之间，自适应目标控制函数1002-a和1002-b示出了可为超过阈值
1004-1但不超过阈值1004-2的偏色度量返回的逐渐还原的缩放值的中间部分。例如，如果装置100确定作为输入给出的偏色度量超过偏色阈值1004-1且不超过偏色阈值1004-2，则自适应目标控制函数1002-a或1002-b的输出可以是小于空缩放值且大于全还原缩放值的还原缩放值。例如，在这些场景中，自适应目标控制函数的输出可以基于递减函数(诸如单调递减函数)来确定。例如，图10a中的自适应目标控制函数1002-a示出单调递减的非线性函数(例如，单调递减的幂函数)，而图10b中的自适应目标控制函数1002-b示出单调递减的线性函数。在其他示例中，可以采用其他类型的单调递减函数(或在某些实现方式中为非单调递减函数)来提供与自适应目标控制函数1002-a和1002-b提供的结果类似的结果。
84.在某些示例中，装置100可以确定与从一组离散值中选择的值相对应的偏色度量。例如，与表示为分数或浮点数的偏色度量不同，偏色度量可以实现为离散值，诸如二进制值(例如，0表示不显著的颜色偏差，1表示显著的颜色偏差)，或从一组离散值中选择的值(例如，值0、1、2、3和4表示从无颜色偏差(0)到非常高的颜色偏差(4)的范围，等等)。在这些示例中，自适应目标控制函数可将每个离散偏色度量可能性映射到自适应目标控制函数针对偏色度量输出的对应缩放值。
85.为了说明，图10c的自适应目标控制函数1002-c示出了一个二进制示例，其中具有小于偏色阈值1004-3的任何量的颜色偏移的图像帧被分配第一二进制偏色度量(例如，低或零等的偏色度量)，以及具有大于偏色阈值1004-3的任何量的颜色偏移的图像帧被分配第二二进制偏色度量(例如，高或1等的偏色度量)。在该示例中，自适应目标控制函数1002-c返回低偏色度量的空缩放值和高偏色度量的全缩放值。类似地，图10d的自适应目标控制函数1002-d示出了另一个离散值实现，其中根据图像帧的颜色偏移相对于若干偏色阈值1004-4至1004-7落在何处，将偏色度量分配为五个不同值中的一个。在该示例中，自适应目标控制函数1002-d返回最低偏色度量的空缩放值、最高偏色度量的全缩放值，并在其他潜在偏色度量的空缩放值和全缩放值之间改变其他还原缩放值。
86.返回图9，在操作904处基于在特定实施例中可以实现的任何自适应目标控制函数1002确定缩放值之后，装置100可以执行操作906。在操作906处，装置100可以通过将在操作902处确定的原始帧自动曝光目标缩放为在操作904处确定的缩放值来确定帧自动曝光目标908。例如，如果在操作904处确定的缩放值为空缩放值，则可在操作906处确定帧自动曝光目标，以等于在操作902处确定的原始帧自动曝光目标。相反，如果在操作904处确定的缩放值是还原缩放值(例如，达到并包括全缩放值)，则可在操作906处确定帧自动曝光目标，以等于在操作902处确定的基于还原缩放值还原的原始帧自动曝光目标。以这种方式，当图像帧描绘了在一定程度上偏移的内容时，可还原帧自动曝光目标908以考虑颜色偏差。
87.虽然上面的示例描述了基于非加权原始帧自动曝光目标和加权帧偏色度量确定帧自动曝光目标908的场景，但应当理解，相同或类似的帧自动曝光可以以可在某些实现方式中采用的替代方式来确定。作为一个说明性替代，代替将帧偏色度量610(csmf)确定为加权平均，然后使用该加权平均来确定要映射到非加权原始帧自动曝光目标的缩放值，装置100可以确定像素级上的缩放值，并确定已经被缩放以考虑颜色偏移的像素自动曝光目标的加权平均值。例如，可以为每个像素(或像素组)i以及像素偏色度量csmi确定像素自动曝光目标。然后可以基于像素偏色度量为每个像素(或像素组)确定缩放值，并将其应用于对应的像素自动曝光目标。然后可以基于这些缩放的像素自动曝光目标的加权平均值(其已
经考虑了每个像素处的颜色偏移)来确定帧自动曝光目标。在其他实现方式中，可以以可以服务于特定实现方式的其他替代方式来确定考虑颜色偏移和像素权重的帧自动曝光目标。
88.返回图5，操作512可以独立于操作504-510并与操作504-510并行执行。在操作512处，装置100可以以可以服务于特定实现方式的任何方式确定帧自动曝光值。例如，装置100可确定每个像素(或某些实现方式中的像素组)的像素自动曝光值，然后根据任何适当的平均技术(例如，平均值、中值、模式等)通过对像素自动曝光值进行平均来确定帧自动曝光值。在一些示例中，可以为帧自动曝光值计算像素自动曝光值的加权平均值，或者可以使用仅包括在特定区域(例如，排除图像帧的外围部分的中心区域)内的像素的平均值。
89.一旦在操作512处确定了帧自动曝光值并且在操作508或510处确定了框自动曝光目标，流程可以移动到操作514，在该操作处装置100可以基于帧自动曝光值和帧自动曝光目标来更新图像捕获系统的自动曝光参数。在操作514处，装置100可以更新(例如，调整或保持)图像捕获系统的自动曝光参数，以准备图像捕获系统捕获图像帧序列中的后续图像帧。
90.图11示出了用于在操作514处更新自动曝光参数的说明性技术1100。如图所示，帧自动曝光目标和帧自动曝光值是先前确定的，并用作图11所示操作的输入。例如，操作1102可接收帧自动曝光值和帧自动曝光目标作为输入，并可将其用作确定帧自动曝光增益的基础。帧自动曝光增益可被确定为对应于帧自动曝光目标与帧自动曝光值的比率。通过这种方式，如果帧自动曝光值已经等于帧自动曝光目标(例如，使得不需要进一步调整以与目标对齐)，则帧自动曝光增益可以设置为增益1，以便系统不会尝试增加也不会衰减图像捕获系统捕获的后续帧的自动曝光值。相反，如果帧自动曝光目标与帧自动曝光值不同，则可将帧自动曝光增益设置为对应于小于或大于1的值，以使系统提高或衰减后续帧的自动曝光值，以尝试使自动曝光值更接近匹配所需的自动曝光目标。
91.在操作1104处，可将帧自动曝光增益与为图像帧序列中的先前图像帧确定的其他数据(例如，其他帧自动曝光收益)一起作为输入。基于这些输入，操作1104应用滤波以确保自动曝光增益不会比预期更快地变化，从而确保呈现给用户的图像帧保持一致的亮度并逐渐变化(例如，通过不比阈值速率更快地变化)。在操作1104处执行的滤波可以使用诸如时间无限脉冲响应(iir)滤波器的平滑滤波器或可服务于特定实现方式的另一种这样的数字或模拟滤波器来执行。
92.在操作1106处，经滤波的自动曝光增益可用作调整图像捕获系统的一个或多个自动曝光参数的基础(例如，供图像捕获设备或照明源捕获附加图像帧)。例如，如上所述，调整后的自动曝光参数可以包括曝光时间参数、快门光圈参数、亮度增益参数等。对于其中场景的照明主要或完全由图像捕获系统控制的图像捕获系统(例如，包括上述内窥镜图像捕获设备的图像捕获系统、包括闪光灯或其他照明源的图像捕获系统等)，经调整的自动曝光参数可进一步包括照明强度参数、照明持续时间参数等。
93.对图像捕获系统的自动曝光参数的调整可以使图像捕获系统以各种不同方式曝光后续图像帧。例如，通过调整曝光时间参数，可以调整图像捕获系统中所包括的快门的快门速度。例如，快门可保持打开较长时间段(例如，从而增加图像传感器的曝光时间)或较短时间段(例如，从而减少图像传感器的曝光时间)。作为另一个示例，通过调整快门光圈参数，可以将快门的光圈调整为打开的更宽(例如，从而增加暴露于图像传感器的光量)或更
小(例如，由此减少暴露于图像感应器的光量)。作为又一个示例，通过调整亮度增益参数，可以增加或减小灵敏度(例如，iso灵敏度)，以放大或衰减图像捕获系统捕获的照度。对于图像捕获系统控制场景照明的实现方式，可调整照明强度和/或照明持续时间参数以增加用于照亮被捕获场景的光的强度和持续时间，从而也影响图像传感器暴露于光的量。
94.返回图5，在执行流程图500的操作之后，可以认为当前图像帧已被装置100完全处理，并且流程可以返回到操作502，在该处可以获得图像帧序列的后续图像帧。可以对后续图像帧和/或其他后续图像帧重复该过程。应当理解，在某些示例中，可根据流程图500分析每个图像帧，以使自动曝光数据点(例如，帧自动曝光值和帧自动曝光目标等)和自动曝光参数尽可能最新。在其他示例中，只有某些图像帧(例如，每隔一个图像帧、每隔三个图像帧等)可以进行如此分析，以在更定期的自动曝光处理仍然允许实现设计规范和目标的情况下节省处理带宽。还应当理解，自动曝光效果可能倾向于滞后于场景中亮度变化几帧，因为基于一个特定帧进行的自动曝光参数调整不会影响该帧的曝光，而是会影响后续帧。
95.基于装置100对自动曝光参数进行的任何调整(和/或基于合适时将自动曝光参数保持在其当前水平)，装置100可以成功管理图像捕获系统所捕获的图像帧的自动曝光，并且后续图像帧可以以期望的自动曝光特性被捕获，以便在呈现给用户时具有吸引人的和有益的外观。
96.如前所述，在某些示例中，装置100、方法200和/或系统300可各自与用于在身体上执行医疗程序(例如，手术程序、诊断程序、探察程序等)的计算机辅助医疗系统相关联。为了说明，图12示出了可用于执行包括手术和/或非手术程序在内的各种类型的医疗程序的说明性计算机辅助医疗系统1200。
97.如图所示，计算机辅助医疗系统1200可包括操纵器组件1202(图12中示出了操纵器推车)、用户控制装置1204和辅助装置1206，所有这些都彼此通信地耦合。医疗团队可以使用计算机辅助医疗系统1200来在患者1208的身体上或在可服务于特定实现方式的任何其他身体上执行计算机辅助医疗程序或其他类似操作。如图所示，医疗团队可包括第一用户1210-1(诸如用于手术程序的外科医生)、第二用户1210-2(诸如患者侧助理)、第三用户1210-3(诸如另一助理、护士、受训者等)和第四用户1210-4(诸如用于手术程序的麻醉师)，所有这些用户可以统称为用户1210，并且他们中的每一个可以控制计算机辅助医疗系统1200、与其交互或以其他方式成为计算机辅助医疗系统1200的用户。在医疗程序期间，可以存在更多、更少或替代的可服务于特定实现方式的用户。例如，不同医疗程序或非医疗程序的团队组成可能有所不同，并包括具有不同角色的用户。
98.虽然图12图示了正在进行的微创医疗程序，诸如微创外科程序，但应当理解，计算机辅助医疗系统1200可类似地用于执行开放式医疗程序或其他类型的操作。例如，还可以执行诸如探索性成像操作、用于训练目的的模拟医疗程序和/或其他操作等操作。
99.如图12所示，操纵器组件1202可包括一个或多个操纵器臂1212(例如，操纵器臂1212-1至1212-4)，一个或多个器械可联接至该操纵器臂。器械可用于患者1208身上的计算机辅助医疗程序(例如，在外科示例中，通过至少部分插入患者1208体内并在患者1208体内操纵)。尽管操纵器组件1202在本文中被描绘和描述为包括四个操纵器臂1212，但应认识到，操纵器组件1212可包括单个操纵器臂1202或可服务于特定实现方式的任何其他数量的操纵器臂。虽然图12的示例将操纵器臂1212示为机器人操纵器臂，但应当理解，在一些示例
中，一个或多个器械可部分或完全手动控制，诸如通过手持式和由人手动控制。例如，这些部分或完全手动控制的器械可与耦合到图12中所示的操纵器臂1212的计算机辅助器械结合使用，或作为其替代。
100.在医疗操作期间，用户控制装置1204可被配置为便于用户1210-1对操纵器臂1212和附接到操纵器臂1212的器械进行远程操作控制。为此，用户控制装置1204可以向用户1210-1提供由成像设备捕获的与患者1208相关联的操作区域的成像。为了便于控制器械，用户控制装置1204可以包括一组主控制器。这些主控制器可由用户1210-1操纵，以控制操纵器臂1212或耦合到操纵器臂1212的任何器械的移动。
101.辅助装置1206可以包括一个或多个计算设备，该计算设备被配置为执行辅助功能以支持医疗程序，诸如为计算机辅助医疗系统1200的成像设备、图像处理或协调部件提供吹气、电烙能量、照明或其他能量。在一些示例中，辅助装置1206可配置有显示监视器1214，该监视器被配置为显示一个或多个用户界面，或支持医疗程序的图形或文本信息。在某些情况下，显示监视器1214可由触摸屏显示器实现并提供用户输入功能。
102.如下文将更详细描述的，装置100可在计算机辅助医疗系统1200内实现或可与计算机辅助医疗系统1200一起操作。例如，在某些实现方式中，装置100可通过附接到操纵器臂1212之一的器械(例如，内窥镜或其他成像器械)内包括的计算资源来实现，或通过与操纵器组件1202、用户控制装置1204、辅助装置1206或图12中未明确示出的另一系统部件相关联的计算资源来实现。
103.操纵器组件1202、用户控制装置1204和辅助装置1206可以以任何合适的方式彼此通信耦合。例如，如图12所示，操纵器组件1202、用户控制装置1204和辅助装置1206可以借助于控制线1216通信耦合，控制线1216可以代表可以服务于特定实现方式的任何有线或无线通信链路。为此，操纵器组件1202、用户控制装置1204和辅助装置1206可以各自包括一个或多个有线或无线通信接口，诸如一个或多个局域网接口、wi-fi网络接口、蜂窝接口等等。
104.在某些实施例中，本文描述的一个或多个过程可以至少部分地实现为包含在非暂时性计算机可读介质中并且可由一个或多个计算装置执行的指令。通常，处理器(例如，微处理器)从非暂时性计算机可读介质(例如，存储器等)接收指令，并执行那些指令，从而执行一个或多个过程，包括一个或多个本文所述的过程。可以使用多种已知的计算机可读介质中的任一种来存储和/或传送这样的指令。
105.计算机可读介质(也称为处理器可读介质)包括参与提供可由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性介质。这种介质可以采用许多形式，包括但不限于非易失性介质和/或易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久性存储器。易失性介质可以包括例如动态随机存取存储器(dram)，其通常构成主存储器。计算机可读介质的常见形式包括，例如，磁盘、硬盘、磁带、任何其他磁介质、压缩盘只读存储器(cd-rom)、数字视频盘(dvd)、任何其他光学介质、随机存取存储器(ram)、可编程只读存储器(prom)、电可擦除可编程只读存储器(eprom)、flash-eeprom、任何其他存储器磁芯片或盒式磁带或计算机可以读取的任何其他有形介质。
106.图13图示出了说明性计算系统1300，该计算系统可以被具体配置为执行本文描述的一个或多个过程。例如，计算系统1300可包括或实现(或部分实现)自动曝光管理装置诸如装置100、自动曝光管理系统诸如系统300或本文所述的任何其他计算系统或设备。
107.如图13所示，计算系统1300可以包括经由通信基础设施1310通信连接的通信接口1302、处理器1304、存储设备1306和输入/输出(“i/o”)模块1308。尽管图13中示出了说明性计算系统1300，但图13中所示的部件并非旨在进行限制。在其他实施例中可以使用附加的或替代的部件。现在将更详细地描述图13中所示的计算系统1300的部件。
108.通信接口1302可以被配置为与一个或多个计算设备通信。通信接口1302的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器、音频/视频连接和任何其他合适的接口。
109.处理器1304通常代表能够处理数据或解释、执行和/或引导本文描述的指令、过程和/或操作中的一个或多个的执行的任何类型或形式的处理单元。处理器1304可以根据一个或多个应用1312或诸如可以存储在存储设备1306或另一计算机可读介质中的其他计算机可执行指令来引导手术的执行。
110.存储设备1306可以包括一个或多个数据存储介质、设备或配置并且可以采用数据存储介质和/或设备的任何类型、形式和组合。例如，存储设备1306可以包括但不限于硬盘驱动器、网络驱动器、闪存驱动器、磁盘、光盘、ram、动态ram、其他非易失性和/或易失性数据存储单元，或其组合或子组合。电子数据，包括本文描述的数据，可以临时和/或永久地存储在存储设备1306中。例如，代表被配置为引导处理器1304执行本文所述的任何手术的一个或多个可执行应用1312的数据可以存储在存储设备1306中。在一些示例中，数据可以被安排在驻留在存储设备1306内的一个或多个数据库中。
111.i/o模块1308可以包括一个或多个i/o模块，其被配置为接收用户输入并提供用户输出。一个或多个i/o模块可用于接收单个虚拟体验的输入。i/o模块1308可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，i/o模块1308可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏部件(例如，触摸屏显示器)、接收器(例如，rf或红外接收器)、运动传感器和/或一个或多个输入按钮。
112.i/o模块1308可以包括用于向用户呈现输出的一个或多个装置，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器和一个或多个音频驱动器。在某些实施例中，i/o模块1308被配置为向显示器提供图形数据以呈现给用户。图形数据可以代表一个或多个图形用户界面和/或可以用于特定实现方式的任何其他图形内容。
113.在一些示例中，本文描述的任何设施可以由计算系统1300的一个或多个部件实现或在计算系统1300的一个或多个部件内实现。例如，驻留在存储设备1306内的一个或多个应用1312可以被配置为引导处理器1304执行与装置100的处理器104相关联的一个或多个过程或功能。同样，装置100的存储器102可以由存储设备1306实现或在其内实现。
114.在前面的描述中，已经参考附图描述了各种说明性实施例。然而，很明显，可以对其进行各种修改和改变，并且可以实施附加的实施例，而不脱离如在所附权利要求中阐述的本发明的范围。例如，本文描述的一个实施例的某些特征可以与本文描述的另一实施例的特征组合或替代另一实施例。因此，说明书和附图被认为是说明性的而不是限制性的。