本公开的各方面整体涉及图像处理，并且更具体地，涉及曝光包围图像帧的图像处理。一些特征可在弱光多帧成像、高速运动摄影或曝光包围的其他应用中实现并提供改进的图像处理，包括改进图像中的动态范围，同时减少在图像捕获期间由于运动而发生的运动模糊。
背景技术：
1、图像捕获设备是可捕获一个或多个数字图像（无论是用于照片的静止图像还是用于视频的图像序列）的设备。捕获设备可结合到各种设备中。以举例的方式，图像捕获设备可包括独立数字相机或数字视频摄像机、配备有相机的无线通信设备手机（诸如移动电话、蜂窝或卫星无线电电话）、个人数字助理（pda）、面板或平板设备、游戏设备、计算设备（诸如网络相机、视频监测相机）或具有数字成像或视频能力的其他设备。
2、当使用图像捕获设备捕获具有宽色域的场景的表示时，动态范围对于图像质量可能是重要的。常规图像传感器具有有限的动态范围，其可能小于人眼的动态范围。动态范围可指图像的亮部分与图像的暗部分之间的光范围。常规图像传感器可增加曝光时间以改善图像的暗部分中的细节，代价是使图像的亮部分饱和。另选地，常规图像传感器可减少曝光时间以改善图像的亮部分中的细节，代价是丢失图像的暗部分中的细节。
技术实现思路
1、下文概括了本公开的一些方面，以提供对所讨论的技术的基本理解。该
技术实现要素：
不是对本公开的全部预期特征的详尽概述，并且既不旨在标识本公开的全部方面的关键或重要元素，也不旨在划定本公开的任何或全部方面的范围。该发明内容的唯一目的是以概括的形式给出本公开的一个或多个方面的一些概念，作为稍后给出的更多详细描述的前序。
2、高动态范围（hdr）摄影通过组合来自图像传感器的场景（例如，图像帧）的多个所记录的表示来改进使用这些常规图像传感器的摄影。hdr摄影可组合以不同曝光长度捕获的相同场景的图像帧。不同的曝光长度捕获场景的不同细节。长曝光图像帧捕获场景的弱光部分中的细节。短曝光图像帧捕获场景的高亮部分中的细节。
3、组合长曝光图像帧和短曝光图像帧常规上涉及在融合图像帧之前对齐图像帧，以获得具有比长图像帧或短图像帧单独更高的动态范围的单个输出图像帧。对齐允许融合操作融合图像帧的对应部分。对齐减少了由于在不同时间捕获不同图像帧的事实而导致的伪影，在该不同时间期间，图像捕获设备可能已经移动或者场景中的对象可能已经移动。例如，全局运动可能造成长曝光帧中出现运动模糊，这会降低对齐准确度。作为另一示例，局部运动可能导致不均匀的图像扭曲。长曝光帧捕获的历时越长，对齐就会变得越困难，因为更长的曝光导致长图像帧与短图像帧之间的时间距离更远。
4、在本公开的一些方面，通过处理在时间上对齐的图像帧来执行hdr图像捕获。布置对图像数据的捕获以在时间上对齐图像帧减少或消除了在融合图像帧以确定输出hdr图像帧时对图像帧执行的对齐。图像帧的时间对齐导致获得在空间上对齐的图像帧。在时间上对齐的图像帧可以假设曝光时间内为大致线性运动的方式获得，使得曝光时间的时间中点与任何场景运动的空间中点重合。在时间上对齐的图像帧也可以假设曝光是线性操作的方式获得，使得所有像素值都被假设为处于线性域并且像素值与曝光时间成比例。基于这些假设，使用许多不同hdr技术中的一种技术对图像帧进行的捕获可在时间上被布置成使得所得的图像帧在空间上对齐，并且可在没有进一步对齐图像帧的情况下被处理来用于融合图像帧的目的（尽管可执行其他对齐操作）。
5、在获得输出hdr图像帧时使用在时间上对齐的图像帧可包括对于交错式hdr（shdr）摄影，设置具有中等、短和中等曝光时间的连续曝光，并且对三个曝光进行求和以确定长图像帧。具有短、中等和长曝光时间的图像帧可被组合来产生hdr输出图像帧。在获得输出hdr图像帧时使用在时间上对齐的图像帧可包括对于四重hdr（qhdr）摄影，设置中等曝光帧和短曝光帧并且将这些图像组合以产生hdr输出图像帧。在其他实施方案中，本公开的技术可应用于其他hdr捕获技术。
6、在本公开的一个方面，一种用于图像处理的方法包括：由至少一个处理器接收图像数据，该图像数据包括具有第一曝光历时的第一图像数据、具有第二曝光历时的第二图像数据和具有第三曝光历时的第三图像数据，其中该第二图像数据的第二时间中心在时间上在该第一图像数据的第一时间中心与该第三图像数据的第三时间中心之间是相等间隔开的；由该至少一个处理器通过对该第一图像数据、该第二图像数据和该第三图像数据的对应的像素强度值进行求和来确定第一求和图像数据；以及由该至少一个处理器通过将该第一求和图像数据与该第二图像数据组合来确定第一输出图像帧。
7、在本公开的附加方面，一种装置包括至少一个处理器和存储器，该存储器耦合到该至少一个处理器。该至少一个处理器被配置为执行包括以下项的操作：由至少一个处理器接收图像数据，该图像数据包括具有第一曝光历时的第一图像数据、具有第二曝光历时的第二图像数据和具有第三曝光历时的第三图像数据，其中该第二图像数据的第二时间中心在时间上在该第一图像数据的第一时间中心与该第三图像数据的第三时间中心之间是相等间隔开的；由该至少一个处理器通过对该第一图像数据、该第二图像数据和该第三图像数据的对应的像素强度值进行求和来确定第一求和图像数据；以及由该至少一个处理器通过将该第一求和图像数据与该第二图像数据组合来确定第一输出图像帧。
8、在本公开的附加方面，一种装置包括：用于由至少一个处理器接收图像数据的部件，该图像数据包括具有第一曝光历时的第一图像数据、具有第二曝光历时的第二图像数据和具有第三曝光历时的第三图像数据，其中该第二图像数据的第二时间中心在时间上在该第一图像数据的第一时间中心与该第三图像数据的第三时间中心之间是相等间隔开的；用于由该至少一个处理器通过对该第一图像数据、该第二图像数据和该第三图像数据的对应的像素强度值进行求和来确定第一求和图像数据的部件；和用于由该至少一个处理器通过将该第一求和图像数据与该第二图像数据组合来确定第一输出图像帧的部件。用于确定的部件可包括至少一个处理器，诸如图像信号处理器、cpu、gpu、dsp和/或nsp。用于接收的部件可包括至少一个处理器（诸如本文所描述的那些处理器）和/或网络通信组件。
9、在本公开的附加方面，一种非暂态计算机可读介质存储指令，该指令在由处理器执行时使该处理器执行操作。这些操作包括：由至少一个处理器接收图像数据，该图像数据包括具有第一曝光历时的第一图像数据、具有第二曝光历时的第二图像数据和具有第三曝光历时的第三图像数据，其中该第二图像数据的第二时间中心在时间上在该第一图像数据的第一时间中心与该第三图像数据的第三时间中心之间是相等间隔开的；由该至少一个处理器通过对该第一图像数据、该第二图像数据和该第三图像数据的对应的像素强度值进行求和来确定第一求和图像数据；以及由该至少一个处理器通过将该第一求和图像数据与该第二图像数据组合来确定第一输出图像帧。
10、在本公开的另一方面，一种用于图像处理的方法包括：由至少一个处理器接收图像数据，该图像数据包括具有第一曝光历时的第一图像数据、具有第二曝光历时的第二图像数据和具有第三曝光历时的第三图像数据；由该至少一个处理器通过从该第二图像数据中减去该第三图像数据的对应的像素强度值来确定第四图像数据；以及由该至少一个处理器通过将该第四图像数据与该第一图像数据组合来确定第一输出图像帧。
11、在本公开的另外的方面，一种装置包括至少一个处理器和存储器，该存储器耦合到该至少一个处理器。该至少一个处理器被配置为执行包括以下项的操作：由至少一个处理器接收图像数据，该图像数据包括具有第一曝光历时的第一图像数据、具有第二曝光历时的第二图像数据和具有第三曝光历时的第三图像数据；由该至少一个处理器通过从该第二图像数据中减去该第三图像数据的对应的像素强度值来确定第四图像数据；以及由该至少一个处理器通过将该第四图像数据与该第一图像数据组合来确定第一输出图像帧。
12、在本公开的又一方面，一种装置包括：用于由至少一个处理器接收图像数据的部件，该图像数据包括具有第一曝光历时的第一图像数据、具有第二曝光历时的第二图像数据和具有第三曝光历时的第三图像数据；用于由该至少一个处理器通过从该第二图像数据中减去该第三图像数据的对应的像素强度值来确定第四图像数据的部件；和用于由该至少一个处理器通过将该第四图像数据与该第一图像数据组合来确定第一输出图像帧的部件。
13、在本公开的另外的方面，一种非暂态计算机可读介质存储指令，该指令在由处理器执行时使该处理器执行操作。这些操作包括：由至少一个处理器接收图像数据，该图像数据包括具有第一曝光历时的第一图像数据、具有第二曝光历时的第二图像数据和具有第三曝光历时的第三图像数据；由该至少一个处理器通过从该第二图像数据中减去该第三图像数据的对应的像素强度值来确定第四图像数据；以及由该至少一个处理器通过将该第四图像数据与该第一图像数据组合来确定第一输出图像帧。
14、本文中所描述的图像处理方法可由图像捕获设备执行并且/或者对由一个或多个图像捕获设备捕获的图像数据执行。图像捕获设备（可捕获一个或多个数字图像，无论是静止图像照片还是视频的图像序列的设备）可被结合到各种设备中。以举例的方式，图像捕获设备可包括独立数字相机或数字视频摄像机、配备有相机的无线通信设备手机（诸如移动电话、蜂窝或卫星无线电电话）、个人数字助理（pda）、面板或平板设备、游戏设备、计算设备（诸如网络相机、视频监测相机）或具有数字成像或视频能力的其他设备。
15、本文所描述的图像处理技术可涉及具有图像传感器和处理电路（例如，专用集成电路（asic）、数字信号处理器（dsp）、图形处理单元（gpu）或中央处理单元（cpu））的数字相机。图像信号处理器（isp）可包括这些处理电路中的一个或多个处理电路并且被配置为执行操作以获得图像数据以供根据本文所描述的和/或本文所描述的图像处理技术中所涉及的图像处理技术进行处理。isp可被配置为控制对来自一个或多个图像传感器的图像帧的捕获并且确定来自该一个或多个图像传感器的一个或多个图像帧以生成输出图像帧中的场景的视图。输出图像帧可为形成视频序列的图像帧序列的一部分。视频序列可包括从图像传感器或其他图像传感器接收的其他图像帧。
16、在示例应用中，图像信号处理器（isp）可响应于软件（诸如相机应用）的加载来接收用于捕获图像帧序列的指令，以从图像捕获设备产生预览显示。图像信号处理器可被配置为基于从一个或多个图像传感器接收的图像帧产生单个输出图像帧流。单个输出图像帧流可包括来自图像传感器的原始图像数据、来自图像传感器的合并图像数据，或由图像信号处理器内的一个或多个算法处理的校正图像数据。例如，可通过图像后处理引擎（ipe）和/或其他图像处理电路来处理图像帧以在图像信号处理器中处理从图像传感器获得的图像帧（该图像帧在输出到图像信号处理器之前可能已对数据执行一些处理），从而执行色调映射、肖像照明、对比度增强、伽马校正等中的一者或多者。来自isp的输出图像帧可存储在存储器中并且由执行相机应用的应用处理器检索，该应用处理器可对输出图像帧执行进一步处理以调整输出图像帧的外观并且在显示器上再现输出图像帧以供用户观看。
17、在由图像信号处理器和/或应用处理器（诸如通过本文各个实施方案中所描述的图像处理技术）确定表示场景的输出图像帧之后，输出图像帧可作为单个静止图像和/或作为视频序列的一部分显示在设备显示器上，作为图片或视频序列保存到存储设备，通过网络发送，并且/或者打印到输出介质。例如，图像信号处理器（isp）可被配置为从一个或多个图像传感器获得图像数据（例如，像素值）的输入帧，并且继而产生对应的输出图像帧（例如，预览显示帧、静止图像捕获、用于视频的帧、用于物体跟踪的帧等）。在其他示例中，图像信号处理器可将图像帧输出到各种输出设备和/或相机模块以供进一步处理，诸如用于3a参数同步（例如，自动对焦（af）、自动白平衡（awb）和自动曝光控制（aec））、经由输出帧产生视频文件、配置帧以供显示、配置帧以供存储、通过网络连接来发送帧等。一般来说，图像信号处理器（isp）可从一个或多个图像传感器获得传入帧，以及产生输出帧流并且将输出帧流输出到各种输出目的地。
18、在一些方面，可通过将本公开的图像校正的各方面与诸如高动态范围（hdr）摄影或多帧噪声减少（mfnr）的其他计算摄影技巧组合来产生输出图像帧。在hdr摄影的情况下，使用不同曝光时间、不同光圈、不同镜头和/或在组合两个图像帧时可导致融合图像的改进的动态范围的其他特性来捕获第一图像帧和第二图像帧。在一些方面，可针对mfnr摄影执行该方法，其中使用相同或不同的曝光时间捕获第一图像帧和第二图像帧，并且将第一图像帧和第二图像帧融合以生成校正的第一图像帧，该校正的第一图像帧与捕获的第一图像帧相比具有减少的噪声。
19、在一些方面，设备可包括图像信号处理器或处理器（例如，应用处理器），该图像信号处理器或处理器包括用于相机控制和/或处理的特定功能性，诸如启用或停用合并模块或以其他方式控制图像校正的各方面。本文中所描述的方法和技术可完全由图像信号处理器或处理器执行，或者各种操作可在图像信号处理器和处理器之间分割，并且在一些方面跨附加处理器分割。
20、该设备可包括一个、两个或更多个图像传感器，诸如第一图像传感器。当存在多个图像传感器时，这些图像传感器的配置可能不同。例如，第一图像传感器可具有比第二图像传感器更大的视场（fov），或者第一图像传感器可具有与第二图像传感器不同的灵敏度或不同的动态范围。在一个示例中，第一图像传感器可为广角图像传感器，并且第二图像传感器可为远程图像传感器。在另一示例中，第一传感器被配置为通过具有第一光轴的第一镜头获得图像，并且第二传感器被配置为通过具有与第一光轴不同的第二光轴的第二镜头获得图像。附加地或另选地，第一镜头可具有第一放大率，并且第二镜头可具有与第一放大率不同的第二放大率。这些或其他配置中的任一配置都可为移动设备上的镜头群集的一部分，诸如其中多个图像传感器和相关联的镜头位于移动设备的前侧或后侧上的偏移位置。可包括具有更大、更小或相同视场的附加图像传感器。本文中所描述的图像处理技术可应用于从多传感器设备中的图像传感器中的任一图像传感器捕获的图像帧。
21、在本公开的附加方面，公开了一种被配置用于图像处理和/或图像捕获的设备。该装置包括用于捕获图像帧的部件。该装置还包括用于捕获表示场景的数据的一个或多个部件，诸如图像传感器（包括电荷耦合器件（ccd）、拜耳滤波器传感器、红外（ir）检测器、紫外（uv）检测器、互补金属氧化物半导体（cmos）传感器）和飞行时间检测器。该装置还可包括用于将光线聚集和/或聚焦到一个或多个图像传感器（包括简单镜头、复合镜头、球面镜头和非球面镜头）中的一个或多个部件。可控制这些组件以捕获输入到本文中所描述的图像处理技术的第一图像帧和/或第二图像帧。
22、对于本领域普通技术人员来说，在结合附图回顾特定示例性方面的以下描述时，其他方面、特征和具体实施将变得显而易见。尽管各特征在下文可能是针对某些方面和附图来讨论的，但各种方面可包括本文所讨论的有利特征中的一个或多个特征。换言之，虽然一个或多个方面可能被讨论具有某些有利的特征，但是根据各种方面，也可使用此类特征中的一个或多个特征。以类似方式，尽管示例性方面在下文可能是作为设备、系统或方法方面进行讨论的，但是示例性方面可在各种设备、系统和方法中实现。
23、该方法可作为计算机程序代码嵌入在计算机可读介质中，该计算机程序代码包括使处理器执行该方法的步骤的指令。在一些实施方案中，该处理器可为移动设备的一部分，该移动设备包括：第一网络适配器，该第一网络适配器被配置为通过多个网络连接中的第一网络连接来发送数据，诸如记录的图像或视频或者流数据；和处理器，该处理器耦合到第一网络适配器和存储器。该处理器可使本文所描述的输出图像帧通过无线通信网络（诸如5g nr通信网络）发送。
24、上文已相当广泛地概述了根据本公开的示例的特征和技术优点，以便可更好地理解下面的详细描述。下文将描述附加特征和优点。所公开的概念和特定示例可容易地被用作用于修改或设计用于实现本公开的相同目的其他结构的基础。此类等效构造不脱离所附权利要求书的范围。当结合附图考虑时，根据以下描述将更好地理解本文中所公开的概念的特性（其组织和操作方法两者）以及相关联的优点。提供附图中的每个附图是出于例示和描述的目的，而不是作为对权利要求的限制的定义。
25、虽然在本技术中通过一些示例的例示来描述各方面和具体实施，但是本领域技术人员将理解的是，在许多不同布置和场景中可能产生附加的具体实施和用例。本文所描述的创新可跨许多不同的平台类型、设备、系统、形状、大小和封装布置来实现。例如，各方面和/或使用可经由集成芯片具体实施和其他基于非模块组件的设备（例如，终端用户设备、交通工具、通信设备、计算设备、工业装备、零售/购买设备、医疗设备、启用人工智能（ai）的设备等）来实现。虽然一些示例可专门指向用例或应用，或者可不专门指向用例或应用，但是可出现所描述的创新的各类的适用性。具体实施的范围可从芯片级或模块组件至非模块、非芯片级具体实施，并进一步至结合所描述创新的一个或多个方面的聚合的、分布式或原始装备制造商（oem）设备或系统。在一些实践设置中，结合所描述的各方面和特征的设备还可必要地包括用于实施和实践所要求保护并描述的各方面的附加组件和特征。例如，无线信号的发送和接收必要地包括用于模拟和数字目的的多个组件（例如，硬件组件，包括天线、射频（rf）链、功率放大器、调制器、缓冲器、处理器、交织器、加法器/求和器等）。本文所描述的创新旨在可在具有不同大小、形状和构造的各种设备、芯片级组件、系统、分布式布置、终端用户设备等中实践。