使用神经网络对摄影曝光不足进行校正的制作方法

相关申请

本申请要求在2018年9月13日提交的美国临时申请序列号62/730,799和在2019年5月7日提交的美国临时申请序列号62/844,496的权益，出于所有目的，这两个专利在此通过引用以其整体并入本文。

本公开涉及一种使用卷积神经网络来增强曝光不足的摄影图像的系统。特别地，描述了一种以最小的图像质量损失来减少所需的打开快门时间、减小所需的光圈大小或降低传感器灵敏度的方法。

背景

弱光环境通常无法提供足够的可用光来适当曝光相机传感器并提供可用的图像。可以通过提高传感器的光敏度、增加光圈大小、延长曝光时间或提供闪光灯或其他人工照明来改善此类弱光照片。遗憾的是，这些解决方案中的每一种方案都有众所周知的问题。提高传感器灵敏度会放大传感器的噪声。光圈大小的增加可能需要大型、笨重且昂贵的镜头。延长曝光时间可导致由相机抖动造成的运动模糊、卷帘快门系统中的剪切伪像、以及对象运动模糊。闪光灯可能很昂贵、难以部署，并且经常导致人或对象的不自然出现的过度曝光。

已经应用了各种计算机处理技术来改善弱光图像的出现。例如，诸如直方图均衡化和伽玛校正的简单技术通常可以增加暗区的亮度，而对亮区的影响有限。去噪和去模糊可用于分别降低噪声和运动伪像。使用例如反暗通道先验图像去雾(inversedarkchannelpriorforimagedehazing)、小波变换处理或照明图估计的照片水平分析和处理都可以改善弱光图像。

也已经进行了各种尝试，以使用机器智能后处理来挽救不满意或拍摄不良的弱光相机图像。例如，chenchen、qifengchen、jiaxu、vladlenkoltun在计算机视觉与模式识别会议(conferenceoncomputervisionandpatternrecognition)(cvpr2018)(arxiv：1805.01934[cs.cv](2018年5月4日))上发表的“learningtoseeinthedark”，描述了将全卷积神经网络用于弱光图像的直接单图像处理。

对于更复杂的机器智能处理示例，yukiendo、yoshihirokanamori和junmitani在美国计算机学会图形学会刊(acmtransactionsongraphics)(siggraphasia会议记录，2017)，36，6，文章177(2017年11月)发表的“deepreversetonemapping”描述了曝光过度或曝光不足的低动态范围图像的使用并使用神经网络对其进行处理以合成自然出现的高动态范围图像。同样，xinyang等人在2018年4月12日发表的“imagecorrectionviadeepreciprocatinghdrtransformation”(arxiv：1804.04371[cs.cv])中描述了利用双神经网络系统进行相机曝光不足/曝光过度校正以重建曝光不良的图像。

概述

一种用于图像捕获的方法，包括确定曝光范围并设置至少一个相机参数以捕获曝光范围之外的曝光不足的图像。使用神经网络处理曝光不足的图像以恢复图像细节。可以减少由于相机或对象运动模糊引起的图像缺陷。

另一实施例是一种用于图像改善的方法，该方法包括以下步骤：针对具有传感器的传感器系统确定模拟设置，并利用该传感器捕获数据。在由传感器提供的先前数据上所训练的神经网络可用于降低噪声并从所捕获的图像数据中恢复图像细节。

在一个实施例中，调整模拟设置以改善神经网络训练响应。

在一个实施例中，调整模拟设置以使图像曝光不足。

在一个实施例中，在用神经网络处理之后，图像被压缩。

在一个实施例中，一种用于改善组合的模拟和数字系统中的总系统增益的系统，其包括具有传感器的传感器系统，该传感器被配置为捕获图像数据，并且图像数据以顺序的模拟和数字过程进行处理。可以在由传感器或传感器类型(sensortype)提供的先前数据上训练神经网络以降低噪声并在模拟放大后从所捕获的图像数据中恢复图像细节。在一些实施例中，神经网络处理可以发生在数字放大之前，或者可替代地，可以发生在模拟放大和某种数字放大之后。

附图简述

参考以下附图描述了本公开的非限制性和非穷举性的实施例，其中，除非另外指明，否则贯穿各个附图，相同的参考数字指代相同的零件。

图1示出了用于改善相机图像捕获功能的方法；

图2示出了神经网络处理；

图3示出了另一个神经网络处理实施例；

图4a至图4d示出了数据集的经选择的神经网络去噪；

图5示出了相机传感器处理过程的实施例；

图6示出了具有控制、成像和显示子系统的系统；

图7示出了神经网络训练过程的一个实施例；以及

图8是示出实施例的信噪比与总系统增益的关系的曲线图。

详细描述

所有图像传感系统和传感器都会有在典型操作过程中产生的某种相关联噪声。在诸如弱光环境(例如，低环境照度，快速快门或小光圈)中常见的噪声环境中，此噪声将成为数字化信号的主要部分。遗憾的是，许多传统和现代的计算机视觉算法(即，对象或面部识别、视觉测距、视觉slam或图像稳定)在高噪声环境中可能会失灵。需要降低图像噪声并恢复图像细节的算法和系统，以使这些算法能够在它们通常会失灵的环境中工作。

降低噪声也可以有益于基于机器智能的图像处理。基于现代学习的算法非常适合那些经过训练的数据分布集。当机器学习算法以超出此分布的数据呈现时，或者使用对抗性示例时，这些算法的准确性、速度和其他性能指标可能会受到影响。如果可以大大降低图像或数据集中的图像传感器噪声，则处理图像或数据集的学习算法的性能下降将较小。

噪声的另一个问题是噪声是几乎不可压缩的高熵信息的结果。这意味着对于捕获噪声环境或条件的图像，给定系统或传感器存储介质的压缩率将大大降低。压缩文件的大小最终会比正常操作条件下捕获的等效信号大得多。

为了降低噪声、提高正常或弱光条件下的图像精度和细节恢复并提高压缩率，可以使用神经网络来恢复基础信号。实际上，使用诸如本文所公开的系统和神经网络进行预处理的媒体可以在图像质量上得到改善并且被更大程度地压缩，从而产生较小的文件大小以及减少的存储或带宽使用。有利地，即使正确曝光的图像也受益于该预处理步骤。

如图1所示，在一个实施例中，一种用于使用神经网络处理来改善相机图像捕获弱光能力并降低噪声的系统和方法100依赖于首先确定理想曝光或曝光范围(步骤110)。在第二步骤112中，捕获至少一个故意曝光不足的图像。在第三步骤114中，使用神经网络或其他机器智能系统来处理该图像，以提高整体系统质量。最终，在步骤116中，基于实际或估计的图像质量，其他相机操作可以具有经调整的功能参数。例如，可以使用低iso设置代替传统上与弱光条件相关联的高iso设置。作为另一个示例，在视频应用中，可以提高帧速率。

各种各样的静物相机或摄像机受益于对系统和方法100的使用。相机类型可以包括但不限于具有静物或视频功能的常规dslr、智能手机、平板电脑相机或膝上型电脑相机、专用摄像机、网络摄像头或安全相机。在一些实施例中，可以使用专用摄像机，诸如红外相机、热成像仪、毫米波成像系统、x射线或其他放射学成像仪。实施例还可包括具有传感器的相机，该传感器能够检测红外、紫外或其他波长以允许高光谱图像处理。

相机可以是独立的、便携式的或固定的系统。通常，相机包括处理器、存储器、图像传感器、通信接口、相机光学和致动器系统以及存储器存储装置。处理器控制相机的整体操作，诸如操作相机光学和传感器系统以及可用的通信接口。相机光学和传感器系统控制相机的操作，诸如对在图像传感器处捕获的图像进行曝光控制。相机光学和传感器系统可以包括固定镜头系统或可调镜头系统(例如，变焦和自动聚焦能力)。相机可以支持存储器存储系统，诸如可移除存储卡、有线usb或无线数据传输系统。

在一些实施例中，神经网络处理可以在将图像数据传输到包括专用神经网络处理系统、膝上型计算机、pc、服务器或云的远程计算资源之后发生。在其他实施例中，可以使用优化的软件、神经处理芯片或专用fpga系统在相机内进行神经网络处理。

在一些实施例中，神经网络处理的结果可以用作其他机器学习或神经网络系统的输入，包括为对象识别、模式识别、面部识别、图像稳定、机器人或车辆测距和定位或跟踪或瞄准应用而开发的系统。有利地，这种神经网络处理的图像归一化可以例如减少在高噪声环境中的计算机视觉算法故障，使得这些算法能够在它们通过由于特征置信度的噪声相关降低而失效的环境中工作。通常，这可以包括但不限于弱光环境、有雾、多尘或朦胧的环境，或易受闪光或眩光影响的环境。实际上，图像传感器的噪声通过神经网络处理得以消除，因此以后的学习算法具有减少的性能下降。

在某些实施例中，多个图像传感器可以与所描述的神经网络处理一起共同工作以实现更宽的操作和检测包络(operationalanddetectionenvelopes)，例如，与具有不同光敏度的传感器一起工作以提供高动态范围图像。在其他实施例中，具有单独的神经网络处理节点的光学或算法成像系统链可以耦合在一起。在其他实施例中，神经网络系统的训练可以从整体上与成像系统分离，作为与特定成像器相关联的嵌入式部件来操作。

曝光可以定义为在传感器的电子阱处收集的光子数量和传感器的量子效率的函数。收集的光子数量主要受场景照明、光路的孔径和曝光时间影响。良好的曝光度已定义为接近模拟到数字信号的范围的中间。确定特定的曝光或曝光范围可以手动地、利用手动输入半自动地或自动地完成。通常，曝光通过设置光圈、iso或快门速度中的一项或更多项来确定，但是影响曝光时间的其他修改(诸如中性或偏光滤镜的插入)也是可能的。一旦确定或设置了理想的曝光设置或曝光设置的范围，就会有目的地调整相机输入(例如，光圈、iso或快门速度)，以使图像传感器曝光不足。曝光不足可涉及减小光圈、降低iso或提高快门速度。假设其他曝光有关的设置保持恒定，则光圈控制的曝光不足将使光圈值(f-stop)增加两个或更多个，iso曝光不足将被设置为理想设置的一半或更少(例如，将iso3000设置为iso100)，并且快门速度可以加倍或更高(例如，将1/60秒设置为1/1000秒)。如将认识到，可以同时调整这些设置的各种组合。

可以使用各种类型的神经网络，包括递归网络、生成对抗网络或深度卷积网络。卷积神经网络对于诸如本文所述的图像处理应用特别有用。如参考图2所见，卷积神经网络200可以接收单个曝光不足的rgb图像210作为输入。首选raw格式，但压缩的jpg图像可以在有一些质量损失的情况下使用。图像可以利用常规像素操作进行预处理，或者优选地以最小修改被馈送到经过训练的卷积神经网络200中。

处理通过一个或更多个卷积层212、池化层214、完全连接层216进行，并以改进图像的rgb输出218结束。在操作中，一个或更多个卷积层将卷积运算应用于rgb输入，并将结果传递给接下来的一层或更多层。卷积后，局部或全局池化层可以将输出合并到下一层中的单个或少量节点中。重复的卷积或卷积/池化对是可能的。在输出之前，完全连接层216将一层中的每个节点连接到另一层中的每个节点。

特定用途的一个神经网络实施例是全卷积神经网络。全卷积神经网络由卷积层组成，而通常在网络末端没有任何完全连接层。有利地，全卷积神经网络是图像大小独立的，其中任何大小的图像作为训练的输入都是可接受的。参考图3，全卷积网络300的示例被示出。可以在收缩路径上处理数据，其包括重复应用两个3x3卷积(未填充卷积)，每个卷积后跟一个整流线性单元(relu)和一个步长为2的2x2最大池化操作(maxpoolingoperation)，以用于下采样。在每个下采样步骤处，特征通道的数量都会加倍。扩展路径中的每个步骤都包括对特征图进行上采样，然后进行2x2卷积(上卷积)，其将特征通道的数量减半，提供与来自收缩路径的相应裁剪后的特征图的拼接(concatenation)，并且包括两个3x3卷积，每个卷积后跟一个relu。特征图裁剪补偿每次卷积中边界像素的损失。在最后一层处，使用lxl卷积将每个64分量特征向量映射到所需数量的类。尽管所描述的网络具有23个卷积层，但是在其他实施例中可以使用更多或更少的卷积层。训练可以包括使用随机梯度下降技术处理具有相应分割图的输入图像。

也可以采用依赖于神经网络处理的系统和方法的其他实施例。如参考图4a所见，过程400涉及使用拜耳图像数据(bayerimagedata)402，其可以特定于特定传感器或传感器类型。神经网络处理404用于对数据402进行去噪并提供去噪的拜耳图像406。将会理解，神经网络处理的训练和操作也可以特定于用于创建数据402的特定传感器或传感器类型。

在参考图4b看到的另一实施例中，过程410涉及使用拜耳图像数据412，其可以特定于特定传感器或传感器类型。神经网络处理414用于对数据412进行去噪并提供去噪的rgb图像416。将会理解，神经网络处理的训练和操作也可以特定于用于创建数据402的特定传感器或传感器类型。

在参考图4c看到的另一实施例中，过程420涉及使用rgb图像数据422，其可以特定于特定传感器或传感器类型。神经网络处理424用于对数据422进行去噪并提供去噪的rgb图像426。将会理解，神经网络处理的训练和操作也可以特定于用于创建数据422的特定传感器或传感器类型。

在参考图4d看到的另一实施例中，过程430涉及使用张量数据432，其可以特定于特定传感器或传感器类型。神经网络处理434用于对数据432进行去噪并提供去噪的张量数据436。将会理解，神经网络处理的训练和操作也可以特定于用于创建数据432的特定传感器或传感器类型。在一些实施例中，可以使用非光学传感器或系统，包括毫米波雷达系统、测绘压力传感器或提供张量数据集的其他合适的传感器。

图5示出了用于改善图像数据的成像管线500的一个实施例。影响图像的模拟处理的因素包括场景照明502、光路和光圈504以及图像传感器506的特征。这些因素中的许多因素都可以自动调整或调整为将改善后期神经网络处理效率的有利因素。例如，可以增加闪光灯或其他场景照明的强度、持续时间或对其重定向。可以从光路中取出滤光片，光圈打开的更大或降低快门速度。图像传感器的效率或放大倍数可通过iso选择进行调整。

在一个实施例中，可以通过在模数转换之前增加这些模拟因素中的一个或更多个来捕获弱光图像。在模数转换508并且转换成合适的数据结构510(诸如拜耳派生(bayerderived)、rgb、raw、tiff、jpg等)之后，可以通过稍后的神经网络处理512去除噪声或其他不想要的伪像。例如，拜耳派生的数据结构可以被定义成在深度方向上堆叠彩色通道，使得所得尺寸在空间上减半并在深度方向上是四倍。

使用图像信号处理器514的图像信号处理可以包括附加的数字缩放、色调映射、像素校正、去马赛克、去雾等。在一些实施例中，神经网络处理可以在图像信号处理器514上运行，而在其他实施例中，可以使用单独的处理部件。可以出于任何其他合适的中间或最终用途518而存储、传输、显示、分类、编码或提供已处理的图像。

图6示出了用于训练神经网络的系统600，该系统包括能够将各自的控制信号发送到成像系统604和显示系统606的控制和存储模块602。成像系统604可以将处理后的图像数据提供给控制和存储模块602，同时还从显示系统606接收配置文件数据。

以监督或半监督的方式训练神经网络需要高质量的训练数据。为了获得这样的数据，系统600提供自动成像系统配置文件。控制和存储模块602包含要传输到显示系统606的校准和原始配置文件数据。校准数据可以包含但不限于用于评估分辨率、焦点或动态范围的目标。原始配置文件数据可包含但不限于从高质量成像系统(参考系统)捕获的自然和人造场景，以及程序生成的场景(数学推导的)。

显示系统606的示例是高质量电子显示器。显示器可以调整其亮度，或者可以增加诸如中性密度滤光片的物理滤光元件。一种替代显示系统可包括要与前或后照明光源一起使用的高质量参考印刷或滤光元件。在任何情况下，显示系统的目的都是产生各种图像或图像序列，以传输到成像系统。

被配置(profiled)的成像系统被集成到配置系统中，使得它可以由控制和存储计算机以编程方式控制，并且可以对显示系统的输出进行成像。改变相机参数，诸如孔径、曝光时间和模拟增益，并拍摄单个显示图像的多次曝光。所得的曝光被传输到控制和存储计算机，并保留以备培训之用。

整个系统都放置在受控的照明环境中，使得在配置过程中已知光子“本底噪声(noisefloor)”。

设置整个系统，使得限制分辨率因素是成像系统。这通过考虑参数的数学模型实现，这些参数包括但不限于：成像系统传感器像素间距、显示系统像素尺寸、成像系统焦距、成像系统工作f值、传感器像素数量(水平和垂直)、显示系统像素数(垂直和水平)。实际上，可以对特定传感器、传感器品牌或类型或传感器类别进行配置，以生成针对个体传感器或传感器模型精确定制的高质量培训数据。

图7示出了神经网络系统700的一个实施例，该神经网络系统700的参数可以被操纵，使得它们针对一组输入产生期望的输出，并且能够改善对于诸如先前描述的噪声或弱光图像数据的成像质量。操纵网络参数的一种方法是“受监督训练”。在受监督训练中，操作员向网络提供源/目标对710和702，并且当与目标函数结合时，可以根据某种方案(例如，反向传播)来修改网络系统700中的一些或所有参数。

在所描述的图7的实施例中，准备了来自诸如配置文件系统、数学模型和公共可用数据集的各种源的高质量训练数据(源710和目标702对)，以输入到网络系统700。该方法包括数据包装目标704和源712，以及预处理λ目标706和源714。

数据包装采用一个或许多个训练数据样本，并根据确定的方案对其进行归一化，然后将数据安排在张量中以输入到网络。训练数据样本可以包括序列或时间数据。

预处理λ允许操作员在输入到神经网络或目标函数之前修改源输入或目标数据。这可以是为了增加数据，根据某种方案拒绝张量，向张量添加合成噪声，对数据执行扭曲和变形以达到对齐目的或将图像数据转换为数据标签。

被训练的网络716具有至少一个输入和输出718，尽管在实践中发现，每个具有其自己的目标函数的多个输出可以具有协同增效(synergeticeffects)。例如，尽管系统的总体目标是减少图像噪声，但可以通过“分类器头”输出来提高降噪性能，该输出的目的是对张量中的对象进行分类。目标输出数据708、源输出数据718和目标函数720共同定义了待最小化的网络损耗，其值可以通过额外训练或数据集处理来改善。

图8是示出实施例的信噪比与总系统增益的关系的曲线图800。从曲线图800明显的是，总系统增益或放大率可以以增加噪声和降低信噪比为代价而增加。信号的放大可以通过模拟放大(或增益)或通过数字放大来实现。在曲线图800中，指示了模拟放大随后是数字放大的三种不同的实例i、ii和iii。实例i示出了有限的模拟放大，然后是数字放大。实例ii示出了模拟放大的增加，而实例iii示出了数字放大，仅模拟放大有更大的增加。通过最大化可实现的模拟增益来提供最佳的总系统增益，然后才提供数字增益。这支持本公开的一个实施例，其中，通过首先增加或最大化模拟增益、之后通过神经网络处理且然后通过数字增益的改善来改善总系统增益。

所描述的方法和系统可以对许多应用提供各种好处，包括：

运动或对象模糊减少-运动模糊是由快门打开期间相机或目标对象的运动引起的。使用所描述的方法，可以显著减少快门打开时间。

远距离图像捕获-快门打开期间相机的移动会降低图像质量。对于远距离或手持式相机成像，相机运动引起的模糊是关键限制因素。使用所描述的方法，可以大大减少远距离成像相机的运动模糊，或者需要重型三脚架支架的应用可以被转换成使用电子、光学或陀螺仪稳定的轻型三脚架相机系统的稳定器或使用手持式相机。

帧速率增加-较短的曝光时间允许更快的帧速率。更快的帧速率可以使用较小的装置和光圈实现“慢动作”(快速帧速率)成像。

突发模式捕获(burstmodecapture)-可以连续捕获更多张图像。这可用于减少堆叠的高动态范围图像所面临的相机或对象移动方面的问题。

超级图像稳定(superimagestabilization)-快速的曝光时间与快速帧速率相结合能够实现超级图像稳定。超级图像稳定是一种稳定一组图像的计算技术。图像中的每个像素都映射成目标场景的表示，并且各种计算技术实现了有效分辨率的提高。

增加的动态范围成像-图像的动态范围可以增加，因为曝光不足会减少像素饱和度问题。该应用对于室外或高亮度对比度成像特别有用。

光水平降低(lightlevelreduction)-曝光不足会降低闪光灯亮度水平和闪光灯持续时间。

辐射减少-曝光不足会减少定向x射线或毫米波辐射水平的持续时间。

文件压缩-噪声是高熵信息，并且可以视为完全不可压缩。给定的传感器将具有一定的噪声，并且在弱光环境(低环境照度、快速快门、小光圈)中，该噪声将成为数字化信号的主要部分。在这种情况下，对于给定媒体的压缩率将开始受到影响，所得的压缩后的文件大小将大于正常操作条件下捕获的等效信号。然而，由于所描述的神经网络处理恢复了基础信号，因此降低了噪声并提高了总信噪比。实际上，神经网络处理的数据可以被更大程度地压缩，从而产生更小的文件大小和/或减少的带宽使用。有利地，文件大小压缩被发现即使对于正常曝光的图像(不仅是弱光图像)也会发生，并且对于具有大范围类似着色区域(诸如云或天空)的照片特别有利。

将会理解，本文描述的相机系统和方法可以在本地或经由与有线或无线连接子系统的连接来操作，以与诸如服务器、台式计算机、膝上型计算机、平板电脑或智能电话的装置交互。数据和控制信号可以在各种外部数据源之间进行接收、生成或传输，这些外部数据源包括无线网络、个人区域网络、蜂窝网络、因特网或云介导的数据源。另外，本地数据源(例如，硬盘驱动器、固态驱动器、闪存或任何其他合适的存储器，包括动态存储器，诸如sram或dram)可以允许用户指定的偏好或协议的本地数据存储。在一个特定实施例中，可以提供多个通信系统。例如，可以使用直接wi-fi连接(802.1lb/g/n)以及单独的4g蜂窝连接。

与远程服务器实施例的连接也可以在云计算环境中实现。云计算可以被定义为用于实现对可配置计算资源(例如，网络、服务器、存储、应用和服务)的共享池进行普遍、方便、按需网络访问的模型，该模型可以经由虚拟化快速配置，并以最小的管理工作量或服务提供商交互来发布，然后进行相应的扩展。云模型可以由各种特征(例如，按需自助服务、广泛的网络访问、资源池化、快速弹性和可衡量的服务等)、服务模型(例如，软件即服务(“saas”)、平台即服务(“paas”)和基础设施即服务(“iaas”))以及部署模型(例如，私有云、社区云、公共云和混合云等)组成。

受益于前述描述和相关附图中呈现的教导，本领域的技术人员将想到本发明的许多修改和其他实施例。因此，应当理解，本发明不限于所公开的特定实施例，并且修改和实施例旨在包括在所附权利要求的范围内。还应理解，可以在缺少本文未具体公开的元件/步骤的情况下实践本发明的其他实施例。