针对HDR图像和视频使用相同像素捕获短曝光数据和长曝光数据两者的制作方法

相关申请案的交叉引用

本申请案主张以下专利申请案的权益：2017年6月23日申请的标题为“针对hdr图像和视频使用相同像素捕获短曝光数据和长曝光数据两者(usingthesamepixelstocapturebothshortandlongexposuredataforhdrimageandvideo)”的美国临时专利申请案第62/524,300号；和2018年2月08日申请的标题为“针对hdr图像和视频使用相同像素捕获短曝光数据和长曝光数据两者(usingthesamepixelstocapturebothshortandlongexposuredataforhdrimageandvideo)”的美国非临时专利申请案第15/892,137号，所述专利申请案两者的公开内容出于所有适用目的以全文引用的方式并入本文中就如同在下文完全阐述一般。

本公开的方面大体上涉及高动态范围(hdr)成像。更具体地说，下文论述的技术的某些方面涉及针对hdr图像和视频使用相同像素捕获短曝光数据和长曝光数据两者。

背景技术：

为捕获hdr图像和视频，通常组合图像的多重曝光。通常，将短曝光像素数据与长曝光像素数据组合。因为例如相机系统的用以获得短曝光像素数据和长曝光像素数据两者的捕获装置通常通常具有有限的最大像素分辨率，所以通常是有限的最大像素数目可用于获得短曝光像素数据和长曝光像素数据。因此，相机系统对像素和曝光的高效使用对于获得高质量图像和视频且不使用相当大的硬件资源和功率来说是必要的。

一些常规相机系统通过以下操作来获得短曝光数据和长曝光数据：(a)将第一组像素(例如最大可用像素的一半)专用于短曝光数据并且将不同于第一组像素的第二组像素(例如最大可用像素的剩余的一半)专用于长曝光数据，(b)在短时间内曝光第一组像素以获得短曝光数据，和(c)在较长时间内曝光第二组像素以获得长曝光数据。其它常规相机系统通过以下操作来获得短曝光数据和长曝光数据：(a)将第一组像素行专用于短曝光数据并且将不同于第一组像素行的第二组像素行专用于长曝光数据，(b)在短时间内曝光第一组像素行以获得短曝光数据，和(c)在较长时间内曝光第二组像素行以获得长曝光数据。

常规相机系统具有很多缺点。举例来说，在常规相机系统中，专用于获得图像的短曝光数据的像素或像素行不用以获得图像的长曝光数据，且专用于获得图像的长曝光数据的像素或像素行不用以获得图像的短曝光数据。因此，在短曝光数据和长曝光数据组合之后，这类常规相机系统可获得的最大分辨率大约为可用像素总数目的一半，这是因为仅大约一半的像素或像素行用以获得短曝光数据，而另一半的像素或像素行用以获得长曝光数据。因此，为了获得hdr图像的所要分辨率，所要分辨率需要多至两倍的像素。这类结果不仅效率低下，而且还需要更多功耗和更多硬件资源，因此导致较高成本。因此，常规相机系统欠佳。

技术实现要素：

下文概括本公开的一些方面以提供对所论述技术的基本理解。此概述并非本公开的所有所涵盖特征的广泛综述，且既不希望识别本公开的所有方面的关键或至关重要要素，也不希望划定本公开的任何或所有方面的范围。其唯一目的是以概述形式呈现本公开的一或多个方面的一些概念以作为稍后呈现的更详细描述的序言。

在本公开的一方面中，提供一种hdr成像的方法。所述方法可包含通过处理器开始装置中可得的多个像素的曝光。所述方法还可包含在经过第一时间段之后，通过所述处理器从所述多个像素捕获像素数据以获得短曝光像素数据。所述方法可另外包含在经过长于所述第一时间段的第二时间段之后，通过所述处理器从所述多个像素捕获像素数据以获得长曝光像素数据。

在本公开的另一方面中，提供一种被配置成用于执行hdr成像的设备。举例来说，所述设备可包含用于开始装置中可得的多个像素的曝光的装置。所述设备还可包含用于在经过第一时间段之后从所述多个像素捕获像素数据以获得短曝光像素数据的装置。所述设备可另外包含用于在经过长于所述第一时间段的第二时间段之后从所述多个像素捕获像素数据以获得长曝光像素数据的装置。

在本公开的又一方面中，提供一种其上记录程序代码以用于执行hdr成像的非暂时性计算机可读媒体。所述程序代码可包含可由计算机执行以致使所述计算机开始装置中可得的多个像素的曝光的程序代码。所述程序代码还可包含可由计算机执行以致使所述计算机在经过第一时间段之后，从所述多个像素捕获像素数据以获得短曝光像素数据的程序代码。所述程序代码可另外包含可由计算机执行以致使所述计算机在经过长于所述第一时间段的第二时间段之后，从所述多个像素捕获像素数据以获得长曝光像素数据的程序代码。

在本公开的又一方面中，提供一种被配置成用于执行hdr成像的设备。所述设备包含存储器和耦合到所述存储器的至少一个处理器。所述至少一个处理器可被配置成开始装置中可得的多个像素的曝光。所述至少一个处理器还可被配置成在经过第一时间段之后，从所述多个像素捕获像素数据以获得短曝光像素数据。所述至少一个处理器可被进一步配置成在经过长于所述第一时间段的第二时间段之后，从所述多个像素捕获像素数据以获得长曝光像素数据。

在结合附图查阅对本发明的特定示范性实施例的以下描述后，本发明的其它方面、特征和实施例对于所属领域的技术人员将变得显而易见。虽然可相对于以下的某些实施例和图论述本发明的特征，但本发明的全部实施例可包含本文中论述的有利特征中的一或多个。换句话说，虽然可将一或多个实施例论述为具有某些有利特征，但也可以根据本文中所论述的本发明的各种实施例来使用此类特征中的一或多个。以类似方式，虽然下文可将示范性实施例论述为装置、系统或方法实施例，但应理解，此类示范性实施例可以各种装置、系统和方法来实施。

附图说明

可参考以下图式实现对本公开的性质与优点的进一步理解。在附图中，类似组件或特征可具有相同的参考标记。另外，可通过在参考标记之后跟着短划线和在类似组件当中进行区分的第二标记来区分相同类型的各种组件。如果在说明书中仅使用第一参考标记，那么描述适用于具有相同第一参考标记而与第二参考标记无关的类似组件中的任一个。

图1示出根据本公开的方面的具有相机系统的计算装置的框图。

图2示出根据本公开的方面的用于针对hdr成像使用相同像素捕获短曝光数据和长曝光数据两者的流程图。

图3a示出根据本公开的方面的说明像素曝光和像素数据捕获的时序的实例像素阵列和时序图。

图3b示出根据本公开的方面的说明像素曝光和像素数据捕获的时序的另一实例像素阵列和时序图。

具体实施方式

下文结合附图阐述的详细描述意在作为各种可能的配置的描述并且不意在限制本公开的范围。实际上，详细描述包含具体细节，以便提供对本发明标的物的透彻理解。所属领域的技术人员将显而易见的是，并非在每种情况中都要求这些具体细节。

本公开的方面可获得用于hdr图像和视频捕获的改进的相机系统。举例来说，本公开的方面可包含使用相同像素捕获短曝光像素数据和长曝光像素数据的相机系统，其改进相机硬件效率和像素效率，并且减小相机系统的功耗。

图1示出根据本公开的方面的具有相机系统的计算装置100的框图。作为实例而非限制，装置100可为便携式个人计算装置，例如移动电话、智能电话、静态相机、摄像机、数码相机、平板计算机、手提式计算机、个人数字助理、可穿戴计算装置、家庭自动化组件、数字录像机、数字电视、远程控制，或一些其它类型的配备有至少一些图像捕获和/或图像处理能力的装置。装置100也可为用以获得hdr图像或视频的静止计算装置或任何其它装置，例如无线通信装置。在本公开的各方面中，装置100可以被称作相机装置。可使用本文所公开的hdr成像技术的多个应用程序可供装置100的用户使用。应理解，装置100可表示例如数码相机的物理相机装置、其上的相机应用程序以软件操作的特定物理硬件平台，或被配置成进行相机功能的硬件和软件的其它组合。

如图1中所示，装置100可包含处理器110、存储器120、用户接口130和相机系统组件140(还被称作相机系统140)，其全部可通过系统总线、网络或其它连接机构105以通信方式链接在一起。处理器110可包含单个多用途处理器、并行地操作的多个处理器、执行不同操作的多个处理器，或并行地操作的多个处理器与执行不同操作的多个处理器的组合。举例来说，处理器110可被配置成执行控制相机系统140的指令，执行图像/视频处理，以及执行控制装置100的方面和/或处理装置100内的数据的各种其它操作。处理器110可包含一或多个通用处理器，例如微处理器，和/或一或多个专用处理器，例如数字信号处理器(dsp)、图形处理单元(gpu)、浮点单元(fpu)、网络处理器，或专用集成电路(asic)。在一些情况下，专用处理器可为能够进行图像处理、图像对齐和图像合并以及其它可能操作的图像处理器。

存储器120可包含用于存储各种类型的信息的各种类型的易失性和/或非易失性存储器媒体。举例来说，存储器120可包含磁盘驱动器(例如软盘驱动器)、硬盘驱动器、光盘驱动器，或磁光盘驱动器，或可包含固态存储器，例如闪存存储器、ram、rom和/或eeprom。存储器120还可包含多个存储器单元，其中的任一个可被配置成在装置100内或在装置100外部。举例来说，存储器120可包含rom存储器，其含有存储在装置100内的系统程序指令。存储器120还可包含被配置成存储所捕获的图像并且可从装置100拆卸的存储器卡或高速存储器。存储器120也可在装置100外部，且在一个实例中，装置100可例如经由网络连接将数据无线发射到存储器120。存储器120可包含可装卸和/或不可拆卸组件。

存储器120可被配置成存储各种类型的信息。举例来说，存储器120可存储数据，例如从相机系统组件140获得的图像或视频数据、与装置100的操作系统相关联的数据，和/或与可在装置100上运行的应用程序相关联的数据。存储器120还可包含程序指令，处理器110可执行所述程序指令以执行与应用程序、操作系统和/或控制相机系统组件140有关的处理。借助于实例，存储于存储器120中的程序指令可包含操作系统，例如操作系统核心、装置驱动器和/或其它模块，以及安装在装置100上的一或多个应用程序，例如相机功能、地址簿、电子邮件、网页浏览、社交联网和/或游戏应用程序

处理器110可执行来自存储器120的指令或处理存储于存储器120中的数据。举例来说，处理器110可能能够执行存储于存储器120中的程序指令，例如经编译或未经编译程序逻辑和/或机器代码，以进行本文中所描述的各个功能。因此，存储器120可包含在其上存储有程序指令的非暂时性计算机可读媒体，所述程序指令在由计算装置100执行时致使计算装置100进行本说明书和/或附图中所公开的方法、过程或功能中的任一个。处理器110对程序指令的执行可引起处理器110使用存储器120内的数据。

用户接口130可用以允许装置100与人类或非人类用户交互，以便从用户接收输入并且将输出提供给用户。因此，用户接口130可包含输入组件，例如小键盘、键盘、触敏或对存在敏感的面板、计算机鼠标、跟踪球、操纵杆、麦克风等。用户接口130还可包含一或多个输出组件，例如可例如与对存在敏感的面板组合的显示屏幕。显示屏幕可基于阴极射线管(crt)、液晶(lcd)、发光二极管(led)和/或等离子体技术，或其它现在已知或稍后开发的技术。在一些方面中，用户接口130可例如通过显示屏幕显示正在由装置100所捕获的当前图像，或可能由装置100捕获或最近捕获的图像的数字表示。因此，用户接口130可充当用于装置100的相机系统140的取景器。举例来说，在一些方面中，用户接口130可包含显示器，其充当用于计算装置100所支持的静态相机和/或摄像机功能的取景器。在一些方面中，用户接口130的显示屏幕还可支持可能够调整相机系统140的任何方面的设置和/或配置的触摸屏和/或对存在敏感的功能。另外，用户接口130可包含一或多个按钮、开关、旋钮和/或拨号盘，以便于相机功能的配置和聚焦以及图像的捕获(例如捕获图片)。可有可能的是，这些按钮、开关旋钮和/或拨号盘中的一些或全部实施为对存在敏感的面板上的功能。用户接口130还可以被配置成经由扬声器、扬声器插孔、音频输出端口、音频输出装置、耳机和/或其它类似装置产生可听输出。

相机系统组件140可包含但不限于光圈、快门、记录面和/或镜头，光穿过所述光圈进入，所述快门控制光穿过光圈进入多长，所述记录面用于捕获由光表示的图像，所述镜头定位于光圈的前面以将图像的至少一部分聚集于记录面上。光圈可为固定大小或可调整。记录面可包含电子图像传感器以传送和/或存储所捕获的图像于存储器内。电子图像传感器可包含用于将入射光转换成电信号的光敏元件阵列。举例来说，电子图像传感器可包含电荷耦合装置(ccd)、互补型金属氧化物半导体(cmos)传感器，或任何其它接收光并且响应于所接收到的光而产生图像数据的图像传感装置。

快门可耦合到镜头或记录面或在镜头或记录面附近。快门可处于其中阻挡光到达记录面的关闭位置，或其中允许光到达记录面的打开位置。在一些方面中，快门的位置可受快门按钮控制。举例来说，快门可默认地处于关闭位置。当触发(例如，按压)快门按钮时，快门可在一段时间(被称为快门循环)内从关闭位置改变到打开位置。在快门循环期间，可在记录面上捕获图像。在快门循环结束时，快门可改变回到关闭位置。替代地，快门处理可为电子的。举例来说，在ccd图像传感器或cmos图像传感器的电子快门“打开”之前，传感器可重置以移除其光敏元件中的任何残余信号。在电子快门保持打开时，光敏元件可将入射光转换成电信号，使得可在记录面上捕获图像。在快门关闭时或之后，这些电信号可传送到长期存储器。机械和电子快门的组合也可以是可能的。

在不考虑快门的类型的情况下，可通过除快门按钮以外的某物启动和/或控制快门。举例来说，可通过处理器110、软键、计时器或某一其它触发来启动和/或控制快门。在本文中，术语“图像捕获”可指在不考虑如何触发或控制快门处理的情况下，引起记录一或多个图像的任何机械和/或电子快门处理。举例来说，静态相机可每当触发图像捕获时捕获一或多个图像。摄像机可以每秒图像或帧数的特定速率连续地捕获图像，只要保持触发图像捕获即可。即，所捕获的图像可为单个图像、多个静态图像或视频流。

可通过光圈的大小、进入光圈的光的亮度和快门循环的长度(还被称作快门长度或曝光长度)来确定所捕获的图像的曝光。在本文中，术语“曝光时间”或其变体可解译为可能地是指快门长度、曝光时间(曝光时间的长度)或控制由光到达记录面产生的信号响应的量的任何其它度量。

虽然图1描绘具有单独组件的装置100，但所属领域的技术人员将认识到，这些单独组件可以多种方式组合以实现特定设计目标。举例来说，在替代性方面中，存储器组件120可与处理器组件110组合以节约成本和/或改进性能。

在一些方面中，相机系统组件140和曝光时间中的任一个可受处理器110控制。举例来说，相机系统组件140可在处理器110执行软件时至少部分地受处理器110控制。具体来说，相机可包含控制例如曝光时间、光圈大小等一或多个相机功能和/或设置的软件。举例来说，装置100进行的图像捕获可由处理器110触发，以及由某一其它机构触发，例如通过启动快门按钮、通过按压用户接口130上的软键，或通过某一其它机构触发。在一些方面中，处理器110可执行以控制相机系统组件140的软件可包含存储于存储器120中的一些数据和/或程序指令。

根据一些方面，相机装置100可用于hdr成像。举例来说，为捕获hdr图像和视频，相机装置100可被配置成组合来自图像的多重曝光的数据。作为实例，相机装置100可将短曝光像素数据与长曝光像素数据组合。在一些方面中，相机装置100可被配置成使用相同像素捕获短曝光像素数据和长曝光像素数据两者以改进相机硬件效率和像素效率，并且减小相机系统的功耗。

图2示出根据本公开的方面的用于针对hdr成像使用相同像素捕获短曝光数据和长曝光数据两者的流程图。方法200的方面可以关于图1描述的本公开的各方面予以实施。具体地，方法200包含在框202处，开始装置中可得的多个像素的曝光。举例来说，在处理器110的控制下，装置100可被配置成开始装置100的相机系统140中可得的多个像素的曝光。在框204处，方法200包含在经过第一时间段之后，从多个像素捕获像素数据以获得短曝光像素数据。举例来说，在处理器110的控制下，装置100可被配置成在经过第一时间段之后，从多个像素捕获像素数据以获得短曝光像素数据。在框206处，方法200包含在经过长于第一时间段的第二时间段之后，从多个像素捕获像素数据以获得长曝光像素数据。举例来说，在处理器110的控制下，装置100可被配置成在经过长于第一时间段的第二时间段之后，从多个像素捕获像素数据以获得长曝光像素数据。

图3a示出根据本公开的方面(例如方法200中所公开的方面)的说明像素曝光和像素数据捕获的时序的实例像素阵列和时序图。如图3a中所说明，多个像素可包含具有行312a-d和列314a-d的像素的像素阵列310。仅出于说明性目的提供图3a中说明的像素阵列，这是因为如所属领域的技术人员将易于理解，像素阵列可包含大于或小于四个的行、大于或小于四个的列，且无需为二维的，例如像素阵列可为三维、四维等。

在一些方面中，像素阵列310可对应于参考图1所描述的在其上捕获图像的记录面。举例来说，像素阵列310中的像素值可对应于表示经由记录面的一或多个光敏元件获得的电信号的一或多个值。换句话说，像素阵列310中的像素可对应于表示在记录面的光敏元件已暴露于光并且已将入射光转换为电信号之后，存在于记录面的光敏元件中的一或多个上的一或多个电信号的数字值。因此，在一些方面中，例如在方法200的框202处开始多个像素的曝光可指通过记录面的光敏元件开始光捕获并且用亮度和/或色彩的数字值对相应像素进行对应编码。

所捕获的图像可表示为一维、二维或多维像素阵列。举例来说，在图3a中说明的方面中，所捕获的图像表示为二维像素阵列310。每一像素可以由可编码相应像素的色彩和/或亮度的一或多个值表示。在一些方面中，可能的像素编码可基于例如rggb、rgbn、rgb、cmyk、ycbcr、yuv和yiq的各种色彩模型中的一或多个，以及现在已知或稍后开发的其它编码。此外，图像中的像素可以各种文件格式表示，包含原始(未经压缩)格式，或经压缩格式，例如联合摄影专家组(jpeg)、便携网络图形(png)、图形交换格式(gif)等。

在一些方面中，色彩和亮度通道中的每个可与表示色彩或亮度的值相关联。因此，像素的亮度可以在像素黑色或接近黑色的情况下由0或接近0的值表示，并且在像素为白色或接近白色的情况下由最大值或接近最大的值表示。举例来说，如果色彩和/或亮度通道中的每个由8位表示，那么黑色或接近黑色的像素可具有0值或接近0的值，且白色或接近白色的像素可具有255的值或接近255的值。类似地，如果色彩和/或亮度通道中的每个由10位表示，那么黑色或接近黑色的像素可具有0值或接近0的值，且白色或接近白色的像素可具有1023值或接近1023的值。在其它方面中，像素值可翻转，使得接近0的值与接近白色的像素相关联，且接近最大的值与接近黑色的像素相关联。

根据一些方面，像素的亮度且因此与像素相关联的亮度值可为像素的曝光时间的函数。举例来说，像素的短曝光时间可引起场景的亮区的相当准确的表示。相反地，像素的长曝光时间可引起场景的暗区的相当准确的表示。

在图3a中说明的方面中，时序图320a和320d说明可如何根据本公开的方面控制相机系统以针对hdr成像使用相同像素捕获短曝光数据和长曝光数据两者。所属领域的技术人员将易于理解，虽然仅出于说明性目的在图3a中仅提供时序图320a和320d，但一般来说，每个行312a-d可与不同时序图320a-d相关联。在一些方面中，相机装置可被配置成例如通过图1的相机装置100的处理器110，确定像素阵列310的所有像素的长曝光时间t2。举例来说，长曝光时间t2可设置为产生是待捕获的图像中的暗区的相当准确的表示的像素值的曝光时间。长曝光时间t2设置为的值可基于如下各种因素针对不同图像捕获变化：待捕获图像的所要质量、待捕获图像的亮度的动态范围和/或供相机装置用于确定长曝光时间t2的度量，所述度量例如像素值平均值、像素值的阈值和/或指配给像素阵列中的像素的权重。因此，被视为产生是暗区的相当准确的表示的像素值的长曝光时间t2的项可基于例如前文提及的用于确定长曝光时间t2的因素的各种因素变化。在一些方面中，长曝光时间t2可为例如通过用户在相机装置上提供输入来被用户指定。在其它方面中，长曝光时间t2可由相机装置确定，且用户可修改装置确定的长曝光时间t2。

类似地，相机装置可被配置成例如通过图1的相机装置100的处理器110，确定像素阵列310的所有像素的短曝光时间t1。举例来说，短曝光时间t1可设置为是待捕获图像中的亮区的相当准确的表示的像素值的曝光时间。短曝光时间t1设置为的值可基于如下各种因素针对不同图像捕获变化：待捕获图像的所要质量、待捕获图像的亮度的动态范围和/或供相机装置用于确定短曝光时间t1的度量，所述度量例如像素值平均值、像素值的阈值和/或指配给像素阵列中的像素的权重。因此，被视为产生是亮区的相当准确的表示的像素值的短曝光时间t1的项可基于例如前文提及的用于确定短曝光时间t1的因素的各种因素变化。在一些方面中，短曝光时间t1可为例如通过用户在相机装置上提供输入来被用户指定。在其它方面中，短曝光时间t1可由相机装置确定，且用户可修改装置确定的短曝光时间t1。参考方法200，短曝光时间t1可指在框204处公开的第一时间段，且长曝光时间t2可指在206处公开的长于第一时间段的第二时间段。

根据一些方面，可至少部分地基于与相机装置相关联的可表达为每秒帧数(fps)的帧速率来确定短曝光时间t1和长曝光时间t2的值。举例来说，根据一些方面，相机装置可被配置成维持最小帧速率fpsmin。在一些方面中，相机装置可被配置成将长曝光时间t2设置为小于1/(fpsmin)的值。作为实例而非限制，相机装置可被配置成维持15fps的最小帧速率。基于15fps的最小帧速率，相机装置可将长曝光时间t2的最大值设置为66.66ms的值。在其它方面中，相机装置可将长曝光时间t2设置为小于66.66ms的值，例如65ms、60ms、50ms等。举例来说，相机装置可将长曝光时间t2设置为小于66.66ms的值以满足特定相机规范。根据一些方面，可以类似于确定长曝光时间t2的方式的方式确定短曝光时间t1。举例来说，相机装置可被配置成将短曝光时间t1设置为小于1/(fpsmin)的值。作为对短曝光时间t1的额外约束条件，相机装置可被配置成将短曝光时间t1设置为小于长曝光时间t2设置为的任何值的值。在一些方面中，短曝光时间t1可为长曝光时间t2的分数，不过一般来说，短曝光时间t1无需为长曝光时间t2的分数。在其它方面中，短曝光时间t1可设置为满足特定相机规范。

在一些方面中，相机装置可被配置成例如通过图1的相机装置100的处理器110，至少部分地基于捕获图像或视频的场景的分析来确定短曝光时间t1和长曝光时间t2的值。举例来说，相机装置可被配置成实施场景分析算法，其分析捕获图像或视频的场景并且接着确定分别产生场景的亮区和暗区的相当准确的表示的短曝光时间t1和长曝光时间t2的适当值。在一些方面中，场景分析算法可包含与场景相关联的直方图的分析。

返回参考时序图320a和320d，在时间t0，相机装置可例如在方法200的框202处，例如在处理器的控制下，开始像素阵列310的曝光。举例来说，在时间t0，相机装置可控制相机装置的快门和/或相机装置的光圈以允许光到达对应于像素阵列310的相机装置的记录面的光敏元件。在开始曝光后，可开始用亮度和/或色彩值编码像素阵列310中的像素。举例来说，像素阵列310可对应于参考图1所描述的其上捕获图像的记录面。换句话说，像素阵列310中的像素值可对应于表示经由记录面的一或多个光敏元件获得的电信号的一或多个值。因此，在一些方面中，例如在方法200的框202处开始多个像素的曝光可指通过记录面的光敏元件，例如通过控制相机装置的快门和/或相机装置的光圈允许光到达记录面的光敏元件，开始光捕获，以及基于通过记录面的光敏元件将光转换成电信号产生的记录面的光敏元件上的电信号，用亮度和/或色彩值对相应像素进行对应编码。

在开始像素阵列310中的像素的曝光之后，相机装置可例如在方法200的框204处，例如在处理器的控制下，在自时间t0起经过短曝光时间t1之后捕获像素数据以获得短曝光像素数据。具体来说，在时序图320(例如，320a、320d)的点330(例如，330a、330d)处，自时间t0起仅经过短曝光时间t1。因此，像素阵列310的所有像素值可提供短曝光像素数据。因此，在经过短曝光时间t1后，例如在时序图320a、320d的点330a、330d处，相机装置可例如在处理器的控制下，通过读出像素阵列310的所有像素值并且将其例如存储在相机装置的存储器内，捕获短曝光像素数据。在经过短曝光时间t1之后所捕获的像素值，即，在时序图320a、320d的点330a、330d处从像素阵列310读取的像素值，因而可提供在方法200的框204处公开的短曝光像素数据。

类似地，如在方法200的框206处公开，相机装置还可例如在处理器的控制下，在自时间t0起经过长曝光时间t2之后捕获像素数据以获得长曝光像素数据。具体来说，在时序图320(例如，320a、320d)的点340(例如，340a、340d)处，自时间t0起经过长曝光时间t2。因此，像素阵列310的所有像素值可提供长曝光像素数据。因此，在经过长曝光时间t2后，例如在时序图320a、320d的点340a、340d处，相机装置可例如在处理器的控制下，通过读出像素阵列310的所有像素值并且将其例如存储在相机装置的存储器内，捕获长曝光像素数据。在经过长曝光时间t2之后所捕获的像素值，即，在时序图320a、320d的点340a、340d处从像素阵列310读取的像素值，因而可提供在方法200的框206处公开的长曝光像素数据。

根据一些方面，可例如在方法200的框204和/或框206处，以一次一行的方式捕获像素数据。举例来说，在接下来描述的图3b中，可在从行312c读出像素数据之前从行312a读出像素数据。在其它方面中，与一次一行相反，可从所有像素读出像素数据。举例来说，在图3a中，可在时序图320的时间330(例如，330a、330d)和/或340(例如，340a、340d)从所有行312a-d读出像素数据。

图3b示出根据本公开的方面(例如方法200中所公开方面)的说明像素曝光和像素数据捕获的时序的另一实例像素阵列和时序图。在图3b中说明的方面中，时序图360说明可如何根据本公开的方面控制相机系统以针对hdr成像使用相同像素捕获短曝光数据和长曝光数据两者。如同图3a一样，仅出于说明性目的提供图3b中说明的像素阵列，这是因为如所属领域的技术人员将易于理解，像素阵列可包含大于或小于四个的行、大于或小于四个的列，且无需为二维的，例如像素阵列可为三维、四维等。

在时序图360(例如，360a-360d)中，在时间t0，相机装置可例如在方法200的框202处，例如在处理器的控制下，开始像素阵列310的相应行312的曝光。举例来说，在时序图360a的时间t0，相机装置可控制相机装置的快门和/或相机装置的光圈以允许光到达对应于像素阵列310的行312a的相机装置的记录面的光敏元件。类似地，在时序图360d的时间t0，相机装置可控制相机装置的快门和/或相机装置的光圈以允许光到达对应于像素阵列310的行312d的相机装置的记录面的光敏元件。如关于图3a所描述，在开始特定行312中的曝光后，可开始用亮度和/或色彩值编码像素阵列310的特定行312中的像素。因此，在一些方面中，例如在方法200的框202处开始多个像素的曝光可指通过记录面310的一或多个行312的光敏元件开始光捕获并且用亮度和/或色彩值对一或多个行312中的相应像素进行对应编码。

在开始图3b的像素阵列310中的像素的曝光之后，相机装置可例如在方法200的框204处，例如在处理器的控制下，在自时间t0起经过短曝光时间t1之后捕获像素数据以获得短曝光像素数据。具体来说，在时序图360a的点330a处，自时间t0起仅经过短曝光时间t1。因此，像素阵列310的行312a的所有像素值可提供短曝光像素数据。因此，在经过短曝光时间t1后，例如在时序图360c的点330c处，相机装置可例如在处理器的控制下，通过读出像素阵列310的行312c中的像素的所有像素值并且将其例如存储在相机装置的存储器内，捕获短曝光像素数据。在经过短曝光时间t1之后所捕获的像素值，即，在时序图360c的点330c处从像素阵列310的行312c中的读取的像素值，因而可提供在方法200的框204处公开的短曝光像素数据。

类似地，如在方法200的框206处公开，相机装置还可例如在处理器的控制下，在自时间t0起经过长曝光时间t2之后捕获像素数据以获得长曝光像素数据。具体来说，在时序图360a的点340a处，自时间t0起经过长曝光时间t2。因此，像素阵列310的行312a的所有像素值可提供长曝光像素数据。因此，在经过长曝光时间t2后，例如在时序图360c的点340c处，相机装置可例如在处理器的控制下，通过读出像素阵列310的行312c中的像素的所有像素值并且将其例如存储在相机装置的存储器内，捕获长曝光像素数据。在经过长曝光时间t2之后所捕获的像素值，即，在时序图360c的点340c处从像素阵列310的行312c中的像素读取的像素值，因而可提供在方法200的框206处公开的长曝光像素数据。

在一些方面中，在不考虑是如图3a中所说明同时开始像素曝光还是如图3b中所说明在针对不同行的不同时间开始像素曝光的情况下，可一次一行地从像素阵列310读出像素数据。举例来说，在一个方面中，可首先从行312a读出像素数据，随后从行312b读出像素数据，等。在一些方面中，这类像素读出可以被称作滚动快门读出。因此，当达到读出时间，例如图3a或3b中的读出短曝光像素数据的时间t1或图3a或3b中的读出长曝光像素数据的时间t2时，可同时并行地读出特定行的所有像素数据。

作为当如图3a中所说明同时开始像素曝光时的滚动快门读出过程的特定实例，在已经过短曝光时间t1之后，图3a中说明的整个像素阵列310中的所有像素可含有短曝光像素数据。使用滚动快门读出过程，紧接在经过短曝光时间t1之后，可首先读出行312a中的像素的所有像素值，随后读出行312b中的像素的所有像素值，随后读出行312c中的像素的所有像素值，等。类似地，在已经过长曝光时间t2之后，图3a中说明的整个像素阵列310中的所有像素可含有长曝光像素数据。使用滚动快门读出过程，紧接在经过长曝光时间t2之后，可首先读出行312a中的像素的所有像素值，随后读出行312b中的像素的所有像素值，随后读出行312c中的像素的所有像素值，等。

作为当如图3b中所说明在针对不同行的不同时间开始像素曝光时的滚动快门读出过程的特定实例，在已经过时序图360a上的方位330a所识别的用于图3b中的行312a的短曝光时间t1之后，图3b中说明的像素阵列310的行312a中所有像素可含有短曝光像素数据。使用滚动快门读出过程，紧接在已经过方位330a所识别的短曝光时间t1之后，可首先读出行312a中的像素的所有像素值。短时间后，在已经过时序图360b上的方位330b所识别的用于图3b中的行312b的短曝光时间t1之后，图3b中说明的像素阵列310的行312b中的所有像素可含有短曝光像素数据且可读出行312b中的像素的所有像素值。所述过程可依次针对每个后续行继续，直到已从图3b中说明的像素阵列310中的每个行读出短曝光像素数据为止。

类似地，在已经过时序图360a上的方位340a所识别的用于图3b中的行312a的长曝光时间t2之后，图3b中说明的像素阵列310的行312a中所有像素可含有长曝光像素数据。使用滚动快门读出过程，紧接在已经过方位340a所识别的长曝光时间t2之后，可首先读出行312a中的像素的所有像素值。短时间后，在已经过时序图360b上的方位340b所识别的用于图3b中的行312b的长曝光时间t2之后，图3b中说明的像素阵列310的行312b中的所有像素可含有长曝光像素数据且可读出行312b中的像素的所有像素值。所述过程可依次针对每个后续行继续，直到已从图3b中说明的像素阵列310中的每个行读出长曝光像素数据为止。

根据一些方面，图1的计算装置100的相机系统组件140可另外包含用于执行像素读出过程的一或多个锁存器和一或多个模/数转换器(adc)。举例来说，在一个方面中，像素阵列310的每个行可与两个锁存器和一个adc相关联。在此方面中，当达到用于特定行例如行312a的短曝光时间t1时，行312a的像素中的每个中的像素数据可锁存到与行312a相关联的第一锁存器中。锁存器中的短曝光像素数据可传送到分配给行312a的adc，以将模拟短曝光像素数据转换成随后可被存储和数字处理的数字像素数据。因为adc可处理已经锁存的像素数据，所以在一些方面中，adc可以不处理或存取或更改行312a的像素中的现用像素数据。因此，在一些方面中，在adc正在处理锁存的数据时，行312a中的像素可能并不重置且替代地可继续曝光且因此基于继续的曝光继续更新其像素数据。当达到用于行312a的长曝光时间t2时，行312a的像素中的每个中的像素数据可再次锁存到与行312a相关联的第二锁存器中。锁存器中的长曝光像素数据可传送到分配给行312a的adc，以将模拟长曝光像素数据转换成随后可被存储和数字处理的数字像素数据。可针对每个行执行此过程。在其中像素阵列310的每个行可与两个锁存器和一个adc相关联的此类方面中，一个锁存器用于在时间t1之后捕获短曝光像素数据且另一锁存器用于在时间t2之后捕获长曝光像素数据，行的像素数据读出时间可对应于锁存器所需的锁存时间加adc所需的a/d转换时间。

在另一方面中，像素阵列310的每个行可与两个锁存器和两个adc相关联，一个锁存器和adc用于在时间t1之后捕获和转换短曝光像素数据，且另一锁存器和adc用于在时间t2之后捕获和转换长曝光像素数据。在此方面中，当达到用于特定行例如行312a的短曝光时间t1时，行312a的像素中的每个中的像素数据可锁存到与行312a相关联的第一锁存器中。第一锁存器中的短曝光像素数据可传送到分配给行312a的第一adc，以将模拟短曝光像素数据转换成随后可被存储和数字处理的数字像素数据。在一些方面中，在adc正在处理锁存的数据时，行312a中的像素可能并不重置且替代地可继续曝光且因此基于继续的曝光继续更新其像素数据。当达到用于行312a的长曝光时间t2时，行312a的像素中的每个中的像素数据可再次锁存到与行312a相关联的第二锁存器中。第二锁存器中的长曝光像素数据可传送到分配给行312a的第二adc，以将模拟长曝光像素数据转换成随后可被存储和数字处理的数字像素数据。可针对每个行执行此过程。在其中像素阵列310的每个行可与两个锁存器和两个adc相关联的此类方面中，行的像素数据读出时间可对应于锁存器所需的锁存时间加adc所需的a/d转换时间。

在又一方面中，像素阵列310的每个行可与两个锁存器相关联，一个锁存器用于在时间t1之后捕获短曝光像素数据且另一锁存器用于在时间t2之后捕获长曝光像素数据。另外，可包含用于整个像素阵列310的仅两个adc，一个adc用于转换来自任一行的即最近所捕获的短曝光像素数据的短曝光像素数据，且另一adc用于转换来自任一行的即最近所捕获的长曝光像素数据的长曝光像素数据。在此方面中，当达到用于特定行例如行312a的短曝光时间t1时，行312a的像素中的每个中的像素数据可锁存到与行312a相关联的第一锁存器中。第一锁存器中的短曝光像素数据可传送到分配给像素阵列310的第一adc，以将模拟短曝光像素数据转换成随后可被存储和数字处理的数字像素数据。在一些方面中，在adc正在处理锁存的数据时，行312a中的像素可能并不重置且替代地可继续曝光且因此基于继续的曝光继续更新其像素数据。当达到用于行312a的长曝光时间t2时，行312a的像素中的每个中的像素数据可再次锁存到与行312a相关联的第二锁存器中。第二锁存器中的长曝光像素数据可传送到分配给像素阵列310的第二adc，以将模拟长曝光像素数据转换成随后可被存储和数字处理的数字像素数据。可针对每个行执行此过程。因此，在一些方面中，在第一adc可正在转换来自第一行的短曝光像素数据时，第二adc可正在转换来自第二行的长曝光像素数据。在其中像素阵列310的每个行可与两个锁存器相关联同时可包含用于整个像素阵列310的仅两个adc的此类方面中，行的像素数据读出时间可对应于锁存器所需的锁存时间加adc所需的a/d转换时间。

在一些方面中，像素阵列310的每个行可与锁存在时间t1之后的短曝光像素数据的仅单个锁存器相关联。可不包括锁存在时间t2之后的长曝光数据的单独锁存器。在此方面中，如前所述，当达到用于特定行例如行312a的短曝光时间t1时，行312a的像素中的每个中的像素数据可锁存到与行312a相关联的锁存器中并且接着传送到adc，以将模拟短曝光像素数据转换成随后可被存储和数字处理的数字像素数据。当达到行312a的长曝光时间t2时，行312a的像素中的每个中的像素数据可直接传送到adc，在不首先进行锁存的情况下，将模拟长曝光像素数据转换成随后可被存储和数字处理的数字像素数据。

在一些方面中，例如图3a或3b中所说明的方面中，从中获得长曝光像素数据的像素可与从中获得短曝光像素数据的像素相同。举例来说，如图3a或3b中所说明，可从像素阵列310中的所有像素获得短曝光像素数据和长曝光像素数据。换句话说，在本公开的各方面中，一些像素可能并不指定为仅用于捕获短曝光像素数据，而其它像素被指定为仅用于捕获长曝光像素数据。替代地，在本公开的各方面中，像素可用以获得短曝光像素数据和长曝光数据两者。

类似地，在一些方面中，例如图3a或3b中所说明的方面中，曝光的多个像素可包含装置中可得的基本上所有像素。即，用于捕获图像的像素阵列例如像素阵列310可表示相机装置中可得的所有或基本上所有像素。举例来说，在图3a或3b中所说明的方面中，相机装置包含16个像素的像素阵列310且16个像素全部用于捕获短曝光数据和长曝光数据。在其它方面中，相机装置的像素阵列可包含不同数目个像素且相机装置可使用像素阵列的所有或基本上所有像素捕获短曝光数据和长曝光数据两者。

根据一些方面，例如图3a或3b中所说明的方面，可从多个像素的单个连续曝光获得短曝光像素数据和长曝光像素数据。换句话说，在时序图320或360中，在点330处已经过短曝光时间t1之后，可继续像素阵列310的一或多个行的曝光而不在点330处停止。替代地，在时序图320或360的点330处，相机装置可在曝光继续时读出像素阵列310的一或多个行中的像素的瞬时值。换句话说，在点330处，可在曝光继续时读出像素阵列310的一或多个行中的所有像素的值的快照，直到已经过长曝光时间t2为止。

在某些方面，可重置多个像素，例如图3a或3b中的像素阵列310。举例来说，在本公开的一个方面中，可仅在已从多个像素获得短曝光数据和长曝光数据之后重置多个像素，即，像素阵列310的一或多个行或所有行。换句话说，可在已经过长曝光时间t2并且已从像素阵列310的一或多个行或所有行获得长曝光像素数据之后，在时序图320或360的点340处重置像素阵列310的一或多个行或所有行的值。在本公开的另一方面中，可在已从像素阵列310的一或多个行或所有行获得短曝光数据和长曝光数据之前，重置像素阵列310的一或多个行或所有行。举例来说，像素阵列310的一或多个行或所有行可在时间t0之前或在时间t0处刚好在曝光开始之前重置。在本公开的又其它方面中，像素阵列310的一或多个行或所有行可在已从像素阵列310的一或多个行或所有行获得短曝光像素数据和长曝光像素数据之前，例如在时间t0处或附近重置，和/或在已从像素阵列310的一或多个行或所有行获得短曝光像素数据和长曝光像素数据之后，例如在时序图320或360上的点340处或附近重置。像素阵列310的一或多个行或所有行不在如下任一点重置：在已获得短曝光像素数据之后，但在获得长曝光像素数据之前。即，像素阵列310的一或多个行或所有行不在时序图320或360上的点330和340之间重置。

当在已经过长曝光时间t2并且已从像素阵列310的一或多个行或所有行获得长曝光像素数据之后，在点340处或附近重置像素阵列310的一或多个行或所有行时，在重置多个像素，例如像素阵列310的一或多个行或所有行之前，可输出所捕获的短曝光像素数据和所捕获的长曝光像素数据以用于图像和/或视频后处理。举例来说，在一些方面中，在时序图320或360上的点340处或附近重置像素阵列310的一或多个行或所有行之前，所捕获的短曝光像素数据和所捕获的长曝光像素数据可以例如串行或并行方式从一或多个adc输出到相机装置的存储器，使得相机装置的处理器可存取短曝光像素数据和长曝光像素数据以用于图像和/或视频处理。在本公开的一些方面中，可在已从像素阵列310的一或多个行或所有行获得短曝光像素数据之后，在时间330处或附近将短曝光像素数据输出到存储器，且可在已从像素阵列310的一或多个行或所有行获得长曝光像素数据之后，在时间340处或附近将长曝光像素数据输出到存储器。在一些方面中，相机装置可例如在处理器110的控制下，将短曝光像素数据与长曝光像素数据组合以产生hdr图像或hdr视频。换句话说，相机装置的处理器可存取短曝光像素数据和长曝光像素数据，并且对所述短曝光像素数据和所述长曝光像素数据执行图像处理以产生hdr图像或hdr视频。在一些方面中，处理可包含使用数据类型(dt)参数根据标准化协议，例如mipicsi-2标准化协议，识别短曝光数据和长曝光数据。

在图3a中的时序图320中，曝光开始时间t0对于像素阵列310的所有行312是相同的，短曝光时间t1对于像素阵列310的所有行312是相同的，且长曝光时间t2对于像素阵列310的所有行312是相同的。因此，在大致相同时间从像素阵列310中的所有像素获得短曝光数据且在大致相同时间从像素阵列310中的所有像素获得长曝光数据。在其它方面中，曝光开始时间t0(参见图3b)、短曝光时间t1和长曝光时间t2中的任一个对于不同行可为不同的。举例来说，在图3b中说明的方面中，时序图360a中的用于像素阵列310的行312a的曝光开始时间t0可不同于时序图360d中的用于像素阵列310的行312d的曝光开始时间t0。因此，在此方面中，虽然短曝光数据和长曝光数据两者仍从每个像素获得，但短曝光数据的捕获和长曝光数据的捕获可针对行312a和312d中的像素在不同时间发生，这是因为其曝光开始时间t0是不同的。类似地，行的短曝光时间t1和长曝光时间t2可为不同的。在不考虑曝光开始时间t0、短曝光时间t1和/或长曝光时间t2对于不同行是相同的还是变化的的情况下，可从每一像素获得短曝光数据和长曝光数据两者。

可使用通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中所描述的功能的任何组合来实施或执行在本文中结合本公开描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，例如dsp和微处理器的组合、多个微处理器、与dsp核心结合的一或多个微处理器，或任何其它此类配置。

在本文中结合本公开所描述的方法或算法的步骤可直接在硬件中、由处理器执行的软件模块中或此两者的组合中实施。软件模块可驻存在ram存储器、快闪存储器、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可拆卸磁盘、cd-rom，或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息和将信息写入到存储媒体。在替代性方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻存在asic中。asic可以驻存在用户终端中。在替代性方案中，处理器和存储媒体可作为离散组件驻存于用户终端中。

在一或多个示范性设计中，所描述的功能可在硬件、软件、固体或其任何组合中实施。如果实施于软件中，那么可将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体发射。计算机可读媒体包含计算机存储媒体和通信媒体两者，通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。计算机可读存储媒体可以是可由通用或专用计算机存取的任何可供使用的媒体。借助于实例而非限制，此类计算机可读媒体可包括ram、rom、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携载或存储呈指令或数据结构形式的所要程序代码装置且可由通用或专用计算机或通用或专用处理器存取的任何其它媒体。并且，可将连接恰当地称为计算机可读媒体。举例来说，如果软件是从网站、服务器或其它远程源使用同轴电缆、光纤电缆、双绞线或数字订户线(dsl)发射的，那么所述同轴电缆、光纤电缆、双绞线或dsl包含在媒体的定义中。如本文所使用的磁盘和光盘包含压缩光盘(cd)、激光光盘、光学光盘、数字多功能光盘(dvd)、硬盘、固态磁盘蓝光光盘，其中磁盘通常是以磁性方式再现数据，而光盘是用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。

如在本文中包含在权利要求书中所使用，术语“和/或”当用于两个或更多个项目的列表中时，意思是可单独地采用所列项目中的任一个或可采用所列项目中中的两个或更多个的任何组合。举例来说，如果组成物被描述为含有组分a、b和/或c，那么所述组成物可含有：仅a；仅b；仅c；a和b的组合；a和c的组合；b和c的组合；或a、b和c的组合。并且，如在本文包含权利要求书中所使用，以“中的至少一个”结尾的项目的列表中所使用的“或”指示分离性列表，使得例如“a、b或c中的至少一个”的列表意味着a或b或c或ab或ac或bc或abc(即，a和b和c)，或在其任何组合中的这些中的任一个。

虽然已详细地描述了本公开和其优势，但应理解，可在不脱离如所附权利要求书所界定的本公开的精神和范围的情况下做出各种改变、替代和更改。此外，本申请案的范围不意在限于本说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例。如所属领域的技术人员将易于从本公开了解到，可根据本公开利用执行与本文中所描述的对应实施例大体相同的功能或实现与所述对应实施例大体相同的结果的当前现有或稍后开发的机器、制造、物质组成、装置、方法或步骤。因此，所附权利要求书意欲在其范围内包含此类过程、机器、制造、物质组成、装置、方法或步骤。