读出图像像素阵列的方法及高动态范围(HDR)成像系统与流程

本发明大体上涉及图像传感器，且特定来说，涉及捕获高动态范围图像的图像传感器。

背景技术：

标准图像传感器具有约60dB到70dB的有限动态范围。然而，现实世界的照明度动态范围要大得多。自然场景通常跨越90dB及以上的范围。为了同时捕获强光及阴影，高动态范围(“HDR”)技术已用于图像传感器以增加经捕获的动态范围。一种用于HDR成像的方法为使用图像像素阵列起始具有不同曝光周期的多个曝光。使用不同曝光/积分时间或不同灵敏度，一个图像传感器可起始2个、3个、4个或更多不同曝光以产生HDR图像。然而，捕获多个曝光对在可接受时间帧中读出多个曝光造成挑战，尤其是在视频录制背景中。因此，需要改进读出架构及技术以提高读出处理量。

技术实现要素：

本发明的一个实施例涉及一种读出捕获具有多个曝光周期的高动态范围(HDR)图像的图像像素的阵列的方法，所述方法包括：分别在第一、第二及第三读出时间将第一、第二及第三子帧写入到存储器，所述第一、第二及第三子帧由所述图像像素阵列的相同第一子阵列所产生，其中所述第三读出时间在所述第二读出时间之后，且所述第二读出时间在所述第一读出时间之后，且其中所述第一子帧针对第一曝光周期而经曝光，所述第二子帧针对短于所述第一曝光周期的第二曝光周期而经曝光，且所述第三子帧针对短于所述第二曝光周期的第三曝光周期而经曝光；在所述第三读出时间之后的第一写入时间将所述第一、第二及第三子帧发送到图像信号处理器；以及在所述第三读出时间之后的第二写入时间将第四子帧发送到所述图像信号处理器，所述第四子帧由所述图像像素阵列的所述相同第一子阵列所产生、针对短于所述第三曝光周期的第四曝光周期而经曝光，其中通过将所述第四子帧从模/数转换器发送到所述图像信号处理器而不将其写入到所述存储器，所述第四子帧绕过所述存储器。

本发明的另一实施例涉及一种高动态范围(HDR)成像系统，其包括：图像像素阵列；控制电路，其耦合到所述图像像素阵列以起始具有不同曝光周期的图像捕获；图像信号处理器(ISP)；模/数转换器模块，其经耦合以从所述图像像素阵列读出模拟图像信号；及存储器，其经耦合以接收代表所述模拟图像信号的数字图像信号，其中所述HDR成像系统包含非暂时性机器可存取媒体，其经配置以：分别在第一、第二及第三读出时间将第一、第二及第三子帧写入到存储器，所述第一、第二及第三子帧由所述图像像素阵列的相同第一子阵列产生，其中所述第三读出时间在所述第二读出时间之后，且所述第二读出时间在所述第一读出时间之后，且其中所述第一子帧针对第一曝光周期而经曝光，所述第二子帧针对短于所述第一曝光周期的第二曝光周期而经曝光，且所述第三子帧针对短于所述第二曝光周期的第三曝光周期而经曝光；在所述第三读出时间之后的第一写入时间将所述第一、第二及第三子帧发送到所述ISP；以及在所述第三读出时间之后的第二写入时间将第四子帧发送到所述ISP，所述第四子帧由所述图像像素阵列的所述相同第一子阵列所产生、针对短于所述第三曝光周期的第四曝光周期而经曝光，其中通过将所述第四子帧从所述模/数转换器模块发送到所述ISP而不将其写入到所述存储器，所述第四子帧绕过所述存储器。

附图说明

参考以下图式描述本发明的非限制性及非穷尽实施例，其中相似参考数字贯穿各种视图指代相似部分，除非另有说明。

图1说明根据本发明的实施例的包含读出电路的实例高动态范围(HDR)成像系统的示意框图。

图2说明包含根据本发明的实施例的像素阵列、用于读出所述像素阵列的实例读出电路及图像信号处理器的示意框图。

图3说明根据本发明的实施例的展示图像像素阵列的子阵列的不同曝光的实例时序图。

图4说明根据本发明的实施例的展示将子帧写入到存储器的时序图。

具体实施方式

本文描述用于高动态范围(HDR)成像的系统及方法的实施例。在以下描述中，阐述众多特定细节以提供对所述实施例的透彻理解。然而，所属领域的技术人员将认识到，能够在不具有一或多个特定细节的情况下或使用其它方法、组件、材料等等实践本文所描述的技术。在其它情况下，未详细展示或描述众所周知的结构、材料或操作以避免混淆某些方面。

贯穿本说明书的对“一个实施例”或“一实施例”的参考意指结合所述实施例所描述的特定特征、结构或特性包含于本发明的至少一个实施例中。因此，贯穿本说明书的各种地方的短语“在一个实施例中”或“在一实施例中”的出现未必皆是指同一实施例。此外，特定特征、结构或特性能够以任何合适方式组合于一或多个实施例中。

图1说明根据本发明的实施例的包含像素阵列102、读出电路104、控制电路108、图像信号处理器(“ISP”)106及移动行业处理器接口(“MIPI”)116的实例高动态范围(HDR)成像系统100的示意框图。像素阵列102为可为互补金属氧化物半导体(“CMOS”)像素阵列的图像传感器像素110的阵列。如在所描绘的实例中所展示，像素阵列102耦合到控制电路108及读出电路104。控制电路108耦合到像素阵列102以控制像素阵列102的操作特性以便捕获由通过像素阵列102接收的图像光所产生的数字图像。举例来说，控制电路108可产生用于控制图像获取的快门信号或多个快门信号。控制电路108还耦合到读出电路104使得控制电路108可协调像素阵列102的图像获取与读出像素阵列102。

控制电路108可包含处理器、现场可编程门阵列(“FPGA”)或其它逻辑。控制电路108可包含存储器以存储设置及指令以起始HDR图像捕获。控制电路108可致使像素阵列102起始滚动快门图像捕获。

在一个实例中，像素阵列102为像素110(例如，像素P1、P2、……、Pn)的二维阵列。如所说明，每一像素110布置成行(例如，行R1到Ry)及列(例如，列C1到Cx)以获取人员、位置、对象等等的图像数据，其能够在随后用于呈现所述人员、位置、对象等等的图像。如所属领域中已知，每一像素110可利用3晶体管(“3T”)或4晶体管(“4T”)配置。在一个实例中，在每一像素110已获取其图像数据或图像电荷之后，所述图像数据由读出电路104通过位线112(其可为列线)读出而作为模拟图像信号。

读出电路104经耦合以从像素阵列102接收模拟图像信号且将数字图像信号输出到ISP 106进行进一步图像处理。当成像系统100待包含于移动装置中时，成像系统100任选地包含MIPI 116。

图2说明根据本发明的实施例包含像素阵列202、用于读出所述像素阵列的实例读出电路及图像信号处理器106的示意框图。像素阵列202为像素阵列102的一个可能的实例。在所说明的实施例中，像素阵列202为1920列乘1080行的图像传感器像素。在一个实施例中，像素阵列202包括d列乘e行的图像传感器像素，其中d及e为整数。在图2中，像素阵列202包含八个子阵列SA1到SA8。ADC模块235经耦合以将由像素阵列202中的每一图像像素所产生的模拟图像信号转换为代表每一相应模拟图像信号的数字图像信号。整个子阵列的读出将被称为“子帧”。在所说明的实施例中，每一帧由对应于八个子阵列SA1到SA8的八个子帧组成。

在图2中，八个ADC子模块经说明为ADC1到ADC8。每一子模块专用于读出特定子阵列。举例来说，子模块ADC1耦合到读出子阵列SA1，子模块ADC2耦合到读出子阵列SA2，以此类推。每一ADC子模块可包含多个ADC转换器。在所说明的实施例中，每一子阵列包含240个列且每一ADC子模块可包含240个ADC电路，使得在ADC电路与子阵列的列之间存在一对一的关联。在一个实施例中，每一子阵列240包含r个列且每一ADC子模块包含s个ADC电路，其中r及s为整数。在一个实施例中，r等于s；在其它实施例中，r及s为不同的整数。控制电路108经耦合以控制针对每一ADC子模块的ADC转换。换句话说，控制电路108可个别地起始针对特定ADC子模块(但不针对另一ADC子模块)的ADC转换。在一个实施例中，ADC模块235为12位ADC。在不同的实施例中，ADC模块235为14位ADC。

存储器模块250经耦合以从ADC模块235接收数字图像信号。在一个实施例中，存储器模块250包含动态随机存取存储器(DRAM)。在一个实施例中，存储器模块250为仅包含足够存储器以读出像素阵列202的一个帧的单帧缓冲器。举例来说，在所说明的实施例中，存储器模块250存储2,073,600个数字字，其足以存储来自像素阵列202中的2,073,600个像素的数字图像信号。在一个实施例中，存储器模块250存储d x e个数字字。在一个实施例中，数字字可为16位以存储来自14位ADC的数字信号。存储子帧所需的存储器的量将被称为“分段”。存储器模块250包含对应于整数p个子阵列的整数q个存储器分段，其中整数p与q是相同的。在图2中，存储器模块250包含对应于八个子阵列SA1到SA8的八个存储器分段。

存储器模块250的每一分段可从任何ADC子模块接收子帧。控制电路108可控制将子帧写入到存储器模块250的不同存储器分段。此外，如将论述，ISP 106可从任何ADC子模块接收子帧。在子帧绕过存储器模块250的情况中，切换网络或多路复用器(未说明)可促进将子帧从ADC模块235转移到存储器模块250，且将子帧从ADC模块235转移到ISP 106。切换网络或多路复用器可由控制电路108控制。ADC模块235、存储器250及任何切换网络或多路复用器可包含于读出电路104中。

图3说明根据本发明的实施例的展示图像像素阵列的子阵列的不同曝光的实例时序图。特定来说，图3展示在第一子阵列(SA1)处开始且朝向最后子阵列(SA8)移动的滚动快门的时序。第一曝光周期在L1处起始且经曝光直到在LR处读出为止。在一个实施例中，第一曝光周期为16ms且被视为长曝光周期。如所展示，长曝光周期的滚动快门继续通过SA2，且稍后接着通过SA3，且接着继续通过SA4、SA5、SA6及SA7且在SA8处结束(未说明)。在第一滚动快门曝光周期之后，由控制电路108起始的第二滚动快门曝光周期在M1处开始且经曝光直到在MR处读出为止。在一个实施例中，第二曝光周期为4ms且被视为中曝光周期。在第二滚动快门曝光周期之后，由控制电路108起始的第三滚动快门曝光周期在S1处开始且经曝光直到在SR处读出为止。在一个实施例中，第三曝光周期为1ms且被视为短曝光周期。在第三滚动快门曝光周期之后，由控制电路108起始的第四滚动快门曝光周期在UI处开始且经曝光直到在UR处读出为止。在一个实施例中，第四曝光周期为0.25ms且被视为超短曝光周期。

在一个实施例中，第一曝光的长度是第四曝光周期的至少五十倍，且第二曝光周期的长度是第三曝光周期的至少三倍。具有显著不同的曝光周期在HDR成像中一般是有利的。

在操作中，长、中、短及超短滚动快门曝光周期跨越像素阵列202从SA1起始通过SA8。这些不同的曝光周期给出图像数据以产生HDR图像。在图3中，读出(TR)之间的时间均匀间隔。在一个实施例中，TR为4ms。如图3中所说明，长、中、短及超短滚动快门曝光的起始不均匀间隔。

图4说明根据本发明的实施例的展示将子帧写入到存储器模块250的时序图。在图4中，时序图包括子帧L1-L8，子帧M1-M8，子帧S1-S8，以及子帧U1-U8。在第一读出时间t1，将来自针对第一曝光周期而经曝光的第一子阵列(SA1)的子帧L1写入到存储器模块250的第一分段。控制电路选择子模块ADC1(但非子模块ADC2到ADC8)以将SA1的模拟图像信号转换为针对第一读出时间t1的数字图像信号。

在第二读出时间t2，将来自针对第一曝光周期而经曝光的第二子阵列(SA2)的子帧L2写入到存储器模块250的第二分段。也在第二读出时间t2，将来自针对第二曝光周期而经曝光的第一子阵列(SA1)的子帧M1写入到存储器模块250的第七分段。控制电路108选择子模块ADC1及ADC2(但非子模块ADC3到ADC8)以将SA1及SA2的模拟图像信号转换为针对第二读出时间t2的数字图像信号。

在第三读出时间t3，将来自针对第一曝光周期而经曝光的第三子阵列(SA3)的子帧L3写入到存储器模块250的第三分段。也在时间t3，将来自针对第二曝光周期而经曝光的第二子阵列(SA2)的子帧M2写入到存储器模块250的第八分段。来自针对第三曝光周期而经曝光的第一子阵列(SA1)的子帧S1也被写入到存储器模块250的第六分段。注意，图3也说明时间读出时间t1、t2及t3。控制电路选择子模块ADC1、ADC2及ADC3(但非子模块ADC4到ADC8)以将SA1、SA2及SA3的模拟图像信号转换为针对第三读出时间t3的数字图像信号。

在第一写入时间t4，将子帧L1、子帧M1及子帧S1从存储器250发送到ISP 106，如由存储器模块250右侧上的箭头所说明。在第三读出时间t3之后的第二写入时间，将第四子帧U1发送到ISP 106，如由加括号的U1右侧上的箭头所指示。通过将第四子帧U1从ADC模块235发送到ISP 106而不将其被写入到存储器250，第四子帧U1绕过存储器250。控制电路108选择子模块ADC1以将SA1的模拟图像信号转换为数字图像信号，所述数字图像信号可作为第四子帧被发送到ISP 106。ISP 106经耦合以从ADC模块235的ADC子模块接收子帧，且切换网络或多路复用器可促进所述子帧在适当时间绕过存储器250。第四子帧U1由针对第四曝光周期而曝光的第一子阵列(SA1)所产生。

使第四子帧绕过存储器模块250减少产生HDR图像所需的缓冲存储器。在一个实施例中，第二写入时间在第一写入时间之后，且第一、第二、第三及第四子帧由ISP 106按所述顺序循序接收。因此，ISP 106能够按顺序接收具有不同曝光周期的相同子阵列(例如，SA1)的四个不同子帧。ISP接着能够将HDR算法应用于四个子帧以产生HDR子帧。一旦来自所有子阵列的子帧都被接收，将产生全HDR帧。

参考时间t5，将子帧M3、L4及S2写入到存储器模块250，如由指向存储器250左边的箭头所指示。在时间t6，将子帧L2、S2及M2从存储器250发送到ISP 106，如由指向存储器模块250右边的箭头所指示。子帧U2在时间t5之后也被发送到ISP 106(绕过存储器250)，如由加括号的U2右侧上的箭头所指示。

参考时间t7，将子帧M4、L5及S3写入到存储器模块250，如由指向存储器250左边的箭头所指示。在时间t8，将子帧L3、S3及M3从存储器250发送到ISP 106，如由指向存储器模块250右边的箭头所指示。子帧U3在时间t7之后也被发送到ISP 106(绕过存储器250)，如由加括号的U3右侧上的箭头所指示。

在时间t7之后，存储器的每一分段含有子帧。然而，由于来自每一子阵列的超短子帧能够绕过被写入到存储器，因此一次仅需要存储器的八个分段(一个总帧)，同时仍能够将被读出的所有子帧馈送到ISP 106。在先前方法中，将一个全帧缓冲器用于每一曝光周期。换句话说，如果HDR图像并入四个曝光周期，那么相当于四个帧的缓冲存储器用以存储不同曝光周期的四个帧。然而，在所揭示的方法中，当最终捕获不同曝光的四个帧时仅使用了相当于一个帧的缓冲存储器。当与一个接一个串行读出每一帧相比较时，除了减少帧缓冲存储器之外，所揭示的实施例还可减少不同曝光帧的读出时间。

图4继续说明存储器250在每一读出时间t9、t11、t13、t15及t17期间接收三个子帧，及ISP 106在时间t10、t12、t14、t16及t18接收四个子帧以完成具有四个不同相应曝光周期的四个总帧的读出。ISP 106接着能够使用所属领域中已知的一或多个HDR算法将这四个总帧处理成一个HDR图像。此特征的一个潜在优点是：当ISP 106从SA1接收四个不同曝光子帧时，ISP 106可极早地开始在其最早接收的数据中应用HDR算法。因此，与在早期不接收所有不同曝光的先前方法相比较，ISP 106可更快地产生最终HDR图像。在ISP 106产生HDR图像之后，可将HDR图像发送到MIPI 116。在t15，将来自下一个连续帧的子帧L1加载到存储器模块250中。在时间t17，将子帧L2加载到存储器模块250中。

在一个实施例中，HDR成像系统100可实施在堆叠芯片架构中，其中像素阵列102包含于接合到包含存储器模块250及ISP 106的第二半导体层的第一半导体层中。

上文所解释的过程是在计算机软件及硬件方面进行描述。所描述的技术可构成在有形的或非暂时性机器(例如，计算机)可读存储媒体内体现的机器可执行指令，所述指令在由机器执行时将致使所述机器执行所描述的操作。此外，所述过程可在硬件内体现，例如，专用集成电路(“ASIC”)或其它硬件。

有形的非暂时性机器可读存储媒体包含提供(即，存储)呈机器(例如，计算机、网络装置、个人数字助理、制造工具、具有一或多个处理器的集合的任何装置等等)可存取的形式的信息的任何机构。举例来说，机器可读存储媒体包含可记录/不可记录媒体(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置等等)。

不希望本发明的所说明的实施例的以上描述(包含摘要中所描述的内容)为穷尽性或将本发明限于所揭示的具体形式。尽管本文出于说明性目的而描述了本发明的特定实施例及针对本发明的实例，但所属领域的技术人员将认识到，本发明范围内的各种修改是可能的。

依据以上详细描述可对本发明做出这些修改。所附权利要求书中使用的术语不应解释为将本发明限于本说明书中所揭示的特定实施例。而是，本发明的范围完全由所附权利要求书确定，将根据权利要求解释的既定原则解释所附权利要求书。