读取图像传感器曝光数据的方法和成像装置与流程

本发明涉及图像传感器技术领域，尤其涉及一种读取图像传感器曝光数据的方法、一种合成宽动态图像的方法、一种成像装置和一种电子终端。

背景技术：

图像传感器的动态范围是衡量图像传感器性能的重要指标，图像传感器的动态范围由像素的可用满井容量以及芯片的噪声共同决定。在噪声水平一定时，通过增大像素的可用满井容量可以提升图像传感器的性能，但通常需要较大的像素才能实现比较高的动态范围，如果只增大像素的可用满井容量，图像传感器的动态范围很难达到110db以上。

为了使图像传感器达到更大的动态范围，相关技术中，采用多次曝光(如长中短三次曝光，三次曝光技术相对于两次曝光技术图像动态范围更高)来提高图像传感器的动态范围。具体地，长短曝光可以把场景中的亮细节和暗细节都记录下来，中曝光可以把场景中的中亮度细节记录下来，长曝光可以较好的体现低光场景，中曝光可以较好的体现中光场景，短曝光可以体现高光场景，再将长中短三次曝光数据进行合成。

然而，基于现有技术条件，需把长中短三次曝光所采集的数据全部输出用于合成宽动态数据，这样就需要较多的存储单元来存储长中短三次曝光所生成的数据，进而增加芯片的面积，增加芯片的成本。

技术实现要素：

本发明旨在至少从一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种读取图像传感器曝光数据的方法，能够有效节约存储器的面积，降低图像传感器的成本。

本发明的第二个目的在于提出一种合成宽动态图像的方法。

本发明的第三个目的在于提出一种非临时性计算机可读存储介质。

本发明的第四个目的在于提出一种成像装置。

本发明的第五个目的在于提出一种电子终端。

为达到上述目的，本发明第一方面实施例提出了一种读取图像传感器曝光数据的方法，图像传感器包括像素阵列，所述方法包括：控制所述像素阵列分别进行n级曝光；在所述像素阵列的当前行的曝光读取时间内，分别读取所述当前行的n级曝光数据，其中，n为大于2的整数。

根据本发明实施例的读取图像传感器曝光数据的方法，控制像素阵列分别进行n级曝光，并在像素阵列的当前行的曝光读取时间内，分别读取当前行的n级曝光数据，从而能够有效节约存储器的面积，降低图像传感器的成本。

另外，根据本发明实施例提出的读取图像传感器曝光数据的方法还可以具有如下附加的技术特征：

根据本发明的一个实施例，所述像素阵列的像素结构包括像素单元、用于转移所述像素单元的光生电子的m个传输单元、以及分别与相邻的两个传输单元的输出相连的m-1个开关单元，第m个传输单元还与源跟随单元相连，其中，m≤m，m＝n-1。

根据本发明的一个实施例，所述分别读取所述当前行的n级曝光数据，具体包括：分别将所述当前行的像素单元的n-1级曝光的光生电子转移至对应的m个浮置扩散节点；当所述当前行的像素单元的第n级曝光结束前，读取第m个浮置扩散节点的信号已获得对应级别的曝光信号；将所述第n级曝光的光生电子转移至所述第m个浮置扩散节点；控制所述开关单元和所述源跟随单元以分别输出剩余级别的曝光信号。

进一步地，上述的读取图像传感器曝光数据的方法，还包括：根据存储器的存储行的存储空间对所述当前行的n级曝光数据进行选择读取，以使得读取的所述n级曝光数据存储在单个存储行中。

根据本发明的一个具体实施例，所述像素阵列的像素结构包括n个4t像素结构，其中，n个所述4t像素结构共用像素单元，所述分别读取所述当前行的n级曝光数据具体包括：分别将所述当前行的像素单元的n级曝光的光生电子转移至对应的n个浮置扩散节点；分别读取n个所述浮置扩散节点的信号以获得所述当前行的像素单元的n级曝光数据。

为达到上述目的，本发明实施例第二方面实施例提出了一种合成宽动态图像的方法，所述方法包括：根据第一方面实施例提出的读取图像传感器曝光数据的方法，读取图像传感器的n级曝光的曝光数据；将所述n级曝光的曝光数据进行合成以获得宽动态图像，其中，n为大于2的整数。

本发明实施例的合成宽动态图像的方法，根据上述的读取图像传感器曝光数据的方法，读取图像传感器的n级曝光的曝光数据，并将所述n级曝光的曝光数据进行合成以获得宽动态图像，从而能够有效节约存储器的面积，降低图像传感器的成本。

为达到上述目的，本发明第三方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现第一方面实施例提出的读取图像传感器曝光数据的方法，或者，实现第二方面实施例提出的合成宽动态图像的方法。

本发明实施例的非临时性计算机可读存储介质，能够有效节约存储器的面积，降低图像传感器的成本。

为达到上述目的，本发明第四方面实施例提出了一种成像装置，所述成像装置包括：图像传感器，所述图像传感器包括像素阵列；图像处理器，所述图像处理器用于，控制所述像素阵列分别进行n级曝光，在所述像素阵列的当前行的曝光读取时间内，分别读取所述当前行的n级曝光数据，其中，n为大于2的整数。

根据本发明实施例的成像装置，通过图像处理器控制图像传感器的像素阵列分别进行n级曝光，并在像素阵列的当前行的曝光数据读取时间内，分别读取n级曝光的曝光数据，从而能够有效节约存储器的面积，降低图像传感器的成本。

另外，根据本发明实施例提出的成像装置还可以具有如下附加的技术特征：

根据本发明的一个实施例，所述像素阵列的像素结构包括像素单元、用于转移所述像素单元的光生电子的m个传输单元、以及分别与相邻的两个传输单元的输出相连的m-1个开关单元，第m个传输单元还与源跟随单元相连，其中，m≤m，m＝n-1。

根据本发明的一个实施例，所述图像处理器在分别读取所述当前行的多级曝光数据时具体用于，分别将所述当前行的像素单元的n-1级曝光的光生电子转移至对应的m个浮置扩散节点，当所述当前行的像素单元的第n级曝光结束前，读取第m个浮置扩散节点的信号已获得对应级别的曝光信号，将所述第n级曝光的光生电子转移至所述第m个浮置扩散节点，控制所述开关单元和所述源跟随单元以分别输出剩余级别的曝光信号。

根据本发明的一个实施例，所述成像装置还包括存储器，所述存储器用于存储曝光数据；所述图像处理器还用于，根据所述存储器的存储行的存储空间对所述当前行的n级曝光数据进行选择读取，以使得读取的所述n级曝光数据存储在单个存储行中。

根据本发明的一个具体实施例，所述像素阵列的像素结构包括n个4t像素结构，其中，n个所述4t像素结构共用像素单元，所述图像处理器在分别读取所述当前行的多级曝光数据时具体用于，分别将所述当前行的像素单元的n级曝光的光生电子转移至对应的n个浮置扩散节点，分别读取n个所述浮置扩散节点的信号以获得所述当前行的像素单元的n级曝光数据。

为达到上述目的，本发明第五方面实施例提出了一种电子终端，其包括第四方面实施例提出的成像装置。

本发明实施例的电子终端，通过上述的成像装置，能够有效节约存储器的面积，降低图像传感器的成本。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是传统的4t像素结构的电路图；

图2是传统的4t像素的读取方式的时序图；

图3是传统长短曝光产生用于合成宽动态图像数据的示意图；

图4是根据本发明实施例的读取图像传感器曝光数据的方法的流程图；

图5是根据本发明一个实施例的像素阵列的电路图；

图6是根据本发明一个实施例的像素的读取方式的时序图；

图7是根据本发明一个实施例像素曝光及数据采集的流程图；

图8是根据本发明实施例的另一种长中短曝光数据的处理方式的示意图；

图9是根据本发明实施例的另一种实现长中短曝光的像素结构的电路图；

图10是根据本发明实施例的又一种达到增加曝光梯度的电路图；

图11是根据本发明实施例的合成宽动态图像的方法的流程图；

图12是根据本发明实施例的成像装置的方框示意图；以及

图13是根据本发明一个实施例的成像装置的方框示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的读取图像传感器曝光数据的方法、合成宽动态图像的方法、成像装置和电子终端。

图1是传统的4t像素结构的电路图。如图1所示，4t像素的主要组成部分包括：光电二极管ppd、浮置扩散节点fd、传输管tx、复位管rst、源跟随管se和行选通管rowsel。其中，光电二极管ppd负责收集光信号，浮置扩散节点fd用于将光生电子转化为电压信号，传输管tx用于控制光生电子从光电二极管ppd转移到浮置扩散节点fd，复位管rst负责在电子转移前将浮置扩散节点fd复位，源跟随管se用于实现对信号的放大和缓冲，行选通管rowsel用于进行行选，并将信号连至列总线。

传统的4t像素的读取方式如图2所示，先输出高电平信号rst至复位管rst以复位浮置扩散节点fd，读取复位信号shs，再输出高电平信号tx至传输管tx以使传输管tx打开，传输管tx控制光生电子从光电二极管ppd转移到浮置扩散节点fd，读取光生电子转移后浮置扩散节点fd的信号shr，复位信号shs和光生电子转移后浮置扩散节点fd的信号之间的差值即为有效信号。图像传感器依次读取每一行的长短曝光数据并存储起来，当相同行的长短曝光数据都存储到存储单元中时，图像处理模块才能根据得到的数据进行宽动态合成，如图3所示，t1row为长曝光像素，t2row为中曝光像素，t3row为短曝光像素。具体地说，传统长中短曝光像素用于合成宽动态图像实现的方式是，当前行为长曝光，对长曝光数据进行读取，接着对中曝光数据行进行读取，再接着对短曝光数据进行读取，把长中短曝光数据存储到存储单元中，长曝光数据所在行与中曝光数据所在行之间相距n行，中曝光数据所在行与短曝光数据所在行之间相距m行。

可以理解的是，如果长中曝光数据的行间距为n行，中短曝光数据的行距为m行，则存储单元至少m+n+3行，才能保证存储单元中既有长曝光数据又有短曝光数据还有中曝光数据，只有这样，图像传感器才能同时得到用于合成宽动态图像的原始数据，但是这样就需要较大的面积才能实现同时将长中短曝光数据存储到存储单元中。

为此，本发明提出了一种读取图像传感器曝光数据的方法，能够将长中短曝光数据在同一行内都可以读出，可以有效减少存储单元的数量，当存储单元大于等于三行时，图像传感器就可以得到用于合成宽动态图像的长短曝光数据。

图4是根据本发明实施例的读取图像传感器曝光数据的方法的流程图。在本发明的实施例中，图像传感器包括像素阵列。如图4所示，本发明实施例的读取图像传感器曝光数据的方法，包括以下步骤：

s1，控制像素阵列分别进行n级曝光，其中，n为大于2的整数，例如，当n＝3时，3级曝光可包括长曝光、中曝光和短曝光。

s2，在像素阵列的当前行的曝光读取时间内，分别读取当前行的n级曝光数据。

也就是说，本发明实施例的n级曝光数据可以在当前行读取时分别采集到，即本行读取时间内可以读取到本行的n级曝光数据，而传统的需要至少m+n+3行后才能得到当前行的n级曝光数据，所以本发明可以有效节约存储器的面积，降低图像传感器的成本。

根据本发明的一个实施例，像素阵列的像素结构包括像素单元、用于转移像素单元的光生电子的m个传输单元、以及分别与相邻的两个传输单元的输出相连的m-1个开关单元，第m个传输单元还与源跟随单元相连，其中，m≤m，m＝n-1。其中，像素单元可以为光电二极管ppd，传输单元可以包括m个浮置扩散节点fd(fd1、fd2、……、fdm)，开关单元可以包括m-1个开关管tc(tc1、tc1、……、tcm-1)，源跟随单元可以为源跟随管se。

根据本发明的一个实施例，分别读取当前行的n级曝光数据，具体包括：分别将当前行的像素单元的n-1级曝光的光生电子转移至对应的m个浮置扩散节点；当当前行的像素单元的第n级曝光结束前，读取第m个浮置扩散节点的信号已获得对应级别的曝光信号；将第n级曝光的光生电子转移至第m个浮置扩散节点；控制开关单元和源跟随单元以分别输出剩余级别的曝光信号。

进一步地，上述的读取图像传感器曝光数据的方法，还包括：根据存储器的存储行的存储空间对当前行的n级曝光数据进行选择读取，以使得读取的n级曝光数据存储在单个存储行中。

在本发明的一个具体实施例中，像素阵列的像素结构包括n个4t像素结构，其中，n个4t像素结构共用像素单元，分别读取当前行的n级曝光数据具体包括：分别将当前行的像素单元的n级曝光的光生电子转移至对应的n个浮置扩散节点；分别读取n个浮置扩散节点的信号以获得当前行的像素单元的n级曝光数据。

在该实施例中，n个4t像素结构以图5所示的电路图为例进行说明。其中，n＝3，m＝2。

具体地，像素的读取方式如图6所示，首先对当前行进行复位，复位管rst和传输管tx1打开，对光电二极管ppd进行复位，接着进行第一级曝光(长曝光，tlong)，第一级曝光结束前开关管tc和复位管rst打开对浮置扩散节点fd2进行复位，浮置扩散节点fd2复位结束后，传输管tx2打开，第一级曝光光生电子转移到浮置扩散节点fd2中，浮置扩散节点fd2中的光生电子被清空，接着进行第二级曝光(中曝光，tmid)。

在第二级曝光结束之前，复位管rst打开对浮置扩散节点fd1进行复位，清空浮置扩散节点fd1，复位浮置扩散节点fd1复位结束后，传输管tx1打开，第二级曝光光生电子转移到浮置扩散节点fd1中，浮置扩散节点fd1中的光生电子被清空，接着进行第三级曝光(短曝光，tshort)。

在第三级曝光结束之前，采集浮置扩散节点fd1的电压信号，记作v1，接着复位管rst打开，对浮置扩散节点fd1进行复位，采集浮置扩散节点fd1的复位信号，记作v2，接着传输管tx1打开，第三级曝光光生电子转移到浮置扩散节点fd1中，采集浮置扩散节点fd1的电压信号，记作v3，接着复位管rst打开，对浮置扩散节点fd1进行复位，浮置扩散节点fd1复位结束后，开关管tc打开，浮置扩散节点fd2和fd1共享信号，采集共享后的电压信号，记作v4，接着复位管rst打开，复位浮置扩散节点fd1和fd2，复位结束后采集浮置扩散节点fd1的复位信号，记作v5。

其中，v2-v1即为第二级曝光信号(中曝光信号)，v2-v3即为第三极曝光信号(短曝光信号)，v5-v4即为第一级曝光信号(长曝光信号)，把得到的第一级曝光信号至第三级曝光信号(长中短曝光信号)进行存储，图像处理器根据得到的第一级曝光信号至第三级曝光信号合成宽动态图像，具体流程如图7所示，其中，第一级曝光至第三级曝光顺序可以灵活选择。

需要说明的是，上述实施例仅作为本发明的一个具体实施例，当然4t像素结构的个数不局限于上述实施例，为避免冗余，这里不再赘述。

图8是本发明另一种长中短曝光数据的处理方式的示意图，即处理当前行的长中短曝光数据时，对当前行的长中短曝光数据进行选择输出，高亮度区域像素输出短曝光数据，中亮度区域输出中曝光数据，低亮度区域输出长曝光数据，这样只需要一行存储单元就可以同时把长中短曝光有效数据存储下来，这样同样有利于芯片面积的减小和数据处理速度的提升。

需要说明的是，在得到长中短曝光信号后，也可以先将长中短曝光信号通过模数转换器进行宽动态合成，生成宽动态模拟信号后再量化并经过图像传感器处理后生宽动态图像。

另外，需要说明的是，图9是实现长中短曝光的另一种像素结构的电路图，相对于图5所述的电路，其通过增加控制线，像素的填充比也会减小，图9中fd1用于采集长曝光信号，fd2用于采集中曝光信号，fd3用于采集短曝光信号。也可以通过增加连接到光电二极管ppd上得晶体管来达到增加曝光梯度，进一步提成动态范围的目的，如图10所示。

综上所述，根据本发明实施例的读取图像传感器曝光数据的方法，控制像素阵列分别进行两级曝光，并在像素阵列的当前行的曝光读取时间内，分别读取当前行的两级曝光数据，从而能够有效节约存储器的面积，降低图像传感器的成本。

图11是根据本发明实施例的合成宽动态图像的方法的流程图。如图11所示，本发明实施例的合成宽动态图像的方法，包括以下步骤：

s11，根据上述的读取图像传感器曝光数据的方法，读取图像传感器的n级曝光的曝光数据，其中，n为大于2的整数。

s12，将n级曝光的曝光数据进行合成以获得宽动态图像。

需要说明的是，本发明实施例的合成宽动态图像中未披露的细节，请参考本发明实施例的读取图像传感器曝光数据的方法中所披露的细节，具体这里不再详述。

本发明实施例的合成宽动态图像的方法，根据上述的读取图像传感器曝光数据的方法，读取图像传感器的n级曝光的曝光数据，并将所述n级曝光的曝光数据进行合成以获得宽动态图像，从而能够有效节约存储器的面积，降低图像传感器的成本。

进一步地，本发明实施例还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被执行时实现上述的读取图像传感器曝光数据的方法，或者，实现上述的合成宽动态图像的方法。

本发明实施例的非临时性计算机可读存储介质，能够有效节约存储器的面积，降低图像传感器的成本。

图12是根据本发明实施例的成像装置的方框示意图。如图12所示，本发明实施例的成像装置，包括：图像传感器10和图像处理器20。

其中，图像传感器10包括像素阵列，图像处理器20用于控制像素阵列分别进行n级曝光，并在像素阵列的当前行的曝光数据读取时间内，分别读取n级曝光的曝光数据，其中，n为大于2的整数。

根据本发明的一个实施例，像素阵列的像素结构包括像素单元、用于转移像素单元的光生电子的m个传输单元、以及分别与相邻的两个传输单元的输出相连的m-1个开关单元，第m个传输单元还与源跟随单元相连，其中，m≤m，m＝n-1。

根据本发明的一个实施例，图像处理器在分别读取当前行的多级曝光数据时具体用于，分别将当前行的像素单元的n-1级曝光的光生电子转移至对应的m个浮置扩散节点，当当前行的像素单元的第n级曝光结束前，读取第m个浮置扩散节点的信号已获得对应级别的曝光信号，将第n级曝光的光生电子转移至第m个浮置扩散节点，控制开关单元和源跟随单元以分别输出剩余级别的曝光信号。

进一步地，根据本发明的一个实施例，如图13所示，上述的成像装置，还包括：存储器30，存储器30用于存储曝光数据，图像处理器20还用于，根据存储器30的存储行的存储空间对当前行的n级曝光数据进行选择读取，以使得读取的n级曝光数据存储在单个存储行中。

作为一个具体示例，像素阵列的像素结构可以包括n个4t像素结构，其中，n个4t像素结构共用像素单元，图像处理器20在分别读取当前行的多级曝光数据时具体用于，分别将当前行的像素单元的n级曝光的光生电子转移至对应的n个浮置扩散节点，分别读取n个浮置扩散节点的信号以获得当前行的像素单元的n级曝光数据。

需要说明的是，本发明实施例的成像装置中未披露的细节，请参考本发明实施例的读取图像传感器曝光数据的方法中所披露的细节，具体这里不再详述。

根据本发明实施例的成像装置，通过图像处理器控制图像传感器的像素阵列分别进行n级曝光，并在像素阵列的当前行的曝光数据读取时间内，分别读取n级曝光的曝光数据，从而能够有效节约存储器的面积，降低图像传感器的成本。

进一步地，本发明还提出了一种电子终端，其包括上述的成像装置。

本发明实施例的电子终端，通过上述的成像装置，能够有效节约存储器的面积，降低图像传感器的成本。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。