一种图像传感器的成像方法与流程

文档序号:14994810发布日期:2018-07-24 08:33阅读:160来源:国知局

本发明涉及成像技术领域,尤其涉及一种图像传感器的成像方法。



背景技术:

目前,绝大多数的图像传感器(Charge-Coupled Device,简称CCD)都是经过曝光、垂直转移和水平转移三部分向后级处理器(CPU)输出一幅采集的图片,其中,处理器采集到的图片的帧间间隔(即相邻图片之间的时间间隔)为图像传感器曝光、垂直转移和水平转移时间的总和。

具体的,现有的图像传感器包括光电转换单元、垂直寄存器和水平寄存器,其中,所述光电转换单元用于实现在曝光的时候将光子转换为电荷进行积累;所述垂直寄存器用于曝光结束后缓存所述光电转换单元积累的电荷;所述水平寄存器用于缓存所有垂直寄存器转移过来的一行电荷,并将其逐个经过ccd内部的运放电路,然后由输出端进行输出。

在某些应用中,需要对同一时刻采集的多幅图片进行处理,实现相应的功能,如深度信息的提取。但是,由于CCD本身工艺的限制,导致其在同一时刻只能采集一幅图片,而现有图像传感器成像方法中,所述图像传感器输出的图片的帧间间隔较长,导致对多幅图片进行处理后得到的深度图质量与精度有待提高。



技术实现要素:

为解决上述技术问题,本发明实施例提供了一种图像传感器的成像方法,以提高对多幅图片进行处理后得到的深度图质量与精度。

为解决上述问题,本发明实施例提供了如下技术方案:

一种图像传感器的成像方法,所述图像传感器包括多个光电转换单元、多个垂直寄存器和水平寄存器,其中,所述每个垂直寄存器包括多个存储单元,每个存储单元对应一个光电转换单元,所述多个存储单元及其对应光电转换单元划分成N组,依次为第一组-第N组,其中,所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中的光电转换单元被遮挡,N为大于1的正整数,该方法包括:

S101:初始化所述图像传感器;

S102:执行曝光操作,在该操作中,所述光电转换单元不断感应外界的光子,并将其转为电荷进行存储;

S103:曝光结束后,所述光电转换单元将自己积累的电荷转移到垂直寄存器中;

S104:判断当前曝光操作是否为第N次曝光操作,如果不是,则执行S105-S106,如果是,则执行S107;

S105:执行一次垂直搬移操作,所述垂直寄存器中各组存储单元将自己存储的一行电荷转移到下一行的存储单元中;

S106:判断S105中的垂直搬移操作是否执行了V/N,其中,V表示所述图像传感器的垂直高度,如果是,则执行S102,如果不是,则继续执行S105;

S107:所有垂直寄存器将各自靠近所述水平寄存器那端存储的电荷转移到水平寄存器中,所述水平寄存器将其存储的电荷经过运放电路由输出端输出。

可选的,该方法还包括:重复S107,直至重复次数达到所述图像传感器的垂直高度。

可选的,所述垂直寄存器中多个存储单元平均划分成N组。

可选的,所述多个光电转换单元平均划分为N组。

可选的,所述垂直寄存器中各组存储单元将自己存储的一行电荷转移到下一行存储单元中包括:

所述垂直寄存器中各组存储单元将自己存储的一行电荷同时转移到下一行存储单元。

可选的,所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中光电转换单元被遮挡的方法包括:

对所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中光电转换单元对应的所述图像传感器的透镜区域进行遮光处理。

可选的,对所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中光电转换单元对应的所述图像传感器的透镜区域进行遮光处理包括:

对所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应的光电转换单元外的剩余组存储单元及其对应光电转换单元中光电转换单元对应的所述图像传感器的透镜区域进行抹黑。

可选的,对所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中光电转换单元对应的所述图像传感器的透镜区域进行遮光处理包括:

对所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中光电转换单元对应的所述图像传感器的透镜区域粘贴黑胶带。

与现有技术相比,上述技术方案具有以下优点:

本发明实施例所提供的技术方案,通过在单个图像传感器中同时缓存多张图片,大大降低了图片的帧间间隔,提高了同时对多张图片处理得到的深度图的质量和精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为现有技术图形传感器的成像方法流程示意图;

图2为本发明一个实施例所提供的图像传感器的成像方法流程示意图;

图3为本发明一个实施例所提供的图像传感器的成像方法中,所述图像传感器中每个垂直寄存器部分被遮挡后的示意图;

图4-图9为本发明另一个实施例所提供的图像传感器的成像方法中,三次曝光和三次垂直搬移的示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。

如图1所示,现有的图像传感器的成像方法包括:

S01:初始化图像传感器,将图像传感器的水平驱动信号和垂直驱动信号复位成默认电平;

S02:执行曝光操作,在该操作中,图像传感器内的光电转换单元不断感应外界的光子,并将其转为电荷进行存储;

S03:曝光结束后,光电转换单元将自己积累的电荷转移到垂直寄存器中;

S04:执行一次垂直搬移操作,所有的垂直寄存器将自己存储的一行电荷转移到水平寄存器中;

S05:执行水平转移操作,水平寄存器将其缓存的电荷通过运放电路,由输出端进行输出,每执行一次水平转移操作,图像传感器输出一个像素的灰度值;

重复S04-S05,直至一幅图像传输完毕,其中,S04-S05每执行一次,表示图像传感器完成一行图像的输出工作,S04-S05的重复次数表示图像传感器的垂直高度。

但是,上述图像传感器的成像方法中,所述图像传感器输出的图片的帧间间隔较长,导致对多幅图片进行处理后得到的深度图质量与精度有待提高。

有鉴于此,本发明实施例提供了一种图像传感器的成像方法,所述图像传感器包括多个光电转换单元、多个垂直寄存器和水平寄存器,其中,每个垂直存储器包括多个存储单元,所述每个存储单元对应一个光电转换单元,所述多个存储单元及其对应光电转换单元划分成N组,依次为第一组-第N组,其中,N为大于1的正整数,所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中的光电转换单元被遮挡,使其不再感应外界光子。优选的,在本发明的一个实施例中,所述每个垂直寄存器中的多个存储单元及其对应光电转换单元平均划分成N组,但本发明对此并不做限定,只要保证第一组存储单元及其对应光电转换单元中的存储单元及其对应光电转换单元的个数不大于其他组存储单元及其对应光电转换单元中的存储单元及其对应光电转换单元的个数即可。

需要说明的是,在本发明实施例中,所述图像传感器中包括的光电转换单元的个数由所述图像传感器的分辨率决定,所述图像传感器中包括的垂直寄存器的个数由所述图像传感器的宽度决定,具体的,在本发明的一个实施例中,所述图像传感器的分辨率为640*480,则在本实施例中,所述图像传感器包括640*480=307200个光电转换单元,640个垂直寄存器和一个水平寄存器,每个垂直寄存器包括480个存储单元,但本发明对此并不做限定,具体视情况而定。

还需要说明的是,由于所述垂直寄存器是否能够存储所述光电转换单元积累的电荷无法控制,因此,在本发明的实施例中,通过遮挡工艺将所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中的光电转换单元遮挡,使得所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中的存储单元积累的电荷只有所述图像传感器本身的热噪声,而不会有外界光线导致的积累电荷,从而实现所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中的存储单元不接收外界光强信号经其对应的光电转换单元转换输出的电荷,只存储前一组存储单元输出的图片。

而所述图像传感器本身的热噪声可以忽略不计,不会影响所述存储单元之前缓存的图片,因此,在本发明实施例中,单个图像传感器可以缓存多张图片。

具体的,在本发明的一个实施例中,通过遮挡工艺将所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中的光电转换单元遮挡包括:对所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中的光电转换单元对应的所述图像传感器的透镜区域进行遮光处理,以使得所述N组存储单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元无法正常的感光与积累电荷,实现所述N组存储单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中的存储单元只能用来缓存前一组存储单元存储的图片,这样在执行N次曝光后,所述图像传感器中的每个垂直寄存器可以存储N张图片,而每张图片的生成间隔为各自图片的曝光时间与(图像传感器垂直转移总时间/N)之和。

在上述实施例的基础上,在本发明的一个实施例中,所述图像传感器在出厂时经过二次遮挡加工,使其不再感应外界光子,实现对所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中的光电转换单元的遮挡。具体的,所述二次遮挡加工可以通过粘贴不透明材料(如黑色胶带或其他类似不透明材料)实现,也可以通过涂抹黑色的油漆实现,本发明对此并不做限定,具体视情况而定。

具体的,在本发明的一个实施例中,假设ccd的分辨率为640*480,则所述图像传感器包括640个垂直寄存器,每个垂直寄存器包含480个存储单元,这些存储单元分别存储第640列中各个光电转换单元感光后的电荷量。在该实施例中,将每个垂直寄存器中的480个存储单元及其对应光电转换单元分成N等份组,将第2至第N等份组的存储单元及其对应光电转换单元中的光电转换单元做遮挡或者抹黑处理。

在上述实施例的基础上,在本发明的一个实施例中,对所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中的光电转换单元对应的所述图像传感器的透镜区域进行遮光处理包括:对所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中光电转换单元对应的所述图像传感器的透镜区域进行抹黑。在本发明的另一个实施例中,对所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中光电转换单元对应的所述图像传感器的透镜区域进行遮光处理包括:对所述N组存储单元及其对应光电转换单元中除第一组存储单元及其对应光电转换单元外的剩余组存储单元及其对应光电转换单元中光电转换单元对应的所述图像传感器的透镜区域粘贴黑胶带。本发明对此并不做限定,具体视情况而定。

如图2所示,本发明实施例所提供的图像传感器的成像方法包括:

S101:初始化所述图像传感器,将图像传感器的水平驱动信号和垂直驱动信号复位成默认电平;

S102:执行曝光操作,在该操作中,所述光电转换单元不断感应外界的光子,并将其转为电荷进行存储,具体为:所述第一组存储单元及其对应光电转换单元中的光电转换单元不断感应外界的光子,并将其转换为电荷进行存储;

S103:曝光结束后,所述光电转换单元将自己积累的电荷转移到垂直寄存器中;

S104:判断当前曝光操作是否为第N次曝光操作,如果不是,则执行S105-S106,如果是,则执行S107;

S105:执行一次垂直搬移操作,各所述垂直寄存器中各存储单元将自己存储的一行电荷转移到下一行的存储单元中,优选的,各所述垂直寄存器中的各存储单元将自己存储的一行电荷同时转移到下一行的存储单元中,以缩短所述图像传感器输出图片的时间;

S106:判断S105中的垂直搬移操作是否执行了V/N,其中,V表示所述图像传感器的垂直高度,如果是,则执行S102,如果不是,则继续执行S105;优选的,在本发明的一个实施例中,S105和S106两个步骤同时进行,以缩短所述图像传感器输出图片的时间。

S107:所有垂直寄存器将各自靠近所述水平寄存器那端存储的一行电荷转移到水平寄存器中,所述水平寄存器将其存储的电荷经过运放电路由输出端输出。

具体的,在本发明的一个实施例中,所有垂直寄存器将各自靠近所述水平寄存器那端存储的一行电荷转移到水平寄存器中,所述水平寄存器将其存储的电荷经过运放电路由输出端输出包括:

S1071:执行一次垂直搬移操作,在该操作中,所有垂直寄存器将各自靠近所述水平寄存器那端存储的一行电荷转移到水平寄存器中,优选的,所述垂直寄存器将各自靠近所述水平寄存器那端存储的一行电荷同时转移到水平寄存器中;

S1072:执行水平转移操作,在该操作中,所述水平寄存器将其缓存的电荷通过运放电路由所述图像传感器的输出端输出。需要说明的是,在该水平转移操作中,所述水平寄存器执行水平转移操作的次数由所述图像传感器的水平宽度决定。

在上述实施例的基础上,在本发明的一个实施例中,该成像方法还包括:

重复S105-S107,直至重复次数达到所述图像传感器的垂直高度,当所述重复次数达到所述图像传感器的垂直高度时,表示一幅图像传输完毕,所述图像传感器进入结束状态,然后返回到初始化状态。

需要说明的是,在本发明实施例中,由于所述每个垂直寄存器中,只有第一组存储单元及其对应光电转换单元中的存储单元用于接收光电转换单元转移的电荷,其余各组存储单元及其对应光电转换单元中的存储单元用来存储前一组存储单元存储的图片,因此,在本发明实施例中,执行N次曝光后,所述图像传感器可以存储N张图片,而每张图片的生成间隔为各自图片的曝光时间与(图像传感器垂直转移总时间/N)之和。

由于所述图像传感器输出的图片与图片之间的时间间隔越大,最后对多幅图片处理得到的深度图的质量和精度影响越大。因此,本发明实施例所提供的图像传感器的成像方法可以大大提高最后对多幅图片处理得到的深度图的质量和精度。

下面结合具体实施例,对本发明实施例所提供的图像传感器的成像方法进行说明。在本发明实施例中,N为3,即所述图像传感器中的每个垂直寄存器中的多个存储单元及其对应光电转换单元平均分成三组。但本发明对此并不做限定,具体由后端的应用决定,只要所述图像的质量后端可以接受,N也可以为大于1的任意正整数。比如如果本发明方案是用在避障应用上,则只要保证后端的应用可以正常识别出物体就行。其中,第一组存储单元及其对应光电转换单元中的存储单元用于采集其对应的光电转换单元输出的图片,所述第二组存储单元及其对应光电转换单元中的存储单元用于缓存所述第一组存储单元及其对应光电转换单元中的存储单元输出的图片,所述第三组存储单元及其对应光电转换单元中的存储单元用于缓存所述第二组存储单元及其对应光电转换单元中的存储单元输出的图片。如图3所示,图3示出了所述图像传感器中每个垂直寄存器部分被遮挡(图中斜线填充部分)后的示意图。

具体的,该图像传感器的成像方法包括:

S201:初始化所述图像传感器,将图像传感器的水平驱动信号和垂直驱动信号复位成默认电平;

S202:执行第一次曝光操作,在该操作中,所述光电转换单元不断感应外界的光子,并将其转为电荷进行存储,具体为:所述第一组存储单元及其对应光电转换单元中的光电转换单元不断感应外界的光子,并将其转换为电荷进行存储;

S203:如图4所示,曝光结束后,所述光电转换单元将自己积累的电荷转移到各所述垂直寄存器的第一组存储单元及其对应光电转换单元的存储单元中;

S204:如图5所示,各所述垂直寄存器中各组存储单元将自己存储的一行电荷同时转移到下一行存储单元中,使得各所述垂直寄存器将第一组存储单元及其对应光电转换单元的存储单元中存储的电荷转移到第二组存储单元及其对应光电转换单元的存储单元中;

S205:判断S204中的垂直搬移操作是否执行了V/3,其中,V表示所述图像传感器的垂直高度,如果是,则执行S206,如果不是,则继续执行S204;

S206:执行第二次曝光操作,在该操作中,所述光电转换单元不断感应外界的光子,并将其转为电荷进行存储;

S207:如图6所示,曝光结束后,所述光电转换单元将自己积累的电荷转移到各所述垂直寄存器的第一组存储单元及其对应光电转换单元的存储单元中;

S208:如图7所示,各所述垂直寄存器中各组存储单元将自己存储的一行电荷同时转移到下一组存储单元中,即所述第二组存储单元及其对应光电转换单元的存储单元中存储的电荷转移到第三组存储单元及其对应光电转换单元的存储单元中,第一组存储单元及其对应光电转换单元的存储单元中存储的电荷转移到第二组存储单元及其对应光电转换单元的存储单元中;

S209:判断S208中的垂直搬移操作是否执行了V/3,其中,V表示所述图像传感器的垂直高度,如果是,则执行S210,如果不是,则继续执行S204;

S210:执行第三次曝光操作,在该操作中,所述光电转换单元不断感应外界的光子,并将其转为电荷进行存储;

S211:如图8所示,曝光结束后,所述光电转换单元将自己积累的电荷转移到各所述垂直寄存器的第一组存储单元及其对应光电转换单元的存储单元中;

S212:各所述垂直寄存器将自己存储的一行电荷同时转移到下一行的垂直寄存器中;

S213:判断S212中的垂直搬移操作是否执行了V/3,其中,V表示所述图像传感器的垂直高度,如果是,则执行S214,如果不是,则继续执行S204;

S214:如图9所示,所述垂直寄存器中各组存储单元将自己存储的一行电荷同时转移到下一行存储单元中,且各所述垂直寄存器将各自靠近所述水平寄存器那端存储的电荷同时转移到水平寄存器中,即所述第三存储单元及其对应光电转换单元的存储单元中存储的电荷转移到所述水平寄存器中,所述第二组存储单元及其对应光电转换单元的存储单元中存储的电荷转移到第三组存储单元及其对应光电转换单元的存储单元中,第一组存储单元及其对应光电转换单元的存储单元中存储的电荷转移到第二组存储单元及其对应光电转换单元的存储单元中;

S215:执行水平转移操作,在该操作中,所述水平寄存器将其缓存的电荷通过运放电路由所述图像传感器的输出端输出。需要说明的是,在该水平转移操作中,所述水平寄存器执行水平转移操作的次数由所述图像传感器的水平宽度决定。

S216:重复S214-S215,直至重复次数达到所述图像传感器的垂直高度,当所述重复次数达到所述图像传感器的垂直高度时,表示一幅图像传输完毕,所述图像传感器进入结束状态,然后返回到初始化状态。

S216:完成后,所述图像传感器中缓存了三张图片,其中,第一次曝光采集的图片位于最底部,即缓存在第三组存储单元中,第三次曝光采集的图片缓存在未被遮挡的第一组存储单元中。

一般的,图像传输的过程中会引入帧率的概念,此处我们假设传感器的最大帧率为25帧(传感器的帧率一般由器件特性决定),则每帧图像采集和传输的总时间为1s/25=40ms。假设图像传感器中光电转换单元的曝光时间为5ms,则输图像的时间为40ms–5ms=35ms;该35ms的时间包括6ms的垂直搬移时间和25ms的水平搬移时间以及4ms左右的消隐时间,这些参数均由器件特性决定;则图像传感器输出的图片与图片之间的帧间间隔为40ms。而利用本发明实施例所提供的方法,垂直搬移三分之一图片的时间为6ms/3=2ms,则图像传感器采集的图片之间的时间由普通方案的40ms降低为7ms(5ms的曝光时间和2ms的垂直搬移时间),大幅缩短了图片的帧间隔。

综上所述,本发明实施例所提供的图像传感器的成像方法,通过在单个图像传感器中同时缓存多张图片大大降低了图片的帧间间隔,从而提高了对多张图片处理得到的深度图的质量和精度。需要说明的是,本发明实施例所提供的图像传感器可以根据所述图像传感器需要同时缓存的图片数量(如M张),直接将现有图像传感器中的各垂直寄存器中的多个存储单元及其对应光电转换单元均分成M份,通过对各垂直寄存器中的M-1份存储单元及其对应光电转换单元中的光电转换单元进行遮挡实现多张图片的同时缓存,也可以先根据所述图像传感器需要同时缓存的图片数量(如M张),将现有图像传感器中的垂直寄存器中的存储单元及其对应光电转换单元增加M倍,再对其中M-1份存储单元及其对应光电转换单元中的光电转换单元进行遮挡实现多张图片的同时缓存。本发明对此并不做限定,具体视情况而定。

本说明书中各个部分采用递进的方式描述,每个部分重点说明的都是与其他部分的不同之处,各个部分之间相同相似部分互相参见即可。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1