图像传感器及其像素组和像素阵列,获取图像信息的方法与流程

文档序号:15359193发布日期:2018-09-05 00:25阅读:463来源:国知局

本发明属于图像传感器技术领域,具体涉及一种图像传感器,图像传感器的像素阵列和像素组,获取图像信息的方法以及电子设备。



背景技术:

cmos图像传感器已经得到大规模生产和应用。传统的图像传感器可以生成二维(2d)图像和视频,近来可以产生三维(3d)图像的图像传感器和系统受到广泛关注,这些3d图像传感器可以应用于脸部识别,增强现实(ar,augmentedreality)/虚拟现实(vr,virtualreality),无人机等。

现有的3d图像传感器主要有三种实现方式:立体双目,结构光和飞行时间(tof,timeofflight)。

立体双目是采用两个摄像头和三角原理来测量距离,它使用现成的彩色图像传感器(如rgb图像传感器),并且可以同时生成彩色图和深度图。但是这种方式需要两个摄像头和复杂的图像识别算法,图像识别和模式识别的功耗都不可避免地高。

结构光是采用激光光源投射图案到物体上,发射回的图像由红外摄像头捕捉,通过处理投射和反射图案的差异,可以经过计算得到深度或距离信息。但是这种方式需要复杂的光源系统和图像生成系统,而且它需要一个红外传感器和一个彩色图像传感器来生成彩色图和深度图。

飞行时间是采用特殊设计的像素,通过测量光子飞行和返回的时间来测距。它不需要额外复杂的算法,但是目前的技术还不能生成足够精度的深度图,同时它也需要另外的彩色图像传感器来生成彩色图。

因此,大部分现有的3d图像信息技术都需要多于一个传感器,有些方式还需要复杂精密的光学元件,还有些方式需要复杂的图像处理算法。



技术实现要素:

本发明技术方案要解决的技术问题是提供一种图像传感器,既能够生成深度图,又能够生成彩色图像。

为解决上述技术问题,本发明技术方案提供一种图像传感器的像素组,包括以矩阵排列的2n个感光元件,对应所述2n个感光元件的颜色滤光器和若干微透镜;其中,一行中每两个相邻的感光元件对应一个微透镜,n为自然数。

可选的,所述2n个感光元件排列成方阵。

可选的,n=2或8。

为解决上述技术问题,本发明技术方案还提供一种图像传感器的像素阵列,其包括若干绿色像素组、若干红色像素组和若干蓝色像素组;其中,像素组为上述的像素组,所述绿色像素组的颜色滤光器为绿色滤光器,所述红色像素组的颜色滤光器为红色滤光器,所述蓝色像素组的颜色滤光器为蓝色滤光器;若干绿色滤光器、若干红色滤光器和若干蓝色滤光器排列成拜耳彩色滤光阵列。

为解决上述技术问题,本发明技术方案还提供一种图像传感器,包括上述的像素阵列,还包括:基底层,所述基底层内形成有所述感光元件;滤光层,位于所述基底层上,所述滤光层包括所述绿色滤光器、所述红色滤光器和所述蓝色滤光器;透镜层,位于所述滤光层上,所述透镜层包括所述微透镜。

可选的,所述图像传感器还包括位于所述基底层和滤光层之间的层间介质层。

可选的,所述图像传感器还包括位于所述滤光层和透镜层之间的平坦化层。

为解决上述技术问题,本发明技术方案还提供一种应用上述的图像传感器获取图像信息的方法,所述图像传感器的每一行分成若干子区域,每一子区域包括2m+1对像素对,其中,m为自然数,所述像素对包括第一感光元件和第二感光元件,所述像素对中第一感光元件与第二感光元件为同一微透镜下相邻的两个感光元件;

所述获取图像信息的方法包括以下步骤:对于每一子区域,基于该子区域中像素对的第一信号和第二信号,确定该子区域的信号差异,其中,第一信号从第一感光元件获取,第二信号从第二感光元件获取,所述子区域的信号差异是指子区域中像素对的第一信号与第二信号的差异,所述信号差异与像素对的数量相关;基于信号差异与物距的对应关系或者基于信号差异与像距的对应关系,获取与该子区域的信号差异对应的物距;基于子区域的信号差异对应的物距,获取图像的深度信息。

可选的,基于该子区域中像素对的第一信号和第二信号,确定该子区域的信号差异包括:根据d(x)=∑p1(a)p2(a+x),计算x取值从-m至m时对应的各d(x)值,其中,子区域中的像素对以-m~m依次标记,p1(a)表示该子区域中标记为a的像素对的第一信号的信号值,-m≤a≤m,p2(a+x)表示与标记为a的像素对相差x对像素对距离的像素对的第二信号的信号值,a、x均为整数;确定d(x)值最大时对应的x为该子区域的信号差异。

可选的,基于该子区域中像素对的第一信号和第二信号,确定该子区域的信号差异包括:根据d(x)=∑p1(a)p2(a+x),计算x取值从-m至m时对应的各d(x)值,其中,子区域中的像素对以-m~m依次标记,p1(a)表示该子区域中标记为a的像素对的第一信号的信号值,-m≤a≤m,p2(a+x)表示与标记为a的像素对相差x对像素对距离的像素对的第二信号的信号值,a、x均为整数;根据计算的各d(x)值及对应的x,生成曲线函数d(x);确定d(x)值最大时对应的x为该子区域的信号差异。

可选的,基于信号差异与像距的对应关系,获取与该子区域的信号差异对应的物距包括:基于信号差异与像距的对应关系,确定与该子区域的信号差异对应的像距;根据摄像镜头的焦距和与该子区域的信号差异对应的像距,计算与该子区域的信号差异对应的物距。

可选的,所述信号差异与像距的对应关系通过校准摄像镜头与图像传感器的相对位置获得。

可选的,所述信号差异与物距的对应关系通过校准物体与摄像镜头的相对位置获得。

可选的,所述获取图像信息的方法还包括:基于拜耳彩色滤光阵列的感光元件获取的信号确定各像素组的颜色信息;基于像素组的颜色信息,获取图像的色彩信息。

为解决上述技术问题,本发明技术方案还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序实现上述获取图像信息的方法所述的步骤。

与现有技术相比,本发明技术方案具有以下有益效果:图像传感器的一行中,每两个相邻的感光元件共用一个微透镜,利用在失焦时该两个相邻的感光元件的信号差异可以获得该两个相邻的感光元件对应的图像区域相对于对焦区域的深度信息,由此生成深度图。并且,图像传感器的颜色滤光器排列成拜耳滤光阵列,利用相邻像素组的颜色信息可以获得图像的色彩信息,由此生成彩色图像。因此,本发明技术方案的图像传感器既能够生成深度图,又能够生成彩色图像,既无需增加额外的传感器或复杂精密的光学元件,且图像处理算法也不复杂。

附图说明

图1a和图1b为一种拜耳滤光阵列及像素单元的结构示意图;

图2a至图2c为本发明实施例的图像传感器的像素组的结构示意图;

图3为本发明实施例的图像传感器的像素阵列的实例示意图;

图4a至图4c为本发明实施例不同成像情况的信号差异示意图;

图5为本发明实施例的获取图像信息的方法的流程示意图;

图6a和图6b为本发明实施例成像图和对应的信号差异的实例示意图;

图7为本发明另一实施例的获取图像信息的方法的流程示意图。

具体实施方式

拜耳彩色滤光阵列(bayercolorfilterarray,简称为拜耳阵列)是实现图像传感器拍摄彩色图像的主要技术之一,以rgb彩色图像为例,如图1a和图1b所示,图1a是俯视图,图1b是沿图1a中a-a线的剖视图,拜耳阵列是一个4x4阵列,由8个绿色像素单元g、4个蓝色像素单元b和4个红色像素单元r组成。每个像素单元包括1个感光元件(通常为光电二极管)10、1个颜色滤光器和1个微透镜13;绿色像素单元g的颜色滤光器为绿色滤光器g,蓝色像素单元b的颜色滤光器为蓝色滤光器b(图中未示出),红色像素单元r的颜色滤光器为红色滤光器r。拜耳滤光阵列模拟人眼对色彩的敏感程度,采用1红2绿1蓝的排列方式将灰度信息转换成彩色信息,实际上每个像素单元仅有一种颜色信息,需要利用反马赛克算法进行插值计算,获得彩色信息,最终还原成彩色图像。

深度图(depthmap)是一种三维场景信息的表达方式,深度图像的每个像素点的灰度值可用于表征场景中某一点距离摄像镜头的远近(即物距)。

为了实现应用同一图像传感器既能获取彩色图像又能获取深度图像,本发明的发明人经过研究,提出了一种图像传感器的像素组以及由所述像素组排列而成的像素阵列。

所述图像传感器的像素组包括:包括以矩阵排列的2n个感光元件,对应所述2n个感光元件的颜色滤光器和若干微透镜;其中,一行中每两个相邻的感光元件对应一个微透镜,n为自然数。

所述图像传感器的像素阵列包括若干绿色像素组、若干红色像素组和若干蓝色像素组;各像素组分别包括以矩阵排列的2n个感光元件,对应所述2n个感光元件的颜色滤光器和若干微透镜;其中,一行中每两个相邻的感光元件对应一个微透镜;所述绿色像素组的颜色滤光器为绿色滤光器,所述红色像素组的颜色滤光器为红色滤光器,所述蓝色像素组的颜色滤光器为蓝色滤光器;若干绿色滤光器、若干红色滤光器和若干蓝色滤光器排列成拜耳彩色滤光阵列。

本发明实施例中,以rgb图像传感器,n=1为例,如图2a至图2c所示,图2a是俯视图,图2b是沿图2a中a-a线的剖视图,图2c是沿图2a中c-c线的剖视图。图中示出了2组绿色像素组gn、1组红色像素组rn和1组蓝色像素组bn。

在一个实例中,每组像素组包括以2x2矩阵排列的4个感光元件20,1个颜色滤光器(红色滤光器r、绿色滤光器g、蓝色滤光器b)和1个微透镜23;或者说,4个感光元件20共用1个颜色滤光器且共用1个微透镜23。

在另一个实例中,每组像素组包括以2x2矩阵排列的4个感光元件20,1个颜色滤光器(红色滤光器r、绿色滤光器g、蓝色滤光器b)和2个微透镜23,2个微透镜23以2x1矩阵排列;或者说,4个感光元件共用1个颜色滤光器,同一行中2个相邻的感光元件20共用1个微透镜23。

绿色像素组gn的绿色滤光器g、红色像素组rn的红色滤光器r和蓝色像素组bn的蓝色滤光器b排列成拜耳彩色滤光阵列,由此构成图3所示的像素阵列,所述像素阵列的每一行中,每两个相邻的感光元件共用一个微透镜。

对应地,如图2b和图2c所示,本发明实施例的图像传感器包括:基底层,所述基底层内形成有以矩阵排列的若干感光元件20;滤光层,位于所述基底层上,所述滤光层包括排列成拜耳彩色滤光阵列的若干绿色滤光器g、若干红色滤光器r和若干蓝色滤光器b,每一滤光器对应覆盖所述基底层内以2x2矩阵排列的四个感光元件20;透镜层,位于所述滤光层上,所述透镜层包括若干微透镜23。透镜层可以有两种实现方式:一种实现方式是,每一微透镜23对应覆盖一个颜色滤光器(红色滤光器r或绿色滤光器g或蓝色滤光器b)且对应所述基底层内以2x2矩阵排列的四个感光元件20,也就是说,每个微透镜23下面有1个颜色滤光器和4个感光元件20;另一种实现方式是,每两个微透镜23以2x1矩阵排列且对应覆盖一个颜色滤光器以及对应所述基底层内以2x2矩阵排列的四个感光元件20,也就是说,每个颜色滤光器下面有4个感光元件20,每个颜色滤光器上面有2个微透镜23,每个微透镜23下面有2个同一行相邻的感光元件20。

进一步,所述图像传感器还可以包括位于所述基底层和滤光层之间的层间介质层21。层间介质层21用于膜层间的隔离或金属互连,层间介质层21可以根据实际需求设置为单层或多层结构。另外,由于不同的颜色滤光器厚度不同,所述图像传感器还可以包括位于所述滤光层和透镜层之间的平坦化层22,使得透镜层可以形成在平坦的表面上。

需要说明的是,本发明实施例是以rgb彩色图像传感器为例,其中的颜色滤光器可以为红色滤光器、绿色滤光器和蓝色滤光器。如果是其他色彩类型的图像传感器,颜色滤光器可以根据实际应用或需求而设置为相应的颜色传感器。

此外,根据图像解析度的要求,本发明实施例的图像传感器的像素阵列包括很多个图3所示的阵列,相比传统结构,图像解析度是传统的四分之一。由于现有的传感器已经达到超过千万像素水平,单个像素(像素单元)已经接近或小于一微米,本发明实施例的图像传感器仍然足够比现有的大部分3d图像传感器(单个像素大于十微米)要小。另外对大部分3d应用,需要的图像解析度在几十万到百万之间,本发明实施例的图像传感器的解析度仍然足够满足需求。

发明人发现,采用两个相邻的感光元件共用颜色滤光器和微透镜后,同一行中,相同颜色滤光器和同一微透镜下不同的感光元件会获得不同的信号。请对比参考图1b和图2b,图1b所示的传统结构,在入射光的传播路径相同的情况下,相邻两个感光元件的接收的光信号相同;而图2b所示的本实施例的结构中,在入射光传播路径相同的情况下,相邻微透镜下两个p1位置的感光元件接收的光信号相同,同一微透镜下相邻(即p1位置和p2位置)的两个感光元件接收到不同的光信号,如在图2b中表现为p1位置的感光元件接收到光信号,p2位置的感光元件没有接收到光信号,因此当感光元件将光信号转换为电信号后,从p1位置的感光元件读取到的信号和从p2位置的感光元件读取到的信号就会有差异,这种信号差异表现为一个信号相对于另一个信号的超前或滞后。

具体地,请继续参考图4a至图4c,当不同传播路径的入射光经过摄像镜头l聚焦后:如果聚焦点离摄像镜头l太近(focusedtooclose),物体ob的成像平面落在图像传感器s所在的平面之前,或者说图像传感器s距离摄像镜头l太远,那么从p1位置的感光元件读取到的信号会滞后(lags)于从p2位置的感光元件读取到的信号,如图4a所示,p1的信号边沿滞后于p2的信号边沿。如果对焦准确,物体ob的成像平面落在图像传感器s所在的平面上,那么从p1位置的感光元件读取到的信号会与从p2位置的感光元件读取到的信号基本重合,如图4b所示。如果聚焦点离摄像镜头l太远(focusedtoofaraway),物体ob的成像平面落在图像传感器s所在的平面之后,或者说图像传感器s距离摄像镜头l太近,那么从p1位置的感光元件读取到的信号会超前(leads)于从p2位置的感光元件读取到的信号,如图4c所示,p1的信号边沿超前于p2的信号边沿。由此可见,同一行中,同一颜色滤光器和同一微透镜下相邻的两个感光元件的信号差异与物距(物体与摄像镜头的距离)、像距(图像传感器与摄像镜头的距离)具有相关性。

基于上述原理,可以理解,本发明图像传感器的像素组可以不限于上述实施例所述的包括4个感光元件,也就是说,像素组可以包括偶数(2n)个感光元件,至少一个颜色滤光器和n个微透镜,只要每一行中每两个相邻的感光元件对应(共用)一个微透镜,颜色滤光器可以是一个或多个相同颜色的滤光器,多个相同颜色的滤光器以阵列方式排列。

进一步,如果考虑到图像缩放长宽能成比例,所述2n个感光元件排列成方阵,例如,4个感光元件排列2x2矩阵、16个感光元件排列成4x4矩阵,36个感光元件排列成6x6等。可以理解,像素组的感光元件数量越多,解析度越低,因此,从确保高解析度考虑,通常可以取n=2或8。

应用上述的图像传感器,本发明实施例的获取图像信息的方法如图5所示,包括以下步骤:

步骤s11,对于每一子区域,基于该子区域中像素对的第一信号和第二信号,确定该子区域的信号差异;

步骤s12a,基于信号差异与物距的对应关系,获取与该子区域的信号差异对应的物距;

步骤s13,基于子区域的信号差异对应的物距,获取图像的深度信息。

下面对各步骤进行详细说明。所述图像传感器的每一行分成若干子区域,每一子区域包括2m+1对像素对,m为自然数,所述像素对包括第一感光元件和第二感光元件,所述像素对中第一感光元件与第二感光元件为同一微透镜下相邻的两个感光元件,每一子区域中的像素对从左至右依次标记为-m~m。

步骤s11,对于每一子区域,基于该子区域中像素对的第一信号和第二信号,确定该子区域的信号差异。如图2b所示,第一感光元件为p1位置的感光元件,第二感光元件为p2位置的感光元件,为了描述方便,以下以p1表示第一感光元件,以p2表示第二感光元件,第一信号从第一感光元件p1获取,第二信号从第二感光元件p2获取,所述子区域的信号差异是指子区域中像素对的第一信号与第二信号的差异,所述信号差异与像素对的数量相关。

具体地,所述基于该子区域中像素对的第一信号和第二信号,确定该像素对的信号差异包括:根据d(x)=∑p1(a)p2(a+x),计算x取值从-m至+m时对应的各d(x)值,m前面的+/-表示信号的超前或滞后;确定d(x)值最大时对应的x为该像素对的信号差异,x为整数。其中,子区域中的像素对以-m~m依次标记,p1表示第一信号的信号值,p2表示第二信号的信号值,p1(a)表示该子区域中标记为a的像素对的第一信号的信号值,-m≤a≤m,p2(a+x)表示与标记为a的像素对相差x对像素对距离的像素对的第二信号的信号值。这里的计算可能需要用到相邻子区域的像素对的信号,当x为负值时,可能用到该子区域左边相邻(与该子区域中标记为-m的像素对的第一感光元件相邻)的子区域中像素对的信号;当x为正值时,可能用到该子区域右边相邻(与该子区域中标记为m的像素对的第二感光元件相邻)的子区域中像素对的信号。当-m≤a+x≤m时,p2(a+x)表示该子区域中标记为a+x的像素对的第二信号的信号值;当a+x<-m时,p2(a+x)实际为该子区域左边相邻的子区域中标记为2m+1+a+x的像素对的第二信号的信号值;当a+x>m时,p2(a+x)实际为该子区域右边相邻的子区域中标记为a+x-2m-1的像素对的第二信号的信号值。

如前所述,同一行中,同一颜色滤光器和同一微透镜下相邻的两个感光元件的信号差异与物距(物体与摄像镜头的距离)、像距(图像传感器与摄像镜头的距离)具有相关性。在对焦准确的情况下,像素对的第一信号和第二信号应该重合。而在失焦的情况下,根据失焦的严重,第一信号和第二信号会有差异。在3d测距的应用情况下,通常我们会选择图像的某一个部分(所谓的点对焦或者区域对焦)进行对焦,而图像的其他部分因为太远离或者太靠近,会出现失焦的情况,那么这些部分对应的像素对就会出现信号差异。这种信号差异也可以称为第一信号与第二信号的相对位移或相位差,可以通过相关性算法来确定相对位移信息,以像素对的数量表示。

以m=5举例来说,图像传感器的每一行分成若干子区域,每一子区域包括11对像素对,这11对像素对从左至右依次标记为-5、-4、-3、-2、-1、0、1、2、3、4、5。在对焦的情况下,标记相同的像素对的第一信号和第二信号应该相同。而在失焦的情况下,对于一个子区域,计算相对位移为+5对像素对的下列乘数和:

d(+5)=∑p1(a)p2(a+5)=p1(-5)*p2(0)+p1(-4)*p2(1)+p1(-3)*p2(2)+p1(-2)*p2(3)+p1(-1)*p2(4)+p1(0)*p2(5)+p1(1)*p2(6)+p1(2)*p2(7)+p1(3)*p2(8)+p1(4)*p2(9)+p1(5)*p2(10)。其中,p2(6)、p2(7)、p2(8)、p2(9)、p2(10)依次为该子区域右边相邻的子区域的p2(-5)、p2(-4)、p2(-3)、p2(-2)、p2(-1)。

计算相对位移为+4对像素对的乘数和:

d(+4)=∑p1(a)p2(a+4)=p1(-5)*p2(-1)+p1(-4)*p2(0)+p1(-3)*p2(1)+p1(-2)*p2(2)+p1(-1)*p2(3)+p1(0)*p2(4)+p1(1)*p2(5)+p1(2)*p2(6)+p1(3)*p2(7)+p1(4)*p2(8)+p1(5)*p2(9)。其中,p2(6)、p2(7)、p2(8)、p2(9)依次为该子区域右边相邻的子区域的p2(-5)、p2(-4)、p2(-3)、p2(-2)。

计算相对位移为+3对像素对的乘数和:

d(+3)=∑p1(a)p2(a+3)=p1(-5)*p2(-2)+p1(-4)*p2(-1)+p1(-3)*p2(0)+p1(-2)*p2(1)+p1(-1)*p2(2)+p1(0)*p2(3)+p1(1)*p2(4)+p1(2)*p2(5)+p1(3)*p2(6)+p1(4)*p2(7)+p1(5)*p2(8)。其中,p2(6)、p2(7)、p2(8)依次为该子区域右边相邻的子区域的p2(-5)、p2(-4)、p2(-3)。

计算相对位移为+2对像素对的乘数和:

d(+2)=∑p1(a)p2(a+2)=p1(-5)*p2(-3)+p1(-4)*p2(-2)+p1(-3)*p2(-1)+p1(-2)*p2(0)+p1(-1)*p2(1)+p1(0)*p2(2)+p1(1)*p2(3)+p1(2)*p2(4)+p1(3)*p2(5)+p1(4)*p2(6)+p1(5)*p2(7)。其中,p2(6)、p2(7)依次为该子区域右边相邻的子区域的p2(-5)、p2(-4)。

计算相对位移为+1对像素对的乘数和:

d(+1)=∑p1(a)p2(a+1)=p1(-5)*p2(-4)+p1(-4)*p2(-3)+p1(-3)*p2(-2)+p1(-2)*p2(-1)+p1(-1)*p2(0)+p1(0)*p2(1)+p1(1)*p2(2)+p1(2)*p2(3)+p1(3)*p2(4)+p1(4)*p2(5)+p1(5)*p2(6)。其中,p2(6)为该子区域右边相邻的子区域的p2(-5)。

计算相对位移为0对像素对的乘数和:

d(0)=∑p1(a)p2(a)=p1(-5)*p2(-5)+p1(-4)*p2(-4)+p1(-3)*p2(-3)+p1(-2)*p2(-2)+p1(-1)*p2(-1)+p1(0)*p2(0)+p1(1)*p2(1)+p1(2)*p2(2)+p1(3)*p2(3)+p1(4)*p2(4)+p1(5)*p2(5)。

计算相对位移为-1对像素对的乘数和:

d(-1)=∑p1(a)p2(a-1)=p1(5)*p2(4)+p1(4)*p2(3)+p1(3)*p2(2)+p1(2)*p2(1)+p1(1)*p2(0)+p1(0)*p2(-1)+p1(-1)*p2(-2)+p1(-2)*p2(-3)+p1(-3)*p2(-4)+p1(-4)*p2(-5)+p1(-5)*p2(-6)。其中,p2(-6)为该子区域左边相邻的子区域的p2(5)。

计算相对位移为-2对像素对的乘数和:

d(-2)=∑p1(a)p2(a-2)=p1(5)*p2(3)+p1(4)*p2(2)+p1(3)*p2(1)+p1(2)*p2(0)+p1(1)*p2(-1)+p1(0)*p2(-2)+p1(-1)*p2(-3)+p1(-2)*p2(-4)+p1(-3)*p2(-5)+p1(-4)*p2(-6)+p1(-5)*p2(-7)。其中,p2(-6)、p2(-7)依次为该子区域左边相邻的子区域的p2(5)、p2(4)。

计算相对位移为-3对像素对的乘数和:

d(-3)=∑p1(a)p2(a-3)=p1(5)*p2(2)+p1(4)*p2(1)+p1(3)*p2(0)+p1(2)*p2(-1)+p1(1)*p2(-2)+p1(0)*p2(-3)+p1(-1)*p2(-4)+p1(-2)*p2(-5)+p1(-3)*p2(-6)+p1(-4)*p2(-7)+p1(-5)*p2(-8)。其中,p2(-6)、p2(-7)、p2(-8)依次为该子区域左边相邻的子区域的p2(5)、p2(4)、p2(3)。

计算相对位移为-4对像素对的乘数和:

d(-4)=∑p1(a)p2(a-4)=p1(5)*p2(1)+p1(4)*p2(0)+p1(3)*p2(-1)+p1(2)*p2(-2)+p1(1)*p2(-3)+p1(0)*p2(-4)+p1(-1)*p2(-5)+p1(-2)*p2(-6)+p1(-3)*p2(-7)+p1(-4)*p2(-8)+p1(-5)*p2(-9)。其中,p2(-6)、p2(-7)、p2(-8)、p2(-9)依次为该子区域左边相邻的子区域的p2(5)、p2(4)、p2(3)、p2(2)。

计算相对位移为-5对像素对的乘数和:d(-5)=∑p1(a)p2(a-5)=p1(5)*p2(0)+p1(4)*p2(-1)+p1(3)*p2(-2)+p1(2)*p2(-3)+p1(1)*p2(-4)+p1(0)*p2(-5)+p1(1)*p2(-6)+p1(2)*p2(-7)+p1(3)*p2(-8)+p1(4)*p2(-9)+p1(5)*p2(-10)。其中,p2(-6)、p2(-7)、p2(-8)、p2(-9)、p2(-10)依次为该子区域左边相邻的子区域的p2(5)、p2(4)、p2(3)、p2(2)、p2(1)。从上面计算得到的各d(x)值中,确定d(x)值最大时对应的x为该子区域的信号差异,可以理解为其中一个信号移动多少像素对后与另一个信号可以重合。

进一步,通过上面的方式计算得到的信号差异是整数,但在实际应用中,真正的最大值对应的信号差异值可能在两个相邻整数之间,因此,为了得到更精确的信号差异,可以先根据计算的各d(x)值及对应的x,生成曲线函数d(x),再确定d(x)值最大时对应的x为该子区域的信号差异。具体来说,如果以坐标图中的曲线表示,x轴表示相对位移x,y轴表示对应相对位移的乘数和d(x),根据计算的各d(x)值及对应的x,采用插值法等现有算法,可以在坐标图中将计算所得的离散点d(x)连成一条曲线,这条曲线以曲线函数d(x)描述,那么曲线的峰值即d(x)的最大值对应的x值就是该子区域的像素对的第一信号和第二信号实际的相对位移,即该子区域的信号差异,x可能是整数,也可能不是整数。

以类似的方式,可以得到其他子区域中像素对的第一信号和第二信号实际的相对位移。需要说明的是,相对位移有可能超过单个子区域的宽度,m的取值决定了相对位移的可测量范围,由此决定了深度图的解析度和最大测量范围。

步骤s12a,基于信号差异与物距的对应关系,获取与该子区域的信号差异对应的物距。

所述信号差异与物距的对应关系可以预先储存在可读存储器中,当通过步骤s11得到子区域的信号差异后,可以通过读取可读存储器获得与该子区域的信号差异对应的像距的数值。

在本实施例中,所述信号差异与物距的对应关系通过校准物体与摄像镜头的相对位置获得。具体来说,在校准时,摄像镜头和图像传感器保持不动,可以使用特定图案的2d平面图(通常是条纹),摆放在离摄像镜头不同距离的位置,测量此时子区域中第一信号与第二信号的差异(即相对位移)。请参考图6a和图6b,左边为成像图,右边为对应的信号图,当对焦准确时,成像清晰,第一信号和第二信号基本重合,如图6a所示;当失焦时,成像模糊,第一信号和第二信号存在相对位移,如图6b所示,采用上述计算乘数和的方式得到第一信号和第二信号的相对位移。例如,图片摆放在离摄像镜头50厘米的位置,测量得到相对位移变化了5对像素对,如果5对像素对在图像中对应的距离为5毫米,那么可以从校准中得到这个物距与相对位移的对应关系为50厘米/5毫米。当实际应用中,如果通过步骤s11得到图像某个子区域的相对位移为5对像素对(即5毫米),那么通过步骤s12a可以确定这个子区域相对于对焦区域有50厘米的深度。所述信号差异与物距的对应关系的表现形式不限于用坐标图中的曲线表示,也可以用方程或者表格等其他形式表示。

步骤s13,基于子区域的信号差异对应的物距,获取图像的深度信息。通过上述步骤可以得到图像的每个子区域的信号差异对应的物距(即深度),这样整个图像的深度信息也可以获得,以灰度值表示每个子区域对应的深度,由此可以生成深度图。

进一步,如图5所示,本实施例的获取图像信息的方法还包括:

步骤s14,基于拜耳彩色滤光阵列的感光元件获取的信号确定各像素组的颜色信息。具体地,对于每一像素组区域,可以通过例如计算信号均值确定该像素组区域对应颜色滤光器的颜色信息,并通过例如插值法计算获得其他颜色信息。举例来说,对于绿色像素组,通过像素组中各感光元件的信号的平均值确定该绿色像素组的绿色信息,并根据相邻蓝色像素组的蓝色信息和相邻红色像素组的红色信息做插值计算,得到该绿色像素组的蓝色信息和红色信息,这种算法与现有的拜耳阵列的像素的颜色信息的算法类似,在此不再展开说明。

步骤s15,基于像素组的颜色信息,获取图像的色彩信息。通过步骤s14得到每个像素组区域的颜色信息,这样整个图像的色彩信息也可以获得,由此可以生成彩色图像。

应用上述的图像传感器,本发明另一实施例的获取图像信息的方法如图7所示,包括以下步骤:

步骤s11,对于每一子区域,基于该子区域中像素对的第一信号和第二信号,确定该子区域的信号差异;

步骤s12b,基于信号差异与像距的对应关系,获取与该子区域的信号差异对应的物距;

步骤s13,基于子区域的信号差异对应的物距,获取图像的深度信息;

步骤s14,基于拜耳彩色滤光阵列的感光元件获取的信号确定各像素组的颜色信息;

步骤s15基于像素组的颜色信息,获取图像的色彩信息。

图7所示实施例的步骤s12b不同于图5所示实施例的步骤s12a,具体地,基于信号差异与像距的对应关系,获取与该子区域的信号差异对应的物距可以包括:基于信号差异与像距的对应关系,确定与该子区域的信号差异对应的像距;根据摄像镜头的焦距和与该子区域的信号差异对应的像距,计算与该子区域的信号差异对应的物距。在焦距f和像距v已知的情况下,根据基本的光学原理1/f=1/u+1/v,可以得到物距u。

本实施例中,所述信号差异与像距的对应关系通过校准摄像镜头与图像传感器的相对位置获得。具体来说,在校准时,可以使用特定图案的2d平面图(通常是条纹),摆放在离摄像镜头固定距离的位置,移动摄像镜头到离图像传感器不同距离的位置,测量此时子区域中第一信号与第二信号的差异(即相对位移)。当对焦准确时,成像清晰,第一信号和第二信号基本重合;当失焦时,成像模糊,第一信号和第二信号存在相对位移,采用上述计算乘数和的方式测量得到第一信号和第二信号的相对位移。例如,摄像镜头在离图像传感器30毫米的位置,测量得到相对位移变化了5对像素对,如果5对像素对在图像中对应的距离为5毫米,那么可以从校准中得到这个像距与相对位移的对应关系为30毫米/5毫米。当实际应用中,如果通过步骤s11得到图像某个子区域的相对位移为5对像素对(即5毫米),那么通过步骤s12b可以确定这个子区域的信号差异对应的像距为30毫米,摄像镜头的焦距是确定的,然后再根据1/f=1/u+1/v可以计算这个子区域相对于对焦区域的深度。所述信号差异与像距的对应关系的表现形式不限于用坐标图中的曲线表示,也可以用方程或者表格等其他形式表示。

本实施例的其他步骤的实现与图5所示实施例的其他步骤相同,在此不再赘述。

本发明虽然已以较佳实施方式公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施方式所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1