图像传感器的制作方法

本发明涉及图像采集技术领域，尤其涉及一种图像传感器。

背景技术：

虹膜识别是利用人眼图像中的虹膜区域的特征(环状物、皱纹、斑点和冠状物)形成的特征来完成识别，是人脸识别中最安全、最精确的识别方法之一。虹膜识别技术的难点是虹膜图像的获取。由于虹膜具有面积小(平均直径10mm)的特点，一般的摄像装置无法拍摄出可以用来识别的虹膜图像，所以通常采用放大倍率较大的镜头，但由于这种镜头视场角很小，眼睛的对准较为困难，用户的友好性也比较差。此外，不同人种的虹膜颜色差异大，西方人的虹膜颜色比较浅，可用可见光照明，而东方人的虹膜颜色较深，必须采用红外光照明才能得到清晰的虹膜图像。

目前，虹膜识别已经在移动设备如手机、平板电脑和移动电脑等上面。主要利用近红外光来照亮眼睛，图像传感器采集用户的眼部图像，并从中分割出虹膜进行识别。

目前通常的摄像头模组主要包括图像传感元件以及图像处理芯片等，图像传感元件主要分为电荷耦合元件(ccd)与互补金属氧化物半导体(cmos)。可见光的波长范围是380～780nm，780nm～1000nm左右属于近红外光部分，而ccd和cmos既能感应可见光，也能感应近红外光。传统的图像传感器，每个感光元件对应图像传感器中的一个像点，由于感光元件只能感应光的强度，无法捕获色彩信息，因此必须在感光元件上方覆盖彩色滤光片(或滤光膜)来区分色彩。如图1所示，最常用的做法是覆盖rgb红绿蓝三色滤光片，由相邻四个像点按照1：2：1构成一个大的彩色像素单元，即红蓝滤光片分别覆盖一个像点，剩下的两个像点都覆盖绿色滤光片，采取这种比例的原因是人眼对绿色较为敏感。厂家为了在自然光下获得更好的色彩还原，还进一步使用近红外截止滤光片设置于ccd或cmos前面来过滤近红外光。在最终得到彩色图像时，利用周围像素的颜色值，采用差值的方法，得到每个像素点的r、g、b分量。

虹膜识别时，为了采集清晰的虹膜图像，必须要在采集虹膜图像时增加近红外照明。同时，图像传感器为了能感应近红外光，必须去除这些阻止近红外光通过的滤光片(或滤光膜)。

由于虹膜识别需要虹膜在拍摄的图像中有足够大的直径，这样才能拍摄到足够多的纹理细节，保持足够高的纹理复杂度，从而使得虹膜识别能够有足够高的准确率，所以虹膜采集模组的视场角一般比较小，采集的图像一般只包含眼睛周围较小的区域。另外，由于手机等移动设备做得越来越薄，而屏占比也越来越高，正面集成了越来越多的功能，使得基本没有太多的空间位置来放置虹膜图像采集模组。因此对虹膜图像采集模组的尺寸要求非常严格，通常要求尺寸小于5mm*5mm*4.5mm。目前用于移动设备的虹膜图像采集模组，分辨率一般只有200万像素。模组中镜头的厚度也很小，使得焦距无法做到比较大。结合这两个限制因素，采集到的眼部图像中，虹膜的直径一般不大于130像素。

申请号为201420090333.3的中国专利公开了一种用于移动终端的虹膜识别摄像头模组，提出了一种二合一的虹膜图像采集模组，将移动设备的前置摄像头和虹膜采集摄像头合二为一，在保留摄像头模组的拍照功能不变的前提下，增加了虹膜识别的功能。传统彩色图像传感器中r、g、b三颜色滤光片由相邻四个像点以1：2：1方式构成一个大的彩色像素单元，如图2所示，该专利方法将其中一个绿色滤光片换成了红外滤光片，只允许一定波长的近红外光通过。各个滤光片单元只能透射相应的色光，其他色光都被滤光片吸收。成像时，若为日常拍摄模式，根据通过相邻的像元单元获得的rgb色光信息来计算各个像素点的rgb分量，还原出照片的真实色彩；若为虹膜识别模式，则根据通过相邻的像元单元获得的红外光信息来计算各个像素点的ir分量，以获得清晰的红外光虹膜图像。

该专利方法在实际应用中，存在一些缺陷：1、手机等移动设备在日常可见光拍摄时，一般要求宽视角，比如能够拍摄完整的人像等，因此要求摄像头有小焦距，而虹膜识别却要求窄视角，这样才能拍摄到足够大的虹膜，从而有足够丰富的虹膜纹理细节用来进行虹膜识别，因此要求摄像头有较大的焦距。2、由于移动设备上严格的尺寸限制，前置摄像头的分辨率一般都不高。而该专利的结构进一步减少了感应近红外光的像素数，在水平和垂直方向都缩减了一倍，使得采集到的虹膜图像分辨率在水平和垂直方向都缩减了一倍。比如采用200万像素分辨率的图像传感器，则近红外虹膜图像的分辨率只有50万像素，虹膜直径将从130像素左右减小到65像素左右，这会极大降低虹膜识别的准确率。如果采用更高分辨率的图像传感器，比如800万像素，由于尺寸的限制，则像素密度要大大提高，每个像素的感光面积要大大的减少，从而要求用来照亮的近红外光要有更高的强度，这会引起用户对光照强度是否安全的担忧。同时更高的光照强度也对移动设备的电池容量有更高的要求，以及更高的像素密度也对镜头的畸变误差提出了更高的要求。

由于上述的缺陷，在目前的移动设备上，基本还是使用单独的虹膜识别模组，而不使用二合一的模组。由于虹膜识别要求虹膜采集模组采用较大的焦距和窄视角，只能采集到眼睛周围较小的区域，为了提高用户友好性，虹膜识别设备一般会将采集到的眼睛图像显示在显示屏幕上，反馈给用户，以提示用户更好的对准等。然而，在近红外光下，图像传感器只能得到单色灰度图像，并且在近红外光下的眼部成像图像和通常的彩色眼部图像有较大的差别，没有彩色图像美观，甚至看起来有点恐怖，直接显示在屏幕上会让一部分用户感觉不舒服。如果在虹膜采集时，还能将相应的彩色眼部图像显示在屏幕上，用来指导用户对准眼睛等，则可以极大地提高设备的使用友好性。

技术实现要素：

本发明所要解决的技术问题是：提供一种图像传感器，既可以成像近红外光下的单色图像，又可以同时成像可见光下的彩色图像。

为了解决上述技术问题，本发明采用的技术方案为：

一种图像传感器，包括：

滤光层，包括至少一个的微滤光单元；

感光层，包括至少一个的成像单元，所述成像单元与所述微滤光单元对应设置；

图像处理程序，所述图像处理程序运行时包括如下处理步骤：

获取经过滤光层后的图像帧序列；

抽取所述图像帧序列中奇数位或偶数位的图像帧作为第一序列，将剩余的图像帧作为第二序列；

保留第一序列中的近红外光的像素值，根据所述近红外光的像素值重新确定可见光像素点的像素值，得到处理后的第一序列；

保留第二序列中的可见光的像素值，根据所述可见光的像素值重新确定近红外光像素点的像素值，得到处理后的第二序列；

分别对处理后的第一序列和处理后的第二序列中的图像帧进行曝光处理；

将曝光处理后的图像帧通过感光层进行显示。

本发明的有益效果在于：第一序列只保留了近红外光的图像，可以用来进行虹膜识别，第二序列只保留可见光下的彩色图像，可以用来显示在屏幕上，当所述图像传感器用于采集图像时，既可以成像近红外光下的单色图像，又可以同时成像可见光下的彩色图像，其结构简单，易于实现，生产成本低，还极大程度提高用户使用的友好性，增强用户的体验。

附图说明

图1为现有技术的滤光层的示意图；

图2为现有技术的滤光层的另一示意图；

图3为本发明实施例一的滤光层的示意图；

图4为本发明实施例一的滤光层的另一示意图；

图5为本发明实施例一的图像处理程序运行时的流程图；

图6为本发明实施例二的图像处理程序运行时的流程图；

图7为本发明实施例二的滤光层的示意图；

图8为本发明实施例二的图像处理程序运行时的另一流程图；

图9为本发明实施例二的滤光层的另一示意图；

图10为本发明实施例二的图像处理程序运行时的另一流程图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：第一序列只保留了近红外光的图像，可以用来进行虹膜识别，第二序列只保留可见光下的彩色图像，可以用来显示在屏幕上。

请参照图3至图10，一种图像传感器，包括：

滤光层，包括至少一个的微滤光单元；

感光层，包括至少一个的成像单元，所述成像单元与所述微滤光单元对应设置；

图像处理程序，所述图像处理程序运行时包括如下处理步骤：

获取经过滤光层后的图像帧序列；

抽取所述图像帧序列中奇数位或偶数位的图像帧作为第一序列，将剩余的图像帧作为第二序列；

保留第一序列中的近红外光的像素值，根据所述近红外光的像素值重新确定可见光像素点的像素值，得到处理后的第一序列；

保留第二序列中的可见光的像素值，根据所述可见光的像素值重新确定近红外光像素点的像素值，得到处理后的第二序列；

分别对处理后的第一序列和处理后的第二序列中的图像帧进行曝光处理；

将曝光处理后的图像帧通过感光层进行显示。

从上述描述可知，本发明的有益效果在于：第一序列只保留了近红外光的图像，可以用来进行虹膜识别，第二序列只保留可见光下的彩色图像，可以用来显示在屏幕上，当所述图像传感器用于采集图像时，既可以成像近红外光下的单色图像，又可以同时成像可见光下的彩色图像，其结构简单，易于实现，生产成本低，还极大程度提高用户使用的友好性，增强用户的体验。

进一步的，所述微滤光单元包括近红外微滤光单元、红光微滤光单元、蓝光微滤光单元和绿光微滤光单元。

进一步的，所述近红外微滤光单元的数目占总的微滤光单元的数目的至少50％。

由上述描述可知，近红外微滤光单元设置较多，可以提高分辨率，便于进行准确的虹膜识别，二可见光下的眼部图像只是用来显示在屏幕上，辅助用户的对准操作，因此可见光下的眼部图像的分辨率并不需要太高。

进一步的，所述根据所述近红外光的像素值重新确定可见光像素点的像素值具体为：

获取可见光对应的一可见光像素点；

将所述一可见光像素点的像素值设为0；

获取与所述一可见光像素点相邻的至少一个的近红外光的像素值；

计算所述至少一个的近红外光的像素值的平均值，将所述平均值作为所述一可见光像素点的近红外光的像素值。

由上述描述可知，通过求平均值的方法来确定可见光像素点的像素值，简单可靠。

进一步的，所述根据所述近红外光的像素值重新确定可见光像素点的像素值具体为：丢弃可见光对应的像素点。

由上述描述可知，可以保留近红外光图像的原有分辨率，也可以直接丢弃可见光对应的像素点，减小近红外光图像的分辨率。

进一步的，所述根据所述可见光的像素值重新确定近红外光像素点的像素值具体为：

获取近红外光对应的一近红外光像素点；

将所述一近红外光像素点的像素值设为0；

获取与所述一近红外光像素点相邻的至少一个的可见光的像素值，所述可见光包括红光、蓝光和绿光；

分别计算获取的红光、蓝光和绿光的像素值的平均值，将红光的平均值作为所述一近红外光像素点的红光分量，将蓝光的平均值作为所述一近红外光像素点的蓝光分量，将绿光的平均值作为所述一近红外光像素点的绿光分量。

由上述描述可知，近红外光的像素点的像素值由相邻的可见光像素值确定，当选取相邻位置的可见光像素点时，可以根据需要扩大选择范围，利用更多的可见光像素值来求平均值，使得到的结果更加可靠。

进一步的，所述根据所述可见光的像素值重新确定近红外光像素点的像素值具体为：丢弃近红外光对应的像素点。

由上述描述可知，也可以直接丢弃近红外光的像素点，缩小可见光图像的分辨率。

进一步的，对处理后的第一序列中的图像帧进行曝光处理具体为：

依序获取第一序列中的图像帧作为第一待曝光图像帧；

判断所述第一待曝光图像帧是否为首帧图像帧；

若是，则根据第一预设曝光时间对所述第一待曝光图像帧进行曝光；

若否，则获取上一图像帧的第一曝光时间和近红外光亮度值；

将所述近红外光亮度值与第一预设亮度范围进行比较，得到第一比较结果；

根据所述第一比较结果和第一曝光时间确定第一待曝光图像帧的曝光时间。

进一步的，对处理后的第二序列中的图像帧进行曝光处理具体为：

依序获取第二序列中的图像帧作为第二待曝光图像帧；

判断所述第二待曝光图像帧是否为首帧图像帧；

若是，则根据第二预设曝光时间对所述第二待曝光图像帧进行曝光；

若否，则获取上一图像帧的第二曝光时间和可见光亮度值；

将所述可见光亮度值与第二预设亮度范围进行比较，得到第二比较结果；

根据所述第二比较结果和第二曝光时间确定第二待曝光图像帧的曝光时间。

由上述描述可知，通过上一帧图像的亮度值和预设亮度值来确定待曝光图像帧的曝光时间，可以将图像亮度控制在一个合适的范围，有效避免过曝和欠爆的情况。

进一步的，相邻两个微滤光单元中，至少一个为近红外微滤光单元。

实施例一

请参照图3至图5，本发明的实施例一为：

一种图像传感器，包括滤光层、感光层和图像处理程序。

所述滤光层包括至少一个的微滤光单元。所述微滤光单元包括近红外微滤光单元、红光微滤光单元、蓝光微滤光单元和绿光微滤光单元。所述近红外微滤光单元的数目占总的微滤光单元的数目的至少50％。优选的，相邻两个微滤光单元中，至少一个为近红外微滤光单元。如图3所示，每隔一个位置设置一个近红外微滤光单元，红光微滤光单元、绿光微滤光单元和蓝光微滤光单元的比例为1:2:1。如图4所示，每四个对角设置的微滤光单元中，有三个为近红外微滤光单元，其余一个为红光微滤光单元、蓝光微滤光单元和绿光微滤光单元中的一个。本实施例的绿光层不限于图3和图4中的情况，还可以根据需要设置其他的排列方式。各个微滤光单元只能透过相应的色光，其他色光都被微滤光单元吸收。

所述感光层包括至少一个的成像单元，所述成像单元与所述微滤光单元对应设置。滤光层覆盖在感光层上，每一个成像单元对应一个微滤光单元，并且每一个成像单元对应图像的一个像素点。

如图5所示，所述图像处理程序运行时包括如下处理步骤：

s1、获取经过滤光层后的图像帧序列。

s2、抽取所述图像帧序列中奇数位或偶数位的图像帧作为第一序列，将剩余的图像帧作为第二序列。即，若第一序列抽取的是奇数位的图像帧，则第二序列为剩余的偶数位的图像帧；若第一序列抽取的是偶数位的图像帧，则第二序列为剩余的奇数位的图像帧。

s3、保留第一序列中的近红外光的像素值，根据所述近红外光的像素值重新确定可见光像素点的像素值，得到处理后的第一序列。具体的，可以通过求平均值和插值的方法得到可见光像素点的像素值。

s4、保留第二序列中的可见光的像素值，根据所述可见光的像素值重新确定近红外光像素点的像素值，得到处理后的第二序列。具体的，可以通过求平均值和插值的方法得到近红外光像素点的像素值。

s5、分别对处理后的第一序列和处理后的第二序列中的图像帧进行曝光处理。

s6、将曝光处理后的图像帧通过感光层进行显示。第一序列的图像可用于进行虹膜识别，第二序列的图像可用于显示在显示屏上，便于用户进行对准。

由于目前的图像传感器，在每帧图像像素值不是特别大时，帧率可以做到较高，这样分成两个序列，每个序列仍然有足够的帧率来做虹膜识别和显示，例如，200万像素的图像传感器，可以做到每秒帧率超过30帧，这样虹膜识别可以做到每秒识别15帧，显示在屏幕上的可见光图像也有每秒15帧。

实施例二

请参照图6至图10，本发明的实施例二为：

本发明的实施例二为实施例一的进一步扩展，相同之处不再赘述，不同之处在于：

如图6所示，步骤s3中，所述根据所述近红外光的像素值重新确定可见光像素点的像素值具体为：

s31、获取可见光对应的一可见光像素点。

s32、将所述一可见光像素点的像素值设为0。

s33、获取与所述一可见光像素点相邻的至少一个的近红外光的像素值。

s34、计算所述至少一个的近红外光的像素值的平均值，将所述平均值作为所述一可见光像素点的近红外光的像素值。

如图7所示，假设我们只考虑虚线框内的部分，对于b0像素点的近红外值，可以通过邻近的i0、i1、i2和i3像素点的平均值来得到，即，b0处的i＝(i0+i1+i2+i3)/4。

如图8所示，步骤s4中，所述根据所述可见光的像素值重新确定近红外光像素点的像素值具体为：

s41、获取近红外光对应的一近红外光像素点。

s42、将所述一近红外光像素点的像素值设为0。

s43、获取与所述一近红外光像素点相邻的至少一个的可见光的像素值，所述可见光包括红光、蓝光和绿光。

s44、分别计算获取的红光、蓝光和绿光的像素值的平均值，将红光的平均值作为所述一近红外光像素点的红光分量，将蓝光的平均值作为所述一近红外光像素点的蓝光分量，将绿光的平均值作为所述一近红外光像素点的绿光分量。

如图9所示，假设我们只考虑虚线框内的部分，对于i0位置的红绿蓝分量，可以通过邻近的红绿蓝颜色的平均值来得到。最简单的时只考虑最近的四个像素点：即i0位置的红光分量r＝r0，绿光分量g＝(g0+g1)/2，蓝光分量b＝b0。更复杂的还可以考虑更大邻近区域内的像素点，并根据距离进行加权(与距离成反比)，最后归一化。例如对于i0位置的红色分量r＝(r0×6+r1×3+r2×3+r3×2)/14。

如图10所示，步骤s5中，对处理后的第一序列中的图像帧进行曝光处理具体为：

s501、依序获取第一序列中的图像帧作为第一待曝光图像帧。

s502、判断所述第一待曝光图像帧是否为首帧图像帧；若是，则执行步骤s503；若否，则执行步骤s504。

s503、根据第一预设曝光时间对所述第一待曝光图像帧进行曝光。第一预设曝光时间可以是经验值，也可以根据需要进行设置。

s504、获取上一图像帧的第一曝光时间和近红外光亮度值。

s505、将所述近红外光亮度值与第一预设亮度范围进行比较，得到第一比较结果。

s506、根据所述第一比较结果和第一曝光时间确定第一待曝光图像帧的曝光时间。

假设第一序列为奇数位的图像帧，首帧图像帧的曝光时间为t1，亮度为l1。第一预设亮度范围为lt2～lt1。如果l1大于第一预设亮度范围lt1，则认为近红外图像过亮，则需要相对减少第三帧图像的曝光时间，使得t3<t1，减少的幅度与(l1-lt1)的差值成正比关系。如果第三帧图像的亮度l3仍然大于lt1，则继续减少第五帧图像的曝光时间。如果l3小于lt2，则认为近红外图像过暗，此时需要相对增加第五帧图像的曝光时间，使得t5>t3，增加的幅度与(lt2-l3)的差值成正比关系。依次类推，使第一序列中的近红外图像亮度值保持在一个合适的范围。

步骤s5中，对处理后的第二序列中的图像帧进行曝光处理具体为：

s507、依序获取第二序列中的图像帧作为第二待曝光图像帧；

s508、判断所述第二待曝光图像帧是否为首帧图像帧；若是，则执行步骤s509；若否，则执行步骤s510。

s509、根据第二预设曝光时间对所述第二待曝光图像帧进行曝光。

s510、获取上一图像帧的第二曝光时间和可见光亮度值。

s511、将所述可见光亮度值与第二预设亮度范围进行比较，得到第二比较结果。

s512、根据所述第二比较结果和第二曝光时间确定第二待曝光图像帧的曝光时间。

第二序列中曝光时间的调整方法与第一序列一样，在这里就不一一举例进行说明。

实施例三

本发明的实施例三为上述实施例的进一步扩展，相同之处不再赘述，不同之处在于：

步骤s3中，所述根据所述近红外光的像素值重新确定可见光像素点的像素值具体为：丢弃可见光对应的像素点。在能进行虹膜识别的前提下，可以丢弃可见光对应的像素点。

步骤s4中，所述根据所述可见光的像素值重新确定近红外光像素点的像素值具体为：丢弃近红外光对应的像素点。由于可见光下的眼部图像的作用只是用来显示在屏幕上，辅助用户的对准操作，而移动设备等的屏幕尺寸较小，因此可以见光下的眼部图像的分辨率不需要太高。

可以根据需要选择重新计算得到像素点的像素值还是直接丢弃对应的像素点，当直接丢弃像素点时，则缩小了图像的像素。

综上所述，本发明提供的一种图像传感器，当所述图像传感器用于采集图像时，既可以成像近红外光下的单色图像，又可以同时成像可见光下的彩色图像，其结构简单，易于实现，生产成本低，还极大程度提高用户使用的友好性，增强用户的体验。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。