图像传感器的成像方法、成像装置和电子设备与流程

本发明涉及成像技术领域，尤其涉及一种图像传感器的成像方法、成像装置和电子设备。

背景技术：

近年来图像传感器发展突飞猛进，销量不断攀升，生产厂商也出现了如雨后春笋般的发展，市场竞争异常激烈，在价格不断下降的同时，对图像质量的要求反而不断提高，为了减小成本和传感器的面积，图像传感器的像素尺寸越做越小，图像传感器像素尺寸变小也就对传感器的成像质量带来了很大的影响，其中影响最大的一项指标即图像传感器的低光效果，像素越小，图像传感器的灵敏度就越低，图像低光的亮度就越不足，为了提高低光亮度，相关技术中的采用的方案有：1、增大模拟或数字增益；2、在图像处理部分对图像加一个亮度；3、采用全通镜头，即既可通可见光又可通红外光的镜头，其中，可见光即人眼可以看到的光线，红外光是指波长在850nm左右为人眼所不能看见的光。

但是，上述方案存在以下缺点：

1)增大模拟或数字增益，即对图像信号乘上一个大于1的倍数，这样可以放大图像信号从而提高图像亮度，但是在放大图像信号的同时，对图像噪声也会带来同样倍数的放大，从而导致放大后图像噪声太大；

2)在图像处理部分对图像加一个亮度，对图像整体加一个亮度，可以达到提高图像低光亮度的效果，但加亮度的同时，会减小图像细节和非细节之间的反差，从而导致图像看起来非常模糊；

3)采用全通镜头，相比普通镜头只让可见光通过，全通镜头还可以通过红外光，这样图像传感器所得到的图像亮度就更高，但是在白天图像容易偏色。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种图像传感器的成像方法，该成像方法大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。

本发明的第二个目的在于提出一种成像装置。

本发明的第三个目的在于提出一种电子设备。

为了实现上述目的，本发明第一方面实施例的图像传感器的成像方法，图像传感器包括像素阵列和设置在所述像素阵列之上的微透镜阵列，其中，所述像素阵列中每相邻的四个像素包括一个红色像素、一个绿色像素、一个蓝色像素和一个红外像素，所述微透镜阵列包括多个微透镜，每个微透镜对应覆盖一个像素，所述成像方法包括以下步骤：读取所述像素阵列中每个像素的输出；对所述每个像素的输出进行插值处理，以获得每个像素对应的红色分量、绿色分量、蓝色分量和红外分量；获取当前拍摄场景的类型；根据所述当前拍摄场景的类型确定所述每个像素的三原色输出值，以根据所述每个像素的三原色输出值生成图像。

根据本发明实施例的图像传感器的成像方法，大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。

为了实现上述目的，本发明第二方面实施例的成像装置，包括：图像传感器，所述图像传感器包括：像素阵列，所述像素阵列中每相邻的四个像素包括一个红色像素、一个绿色像素、一个蓝色像素和一个红外像素；设置在所述像素阵列之上的微透镜阵列，所述微透镜阵列包括多个微透镜，每个微透镜对应覆盖一个像素；以及与所述图像传感器相连的图像处理模块，所述图像处理模块，用于读取所述像素阵列中每个像素的输出，并对所述每个像素的输出进行插值处理，以获得每个像素对应的红色分量、绿色分量、蓝色分量和红外分量，以及获取当前拍摄场景的类型，并根据所述当前拍摄场景的类型确定所述每个像素的三原色输出值，以根据所述每个像素的三原色输出值生成图像。

根据本发明实施例的成像装置，大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。

为了实现上述目的，本发明第三方面实施例的电子设备，包括本发明第二方面实施例的成像装置。

根据本发明实施例的电子设备，由于具有了该成像装置，大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。

附图说明

图1是CMOS图像传感器的工作流程示意图；

图2是根据本发明一个实施例的图像传感器的成像方法的流程图；

图3是R、G、B、IR通道响应曲线的示意图；

图4是相关技术中经典的贝尔阵列示意图；

图5是根据本发明一个实施例的图像传感器中像素阵列的示意图；

图6是根据本发明一个实施例的成像装置的方框示意图；

图7是根据本发明一个实施例的一个微透镜及其覆盖的一个像素的示意图；

图8是根据本发明一个实施例的电子设备的方框示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

首先对相关技术中的CMOS图像传感器的工作流程进行介绍。如图1所示，步骤1：图像传感器像素阵列部分通过光电感应把光信号转换为电信号；步骤2：电信号经过模拟电路处理部分处理；步骤3：模拟电信号经过模数转换部分转换为数字信号；步骤4：数字信号经过数字处理部分处理；最终经过步骤5图像数据输出控制部分输出到显示器上显示。

下面结合附图描述本发明实施例的图像传感器的成像方法、成像装置和电子设备。

图2是根据本发明一个实施例的图像传感器的成像方法的流程图。其中，图像传感器包括像素阵列和设置在像素阵列之上的微透镜阵列，其中，像素阵列中每相邻的四个像素包括一个红色像素、一个绿色像素、一个蓝色像素和一个红外像素，微透镜阵列包括多个微透镜，每个微透镜对应覆盖一个像素。

在本发明的一个实施例中，像素阵列中的每个像素包括滤光片和被滤光片覆盖的感光器件，其中，红色滤光片与其覆盖的感光器件构成红色像素，绿色滤光片与其覆盖的感光器件构成绿色像素，蓝色滤光片与其覆盖的感光器件构成蓝色像素，红外滤光片与其覆盖的感光器件构成红外像素。

在本发明的一个实施例中，红色像素、绿色像素和蓝色像素对应的微透镜只允许可见光透过，红外像素对应的微透镜只允许近红外光透过。

具体地，在图像传感器的设计制造过程中，需要对每个像素的微透镜做特殊处理。例如，红色像素R、绿色像素G和蓝色像素B上的微透镜只通过波长650nm以下的可见光，红外像素ir上的微透镜只通过波长650nm以上、850nm左右的近红外光，如图3所示。

其中，相关技术中常用的图像传感器像素阵列为贝尔阵列，如图4所示，其中B代表三原色中的蓝色分量，G代表三原色中的绿色分量，R代表三原色中的红色分量。

在本发明的实施例中，图像传感器所采用的像素阵列如图5所示，也就是将贝尔阵列中其中一个绿色分量G替换成只感应红外的分量ir。

具体地，图5中所示的R为只通可见光的红色分量(R被配置为：使不包含红外分量 的可见光波段的红色分量通过)，G为只通可见光的绿色分量(G被配置为：使不包含红外分量的可见光波段的绿色分量通过)，B为只通可见光的蓝色分量(B被配置为：使不包含红外分量的可见光波段的蓝色分量通过)。

在本发明的一个实施例中，图像传感器为CMOS图像传感器。

如图2所示，图像传感器的成像方法，包括以下步骤：

S1，读取像素阵列中每个像素的输出。

对CMOS图像传感器进行曝光后，CMOS图像传感器感应输出图像原始信号，图像原始信号每个像素点仅包含一个颜色分量。其中，CMOS图像传感器感应输出图像原始信号，这是一个光电转换的过程，CMOS图像传感器把外界的光信号通过光电二极管转换成电信号，然后经过模拟电路处理，再通过模数转换器将模拟信号转换成数字信号，以供后续进行数字信号处理。

具体地，读取像素阵列中每个像素的输出，每个像素的输出仅包含一个颜色分量，例如，红色像素的输出仅包含一个红色分量。

S2，对每个像素的输出进行插值处理，以获得每个像素对应的红色分量、绿色分量、蓝色分量和红外分量。

具体地，由于每个像素的输出仅包含一个颜色分量，所以需要对每个像素的输出进行插值处理，以获得每个像素的四个分量R、G、B和ir。

例如，对于红色像素来说，红色像素的输出仅包含红色分量R，对该红色像素进行插值处理就可以得到该红色像素的其它颜色分量G、B和ir。这样，经过插值后，每个像素就都具有四个颜色分量R、G、B和ir。

在本发明的一个实施例中，对每个像素的输出进行插值处理采用下列插值方法中的任一种：邻近点插值法、双线性插值法和边缘自适应插值法。

S3，获取当前拍摄场景的类型。

在本发明的一个实施例中，获取当前拍摄场景的类型，具体包括：获取像素阵列的曝光时间；判断曝光时间是否大于预设曝光时间阈值；如果曝光时间大于预设曝光时间阈值，则判断当前拍摄场景为暗场景；如果曝光时间小于或等于预设曝光时间阈值，则判断当前拍摄场景为非暗场景。

具体地，图像传感器感光需要一定的时间，这个时间称为曝光时间T，曝光时间T越长，图像传感器感应出来的图像亮度就越亮。对于白天正常场景，因为环境光线强，图像传感器只需要很短的曝光时间就能达到想要的目标亮度，但对于晚上等暗场景，因为环境光线很低，图像传感器就需要更长的曝光时间。曝光时间长就意味着很长时间才能感应出来一张图像，为了满足帧率(即1秒钟感应的图像数量)的要求，曝光时间会有一个上限 值T_th(即预设曝光时间阈值),因此，可以通过比较曝光时间T和上限值T_th来判断是暗场景还是非暗场景，当T小于T_th时为非暗场景，反之则为暗场景。

S4，根据当前拍摄场景的类型确定每个像素的三原色输出值，以根据每个像素的三原色输出值生成图像。

在本发明的一个实施例中，如果当前拍摄场景为非暗场景，则根据每个像素对应的红色分量、绿色分量和蓝色分量确定每个像素的三原色输出值。图像传感器感应出来的图像是以三原色的格式在显示器中显示的，对于非暗场景，每个像素的三原色输出值为：

R’＝R，G’＝G，B’＝B，

其中，R’、G’和B’分别表示一个像素的三原色输出值，R表示该像素对应的红色分量、G表示该像素对应的绿色分量，B表示该像素对应的蓝色分量。

这样，在非暗场景使用只通过可见光的R、G、B分量，以保证非暗场景的图像不偏色。

在本发明的一个实施例中，如果当前拍摄场景为暗场景，则根据每个像素对应的红色分量、绿色分量、蓝色分量和红外分量确定每个像素的三原色输出值，即每个像素的三原色输出值为：

R’＝R+ir，G’＝G+ir，B’＝B+ir，

其中，R’、G’和B’分别表示一个像素的三原色输出值，R表示该像素对应的红色分量、G表示该像素对应的绿色分量，B表示该像素对应的蓝色分量，ir表示该像素对应的红外分量。

这样，在暗场景通过叠加红外分量可以提高图像的亮度，因为现在很多监控产品暗场景对颜色要求不高，只看重图像的亮度和清晰度，所以暗场景最终以黑白图像的形式输出。

相较于相关技术中提高低光亮度的方案，本发明的实施例的有益之处在于：当处于暗场景时，是从数据源头上提高图像亮度，因此，不会带来噪声的放大；本发明的实施例增加的是图像传感器感应光线的多少，而不是对图像整体加一个亮度，所以不会使图像变模糊；本发明的实施例在非暗场景使用只通可见光的R、G、B三原色，不会对图像的色彩产生影响，而在暗场景时增加红外分量ir,可以提高暗场景时图像的亮度。从而大大提升了图像质量。

本发明实施例的图像传感器的成像方法，大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。

为了实现上述实施例，本发明还提出了一种成像装置。

图6是根据本发明一个实施例的成像装置的方框示意图。如图6所示，本发明实施例的成像装置100，包括：图像传感器10和图像处理模块20。

其中，图像传感器10包括：像素阵列11和设置在像素阵列11之上的微透镜阵列12。

如图5所示，像素阵列11中每相邻的四个像素111包括一个红色像素R、一个绿色像素G、一个蓝色像素B和一个红外像素ir。也就是将贝尔阵列中其中一个绿色分量G替换成只感应红外的分量ir。

设置在像素阵列11之上的微透镜阵列12，包括多个微透镜121，每个微透镜121对应覆盖一个像素111，如图7所示。

在本发明的一个实施例中，像素阵列11中的每个像素111包括滤光片1111和被滤光片1111覆盖的感光器件1112，其中，红色滤光片与其覆盖的感光器件构成红色像素，绿色滤光片与其覆盖的感光器件构成绿色像素，蓝色滤光片与其覆盖的感光器件构成蓝色像素，红外滤光片与其覆盖的感光器件构成红外像素。

在本发明的一个实施例中，红色像素、绿色像素和蓝色像素对应的微透镜只允许可见光透过，红外像素对应的微透镜只允许近红外光透过。

具体地，在图像传感器10的设计制造过程中，需要对每个像素的微透镜121做特殊处理。例如，红色像素R、绿色像素G和蓝色像素B上的微透镜121只通过波长650nm以下的可见光，红外像素ir上的微透镜121只通过波长650nm以上、850nm左右的近红外光。

在本发明的一个实施例中，图像传感器10为CMOS图像传感器。

与图像传感器10相连的图像处理模块20，用于读取像素阵列中每个像素的输出，并对每个像素的输出进行插值处理，以获得每个像素对应的红色分量、绿色分量、蓝色分量和红外分量，以及获取当前拍摄场景的类型，并根据当前拍摄场景的类型确定每个像素的三原色输出值，以根据每个像素的三原色输出值生成图像。

对图像传感器10进行曝光后，图像传感器10感应出图像原始信号，原始信号每个像素点仅包含一个颜色分量。其中，图像传感器10感应出图像原始信号，这是一个光电转换的过程，图像传感器10把外界的光信号通过光电二极管转换成电信号，然后经过模拟电路处理，再通过模数转换器将模拟信号转换成数字信号，以供图像处理模块20进行处理。

具体地，图像处理模块20读取像素阵列中每个像素的输出，每个像素的输出仅包含一个颜色分量，例如，红色像素的输出仅包含一个红色分量。由于每个像素的输出仅包含一个颜色分量，所以需要对每个像素的输出进行插值处理，以获得每个像素的四个分量R、G、B和ir。

例如，对于红色像素来说，红色像素的输出仅包含红色分量R，图像处理模块20对该红色像素进行插值处理就可以得到该红色像素的其它颜色分量G、B和ir。这样，经过插值后，每个像素就都具有四个颜色分量R、G、B和ir。

在本发明的一个实施例中，对每个像素的输出进行插值处理采用下列插值方法中的任 一种：邻近点插值法、双线性插值法和边缘自适应插值法。

进一步地，图像处理模块20获取当前拍摄场景的类型，根据当前拍摄场景的类型确定每个像素的三原色输出值，以根据每个像素的三原色输出值生成图像。下面进行详细说明。

在本发明的一个实施例中，图像处理模块20具体用于获取像素阵列的曝光时间，并判断曝光时间是否大于或等于预设曝光时间阈值，如果曝光时间大于或等于预设曝光时间阈值，则判断当前拍摄场景为暗场景，如果曝光时间小于预设曝光时间阈值，则判断当前拍摄场景为非暗场景。

具体地，图像传感器10感光需要一定的时间，这个时间称为曝光时间T，曝光时间T越长，图像传感器10感应出来的图像亮度就越亮。对于白天正常场景，因为环境光线强，图像传感器10只需要很短的曝光时间就能达到想要的目标亮度，但对于晚上等暗场景，因为环境光线很低，图像传感器10就需要更长的曝光时间。曝光时间长就意味着很长时间才能感应出来一张图像，为了满足帧率(即1秒钟感应的图像数量)的要求，曝光时间会有一个上限值T_th(即预设曝光时间阈值),因此，图像处理模块20可以通过比较曝光时间T和上限值T_th来判断是暗场景还是非暗场景，当T小于T_th时为非暗场景，反之则为暗场景。

进一步地，在本发明的一个实施例中，图像处理模块20具体用于在当前拍摄场景为非暗场景时，根据每个像素对应的红色分量、绿色分量和蓝色分量确定每个像素的三原色输出值。图像传感器10感应出来的图像是以三原色的格式在显示器中显示的，对于非暗场景，每个像素的三原色输出值为：

R’＝R，G’＝G，B’＝B，

其中，R’、G’和B’分别表示一个像素的三原色输出值，R表示该像素对应的红色分量、G表示该像素对应的绿色分量，B表示该像素对应的蓝色分量。

这样，在非暗场景使用只通过可见光的R、G、B分量，以保证非暗场景的图像不偏色。

在本发明的一个实施例中，图像处理模块20具体用于在当前拍摄场景为暗场景时，根据每个像素对应的红色分量、绿色分量、蓝色分量和红外分量确定每个像素的三原色输出值，即每个像素的三原色输出值为：

R’＝R+ir，G’＝G+ir，B’＝B+ir，

其中，R’、G’和B’分别表示一个像素的三原色输出值，R表示该像素对应的红色分量、G表示该像素对应的绿色分量，B表示该像素对应的蓝色分量，ir表示该像素对应的红外分量。

这样，在暗场景通过叠加红外分量可以提高图像的亮度，因为现在很多监控产品暗场景对颜色要求不高，只看重图像的亮度和清晰度，所以暗场景最终以黑白图像的形式输出。

本发明实施例的成像装置，大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。

为了实现上述实施例，本发明还提出了一种电子设备200，如图8所示，该电子设备200包括本发明实施例的成像装置100。

在本发明的一个实施例中，电子设备200为监控设备。

本发明实施例的电子设备，由于具有了该成像装置，大大提高了暗场景拍摄时图像的亮度，且不会造成非暗场景拍摄时的图像偏色，从而提升了用户体验。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述 不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。