图像传感器像素之间串扰的消除方法及装置与流程

本发明涉及测距，尤其涉及一种图像传感器像素之间串扰的消除方法及装置。

背景技术：

1、飞行时间(time-of-flight，简称tof)技术是一种精确测量参照物距离的方法，有直接飞行时间(direct-tof，简称dtof)测距技术、即直接测量光的飞行时间来计算参照物距离，以及间接飞行(indirect-tof，简称itof)测距技术、即通过对光强进行周期性的调制和解调后，利用相位信息计算参照物距离。

2、请参阅图1，其为itof图像传感器的工作原理示意图。如图1所示，itof图像传感器的工作原理为：通过调制模块(modulation)11控制图像传感器(sensor)的发射器12主动产生发射光13；发射光13发射到待测目标物19表面，经目标物19反射后形成的反射光14；反射光14的信号被图像传感器的探测器15采样获取；进而根据发射光13和反射光14的相对相位差来计算目标物19的深度信息。其中，发射器12一般使用近红外波长段的主动光源产生发射光；探测器一般为图像传感器的像素阵列。

3、请参阅图2，其为现有技术中itof图像传感器像素结构示意图，图中带箭头实直线代表入射光，带箭头虚曲线代表电子运动路径。如图2所示，所述tof图像传感器像素结构包括：形成于硅衬底21中的光电二极管(photodiode)22，覆盖硅衬底21的介质层23，形成于介质层23上的微透镜24。像素对应参照物位置反射回的反射光作为入射光29进入该像素，入射光29在该像素内部产生光生电子28、并以电压信号的形式输出。理想的情况下，像素对应参照物位置反射回的反射光只会被该像素收集，然而在实际应用中，由于在像素之间做不到光学和电学的完全隔离，由于光入射或者电子扩散的原因，会使一部分光子或者电子被周围像素收集，产生像素之间的串扰(crosstalk，简称ctk)。

4、随着itof图像传感器的发展和消费者的需求，高分辨率(resolution)的itof图像传感器已成为众多厂商和消费者追求的目标。高分辨率就意味像素尺寸的缩小，这会造成像素之间串扰的增大，造成itof图像传感器的测距误差，影响测距准度。因此，消除像素之间的串扰对于高质量的itof图像传感器而言至关重要。

5、现有技术中消除像素之间串扰的方案一般是，在像素设计过程中，在像素之间加入深沟道隔离(deep trench isolation，简称dti)结构，从物理结构上将相邻两个像素隔离。dti结构的材料一般为绝缘体，可以阻挡像素之间光生电子的扩散，消除像素之间的电学串扰，从而降低像素之间的串扰。但是dti结构阻挡入射光进入周围的其它像素的效果有限，不能完全消除光学串扰。此外，dti结构需要在像素设计过程中引入，对已有的图像传感器无法进行串扰消除。

6、因此，如何对已有的图像传感器进行串扰消除，是当前亟待解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种图像传感器像素之间串扰的消除方法及装置，可以在不需要设计额外的深沟道隔离结构的基础上，有效消除像素之间的串扰、且可以对已有的图像传感器进行串扰消除。

2、为实现上述目的，本发明提供了一种图像传感器像素之间串扰的消除方法，包括：建立图像传感器像素的实际图像函数与理想图像函数之间的串扰卷积数学模型，并预先基于卷积核获取正则滤波系数进而获取串扰系数并存储；获取图像传感器采集的实际图像函数；以及根据所述实际图像函数及所述串扰系数对所述串扰卷积数学模型进行卷积计算，获取消除了像素之间串扰的理想图像函数并输出。

3、为实现上述目的，本发明还提供了一种图像传感器像素之间串扰的消除装置，包括：模型建立模块，用于建立图像传感器像素的实际图像函数与理想图像函数之间的串扰卷积数学模型，并预先获取正则滤波系数进而获取串扰系数并存储；获取模块，用于获取图像传感器采集的实际图像函数；以及处理模块，用于根据所述实际图像函数及所述串扰系数对所述串扰卷积数学模型进行卷积计算，获取消除了像素之间串扰的理想图像函数并输出。

4、为实现上述目的，本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可执行程序；所述处理器执行所述计算机可执行程序时实现如本发明所述的图像传感器像素之间串扰的消除方法的步骤。

5、本发明通过建立串扰卷积数学模型，将像素之间的串扰问题转化为卷积问题，对于相同工艺条件的图像传感器，在消除像素之间的串扰时，可以通过获取预先存储的正则滤波系数以及获取图像传感器采集的实际图像函数对应的傅里叶变换函数，通过2步计算得到理想图像函数的近似解，在不改变像素结构的情况下，通过正则滤波的方式消除像素之间的串扰，复原理想图像；或者进一步优化图像串扰消除的算法，通过获取预先存储的目标数列以及获取图像传感器采集的实际图像函数，通过1步计算得到理想图像函数的近似解，在降低了图像传感器的计算量的基础上复原理想图像。本发明可以在不需要设计额外的深沟道隔离结构的基础上，有效消除像素之间的串扰，且本发明可以对已有的图像传感器进行串扰消除，适用范围较广。同时本发明也可以应用于采用了深沟道隔离结构消除像素之间串扰的方案后的图像传感器，实现串扰的进一步消除。

技术特征：

1.一种图像传感器像素之间串扰的消除方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述正则滤波系数进一步采用以下方式获取：

3.根据权利要求1所述的方法，其特征在于，所述正则滤波系数采用以下公式表示：

4.根据权利要求3所述的方法，其特征在于，所述拉普拉斯算子p(x，y)采用以下公式表示：

5.根据权利要求3所述的方法，其特征在于，采用正则滤波系数作为所述串扰系数；

6.根据权利要求3所述的方法，其特征在于，对所述正则滤波系数进行逆傅里叶变换获取目标数列作为所述串扰系数；

7.根据权利要求6所述的方法，其特征在于，所述目标数列进一步采用以下方式获取：

8.根据权利要求6所述的方法，其特征在于，所述的根据空间卷积与傅里叶变换的频域元素乘积的等价关系以及正则滤波，将所述串扰卷积数学模型转换为空间卷积数学模型的步骤进一步包括：

9.根据权利要求8所述的方法，其特征在于，

10.一种图像传感器像素之间串扰的消除装置，其特征在于，包括：模型建立模块，用于建立图像传感器像素的实际图像函数与理想图像函数之间的串扰卷积数学模型，并预先获取正则滤波系数进而获取串扰系数并存储；

技术总结
本发明涉及一种图像传感器像素之间串扰的消除方法及装置。方法包括：建立图像传感器像素的实际图像函数与理想图像函数之间的串扰卷积数学模型，并预先基于卷积核获取正则滤波系数进而获取串扰系数并存储；获取图像传感器采集的实际图像函数；以及根据所述实际图像函数及所述串扰系数对所述串扰卷积数学模型进行卷积计算，获取消除了像素之间串扰的理想图像函数并输出。本发明通过建立串扰卷积数学模型，将像素之间的串扰问题转化为卷积问题，对于相同工艺条件的图像传感器，在不改变像素结构的情况下，可以使用相同的卷积核并通过正则滤波的方式消除像素之间的串扰，复原理想图像。

技术研发人员：汪豪,胡涛,朱颖佳,李弘实,李效白
受保护的技术使用者：福建杰木科技有限公司
技术研发日：
技术公布日：2024/1/13