Tdi-cmos图像传感器fpn校正方法
【技术领域】
[0001] 本发明涉及图像处理领域，尤其涉及对TDI-CM0S(时间延迟积分型互补金属氧化 物半导体)图像传感器所拍摄图片中的FPN(固定模式噪声)进行处理。
【背景技术】
[0002] 在基于模拟域累加实现的TDI-CM0S图像传感器中。由于模拟累加器电路中存在寄 生电阻和电容，电路失配会导致输出图像在TDI(时间延迟积分）扫描方向（8卩"沿轨"方向） 亮度不均匀，且呈周期性衰减，突出表现为周期性横条纹，该现象称为行FPN(RFPN，行固定 模式噪声）。而传感器列并行读出电路(模拟累加器和ADC(模数转换器)等）的系统结构由于 工艺偏差很容易出现列与列之间的失配，从而导致输出图像在与TDI扫描方向垂直的方向 (即"跨轨"方向）亮度不均匀，表现为明暗变化的竖条纹，该现象称为列FPN(CFPN，列行固定 模式噪声）。在TDI-CM0S图像传感器的输出图像中，由行FPN导致的横条纹和由列FPN导致的 竖条纹同时存在且交织在一起，如图2,严重影响了图像质量，且增加了 FPN校正的难度。
[0003] TDI-CM0S图像传感器的行FPN是由其模拟累加器特定的电路结构引起的，是一种 特殊的FPN。而且，对于已经制造完成的TDI-CM0S图像传感器芯片，其FPN只能通过图像的后 处理来校正。目前，现有的去除图像中条纹噪声的技术有很多，但这些技术都只适用于特定 的图像传感器或数据类型，如红外成像、高光谱成像/多光谱成像、中分辨率成像光谱仪等； 而且这些技术只能处理水平或竖直单个方向上的条纹，无法有效消除TDI-CM0S图像传感器 输出图像中交织在一起的横条纹和竖条纹。
【发明内容】
[0004] 为克服现有技术的不足，实现通用性的去除图像中条纹噪声，尤其实现有效消除 TDI-CM0S图像传感器输出图像中交织在一起的横条纹和竖条纹。本发明采用的技术方案 是，TD I-CM0S图像传感器FPN校正方法，假设FPN和随机噪声都是加性噪声，而且两者不相 关，对于给定的已制造完成的TDI-CM0S图像传感器芯片，假设其FPN对应的灰度值在相同工 作环境下是相等的，随机噪声服从均值为零的高斯分布；
[0005] TD I -CMOS图像传感器的像素阵列大小是Μ X N，即Μ行N列，将行序号和列序号分别 记为i和j，假设不同像素的光响应是不相关的，则输出图像中像素（i，j)的灰度值y(i，j)可 以表示为式(1):
[0006] y(i,j)=x(i,j)-a(i)+b(j)+r(i,j) l<i<L,l<j<N (1)
[0007] 其中，L是图像在沿轨方向上的尺寸，x(ij)是像素（ij)的理想灰度值，a(i)是第 i行像素对应的RFPN灰度值，b( j)是第j列像素对应CFPN灰度值，而r(i，j)是除FPN外的所有 噪声对应的灰度值，根据TDI工作原理，a( i)满足式(2)。
[0008] a(i)=a(i+T) (2)
[0009] T=M_TDI+1(3)
[0010] 其中，M_TDI为TDI累加级数;首先需要采集样本图像数据，然后依次对RFPN和CFPN 进行估计和校正，最后采用补偿方法，将估算得到的RFPN与CFPN值带入到式（1)，即有效得 到理想的像素信息。
[0011 ]采集样本图像数据具体步骤是，假定TDI-CMOS图像传感器的分辨率为8-bi t，在相 同的测试环境下采集K幅平均灰度值大约是127,即半饱和的均匀光图像，记为Υ^Υ^ - ,Υκ， 将这K幅图像用作估计FPN灰度值的样本数据，对于任一幅图像Yk，式(1)表示为式(4):
[0012] Yk(i, j)=Xk(i, j)-a(i)+b(j)+rk(i, j) 1 <k<K (4)
[0013] Yk(i，j)为像素（i，j)图像，样本图像采集过程中，选取半饱和灰度值的依据是 "EMVAStandard 1288" 标准。
[0014] RFPN 消除
[0015]图像Yk的行均值向量定义为Uk，第i行像素的平均灰度值定义为Uk(i)，首先检测所 有样本图像中沿轨方向第一条横纹的位置，并将该操作称为"首行检测"：
[0016]图像Yk的行均值向量中相邻两个元素的比值定义为Dk(i)，如式(5)所示。
[0018] 因此，Uk曲线中跳变所在的位置通过Dk(i)的阈值检测得到，即每个变化周期的最 后一行的行序号可以通过检测得到，将第一个变化周期的最后一行的行序号记为S k，在图 像Yk中，从第(Sk+Ι)行开始截取t个周期构造一副新的图像Yc,k，将Yc,k的尺寸定义为UXN， 由式(2-1)可知，L c满足式(2-6):
[0019] Lc = tXT = tX(M+l) (6)
[0020] 对收集到的所有K幅样本图像重复进行上述操作，共可以构造 K幅新的图像，记为 Yc, i，Yc, 2，…，Yc,κ，此时，K幅新图像中所有对应的横条纹都处于相同的位置，将图像Yc,k的行 均值向量定义为Uc,k，则所有新图像￥。, 1乂,2，-_乂,1(的总行均值向量说可以表示为式(7):
[0022] 基于UC估计第i行像素对应的RFPN灰度值a(i)，l < i <Lc，a(i)表达式如式(8)，
[0023] a(i) =round(Uc( 1 )~Uc(i)) 2<i<M+l (8)
[0024] 根据式（1)，通过像素原始灰度值加上对应行的RFPN灰度值的估计值来校正RFPN， 考虑到8-bit图像的灰度值范围是(0-255)，还需要对校正过程进行一些约束，如式(9)所 不。
[0026]其中，z(i，j)是像素（i，j)校正RFPN后的灰度值；
[0027]根据式（1)和式(9)，像素（i，j)校正RFPN后的灰度值z(i，j)表示为式（10):
[0028] z(i,j)=x(i,j)+b(j)+r(i,j) l<i<L,l<j<N (10)。
[0029] CFPN 消除
[0030] 对所有样本图像Yi，Y2，…，Yk进行RFPN校正后得到K幅新的图像，记为Zi，Z 2，…，Ζκ。 Zk(1 < k < K)的列均值向量定义为Vk，则所有K幅新图像的总列均值向量V可以表示为式 (11)：
[0032] 总列均值向量V通过多次采样取平均计算得到，消除了随机噪声的影响，因此可以 基于V估计第j列像素对应的CFPN灰度值b( j)(l < j < N)，
[0033] 为了基于向量V估计CFPN灰度值b(j)，首先构造一个曲线近似平滑的理想列均值 向量Vc，则向量V减去向量Vc得到的差即为估计的CFPN向量；
[0034] 向量Vc可以通过向量V中几个相邻元素取平均的方式构造，即使用最近邻均值滤 波器(Nearest Neighbor Averaging Filter，NNAF)进行构造，带有参数的NNAF，如式（12) 所示，来构造向量Vc:
[0036]其中，W是变量，Vw是使用设计的NNAF构造的列均值向量，而Vw(j)是第j列像素的平 均灰度值；
[0037]基于W估计的CFPN向量定义为％，而第j列像素的平均灰度值定义为Bw(j)，则向量 Bw可以通过式(13)计算得到：
[0038] Bw=f loor(V-Vw) (13)
[0039] 向量Bw中所有元素的平均值定义为Bm,w，而Bm,w的绝对值定义为Βμα,ι，如式（14)和式 (15)所示：
[0041] Bma,w= | Bm,w| (15)
[0042] 当N足够大时，CFPN向量中的元素服从均值为零的高斯分布，因此，估计得到的 CFPN向量中所有元素的平均灰度值应该为零或近似为零，则对应Βμα,ι值最小的Bw向量是对 CFPN向量的最佳估计，将最佳估计向量Bw记为Bs，因此可得式16:
[0043] b(i)=Bs (16)。
[0044] 本发明的特点及有益效果是：
[0045]本发明依据TDI-CM0S图像传感器FPN产生原因，采用灰度值补偿方法，有效地消除 了 TDI -CMOS图像传感器特有的行FPN和列FPN