式16。
[0093] b(i)=Bs (16)
[0094] 如上所述，RFPN与CFPN均通过数学公式得到计算，采用补偿方法，将估算得到的 RFPN与CFPN值带入到式(1)，即可有效得到理想的像素信息。
[0095] 下面结合一个具体例子，进一步说明本发明。
[0096]首先基于128级模拟域累加 TDI-CM0S图像传感器设计了一套成像系统，使用设计 的成像系统在相同的测试环境下采集100幅平均灰度值大约是127(即半饱和）的均匀光图 像。然后基于式(5-9)，通过首行检测，截取3个周期大小的图像，利用此图像求取行均值向 量，根据式(8)，取a(l)为0,得到图像RFPN。其中，首行检测阈值设为1.15。同理，利用上述样 本，根据式（11-16)得到图像CFPN。以上运算，通过MATLAB软件实现。最后分别对均匀光照下 拍摄的图像和实际测试图像进行FPN校正。
[0097]实验结果表明，均匀光照下拍摄的图像的行均值标准差从校正前的5.6798 LSB减 小到了校正后的0.4214 LSB，其列均值标准差从校正前的15.2080LSB减小到了校正后的 13.4623 LSB。
[0098]从图7(a)也可以看出，原始曲线波动很大，且存在周期性跳变(椭圆标记处）。使用 提出的方法校正FPN后，所有跳变完全消失，如图7(b)所示，因此校正曲线比原始曲线光滑 了许多。另外，校正曲线的形状和走势都与原始曲线一致，表明提出的方法在校正FPN的同 时可以很好地保留原始图像的细节信息。
【主权项】
1. 一种TDI-CMOS图像传感器FPN校正方法，其特征是，假设FPN和随机噪声都是加性噪 声，而且两者不相关，对于给定的已制造完成的TDI-CM0S图像传感器芯片，假设其FPN对应 的灰度值在相同工作环境下是相等的，随机噪声服从均值为零的高斯分布； TDI-CM0S图像传感器的像素阵列大小是MXN，即Μ行N列，将行序号和列序号分别记为i 和j，假设不同像素的光响应是不相关的，则输出图像中像素（i，j)的灰度值y(i，j)可以表 示为式(1): y(i , j)=x(i , j)-a(i)+b( j)+r(i , j) l<i<L,l<j<N (1) 其中，L是图像在沿轨方向上的尺寸，x(ij)是像素（ij)的理想灰度值，a(i)是第i行 像素对应的RFPN灰度值，b (j)是第j列像素对应CFPN灰度值，而r (i，j)是除FPN外的所有噪 声对应的灰度值，根据TDI工作原理，a(i)满足式(2)。 a(i)=a(i+T) (2) T=M_TDI+1(3) 其中，M_TDI为TDI累加级数;首先需要采集样本图像数据，然后依次对RFPN和CFPN进行 估计和校正，最后采用补偿方法，将估算得到的RFPN与CFPN值带入到式（1)，即有效得到理 想的像素信息。2. 如权利要求1所述的TDI-CM0S图像传感器FPN校正方法，其特征是，采集样本图像数 据具体步骤是，假定TDI-CM0S图像传感器的分辨率为8-bit，在相同的测试环境下采集K幅 平均灰度值大约是127,即半饱和的均匀光图像，记为Y^Ys，···，￥(，将这K幅图像用作估计 FPN灰度值的样本数据，对于任一幅图像Y k，式(1)表示为式(4): Yk(i, j)=Xk(i, j)-a(i)+b(j)+rk(i, j) 1 <k<K (4) Yk(i，j)为像素（i，j)图像样本图像采集过程中，选取半饱和灰度值的依据是"EMVA Standard 1288" 标准。3. 如权利要求1所述的TDI-CMOS图像传感器FPN校正方法，其特征是，RFPN消除具体步 骤是，图像Yk的行均值向量定义为U k，第i行像素的平均灰度值定义为Uk(i)，首先检测所有 样本图像中沿轨方向第一条横纹的位置，并将该操作称为"首行检测"： 图像Yk的行均值向量中相邻两个元素的比值定义为Dk(i)，如式(5)所示。因此，Uk曲线中跳变所在的位置通过Dk(i)的阈值检测得到，即每个变化周期的最后一 行的行序号可以通过检测得到，将第一个变化周期的最后一行的行序号记为Sk，在图像Yk 中，从第(Sk+1)行开始截取t个周期构造一副新的图像Yc,k，将Yc,k的尺寸定义为UXN，由式 (2-1)可知，U满足式(2-6): Lc = tXT = tX (M+1) (6) 对收集到的所有K幅样本图像重复进行上述操作，共可以构造K幅新的图像，记为YC>1， Yc,2, . . .，Yc,K，此时，K幅新图像中所有对应的横条纹都处于相同的位置，将图像Yc,k的行均 值向量定义为Uc,k，则所有新图像Y C>1，YC,2,. . . 乂,1(的总行均值向量Uc可以表示为式(7):基于IH古计第i行像素对应的RFPN灰度值a (i) (1 < i < L。），a(i)表达式如式(8)， a(i)=round(Uc(l)-Uc(i)) 2<i<M+l (8) 根据式（1)，通过像素原始灰度值加上对应行的RFPN灰度值的估计值来校正RFPN，考虑 至Ij8-bit图像的灰度值范围是(0-255)，还需要对校正过程进行一些约束，如式(9)所示。其中，z (i，j)是像素（i，j)校正RFPN后的灰度值； 根据式（1)和式(9)，像素（i，j)校正RFPN后的灰度值z(i，j)表示为式（10): z(i , j)=x(i , j)+b( j)+r(i , j) l<i<L,l<j<N (10)〇4.如权利要求1所述的TDI-CMOS图像传感器FPN校正方法，其特征是，CFPN消除具体步 骤是，对所有样本图像Υι，Υ2,. . .，Υκ进行RFPN校正后得到K幅新的图像，记为ZhZ% . . .，Ζκ。 Zk(1 < k < Κ)的列均值向量定义为Vk，则所有Κ幅新图像的总列均值向量V可以表示为式 (11)：总列均值向量V通过多次采样取平均计算得到，消除了随机噪声的影响，因此可以基于 V估计第j列像素对应的CFPN灰度值b( j)(l < j < Ν)， 为了基于向量V估计CFPN灰度值b(j)，首先构造一个曲线近似平滑的理想列均值向量 Vc，则向量V减去向量Vc得到的差即为估计的CFPN向量； 向量VC可以通过向量V中几个相邻元素取平均的方式构造，即使用最近邻均值滤波器 (Nearest Neighbor Averaging Filter，NNAF)进行构造，带有参数的NNAF，如式（12)所不， 来构造向量Vc:其中，W是变量，W是使用设计的NNAF构造的列均值向量，而Vw(j)是第j列像素的平均灰 度值； 基于Vw估计的CFPN向量定义为％，而第j列像素的平均灰度值定义为Bw(j)，则向量Bw可 以通过式(13)计算得到： Bw=f loor(V-Vw) (13) 向量BW中所有元素的平均值定义为Bm,w，而Bm,w的绝对值定义为Βμα,ι，如式（14)和式（15) 所示：Bma,w= I Bm,w (15) 当N足够大时，CFPN向量中的元素服从均值为零的高斯分布，因此，估计得到的CFPN向 量中所有元素的平均灰度值应该为零或近似为零，则对应Βμα,ι值最小的Bw向量是对CFPN向 量的最佳估计，将最佳估计向量Brl己为Bs，因此可得式16: b(i)=Bs (16) 〇
【专利摘要】本发明涉及图像处理领域，为实现通用性的去除图像中条纹噪声,尤其实现有效消除TDI-CMOS图像传感器输出图像中交织在一起的横条纹和竖条纹。本发明采用的技术方案是，TDI-CMOS图像传感器FPN校正方法，假设FPN和随机噪声都是加性噪声，而且两者不相关，对于给定的已制造完成的TDI-CMOS图像传感器芯片，假设其FPN对应的灰度值在相同工作环境下是相等的，随机噪声服从均值为零的高斯分布；首先需要采集样本图像数据，然后依次对RFPN和CFPN进行估计和校正，最后采用补偿方法，将估算得到的RFPN与CFPN值带入到式(1),即有效得到理想的像素信息。本发明主要应用于图像处理。
【IPC分类】H04N5/365
【公开号】CN105681693
【申请号】CN201511034506
【发明人】徐江涛, 金伟民, 刘振旺, 聂凯明, 高静, 史再峰
【申请人】天津大学
【公开日】2016年6月15日
【申请日】2015年12月31日