红外图像采集设备中的坏像素的校正的制作方法

文档序号:13944006阅读:224来源:国知局

本公开涉及红外成像装置领域,并且具体涉及用于校正由对红外光敏感的像素阵列采集到的图像中的乱真像素(spurious pixels)的方法和装置。



背景技术:

诸如微测辐射热计或冷却IR成像装置的红外(IR)成像装置包括形成像素阵列的IR敏感检测器阵列。为了校正这种像素阵列的像素之间的空间非均匀性,通常在显示采集到的图像之前,将偏移和增益校正应用至采集到的图像的每个像素信号(或“像素值”)。在设备的内部初步校准阶段期间,在受控制的温度下使用均匀发射源(黑体)来生成偏移值和增益值,并且由成像装置存储。这种空间非均匀性不仅随时间变化,而且还基于成像装置的光学零件、机械零件和电子零件的温度变化,并且因此经常在成像装置中使用内部机械快门来帮助图像校正。这涉及当关闭快门时周期性地采集图像以获得相对均匀的场景的参考图像,然后该参考图像可以被用于校准。

普遍的是,按照这种红外成像装置的制造工艺,在制造商的初始校准阶段结束时,像素阵列中的一个或多个像素被宣布为不可操作。这种像素在本领域中通常被称为“坏像素”,并且其在由成像装置存储的可操作性图中被识别出。由坏像素生成的像素值通常不可靠,因此它们的像素值由基于图像中的相邻像素生成的值来代替。

此外,已经发现,在这种成像装置的使用寿命期间,一个或多个初始可操作的像素的信号行为可能不再被其初始校准参数可接受地描述。这可能源于各种物理改变,或者甚至源于例如由在传感器组件中留下或释放的微小内部运动粒子所造成的机械损伤。在此将把这些像素称为乱真像素。这种像素未被列在初始可操作性图中,并且其可以劣化图像质量。

在装备了快门的成像装置的情况下,被公布为FR3009388的法国专利申请公开了一种在任何快门关闭期间识别这种乱真像素的方法,给出了用于可操作性图的周期性更新的手段。

然而,使用快门存在几个缺点,比如额外的重量和成本,以及该组件的脆弱性。此外,对于特定应用,因为快门关闭和发生校准时所损失的时间,快门的使用是不可接受的。在该校准期间,不能采集场景的图像。

在无快门成像装置中,存在将这种乱真像素从图像场景中识别出来的技术技术性困难,特别是如果像素值在采集到的图像的纹理区域。

假设可以识别出乱真像素,这种乱真像素也只能被添加至坏像素列表。然而,如果成像装置在其使用寿命期间接收例如多次冲击,则在图像中的乱真像素的密度可能不再是可忽略不计的点处,将会产生图像劣化。

因此在本领域,特别是对于无快门红外成像,需要一种用于检测乱真像素、至少用于更新可操作性图、而且还用于将被错误校准的特定乱真像素进行再校准的装置和方法。



技术实现要素:

本说明书的实施例的目的是至少部分地解决现有技术中的一个或多个需求。

根据一个方面,提供了一种校正对红外辐射敏感的成像装置的像素阵列的乱真像素的方法,所述方法包括:通过所述成像装置的处理装置接收由所述像素阵列采集到的输入图像,并且通过将增益值和偏移值应用至所述第一输入图像中的像素的像素值来校正所述第一输入图像;在校正的第一输入图像中检测出至少一个乱真像素,并且将所述至少一个乱真像素添加至乱真像素列表;通过所述处理装置接收由所述像素阵列采集到的第二输入图像,并且通过将所述增益值和偏移值应用至所述第二输入图像中的像素的像素值来校正所述第二输入图像;并且基于校正的第一输入图像和校正的第二输入图像,针对所述至少一个乱真像素,计算增益校正值和偏移校正值。例如,校正所述第一输入图像和所述第二图像包括校正所述第一校正图像与所述第二校正图像中的相同位置处的像素的像素值。

根据一个实施例,所述方法进一步包括通过应用所述增益校正值和偏移校正值以校正由所述像素阵列采集到的第三输入图像中的至少一个乱真像素的值并且检测所述至少一个乱真像素在第三图像中是否仍被检测为乱真像素来验证所述增益校正值和偏移校正值。

根据一个实施例,所述第三输入图像在不同于所述第一输入图像和所述第二输入图像中的每个的像素阵列温度的像素阵列温度下被采集到。

根据一个实施例,所述方法进一步包括在计算所述增益校正值和偏移校正值之前,将至少一个检测出的乱真像素添加至坏像素列表,并且如果所述增益校正值和偏移校正值在验证步骤期间通过了验证,则将所述至少一个检测出的乱真像素从所述坏像素列表中移除。

根据一个实施例,所述像素阵列包括像素列,每列与对应的参考像素相关联,并且其中校正所述第一输入图像和所述第二输入图像包括:基于输入图像以及表示由所述像素阵列的所述参考像素引入的列扩展的列分量向量,通过估计在所述输入图像中出现的所述列扩展的水平,确定第一比例因子;基于所述第一比例因子与所述列分量向量的值的乘积,生成列偏移值;基于所述输入图像以及表示由所述像素阵列引入的2D离差的2D离差矩阵,通过估计在所述输入图像中出现的所述2D离差的水平,确定第二比例因子;基于所述第二比例因子与所述2D离差矩阵的值的乘积,生成像素偏移值;并且通过应用所述列和所述像素偏移值,生成校正图像。

根据一个实施例,所述校正图像是基于如下等式而生成的:

CORR(x,y)=GAIN(x,y)×(RAW(x,y)-α.OFFCOL(x,y)-β.OFFDISP(x,y)-γ)

其中,RAW为所述输入图像,α和β为比例因子,γ为增益校正值,GAIN(x,y)为增益值,OFFCOL(x,y)和OFFDISP(x,y)为偏移值,OFFCOL为在其行的每行中包括所述列向量VCOL的矩阵,OFFDISP为参考离差矩阵。

根据一个实施例,基于校正的第一输入图像和校正的第二输入图像而针对所述至少一个乱真像素计算所述增益校正值和偏移校正值包括:基于所述第一输入图像中的相邻像素,估计所述至少一个乱真像素中的每个乱真像素的第一预期像素值;基于所述第二输入图像中的相邻像素,估计所述至少一个乱真像素中的每个乱真像素的第二预期像素值;并且基于估计出的所述第一预期像素值和所述第二预期像素值,计算所述增益校正值和偏移校正值。

根据一个实施例,检测所述至少一个乱真像素包括:针对包括所述第一输入图像的像素中的至少一些的多个目标像素计算分数,每个目标像素的分数是基于所述目标像素周围的H×H个像素的窗口之内的所述输入图像的k个连接的相邻像素而生成的,H为3以上的奇整数,并且k为2与5之间的整数,其中所述连接的相邻像素中的每个与所述连接的邻近像素和/或与所述目标像素共享边界或角点,并且其中所述连接的相邻像素中的至少一个像素与所述目标像素共享边界或角点;并且基于计算出的分数,检测出所述像素中的至少一个像素为乱真像素。

根据一个实施例,检测所述至少一个乱真像素包括将所述分数中的至少一些分数与阈值进行比较。

根据一个实施例,将所述分数中的至少一些分数与阈值进行比较涉及将所述分数的子集与所述阈值进行比较,所述子集包括多个最高分数,并且其中所述阈值是基于下列等式而被计算出的:

thrSPUR=Q3+xEI×(Q3-Q1)

其中xEI为至少等于1.0的参数,并且Q1和Q3分别为所述子集的第一四分位数和第三四分位数。

根据一个实施例,所述至少一些分数是通过将进一步的阈值应用至所述计算出的分数而选出的。

根据一个实施例,所述进一步的阈值是基于如下假设而被计算出的:图像中的像素值具有基于拉普拉斯分布的概率分布。

根据一个实施例,所述进一步的阈值是基于下列等式而被计算出的:

其中为对指数分布f(x)=λe-λx的参数的估计,其对应于所述计算出的分数的绝对值。

根据另一个方面,提供了一种存储指令的计算机可读存储介质,其用于当被处理装置执行时实施上面的方法。

根据另一个方面,提供了一种图像处理装置,其包括:存储器,其存储偏移值和增益值以及乱真像素的列表;处理装置,其适合于:接收由对红外射线敏感的成像装置的像素阵列采集到的第一输入图像,并且通过将所述增益值和偏移值应用至所述第一输入图像中的像素的像素值来校正所述第一输入图像;在校正的第一输入图像中检测出至少一个乱真像素,并且将所述至少一个乱真像素添加至乱真像素列表;接收由像素阵列采集到的第二输入图像,并且通过将所述增益值和偏移值应用至所述第二输入图像中的像素的像素值来校正所述第二输入图像;基于校正的第一输入图像和校正的第二输入图像,针对所述至少一个乱真像素,计算增益校正值和偏移校正值。

根据一个实施例,所述处理装置进一步适合于通过应用所述增益校正值和偏移校正值以校正由所述像素阵列采集到的第三输入图像中的至少一个乱真像素的值并且检测所述至少一个乱真像素在第三图像中是否仍被检测为乱真像素来验证所述增益校正值和偏移校正值。

附图说明

从参照附图以示例性且非限制性的方式给出的实施例的下列详细描述中,前述和其他特征和优点将变得显而易见,其中,

图1示意地示出了根据示例性实施例的成像装置;

图2更详细地示意地示出了根据示例性实施例的图1的成像装置的图像处理块;

图3是示出了根据本公开的示例性实施例的检测和校正乱真像素的方法中的操作的流程图;

图4是示出了根据本公开的示例性实施例的生成偏移校正值和增益校正值的方法中的操作的流程图;

图5是示出了根据示例性实施例的验证偏移校正值和增益校正值的方法中的操作的流程图;

图6是示出了根据示例性实施例的识别乱真像素的方法中的操作的流程图;

图7是示出了根据示例性实施例的生成像素分数的方法中的操作的流程图;

图8A示出了根据本公开的示例性实施例的对连接的相邻像素的选择的示例;

图8B示出了根据示例性实施例的连接的和不连接的相邻像素的示例;并且

图8C示出了根据示例性实施例的边缘和乱真像素的示例。

具体实施方式

虽然在下列描述中的一些实施例是相对于微测辐射热计类型的像素阵列而描述的,但对于本领域技术人员而言显而易见的是这里所描述的方法可以同样地适用于其他类型的IR成像装置,包括冷却装置。此外,尽管这里实施例是相对于无快门IR成像装置而描述的,但其可以同样地适用于包括机械快门的IR成像装置以及由这种装置采集到的图像。

图1示出了包括对IR光敏感的像素阵列102的IR成像装置100。例如,在一些实施例中,像素阵列对于诸如波长在7μm与13μm之间的光的长波IR光是敏感的。装置100例如能够采集单个图像并且也能够采集形成视频的图像序列。装置100例如为无快门装置。

为了便于说明,图1中示出了被布置成12行和12列的仅144个像素104的像素阵列102。在替选实施例中,像素阵列102可以包括任何数目的像素行和像素列。典型地,该阵列例如包括640×480或1024×768个像素。

阵列102的每列像素与对应的参考结构106相关联。尽管图象元件不是功能的,但是该结构在此结构上类似于成像(或有源)像素104而将被称为“参考像素”。此外,输出块(输出)108被耦合至像素阵列102的每列以及参考像素106中的每个,并提供了原始图像RAW。

控制电路(CTRL)110例如将控制信号提供给像素阵列、提供给参考像素106以及提供给输出块108。原始图像RAW例如被提供给图像处理块(图形处理)112,所述图像处理块将偏移和增益应用至图像的像素以产生校正图像CORR。

像素104中的每个例如包括测辐射热计。测辐射热计在本领域中是众所周知的,并且例如包括悬浮在基底上的膜,所述膜包括IR吸收材料层并且具有其阻抗随与IR辐射的存在相关的膜的温度升高而改变的性质。

与每个列相关联的参考像素106例如包括盲测辐射热计,所述盲测辐射热计例如具有与阵列的像素104的有源测辐射热计相似的结构,但对来自图像场景的辐射表现得不敏感,例如通过由反射屏障形成的屏蔽和/或通过有意地散热(例如通过对基底设置高热导,例如将测辐射热计形成为与基底直接接触)。

在像素阵列102的读取操作期间,例如每次读取一个像素行。

测辐射热计类型的像素阵列的示例例如在被转让给本申请人的美国专利US7700919中被更为详细地论述,所述专利的内容在此通过法律所允许的程度的引用并入本文。

图2更详细地示出了根据示例性实施例的图1的图像处理块112。

例如在软件中实现图像处理块112的功能,并且图像处理块112包括处理装置(处理装置)202,所述处理装置具有在被存储于指令存储器(指令存储器)204中的指令的控制下的一个或多个处理器。在替选实施例中,图像处理块112的功能可以至少部分地由专用硬件来实现。在这种情况下,处理装置202例如包括ASIC(专用集成电路)或FPGA(现场可编程门阵列),并且指令存储器204可以被省略。

处理装置202接收原始输入图像RAW,并且生成校正图像CORR,所述校正图像例如被提供给成像装置的显示器(未示出)。处理装置202还被耦合至数据存储器(存储器)206,所述数据存储器存储偏移值(偏移)208、增益值(增益)210、识别出的乱真像素列表(LSPUR)212以及坏像素列表(LBADPIXEL)。

偏移值例如由表示结构列扩展的向量VCOL以及表示由像素阵列102引入的2D非列结构离差的矩阵OFFDISP来呈现。列扩展例如主要由参考像素106在每列中的使用引起,而列参考像素的行通常不是完全均匀的。2D非列离差例如主要由像素阵列的有源测辐射热计之间的局部的物理和/或结构的差异引起,所述局部的物理和/或结构的差异例如由工艺过程离差引起。

于2015年4月24日提交的被转让给本申请人的美国专利申请US 14/695539中更为详细地描述了向量VCOL和矩阵OFFDISP的生成,以及基于该向量和该矩阵的对像素值的校正,所述申请的内容在此通过法律所允许的程度的引用并入本文,并且同样以本申请人的名义于2014年4月30日提交的法国专利申请FR14/53917以及于2015年4月30日提交的日本专利申请JP 2015-093484中更为详细地描述了向量VCOL和矩阵OFFDISP的生成,以及基于该向量和该矩阵的对像素值的校正。

现在将描述如这些申请中所述的方法。假设原始图像RAW已经被图1的像素阵列102采集到,并且像素阵列为该阵列的每列都与对应的参考像素106相关联的类型。

例如基于原始图像RAW,通过应用下列等式来生成校正图像CORR:

CORR(x,y)=GAIN(x,y)×(RAW(x,y)-αOFFCOL(x,y)-βOFFDISP(x,y)-γ)-res~1

其中,x,y为像素104的像素坐标,α和β为比例因子,γ为增益校正值,GAIN(x,y)为增益值,OFFCOL(x,y)和OFFDISP(x,y)为偏移值,OFFCOL为在矩阵行的每行中包括列向量VCOL的矩阵,OFFDISP为参考离差矩阵,并且res为残差校正,其例如被用于一些实施例中来校正剩余在图像中的任何列残留和/或离差残留。

例如基于下列等式来确定比例因子α:

其中T()表示被应用至列向量VCOL和输入图像RAW的高通滤波器,并且m为图像中的行的数目。换句话说,对比例因子α的确定例如涉及沿着原始图像的行将高通滤波器应用至原始图像以及将高通滤波器应用至参考列向量;确定被滤波的图像的列平均值,导致与参考列向量相同尺寸的向量,然后将比例因子确定为两个列向量之间的差的最小值,即被滤波的图像的列平均值与被滤波的列向量之间的差的最小值。

例如基于下列等式来确定比例因子β:

其中为图像中的水平方向上(换句话说,沿着每行)的相邻像素之间的像素梯度值,并且为图像中的垂直方向上(换句话说,沿着每列)的相邻像素之间的像素梯度值。

尽管在下文中将增益校正和偏移校正描述为基于上面的等式1至等式3,但在替选实施例中,可以采用其他校正方法。

图3是示出了根据示例性实施例的检测和校正乱真像素的方法中的操作的流程图。每次采集到新图像时,例如由图2的电路112来实施该方法。

乱真像素是对其而言偏移和增益例如由于微小内部运动粒子所造成的机械冲击或损伤而远离其最初校准值的像素。乱真像素可以对应于额外的“坏像素”,所述额外的“坏像素”例如已经被破坏,因而不能够给出关于场景的可用信号。然而,本发明人发现,乱真像素常常可能仍能够给出关于场景的可用信号,但其在偏移和增益上的值相对于最初校准值已经以稳定的方式发生了永久性改变。

在操作301中,在图像CORR中检测出乱真像素,所述图像CORR对应于基于增益值和偏移值而校正的原始图像RAW。检测出的乱真像素形成列表LSPUR。如下面将更为详细描述的,在一个实施例中,基于对距图像中的每个像素的连接的近邻的(就像素值而言的)距离的计算来检测出乱真像素。然而,在替选实施例中,可以应用其他技术来识别乱真像素。例如,一个或多个乱真像素可以被用户手动识别出。此外,在一些实施例中,例如如果图像CORR用成像装置的关闭的快门采集到,则图像CORR可以为均匀场景,从而促进对乱真像素的识别。

在随后的操作302中,针对每个识别出的乱真像素计算偏移校正值和增益校正值。换句话说,针对每个识别出的乱真像素计算校正值,以用于校正当前存储的偏移值和增益值。该计算例如基于至少两个采集到的图像。

在随后的操作303中,例如针对每个乱真像素执行对这些偏移校正值和增益校正值的验证。例如在与计算偏移校正值和增益校正值时的温度不同的焦平面温度下执行验证,以检验当焦平面温度改变时,计算出的校正为这些像素提供了适合的校正。焦平面温度对应于像素阵列的温度。换句话说,本发明人已经注意到,即使乱真像素的偏移和增益已经改变,至少有部分检测出的乱真像素仍可以被永久地校正,并且针对这些乱真像素而获得的计算出的偏移校正值和增益校正值的质量例如由焦平面温度改变时其稳定性来确定。

如果在操作303中增益校正值和偏移校正值通过了验证,则例如在操作304中,以在操作302中计算出的校正值来更新乱真像素的增益值208和偏移值210。

可替选地,如果在操作303中,增益校正值和偏移校正值未通过验证,则在操作305中,将乱真像素添加至坏像素列表。换句话说,对其而言校正随着焦平面温度变化而不稳定的乱真像素被分类为额外的坏像素。坏像素列表上的像素例如使其像素值被基于其相邻像素中的一个或多个的像素估计值所替代。

在替选实施例中,将在操作301中识别出的所有乱真像素系统地添加至坏像素列表,并且只有校正在操作303中通过了验证,才将所述乱真像素从该列表中移除。

在一些实施例中,操作302、操作303和操作304可以被省略,而不是尝试校正被识别为乱真像素的像素,并且该方法可以系统地涉及在操作305中将所有检测出的乱真像素添加至坏像素列表。这种方法将节省与操作302和操作303相关联的处理成本。作为又一个替选方案,一些像素可以被初始地添加至坏像素列表,并且如果坏像素数目超过阈值水平,则可以使用操作302和操作303来将一个或多个先前识别出的乱真像素或一个或多个新识别出的乱真像素进行校正。

图4是示出了用于在图3的操作302中计算偏移校正值和增益校正值的操作的示例的流程图。

在操作401中,例如采集到了图像,并且例如基于上面的等式1,使用偏移值208和增益值210来校正像素中的至少一些的像素值。对该方法的输入例如为被用于根据上面的等式1来校正图像的原始采集到的图像RAW,偏移值OFFCOL与偏移值OFFDISP,增益值GAIN以及项α、β与γ。还假设在图3的操作301中已经生成了乱真像素列表LSPUR

在操作402中,选出对其而言检测频率FREQ超过了阈值水平FREQMIN的列表LSPUR的像素pi,并且仅在这些像素上执行该方法的下列操作。该操作例如意味着校正算法仅被应用至被重复检测为乱真像素的像素。例如,每次像素被检测为乱真像素,检测频率FREQ被计算为等于在先前N个图像中像素已经被检测为乱真像素的次数,其中N例如在2与20之间。如果该频率超过FREQMIN,例如等于N/2,则选出该像素。在一些实施例中,该操作被省略,并且该方法的后续操作被应用至列表LSPUR上的所有像素。

在操作403中,计算出像素的预期值pEXP。例如,当像素变为乱真像素时,已经被识别为异常值的该像素的值经增益校正和偏移校正以后可以被表达为:

pCORP=g×(pSPUR-α×oCOL-β×oDISP-γ)-res~4

其中,pSPUR为矩阵RAW的乱真像素的像素值,oCOL和oDISP为应用至该像素的矩阵OFFCOL和OFFDISP的值,g为应用至该像素的矩阵GAIN的值,并且α、β、γ和res与上面的等式1中的相同。假设该像素可以被适当地校正,则存在增益校正值sGain和偏移校正值sOff,使得:

pEXP=(g-sGain)×(pSPUR-α×oCOL-β×(oDISP-sOff)-γ)-res~5

其中,pEXP为预期的像素值,并且例如如果增益值和偏移值是基于一个或多个新参考图像而重新计算出的,则pEXP等于或接近于其可以获得的。考虑到存在两个未知数,为了确定sGain和sGain二者的值,例如如现在将描述的那样,计算出两个预期值。

例如基于像素的相邻像素来计算出预期值pEXP的值。例如,应用通常被用于校正坏像素的算法,比如像素数据内插、外推和/或在本领域中被称为图像修复的技术。

在操作404中,检验除了新值pEXP以外,先前值pEXP1或pEXP2是否也可用于像素pSPUR,换句话说,集合是否为空。如果先前值pEXP1存在,则这意味着其针对先前图像被确定,所述先前图像的像素中的至少一些的像素值使用与被应用至当前图像相同的偏移值208和增益值210来校正。换句话说,在当前图像和先前图像中所校正的像素的位置例如是相同的。如果集合为空并且不存在先前值,则在操作405中将pEXP的值存储为pEXP1,并且被应用至该像素的比例因子α和β以及增益校正值γ被存储为值α1、β1、γ1,并且像素值pSPUR也被存储为值pSPUR1。在操作406中,例如选出对其而言检测频率FREQ大于FREQMIN的列表LSPUR的下一个像素,并且该方法回到操作403。

如果当执行操作404时,对于像素已经存在pEXP1的值,则在随后的操作407中,例如确定新值pEXP与先前值pEXP1之间的绝对差是否超过阈值thrdiffmin。如果没有超过,则该方法回到操作406。然而,如果像素值被充分隔开,那么下一个操作为408。

在操作408中,新值pEXP被存储为pEXP2,并且被应用至该像素的比例因子α和β以及增益校正值γ被存储为值α2、β2、γ2,并且像素值pSPUR也被存储为值pSPUR2

在操作409中,例如基于估计值pEXP1和pEXP2来计算偏移校正值sOff和增益校正值sGain。例如,基于下列等式来计算sOff的值:

其中,ói=αi×oCOLi×oDISPi

基于下列等式来计算sGain的值:

当然,可以首先计算出sGain的值,并且然后替换该值以计算出soff的值。

在随后的操作410中,增益校正值sGain和偏移校正值soff例如被存储在与像素pSPUR相关的列LSPUR中。然后该方法例如回到操作406,直到对其而言检测频率FREQ大于FREQMIN的列表LSPUR中的所有像素已经被处理为止。然后,例如当采集到下一个图像时,重复该方法。

尽管在一些实施例中,计算出的偏移校正值sOff和增益校正值sGain可以被用于直接改变增益值208和偏移值210,但如将参照图5而描述的那样,例如执行对这些值的至少一个检验以检验存在温度变化的情况下这些值有效性。

图5是示出了用于针对一个或多个像素验证偏移校正值和增益校正值的图3的操作303的实施方式的示例的流程图。

在操作501中,采集图像并且使用偏移值208和增益值210来校正图像,提供采集到的图像RAW作为输入,并且提供被用于根据上面的等式1来校正该图像的偏移值OFFCOL与偏移值OFFDISP,增益值GAIN以及项α、β与γ。此外,例如接收焦平面温度的指示。事实上,如上关于图3的操作303所述,例如在不同于计算出偏移值和增益值时的焦平面温度下执行对偏移值和增益值的验证。因此,对焦平面温度的指示被用于检查焦平面温度是否已经改变。在图5的示例中,通过随温度而变化的比例因子β的值来给出温度指示。本发明人已经注意到,在验证乱真像素的新校正的情况下,由β因子提供的温度信息足够可靠。然而,在替选实施例中,可以使用由温度传感器生成的温度值T。例如,像素阵列包括构建在该阵列中或者与该阵列相接触的温度传感器,以提供焦平面温度。

在操作502中,例如从对其而言检测频率FREQ超过了阈值水平FREQMIN的列表LSPUR的像素pi中选出像素,并且仅在这些像素上执行该方法的下列操作。

在操作503中,然后确定对于像素pi中的第一个像素,增益值和偏移校正值是否存在。如果存在,则下一个操作为504,而如果不存在,则下一个操作为505,在505中列表中的下一个像素被选出并且该方法回到操作503。

在替选实施例中,图5的方法可以被应用于对其而言偏移校正值和增益校正值已经被计算出的列表中的所有像素pi,而不管检测频率如何。因此,操作502可以被省略。

在操作504中,确定当前温度相关值β是否等于或接近于值β1和β2两者之一,所述值β1和β2分别与被存储在图4的方法的操作405和操作408中的列表LSPUR中的像素pSPUR1和像素pSPUR1相关联。例如,确定β与β1之间的绝对差是否超过阈值βmin,以及β与β2之间的绝对差是否超过阈值βmin。如果这些差中的两者之一低于阈值,则该方法例如回到操作505。然而,如果自从对增益校正值和偏移校正值的计算以后,已经存在了显著的温度变化(β变化),则下一个操作为506。如上所述,可以通过温度传感器来采集温度值T,而不是使用比例因子β作为对温度的指示。在这种情况下,值β、β1和β2将在图5的操作504中分别被温度T、T1和T2所替代,其中值T1和T2为关于先前图像测量出的温度值,并且相应地被存储在图4的操作405和操作408中。

在操作506中,例如通过应用上面的等式1、等式2和等式3且将增益值和偏移值改变为在等式5中的那样,来将针对像素pi的增益校正值和偏移校正值用作为校正针对操作501中采集到的图像而获得的像素值pSPUR的试验。

在操作507中,然后确定被改变了的像素pi的值是否仍为异常值,换句话说,像素pi是否仍被识别为乱真像素。例如,将在操作301中采用的用以检测乱真像素的技术应用至具有校正像素pi的图像。

因为在步骤504中已经发现焦平面温度距其两个先前值足够远,并且尽管该温度改变但像素值不是异常值,所以如果被改变了的像素pi的值不是异常值,则认为校正值通过了验证。因此,在下一个操作508中,使用校正值sOffset和sGain而被校正的新的偏移值和增益值例如被存储在偏移表208和增益表210中,并且然后在操作509中,将这些像素从乱真像素的列表LSPUR中移除。

然而,如果像素pi仍为异常值,那么例如假设不能通过对增益值和偏移值的校正来对该像素进行校正。因此,例如在操作510中将该像素添加至坏像素列表LBADPIXEL,并且然后执行操作509以将该像素从列表LSPUR中移除。

现在将参照图6、图7和图8来更详细地描述在图3的操作301中实施的用于检测乱真像素的方法的示例。

图6是示出了检测采集到的图像中的乱真像素的方法中的操作的示例的流程图。例如通过图2的图像处理装置112来实施该方法,并且例如已经通过应用偏移值208和增益值210而将采集到的图像进行了校正。

在操作601中,基于距相邻连接的像素的就计算出的像素值而言的距离,针对输入图像的每个像素计算分数。

在操作602中,例如通过将计算出的分数与第一阈值进行比较来识别出异常值。此步骤例如被用于仅选出像素的一个子集作为可能的乱真像素。然而,在一些实施例中,此步骤可以被省略。

在操作603中,例如基于在操作602中(或者在操作602被省略的情况下,从全部图像中)识别出的异常值来识别乱真像素。

图7是示出了用于实施用于生成分数的图6的操作601的操作的示例的流程图。例如以光栅扫描的顺序例如将该方法依次应用至该图像的每个像素(但可以以任何顺序处理像素)。将参照图8A来论述该方法的操作。

图8A示出了表示图7的方法的示例性应用的5×5窗口的像素的九个视图801至809。更一般地,该窗口尺寸可以被定义为H×H,其中H为至少等于3的奇整数,并且例如至少等于5。在一些实施例中,H小于等于15。H×H窗口在要针对其生成分数的目标像素周围,换句话说,目标像素例如为该窗口的中心像素。

再次参照图7,在操作701中,生成了该像素的连接的近邻的列表。连接的近邻是与已经被选出的像素共享边界或角点的任何像素。因此,对于不处于图像的边缘的像素,将存在八个连接的近邻。最初,仅选出了要针对其生成分数的像素。这里将把该像素称为目标像素。例如,如图8A的视图801所示,要针对具有120的像素值的中心像素(图中阴影部分)计算分数。如视图802所示,连接的近邻为围绕中心像素120的八个像素。

在操作702中,在连接的近邻之中,选出具有距目标像素的像素值最小距离的像素值的像素。例如,像素值a与像素值b之间的距离d(a,b)被定义为d(a,b)=|a-b|。如图8A中的视图803所示,值为等于目标像素的值的120的像素被选出。

在操作703中,将在操作702中选出的近邻从目标像素的连接的近邻的列表中移除,并且添加新的连接的近邻,其包括在操作702中被识别出的新选出的近邻的连接近邻。例如,如图8A中的视图804所示,将被连接至新选出的像素的三个新像素添加至列表。

在操作704中,确定是否已经选出了k个连接的近邻。要考虑的近邻的数目k例如为基于连接的乱真像素的最高预期数目而选出的固定参数。例如,对于一些图像传感器,可以认为乱真像素总是相互隔绝。在这种情况下,k可以被选择为恰好等于2。可替选地,如果认为对于给定图像传感器,可以识别出两个连接的乱真像素,则例如选出更高值的k,例如等于3与5之间。在图8A的示例中,k等于4。如果k个近邻还没有被选出,则该方法回到操作702,其中再次选出新的连接的近邻。然后重复操作703和操作704直至k个近邻已经被选出,并且然后执行操作705。如图8A的视图805至809,目标像素的四个近邻的块被选出。

图8B示出了H×H窗口的像素的视图,并且证明了仅仅基于窗口中的最近的近邻的距离计算与基于最近的连接的近邻的距离计算之间的差异。如视图810所示,因为其值与其周围邻域之间的差异很大,所以中心像素为异常值。

视图811表示出了窗口中具有最接近中心像素的值并且不与中心像素连接的四个选出的近邻。该计算将导致表明该像素不是异常值的低分数。

视图812表示出了四个选出的连接的近邻。在这种情况下,选出了四个完全不同的像素,并且分数明确表明中心像素为异常值。

再次参照图7,在操作705中,基于选出的连接的近邻来计算目标像素的分数。例如,基于下列等式来计算目标像素pi的分数si

其中,wi为与像素相关联的权重,并且p1至pk为k个选出的连接的近邻。

例如使用下列等式来确定像素pi的权重wi

其中stdloc为针对像素pi的H×H窗口中的像素而被计算出的以升序进行排序的局部标准差的阵列,并且ε为参数,例如被设为诸如0.0001的非常低的值。因此,权重是基于H×H窗口中的像素的子界的标准差的,所述子界基于像素的排列的标准差而被选择为H与(H2-H)之间的像素。在替选实施例中,可以基于像素的不同子集的标准差来计算权重。

在替选实施例中,可以将不同的权重应用于分数,或者没有权重可以被应用于分数。应用基于像素的局部标准差的权重的优点是可以考虑到像素的区域中的纹理、将较高权重赋予给平滑区域中的像素的分数以及将较低权重赋予给其中可以预期相对高的偏差的纹理区域中的像素的分数。

图8C示出了像素的两个不同的H×H窗口的视图813、814,并且证明了将基于局部标准差的权重应用至像素的优点。两个视图中的目标像素的分数都将相同。然而,在视图813中,存在穿越目标像素的边缘,因此该像素不应被认为是异常值。在视图814中,图像在目标像素区域中相对平滑,并且应当认为目标像素是异常值。基于局部标准差而针对视图814计算出的权重wi将高于针对视图813计算出的权重。

再次参照图6的方法,操作602例如涉及基于图像中的预期分数的概率分布来确定阈值分数。本发明人已经发现,拉普拉斯分布特别适合于大多数红外图像场景。

众所周知,如果S~Laplace(O,σ),那么|S|~Exp(σ-1)为指数分布。因此具有λ=σ-1的概率密度函数|S|~Exp(λ)为f(x)=λe-λx的形式,其中λ>0。其分布函数为F(x)=1-e-λx。可以基于样本的平均值,通过估计平均值并且取该平均值的倒数来估计指数的参数λ:

其中n为图像中的像素数目。

将阈值称为throutlier,例如基于使用下列等式来计算该阈值:

一种替选方案为仅仅选择滤波掉诸如95%的分数的某个百分比的分数的阈值,而不是使用该等式来计算阈值。然而,使用基于拉普拉斯分布的上述阈值来进行滤波的优点是其避免了由噪声引入的问题。事实上,如果选出了固定百分比的分数,则对于具有噪声和不具有噪声的相同图像,选出的像素的数目将会是相同的。然而,基于拉普拉斯分布而确定的阈值将基于图像中的噪声水平而变化。

图6的操作603例如涉及在操作602中识别出的异常值之中识别乱真像素。这例如是通过选择超过基于异常值的分数而被计算出的阈值水平的分数来实现的。例如使用下列等式来确定阈值thrSPUR

thrSPUR=Q3+xEI×(Q3-Q1) ~13

其中xEI为例如被选择在1.0与5.0之间并且例如等于1.5的参数,并且Q1和Q3分别为在操作602中识别出的异常值的第一四分位数和第三四分位数。

在一些实施例中,为了避免虚警(false alerts),如果像素的分数超过了阈值thrSPUR,并且其分数超过了等于固定值的最小阈值thrscoremin,像素才被认为是乱真像素。

这里所描述的实施例的优点是可以使用相对简单并且有效的方法来检测乱真像素。此外,校正乱真像素的方法意味着来自某些像素的承载场景信息的像素值可以继续被用于生成图像的像素,而不是被分类为坏像素。

已如此描述了至少一个说明性实施例,本领域技术人员将容易想到各种改变、修改和改进。

例如,虽然关于图1和图2描述了微测辐射热计的具体示例,但对于本领域技术人员显而易见的是,这里所描述的方法可以被应用至微测辐射热计的各种其他实施方式或者被应用至其他类型的IR成像装置。

另外,对于本领域技术人员显而易见的是,在替选实施例中,可以在不影响其效果的情况下,以不同的次序执行关于各个实施例而描述的各种操作。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1