用于去除变化场景的红外图像中的余辉的方法和设备与流程

用于去除变化场景的红外图像中的余辉的方法和设备
1.本专利申请要求于2019年4月30日提交的法国专利申请和转让申请号fr1904565的优先权，其内容通过引用结合于此。
技术领域
2.本公开总体上涉及红外成像领域，并且特别地涉及用于从红外图像中去除余辉(remanence)的方法和设备。


背景技术：

3.微测辐射热计是一种用于捕获图像场景的热图像的非制冷红外(ir)相机。这种ir相机通常包括形成像素阵列的ir敏感检测器的布置。像素阵列的每个像素将像素处的所测量的温度转换成相对应的电信号(通常是电压)，该电信号又由adc(模数转换器)转换成数字输出信号。
4.微测辐射热计的每个像素包括悬挂在衬底上的膜。该膜包括吸收层，该吸收层从撞击像素的ir光吸收能量，导致其温度作为ir光的强度的函数而升高。该膜例如还包括热层，该热层具有其电阻因这个温度升高而改变的性质，并且因此可以通过检测与吸收层热链接的这个热层的电阻方面的变化来读取像素。
5.非冷却ir传感器(诸如微测辐射热计)可能受到称为余辉的成像伪像的影响，该余辉在由像素阵列接收到高温通量时出现。例如，这种高温通量可能是由太阳或另一强热源引起的，并导致相关像素的电阻率的改变。像素温度下降后，这些像素的电阻恢复到正常水平花费时间，从而导致图像质量的劣化，这可能持续几分钟或高达几天，这取决于通量水平。
6.在相机具有机械快门的情况下，用于去除余辉伪影的算法相对简单。然而，从由非冷却无快门ir传感器捕获的图像中去除余辉伪影中存在技术困难。


技术实现要素：

7.本公开的实施例的目的是至少部分解决现有技术中的一个或多个困难。
8.根据一个方面，提供了一种通过图像处理设备从由红外成像设备捕获的图像序列中的图像中去除余辉伪影的方法，该方法包括：修复图像中的余辉区域以生成经修复的图像；基于经修复的图像为图像中的至少一些像素生成余辉度量；以及基于至少一些像素中的每一个的余辉估计，从图像的至少一些像素中去除余辉伪影，每个余辉估计基于序列中的多个图像的余辉度量生成。
9.根据一个实施例，余辉估计是平均余辉估计。例如，平均余辉估计对应于对至少一些像素中的每一个的瞬时平均余辉的估计。
10.根据一个实施例，为图像中的至少一些像素生成余辉度量包括从图像的至少一些像素的每个像素值中减去经修复的图像中相对应的像素的像素值。
11.根据一个实施例，该方法还包括检测图像中的余辉区域。
12.根据一个实施例，余辉区域包括少于图像的75％的像素。
13.根据一个实施例，该方法还包括通过以下计算至少一些像素中的每一个的余辉估计：计算序列中的图像和至少一个先前图像的余辉度量的移动平均值。
14.根据一个实施例，移动平均值基于序列中的m个图像的滑动窗口，m等于20和150之间。
15.根据一个实施例，该方法还包括通过应用kalman滤波来计算至少一些像素中的每一个的余辉估计。
16.根据一个实施例，通过应用kalman滤波计算余辉估计包括：基于至少一些像素中的每一个的先前的经校正的余辉估计和基于余辉的指数衰减的模型，先验地估计图像的至少一些像素中的每一个的余辉；以及对于图像的至少一些像素中的每一个，基于相对应的余辉度量来校正经估计的余辉，以获得后验估计。
17.根据一个实施例，该方法还包括在从图像中去除余辉伪影之前，检测图像的序列对应于变化的场景。
18.根据另外的方面，提供了一种存储计算机指令的非暂时性存储介质，这些计算机指令当由图像处理设备的处理器执行时，使得上述方法被实施。
19.根据另外的方面，提供了一种图像处理设备，包括：至少一个存储器，该至少一个存储器存储由红外成像设备捕获的图像序列中的图像和该序列中的至少一个先前图像的一个或多个余辉度量；以及一个或多个处理器，该一个或多个处理器被配置为通过以下从图像中去除余辉伪像：修复图像中的余辉区域以生成经修复的图像；基于经修复的图像为图像中的至少一些像素生成余辉度量；以及基于至少一些像素中的每一个的余辉估计，从图像的至少一些像素中去除余辉伪影，每个余辉估计基于序列中的多个图像的余辉度量生成。
20.根据一个实施例，余辉估计是平均余辉估计。例如，平均余辉估计对应于对至少一些像素中的每一个的瞬时平均余辉的估计。
21.根据另外的方面，提供了一种红外成像设备，包括：微测辐射热计阵列；以及以上的图像处理设备。
22.根据另外的方面，提供了一种包括以上红外成像设备的红外相机。
23.根据又另外的方面，提供了一种由图像处理设备从由红外成像设备捕获的图像序列中的图像中去除余辉伪影的方法，该方法包括：基于序列的图像的像素值和先前图像的像素值之间的差，为图像中的至少一些像素生成余辉度量；以及基于至少一些像素中的每一个的余辉估计，从图像的至少一些像素中去除余辉伪影，每个余辉估计是基于余辉度量、以及基于至少一些像素的一个或多个先前余辉估计以及基于余辉的指数衰减的模型生成的。
24.根据一个实施例，余辉估计是平均余辉估计。例如，平均余辉估计对应于对至少一些像素中的每一个的瞬时平均余辉的估计。
25.根据一个实施例，为图像中的至少一些像素x生成余辉度量包括计算：
26.[数学式1]
[0027]
ω*
n,x
＝f
n,x
‑
f
n
‑
1,x
[0028]
其中f
n
是图像，以及f
n
‑1是先前的图像。
[0029]
根据一个实施例，该方法还包括通过应用kalman滤波来生成至少一些像素中的每一个的余辉估计。
[0030]
根据一个实施例，通过应用kalman滤波生成余辉估计包括：基于至少一些像素中的每一个的先前的经校正的余辉估计和基于余辉的指数衰减的模型，先验地估计图像的至少一些像素中的每一个的余辉；以及对于图像的至少一些像素中的每一个，基于相对应的余辉度量来校正经估计的余辉，以获得后验估计。
[0031]
根据一个实施例，该方法还包括在从图像中去除余辉伪影之前，检测图像的序列对应于静态场景。
[0032]
根据又另外的方面，提供了一种存储计算机指令的非暂时性存储介质，这些计算机指令当由图像处理设备的处理器执行时，使得上述方法被实施。
[0033]
根据又另外的方面，提供了一种图像处理设备，包括：至少一个存储器，该至少一个存储器存储由红外成像设备捕获的图像序列中的图像和该序列中的至少一个前一图像的一个或多个余辉度量；以及一个或多个处理器，该一个或多个处理器被配置为通过以下从图像中去除余辉伪像：基于图像的像素值和序列的前一图像的像素值之间的差，生成图像中的至少一些像素的余辉估计；以及根据基于余辉估计以及基于至少一些像素的余辉的一个或多个先前估计以及基于余辉的指数衰减的模型生成的余辉的估计，从图像的至少一些像素中去除余辉伪影。
[0034]
根据一个实施例，余辉估计是平均余辉估计。例如，平均余辉估计对应于对至少一些像素中的每一个的瞬时平均余辉的估计。
[0035]
根据又另外的方面，提供了一种红外成像设备，包括：微测辐射热计阵列；以及以上的图像处理设备。
[0036]
根据又另外的方面，提供了一种包括以上红外成像设备的红外相机。
附图说明
[0037]
前述特征和优点以及其他特征和优点将在以下通过说明而非限制的方式给出的具体实施例的描述中参照附图进行详细描述，在附图中：
[0038]
图1示意性示出了根据本公开的示例实施例的ir成像设备；
[0039]
图2示意性地更详细地示出了根据示例实施例的图1的图像处理电路；
[0040]
图3表示包括余辉伪影的图像；
[0041]
图4是表示像素的余辉的指数衰减的曲线图；
[0042]
图5是示出根据本公开的示例实施例的从图像中去除余辉的方法中的操作的一般流程图；
[0043]
图6是示出在300个图像的序列上受到余辉影响的像素x的模拟像素值的示例的曲线图；
[0044]
图7是示出具有余辉区k的微测辐射热计阵列上的模拟像素值的示例的曲线图；
[0045]
图8是示出微测辐射热计阵列上的模拟像素值的另外的示例的曲线图；
[0046]
图9是表示余辉估计和平均余辉值之间差异的分布的曲线图；
[0047]
图10是表示沿着n＝1000个连续图像的序列的一个像素的余辉的估计的值和使用各种方法所估计的余辉值的曲线图；
[0048]
图11是示出根据本公开的示例实施例的执行kalman滤波以生成余辉估计的方法中的操作的流程图；以及
[0049]
图12示出了用于应用kalman滤波器的有效时间序列的潜在结构。
具体实施方式
[0050]
在不同的附图中，相同的特征由相同的附图标记表示。特别地，各种实施例之间共有的结构和/或功能特征可以具有相同的附图标记，并且可以设置相同的结构、尺寸和材料特性。
[0051]
除非另有说明，当对连接在一起的两个元件进行引用时，这表示除了导体之外没有任何中间元件的直接连接，而当对链接或耦接在一起的两个元件进行引用时，这表示这两个元件可以连接或者它们可以经由一个或多个其他元件链接或耦接。
[0052]
在以下公开内容中，除非另有说明，当提及绝对位置限定符(诸如术语“前部”、“后部”、“顶部”、“底部”、“左部”、“右部”等)或提及相对位置限定符(诸如术语“上方”、“下方”、“更高”、“更低”等)、或提及取向限定符(诸如“水平”、“竖直”等)，参考图中示出的取向或者参考在正常使用期间所取向的微测辐射热计。
[0053]
除非另有说明，否则表述“大约”、“近似”、“基本上”和“在
……
的量级”表示在10％以内，优选地在5％以内。
[0054]
图1示出了包括对ir光敏感的像素阵列102的ir成像设备100。ir成像设备100例如形成ir相机的一部分。在一些实施例中，像素阵列102对长波ir光敏感，诸如具有在7至16μm或更高范围内的波长的光。
[0055]
在图1的示例中，像素阵列102包括以12行12列布置的144个微测辐射热计像素104。在替代性实施例中，像素阵列102可以包括任意数量的像素行和列。通常，像素阵列102例如包括640
×
480或1024
×
768微测辐射热计像素。
[0056]
在图1的示例中，阵列102的每一列像素与相对应的参考结构106相关联。尽管在功能上不是图片元素，但是通过与成像(或有源)微测辐射热计像素104的结构类比，这个结构在本文中将被称为“参考像素”。另外，输出块(output)108耦接到像素阵列102的每一列和耦接到参考像素106中的每一个，并提供原始图像raw，该原始图像raw包括由像素阵列102结合参考像素106捕获的信号或读数。
[0057]
例如，在转让给本技术人的美国专利us 7,700,919中更详细地讨论了测辐射热计类型的像素阵列的示例，该专利的内容在法律允许的范围内通过引用结合于此。
[0058]
控制电路(ctrl)110例如向像素阵列102、向参考像素106和向输出块108提供控制信号。
[0059]
原始图像raw例如被提供给图像处理电路(image processing)112，该图像处理电路例如对图像的像素应用两点图像校正以及还应用余辉校正，以产生经校正的图像s。
[0060]
在像素阵列102的读取操作期间，像素行例如一次读出一行。
[0061]
图2更详细地示出了根据示例实施例的图1的图像处理电路112。
[0062]
图像处理电路112的功能例如以软件实施，并且图像处理电路112包括处理设备(processing device)202，该处理设备具有处于存储在指令存储器(instr memory)204中的指令的控制下的一个或多个处理器。在替代性实施例中，图像处理电路112的功能可以至
少部分地由专用硬件实施。在这种情况下，处理设备202例如包括asic(application specific integrated circuit，专用集成电路)或fpga(field programmable gate array，现场可编程门阵列)，并且可以省略指令存储器204。
[0063]
处理设备202接收原始输入图像raw，并生成经校正的图像s，该经校正的图像例如被提供给成像设备的显示器(未示出)。
[0064]
处理设备202还耦接到例如存储用于实施2点图像校正的偏移值(offset)208和增益值(gain)210的数据存储器(memory)206。
[0065]
在一些实施例中，执行无快门图像校正。例如，偏移值呈表示结构列扩散的向量v
col
以及表示由像素阵列102引入的2d非列结构弥散的矩阵off
disp
的形式。例如，列扩散主要是由于在每一列中使用参考像素106而导致，而列参考像素的行通常不是完全均匀的。2d非列弥散例如主要是由像素阵列的有源测辐射热计之间的局部物理和/或结构差异引起的，该差异例如是由工艺过程弥散引起的。
[0066]
在转让给本技术人的于2015年4月24日提交的美国专利申请us 14/695539中更详细地描述了无快门图像校正技术的示例，特别是矢量v
col
和矩阵off
disp
的生成，以及基于这个矢量和矩阵的像素值的校正的示例，该申请的内容在法律允许的范围内通过引用结合于此。
[0067]
在替代性实施例中，可以实施不同类型的2点图像校正，包括涉及使用快门的解决方案。
[0068]
存储器206还例如存储为一个或多个先前捕获的图像的像素计算的一个或多个余辉估计(remanence estimate(s))212，如将在下面更详细地描述的那样。在一些实施例中，存储器206还存储表示余辉衰减的模型w(model w)，如将在下面更详细地描述的那样。
[0069]
图3表示其中存在余辉伪影302的图像300。例如，这个图像是由微测辐射热计阵列捕获的，并且在阵列是有效的同时，由阵列接收眩光以及特别是相对强的热通量。微测辐射热计阵列的每个像素的热层的电阻应该作为温度的函数而变化，温度越高，电阻越低。在图像300中，为了可读性，灰度级已经被反转：高温由较暗的像素表示。相对强热的通量导致相关像素的电阻方面的显著、持续的降低，从而导致图像300中对应于穿过微测辐射热计阵列的通量的路径的暗迹302。当由于太阳的热量导致时，这种伪影通常被称为晒斑。
[0070]
图4是表示根据示例实施例的作为时间的函数的微测辐射热计阵列(诸如图1的阵列102)的像素x的余辉ω
x
的示例的曲线图。余辉ω
x
具有可以通过以下等式建模的指数衰减：
[0071]
[数学式2]
[0072][0073]
其中：t0是在眩光击中像素的瞬间之后，像素回到其正常温度的时间；x＝(row,column)是像素的坐标向量；α、β和τ是参数；以及：
[0074]
[数学式3]
[0075][0076]
是特征函数。在图4的示例中，τ＝10、α＝1和β＝0.5。
[0077]
余辉是加性扰动。因此，受余辉影响的图像的像素值f
x
(t)可以建模为：
[0078]
[数学式4]
[0079][0080]
其中s
x
(t)是没有眩光的图像，g
ωx
是由于眩光引起的增益变化矩阵，以及f
x
(t)例如对应于如上所述的2点图像校正。在法国专利fr2987210中更详细地描述了一种用于基于增益变化矩阵执行校正的方法，该专利的内容在法律允许的范围内通过引用结合于此。然而，由项g
ωx
(t
‑
t0)s
x
(t)表示的像素的灵敏度方面的变化可以被认为相对于ω
x
很小，并且在下文中，通过将项g
ω
视为等于1，其贡献将被忽略。
[0081]
当ir成像设备(诸如图1的设备100)被用于捕获ir图像时，存在可以被区分的几种不同的用例。
[0082]
可以考虑动态状况(以下称为情况1)，其中像素阵列的视场中的图像可以被认为是变化的，因为ir相机正在移动和/或因为场景正在改变。对于这种类型的动态状况，以上模型是合适的，因为余辉ω
x
(t)和图像s
x
(t)两者随时间变化：
[0083]
[数学式5]
[0084]
f
x
(t)＝ω
x
(t)+s
x
(t)
[0085]
另一状况(以下称为情况2)对应于其中像素阵列的视场中的图像基本恒定的情况。因此，只有余辉随时间变化。在这种情况下，受余辉影响的图像的像素值f
x
(t)可以建模为：
[0086]
[数学式6]
[0087]
f
x
(t)＝ω
x
(t)+s
x
[0088]
其中可以假设没有眩光的图像s
x
是恒定的。
[0089]
在情况1和情况2两者中，图像流例如被捕获和存储以形成视频文件和/或近乎实时地被中继到ir相机的图像显示器。
[0090]
第三种状况(以下称为情况3)对应于这样的情况，在这种情况下，ir相机的视场中的图像和余辉都变化得足够慢，以至于它们两者可以被认为是随时间恒定的，换句话说，时间衰减非常慢，以至于不能在评估的时间范围内对其进行测量。在这种情况下，图像的像素值f
x
可以被建模为：
[0091]
[数学式7]
[0092]
f
x
＝ω
x
+s
x
[0093]
现在将更详细地描述用于至少部分去除由情况1和情况2的余辉引起的伪影的方法。在本公开中将不会涉及情况3，该情况等同于没有关于丢失像素信息的附加时间信息的单个图像的图像修饰。
[0094]
下面，通过表示t＝n和t+δt＝n+1对时间进行采样。因此，在时间t和像素x处矩阵m的值将被表示为m
n,x
，而不是m(t,x)。
[0095]
总体方案
[0096]
图5是示出根据本公开的示例实施例的校正图像序列中的余辉的方法500中的操作的一般流程图。该方法例如由图1和图2的图像处理电路112实施。替代性地，该方法可以由另一类型的处理设备来实施，该处理设备可以形成或不形成ir相机的一部分。
[0097]
图像捕获
[0098]
在操作501中，该方法在捕获图像f
n
时开始。这个图像例如对应于已经对其应用了图像校正(诸如上述的2点图像校正)的原始图像raw
n
。
[0099]
变化检测
[0100]
在操作501之后，例如实施操作502，其中基于图像f
n
和先前捕获的图像f
n
‑1检测变化场景的存在。操作502之后是余辉估计方法503，包括例如估计当前图像n的每个像素x处的当前余辉平均值μ
ω,n,x
。操作502中的变化场景的检测用于在执行余辉估计操作503的替代性方法504和505之间进行选择。特别地，如果在操作502中检测到变化的场景，则在随后的余辉估计方法503中，对应于图5中的方法504，应用情况1的方法。相反，如果检测到静态场景，则在随后的余辉估计方法503中，应用对应于图5中的方法505的情况2的方法。
[0101]
例如，在操作502中，可以通过将时间变化与阈值进行比较来检测场景的动态，该阈值被设置为高于时间噪声水平，例如是时间噪声水平的两倍或三倍。可以对图像全局地执行这样的评估，诸如基于平均时间变化，在这种情况下，例如根据相同的方法(情况1的方法504或情况2的方法505)处理图像的所有像素。替代性地，可以基于图像的各个像素或各个子区域处的时间变化来执行局部评估，并且可以逐个像素或逐个子区域地在应用情况1的方法504或情况2的方法505之间进行选择。
[0102]
方法504在下文标题为情况1的小节中更详细地描述，以及方法505在下文标题为情况2的小节中更详细地描述。
[0103]
虽然图5示出了包括方法504和505两者的执行的方法，这些方法之间的选择是基于场景变化检测针对每个帧进行的，但是在替代性实施例中，可以仅实施方法504或者仅实施方法505。
[0104]
余辉校正
[0105]
在操作503之后，例如实施操作506，包括基于所估计的余辉来校正图像。例如，通过对图像f
n
的每个像素x应用以下等式来校正图像，以生成图像s
n
：
[0106]
[数学式8]
[0107]
s
n,x
＝f
n,x
‑
μ
ω,n,x
[0108]
在操作506之后，n递增，并且操作501至506例如在捕获后续图像n之后重复。
[0109]
情况1
[0110]
余辉区域检测
[0111]
在情况1中，方法503包括应用图5的方法504，包括操作510至513。
[0112]
在操作510中，更新一个或多个余辉区域。
[0113]
例如，为每个图像f
n
生成指示余辉区域的掩模。这些区域可能大于其中像素被余辉影响的实际区域。然而，在一些实施例中，余辉区域对应于图像的至多75％的像素。例如，可以通过检测其中像素值明显高于周围区中的区域、通过跟踪例如太阳的轨迹来生成掩模，尽管也可以使用其他技术，包括基于边缘检测的技术。
[0114]
修复
[0115]
然后，在操作511中，对图像中的那些余辉区域应用修复。修复是本领域已知的图像重构技术，并且包括基于来自目标区域外部的图像信息来校正目标区域内的像素值。例如，在c.guillemot和o.le meur的题为“image inpainting:overview and recent advances(图像修复：概述和最新进展)”，ieee signal processing magazine,31(1),127
‑
144的2014年出版物(其内容在法律允许的范围内通过引用结合于此)中更详细地描述了修复的方法。
[0116]
余辉测量
[0117]
在操作512中，基于经修复的图像，针对每个像素处理图像f
n
中的像素x处的余辉的噪声度量ω*
n,x
。例如，通过逐像素执行以下减法来计算这个噪声度量：
[0118]
[数学式9]
[0119][0120]
其中s*
n,x
是像素x处的第n个经修复的图像。
[0121]
余辉估计
[0122]
在操作513中，通过应用余辉估计操作530来估计余辉。例如，余辉估计包括对每个像素x的瞬时平均余辉μ
ω,n,x
的估计。例如，对于每个像素x，这包括生成余辉的当前估计ω
n,x
，作为当前余辉度量ω*
n,x
和余辉的先前估计ω
n
‑
1,x
之间的加权和。在一些实施例中，操作530包括生成估计ω
n,x
简单地作为在前m个图像中所测量的余辉{ω*
k,x
}
k＝n
‑
m:n
的平均值。在替代性实施例中，操作530包括基于考虑余辉的时间衰减模型的kalman滤波器生成估计ω
n,x
。例如，可以使用指数模型w。使用kalman滤波器，ω
n,x
的估计量例如是它的均值μ
ω,n,x
和完全表征了它的其方差σ2ω
,n,x
。
[0123]
方法504允许基于本发明人进行的观察来去除余辉，即当像素阵列的视场中的图像正在改变时，像素值的时间变化可以被认为是具有以μ
ω,n,x
为中心的正态分布的噪声。
[0124]
图6是示出在以例如每秒25帧的图像捕获速率捕获的300幅图像的序列n上受到余辉影响的像素x的模拟像素值(pixel value)的示例的曲线图。图6中的点表示300个像素值，以及连续曲线602表示随时间的变化的所估计的余辉平均值。图6中的虚线604表示真实余辉ω
x
，其具有指数衰减。通过获得给定图像的这个真实余辉ω
x
的合理精确估计，可以将其从像素值中减去，以便提供表示图像场景的基础像素信息。
[0125]
实际上，考虑到像素阵列的视场中的图像随时间变化，场景可以被认为是如下定义的稳态噪声：
[0126]
[数学式10]
[0127][0128]
其中“～”表示“根据
……”
分布，并且n(μ,σ2)是具有平均值μ和方差σ2的正态分布，平均值和方差在此在时间和空间上是恒定的。
[0129]
然而，余辉是非稳态噪声，因为它具有随时间衰减的平均值：
[0130]
[数学式11]
[0131][0132]
因此，在图像f
n
的像素x处观察到的图像是两个独立随机变量的和：
[0133]
[数学式12]
[0134][0135]
图7是示出了微测辐射热计阵列上从0到p的像素(pixel x)的模拟像素值(pixel value)的曲线图，其中假设区域k中的像素在晒斑的路径中。
[0136]
图7以连续曲线702表示观察图像f
n,x
的示例，其是由虚线704表示的图像场景μ
s,n
的平均值和由连续曲线706表示的平均余辉μ
ω,n,x
的总和。因此，通过估计图像场景μ
s,n,x
的平均值，可以通过计算以下获得μ
ω,n,x
：
[0137]
[数学式13]
[0138]
μ
ω,n,x
＝f
n,x
‑
μ
s,n,x
[0139]
在图5的方法504的操作513中，本发明人提出使用修复来获得图像场景μ
s,n
的平均值的估计，现在将参考图8更详细地对这进行描述。
[0140]
图8是示出了微测辐射热计阵列上从0到p的像素(pixel x)的像素值(pixel value)的曲线图，其中类似于图7的示例，假设区域k中的像素在晒斑的路径中。
[0141]
图8中的连续曲线802表示观察到的图像f
n
的线，而虚线804表示被修复的这条线，表示为s*
n
，其可以被表达如下：
[0142]
[数学式14]
[0143][0144]
其中k_bar是晒斑区域k之外的区域。换句话说，来自晒斑区域之外的区域的像素信息用于修复区域k。
[0145]
图8中的曲线806代表s的连续样本。它们证明修复曲线804没有偏差：
[0146]
[数学式15]
[0147]
e[s
*
]＝μ
s
[0148]
其中e[]是期望值。
[0149]
虚线808表示余辉ω
n
，并且连续曲线810表示相减f
n
‑
s*
n
的结果。
[0150]
可以假设图像的修复部分提供了图像场景的平均值的无偏差估计μ
s
：
[0151]
[数学式16]
[0152][0153]
以及因此提供μ
ω,n,x
的无偏差度量：
[0154]
[数学式17]
[0155][0156]
图9是表示余辉测量ω*
n,x
与平均余辉μ
ω,n,x
之间的差的幅值(magnitude)的分布(其对应于正态分布)的曲线图。实际上，在每个时间瞬间，对应于以下的ω*
n
的度量：
[0157]
[数学式18]
[0158][0159]
提供了余辉的期望值e[ω*
n,x
]＝μ
ω,n,x
的无偏差噪声测量。
[0160]
由于这个值随时间变化，本发明人提议基于当前测量ω*
n
和先前估计μ
ω,n
‑1之间的加权和来估计每个新图像f
n
的这个值，如现在将参考图10更详细描述的那样。
[0161]
图10是表示沿着n＝1000个连续帧的序列的一个像素x的余辉估计的值z
n
的曲线图。每个连续曲线对应于在图5的操作530中用于估计值μ
ω,n,x
的不同方法。点对应于原始余辉ω*
n,x
测量。线1002表示这些原始余辉度测量ω*
n,x
的平均值，其可以表示为：
[0162]
[数学式19]
[0163][0164]
图10中的虚线1004表示像素x的余辉的真实衰减。
[0165]
图10中的连续曲线1006表示基于10个图像的窗口的移动平均值，其可以表示为：
[0166]
[数学式20]
[0167][0168]
曲线1006提供了快速收敛，但是噪声相对较大。
[0169]
图10中的曲线1008表示基于100个图像的窗口的移动平均值，其可以表示为：
[0170]
[数学式21]
[0171][0172]
曲线1008仍然提供相对快速的收敛，并且比曲线1006噪声更少。然而，这个曲线是有偏差的，并且这种偏差有在最终经校正的图像中可见的风险。
[0173]
在一些实施例中，为了在收敛速度和噪声之间获得合理的折衷，可以基于m个图像的滑动窗口来使用移动平均值，其中m在20到150的范围内，并且例如在20到80的范围内。在一些实施例中，图像的数量m可随时间变化，例如随着图像序列进展而随时间增加。在一些实施例中，如果例如结果仍然在某种程度上有偏差，并且如果需要校准滑动窗口的大小，则基于滑动窗口的这种方法可能存在缺点。
[0174]
图10中的曲线1010对应于kalman滤波器的应用，与移动平均相比，该kalman滤波器具有相对较慢的收敛，但是以相对较高的精度收敛到由曲线1004表示的余辉的真实衰减。kalman滤波器考虑了序列中的多个图像的余辉的测量，以及余辉的指数衰减的模型w。现在将参考图11和图12更详细地描述在操作530中kalman滤波器的使用。
[0175]
kalman滤波
[0176]
图11是示出在图5的操作513中使用kalman滤波器估计平均余辉值μ
ω,n,x
的方法的操作的流程图。该方法例如由图1和图2的图像处理电路112实施。替代性地，该方法可以由另一类型的处理设备来实施，该处理设备可以形成或不形成ir相机的一部分。
[0177]
kalman滤波器非常适合于使用噪声(观察到的)测量ω
n*
并且在知道一些超参数的情况下在线性高斯动态时间序列的每一步骤n处估计潜在的(隐藏的)状态向量ω
n
。这种时间序列是一种markov链，并且可以用下面的简单序列来完全描述：
[0178]
[数学式22]
[0179]
ω
n
＝aω
n
‑1+v,
[0180][0181]
ω0＝μ
ω,0
+u,
[0182]
其中a为转换矩阵，h为测量矩阵，并且参数v、u和η分别是协方差矩阵γ，σ
ω,0
和r的一些零均值正态加性噪声。
[0183]
图12示出了这种时间序列的示例，其中隐藏状态向量(在这个示例中具有1维)是圆，并且观察到的度量是点。来自时间(t
‑
δt)的输入是余辉ω(t
‑
δt)的先前校正的估计，以
及将时间(t
‑
δt)处的先前估计链接到时间t处的新估计的转换矩阵a。因为在这个时间序列中一切都是高斯的，所以状态向量完全由其均值向量μ
ω
和协方差矩阵σ
ω
(它们是待确定的未知值)来表征。
[0184]
在每一步骤n处，示出的是[murphy,machine learning,a probabilistic perspective,2012p.638]在知道(时间常数)超参数γ、r、u、a、h和μ0的情况下，潜在状态ω
n
可以使用以下等式估计：
[0185]
[数学式23]
[0186][0187][0188][0189][0190]
其中：
[0191]
[数学式24]
[0192][0193]
是kalman增益，以及i是单位矩阵。
[0194]
换句话说，在每个步骤n，根据测量值ω
n*
和先验估计(μ
ω,n,x
,σ
‑
ω,n,x
)来估计新的后验估计(μ
ω,n,x
,σ
ω,n,x
)。
[0195]
应用于余辉滤波
[0196]
协方差矩阵
[0197]
在本公开中，隐藏变量ω是每个像素处的余辉，并且是标量。因此，协方差矩阵γ、r、σ
ω,0
、σ
ω
只是分别表示为γ、r、σ
ω,02
、σ
ω2
的方差。
[0198]
转换矩阵a
[0199]
在本公开中，隐藏状态是标量，并且转换矩阵a也是标注为a的标量，并且与余辉的模型w直接相关。如上关于图4所述：
[0200]
[数学式25]
[0201][0202]
[数学式26]
[0203][0204]
在本示例中，假设参数β等于1，从而得到如下的ω(t+δt)的模型：
[0205]
[数学式27]
[0206]
ω(t+δt)＝aω(t),其中
[0207]
转换矩阵a例如对于阵列的所有像素是公共的。替代性地，可以为每个像素存储不同的转换矩阵a
x
。
[0208]
测量矩阵h
[0209]
如上所述，度量ω
n*
也是实标量值，其使用度量矩阵h与隐藏状态直接相关：
[0210]
[数学式28]
[0211]
其中h＝1
[0212]
初始化
[0213]
在图11的方法530的操作1101中，通过初始化kalman滤波器的隐藏状态来初始化kalman参数。例如，可以针对所有像素x将初始平均值μ
ω,0
和方差值σ
ω,02
初始化为：
[0214]
[数学式29]
[0215][0216]
以及
[0217]
[数学式30]
[0218][0219]
先验估计
[0220]
在操作1102中，基于余辉的噪声度量以及基于kalman参数和kalman超参数，为平均余辉生成新的先验估计。例如，在时间n+1，为平均余辉生成新的先验估计：
[0221]
[数学式31]
[0222][0223][0224]
其中γ是模型的方差，并且例如是用户定义的。
[0225]
后验估计
[0226]
在操作1103中，基于kalman参数、kalman超参数和基于经修复的图像确定的当前测量的余辉值ω
n,x*
，校正余辉的先前新均值和方差值：
[0227]
[数学式32]
[0228][0229][0230]
其中：
[0231]
[数学式33]
[0232][0233]
是kalman增益。
[0234]
换句话说，余辉的后验估计被生成作为先验估计和度量之间的平衡，并且该平衡通过kalman增益k进行调谐。
[0235]
序列
[0236]
再次参考图11，在操作1103之后，例如更新kalman参数。如图5所示，然后可以对下一图像n+1重复方法530，包括基于经更新的kalman参数重复操作1102和1103。实际上，参数初始化操作1101例如仅在图5的方法的第一次迭代执行。
[0237]
情况2
[0238]
在情况2中，图5的操作503包括方法505，该方法对应于根据本公开的另外的示例实施例的校正图像序列中的余辉的方法。该方法例如由图1和图2的图像处理电路112实施。替代性地，该方法可以由另一类型的处理设备来实施，该处理设备可以形成或不形成ir相机的一部分。
[0239]
方法505包括操作520和521。
[0240]
在操作520中，基于先前图像f
n
‑1为每个像素计算图像f
n
中的余辉的度量。例如，通过执行以下减法，为图像的每个像素x计算余辉的度量ω*
n,x
：
[0241]
[数学式34]
[0242]
ω*
n,x
＝f
n,x
‑
f
n
‑
1,x
[0243]
在操作521中，基于余辉测量和指数衰减模型w来估计每个像素的余辉ω
n,x
。例如，余辉估计包括每个像素x的瞬时平均余辉的估计μ
ω,n,x
。在一些实施例中，余辉平均值μ
ω,n,x
及其方差σ
2ω,n,x
是使用kalman滤波器来估计的，如上文结合图11所述。然而，对于静态场景的情况，测量ω*噪声很多，并且因此，对于情况2，转换矩阵a通常应该比情况1中更精确。因此，在一些实施例中，对于每个像素x，余辉指数衰减的局部转换矩阵a
x
＝1
‑
δτ/τ
x
被存储在存储器206中。这些转换矩阵例如在预处理操作期间被估计，该预处理操作例如包括回归恰好在余辉出现之后的第一帧中的两个或更多个上的指数衰减以估计τ
x
。而且，在情况2中，转换矩阵是：
[0244]
[数学式35]
[0245][0246]
本文描述的实施例的优点在于，对于变化场景(情况1)或静止场景(情况2)的情况，可以以相对简单和有效的方式在图像序列中校正余辉。
[0247]
已经描述了各种实施例和变型。本领域技术人员将理解，可以组合这些实施例的某些特征，并且本领域技术人员将容易想到其他变型。例如，对于本领域技术人员来说显而易见的是，在为所有像素提供共同的指数衰减模型w，或者为每个像素x提供不同的模型之间的选择将取决于所需的精度和ir像素阵列的特性。