用于红外相机中的寄生热补偿的设备和方法与流程

用于红外相机中的寄生热补偿的设备和方法
[0001]
本专利申请要求于2018年6月8日提交的且已转让申请号为fr18/00587的法国专利申请的优先权，其内容通过引用结合于此。
技术领域
[0002]
本公开涉及红外相机领域，并且特别地涉及一种用于热成像(thermography)的设备和方法。


背景技术：

[0003]
在热成像领域，红外(infrared,ir)相机(诸如微测辐射热计或冷却式ir成像设备)被用于捕获图像场景的热图像。这种ir相机通常包括形成像素阵列的ir敏感检测器布置。
[0004]
像素阵列的每个像素将像素处的所测量的温度转换成相对应的电压信号，该电压信号由adc(模数转换器)转换成数字输出信号。
[0005]
每个像素处存在的温度是场景温度的函数，但也是各种其他热分量的函数，诸如像素阵列的基板的温度以及还有从其他热源接收的寄生热。基板温度通常在像素阵列上是相对均匀的，并且因此通常可以使用基板中的一个或多个温度传感器相对精确地对其进行估计。然而，由每个像素从其他来源接收的寄生热估计起来有挑战性得多，并且可能导致由每个像素测量的温度读数方面的相对较高的不精确性。事实上，虽然温度探头可以被添加到外壳，但是基于来自这种探头的读数来估计影响像素阵列的每个像素的寄生热是远远不准确的。因此，这种探头的使用不允许产生高精度的热图像，例如准确到几摄氏度以内。另外，这种温度探头是成本相对较高的部件。
[0006]
因此，在本领域中存在对用于准确地估计和补偿由红外相机中的像素接收的寄生热的低成本解决方案的需求。


技术实现要素：

[0007]
本说明书的实施例的目的是至少部分解决现有技术中的一个或多个问题。
[0008]
根据一个方面，提供了一种红外相机，包括包含像素阵列的外壳，其中像素阵列包括：形成图像传感器的图像像素，该图像像素被布置成接收来自图像场景的红外光；以及多个寄生热感测像素，该多个寄生热感测像素被布置成从所述外壳的内表面的不同部分接收红外光。例如，寄生热感测像素中的第一寄生热感测像素以不同于寄生热感测像素中的第二寄生热感测像素的方式定向，使得第一寄生热感测像素和第二寄生热感测像素从外壳的内表面的不同部分接收红外光。
[0009]
根据一个实施例，红外相机还包括信号校正电路，该信号校正电路被配置为从多个寄生热感测像素接收读数，并基于所述读数对由所述图像传感器捕获的信号执行2d信号校正。
[0010]
根据一个实施例，红外相机还包括非易失性存储器，该非易失性存储器存储用于
将读数转换成用于执行2d信号校正的校正值的转换矩阵。
[0011]
根据一个实施例，第一寄生热感测像素被配置为仅从外壳的内表面的第一区直接接收红外光；并且第二寄生热感测像素被配置为仅从外壳的内表面的第二区直接接收红外光；并且第一区和第二区不重叠。
[0012]
根据一个实施例，红外相机还包括被定位在寄生热感测像素上的至少一个部分光屏蔽件，该至少一个部分光屏蔽件部分地限制每个寄生热感测像素的视场。
[0013]
根据一个实施例，至少一个部分光屏蔽件包括与每个寄生热感测像素相关联的至少一个开口，开口的位置与每个像素的热敏层错开。
[0014]
根据一个实施例，至少一个部分光屏蔽件被布置成使得寄生热感测像素中的一个或多个仅接收反射的红外光。
[0015]
根据一个实施例，像素阵列的像素中的每一个是包括悬挂在反射表面上的热敏膜的微测辐射热计；并且寄生热感测像素中将热敏膜与反射表面分离的距离不同于图像像素中将热敏膜与反射表面分离的距离。
[0016]
根据一个实施例，红外相机还包括至少一个壁，该至少一个壁邻近寄生热感测像素中的一个或多个形成，并且阻挡处于某些角度的红外光落在所述一个或多个寄生热感测像素上。
[0017]
根据另外的方面，提供了一种通过处理设备校正由红外相机的像素阵列的图像传感器捕获的图像的方法，该方法包括：接收来自像素阵列的多个寄生热感测像素的读数，寄生热感测像素被布置成从ir相机的外壳的内表面的不同部分接收红外光；以及基于读数校正由图像传感器捕获的信号。例如，寄生热感测像素中的第一寄生热感测像素以不同于寄生热感测像素中的第二寄生热感测像素的方式定向，使得第一寄生热感测像素和第二寄生热感测像素从外壳的内表面的不同部分接收红外光。
[0018]
根据一个实施例，基于读数校正由图像传感器捕获的信号包括将读数转换成用于执行信号的2d信号校正的校正值，该转换基于一个或多个转换矩阵。
[0019]
根据一个实施例，将读数转换成校正值包括：使用第一转换矩阵将读数转换成从外壳的内表面的模型的多个区域中的每一个接收的光通量的估计，每个区域被认为具有均匀的温度；以及使用第二转换矩阵将从多个区域中的每一个接收的光通量的估计转换成像素校正值。
[0020]
根据一个实施例，外壳的内表面的模型是圆顶。
[0021]
根据另一方面，提供了一种被配置为实施上述方法的处理设备。
[0022]
根据另一方面，提供了一种存储计算指令的非暂时性存储介质，这些计算指令用于在由处理设备执行时实施上述方法。
[0023]
根据又一方面，提供了一种校准红外相机的方法，该红外相机包括容纳在外壳中的像素阵列，该像素阵列具有图像传感器和被布置成从外壳的内表面的不同部分接收红外光的一个或多个寄生热感测像素，该方法包括：由处理设备从所述寄生热感测像素中的每一个和从像素阵列的每个像素接收一个或多个读数；以及由处理设备基于所述一个或多个读数生成用于将来自寄生热感测像素的读数转换成用于对由图像传感器捕获的信号执行2d信号校正的像素校正值的一个或多个转换矩阵。例如，生成一个或多个转换矩阵包括：由处理设备基于每个像素的响应度的假设，为图像传感器的每个图像像素和寄生热传感像素
中的每一个确定基于每个像素相对于内表面的多个区域中的每一个的集光率的相对传递函数。例如在区域中的每一个的表面贡献和由寄生热感测像素和由图像像素接收的光通量之间确定相对传递函数。这例如对应于每个像素和多个区域之间的集光率。例如，假设所有像素在其针对具有给定功率的给定接收光通量和针对给定立体角所生成的电压方面具有相同的响应。如本领域技术人员所知，在光学领域，集光率定义了光在面积和角度方面扩散的程度。
[0024]
根据一个实施例，生成一个或多个转换矩阵还包括：确定图像像素中的每一个和寄生热感测像素中的每一个的响应度。例如，这包括针对相同立体角确定每个像素的相对响应度。对于图像传感器的图像像素，例如使用两点非均匀性校正来确定响应度。
[0025]
根据一个实施例，通过在所述像素阵列的像素的视场中放置黑体，并在至少两个不同温度下从所述寄生热感测像素获取读数，来确定寄生热感测像素的响应度。
[0026]
根据一个实施例，基于每个像素的集光率确定相对传递函数包括至少部分地由处理设备定义包括具有均匀温度的多个区域的所述外壳的内表面的模型，并且由处理设备基于相机外壳和像素阵列的几何形状计算每个像素相对于所述模型的区域中的每一个的集光率。
[0027]
根据一个实施例，模型呈圆顶的形式。
[0028]
根据一个实施例，方法还包括在所述黑体(black body)被放置在所述像素阵列的像素的视场中的同时，由处理设备基于由所述图像传感器捕获的平均读数来确定圆顶的半径。
[0029]
根据一个实施例，模型的多个区域中的每一个具有相同的表面积。
[0030]
根据另一方面，提供了一种被配置为实施上述方法的处理设备。
[0031]
根据又一方面，提供了一种存储计算指令的非暂时性存储介质，这些计算指令用于在由处理设备执行时实施上述方法。
附图说明
[0032]
从以下参考附图以说明而非限制的方式给出的实施例的详细描述中，前述和其他特征和优点将变得显而易见，在附图中：
[0033]
图1示意性地示出了根据本公开的示例实施例的ir相机的成像设备；
[0034]
图2是表示根据本公开的示例实施例的对由ir相机捕获的信号执行2d信号校正的方法中的操作的流程图；
[0035]
图3是根据本公开的示例实施例的ir相机的像素阵列的平面图；
[0036]
图4是包括图3的像素阵列的ir相机的截面视图；
[0037]
图5a是根据本公开的示例实施例的像素阵列的图像像素和寄生热感测像素的平面图；
[0038]
图5b是图5a的图像像素和寄生热感测像素的截面视图；
[0039]
图6a是根据本公开的另外的示例实施例的图像传感器和像素阵列的寄生热感测像素的平面图；
[0040]
图6b是图6a的图像传感器的一部分和寄生热感测像素中的一些的截面视图；
[0041]
图6c是根据另外的示例实施例的图6a的图像传感器的寄生热感测像素子阵列的
平面图；
[0042]
图7a是根据本公开的另外的示例实施例的图像像素和像素阵列的寄生热感测像素的平面图；
[0043]
图7b是图7a的图像像素和寄生热感测像素的截面视图；
[0044]
图8a和图8b是表示根据本公开的示例性实施例的ir相机的外壳的内表面的模型的示例的截面视图；
[0045]
图8c更详细地表示了图8b的模型；
[0046]
图8d和图8e表示根据本公开的示例实施例的寄生热感测像素的角度灵敏度；
[0047]
图8f表示根据本公开的示例实施例的寄生热感测像素的观察区；
[0048]
图9示意性地示出了根据本公开的示例实施例的计算设备；以及
[0049]
图10是表示根据本公开的示例实施例的校准ir相机的方法中的操作的流程图。
具体实施方式
[0050]
虽然在下面的描述中结合微测热辐射计类型的像素阵列描述了实施例，但是对于本领域技术人员来说显而易见的是，本文描述的方法可以等同地应用于其他类型的ir相机，包括冷却式设备。
[0051]
在整个本公开中，术语“基本上”用于表示所讨论的值的正或负10％的公差。另外，在本公开中，以下术语被认为具有以下定义：
[0052]
像素阵列
–
光敏像素的布置，其中像素可以以列和行或其他布置进行布置；
[0053]
图像传感器
–
用于从图像场景中捕捉图像的像素阵列的像素的布置，通常为矩形；
[0054]
图像像素
–
图像传感器的每个像素；
[0055]
寄生热感测像素
–
具有已经相对于图像像素的视场进行修正以便有利于捕获寄生热的视场的像素。例如，每个寄生热感测像素被配置成比像素阵列的每个图像像素捕获更大部分的寄生热；以及
[0056]
2d信号校正
–
在创建图像之前对图像传感器生成的信号或读数的校正，图像可选地经过一个或多个后续图像校正步骤。
[0057]
图1示出了包括对ir光敏感的像素阵列102的ir成像设备100。例如，在一些实施例中，像素阵列对长波ir光(诸如具有在7至16μm或更高范围内的波长的光)敏感。
[0058]
像素阵列102在图1中由虚线矩形表示，并且包括由图像像素104形成的图像传感器103，以及用于检测寄生热的一个或多个附加像素105。
[0059]
在图1的示例中，图像传感器103包括被布置成12行和12列的144个图像像素104。在替代性实施例中，图像传感器103可以包括任意数量行和列的像素。通常，图像传感器例如包括640
×
480或1024
×
768个图像像素。
[0060]
在图1的示例中，沿着图像传感器103的一个边缘定位有四个寄生热感测像素105。然而，在替代性实施例中，在图像传感器103中或周围的任何地方可以定位有任意数量的寄生热感测像素105。寄生热感测像素例如形成在与图像传感器的图像像素104相同的图像平面中。
[0061]
在图1的示例中，阵列102的每一列像素与相对应的参考结构106相关联。虽然在功能上不是图片元素，但是通过与成像(或有源)像素104的结构上的类似，这个结构在本文中
将被称为“参考像素”。另外，输出块(output)108耦接到每一列像素阵列102并耦接到参考像素106中的每一个，并提供包括由图像传感器103捕获的信号或读数的原始图像i
b
以及还有来自寄生热感测像素105的读数p
r
。实际上，相同的输出块108例如用于从像素阵列102的所有像素104、105读出像素值。
[0062]
控制电路(ctrl)110例如向像素阵列102、向参考像素106和向输出块108提供控制信号。
[0063]
原始图像i
b
和来自寄生热感测像素105的读数p
r
例如被提供给图像处理电路(image processing)112，该图像处理电路例如将2d信号校正应用于图像的像素以产生经校正的图像i
c
。特别地，图像处理电路112例如基于来自寄生热感测像素105的读数p
r
并基于存储在非易失性存储器(nvm)114中的转换矩阵m
cpix
来应用所捕获的图像中寄生热的校正，这例如允许将读数p
r
转换成所捕获的图像的每个像素的校正值。
[0064]
实际上，来自图像传感器103的每个图像像素104的电压读数vout可以由以下等式建模：
[0065][0066]
其中t
pix
是像素的温度，是表示实现温度到电压转换的像素阵列的参数的向量，诸如转换增益、读出路径中的损耗等，并且是链接输出电压vout与参数和温度t
pix
的函数。
[0067]
每个像素的温度t
pix
将受到各种热分量的影响，并且可以例如通过以下等式来建模：
[0068][0069]
其中，φ
scene
是从图像场景经由ir相机的光学元件到达像素的光通量，φ
parasitic
是从图像场景之外的源(诸如从ir相机的外壳的内表面)到达像素的光通量，t
cmos
是焦平面的温度，换句话说，是图像传感器形成在其上的基板的温度，是表示实现所接收的光通量到像素的温度t
pix
的转换的图像像素的参数的向量，以及g是链接温度t
pix
与参数和变量φ
scene
、φ
parasitic
以及t
cmos
的函数。
[0070]
通过估计参数和以及变量φ
parasitic
和t
cmos
，以及通过近似函数和g，可以隔离该分量φ
scene
，并且因此生成场景的热成像图像。在这些参数、变量和函数中，准确估计最有挑战性的是分量φ
parasitic
。实际上，基于ir相机中几个不同内表面的温度，该分量对于每个图像像素可以变化，并且对每个像素的影响将取决于像素相对于相关表面的距离和灵敏度。
[0071]
本发明人已经发现，通过使用来自定位在图像平面中的寄生热感测像素的读数，可以生成由每个图像像素接收的光通量φ
parasitic
的相对精确的估计，而无需使用温度探针，这将在下面更详细地描述。
[0072]
图2是示出校正由像素阵列的图像传感器捕获的图像的方法中的操作的流程图。例如，该方法由图1的图像处理电路112实施。例如，图像处理电路112是硬件电路，诸如asic(application specific integrated circuit，专用集成电路)，并且因此完全以硬件实施该方法。替代性地，该方法的至少一部分可以以软件实施。例如，图像处理电路112包括在存
储在指令存储器(未示出)中的指令的控制下的一个或多个处理器，这些指令的执行使得图2的方法的至少一部分被执行。
[0073]
在操作201中，由电路112接收由寄生热感测像素105捕获的读数p
r
。
[0074]
在操作202中，基于读数p
r
生成信号校正值。例如，转换矩阵m
cpix
以及可选地由非易失性存储器114存储的一个或多个另外的矩阵用于将读数p
r
转换成图像i
b
的每个像素的信号校正值，如现在将更详细地解释。
[0075]
在一些实施例中，首先处理读数p
r
，以便提取ir相机外壳的内表面的模型的多个区域的温度的估计，其中模型的每个区域例如被认为具有相同的温度。这些估计形成具有形式[φ1...φ
q
]亮度矢量值φ1...φ
q
中的每一个表示来自模型的q个区域的光通量。例如，读数p
r
形成具有形式[out1...outn]的输出向量其可以例如被表征如下：
[0076][0077]
其中m
clum
定义了亮度值φ1...φ
q
和输出向量的n个读数p
r
之间的关系，并且例如具有以下形式：
[0078][0079]
其中参数至表示每个区域i的读数out1至outn和亮度φi之间的关系。
[0080]
因此，亮度向量可以例如基于以下乘法从输出向量的读数中生成：
[0081][0082]
其中m-1
c
lumm
是矩阵m
cium
的逆矩阵。
[0083]
存在于图像传感器的p个像素中的每一个处的寄生亮度在本文中将由具有形式[φ
parasitic_1
...φ
parasitic_p
]的向量表示。转换矩阵m
cpix
例如适于根据以下等式将亮度向量转换成存在于每个像素处的寄生亮度的估计：
[0084][0085]
转换矩阵m
cpix
例如具有p乘以q的尺寸，其中p是图像传感器中的像素的数量，以及q是外壳的内表面模型的区域的数量。
[0086]
在操作203中，信号校正值被应用于所捕获的图像的像素。例如，这种校正可以直接对形成原始图像i
b
的信号执行，或者在已经对原始图像i
b
应用了其他形式的偏移和/或增益校正之后执行。
[0087]
在一个实施例中，通过从所捕获的图像i
b
的p个像素中的每一个中减去来自向量的相对应的校正值来应用信号校正。在替代性实施例中，信号校正基于以上描述的函数g的反函数的估计以便确定场景分量φ
scene
。
[0088]
图3是根据图1的像素阵列的替代性实施例的像素阵列102的平面图。在图3的示例中，有12个寄生热感测像素105，两个寄生热感测像素沿着图像传感器103的每个边缘定位，以及图像传感器103的每个角部处各一个。
[0089]
图4是包括图3的像素阵列102的ir相机400的截面视图，没有示出光学器件。图4中
的截面是沿着图3中的穿过图像传感器103的相对侧上的寄生热传感像素105中的两个的虚线a-a截取的。
[0090]
像素阵列102安装在基板402上。ir相机的外壳404也安装在基板402上，并且容纳像素阵列102。例如，外壳404由模制塑料或由金属形成。在图4的示例中，外壳404具有：从基板402延伸的基本圆柱形部分406、从圆柱形部分的顶部边缘向内延伸并基本平行于基板402的表面的环形部分408、与从环形部分408的内边缘向上且向内延伸的锥体的区段相对应的部分410、从部分410的顶部边缘向内延伸并基本平行于基板402的表面的环形部分412、从环形部分412的内边缘背离基板402延伸的基本圆柱形部分414、以及从圆柱形部分414的顶部边缘向内延伸并基本平行于基板402的表面的环形部分416。环形部分416的内边缘界定了外壳404的孔径418，该孔相对于图像传感器102居中，并且来自图像场景的光经由该孔进入ir相机。圆柱形部分414例如形成透镜筒，一个或多个透镜被定位在该透镜筒中(图中未示出)。
[0091]
应当注意的是，图4的外壳404的特定形式仅仅是一个示例，并且许多不同的形状是可能的，包括非圆柱形形状。
[0092]
图4中的在虚线422之间延伸的弧420表示图像传感器102的图像像素的视场的示例，该视场其例如相对较大，例如具有大致130
°
或更大。寄生热感测像素105的视场例如相对于图像像素的视场受到限制，使得它们从外壳404的内部接收增加部分的寄生热。例如，图4中示出的像素105具有分别由在点划线426和428之间延伸的弧424表示的视场，每个寄生热感测像素105具有在至少一个平面内被限制为小于90
°
的视场。然而，更一般地，每个寄生热感测像素使其视场被修正为使得其比每个图像像素从外壳404接收更高比例的寄生热。例如，每个寄生热感测像素从外壳404接收其能量的至少50％，并且在某些情况下至少70％的光通量φ
pix
。在一些实施例中，每个寄生热感测像素被设计成使得它们所接收的通量的大部分(例如至少60％)源自外壳的某个区域，并且像素对源自这个区域外部的通量的灵敏度迅速降低。
[0093]
在一些实施例中，寄生热感测像素105中的一个或多个的视场被限制成使得它不包围孔径418，并且因此这些像素不被图像场景直接照亮。应该注意的是，即使寄生热感测像素以外壳的靠近孔径418的区域(诸如图4中的区域416)为目标，像素阵列中的寄生热感测像素的位置和透镜设计(光线曲率)意味着只有来自图像场景的相对少量的光有被像素吸收的风险。
[0094]
寄生热感测像素105例如至少在像素阵列的平面中各自以彼此不同的方式定向，以便检测来自图像传感器的外壳404的内表面的不同区的寄生热。例如，寄生热感测像素105中的一个被配置为仅从外壳的内表面的第一区直接接收红外光，并且寄生热感测像素105中的另一个被配置为仅从外壳的内表面的第二区直接接收红外光，第一区和第二区不重叠。
[0095]
现在将参照图5a、图5b、图6a、图6b、图7a和图7b描述寄生热感测像素105的结构的示例。
[0096]
图5a是图3的像素阵列102的一部分的平面图，并且示出了根据示例实施例的两个图像像素104和一个寄生热感测像素105。
[0097]
在图5a的示例中，像素由微测辐射热计实施。每个图像像素104例如包括由支撑柱
506之间的臂504悬挂的膜502。寄生热感测像素105例如包括类似的结构，但是被光屏蔽件508部分屏蔽，这限制了它的视场。
[0098]
图5b是沿着图5a中的穿过两个图像像素104并穿过寄生热传感像素105的虚线b-b截取的图5a的结构的截面视图。如图所示，图像像素104和寄生热感应像素105中的每一个例如包括反射层的一部分510，该部分在相对应的柱506之间并且膜502以距离d悬挂在该部分上。另外，寄生热感应像素105例如包括反射层的在像素的邻近其柱506之一的侧部上的另外的部分512。
[0099]
部分光屏蔽件508例如包括由反射层516覆盖的支撑层514，该支撑层例如由si、sin、sion或其他材料形成。支撑层514例如由支撑壁518悬挂在像素105上，该支撑壁例如也阻挡光从像素的一侧进入。像素的相对侧是开放的，使得处于一定角度的光可以进入屏蔽件508和反射层510之间的空间，并被膜502吸收。这借助于反射层的部分512，该部分例如以一定角度将光引导到部分光屏蔽件508的下侧，光从该下侧反射到测辐射热计的膜502上。
[0100]
图6a是根据另外的示例实施例的像素阵列102的平面图，其中寄生热感测像素105形成在邻近图像传感器103的子阵列600中，并且这些像素的视场部分地被呈掩模602形式的光屏蔽件限制。在图6a的示例中，子阵列包括两两布置的四个寄生热感测像素105，并且掩模602包括在每个像素上的开口604，以给每个像素受限的视场。
[0101]
图6b是沿着图6a中的穿过子阵列的两个寄生热感测像素105并穿过图像传感器103的一个图像像素104的虚线c-c截取的图6a的结构的截面视图。像素104、105中的每一个的测辐射热计例如具有类似于图5b的像素的结构的结构，并且相似的特征已经用相似的参考数字标记，并且将不再次详细描述。
[0102]
掩模602例如包括由反射层608覆盖的支撑层606，并且每个像素105上的开口604被形成穿过该支撑层。支撑层606和反射层608例如通过侧向壁610悬挂在子阵列的像素105上。
[0103]
每个像素105上的开口604例如相对于每个测辐射热计的膜502错开，使得只有处于一定角度的光落在每个测辐射热计的膜502上。每个像素105例如被配置成从外壳的内部的不同部分接收光。
[0104]
图6c是根据由图6a和图6b表示的子阵列的变型的图6a的图像传感器的寄生热感测像素的子阵列600的平面图。在图6c的示例中，子阵列600包括3
×
3布置的九个寄生热传感像素105，尽管可以替代性地提供更大或更小的阵列。像素105彼此间隔开。
[0105]
覆盖件或掩模602由图6c中的虚线表示，并且例如对红外光至少部分不透明，但是包括开口604，在图6c的示例中这些开口是圆形的。每个开口604具有例如在每个像素105的膜502的宽度的50％和150％之间的宽度尺寸(在圆形开口的情况下为直径)。开口604根据图案被定位成使得每个像素具有外壳的内部的不同角度视野，并且每个像素的视场因此可以以相对简单的方式去卷积。这具有导致良好的信噪比和外壳的内部的较大的覆盖面积的优点。
[0106]
在图6c的示例中，子阵列600被布置在9
×
9的网格中，其中第2、第5和第8列和行中的九个位置包含像素105。与每个像素105相关联的开口604例如完全或至少部分被定位在其中形成每个像素的3
×
3网格的区域中，这些3
×
3网格由图6c中的较粗的线界定。
[0107]
在图6c的示例中，单个开口604与每个像素105相关联。然而，在替代性实施例中，
一个以上开口604可以与像素105中的一些或全部相关联，和/或像素105中的一些或全部可以接收来自开口604中的一个以上的光。
[0108]
图7a是图3的像素阵列102的一部分的平面图，并且示出了根据另一示例实施例的两个图像像素104和一个寄生热感测像素105。图7a的像素例如由具有类似于图5a的图像像素104的结构的结构的测辐射热计实施，并且相似的特征已经用相似的参考数字标记，并且将不再次详细描述。
[0109]
在图7a的实施例中，壁702例如被定位为邻近寄生热感测像素105，用于限制其视场，如现在将参考图7b描述。
[0110]
图7b是沿着图7a中的穿过两个图像像素104并穿过寄生热传感像素105的虚线d-d截取的图7a的结构的截面视图。
[0111]
在图7a和图7b的示例中，寄生热感测像素105具有将它的测辐射热计的膜502与其反射层510分离的距离d’，该距离d’大于图像像素104的测辐射热计中的距离d。例如，距离d’大致等于距离d的两倍。这个增加的距离导致测辐射热计的法布里-珀罗(fabry-perot)腔的修改，从而增加了角度吸收。另外，壁702例如允许像素的方位角受到限制。
[0112]
如上所述，基于来自寄生热感测像素105的读数应用于由图像传感器103捕获的图像的信号校正例如基于相机外壳的内表面的近似。例如，以上描述的转换矩阵m-1clum
和m
cpix
基于表示ir相机外壳的内表面的模型。现在将参照图8a和图8b描述用于近似图4的外壳404的内表面的模型的示例。
[0113]
图8a是外壳404的截面视图，示出了接近外壳404的实际形式的模型的示例。例如，该模型对应于由图8a中的虚线802表示的表面，该表面通常跟随外壳404的内表面，但是不是包含透镜镜筒404，其在外壳的环形部分412的水平处具有平面部分804。
[0114]
图8b是外壳404的截面视图，示出了由虚曲线806表示的模型的示例，该虚曲线在形状方面是半球形的，换句话说呈圆顶的形式。圆顶806的半径r例如被选择为对应于外壳404的内表面距图像传感器103的平均距离。虽然在图8b的示例中，圆顶806从图像传感器103的图像平面ip延伸，但是在图像传感器103的视场小于180
°
的情况下，模型可以从外壳的高于图像平面ip的水平延伸。
[0115]
根据一些实施例，外壳的内部的模型被分成q个离散的区域，每个区域被认为具有均匀的温度，如现在将参考图8c描述。
[0116]
图8c表示根据示例实施例的ir相机的外壳的内部的寄生热表面的3d模型，其中该模型对应于图8b的圆顶806。
[0117]
模型的表面被分成q个离散区域808，这些离散区域中的两个在图8c的示例中被示出为有阴影。离散区域808例如被选择成使得它们具有彼此大致相同的面积。在图8c的示例中，圆顶被水平地分成切片，并且每个切片被细分成具有相等宽度的多个节段。例如，每个切片的高度和切片中的节段的宽度从圆顶的底部到顶部是不同的，以便获得具有大致相等的面积的区域。当然，图8c仅表示将模型划分成区域的一个示例，存在可以实现这一点的许多可能的方法。
[0118]
区域的数量q例如等于至少两个，并且在一些实施例中等于至少八个。对于本领域的技术人员来说显而易见的是区域的数量越多，精度越好，但是用于基于亮度矢量校正图像的信号的图像处理越复杂。
[0119]
根据本公开的实施例，来自寄生热感测像素的读数被用于估计模型的每个区域808的平均热，如现在将参考图8d、图8e和图8f更详细地描述。
[0120]
图8d和图8e表示寄生热感测像素在仰角θ和方位角方面的角度灵敏度。
[0121]
如图8d所表示那样，每个寄生热感测像素例如具有在竖直平面中延伸角度θ的视场。
[0122]
图8e表示寄生热感测像素的径向吸收函数的示例。特别地，像素的视觉中心例如以水平面中的某个角度为目标，该角度在图8e的示例中为120
°
，并且对于在水平面中以移动远离这个点的角度接收的通量，像素的灵敏度降低。表示像素的角度灵敏度的角度可以例如被定义为灵敏度高于一定水平的角度。例如，在图8e中，角度被定义为灵敏度为60％或更高的角度。
[0123]
寄生热感测像素的观察区和模型的区域之间有三种可能的关系。
[0124]
根据第一种关系，在模型中有与区域一样多的寄生热感测像素，并且每个寄生热感测像素在适于这些区域中的相对应的一个的θ和方面具有角度灵敏度。因此，来自每个寄生热感测像素的读数直接对应于相对应的区域的读数。
[0125]
根据第二种关系，存在比模型的区域更多数量的寄生热感测像素，和/或由寄生热感测像素观察到的总面积大于模型的面积。例如，该关系基于以下等式：
[0126][0127]
这可以表达为：
[0128][0129]
在模型包括q个离散区域的情况下，存在n个寄生热感测像素w1至wn，向量的值φ1至φ
q
对应于从每个区域1至q的寄生亮度，这是要找到的向量，矩阵m
clum
的值至表示寄生热感测像素对每个区域1至q的贡献，并且向量的值out1至outn对应于来自n个寄生热感测像素的读数。在最简单的情况下(以上指示的第一种关系)，每个寄生热感测像素仅观察到相对应的区域，并且矩阵m
clum
是对角矩阵。然而，在其他情况下，每个区域1至q由来自寄生热感测像素中的一个或多个的一组加权贡献来定义。
[0130]
根据第三种关系，存在比模型中的离散区域更少的寄生热感测像素。在这种情况下，以上矩阵m
clum
定义不充分，如现在将参考图8f的示例描述。
[0131]
图8f是根据示例实施例的每个寄生热感测像素的观察区810的兰勃特(lambert)方位角投影。特别地，圆顶和每个像素的立体角锥体之间的交点形成了所测量的每个像素的观察区域。从每个区域接收的光通量然后可以基于局部测量且基于与每个区域中的热扩散相关的假设来估计。例如，来自寄生热感测像素k的每个读数m
k
可以如下评估：
[0132][0133]
其中ω是表示被分成离散区域i、j的模型的2d表面，s
i,j
是每个区域和像素k的观
察区之间的相交表面，并且φ
i,j
是区域i、j的表面光通量。
[0134]
在如图8f所示,寄生热感测像素的集合没有完全观察到整个表面ω的情况下，可以假定简单的假设，即每个区域的表面上的亮度的变化最小，其可以表示为：
[0135]
δφ
i,j
＝0
[0136]
其中δ表示亮度的拉普拉斯算子。然后，例如，基于以上假设和任何白色区域(即，不与任何观察区810相交的区域)中的热扩散的先验假设，为每个区域φ
i，j
求解亮度的非均匀性再分配。
[0137]
现在将参照图9和图10描述校准ir相机的方法，该ir相机包括寄生热感测像素以便构造转换矩阵m-1clumm
和m
cpix
。
[0138]
图9示意性地示出了根据本公开的示例实施例的被配置为执行ir相机的校准的计算设备900。设备900例如包括处理设备(p)902，该处理设备包括在计算机程序的计算指令的控制下的一个或多个处理器或cpu，该计算机程序例如存储在通过总线(bus)906耦接到处理设备902的存储器(ram)904中。计算设备900例如还包括ir相机接口(ir相机接口)908，该ir相机接口允许从校准中的ir相机接收来自图像传感器的捕获的图像和来自寄生热感测像素的读数。计算设备900例如还包括显示器(display)910和输入设备(input devices)912，诸如键盘和鼠标。
[0139]
图10是表示根据本公开的示例性实施例的生成用于将来自寄生热感测像素的读数转换成信号校正值的至少一个转换矩阵(诸如矩阵m-1clumm
和m
cpix
)的方法中的操作的流程图。这个方法例如由图9的计算设备900的处理设备902实施。
[0140]
至少一个转换矩阵的生成包括确定寄生热感测像素的输出和由每个图像像素接收的寄生光通量之间的相关性。换句话说，应该估计由每个寄生热感测像素和每个图像像素对完全相同的亮度变化的响应的相对图。这可以由以下等式表示：
[0141][0142]
其中，δv
out(x，y)
是位置(x，y)处的每个像素的输出电压的变化，是外壳的内表面的模型的每个区域i处的亮度φ
i
的变化，t
i(x，y)
是每个像素相对于每个区域i的集光率，以及resp(x，y)是每个像素的响应度。
[0143]
当校准标准红外图像像素阵列时，增益图通常用于已知为两点非均匀性校正的过程中。在本公开的像素阵列的情况下，实际上，将寄生热感测像素和图像像素暴露于相同的亮度变化将是困难的，并且校准过程会较长。相反，本发明人提出使用两个主要操作(1001和1003)来执行校准，如现在将更详细地描述。
[0144]
在操作1001中，在相机外壳的内表面的表面贡献与由寄生热感测像素以及由图像像素接收的光通量之间确定相对传递函数。这对应于每个像素和模型的不同区域i之间的集光率。在这个操作中，假设所有像素在其针对具有给定功率(瓦特，w)的给定接收光通量和针对给定立体角(球面度，sr)所生成的电压方面具有相同的响应。基于相机外壳的几何形状和像素阵列的像素的几何形状，例如可以估计每个寄生热感测像素和每个图像像素在位置(x，y)处相对于每个区域i的集光率t
i(x,y)
，如现在将描述。
[0145]
如本领域技术人员所知，在光学领域，集光率定义了光在面积和角度方面扩散的
程度。
[0146]
假设这个表面成具有半径r的圆顶的形式，像素阵列的每个像素相对于相机外壳的内表面的区域i的集光率可以定义如下：
[0147][0148]
其中，s
pixel
是像素的表面积，θ是仰角，是方位角，以及d是像素和圆顶的中心之间的距离。因此，基于像素阵列的和相机的内部的几何形状，可以基于上述等式来估计每个图像像素和寄生热感测像素的集光率t
i(x,y)
。
[0149]
例如，对于具有给定外壳和像素阵列的给定类型的ir相机，操作1001被执行一次，所生成的集光率与具有该给定几何形状的相机外壳和像素阵列的任何ir相机相关。
[0150]
可选地，在操作1002中，可以确定ir相机的外壳的内部的模型的一个或多个参数。例如，在模型是圆顶的情况下，圆顶的模型的半径r例如基于从外壳的内部接收的光通量的平均水平的估计来定义。
[0151]
在操作1003中，例如为产品族中的每种ir相机单元执行统一校准，以便确定相机外壳的内表面的模型的表面贡献和来自图像传感器与来自寄生热感测像素的像素读数之间的传递函数的绝对值。特别地，这例如针对相同立体角确定每个像素的相对响应度resp(x，y)。对于图像传感器的图像像素，响应度resp(x，y)可以例如使用已知的校准技术来确定，诸如基于两点非均匀性校正。关于寄生热感测像素的表征，这例如通过在像素阵列上放置圆顶形状的黑体并针对黑体的两个不同温度从寄生热感测像素中的每一个获得读数来进行。
[0152]
一旦已经为每个像素确定了这个相对响应度，就可以例如基于每个像素的响应度resp(x，y)和集光率t
i(x，y)
来确定矩阵m-1clum
和m
cpix
。
[0153]
本文描述的实施例的优点在于，在不使用温度探头的情况下，可以相对精确地估计由ir相机捕获的图像中的寄生热分量。例如，本发明人已经发现可以实现低至+/-1℃的精度。
[0154]
因此，已经描述了至少一个说明性实施例，本领域技术人员将容易想到各种改变、修改和改进。例如，对于本领域技术人员来说显而易见的是，寄生热感测像素的实施例仅提供了一个示例，并且用于限制像素视场的其他像素结构也是可能的。
[0155]
另外，虽然已经结合圆顶形状的模型描述了示例实施例，但是对于本领域技术人员来说，如何将计算适应于其他形式的模型将是显而易见的。
[0156]
另外，对于本领域技术人员来说显而易见的是，虽然已经描述了涉及使用两个转换矩阵m-1clumm
和m
cpix
的实施例，但是在替代性实施例中，可以采用单个转换矩阵或两个以上的转换矩阵。
[0157]
另外，对于本领域技术人员来说显而易见的是，结合各种实施例描述的各种特征可以在替代实施例中以任何组合的方式进行组合。