专利名称：用于对准ir图像和可见光图像的照相机和方法
技术领域：
本发明涉及用于产生IR图像和可见光图像以及包括混合的IR数据和可见光数据
的图像的照相机，并且涉及使用这种照相机的方法。
背景技术：
近年来，已经提出了通常称为图像融合的用于以各种方式结合IR图像和可见光 图像的方法和照相机。典型地，照相机具有用于捕获IR图像数据的成像部件、用于捕获可
见光图像数据的另一个成像部件以及用于以可将所述图像数据显示在同一图像中的方式 处理所述图像数据的装置。例如在识别热物体或冷物体的位置时这种功能可能是有帮助 的。 典型地，可见光图像的视场大于IR图像的视场。在任何情况下，由于捕获这两种 图像的光学系统不位于完全相同的位置处，所以视场不同。这是被称为视差的公知光学现 象。因此，在显示融合图像或混合图像之前，必须对准这两种图像。此外，由于可见光图像 的分辨率典型地与IR图像的分辨率不同，所以必须重新调节(rescale)至少一个图像以使 图像相互匹配。 EP专利1299699公开了一种在同一图像中显示可见光图像数据和IR图像数据的 方法以及包括用于IR辐射和可见光二者的成像装置的照相机。例如可以根据各像素的温 度以多种不同的方式结合所述数据。 该专利还提到需要校正由彼此相距一定距离放置的分别用于IR和可见光的图像 捕获装置引起的视差。提出了两种主要的视差校正方法通过光学装置(例如镜)或者通 过电子装置。但没有详细讨论如何通过电子装置校正视差。 国际专利申请W02006/060746公开了基于与物体相距的距离的视差校正。而与物 体相距的距离又由聚焦距离(focusing distance)确定。在W02006/060746中提出的方法 是使用安装在IR镜头上的磁体和安装在光学器件壳体中的霍尔传感器，反之亦然，从而霍 尔传感器将测量与磁体的距离并由此测量聚焦距离。通过转动聚焦环(focusring)以本身 已知的方式手动进行照相机的实际聚焦。作为选择，还提出了通过相对于一个图像手动移 位另一个图像直到它们正确交叠来对准图像。 W02006/060746中提出了结合IR图像数据和可见光图像数据的多种方式。例如， 可以以灰度级(grey scale)示出可见光图像并将IR图像以彩色叠加在该图像上。作为选 择，可以显示可见光图像，但是对于温度值超过一定阈值的像素，可以用IR图像像素代替 可见光像素。 然而，当对准IR图像和可见光图像时，应该考虑到相对于彼此的图像实际位移不 简单的是视差的函数，所述视差是由IR成像部件和可见光成像部件之间的距离引起的位 移。典型地，在所述成像部件的光轴之间还存在角度。 尽管纯视差误差总是随着与物体相距的距离减小，但是在此情况下图像之间的实 际位移可能根据光轴之间的角度随着与物体相距的距离减小或增加。
本发明提出了一种对准可见光图像和IR图像的方法代替W02006/060746中提出 的方法，特别是提出了一种考虑到图像实际位移而不仅仅是视差误差的方法。
发明内容
根据本发明的第一方面，提供了一种照相机，该照相机包括第一成像部件，其用 于捕获第一视场的IR图像数据，所述第一成像部件包括IR光学器件；第二成像部件，其用 于捕获至少部分地与第一视场交叠的第二视场的可见光数据，所述第二成像部件包括可见 光光学器件；以及用于根据第一成像部件或第二成像部件的聚焦距离而相对于彼此调节第 一视场和第二视场的装置。至少第一成像部件或第二成像部件包括分别用于IR光学器件 或可见光光学器件的调焦的电机，所述照相机还包括被配置成感测所述电机位置的感测装 置和被配置成基于调焦电机(focus motor)的位置确定对准所述图像所需的位移的处理装 置。 此外，还提出一种显示融合图像的方法，所述融合图像包括由照相机的第一成像 部件捕获的IR图像数据和由照相机的第二成像部件捕获的可见光图像数据，所述方法包 括捕获IR图像数据和可见光图像数据；利用调焦电机进行调焦；感测调焦电机的位置； 基于调焦电机的位置确定对准IR图像数据和可见光图像数据所需的位移；进行位移以对 准所述图像。 因此，根据本发明，调焦功能本身被用于确定所需要的位移量。这是基于所述位 移取决于与物体相距的距离，而与物体相距的距离又与照相机的聚焦距离有关的认识。优 选地，使用照相机的IR部件的聚焦距离，但是如果在可见光成像部件中提供适当的调焦结 构，也可以使用照相机的可见光成像部件的聚焦距离作为替代。调焦电机可以用于自动调 焦，或者可以被手动控制，或者使用二者的结合。 在一个实施例中，所述处理装置被配置成通过基于调焦电机的位置确定聚焦距离 并基于该聚焦距离确定对准IR图像数据和可见光图像数据所需的位移，来确定该位移。在 此情况下，所述处理装置被配置成通过基于聚焦距离确定与物体相距的距离并基于与物体 相距的距离确定对准IR图像数据和可见光图像数据所需的位移，来确定该位移。本领域技 术人员将理解，可以使用这些中间步骤中的一个或多个来实施该方法，或者可以从电机的 位置直接确定该位移。
下面将通过示例并参照附图更详细地讨论本发明，其中
图1示出可以根据本发明使用的照相机。
图2示出包括用于对IR镜头进行自动调焦的电机的光学系统。
图3示出根据本发明的方法。
具体实施例方式
图1示意性地示出照相机l，其具有用于捕获IR图像的第一成像部件3和用于捕 获可见光图像的第二成像部件5。第一成像部件3包括IR光学器件7，所述IR光学器件7 以本身已知的方式将进入的IR辐射聚焦在IR感测元件阵列9上。优选地，该IR光学器件
4部件包括一个或多个IR镜头IO，其中一个可以由电机11驱动。第二成像部件包括可见光 光学器件13，所述可见光光学器件13用于以本身已知的方式将进入的可见光聚焦在可见 光感测元件阵列15上。由阵列9记录的数据被传送到处理单元17，处理单元17处理该数 据以产生适当的图像，该图像可以是可见光图像、IR图像或者IR图像和可见光图像的融合 图像。优选地，该照相机还包括显示装置19和用于存储所记录的图像数据和/或处理后的 图像的至少一个存储器单元21。 根据本发明，处理单元17被具体配置成用于确定位移、重新调节以及对准IR图像 和可见光图像所需的其它功能。下面将讨论根据本发明的各方面的确定位移的方法。本领 域技术人员将会理解，该方法优选地以存储在处理单元中的或者与处理单元相关的计算机 代码的形式实施。 优选地，该照相机还提供有本身已知的激光指示器23，其可被用于指出图像中的 物体。 聚焦距离可被用于确定照相机光学器件和被成像的物体之间的距离。优选地，使 用IR成像部件的聚焦距离，但是也可以使用可见光成像部件的聚焦距离作为代替，或者在 适当的调焦机构可用于该部件的情况下使用其它的。该聚焦距离又可以用多种方式来确 定。 根据本发明，假定存在调焦电机11 ，其用来提供自动调焦和/或手动调焦功能。在 此情况下，电机的位置可被用于确定光学器件的位置，所述光学器件的位置又表示聚焦距离。 图2示出包括电机25的光学系统的原理，电机25用于镜头的自动调焦，典型地用 于IR镜头27的自动调焦。以本领域中已知的方式自动或手动执行调焦功能。为了对光 学器件进行调焦，该电机沿着具有螺纹或嵌齿的杆在最小调焦位置fmin和最大调焦位置 fmax之间移动。位置感测装置29感测电机的当前位置f并基于该位置确定聚焦距离。位 置感测装置29的性质取决于所使用的电机的类型。可以通过使用高分辨度电机将镜头驱 动到期望的绝对位置并假定它在正确的位置停止，从而间接获得聚焦距离。作为选择，可以 通过将镜头驱动到期望的位置并使用来自位置测量电位计的反馈控制来控制它，从而直接 获得聚焦距离。 通常可以使用高性能电位计获得绝对镜头位置反馈。
因此，根据本发明的方法包括图3中所示的以下步骤
步骤Sl :自动地或通过对调焦电机的手动控制进行调焦。
步骤S2 :感测调焦电机的位置。 步骤S3 :基于调焦电机的位置确定聚焦距离，也就是至少一个镜头相对于另一个 镜头或另一个固定点的位置。聚焦距离是已知函数g(f，T)，f是调焦电机的聚焦位置，T是 温度。 步骤S4 :基于聚焦距离dF确定到物体的距离z。
步骤S5 :基于与物体相距的距离确定对准图像所需的位移。 步骤S6 :进行在步骤S5中确定的位移以对准图像。 步骤S3中的聚焦距离dF可表示为 dF = a/z+b (1)
其中a是表示像差对图像之间距离的贡献的常数。b是取决于远焦情况下的聚焦 距离的常数。z是与物体相距的距离。该常数表示对于光轴之间的角度所导致的图像之间 距离的贡献。可以在校准过程中针对每个单独电机获得参数a和b，其中当在照相机和物体 之间的两个不同距离处调焦时，至少两次感测电机位置。然后可以使用电机的位置和与物 体相距的距离确定a和b。 —旦聚焦距离已知，就可以按下式获得到物体的距离z :
z = a/ (dF-b) (2) 可以根据以下公式使用距离z确定IR图像和可见光图像相对于彼此所需要的位 移 Tx = ax/z+bx (3)
Ty = ay/z+by (4) 此处Tx表示水平位移，Ty表示垂直位移，ax、bx、ay和by是分别代表水平位移和 垂直位移的常数。代替位移，Tx和Ty可以表示可见光图像中的点，IR图像中的例如左上角 或中心或其它点将位于该点。 在交付(delivery)之前的校准程序中针对每个照相机确定常数ax、bx、ay和by。 如何进行是本领域中已知的。 应该理解，步骤S3和S4不必作为分开的步骤执行。本发明的重点是基于聚焦距 离确定位移，可以例如通过调焦电机的位置和与物体相距的距离之间的确定关系从调焦电 机的位置直接确定位移。可以将该关系作为函数或者作为查找表存储在存储器单元19中。
如上所述，可以从聚焦距离直接确定Tx和Ty。针对z将公式(2)带入公式(3)和 (4)得到: Tx = ax (dF_b) /a+bx (5)
Ty = ay (dF-b) /a+by (6)
公式(5)和(6)可以简化为:
Tx = clx * d+c2x (7)
Ty = cly * d+c2y (8) 因此，由于clc、c2x、cly和c2y是常数，所以得到镜头位置d和所需平移之间的线 性关系。 如果在步骤S4中确定出与物体相距的距离z，则在需要关于与物体相距的距离的 一般信息的情况下可以将该距离输出给操作者。 进行上述计算所需的公式和常数优选存储在存储器单元21中或者照相机中的另 一个存储器单元中。
权利要求
一种照相机，包括第一成像部件，其用于捕获第一视场的IR图像数据，所述第一成像部件包括IR光学器件；第二成像部件，其用于捕获至少部分地与所述第一视场交叠的第二视场的可见光数据，所述第二成像部件包括可见光光学器件；以及用于根据所述第一成像部件或所述第二成像部件的聚焦距离而相对于彼此调节所述第一视场和所述第二视场的装置，其特征在于，至少所述第一成像部件或所述第二成像部件包括用于分别对IR光学器件或可见光光学器件进行调焦的电机，所述照相机还包括被配置成感测所述电机的位置的感测装置和被配置成基于所述调焦电机的位置确定对准所述图像所需的位移的处理装置。
2. 根据权利要求1所述的照相机，其中所述处理装置被配置成通过基于所述调焦电机 的位置确定所述聚焦距离并基于所述聚焦距离确定对准所述IR图像数据和所述可见光图 像数据所需的位移，来确定所述位移。
3. 根据权利要求1所述的照相机，其中所述处理装置被配置成通过基于所述聚焦距离确定与物体相距的距离并基于与物体相距的距离确定对准所述IR图像数据和所述可见光图像数据所需的位移来确定所述位移。
4. 根据权利要求1所述的照相机，其中所述第一成像部件具有调焦电机，该调焦电机 的位置被用于确定所述位移。
5. —种显示融合图像的方法，所述融合图像包括由照相机的第一成像部件捕获的IR图像数据和由照相机的第二成像部件捕获的可见光图像数据，所述方法包括 捕获IR图像数据和可见光图像数据； 利用调焦电机进行调焦； 感测所述调焦电机的位置；基于所述调焦电机的位置确定对准所述IR图像数据和所述可见光图像数据所需的位移；进行位移以对准所述图像。
6. 根据权利要求5所述的方法，包括以下步骤 基于所述调焦电机的位置确定所述聚焦距离；基于所述聚焦距离确定对准所述IR图像数据和所述可见光图像数据所需的位移。
7. 根据权利要求5所述的方法，还包括以下步骤基于所述聚焦距离确定与物体相距的距离并基于与物体相距的距离确定对准所述IR 图像数据和所述可见光图像数据所需的位移。
8. 根据权利要求5所述的方法，包括利用IR照相机部件的调焦电机进行调焦并基于所 述调焦电机的位置确定所述位移。
全文摘要
一种照相机，包括第一成像部件，其用于捕获第一视场的IR图像数据，所述第一成像部件包括IR光学器件；第二成像部件，其用于捕获至少部分地与第一视场交叠的第二视场的可见光数据，所述第二成像部件包括可见光光学器件；以及用于根据第一成像部件或第二成像部件的聚焦距离而相对于彼此调节第一视场和第二视场的装置。所述成像部件之一包括用于分别对光学器件进行调焦的电机，所述照相机还包括被配置成感测所述电机位置的感测装置和被配置成基于所述调焦电机的位置确定对准所述图像所需的位移的处理装置。
文档编号G06T5/50GK101796818SQ200880105769
公开日2010年8月4日 申请日期2008年6月27日 优先权日2007年7月6日
发明者K·斯特兰德玛, M·英格黑德 申请人:前视红外系统股份公司