统和所述第二成像系统之间失真的不同被表示。
[0137]在一个或者多个实施例中，由所述第一图像中所述第一成像系统所引起的失真和由所述第二图像中所述第二成像系统所引起的失真之间的所述关系通过均被包括在红外线装置I中的红外线成像系统和可见光成像系统之间的失真的不同被表示。
[0138]在一个或者多个实施例中，由所述第一图像中所述第一成像系统所引起的失真和由所述第二图像中所述第二成像系统所引起的失真之间的所述关系通过用于描述视场角(FOV)的不同或者通过第一成像系统和所述第二成像系统捕捉的实景的视图的不同的所述红外线装置中的所述第一和所述第二成像系统之间的视差误差被表示。
[0139]根据一个实施例，处理单元2、或者外部处理单元，被进一步配置为基于预设的失真关系校正与第一图像有关的第二图像的图像失真。
[0140]根据一个实施例，处理单元、外部处理单元可配置实用硬件描述语言(HDL)。
[0141]根据一个实施例，处理单元2和/或外部处理单元是现场可编程逻辑门阵列(FPGA)，即一种集成电路，其被设计成可被客户或者设计者配置并且可使用硬件描述语言(HDL)配置。据此，本发明的实施例包括配置数据，被配置以控制现场可编程逻辑门阵列(FPGA)来执行本文所描述的方法实施例的步骤和功能。
[0142]在各种实施例中，处理单元2和/或外部处理单元包括处理器，诸如一个或者多个微处理器，一个多核处理器，一个微控制器，一个逻辑设备，例如被配置以执行处理功能的可编程逻辑设备(PLD)，数字信号处理(DSP)设备，图形处理单元(GPU)，专用集成电路(ASIC)等等。
[0143]在一个或者多个实施例中，现场可编程逻辑门阵列FPGA中的一些或者所有的失真校正方法或者算法的步骤的实施是可行的，这是由于该方法或者算法不包括复杂的或者运算上的花费的运算过程。
[0144]在本文本中，术语“计算机程序产品”和“计算机可读储存媒介”一般可被用于指媒体，诸如存储器15/8或者处理单元2的储存媒介或者外部储存媒介。
[0145]这些和其他形式的计算机可读储存媒体可被用于提供给处理单元2用于实行的指令。这一指令，一般被称作“计算机程序代码”(其可以计算机程序或者其他分组的形式被分组)，当被实行时，使红外线装置I能够执行当前技术的实施例的特征或者功能。进一步地，正如本文所使用的，“逻辑”可包含硬件、软件、固件、或者它们的合成。
[0146]在一个或者多个实施例中，处理单元2和/或外部处理单元被通信地耦合至并且通信连接存储器15和/或外部存储器8，在其中，参数随时准备被处理单元2和/或外部处理单元使用，以及如果用户期望，正在被处理单元2处理的图像可被储发生其中。
[0147]在一个或者多个实施例中，一个或者多个存储器15可包括选择硬盘驱动器、软盘驱动器、磁带驱动器、光盘驱动器、⑶或者DVD驱动器(可记录式(R)或可重写格式(RW))，或者其他可移动的或者固定的媒体驱动器。
[0148]根据实施例，处理单元2和/或外部处理单元可适合于接口并通信红外线装置I的其他部件以执行本文所描述的处理步骤和/或运行过程。
[0149]在一个或者多个实施例中，处理单元2和/或外部处理单元可包含失真校正模块(图中未示出)，适合于实施失真校正方法或者算法，例如失真校正方法或者算法诸如参阅图2至图4所讨论的那样。
[0150]在一个或者多个实施例中，处理单元2和/或外部处理单元可适合于执行各种其他图像处理运行过程，包含平移/移位，或者可被平移和/或旋转的图像、图像的旋转以及图像的对比或者其他数据集，或者作为失真校正方法实施例的一部分或者与之分开。
[0151]在一个或者多个实施例中，失真校正模块可被集成在软件和/或硬件中作为处理单元2和/或外部处理单元的一部分，其带有的代码，例如软件、固件或者配置数据，用于在例如存储器15和/或外部的且可存取的存储器中储存的失真校正模块。
[0152]在一个或者多个实施例中，如本文所公开的失真校正方法，可通过分开的计算机可读媒介，例如存储器，诸如硬驱、光碟、数码影碟、或者闪存，储存，用以通过计算机，例如逻辑系统或者基于处理器的系统，实行来执行各种本文所公开的方法和运算。
[0153]在一个或者多个实施例中，计算机可读媒介可为便携式的和/或与装置I独立安装，将储存的失真校正方法、算法、映射或者查找表(LUT)，通过耦合计算机可读媒介至装置I和/或通过装置I从计算机刻度媒介中下载失真校正方法、算法、映射或者查找表(LUT)，例如通过有线连接和/或无线连接，提供给装置I。
[0154]在一个或者多个实施例中，存储器15、或者外部存储单元包括一个或者多个存储设备，适合于储存数据和信息，包含红外线数据和信息。在一个或者多个实施例中，存储器
15、或者外部存储单元可包括一个或者多个各种类型的存储设备，包含易失性的和非易失性的存储设备，诸如RAM (随机存取存储器)、ROM(只读存储器)、EEPROM (电可擦只读存储器)、闪存等等。
[0155]在一个或者多个实施例中，处理单元2、或者外部处理单元可适合于实行储发生存储器15、或者外部存储单元中的软件，从而执行本文所描述的方法并且处理本文所描述的步骤和/或运算。
[0156]在各种实施例中，红外线装置I的部件可被合成和/或被实施与否，是根据需要或者取决于用途和需求的，该装置I表示相关系统的各种功能块。在一个典型的实施例中，处理单元2可与存储部件15、成像系统11、12和/或显示器4组合。
[0157]在另一个典型的实施例中，处理单元2与成像系统11、12之一组合，该成像系统
11、12通过所述成像系统11、12之一内的电路，例如处理器、微处理器、逻辑设备、微控制器等等，只执行处理单元2的某个功能。
[0158]在一个或者多个实施例中，红外线装置11的各种部件彼此远离，例如一个或者多个成像系统11、12可包括具有处理单元2、或者外部处理单元等等的遥感器，表示可以或者可以不与一个或者多个成像系统11、12通信连接的计算机。
[0159]方法实施例
[0160]在图5中，用于校正失真，还可被称为图像失真，的方法实施例，表示在如流程图所示的使用红外线(IR)装置捕捉的图像中，该方法包括:
[0161]步骤510中:使用包括在所述红外线装置中的第一成像系统捕捉第一图像；以及
[0162]步骤520中:基于预设的图像失真关系校正第一图像的图像失真。
[0163]在一个或者多个实施例中，预设的图像失真关系以失真映射或者查找表(LUT)的形式被表示。
[0164]在一个或者多个实施例中，失真映射或者查找表是基于一个或者多个用于失真行为类型(distort1n behav1r type)，诸如桶形失真、枕形失真或者胡子/复杂失真，其本身是可被本领域技术人员理解的技术。
[0165]在一个或者多个实施例中，示例性的失真类型表示径向失真，例如导致直线变成不同种类的非直线的失真。
[0166]根据一个实施例，失真的校正包括在X方向和y方向分别将输入图像的像素坐标映射至校正过的输出图像的像素坐标。
[0167]根据一个实施例，预设的图像失真关系是经计算的图像失真关系，其至少部分取决于以旋转和/或平移偏差为形式的图像失真，表征了输入图像300的像素坐标和校正后的输出图像的像素坐标之间的一对一关系。
[0168]根据一个实施例，第一成像系统是红外线成像系统以及第一图像是使用所述红外线成像系统捕捉的红外线图像。
[0169]根据一个实施例，所述图像失真关系表示由所述红外线装置的所述第一成像系统所引起的所述第一图像中的图像失真。
[0170]根据实施例，步骤510可进一步包括使用包括在所述红外线装置中的第二成像系统捕捉第二图像，其中:所述图像失真关系表示由所述红外线装置的所述第一和/或第二成像系统所引起的图像失真；以及所述校正第一图像的图像失真包括基于所述预设的图像失真关系来校正与第二图像有关的图像失真。
[0171]根据一个实施例，该方法进一步包括基于所述预设的图像失真关系来校正与第一图像有关的第二图像的图像失真。
[0172]在一个可选的实施例中，用于校正图像失真的方法表示在使用红外线(IR)装置桌的图像中，该方法包括:
[0173]在步骤510中:使用包括在所述红外线装置中的成像系统捕捉图像；以及
[0174]在步骤520中:基于图像失真关系校正所述图像的图像失真。
[0175]在一个或者多个实施例中，在步骤510中捕捉图像包括使用第一成像系统捕捉第一图像。
[0176]在一个或者多个实施例中，其中使用第一成像系统捕捉的所述第一图像是捕捉到的红外线图像以及所述第一成像系统是红外线成像系统。
[0177]在一个或者多个实施例中，使用第一成像系统捕捉的所述第一图像是捕捉到的可见光(VL)图像以及所述第一成像系统是可见光成像系统。
[0178]在一个或者多个实施例中，捕捉图像进一步包括使用第二成像系统捕捉第二图像。
[0179]在一个或者多个实施例中，其中使用第二成像系统捕捉的所述第二图像是捕捉到的红外线图像以及所述第二成像系统是红外线成像系统。
[0180]在一个或者多个实施例中，使用第二成像系统捕捉的所述第二图像是捕捉到的可见光(VL)图像以及所述第二成像系统是可见光成像系统。
[0181]在一个或者多个实施例中，捕捉图像进一步关联第一和第二图像。
[0182]在一个实例中，关联是通过生成其中储存由所述第一和第二图像的常见的数据结构来获取的。
[0183]在一个非限定性的实例中，使用包括在所述红外线装置中的成像系统捕捉图像是下述情形之一:使用第一成像系统捕捉红外线图像；使用第一成像系统捕捉可见光图像；使用第一成像系统捕捉红外线图像以及使用第二成像系统捕捉可见光图像；使用第一成像系统捕捉可见光图像以及使用第二成像系统捕捉红外线图像；使用第一成像系统捕捉红外线图像以及使用第二成像系统捕捉红外线图像；或者使用第一成像系统捕捉可见光图像以及使用第二成像系统捕捉可见光图像。
[0184]校正图像失真
[0185]在一个或者多个实施例中，校正图像失真包括基于所述预设的图像失真关系来校正与观察到的实景有关的第一图像的图像失真。
[0186]在一个非限定性的实例中，所述预设的图像失真关系能在所述红外线(IR)装置I的设计时或者生产时获取。这能通过捕捉所述观察到的实景中的物体的图像获取，诸如与网格图形一起配置的平整表面，分析与所述观察到的实景有关的所述捕捉到的图像中的图像失真并确定所需求的校正值以校正、最小化或者减少与观察到的实景有关的第一图像的图像失真并且储存所述校正值作为预设的图像失真关系。所述预设的图像失真关系可能被确定用于所述红外线装置I和所述观察到的实景之间有限的距离。
[0187]在一个或者多个实施例中，校正图像失真包括基于所述预设的图像失真关系去校正与第二图像有关的第一图像中的图像失真。
[0188]在一个非限定性的实例中，所述预设的图像失真关系能在所述红外线(IR)装置I的设计时或者生产时获取。这能通过捕捉所述观察到的实景中的物体的第一和第二图像获取，诸如与网格图形一起配置的平整表面，分析与所述捕捉到的第二图像有关的所述捕捉到的第一图像中的图像失真并确定所需求的校正值以校正、最小化或者减少与第二图像有关的第一图像的图像失真并且储存所述校正值作为预设的图像失真关系。所述预设的图像失真关系可能被确定用于所述红外线装置I和所述观察到的实景之间有限的距离。
[0189]在一个或者多个实施例中，校正包括基于所述预设的图像失真关系去校正与观察到的实景有关的第二图像中的图像失真。
[0190]在一个或者多个实施例中，校正包括基于所述预设的图像失真关系去校正与第一图像有关的第二图像中的图像失真。
[0191]在一个或者多个实施例中，所述图像失真关系包括:由所述第一图像中所述第一成像系统所引起的图像失真；由所述第二图像中所述第二成像系统所引起的图像失真；以及由所述第一图像中所述第一成像系统所引起的图像失真和由所述第二图像中所述第二成像系统所引起的图像失真之间的关系。
[0192]在一个或者多个实施例中，由所述第一图像中所述第一成像系统所引起的图像失真和由所述第二图像中所述第二成像系统所引起的图像失真之间的所述关系包括所述第一成像系统和所述第二成像系统之间的不同的图像失真。
[0193]在一个或者多个实施例中，由所述第一图像中所述第一成像系统所引起的图像失真和由所述第二图像中所述第二成像系统所引起的图像失真之间的所述关系包括红外线成像系统和可见光(VL)成像系统之间不同的图像失真。
[0194]在一个或者多个实施例中，由所述第一图像中所述第一成像系统所引起的图像失真和由所述第二图像中所述第二成像系统所引起的图像失真之间的所述关系进一步包括:所述红外线装置的所述第一和所述第二成像系统之间的视差距离误差，其中视差距离误差描述平移图像失真，取决于与所述第二成像系统光轴有关的第一成像系统的光轴的平移；视差指向误差，其中指向误差图像失真描述来自于所述第一光轴的取向平行于第二成像系统第二光轴的偏差；视差旋转误差、径向失真或者旋转失真/偏差，其中视差旋转误差描述与所述第二成像系统绕其光轴旋转有关的所述第一成像系统绕其光轴的旋转图像失真；以及像素分辨率值误差，像素分辨率值误差图像失真描述取决于像素分辨率值，即第一成像系统的图像传感器中元件的数量、和第二成像系统的像素分辨率值，的像素分辨率图像失真。
[0195]在一个或者多个实施例中，第一和第二图像在步骤510中已经被捕捉到，该方法可进一步包括将所述第一和第二图像组合为合成图像，举例来说通过执行捕捉到的图像的融合、混合或者画中画运算。
[0196]根据另一个实施例，第一成像系统是红外线成像系统，因此第一图像是红外线图像，并且第二成像系统是可见光成像系统，因此第二图像是可见光图像。
[0197]根据另一个实施例，第一成像系统是可见光成像系统，因此第一图像是可见光图像，并且第二成像系统是红外线成像系统，因此第二图像是红外线图像。
[0198]根据另一个实施例，第一和第二成像系统是两个不同的红外线成像系统，并且第一和第二图像是分别使用第一和第二红外线成像系统捕捉的红外线图像。
[0199]根据另一个实施例，第一和第二成像系统是两个不同的可见光成像系统，并且第一和第二图像是分别使用第一和第二可见光成像系统捕捉的可见光图像。
[0200]在一个或者多个实施例中，预设的图像失真关系表示均被包括在红外线装置I中的红外线成像系统和可见光成像系统之间不同的图像失真。根据这个实施例，使用所述图像失真关系去校正所述捕捉到的一个或者多个图像的图像失真，可包括以下一些选择:
[0201]基于预设的图像失真关系来校正与使用可见光成像系统捕捉到的可见光图像有关的使用红外线成像系统捕捉到的红外线图像；
[0202]基于预设的图像失真关系来校正与使用红外线成像系统捕捉到的红外线图像有关的使用可见光成像系统捕捉到的可见光图像；或者
[0203]基于预设的图像失真关系均处理使用红外线成像系统捕捉到的红外线图像和使用可见光成像系统捕捉到的可见光图像，从而经处理的图像为互相校正过的图像失真。
[0204]在图2a中，示出了失真校正后的失真的图像200和对应的图像210。失真的图像200示出了图像失真的一个类型，被称为桶形失真，本领域技术人员知晓的图像失真的多个类型中的一个。其他的失真类型的几个实例是枕形失真和胡子或者复杂失真。
[0205]根据实施例，图像200的失真校正成图像210可以通过使用预设的以映射或者查找表(LUT)为形式的失真关系实时执行。根据这个实施方式，失真行为的不同类型可在没有任何改编程序或者引入新算法或者代码至现场可编程逻辑门阵列(FPGA)或者其他一般的执行失真校正的处理单元的情况下被校正。
[0206]根据其他实施例，将图像200的失真校正为图像210可通过使用以预设的函数，诸如传递函数、方程、算法或者其他描述失真关系的参数和规则，为形式的、可被本领域技术人员所理解的预设的失真关系实时执行。
[0207]在一个或者多个实施例中，预设的失真关系可通过计算确定，其中计算包括求出预设的函数的值以及储存结果至存储器1