红外线成像中图像失真的校正的制作方法
【专利说明】红外线成像中图像失真的校正
[0001]相关申请的交叉引用
[0002]本专利申请主张申请号为61/672，153，申请日为2012年7月16日的美国专利申请的权益和优先权，其在此通过弓I用而全文包含在本申请中。
[0003]本申请是一篇申请号为13/437，645、申请日为2012年4月2日、专利名称为“红外线分辨率和对比度增强与融合”的美国专利申请的延续部分，该美国专利申请13/437，645是另一篇申请号为13/105,765、申请日为2011年5月11日、专利名称为“红外线分辨率和对比度增强与融合”的美国专利申请的延续部分，这篇美国专利申请13/105，765又是另一篇申请号为PCT/EP2011/056432、申请日为2011年4月21日、专利名称为“红外线分辨率和对比度增强与融合”的国际专利申请的延续，以上所有的专利申请通过引用而全部包含在本申请中。
[0004]国际专利申请PCT/EP2011/056432主张一篇申请号为61/473，207、申请日为2011年4月8日、专利名称为“红外线分辨率和对比度增强与融合”的美国临时专利申请的权益，其通过引用而全部包含在本申请中。
[0005]国际专利申请PCT/EP2011/056432是一篇申请号为12/766，739、申请日为2010年4月23日、专利名称为“红外线分辨率和对比度增强与融合”的美国专利申请的延续，其通过引用而全部包含在本申请中。
技术领域
[0006]一般地，本发明的实施例涉及使用红外线装置进行红外线成像的校正。
[0007]更具体地说，本申请的不同实施例涉及红外线成像中失真的校正，其中例如通过至少一个成像系统或者部件的物理方面，包括在红外线装置中的捕捉的图像中引入了失真，其中该至少一个成像系统被用于捕捉图像，举例来说，诸如例如红外线图像和可见光图像。
【背景技术】
[0008]红外线产品或者红外线装置，诸如红外线摄像头，如今常常与要求最低限度保持生产成本联系在一起。
[0009]由于红外线或者红外线装置的光学器件的成本正成为整个红外线成像设备成本中越来越大的一部分，光学器件正成为生产商想要寻求更加廉价的解决方案的领域。举例来说，这可以通过减少包含在光学系统中的光学元件，诸如透镜的数量，或者使用便宜的透镜而不是昂贵的、更高质量的透镜来实现。
[0010]然而，如今许多具有低成本光学系统的红外线成像设备也具有短焦距，导致在红外线装置的使用时捕捉的红外线图像中引入了失真。更高成本的透镜可被设计用于减少失真，但是在另一方面，成像设备的价格会更高。此外，校正失真的传统图像处理技术一般不解决存在于在红外线成像和/或在红外线图像和可视光(VL)图像的图像合并的背景下的失真冋题。
[0011]因此，在红外线装置中仍会存在实现失真校正的需要，以适合于在这样的装置中出现的特定问题。此外，仍然存在用一种有成本效率的方法来实现这样的失真校正的需要。
[0012]现有技术
[0013]见于美国专利申请，发明人为川崎(Kawasaki)，公开号为US2009/208136A1，公开的现有技术的一个实例，公开了处理具有失真的图像数据。
[0014]现有技术的另一个实例被公开在格里本(K.T Gribbon)等人(et.al.)著作的文献“使用双线性插值法的桶形失真校正算法的实时现场可编程逻辑门阵列(FPGA)实现”中。该方法适合于校正关于所描述的场景的桶形失真。
[0015]见于发明人为斯特兰德马尔(Strandemar)等人(et.al.)的国际专利W02009/008812的现有技术的另一个实例，公开了基于与图像化的场景的距离进行待混合图像的准直的方法。
[0016]然而，这些公开物没有一个涉及存在于红外线成像中和/或在红外线图像与可见光图像(VL)的图像合并背景下的失真问题，或者涉及使用类似本发明的实施例的方法解决这类问题的任何尝试。
【发明内容】
[0017]本发明的实施例消除了上面描述的问题或者至少使之减少到最低限度。这通过根据附加的权利要求所述的设备、方法和装置来实现。
[0018]依照一个或者多个实施例，针对使用红外线装置校正红外线成像的系统和方法被公开。举例来说，对于一个或者多个实施例，系统和方法可实现在红外线装置使用时所捕捉的红外线图像中的失真校正。
[0019]根据本发明的一个或者多个实施例，以本文公开的系统和方法为形式，为了校正呈现在使用红外线装置捕捉的图像中的失真，该系统和方法通过使用包括在所述红外线装置中的第一成像系统捕捉第一图像被执行；并且基于一个预设的失真关系来校正所述图像中第一的图像失真。
[0020]根据一个或者多个实施例，捕捉图像包括使用第一成像系统捕捉第一图像。
[0021]根据一个或者多个实施例，校正图像失真包括基于所述预设的失真关系来校正与观察到的实景有关的第一图像中的图像失真。
[0022]根据一个或者多个实施例，所述第一成像系统是红外线成像系统并且所述第一图像是使用所述红外线成像系统捕捉的红外线图像。
[0023]根据一个或者多个实施例，所述失真关系表示在所述第一图像中由所述红外线装置的所述第一成像系统所引起的失真。
[0024]根据一个或者多个实施例，捕捉图像包括捕捉第一图像。
[0025]根据一个或者多个实施例，使用第二成像系统捕捉第二图像并且关联第一和第二图像。
[0026]根据一个或者多个实施例，使用第一成像系统捕捉的所述第一图像是使用红外线成像系统捕捉的红外线图像，并且使用第二图像系统捕捉的所述第二图像是使用可见光成像系统捕捉的可见光图像。
[0027]根据一个或者多个实施例，校正图像失真包括基于所述预设的失真关系去校正与第二图像有关的第一图像中的图像失真。
[0028]根据一个或者多个实施例，所述失真关系表示在所述第一图像中由所述第一成像系统所引起的失真，在所述第二图像中由所述第二成像系统所引起的失真，以及在所述第一图像中由所述第一成像系统所引起的失真和在所述第二图像中由所述第二成像系统所引起的失真之间的关系。
[0029]根据一个或者多个实施例，进一步包括使用包括在所述红外线装置中的第二成像系统捕捉第二图像，其中:所述失真关系表示由所述红外线装置的所述第一和/或第二成像系统所引起的失真；以及所述第一图像的图像失真的校正包括基于所述预设的失真关系来校正与第二图像有关的图像失真。
[0030]根据一个或者多个实施例，进一步包括基于所述预设的失真关系来校正与第一图像有关的第二图像的图像失真。
[0031]根据一个或者多个实施例，第一成像系统是红外线成像系统，据此第一图像是红外线图像，以及第二成像系统是可见光成像系统，据此第二图像是可见光图像；第一成像系统是可见光成像系统据此第一图像是可见光图像以及第二成像系统是红外线成像系统据此第二图像是红外线图像；第一和第二成像系统是两个不同的红外线成像系统以及第一和第二图像是使用第一和第二红外线成像系统分别捕捉的红外线图像；或者第一和第二成像系统是两个不同的可见光成像系统以及第一和第二图像是使用第一和第二可见光成像系统分别捕捉的可见光图像。
[0032]根据一个或者多个实施例，第一成像系统是红外线成像系统据此第一图像是红外线图像，以及第二成像系统是可见光成像系统据此第二图像是可见光图像；第一成像系统是可见光成像系统据此第一图像是可见光图像以及第二成像系统是红外线成像系统据此第二图像是红外线图像；第一和第二成像系统是两个不同的红外线成像系统以及第一和第二图像是使用第一和第二红外线成像系统分别捕捉的红外线图像；或者第一和第二成像系统是两个不同的可见光成像系统以及第一和第二图像是使用第一和第二可见光成像系统分别捕捉的可见光图像。
[0033]根据一个或者多个实施例，所述预设的失真关系是以失真映射或者查找表的形式表示的。
[0034]根据一个或者多个实施例，失真映射或者查找表基于一个或者多个有失真行为的模型。
[0035]根据一个或者多个实施例，所述失真的校正包括分别在X方向和y方向将输入图像的像素坐标映射至校正过的输出图像的像素坐标。
[0036]根据一个或者多个实施例，该计算出的映射关系至少部分取决于以旋转偏差和/或平移偏差为形式的失真。
[0037]根据一个或者多个实施例，该方法进一步包括将所述第一和第二图像结合至合成图像中。
[0038]根据一个或者多个实施例，合成图像是添加了可见光图像数据的红外线图像的对比度增强的版本。
[0039]根据一个或者多个实施例，该方法进一步包括通过对准红外线图像和可见光图像获取合成图像，以及确定可见光图像分辨率值和红外线图像分辨率值实质上相同并且合成红外线图像和可见光图像。
[0040]根据一个或者多个实施例，合成所述第一和第二图像进一步包括通过抽取可见光图像的高空间频率内容来处理可见光图像。
[0041]根据一个或者多个实施例，合成所述第一和第二图像进一步包括处理红外线图像以减少在红外线图像中和/或使红外线图像模糊的噪声。
[0042]根据一个或者多个实施例，合成所述第一和第二图像进一步包括将高分辨率噪声添加至合成图像中。
[0043]根据一个或者多个实施例，合成所述第一和第二图像进一步包括将捕捉的可见光图像和红外线图像的抽取的高空间频率内容合成至合成图像中。
[0044]根据一个或者多个实施例，该方法进一步包括通信数据，该数据包括经由数据通信接口关联图像至外部元件。
[0045]根据一个或者多个实施例，该方法进一步包括在集成在或者耦合于热成像装置内的显示器上显示关联的图像。
[0046]根据一个或者多个实施例，该方法可以在硬件中，例如在一个现场可编程逻辑门阵列(FPGA)中，来实施。根据方法实施例，失真校正映射可被预设并且被放置在查找表(LUT)中。通过使用该查找表(LUT)以及像素值的插值，相比于计算在运行时的数值，在没有显著降低精度的情况下，可减少硬件设计的复杂性。
[0047]根据一个实施例，提供了一种用于捕捉图像并且用于校正呈现在所述图像中的失真的红外线(IR)装置，该装置包括:至少一个用于捕捉红外线图像的红外线成像系统和/或至少一个用于捕捉可见光图像的可见光成像系统；用于储存表示由所述红外线装置的一个或者多个成像系统所引起的失真的预设的失真函数的存储器；以及被配置为在所述的红外线装置的运行过程中从所述存储器接收检索所述预设的失真关系的处理单元，其中该处理单元进一步被配置为在所述红外线装置运行过程中使用所述预设的失真关系去校正所述捕捉的一个或者多个图像的失真，该处理器进一步被配置为:使用包括在所述红外线装置中的成像系统捕捉图像，并且基于预设的失真关系校正在所述图像中的图像失真。
[0048]根据一个或者多个实施例，该处理单元适合于执行在此公开的所有的或者部分的各种方法。
[0049]通过本文所描述的实施例获取的有益效果，是为了使得使用红外线装置或者红外线摄像头的光学系统具有更低的成本，是由于一些失真被允许存在。通常地，可使用更少的透镜元件大大地减少生产成本。本发明的实施例还可以使用单透镜的解决方案大大地改进输出结果。根据其中减少光学元件数量的实施例，通过根据本文所描述的实施例的图像处理反而能获取高图像质量；或者在红外线装置或者红外线摄像头的运行过程中，或者在使用这样的红外线装置或者红外线摄像头捕捉的图像的后续处理过程中。据此，本文公开的实施例的进一步的突出效果是包含在成像系统中，尤其是红外线成像系统中，的光学器件的成本可被减少，同时维持或者增强输出图像质量，或者可选地，在不增加光学器件成本的情况下，增强图像质量。
[0050]含有使用不同的成像系统，例如红外线成像系统和可见光成像系统，捕捉的图像的合成图像，例如融合，的红外线成像中出现的特定的问题是，这些图像必须被对准为了使合成结果满足目视判读和测量相关性。发明人已经意识到通过省去执行关于实景或者外部参照物的失真校正的步骤以降低计算复杂性，而是根据本文呈现的不同实施例来执行彼此相关的图像的失真校正，以更加资源效率的方式能够执行失真校正，满足输出质量。换句话说，根据本文所描述的实施例，失真校正不必进一步地关于实景或者外部参照物“完善”。因此，相比于先前运算上更加昂贵的方案，失真校正可以以一个有成本和资源效率的方式执行。
[0051]通过本发明的实施例可以实现进一步的突出效果，是实现待被合成的图像的改进准直，据此在合成后还渲染更高质量的图像，例如更清晰的图像。
[0052]此外，由于所涉及的计算在运算上的花费并不昂贵，在红外线装置的操作过程中，本发明的实施例可实时执行。此外，本发明的实施例可使用现场可编程逻辑门阵列(FPGA)或者其他类型的有限的或者功能性的专业处理单元执行。
[0053]通常地，红外线图像具有比可见光图像更低的分辨率，并且因此具有比对于可见光图像来说运算上更不昂贵的校正的像素值失真的计算。因此，这可以是校正与可见光图像相关的红外线图像的失真的好处。然而，取决于使用的成像系统，对于一些实施例来说反过来也可能是成立的。此外，由于红外线图像相比于，例如可见光图像，通常更加模糊，或者换句话说包括以边界和轮廓为形式的更低的对比度，向下采样和使用内插的值可在不存在任何可见光催化的情形下被用于红外线图像。正如本文所呈现的，本发明的实施例，其中从两个不同的成像系统得到的图像被提及，还可涉及第一和第二图像关于其他图像的部分校
IHo
[0054]在现有技术中知晓的任何合适的插值方法，取决于诸如例如如果焦点在质量成本或者运算成本上的情形中，可根据本发明的实施例被用于插值。
[0055]正如本文所描述的，方法和装置的实施例进一步解决了校正以由包括在红外线装置中的各自成像系统所引起的旋转和/或平移为形式的失真的问题。
[0056]根据实施例，提供了具有适合于执行所有或者部分的本文公开的方法的各种实施例的处理器的计算机系统。
[0057]根据实施例，提供了计算机可读媒介，其上储存有适合于控制用来执行所有或者部分的本文公开的方法的各种实施例的处理器的非临时性信息。
[0058]本发明的范围被上述权利要求所定义，成为这个
【发明内容】
的一部分供参考。通过考虑下文的一个或者多个实施例的详细描述，本发明的实施例的更加完整的理解和其中额外优点的启示将被给予给那些本领域的技术人员。被首先简略地描述的附加图片可作为参考。
【附图说明】
[0059]现在通过参考附图，将更加详细地描述本发明的实施例，其中:
[0060]图1为根据本发明的实施例所述的红外线(IR)装置的示意图；
[0061]图2a和图2b示出了根据实施例所述的图像失真校正的实例；
[0062]图3a和图3b示出了根据实施例所述的失真校正方法的流程图；
[0063]图4示出了根据实施例所述的失真校正的流程视图；
[0064]图5是根据实施例所述的方法的流程图；
[0065]图6示出了依照公开的实施例所述，从红外线图像和可视光(VL)图像中去获取合成图像的方法的流程图；
[0066]图7示出了依照公开的实施例所述，包括诸如触屏之类的交互式显示器、图像显示器部位以及使用户能够进行输入的控制装置的输入设备的实例；
[0067]图8a举例说明了依照公开的实施例所述，在没有启用视场角跟踪功能的情况下，可见光成像系统和红外线成像系统的视场角；
[0068]图Sb说明了依照公开的实施例所述，当启用视场角跟踪功能时，经处理的可见光图像和经处理的红外线图像的实例，描绘或者表示捕捉视图的基本上相同的子集；
[0069]图9示出了依照公开的实施例所述，显示图像数据和信息的显示电子设备，图像数据和信息包含红外线图像、可见光图像或者关联红外线数据和可见光数据的合成图像；
[0070]图1Oa说明了依照公开的实施例所述，在没有失真校正的情况下，合成第一失真图像和第二失真图像的方法；
[0071]图1Ob说明了依照公开的实施例，在启用失真校正功能的情况下，合成第一失真图像和第二失真图像的方法；
[0072]通过参照下文的详细描述可以最充分地理解本发明的实施例和它们的优点。应该明白的是，在附图中以相同的引用标号标注相同的元件。
【具体