，可能期望用户发起单独校准步骤，因为经由有 和没有附加透镜的情况下的校准来调整等式（1)的不同部分。例如，在示例性方法中，用户 选择第一校准模式，并在没有附加透镜的情况下手动地对IR和VL图像进行配准以对基础 视差调整进行微调。随后，用户可以将附加IR透镜附接到照相机，选择第二校准模式，并且 再次地在存在附加透镜的情况下手动地对IR和VL图像进行配准以对附加透镜视差调整进 行微调。
[0096] 在某些示例中，用户可以执行与在图6中概述的类似的单步过程。在某些构造中， 没有附加透镜的基础照相机可以包括充分的视差修正或先前定义的视差改进数据，使得不 需要在不存在附加透镜的情况下执行现场校准。然而，在用户结合了附加透镜的情况下，仍 可能要求包括透镜参数的现场校准。因此，可替代单步过程可以包括将附加透镜附接到照 相机，并且在存在附加透镜的情况下执行如本文所述的现场校准过程，以减小IR和VL图像 之间的视差。
[0097] 虽然等式（1)及其描述一般地集中于在x方向上调整视差，但将认识到的是可以 在y方向上执行类似程序，如等式（2)中所示：
等式（2)在形式上类似于等式（1 )，但是各种照相机和/或透镜可在y方向上具有不同 的基础和F0V项，并且可另外或可替代地要求y方向上的不同的视差调整。将认识到的是 虽然在本公开中使用x和y方向，但可以将一般地任何二维基础用于手动地对IR和VL像 素进行配准。
[0098] 已描述了示例性热图像照相机和相关技术。还可将本公开中描述的技术体现或编 码在计算机可读介质中，诸如包含指令的非临时计算机可读存储介质。嵌入或编码在计算 机可读存储介质中的指令可促使可编程处理器或其它处理器执行该方法，例如当执行该指 令时。计算机可读存储介质可包括随机存取存储器（RAM)、只读存储器（ROM)、硬盘、光学介 质或其它计算机可读介质。
[0099] 另外，如先前所讨论的，可以与热成像照相机相连通或者使用由热成像照相机捕 捉的IR和VL图像在独立计算机上执行本发明的各种方面。可以保存独立计算机上的手动 视差改进并传输到照相机，以便在捕捉后续的IR和VL图像组时使用。
[0100] 已描述了各种实施例。此类示例是非限制性的，并且并未以任何方式限定或限制 本发明的范围。相反地，这些及其它示例在以下权利要求书的范围内。
【主权项】
1. 一种用于使用热成像照相机来改进组合的红外（IR)和可见光（VL)图像中的视差修 正的方法，所述方法包括： 提供热成像照相机，所述热成像照相机包括用于产生IR图像且具有IR光轴的IR照相 机模块、用于产生VL图像且具有VL光轴的VL照相机模块、用户接口、处理器、存储器以及 显示器，其中，所述IR光轴偏离所述VL光轴，导致IR和VL图像之间的视差误差； 经由所述用户接口来选择第一校准模式； 执行第一视差修正，以减小由IR和VL照相机模块产生的IR和VL图像之间的所述视 差误差； 在所述显示器上观看包括所述第一视差修正的目标场景的IR和VL图像的混合； 经由所述用户接口来手动地对所述IR和VL图像进行配准，以改进所述第一视差修 正； 生成与将所述IR和VL图像相对于彼此而进行手动配准的量相对应的第一组视差改进 数据；以及 将所述第一组视差改进数据作为基础视差改进数据保存在所述存储器中。2. 如权利要求1所述的方法，还包括： 将附加IR透镜附接到所述热成像照相机的所述IR照相机模块以创建修改的IR图像， 所述附加IR透镜对修改的IR和VL图像之间的视差误差有所贡献； 经由所述用户接口来选择第二校准模式； 执行第二视差修正，以减小修改的IR图像和VL图像之间的所述视差误差； 在所述显示器上观看包括所述第二视差修正的修改的IR图像和VL图像的混合； 经由所述用户接口来手动地对所述目标场景的所述修改的IR图像和所述VL图像进行 配准，以改进所述第二视差修正； 生成与将所述修改的IR图像和所述VL图像相对于彼此而进行手动配准的量相对应的 第二组视差改进数据；以及 将所述第二组视差改进数据保存为附加视差改进数据。3. 如权利要求2所述的方法，其中，手动地对所述IR和VL图像进行配准包括使所述 VL图像相对于所述IR图像移位。4. 如权利要求2所述的方法，其中，保存的视差改进数据被默认地结合到随后捕捉的 图像中。5. 如权利要求2所述的方法，还包括在不修改所述第一视差修正的情况下将所述第一 组改进数据重置。6. 如权利要求5中的任一项所述的方法，还包括在不修改所述第二视差修正的情况下 将所述第二组改进数据重置。7. 如权利要求2所述的方法，其中，所述附加IR透镜包括透镜存储器，并且其中，保存 所述第二组视差改进数据包括将所述第二组视差改进数据保存至所述透镜存储器。8. 如权利要求7所述的方法，还包括： 在将所述附加IR透镜附接到所述IR照相机模块时从所述透镜存储器接收所述第二组 视差改进数据；以及 将所述接收到的第二组视差改进数据输入到数学算法中，用于自动地执行视差改进过 程。9. 一种热成像照相机系统，包括： 红外（IR)照相机模块，其具有IR光轴； 可见光（VL)照相机模块，其具有偏离所述IR光轴的VL光轴； 用户接口； 显示器； 存储器；以及 处理器；其中，所述处理器被构造成执行第一过程，所述第一过程包括： 使用所述IR照相机模块来捕捉第一 IR图像； 使用所述VL照相机模块来捕捉VL第一图像； 执行第一视差修正，以减小所述第一 IR和第一 VL图像之间的视差误差； 在所述显示器上显示包括所述第一视差修正的所述第一 IR图像和第一 VL图像的混 合； 经由所述用户接口来接收第一组手动配准指令，其对应于用户的所述显示的第一 IR 和第一 VL图像的手动配准； 根据所述第一组手动配准指令对所述第一 IR和第一 VL图像进行配准；以及 将根据所述第一组手动配准指令执行的配准的所述量作为第一组视差改进数据保存 在存储器中。10. 如权利要求9所述的系统，还包括可移除附加透镜，所述可移除附加透镜能够被附 接到所述IR照相机模块，用于生成修改的IR图像，并且其中，所述处理器还被构造成执行 第二过程，所述第二过程包括： 使用所述IR照相机模块和所述可移除附加透镜来捕捉修改的IR图像； 使用所述VL照相机模块来捕捉第二VL图像； 执行第二视差修正，以减小所述修改的IR与第二VL图像之间的视差误差； 在所述显示器上显示包括所述第二视差修正的所述修改的IR和第二VL图像的混合； 经由所述用户接口来接收第二组手动配准指令，其对应于用户的所述显示的修改的IR 和第二VL图像的手动配准； 根据所述第二组手动配准指令对所述的修改的IR和第二VL图像进行配准；以及 将根据所述第二组手动配准指令执行的配准的所述量作为第二组视差改进数据保存 在存储器中。11. 如权利要求10所述的系统，其中，所述第一 IR和第一 VL图像是实时图像。12. 如权利要求10所述的系统，其中，所述修改的IR图像和所述第二VL图像是实时图 像。13. 如权利要求10所述的系统，其中，所述处理器被构造成在接收所述第一组手动配 准指令之前接收执行第一视差改进过程的命令。14. 如权利要求10所述的系统，其中，所述处理器被构造成在接收所述第二组手动配 准指令之前接收执行第二视差改进过程的命令。15. 如权利要求10所述的系统，其中 所述可移除附加透镜包括存储器，所述存储器能够在所述透镜被附接到所述IR照相 机模块时与所述照相机的所述处理器通信；并且 将根据所述第二组手动配准指令执行的配准的所述量作为第二组视差改进数据保存 在存储器中包括将所述第二组手动配准指令保存在所述附加透镜的所述存储器中。16. 如权利要求9所述的系统，还包括可移除附加透镜，所述可移除附加透镜能够被附 接到所述IR照相机模块，用于生成修改的IR图像，并且其中，所述第一 IR图像包括修改的 IR图像。17. -种系统，包括： 热成像照相机系统，其包括： 红外（IR)照相机模块，具有IR光轴且被构造成捕捉IR图像； 可见光（VL)照相机模块，具有偏离所述IR光轴的VL光轴且被构造成捕捉VL图像； 用户接口； 显示器； 存储器；以及 处理器，所述处理器能够： 执行导致第一视差调整的第一视差调整过程，以减小第一 IR图像与第一 VL图像之间 的视差误差； 同时地在所述显示器上呈现包括所述第一视差调整的所述第一 IR图像和第一 VL图 像； 经由所述用户接口来接收第一组手动配准指令，其对应于用户的所述显示的第一 IR 和第一 VL图像的手动配准； 将根据所述第一组手动配准指令执行的配准的所述量作为第一组视差改进数据保存 在存储器中；以及 从存储器调用所述第一组视差改进数据以便在视差改进数学算法中使用。18. 如权利要求17所述的系统，还包括可移除附加透镜，所述可移除附加透镜能够被 附接到所述IR照相机模块，用于生成修改的IR图像，所述附加透镜包括当所述附加透镜被 附接到所述IR照相机模块时与所述热成像照相机的所述处理器通信的透镜存储器。19. 如权利要求18所述的系统，其中，所述处理器还能够： 执行第二视差调整过程，以减小修改的IR图像和第二VL图像之间的视差误差； 同时地在所述显示器上呈现包括所述第二视差调整的所述修改的IR图像和第二VL图 像； 经由所述用户接口来接收第二组手动配准指令，其对应于用户的所述显示的修改的IR 和第二VL图像的手动配准； 将根据所述第二组手动配准指令执行的配准的所述量作为第二组视差改进数据保存 至所述透镜存储器；以及 在所述附加透镜被附接到所述IR照相机模块时从所述透镜存储器调用所述第二组视 差改进数据以便在所述视差改进数学算法中使用。20. 如权利要求18所述的系统，其中，所述处理器被构造成在所述附加透镜被附接到 所述IR照相机模块时从所述附加透镜的所述存储器接收附加视差改进数据以便在所述视 差改进数学算法中使用。
【专利摘要】本发明涉及用于终端用户视差调整的方法，具体地涉及一种具有可见光和红外照相机模块的热成像系统，所述系统可以执行用于减小捕捉的可见光和红外图像之间的视差误差的各种方法。该系统可以执行第一校准方法，其可以是手动的或自动的，并且可以经由用户接口来接收后续视差改进调整。可将视差改进调整存储在存储器中以供将来使用。系统可以包括能够与红外照相机模块对接以便产生修改的红外图像的附加透镜。该系统可以执行用以减小修改的红外和可见光图像之间的视差的方法，并且可以接收后续视差改进调整以进一步减小修改的红外和可见光图像之间的视差。可以将附加透镜视差改进数据存储在透镜的照相机存储器的存储器中，以便将来在视差修正中使用。
【IPC分类】H04N5/232, H04N5/217
【公开号】CN105007407
【申请号】CN201510192703
【发明人】J.里德, T.J.麦克芒努斯
【申请人】弗兰克公司
【公开日】2015年10月28日
【申请日】2015年4月22日
【公告号】EP2938061A1, US20150304636