图像融合系统和方法

图像融合系统和方法
【专利摘要】提供了一种图像融合系统和方法。所述系统包括：多个相机，被配置为分别产生多个图像；图像融合单元，被配置为将所述多个图像融合成单个图像。
【专利说明】图像融合系统和方法
[0001] 本申请要求于2013年8月20日在韩国知识产权局提交的10-2013-0098609号韩 国专利申请的优先权，该申请的公开通过引用全部合并于此。

【技术领域】
[0002] 本发明构思的一个或更多个示例性实施例涉及一种基于多个不同类型的相机的 图像融合系统和方法。

【背景技术】
[0003] 与其他类型的相机相比，用于监控系统的可见光相机（例如，电荷耦合器件（CCD) 相机）技术先进，并被应用于各个领域。然而，由于CCD相机仅可在有光的地方执行监控 功能，因此在没有光的情况下可能不在监控系统中使用C⑶相机。热成像相机可被用于黑 暗环境中的监控，并被用于与热辐射相关的各种领域（诸如检测对象的热损耗或分析电路 板）。热成像相机可仅可在具有热源的环境中执行监控功能，而不能在没有任何热辐射的环 境中执行监控功能。


【发明内容】

[0004] 本发明构思的一个或更多个实施例提供一种能够通过对由多个不同类型的相机 捕获并随后进行融合的图像进行监控，来执行最优监控的图像融合系统和方法。
[0005] 各个方面将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过 提供的实施例的实施可以被理解。
[0006] 根据示例性实施例的一方面，提供了一种图像融合系统，所述图像融合系统可包 括：图像选择单元，被配置为从由多个不同类型的相机捕获的多个图像中选择至少两个图 像；第一匹配单元，被配置为通过基于关于选择的图像的变焦信息，将选择的图像的宽高比 调整为与参考宽高比相同，来对选择的图像进行匹配，其中，选择的图像的宽高比根据用于 捕获选择的图像的视场（F0V)被分别确定；第二匹配单元，被配置为通过将选择的图像的 分辨率调整为与参考分辨率相同，来对选择的图像进行匹配；第三匹配单元，被配置为通过 应用选择的图像之间的相互几何关系来对选择的图像进行匹配；融合单元，被配置为对经 过第一匹配单元到第三匹配单元匹配的选择的图像进行融合，从而产生融合图像。
[0007] 第二匹配单元可被配置为对宽高比被调整为与所述参考宽高比相同的选择的图 像的分辨率进行调整，第三匹配单元可被配置为将所述相互几何关系应用到分辨率被调整 为与所述参考分辨率相同的选择的图像。
[0008] 所述多个不同类型的相机可包括：多个摇摄倾斜变焦（PTZ，pan-tilt-Z〇〇m)相 机，每个PTZ相机以各自的F0V捕获同一拍摄区域；多个全方位相机，以预定间隔排列使得 由全方位相机中的两个相邻相机捕获的拍摄区域的相邻部分重叠。
[0009] 所述多个PTZ相机可包括：可见光相机，被配置为产生可见光图像；热成像相机， 被配置为产生热图像；红外线相机，被配置为产生红外图像。
[0010] 图像选择单元可从由所述多个PTZ相机捕获的多个图像和通过从全景图像中裁 剪出与所述多个图像相应的区域而产生的裁剪图像中，选择所述至少两个图像，其中，全景 图像是通过使用由所述多个全方位相机捕获的图像而产生的。
[0011] 关于选择的图像的变焦信息可包括关于裁剪图像的变焦信息，其中，关于裁剪图 像的变焦信息是从裁剪图像的尺寸转换的数字变焦比。
[0012] 第一匹配单元可对选择的图像的左边和右边进行裁剪或者对选择的图像执行零 填充。
[0013] 第三匹配单元可包括：特征提取单元，被配置为检测选择的图像的特征；特征匹 配单元，被配置为将选择的图像中的一个图像确定为参考图像，并检测所述参考图像的特 征和除所述参考图像之外的至少一个图像的特征之间的匹配特征；转换函数估计单元，被 配置为基于检测到的匹配特征，来估计除所述参考图像之外的所述至少一个图像的转换函 数。
[0014] 融合单元可通过将权重应用于选择的图像中的每个图像来调整选择的图像的透 明度。
[0015] 所述系统还可包括复用器，其中，复用器被配置为输出所述多个图像和融合图像 中的至少一个图像。
[0016] 根据另一示例性实施例的一方面，提供了一种图像融合系统，所述图像融合系统 可包括：多个相机，被配置为分别产生多个图像；图像融合单元，被配置为将所述多个图像 融合成单个图像，其中，所述多个相机的视场（F0V)被设置为大体上相同。
[0017] 所述多个相机可包括可见光相机、热成像相机和红外线相机中的至少两个相机。
[0018] 图像融合单元可包括：调整尺寸单元，被配置为控制所述多个图像使得所述多个 图像的各自的尺寸是相同的；信息融合单元，被配置为提取未显示在可见光图像中但显示 在热图像中的对象以及未显示在可见光图像和热图像中但显示在红外图像中的对象，并将 热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可见光图像上，其 中，可见光图像由可见光相机捕获，热图像由热成像相机捕获，红外图像由红外线相机捕 犾。
[0019] 根据另一示例性实施例的一方面，提供了一种图像融合方法，所述方法可包括：从 由多个不同类型的相机捕获的多个图像中选择至少两个图像；通过基于关于选择的图像的 变焦信息，将选择的图像的宽高比调整为与参考宽高比相同，来对选择的图像进行第一匹 配，其中，选择的图像的宽高比根据用于捕获选择的图像的视场（F0V)被分别确定；通过将 选择的图像的分辨率调整为与参考分辨率相同，来对选择的图像进行第二匹配；通过应用 选择的图像之间的相互几何关系，来对选择的图像进行第三匹配；对经过第一匹配、第二匹 配和第三匹配这三个匹配步骤被匹配的选择的图像进行融合，以产生融合图像。
[0020] 可通过对宽高比被调整为与所述参考宽高比相同的选择的图像的分辨率进行调 整，来执行第二匹配，可通过将所述相互几何关系应用到分辨率被调整为与所述参考分辨 率相同的选择的图像来执行第三匹配。
[0021] 所述多个不同类型的相机可包括：PTZ相机，每个PTZ相机以各自的F0V捕获同一 拍摄区域；多个全方位相机，以预定间隔排列使得由全方位相机中的两个相邻相机捕获的 拍摄区域的相邻部分重叠，其中，所述多个PTZ相机可包括产生可见光图像的可见光相机、 产生热图像的热成像相机以及产生红外图像的红外线相机。
[0022] 选择所述至少两个图像的步骤可包括：从由所述多个PTZ相机捕获的多个图像和 通过从全景图像中裁剪出与所述多个图像相应的区域而产生的裁剪图像中，选择所述至少 两个图像，其中，全景图像是通过使用由所述多个全方位相机捕获的图像而产生的。
[0023] 关于选择的图像的变焦信息包括关于裁剪图像的变焦信息，其中，关于裁剪图像 的变焦信息是从裁剪图像的尺寸转换的数字变焦比。
[0024] 调整宽高比的步骤可包括：对选择的图像的左边和右边进行裁剪或对选择的图像 进行零填充。
[0025] 第三匹配的步骤可包括：检测选择的图像的特征；将选择的图像中的一个图像确 定为参考图像，并检测所述参考图像的特征和除所述参考图像之外的至少一个图像的特征 之间的匹配特征；基于检测到的匹配特征来估计除所述参考图像之外的所述至少一个图像 的转换函数。
[0026] 融合的步骤可包括：通过将权重应用于选择的图像中的每个图像，来调整选择的 图像的透明度。
[0027] 所述系统还可包括输出所述多个图像和融合图像中的至少一个图像。
[0028] 根据另一示例性实施例的一方面，提供了一种图像融合方法，所述方法可包括：通 过使用可见光相机以第一F0V产生显示对象的亮度分布的可见光图像；通过使用热成像相 机来产生显示关于对象的温度信息的热图像，其中，热成像相机被控制使得热成像相机的 F0V与可见光相机的F0V相同；通过使用红外线相机来产生通过将红外线发射到对象上而 接收到的红外图像，其中，红外线相机被控制使得红外线相机的F0V与可见光相机和热成 像相机的F0V相同；将可见光图像、热图像和红外图像融合成单个图像。
[0029] 融合图像的步骤可包括：控制可见光图像、热图像和红外图像，使得可见光图像、 热图像和红外图像的各自的尺寸相同。
[0030] 融合图像的步骤可包括：提取未显示在可见光图像中但显示在热图像中的对象； 提取未显示在可见光图像和热图像中但显示在红外图像中的对象；将热图像和红外图像重 叠在可见光图像上，以使得提取出的对象被显示在可见光图像上。

【专利附图】

【附图说明】
[0031] 从下面结合附图进行的示例性实施例的描述中，这些和/或其他方面将变得明显 和更易于理解，其中 ：
[0032] 图1是根据示例性实施例的图像融合系统的框图；
[0033] 图2是根据示例性实施例的图像融合单元的框图；
[0034] 图3是根据示例性实施例的图像融合屏幕的示图；
[0035] 图4是根据示例性实施例的图像融合方法的流程图；
[0036] 图5是根据另一示例性实施例的图像融合系统的框图；
[0037] 图6是根据示例性实施例的图5的图像融合单元的框图；
[0038] 图7是根据示例性实施例的图6的全景图像产生单元的框图；
[0039] 图8和图9是用于描述根据示例性实施例的产生全景图像的方法的示图；
[0040] 图10是将由图像选择单元根据图像选择信号选择的图像的组合的示例；
[0041] 图11是用于描述根据示例性实施例的调整宽高比的示例的示图；
[0042] 图12是根据示例性实施例的第三匹配单元的框图；
[0043] 图13是将由复用器根据图像选择信号选择的图像的组合的示例；
[0044] 图14是根据示例性实施例的图像融合方法的流程图。

【具体实施方式】
[0045] 尽管本发明构思允许各种改变和众多实施例，但将在附图中示出并在撰写的说明 书中详细描述特定示例性实施例。然而，这不意在将本发明构思限制于特定的实施模式，并 且将理解不脱离本发明构思的精神和技术范围的所有改变、等同物和替代物包括在本申请 中。在示例性实施例的描述中，当认为相关领域的某些详细解释可能不必要地模糊本发明 构思的本质时，省略相关领域的某些详细解释。
[0046] 尽管诸如"第一"、"第二"等的术语可被用于描述各种组件，但这样的组件一定不 限于以上术语。以上术语仅用于区分一个组件与另一组件。
[0047] 本说明书中使用的术语仅用于描述特定示例性实施例，并不意在限制本发明构 思。除非以单数形式使用的表述在上下文中具有明显不同的意思，否则以单数形式使用的 表述包括复数的表述。在本说明书中，将理解诸如"包括"、"具有"、"包含"的术语意在指示 存在说明书中公开的特征、数量、步骤、动作、组件、部件或上述项的组合，而不意在排除可 存在或可添加一个或更多个其他特征、数量、步骤、动作、组件、部件或上述项的组合的可能 性。
[0048] 可依据功能块组件和各种处理步骤来描述示例性实施例。这样的功能块可通过 许多被配置为用于执行指定功能的硬件和/或软件组件来实现。例如，示例性实施例可采 用各种集成电路（1C)组件（例如，存储器元件、处理元件、逻辑元件、查找表等），其中，所 述集成电路组件可在一个或更多个微处理器或其它控制装置的控制下实现多种功能。类似 地，在使用软件编程或软件元素来实现示例性实施例的元件时，可使用任意编程或脚本语 言（诸如C、C++、Java、汇编语言等），使用各种算法来实现本发明，其中，用数据结构、对象、 处理、例行程序或其它编程元素的任意组合来实现所述算法。可按照在一个或更多个处理 器上执行的算法来实现各功能方面。此外，示例性实施例可采用许多用于电子配置、信号处 理和/或控制、数据处理等的传统技术。词语"机械结构"、"元件"、"装置"和"配置"可被 广泛使用，并且不限于机械或物理实施例，而是可包括与处理器等相关联的软件程序。
[0049] 在下文中，现在将详细参照示例性实施例，其中，在整个示例性实施例中相同的标 号表示相同的元件。诸如"…中的至少一个"的表述出现在一列元素之后时，修饰整列元素， 而不是修饰这一列中的单独元素。
[0050] 图1是根据示例性实施例的图像融合系统1的框图。
[0051] 参照图1，根据本实施例的图像融合系统1包括摇摄倾斜变焦（PTZ， pan-tilt-zoom)相机单元100、PTZ控制器200、图像融合单元400和显示单元500。
[0052] PTZ相机单元100包括可见光相机100a、热成像相机100b和包括红外灯110的红 外线相机100c。可见光相机100a、热成像相机100b和红外线相机100c可通过使用内置摇 摄马达（未示出）来摇摄（即，水平旋转360° )，通过使用内置倾斜马达（未示出）来倾 斜（即，垂直旋转90°或更大角度），并变焦（即，放大或缩小对象的图像）。可见光相机 100a、热成像相机100b和红外线相机100c的摇摄、倾斜和变焦操作可通过PTZ控制器200 来控制。
[0053] PTZ控制器200可控制变焦镜头使得可见光相机100a、热成像相机100b和红外线 相机100c捕获同一拍摄区域。可以以相同的视场（F0V)执行通过这三种相机对同一拍摄 区域的拍摄。也就是说，这三种相机可针对同一拍摄区域具有相同的F0V。然而，由于这三 种相机可能不会同时被放置在完全相同的位置处，所以针对同一拍摄区域的F0V可能不完 全相同，但是，针对同一拍摄区域的F0V可大体上足够相同，只要足以针对同一拍摄区域产 生如后所述的融合图像。
[0054] 可见光相机100a是通过检测光来获得图像信息，从而根据对象的亮度分布来产 生可见光图像的监控相机。可见光相机l〇〇a被用于像人眼一样监控可见光区域中的对象。 例如，可见光相机l〇〇a可以是使用电荷耦合器件（CCD)作为成像器件的CCD相机。可见光 相机l〇〇a可被安装在需要被监控的公共设施（诸如办公室、住宅、医院或银行）的内部或 外部，因而可被用于控制访问或安全。根据可见光相机l〇〇a安装的位置和使用的目的，可 见光相机l〇〇a可具有各种形式（诸如，直线形式或圆顶状形式）。在这里描述的示例性实 施例中，"对象"是包括背景和主体的术语。
[0055] 在给定的拍摄条件下，可见光相机100a提供良好的灵敏度和高分辨率图像。与其 他传感器相比，可见光相机l〇〇a的图像传感器具有相对宽的动态范围。
[0056] 热成像相机100b检测以红外线波长形式从对象发射的辐射能（热能），估计热能 的强度，从而根据热能的强度产生不同颜色的热图像，其中，红外线波长形式是电磁波的一 种类型。在热图像中，根据表面的温度，对象的表面被映射和显示为不同的颜色。
[0057] 尽管热成像相机100b即使在没有光的环境中也可捕获对象的图像，但因为热成 像相机l〇〇b的分辨率低于可见光相机100a的分辨率，因此难以识别由热成像相机100b捕 获的图像中的对象。
[0058] 红外线相机100c检测大约300nm到大约700nm之间的光区域，因而包括检测不能 被人眼识别的红外线区域的光传感器。因此，红外线相机100c可捕获黑暗的地方或穿过薄 材料进行捕获。红外线相机100c通过使红外灯110 (例如，红外发光二极管（IR-LED))发 光，并随后接收从对象反射的红外线，来捕获对象。
[0059] PTZ控制器200控制变焦镜头使得可见光相机100a、热成像相机100b和红外线相 机100c以相同的F0V捕获图像。由于传感器的大小和变焦镜头的每个变焦部分的焦距可 能在每个相机中不同，所以有必要准确地控制变焦镜头使得由可见光相机l〇〇a、热成像相 机100b和红外线相机100c捕获的图像具有相同的F0V。
[0060] 图像融合单元400执行信号处理（即，将接收到的图像信号输出为满足显示标准 的信号）。图像融合单元400对从可见光相机100a输出的可见光图像、从热成像相机100b 输出的热图像以及从红外线相机100c输出的红外图像进行融合。可见光相机l〇〇a不可以 显示黑暗地方中的对象，热成像相机l〇〇b可显示发热的对象，但不可以显示没有光的地方 中的不发热的对象，红外线相机100c可显示没有光的地方中的不发热的对象。图像融合单 元400可通过适当地利用可见光相机100a、热成像相机100b和红外线相机100c的优点和 缺点，来显示对象的图像。
[0061] 图像融合单元400对从可见光相机100a输出的可见光图像、从热成像相机100b 输出的热图像以及从红外线相机100c输出的红外图像进行融合。图像融合单元400对可见 光图像和热图像进行比较，从而提取未显示在可见光图像中但显示在热图像中的对象。此 夕卜，图像融合单元400对可见光图像、热图像和红外图像进行比较，从而提取未显示在可见 光图像和热图像中但显示在红外图像中的对象。图像融合单元400将热图像和红外图像重 叠在可见光图像上，以使得提取出的对象被显示在可见光图像中。当提取对象时，图像融合 单元400可确定对象的各自的大小和位置。
[0062] 显示单元500对通过对可见光图像、热图像和红外图像进行融合从图像融合单元 输出的视频信号进行处理，从而向用户提供视频信号，使得用户可监控显示的图像。显示单 元500显示通过将热图像和红外图像重叠在可见光图像上而产生的融合图像。显示单元 500可被配置为液晶显示器（LCD)面板、有机发光显示器（0LED)面板或电泳显示（EPD)面 板。显示单元500可被配置为触摸屏使得用户可通过触摸进行输入，因此显示单元500可 用作用户输入界面。
[0063] 在本实施例中，PTZ相机单元100包括三种不同类型的相机（S卩，可见光相机 100a、热成像相机100b和红外线相机100c)。然而，本发明构思不限于该实施例。根据另一 示例性实施例，PTZ相机单元100可包括大于或小于三种不同类型的相机。
[0064] 图2是根据示例性实施例的图像融合单元400的框图。
[0065] 参照图2,图像融合单元400包括可见光图像处理单元410、热图像处理单元420、 红外图像处理单元430、信息融合单元440、编解码器450、图像输出单元460和输出控制器 470。
[0066] 可见光图像处理单元410包括模/数（A/D)转换器412、预处理单元414和调整尺 寸单元416。
[0067]A/D转换器412处理从可见光相机接收到的模拟可见光图像信号，以便去除噪声 和调整幅度，并随后将模拟可见光图像信号转换为数字图像数据。
[0068] 预处理单元414执行用于处理图像的预处理（诸如数字图像数据的归一化）。
[0069] 调整尺寸单元416调整可见光图像的尺寸，使得可见光图像和热图像具有相同的 尺寸并可相互匹配。调整尺寸单元416执行像素插值来调整尺寸。各种方法（诸如线性插 值方法）可被用于执行像素插值。
[0070] 热图像处理单元420包括A/D转换器422、预处理单元424和调整尺寸单元426。 [0071]A/D转换器422处理从热成像相机接收到的模拟热图像信号，以便去除噪声和调 整幅度，并随后将模拟热图像信号转换为数字图像数据。
[0072] 预处理单元424执行用于处理图像的预处理（诸如数字图像数据的归一化）。
[0073] 调整尺寸单元426调整热图像的尺寸，使得可见光图像和热图像具有相同的尺寸 并可相互匹配。调整尺寸单元426执行像素插值来调整尺寸。各种方法（诸如线性插值方 法）可被用于执行像素插值。由于热图像的像素的数量通常小于可见光图像的像素的数 量，因此可对热图像的像素进行插值，使得热图像具有与可见光图像相同的尺寸。
[0074] 红外图像处理单元430包括A/D转换器432、预处理单元434和调整尺寸单元436。
[0075] A/D转换器432处理从红外线相机接收到的模拟红外图像信号，以便去除噪声和 调整幅度，并随后将模拟红外图像信号转换为数字图像数据。
[0076] 预处理单元434执行用于处理图像的预处理（诸如数字图像数据的归一化）。
[0077] 调整尺寸单元436调整红外图像的尺寸，使得可见光图像、热图像和红外图像具 有相同的尺寸并可相互匹配。调整尺寸单元436执行像素插值来调整尺寸。各种方法（诸 如线性插值方法）可被用于执行像素插值。
[0078] 信息融合单元440对具有相同尺寸的数字可见光图像、数字热图像和数字红外图 像进行融合。信息融合单元440对可见光图像和热图像进行比较，从而提取未显示在可见 光图像中但显示在热图像中的对象。此外，信息融合单元440对可见光图像、热图像和红外 图像进行比较，从而提取未显示在可见光图像和热图像中但显示在红外图像中的对象。随 后，信息融合单元440将热图像和红外图像重叠在可见光图像上，以使得提取出的对象被 显示在可见光图像中。
[0079] 编解码器450对在信息融合单元中通过对可见光图像、红外图像和热图像进行融 合而产生的视频信号进行编码，并将编码后的作为单个图像的视频信号输出到图像输出单 JLi〇
[0080] 输出控制器470控制由信息融合单元440输出的图像（S卩，视频信号）的类型。此 夕卜，输出控制器470控制可见光相机100a、热成像相机100b和红外线相机100c的输出。
[0081] 图3是根据示例性实施例的图像融合屏幕的示图。
[0082] 图3示出由可见光相机100a捕获的并显示被光照射的对象310的图像、由热成像 相机l〇〇b捕获的并显示发热的对象320的图像、由红外线相机100c捕获并显示发出反射 的红外线的对象330的图像。
[0083] 图像融合单元400提取分别显示在可见光图像、热图像和红外图像中的对象310、 320和330,将热图像和红外图像重叠在可见光图像上，从而产生显示的对象310、320和330 的融合图像，并随后通过使用图1显示的显示单元500来输出融合图像。
[0084] 最优监控通过对由可见光相机、热成像相机和红外相机以相同的F0V捕获的图像 进行融合和监控来实现，从而不存在未被拍摄的区域。
[0085] 在下文中，将参照图4描述根据示例性实施例的图像融合方法。根据示例性实施 例的图像融合方法可在如图1和图2所示的图像融合系统中执行。将不再描述已参照图1 到图3描述的特征。
[0086] 参照图4,可见光相机100a以给定的F0V产生显示对象的亮度分布的可见光图像 (S410)。
[0087] 热成像相机100b被控制使得它的F0V与可见光相机100a的F0V相同，并产生显 示关于对象的温度信息的热图像（S420)。
[0088] 红外线相机100c被控制使得它的F0V与可见光相机100a和热成像相机100b的 F0V相同，并产生红外图像，其中，通过将红外线发射到对象上，并随后从对象接收反射的红 外线来产生红外图像（S430)。
[0089] 图像融合单元400接收并随后对可见光图像、热图像和红外图像进行融合 (S440)。图像融合单元400将可见光图像、热图像和红外图像转换为数字图像数据；执行 用于处理图像的预处理（诸如归一化）；并随后调整可见光图像、热图像和红外图像的尺 寸，使得它们具有相同的尺寸并可相互匹配。随后，图像融合单元400对可见光图像和热图 像进行比较，从而提取未显示在可见光图像中但显示在热图像中的对象；此外，对可见光图 像、热图像和红外图像进行比较，从而提取未显示在可见光图像和热图像中但显示在红外 图像中的对象。当提取对象时，图像融合单元400可确定对象的各自的大小和位置。图像 融合单元400将热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可 见光图像中。
[0090] 图5是根据另一示例性实施例的图像融合系统2的框图。
[0091] 参照图5,根据本实施例的图像融合系统2包括PTZ相机单元100、PTZ控制器200、 全方位相机单元300、图像融合单元400b和显示单元500b。
[0092] 图5中显示的实施例与图1中显示的实施例的不同之处在于：额外包括全方位相 机单元300,并且PTZ相机单元100中的PTZ相机的各自的F0V是不同的。在下文中，将主 要描述图1的实施例和图5的实施例之间的不同。
[0093]PTZ相机单元100包括可见光相机100a、热成像相机100b以及包括红外灯110的 红外线相机100c。
[0094]PTZ控制器200可控制变焦镜头，使得可见光相机100a、热成像相机100b和红外 线相机100C以分别确定的F0V来捕获同一拍摄区域。因此，分别由可见光相机100a、热成 像相机l〇〇b和红外线相机100c捕获的图像可具有不同的F0V。可见光相机100a、热成像 相机l〇〇b和红外线相机100c以分别确定的F0V捕获图像，并将具有与分别确定的F0V相 应的宽高比和分辨率的图像输出到图像融合单元400b。
[0095] 全方位相机单元300可包括多个第一相机到第n相机。多个第一相机到第n相机 设置在保护装置（壳体）中，并被水平地和环形地布置（即，以预定间隔分隔开并以放射形 式排列）。多个第一相机到第n相机被固定在保护装置中，并仅捕获预定区域的前部。如果 必要，则可在没有保护装置的情况下设置有多个第一相机到第n相机。
[0096] 多个第一相机到第n相机以分别确定的F0V捕获前部。可根据分别确定的F0V来 确定用于在所有方向（即，360° )上捕获的第一相机到第n相机的数量。在这种情况下， 相邻的相机的F0V被确定，使得F0V相互重叠预定区域。多个第一相机到第n相机将以分 别确定的F0V捕获的图像输出到图像融合单元400b。
[0097] 图像融合单元400b可对以下图像中的至少两个图像进行融合：从可见光相机 l〇〇a输出的可见光图像、从热成像相机100b输出的热图像、从红外线相机100c输出的红外 图像以及通过从全方位相机单元300输出的图像而产生的全景图像。
[0098] 显示单元500b可向用户提供从图像融合单元400b输出的可见光图像、热图像、红 外图像、全景图像和融合图像中的至少一个，以使得用户可监控显示的图像。
[0099] 图6是根据示例性实施例的图5的图像融合单元400b的框图。图7是根据示例 性实施例的图6的全景图像产生单元401的框图。图8和图9是用于描述根据示例性实施 例的产生全景图像的方法的示图。
[0100] 参照图6,图像融合单元400b可包括全景图像产生单元401、图像裁剪单元402、 图像选择单元403、第一匹配单元404、第二匹配单元405、第三匹配单元406、信息融合单元 407和复用器408。
[0101] 另外参照图7,全景图像产生单元401可包括特征提取单元411、特征匹配单元 431、转换函数估计单元451和图像合成单元471。
[0102] 特征提取单元411从全方位相机单元300的多个第一相机到第n相机接收捕获的 图像P1到图像Pn，并从每个捕获的图像中提取特征。
[0103] 特征匹配单元431从两个相邻的捕获的图像中检测各自的特征。
[0104] 转换函数估计单元451通过使用两个相邻的捕获的图像的各自的特征，来估计转 换函数。
[0105] 图像合成单元471通过使用估计出的转换函数，对捕获的图像P1到图像Pn之中 的两个相邻的捕获图像进行变形并随后进行合成，从而产生全景图像P。例如，如图8中 所示，图像合成单元471可通过使用转换函数对彼此相邻的第一捕获图像P1和第二捕获 图像P2进行变形，并对第一捕获图像P1和第二捕获图像P2进行合成，使得存在重叠区域 P12。可如上所述通过顺序地对捕获的图像P1到图像Pn进行变形和合成，来产生全方位图 像（即，全景图像P)。
[0106] 图像裁剪单元402可在全景图像P中裁剪出期望的区域。PTZ控制器200基于PTZ 相机单元100的摇摄和倾斜信息来产生位置选择控制信号S1。如在图9中所示，位置选择 控制信号S1包括将被裁剪的全景图像P中的开始点S(xl，yl)和结束点E(x2,y2)的坐标。 图像裁剪单元402接收位置选择控制信号S1，裁剪出与开始点的坐标和结束点的坐标相应 的块，并随后输出裁剪图像Pc。
[0107] 图像选择单元403从图像裁剪单元402接收裁剪图像Pc，并分别从可见光相机 100a、热成像相机100b和红外线相机100c分别接收可见光图像V、热图像T和红外图像R。
[0108] 图像选择单元403接收图像选择信号S2,并根据图像选择信号S2从可见光图像 V、热图像T、红外图像R和裁剪图像Pc中选择将被融合的图像。图10是将由图像选择单元 403根据图像选择信号S2选择的图像的组合的示例。图10的示例显示四种类型的输入图 像中的一种到四种选择的图像的组合。当仅一种图像被选择时，选择的图像可不进行融合 处理就被显示在显示单元500b上。可从图像融合系统2的控制器（未示出）提供图像选 择信号S2。
[0109] 在图像选择单元403中接收到的可见光图像V、热图像T和红外图像R以及在全景 图像产生单元401中接收到的捕获图像P1到图像Pn可以是如图2中所示的通过使用A/D 转换器进行A/D转换并通过使用预处理单元进行预处理的图像。
[0110] 第一匹配单元404使由图像选择单元403输出的选择的图像的F0V相等。第一匹 配单元404可基于选择的图像的变焦信息Z检测每个图像的F0V。关于可见光图像V、热图 像T和红外图像R的变焦信息可包括变焦镜头的变焦比和数字变焦比。关于裁剪图像Pc 的变焦信息可包括从裁剪图像Pc的尺寸转换的数字变焦比。可根据F0V确定图像的宽高 t匕。可从连接到PTZ控制器200和全方位相机单元300的图像融合系统2的控制器（未示 出）提供变焦信息Z。
[0111] 第一匹配单元404可将与检测到的F0V相应的每个图像的宽高比调整为与参考宽 高比相同。当选择的图像的宽高比大于参考宽高比时，第一匹配单元404可裁剪选择的图 像的左边和右边，以使得选择的图像的宽高比与参考宽高比相匹配。当选择的图像的宽高 比小于参考宽高比时，第一匹配单元404可执行插值或零填充，以使得选择的图像的宽高 比与参考宽高比相匹配。参考宽高比可以是选择的图像中的任何一个图像的宽高比，或由 用户确定的预定宽高比。
[0112] 图11是用于描述根据示例性实施例的调整宽高比的示例的示图。参照图11，选择 的图像为可见光图像V和红外图像R，参考宽高比为红外图像R的宽高比。红外图像R的 宽高比为4:3,而可见光图像V的宽高比为16:9。第一匹配单元404可通过将可见光图像V的左边和右边裁剪掉裁剪长度C1，来将可见光图像V的宽高比调整为等于4:3。
[0113] 基于变焦信息Z，第二匹配单元405使选择的图像的分辨率相等，其中，选择的图 像具有相等的F0V(或宽高比），并由第一匹配单元404输出。第二匹配单元405可将选择 的图像的分辨率调整为与参考分辨率相同。参考分辨率可以是选择的图像中的任何一个图 像的分辨率，或由用户确定的预定分辨率。第二匹配单元405可通过使选择的图像的分辨 率相等，来调整选择的图像的尺寸以使选择的图像具有相同的尺寸，从而选择的图像的像 素可与另一选择的图像的像素以1:1相匹配。第二匹配单元405可与图2的调整尺寸单元 相应。当最小分辨率被确定为参考分辨率时，可高速执行分辨率转换，并可使用较少的资 源。
[0114] 第三匹配单元406通过使用相互几何关系，对基于参考分辨率被调整的选择的图 像进行匹配。可通过使用转换函数来表示相互几何关系。图12是根据示例性实施例的第 三匹配单元406的框图。第三匹配单元406可包括特征提取单元416、特征匹配单元436和 转换函数估计单元456。
[0115] 特征提取单元416检测选择的图像的特征。可单独地为每个可融合的图像提供特 征提取单元416(例如，用于检测可见光图像V、热图像T、红外图像R和裁剪图像Pc的各 自的特征的四个特征提取单元）。可选地，特征选择单元416可被整体提供，从而可顺序或 并行地检测选择的图像的特征。特征提取单元416可通过使用尺度不变特征变换（SIFT) 算法、HARRIS角点检测算法、SUSAN算法等，来从第一图像和第二图像中提取角点、边缘、轮 廓、线交叉点等作为特征。根据本实施例，特征提取算法不限于上述示例，并且可使用各种 特征提取算法。
[0116] 特征匹配单元436可检测选择的图像的各自的特征之间的匹配特征。特征匹配单 元436可将选择的图像中的一个图像确定为参考图像，并检测参考图像和除参考图像之外 的图像之间的匹配特征。特征匹配单元436可通过使用归一化互信息和梯度方向信息作为 参数，来确定特征中的相似性，从而检测匹配特征。通过对显示两个概率变量之间的统计相 关性的互信息进行归一化来获得归一化互信息。由于可通过使用本领域的算法和公知的方 法来估计归一化互信息和梯度方向信息，所以将在本实施例的详细描述中省略估计互信息 和梯度方向信息的详细描述。
[0117] 转换函数估计单元456可基于检测到的匹配特征来估计转换函数H。如在公 式1中，转换函数估计单元456可通过使用随机抽样一致（RANSAC)算法或局部优化 RANSAC(LO-RANSAC)算法来估计转换函数H。转换函数估计单元456可估计参考图像与除 参考图像之外的图像之间的转换函数。

【权利要求】
1. 一种图像融合系统，包括： 图像选择单元，被配置为从由多个不同类型的相机捕获的多个图像中选择至少两个图 像； 第一匹配单元，被配置为通过基于关于选择的图像的变焦信息，将选择的图像的宽高 比调整为与参考宽高比相同，来对选择的图像进行匹配，其中，选择的图像的宽高比根据用 于捕获选择的图像的视场（FOV)被分别确定； 第二匹配单元，被配置为通过将选择的图像的分辨率调整为与参考分辨率相同，来对 选择的图像进行匹配； 第三匹配单元，被配置为通过应用选择的图像之间的相互几何关系来对选择的图像进 行匹配； 融合单元，被配置为对经过第一匹配单元到第三匹配单元匹配的选择的图像进行融 合，从而产生融合图像。
2. 如权利要求1所述的系统，其中，第二匹配单元被配置为对宽高比被调整为与所述 参考宽高比相同的选择的图像的分辨率进行调整， 其中，第三匹配单元被配置为将所述相互几何关系应用到分辨率被调整为与所述参考 分辨率相同的选择的图像。
3. 如权利要求1所述的系统，其中，所述多个不同类型的相机包括： 多个摇摄倾斜变焦（PTZ)相机，每个PTZ相机以各自的FOV捕获同一拍摄区域； 多个全方位相机，以预定间隔排列使得由全方位相机中的两个相邻相机捕获的拍摄区 域的相邻部分重叠。
4. 如权利要求3所述的系统，其中，所述多个PTZ相机包括： 可见光相机，被配置为产生可见光图像； 热成像相机，被配置为产生热图像； 红外线相机，被配置为产生红外图像。
5. 如权利要求3所述的系统，其中，图像选择单元从由所述多个PTZ相机捕获的多个图 像和通过从全景图像中裁剪出与所述多个图像相应的区域而产生的裁剪图像中，选择所述 至少两个图像，其中，全景图像是通过使用由所述多个全方位相机捕获的图像而产生的。
6. 如权利要求5所述的系统，其中，关于选择的图像的变焦信息包括关于裁剪图像的 变焦信息，其中，关于裁剪图像的变焦信息是从裁剪图像的尺寸转换的数字变焦比。
7. 如权利要求1所述的系统，其中，第一匹配单元对选择的图像的左边和右边进行裁 剪或者对选择的图像执行零填充。
8. 如权利要求1所述的系统，其中，第三匹配单元包括： 特征提取单元，被配置为检测选择的图像的特征； 特征匹配单元，被配置为将选择的图像中的一个图像确定为参考图像，并检测所述参 考图像的特征和除所述参考图像之外的至少一个图像的特征之间的匹配特征； 转换函数估计单元，被配置为基于检测到的匹配特征来估计除所述参考图像之外的所 述至少一个图像的转换函数。
9. 如权利要求1所述的系统，其中，融合单元通过将权重应用于选择的图像中的每个 图像来调整选择的图像的透明度。
10. 如权利要求1所述的系统，还包括：复用器，被配置为输出所述多个图像和融合图 像中的至少一个图像。
11. 一种图像融合系统，包括： 多个相机，被配置为分别产生多个图像； 图像融合单元，被配置为将所述多个图像融合成单个图像， 其中，所述多个相机的视场（FOV)被设置为大体上相同。
12. 如权利要求11所述的系统，其中，所述多个相机包括可见光相机、热成像相机和红 外线相机中的至少两个相机。
13. 如权利要求12所述的系统，其中，图像融合单元包括： 调整尺寸单元，被配置为控制所述多个图像使得所述多个图像的各自的尺寸是相同 的； 信息融合单元，被配置为提取未显示在可见光图像中但显示在热图像中的对象和未显 示在可见光图像和热图像中但显示在红外图像中的对象，并将热图像和红外图像重叠在可 见光图像上，以使得提取出的对象被显示在可见光图像上，其中，可见光图像由可见光相机 捕获，热图像由热成像相机捕获，红外图像由红外线相机捕获。
14. 一种图像融合方法，包括： 从由多个不同类型的相机捕获的多个图像中选择至少两个图像； 通过基于关于选择的图像的变焦信息，将选择的图像的宽高比调整为与参考宽高比相 同，来对选择的图像进行第一匹配，其中，选择的图像的宽高比根据用于捕获选择的图像的 视场（FOV)被分别确定； 通过将选择的图像的分辨率调整为与参考分辨率相同，来对选择的图像进行第二匹 配； 通过应用选择的图像之间的相互几何关系，来对选择的图像进行第三匹配； 对经过第一匹配、第二匹配和第三匹配这三个匹配步骤被匹配的选择的图像进行融 合，以产生融合图像。
15. 如权利要求14所述的方法，其中，通过对宽高比被调整为与所述参考宽高比相同 的选择的图像的分辨率进行调整，来执行第二匹配， 其中，通过将所述相互几何关系应用到分辨率被调整为与所述参考分辨率相同的选择 的图像来执行第三匹配。
16. 如权利要求14所述的方法，其中，所述多个不同类型的相机包括： 多个摇摄倾斜变焦（PTZ)相机，每个PTZ相机以各自的FOV捕获同一拍摄区域； 多个全方位相机，以预定间隔排列使得由全方位相机中的两个相邻相机捕获的拍摄区 域的相邻部分重叠， 其中，所述多个PTZ相机包括产生可见光图像的可见光相机、产生热图像的热成像相 机以及产生红外图像的红外线相机。
17. 如权利要求16所述的方法，其中，选择所述至少两个图像的步骤包括：从由所述多 个PTZ相机捕获的多个图像和通过从全景图像中裁剪出与所述多个图像相应的区域而产 生的裁剪图像中，选择所述至少两个图像，其中，全景图像是通过使用由所述多个全方位相 机捕获的图像而产生的。
18. 如权利要求17所述的方法，其中，关于选择的图像的变焦信息包括关于裁剪图像 的变焦信息，其中，关于裁剪图像的变焦信息是从裁剪图像的尺寸转换的数字变焦比。
19. 如权利要求14所述的方法，其中，第三匹配的步骤包括： 检测选择的图像的特征； 将选择的图像中的一个图像确定为参考图像，并检测所述参考图像的特征和除所述参 考图像之外的至少一个图像的特征之间的匹配特征； 基于检测到的匹配特征来估计除所述参考图像之外的所述至少一个图像的转换函数。
20. 如权利要求14所述的方法，其中，融合的步骤包括：通过将权重应用于选择的图像 中的每个图像，来调整选择的图像的透明度。
【文档编号】H04N5/232GK104427245SQ201410412571
【公开日】2015年3月18日 申请日期:2014年8月20日 优先权日:2013年8月20日
【发明者】吴哉仑, 李准性, 朴永绪 申请人:三星泰科威株式会社