各种功能，可通过编程或脚本语言(诸如，C、C++、Java、汇编程序等)使用各种算法来实现所述实施例，其中，使用数据结构、处理、例行程序和/或其它编程组件的组合来实现所述各种算法。可使用在一个或更多个处理器中执行的算法来实现各功能方面。此外，所述实施例可采用用于电子环境设置、信号处理和/或数据处理的现有技术。诸如“机械结构”、“元件”、“装置”和“配置”的术语可被广泛使用，并且不限于机械配置和物理配置。所述术语可包括与处理器相关联的一系列软件的例行程序的含义。
[0030]如在此使用，术语“和/或”包括相关联的列出项中的一项或更多项的任意组合和所有组合。
[0031]现在将参照附图，对本发明构思进行更充分地描述，在附图中，示出了本发明构思的示例性实施例。说明书和附图中相同的标号表示相同的元件，因此，将省略对它们重复的描述。
[0032]图1是根据示例性实施例的图像融合系统I的框图。
[0033]参照图1，图像融合系统I可包括图像传感器20、图像匹配处理器40、图像融合处理器60和显示装置80。
[0034]图像传感器20可以是用于拍摄场景并提供图像信息的相机。图像传感器20可以是用于获取不同视点或不同时刻的图像的一个传感器。可选地，图像传感器20可包括具有不同特性并被配置为获得不同图像的两个或更多个的传感器。例如，图像传感器20可包括可见光相机和红外光相机(或热成像相机)。
[0035]图像传感器20可具有摇摄倾斜变焦(PTZ)功能。图像传感器20可作为一个整体被安装在需要安全的办公室、住宅、医院、银行、公共建筑等的内部和外部，图像传感器20可被用于进入管理或犯罪预防，并且图像传感器20可根据安装地点及其使用目的而具有各种形状(诸如，直线形、圆顶形等)。
[0036]图像匹配处理器40执行图像匹配，以通过对一个坐标系统中的两个或更多个图像的位置关系进行匹配来对这两个或更多个图像进行校准。图像匹配处理器40对由图像传感器20捕捉的两个图像(S卩，第一图像和第二图像)进行匹配。第一图像和第二图像可以由传感器在不同的视点或不同的时刻获取，或由具有不同特性的传感器获取。
[0037]图像匹配处理器40通过对从第一图像和第二图像提取出的特征点进行随机采样来估计单应性矩阵(homograph)。单应性矩阵是指示第一图像的特征点与第二图像的特征点之间的对应关系的矩阵。图像匹配处理器40通过使用估计的单应性矩阵来对第一图像和第二图像进行匹配。
[0038]图像融合处理器60执行信号处理以将接收到的图像信号输出为适合显示标准的信号。图像融合处理器60将匹配的第一图像和第二图像进行融合。
[0039]图像融合处理器60可执行图像信号处理以提高第一图像和第二图像的图像质量(诸如，降噪、伽马校正、彩色滤波阵列内插(color filter array interpolat1n)、颜色矩阵、颜色校正、颜色增强等)。此外，图像融合处理器60可通过在执行用于提高图像质量的图像信号处理之后对融合图像的数据进行压缩来产生图像文件或从图像文件恢复图像数据。图像压缩格式可包括可逆格式和不可逆格式。
[0040]此外，图像融合处理器60可执行如下的功能性处理:颜色处理、模糊处理、边缘增强处理、图像分析处理、图像识别处理、图像效果处理等。图像识别处理可包括人脸识别处理、场景识别处理等。虽然图1示出图像融合处理器60与图像匹配处理器40分开布置，但是根据示例性实施例，图像融合处理器60可被包括在图像匹配处理器40中。
[0041]显示装置80向用户提供从图像融合处理器60输出的融合图像，从而用户对显示的图像进行监视。显示装置80可显示第一图像与第二图像相互重叠的融合图像。显示装置80可包括液晶显示器(IXD)面板、有机发光显示器(OLED)面板、电泳显示(EPD)面板等。显示装置80可包括触摸屏，经由该触摸屏接收由用户输入的触摸，从而显示装置80用作用户输入接口。
[0042]图2是根据示例性实施例的图像匹配处理器40的框图。
[0043]参照图2，图像匹配处理器40可包括特征点提取器401、特征点对选择器403和单应性矩阵估计器405。
[0044]特征点提取器401可提取第一图像和第二图像的特征点。特征点提取器401可顺序地或并行地检测第一图像和第二图像的特征点。
[0045]特征点提取器401可通过使用尺度不变特征变换(SIFT)算法、Harris角点算法、最小核值相似区(SUSAN)算法等来从第一图像和第二图像中的每个图像提取角点、边缘、轮廓、线相交等作为特征点。然而，特征点提取算法并非特别地限于此，可以使用其它的特征点提取算法。
[0046]特征点对选择器403可从第一图像和第二图像的特征点选择对应特征点。特征点对选择器403可将第一图像或第二图像确定为参考图像，并对于参考图像的每个特征点，将另一图像中相似度高的特征点选择为对应特征点。
[0047]单应性矩阵估计器405可通过使用随机采样一致性(RANSAC)算法或局部优化RANSAC(L0-RANSAC)算法来估计单应性矩阵。单应性矩阵可包括指示旋转角的旋转信息、指示X方向、y方向和z方向上的移动的平移信息和指示X方向、y方向和z方向上的缩放量的缩放信息。然而，本实施例不限于此，可使用其它算法，其中，通过所述其它算法，使用随机采样来估计单应性矩阵。
[0048]RANSAC算法包括随机采样操作:从多个特征点对之中随机选择用于估计单应性矩阵的η个特征点对，其中，从一对图像中提取并匹配所述多个特征点对。因此，当从总共N个特征点中采样η个特征点(Ν>η)时，采样的数量与下面等式I所示一样大，因此，总的算法处理速度非常慢。
[0049]采样数量=NCn= N! /n ! (N_n) ! (I)
[0050]此外，当在RANSAC算法的随机采样操作中选择的特征点是线性的或在特定区域聚集时，无法估计出准确的单应性矩阵，因此，RANSAC算法的效率会由于错误选择的特征点而估计不必要的单应性矩阵而降低。
[0051 ] 在本实施例中，通过在将被采样的特征点的数量η的基础上对采样区域进行划分并对将被采样的特征点之间的距离进行限制，可减少在RANSAC算法中的采样的数量，并可统一获取随机采样，因此，可显著地提高匹配系统/融合系统的性能。
[0052]单应性矩阵估计器405可包括区域划分器406、采样特征点提取器407和估计器408。
[0053]区域划分器406可将第一图像和第二图像的参考图像的特征点分类为与采样特征点的数量η相应的区域。由于使用四个采样特征点来估计二维单应性矩阵，所以区域划分器406可将参考图像划分为四个区域(即，第一区域至第四区域)。
[0054]采样特征点提取器407可从每个区域提取一个采样特征点，使得满足距离限制条件，其中，所述距离限制条件是指从区域中提取出的采样特征点彼此相隔特定距离或更长距离。下面将参照图4Α至图4Κ对提取采样特征点的方法进行描述。
[0055]估计器408可在从参考图像提取出的采样特征点和另一图像的对应采样特征点的基础上来估计单应性矩阵。
[0056]现在将对图2的图像匹配处理器40的随机采样