使用多光谱滤光器阵列传感器的图像融合方法和设备的制作方法
【专利摘要】提供一种使用多光谱滤光器阵列传感器的图像融合方法和设备。所述图像融合设备包括：分离单元，被配置为将通过多光谱滤光器阵列传感器输入的输入图像分离为RGB图像和近红外（NIR）图像；色彩重建单元，被配置为通过从R值、G值和B值去除通过多光谱滤光器阵列传感器与R值、G值和B值一起入射的NIR值来提取可见光波段中的RGB图像；图像融合单元，被配置为将可见光波段中的RGB图像与NIR图像进行融合，其中，RGB图像与NIR图像的融合率基于可见光波段中的RGB图像的R值、G值和B值中的每一个的大小。
【专利说明】使用多光谱滤光器阵列传感器的图像融合方法和设备
[0001]本申请要求于2013年2月4日提交到韩国知识产权局的第10-2013-0012607号韩国专利申请的优先权，其中，所述专利申请的公开内容通过引用全部合并于此。
【技术领域】
[0002]与示例性实施例一致的设备和方法涉及图像处理，更具体地讲，涉及在使用多光谱滤光器阵列(mult1-spectral filter array)获得的图像中将RGB图像与近红外(NIR)(或黑/白)图像进行融合。
【背景技术】
[0003]为了同时获得可见光波段中的图像和不可见光波段中的NIR图像，如图1所示，可使用多光谱滤光器阵列同时获得各个通道中的图像。
[0004]然后，从获得的图像分离RGB图像和NIR图像并进行处理，随后，这些图像最终被融合在一起，以提高图像灵敏度。
【发明内容】
[0005]提供一个或多个示例性实施例以解决现有技术的问题，其中，因为在融合RGB图像与NIR图像的处理中，在不考虑可见RGB图像中的R值、G值和B值中的每一个的大小的情况下执行融合，所以色度被破坏。
[0006]根据示例性实施例的一方面，提供一种使用多光谱滤光器阵列传感器的图像融合设备，所述图像融合设备包括:分离单元，被配置为将通过多光谱滤光器阵列传感器输入的输入图像分离为RGB图像和近红外(NIR)图像；色彩重建单元，被配置为通过从R值、G值和B值去除通过多光谱滤光器阵列传感器与R值、G值和B值一起入射的NIR值来提取可见光波段中的RGB图像；图像融合单元，被配置为将可见光波段中的RGB图像与NIR图像进行融合，其中，RGB图像与NIR图像的融合率基于可见光波段中的RGB图像的R值、G值和B值中的每一个的大小。
[0007]根据另一示例性实施例的一方面，提供一种使用多光谱滤光器阵列传感器的图像融合方法，所述图像融合方法包括:从通过多光谱滤光器阵列传感器输入的RGB图像提取可见光波段中的RGB图像；通过多光谱滤光器阵列传感器的NIR滤光器接收NIR图像的输入；计算可见光波段中的RGB图像的R值、G值和B值中的每一个的大小；根据计算出的R像素、G像素和B像素中的每一个的大小，将可见光波段中的RGB图像与NIR图像进行融合。
[0008]在将可见光波段中的RGB图像与NIR图像进行融合的处理中，所述两个图像的融合率可根据输入图像的局部或全局特性进行调整。
【专利附图】
【附图说明】
[0009]通过参照附图对示例性实施例的详细描述，上述和其他方面将变得更加清楚，其中:[0010]图1示出多光谱滤光器阵列传感器的示例；
[0011]图2示出根据示例性实施例的使用多光谱滤光器阵列传感器的图像融合系统的框图；
[0012]图3示出图像融合的构思的示例；
[0013]图4示出根据示例性实施例的图像融合方法的示例；
[0014]图5示出根据另一示例性实施例的RGB图像与近红外(NIR)图像之间融合的示例；以及
[0015]图6是示出根据示例性实施例的将RGB图像与NIR图像进行融合，同时调整亮度和色彩的处理的流程图。
【具体实施方式】
[0016]这里使用的术语用于描述实施例，而非用来限制本发明构思。如这里所使用的情况，单数形式也可包括复数形式，除非上下文清楚地另有指示。还将理解:术语“包括”和/或“具有”在本文中被使用时，指定存在声明的部件、步骤、操作和/或元件，但是并不排除存在或附加一个或多个其它部件、步骤、操作和/或元件。
[0017]除非术语被不同地定义，否则，这里使用的术语(包括技术以及科学术语)具有与本领域技术人员所通常理解的术语相同的含义。应理解，在常用词典中定义的术语具有与术语在现有技术中的 含义一致的含义。在术语未被明确定义的情况下，所述术语不应被理想地或过度地解析为正式含义。
[0018]一般来讲，一种基于强度-色调-饱和度(IHS)的图像融合方法已被广泛使用，其中，从包括使用多光谱滤光器阵列传感器(如图1所示)获得的R通道、G通道、B通道和NIR通道的多光谱图像分离RGB图像和近红外(NIR)图像，处理RGB图像和NIR图像，然后将RGB图像与NIR图像融合在一起。
[0019]在基于IHS的图像融合方法中，对彩色域中的彩色图像进行色彩转换，然后，如下
分离与空间信息相应的I (强度)和与光谱信息相应的H (色调)和S (饱和度):
【权利要求】
1.一种使用多光谱滤光器阵列传感器的图像融合设备，所述图像融合设备包括: 分离单元，被配置为将通过多光谱滤光器阵列传感器输入的输入图像分离为RGB图像和近红外(NIR)图像； 色彩重建单元，被配置为通过从R值、G值和B值去除通过多光谱滤光器阵列传感器与R值、G值和B值一起入射的NIR值来提取可见光波段中的RGB图像； 图像融合单元，被配置为将可见光波段中的RGB图像与NIR图像进行融合，其中，RGB图像与NIR图像的融合率基于可见光波段中的RGB图像的R值、G值和B值中的每一个的大小。
2.如权利要求1所述的图像融合设备，其中，多光谱滤光器阵列传感器包括: 色彩滤光器，用于使范围为400nm至700nm的可见光波段中的光分量通过； NIR滤光器，用于使不可见光波段中大于700nm但小于或等于IlOOnm的NIR区域的光分量通过。
3.如权利要求1所述的图像融合设备，其中，色彩重建单元通过从包括RGB图像的R通道、G通道和B通道的彩色通道的所有波段值中的每一个去除NIR值来提取RGB图像。
4.如权利要求1所述的图像融合设备，其中，通过以下等式来给出由图像融合单元融合的各个彩色通道R’、G’和B’:
5.如权利要求4所述的图像融合设备，其中，由图像融合单元进行融合而得出的图像的亮度为强度I，= (R，+G’ +B，)/3。
6.如权利要求1所述的图像融合设备，其中，图像融合单元被进一步配置为根据输入图像的局部或全局特性来调整融合率。
7.如权利要求6所述的图像融合设备，其中，通过以下等式来给出由图像融合单元融合的各个彩色通道R’、G’和B’:
R’ =NX (l-α ) XR/(R+G+B) +NX α
G’ =NX (1-α ) XG/(R+G+B) +NX α
B’ =NX (1-α ) XB/(R+G+B) +NX a， 其中，a被实现为根据输入图像的局部或全局特性而改变。
8.如权利要求6所述的图像融合设备，其中，色彩重建单元通过从包括RGB图像的R通道、G通道和B通道的彩色通道的所有波段值的每一个去除NIR值来提取可见光波段中的RGB图像。
9..一种使用多光谱滤光器阵列传感器的图像融合方法，所述图像融合方法包括: 从通过多光谱滤光器阵列传感器输入的图像提取可见光波段中的RGB图像； 通过多光谱滤光器阵列传感器的NIR滤光器接收NIR图像的输入；计算可见光波段中的RGB图像的R值、G值和B值中的每一个的大小；根据计算出的R值、G值和B值中的每一个的大小，将可见光波段中的RGB图像与NIR图像进行融合。
10.如权利要求9所述的图像融合方法，其中，多光谱滤光器阵列传感器被安装在包括监控相机的图像处理设备上。
11.如权利要求9所述的图像融合方法，其中，通过从R值、G值和B值去除通过多光谱滤光器阵列传感器与R值、G值和B值一起入射的NIR值来提取可见光波段中的RGB图像。
12.如权利要求11所述的图像融合方法，其中，去除NIR值的步骤包括:从包括RGB图像的R通道、G通道和B通道的彩色通道的所有波段值中的每一个去除NIR值。
13.如权利要求9所述的图像融合方法，其中，通过以下等式来给出在融合步骤中融合的各个彩色通道R’、G’和B’:
14.如权利要求9所述的图像融合方法，其中，在将可见光波段中的RGB图像与NIR图像进行融合的步骤中，根据输入图像的局部或全局特性来调整上述两个图像的融合率。
15.如权利要求14所述的图像融合方法，其中，通过以下等式来给出通过将可见光波段中的RGB图像与NIR图像进行融合而融合的各个彩色通道R’、G’和B’:
R’ =NX (l-α ) XR/(R+G+B) +NX α
G’ =NX (1-α ) XG/(R+G+B) +NX α
B’ =NX (1-α ) XB/(R+G+B) +NX a， 其中，a被实现为根据输入图像的局部或全局特性而改变。
【文档编号】G06T5/50GK103971351SQ201310487513
【公开日】2014年8月6日 申请日期:2013年10月17日 优先权日:2013年2月4日
【发明者】崔银喆 申请人:三星泰科威株式会社