用于对图像进行处理的方法和设备的制作方法
【专利摘要】提供一种对图像进行处理的方法和设备。示例性实施例公开了一种对图像进行处理的方法。所述方法包括：通过对MSFA图案图像的至少一个彩色通道和NIR通道的频率特性进行分析来抵消混叠；产生高分辨率基础图像；通过基于模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和模糊图像进行加权来抵消来自高分辨率基础图像的伪像。
【专利说明】用于对图像进行处理的方法和设备
[0001]本申请要求于2012年12月05日提交到韩国知识产权局的第10-2012-0140543号韩国专利申请的优先权，其公开通过引用完全合并于此。
【技术领域】
[0002]示例性实施例涉及一种多光谱滤波器阵列(MSFA)图案图像处理。更具体地讲，示例性实施例涉及对图像进行处理的方法，其中，通过增加分辨率并去除MSFA图案图像的伪像来产生高分辨率图像。
【背景技术】
[0003]现有技术的多光谱滤波器阵列(MSFA)用于同时获取可见光波段中的图像和非可见光波段中的近红外(NIR)图像。换言之，现有技术的MSFA用于同时获取通道图像。
[0004]然而，由于按照对每个彩色通道和NIR通道进行子采样的方式获取图像，因此通过使用现有技术的MSFA获取的图案图像具有低分辨率。
【发明内容】
[0005]根据实施例，当同时获取在可见光波段中的图像和在非可见光波段中的近红外NIR图像时，防止在可见光波段中的图像和在非可见光波段中的NIR图像的分辨率降级。
[0006]根据另一实施例，提供一种用于对具有低多光谱滤波器阵列(MSFA)图案的输入图像进行处理来重构高分辨率基础图像的方法和设备。
[0007]另外，在示例性实施例中，使用从来自多光谱滤波器的至少一个彩色通道和NIR通道获取的低分辨率MSFA图案图像来重构高分辨率基础图像。因此，产生在包括大量高频信息的同时具有低伪像的高分辨率基础图像。
[0008]根据示例性实施例的一方面，提供一种对图像进行处理的方法，所述方法包括:通过对多光谱滤波器阵列(MSFA)图案图像的至少一个彩色通道和近红外(NIR)通道的频率特性进行分析来抵消混叠；通过将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨基础图像；通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和所述模糊图像进行加权和组合来抵消来自高分辨率基础图像的伪像。
[0009]抵消混叠的步骤可包括:在考虑在所述至少一个彩色通道和NIR通道中示出的不同相位特性的同时，将MSFA图案图像的所述至少一个彩色通道和NIR通道进行组合。
[0010]产生高分辨率基础图像的步骤可包括:使用辛格函数将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率。
[0011]可根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率w。，当在局部方差相对高的MSFA图案图像的细节区域中时，可设置截止频率W。来增加辛格函数的通带，当在局部方差相对低的MSFA图案图像的平坦区域中时，可设置截止频率W。来减少辛格函数的通带。[0012]可基于使用MSFA图案图像的局部方差作为变量的正切函数来设置辛格函数的截止频率W。。
[0013]抵消伪像的步骤可包括:通过将所述模糊图像和高分辨率基础图像进行加权和组合来抵消伪像，其中，当在高频区域产生很多伪像时，更多地加权模糊图像，当在低频区域产生很少伪像时，更多地加权高分辨率基础图像，模糊图像和高分辨率基础图像的权重的和是I。
[0014]根据示例性实施例的另一方面，提供一种对图像进行处理的方法，所述方法包括:通过对多光谱滤波器阵列(MSFA)图案图像的至少一个彩色通道和近红外(NIR)通道的频率特性进行分析并且将所述至少一个彩色通道和NIR通道进行组合使得所述至少一个彩色通道和NIR通道的相位特性彼此抵消来抵消混叠；通过使用辛格函数将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨基础图像，其中，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率W。；通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和模糊图像进行加权和组合来抵消高分辨率基础图像的伪像。
[0015]根据示例性实施例的另一方面，提供一种用于对图像进行处理的设备，所述设备包括:混叠抵消装置，被配置为通过对多光谱滤波器阵列(MSFA)图案图像的至少一个彩色通道和近红外(NIR)通道的频率特性进行分析来抵消混叠；高分辨率基础图像产生器，被配置为通过将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨率基础图像；伪像抵消装置，被配置为通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和所述模糊图像进行加权和组合来抵消来自高分辨率基础图像的伪像。
[0016]根据示例性实施例的另一方面，提供一种用于对图像进行处理的设备，所述设备包括:混叠抵消装置，被配置为通过对多光谱滤波器阵列(MSFA)图案图像的至少一个彩色通道和近红外(NIR)通道的频率特性进行分析，并且将所述至少一个彩色通道和NIR通道进行组合，使得所述至少一个彩色通道和NIR通道的相位特性彼此抵消来抵消混叠；高分辨率基础图像产生器，被配置为通过使用辛格函数将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨率基础图像，其中，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率W。；伪像抵消装置，被配置为通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和所述模糊图像进行加权和组合来抵消高分辨率基础图像的伪像。
【专利附图】
【附图说明】
[0017]通过参照附图详细描述示例性实施例，示例性实施例的上述和其它特征和优点将变得更加清楚，其中，
[0018]图1是根据实施例的用于对图像进行处理的设备的结构框图；
[0019]图2是根据实施例的作为用于对图像进行处理的设备的输入图像的多光谱滤波器阵列(MSFA)图案图像的示图；[0020]图3示出根据实施例的根据通道的MSFA图案图像的光谱，其中，MSFA图案图像是用于对图像进行处理的设备的输入图像；
[0021]图4A和图4B分别示出通过使用MSFA图案图像的单个通道产生基础图像的情况和通过使用MSFA图案图像的四个通道产生基础图像的情况；
[0022]图5示出根据实施例的MSFA图案图像的每个通道的频率特征；
[0023]图6是用于描述根据实施例的在考虑MSFA图案图像的每个通道的频率特征的同时去除混叠(aliasing)的示图；
[0024]图7是根据实施例的产生高分辨率基础图像的概念性示图；
[0025]图8示出根据通带的对辛格(sine)函数的频率轴的响应；
[0026]图9示出根据实施例的根据局部区域的输入图像的统计特征；
[0027]图10和图11是用于描述根据实施例的通过反映根据局部区域的输入图像的统计特征来描述核(kernel)的设计；
[0028]图12示出正切(双曲正切)函数被用于根据局部方差设置截止频率的情况；
[0029]图13是示出根据实施例的对图像进行处理的方法的流程图，其中，从MSFA图案图像产生高分辨率基础图像。
【具体实施方式】
[0030]在下文中，将参照附图更全面地描述示例性实施例，其中，示例性实施例在附图中示出。
[0031]在这里使用的术语仅用于描述特定实施例的目的，而不是意在限制示例性实施例。如在这里使用，除非上下文清楚地指示，否则单数形式也意在包括复数形式。还将理解，当在本说明中使用术语“包括”和/或“包含”时，其表示存在叙述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。
[0032]除非另有定义，否则这里使用的所有术语(包括技术术语和科学术语)具有与示例性实施例所属领域的普通技术人员通常理解的含义相同的含义。另外，除非确切地定义，否则术语(诸如在常用词典中定义的那些术语)不应被理想化或过度地解释。
[0033]图1是根据实施例的用于对图像进行处理的设备100的框图。
[0034]图1的设备100的不例包括可以是图像捕获系统的相机系统，诸如数字相机、摄像机或监控摄像机，并且可被安装在计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)或移动电话上。
[0035]设备100将多光谱滤波器阵列(MSFA)图案图像SlOl接收为输入图像。可从包括具有彩色滤波器和近红外(NIR)滤波器的MSFA的图像传感器输出MSFA图案图像。
[0036]根据实施例，当接收到具有低分辨率的MSFA图案图像SlOl作为输入图像时，设备100产生具有低伪像的同时包括很多高频信息的高分辨率基础图像。
[0037]因此，设备100包括混叠抵消单元110、高分辨率基础图像产生器120和伪像抵消单元130。
[0038]混叠抵消单元110对MSFA图案图像SlOl的R、G和B彩色通道和NIR通道的频率特性进行分析。由于R、G和B彩色通道和NIR通道中的每一个被子采样到1/4，因此MSFA图案图像SlOl具有混叠。
[0039]因此，在R、G和B彩色通道和NIR通道的高频分量相似的假设下，混叠抵消单元110对R、G和B彩色通道和NIR通道的频率特性进行分析，并且通过在考虑不同并重复示出的相位特性的同时，通过将R、G和B彩色通道和NIR通道进行组合来根据通道抵消混叠。
[0040]下面参照图2和图3描述作为混叠抵消单元110的输入图像的MSFA图案图像的特性，并且下面参照图4A到图8描述在MSFA图案图像中产生的混叠和用于抵消混叠的相位特性。
[0041]高分辨率基础图像产生器120通过使用辛格函数将R、G和B彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨率基础图像，其中，通过混叠抵消单元110从所述R、G和B彩色通道和NIR通道去除混叠。
[0042]高分辨率基础图像产生器120还通过根据MSFA图案图像SlOl的局部区域的统计特性自适应地设置辛格函数的截止频率W。来产生高分辨率基础图像。另外，如下面将参照图9到图14详细地描述，高分辨率基础图像产生器120通过增加MSFA图案图像SlOl的细节区域中的截止频率(wehigh)来恢复高频域的很多信息，并且通过减少MSFA图案图像SlOl的平坦区域中的截止频率(W。1，来通过更少的高频域的伪像信息。
[0043]当经由伪像抵消单元110和高分辨率基础图像产生器120产生高分辨率基础图像时，如果辛格函数的截止频率W。被增加来提高基础图像的分辨率，则伪像可留在高频带中。另外，由于包括MSFA的图像传感器的非均匀噪声，当高分辨率基础图像产生器120产生基础图像时，伪像的一部分可能没有被去除。
[0044]伪像抵消单元130基于通过模糊高分辨率基础图像获取的模糊图像和由高分辨率基础图像产生器120产生的高分辨率基础图像的像素差值对所述高分辨率基础图像和所述模糊图像进行加权，使得抵消高分辨率基础图像的伪像。
[0045]图2和图3分别示出MSFA图案图像的形状和光谱。
[0046]如图2所示，按照1/4通道210、220、230和240对MSFA图案图像的每个通道进行子采样。MSFA图案图像的每个通道具有低分辨率通道的特性，所述低分辨率通道具有目标分辨率的0.5倍宽度和0.5倍长度。当使用MSFA图案图像的单个通道基础图像被重新排列到高分辨率基础图像时，详细边缘分量未被划分，并且混叠严重(如图4A所示)。
[0047]参照图3，在形成MSFA图案图像的R、G和B彩色通道和NIR通道的光谱之间信息重叠。
[0048]因此，如图4B所示，需要使用低分辨率R、G和B彩色通道和低分辨率NIR通道中的所有来获取一个基础图像，以便减少混叠。
[0049]图4A和图4B示出使用MSFA图案图像的单个通道产生基础图像的情况、以及使用MSFA图案图像的四个通道产生基础图像的情况。
[0050]在图4A中，单个NIR通道用于经由插值处理形成高分辨率基础图像。在这种情况下，详细边缘分量未被划分，并且混叠严重。
[0051]在图4B中，根据实施例，使用MSFA图案图像的所有彩色通道和NIR通道来产生高分辨率基础信号。在这种情况下，混叠被减少，详细边缘分量也被划分。
[0052]图5示出根据实施例的MSFA图案图像的每个通道的频率特性。
[0053]查看在2维(2D)傅里叶域501中的子采样G彩色通道500，相似于原信号，按照正符号在8 个 π ( (-Π,-Π), (-π,ο), (-Π, Π), (ο,-π), (O, π), (Π,-Π), (π,ο),(π，π))中重复示出原始信号。
[0054]子采样的NIR通道510位于子采样G彩色通道500向右一个像素处。因此，子采样的NIR通道510的2D傅里叶域502沿着垂直方向502a具有与子采样的G彩色通道500的2D傅里叶域501相反的相位。
[0055]相似地，在MSFA图案图像中子采样的R通道520位于的子采样的G彩色通道500向下一个像素处。因此，子采样的R通道520的2D傅里叶域503沿着水平方向503a具有与子采样的G彩色通道500的2D傅里叶域501相反的相位。
[0056]在MSFA图案图像中子采样的B通道530位于沿着右对角线方向的子采样G彩色通道500的向下一个像素处。因此，子采样的B通道530的2D傅里叶域504沿着对角线方向504a具有与子采样的G彩色通道500的2D傅里叶域501相反的相位。
[0057]图6是用于描述根据实施例的在考虑MSFA图案图像的每个通道的频率特性的同时去除混置的不图。
[0058]图6是用于描述图1的混叠抵消单元110的操作的示图。可通过根据MSFA图案图像的每个通道的频率特性(如图5所示)使用重复地不同地示出的相位特性来将R、G和B彩色通道和NIR通道中的所有进行组合，来减少在低频域中的混叠分量。
[0059]例如，在(0，Π)处，在G彩色通道610和NIR通道620中的信号的符号是( + )，但是由于相位改变，R彩色通道630和B彩色通道640中的信号的符号是(_)。因此，当信号被组合时，在低频域中的高频分量的混叠被抵消。 [0060]当使用频率低通滤波器去除位于(0，0)外部的混叠分量时，获取最终的基础信号。
[0061]图7是根据实施例的产生高分辨率基础图像770的概念性示图。
[0062]在考虑频率特性之后，在操作750，将MSFA图案图像的G彩色通道710、NIR通道720和R彩色通道730和B彩色通道740进行组合(求和)，从而抵消混叠，随后通过核760。因此，产生高分辨率基础图像770，其中，按照基础图像的分辨率对去除了混叠的G彩色通道710、R彩色通道730和B彩色通道740以及NIR通道720的分辨率进行放大。
[0063]上述情况可由下面的等式I表示:
[0064][等式I]
[0065]Base(i, j) = (Cs (i, j)十 Ns(i, j)+Rs(i, j)+Bs(i, j)) *Kernel (i, j)
[0066]在等式I中，Base (i，j )表示高分辨率基础图像，Gs、Ns、Rs和Bs均表示形成MSFA图案图像的子采样的通道。在等式I中，核按照基础图像的分辨率放大每个子采样的通道图像的分辨率。
[0067]如图8所示，可通过辛格函数构造核。图8示出根据通带的对辛格函数的频率轴的响应。随着截止频率增加，在较高频带中的信息被通过。当高频带被通过时，高频带的信息可被恢复。因此，如曲线图800所不,可提闻基础图像的分辨率。如图8的标号810所不，辛格函数被二维地应用到实际MSFA图像中。
[0068]当理想的辛格函数被傅里叶反变换时，获取下面的等式2:
[0069][等式2]
【权利要求】
1.一种对图像进行处理的方法，所述方法包括: 通过对多光谱滤波器阵列MSFA图案图像的至少一个彩色通道和近红外NIR通道的频率特性进行分析来抵消混叠； 通过将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨基础图像； 通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值，将高分辨率基础图像和所述模糊图像进行加权和组合来抵消来自高分辨率基础图像的伪像。
2.如权利要求1所述的方法，其中，抵消混叠的步骤包括:在考虑在所述至少一个彩色通道和NIR通道中示出的不同相位特性的同时，将MSFA图案图像的所述至少一个彩色通道和NIR通道进行组合。
3.如权利要求1所述的方法，其中，产生高分辨率基础图像的步骤包括:使用辛格函数将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率。
4.如权利要求3所述的方法，其中，辛格函数使用等于或大于0.5Π的截止频率W。。
5.如权利要求3所述的方法，其中，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率W。， 当在局部方差相对高的MSFA图案图像的细节区域中时，设置截止频率W。来增加辛格函数的通带， 当在局部方差相对低的MSFA图案图像的平坦区域中时，设置截止频率W。来减少辛格函数的通带。·
6.如权利要求3 所述的方法,其中，Base (i, j) = (Gs(i, j)+Ns(i, j)+Rs(i, j)+Bs(i, j))*Sinc(i, j), 其中，Rs(i，j)、Gs(i，j)和Bs(i，j)表示MSFA图案图像的所述至少一个彩色通道，Ns(i, j)表示MSFA图案图像的NIR通道， 经由所述至少一个彩色通道和NIR通道的和来抵消混叠，经由辛格函数将所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率。
7.如权利要求3所述的方法，其中，基于使用MSFA图案图像的局部方差作为变量的正切函数来设置辛格函数的截止频率W。。
8.如权利要求7所述的方法，其中，根据下式自适应地设置辛格函数的截止频率W。:
齙神_ Jttw ωα/αρ = ^^;-二.......^7-;—、X W +
max (Ofacill) — min?Cfll) 其中，根据下式设置X: maX(elCtt() J ρ\ 21而(4』—/ 其中，X是用于获取自适应截止频率WcadaP的输入，并且表示根据s曲线(正切)权重调整的局部区域的方差，P和k是用于调整局部区域方差的因子。
9.如权利要求1所述的方法，其中，抵消伪像的步骤包括:通过将所述模糊图像和高分辨率基础图像进行加权和组合来抵消伪像，其中， 当在高频区域产生很多伪像时，更多地加权所述模糊图像， 当在低频区域产生很少伪像时，更多地加权高分辨率基础图像， 所述模糊图像和高分辨率基础图像的权重的和是I。
10.一种对图像进行处理的方法，所述方法包括: 通过对多光谱滤波器阵列MSFA图案图像的至少一个彩色通道和近红外NIR通道的频率特性进行分析，并且将所述至少一个彩色通道和NIR通道进行组合使得所述至少一个彩色通道和NIR通道的相位特性彼此抵消，来抵消混叠； 通过使用辛格函数将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨基础图像，其中，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率W。； 通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和所述模糊图像进行加权和组合来抵消高分辨率基础图像的伪像。
11.如权利要求10 所述的方法，其中，Base (i, j) = (Gs(i, j)+Ns(i, j)+Rs(i, j)+Bs(i, j))*Sinc(i, j), 其中，Rs(i，j)、Gs(i，j)和Bs(i，j)表示MSFA图案图像的所述至少一个彩色通道，Ns (i, j)表示MSFA图案图像的NIR通道，经由所述至少一个彩色通道和NIR通道的和来抵消混叠，经由辛格函数将所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率。
12.如权利要求10所述的方法，其中，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率W。， 当在局部方差相对高的MSFA图案图像的细节区域中时，设置截止频率W。来增加辛格函数的通带， 当在局部方差相对低的MSFA图案图像的平坦区域中时，设置截止频率W。来减少辛格函数的通带。
13.如权利要求10所述的方法，其中，根据下式自适应地设置辛格函数的截止频率W。:
14.如权利要求10所述的方法，其中，抵消伪像的步骤包括:通过将所述模糊图像和高分辨率基础图像进行加权和组合来抵消伪像， 其中， 当在高频区域产生很多伪像时，更多地加权所述模糊图像，当在低频区域产生很少伪像时，更多地加权高分辨率基础图像， 所述模糊图像和高分辨率基础图像的权重的和是I。
15.一种用于对图像进行处理的设备，所述设备包括: 混叠抵消装置，被配置为通过对多光谱滤波器阵列MSFA图案图像的至少一个彩色通道和近红外NIR通道的频率特性进行分析来抵消混叠； 高分辨率基础图像产生器，被配置为通过将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨基础图像； 伪像抵消装置，被配置为通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和所述模糊图像进行加权和组合来抵消来自高分辨率基础图像的伪像。
16.如权利要求15所述的设备，其中，伪像抵消装置在考虑在所述至少一个彩色通道和NIR通道中示出的不同相位特性的同时，将MSFA图案图像的所述至少一个彩色通道和NIR通道进行组合。
17.如权利要求15所述的设备，其中，高分辨率基础图像产生器使用辛格函数将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率。
18.如权利要求15所述的设备，其中，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率W。， 当在局部方差相对高的MSFA图案图像的细节区域中时，设置截止频率W。来增加辛格函数的通带，· 当在局部方差相对低的MSFA图案图像的平坦区域中时，设置截止频率W。来减少辛格函数的通带。
19.如权利要求15所述的设备，其中，伪像抵消装置通过将所述模糊图像和高分辨率基础图像进行加权和组合来抵消伪像， 其中， 当在高频区域产生很多伪像时，更多地加权所述模糊图像， 当在低频区域产生很少伪像时，更多地加权高分辨率基础图像， 所述模糊图像和高分辨率基础图像的权重的和是I。
20.一种用于对图像进行处理的设备，所述设备包括: 混叠抵消装置，被配置为通过对多光谱滤波器阵列MSFA图案图像的至少一个彩色通道和近红外NIR通道的频率特性进行分析，并且将所述至少一个彩色通道和NIR通道进行组合使得所述至少一个彩色通道和NIR通道的相位特性彼此抵消，来抵消混叠； 高分辨率基础图像产生器，被配置为通过使用辛格函数将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨率基础图像，其中，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率W。；伪像抵消装置，被配置为通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和所述模糊图像进行加权和组合来抵消高分辨率基础图像的伪像。
【文档编号】G06T5/50GK103854266SQ201310651897
【公开日】2014年6月11日 申请日期:2013年12月5日 优先权日:2012年12月5日
【发明者】李定晏, 李珉锡, 权知容, 姜文基 申请人:三星泰科威株式会社, 延世大学校产学协力团