用于颜色恢复的设备和方法
【专利摘要】提供一种用于颜色恢复的设备和方法。所述方法包括：通过使用输入图像中的颜色通道和NIR通道之间的相关性，从输入图像的信息分离近红外（NIR）通道的多个频带信息；从NIR通道的多个频带信息和从颜色通道估计的NIR通道的估计的多个频带信息获得NIR通道的估计的不可见光频带信息；基于NIR通道的估计的不可见光频带信息估计颜色通道的不可见光频带信息；通过从包括在输入图像的信息中的颜色通道的多个频带信息去除颜色通道的估计的不可见光频带信息，来恢复颜色通道的可见光频带图像。
【专利说明】用于颜色恢复的设备和方法
[0001]本申请要求于2012年12月14日提交到韩国知识产权局的第10_2012_0146625号韩国专利申请的优先权，其公开通过引用全部合并于此。
【技术领域】
[0002]与示例性实施例一致的设备和方法涉及恢复从多光谱滤光器阵列(MFA)获得的图像的颜色。
【背景技术】
[0003]从多光谱滤光器阵列(MFA)获得图像，以便同时获得自然颜色、关于近红外(NIR)频带的详细信息、或在夜间环境中提高的灵敏度。
[0004]为了这个目的，应提高每个通道图像的分辨率，并且应恢复它们的颜色。具体地，MFA图像处理操作中的颜色恢复应优于原本的颜色。就这一点而言，已进行了将输入图像转换为具有用户期望的色调和基调的照片的研究。该研究的目的是为了基于输入图像和目标图像的特性的分析来实现颜色变换。也就是说，已研究了通过基于两个图像(输入图像和目标图像)之间的相似性来对每个图像的统计颜色分布进行分析，以实现颜色变换的技术。
[0005]例如，存在在相同颜色空间中的颜色变换方法(如颜色变换)，从而在可见光频带中的图像被变换为在可见光频带中的另一图像。然而，在颜色变换方法中，当在不同颜色空间中执行颜色变换时，颜色被严重损坏。
[0006]另外，当在颜色恢复处理中考虑信噪比(SNR)时，存在图像的细节被损坏或颜色恢复性能被降低的妥协(trade-off)。详细地，当假设信噪比的相对重要性高于真实性时，保持颜色恢复性能而不保持SNR。因此，可在平坦区域产生损坏低频信号的分量，或可损坏高频信号的细节。与此不同，当假设信噪比的相对重要性低于真实性时，执行颜色恢复处理的相对重要性降低。因此，倾向于保持输入图像的原始信号分量和细节，同时平坦区域的分量被较好地保护，但是颜色的色度大大低于真实性。
【发明内容】
[0007]一个或多个示例性实施例提供在图像融合操作中恢复图像的颜色的方法，所述图像融合操作融合关于可见光频带的信息和关于可见光频带的信息。
[0008]一个或多个示例性实施例还提供这样一种方法，该方法从在不使用额外物理滤光器的情况下从多光谱滤光器阵列(MFA)获得的R、G、B和N图像Rall、Gall, Ball和Nall (下标“all”是包括可见光频带和不可见光频带的所有频带图像)恢复R、G和B颜色Rvis、Gvis和Bvis (下标“vis”是可见光频带图像)。
[0009]一个或多个示例性实施例还提供一种恢复图像的颜色的方法，其中，通过克服当在不同颜色空间中执行颜色变换(如在将可同时获得可见光频带和不可见光频带的传感器的颜色空间移动到仅可获得可见光频带的传感器的颜色空间的操作中)时发生的颜色空间之间的差。[0010]一个或多个示例性实施例还提供一种通过使用自适应颜色系数来恢复图像的颜色的方法，以即使当考虑信噪比(SNR)时，也提高颜色恢复性能并防止损坏图像的细节。
[0011]根据一方面，提供一种颜色恢复方法，所述方法包括:通过使用输入图像中的颜色通道和NIR通道之间的相关性，从输入图像的信息分离近红外(NIR)通道的多个频带信息；从NIR通道的多个频带信息和从颜色通道估计的NIR通道的估计的多个频带信息获得NIR通道的估计的不可见光频带信息；基于NIR通道的估计的不可见光频带信息估计颜色通道的不可见光频带信息；通过从包括在输入图像的信息中的颜色通道的多个频带信息去除颜色通道的估计的不可见光频带信息，来恢复颜色通道的可见光频带图像。
[0012]可通过下面的等式指示颜色通道和NIR通道之间的相关性:
【权利要求】
1.一种颜色恢复方法，包括: 通过使用输入图像中的颜色通道和NIR通道之间的相关性，从输入图像的信息分离近红外NIR通道的多个频带信息；从NIR通道的多个频带信息和从颜色通道估计的NIR通道的估计的多个频带信息获得NIR通道的估计的不可见光频带信息；基于NIR通道的估计的不可见光频带信息估计颜色通道的不可见光频带信息；通过从包括在输入图像的信息中的颜色通道的多个频带信息去除颜色通道的估计的不可见光频带信息，来恢复颜色通道的可见光频带图像。
2.如权利要求1所述的颜色恢复方法，还包括:计算输入图像的可见光频带信息和估计的可见光频带信息之间的差， 其中，基于差最小的情况，执行从输入图像分离NIR通道的多个频带信息的步骤。
3.如权利要求2所述的颜色恢复，还包括: 针对差最小的情况，获得自适应色度系数； 使用自适应色度系数抑制颜色通道和NIR通道之间的干扰。
4.如权利要求2所述的颜色恢复方法，其中，通过确定并去除NIR通道的多个频带信息的噪声，执行获得NIR通道的估计的不可见光频带信息的步骤。
5.如权利要求4所述的颜色恢复方法，其中，通过获得NIR通道的多个频带信息与通过将NIR通道的估计的多个频带信息乘以大于O小于I的值而获得的值之间的差来确定噪声。
6.如权利要求1所述的颜色恢复方法，其中，颜色通道的多个频带信息包括颜色通道的可见光频带信息和不可见光频带信息， 其中，NIR通道的多个频带信息包括NIR通道的可见光频带信息和不可见光频带信息。
7.如权利要求1所述的颜色恢复方法，其中，通过下面的等式指示颜色通道和NIR通道之间的相关性:
8.如权利要求1所述的方法，其中，通过使用等式从^^/<4)=.^,.获得NIR通道的估计的不可见光频带信息，
9.如权利要求1所述的颜色恢复方法，还包括:通过对NIR通道应用下面的权重曲线函数(curveOO )来执行光饱和补偿，以抑制超过阈值的区域中的颜色恢复，
10.如权利要求1所述的颜色恢复方法，还包括:对恢复的可见光频带图像中的NIR通道执行光饱和补偿。
11.一种颜色恢复设备，包括: 通道相关性检查单元，配置用于通过使用输入图像中的颜色通道和NIR通道之前的相关性从输入图像的信息分离近红外NIR通道的多个频带信息； 自适应增益控制AGC单元，配置用于从NIR通道的多个频带信息和从颜色通道估计的NIR通道的估计的多个频带信息获得NIR通道的估计的不可见光频带信息； 可见光频带信息恢复单元，配置用于基于NIR通道的估计的不可见光频带信息估计颜色通道的不可见光频带信息，通过从包括在输入图像的信息中的颜色通道的多个频带信息去除颜色通道的估计的不可见光频带信息，来恢复颜色通道的可见光频带图像。
12.如权利要求11所述的颜色恢复设备，还包括:自适应色度系数产生单元，配置用于计算输入图像的可见光频带信息和估计的可见光频带信息之间的差， 其中，通道相关性检查单元被配置用于基于差最小的情况从输入图像分离NIR通道的多个频带信息。
13.如权利要求12所述的颜色恢复设备，其中，自适应色度系数产生单元被配置用于针对差最小的情况获得自适应色度系数，并使用自适应色度系数抑制颜色通道和NIR通道之间的干扰。
14.如权利要求12所述的颜色恢复设备，其中，AGC单元被配置用于通过确定并去除NIR通道的多个频带信息的噪声来获得NIR通道的估计的不可见光频带信息。
15.如权利要求14所述的颜色恢复设备，其中，AGC单元被配置用于通过获得NIR通道的多个频带信息与通过将NIR通道的估计的多个频带信息乘以大于O小于I的值而获得的值之间的差来确定噪声。
16.如权利要求11所述的颜色恢复设备，其中，颜色通道的多个频带信息包括颜色通道的可见光频带信息和不可见光频带信息， 其中，NIR通道的多个频带信息包括NIR通道的可见光频带信息和不可见光频带信息。
17.如权利要求11所述的颜色恢复设备，其中，通过下面的等式指示颜色通道和NIR通道之间的相关性:
18.如权利要求11所述的颜色恢复设备，其中，AGC单元被配置用于通过使用等式AKiKiti^rKuu) = 获得NIR通道的估计的不可见光频带信息，
19.如权利要求11所述的颜色恢复设备，还包括:光饱和控制单元，配置用于通过对NIR通道应用下面的权重曲线函数(curve (X))来执行光饱和补偿，以抑制超过阈值的区域中的颜色恢复，
20.如权利要求9所述颜色恢复设备，还包括:光饱和控制单元，配置用于对恢复的可见光频带图像中的NIR通道执行光饱和补偿。
【文档编号】H04N9/64GK103873837SQ201310690183
【公开日】2014年6月18日 申请日期:2013年12月16日 优先权日:2012年12月14日
【发明者】崔银喆, 姜文基, 吴炫默, 朴澈喜 申请人:三星泰科威株式会社, 延世大学校产学协力团